Elektronika może działać poprawnie w zwykłym teście końcowym, a mimo to pozostawać nieweryfikowalna w stanach rozstrzygających o bezpieczeństwie i niezawodności. Sam komunikat „zaliczono” nie dowodzi jakości. Wiarygodny dowód powstaje dopiero wtedy, gdy wiadomo, jaki skutek awarii badano, jaką klasę wad uznano za możliwą, w jaki sposób wymuszono stan ujawniający wadę, gdzie zaobserwowano jej skutek oraz z jaką pewnością odróżniono niezgodność wyrobu od błędu stanowiska, procedury, oprogramowania lub kryterium oceny.

Projektowanie dla testowalności (Design for Testability, DfT) jest projektowaniem architektury informacji o stanie wyrobu. Obejmuje dostęp do istotnych stanów, możliwość ich kontrolowanego wymuszania i obserwowania oraz zdolność przypisania wyniku do właściwego źródła. Testowalność nie jest dodatkiem wprowadzanym po zakończeniu projektu, lecz cechą systemu, która musi pozostać użyteczna podczas produkcji, integracji, utrzymania i analizy uszkodzeń.

Nieznanego, uszkodzonego lub pochodzącego z niezweryfikowanego sprzętu wojskowego zespołu nie wolno samodzielnie zasilać, rozłączać, podłączać do stanowiska, obejmować sondami ani przełączać w tryb testowy. Miejsce należy zabezpieczyć, a ocenę pozostawić uprawnionemu personelowi, w tym właściwemu zespołowi EOD, zgodnie z procedurami jednostki. Poniższy tekst opisuje ogólne zasady projektowania i oceny systemów testowych. Nie jest procedurą uruchamiania urządzeń inicjujących ani instrukcją badania konkretnego współczesnego uzbrojenia.

Test jako dowód, a nie ceremonia odbioru

Weryfikacja odpowiada na pytanie, czy wyrób spełnia ustanowione wymagania, natomiast walidacja — czy wymagania i ich realizacja odpowiadają zamierzonemu zastosowaniu. Test jest tylko jedną z metod dowodowych, obok analizy, inspekcji, demonstracji i przeglądu projektu. Standard ECSS dotyczący weryfikacji wiąże strategię, poziomy i etapy badań z wymaganiami oraz identyfikowalnymi wynikami.1

Poprawny test jest kontrolowanym eksperymentem. Musi mieć określony przedmiot pomiaru, warunki początkowe, pobudzenie, spodziewaną odpowiedź, metodę obserwacji, sposób obliczeń, niepewność i regułę decyzji. Jeżeli którykolwiek z tych składników pozostaje domyślny, wynik może wyglądać wiarygodnie, lecz nie da się ustalić, co rzeczywiście zostało dowiedzione.

„Zaliczono” oznacza wyłącznie, że zarejestrowane wartości, w danej konfiguracji i czasie, spełniły zastosowane kryteria. Nie oznacza braku wszystkich możliwych wad, zachowania funkcji w niebadanym środowisku ani przyszłej niezawodności. Tester przepuszczający wszystkie egzemplarze może zapewniać doskonałą wydajność pierwszego przejścia, choć nie wykrywa niczego istotnego.

Zakres wniosku nie może być szerszy niż zakres dowodu. Zamiast orzeczenia „płytka jest dobra” właściwy wniosek brzmi: w określonym stanie, przy wskazanym pobudzeniu i konfiguracji, nie stwierdzono skutków wad objętych danym modelem, w granicach zdolności zastosowanych metod. Takie zastrzeżenie pozwala świadomie wskazać martwe pola.

Od początku trzeba rozróżniać trzy rozstrzygnięcia. Nieważność pomiarowa występuje, gdy nie spełniono warunków metody: stanowisko było niesprawne, konfiguracja niezgodna, utracono spójność pomiarową albo zabrakło wymaganych danych. Nierozstrzygnięcie diagnostyczne oznacza, że obserwacja jest ważna, lecz pasuje do kilku przyczyn, których zastosowany zestaw testów nie rozdziela. Niezgodność wyrobu można orzec dopiero wtedy, gdy ważny dowód wykazuje niespełnienie wymagania przez badany egzemplarz. Sprowadzenie tych stanów do jednej flagi „błąd” prowadzi do fałszywych odrzuceń, błędnych napraw i utraty informacji o zdolności procesu.

Od skutku awarii do modelu wad

Projektowanie testu należy zacząć od skutku utraty funkcji. Dopiero później wskazuje się mechanizmy mogące do niego prowadzić i ich reprezentacje testowe. Fizyczna niedoskonałość, taka jak pęknięcie połączenia, może powodować pełną przerwę, wzrost rezystancji, niestabilny styk albo zachowanie zależne od temperatury. Ten sam symptom — na przykład brak odpowiedzi interfejsu — może natomiast wynikać z przerwy, braku zegara, niewłaściwego zasilania, błędu oprogramowania lub awarii stanowiska.

Model wad jest świadomym uproszczeniem rzeczywistości. W technice cyfrowej obejmuje między innymi trwały stan logiczny, opóźnione przejście, uszkodzenie ścieżki, błąd pamięci, przerwę i zwarcie. W obwodach analogowych potrzebne są ponadto modele dryfu wzmocnienia, przesunięcia zera, upływu, szumu, niestabilności, ograniczonego pasma i zachowania pod obciążeniem. Klasyczny model trwałego zera lub jedynki jest użyteczny do generowania wzorców logicznych, lecz nie stanowi pełnego opisu fizycznych uszkodzeń.2

Każde wymaganie testowe powinno wskazywać modelowaną klasę wad, oczekiwany poziom wykrycia i lokalizacji, etap cyklu życia, dopuszczalny czas badania oraz istotne warunki środowiskowe. Zdanie „zapewnić interfejs JTAG” opisuje środek techniczny, nie wymagany dowód. Wymaganie powinno określać, jakie połączenia i rodzaje uszkodzeń mają być wykrywalne, które pozostają wyłączone oraz jak zostanie potwierdzone rzeczywiste pokrycie.

Pokrycie ma znaczenie tylko względem jawnego mianownika. Dziewięćdziesiąt pięć procent wymagań, połączeń i modelowanych wad logicznych to trzy odmienne twierdzenia. Raport powinien wskazywać przypadki wykryte, potencjalnie wykryte, niewykrywalne, pominięte z powodu ograniczeń narzędzia oraz świadomie zaakceptowane jako ryzyko.

Test może poprawnie wykazać nieprawidłowe zachowanie, lecz nie wskazać, czy przyczyną jest układ, połączenie, zasilanie czy zasób stanowiska. Taki wynik nie jest z tego powodu pomiarowo nieważny. Wymaga kolejnego badania tylko wtedy, gdy dodatkowa obserwacja może rozdzielić istotne hipotezy i zmienić decyzję naprawczą lub jakościową.

Sterowalność, obserwowalność i rozróżnialność

Wada jest wykrywalna dopiero wtedy, gdy istnieje osiągalny stan, w którym jej skutek różni się od zachowania wyrobu bez wady. Potrzebne są trzy uzupełniające się właściwości architektury.

Sterowalność oznacza zdolność ustawienia istotnego węzła lub stanu. Jeżeli prowadzi do niego długa, zależna od czasu sekwencja, której nie można jednoznacznie odtworzyć, test będzie niestabilny. Sterowalność poprawiają między innymi kontrolowane pętle zwrotne, multipleksery testowe, możliwość zadania stanu pamięci, segmentacja zasilania i jawne tryby diagnostyczne. Mechanizmy te nie mogą tworzyć niekontrolowanej drogi sterowania w pracy normalnej.

Obserwowalność określa, czy skutek wady można przenieść do dostępnego pomiaru. Wewnętrzny błąd skorygowany przez nadmiarowość może nie zmienić wyjścia funkcjonalnego, choć oznacza utratę części marginesu. Liczniki błędów, odczyt stanów, punkty pomiarowe i monitory wbudowane mogą tę degradację ujawnić. Trzeba przy tym odróżniać wielkości zmierzone od wnioskowanych: komunikat programu o poprawnym napięciu nie jest niezależnym pomiarem napięcia.

Rozróżnialność, czyli zdolność diagnostyczna, odpowiada na pytanie, czy ten sam zestaw obserwacji pasuje do wielu przyczyn. Dodatkowy test jest wartościowy, gdy dzieli ważną grupę niejednoznaczności — pozwala na przykład odróżnić wadę płytki od przerwy w adapterze albo wskazać właściwy moduł do wymiany. Nie zawsze potrzebna jest lokalizacja do pojedynczego elementu. Jej poziom powinien odpowiadać koncepcji naprawy, kosztowi diagnostyki i skutkom błędnej wymiany.

Sterowalność bez obserwowalności pozwala wywołać stan, lecz nie ocenić rezultatu. Obserwowalność bez sterowalności pokazuje tylko stany pojawiające się przypadkowo. Obie cechy bez rozróżnialności mogą prowadzić do prawidłowego odrzucenia, ale błędnej diagnozy.

Metody testowe i granice ich dowodu

Inspekcja, test brzegowy (boundary scan), test wewnątrzobwodowy (In-Circuit Test, ICT), test funkcjonalny i test wbudowany (Built-In Test, BIT) nie są kolejnymi stopniami jednej techniki. Każda metoda obserwuje inny obraz wyrobu i pozostawia inne martwe pola.

Metoda Najsilniejszy zakres dowodu Typowe martwe pola
Inspekcja optyczna lub radiograficzna obecność, orientacja, położenie i widoczna geometria montażu; część ukrytych połączeń na obrazie rentgenowskim rzeczywista wartość elektryczna, zachowanie dynamiczne, niewidoczna wada wewnętrzna i część wad materiałowych
Test brzegowy ciągłość i rozdzielenie dostępnych połączeń cyfrowych, integralność łańcucha i część błędów montażowych obwody analogowe, część zegarów i szybkich linii, parametry dynamiczne oraz pełna integralność sygnału
ICT przerwy, zwarcia, brakujące lub niewłaściwe elementy i część parametrów dostępnych w gotowym obwodzie węzły bez dostępu, wpływ ścieżek równoległych, funkcja pod rzeczywistym obciążeniem i przy prędkości roboczej
Test funkcjonalny zachowanie bloków i toru od wejścia do wyjścia, zakresy, przejścia, czasy i reakcje na obciążenie słaba lokalizacja, kompensujące się błędy, nieaktywne gałęzie i wady strukturalne niewpływające jeszcze na funkcję
BIT obserwacja wybranych stanów wewnętrznych podczas rozruchu, pracy lub testu inicjowanego uszkodzenie mechanizmu BIT, wspólna przyczyna z badaną funkcją, ograniczone pobudzenie, nieodwiedzane stany i błędny algorytm oceny

Automatyczna inspekcja optyczna może wcześnie wykryć brak albo niewłaściwe położenie elementu, ale nie zmierzy jego wartości. Radiografia pokazuje część połączeń ukrytych pod obudową, lecz obraz wymaga zwalidowanych kryteriów i korelacji z analizą rzeczywistych wad. ICT może rozstrzygnąć kwestie elektryczne niewidoczne na obrazie, jednak gęsty montaż, aktywne elementy i brak punktów dostępowych ograniczają jego zasięg. Wytyczne IPC ujmują te zagadnienia jako element wielodyscyplinarnego projektowania płytki; dostępne publicznie spisy treści potwierdzają zakres tematów, ale nie zastępują pełnego tekstu normatywnego.3

Test brzegowy wykorzystuje komórki umieszczone między logiką układu a wybranymi wyprowadzeniami. Umożliwia wymuszanie i przechwytywanie stanów połączeń zewnętrznych, lecz obecność portu dostępowego nie oznacza pełnego pokrycia płytki. IEEE 1149.1 definiuje architekturę portu i rejestrów; praktyczne pokrycie zależy od konkretnego układu, obudowy, opisu BSDL, topologii płytki, domen zasilania oraz ograniczeń bezpiecznego sterowania.4

Test funkcjonalny jest najbliższy odpowiedzi na pytanie, czy wyrób wykonuje zadanie, ale bywa najmniej jednoznaczny diagnostycznie. Wynik strukturalny i funkcjonalny mogą być pozornie sprzeczne, choć oba są poprawne: urządzenie może chwilowo wykonywać funkcję mimo wady montażowej albo mieć poprawną ciągłość połączeń, lecz błędną dynamikę.

BIT ma dostęp do stanów trudnych do odtworzenia z zewnątrz, ale jego komunikat nie jest niezależną prawdą. Mechanizm może współdzielić z badaną funkcją zasilanie, zegar, pamięć, czujnik albo algorytm. Wspólna przyczyna może uszkodzić funkcję i jej obserwatora. Dlatego należy określić model wad BIT, częstość uruchamiania, czas wykrycia, reakcję, ryzyko fałszywego alarmu i sposób sprawdzania samego mechanizmu. Zaliczenie BIT nie zastępuje metod strukturalnych ani niezależnego pomiaru analogowego. Ogólną rolę testowalności i funkcji wbudowanych ujmują wymagania jakościowe ECSS, natomiast ich rzeczywiste martwe pola wynikają z analizy konkretnej architektury.5

Testowalność wpisana w architekturę

Kosztowne luki powstają zwykle nie podczas pisania programu testowego, lecz wcześniej, gdy projekt zamyka dostęp do istotnego stanu. Modułowość, granice odpowiedzialności, punkty pomiarowe, pętle zwrotne i możliwość odczytu przyczyn resetu powinny być rozpatrywane razem z niezawodnością, integralnością sygnałów, kompatybilnością elektromagnetyczną, bezpieczeństwem i ochroną dostępu. Wytyczne IPC traktują testowalność jako część przeglądu projektu, a nie czynność dopisywaną po trasowaniu płytki.3

Punkt testowy nie jest darmowym oknem do obwodu. Dodaje pojemność i indukcyjność, może tworzyć odgałęzienie szybkiej linii, zajmuje miejsce i wymaga mechanicznego dojścia sondy. Jego położenie ocenia się na rzeczywistej geometrii adaptera, z uwzględnieniem ugięcia płytki, tolerancji pozycjonowania, powłoki ochronnej i zużycia kontaktu. Jeśli fizyczny punkt pogarsza badaną funkcję, właściwszy może być kontrolowany odczyt stanu wewnętrznego lub obserwacja pośrednia.

Tryb testowy jest funkcją urządzenia. Musi mieć jednoznaczne wejście i wyjście, określony stan po zaniku zasilania oraz zweryfikowane zachowanie po przerwaniu procedury. Nie powinien pozostawiać aktywnych wyjść ani obchodzić zabezpieczeń w sposób zależny wyłącznie od poprawności programu. Polityka dostępu musi uwzględniać produkcję, serwis, analizę uszkodzeń i kontrolę zmian.

Dobry podział systemu tworzy granice, które można pobudzać i obserwować przed kosztowną integracją. Nadmierny podział zwiększa jednak liczbę złączy, masę i liczbę punktów awarii. Granica testowa powinna odpowiadać poziomowi wymiany albo naprawy, o ile nie narusza ważniejszych właściwości konstrukcji.

Testowalność musi przetrwać przejście od prototypu do wyrobu. Wynik uzyskany przez dodatkowe sondy, otwartą obudowę lub specjalną wersję oprogramowania nie dowodzi zdolności testowej konfiguracji produkcyjnej. Jeżeli do badań służy kompilacja z analizatorem wewnętrznym albo rozszerzonym odczytem, trzeba wykazać jej równoważność z konfiguracją docelową albo ograniczyć zakres wniosku. W projektowaniu FPGA wymaga to korelacji symulacji, implementacji i obserwacji sprzętowych oraz kontroli wpływu instrumentacji na zasoby i zależności czasowe.6

Jeden tor dowodowy: od wzorca do decyzji

Automatyczne wyposażenie testowe (Automatic Test Equipment, ATE) nie jest neutralnym obserwatorem. Pełny tor dowodowy obejmuje źródła, obciążenia, przyrządy, przełączniki, adapter, sondy, przewody, uziemienie, oprogramowanie, wzorce, limity i bazę danych. Informacja przechodzi przez aparaturę, kontroler i algorytmy; błąd na każdym etapie może zmienić wynik.7

Miernik może mieć wystarczającą dokładność katalogową, a wynik pozostawać niewiarygodny z powodu spadku napięcia w przewodzie, rezystancji styku, upływu adaptera, niewłaściwego czasu ustalania albo błędnego punktu odniesienia. Matryca przekaźnikowa wnosi rezystancję, prądy upływu, pojemność i napięcia termoelektryczne. Multiplekser może przenieść ładunek z poprzedniego kanału. Przewód zmienia tłumienie, opóźnienie, sprzężenie i drogę ekranu.

Oprogramowanie ustawia zakres przyrządu, wybiera drogę przełączania, czeka na ustalenie, pobiera dane, przelicza jednostki, stosuje korekcje i porównuje wartość z limitem. Błędny operator, niejawne zaokrąglenie albo pomyłka jednostek może systematycznie zaakceptować całą serię. Automatyzacja nie usuwa błędu — wykonuje go szybciej i bardziej konsekwentnie.

Integralność stanowiska sprawdza się przed badaniem. Test własny może wykorzystywać pętle zwrotne lub artefakt kontrolny i powinien obejmować drogę możliwie blisko styku z wyrobem. Nie dowodzi jednak dobrego kontaktu z konkretnym egzemplarzem. Po jego zamocowaniu potrzebna jest osobna kontrola rzeczywistego styku. Test własny stanowiska, kontrola adaptera i kontrola kontaktu są odrębnymi dowodami.

Niezgodność któregokolwiek składnika wymaganej konfiguracji powinna zatrzymać sekwencję przed pobudzeniem. Próba pozostaje wtedy niewykonana albo pomiarowo nieważna; nie stanowi dowodu niezgodności wyrobu.

Wielkość mierzona, niepewność i reguła decyzji

Wielkość mierzona musi być zdefiniowana wraz z punktem, odniesieniem, czasem, obciążeniem i pasmem. „Napięcie zasilania” może oznaczać wskazanie źródła, wartość na zacisku stanowiska, napięcie przy wyrobie, średnią z określonego okna albo minimum podczas rozruchu. Każda definicja odpowiada na inne pytanie.

Budżet niepewności obejmuje wzorcowanie przyrządu, rozdzielczość, dryf, połączenia, środowisko, powtarzalność, model obliczeniowy i obróbkę danych. Spójność pomiarowa jest udokumentowanym, nieprzerwanym łańcuchem odniesień, w którym każde porównanie wnosi własną niepewność.8 Sama etykieta aktualnego wzorcowania nie dowodzi, że przyrząd jest odpowiedni dla danego pomiaru.

Wzorzec prawidłowej odpowiedzi może pochodzić z wymagania, niezależnego modelu, wartości odniesienia, zbioru danych albo własności matematycznej. Egzemplarz uznany za dobry może kontrolować stabilność stanowiska, lecz nie powinien sam wyznaczać prawdy: starzeje się i może zawierać tę samą wadę konstrukcyjną co badane sztuki.

Granica wymagania i próg akceptacji nie zawsze są identyczne. Gdy niepewność jest znacząca wobec tolerancji, pasmo ochronne może przesunąć próg akceptacji do wnętrza obszaru zgodności. Ogranicza to ryzyko przyjęcia wyrobu niespełniającego wymagania, ale zwiększa liczbę sztuk wymagających dalszej oceny. Regułę decyzji wybiera się przed poznaniem wyniku, na podstawie analizy ryzyka, i zapisuje wraz z użytym limitem. Nie istnieje jedna uniwersalna szerokość pasma ochronnego. ISO/IEC 17025 wiąże wiarygodność wyników między innymi z właściwą metodą, nadzorem nad wyposażeniem, oceną niepewności i jednoznaczną regułą decyzji.9

Jeżeli ważny pomiar nie pozwala orzec zgodności ani niezgodności, powtarzanie odczytu do chwili uzyskania korzystnej liczby nie zwiększa wiedzy. Rozwiązaniem jest poprawa zdolności metody, usunięcie dominującego źródła niepewności albo badanie odniesienia. Zmiana wymagania jest dopuszczalna tylko z niezależnego uzasadnienia technicznego.

Przypadek pierwszy: przerwane połączenie ukryte za aktywnym układem

Rozważmy połączenie cyfrowe biegnące między dwoma układami scalonymi. Wyprowadzenia są ukryte pod obudowami, a aktywna logika może wymuszać na linii stan lub odczytywać wartość ustalaną przez rezystor podciągający. W zwykłym teście funkcjonalnym interfejs pozornie działa, ponieważ badana sekwencja wykorzystuje tylko jeden stan albo oprogramowanie ponawia transmisję. Wada montażowa pozostaje ukryta.

Wymaganie i hipotezy. Wymaganie nie powinno ograniczać się do stwierdzenia „interfejs ma odpowiadać”. Musi obejmować ciągłość połączenia i zdolność przenoszenia obu istotnych stanów. Hipotezy konkurencyjne to przerwa ścieżki lub połączenia lutowanego, uszkodzenie wyprowadzenia, błąd konfiguracji komórki testowej, brak zasilania domeny, niezgodny opis BSDL, przerwa w adapterze oraz błąd wzorca testowego.

Inspekcja optyczna nie widzi ukrytych połączeń. Radiografia może ujawnić brak albo nieprawidłową geometrię spoiwa, ale obraz nie zawsze rozstrzyga o ciągłości elektrycznej. ICT byłby bezpośredni, gdyby istniał dostęp po obu stronach badanego odcinka; aktywne elementy i brak punktów pomiarowych mogą jednak uniemożliwić izolację.

Wymuszenie i obserwacja. Jeżeli oba układy mają zgodne komórki testu brzegowego, ich rdzenie funkcjonalne można odseparować, a jedno wyprowadzenie wykorzystać do wymuszenia kolejnych stanów, obserwując odpowiedź na drugim końcu. Najpierw potwierdza się integralność łańcucha, identyfikatory urządzeń, właściwą długość rejestrów i zgodność konfiguracji. Bez tego brak odpowiedzi mógłby wynikać z uszkodzenia samego dostępu.

Wzorce powinny sprawdzać oba poziomy i uwzględniać sąsiednie linie, ponieważ przerwa może być maskowana przez podciąganie albo sprzężenie. Trzeba też wykluczyć konflikt aktywnych sterowników. IEEE 1149.1 dostarcza mechanizmu dostępu, ale wykrywalność wynika z modelu płytki, typu komórek i ograniczeń bezpiecznego sterowania.4

Wynik badania. Załóżmy, że integralność łańcucha jest poprawna. Przy wymuszeniu jednego stanu odbiornik rejestruje wartość zgodną, natomiast po zmianie pobudzenia pozostaje przy poziomie ustalanym przez podciąganie. Sygnatura jest zgodna z przerwą, lecz nie wskazuje jej dokładnego miejsca. Nadal możliwe są uszkodzenie komórki wyjściowej, wejściowej albo lokalna wada połączenia.

Odwrócenie kierunku testu, jeśli architektura na to pozwala, może podzielić grupę niejednoznaczności. Radiografia lub dostępny pomiar elektryczny może następnie pomóc w lokalizacji fizycznej. Dopóki kilka przyczyn pozostaje zgodnych z obserwacją, wynik jest diagnostycznie nierozstrzygający, choć sam pomiar może być ważny.

Oddzielne dowody walidacyjne. Kontrolowana przerwa w dedykowanym artefakcie lub symulatorze wykazuje, że pobudzenie, obserwacja i algorytm decyzji potrafią wykryć tę klasę wady. Nie dowodzi integralności adaptera ani poprawnego styku z później badanym egzemplarzem.

Sprawność adaptera potwierdza się osobnym testem obejmującym jego drogę elektryczną możliwie blisko sond. Po zamocowaniu konkretnego wyrobu wykonuje się niezależną kontrolę kontaktu. Dopiero połączenie trzech informacji — zdolności wykrycia wzorcowej przerwy, sprawności adaptera i potwierdzonego styku — pozwala przypisać obserwację wyrobowi.

Decyzja. Wynik funkcjonalny „interfejs działa” nie unieważnia dowodu strukturalnego, ponieważ obie metody badają inne właściwości. Jeżeli wykazano zdolność detekcji, potwierdzono adapter i kontakt, a hipotezy błędu konfiguracji wykluczono, ważny wynik wskazujący przerwę uzasadnia orzeczenie niezgodności albo kontrolowaną lokalizację wady. Jeżeli zawiedzie kontrola adaptera, pomiar jest nieważny. Jeżeli kilka przyczyn wewnątrz wyrobu pozostaje nierozdzielonych, nie wolno wskazywać jednej z nich z fałszywą pewnością.

Przypadek pokazuje, że wykrycie wymaga wymuszenia stanu przeciwnego do tego, który linia przyjęłaby samoczynnie. Sama obserwacja logicznego zera lub jedynki nie stanowi dowodu ciągłości.

Przypadek drugi: parametr analogowy blisko granicy

Rozważmy parametr analogowy, dla którego wymaganie przewiduje górną granicę. Stanowisko mierzy wartość ustaloną w określonym punkcie, przy zadanym obciążeniu, temperaturze i paśmie. Wynik bliski limitu może pochodzić z rzeczywistego dryfu obwodu albo z wpływu zastosowanej metody.

Źródło i obciążenie muszą odtwarzać warunki wymagania, a punkt pomiaru powinien leżeć po właściwej stronie doprowadzeń. Gdy ich spadek jest istotny, stosuje się odpowiednio zaprojektowane oddzielne tory wymuszenia i pomiaru. Sama nazwa „pomiar czteroprzewodowy” nie wystarcza: wspólny pad albo fragment ścieżki nadal wpływa na wynik. W tym przypadku znaczenie mają także czas ustalania, zachowanie kontaktu oraz zgodność limitu z rewizją wyrobu.

Przyjmijmy, że wymaganie brzmi:

$$y \leq 5{,}00 \text{V}.$$

Stanowisko produkcyjne daje wynik:

$$x = 4{,}94 \text{V},$$

a rozszerzona niepewność dla tej konfiguracji wynosi:

$$U = 0{,}08 \text{V}.$$

Na podstawie analizy skutków fałszywej akceptacji przyjęto wcześniej regułę, według której wyrób można zaakceptować tylko wtedy, gdy:

$$x \leq L-U.$$

Dla $L=5{,}00 \text{V}$ próg akceptacji wynosi $4{,}92 \text{V}$. Wynik $4{,}94 \text{V}$ nie spełnia tej reguły. Nie oznacza to jeszcze przekroczenia wymagania: wartość znajduje się między progiem akceptacji a granicą specyfikacji. Pomiar jest ważny, ale na tym etapie nie rozstrzyga o zgodności.

Reguła $L-U$ jest jedynie przykładem pasma ochronnego wybranego dla założonej alokacji ryzyka. Nie jest zasadą uniwersalną. Inny rozkład błędów, krytyczność albo asymetria skutków decyzji mogą uzasadniać inną regułę. Nie wolno natomiast dobierać jej po obejrzeniu wyniku.9

Wyrób zostaje zmierzony bez zmiany wymaganych warunków na torze odniesienia o lepszej zdolności. Pomiar daje:

$$x_\mathrm{ref}=5{,}03 \text{V}, \qquad U_\mathrm{ref}=0{,}02 \text{V}.$$

Dolna granica przedziału uwzględniającego tę niepewność wynosi $5{,}01 \text{V}$, pozostaje więc powyżej granicy wymagania $5{,}00 \text{V}$. Kontrola metody odniesienia za pomocą scharakteryzowanego artefaktu nie ujawnia istotnego przesunięcia, a ponowne zamocowanie badanego egzemplarza nie zmienia rezultatu poza oczekiwanym rozrzutem.

Decyzja. Pierwszy wynik był ważny, ale nierozstrzygający według ustanowionej reguły. Pomiar odniesienia dostarczył ważnego dowodu przekroczenia wymagania; końcową decyzją jest niezgodność wyrobu. Gdyby wykazano błąd stanowiska produkcyjnego, pierwotny wynik należałoby unieważnić i ocenić wpływ na wcześniejsze badania. Gdyby dokładniejsza metoda nadal nie rozdzielała zgodności od niezgodności, wynik pozostałby nierozstrzygający.

Przypadek trzeci: błąd rozruchu znikający po ponowieniu

Badany moduł czasem nie kończy pierwszego rozruchu. Program po przekroczeniu czasu oczekiwania automatycznie zeruje urządzenie i ponawia próbę. Drugi rozruch jest zwykle prawidłowy, więc raport kończy się wynikiem „zaliczono”. Automat usuwa stan, który miał zbadać, i zaciera najwcześniejszy zaobserwowany symptom.

Wymaganie i hipotezy. Wymaganie powinno osobno obejmować rozruch od stanu bezenergetycznego, ponowny rozruch po resecie oraz zachowanie po zakłóceniu zasilania. Są to różne warunki początkowe. Hipotezy pierwszej nieudanej próby obejmują niewłaściwą kolejność napięć, opóźnioną stabilizację zegara, marginalny próg resetu, stan zachowanej pamięci, przeciążenie źródła, niestabilny kontakt, błąd komunikacji, nieprawidłowy czas oczekiwania i wadę oprogramowania urządzenia.

Jeżeli automat wykonuje reset przed zapisaniem prądu, napięcia, przyczyny resetu i surowej komunikacji, większości hipotez nie można później rozdzielić. „Nie znaleziono wady” oznacza wtedy tylko, że procedura nie odtworzyła wcześniejszego stanu.

Obserwacja i stan początkowy. Rejestracja powinna rozpocząć się przed wysłaniem pierwszej komendy. Potrzebne są zsynchronizowane obserwacje wielkości rozdzielających hipotezy: przebieg zasilania i poboru, stan resetu, dostępny sygnał gotowości, znaczniki czasu komunikacji oraz zdarzenia stanowiska. Próbkowanie musi być dostatecznie szybkie wobec spodziewanego zaburzenia, a bufor wyzwalany zdarzeniem powinien zachowywać także dane sprzed błędu.

Stan początkowy należy potwierdzić, nie tylko zadeklarować. Wyłączenie programowe może pozostawić naładowane pojemności lub podtrzymywane dane. Zimny rozruch trzeba odróżnić od ciepłego restartu; w systemach FPGA rejestry, pamięci i potoki wyjściowe mogą mieć odmienne mechanizmy inicjalizacji.6

Najwcześniejszy symptom. Załóżmy, że pierwsza próba pokazuje krótkie zapadnięcie napięcia, przerwę w sekwencji rozruchowej i brak sygnału gotowości. Po resecie przebieg jest prawidłowy, ponieważ część obwodów pozostaje już ustalona. Drugi wynik nie obala pierwszego. Dowodzi jedynie, że urządzenie potrafi uruchomić się z innym stanem początkowym.

Pierwszy zapis trzeba zachować jako najwcześniejszy zaobserwowany symptom, lecz nie wolno przedstawiać go automatycznie jako zdarzenia najbliższego pierwotnej przyczynie. Przyczyna mogła wystąpić wcześniej, pozostać nieobserwowana albo ujawnić się dopiero przez zależności wtórne. Wartość zapisu polega na tym, że poprzedza reset, procedurę odzyskiwania i błędy kaskadowe. Jest punktem wyjścia do analizy, nie gotową diagnozą.

Aby odróżnić wyrób od stanowiska, należy zestawić wskazanie źródła z niezależnym pomiarem przy module i zapisem prądu. Zapadnięcie widoczne tylko przy wyrobie może wskazywać doprowadzenie lub styk; zadziałanie ograniczenia źródła wraz z powtarzalną sygnaturą konkretnej sztuki wspiera hipotezę nadmiernego poboru. Dobra sztuka kontrolna sprawdza zdolność stanowiska do prawidłowego rozruchu, a symulator zdarzenia — zdolność programu do jego przechwycenia.

Retest i komendy nieidempotentne. Ponowienie może służyć diagnozie, ale otrzymuje osobny identyfikator i nie zmienia pierwszego zapisu na czyste „zaliczono”. „Zaliczono po ponowieniu” wskazuje zachowanie odmienne od bezwarunkowego spełnienia wymogu pierwszego rozruchu.

Komenda nieidempotentna to taka, której ponowne wykonanie może dalej zmienić stan zamiast pozostawić go takim samym. Może zwiększyć licznik, dopisać dane, rozpocząć kolejny cykl, przełączyć mechanizm albo wykonać operację tylko częściowo odwracalną. Jeśli po wysłaniu komendy utracono odpowiedź, nie wiadomo, czy nie dotarła, czy została wykonana, a zaginęło potwierdzenie. Automatyczne powtórzenie może wykonać ją drugi raz i zniszczyć stan potrzebny do diagnozy. Najpierw trzeba, w dostępnym zakresie, ustalić rzeczywisty stan urządzenia.

Decyzja. Potwierdzona awaria zasobu stanowiska unieważnia próbę. Ważna obserwacja, która nie rozdziela styku, przeciążenia i błędu oprogramowania, pozostaje diagnostycznie nierozstrzygająca. Jeżeli jednak przy wymaganym stanie początkowym i sprawnym torze potwierdzono niespełnienie wymogu rozruchu, poprawny ciepły restart nie usuwa niezgodności wyrobu.

Automatyzacja jako jawny automat stanów

Program testowy powinien odzwierciedlać fizyczny stan stanowiska i wyrobu. Użyteczny model obejmuje stan spoczynku, konfigurację, kontrole bezpieczeństwa, zasilenie, pomiar, kontrolowane wyłączenie, zakończenie, przerwanie i awarię. Każde przejście ma warunki wejściowe, działania, możliwe błędy i określony stan końcowy.

Warunki wstępne powinny być mierzone albo potwierdzane niezależnie. Po badaniu urządzenie i stanowisko muszą wrócić do określonego stanu: wyjścia są nieaktywne, źródła odłączone, energia rozładowana, a tryby testowe zamknięte. Obsługa wyjątku nie może omijać bezpiecznego wyłączenia ani zamieniać braku danych w wartość pozytywną.

Oprogramowanie wpływające na decyzję wymaga testów jednostkowych konwersji, limitów i obliczeń, testów integracyjnych z rzeczywistymi przyrządami oraz regresji obejmującej naprawione błędy. Symulator przyrządu jest użyteczny, lecz często odtwarza założenia autora programu i nie zastępuje próby na sprzęcie.

Silnik limitów powinien rozróżniać granice otwarte i domknięte, kryteria jednostronne i dwustronne, wartości nieważne oraz warunkowe stosowanie limitu. Decyzji nie podejmuje się na podstawie liczby zaokrąglonej do prezentacji. Raport zachowuje wartość używaną w obliczeniu, jednostkę, rewizję limitu i zastosowaną regułę.

Równoległe wykonywanie testów wymaga kontroli współdzielonych zasobów. Jeden test nie może zmieniać zakresu przyrządu ani trasy połączenia używanej przez drugi. Działania bezpieczeństwa mają pierwszeństwo przed harmonogramem i nie powinny zależeć od oczekiwania na zwolnienie programowej blokady.

Walidacja testu za pomocą wad i wzorców

Program uruchomiony na jednej dobrej sztuce dowodzi tylko, że potrafi przejść przynajmniej jedną korzystną ścieżką. Walidacja musi wykazać zdolność przyjęcia wyrobu zgodnego, odrzucenia reprezentatywnych wad, rozpoznania nieważnej konfiguracji i bezpiecznego zakończenia po przerwaniu.

Egzemplarz wzorcowo dobry musi mieć znaną konfigurację, scharakteryzowane odpowiedzi, historię użycia i przechowywania, dopuszczalny dryf oraz niezależne potwierdzenie najważniejszych cech. Naprawa, przeprogramowanie lub wymiana elementu wymaga ponownej charakterystyki. Jeden egzemplarz nie reprezentuje całego zakresu; artefakty o różnych wartościach pomagają rozróżnić przesunięcie zera, błąd wzmocnienia i nieliniowość.

Artefakt z kontrolowaną wadą odpowiada na inne pytanie: czy tester rzeczywiście odrzuca określoną klasę uszkodzeń. Wada powinna odpowiadać modelowi, być stabilna, bezpieczna i wolna od niekontrolowanych skutków ubocznych. Przypadkowo uszkodzona płytka jest słabym wzorcem negatywnym, ponieważ może zawierać kilka współzależnych wad.

Zasiewanie wad może wykorzystywać dedykowany egzemplarz, symulator, przełączany moduł wtrącania uszkodzeń albo kontrolowaną zmianę modelu. Eksperyment nie powinien sprawdzać wyłącznie pojawienia się flagi negatywnej. Rzeczywista przyczyna musi znaleźć się w deklarowanej grupie podejrzanych, a system nie może z fałszywą pewnością wskazać innego elementu. Jeśli wymagana jest lokalizacja do modułu, taka rozdzielczość może wystarczyć; jeśli oczekuje się wskazania połączenia, trzeba potwierdzić mniejszą grupę niejednoznaczności.

Symulacja pozwala szeroko zbadać klasy przypadków, natomiast sprzętowo reprezentatywny zasiew potwierdza rzeczywistą drogę pobudzenia i obserwacji. Walidacja przez przypadki pozytywne, negatywne, graniczne, nieważne i przerwane odpowiada ogólnej logice kwalifikowania metod: należy wykazać, że określony zestaw testowy mierzy wymagane parametry, wykrywa przewidziane klasy wad i poprawnie reaguje na niesprawność własnych zasobów.1,5

Wartości graniczne podaje się po obu stronach progu oraz w paśmie ochronnym. Pozwala to wykryć błędną jednostkę, odwrócony operator, niewłaściwe domknięcie przedziału i decyzję opartą na wartości wyświetlanej zamiast obliczeniowej. Osobno bada się utratę komunikacji, niezgodną konfigurację, częściowy zapis danych, zanik zasilania i przerwanie sekwencji.

GR&R i korelacja stanowisk

Analiza powtarzalności i odtwarzalności systemu pomiarowego (Gauge Repeatability and Reproducibility, GR&R) ocenia, jaka część obserwowanego rozrzutu pochodzi z procesu pomiaru. Badanie powinno obejmować egzemplarze reprezentujące rzeczywisty zakres, losową kolejność oraz ponowne wykonanie czynności istotnych dla produkcji, takich jak zamocowanie i zestawienie połączeń.

Powtarzalność dotyczy wyników uzyskiwanych w tych samych warunkach. Jej pogorszenie może wskazywać szum, niestabilny kontakt, niewłaściwy czas ustalania albo zmienność wyrobu. Seria odczytów z jednego nieprzerwanego zapisu często zaniża rzeczywistą zmienność procesu, ponieważ nie obejmuje ponownego zamocowania.

Odtwarzalność obejmuje wpływ operatora, stanowiska, adaptera albo czasu — zależnie od badanego procesu. Nawet przy pełnej automatyzacji człowiek wpływa na zamocowanie, czyszczenie styków i ułożenie przewodów. Wyniku GR&R nie należy interpretować wyłącznie za pomocą mechanicznego progu procentowego. Trzeba zrozumieć fizyczne źródła zmienności, ich interakcje i znaczenie rozrzutu wobec granicy decyzji.

GR&R nie zastępuje wzorcowania, analizy błędu systematycznego, liniowości ani stabilności w czasie. System może być bardzo powtarzalny, lecz stale zawyżać wynik. Zdolność pomiarową ocenia się zatem także względem wartości odniesienia i w całym używanym zakresie.8

Korelacja stanowisk wymaga wspólnych, scharakteryzowanych artefaktów reprezentujących zakres zastosowania, w tym wartości bliskie limitom. Porównuje się dane surowe, przesunięcie, nachylenie zależności, rozrzut i zachowanie dynamiczne. Zgodność samych decyzji dla łatwych egzemplarzy jest słabym dowodem: dwa stanowiska mogą jednakowo klasyfikować sztuki odległe od granicy, a różnić się tam, gdzie ryzyko jest największe.

Kolejność prób warto zmieniać, aby oddzielić dryf artefaktu od różnicy stanowisk. GR&R opisuje zmienność procesu pomiarowego, a korelacja — równoważność jego różnych realizacji. Obie analizy należą do jednego dowodu zdolności metody.7,8

Dane, identyfikowalność i znaczenie wyniku

Raport powinien zachowywać dane możliwie bliskie pierwotnemu wyjściu przyrządu, jego ustawienia oraz wartości wyprowadzone przez oprogramowanie. Wynik przeliczony wskazuje wersję algorytmu i dane wejściowe. Późniejsze przeliczenie stanowi osobny zapis analityczny; nie może udawać, że nowa metoda była użyta podczas pierwotnej decyzji.

Z wynikiem należy powiązać identyfikację wyrobu i jego rewizji, konfigurację badania, użyte wyposażenie, wersję programu oraz pakiet limitów. Dla krótkotrwałych zdarzeń czas odbioru komunikatu przez komputer nie jest równoważny chwili pomiaru. Potrzebna jest wspólna oś czasu, znana dokładność synchronizacji albo wyzwalanie sprzętowe.

Każde ponowienie, ręczna zmiana, odstępstwo i korekta powinny pozostawiać ślad obejmujący autora, czas, przyczynę oraz zatwierdzenie. Pozwala to później odtworzyć przebieg próby bez zastępowania pierwotnych danych interpretacją sporządzoną po fakcie.

Formaty wymiany danych dla automatycznych systemów testowych mogą ułatwiać przenoszenie opisów testów, konfiguracji i wyników. Zgodność ze schematem nie gwarantuje jednak poprawności fizycznego znaczenia jednostek, limitów i zasobów. Rodzina IEEE 1671 opisuje struktury informacji dla takich systemów, lecz walidacja semantyki pozostaje odpowiedzialnością organizacji stosującej dane.10

Bezpieczeństwo i granica jawności

Bezpieczeństwo stanowiska nie może zależeć wyłącznie od kolejności komend programu. Niezależne rozwiązania sprzętowe powinny ograniczać energię, blokować niedozwolone połączenia i doprowadzać układ do stanu bezpiecznego po utracie sterowania. Zwykłe zakończenie, kontrolowane przerwanie i zatrzymanie awaryjne mają różne cele i nie powinny być jedną funkcją interfejsu.

Stan zamknięcia adaptera, ciągłość przewodu ochronnego i brak napięcia resztkowego trzeba potwierdzać przed dostępem do urządzenia. Upływ czasu od wyłączenia nie jest dowodem rozładowania. Reset zatrzymania awaryjnego nie powinien automatycznie przywracać pobudzeń; system najpierw wraca do stanu bezenergetycznego i ponownie ustanawia warunki wstępne.

Test strukturalny lub brzegowy może ominąć normalną logikę sterowania wyjściem. Zabezpieczenie programowe umieszczone w omijanej ścieżce nie jest wtedy niezależne. Dla niebezpiecznych funkcji stosuje się zatwierdzone stanowiska, fizyczne blokady, bezpieczne emulatory i odpowiednio kwalifikowany personel.

Jawny opis techniczny może omawiać modele wad, pokrycie, metrologię, ogólną architekturę ATE, test brzegowy, ICT, BIT i zasady kwalifikacji oprogramowania. Nie powinien ujawniać map wyprowadzeń, topologii łańcuchów dostępu, komend serwisowych, sekwencji odblokowania, słowników wad, sygnatur wzorcowych, rzeczywistych limitów ani fizycznego dostępu testowego konkretnego współczesnego systemu bojowego. Dane te mogą ujawniać topologię, stany sterowania i słabe punkty diagnostyczne.

Wiarygodność testu można ocenić bez publikowania danych wykonawczych urządzenia. Wystarczy wykazać spójność między skutkiem, modelem wad, pobudzeniem, obserwacją, niepewnością, regułą decyzji i kontrolą stanowiska.

Utrzymanie pokrycia po zmianie

Pokrycie nie jest własnością nadaną raz na zawsze. Zmiana wyrobu, oprogramowania, konfiguracji logiki programowalnej albo stanowiska może wpłynąć na pobudzenie, obserwację i decyzję. Nawet poprawka pozornie niezwiązana z testem może usunąć dostęp do stanu, zmienić rozruch albo wprowadzić nowe zachowanie czasowe.

Każda zmiana wymaga analizy wpływu na wymagania, model wad, pokrycie, niepewność, bezpieczeństwo i równoważność wyników. Zakres regresji powinien wynikać z mechanizmu zmiany i objąć współdzielone drogi, przypadki negatywne, błędy zasobów oraz bezpieczne przerwanie. Naprawa wyrobu wymaga sprawdzenia funkcji naprawionej i obszarów, które mogły zostać naruszone podczas prac.

Jeżeli przyrząd podczas wzorcowania okaże się poza tolerancją, trzeba zachować wynik sprzed regulacji i ocenić wpływ od ostatniego wiarygodnego potwierdzenia jego stanu. Nie każdy historyczny wynik musi zostać unieważniony, ale potencjalnie dotkniętego zakresu nie wolno pominąć.

Dane produkcyjne powinny aktualizować model wad i strategię pokrycia. Wysoki udział wyników pozytywnych nie jest sukcesem, jeśli rośnie liczba niezgodności ujawnianych poza testem. Liczne odrzuty nie muszą natomiast oznaczać złego wyrobu, gdy ich źródłem jest niestabilność systemu pomiarowego.

Od wymagania do technicznie uczciwej decyzji

Spójny proces testowy tworzy jeden łańcuch zależności:

  1. Skutek — określenie utraty lub degradacji funkcji, która ma znaczenie.
  2. Model wad — wskazanie klas przyczyn mogących wywołać ten skutek.
  3. Wymuszenie — wybór osiągalnego i bezpiecznego stanu ujawniającego wadę.
  4. Obserwacja — ustalenie wielkości, miejsca, czasu i pasma pomiaru.
  5. Tor dowodowy — kwalifikacja kompletnej drogi od pobudzenia do zapisu wyniku.
  6. Niepewność — ocena zdolności rozpoznania istotnej różnicy.
  7. Kryterium — ustanowienie oczekiwania, limitów i reguły decyzji przed poznaniem wyniku.
  8. Walidacja — potwierdzenie ścieżek pozytywnych, negatywnych, granicznych i nieważnych.
  9. Decyzja — przypisanie wyniku tylko w granicach ważnego dowodu.
  10. Informacja zwrotna — wykorzystanie danych z produkcji, napraw i eksploatacji do aktualizacji strategii.

Nie każdy test musi lokalizować wadę do pojedynczego elementu. Każdy musi jednak jasno określać granicę własnego wniosku. Jeśli nie spełniono warunków wstępnych, wyniku nie wolno przypisywać wyrobowi. Jeśli ważna obserwacja pasuje do kilku przyczyn, nie wolno zastępować nierozstrzygnięcia pewną diagnozą. Jeśli wynik leży w obszarze niejednoznacznym metrologicznie, nie wolno wymuszać decyzji przez wybieranie korzystnych pomiarów. Rozbieżność metod jest przedmiotem analizy, a nie powodem do odrzucenia mniej wygodnego wyniku.

Dojrzałe projektowanie dla testowalności polega na zachowaniu ciągłości rozumowania od skutku awarii do uzasadnionej decyzji. Tester dostarcza dowodu jakości dopiero wtedy, gdy potrafi poprawnie rozpoznać wyrób zgodny, wykryć reprezentatywną wadę, ujawnić własną niesprawność, uczciwie pozostawić wynik nierozstrzygnięty i zachować dane potrzebne do odtworzenia zdarzenia.