Brak istotnej różnicy w degustacji: dlaczego nie dowodzi identyczności

Brak istotnego wyniku nie oznacza automatycznie, że produkty są identyczne. Może oznaczać również zbyt mało danych albo małą zdolność metody do wykrycia interesującej zmiany. Wniosek powinien odpowiadać zaplanowanemu pytaniu statystycznemu.

01Niewykrycie różnicy nie jest dowodem podobieństwa

Test różnicy i wykazanie podobieństwa wymagają innego sposobu planowania decyzji. Samo nieodrzucenie hipotezy nie zamienia się w dowód, że żadna praktycznie ważna różnica nie występuje.

02Sprawdź cel, minimalny efekt i liczebność badania

• Sprawdź, jakie pytanie i minimalny efekt zapisano przed badaniem oraz jak dobrano liczebność próby.
• Raportuj wynik wraz z miarą niepewności właściwą dla metody, jeśli można ją rzetelnie wyznaczyć.
• Rozdziel istotność statystyczną od znaczenia technologicznego i akceptacji produktu przez konsumentów docelowych.
• Jeżeli celem jest podobieństwo, zaplanuj odpowiednią metodę i kryterium zamiast zmieniać interpretację po wyniku.

Przy ocenie wyniku sprawdź także zgodność wykonania z planem: rezygnacje, błędne kolejności lub utratę części próbek. Badanie może mieć mniejszą zdolność wykrywania niż zakładano na początku. Nie przedstawiaj samego progu p jako wielkości efektu. Jeżeli dane pozwalają, pokaż estymatę i jej niepewność, odnosząc je do praktycznego kryterium. Wniosek o podobieństwie wymaga wcześniej określonej akceptowalnej różnicy i właściwej procedury. Ustalenie marginesu po zobaczeniu wyników może jedynie opisywać analizę rozpoznawczą, a nie zaplanowane potwierdzenie równoważności sensorycznej produktu. Raportuj również zakres różnic zgodnych z danymi, jeśli pozwala na to zaplanowana analiza. Sam komunikat o braku istotności nie pokazuje, jak dużej różnicy badanie nadal nie wyklucza.

03Ogranicz wniosek do osób, próbek i metody

Sformułowanie „w tych warunkach nie wykryto różnicy” jest precyzyjniejsze niż „produkty są takie same”. Nadal wymaga wskazania osób, próbek i metody.

Nie podano uniwersalnego progu podobieństwa. Wybór marginesu ma znaczenie dla decyzji i powinien być uzasadniony przed analizą danych.

04Przedział wyniku i granica praktycznego podobieństwa

Przykład dotyczy różnicy średnich ocen na ustalonej skali, nie tablic decyzyjnych testu trójkątowego. Załóżmy, że przed badaniem zespół uzasadnił zakres różnic akceptowalnych praktycznie jako od −0,5 do +0,5 punktu. Przedział dla oszacowanej różnicy od −0,8 do +1,2 obejmuje zero, ale obejmuje również różnice poza tym zakresem. Nie potwierdza więc sam w sobie założonego podobieństwa.

Inny wynik, mieszczący się w całości we wcześniej ustalonym zakresie, może wspierać wniosek w odpowiednio zaplanowanej analizie równoważności. Nadal nie dowodzi identyczności wszystkich właściwości produktów. Poziom przedziału, metoda i reguła decyzji muszą wynikać z planu, a nie z dopasowania po obejrzeniu danych.

W raporcie nazwij właściwą cechę, badaną grupę i warunki podania. ISO 4120 rozróżnia pytania o różnicę i podobieństwo w obrębie swojej metody; nie uprawnia to do swobodnego zamieniania celu badania po otrzymaniu nieistotnego wyniku.

05Istotność i znaczenie praktyczne mogą prowadzić do różnych opisów

Zespół rozwijający produkt często potrzebuje odpowiedzi, czy zamiana surowca zachowała właściwość w dopuszczalnym zakresie. Pytanie o dokładnie zerową różnicę jest inne. Bardzo precyzyjne badanie może wykryć małą zmianę, która nadal spełnia uzasadnione wymaganie projektu. Nie oznacza to sprzeczności statystyki, tylko porównanie danych z dwiema różnymi granicami: zerem oraz zakresem przyjętym praktycznie.

W procedurze TOST sprawdza się obie strony określonego zakresu. Dla standardowej konstrukcji przy poziomie alfa 0,05 równoważność wiąże się z umieszczeniem odpowiedniego dwustronnego 90 % przedziału wewnątrz granic. To nie jest pozwolenie na dowolny wybór węższego przedziału. Poziom i sposób jego obliczenia wynikają z planowanej procedury oraz założeń dotyczących danych.

Margines powinien mieć uzasadnienie w znaczeniu cechy, wymaganiach produktu i dostępnych wcześniejszych informacjach. Nie należy rozszerzać go dopiero po niekorzystnym wyniku, aby pomieścił otrzymany przedział. Jeśli granica jest rozpoznawcza, trzeba tak nazwać analizę i zaplanować potwierdzenie. Statystyczna forma wyniku nie naprawia braku sensownej definicji tego, co firma uważa za wystarczająco podobne.

06Hipotetyczny wynik jednocześnie różny i równoważny

Załóżmy dla jednej cechy wcześniej uzasadniony margines od minus 0,30 do plus 0,30 punktu. Hipotetyczne oszacowanie różnicy wynosi 0,12 punktu, a błąd standardowy 0,04. Do rachunku przyjmujemy normalne przybliżenie rozkładu estymatora i właściwie uwzględnioną strukturę danych. Nie wyprowadzamy tych wielkości z rzeczywistego panelu ani nie proponujemy marginesu dla konkretnego produktu.

Przedział 90 % wynosi w przybliżeniu od 0,054 do 0,186, ponieważ 0,12 pomniejszamy i powiększamy o 1,645 razy 0,04. Mieści się wewnątrz przyjętych granic. Przedział 95 % wynosi około 0,042 do 0,198, po użyciu współczynnika 1,96, i nie obejmuje zera. W tym modelowym układzie wynik wspiera równoważność według marginesu, a zarazem wykrycie niezerowej różnicy.

Wniosek brzmi więc: zmiana została wykryta, lecz jej zakres mieści się w uprzednio uzasadnionym kryterium dla tej cechy. Nie brzmi: produkty są identyczne. Przy małej próbie, innym modelu lub złożonej strukturze powtórzeń obliczenie przedziałów może wymagać innej metody. Współczynników przykładu nie należy kopiować do arkusza bez oceny założeń konkretnego badania i jego jednostki analizy.

07Jakie działanie wynika z poszczególnych rezultatów

Jeżeli dane potwierdzają równoważność dla cechy krytycznej i spełniono pozostałe wymagania projektu, można przejść do kolejnej bramki kwalifikacji. Jeżeli przedział wychodzi poza granicę, sam wynik nie rozstrzyga jeszcze, czy produkt na pewno jest niedopuszczalny. Może oznaczać zbyt dużą różnicę albo niedostateczną precyzję. Wielkość oszacowania i szerokość przedziału pomagają odróżnić te sytuacje.

Gdy nie wykazano ani różnicy, ani równoważności, raport powinien zachować wynik nierozstrzygający. Decyzja o dodatkowym badaniu wymaga oceny, czego zabrakło: uczestników, niezależnych partii, stabilnego przygotowania czy właściwej metody. Nie zwiększaj liczby ocen przez dopisywanie kolejnych porcji tych samych osób jako nowych niezależnych uczestników; taka zmiana nie usuwa wszystkich źródeł niepewności.

Jeżeli potrzebna jest akceptacja całego produktu, jedna równoważna cecha nie zamyka zadania. Zamiana surowca może zachować słodycz, a zmienić posmak lub teksturę. Kryteria krytyczne należy ustalić wcześniej i odpowiednio zaplanować analizę. Wynik panelu opisowego nie zastępuje również oceny lubienia ani spełnienia wymagań bezpieczeństwa, stabilności i procesu produkcyjnego.

08Co przygotować przed zleceniem podobieństwa

Opisz konsekwencję zbyt dużej różnicy i cechę, której dotyczy decyzja. Przekaż wcześniejszą zmienność, sposób zbierania ocen i zakres partii planowanych do porównania. Na tej podstawie można uzasadnić margines oraz liczbę jednostek potrzebną do wybranej precyzji lub mocy. Nie istnieje jedna liczebność odpowiednia do wszystkich produktów i wszystkich granic równoważności.

Do raportu dołącz dokumentację momentu ustalenia kryteriów. Zaznacz odstępstwa od planu oraz to, czy analiza była potwierdzająca czy rozpoznawcza. Tak przygotowany wynik jest użyteczny także wtedy, gdy nie daje zgody na zmianę: pokazuje, czy warto poprawiać produkt, sposób pomiaru czy zakres badania, zanim firma podejmie kolejną decyzję technologiczną.

09Pytania, które pojawiają się w praktyce

Czy brak różnicy w teście trójkątowym można opisać marginesem punktowym?

Nie bez odpowiedniego modelu i uzasadnienia. Test trójkątowy zbiera inne dane niż skala natężenia, więc granica w punktach nie jest bezpośrednio jego parametrem. Podobieństwo trzeba planować w ramach właściwej metody i jej założeń. Przykład przedziałów dla średniej nie zastępuje reguł analizy liczby poprawnych wskazań ani planowania testu odróżniania.

Czy można ustalić granicę tylko według dostępnego budżetu?

Budżet wpływa na wykonalność badania, ale nie nadaje sam w sobie znaczenia różnicy. Najpierw trzeba określić, jaka zmiana ma znaczenie dla decyzji o produkcie. Jeśli zasoby nie pozwalają na jej wiarygodną ocenę, należy zawęzić cel lub jawnie opisać ograniczenie. Szerszy margines wybrany wyłącznie dla wygodnego wyniku może nie odpowiadać rzeczywistej potrzebie klienta.

10Następny krok

Przejrzyj wniosek ostatniego raportu i sprawdź, czy nie wykracza poza pytanie oraz zdolność badania.

W raporcie zachowaj metodę, liczebność i założenia dotyczące różnicy istotnej dla decyzji. Jeśli plan miał małą zdolność wykrycia takiej różnicy, brak sygnału nie jest silnym dowodem podobieństwa. Nie zmieniaj po fakcie pytania z wykrywania różnicy na potwierdzanie identyczności. Właściwy wniosek powinien odpowiadać temu, co rzeczywiście zbadano.