Wykrywanie treści AI, inaczej określane detekcją AI, jest modułem (inaczej detektorem) dostarczającym informację o prawdopodobieństwie, z jakim wgrany do sprawdzenia tekst został utworzony przy użyciu narzędzi sztucznej inteligencji opartych na GPT tj. GPT-2, GPT-J, GPT-NEO, GPT-3 lub GPT-4, Przykładowe narzędzia to ChatGPT, Bing, Gemini, Jasper. Detektor jest trenowany do tego, aby odróżnić teksty pisane przez człowieka od tekstów generowanych przez sztuczną inteligencję, a jednym z elementów oceny prawdopodobieństwa jest określenie przewidywalności lub przypadkowości słów w tekście. Detektor analizuje teksty, aby zidentyfikować charakterystyczne cechy modeli językowych. Wykorzystuje do tego techniki uczenia maszynowego. Na podstawie dużej ilości danych treningowych rozpoznaje cechy charakterystyczne dla tekstów tworzonych przez AI.
Detektor jest narzędziem wspierającym weryfikację oryginalności tekstów, zapewnia skuteczność na poziomie 95%, jednak nie jest doskonały i mogą zdarzyć się fałszywe pozytywne i fałszywie negatywne wyniki.
Podobnie jak w przypadku Raportu Podobieństwa, zadaniem systemu nie jest wykonanie samoistnej oceny, czy badany dokument został napisany samodzielnie, a jedynie dostarczenie materiału do jej dokonania. Z tego względu Raport Wykrywania treści AI powinien być zawsze poddany analizie przez kompetentną osobę.
Aby zapoznać się z wynikami raportu wykrywania treści AI należy przejść na zakładkę „Detekcja AI” w menu po lewej stronie ekranu.
Dla ułatwienia szybkiej oceny poszczególnych fragmentów pracy wprowadzono legendę oznaczania fragmentów według 5 zakresów procentowych, z których każdy oznaczony jest innym kolorem. Treść badanego dokumentu jest wyświetlana po prawej stronie ekranu i jest ona oznaczona kolorem przypisanym do odpowiedniego zakresu. Po najechaniu kursorem myszy na konkretny fragment wyświetli się informacja o dokładnym prawdopodobieństwie użycia AI dla danego fragmentu.
Sekcja prezentuje wskaźnik określający jaka część tekstu została uznana za prawdopodobnie wygenerowaną przy użyciu narzędzi AI. Wynik przedstawiony procentowo, od 0 do 100%, informuje o udziale treści zidentyfikowanych w tekście analizowanego dokumentu jako stworzone z wykorzystaniem sztucznej inteligencji. Wskaźnik prezentuje, jaka część tekstu mogła zostać wytworzona z wykorzystaniem sztucznej inteligencji, czyli dla których fragmentów prawdopodobieństwo jej użycia przekracza ustawiony próg. Domyślnie wartość progu ustawiona jest na 80% (0,8 w skali o wartościach od 0 do 1). W tej sekcji udostępniona została zaznaczona domyślnie funkcja "Wyświetl tylko fragmenty o silnych cechach AI" prezentująca w tekście jedynie fragmenty o wysokim prawdopodobieństwie AI, czyli wliczające się do wyniku „Zawartość treści AI w tekście”.
Wyłączenie opcji "Wyświetl tylko fragmenty o silnych cechach AI" podświetli wszystkie fragmenty zgodnie z legendą kolorów.
Za pomocą suwaka umieszczonego w drugiej sekcji osoba analizująca raport może zmienić wartość progową wykrywania AI a system automatycznie przeliczy wynik. Umożliwia to sprawdzenie, jak zmienia się ocena tekstu przy różnych ustawieniach czułości. Suwaka warto użyć, gdy wynik jest niejednoznaczny - jeśli wskaźnik treści AI jest bliski 50%, można sprawdzić jak podniesienie lub obniżenie progu zmieni ocenę tekstu. Przesunięcie suwaka w lewo powoduje zmniejszenie progu prawdopodobieństwa AI. Przesunięcie w prawo powoduje jego zwiększenie.
Samodzielne dostosowanie poziomu analizy do konkretnego przypadku pozwala lepiej zrozumieć, które fragmenty tekstu budzą największe wątpliwości – i z jaką pewnością zostały ocenione przez system.
Na przykład, jeśli suwak zostanie ustawiony na 0,40 (40%) wówczas system:
wskaże, jaki procent tekstu ma prawdopodobieństwo AI powyżej 40%, co będzie oznaczało, że X% tekstu zawiera fragmenty z prawdopodobieństwem powyżej 40%.
podświetli wszystkie fragmenty powyżej tego progu,
wypisze te fragmenty w sekcji "Szczegóły".
W trzeciej sekcji dostępna jest lista fragmentów tekstu uszeregowana od fragmentów z najwyższym wynikiem prawdopodobieństwa do fragmentów z najniższym. Opcja lupki („Pokaż w tekście”) umożliwia osobie oceniającej tekst szybkie przeniesienie się do konkretnego fragmentu w celu szczegółowej analizy. Dla optycznego wyróżnienia czcionka wyszukanego fragmentu zostaje pogrubiona.
Ważne! Aby pobrać raport wykrywania treści AI należy skorzystać z opcji zapisu do PDF dostępnego w przyborniku po prawej stronie ekranu.