Zdjęcie: © Shubham Dhage / Unsplash
Źródło: unsplash.com/photos/T9rKvI3N0NM
Claude Opus 5 osiągnął najlepszy wynik w benchmarku IPI, który mierzy odporność modeli językowych na prompt injection. W porównaniu z Opus 4.8 prawdopodobieństwo skutecznego ataku w ciągu maksymalnie 15 prób spadło z 5,5 proc. do 2,0 proc. W pojedynczej próbie wynik poprawił się z 0,5 proc. do 0,2 proc. Opus 5 wypadł także lepiej niż inne testowane modele Claude, Sonnet 5 uzyskał 5,9 proc., a Mythos 5, 2,6 proc. przy 15 próbach.
Opus 5 był również najbardziej odpornym modelem spoza rodziny Claude. Muse Spark osiągnął w tym samym ujęciu 16,5 proc., czyli ponad osiem razy więcej niż Opus 5. Najbardziej rozbudowany wariant GPT 5.6, Sol, uzyskał wynik zbliżony do GPT 5.5, odpowiednio 20,0 proc. i 20,8 proc. Oznacza to około dziesięciokrotnie większą skuteczność ataku niż w przypadku Opus 5. Pozostałe warianty GPT 5.6 wypadły słabiej, Terra osiągnęła 30,4 proc., a Luna 43,9 proc. W pojedynczej próbie przeciwko GPT 5.6 Sol atak kończył się sukcesem w 3,1 proc. przypadków, czyli częściej niż przeciwko Opus 5 po 15 próbach. Wyniki nie oznaczają, że prompt injection zostało rozwiązane w ogólnym przypadku. Pokazują jednak, że modele można skuteczniej zabezpieczać w konkretnych scenariuszach.
Słownik artykułu
Krótkie objaśnienia terminów występujących w tekście. Każde hasło prowadzi do szerszej definicji i przykładów użycia.
Technika ataku na model językowy, w której specjalnie przygotowana treść wejściowa próbuje skłonić go do zignorowania ustalonych zasad lub wykonania niepożądanych poleceń.
Zestaw testów służący do pomiaru odporności modeli językowych na ataki prompt injection. Wynik wyrażony procentowo wskazuje, jak często atak kończy się sukcesem w określonych warunkach.
Zdolność modelu językowego do zachowania zamierzonego sposobu działania mimo prób nakłonienia go do wykonania niepożądanych instrukcji zawartych w danych wejściowych.
Miara określająca szansę, że atak zakończy się powodzeniem w określonych warunkach testu, na przykład w jednej próbie albo w serii do 15 prób.
Brak komentarzy. Bądź pierwszy!