Źródło: unsplash.com/photos/OnI_TNcIv9U
David Robinson, pracownik OpenAI zajmujący się bezpieczeństwem, odchodzi z firmy i publicznie krytykuje jej kulturę organizacyjną. W eseju opublikowanym w The Atlantic napisał, że przez trzy i pół roku pracy kierował przygotowywaniem raportów bezpieczeństwa towarzyszących ważnym premierom produktowym OpenAI. Jak twierdzi, należy obecnie do najdłużej pracujących osób w firmie. Powodem odejścia ma być przekonanie, że kultura OpenAI nie odpowiada skali ryzyka związanego z coraz bardziej zaawansowanymi systemami AI.
Robinson uważa, że OpenAI zbyt mocno polega na podejściu określanym przez firmę jako iteracyjne wdrażanie. W tym modelu system jest udostępniany, następnie wykrywa się problemy i poprawia zabezpieczenia. Były pracownik twierdzi, że taka metoda z definicji prowadzi do okresowych awarii, a ich potencjalna skala rośnie wraz ze wzrostem możliwości modeli. Jego zdaniem rozwiązanie, które może być akceptowalne przy mniej zaawansowanych narzędziach, wymaga ponownej oceny, gdy systemy zaczynają wykonywać coraz bardziej złożone zadania.
Słownik artykułu
Krótkie objaśnienia terminów występujących w tekście. Każde hasło prowadzi do szerszej definicji i przykładów użycia.
W ocenie Robinsona problem nie sprowadza się do pojedynczych reguł, procedur ani nowych przepisów. Chodzi także o sposób podejmowania decyzji w firmach tworzących zaawansowaną AI. Porównał oczekiwany poziom ostrożności do działania elektrowni jądrowych i zatłoczonych lotnisk, gdzie wiele warstw kontroli ma ograniczać skutki nieuniknionych błędów ludzkich. Jednocześnie zaznaczył, że podczas pracy w OpenAI nie spotkał osoby mającej doświadczenie w zapewnianiu bezpieczeństwa samolotów, reaktorów jądrowych lub systemu finansowego na podobnym poziomie odpowiedzialności.
Robinson uważa też, że obecne metody oceny dopasowania systemów AI do ludzkich wartości są zbyt uproszczone. W jego opinii im bardziej branża zwiększa możliwości modeli, pozostawiając ten problem nierozwiązany, tym większe staje się ryzyko. Z tego powodu opowiada się za silniejszymi zewnętrznymi bodźcami skłaniającymi firmy do inwestowania w bezpieczeństwo. Przyznał, że mógł pozostać w OpenAI i próbować doprowadzić do zmian od środka, ale tempo pracy sprawiało, że jego zespół rzadko miał czas na analizowanie fundamentalnych zmian w organizacji.
Rzecznik OpenAI Drew Pusateri odpowiedział, że firma nadal rozwija środki bezpieczeństwa. Według jego deklaracji OpenAI chce dopilnować, aby modele nie stawały się bardziej zaawansowane, niż firma jest w stanie bezpiecznie kontrolować i zabezpieczać. Firma zapowiada również wzmocnienie ochrony środowisk badawczych i testowych, uczenie modeli odpowiedzialnego wykonywania zadań, szerszą współpracę z zewnętrznymi ewaluatorami oraz lepszy monitoring w czasie rzeczywistym. Celem ma być wcześniejsze wykrywanie niepokojących zachowań podczas treningu.
Publiczne wystąpienie Robinsona wpisuje się w szerszą debatę o bezpieczeństwie AI. W źródle przywołano także wcześniejsze uwagi Jacoba Coxona, byłego badacza OpenAI i Anthropic, który ostrzegał przed zbyt ryzykownym rozwojem tej technologii. Dyskusja obejmuje dziś nie tylko konkretne zabezpieczenia, lecz także odpowiedzialność osób zarządzających firmami, niezależne testy i to, czy organizacje mają odpowiednią kulturę do pracy nad systemami o rosnących możliwościach.
Brak komentarzy. Bądź pierwszy!