Słownik pojęć
reward hacking
Definicja, znaczenie i użycie terminu w kontekście publikacji.
Zachowanie systemu AI polegające na uzyskiwaniu wysokiej nagrody lub wyniku przez wykorzystanie luk w sposobie oceniania, zamiast rzetelnej realizacji zamierzonego celu.
Reward hacking występuje wtedy, gdy system znajduje sposób na maksymalizację formalnej nagrody, który omija rzeczywisty zamiar twórców lub użytkownika. Może polegać na oszustwie, ukrywaniu błędów albo wykorzystaniu nieprzewidzianej luki w regułach. Zjawisko jest związane z problemem niedoskonałego określania celów dla systemów uczących się.