Zdjęcie: © Growtika / Unsplash
Źródło: unsplash.com/photos/nGoCBxiaRO0
Sprawdź jak w 30 dni opanować podstawy dowolnego języka obcego bez wychodzenia z domu.
Baseten udostępnił joey-1, niewielki model AI z otwartymi wagami, przeznaczony do podejmowania prostych decyzji. Model nie tworzy rozbudowanych odpowiedzi tekstowych. Zamiast tego wybiera odpowiedź na pytanie tak lub nie albo jedną z kilku dostępnych opcji i zwraca również wynik prawdopodobieństwa. Według firmy takie podejście ma ograniczać koszt i czas działania w zadaniach, w których generowanie tekstu nie jest potrzebne.
Joey-1 ma 2 miliardy parametrów i został zbudowany na modelu Alibaba Qwen3.5-2B. Do jego trenowania wykorzystano 6,21 miliona przykładów decyzji. Baseten wskazuje jako potencjalne zastosowania kierowanie zgłoszeń do odpowiednich zespołów, wykrywanie spamu oraz blokowanie szkodliwych poleceń. W takich scenariuszach system musi przede wszystkim szybko przypisać wejście do właściwej kategorii, a nie przygotować długą, naturalnie brzmiącą odpowiedź.
Baseten deklaruje cenę 0,01 dolara za milion tokenów. Typowe zapytanie o długości 2000 tokenów ma otrzymywać odpowiedź w około 20 milisekund, czyli około 2,5 raza szybciej niż w przypadku większego modelu elephant-1. Firma szacuje, że sortowanie 10 milionów zgłoszeń do pomocy technicznej miesięcznie kosztowałoby z joey-1 około 50 dolarów, wobec 500 dolarów przy użyciu mammoth-1. To wyliczenia producenta, a ich rzeczywisty wynik zależy między innymi od sposobu wdrożenia i liczby przetwarzanych danych.
Joey-1 dołącza do mammoth-1 i elephant-1, które laboratorium Base Labs udostępniło wcześniej. Karta modelu plasuje joey-1 na 37. miejscu wśród 230 modeli w indeksie Jev Decision Index i wskazuje go jako najwyżej oceniany model z mniej niż 4 miliardami parametrów. Baseten nie opublikował jednak testów stojących za własnym twierdzeniem, że jest to najmocniejszy model decyzyjny w tej klasie. Wagi joey-1 są dostępne bez opłat w serwisie Hugging Face na licencji MIT. Dla porównania, Microsoft zaoferował w tym miesiącu własny model decyzyjny oparty na Qwen, wyceniany na 0,042 dolara za milion tokenów.
Słownik artykułu
Krótkie objaśnienia terminów występujących w tekście. Każde hasło prowadzi do szerszej definicji i przykładów użycia.
Brak komentarzy. Bądź pierwszy!