Zdjęcie: © Taylor Vick / Unsplash
Źródło: unsplash.com/photos/M5tzZtFCOfs
Meta udostępniła wagi Muse Spark Open, multimodalnego dużego modelu językowego wykorzystującego architekturę mixture of experts. Model ma łącznie ponad 800 miliardów parametrów, ale dla pojedynczego tokenu aktywowanych jest 40 miliardów. Według informacji opisanych przez MacStories może działać lokalnie na najnowszych komputerach Mac Studio z układem M5 Ultra.
Meta współpracowała z Apple, aby dostosować Muse Spark Open do pracy na M5 Ultra. Kluczową rolę odgrywa MLX, otwarty framework uczenia maszynowego rozwijany pod kierunkiem Apple. Apple sprawdziło działanie modelu zarówno na pojedynczym Macu Studio, jak i w konfiguracji złożonej z kilku komputerów. Dzięki obsłudze RDMA over Thunderbolt 5 przez MLX duży model może zostać podzielony między wiele urządzeń, co pozwala wykorzystać ich wspólną pamięć i moc obliczeniową.
W przypadku bardzo dużych kontekstów połączenie kilku komputerów miało skrócić czas do wygenerowania pierwszego tokenu nawet 1,8 raza. Taka konfiguracja jest też praktycznym sposobem na uruchomienie modelu, ponieważ nawet jego wersja 4 bitowa wymaga 493 GB pamięci. Część testów Apple przeprowadzono na Macu Studio z M5 Ultra i 512 GB pamięci, którego premiera ma nastąpić pod koniec roku.
Apple nie podało ceny wariantu z 512 GB pamięci. Dla porównania, Mac Studio z M5 Ultra, 256 GB pamięci i dyskiem o pojemności 2 TB kosztuje ponad 11 tysięcy dolarów. Do uruchomienia Muse Spark Open potrzebne są co najmniej dwa takie komputery, więc opisywana konfiguracja pozostaje rozwiązaniem przede wszystkim dla firm i laboratoriów. Jednocześnie pokazuje, że bardzo duże modele AI mogą być uruchamiane lokalnie na komputerach biurkowych, bez korzystania z infrastruktury centrów danych.
Słownik artykułu
Krótkie objaśnienia terminów występujących w tekście. Każde hasło prowadzi do szerszej definicji i przykładów użycia.
RDMA pozwala przesyłać dane między pamięciami połączonych komputerów z ograniczonym udziałem procesora.
Model jest podzielony na wyspecjalizowane części, czyli ekspertów. Przy przetwarzaniu kolejnych tokenów aktywowana jest tylko część parametrów.
Brak komentarzy. Bądź pierwszy!