Український розробник з Одеси відомий на GitHub під ніком slvDev велику мовну модель на мікроконтролері ESP32-S3 вартістю менш ніж 10 доларів.
Про це пише Highload.
Зазвичай великі мовні моделі потребують потужних відеокарт і великого обсягу пам’яті. Натомість українському розробнику вдалося запустити модель з 28,9 млн параметрів на невеликій платі ESP32-S3, яка має значно скромніші технічні можливості.
Щоб модель помістилася на пристрої, автор використав 4-бітну квантизацію. Завдяки цьому її розмір вдалося зменшити до 14,9 МБ, і вона повністю розміщується у вбудованій пам’яті мікроконтролера.
За словами розробника, він також адаптував для такого пристрою технологію Per-Layer Embeddings (PLE), створену Google. Як зазначає The Register, раніше подібні експерименти на мікроконтролерах проводили з моделями приблизно на 260 тисяч параметрів, тоді як нова модель більш ніж у сто разів більша.
Під час тестів модель генерувала текст зі швидкістю близько 9,88 токена за секунду. Усі обчислення виконуються безпосередньо на самому пристрої — без підключення до хмарних сервісів чи надсилання даних на зовнішні сервери.
Основна версія моделі навчена на наборі даних TinyStories від Microsoft і генерує короткі історії. Крім неї, розробник створив ще одну модель — Barista, яка відповідає на запитання про еспресо-каву та працює приблизно вдвічі швидше.
У спільноті розробників на GitHub проєкт ESP32-AI зберегли до обраного понад 3,5 тисячі користувачів, а ще понад 440 створили власні копії коду для роботи чи вдосконалення.
Нагадуємо, що українець створив сервіс для планування далеких поїздок Європою та Україною.
Також ми писали, що український айтівець запустив «Генератор протестних плакатів».
Фото обкладинки ілюстративне: Magnifik
Твоя підтримка допомагає цим історіям надихати інших та показувати Україну світу.
Підтримати #ШОТАМ
