ByteDance ставить амбітну ціль: розробка ШІ-моделі з 10 трильйонами параметрів
Компанія ByteDance, яку більшість знає як творця популярної соціальної мережі TikTok, активно інвестує у власний розвиток у сфері штучного інтелекту. На відміну від багатьох конкурентів, які покладаються на дистиляцію чужих рішень, ByteDance самостійно працює над створенням передових ШІ-моделей. Згідно з інформацією Financial Times, команда ByteDance зараз зосереджена на розробці моделі, що матиме 10 трильйонів параметрів. Це дозволить компанії наблизитися до показників найсучасніших рішень від провідних гравців ринку, таких як Anthropic.
Джерело зображення: ByteDance
Конкурентне середовище та масштаби розробки
Хоча американський стартап Anthropic не розголошує точних даних про свої моделі, за оцінками, їхній провідний продукт Mythos 5 може мати близько 8 трильйонів параметрів, а більш доступна модель Fable 5 — приблизно 5 трильйонів. Важливо розуміти, що кількість параметрів, хоч і вказує на обсяг даних, який модель здатна зберігати, не є єдиним показником її ефективності. Якість навчальних даних та методи їх обробки відіграють ключову роль у формуванні якості та швидкості роботи ШІ. Для порівняння, китайська модель Kimi 3 від Moonshot, яку донедавна вважали однією з найбільших у Китаї, має трохи менше 3 трильйонів параметрів.
Процес розробки та довгострокові плани ByteDance
За словами джерел, ByteDance перебуває на етапі попереднього навчання своєї нової моделі, що зазвичай триває від трьох до шести місяців. Після завершення всіх налаштувань та тестування, модель буде готова до випуску. Над цим працює велика команда з приблизно 2000 спеціалістів як у Китаї, так і за його межами. До команди входять інженери, дослідники, фахівці з розмітки даних та перекладачі, які спільно працюють над створенням високоякісного ШІ-рішення.
Засновник компанії Чжан Іминь (Zhang Yiming) неодноразово наголошував, що короткострокові відставання не є критичними, враховуючи довгострокову стратегію ByteDance щодо розробки власної унікальної ШІ-моделі. Компанія прагне не тільки конкурувати з найкращими західними розробками, але й перевершити їх.
Порада від Soft Portal: Ця новина демонструє прагнення ByteDance стати лідером у сфері штучного інтелекту, пропонуючи власний, потужний інструмент. Розробка такої масштабної моделі може призвести до появи нових, більш досконалих застосунків та сервісів, які згодом стануть доступними і для українських користувачів, потенційно покращуючи якість контенту та взаємодію з цифровими технологіями.