Чтобы корпорация смогла самостоятельно реализовать AI аналитику, ей нужно сначала закупить чипы, собрать команду специалистов, построить вычислительный кластер и обучить нейросеть. На это в среднем нужно 18 месяцев. Число параметров нейросетей увеличивается в 10 раз каждые 12 месяцев. Также, требуемые вычислительные мощности увеличиваются в 2 раза каждые 3 - 4 месяца. Это означает, что когда корпорация соберет свою AI инфраструктуру - она уже безнадежно устареет, размеры современных моделей вырастут в 15 раз, а требуемые вычислительные мощности - в 32 раза.
За последние месяцы произошли титанические сдвиги в индустрии производства AI чипов. Гиганты, использующие AI осознали свою зависимость от чипов Nvidia. Свои разработки начали Apple, Meta, Tesla и даже OpenAI. Также в гонку вступает AMD. Однако, для разработки и оптимизации собственной архитектуры нужны годы, тогда как SambaNova уже имеет готовые решения, глубокую экспертизу и объемное финансирование.
В сентябре 2023г SambaNova объявила о выпуске четвертого поколения своих чипов - SN40L, широкие поставки которых начнутся в ноябре 2023г. Поставки сопоставимого с SN40L чипа от Nvidia - GH200 Grace Hopper, начнутся лишь во 2й половине 2024г.
Чип содержит 1040 ядер и 102 млрд транзисторов, с производительностью 638 терафлопс и способен поддерживать нейросети с 5 млрд параметров, для примера, у ChatGPT 4 - 1.7 млрд параметров. Для обучения нейросети с 1 трлн параметров требуется всего 8 таких чипов, тогда как чипов Nvidia H100, последнего поколения, потребуется 192. На новых чипах SambaNova тренировать GPT модели можно до 25 раз дешевле, чем на чипах Nvidia.