Дефицит ускорителей и памяти

Производство передовых ускорителей и HBM остаётся концентрированным и не успевает мгновенно следовать за спросом.

Производительность современного ИИ определяется системой целиком: ускорителями, высокоскоростной памятью, сетью и программным стеком. Если один слой не масштабируется, дорогие вычислительные блоки простаивают, поэтому номинальное число FLOPS не равно доступной полезной мощности.

Источники

NVIDIA · Rubin platformОткрыть первоисточник