Производительность современного ИИ определяется системой целиком: ускорителями, высокоскоростной памятью, сетью и программным стеком. Если один слой не масштабируется, дорогие вычислительные блоки простаивают, поэтому номинальное число FLOPS не равно доступной полезной мощности.
Источник: NVIDIA · Rubin platformДефицит ускорителей и памяти
О событииПроизводство передовых ускорителей и HBM остаётся концентрированным и не успевает мгновенно следовать за спросом.