En un vídeo corto bastante intrigante, un desarrollador de LLM con sede en AMD se burló de la escasez de las GPU de IA de Nvidia. La industria de la IA, incluidas las empresas emergentes de IA que están empezando a trasladarse a otros mercados para satisfacer su demanda, está cada vez más preocupada por la escasez de GPU de IA de Nvidia.
El director ejecutivo de Lamini publica un divertido vídeo corto en el que describe con precisión la escasez de GPU de IA de NVIDIA y la preparación de las GPU AMD Instinct
Just grilling up some GPUs
Kudos to Jensen for baking them first https://t.co/4448NNf2JPpic.twitter.com/IV4UqIS7OR
— Sharon Zhou (@realSharonZhou) September 26, 2023
En busca de un acelerador de IA LLM, Sharon entra en una cocina (un lugar bastante reconocible para el propio CEO de Nvidia) y abre un horno para observar qué se está «cocinando». El tiempo de espera en el horno puede durar hasta 52 semanas, pero cuando revisó su parrilla, vio que los aceleradores Instinct de AMD estaban preparados.
Dada la gran cantidad de pedidos pendientes que sufren actualmente las GPU de IA de Nvidia, especialmente las H100, con plazos de entrega que superan los seis meses, Sharon es precisa en su descripción de la situación actual. Dado que el volumen de pedidos de aceleradores Instinct AI que la empresa recibe actualmente es insignificante en comparación con los que está tramitando NVIDIA, AMD tiene una ventaja en esta situación. Desde hace un tiempo, Lamini ha estado utilizando las GPU Instinct de AMD en las LLM, y la empresa se dedica a trabajar en estrecha colaboración con AMD.
What’s more, with Lamini, you can stop worrying about the 52-week lead time for NVIDIA H100s. Using Lamini exclusively, you can build your own enterprise LLMs and ship them into production on AMD Instinct GPUs. And shhhh… Lamini has been secretly running on over one hundred AMD GPUs in production all year, even before ChatGPT launched. So, if you’ve tried Lamini, then you’ve tried AMD.
Now, we’re excited to open up LLM-ready GPUs to more folks. Our LLM Superstation is available both in the cloud and on-premise. It combines Lamini’s easy-to-use enterprise LLM infrastructure with AMD Instinct MI210 and MI250 accelerators. It is optimized for private enterprise LLMs, built to be heavily differentiated with proprietary data.
Lamini is the only LLM platform that exclusively runs on AMD Instinct GPUs — in production. Ship your own proprietary LLMs! Just place an LLM Superstation order to run your own Llama 2-70B out of the box—available now and with an attractive price tag (10x less than AWS).
via Lamini
Las GPU Instinct de AMD aún no han tenido una adopción generalizada en la industria y actualmente no son tan «populares» como las H100 de Nvidia. Todos sabemos que las H100 están a la cabeza en términos de rendimiento, pero AMD está cerrando la brecha introduciendo mejoras rápidas en su gama de software ROCM, lo que contribuye a un mayor rendimiento informático en general. No podemos hacer comentarios sobre los planes futuros de Team Red para el Instinct MI400 y el MI300X porque aún no se han lanzado.
Dado que NVIDIA tiene dificultades en este ámbito, la única ventaja que AMD puede aprovechar es la capacidad de la empresa para gestionar grandes pedidos. Todas las empresas tecnológicas están acelerando considerablemente sus avances en materia de IA a medida que avanzan en 2024, ya que las empresas emergentes y las empresas de alto nivel acabarán por centrarse en AMD e Intel debido a los períodos de espera de un año para comprar las NVIDIA H100.
