Por si acaso, NVIDIA domina indiscutiblemente la conversación sobre la IA. Sus GPU funcionan a la perfección y son la mejor opción para los profesionales y las empresas que buscan experimentar con la IA de consumo. Sin embargo, la RTX 7900 XTX de AMD logra un rendimiento por dólar superior al de una NVIDIA RX 4080 en IA generativa (específicamente, la Stable Diffusion con la A111) gracias a las recientes optimizaciones de la pila de software de Intel y AMD. Se trata de un hito importante y, por último, pone a NVIDIA en la mira, ya que actualmente la gran mayoría de la IA generativa localizada que no es SaaS tiene una difusión estable.
En comparación con la RTX 4080 de NVIDIA, la 7900 XTX de AMD logra iteraciones de difusión más estables por segundo
¡La AMD 7900 XTX pasa de la lamentable cifra de 1,87 a 18,59 iteraciones por segundo cuando se utiliza Microsoft Olive y DirectML en lugar de utilizar PyTorch! La guía completa de AMD está disponible aquí. Este nivel de rendimiento de Automatic111 sitúa a la empresa en el mapa en términos de IA generativa y es bastante similar al enfoque de Stable Diffusion basado en Shark. Al final, también significa que, al menos a los precios actuales, la 7900 XTX ofrece un rendimiento de GenAI por dólar ligeramente superior al de la RTX 4080 comparable.
La MSI Ventus GeForce RTX 4080 de 16 GB (enlace archivado en WBM aquí) y la XTX AMD Radeon 7900 de 24 GB fueron las tarjetas gráficas NVIDIA y AMD más baratas que pude encontrar en Newegg (el 19/08/2023). Antes de pasar a las cifras, quiero señalar que, a diferencia de NVIDIA, AMD Pathway requiere un poco más de conocimientos técnicos por parte del usuario (es probable que la mayoría de los instaladores automáticos no instalen las dependencias necesarias para ello automáticamente), por si la comodidad es un problema para ti. Sin embargo, si la base de costes es aceptable, lo que parece ser en este caso, los profesionales y las pequeñas empresas suelen evitar una molestia inicial de configuración.
| GPU | Precio en el mercado | Configuration | SD Perf (it/seg) | Dinero gastado en ello |
|---|---|---|---|---|
| RTX 4080 NVIDIA | $1099 | (PyTorch) A11 | 19.41* | $56.6 |
| XTX AMD Radeon 7900 | $969 | (Microsoft Olive) A111 | 18.59 | $52.1 |
| XTX AMD Radeon 7900 | $969 | SHARK | 20.76* | $46.6 |
| Aquí se muestran los datos de una comparación de Puget Systems que se publicó el 31 de julio de 2023. | ||||
As we can see, the AMD silicon is finally starting to shine in GenAI to the point where it offers higher value compared to the 4080 in stable diffusion. The AMD 7900 XTX offers 18.59 iterations per second making users pay $52.1 per it/s while RTX 4080 NVIDIAgets 19.41 iterations per second making users pay $56.6 per it/s. If users opt for the less-common SHARK implementation, they can drive the value proposition all the way up to just $46.6 per it/s for the Radeon 7900 XTX. So its official – AMD is officially a contender for consumers interested in generative AI.
Esto también implica que AMD podría ser un enemigo formidable para las ambiciones de Nvidia en materia de inteligencia artificial si se les prestara la atención adecuada. En los próximos 12 meses, GenAI y los SLMS/Ulms se utilizarán ampliamente y se integrarán en muchos flujos de trabajo de productividad, a diferencia de la mayoría de las personas que actualmente utilizan los LLM desde su sótano. La forma en que Intel y AMD se posicionen en un mercado dominado por la IA determinará su rendimiento en un mercado en el que NVIDIA tiene una enorme ventaja inicial.
