Recientemente, DeepSeek estaba en boca de todos porque esta IA ha literalmente arruinado las cotizaciones bursátiles de muchas empresas tecnológicas. Estamos hablando de una valoración bursátil de $589 mil millones que ha desaparecido del lado de NVIDIA. De hecho, esta IA cuestionaba la necesidad de hardware de vanguardia para el desarrollo y entrenamiento de la IA, así como las enormes sumas que se deben invertir en el sector.
Pero eso no es el tema principal, ya que AMD acaba de publicar una entrada en su blog comunitario indicando qué hardware puede hacer funcionar el modelo localmente y, sobre todo, cuál es el rendimiento esperado frente a la RTX 4090.
DeepSeek: ¿qué hardware se necesita para ejecutarlo localmente?
En primer lugar, hay que destacar que se necesita mucha RAM, como mínimo 32 GB, pudiendo llegar hasta 64 GB y 128 GB si se quiere hacer funcionar el modelo DeepSeek-R1-Distill-Llama con 70 mil millones de parámetros en un laptop equipado con un CPU Strix Halo.
En cuanto a los CPUs de tipo Phoenix Point y Hawk Point, serán más limitados ya que solo podrán hacer funcionar el modelo DeepSeek-R1-Distill-Llama-14B, mientras que procesadores más recientes como Strix Point ejecutarán DeepSeek-R1-Distill-Qwen-14B y DeepSeek-R1-Distill-Llama-14B gracias a su iGPU y NPU. Eso sería para la parte móvil.
En cuanto al hardware de escritorio, sabemos que por ahora los rojos solo recomiendan las RX 7000 para ejecutar el modelo. Específicamente, se recomiendan las tarjetas con entre 12 y 20 GB de VRAM para DeepSeek-R1-Distill-Qwen-32B, mientras que la RX 7900 XTX y sus 24 GB de VRAM podrán ejecutar el modelo Qwen-32B. Por supuesto, también necesitarás LM Studio y un controlador actualizado: 25.1.1 beta.
En cuanto al rendimiento, AMD compara su RX 7900 XTX con las RTX 4080 Super y RTX 4090 en LM Studio 0.3.8 en token/s. Y se concluye que la tarjeta supera a la RTX 4080S en todos los modelos probados entre un 22 y un 34%. Sin embargo, frente a la RTX 4090, la 7900 XTX resulta ser ligeramente más lenta en DeepSeek R1 Distill Qwen 32B, mientras que supera a DeepSeek R1 Distill Qwen 7B, DeepSeek R1 Distill Llama 8B y DeepSeek R1 Distill Qwen 14B. Las diferencias van desde +2 hasta +13% a favor de la tarjeta AMD.
