La inteligencia artificial avanza a pasos agigantados, sin embargo, esto genera algunos problemas técnicos. De hecho, los datasets utilizados para entrenar los modelos son cada vez más grandes y requieren más memoria. Sin embargo, la capacidad de memoria de las tarjetas gráficas no es ampliable… O eso pensábamos. La empresa Panmnesia, a través de un AIC, logró hacer que la GPU utilizara memoria externa con un nivel de rendimiento satisfactorio!
Panmnesia: ¡extender la capacidad de memoria de una GPU es posible!
Para lograrlo, la solución de la empresa coreana se basa en una tarjeta AIC a la que se conecta memoria. Sin embargo, el desafío fue hacer que la tarjeta reconociera esta memoria, lo cual no es fácil. De hecho, este tipo de expansor de memoria CXL debe ser reconocido por la tarjeta gráfica, algo que actualmente no ocurre con las GPU existentes. Por el momento, solo se reconoce la memoria virtual unificada (UVM) por las tarjetas, pero el rendimiento no es óptimo.
Vulgarmente hablando, la empresa logró desarrollar su propio sistema conforme con el CXL 3.1. A través de TechpowerUp, sabemos que este conjunto incluye “muchos puertos raíz y un puente host con un decodificador de memoria de dispositivo gestionado por el host (HDM)”. Este conjunto obligará a la tarjeta gráfica a utilizar la memoria conectada a la tarjeta de expansión. En resumen, es un sistema complejo, pero que parece funcionar.
Por supuesto, se realizaron pruebas por parte de la empresa y los resultados son prometedores, especialmente en cuanto a la latencia. Así, en comparación con la memoria virtual unificada, se obtienen tiempos de ejecución del Kernel reducidos hasta 3,22 veces. La latencia también es menor, con menos de 80 ns. En comparación con prototipos de la competencia (Samsung o Meta), la solución de Panmnesia también parece ser más efectiva.
Aún queda por ver si la solución será aceptada y si las grandes empresas optarán por desarrollar su propia solución. Lo mismo para AMD y NVIDIA, ¿terminarán por ofrecer una solución similar directamente? Habrá que esperar para ver.
