Sam Altman, director ejecutivo de OpenAI, ha manifestado su opinión respecto a la distribución global de la memoria DRAM, sugiriendo que el almacenamiento de este componente en ordenadores personales representa una ineficiencia en el contexto actual de la inteligencia artificial.
Durante su participación en el podcast Cheeky Pint, conducido por John Collison, cofundador de Stripe, se debatió la cadena de suministro de memoria y el fenómeno de la inferencia local. La inferencia local se refiere a la ejecución de modelos de inteligencia artificial directamente en el hardware del usuario, en lugar de depender de la infraestructura de la nube.
La eficiencia de la memoria en la era de la IA
Altman cuestionó la percepción de que la disponibilidad de modelos de código abierto permitirá a los usuarios prescindir de la infraestructura de los centros de datos mediante el uso de hardware doméstico. Según el ejecutivo, desde una perspectiva de asignación global, resulta contraproducente que una parte significativa del suministro limitado de DRAM en el mundo permanezca en equipos personales con un índice de utilización muy bajo.
El CEO de OpenAI argumentó que, en un entorno caracterizado por la escasez de suministros, la máxima utilización de los recursos se logra en la nube. Según sus declaraciones, mientras que la memoria en un PC doméstico suele utilizarse solo un pequeño porcentaje del tiempo, los centros de datos permiten un aprovechamiento mucho más intensivo y eficiente de la capacidad de cómputo y almacenamiento.
“Desde una perspectiva de asignación global, es bastante terrible que todo el mundo tenga un montón de la limitada reserva mundial de DRAM sentada en su propio ordenador y siendo utilizada el 5% del tiempo. Se busca la máxima utilización en la nube si se intenta lidiar con este entorno de suministro limitado”, afirmó Sam Altman.
Esta postura subraya la tensión existente entre el movimiento hacia la computación local y la necesidad de centralizar recursos masivos para satisfacer la creciente demanda de procesamiento de los modelos de lenguaje de gran tamaño.