Hasta el comienzo del año fiscal 2023 de Nvidia, los ingresos se habían multiplicado por 2,5 en dos años, impulsados por la burbuja criptográfica y la utilidad de sus chips diseñados para gráficos como los mejores procesadores para ejecutar costosos, disipadores y destructivos para la sociedad. minería criptográfica.
Luego llegó el invierno criptográfico. No sólo las empresas de criptomonedas ya no compraban chips diseñados por Nvidia, sino que las empresas de criptomonedas estaban abandonando sus chips diseñados por Nvidia y vendiéndolos nuevamente en el mercado de gráficos. Resultó que la burbuja criptográfica no había impulsado la demanda de chips diseñados por Nvidia, sino que simplemente hizo avanzar la demanda en el tiempo quizás un año y medio.
A finales de su año fiscal 2023, Nvidia parecía estar en verdaderos problemas, sin importar que sus diseñadores de chips fueran los mejores de su clase y que su marco Cuda fuera claramente la mejor manera para que los humanos descubrieran cómo hacer que la piedra realmente funcionara. pensar.
Y luego vinieron Midjourney y Chat-GPT…
Las grandes preguntas ahora son tres:
¿Qué tan rápido puede (o tal vez lo hará, mucho poder monopólico a corto plazo aquí) Nvidia (y TSMC) aumentar la producción de chips diseñados por Nvidia para satisfacer la demanda?
¿Pueden los competidores que carecen de CUDA ser lo suficientemente buenos como para ofrecer una alternativa a las personas que impulsan el ML moderno?
¿Qué tamaño tendrá el segmento del mercado de ML moderno?
No tengo ninguna respuesta a estas preguntas. Y, como señaló Friedrich von Hayek hace mucho tiempo, no son el tipo de preguntas sobre las que disponemos de suficiente información para que cualquiera pueda responderlas. Tenemos que dejar que el mercado busque soluciones.
Pero sí conocemos los argumentos alcistas para NVIDIA y su ecosistema. Aquí está Ben Thompson resumiendo al CEO de NVIDIA, Jason Huang, del pasado mes de mayo:
Ben Thompson: Ganancias de Nvidia, defensa de Jensen Huang, entrenamiento versus inferencia: ‘“La CPU[‘s] La capacidad de escalar el rendimiento ha terminado y necesitamos un nuevo enfoque. La computación acelerada es completa…” Esto es correcto…. [To] ejecutar un trabajo en varias GPU… significa abstraer la complejidad en el software… «Es un problema de escala del centro de datos…» Esta es la manifestación hardware del punto anterior…. «La computación acelerada es… un dominio específico… la biología computacional, y… la dinámica de fluidos computacional es fundamentalmente diferente…» Esta es la manifestación de software del mismo punto: escribir software paralizable es muy difícil y… Nvidia ya ha hecho gran parte del trabajo…. «Después de tres décadas, ahora nos damos cuenta de que estamos en un punto de inflexión…» Se necesita un círculo virtuoso entre los desarrolladores y los usuarios finales, y para empezar es un problema del huevo y la gallina. Huang sostiene que Nvidia ya lo ha logrado, y estoy de acuerdo con él en que esto es un gran problema….
Huang luego dio el ejemplo de cuánto costaría entrenar un modelo de lenguaje grande con CPU… $10 millones de dólares por 960 servidores de CPU que consumen 11 GWh para 1 modelo de lenguaje grande… $400 mil… [2 GPU servers] 0,13GWh…. La pregunta, sin embargo, es cuántas de esas cargas de un solo subproceso que se ejecutan en las CPU hoy en día pueden realmente paralelizarse…. Todo el mundo está molesto por su dependencia de Nvidia cuando se trata de GPU…. El argumento de Huang es que, dada la importancia del software para aprovechar eficazmente esas GPU, vale la pena el costo de ser parte del mismo ecosistema que todos los demás, porque se beneficiará de más mejoras en lugar de tener que hacerlas todas usted mismo…
Los argumentos de Huang son buenos, y por eso pensé que valía la pena exponerlos todos; La pregunta, sin embargo, es ¿cuántas cargas parecen entrenamiento LLM?… Nvidia es muy afortunada de que el momento de la IA generativa haya ocurrido ahora, cuando sus chips son claramente superiores… La cantidad de desarrolladores y aplicaciones CUDA creadas en marcos Nvidia se está disparando…. Actualmente se están desarrollando habilidades, modelos y marcos reales que, sospecho, están más diferenciados que… el sistema operativo de Sun Microsystems… La diferenciación a largo plazo en tecnología siempre tiene sus raíces en el software y los ecosistemas, incluso si la captura de valor a largo plazo a menudo ha tenido sus raíces en el hardware; Lo que hace que Nvidia sea tan atractiva es que, al igual que Apple, combinan ambos…