Lion Jones tuvo un papel importante en Google, donde trabajó durante casi 12 años. Fue uno de los ocho autores del artículo de investigación fundamental de Transformers, que es fundamental para lo último en inteligencia artificial generativa.
Sin embargo, como todos sus coautores, Jones ahora dejó Google. Se unirá a su exinvestigador de Google David Ha para construir un laboratorio de investigación de IA generativa en Tokio llamado Sakana AI. Jones dijo que si bien no tiene mala voluntad hacia Google, se dio cuenta de que el tamaño de la empresa le impedía hacer el tipo de trabajo que quería realizar.
“Es solo un efecto secundario de la itis de las grandes empresas”, dijo Jones a CNBC en una entrevista. «Creo que la burocracia se había desarrollado hasta el punto en que sentí que no podía hacer nada».
Jones, quien estudió IA en la universidad y tiene una maestría en informática avanzada de la Universidad de Birmingham, está en el centro de la acción. El papel de 2017 Ayudó a escribir en Google y presentó innovaciones que jugaron en la creación de OpenAI del chatbot viral ChatGPT. La T significa Transformers, una arquitectura detrás de gran parte de la frenética actividad de IA generativa actual.
«Estamos un poco locos», dijo Jones. «Estamos buscando métodos inspirados en la naturaleza para ver si podemos encontrar una forma diferente de hacer las cosas, en lugar de hacer un modelo enorme y descomunal». Sakana no está anunciando ningún inversor.
Jones se convirtió en ingeniero de software en YouTube de Google en 2012. Según su Perfil de Linkedincomenzó a «investigar la inteligencia artificial y la comprensión del lenguaje natural» en Google en 2015.
Google es una de varias grandes empresas tecnológicas que contrataron hordas de investigadores en los últimos años, algunos directamente de universidades, para construir modelos de IA destinados a enriquecer sus productos. Con el tiempo, Jones dijo que se encontró con preguntas sobre por qué el software no funcionaba bien y de quién era la culpa. Encontró que todo era una distracción de la investigación.
«Todos los días pasaba mi tiempo tratando de obtener acceso a los recursos, tratando de obtener acceso a los datos», dijo Jones. Google se negó a comentar.
Ahora, después de muchos años creando productos en laboratorios, Google se apresura a incorporar IA generativa, incluidos modelos de lenguaje extenso (LLM), en su motor de búsqueda, YouTube y otros productos. Los modelos pueden resumir información y generar respuestas similares a las humanas a preguntas escritas.
En opinión de Jones, Google está enfocando «toda la compañía en torno a esta tecnología», y la innovación es más desafiante «porque ese es un marco bastante restrictivo», dijo.
Ha dijo que él y Jones han hablado con otras personas que quieren trabajar en LLM, pero no han finalizado sus planes.
“Me sorprendería si los modelos de lenguaje no fueran parte del futuro”, dijo Ha, quien dejó Google el año pasado para ser jefe de investigación en la startup Stability AI. Dijo que no quiere que Sakana sea simplemente otra empresa con un LLM.
Tanto Jones como Ha tienen cosas poco halagadoras que decir sobre OpenAI, que ha traído el concepto de IA generativa a la corriente principal pero recaudó miles de millones de dólares de microsoft y otros inversores para hacerlo. Ha lo describió como «cada vez más grande y un poco burocrático», no muy diferente a los grupos dentro de Google.
Jones dijo que no cree que OpenAI sea tan innovador. Dijo que para los dos mayores éxitos de OpenAI, ChatGPT y el servicio DALL-E para crear imágenes con unas pocas palabras de texto, la startup tomó la investigación que realizó en Google y la aplicó a gran escala, haciendo refinamientos en el camino pero postergándolos. en compartir los desarrollos con la comunidad. Si bien OpenAI no ha lanzado ninguna de las tecnologías bajo una licencia de código abierto, ha publicado artículos sobre algunos de los sistemas subyacentes.
Un representante de OpenAI no respondió a una solicitud de comentarios.
Ha dijo que Sakana contrató a un investigador a tiempo parcial de la academia y que la compañía eventualmente contratará a más personas. Cuando se le preguntó si habían agregado a otros empleados de Google, Ha dijo: «Todavía no».
MIRAR: Ahora es el momento de cambiar la atención del hardware de IA al software de IA: ARK Invest
