La compañía de inteligencia artificial de Silicon Valley, Cerebras, ha publicado siete modelos GPT de código abierto para otorgar una opción alternativa a los sistemas patentados y íntimamente controlados libres hoy en día.
Cerebras, una compañía de infraestructura de inteligencia artificial para apps de inteligencia artificial en Silicon Valley, lanzó los modelos GPT de código abierto y libres de regalías, incluyendo los pesos y la receta de entrenamiento, bajo la licencia enormemente permisiva Apache 2.0.
Hasta un punto, los siete modelos GPT son una prueba de término para la supercomputadora Cerebras Andromeda AI.
La infraestructura de Cerebras deja a sus clientes del servicio, como Jasper AI Copywriter, entrenar de forma rápida sus modelos de lenguaje customizados.
A Blog de cerebros en tal tecnología de hardware:
“Entrenamos todos y cada uno de los modelos Cerebras-GPT en un clúster 16x CS-2 Cerebras Wafer-Scale llamado Andromeda.
El clúster dejó que todos y cada uno de los ensayos se completaran de forma rápida sin la ingeniería de sistemas organizados clásico y la optimización de modelos paralelos que se necesitan en los clústeres de GPU.
Lo que es más esencial, dejó a nuestros estudiosos centrarse en el diseño de ML en vez del sistema distribuido. Pensamos que la aptitud de entrenar de manera fácil modelos enormes es un aspecto clave para una enorme red social, con lo que pusimos predisposición el clúster Cerebras Wafer-Scale en la nube mediante Cerebras AI Modelo Estudio.”
Plantillas Cerebras GPT y transparencia
Cerebras cita la concentración de la propiedad de la tecnología de inteligencia artificial en unas escasas compañías como la razón para hacer siete modelos GPT de código abierto.
OpenAI, Misión y Deepmind sostienen enormes proporciones de información sobre sus sistemas privados y rigurosamente controlados, lo que limita la innovación a eso que las tres compañías deciden que otros tienen la posibilidad de llevar a cabo con sus datos.
¿Es preferible un sistema de código cerrado para la innovación de inteligencia artificial? ¿O es el código abierto el futuro?
Cerebrás redacta:
“A fin de que los LLM sean una tecnología abierta y alcanzable, pensamos que es esencial poder ingresar a diseños de vanguardia que sean libres, reproducibles y libres de regalías para apps comerciales y de investigación.
Con este fin, hemos listo una familia de modelos de transformadores usando las últimas técnicas y conjuntos de datos libres que llamamos Cerebras-GPT.
Estos modelos son la primera familia de modelos GPT entrenados con la fórmula Chinchilla y lanzados bajo la licencia Apache 2.0.
Por este motivo, estos siete modelos se lanzan cara abrazada Y Centro Git promover mucho más investigación a través del ingreso abierto a la tecnología de IA (inteligencia artificial).
Estos modelos fueron entrenados en la supercomputadora Andromeda AI de Cerebras, un desarrollo que tomó solo unas unas semanas.
Cerebras-GPT es absolutamente abierto y transparente, en contraste a los últimos modelos GPT de OpenAI (GPT-4), Deepmind y Misión OPT.
OpenAI y Deepmind Chinchilla no dan licencias para utilizar plantillas. Misión OPT proporciona únicamente una licencia no comercial.
GPT-4 de OpenAI no posee completamente ninguna transparencia sobre sus datos de entrenamiento. ¿Utilizaron datos de Common Crawl? ¿Han explorado Internet y desarrollado su grupo de datos?
OpenAI sostiene esta información (y otras) en misterio, lo que contrasta con el enfoque de Cerebras-GPT, que es absolutamente transparente.
Los próximos son todos libres y con transparencia:
- arquitectura modelo
- Datos de entrenamiento
- Pesos modelo
- puntos de control
- Estado de entrenamiento perfecto para el procesamiento (sí)
- Licencia de empleo: Licencia Apache 2.0
Las siete ediciones están libres en los modelos 111M, 256M, 590M, 1.3B, 2.7B, 6.7B y 13B.
Era el anunció:
“Por vez primera entre las compañías de hardware de inteligencia artificial, los estudiosos de Cerebras adiestraron una sucesión de siete modelos GPT con factores 111M, 256M, 590M, 1.3B, 2.7B, 6.7B y 13B en la supercomputadora Andromeda AI.
En la mayoría de los casos, una labor de múltiples meses, este trabajo se completó en cuestión de semanas merced a la increíble agilidad de los sistemas Cerebras CS-2 que conforman Andromeda y la aptitud de la arquitectura de reenvío de peso de Cerebras para remover el inconveniente de cálculo distribuido.
Estos desenlaces prueban que los sistemas Cerebras tienen la posibilidad de entrenar las cargas de trabajo de inteligencia artificial mucho más enormes y complicadas de esta época.
Esta es la primera oportunidad que se hace público un grupo de modelos GPT, entrenados con técnicas de eficacia de entrenamiento de nueva generación.
Estos modelos adiestran con la mayor precisión para un presupuesto computacional dado (asimismo popular como entrenamiento eficaz empleando la receta de Chinchilla), con lo que tienen el menor tiempo de entrenamiento, gastos de entrenamiento mucho más bajos y consumen menos energía que cualquier modelo de audiencia que existe».
inteligencia artificial de código abierto
La Fundación Mozilla firefox, los desarolladores del programa Mozilla firefox de código abierto, crearon una compañía llamada Mozilla firefox.ai para hacer GPT de código abierto y sistemas de recomendación fiables y afables con la intimidad.
Databricks asimismo lanzó últimamente un calco de GPT de código abierto llamado Dolly, cuyo propósito es democratizar la «magia de ChatGPT».
Aparte de los siete modelos Cerebras GPT, otra compañía, llamada Nomic AI, ha publicado GPT4All, un GPT de código abierto que se puede realizar en una PC portátil.
El día de hoy lanzamos GPT4All, un chatbot estilo asistente de 430k GPT-3.5-Turbo destilado que puede realizar en su PC portátil. pic.twitter.com/VzvRYPLfoY
— inteligencia artificial nómica (@nomic_ai) 28 de marzo de 2023
El movimiento de inteligencia artificial de código abierto está en su niñez, pero gana impulso.
La tecnología GPT está impulsando un cambio masivo en todas y cada una de las industrias, y es viable, quizás ineludible, que las contribuciones de código abierto cambien la cara de las industrias que impulsan este cambio.
Si el movimiento de código abierto prosigue continuando a este ritmo, posiblemente estemos a puntito de ver un cambio en la innovación de inteligencia artificial que evite que se concentre a cargo de unas escasas compañías.
Lea el aviso oficial:
Cerebras Systems lanza siete nuevos modelos GPT entrenados en sistemas CS-2 a escala de obleas
Imagen cortesía de Shutterstock/Merkushev Vasiliy
Fuente: searchenginejournal
Hashtags: #han #lanzado #siete #plantillas #GPT #gratis #código #abierto
Comentarios recientes