Open Source GPT Chat fué un paso mucho más allí con la publicación de Dolly Large Language Model (DLL) desarrollado por la compañía de programa empresarial Databricks.

El nuevo calco de ChatGPT lleva por nombre Dolly, en honor a la conocida oveja del mismo nombre, el primer mamífero clonado.

Enormes modelos de lenguaje de código abierto

Dolly LLM es la última manifestación del creciente movimiento de inteligencia artificial de código abierto, que busca ofrecer un mayor ingreso a la tecnología a fin de que no sea monopolizada y dominada por enormes corporaciones.

Una preocupación que impulsa el movimiento de inteligencia artificial de código abierto es que las compañías tienen la posibilidad de ser reluctantes a dar datos privados a un tercero que controla la tecnología de inteligencia artificial.

Apoyado en código abierto

Dolly se edificó desde un modelo de código abierto desarrollado por el centro de investigación sin ánimo de lucrar EleutherAI y la Facultad de Stanford Patrón de alpacas que fue desarrollado por la fuente abierta de 65 mil millones de factores modelo LLaMA desarrollado por misión.

LLaMA, que significa Large Language Model Misión AI, es un modelo de lenguaje entrenado en datos libres públicamente.

Según un producto de Pesos y prejuiciosLLaMA puede sobrepasar a varios de los primordiales modelos de lenguaje (OpenAI GPT-3, Deep Mind’s Gopher y DeepMind’s Chinchilla) pese a ser mucho más pequeño.

Creando un mejor grupo de datos

Otra fuente de inspiración procedió de un trabajo de investigación académica (AUTO-INSTRUCCIÓN: alineación del modelo de lenguaje con normas autogeneradas PDF) quien describió una manera de hacer datos de capacitación de cuestiones y respuestas generados de forma automática de alta definición que son mejores que los datos públicos limitados.

El trabajo de investigación de Self-Instruct enseña:

«… creamos un grupo de normas escritas por especialistas para novedosas tareas y probamos a través de evaluación humana que la optimización de GPT3 con AUTO-INSTRUCCIÓN sobrepasa con creces los conjuntos de datos de educación pública que ya están, dejando únicamente una brecha absoluta del 5 % en frente de InstructGPT…

…Al utilizar nuestro procedimiento a Vanilla GPT3, probamos una optimización absoluta del 33 % respecto al modelo original en SUPERNATURALINSTRUCTIONS, a la par con el desempeño de InstructGPT… que se adiestra con datos de individuos privados y notas humanas”.

La relevancia de Dolly es que revela que se puede hacer un modelo de lenguaje grande y útil con un grupo de datos mucho más pequeño pero de alta definición.

Notas sobre el databrick:

“Dolly marcha tomando un modelo de código abierto que existe de 6 mil millones de factores de EleutherAI y modificándolo tenuemente para derivar normas de habilidades como lluvia de ideas y generación de artículo que no están presentes en el modelo original, usando datos de Alpaca.

… Probamos que alguno puede tomar un modelo de lenguaje grande (LLM) de código abierto anticuado y ofrecerle habilidades mágicas de rastreo de normas afines a ChatGPT entrenándolo en 30 minutos en solo una máquina utilizando datos de entrenamiento de alta definición.

Increíblemente, el chequeo de normas no semeja necesitar los modelos mucho más recientes o mejores: nuestro modelo tiene solo 6 000 millones de factores, en comparación con los 175 000 millones de GPT-3″.

Ladrillos de datos de inteligencia artificial de código abierto

Diríase que Dolly democratiza la inteligencia artificial. Es una parte de un movimiento de ropa al que Mozilla firefox se unió últimamente como una organización sin ánimo de lucrar con la fundación de Mozilla firefox.ai. Mozilla firefox es el editor del navegador Mozilla firefox y otro programa de código abierto.

Lea el aviso terminado de Databricks:

Hello Dolly: democratizando la magia de ChatGPT con plantillas abiertas

Fuente: searchenginejournal

Hashtags: #Nuevo #calco #ChatGPT #código #abierto