Google plus anunció una exclusiva tecnología llamada LIMoE, que piensa que es un paso hacia el logro de su propósito de una arquitectura de inteligencia artificial llamada Pathways.
Pathways es una arquitectura de IA (inteligencia artificial) que es un modelo único que puede estudiar a efectuar múltiples tareas que hoy día se efectúan usando múltiples algoritmos.
LIMoE es un acrónimo que significa Aprende de múltiples formas con una extraña combinación de especialistas. Es un modelo que realiza visión y artículo juntos.
Si bien hay otras arquitecturas que hacen cosas afines, el hallazgo es de qué forma el nuevo modelo efectúa estas tareas, usando una técnica de red neuronal llamada modelo disperso.
El modelo extraño se detalla en un producto de investigación de 2017 que ingresó el enfoque Mixture-of-Experts (MoE) en un producto de investigación que se titula, Redes neuronales de manera escandalosa enormes: la cubierta mezclada de especialistas de baja tasa.
El modelo extraño se distingue de los modelos «espesos» en que, en vez de dedicar cada una parte del modelo a una labor, el modelo extraño asigna la labor a múltiples «especialistas» que se especializan en parte de la labor.
O sea para achicar los costes de procesamiento al lograr que el modelo sea mucho más eficaz.
Tan afín a de qué manera un cerebro ve a un perro y sabe que es un perro, que es un adulto mayor y que el adulto mayor exhibe un pelaje cobrizo plateado, este modelo puede ver una imagen y efectuar la labor de forma afín al asignando el cálculo. tareas de múltiples especialistas expertos en la labor de admitir a un perro, su raza, color, etcétera.
El modelo LIMoE dirige los inconvenientes a «especialistas» que se especializan en una labor particularmente, con desenlaces afines o mejores que los enfoques recientes de resolución de inconvenientes.
Una característica atrayente del modelo es la manera en que ciertos especialistas se especializan en el procesamiento de imágenes, otros se especializan en el procesamiento de contenidos escritos y ciertos especialistas se especializan en realizar las dos cosas.
La descripción de Google plus sobre de qué forma marcha LIMoE exhibe de qué forma hay un especialista en ojos, un especialista en ruedas, un especialista en texturas de rayas, texturas sólidas, expresiones, picaportes, alimentos y frutas, mar y cielo, y un especialista en imágenes de plantas.
El aviso del nuevo algoritmo detalla a estos especialistas:
«Asimismo existen algunos modelos claros de calidad entre los especialistas en imágenes; por servirnos de un ejemplo, en la mayor parte de los modelos LIMoE, hay un especialista que trata todos y cada uno de los parches de imagen que poseen artículo. Un especialista trata la vida silvestre y la vegetación y otro trabaja con las manos del hombre».
Los especialistas que se especializan en distintas unas partes del inconveniente proponen la aptitud de escalar con precisión y efectuar muchas tareas distintas, pero a un menor valor computacional.
El trabajo de investigación sintetiza sus descubrimientos:
- «Garantizamos LIMoE, la primera mezcla multimodal a enorme escala de modelos especialistas.
- Probamos en aspecto de qué manera los enfoques precedentes para la regularización de modelos especialistas mixtos son deficientes para la educación multimodal y planteamos un nuevo esquema de regularización apoyado en la entropía para normalizar la capacitación.
- Probamos que LIMoE está muy extendido a escala arquitectónica, con novedades relativas en la precisión de tiro cero de ImageNet que van del 7 % al 13 % respecto a los modelos espesos equivalentes.
- Escalado aún mucho más, el LIMoE-H/14 consigue una precisión de ImageNet cero del 84,1 %, comparable a los modelos de contraste SOTA con andamios vertebrales pre-entrenamiento y por modal. «
El estado del arte encaja
Cada mes se publican muchas indagaciones. Pero solo unos pocos están relevantes por Google plus.
Google plus comunmente resalta la búsqueda por el hecho de que hace algo nuevo alén de lograr un nivel adelantado.
LIMoE consigue este desempeño para conseguir desenlaces equiparables a los más destacados algoritmos recientes, pero lo realiza mucho más eficaz.
Los estudiosos apuntan esta virtud:
“En la clasificación de imágenes sin click, LIMoE sobrepasa tanto a los modelos multimodo espesos equiparables como a los enfoques de 2 torres.
El LIMoE mucho más grande consigue una precisión de ImageNet de tiro cero del 84,1 %, comparable con los modelos mucho más costosos y de nueva generación.
La escasez deja que LIMoE se expanda con felicidad y aprenda a conducir entradas muy dispares, abordando la tensión entre ser un generalista terminado y un experto profesor. «
Los desenlaces positivos de LIMoE llevaron a los estudiosos a ver que LIMoE podría ser un sendero a proseguir para un modelo generalista multimodal.
Los estudiosos observaron:
“Pensamos que la aptitud de crear un modelo general con elementos especialistas, con la capacidad de elegir de qué forma interaccionan distintas formas o ocupaciones, va a ser clave para hacer modelos realmente multimodales que sobresalgan en todo cuanto hacen.
LIMoE es un primer paso agradable en esta dirección. «
Probables deficiencias, cortes y otros inconvenientes éticos
Hay deficiencias de esta arquitectura que no se discuten en el aviso de Google plus, pero se hablan de en nuestro trabajo de investigación.
La investigación halla que, exactamente la misma otros modelos a enorme escala, LIMoE asimismo puede ingresar cortes en los desenlaces.
Los estudiosos comentan que aún no han abordado «explícitamente» los inconvenientes inherentes a los modelos a enorme escala.
Están escribiendo:
«Los daños potenciales de los modelos a enorme escala…, los modelos en enfrentamiento… y los datos multimodales basados en la página web… asimismo están presentes aquí, puesto que LIMoE no los aborda explícitamente».
La declaración previo tiene relación (en un link a una nota al pie) a un trabajo de investigación de 2021 llamado, Sobre las ocasiones y peligros de los modelos de fundación (PDF aquí).
Ese archivo de investigación de 2021 advierte de qué forma las tecnologías emergentes de inteligencia artificial tienen la posibilidad de tener un encontronazo negativo en la sociedad, como por servirnos de un ejemplo:
«… injusticia, empleo indebido, encontronazo económico y ambiental, consideraciones legales y morales».
Según el archivo mencionado, los inconvenientes éticos asimismo tienen la posibilidad de aparecer de la inclinación a homogeneizar las tareas, lo que entonces puede ingresar un punto de falla que entonces se reproduce en otras tareas siguientes.
El archivo de investigación precautorio establece:
«El concepto de los modelos de base se puede sintetizar en 2 expresiones: fachada y homogeneización.
Fachada quiere decir que el accionar de un sistema se induce implícitamente en vez de crearse explícitamente; es tanto una fuente de entusiasmo científico como de ansiedad por las secuelas imprevisibles.
La homogeneización señala el fortalecimiento de metodologías para la construcción de sistemas de estudio automático en una extensa selección de apps; da un poderoso apalancamiento para muchas ocupaciones, pero asimismo crea puntos únicos de falla. «
Un área de precaución es la inteligencia artificial relacionada con la visión.
El archivo de 2021 establece que la ubicuidad de las cámaras quiere decir que cualquier avance en la IA (inteligencia artificial) relacionada con la visión podría representar un peligro inesperado para la app de la tecnología de una forma inopinada, lo que tiene la posibilidad de tener un «encontronazo disruptivo», incluyendo la confidencialidad y la supervisión. .
Otra observación sobre los adelantos en la inteligencia artificial relacionada con la visión son los inconvenientes de precisión y distorsión.
Ellos aprecian:
«Hay una historia bien documentada de corte aprendido en los modelos de visión por PC, lo que resulta en una menor precisión y fallos relacionados para conjuntos subrepresentados, lo que resulta en una implementación indebida y prematura en ciertos contextos de todo el mundo real».
El resto del archivo documenta de qué forma las tecnologías de IA (inteligencia artificial) tienen la posibilidad de estudiar sobre los cortes que ya están y perpetuar las desigualdades.
«Los modelos básicos tienen el potencial de generar desenlaces injustos: trato injusto de la gente, en especial gracias a la distribución dispar durante las líneas que agudizan la discriminación histórica… Como cualquier sistema de inteligencia artificial, los modelos básicos tienen la posibilidad de agudizar las desigualdades que ya están. Generan desenlaces injustos, afianzan el poder de los sistemas y distribuyendo desmesuradamente las secuelas negativas de la tecnología a los que están marginados…»
Los estudiosos de LIMoE apuntaron que este modelo particularmente puede emprender una parte del corte contra los conjuntos subrepresentados gracias a la naturaleza de de qué manera los especialistas se especializan en algunas cosas.
Esta clase de desenlaces negativos no son teorías, son situación y ahora han impactado de forma negativa vidas en apps de todo el mundo real, como cortes raciales injustos introducidos por algoritmos de reclutamiento.
Los autores de LIMoE reconocen estas probables deficiencias en un corto parágrafo que sirve como observación.
Pero asimismo apuntan que probablemente halla una ocasión de emprender varios de los cortes con este nuevo sentido.
Ellos escribieron:
«… La aptitud de escalar modelos con especialistas que tienen la posibilidad de especializarse en hondura puede conducir a un mejor desempeño en conjuntos subrepresentados».
Al final, un atributo clave de esta novedosa tecnología que debe tenerse presente es que no se relata ningún empleo explícito para ella.
Es sencillamente una tecnología que puede procesar imágenes y artículo de forma eficaz.
Jamás se aborda de qué forma se puede utilizar, así sea que se coloque en algún momento en este modo o en una manera futura.
Y este es un aspecto esencial que expone el archivo de observación (Ocasiones y peligros de los modelos de fundación)llama la atención sobre dado que los estudiosos crean habilidades para la inteligencia artificial sin tomar en consideración de qué manera se tienen la posibilidad de usar y el encontronazo que tienen la posibilidad de tener en cuestiones como la confidencialidad y la seguridad.
“Los modelos de fundación son activos intermedios sin un propósito concreto antes de ser amoldados; Entender su daño necesita meditar tanto en sus características como en el papel que desempeñan en la construcción de modelos concretos de actividad. «
Todos estos anuncios están excluidos del producto de avisos de Google plus, pero se hablan de en la versión PDF del propio trabajo de investigación.
Sendas de Arquitectura AI y LIMoE
Artículo, imágenes, datos de audio se nombran métodos, diversos tipos de datos o especialización de tareas, por de este modo decirlo. Los métodos asimismo tienen la posibilidad de representar lenguaje hablado y símbolos.
Entonces, en el momento en que ve la oración «multimodal» o «modalidad» en productos científicos y trabajos de investigación, de lo que hablo generalmente es de diversos tipos de datos.
La meta final de Google plus para la inteligencia artificial es lo que llama Pathways Next-Generation AI Architecture.
Pathways es una desviación de los modelos de estudio automático que hacen un enorme trabajo (que necesita miles) a un solo modelo que hace todo realmente bien.
Pathways (y LIMoE) es un enfoque multimodal para la resolución de inconvenientes.
es descrito de la próxima forma:
«La multitud confía en varios sentidos para sentir el planeta. Es muy distinta a la manera en que los sistemas de IA (inteligencia artificial) contemporáneos asimilan la información.
La mayor parte de los modelos recientes solo procesan un método de información al unísono. Tienen la posibilidad de atrapar artículo, imágenes o voz, pero en la mayoría de los casos no los tres al tiempo.
Pathways podría aceptar modelos multimodales que integren simultáneamente entendimiento visual, auditiva y lingüística.
Lo que provoca que LIMoE sea esencial es que es una arquitectura multimodal que los estudiosos llaman «Paso esencial hacia la visión de las Calles…«
Los estudiosos describen a LIMoE como «Ámbito“Pues es mucho más trabajo, lo que incluye examinar de qué manera este enfoque puede marchar con formas que van alén de las imágenes y el artículo.
Este archivo de investigación y el resumen que lo acompaña detallan la dirección de la investigación de Google plus AI y de qué forma llegar allí.
mencionado
Lea el resumen de Google plus de LIMoE
LIMoE: aprenda mucho más formas con una extraña combinación de especialistas
Descargue y lea el trabajo de investigación de LIMoE
Estudio multimodal en contraste con LIMoE: la mezcla lenguaje-imagen de los especialistas (PDF)
Imagen de Shutterstock / SvetaZi
Fuente: searchenginejournal
Hashtags: #Google plus #LIMoE #paso #hacia #único #propósito
Comentarios recientes