Connect with us

BUSCAR EN SINALOAHOY

Tecnología

GPipe: una nueva biblioteca de Google para entrenar redes neuronales

La división de IA (Inteligencia Artificial) de Google ha liberado su biblioteca de código abierto, GPipe, la cual busca entrenar redes neuronales “eficientemente”, basándose en Lingvo, un marco de trabajo de TensorFlow para el modelaje de secuencias. Esta biblioteca de software es aplicable a toda red neuronal que consista en muchas capas secuenciales, afirma el ingeniero de Google, Yanping Huang, en donde además -indica- permite que los investigadores puedan escalar el desempeño fácilmente.

Las redes neuronales profundas (DNN por sus siglas en inglés), tienen muchas tareas en el aprendizaje de máquinas, incluyendo el reconocimiento de la voz, el reconocimiento visual y el procesamiento del lenguaje. Todo esto tiene sus propios inconvenientes y GPipe busca minimizarlos, haciendo que a través del paralelismo se puedan escalar estas redes (en su entrenamiento), para superar las limitaciones.

Canal de whatsapp de sinaloahoy

Resultado de imagen para GPipe google

Huang y colegas explican en un artículo llamado: “GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism“), cómo se ha implementado GPipe, que usa dos técnicas de IA: Una es usar el gradiente estocástico síncrono descendiente y la segunda es el paralelismo vía pipeline, un sistema de ejecución de las tareas en donde la salida de un programa es la entrada del siguiente en la cadena de la aplicación.

La mayoría de las ganancias en el desempeño usando GPipe se deben a la manera mucho mejor de usar la memoria en los modelos de la IA. Sobre la segunda generación de tensores en Google Cloud (llamadas TPUs), se tienen 8 núcleos y 64 GB de memoria (8 por núcleo), en donde GPipe reduce el uso de memoria intermedia de 6.26 GB a 3.46 GB, activando 318 millones de parámetros en un solo núcleo acelerado. Sin GPipe, -dice Huang- un solo núcleo podría apenas entrenar un sistema con 82 millones de parámetros.

Google crea inteligencia artificial capaz de derrotar a gamers profesionales

Pero esto no es la única ventaja de GPipe. Su modelo particionado entre diferentes aceleradores hace que puedan generarse batches miniatura (mini-batches), de ejemplos de entrenamiento, los cuales a su vez pueden partirse en micro-batches, y mediante la ejecución a través de pipelines, los resultados son más eficientes e incluso más rápidos. La razón es que así los núcleos pueden operar en paralelo y así acumular os gradientes entre los micro-batches, previniendo entonces las particiones y afectado la calidad del modelo.

En un experimento, Google entrenó un algoritmo de aprendizaje profundo -AmoebaNet-B- en 557 millones de parámetros en el modelo y con imágenes ejemplos en los TPUs, incorporando así 1.8 mil millones de parámetros en cada TPU, lo cual es 25 veces más que lo que no es posible hacer sin GPipe. El desempeño de la biblioteca se calificó como “bueno”.

Resultado de imagen para GPipe google

Por otra parte, la velocidad de entrenamiento mejoró. En una prueba separada que involucraba el algoritmo AmoebaNet-D, distribuyendo el modelo mejoró unas 3.5 veces. Cuando Google probó su modelo de transformación de lenguajes, que tiene unos 8 mil millones de parámetros. Usando núcleos TPU de tercera generación (que son los más nuevos), en donde cada uno tienen 16 núcleos y 256 GB de memoria, (16 GB por núcleo), se logró un tiempo récord de 11 veces más rápido.

“El desarrollo ulterior y exitoso de muchas aplicaciones de aprendizaje de máquinas, como la conducción de automóviles autónomamente o bien, imagenología médica, depende en lograr la mayor precisión posible”, escribió Huang. “Y como esto frecuentemente requiere construir modelos cada vez más complejos, estamos felices de compartir GPipe con la comunidad de investigadores, esperando que sea una infraestructura útil para entrenar eficientemente las redes neuronales a gran escala”.

La entrada GPipe: una nueva biblioteca de Google para entrenar redes neuronales se publicó primero en unocero.

Últimas noticias

Sinaloa

En un mensaje en redes sociales el gobernador expresó su desacuerdo con esta medida y llamó al diálogo para encontrar una solución beneficiosa para...

Mazatlán

Musico influencer de Mazatlán dice que la ‘musicada’ no​ votará por Morena por mal trato a sus colegas

Nacionales

La nueva aerolínea estatal de México, Mexicana de Aviación, enfrenta una demanda por incumplimiento de contrato.

Internacionales

Milei aviva la crisis diplomática: Colombia expulsa a representantes argentinos

Sticky Post

El empresario mazatleco Ernesto ‘Neto’ Coppel Kelly, ​no ha dado la cara después del despapaye que causó por sus comentarios en contra de la...

Nacionales

Macías Lagunes destacó que el Salto de Eyipantla es un atractivo importante para la zona.

Suscríbete y recibe noticias

Tendencia

Mazatlán

El sector turístico en Mazatlán, Sinaloa, ha estado en el ojo del huracán recientemente debido a las medidas restrictivas impuestas por las autoridades locales...

Mazatlán

Usuarios expresan su descontento, denunciando la influencia extranjera y la gentrificación en la ciudad sinaloense

Culiacán

Adolescente intoxicada por cocaína y fentanilo se encuentra estable en Hospital Pediátrico de Sinaloa

Internacionales

Tragedia en Baltimore: autoridades suspenden labores de rescate tras derrumbe del puente.

Nacionales

Andrea Otaolaurruchi, modelo y piloto que se volvió famosa por su participación en la temporada número 11 de 'Acapulco Shore' ha sido reportada como...

Nacionales

Conmemorando la traición de Judas Iscariote en el Miércoles Santo.

Culiacán

En estos momentos se está informando sobre el desplome de una avioneta en el fraccionamiento Portabello en Culiacán sin que hasta el momento se...

Clima

Este miércoles 27 de marzo habrá temperaturas extremas en varios estados de México.