Google introduce ScreenAI, un modelo de IA que entiende y opera interfaces de usuario e infografías, revolucionando la interacción humano-máquina.»

La UI cambiará para siempre

La resistencia a los antibióticos es un problema creciente a nivel mundial, con cerca de 5 millones de muertes anuales vinculadas a esta causa. La necesidad de encontrar soluciones innovadoras es más urgente que nunca. En este contexto, investigadores de Stanford Medicine y la Universidad McMaster han dado un paso revolucionario utilizando la inteligencia artificial generativa para desarrollar fármacos contra cepas resistentes de la bacteria Acinetobacter baumannii, una de las principales causantes de muerte relacionada con la resistencia a los antibióticos.

En una era donde la interfaz de usuario (UI) se convierte en el puente principal entre la tecnología y el ser humano, mejorar su comprensión y manejo a través de la inteligencia artificial (IA) es un paso gigante hacia la innovación. Google Research, a través de Srinivas Sunkara y Gilles Baechler, ha presentado recientemente ScreenAI, un modelo de lenguaje visual diseñado específicamente para entender, razonar e interactuar con interfaces de usuario e infografías.

La comunicación humana y la interacción con las máquinas dependen en gran medida de interfaces ricas e interactivas, que incluyen desde diagramas y tablas hasta completas UIs. Estas comparten principios de diseño y un lenguaje visual común, tales como iconos y layouts, que representan una oportunidad única para desarrollar un modelo unificado capaz de operar dentro de este espectro visual. No obstante, la complejidad y variedad en los formatos de presentación plantean un desafío de modelado significativo.

Con solo 5B de parámetros, ScreenAI logra resultados de vanguardia en tareas basadas en UI e infografías, y un rendimiento de primera clase en comparación con modelos de tamaño similar.

Con solo 5B de parámetros, ScreenAI logra resultados de vanguardia en tareas basadas en UI e infografías, y un rendimiento de primera clase en comparación con modelos de tamaño similar. Esto se acompaña de la liberación de tres nuevos conjuntos de datos diseñados para evaluar la capacidad del modelo de entender el layout, así como su habilidad en QA.

El modelo ScreenAI se basa en la arquitectura PaLI, que incluye un bloque codificador multimodal y un decodificador autoregresivo. Utiliza un transformador de visión (ViT) para crear incrustaciones de imagen, y un codificador multimodal que toma como entrada la concatenación de las incrustaciones de imagen y texto. Esta arquitectura flexible permite a ScreenAI resolver tareas de visión que se pueden reformular como problemas de texto+imagen a texto.

La generación de datos para ScreenAI involucra la compilación de una amplia colección de capturas de pantalla de diversos dispositivos, utilizando un enfoque de exploración programática. Posteriormente, se aplica un anotador de layout basado en el modelo DETR, que identifica y etiqueta un amplio rango de elementos de UI y sus relaciones espaciales. Este proceso de anotación detallada es crucial para interpretar la información sutil transmitida a través de iconos e infografías.

 ¿Por qué es importante?

1. Innovación en la interacción humano-máquina: ScreenAI representa un avance significativo en cómo las máquinas comprenden y operan las interfaces gráficas, lo que podría traducirse en experiencias de usuario más intuitivas y accesibles.
2. Mejora en la accesibilidad: Al facilitar la comprensión automática de las UI, este modelo tiene el potencial de hacer la tecnología más accesible a personas con diversas capacidades.
3. Potencial de aplicación en múltiples campos: Desde el desarrollo de software hasta la educación y el diseño gráfico, las implicaciones de ScreenAI son vastas y pueden influir en una amplia gama de industrias

   ¿Cómo crees que ScreenAI cambiará tu interacción diaria con la tecnología?