La inteligencia artificial se ha asociado tradicionalmente con la nube y la potencia de cálculo de los centros de datos de proveedores como Google, Amazon, Microsoft o IBM, entre otros. Pero, de un tiempo a esta parte, se ha empezado a llevar la IA a los dispositivos “en el edge”. Es decir, a dispositivos tales como los los teléfonos móviles o los asociados al Internet de las Cosas.
La idea es sencilla conceptualmente: se desarrollan modelos de redes neuronales que se “entrenan” en los centros de datos cloud y que posteriormente se usan en los dispositivos móviles a través de apps que aplican esos modelos de IA “enseñados” en la nube para desempeñar la función para la que han sido programadas.
Estas aplicaciones de IA generalmente precisan de una capacidad de procesamiento en paralelo y simultáneo muy elevada. Los procesadores tradicionales de los dispositivos móviles solo pueden ejecutar unas pocas tareas a la vez. Son óptimos para apps “clásicas”, pero para apps de IA son poco eficientes. Por ello, fabricantes como Huawei han desarrollado aceleradores para las apps de IA. En su caso, se trata de la NPU (Neural Processing Unit), que se introdujo con el SoC Kirin 970 por primera vez en el terminal Huawei Mate 10.
Los Huawei P20/P20 Pro extendieron aún más el uso de la NPU, y con el SoC Kirin 980 de los Huawei Mate 20 y Mate 20 Pro se añade una segunda NPU que duplica la capacidad de procesamiento en aplicaciones de IA.
IA para fotografía mejorada
La fotografía computacional es una tendencia de las que podríamos llamar “fuertes”. A través del software, los fabricantes de teléfonos compensan las limitaciones físicas de los dispositivos y la imposibilidad de usar sensores de gran tamaño y ópticas solventes como las de las cámaras dedicadas.
Pero el procesamiento de millones de píxeles en tiempo real demanda una potencia de cálculo por encima de la que se podía obtener a partir de los procesadores clásicos. Y es precisamente una competencia de la IA la de “ver” y procesar de un modo inteligente las imágenes que llegan a las apps del smartphone a partir de los sensores de las cámaras.
En este sentido, los Mate 20 y Mate 20 Pro aprovechan el rendimiento mejorado del SoC Kirin 980, en apartados como la NPU, el procesador de imagen (ISP) o la aceleradora gráfica (GPU), para procesar las imágenes de un modo optimizado.
La IA de los nuevos Mate 20, por ejemplo, permite identificar 1.500 escenarios en 25 categorías, con el valor añadido de la identificación de escenas mediante segmentación. A partir de ahí, se aplican los parámetros fotográficos propios de cada escena para dar el toque final a las fotos que se muestran a los usuarios.
Si hablamos de identificación de elementos, la opción Hi Vision habilita la cámara y analiza lo que capta a través del sensor para identificar lo que está «viendo». Por ejemplo, con la comida incluso se ofrece información sobre las calorías.
Selección de cámara automática
Una de las funcionalidades nuevas añadidas en la parte de la cámara es la selección del angular en función de la escena. Si se trata de una escena en la que el gran angular puede jugar un mejor papel, la IA ofrecerá la opción de hacer la foto en el modo de mayor ángulo de visión.
Otro nuevo modo que la IA elige automáticamente es el de super macro. Es un modo muy útil para fotografiar objetos cercanos hasta a 2,5 cm. La IA ajusta los parámetros de imagen para hacer la foto independientemente de lo que estuviéramos usando.
En general, la integración de la IA en la cámara ha sido optimizada y se han adaptado los parámetros de algunos modos tras el feedback recibido de los usuarios de los terminales P20. Por ejemplo, reduciendo la intensidad de los tonos verdes o azules en los modos vegetación o cielo azul, respectivamente.
El modo noche se usa en todos los sensores en los Mate 20, lo cual permite hacer fotos en condiciones de luz que de otro modo serían de mala calidad.
En la cámara frontal, la IA se ha integrado en el modo HDR automático, con resultados muy buenos de cara a obtener instantáneas con una iluminación desigual.
La IA llega al vídeo
Donde ha habido novedades muy relevantes es en la grabación de vídeo. Con la presentación de los nuevos Huawei Mate 20 y Mate 20 Pro, tenemos diferentes opciones que hacen uso del procesamiento avanzado e inteligente de las secuencias de vídeo para identificar al sujeto principal de una escena y así jugar con efectos en los que se diferencie a dicho sujeto principal del fondo.
Concretamente, tenemos opciones para añadir color con IA, dejar el fondo borroso y el sujeto en primer plano enfocado, aplicar estética retro, una atmósfera de suspense o una estética fresca.
Estos modos se aplican a resoluciones Full HD 1080 a 30 fps o inferiores con todos los niveles de zoom disponibles. La calidad es suficiente para la mayoría de los usos habituales que podamos hacer con los vídeos.
Otro modo que ha llegado a los Mate 20 en el apartado de vídeo es el zoom inteligente. Así, bloqueando un objeto en pantalla, la IA se encarga de hacer un seguimiento usando el zoom para acercar o alejar las tomas. Es un modo interesante, aunque los resultados dependen de factores como el patrón de movimiento del objeto o el sujeto en cuestión. Este modo se activa únicamente en el modo Full HD.
Más ingredientes para la creatividad
Estos efectos de desenfoque y juego con el color que se integran en el vídeo añaden dimensiones nuevas a las iniciativas creativas de los usuarios. En un momento en el que las stories de Instagram están captando la atención generalizada de todo tipo de usuarios, y el vídeo compite con la fotografía como funcionalidad más usada en los terminales móviles, estas opciones integradas en la propia app son de un gran interés y ahorran mucho tiempo de edición, o evitan emplear otras apps que, además, no harían un procesamiento en tiempo real.
Pero no solo contamos con IA a la hora de capturar momentos o de grabar vídeos, sino que la IA de los Mate 20 también se ha mejorado en la parte de la clasificación y edición en la Galería.
La IA nos ayuda a organizar los contenidos multimedia
Un paseo por la Galería de imágenes permite ver cómo, de forma automática, se clasifican las fotos de acuerdo con su temática. Ya sean caras, lugares, tipos de escenas u objetos, además de los tradicionales álbumes, podemos encontrar fácilmente nuestras fotografías sin tener que hacer prácticamente nada más que hacerlas.
Es una clasificación extensa, en la que, además, podemos mover imágenes que no correspondan con la categoría dada a la que sea óptima, objetivamente hablando, o porque consideremos que encaja mejor en otra categoría, aunque la que haya elegido la IA no se incorrecta.
Edición de vídeo inteligente
Otra funcionalidad que se añade al repertorio de habilidades de la IA en los Huawei Mate 20 es la asistencia para la edición de vídeo. Una vez que hemos capturado una secuencia, la IA analiza el contenido en busca de los momentos más relevantes, así como de la presencia de rostros o caras.
De esta manera, se genera un vídeo automáticamente a modo de recuerdo de 10 segundos. Podemos editarlo usando la app descargable Quik para la edición de vídeo, que es la que se usa con los dispositivos GoPro.
El análisis se hace automáticamente o bajo demanda, si no se ha realizado automáticamente. Para acceder a esta función, solo tenemos que hacer el gesto de deslizar hacia arriba cuando estemos viendo el vídeo en la Galería del dispositivo.
Paso a paso
La integración de la IA en los dispositivos móviles se está produciendo de un modo progresivo, con la adopción paulatina de funcionalidades y habilidades en aquellos terminales en los que las apps de IA se benefician de la presencia de aceleradores como las NPU de Huawei.
Huawei ha evolucionado la IA en los Mate 20 y Mate 20 Pro, a la espera de optimizar y añadir funcionalidades propias o de terceras partes que desarrollen aplicaciones para los terminales.
La IA también se aplica en EMUI 9, la capa de personalización de Android, para «aprender» acerca de los hábitos de los usuarios, aunque no es sencillo evaluar de un modo cuantitativo el impacto de la IA en la experiencia de usuario. Por lo menos, por ahora.
Imágenes / Huawei y Manuel Arenas
