Uno de los terminales más destacados del momento es el Huawei Mate 30 Pro. La gama Mate de Huawei es la que, dentro del segmento Premium de dispositivos móviles, integra las más recientes innovaciones tecnológicas desarrolladas por esta compañía en sus centros de I+D, dejando para otras familias Premium como la “P” las innovaciones en áreas como la fotografía.
El Mate 30 Pro, sin ir más lejos, incorpora elementos tecnológicos de gran relevancia, como el SoC Kirin 990, desarrollado por la propia Huawei, en el que se usa la tecnología de fabricación de 7 nm junto con la integración de elementos como el módem Balong de comunicaciones en la variante 5G del chip, así como una nueva arquitectura propia (Da Vinci) para la NPU encargada del procesamiento de aplicaciones que usen algoritmos de IA.
Mejoras en la fotografía y el vídeo
A pesar de que los terminales de la gama “P” son los adalides de la fotografía, en el Mate 30 Pro, Huawei ha introducido mejoras en este campo, como un nuevo sensor especialmente pensado para grabar vídeo (además de hacer fotos, por supuesto), de 40 Mpx y con óptica ultra gran angular, así como una mejorada transición entre las diferentes cámaras cuando se usan los controles de zoom mientras se capturan secuencias en movimiento.
Además, Huawei ha mejorado la captura de secuencias en cámara súper lenta, añadiendo un modo de grabación a nada menos que 7.680 fps a una resolución de 720p (1.280 x 720 píxeles), junto con otro modo a 1.920 fps y 720p. Estos modos se suman a los ya conocidos de 960 fps a 1080p.
La pregunta es: ¿cómo lo hace? Si no nos paramos mucho en los detalles, puede parecer una mejora más, pero las cámaras comerciales como esta que hemos encontrado a modo de ejemplo, que capturan vídeo a tasas de frames tan elevadas, cuestan decenas de miles de dólares, mientras que el Mate 30 Pro es un terminal que, además del vídeo a ultra slow motion, cuenta con toda la funcionalidad de un smartphone y tiene un precio a partir de 1.099€.
Vídeos a 7.680 fps: ¿cómo es posible?
Si nos paramos un momento a pensar en qué es necesario para capturar vídeo a una tasa de frames tan elevada, hay un componente muy importante: el sensor. Cuantos más frames se capturan en un segundo, menos tiempo tiene el sensor para capturar la luz. Esto ha hecho, tradicionalmente, que los vídeos realizados a cámara lenta con tasas de frames de 960 fps hayan dependido mucho de las condiciones de iluminación del entorno.
En este sentido, tecnologías como el sensor RYYB que integran smartphones como el P30 Pro o el Mate 30 Pro permiten que el sensor capture hasta un 40% más de luz que con uno RGGB tradicional. Este aumento de la luz capturada permite a Huawei tener margen para implementar soluciones como la cámara súper lenta.
Huawei ha conseguido algo que no entra dentro de la categoría de milagro, pero sí de avance tecnológico de gran relevancia: capturar secuencias reales de vídeo a 720p a 1.920 fps
Vamos a hacer un poco de spoiler: el Mate 30 Pro no captura realmente 7.680 frames cada segundo en el modo 256x de cámara lenta. Si así lo hiciera, estaríamos ante un milagro básicamente. Si el sensor, con una apertura de F1.8 o F1.6 en el mejor de los casos, 40 Mpx y un tamaño de menos de 1’’, consiguiese atrapar luz suficiente como para formar una imagen en 0,00013 segundos, tendríamos que pensar que nos han llevado con una máquina del tiempo al futuro. Lo que hace el modo 256x a 7.680 fps es interpolar frames a partir de una secuencia de captura de 1.920 fps.
Llegados a este punto, poniendo la tecnología en contexto, hay que reconocer que Huawei ha conseguido algo que no entra dentro de la categoría de milagro, pero sí de avance tecnológico de gran relevancia: capturar secuencias reales de vídeo a 720p a 1.920 fps, el doble de los 960 fps con los que se trabaja habitualmente con la tecnología actual de captura en slow motion.
Un trabajo en equipo
Para conseguir capturar secuencias a 7.680 fps, se necesita que todo el teléfono esté al servicio de esa tarea. También se precisa para capturar a 960 o 1.920 fps, pero para los 7.680 fps hay que añadir el trabajo de interpolación de frames mediante IA, que no es especialmente fácil de implementar.
Hay que tener en cuenta que se están capturando cientos de imágenes en una fracción de tiempo muy pequeña, que se tienen que procesar como cualquier otra imagen que sale del sensor a través del ISP, almacenar en memoria y codificar en forma de vídeo MP4. El hecho de que a 960 fps se trabaje a 1.080p y en 1.920 fps a 720p responde precisamente a una necesidad para limitar la cantidad de datos que se manejan.
Los vídeos a 960 fps duran 18 segundos y tienen una tasa de frames de 30 fps, lo cual supone que tenemos unos 16 segundos de vídeo a cámara lenta, quitando un segundo de entrada y uno de salida a velocidad normal. Los 16 segundos del vídeo final resultante se obtienen multiplicando los 0,5 segundos que se está capturando la acción a 960 fps por 32, que es el factor de ralentización de la acción, lo cual supone trabajar con 480 fotos de 2 Mpx. Solo contando las imágenes, tenemos 1 GB de datos que el móvil tiene que procesar para “montar” el vídeo final prácticamente en tiempo real.
Para conseguir los 7.680 fps (256x), se parte de la captura a 1.920 fps, pero interpolando frames. El vídeo resultante es de 34 segundos, siendo 32 de ellos aproximadamente los que están a cámara súper lenta
En el caso de 1.920 fps de cámara lenta (64x), los vídeos obtenidos tienen una resolución de 720p y una duración de 33 segundos. En la práctica tenemos 32 segundos de acción a cámara lenta, que provienen de 0,5 segundos capturados a 1.920 fps o 64x. Es decir, el móvil procesa 960 imágenes de 0,9 Mpx. Esto redunda en unos 900 MB de datos procedentes únicamente de las imágenes que salen del sensor, a lo que hay que sumar los necesarios para procesarlas y convertirlas en vídeo.
El ISP (procesador de imagen) tiene que realizar las tareas de limpieza de las imágenes en aspectos como la reducción de ruido, reconstrucción de la imagen a partir de la información del sensor, aplicar mejoras, etcétera. La CPU también interviene para mover los procesos necesarios para que el usuario obtenga el vídeo de forma ágil.
7.680 fps: la IA hace su magia
Para conseguir los 7.680 fps (256x), se parte de la captura a 1.920 fps, pero interpolando frames. El vídeo resultante es de 34 segundos, siendo 32 de ellos aproximadamente los que están a cámara súper lenta. Es decir, se capturan 0,12 segundos de secuencia a 1.920 fps y 720p. Si hacemos cuentas, 0,12 segundos multiplicado por 256 da como resultado esos 32 segundos que dura el vídeo resultante. Esto se traduce en 240 frames “reales” que se convertirán en 960 frames tras un proceso de interpolación usando algoritmos de IA.
El proceso se realiza prácticamente en tiempo real, para lo cual utiliza unos 2 GB de memoria RAM que es la que se emplea desde la CPU, GPU y NPU para realizar el procesamiento necesario para “montar” el vídeo final a 7.680 fps. Estos procesos tienen que realizarse en RAM para que el usuario no experimente la sensación de “estar esperando” más allá de lo imprescindible.
La interfaz de la cámara, en el modo lento, puede funcionar en automático o manual. En el modo automático, la IA se encarga de detectar el movimiento en la escena, activando la captura de la secuencia en el momento en el que empieza la acción. En el modo manual, somos nosotros los que activamos la captura de la secuencia cuando queramos. Teniendo en cuenta que se trata de 0,12 segundos de acción los que se registran, la IA será de utilidad en más de una ocasión, aunque el modo manual, con un poco de práctica, permite obtener también secuencias bastante ajustadas a la acción.
La innovación como seña de identidad
La familia Mate es la abanderada de la innovación en los terminales Huawei. Y funcionalidades como la cámara lenta a 7.680 fps son una muestra de ese espíritu innovador aplicando la IA a la implementación de una funcionalidad única en el mercado y con un resultado perfectamente usable.
La calidad de la interpolación es notablemente alta. Eso sí, un investigador de un centro de I+D que necesite una cámara que capture miles de frames por segundo no debe hacerse ilusiones. La calidad de una cámara de decenas de miles de dólares sigue siendo mayor y permite grabar secuencias más prolongadas. Pero para un uso didáctico, lúdico, divertido y que genere un “efecto wow”, el Mate 30 Pro es una propuesta única en el mercado y muy por encima de otros terminales.
Examinando los vídeos a 1.920 fps y 7.680 fps con un programa de edición de vídeo es posible detectar, yendo frame a frame, los efectos de la interpolación, pero es necesario fijarse mucho para que sea algo realmente evidente. El resultado es un modo de captura de vídeo a súper cámara lenta usable y espectacular en tanto en cuanto nos descubre aspectos de nuestro mundo cotidiando que, sencillamente, no podíamos ver hasta ahora.
