La toma superior de Pixel 3 puede elegir una mejor foto que la que tomaste, y así es como funciona

Los Pixel 3 y 3 XL de Google tienen algunas de las mejores (si no las) mejores cámaras del año, y junto con ese rendimiento generalmente impresionante hay un puñado de funciones de software bastante ingeniosas. Uno de ellos, llamado Top Shot, hace que esas excelentes fotos sean aún mejores al ayudarlo cuando comete un error y toma una foto demasiado temprano o demasiado tarde. Y aunque sabíamos un poco sobre cómo funcionaba Top Shot, había lagunas bastante grandes en nuestro conocimiento. Afortunadamente para los curiosos, Google acaba de publicar una explicación más técnica de la tecnología que hay detrás.

Los detalles completos están en el blog de IA de Google para su placer de lectura técnica de formato largo, aunque el tutorial oficial está un poco desordenado, replicándose en sí mismo de una manera que puede hacer que sea una lectura más difícil que otras excelentes publicaciones de blog de IA. Si prefieres la versión más simple, sigue leyendo:

ANDROIDPOLICE VÍDEO DEL DÍA

Herencia de Google Clips

La funcionalidad de Top Shot se basa en las mismas herramientas creadas por Google para usar con Google Clips. Aunque no parece haber tenido mucho éxito como producto en sí mismo, las limitaciones inherentes a Clips requerían una resolución avanzada de problemas: ¿Cómo se podría hacer una cámara automática que reconozca y guarde de forma independiente solo las mejores oportunidades de video corto que vea?

Para saber cómo Google logró esa magia, puede leer la explicación detallada publicada a principios de este año, pero la versión (extremadamente) breve fue que utilizaron el aprendizaje automático para hacerlo, el mecanismo de moda para resolver todos los problemas abstractos en estos días.

Los fotógrafos y editores de video proporcionaron métricas relativas entre pares para los datos de entrenamiento de Google Clips.

Se entrenó a un modelo en miles de videos fuente preseleccionados con la ayuda de fotógrafos profesionales y editores de video, quienes seleccionaron manualmente entre pares para entrenar al modelo en los mejores clips para tratar de emular. De hecho, se realizaron más de cincuenta millones de comparaciones binarias al recopilar datos para el modelo. Al combinarlo con la destreza de reconocimiento de imágenes preexistente ya desarrollada para Google Photos, los desarrolladores detrás de Google Clips pudieron crear un modelo que funcionaba para predecir contenido "interesante" calificado en lo que llamó un Moment Score basado en el reconocimiento de las cosas en el marco junto con las cualidades de un buen clip. Pero, el modelo solo podía ejecutarse en hardware que consume mucha energía. La parte realmente ingeniosa fue entrenar un modelo más simple en paralelo para emular el rendimiento de su hermano basado en servidor (es decir, usar un modelo para entrenar a otro).

Hay mucho más, pero con toda esa información combinada (más alguna capacitación continua en el dispositivo que reconoce más rostros y mascotas "familiares" con el tiempo), Google Clips puede determinar una puntuación relativa de lo que está viendo, y más. elige cuándo y cómo capturar el contenido.

Con los pequeños Google Clips capaces de reconocer contenido de buena calidad de no tan bueno, fue un salto mental relativo, un salto y un salto para considerar adaptar el concepto general al Pixel 3, aunque de una manera ligeramente diferente.

Traído al Pixel 3

Incluso antes de presionar el obturador metafórico en Pixel 3, Top Shot ya está funcionando en segundo plano junto con Motion Photos, si recuerda, esa es la función en Pixels de Google que le permite grabar un video corto de justo antes, durante y después de tomar una foto. Puede parecer un paso simple pasar de capturar videos de antes y después a fotos de antes y después, pero hay mucho más.

Google afirma que Top Shot captura hasta 90 imágenes de 1,5 segundos antes y después de presionar el obturador para comparar. Cuando hablamos con un representante de Google en el evento de lanzamiento de Pixel 3 sobre Top Shot, nos dijeron que la mayoría de las fotos alternativas se tomaron de Motion Photo, pero algunas alternativas seleccionadas de Top Shot también se guardan antes del proceso de codificación de video. en una resolución de mayor calidad que el propio vídeo de Motion Photo subsiguiente.

Diagrama abstracto del proceso de captura Top Shot.

Pero mucho antes de que pueda guardar esas imágenes, Top Shot necesita determinar rápidamente cuáles vale la pena guardar, al igual que los Clips de Google mencionados anteriormente. El modelo en el dispositivo adaptado y de bajo consumo de energía de Top Shot se entrenó con fotos de muestra en conjuntos de hasta 90 para clasificar todas las imágenes capturadas y guardar solo las mejores. Elimina aquellas que pueden estar borrosas, mal expuestas o en las que los ojos de un sujeto pueden estar cerrados, y trata de reconocer cosas como sonrisas u otras expresiones emocionales visibles. Incluso tiene en cuenta otros datos como la información del giroscopio del teléfono (capturada para otros usos) para aumentar aún más la velocidad a la que puede determinar la calidad de una foto alternativa.

Cuando encuentra hasta dos fotos que cree que podrían ser mejores que la que pretendías capturar, se guardan en calidad HDR+ y se reservan en el mismo archivo con la foto en movimiento. Y más tarde, cuando vaya a revisar esas fotos, se presentará la opción de cambiar a una de las otras alternativas capturadas de forma inteligente. Si lo desea, incluso puede seleccionar manualmente una de las fotos no HDR de menor resolución si cree que son aún mejores.

Dos recomendaciones rápidas y fáciles de Top Shot. ¿Quién sabía que tanta simplicidad se basaba en tanta complejidad?

Al igual que todas las funciones nuevas de los teléfonos en estos días, la magia fotográfica de Top Shot es cortesía de una gran cantidad de ingeniería de software avanzada impulsada por el aprendizaje automático. Por lo fácil y conveniente que es de usar, hay muchas maquinaciones avanzadas y complejas que suceden detrás de escena, y ahora son un poco menos misteriosas para ti.

Fuente: Google

Video:

Ir arriba