La Product Manager del iPhone. Francesca Sweet, y el Vicepresidente de Ingeniería de Software de la Cámara en Apple, Jon McCormack, hablan en una entrevista en PetaPixel, sobre cómo Apple se aproxima al diseño de cámaras y su desarrollo.
Según los ejecutivos, Apple ve la tecnología que se incluye en la cámara fotográfica de los iPhone como una unión holística entre hardware y software.
En la entrevista se habla que Apple ve como su objetivo principal para la fotografía de los smartphone permitir a los usuarios “permanecer en el momento, hacer una gran foto, y seguir con lo que estaban haciendo” sin distraerse con la tecnología que hay detrás.
McCormack explica que aunque los fotógrafos profesionales realizan todo un proceso de retocar las imágenes, Apple intenta que las fotos salgan perfectas en el momento de apretar el disparador.
“Intentamos replicar todo lo posible lo que el fotógrafo haría en postproducción” dice McCormack. “Hay dos caras en la realización de una fotografía: la exposición, y cómo la retocas posteriormente. Usamos una gran cantidad de fotografía computacional en la exposición, pero cada vez más en la postproducción y en que todo se haga automáticamente para el usuario. El objetivo de esto es que salgan fotografías que parecen mas realistas, replicando lo que sería haber estado allí físicamente”.
A continuación describe cómo Apple utiliza el aprendizaje automático (machine learning) para dividir las escenas en partes naturales para que se procesen usando imagen computacional.
“El fondo, el primer plano, los ojos, labios, pelo, piel, ropa, cielo… procesamos todas esas partes de manera independiente como lo harías en el cuarto oscuro con un montón de ajustes locales” dice McCormack. “Lo ajustamos todo: la exposición, contraste, y saturación, para combinarlo junto… Entendemos el aspecto que tiene que tener la comida, y podemos optimizar el color y saturación de manera consecuente para que sea mucho más realista.
Los cielos son especialmente difíciles de conseguir acertar, y Smart HDR 3 nos permite aislar el cielo y tratarlo de manera independiente y después volver a fusionarlo para recrear mas fielmente cómo fue la sensación en el momento de verlo”.
McCormack también explica los motivos de Apple para elegir incluir la capacidad de grabar vídeo en Dolby Vision HDR en la gama del iPhone 12.
“Apple quiere desenmarañar la compleja industria que es HDR, y la forma de hacerlo es con grandes herramientas de creación de contenidos. Eso va desde la producción de vídeo HDR que era un nicho y era complicada por que necesitaba unas cámaras gigantescas y caras y un conjunto de herramientas de vídeo que ahora mi hija de quince años puede utilizar para crear vídeo HDR con Dolby Vision. Así dentro de poco habrá mucho más contenido en Dolby Vision disponible. Va en el propio interés de la industria que ahora aumenten las herramientas y la compatibilidad”.
Los ejecutivos también hablan sobre las mejoras en hardware de la cámara en el iPhone 12 y el iPhone 12 Pro: “la nueva cámara gran angular y los algoritmos mejorados de fusión de imagen provocan una reducción de ruido y un aumento de los detalles”. Los avances específicos en la cámara del iPhone 12 Pro Max también merecen una mención especial:
“Con el Pro Max podemos llegar aún más lejos porque el sensor de mayor tamaño nos permite capturar más luz en menos tiempo, lo que permite mejor congelamiento del movimiento en entornos nocturnos”.
Preguntado por la razón por la que Apple ha decidido aumentar el tamaño del sensor ahora, en el iPhone 12 Pro Max, McCormack dice de la perspectiva de Apple:
“Ya no es relevante para ninguno de nosotros hablar de una velocidad concreta y una obturación de imagen, o de un sistema de cámaras” dice “mientras creamos el sistema de cámaras pensamos en todo eso, y pensamos en todo lo que se puede hacer desde el software… puedes ir, claro está, por un sensor de mayor tamaño, que plantea problemas de espacio, o puedes mirarlo desde el punto de vista del sistema completo y preguntarte si hay otras formas de conseguir el mismo resultado. Entonces definimos cuál es el objetivo y resulta que no es tener un sensor más grande del que presumir. El objetivo es cómo hacer fotos más bonitas en el mayor número de situaciones en las que se encuentra la gente. Ese es el camino que nos llevó a la fusión profunda (deep fusion), modo noche, y procesado de señal de imagen temporal”.
Mucho más en la entrevista con Sweet y McCormack en PetaPixel.
