Amazon reescribe los labios de sus actores con IA para un doblaje más realista

Amazon Prime Video quiere que los personajes hablen como si hubieran nacido en cada idioma. La compañía acaba de presentar una tecnología que, en vez de limitarse a traducir el audio del doblaje, reescribe digitalmente los labios y la zona inferior del rostro de los actores. El objetivo, según Raf Soltanovich, vicepresidente de tecnología de Prime Video y Amazon GMM Studios, es crear una forma “más fluida e inmersiva de disfrutar del contenido global”.

El sistema usa inteligencia artificial para alterar el vídeo original fotograma a fotograma. Toma la pista de audio doblada y ajusta la boca del intérprete para que coincida con las palabras pronunciadas en el otro idioma. Aunque la técnica no es nueva —empresas como Flawless AI llevan años en esto y videojuegos como ‘Cyberpunk 2077’ ya la usan—, el despliegue de Amazon arranca ahora con la serie alemana ‘Maxton Hall’, que será la primera en probar el doblaje labial asistido por IA en su versión al inglés. La compañía no ha publicado demos ni vídeos y no hay calendario para otros idiomas.

De los resúmenes fallidos a la guerra con los actores de voz

El doblaje con IA no es el único experimento de Amazon en su plataforma de streaming. La empresa ya está probando sistemas de doblaje “asistido por IA” para películas y series en inglés y español, y ha generado doblajes íntegramente con IA para algunos animes. Esa última movida provocó una reacción negativa tanto de usuarios como de actores de voz. También lanzó resúmenes automáticos de series que, por la cantidad de errores, tuvieron que retirar. Y ha producido contenido directamente hecho con IA, como ‘Love, Diana Music Hunters’.

Pero el conflicto más serio está en el mundo del doblaje profesional. Varios sindicatos, como Adoma —el mayor sindicato de actores y actrices de voz a nivel nacional en Alemania—, han criticado a Amazon por no incluir cláusulas de protección frente a la IA. Denuncian que las empresas entrenan modelos capaces de generar voces “imitándoles, sin permiso y sin compensación”. Un caso emblemático es el de la voz de Lara Croft en el juego ‘Tomb Raider: Legacy of Atlantis’: Amazon no doblará a muchos idiomas y exige que los actores cedan los derechos de su voz para entrenar la IA, algo a lo que los intérpretes se han negado.

El valle inquietante y el ojo humano

Más allá de la polémica laboral, la tecnología enfrenta un desafío técnico: el llamado “valle inquietante”. Los humanos estamos diseñados para detectar cualquier anomalía en los rostros ajenos. Una mínima perturbación en el movimiento de los labios o en los músculos faciales puede generar rechazo instantáneo, incluso si no sabemos explicar por qué. La IA puede aprender y mejorar —como el famoso ejemplo de Will Smith comiendo pasta—, pero el ojo humano sigue siendo un detector implacable. Para muchos espectadores, una ligera desincronización labial puede ser menos molesta que una boca que se mueve de forma artificial.

¿Y qué relevancia tiene esto para Chile? El país consume contenido de streaming como cualquier otro mercado hispanohablante. Si Amazon extiende la tecnología al doblaje en español, podría afectar a los actores de voz locales y a la experiencia de los usuarios. Por ahora, el experimento empieza en alemán y sólo hacia el inglés, pero el patrón de la compañía es claro: quiere automatizar todo lo que pueda. Como dice Soltanovich, la meta es la inmersión total, aunque el camino esté lleno de actores de doblaje que no piensan ceder su voz sin lucha.

Con información de Xataka