Atores sintéticos de deepfake estão chegando a uma tela perto de você

O primeiro filme, Roundhay Garden Scene, foi filmado há pouco mais de 130 anos. Durante esse tempo, os humanos que vimos em filmes de ação ao vivo eram pessoas reais, mas desde o advento da computação gráfica, isso começou a mudar.

Estamos Deixando o Vale Estranho

Rostos humanos têm sido a coisa mais difícil de replicar de forma convincente usando computação gráfica (CG) ou até mesmo efeitos especiais práticos. Os cérebros humanos são extremamente adaptados para reconhecer rostos, tanto que vemos rostos que nem estão lá. Enganar o público a acreditar que um rosto CG é real quase nunca funciona, com alguns que chegam perto de cair no chamado “vale estranho”.

O vale misterioso é um ponto no continuum do realismo facial onde começamos a nos sentir assustados com rostos humanos artificiais. Alguns filmes, como o expresso polar, são famosos por isso. Avanços no poder de processamento e métodos de renderização, bem como soluções de aprendizado de máquina, como deepfakes faciais, estão mudando essa situação. Mesmo gráficos em tempo real em consoles de jogos modernos podem chegar muito perto de rostos fotorrealistas.

O Matrix Desperta A demonstração do Unreal Engine 5 mostra isso de uma maneira impressionante. Ele roda em um console doméstico humilde, mas em muitas cenas tanto a reprodução de atores reais quanto os personagens CG originais parecem reais. Outro exemplo fantástico é a série antológica da Netflix Amor, Morte + Robôs. Alguns dos episódios têm rostos CG que são impossíveis de classificar como CG ou reais.

A era de ouro da captura de desempenho

Deixar o vale estranho é mais do que apenas fazer um rosto fotorrealista, você também precisa acertar o momento do rosto e do corpo do personagem. Cineastas e desenvolvedores de videogames agora têm as ferramentas para capturar com precisão os movimentos e expressões faciais de atores como Andy Sirkis, especialista em performances capturadas digitalmente.

A maior parte do trabalho pioneiro ficou evidente no trabalho de James Cameron Avatar, que ainda hoje se mantém. Mas não faltam grandes trabalhos modernos de captura de movimento para admirar. Thanos, do universo cinematográfico Marvel, é outro exemplo notável e mais recente.

A força da captura de performance é que o performer não precisa se parecer com o personagem CG. Eles nem precisam ser da mesma espécie! Isso também significa que um único ator ou um pequeno grupo de atores pode interpretar um elenco inteiro de personagens. Você também pode ter atores e dublês fornecendo dados de movimento para o mesmo personagem.

Vozes deepfake estão sendo aperfeiçoadas

Criar um ator sintético crível é mais do que uma produção visual fotorrealista. Os atores usam suas vozes para completar suas performances e talvez isso seja tão importante quanto todo o resto. Quando você quer dar voz ao seu ator de CG, você tem algumas opções.

Você pode usar um dublador, o que é bom, é um personagem original. Se você está recriando um personagem cujo ator original ainda está vivo, então você pode simplesmente dublar sua performance vocal. Você também pode usar um imitador quando estiver trazendo de volta alguém que faleceu ou tem um sério conflito de agenda. Em Rogue One, quando encontramos uma imagem ressuscitada de Peter Cushing como Grand Moff Tarkin, Guy Henry forneceu tanto a voz quanto a captura da performance.

O exemplo mais interessante vem da aparição de Luke Skywalker como seu eu jovem em o Mandaloriano (e mais tarde em O Livro de Boba Fett). Em vez de Mark Hamill gravar linhas para a cena, que usava um ator substituto com um rosto de CG, o software de IA foi empregado.

O aplicativo chama-se Respeecher, e ao alimentá-lo com material gravado de Mark Hamill daquela época de sua carreira, foi possível criar uma réplica sintética dele. Não há dúvida de que os deepfakes de áudio percorreram um longo caminho em pouco tempo, já que a maioria das pessoas nem percebeu que não estava realmente ouvindo Hamill.

Deepfakes em tempo real estão surgindo

Deepfakes estão se tornando uma competição real para os rostos tradicionais de CG. O rosto CG de Luke Skywalker em o Mandaloriano não parecia ótimo, mas os YouTubers Shamook usaram a tecnologia deepfake para enfeitar esse rosto, arrastando-o para o lado mais palatável do vale misterioso. VFX YouTubers Corridor Crew deu um passo adiante e refilmou toda a cena com seu próprio ator, usando tecnologia deepfake em vez de um rosto CG.

Os resultados são incríveis, mas mesmo computadores de última geração levam muito tempo para criar um vídeo deepfake dessa qualidade. Não é nada parecido com os requisitos do farm de renderização do CG moderno, mas também não é trivial. No entanto, o poder do computador avança e agora é possível fazer um certo nível de deepfakery em tempo real. À medida que os chips de computador de aprendizado de máquina especializados ficam melhores, pode ser muito mais rápido, barato e realista ter a tecnologia deepfake lidando com os rostos de atores sintéticos.

AI pode criar rostos originais

Todos podem reconhecer Brad Pitt ou Patrick Stewart graças a ver seus rostos em filmes e na TV centenas de vezes. Esses atores usam seus rostos reais para retratar personagens e por isso associamos seus rostos a esses personagens. As coisas são diferentes no mundo da animação 2D e 3D ou dos quadrinhos. Artistas criam personagens que não se parecem com nenhuma pessoa real. Bem, pelo menos não de propósito!

Com o software de IA, agora é possível fazer algo semelhante com rostos humanos fotorrealistas. Você pode ir até Esta pessoa não existe e gerar um rosto realista de alguém que não é real em segundos. O Face Generator leva mais longe e permite ajustar os parâmetros de sua pessoa imaginária. Se esses rostos ainda parecerem um pouco falsos para você, confira o software de geração de rostos AI da NVIDIA StyleGAN, que está disponível para todos como software de código aberto.

Rostos gerados como esses podem ser combinados com vozes sintetizadas e captura de performance para nos dar um personagem que não se parece com nenhum ator que realmente exista. Eventualmente, podemos não precisar de um humano para fornecer o desempenho. Prometendo um futuro onde histórias inteiras podem ser contadas por um marionetista no controle de um elenco sintético.

A verdade é mais estranha que a ficção

No filme de 2002 S1m0ne, Al Pacino interpreta um diretor que descobre um software experimental que lhe permite criar um pano sintético de atriz de CG. Ele a leva ao estrelato, mas, eventualmente, a máscara cai e o mundo descobre que eles estão bajulando alguém que nunca existiu.

A trajetória da tecnologia no mundo real hoje está fazendo de uma atriz como Simone uma possibilidade realista em algum momento, não mais ficção científica. A única diferença é que Simone tinha que ser mantida em segredo ou o público se revoltaria. No mundo real, todos saberemos que nossos atores são sintéticos, mas não nos importamos.

RELACIONADO: Como lidar com deepfakes indetectáveis