Visualização animada interativa da Soraya

Seu navegador não oferece suporte ao elemento canvas. É necessário um navegador moderno com WebGL2 para visualizar a personagem animada.
1,0×

Carregando personagem…

Todos os componentes do resultado que apresentamos aqui, incluindo a ilustração, sua segmentação em partes animáveis, o rigging e o mecanismo que a renderiza, foram produzidos com ferramentas de IA generativa e reunidos por alguém sem qualquer experiência, profissional ou de outra natureza, em animação ou ilustração. Esse post explica como e discorre sobre o que acreditamos que isso implica.

Por que tentamos

Desde que o Fable 5 voltou após a proibição de exportação, nos perguntamos se suas capacidades de visão poderiam viabilizar um rigging totalmente automatizado para animações no estilo Live2D.

Tradicionalmente, para qualquer animação Live2D, um artista desenha e segmenta uma ilustração em partes dispostas em camadas; depois, um rigger define deformadores, parâmetros e física no editor Live2D Cubism. É um processo multidisciplinar que muitas vezes envolve vários profissionais.

Um experimento inicial, publicado em 4 de julho, testou uma questão mais restrita: se o Fable 5 seria capaz de fazer o rigging. Recebendo apenas uma ilustração de teste já segmentada, ele escreveu um mecanismo personalizado e fez o rigging de um modelo funcional em cerca de trinta minutos:

O resultado respondeu a uma pergunta e levantou outra. O rigging em si já não era o gargalo. O problema restante vinha antes: produzir uma ilustração corretamente segmentada é, por si só, um trabalho difícil. Os modelos modernos de imagem geram belas ilustrações, mas não produzem transparência facilmente por conta própria, nem separam uma personagem nas partes em camadas exigidas por esse tipo de rigging.

A peça que faltava

Enquanto buscávamos uma solução, descobrimos que uma havia sido anunciada poucos meses antes. O See-through, de um grupo japonês que se identifica como Shitagaki Lab, segmenta uma ilustração plana de personagem em um PSD com camadas e preenche as regiões ocultas atrás de cada parte.

Com essa descoberta, percebemos que talvez já existisse uma pipeline incrivelmente barata, rápida e totalmente automatizada para animações no estilo Live2D, e que o trabalho restante seria juntar os blocos existentes.

O processo

Começamos a experimentar e chegamos ao processo a seguir, que produziu a demonstração no topo deste post:

  1. Geramos uma imagem-base usando o ChatGPT Images 2.0 da OpenAI, a partir de um prompt textual e de uma referência visual anterior da Soraya.
  2. Editamos manualmente a ilustração para corrigir alguns pontos; mais especificamente, na geração original, as sacolas que a personagem segura estavam cortadas em vez de aparecerem por inteiro, o que não serve para animação. Em seguida, executamos algumas passagens de difusão com um modelo da família WAI-Illustrious-SDXL para homogeneizar o resultado.
  3. Usamos o See-through do Shitagaki Lab para segmentar a imagem em um PSD com camadas.
  4. Fizemos ajustes finos no PSD gerado, inclusive separando partes que o modelo havia mesclado (por exemplo, os dois braços) e reordenando as camadas.
  5. Deixamos que o GPT-5.6 Sol Ultra escrevesse um mecanismo totalmente personalizado para animar e renderizar o modelo com OpenGL e, em seguida, iteramos por meio de feedback textual até que a animação se comportasse como julgamos adequado.

Embora esse processo ainda exija intervenção humana em vários pontos, em comparação com a pipeline tradicional, que exige experiência em desenho, segmentação e rigging, ele é quase totalmente automatizado e perfeitamente viável para alguém sem experiência em animação, desenho ou áreas relacionadas.

Uma previsão para o futuro

Esperamos que o Live2D e o ecossistema ao seu redor — artistas, riggers e ferramentas comerciais — mudem drasticamente nos próximos meses. O próprio Live2D, isto é, a plataforma comercial, e não o estilo ou a técnica, talvez deixe efetivamente de existir como produto, com a empresa mudando radicalmente de direção ou afundando junto com ele. O mecanismo em si já não constitui uma vantagem competitiva: qualquer pessoa pode produzir um com modelos de linguagem modernos, e vimos várias pessoas chegarem a essa conclusão de forma independente; algumas já publicaram seus projetos no GitHub.

A sobrevida que resta ao Live2D vem da integração, não da tecnologia. Ele está profundamente integrado a ferramentas existentes como o VTube Studio, motores de jogos e outros fluxos de trabalho de streaming. Esse ecossistema não desaparece só porque se tornou fácil escrever mecanismos.

Na nossa visão, o trabalho restante para a comunidade é a padronização: um formato comum, uma implementação de referência, além de skills e conectores que permitam aos LLMs seguir a especificação e fazer o rigging por conta própria. A alternativa são milhares de implementações parecidas, mas ligeiramente diferentes, com cada modelo preparado preso ao mecanismo que por acaso o produziu. Todos ganham mais com um único ecossistema. Estamos ansiosos para ajudar a construí-lo.

Como executar o See-through

O Shitagaki Lab disponibiliza um app no Hugging Face Spaces para executar o See-through. Infelizmente, ele não se adequa ao nosso fluxo de trabalho: não usamos o Spaces, e o nível gratuito é limitado a ponto de inviabilizar, na prática, a geração de imagens segmentadas em uma resolução razoável. Em vez disso, fizemos um fork do projeto para adicionar uma interface web baseada em Astro, junto de um contêiner Docker adequado a provedores de nuvem como o RunPod. O fork está disponível no GitHub para qualquer pessoa usar, modificar e redistribuir.

Considerações finais

Nenhuma das peças ou ideias individuais descritas aqui é nossa. A geração de imagens, a segmentação de ilustrações e os mecanismos escritos por LLMs já existiam de forma independente; o que mudou nas últimas semanas é que reuni-los em uma pipeline funcional deixou de exigir conhecimento especializado em qualquer etapa.

O título deste post usa deliberadamente a palavra “rumo”: a pipeline ainda não é totalmente automatizada, as intervenções manuais que descrevemos continuam necessárias, e nossas previsões sobre o ecossistema podem se mostrar erradas no prazo ou no conteúdo. Ainda assim, a direção parece difícil de contestar; uma disciplina antes restrita a quem reunia várias habilidades agora está amplamente acessível com um dia de paciência e um orçamento modesto de computação.

O próximo grande marco é a coordenação. Se a comunidade convergir em formatos compartilhados e implementações de referência, em vez de se fragmentar em alternativas incompatíveis, isso seria revolucionário para a grande maioria das pessoas que desejam usar recursos de animação no estilo Live2D — incluindo desenvolvedores de jogos e VTubers —, mas que antes eram limitadas por tempo, conhecimento, mão de obra e recursos financeiros.