Transformei rabiscos em videoclipes em minutos com a nova ferramenta de vídeo de IA da Runway – veja como

Siga ZDNET: Adicione-nos como fonte preferencial no Google.

Principais conclusões da ZDNET

• Um novo recurso do Runway permite gerar vídeos a partir de rabiscos.
• É impressionante, mas funciona melhor com um manuseio cuidadoso.
• O acesso requer o pagamento de (pelo menos) uma conta Normal Runway.

Uma família de colonos, admirando um rebanho de bisões, começa a correr enquanto duas criaturas aladas demoníacas sobrevoam. A menina passa por uma cerca como um fantasma.

Esta cena surreal de cinco segundos foi criada graças a um novo recurso da plataforma de IA Runway chamado Movement Sketch. Como o nome sugere, ele gera vídeos a partir de rabiscos simples que você pode fazer diretamente em cima de uma imagem estática.

No caso do clipe abaixo, comecei gerando uma imagem usando o Nano Banana Professional do Google – um dos modelos de texto para imagem oferecidos pela plataforma da Runway – e depois simplesmente desenhei um punhado de formas semelhantes a pássaros e duas setas apontando a direção em que a família e o bisão deveriam fugir. Adicionei algumas instruções de texto para obter orientação additional e o modelo fez o resto.

O recurso ainda precisa de alguma ajuda, da mesma forma que o ChatGPT geralmente requer vários prompts bem elaborados para gerar a saída que você está procurando. Ao mesmo tempo, poderá representar um grande passo em frente para os vídeos gerados por IA e para os profissionais das indústrias criativas que preferem pensar mais visualmente do que verbalmente.

“O recurso é útil para todos os tipos de usuários”, disse Aditi Poduval, gerente de produto da Runway, à ZDNET. “Em última análise, estamos ajudando as pessoas a obter movimentos precisos sem a necessidade de elaborar uma solicitação específica por escrito.”

Aqui está o que aprendi depois de experimentar o Movement Sketch.

Meus experimentos

Depois da minha experiência inicial com a imagem da família de colonos enlameada, decidi aumentar o esboço, por assim dizer.

Eu gerei a imagem da família usando um immediate de texto. Mas o Nano Banana Professional through Runway também pode criar uma imagem baseada apenas em um doodle, que você pode fazer diretamente na plataforma à la Microsoft Paint. Sou um escritor, não um artista visible, mas fiz o meu melhor para esboçar o que esperava que se parecesse vagamente com uma cobra pendurada no galho de uma árvore.

Então, mudei para Movement Sketch. Como mencionei, conheci o modelo no meio do experimento da família de colonos, adicionando algumas instruções de texto além dos meus rabiscos, mas desta vez eu queria ver como ele funcionaria sem qualquer orientação por escrito. Eu esperava gerar um clipe da cobra deslizando para a direita, então desenhei algumas setas simples direcionando o movimento ao longo de seu corpo. Qualquer criança de seis anos seria capaz de entender o que essas setas significam, mas como seria o desempenho da IA? Eu configurei a duração para 10 segundos, selecionei Runway’s Gen-4.5 modelo de vídeo (Veo 3 e Veo 3.1 do Google também estão disponíveis) e clicou em Gerar.

Eu esperava um clipe relativamente suave da cobra se movendo ao longo do galho e saindo do canto inferior direito da foto, mas o que consegui foi muito mais alucinante. A cobra deixou para trás parte de seu corpo à esquerda do tiro, e outra cobra emergiu de seu corpo e caiu da árvore. A certa altura, pareciam ter pés de crocodilo, que ele usava para se puxar ao longo do galho. As setas originais que desenhei também apareceram brevemente no início do clipe antes de se desintegrarem.

Para ser justo, as cobras são uma maravilha biológica, e modelar com precisão seus movimentos não é uma tarefa fácil para qualquer animador – humano ou máquina. E o modelo pareceu interpretar mal minhas múltiplas flechas como uma instrução para a cobra se mover em múltiplas direções simultaneamente, o que claramente a confundiu. Então voltei e adicionei um texto simples à minha imagem unique com as setas: “A cobra desliza ao longo do galho.”

O produto remaining desta vez foi um pouco mais próximo do que eu tinha em mente (sem duplicação repentina de corpos de cobra ou surgimento de pernas). O movimento ainda parecia estranho, mas, novamente, o movimento da cobra é uma tarefa bastante difícil, com muita física complicada e refinada envolvida.

Mais um experimento: eu queria ver até que ponto o modelo funcionaria bem com fotos reais, então carreguei uma do meu laptop computer: uma foto que havia tirado alguns meses antes de Prospect Bark, no Brooklyn.

Desenhei o que é efetivamente um ícone common para o fogo: linhas vermelhas onduladas incrustadas com laranja e irradiando para cima. Novamente, não tenho a pretensão de ser um ilustrador talentoso, mas a maioria dos humanos seria capaz de reconhecer o que eu pretendia com isso. A modelo da Runway também percebeu isso e lançou uma enorme fogueira no centro da cena tranquila à beira do lago capturada na minha foto. Mais uma vez, meu esboço apareceu brevemente no clipe antes de desaparecer em um movimento psicodélico de encurtamento gradual de linhas onduladas. E talvez eu esteja imaginando, mas as árvores próximas à fogueira pareciam até escurecer sob o calor.

A conclusão

Como qualquer outra ferramenta generativa de IA, o Movement Sketch tem suas imperfeições e falhas (a garotinha passando por uma viga de madeira, a cobra criando uma perna, as linhas onduladas dos meus esboços originais aparecendo brevemente nos videoclipes finais). Ainda assim, estou impressionado.

Aqui está um vislumbre de um formato totalmente novo para geração de vídeo com IA, que poderia diminuir a barreira entre a imaginação e a produção mais do que nunca. “ISSO é o que eu estava esperando”, um usuário X postado abaixo do anúncio da Runway na terça-feira. “Desenhar sua visão e depois assisti-la renderizada em vídeo? Uma virada de jogo absoluta para criadores que não conseguem projetar a vida inteira.”

No momento, ainda é necessário um pouco de tentativa e erro se você tiver uma visão específica em mente, mas, mesmo assim, é uma prévia emocionante do que o futuro pode reservar. E definitivamente vale a pena brincar com isso, mesmo – e talvez especialmente – se você estiver apenas entrando nisso com espírito de criatividade, sem uma visão clara do que você realmente gostaria de produzir.

Como acessar

O Movement Sketch requer (no mínimo) uma assinatura Normal do Runway, que custa US$ 12 por usuário por mês e vem com 625 créditos mensais.

Para acessar a partir do painel do usuário, clique em “Aplicativo” no menu à esquerda e selecione Movement Sketch abaixo da coleção “Discover Gen-4.5” ou abaixo da janela de visualização na metade direita da tela, onde você verá um botão chamado “Experimente agora”.

A partir daí, basta fazer add de sua imagem e clicar em “Esboço” -> “Exportar esboço” -> Gerar.