Lightricks apresenta modelo de IA de vídeo LTX de código aberto com capacidade de geração de vídeo em tempo actual

Lightricks, uma empresa de software program focada em edição de imagens e vídeos, lançou um modelo de vídeo de inteligência synthetic (IA) de código aberto em pré-visualização na semana passada. Chamado de Vídeo LTX, o modelo de IA pode gerar vídeos de resolução média em tempo actual. Embora exista capacidade de geração de vídeo em tempo actual em alguns grandes modelos de linguagem (LLMs), este é o primeiro a ser de código aberto. A empresa afirmou ainda que assim que a versão completa for lançada, ela será gratuita para uso pessoal e comercial e poderá ser integrada ao LTX Studio.

Lightricks apresenta modelo de vídeo de IA de código aberto

Em uma série de postagens no X (anteriormente conhecido como Twitter), Lightricks detalhou seu modelo de IA de código aberto. O LTX Video aceita texto e imagens como entrada e pode gerar vídeos de cinco segundos em resolução 768 x 512p. Embora o modelo de visualização limite a qualidade do vídeo em resolução média, ele oferece geração quase em tempo actual com quatro segundos de tempo de espera. Porém, esse tempo de geração é possível em aparelhos equipados com o chip Nvidia H100.

A empresa afirma que o modelo de IA pode gerar vídeos dinâmicos com alta adesão imediata e não requer recursos de ponta para ser executado. Para executar localmente o LTX Video, os usuários precisarão de uma GPU semelhante ao nível do RTX 4090. Lightricks também destacou que a arquitetura do modelo é baseada no Diffusion Transformer, mas usa apenas dois bilhões de parâmetros para manter seu tamanho pequeno.

O vídeo LTX está atualmente disponível no GitHub, Hugging Face e ComfyUI para obtain. Para testar as capacidades do modelo antes de baixá-lo dos websites de hospedagem, os usuários podem acessar a página do modelo no Fal.ai aqui.

O modelo de IA também pode ser integrado a uma ampla gama de ferramentas de edição externas para ajustar ainda mais os vídeos gerados. A empresa também planeja lançar a versão completa do modelo de vídeo e torná-lo de código aberto para casos de uso pessoal e comercial. A versão completa da ferramenta também será integrada ao LTX Studio, a plataforma de storyboard com tecnologia de IA da empresa.