VLC vai usar IA para gerar legendas e traduções automáticas em vídeos

1 Like

Até assusta ver uma organização/empresa usando IA para algo útil e de uso natural

6 Likes

Brabos! Estou usando o whisper há 1 ano e foi de grande mudança na minha vida! Crio legendas e depois traduzo elas em alguns cursos gringos. Fazer isso automaticamente no player de video vai ser fantastico!

finalmente um bom uso para aquela NPU que estão enfiando em tudo que é hardware.

uma ferramenta que gostaria de ver é a sincronização de legendas já existentes, muitas vezes tu tem uma legenda que foi feita para outro rip do vídeo e não fica fluido de assistir ao filme.

5 Likes

Pois seus problemas acabaram: GitHub - smacke/ffsubsync: Automagically synchronize subtitles with video.

1 Like

Uma das melhores notícias da semana!!!

2 Likes

Eu até gosto de IA e tal, uso constantemente… mas esse lance de ficar embutindo IA em tudo… sei lá. Tudo bem que é uma IA local e offline, baseada em um modelo de código-aberto, mas se isso não for um plugin (portanto instalável e baixável) e sim uma funcionalidade nativa (portanto incorporada à base de código do reprodutor), creio que haverão dependências que por suas vez vão exigir uma máquina com um mínimo de recursos de hardware para tal. Por exemplo: hoje é possível rodar (aos trancos mas consegue-se) um VLC num RPi 3 e, com a mudança, se a coisa for embutida no próprio VLC (ao ponto que os requirements de hardware mudem), o RPi 3 não mais suportaria instalação do VLC, eu não digo nem a execução do VLC e sim ainda a instalação.

Dito isso, é sim um uso interessante da IA, principalmente por não depender da nuvem, muito embora a VideoLAN esteja claramente seguindo a onda da “IA-ficação” das coisas.

1 Like

Com certeza vai ser algo opcional que da pra desligar.

Mesmo que venha embutido dentro do VLC, acho quase impossível não ter opção de desativar a funcionalidade para manter a leveza do reprodutor.

1 Like

Então, eu falo antes da execução do VLC, ainda no ato da instalação:

No Arch Linux, por exemplo, o pacote do VLC tem dependências explícitas (realçadas no print acima) e dependências opcionais.

Lidar com modelos de IA (como Whisper) requer outras dependências, como, sei lá, pytorch ou tensorflow-cuda, que exigiria cuda, e essa última, por exemplo, é onde moraria o problema, pois geraria uma dependência de hardware que não seria satisfeita em dispositivos low-end como RPi3.

Ainda que seja uma dependência opcional (isto é, um pacman -S vlc geralmente não irá instalá-la), pode ser que a teia de possíveis dependências faça o repo manager daquele OS (seja Arch, Debian, Slackware, ou qualquer outro) fixar uma arquitetura específica, porque muitas vezes (caso do Arch, por exemplo) o programa já vem compilado, em formato binário. Quando a ser compilado dos sources, é mais fácil definir o que vai ser incluso no bolo final e o que não vai, através de instruções ao make, mas quando já em formato binário (ELF), há uma árvore de dependências de bibliotecas, que precisarão estar presentes no ato da execução do binário:

Então o mais correto, ao meu ver, seria se fosse um plugin, nem mesmo uma dependência opcional, mas um plugin a ser baixado a parte (da própria VideoLAN) e ativado. Assim, sistemas que não têm CUDA (porque não tem placas de vídeo que suportem tal funcionalidade) continuariam com um VLC leve e utilizável.

Concordo plenamente com todo o aspecto técnico, a respeito da necessidade dessa função ser opcional em sua instalação para manter viável a leveza do programa, porém, apesar da ferramenta permitir um uso excepcional a quem “manja”, sinto que ela também tem muita força enquanto o reprodutor mais fácil e acessível que existe dentre os livres, e a dinâmica de instalação de plugin pode não ser tão simples, principalmente se isso não vier mastigadinho dentro do próprio aplicativo, e demandar download externo - nem entro no mérito da dificuldade que isso poderia representar em dispositivos móveis.
Acredito que a solução que contemplaria as duas necessidades da maneira mais tranquila seria ter duas versões do programa, a tradicional que conta com a nova função de IA, e a versão “lite” para rodar especificamente em dispositivos mais simples, que atenda plenamente à atual (baixa) exigência do VLC.

1 Like

É uma excelente avenida, também. Inclusive, algo similar (duas distribuições diferentes) já ocorre no VLC para algumas distribuições Linux (Slackware, por exemplo) por conta de patentes e direitos autorais (MP3/AAC, daí uma versão apenas com codecs livres, e outra contendo codecs proprietários).