2025-08-20 11:39:34 +08:00

8.1 KiB
Raw Permalink Blame History

VideoLingo Logo

Объединяя Мир, Кадр за Кадром

Huanshere%2FVideoLingo | Trendshift

English简体中文繁體中文日本語EspañolРусскийFrançais

🌟 Обзор (Попробуйте VL бесплатно!)

VideoLingo - это универсальный инструмент для перевода, локализации и дубляжа видео, направленный на создание субтитров качества Netflix. Он устраняет механические переводы и многострочные субтитры, добавляя высококачественный дубляж, что позволяет делиться знаниями по всему миру, преодолевая языковые барьеры.

Ключевые особенности:

  • 🎥 Загрузка видео с YouTube через yt-dlp

  • 🎙️ Пословное распознавание субтитров с низким уровнем искажений с помощью WhisperX

  • 📝 Сегментация субтитров на основе NLP и ИИ

  • 📚 Пользовательская + ИИ-генерируемая терминология для согласованного перевода

  • 🔄 3-этапный процесс Перевод-Осмысление-Адаптация для кинематографического качества

  • Только однострочные субтитры стандарта Netflix

  • 🗣️ Дубляж с помощью GPT-SoVITS, Azure, OpenAI и других

  • 🚀 Запуск и обработка в один клик в Streamlit

  • 🌍 Многоязычная поддержка в интерфейсе Streamlit

  • 📝 Подробное логирование с возможностью возобновления прогресса

Отличие от похожих проектов: Только однострочные субтитры, превосходное качество перевода, безупречный опыт дубляжа

🎥 Демонстрация

Двойные Субтитры


https://github.com/user-attachments/assets/a5c3d8d1-2b29-4ba9-b0d0-25896829d951

Клонирование Голоса Cosy2


https://github.com/user-attachments/assets/e065fe4c-3694-477f-b4d6-316917df7c0a

GPT-SoVITS с моим голосом


https://github.com/user-attachments/assets/47d965b2-b4ab-4a0b-9d08-b49a7bf3508c

Поддержка языков

Поддержка входных языков (будет добавлено больше):

🇺🇸 Английский 🤩 | 🇷🇺 Русский 😊 | 🇫🇷 Французский 🤩 | 🇩🇪 Немецкий 🤩 | 🇮🇹 Итальянский 🤩 | 🇪🇸 Испанский 🤩 | 🇯🇵 Японский 😐 | 🇨🇳 Китайский* 😊

*Китайский пока использует отдельную модель whisper с улучшенной пунктуацией...

Перевод поддерживает все языки, в то время как язык дубляжа зависит от выбранного метода TTS.

Установка

Возникли проблемы? Общайтесь с нашим бесплатным онлайн ИИ-агентом здесь, который поможет вам.

Примечание: Для пользователей Windows с GPU NVIDIA выполните следующие шаги перед установкой:

  1. Установите CUDA Toolkit 12.6
  2. Установите CUDNN 9.3.0
  3. Добавьте C:\Program Files\NVIDIA\CUDNN\v9.3\bin\12.6 в системный PATH
  4. Перезагрузите компьютер

Примечание: Требуется FFmpeg. Установите его через менеджеры пакетов:

  • Windows: choco install ffmpeg (через Chocolatey)
  • macOS: brew install ffmpeg (через Homebrew)
  • Linux: sudo apt install ffmpeg (Debian/Ubuntu)
  1. Клонируйте репозиторий
git clone https://github.com/Huanshere/VideoLingo.git
cd VideoLingo
  1. Установите зависимости (требуется python=3.10)
conda create -n videolingo python=3.10.0 -y
conda activate videolingo
python install.py
  1. Запустите приложение
streamlit run st.py

Docker

Альтернативно, вы можете использовать Docker (требуется CUDA 12.4 и версия драйвера NVIDIA >550), см. документацию Docker:

docker build -t videolingo .
docker run -d -p 8501:8501 --gpus all videolingo

API

VideoLingo поддерживает формат API, подобный OpenAI, и различные интерфейсы TTS:

  • LLM: claude-3-5-sonnet, gpt-4.1, deepseek-v3, gemini-2.0-flash, ... (отсортировано по производительности, будьте осторожны с gemini-2.5-flash...)
  • WhisperX: Запускайте whisperX локально или используйте API 302.ai
  • TTS: azure-tts, openai-tts, siliconflow-fishtts, fish-tts, GPT-SoVITS, edge-tts, *custom-tts(Вы можете модифицировать свой собственный TTS в custom_tts.py!)

Примечание: VideoLingo работает с 302.ai - один API-ключ для всех сервисов (LLM, WhisperX, TTS). Или запускайте локально с Ollama и Edge-TTS бесплатно, без необходимости в API!

Для подробных инструкций по установке, настройке API и пакетному режиму обратитесь к документации: English | 中文

Текущие ограничения

  1. Производительность транскрипции WhisperX может быть затронута фоновым шумом видео, так как для выравнивания используется модель wav2vac. Для видео с громкой фоновой музыкой включите Улучшение разделения голоса. Кроме того, субтитры, заканчивающиеся цифрами или специальными символами, могут быть обрезаны раньше из-за неспособности wav2vac сопоставлять цифровые символы (например, "1") с их произносимой формой ("один").

  2. Использование более слабых моделей может привести к ошибкам во время промежуточных процессов из-за строгих требований к формату JSON для ответов. Если возникает эта ошибка, удалите пап