下载资源人工智能资源详情

ChatTTS-main.zip

大小:164.36KB

价格:24积分

下载量:0

评分:

5.0

上传者:cryin7

更新日期:2025-09-22

ChatTTS: A generative speech model for daily dialogue.

资源文件列表(大概)

文件名

大小

ChatTTS-main/

ChatTTS-main/.gitattributes

86B

ChatTTS-main/.github/

ChatTTS-main/.github/workflows/

ChatTTS-main/.github/workflows/checksum.yml

1.44KB

ChatTTS-main/.github/workflows/close-issue.yml

731B

ChatTTS-main/.github/workflows/push-format.yml

1.3KB

ChatTTS-main/.github/workflows/unitest.yml

626B

ChatTTS-main/.github/workflows/upload-pypi.yml

824B

ChatTTS-main/.gitignore

3.14KB

ChatTTS-main/ChatTTS/

ChatTTS-main/ChatTTS/__init__.py

23B

ChatTTS-main/ChatTTS/core.py

21.17KB

ChatTTS-main/ChatTTS/model/

ChatTTS-main/ChatTTS/model/__init__.py

79B

ChatTTS-main/ChatTTS/model/cuda/

ChatTTS-main/ChatTTS/model/cuda/__init__.py

35B

ChatTTS-main/ChatTTS/model/cuda/te_llama.py

8.84KB

ChatTTS-main/ChatTTS/model/dvae.py

6.07KB

ChatTTS-main/ChatTTS/model/gpt.py

20.2KB

ChatTTS-main/ChatTTS/model/processors.py

1.89KB

ChatTTS-main/ChatTTS/norm.py

7.22KB

ChatTTS-main/ChatTTS/res/

ChatTTS-main/ChatTTS/res/__init__.py

ChatTTS-main/ChatTTS/res/homophones_map.json

288.72KB

ChatTTS-main/ChatTTS/res/sha256_map.json

1.07KB

ChatTTS-main/ChatTTS/utils/

ChatTTS-main/ChatTTS/utils/__init__.py

159B

ChatTTS-main/ChatTTS/utils/dl.py

5.82KB

ChatTTS-main/ChatTTS/utils/gpu.py

1.5KB

ChatTTS-main/ChatTTS/utils/io.py

1.16KB

ChatTTS-main/ChatTTS/utils/log.py

335B

ChatTTS-main/LICENSE

18.89KB

ChatTTS-main/README.md

9.19KB

ChatTTS-main/docs/

ChatTTS-main/docs/cn/

ChatTTS-main/docs/cn/README.md

8.17KB

ChatTTS-main/docs/es/

ChatTTS-main/docs/es/README.md

9.5KB

ChatTTS-main/docs/jp/

ChatTTS-main/docs/jp/README.md

8.07KB

ChatTTS-main/docs/ru/

ChatTTS-main/docs/ru/README.md

11.04KB

ChatTTS-main/examples/

ChatTTS-main/examples/cmd/

ChatTTS-main/examples/cmd/run.py

1.94KB

ChatTTS-main/examples/ipynb/

ChatTTS-main/examples/ipynb/colab.ipynb

10.57KB

ChatTTS-main/examples/ipynb/example.ipynb

9.18KB

ChatTTS-main/examples/web/

ChatTTS-main/examples/web/__init__.py

ChatTTS-main/examples/web/ex.py

957B

ChatTTS-main/examples/web/funcs.py

5.17KB

ChatTTS-main/examples/web/webui.py

7.11KB

ChatTTS-main/requirements.txt

267B

ChatTTS-main/setup.py

1KB

ChatTTS-main/tools/

ChatTTS-main/tools/__init__.py

ChatTTS-main/tools/audio/

ChatTTS-main/tools/audio/__init__.py

116B

ChatTTS-main/tools/audio/av.py

825B

ChatTTS-main/tools/audio/ffmpeg.py

116B

ChatTTS-main/tools/audio/mp3.py

528B

ChatTTS-main/tools/audio/np.py

332B

ChatTTS-main/tools/checksum/

ChatTTS-main/tools/checksum/main.go

608B

ChatTTS-main/tools/checksum/tmpl.go

702B

ChatTTS-main/tools/llm/

ChatTTS-main/tools/llm/__init__.py

28B

ChatTTS-main/tools/llm/llm.py

3.36KB

ChatTTS-main/tools/logger/

ChatTTS-main/tools/logger/__init__.py

28B

ChatTTS-main/tools/logger/log.py

2.35KB

ChatTTS-main/tools/normalizer/

ChatTTS-main/tools/normalizer/__init__.py

73B

ChatTTS-main/tools/normalizer/en.py

336B

ChatTTS-main/tools/normalizer/zh.py

162B

ChatTTS-main/tools/seeder/

ChatTTS-main/tools/seeder/__init__.py

34B

ChatTTS-main/tools/seeder/ctx.py

329B

资源内容介绍

ChatTTS is a text-to-speech model designed specifically for dialogue scenarios such as LLM assistant.ChatTTS最新源码

# ChatTTS> [!NOTE]> Следующая информация может быть не самой последней, пожалуйста, смотрите английскую версию для актуальных данных.[![Huggingface](https://img.shields.io/badge/🤗%20-Models-yellow.svg?style=for-the-badge)](https://huggingface.co/2Noise/ChatTTS)[**English**](../../README.md) | [**简体中文**](../cn/README.md) | [**日本語**](../jp/README.md) | **Русский** | [**Español**](../es/README.md)ChatTTS - это модель преобразования текста в речь, специально разработанная для диалоговых сценариев, таких как помощник LLM. Она поддерживает как английский, так и китайский языки. Наша модель обучена на более чем 100 000 часах английского и китайского языков. Открытая версия на **[HuggingFace](https://huggingface.co/2Noise/ChatTTS)** - это предварительно обученная модель с 40 000 часами без SFT.Для официальных запросов о модели и плане развития, пожалуйста, свяжитесь с нами по адресу **open-source@2noise.com**. Вы можете присоединиться к нашей группе QQ: 808364215 для обсуждения. Добавление вопросов на GitHub также приветствуется.---## Особенности1. **Диалоговый TTS**: ChatTTS оптимизирован для задач, основанных на диалогах, что позволяет создавать натуральную и выразительную речь. Он поддерживает несколько говорящих, облегчая интерактивные беседы.2. **Тонкий контроль**: Модель может предсказывать и контролировать тонкие просодические особенности, включая смех, паузы и вставные слова.3. **Лучшая просодия**: ChatTTS превосходит большинство открытых моделей TTS с точки зрения просодии. Мы предоставляем предварительно обученные модели для поддержки дальнейших исследований и разработок.Для подробного описания модели вы можете обратиться к **[видео на Bilibili](https://www.bilibili.com/video/BV1zn4y1o7iV)**---## Отказ от ответственностиЭтот репозиторий предназначен только для академических целей. Он предназначен для образовательного и исследовательского использования и не должен использоваться в коммерческих или юридических целях. Авторы не гарантируют точность, полноту или надежность информации. Информация и данные, использованные в этом репозитории, предназначены только для академических и исследовательских целей. Данные получены из общедоступных источников, и авторы не заявляют о каких-либо правах собственности или авторских правах на данные.ChatTTS - мощная система преобразования текста в речь. Однако очень важно использовать эту технологию ответственно и этично. Чтобы ограничить использование ChatTTS, мы добавили небольшое количество высокочастотного шума во время обучения модели на 40 000 часов и сжали качество аудио как можно больше с помощью формата MP3, чтобы предотвратить возможное использование злоумышленниками в преступных целях. В то же время мы внутренне обучили модель обнаружения и планируем открыть ее в будущем.---## Использование<h4>Базовое использование</h4>```pythonimport ChatTTSfrom IPython.display import Audioimport torchchat = ChatTTS.Chat()chat.load(compile=False) # Установите значение True для лучшей производительностиtexts = ["ВВЕДИТЕ ВАШ ТЕКСТ ЗДЕСЬ",]wavs = chat.infer(texts)torchaudio.save("output1.wav", torch.from_numpy(wavs[0]), 24000)```<h4>Продвинутое использование</h4>```python#################################### Выборка говорящего из Гауссиана.rand_spk = chat.sample_random_speaker()print(rand_spk) # save it for later timbre recoveryparams_infer_code = { 'spk_emb': rand_spk, # добавить выбранного говорящего 'temperature': .3, # использовать пользовательскую температуру 'top_P': 0.7, # декодирование top P 'top_K': 20, # декодирование top K}#################################### Для контроля на уровне предложений.# используйте oral_(0-9), laugh_(0-2), break_(0-7)# для генерации специального токена в тексте для синтеза.params_refine_text = { 'prompt': '[oral_2][laugh_0][break_6]'} wav = chat.infer(texts, params_refine_text=params_refine_text, params_infer_code=params_infer_code)#################################### Для контроля на уровне слов.text = 'Какая ваша любимая английская еда?[uv_break]your favorite english food?[laugh][lbreak]'wav = chat.infer(text, skip_refine_text=True, params_refine_text=params_refine_text, params_infer_code=params_infer_code)torchaudio.save("output2.wav", torch.from_numpy(wavs[0]), 24000)```<details open> <summary><h4>Пример: самопрезентация</h4></summary>```pythoninputs_ru = """ChatTTS - это модель преобразования текста в речь, разработанная для диалоговых приложений. [uv_break]Она поддерживает смешанный языковой ввод [uv_break]и предлагает возможности множественных говорящих с точным контролем над просодическими элементами [laugh]как [uv_break]смех[laugh], [uv_break]паузы, [uv_break]и интонацию. [uv_break]Она обеспечивает натуральную и выразительную речь,[uv_break]поэтому, пожалуйста,[uv_break] используйте проект ответственно и на свой страх и риск.[uv_break]""".replace('\n', '') # Русский язык все еще находится в экспериментальной стадии.params_refine_text = { 'prompt': '[oral_2][laugh_0][break_4]'} audio_array_ru = chat.infer(inputs_ru, params_refine_text=params_refine_text)torchaudio.save("output3.wav", torch.from_numpy(audio_array_ru[0]), 24000)```[мужской говорящий](https://github.com/2noise/ChatTTS/assets/130631963/e0f51251-db7f-4d39-a0e9-3e095bb65de1)

用户评论 (0)

发表评论

您的昵称:

评分

评论内容:

验证码:

ChatTTS: A generative speech model for daily dialogue.

资源文件列表(大概)

资源内容介绍

用户评论 (0)

发表评论

相关资源

Veno File Manager V4.2.7 中文包

安卓阅读APP Legado 最新版

1_任务书2023数据结构.zip

SolidWorks 插件模板 swcsharpaddin