����λ�ã���ҳ > �����̳� > �̳� > GPT-SoVITS�����ϳ�ģ��ʵ��

GPT-SoVITS�����ϳ�ģ��ʵ��

��Դ������������|��ʱ�䣺2024-09-30 09:55:05 |���Ķ���186��|�� ��ǩ�� T v �����ϳ� S OV �� |����������

1.���� GPT-SoVITS��һ�Դ�������ϳ�ģ�ͣ���������ѧϰ����ѧ�������ܹ�ʵ�ָ��������������ɡ������֮������֧��ʹ�òο���Ƶ���������������ϳɣ���ʹû��ֱ�ӵ�ѵ�����ݣ�ģ�������������Ʒ����������û�����ͨ��΢��ģ�ͣ���һ�����������ܣ�����Ӧ�ض���Ӧ������ 2.���� 2.1 

1.����

GPT-SoVITS��һ�Դ�������ϳ�ģ�ͣ���������ѧϰ����ѧ�������ܹ�ʵ�ָ��������������ɡ������֮������֧��ʹ�òο���Ƶ���������������ϳɣ���ʹû��ֱ�ӵ�ѵ�����ݣ�ģ�������������Ʒ����������û�����ͨ��΢��ģ�ͣ���һ�����������ܣ�����Ӧ�ض���Ӧ������

2.����

2.1?GPT-SoVITS���

�����Դ���ı���������TTS����Ŀ������Linux��MacOS��Windowsϵͳ�����У����м��ߵ�����Ժͼ����ԡ��û�ֻ���ṩһ�γ���1���ӵ���Ƶ�ļ����������ɿ�¡�ض�������������Ŀ֧�ֽ����Ӣ���������ı�ת��Ϊ��¡��������Ϊ�����Ի����е�Ӧ���ṩ�˱�����

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù

2.2?�����ϳ�

VITS��һ�����ڶ˵����ı���������TTS����ģ�ͣ�����˶Կ�ѧϰ����������Զ���������ּ�����ɸ�����������Ч��������������Ȼ�Ѿ�����˶��ֵ��׶�ѵ���Ͳ��в�����TTSģ�ͣ������ǵ��������������޷��봫ͳ�����׶�ϵͳ��������Ϊ�˽��������⣬VITS������һ�ֲ��еĶ˵��˷������ܹ����ɸ���Ȼ������ʵ��������

��ģ��ͨ����׼�����ͶԿ�ѵ��������ǿ�ı���������������������ɽ�ģ�ı������������⣬VITS�������������ʱ��Ԥ�������ܹ��������ı��кϳɳ��������������������������ģ�Ͳ�׽DZ�ڱ����IJ�ȷ���ԣ��γ���һ����Ȼ��һ�Զ��ϵ��ʹ��ͬһ���ı������Բ�ͬ�����ߺͽ�����ж������ı����������Ժ͸����������ʹVITS�������ϳ������о߱��˹㷺��Ӧ��DZ����

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù

2.3 Whisper����ʶ��

Whisper��OpenAI�������Ƚ��Զ�����ʶ��ASR��ϵͳ������ѵ�������Ͽ����68��Сʱ�Ķ����ԣ�����98�����ԣ��Ͷ�����ල���ݡ�OpenAI��Ϊ�������Ӵ��Ҷ����������ݼ�����������ϵͳ�Ը��ֿ���������������רҵ�����ʶ��������ʹ����ʵ��Ӧ���б��ֳ�ɫ��

��������ʶ���ܣ�Whisper��֧�ֶ������Ե�ת¼�ͷ��룬�ܹ�����Ӣ������ֱ�ӷ����Ӣ����ֶ๦����ʹ��Whisper��������������ת���ֵ����񣬻����ڹ��ʽ��������ݴ����ͽ��������򷢻���Ҫ���á�ƾ�����ɫ��׼ȷ�Ժ�����ԣ�WhisperΪ�û��ṩ��һ��ǿ��Ĺ��ߣ������ڴ��������ϰ����ٽ���ͨ�����⡣

Whisper�Ļ���ԭ������һ��Transformer���е�����ģ�ͣ�ּ�ڴ��������������񣬰�������������ʶ���������롢��������ʶ���Լ��������⡣ͨ������Щ����ͳһ��ʾΪһ����Ҫ������Ԥ��ķ������У�Whisper�ܹ���Ч�������ͳ���������ܵ��еĶ���׶Σ����˴������̡�

��ģ�Ͳ��ö�����ѵ���ĸ�ʽ��ʹ��һϵ�����������Ϊ����ָʾ�������Ŀ�ꡣ������Ʋ���������ģ�͵�����ԣ���ʹ���ڴ�����ͬ���͵���������ʱ���ֳ�ɫ�����磬����Զ������Ի�ͬ����ʱ��Whisper�ܹ�������ѵ�������еķḻ��Ϣ��������Ӧ�����ʶ��׼ȷ�ԡ�ͨ�����ִ��µķ�����Whisper��������������չʾ��ǿ����������ܹ�������������û�����

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù


Whisperϵͳ�ṩ�����ֲ�ͬ��ģ�ͳߴ磬��ƽ���ٶȺ�׼ȷ�ԡ�ÿ��ģ�͵����ּ�����㲻ͬӦ�ó����������û����Ը����Լ��ľ���Ҫ��ѡ����ʵ�ģ�͡������ǿ���ģ�͵����ơ���Ӧ�Ĵ����ڴ����������ٶȣ�

  • С��ģ�ͣ��ڴ�����ͣ��ٶȿ죬�ʺ�ʵʱ����ʶ�����ñ£¬µï¿½ï¿½Ú¸ï¿½ï¿½ï¿½ï¿½ï¿½Æµï¿½ï¿½ï¿½ï¿½ï¿½Ðµï¿½×¼È·ï¿½Ô¿ï¿½ï¿½ï¿½ï¿½ï¿½Ñ·ï¿½ï¿½
  • ����ģ�ͣ��ṩ���õ�׼ȷ�ԣ�ͬʱ������ԽϿ���ٶȣ��ʺϴ�����ճ�Ӧ�á�
  • ����ģ�ͣ���׼ȷ�����������������ʺ϶Ծ���Ҫ��ϸߵij�������ҽ�Ƽ�¼ת¼�ͷ����ļ����ģ�������ٶ�������
  • ������ģ�ͣ����г�ɫ������ʶ�����ܣ��ܹ��������ӿ����ͼ�������ʺ�רҵ�����ʹ�ã��ڴ�����ϸߣ��ٶ���Խ�����
  • �ش�ģ�ͣ��ṩ�����׼ȷ�ԣ��ر������ڸ����������Ͷ෽�Ի��������ڴ����󼫴��ٶȽ������ʺϲ���Ҫʵʱ�����������

ͨ����Щ��ͬ�ߴ��ģ�ͣ��û����Ը����Լ���Ӳ����Դ��Ӧ���������ѡ������ʵ�ѡ���ʵ����ѵ�����ʶ��Ч����

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù

3.GPT-SoVITS��װ�벿��

3.1 ����Ҫ��

1.ѵ��

  • Windows
    • ��֧��CUDA��nVIDIA�Կ����Դ�����6GB��
    • ��֧�ֵ��Կ�������10ϵ֮ǰ�������ͺš�GTX 1060�����¡�GTX 1660�����¡�GTX 2060�����£��Լ�3050 4GB�Կ���
    • ����ϵͳ��ΪWindows 10��11��
    • ���û���Կ���ϵͳ���Զ��л���CPUѵ�������ٶȷdz�����
  • macOS
    • ������macOS 14����߰汾��
    • ���밲װXcode�����й��ߣ���ͨ������xcode-select --install��ɰ�װ��
  • Linux
    • ����ʹ��Linux������
    • ���䱸�Դ�����Ϊ6GB���Կ���
    • ͬ�������û���Կ���ϵͳ���Զ��л���CPUѵ�����ٶȽ�����

2.����

  • Windows
    • ��֧��CUDA��nVIDIA�Կ����Դ�����4GB��δ�������ԣ�3GB�����޷���������ϳɣ�����Ʋ�4GBӦ���㹻����
    • ����ϵͳ��ΪWindows 10��11��
    • ���û���Կ���ϵͳ���Զ�ʶ��ʹ��CPU����������
  • macOS
    • ������macOS 14����߰汾��
    • ���밲װXcode�����й��ߣ�����ͬ�ϡ�
  • Linux
    • ����ʹ��Linux������
    • ���䱸�Դ�����Ϊ4GB���Կ���
    • ���û���Կ���ϵͳ���Զ�ʶ��ʹ��CPU����������

ͨ����Щ����Ҫ���û�����ȷ��ϵͳ�ܹ���Ч�ؽ���ѵ������������ʵ����ѵ����ܱ��֡�

3.2 Mac����Ҫ��

1.����Ҫ��

  • ȷ����ͨ������ xcode-select --install ��װ Xcode �����й��ߡ�
  • ��װ Homebrew �Ա��ڰ�װ��Ҫ���������� git��ffmpeg����

2.��װ conda������Ѱ�װ����������

����ͨ���� Python �� PyTorch �汾��

  • Python 3.9��Pytorch 2.2.1

����ͨ�������������Ƿ��Ѱ�װ��

3.��װFFmpeg������Ѱ�װ����������

����ͨ�������������Ƿ��Ѱ�װ�Լ��汾Ҫ���ڵ���6.1

3.3?��Ŀ׼��

1.������Ŀ����

���û�а�װGit�����ն�ִ��

����Ѱ�װGit��ֱ�����ն��ж�λ��Ҫ�����Ŀ��Ŀ¼���˴�������Ϊ�����밴ʵ���������,���ĵ�����·���Ի��ڴ�ǰ�ᣩ��Ȼ���¡�ֿ⵽���أ�~/������ǰ�û�Ŀ¼��

2.����Ԥѵ��ģ�ͣ�ֱ�Ӳο���ĿREADME.md�ͺã�

�� GPT-SoVITS Models ����Ԥѵ��ģ�ͣ��������ǽ�ѹ�滻 ~/desktop/GPT-SoVITS/GPT_SoVITS/pretrained_models ������ UVR5������/�������ͻ����Ƴ������Ƽ�ʹ��UVR5�ͻ��ˣ����������ⲽ�� ����UVR5�̴̳� UVR5 Weights ����ģ�ͣ��������Ƿ����� ~/GPT-SoVITS/tools/uvr5/uvr5_weights �С�(��ʹ��UVR5�ͻ���,���������ⲽ)���������Զ�����ʶ�𣬴� Damo ASR Model ����ģ�ͣ������ǽ�ѹ�滻 ~/desktop/GPT-SoVITS/tools/asr/models ��

3.4?����׼��

1.��������

�ȹر��նˣ��ٴ��ն�����

����y/n�ľ�һֱ��y�س�
���������connot find conda��������Ϊcondaûװ�ã�����

�鿴��û��װ�á������������´��նˡ�

2.��װ����

�ն�����

3.����

4.ѵ��ģ��

GPT-SoVITS WebUI�ṩ��ȫ��Ĺ��ܣ��������ݼ�������ģ��΢��ѵ����������¡�����������ֻ��������Ч��������ֱ��ʹ�ùٷ�����������ģ�͡��������ʹ�û��ܹ�Ѹ�����֣����踴�ӵ����û�����ļ���֪ʶ��

4.1?���ݼ�����

1.����ԭ��Ƶ

���ԭ��Ƶ�㹻�ɾ����������Ϸ����ȡ�ĸ���������������һ�������ţ��������Open UVR5-WebUI���Ե�Ƭ�̺󣬴���������� http://localhost:9873��

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù

2.�и���Ƶ

���и���Ƶ֮ǰ�����齫������Ƶ�ļ�������Ƶ���������ӳ�����������������������������Ϊ-9dB��-6dB�����ߵ�����Ӧ����ɾ����

��WebUI����������ԭ��Ƶ���ļ���·���������������Ե������½��������

  • min_length�������Դ��С�������Դ�ԽС��ֵ����ԽС��
  • min_interval��������Ƶ��ƽ��������е����������Ƶ�����ܼ��������ʵ����͸�ֵ��
  • max_sil_kept���˲�����Ӱ����ӵ������ԣ���ͬ��Ƶ�費ͬ�����������ȷ�������鱣��Ĭ��ֵ��

��������������и���и���̽�������ɣ�Ĭ�����·��Ϊ output/slicer_opt�������������ܿ��ٻ�ô��������ƵƬ�Ρ�

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù

���з��ļ��У���ʱ���������Դ����������Ƶ�ֶ��з�����ʱ�����¡����磬����Կ��Դ�Ϊ10GB�����齫����10�����Ƶ�з���10�����£�����ֱ��ɾ������΢����һ��Ŀ��Բ�����������������Ƶ���ܻᵼ���Դ汬����

������������и����Ȼ��һ���ļ���˵����Ƶ�����ܼ������Գ��Ե���min_interval�����Ի�ø��õ��и�Ч������������ȷ����Ƶ�ļ��ڴ���ʱ���ᳬ���Դ����ơ�

3.��Ƶ����

���ԭ��Ƶ�㹻�ɾ����������Ϸ����ȡ�ĸ���������������һ��������ղ��и������Ƶ���ļ���·����Ĭ��Ϊ output/slicer_opt��Ȼ�����������������롱��������ɺ󣬽�������Ƶ��Ĭ������� output/denoise_opt Ŀ¼�����������Ϳ������ɻ����������Ƶ�ļ���

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù

4.��겢У��

ֻ������ղŵ��з��ļ���·���������Ƶ�������봦����Ĭ�����·��Ϊ output/denoise_opt�����û�н��룬��Ϊ output/slicer_opt��

��������ѡ���ĦASR��Fast Whisper��Ȼ������������������ASR����Ĭ�����·��Ϊ output/asr_opt����ע�⣬��һ��������Ҫ�ȴ�һ��ʱ�䣬��Ϊϵͳ��Ҫ������Ӧ��ģ�͡�

  • ��ĦASR��ר��������ʶ��Ч����ѡ�
  • Fast Whisper��֧��99�����ԣ�������Ӣ��������ʶ�������ͻ��������ѡ��large V3ģ�ͣ�����ѡ���Զ���auto�����ɡ�

��Ҫע����ǣ�����ʶ������ı����ܲ���׼ȷ����������˹�У�Ա�ע����һ���Ϻ�ʱ�䣬�����׷����Ч������ѡ����������������ֻ��Ϊ����ʾ���̣����Դ˲�������Թ���

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù

4.2?΢��ѵ��

1.?���ݼ���ʽ��

��1-GPT-SOVITS-TTSѡ��У���д������Ϣ��

  • ʵ��/ģ����������ʵ�����ƣ�ȷ����Ҫʹ�����ġ�
  • �ı���ע�ļ���ѡ�����ı�ע�ļ���
  • ѵ������Ƶ�ļ�Ŀ¼��ָ����Ƶ���ݼ����ļ���·����

ȷ������·�����ļ�����ȷ�����Ա�˳�����к���������

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù

��д��ɺ�������ѡ�������������������ť���ȴ�ÿ������ִ�н������ٵ����һ�������������������鿴��̨��־����Щ����ֻ�����Լ��ɽ����

���⣬��Ҳ����ֱ��ʹ�á�����һ����������ť��һ�������������������ʡʱ��;�����

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù

2.ѵ��΢��ģ��

ѡ�� 1B-΢��ѵ�� ��ѡ������� batch_size �Ȳ�����Ȼ�����ε�� ���� SoVITS ѵ�� �� ���� GPT ѵ�� ����ע�⣬������ѵ��������ͬʱ���У��������������Կ��������ѵ���������жϣ�������ֱ���ٵ����ʼѵ����ϵͳ�������ı���������

���� SoVITS ѵ�������齫 batch_size ����Ϊ�Դ��һ�����¡����ߵ����ÿ��ܵ����Դ汬����������Խ�߾�Խ�졣����Ҫ�������ݼ��Ĵ�С���е������������ϸ����Դ��һ�������á���������Դ治�����������ʵ����� batch_size�������������Ƭ����Ϊ10��ʱ����ͬ�Դ��� SoVITS ѵ������� batch_size ��ʵ��ֵ�����ο��������Ƭ���������ݼ���������Ҫ�ʵ����١�

������������ѵ��������SoVITS ģ�͵������������õø�һЩ����Ϊѵ���ٶȽϿ졣������ GPT ģ�ͣ�ͨ��������������Ϊ10����Ҫ����20����ȷ��ѵ��Ч�ʺ�ģ�����ܵ�ƽ�⡣

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù

4.3 ����

1.������������

ѡ�� 1C-���� ��ѡ�������ģ��·�������ģ��û����ʾ���������Ե���Ҳ�İ�ť����ˢ�£���Ȼ�󣬵�� ���� TTS ���� WEBUI ��ť�Դ�����ҳ�档������ҳ���У������������ı�����������������ģ�͵�Ч����

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù

�Ե�Ƭ�̺󣬴���������� http://localhost:9872��

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù

2.������¡����

������ҳ���У���һ��ѡ�������ģ�͡��ڶ����ϴ��ο��������ı�������ʱ����5�뵽10��֮�䣬�ο���Ƶ�dz���Ҫ������Ӱ��ģ��ѧϰ���ٺ�������������ѡ�񣩡�������������ϣ������������¡���ı���׼����ʼ����������

GPT-SoVITSÓïÒôºÏ³ÉÄ£ÐÍʵ¼ù

5.�ܽ�

GPT-SoVITS��һ�Դ�����ϳɿ�ܣ���������ɶԿ�����ͱ�������������ܹ�ʵ�ָ��������ı�������ת�����ÿ��֧�ֶ��ֹ��ܣ�����ģ��΢����������¡�Ͷ����Դ������û�����ͨ���Ѻõ�Web�������ɲ�����GPT-SoVITS�����ʺ���������Ȼ�������������㷺Ӧ������Ϸ��Ӱ���������������ֵ�����

6.������

��ƪ���;ͺʹ�ҷ�����������������о�ѧϰ�Ĺ��̵�����ʲô���⣬���Լ�Ⱥ�������ۻ����ʼ����ң��һᾡ������Ϊ�����������㣡

���⣬�����������ˡ� ��������Hive ����ͬʱ�ѳ���ġ� Kafka������ѧ ���͡� Hadoop�������ھ�����ŵ�����ʵս ��Ҳ���Ժ���������ʹ�ã�ϲ�������ѻ�ͬѧ�� ���� �ڹ������������������ӹ��������� ����ѧϰ���ڴ˸�л��ҵ�֧�֡���ע���湫�ںţ�������ʾ������ѻ�ȡ�鼮�Ľ�ѧ��Ƶ��

С���Ƽ��Ķ�

�������������Ľ�Ϊ������Ϣ����������������ͬ���޹۵��֤ʵ��������

�����Ƶ����

����

ͬ������

����

ɨ��ά�����������ֻ��汾��

ɨ��ά����������΢�Ź��ںţ�

��վ�������������������ϴ��������ַ���İ�Ȩ���뷢�ʼ�[email protected]

��ICP��2022002427��-10 �湫��������43070202000427��© 2013~2025 haote.com ������