전체 글(224)
-
[Python] pyannote + whisper 사용
[찾아보게 된 이유] 1. whisper로 웹에서 전송된 mp3파일을 STT(Spepech To Text)를 진행했음.2. 화자 식별이 되면 좋지 않을까? 하다 찾아봄3. 용량이 그리크지않고, 코드도 별로 길지 않아 둘다 합쳐보기로함4. 다행히 라이브러리가 있었음 [라이브러리 설치 및 준비] 1번. pip install pyannote.audio 2번 2개 링크 접속 후 accept 받기https://huggingface.co/pyannote/segmentation-3.0 pyannote/segmentation-3.0 · Hugging FaceThis repository is publicly accessible, but you have to accept the conditions to access i..
2024.06.04 -
[Python] 음성 관련 라이브러리 (pyannote,pedalboard,noisereduce,pydub,pytube)
1. pytube,pydub알게된 경로: 유튜브 영상의 음원만 가지고 테스트하길 원하다 찾았음 Pytube는 youtube 영상 다운에 적합Pydub은 음성 처리에 적합 (노이즈 줄이기, 증폭, 변환 등) 기능을 가지고 있음#pip install pytube #pip install pydub from pytube import YouTubefrom pydub import AudioSegment # 유튜브 동영상 URLurl = '원하는 유튜브 영상 URL' (유튜브 영상 우측 : 현재 주소 복사 or 동영상 주소 복사)# 유튜브 동영상 다운로드yt = YouTube(url)stream = yt.streams.filter(only_audio=True).first()output_path = stream..
2024.06.04 -
[Python] flask audio file Not Loading
[환경]서버 flask화면 html에 kotlin 감싼것DB MYSQL배포 aws EC2 [원하는 flow]핸드폰에서 녹음 start End 파일 업로드(클라이언트 -> 서버) whisper 모델로 STT TXT,MP3파일 AWS에 저장경로 DB저장 [서비스]1. stt 결과 확인2. txt 엑셀로 변환 후 다운 [ISSUE] 1. 클라이언트에서 MPEG 파일 -> 서버(Flask) 전송 (OK)2. 서버에서 whisper 모델로 STT(OK)3. 분석한 STT MP3,TXT 저장 (OK) 4. 클라이언트에서 버튼을 누르면 서버의 MP3 파일을 load하려함 (FAIL)실패한 해결과정 들1. MP4파일 -> MP3 컨버팅 (moviepy 사용)2. 서버 MP3파일를 다시 읽은 후 클라이언트에게 R..
2024.05.30 -
[Python] BriaAI / Image-Segement(이미지 분리) 누끼따기
사용모델 : briai/RMBG-14https://huggingface.co/briaai/RMBG-1.4 briaai/RMBG-1.4 · Hugging FaceBRIA Background Removal v1.4 Model Card RMBG v1.4 is our state-of-the-art background removal model, designed to effectively separate foreground from background in a range of categories and image types. This model has been trained on a carefully selected dahuggingface.co 코드 분석 [1] import import numpy as np i..
2024.05.28 -
[Python] Whisper 모델 이용해서 뭐라도 만들기
1. 실시간 녹음 후 파일 생성 -> 모델에 적용2. Youtube Link에서 음성파일 추출후 모델에 적용 결과물 1.output.txt (모델 인식 결과)2.output.mp3 (모델링 파일)3.wavs/audio{i}.wav (분절마다 오디오 파일) 추가로 하고싶은거실시간 음성인식후 모델에 적용하는거.......................... 전처리 코드 참고https://www.youtube.com/watch?v=UKNzKyTLDGo&t=2s빵형의 개발도상국 import sounddevice as sdfrom scipy.io.wavfile import writefrom pydub import AudioSegmentfrom pytube import YouTubefrom datetime im..
2024.05.27 -
[issue] pytube 버그 발생
상황 [1]2024-05-22(수)어제까지 youtube 영상에서 목소리만 추출하여 openai-whisper 모델로 STT(Speech to Text)를 연습하고있었음TOOL: VSCODELanguage : PYTHON 3.9.12 >>>> 어제 잘되던 코드가 갑자기 되다 안되다? 뭔데 [2]근데 에러코드도 안나와 try,catch를 다 뻇는데..............[3]분해해서 확인[4]확인해보니 아래 코드에서 에러를 확인from pytube import YouTube def convert_youTube(youtubeURL): video = YouTube(youtubeURL) video.streams.filter(only_audio=True).first().download(output..
2024.05.23