ChatGPT에서 Fine-Tuning하는 방법을 소개 합니다.
책- “GPT-4, ChatGPT, 라마인덱스, 랭체인을 활용한 인공지능 프로그래밍“의 데이터와 내용, 그리고 OpenAI Fine-Tuning, Medium ,Fine-Tuning GPT-3.5 on Custom Dataset: A Step-by-Step Guide 를 참고 하였습니다.
데이터 원본 : 일본어 애니메이션 대사 (책이일본어판 번역본 입니다.)
데이터 번역본(cvs파일) – 다운로드
아래 소스 코드에 사용된 Fine-Tuning 데이터 포맷 검증, 토큰수 카운트, 파인 튜닝 비용산정 파일 “fine_tuning_data_prepare_analysis.py”을 첨부 합니다.
fine_tuning_data_prepare_analysis.py – 다운로드