ChatGPT에서 Fine-Tuning하는 방법을 소개 합니다. 책- “GPT-4, ChatGPT, 라마인덱스, 랭체인을 활용한 인공지능 프로그래밍“의 데이터와 내용, 그리고 OpenAI Fine-Tuning, Medium ,Fine-Tuning GPT-3.5 on Custom Dataset: A Step-by-Step Guide 를 참고 하였습니다. 데이터 원본 : 일본어 애니메이션 대사 (책이일본어판 번역본 입니다.) 데이터 번역본(cvs파일) – 다운로드 아래 소스 코드에 사용된 Fine-Tuning 데이터 포맷 검증, 토큰수 카운트, 파인 튜닝 …
유투브 : [Vector Embeddings Tutorial – Code Your Own AI Assistant with GPT-4 API + LangChain + NLP] Vector Embeding에 대한 아주 쉬운 개념 부터 실제 코딩 까지 잘 설명 했어요 참조 해볼 만 합니다. 아래에 사용된 코드를 추가 했어요
위 그림 처럼 Proxy Stric SSL을 언체크 하여 무시한다. 물론 보안 우려가 있긴 하지만!~
기준일 2023-11-09 적용모델 GPT-3.5-turbo 가격(price) $0.0080 per 1,000 tokens for training 가정(Assume) GPT 모델에서는 대략적으로 1 토큰이 평균 4바이트(약 4 문자) or 0.75 단어 Example 당 평균 500토큰(대략 375단어 또는 약 2,000자에 해당) A4 용지 한 페이지에 약 500단어 또는 약 2,000자가 들어간다고 가정 Dataset Size Number of Examples Tokens(Approx.) Words(Approx.) Characters(Approx.) Pages (Approx.) File …
[ChatGPT, Fine-Tuning] 데이터 셋 크기에 따른 Fine-Tuning 비용 추정 더 보기 »
유트브 Using OpenAI API on your Julia code 의 Pluto 버전으로 다시 작성 프롬프트 부분을 한글로 바꾸고 GPT의 출력값을 더 명확하게 하기 위해 프롬프트에 “설명은 하지 말고 국가 목록만 알려주세요.”를 추가 했습니다. 이렇게 해야 국가 코드 목록만 가져 오기 때문에 쉽게 취급 됩니다. 위의 추가적인 프롬프트가 없는 경우 아래와 같이 결과 값이 나와서 필요한 국가 …
What they don’t teach you about time series and predictions.. (시계열 및 예측에 대해 알려주지 않는 것들) 이전 직장에서 가장 도전적이었던 프로젝트 중 하나는 유럽의 BEV(배터리 전기 자동차) 시장 발전을 예측하는 것이었습니다. ML 분야의 대부분의 프로젝트와 마찬가지로, 이 프로젝트는 기술적 측면뿐만 아니라 도메인별 과제를 모두 안고 있었습니다. 제 경우에는 서로 관련이 있었습니다. 이 글의 주제인 …
[Medium, Trading] What they don’t teach you about time series and predictions.. 더 보기 »
베이즈 다항 로지스틱 회귀(Multinormial Logistic Regression)를 사용하는 방법과 이를 사용하여 Iris(붓꽃) 의 특성과 분류를 학습하고 신규 특성으로 부터 붓꽃을 분류하는 방법을 알아 봅니다. 키워드 베이즈 다항 로지스틱 회귀 프로세스
베이즈 포아송 회귀를 사용하여 음주,약복용, 음주와 약복용의 상호작용이 재치기에 미치는 영향을 분석하고 주어진 데이터에 대해 포아송 분포의 선형회귀 파라미터를 추정 한다. 키워드
Infinite Mixtuure Model, Chinese Restaurant Process
베이즈 선형회귀 예제 입니다.
