인공지능
ChatGPT에서 Fine-Tuning하는 방법을 소개 합니다. 책- “GPT-4, ChatGPT, 라마인덱스, 랭체인을 활용한 인공지능 프로그래밍“의 데이터와 내용, 그리고 OpenAI Fine-Tuning, Medium ,Fine-Tuning GPT-3.5 on Custom Dataset: A Step-by-Step Guide 를 참고 하였습니다. 데이터 원본 : 일본어 애니메이션 대사 (책이일본어판 번역본 입니다.) 데이터 번역본(cvs파일) – 다운로드 아래 소스 코드에 사용된 Fine-Tuning 데이터 포맷 검증, 토큰수 카운트, 파인 튜닝 …
유투브 : [Vector Embeddings Tutorial – Code Your Own AI Assistant with GPT-4 API + LangChain + NLP] Vector Embeding에 대한 아주 쉬운 개념 부터 실제 코딩 까지 잘 설명 했어요 참조 해볼 만 합니다. 아래에 사용된 코드를 추가 했어요
기준일 2023-11-09 적용모델 GPT-3.5-turbo 가격(price) $0.0080 per 1,000 tokens for training 가정(Assume) GPT 모델에서는 대략적으로 1 토큰이 평균 4바이트(약 4 문자) or 0.75 단어 Example 당 평균 500토큰(대략 375단어 또는 약 2,000자에 해당) A4 용지 한 페이지에 약 500단어 또는 약 2,000자가 들어간다고 가정 Dataset Size Number of Examples Tokens(Approx.) Words(Approx.) Characters(Approx.) Pages (Approx.) File …
[ChatGPT, Fine-Tuning] 데이터 셋 크기에 따른 Fine-Tuning 비용 추정 더 보기 »
유트브 Using OpenAI API on your Julia code 의 Pluto 버전으로 다시 작성 프롬프트 부분을 한글로 바꾸고 GPT의 출력값을 더 명확하게 하기 위해 프롬프트에 “설명은 하지 말고 국가 목록만 알려주세요.”를 추가 했습니다. 이렇게 해야 국가 코드 목록만 가져 오기 때문에 쉽게 취급 됩니다. 위의 추가적인 프롬프트가 없는 경우 아래와 같이 결과 값이 나와서 필요한 국가 …
Julia : 1.6.1, JuliaDB: 0.13.1, Flux: 0.12.4, MLJ: 0.16.7, MLJFlux 0.2.1,Pluto : 0.15.1
Julia : 1.6.1, JuliaDB: 0.13.1, Flux: 0.12.4, MLJ: 0.16.7, Pluto : 0.15.1 JuliaDB:ML을 사용한 machine learning 예제 – 데이터는 Iris MLJ와 비교하면 좋을 듯~~
Julia : 1.6.1, MLJ: 0.16.7, Pluto : 0.15.1 MLJ를 사용한 machine learning 예제 – 데이터는 Iris JuliaDB:ML과 비교하면 좋을 듯~~
JuliaDB와 최신 Flux, Turing을 같이 사용하는 방법은 아래 글을 참조
JuliaDB와 최신 Flux와 Turing을 사용하고 싶은데 JuliaDB 설치시에 Flux는 0.8.3, Turing은 0.8.2 버전으로 고정되어 최신 버전의 Flux(v0.12.4), Turing(v0.16.5)을 설치 할 수 없다. 이는 StatsBase의 버전이 Project.toml 에는 0.33 까지 있는데 여기에 현재 까지 나온 버전 0.33.8을 추가하고 JuliaDB를 설치 하면된다. 먼저 Flux, Turing 설치 후 JuliaDB를 설치 하면된다. 2021.6월에 JuliaDB (v0.13.1)를 포크 받아 수정 했다 …
JuliaDB Feature Extraction 부문 예제 동작하지 않는 것을 수정 한것 데이터 설명 : https://www.kaggle.com/c/titanic/data
