책 “Generative AI with LangChain” chapter7에 해당 하는 내용입니다. LLM을 데이터사이언스에 활용하는 방법을 보여 줍니다. 예제로Jupyter-AI,AutoML, Agent를 통한 데이터에 대한 질문 및 답변,PythonREPL, WolframAlpha tool사용,LLM을 통한 데이터 탐색등을 소개 합니다.
[python, ai, gpt langchain] langchain 예제 – Data Science에 LLM 활용 Read More »
책 “Generative AI with LangChain” chapter 6에 해당 하는 내용입니다. 여기서는 python code 생성의 다양한 사례를 보여 줍니다. llm과 tool을 사용하여 python code를을 생성하기 위해 HuggingFace StarChat,Salesforce code생성 llm,OpenAI ChatGPT(gpt-4-1106-preview model)등을 사용하여 몇가지 python 소스코드를 생성합니다.현재는 gpt-4-1106-preview를 능가하는 코드 생성기는 없네요. 커스텀 소스 빌더도 소개 합니다.(python_developer.py 참조) 하지만 위에 언급한 코드생성 방법만으로는 큰 규모의 코드를
[python, ai, gpt langchain] langchain 예제 – python Code생성 Read More »
책 “Generative AI with LangChain” chapter 5에 해당 하는 내용입니다. chatbot을 만들기 위해 Document load, Embedding, Vectorstore, Retriever, Memory, 다양한 LLM등을 소개합니다. 오픈소스 Vectorstore ZepVectorStore와 ZepMemory등을 사용하는 방법을 소개 합니다. 맨 뒤에 Chatbot 소스 있습니다.
[python, ai, gpt langchain] langchain 예제 – Chatbot Read More »
ChatGPT에서 Fine-Tuning하는 방법을 소개 합니다. 책- “GPT-4, ChatGPT, 라마인덱스, 랭체인을 활용한 인공지능 프로그래밍“의 데이터와 내용, 그리고 OpenAI Fine-Tuning, Medium ,Fine-Tuning GPT-3.5 on Custom Dataset: A Step-by-Step Guide 를 참고 하였습니다. 데이터 원본 : 일본어 애니메이션 대사 (책이일본어판 번역본 입니다.) 데이터 번역본(cvs파일) – 다운로드 아래 소스 코드에 사용된 Fine-Tuning 데이터 포맷 검증, 토큰수 카운트, 파인 튜닝
[Python, GPT, Fine-Tuning] ChatGPT Fine-Tuning Read More »
기준일 2023-11-09 적용모델 GPT-3.5-turbo 가격(price) $0.0080 per 1,000 tokens for training 가정(Assume) GPT 모델에서는 대략적으로 1 토큰이 평균 4바이트(약 4 문자) or 0.75 단어 Example 당 평균 500토큰(대략 375단어 또는 약 2,000자에 해당) A4 용지 한 페이지에 약 500단어 또는 약 2,000자가 들어간다고 가정 Dataset Size Number of Examples Tokens(Approx.) Words(Approx.) Characters(Approx.) Pages (Approx.) File
[ChatGPT, Fine-Tuning] 데이터 셋 크기에 따른 Fine-Tuning 비용 추정 Read More »
유트브 Using OpenAI API on your Julia code 의 Pluto 버전으로 다시 작성 프롬프트 부분을 한글로 바꾸고 GPT의 출력값을 더 명확하게 하기 위해 프롬프트에 “설명은 하지 말고 국가 목록만 알려주세요.”를 추가 했습니다. 이렇게 해야 국가 코드 목록만 가져 오기 때문에 쉽게 취급 됩니다. 위의 추가적인 프롬프트가 없는 경우 아래와 같이 결과 값이 나와서 필요한 국가
[ChatGPT,OpenAI] OpenAI API를 사용한 ChatGPT 프로그램 예제 Read More »
