책 “Generative AI with LangChain” chapter7에 해당 하는 내용입니다. LLM을 데이터사이언스에 활용하는 방법을 보여 줍니다. 예제로Jupyter-AI,AutoML, Agent를 통한 데이터에 대한 질문 및 답변,PythonREPL, WolframAlpha tool사용,LLM을 통한 데이터 탐색등을 소개 합니다.
[python, ai, gpt langchain] langchain 예제 – Data Science에 LLM 활용 Read More »
책 “Generative AI with LangChain” chapter4에 해당 하는 내용입니다. langchain과 openai를 사용하여 내용을 요약하고, Chain of density(CoD), Map-Reduce를 통한 요약, 이력서에서 정보 추출, 도구를 사용한 정보 전달, 추론탐색전략(ReWOOD방법 – plan-and-solve 기법)등을 소개 합니다. ReWOOD의 논문에는 zero-shot-react보다 plan-and-solve가 더 좋은 결과를 보여 준다고 했는데 lanchain_experimetal package에 있는 구현을 사용해본 결과 성능과 비용이 zero-shot-react보다 훨씬! 별로 입니다.
[python, ai, gpt langchain] langchain 예제 – 요약,CoD, Map-Reduce, 정보추출,RAG, 추론전력탐색 Read More »
ChatGPT에서 Fine-Tuning하는 방법을 소개 합니다. 책- “GPT-4, ChatGPT, 라마인덱스, 랭체인을 활용한 인공지능 프로그래밍“의 데이터와 내용, 그리고 OpenAI Fine-Tuning, Medium ,Fine-Tuning GPT-3.5 on Custom Dataset: A Step-by-Step Guide 를 참고 하였습니다. 데이터 원본 : 일본어 애니메이션 대사 (책이일본어판 번역본 입니다.) 데이터 번역본(cvs파일) – 다운로드 아래 소스 코드에 사용된 Fine-Tuning 데이터 포맷 검증, 토큰수 카운트, 파인 튜닝
[Python, GPT, Fine-Tuning] ChatGPT Fine-Tuning Read More »
