책 “Generative AI with LangChain” chapter9에 해당 하는 내용입니다. LLM App을 운영환경에 배포하고 평가하고, 모니터링하는 다양한 방법에 대해 소개 합니다.또한 CPU, GPU를 사용하는 병렬처리 프레임워크 Ray를 통해 embedding 속도를 높이고, 활요하는 방법에 대한 소개도 있습니다.평가 및 모니터링, 배포를 위한 다양한 도구도 소개 합니다.
[python, ai, gpt, langchain] langchain 예제 – Generative AI in Production 소개 Read More »
책 “Generative AI with LangChain” chapter8에 해당 하는 내용입니다. LLM fine tuning, Prompt engineering 예시 소개 opensource hugginface의 llm을 사용한 fine tuning 소개openai llm과 scikit-llm을 통한 분류등 소개여러 가지 prompting 소개
원문 : 다운 아래 그림은 생성 AI에 영향을 받는 직업군(노출점수)과 일자리를 찾는데 드는 저항(마찰점수)를 나타내고 있다. Y축은 AI에 노출을 많이 받는 직업군(AI에로 쉽게 대체 될 수 있는 직업군) , X 축은 기존 기술로 새로운 일자리를 찾는데 드는 마찰력(낮을 수록 쉽게 일자리 찾음) 실직 근로자가 새로운 일자리를 찾는 것이 얼마나 어려운지 파악하기 위해 다양한 직업군에 대한
[ai, ai impact, job change] AI 노출 및 마찰 점수 Read More »
책 “Generative AI with LangChain” chapter7에 해당 하는 내용입니다. LLM을 데이터사이언스에 활용하는 방법을 보여 줍니다. 예제로Jupyter-AI,AutoML, Agent를 통한 데이터에 대한 질문 및 답변,PythonREPL, WolframAlpha tool사용,LLM을 통한 데이터 탐색등을 소개 합니다.
[python, ai, gpt langchain] langchain 예제 – Data Science에 LLM 활용 Read More »
책 “Generative AI with LangChain” chapter 6에 해당 하는 내용입니다. 여기서는 python code 생성의 다양한 사례를 보여 줍니다. llm과 tool을 사용하여 python code를을 생성하기 위해 HuggingFace StarChat,Salesforce code생성 llm,OpenAI ChatGPT(gpt-4-1106-preview model)등을 사용하여 몇가지 python 소스코드를 생성합니다.현재는 gpt-4-1106-preview를 능가하는 코드 생성기는 없네요. 커스텀 소스 빌더도 소개 합니다.(python_developer.py 참조) 하지만 위에 언급한 코드생성 방법만으로는 큰 규모의 코드를
[python, ai, gpt langchain] langchain 예제 – python Code생성 Read More »
책 “Generative AI with LangChain” chapter 5에 해당 하는 내용입니다. chatbot을 만들기 위해 Document load, Embedding, Vectorstore, Retriever, Memory, 다양한 LLM등을 소개합니다. 오픈소스 Vectorstore ZepVectorStore와 ZepMemory등을 사용하는 방법을 소개 합니다. 맨 뒤에 Chatbot 소스 있습니다.
[python, ai, gpt langchain] langchain 예제 – Chatbot Read More »
