라마1 딥러닝 | RAG 활용 pdf파일 검색 챗봇시스템 구현하기 재밌는 토이 프로젝트! RAG 기술을 활용하여 pdf 파일에서 내용을 검색, 질의응답(QA)을 구현하는 챗봇 시스템을 만들어 보았습니다.* 본 포스팅 활용하시는 경우 출처를 밝혀주세요 :-)* 전체 코드 .py파일을 원하시는 분들께서는 포스팅 하단에 github 링크 참고 바랍니다.* 사용한 라이브러리pdfplumber, pytesseract, langchain, ollama, chromadb, gradio (전부 무료)* 프로젝트 개요PDF 파일의 텍스트를 pdfplumber, pytesseract로 추출합니다.추출한 내용을 langchain을 이용해서 split, 임베딩하여 벡터화한 다음 Chroma 벡터 저장소에 저장합니다.벡터 저장소에서 질문에 해당하는 내용을 검색하여 context로 준비합니다... 2024. 7. 24. 이전 1 다음
