nlp6 논문 리뷰 | RAGAS: Automated Evaluation of Retrieval Augmented Generation(2023) - RAG 평가 프레임워크 https://arxiv.org/pdf/2309.15217 [1][2] 초록, 서론 핵심 내용RAGAS란?"Retrieval Augmented Generation Assessment"의 약자로, 검색 증강 생성(RAG) 시스템을 평가할 수 있는 프레임워크를 의미한다.RAG 평가에 있어 기존의 한계는?RAG 시스템의 성능은 여러 가지 요소(검색 모델, 데이터셋, LLM, 프롬프트 설계 등)에 따라 달라질 수 있으며, 각 요소를 최적화하는 데 시간과 노력이 필요하다.RAG 시스템은 종종 언어 모델링 과제(예: perplexity 측정)로 평가되는데하지만 이는 실제 성능을 예측하는 데 늘 적합하지는 않을 뿐더러특히 ChatGPT와 같은 closed 모델의 데이터에 접근할 수 없음다른 방법으로는 질문 응답 데이.. 2025. 1. 3. 논문 리뷰 | DIFFERENTIAL TRANSFORMER(2024) - 마이크로소프트 요즘 노캔기능이 대세입니다. 몇년 전까지만 해도 노캔 기능은 소니, 보스 헤드폰이 가장 인기였는데, 요즘은 에어팟과 버즈가 가장 인기가 좋은 것 같아요. 어쨌든 이 노이즈캔슬링의 원리는 생각보다 간단한데, 외부 소음과 반대되는 파형을 만들어서 더해버림으로써, 귀가 느끼는 소리가 0이 되도록 상쇄를 시켜주는 거라고 합니다.갑자기 노캔 얘기가 왜 나왔냐 하면, 이 번에 읽은 최신 논문 DIFF트랜스포머가 이 노이즈캔슬링 원리에서 모티브를 가져왔기 때문이에요. 기존의 어탠션 맵이 1개였다면, Diff-트랜스포머는 말 그대로 어탠션 맵을 2개 만들어서 그 차이 - Difference를 계산합니다. 잘못 계산되는 Attention을 상쇄시켜줄 수 있는 역할을 한다고요.https://arxiv.org/pdf/241.. 2024. 12. 4. 논문 리뷰 | Retrieval Augmented Generation or Long-Context LLMs? - A Comprehensive Study and Hybrid Approach(2024) - 구글 딥마인드 RAG와 LC를 사용한 LLM의 긴 문맥 응용에 대한 가이드라인을 제공하겠다는 2024 최신 연구 논문.최신 LLM의 max-token이 기하급수적으로 늘어나면서 Long-Context를 점점 더 잘 처리하고 있습니다. 예를 들어서 구글 Gemini 1.5의 경우 1백만 토큰까지 입력받을 수가 있고, LLama3.2 경량 모델의 경우 128K(12만8천) 토큰 입력이 가능합니다. 그래서 "RAG를 굳이 써야 될까?"라는 의문을 가진 사람도 있어요. RAG의 문제점이 많은데, 그냥 최신 LLM한테 문서를 통째로 주면 훨씬 더 일처리를 잘하니까 그렇죠. 그럼 RAG는 이제 쓸모가 없어질까?하는 의문도 들기 시작하고요.하지만 입출력 token의 갯수에 비용이 비례하는 현재 상황에서 여전히 RAG는 cost e.. 2024. 10. 31. 딥러닝 | RAG(2021) 논문 리뷰 pre-train된 LLM은 학습한 시점 이후의 데이터를 가지고 있지 않기때문에 outdated된 정보를 제공할 수 있으며 특히 domain-specific한 지식이 부족한 단점을 가지고 있습니다. 이를 보완하기 위해 주기적으로 LLM을 재학습시키거나 파인튜닝을 하는 방법이 고안되었지만 시간이나 비용적인 측면에서 비효율적이라는 문제점이 꾸준히 제기되어 왔습니다.저 역시 domain-specific한 QA task를 실현하기 위해 LLM을 fine-tuning하고자 하는 시도를 하였지만 생각만큼 성능이 잘 확보되지 않으며 오히려 기존에 학습된 파라미터가 fine-tuning을 통해 망가지면서 답변 생성 성능이 저하되는 것을 여러번 경험한 바가 있습니다. 이럴 때 필요한 것이 RAG - Retrieval-A.. 2024. 8. 5. 딥러닝 | RAG 활용 pdf파일 검색 챗봇시스템 구현하기 재밌는 토이 프로젝트! RAG 기술을 활용하여 pdf 파일에서 내용을 검색, 질의응답(QA)을 구현하는 챗봇 시스템을 만들어 보았습니다.* 본 포스팅 활용하시는 경우 출처를 밝혀주세요 :-)* 전체 코드 .py파일을 원하시는 분들께서는 포스팅 하단에 github 링크 참고 바랍니다.* 사용한 라이브러리pdfplumber, pytesseract, langchain, ollama, chromadb, gradio (전부 무료)* 프로젝트 개요PDF 파일의 텍스트를 pdfplumber, pytesseract로 추출합니다.추출한 내용을 langchain을 이용해서 split, 임베딩하여 벡터화한 다음 Chroma 벡터 저장소에 저장합니다.벡터 저장소에서 질문에 해당하는 내용을 검색하여 context로 준비합니다... 2024. 7. 24. 딥러닝 | BERT(2019) 논문 리뷰 (*) 본 논문 리뷰 포스팅은 수리링이 직접 BERT 논문 원문을 처음부터 끝까지 읽고 작성했습니다. 포스팅을 참고하시는 경우 반드시 출처를 밝혀주시기를 미리 부탁드립니다. 감사합니다.https://arxiv.org/pdf/1810.04805본 논문 리뷰는 BERT 원문을 직접 읽고 버트의 핵심 아이디어와 구조에 대해서 살펴봅니다. 구체적인 실험과 학습 결과, 성능 지표 등에 대한 리뷰는 생략하는 점 양해 바랍니다.초록 Abstract트랜스포머의 인코더는 Recurrent(순차) 구조 없이 입력을 '통으로' 받습니다. 따라서 입력 시퀀스의 각 위치에서 왼쪽, 오른쪽 양방향(Bidirectional) 문맥을 모두 고려할 수 있습니다.이와 반대로 디코더는 마스킹을 통해 현재 시점까지의 토큰들만을 참조하는 단.. 2024. 7. 22. 이전 1 다음
