본문 바로가기

전체 글73

DeepSeek 정복기 [3] 딥시크 V3에 대한 기본적인 이해 DeepSeek - V3Deepseek의 R1 family는 흔히 '순수 강화학습'이라는 keyword와 함께 쓰이며 마치 강화학습만을 이용해 완전한 무에서 유를 창조한 모델인 것처럼 잘못 받아들여질 때가 많다. (딥시크에서 그런 의도로 마케팅을 했을 것이기도 하겠지만...)딥시크의 R1 family는 DeepSeek-V3-Base모델을 Post-training하여 만들어진 모델들로, V3은 약14.8T(조) 개의 빅데이터셋을 가지고 Supervised Trained - 지도 학습된, 총 671B(6710억) 개의 파라미터를 가진 초대형 언어 모델이다.따라서 R1의 추론 능력은, 그들이 개발한 강화 학습 레시피를 이용하여 DeepSeek-V3이 가지고 있는 기본적인 추론 능력을 극대화시킨 것으로 이해하는.. 2025. 2. 18.
DeepSeek 정복기 [2] GRPO 수식 이해하기 (R1, DeepSeekMath) Group Relative Policy Optimization (GRPO) 알고리즘이란?GRPO는 딥시크가 직접 개발한 강화학습 알고리즘으로, 딥시크에서 DeepSeekMath 모델과 함께 2024년 4월에 발표한 바 있다.GRPO는 보통 정책(policy) 모델과 동일한 크기의 크리틱(critic) 모델을 두는 전통적인 강화 학습 방식과 달리, ‘그룹 점수(group scores)’를 활용하여 기준선(baseline), 즉 상대적인 보상(Advantage)을 추정함으로써 크리틱 모델을 생략하는 기법을 의미한다. 즉, DeepSeek GRPO는 강화 학습에서 정책 모델만 학습시키고, 크리틱 모델은 생략하여 연산 비용을 획기적으로 줄였다.그렇다면 GRPO는 정책 모델은 어떻게 학습시키는 걸까? 또, 크리틱.. 2025. 2. 7.
DeepSeek 정복기 [1] 강화학습(Reinforcement Learning : RL) 기초 DeepSeek를 이해하기 위해서는 강화학습에 대한 기본적인 개념 이해가 선행적으로 요구된다.강화학습에 대한 사전지식이 매우 부족한 관계로, Deepseek 논문을 이해하기 위해 필요한 강화학습 기초지식을 정리할 필요가 있었다.따라서 본 포스팅에서는 DeepSeek의 학습 원리를 이해하는 데 조금이나마 도움이 되도록, 아주 최소한의 강화학습 관련 지식을 정리하고자 한다. (나와 비슷한 처지의 사람들에게 도움이 되길 바라며...)(1) 강화학습이란?강화학습은 지도학습처럼 정답이 주어지거나 비지도학습처럼 데이터의 패턴을 찾는 것이 아니라, 에이전트가 환경과 상호작용하며 시행착오를 통해 학습하는 방식을 말한다. 강화학습의 에이전트는 각 상태에서 행동을 선택하고, 그 결과로 받는 보상을 최대화하는 방향으로 자신.. 2025. 2. 6.
논문 리뷰 | RAGAS: Automated Evaluation of Retrieval Augmented Generation(2023) - RAG 평가 프레임워크 https://arxiv.org/pdf/2309.15217 [1][2] 초록, 서론 핵심 내용RAGAS란?"Retrieval Augmented Generation Assessment"의 약자로, 검색 증강 생성(RAG) 시스템을 평가할 수 있는 프레임워크를 의미한다.RAG 평가에 있어 기존의 한계는?RAG 시스템의 성능은 여러 가지 요소(검색 모델, 데이터셋, LLM, 프롬프트 설계 등)에 따라 달라질 수 있으며, 각 요소를 최적화하는 데 시간과 노력이 필요하다.RAG 시스템은 종종 언어 모델링 과제(예: perplexity 측정)로 평가되는데하지만 이는 실제 성능을 예측하는 데 늘 적합하지는 않을 뿐더러특히 ChatGPT와 같은 closed 모델의 데이터에 접근할 수 없음다른 방법으로는 질문 응답 데이.. 2025. 1. 3.
논문 리뷰 | LLM Pruning and Distillation in Practice: The Minitron Approach(2024) - 엔비디아 https://arxiv.org/pdf/2408.11796논문 요약 : 1. 원본 LLM을 Teacher Correction을 통해 파인튜닝하여 교사 모델로 사용하고2. 또 같은 원본 LLM을 Width Pruning을 통해 경량화된 학생 모델로 사용하여3. 두 모델의 Knowledge Distillation을 통해 학생 모델을 Retrain함으로써큰 LLM을 가장 효과적으로 경량화할 수 있는 방법론 연구 (The Minitron Approach)Abstract, Introduction논문 초록과 서론의 핵심 문장은 아래와 같다.AbstractStructured pruning with knowledge distillation is a potent combination for obtaining small .. 2024. 12. 30.
논문 리뷰 | DIFFERENTIAL TRANSFORMER(2024) - 마이크로소프트 요즘 노캔기능이 대세입니다. 몇년 전까지만 해도 노캔 기능은 소니, 보스 헤드폰이 가장 인기였는데, 요즘은 에어팟과 버즈가 가장 인기가 좋은 것 같아요. 어쨌든 이 노이즈캔슬링의 원리는 생각보다 간단한데, 외부 소음과 반대되는 파형을 만들어서 더해버림으로써, 귀가 느끼는 소리가 0이 되도록 상쇄를 시켜주는 거라고 합니다.갑자기 노캔 얘기가 왜 나왔냐 하면, 이 번에 읽은 최신 논문 DIFF트랜스포머가 이 노이즈캔슬링 원리에서 모티브를 가져왔기 때문이에요. 기존의 어탠션 맵이 1개였다면, Diff-트랜스포머는 말 그대로 어탠션 맵을 2개 만들어서 그 차이 - Difference를 계산합니다. 잘못 계산되는 Attention을 상쇄시켜줄 수 있는 역할을 한다고요.https://arxiv.org/pdf/241.. 2024. 12. 4.
초등교사 의원면직 05 | AI 엔지니어가 되다 https://brunch.co.kr/@suriring/47/write 브런치스토리작품이 되는 이야기brunch.co.kr  이 글은 본인의 브런치스토리에서 가져왔습니다.   오랜만에 글을 작성합니다. 마지막으로 글을 썼던 게 3월인데, 정신없이 공부하다 보니 벌써 2024년의 절반이 훌쩍 지나고도 넘었네요. 그간 글을 꾸준하게 쓰지 못해 브런치 구독자 수가 많이 늘지는 않았지만, 그래도 유입 로그 등을 간간이 확인해 보면 의원면직을 고민하는 많은 교사, 공직자 분들께서 제 글을 읽고 가시는 듯했습니다.  올해 3월 4일 개학날 아침, 창밖의 짹짹거리는 새소리와 아이들 소리를 들으면서 눈을 떴어요. 이 중요한 날에 나는 출근하지 않아도 되니 기분이 참 묘하더군요. 저녁이 되니 속속 업데이트되는 동기들과 .. 2024. 11. 29.
ASAC 빅데이터 & AI 5기 | 마지막 회고 안녕하세요, 사이언티스트 수리링입니다. 그간 블로그에 아삭 5기 회고를 꾸준히 올려왔고, 관심 있으신 많은 분들이 글을 보고 다녀가셨는데요. 바쁜 일정을 핑계삼아 마무리 업데이트를 하지 못하고 있었습니다. 오늘은 지난 포스팅 이후 ASAC 과정과 소식에 대해 간략한 follow-up을 하면서 아삭 회고를 최종 마무리 짓고자 합니다.2024년 3월 20일자로 첫 수업을 시작했던 아삭 5기는 9월 6일을 마지막으로 종료가 되었습니다. 저는 아삭과정의 꽃인 기업연계 final 프로젝트를 시작한 7월부터 매우 적극적으로 구직활동을 펼쳤는데요. 덕분에 final 프로젝트를 마무리하고 있던 8월 초에는 4곳의 스타트업으로부터 최종 입사 오퍼를 받게 되었습니다. 구직난이 심한 요즘 빠르게 기회를 얻을 수 있었던 것을.. 2024. 11. 19.
파이썬 객체와 메모리 | 참조복사, 얕은복사, 깊은복사 (copy 라이브러리) Python에서는 변수와 객체가 메모리에 어떻게 저장되는지에 대해 처음부터 깊이 배우는 경우가 많지 않다. 나도 예전에 풀스택 쪽을 잠깐 본 적이 있었는데, 그 때 JavaScript(자바스크립트)를 배우면서 메모리 할당과 데이터 저장 방식에 대해 배우게 되었다. JavaScript는 원시 데이터 타입과 참조 타입을 구분하고, 얕은 복사와 깊은 복사의 차이도 눈에 띄게 다르게 작용하기 때문에 메모리 참조에 대해 더 많은 주의가 필요하다.그러나 Python은 메모리 관리를 자동으로 처리해 주고, 변수와 객체는 직관적으로 사용할 수 있도록 설계되었기 때문에, 복잡한 메모리 관리를 사용자가 직접 다룰 일이 거의 없고, 따라서 초보자가 쉽게 접근할 수 있는 편이다.이러한 차이는 언어의 철학과 설계 방식에서도 기.. 2024. 11. 6.
논문 리뷰 | Retrieval Augmented Generation or Long-Context LLMs? - A Comprehensive Study and Hybrid Approach(2024) - 구글 딥마인드 RAG와 LC를 사용한 LLM의 긴 문맥 응용에 대한 가이드라인을 제공하겠다는 2024 최신 연구 논문.최신 LLM의 max-token이 기하급수적으로 늘어나면서 Long-Context를 점점 더 잘 처리하고 있습니다. 예를 들어서 구글 Gemini 1.5의 경우 1백만 토큰까지 입력받을 수가 있고, LLama3.2 경량 모델의 경우 128K(12만8천) 토큰 입력이 가능합니다. 그래서 "RAG를 굳이 써야 될까?"라는 의문을 가진 사람도 있어요. RAG의 문제점이 많은데, 그냥 최신 LLM한테 문서를 통째로 주면 훨씬 더 일처리를 잘하니까 그렇죠. 그럼 RAG는 이제 쓸모가 없어질까?하는 의문도 들기 시작하고요.하지만 입출력 token의 갯수에 비용이 비례하는 현재 상황에서 여전히 RAG는 cost e.. 2024. 10. 31.
논문 리뷰 | Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG(2024) - 구글 클라우드 https://arxiv.org/pdf/2410.05983RAG의 성능을 어떻게 높일 수 있을까?전통적인 RAG 시스템은 정보 검색기(retriever)와 생성기(generator)로 구성되며, 정보 검색기가 적절한 정보를 찾으면 생성기가 답변을 구성하는 구조로 활용되었습니다. 그래서 대부분의 이전 연구들이 보통 검색기나 생성기의 성능 향상에 각각 초점을 맞추는 경향이 있어 왔는데요.해당 포스팅에서 리뷰할 논문은 구글 클라우드에서 발표한 2024년도 최신 연구로, LLM 기반의 RAG 시스템의 안정성을 높이기 위한 방법을 제안합니다. 기존의 기조와 다르게 리트리버나 LLM의 성능보다는, 전체 RAG 시스템을 포괄적으로 분석하면서 긴 문맥을 처리하는 LLM을 생성기로 사용하는 데서 발생하는 과제와 기회를 .. 2024. 10. 30.
논문 리뷰 | Improving Retrieval Augmented Language Model with Self-Reasoning(2024) https://arxiv.org/pdf/2407.19813Self-Reasoning이라는 프레임워크를 통해 RAG의 성능을 높이고자 연구한 논문. 2,000개의 작은 데이터셋으로 LLM 튜닝했을 때 원하는 성과가 나왔다고 한다.핵심 포인트만 짚어서 가볍게 논문 리뷰를 해보도록 하겠다.논문 리뷰에 앞서 내가 직접 이해하고 요약한 Self-Reasoning의 흐름은 아래와 같다.RAG의 고질병은 무관한 문서를 검색할 경우 모델 성능이 저하될 수 있으며, 인용이 명확하지 않으면 생성된 출력의 신뢰성을 검증하기 어렵다는 데에 있다.그래서 본 연구는 이를 해결하기 위한 Self-Reasoning이라는 새로운 프레임워크를 제안한다. 이를 통해 관련성 높은 문서를 검색하고, 문서로부터 출처를 명확하게 인용하도록 할 .. 2024. 10. 29.

티스토리툴바