가지치기1 논문 리뷰 | LLM Pruning and Distillation in Practice: The Minitron Approach(2024) - 엔비디아 https://arxiv.org/pdf/2408.11796논문 요약 : 1. 원본 LLM을 Teacher Correction을 통해 파인튜닝하여 교사 모델로 사용하고2. 또 같은 원본 LLM을 Width Pruning을 통해 경량화된 학생 모델로 사용하여3. 두 모델의 Knowledge Distillation을 통해 학생 모델을 Retrain함으로써큰 LLM을 가장 효과적으로 경량화할 수 있는 방법론 연구 (The Minitron Approach)Abstract, Introduction논문 초록과 서론의 핵심 문장은 아래와 같다.AbstractStructured pruning with knowledge distillation is a potent combination for obtaining small .. 2024. 12. 30. 이전 1 다음
