
핫한 Llama, 알아보자! (2) Llama2 논문 리뷰 ( Llama2 open foundation and fine-tuned chat models)
AI 인공지능/LLM
2024. 6. 3. 09:53
안녕하세요, AI 개발자 새내기 에하유 입니다.LLaMA3 출시 기념으로 LLaMA1, 2 부터 다시 복습하고 기초부터 다지는 시간을 갖고자 합니다. 제가 공부하고 이해한 내용을 정리하는 목적으로, 글을 작성해 다소 부족 할 수 있습니다.피드백은 언제나 환영입니다❤️ 오늘은 LLaMA2 논문과 추가적으로 Llama1과 아키텍쳐 비교를 간단하게 리뷰하고자 합니다. 목차0️⃣ LLaMA 1 VS LLaMA 2 아키텍쳐차이1️⃣ [논문] LLaMA2 Overall Pipeline2️⃣ [논문] SFT DATASET 상세 구축 과정 0️⃣ LLaMA 1 VS LLaMA 2 아키텍쳐 LLaMA 1 LLaMA 2 Context Length2,04840,96 AttentionMulti Query Attentio..