[OpenAI API-2] Play ground 파라미터 설명

에하유 2023. 3. 28. 09:44

파이썬으로 도메인 특화 챗봇 모델 만들기 - 2

Play ground에서 설정할 수 있는 파라미터들이 다양하다 각각의 사용법을 안내해놓은 게시글이 많이 없어서 정리해본다. 이 파라미터들은 playgroud 뿐 아니라 파이썬 등에서 api사용할때도 동일하게 사용된다!

1) Playground 설명

2) Playground 파라미터 설명

API 또는 파인튜닝시킨 모델을 사용/체험 볼 수 있는 화면이다.
https://platform.openai.com/playground

설정해 줄 수 있는게 다양하다. 이 설정값에 따라서, 내 질문에대한 모델의 대답이 확연하게 달라진다.

Model : 사용할 모델을 선택 할 수 있다. 보통 davinci를 많이 쓴다. 그런데 다른 모델에 비해 파인튜닝 비용이 비싸기 때문에 유의해야한다.

Temperature : 창의력 또는 무작위성 결정요소. MIN=0, MAX=1
값이 0에 가까울수록 동일하고 일관성 있는 대답을 한다. 값이 1에 가까울수록 창의력 및 자유도가 높아진다. 즉, 같은 질문에 다양한 대답을 한다. (의료적인 대답은 일관성있게 해야하니, 0에 가깝게 놓는게 좋음) 대답이 확연하게 다른걸 볼 수 있다.

Temperature 0 일때 대답

Temperature 1 일때 대답

Maximum length : 답변 길이 token, MIN=0,MAX=4000 (한글은 2배 이상의 토큰을 잡아먹음)
토큰 계산해볼 수 있는 사이트 : https://platform.openai.com/tokenizer

안녕하세요 5글자가 14토큰으로 계산되는걸 확인할 수 있다.
비용계산에 유의해야한다.

Top P 허용 확률 값 : MIN=0, MAX=1 이건 예시로 설명하는게 쉬울듯
예를 들어 "내가 좋아하는 동물은?"의 질문에 대한 답으로 생성할 수 있는 단어들을 확률로 나타내었을때,
아래와 같이 가정해보자
강아지 0.4
고양이 0.3
코끼리 0.25
아이폰 0.05
이때. Top P값을 0.7로 설정하면 강아지, 고양이 값에서 랜덤하게 나올수 있다. 1로 설정해놓으면, 강아지 고양이 코끼리 아이폰의 모든 값에서 랜덤하게 나올수 있게 되어 엉뚱한 아이폰 이란 답까지 나오게 되는거다. 따라서 Temperature 와 함께 창의력을 결정짓는 요소가된다.

Frequency penalty : 기존 빈도 기준으로 새로운 토큰에 패널티를 부여하여 똑같은 말을 반복할 가능성을 줄임 MIN=0, MAX=2
Presence penalty : 위랑 비슷함.새로운 토큰이 나타나지 않으면 패널티를 부여하여 새로운 주제가 나올 확률을 높임. MIN=0, MAX=2
Inject start text & Inject restart text : 생성 문장의 시작에 삽입할 문자와 생성문자가 끝난 후 다시 시작할 문장에 삽입할 텍스트