ChatGPT를 더 원하는 대로 쓰는법(Top-p 파라미터)

이 챗봇의 안에는 '하이퍼파라미터'라는 다양한 수치가 존재함

 

 

 

예를 들어 Top-p 파라미터만 건들면

 

Top-p 파라미터 값이 낮을수록 모델이 생성하는 문장은 일관성이 높아지지만, 다양성이 낮아짐.

반대로 Top-p 파라미터 값이 높을수록 모델이 생성하는 문장은 다양성이 높아지지만, 일관성이 낮아짐.

 

 

파라미터를 극단적으로 낮게 설정했더니, 참신함은 떨어지지만 아주 일관성 있는 말 되는 이야기

파라미터를 극단적으로 높게 설정했더니 총알이 도탄되는데 아이들이 그걸 피해 턴 하는 참신하지만 말 안 되는 이야기

---

GPT3 사용 예시

https://beta.openai.com/playground

OpenAI API

 

OpenAI의 GPT3를 사용하기 위해선  아래 사이트인 playground에서 손쉽게 사용이 가능하다.

 

1) 텍스트  입력

- 가운데 텍스트 입력창에 텍스트를 입력한다. 예시는 요약 예시이므로 긴 원문을 입력하였다.

 

2) 파라미터 설정

- 오른쪽 파라미터 설정 란에서 temperature, maximum length, TopP, Penalty 등의 파라미터를 입력한다. Maximum length는 최대 생성 길이로, GPT3는 2048 subword token만큼의 출력을 생성할 수 있다. Temperature와 TopP는 글 생성 시 샘플링 방법이다. 이 방식에 따라 출력이 달라진다.

 

3) 제출

- 1)에서 입력한 텍스트와, 2)에서 설정한 파라미터를 prompt로 만든 후 GPT3 모델에 입력으로 준다. 이를 통해 출력을 얻을 수 있다.

 

4) 결과 출력

- 3)에서 prompt를 제출하면, 응답으로 answer가 생성되어 출력된다.