[gpt] gpt가 창의적인가? temperature 과 top_k , top_p
gpt 파라미터 중 temperature , top_p, top_k를 조절하는 것이 어떻게 작동하는 것인지 찾아보며, 이해가 잘 되었던 블로그, 웹 문서를 정리해보았다. Temperature 값이 높을 때와 낮을때?temperature값을 1보다 낮추어 (예 0.2), 가장 확률이 높은 토큰이 선택될 확률이 더 높아져서 (일관된, 이미 응답했던, 보다 자연스럽고 정확하다고 느낄) 응답이 출력된다. temperature값이 1을 넘어서면, 가장 나올 확률이 높았던 1등 토큰이든, 2등 토큰이든 둘의 확률 차이가 점점 줄어든다. 즉, 응답한 적이 없는, 일관되지 않은, 정확하다고 느끼지 않을 토큰이 출력되게 된다.공식문서에서 언급한 temperature값과 참고 이해 자료 0~2 사이에..
2024. 4. 28.
[책] PIG05049 : 3년 간의 추적 , 물건낯설게 보기
다음의 공통점은 무엇일까? 사포, 담배, 도자기, 와인, 치즈케이크, 개껌 힌트를 더하자면 종이, 기차 브레이크, 성냥, 엑스레이필름, 맥주도 있다. 위에서 말한 모든 것들에는 돼지로부터 얻은 원료가 들어간다. 우연히 집어든 책인데 참 재미있었다.이책을 집은 까닭은 책 제목이 있어야할 곳에 노란 플라스틱이 눈을 끌었기 때문이다. '이런 디자인은 제작도 어렵고 유통도 어려울텐데 신기하네' 하면서 책을 집었다.자세히 보니 노란 것은 돼지의 귀에 다는 인식표였다. 이 책에서 일생을 따라간 돼지의 이름표다. 저자(Christien Meindertsma)는 농장에서 '05049'라는 이름..을 가진 돼지가 도축된 이후 어디로 가서 어떻게 쓰이는 지 3년간 추적했으며, 그결과 185가지의 다양한 제품에 이 돼지가 ..
2024. 4. 2.
