AI

GPT API 효율적으로 사용하기 (2) - 비용 최적화

이전 포스팅에서는 GPT API에서 파라미터 설정을 효율적으로 하는 법에 대해 작성했었다.이번에는 좀 더 사람들이 관심있어할만한 비용 최적화하는 방법에 대해 공유해보려고 한다.비용 최적화에 대해 찾아보니, 생각보다 거창한 방법은 없었고 대부분 사소한 디테일들이다. 하지만 이런 디테일도 API 사용량이 많은 경우 유의미한 결과를 낼 수 있으니 적용해보는 것을 추천한다!   GPT API 비용Pricing 페이지에서 API 비용 확인이 가능하다. 1M 토큰당 비용으로 작성되어있다.여기서 토큰은 생성형 AI가 텍스트를 처리하는 기본 단위를 의미한다   입, 출력 토큰 계산비용 최적화 이전에 비용 계산을 미리 해보려면 입, 출력 토큰을 계산할 수 있어야한다이전 포스팅에서 이야기한대로 Tokenizer를 사용하면..

GPT API 효율적으로 사용하기 (1) - 파라미터 설정

벌써 GPT API를 처음 사용해본 이후로 1년반이 지났다. 처음엔 GPT 3.5를 사용했었는데, GPT 4, 4o, 4.5까지 꾸준히 모델이 업데이트 되고 발전되고 있다. 이번 포스팅에서는 GPT API 더 효율적으로 사용하는 방법에 대해서 정리해볼 것이다!이번 내용은 우아콘 2024 - Fine-Tuning 없이, 프롬프트 엔지니어링으로 메뉴 이미지 검수하기에서 들은 발표 내용을 바탕으로 정리해보았다.다 아는 내용일 수도 있지만..! 모르는 사람도 있을거라 생각하고.. 정리해보겠다~(기본 사용법도 소개하려고 했으나 이미 자료가 많고 대부분은 써봤을거라 생각하기 때문에 생략!) 1. System 부분 활용하기role에는 assistant, user, system을 설정할 수 있다system: 모델의 성..