이 도구가 하는 일

토큰 카운터는 OpenAI 모델이 사용하는 것과 동일한 BPE 인코딩으로 텍스트를 나누고 그 결과를 계산합니다. 토큰은 LLM 세계의 공통 단위입니다. API는 토큰 단위로 요금이 부과되고, 컨텍스트 창은 토큰 수로 제한되며, 모델은 토큰 단위로 텍스트를 읽습니다. 프롬프트 작성, RAG용 텍스트 분할, 비용 추산 등 어떤 작업을 하든 첫 단계는 텍스트에 실제로 얼마나 많은 토큰이 사용되는지 파악하는 것입니다.

사용 방법

1. 01텍스트 붙여넣기프롬프트, 문서 또는 코드 등 텍스트가 길수록 먼저 개수를 세어 보는 것이 좋습니다.
2. 02적절한 인코딩 선택o200k_base for GPT-5/4o/o-series, cl100k_base for GPT-4/3.5.
3. 03개수 확인입력하는 동안 실시간으로 개수를 셉니다. 인코딩 표는 한 번 로드된 후 계속 유지됩니다.
4. 04색상으로 분할 결과 확인인접한 토큰이 번갈아 색상으로 표시되어 어떤 부분이 잘게 나뉘고 어떤 부분이 하나로 유지되는지 한눈에 볼 수 있습니다.
5. 05필요한 경우 토큰 ID 확인ID 보기로 전환하면 모델이 실제로 받는 정수 시퀀스를 확인할 수 있습니다.

사양 및 제한

입력

파일 업로드 없음

인코딩

OpenAI ×2 · Qwen3.5 · GLM-5.2 · Kimi · MiniMax-M3

계산 기준

추정치가 아닌 실제 BPE

분할 보기

처음 1500개 토큰에 색상 표시

개수 제한

없음(전체 텍스트)

오프라인 작동

표가 로드된 후

OpenAI(GPT 제품군)와 Qwen3.5, GLM-5.2, Kimi, MiniMax-M3의 공식 어휘를 기준으로 개수를 정확히 계산합니다. Claude와 Gemini는 토크나이저를 공개하지 않으므로 해당 수치는 대략적인 값으로 보세요. 어휘 파일의 크기는 1~4MB이며, 처음 사용할 때 한 번 다운로드된 후 캐시됩니다.

최상의 결과를 위한 팁

• 중국어는 영어보다 비용이 더 큽니다같은 의미라도 중국어는 영어보다 토큰이 1.5~2배 더 필요한 경우가 많습니다. 다국어 앱에서는 언어별로 예산을 책정하세요.
• 코드는 여러 조각으로 나뉩니다들여쓰기, 기호, camelCase는 모두 토큰을 추가합니다. 큰 파일을 붙여넣기 전에 개수를 세어 보세요.
• 창에 여유 공간 남기기입력과 출력은 컨텍스트 창을 공유합니다. 한도에 도달한 프롬프트에는 답변을 위한 공간이 남지 않습니다.
• 시스템 프롬프트도 비용에 포함됩니다모든 요청마다 다시 전송되므로 긴 시스템 프롬프트는 반복적으로 발생하는 숨은 비용입니다.
• 토큰 단위로 RAG 청크 나누기문자가 아닌 토큰 단위로 청크를 나누면 검색 결과 스니펫의 밀도를 일정하게 유지할 수 있습니다.
• 구조 토큰에 유의하세요채팅 형식에는 몇 개의 구조 토큰이 추가되므로 실제 사용량은 텍스트 개수보다 약간 많습니다.

Tosea.ai를 선택해야 하는 이유

토큰을 예산처럼 관리하면 프롬프트를 더 간결하고 저렴하게 만들 수 있습니다. LLM API 핑거프린트 검사기와 함께 사용해 엔드포인트가 실제인지 확인하거나, AI로 PDF를 프레젠테이션으로 변환해 보세요. AI 워크플로를 한곳에서 만들고 검증할 수 있습니다.