Now Assist のトークンから文字へのマッピングのガイドライン (LLM モデル)Issue <!-- /*NS Branding Styles*/ --> .ns-kb-css-body-editor-container { p { font-size: 12pt; font-family: Lato; color: var(--now-color--text-primary, #000000); } span { font-size: 12pt; font-family: Lato; color: var(--now-color--text-primary, #000000); } h2 { font-size: 24pt; font-family: Lato; color: var(--now-color--text-primary, black); } h3 { font-size: 18pt; font-family: Lato; color: var(--now-color--text-primary, black); } h4 { font-size: 14pt; font-family: Lato; color: var(--now-color--text-primary, black); } a { font-size: 12pt; font-family: Lato; color: var(--now-color--link-primary, #00718F); } a:hover { font-size: 12pt; color: var(--now-color--link-primary, #024F69); } a:target { font-size: 12pt; color: var(--now-color--link-primary, #032D42); } a:visited { font-size: 12pt; color: var(--now-color--link-primary, #00718f); } ul { font-size: 12pt; font-family: Lato; } li { font-size: 12pt; font-family: Lato; } img { display: ; max-width: ; width: ; height: ; } } Now Assist (LLM モデル) に要求を送信するときに、トークンごとにいくつ文字入力できますか? Release<!-- /*NS Branding Styles*/ --> .ns-kb-css-body-editor-container { p { font-size: 12pt; font-family: Lato; color: var(--now-color--text-primary, #000000); } span { font-size: 12pt; font-family: Lato; color: var(--now-color--text-primary, #000000); } h2 { font-size: 24pt; font-family: Lato; color: var(--now-color--text-primary, black); } h3 { font-size: 18pt; font-family: Lato; color: var(--now-color--text-primary, black); } h4 { font-size: 14pt; font-family: Lato; color: var(--now-color--text-primary, black); } a { font-size: 12pt; font-family: Lato; color: var(--now-color--link-primary, #00718F); } a:hover { font-size: 12pt; color: var(--now-color--link-primary, #024F69); } a:target { font-size: 12pt; color: var(--now-color--link-primary, #032D42); } a:visited { font-size: 12pt; color: var(--now-color--link-primary, #00718f); } ul { font-size: 12pt; font-family: Lato; } li { font-size: 12pt; font-family: Lato; } img { display: ; max-width: ; width: ; height: ; } } すべてのリリース Resolution<!-- /*NS Branding Styles*/ --> .ns-kb-css-body-editor-container { p { font-size: 12pt; font-family: Lato; color: var(--now-color--text-primary, #000000); } span { font-size: 12pt; font-family: Lato; color: var(--now-color--text-primary, #000000); } h2 { font-size: 24pt; font-family: Lato; color: var(--now-color--text-primary, black); } h3 { font-size: 18pt; font-family: Lato; color: var(--now-color--text-primary, black); } h4 { font-size: 14pt; font-family: Lato; color: var(--now-color--text-primary, black); } a { font-size: 12pt; font-family: Lato; color: var(--now-color--link-primary, #00718F); } a:hover { font-size: 12pt; color: var(--now-color--link-primary, #024F69); } a:target { font-size: 12pt; color: var(--now-color--link-primary, #032D42); } a:visited { font-size: 12pt; color: var(--now-color--link-primary, #00718f); } ul { font-size: 12pt; font-family: Lato; } li { font-size: 12pt; font-family: Lato; } img { display: ; max-width: ; width: ; height: ; } } トークンは、大規模言語モデル (LLM) の要求と応答の両方の情報量を表す測定単位です。各 LLM には、要求トークン、応答トークン、およびバッファートークンの合計である最大トークン制限があります。この制限はモデルプロバイダーによって設定されます。LLM に要求を行うと、プロンプトとコンテキストがトークン化され、消費される要求トークンの数が決定されます。要求がシステムの制限を超えると、一部の情報が切り捨てられることがあります。 Now Assist LLM では、サブワードトークン化 (1 文字をトークンにすることも、より大きなトークンの一部にすることもできます) を使用するため、文字あたりのトークン比率は固定されていません。たとえば、「トークン」のような一般的な単語は単一のトークンで表され、「要約」は複数のトークンに分割できます。プロンプトは、文字からトークンへの直接変換ではなく、単語、サブワード、句読点を表す一連のトークンにトークン化されます。次に、LLM はこれらのトークンを処理して、同じく新しいトークンのセットで構成される応答を生成します。 プラットフォームは、「TokenCalculator」という名前のスクリプトインクルードを使用してトークン数を計算します。 <instance>/nav_to.do?uri=sys_script_include.do?sys_id=434703e2c3632110634cdb450a40dd8c この API は、プラットフォームで使用されるチャンク/切り捨て戦略のガイドラインとして使用できます。 プロバイダーが NOW LLM モデルとして指定されている場合に関数 _calculateTokenNowLLM を呼び出す関数 getTokenCount を参照してください。 これは、NOWLLM モデルの計算の執筆時点で、トークンあたり 0.8 ワードを使用しています。 テストスクリプトの例を見つけてください。 var msg = 'This is my message to see token breakdown';var tknCalc = new sn_generative_ai.TokenCalculator();var tokenBreakdown = tknCalc.getTokenCount(msg, 'Now LLM', 0); gs.print(tokenBreakdown); *** Script: 10 「Apriel モデル」を使用して内部で分析を実行し、単語とトークン数の比率および文字とトークン数の比率を評価し、ガイドラインを提供しました。 分析の結果、エージェントアシストユースケース (ケースの要約、チャットの要約)、エージェント型ワークフローデータセット、Text2Code データセット、要求者アシストデータセット (会話型カタログ) の内部データセットで、文字とトークン数の比率が 3.5 から 4 の範囲であることがわかりました。単語とトークン数の比率は約 0.5 です。 注:この分析はあくまでもガイドラインであり、絶対的なものと見なすべきではありません。 Related Links<!-- /*NS Branding Styles*/ --> .ns-kb-css-body-editor-container { p { font-size: 12pt; font-family: Lato; color: var(--now-color--text-primary, #000000); } span { font-size: 12pt; font-family: Lato; color: var(--now-color--text-primary, #000000); } h2 { font-size: 24pt; font-family: Lato; color: var(--now-color--text-primary, black); } h3 { font-size: 18pt; font-family: Lato; color: var(--now-color--text-primary, black); } h4 { font-size: 14pt; font-family: Lato; color: var(--now-color--text-primary, black); } a { font-size: 12pt; font-family: Lato; color: var(--now-color--link-primary, #00718F); } a:hover { font-size: 12pt; color: var(--now-color--link-primary, #024F69); } a:target { font-size: 12pt; color: var(--now-color--link-primary, #032D42); } a:visited { font-size: 12pt; color: var(--now-color--link-primary, #00718f); } ul { font-size: 12pt; font-family: Lato; } li { font-size: 12pt; font-family: Lato; } img { display: ; max-width: ; width: ; height: ; } } 役に立つ記事:KB2038552:Now Assist/生成 AI 製品のトークン制限https://support.servicenow.com/kb?id=kb_article_view&sysparm_article=KB2038552