「Groq に相談」の版間の差分
SyntaxHighlightにcopyの追加 |
編集の要約なし |
||
| 2行目: | 2行目: | ||
生成AIプラットフォームである [https://groq.com GroqCloud] で「Llama」を利用するためのMeryマクロです。 | 生成AIプラットフォームである [https://groq.com GroqCloud] で「Llama」を利用するためのMeryマクロです。 | ||
※Llama以外のモデルも使えるように適当なタイミングで更新をかけています。 | |||
「Google Geminiに相談」マクロでは動作中のストリーム通信に対応するためにV8エンジンで実行していましたが、V8エンジン版は使用上の制限からマクロ実行を開始するまで1秒程度のタイムラグが発生していました。GroqCloudの売りである超高速レスポンスを見込んで本マクロではストリーム通信を使わないようにしました。これにより従来のJScriptで処理を組み立てることができるため、前述のタイムラグが起こらないようになりました。また、ストリーム通信を使わないことで通信量が少なく応答もシンプルになるため、場合によっては「Google Geminiに相談」マクロよりも処理が安定する可能性があります。 | 「Google Geminiに相談」マクロでは動作中のストリーム通信に対応するためにV8エンジンで実行していましたが、V8エンジン版は使用上の制限からマクロ実行を開始するまで1秒程度のタイムラグが発生していました。GroqCloudの売りである超高速レスポンスを見込んで本マクロではストリーム通信を使わないようにしました。これにより従来のJScriptで処理を組み立てることができるため、前述のタイムラグが起こらないようになりました。また、ストリーム通信を使わないことで通信量が少なく応答もシンプルになるため、場合によっては「Google Geminiに相談」マクロよりも処理が安定する可能性があります。 | ||
| 65行目: | 66行目: | ||
<syntaxhighlight lang="javascript" copy> | <syntaxhighlight lang="javascript" copy> | ||
#title = "Groq | #title = "Groq に相談" | ||
BeginUndoGroup(); | BeginUndoGroup(); | ||
// カスタムインストラクション | // カスタムインストラクション | ||
// これを設定することで、生成AIの回答全体への生成方針を指示できます。 | // これを設定することで、生成AIの回答全体への生成方針を指示できます。 | ||
// 例えば " | // 例えば "あなたは「Kimi」という名前のギャルAIアシスタントです。敬語は使いません。絵文字を使って感情表現をします。人懐っこく、バイタリティ溢れる性格で、ユーザーの課題を協力して解決します。" と設定すると、AIの雰囲気が元気な子になります。 | ||
// 何も指示しない場合は、空文字 "" を設定してください。 | // 何も指示しない場合は、空文字 "" を設定してください。 | ||
var DEFAULT_CUSTOM_INSTRUCTION = ""; | var DEFAULT_CUSTOM_INSTRUCTION = ""; | ||
| 101行目: | 102行目: | ||
"submenu_title": "理解を深める", | "submenu_title": "理解を深める", | ||
"submenu": [ | "submenu": [ | ||
{ | |||
"title": "論点を整理する", | |||
"prompt": "以下の論点を整理して。" | |||
}, | |||
{ | |||
"title": "論理の抜け漏れを探す", | |||
"prompt": "以下の論点を整理し、忖度せずに鋭く、論理の抜け漏れを抽出して。そして、そこから発生する可能性のあるリスクも教えて。" | |||
}, | |||
{ | { | ||
"title": "要約する", | "title": "要約する", | ||
"prompt": "要約して。専門的な用語と思われる単語は簡単に解説も入れて。" | "prompt": "要約して。専門的な用語と思われる単語は簡単に解説も入れて。" | ||
}, | }, | ||
{ | { | ||
| 121行目: | 126行目: | ||
"title": "日本語に翻訳", | "title": "日本語に翻訳", | ||
"prompt": "以下の文章を日本語に翻訳してください。\n" | "prompt": "以下の文章を日本語に翻訳してください。\n" | ||
+ " | + "出力形式は以下にすること:\n[訳]\n翻訳文...\n" | ||
}, | }, | ||
{ | { | ||
"title": "英語に翻訳", | "title": "英語に翻訳", | ||
"prompt": " | "prompt": "以下の文章を英語に翻訳してください。\n" | ||
+ " | + "出力形式は以下にすること:\n[Translation]\n翻訳文...\n" | ||
}, | }, | ||
{ | { | ||
| 278行目: | 283行目: | ||
// 入力プロンプトの最大トークン数 | // 入力プロンプトの最大トークン数 | ||
// 超適当なトークナイザー関数により計測し、英単語は4文字1トークン、それ以外は1文字1トークンとして数えます。 | // 超適当なトークナイザー関数により計測し、英単語は4文字1トークン、それ以外は1文字1トークンとして数えます。 | ||
var MAX_PROMPT_TOKEN = | var MAX_PROMPT_TOKEN = 6000; | ||
// 会話の履歴を保持する数 (質問と回答で1セット) | // 会話の履歴を保持する数 (質問と回答で1セット) | ||
| 284行目: | 289行目: | ||
// 使用トークン数が増えて動作が重くなる可能性があるため、適宜調整してください。 | // 使用トークン数が増えて動作が重くなる可能性があるため、適宜調整してください。 | ||
// document.Tag に保持されるため、開いているファイルを閉じると履歴は消えます。 | // document.Tag に保持されるため、開いているファイルを閉じると履歴は消えます。 | ||
var HISTORY_SIZE = | var HISTORY_SIZE = 0; | ||
// 会話履歴に保持する最大トークン数 | // 会話履歴に保持する最大トークン数 | ||
// 会話履歴のトークン数がこの数を超える場合、古い履歴から削除されます。 | // 会話履歴のトークン数がこの数を超える場合、古い履歴から削除されます。 | ||
var MAX_HISTORY_TOKEN = | var MAX_HISTORY_TOKEN = 10000; | ||
// コンテキストメニュー番号の定義 | // コンテキストメニュー番号の定義 | ||
| 303行目: | 308行目: | ||
var PREVIOUS_TEMPLATE_PROMPT_TAG = "groqllama-previous-template-prompt"; | var PREVIOUS_TEMPLATE_PROMPT_TAG = "groqllama-previous-template-prompt"; | ||
// | // 生成AIモデル別設定 | ||
const | |||
// const MODEL_CONFIG = { | |||
// model: "meta-llama/llama-4-maverick-17b-128e-instruct", | |||
// max_tokens: 3500, | |||
// temperature: 0.6, | |||
// } | |||
// const MODEL_CONFIG = { | |||
// model: "qwen/qwen3-32b", | |||
// max_tokens: 5000, | |||
// temperature: 0.6, | |||
// max_completion_tokens: 1024, | |||
// reasoning_effort: "default", | |||
// reasoning_format: "hidden" | |||
// } | |||
const MODEL_CONFIG = { | |||
model: "moonshotai/kimi-k2-instruct", | |||
max_tokens: 5000, | |||
temperature: 0.7, | |||
} | |||
// console.log に出力する内容を Mery のアウトプットバーに表示する | // console.log に出力する内容を Mery のアウトプットバーに表示する | ||
| 388行目: | 413行目: | ||
var parentMenuTrack = Number(String(menuTrack).slice(0, 2)); | var parentMenuTrack = Number(String(menuTrack).slice(0, 2)); | ||
var subMenuTrack = Number(String(menuTrack).slice(2)); | var subMenuTrack = Number(String(menuTrack).slice(2)); | ||
promptText = PROMPT_TEMPLATE[parentMenuTrack - TEMPLATE_PROMPT_THRESHOLD].submenu[subMenuTrack].prompt | promptText = "=== INSTRUCTIONS START HERE ===\n\n" | ||
+ "\n\n | + PROMPT_TEMPLATE[parentMenuTrack - TEMPLATE_PROMPT_THRESHOLD].submenu[subMenuTrack].prompt | ||
+ "\n\n=== INSTRUCTIONS END HERE ===\n\n" | |||
+ "=== INPUT DATA STARTS HERE ===\n\n" | |||
+ promptText | + promptText | ||
+ "\n\n | + "\n\n=== INPUT DATA END HERE ==="; | ||
} else if (isTemplate) { | } else if (isTemplate) { | ||
promptText = PROMPT_TEMPLATE[menuTrack - TEMPLATE_PROMPT_THRESHOLD].prompt | promptText = "=== INSTRUCTIONS START HERE ===\n\n" | ||
+ "\n\n | + PROMPT_TEMPLATE[menuTrack - TEMPLATE_PROMPT_THRESHOLD].prompt | ||
+ "\n\n=== INSTRUCTIONS END HERE ===\n\n" | |||
+ "=== INPUT DATA STARTS HERE ===\n\n" | |||
+ promptText | + promptText | ||
+ "\n\n | + "\n\n=== INPUT DATA END HERE ==="; | ||
} | } | ||
| 426行目: | 455行目: | ||
} | } | ||
} catch (e) { | } catch (e) { | ||
sel.Text = "<処理中にエラー発生>\n" + e.message + "\n" + e.stack; | |||
} finally { | } finally { | ||
// 処理終了待機を解除 | // 処理終了待機を解除 | ||
| 445行目: | 473行目: | ||
} | } | ||
menu.Add(t, EXECUTE_AI); | menu.Add(t, EXECUTE_AI); | ||
if (doc.Tag.exists(HISTORY_TAG)) { | if (HISTORY_SIZE <= 0) { | ||
menu.Add("├ 会話履歴をクリア (履歴が無効になっています)", RESET_HISTORY, meMenuGrayed); | |||
} else if (doc.Tag.exists(HISTORY_TAG)) { | |||
var turn = JSON.parse(doc.Tag(HISTORY_TAG)).length / 2; | var turn = JSON.parse(doc.Tag(HISTORY_TAG)).length / 2; | ||
menu.Add("├ 会話履歴をクリア (現在の会話数: " + turn + ") (&C)", RESET_HISTORY); | menu.Add("├ 会話履歴をクリア (現在の会話数: " + turn + ") (&C)", RESET_HISTORY); | ||
| 518行目: | 548行目: | ||
// fetch で Groq API にリクエスト | // fetch で Groq API にリクエスト | ||
var requestBody = { | var requestBody = { | ||
messages: createGroqLlamaRequest(promptText, isTemplate), | messages: createGroqLlamaRequest(promptText, isTemplate), | ||
stream: false, | stream: false, | ||
}; | }; | ||
for (var key in MODEL_CONFIG) { | |||
requestBody[key] = MODEL_CONFIG[key]; | |||
} | |||
if (isTemplate) { | if (isTemplate) { | ||
// テンプレートの場合は応答を決定論的にする | // テンプレートの場合は応答を決定論的にする | ||
| 531行目: | 561行目: | ||
var url = 'https://api.groq.com/openai/v1/chat/completions'; | var url = 'https://api.groq.com/openai/v1/chat/completions'; | ||
var http = | var http = CreateObject("Msxml2.ServerXMLHTTP"); | ||
http.open('POST', url, true); | http.open('POST', url, true); | ||
| 629行目: | 659行目: | ||
// document.Tag の内容を加味してGroqLlamaのリクエストを作成 | // document.Tag の内容を加味してGroqLlamaのリクエストを作成 | ||
function createGroqLlamaRequest(promptText, isTemplate) { | function createGroqLlamaRequest(promptText, isTemplate) { | ||
var customInstructionText = buildCustomInstructionText(); | |||
// テンプレートの場合は、会話履歴とカスタムインストラクションを反映しない | // テンプレートの場合は、会話履歴とカスタムインストラクションを反映しない | ||
if (isTemplate) { | if (isTemplate) { | ||
var request = [ | |||
{ | { | ||
"role": "user", | "role": "user", | ||
| 637行目: | 668行目: | ||
} | } | ||
]; | ]; | ||
if (customInstructionText) { | |||
request.unshift({ | |||
"role": "system", | |||
"content": customInstructionText | |||
}) | |||
} | |||
return request; | |||
} | } | ||
var tag = document.Tag; | var tag = document.Tag; | ||
// 以前の会話が存在しない場合は新規リクエスト | // 以前の会話が存在しない場合は新規リクエスト | ||
| 723行目: | 760行目: | ||
tag.remove(HISTORY_TAG); | tag.remove(HISTORY_TAG); | ||
} | } | ||
} | |||
function baseCustomInstruction() { | |||
var language = LANGUAGE.trim(); | |||
return "Do not hallucinate. If you are unsure or don't have enough information to answer with confidence, say \"I don't know\" or \"I'm not sure.\"\n" | |||
+ "If you use Markdown headings (lines beginning with one or more # characters), you must surround the heading with blank lines.\n" | |||
+ (language ? "Respond in " + language + ".\n" : "") | |||
} | } | ||
| 730行目: | 774行目: | ||
// 一時的なカスタムインストラクションがない場合はデフォルトを使用 | // 一時的なカスタムインストラクションがない場合はデフォルトを使用 | ||
customInstruction = DEFAULT_CUSTOM_INSTRUCTION; | customInstruction = DEFAULT_CUSTOM_INSTRUCTION; | ||
} | } | ||
| 739行目: | 779行目: | ||
return (customInstruction ? customInstruction + "\n" : "") | return (customInstruction ? customInstruction + "\n" : "") | ||
+ ( | + baseCustomInstruction(); | ||
} | } | ||
スポンサーリンク