「文章で使用されている文字をユニーク抽出」の版間の差分
編集の要約なし |
Haijinboys (トーク | 投稿記録) タグ: 手動差し戻し |
||
| (3人の利用者による、間の7版が非表示) | |||
| 3行目: | 3行目: | ||
Mery で開いているテキストの中から使用されている文字を抽出してソートして重複を取り除きます。データベースからブログ記事をすべて出力したものにこのマクロをかければ、サブセット化で使えるユニークな文字に変換できます。 | Mery で開いているテキストの中から使用されている文字を抽出してソートして重複を取り除きます。データベースからブログ記事をすべて出力したものにこのマクロをかければ、サブセット化で使えるユニークな文字に変換できます。 | ||
< | <syntaxhighlight lang="javascript" copy> | ||
var sel = document.selection; | |||
if (sel.Text == "") { | |||
var s1 = | sel.SelectAll(); | ||
var s2 = | } | ||
var s1 = sel.Text.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]|[\s\S]|^$/g).filter(Boolean).sort(); | |||
var s2 = []; | |||
for (var i = 0; i < s1.length; i++) { | for (var i = 0; i < s1.length; i++) { | ||
if (i == 0 || s1[i-1] != s1[i]) | if (i == 0 || s1[i-1] != s1[i]) { | ||
s2.push(s1[i].trim()); | s2.push(s1[i].trim()); | ||
} | |||
} | } | ||
sel.Text = s2.join(""); | |||
</ | </syntaxhighlight> | ||
データが大きければそれなりに時間がかかりますが、25MB のテキストファイルで 2 分ぐらいでした。サロゲートペアに対応していますが、IVS | データが大きければそれなりに時間がかかりますが、25MB のテキストファイルで 2 分ぐらいでした。サロゲートペアに対応していますが、IVS には対応していません(サブセット化するのに IVS いりませんよね…)。 | ||
== 第一水準漢字、記号、ローマ字、カタカナ、ひらがな == | == 第一水準漢字、記号、ローマ字、カタカナ、ひらがな == | ||
スポンサーリンク