「文章で使用されている文字をユニーク抽出」の版間の差分

MSY-07 (トーク | 投稿記録)
省略された波括弧の追加
タグ: 手動差し戻し
 
(2人の利用者による、間の5版が非表示)
3行目: 3行目:
Mery で開いているテキストの中から使用されている文字を抽出してソートして重複を取り除きます。データベースからブログ記事をすべて出力したものにこのマクロをかければ、サブセット化で使えるユニークな文字に変換できます。
Mery で開いているテキストの中から使用されている文字を抽出してソートして重複を取り除きます。データベースからブログ記事をすべて出力したものにこのマクロをかければ、サブセット化で使えるユニークな文字に変換できます。


<syntaxhighlight lang="javascript">
<syntaxhighlight lang="javascript" copy>
if (document.selection.Text == "") {
var sel = document.selection;
document.selection.SelectAll();
if (sel.Text == "") {
sel.SelectAll();
}
}
var s1 = document.selection.Text.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]|[\s\S]|^$/g).filter(Boolean).sort();
var s1 = sel.Text.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]|[\s\S]|^$/g).filter(Boolean).sort();
var s2 = new Array();
var s2 = [];
for (var i = 0; i < s1.length; i++) {
for (var i = 0; i < s1.length; i++) {
if (i == 0 || s1[i-1] != s1[i]) {
if (i == 0 || s1[i-1] != s1[i]) {
14行目: 15行目:
}
}
}
}
document.selection.Text = s2.join("");
sel.Text = s2.join("");
</syntaxhighlight>
</syntaxhighlight>


データが大きければそれなりに時間がかかりますが、25MB のテキストファイルで 2 分ぐらいでした。サロゲートペアに対応していますが、IVS には対応していません。(サブセット化するのに IVS いりませんよね…)
データが大きければそれなりに時間がかかりますが、25MB のテキストファイルで 2 分ぐらいでした。サロゲートペアに対応していますが、IVS には対応していません(サブセット化するのに IVS いりませんよね…)。


== 第一水準漢字、記号、ローマ字、カタカナ、ひらがな ==
== 第一水準漢字、記号、ローマ字、カタカナ、ひらがな ==
スポンサーリンク