「文章で使用されている文字をユニーク抽出」の版間の差分

編集の要約なし
タグ: 手動差し戻し
 
(3人の利用者による、間の11版が非表示)
1行目: 1行目:
== 概要 ==
日本語 Web フォントをサブセット化するときに[https://opentype.jp/subsetfontmk.htm サブセットフォントメーカー]で設定する「フォントに格納する文字」を生成したかったので作ってみました。
日本語 Web フォントをサブセット化するときに[https://opentype.jp/subsetfontmk.htm サブセットフォントメーカー]で設定する「フォントに格納する文字」を生成したかったので作ってみました。


Mery で開いている文書で使用されている文字を抽出してソートして重複を取り除きます。データベースからブログ記事をすべて出力したものにこのマクロをかければ、サブセット化で使えるユニーク文字に変換できます。
Mery で開いているテキストの中から使用されている文字を抽出してソートして重複を取り除きます。データベースからブログ記事をすべて出力したものにこのマクロをかければ、サブセット化で使えるユニークな文字に変換できます。


データが大きければそれなりに時間がかかりますが、25MB のテキストファイルで 2 分ぐらいでした。
<syntaxhighlight lang="javascript" copy>
 
var sel = document.selection;
サロゲートペアに対応していますが、IVS には対応していません。(サブセット化するのに IVS いりませんよね…)
if (sel.Text == "") {
 
sel.SelectAll();
<source lang="javascript">
}
if (document.selection.Text == "")
var s1 = sel.Text.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]|[\s\S]|^$/g).filter(Boolean).sort();
document.selection.SelectAll();
var s2 = [];
var s1 = document.selection.Text.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]|[\s\S]|^$/g).filter(Boolean).sort();
var s2 = new Array();
for (var i = 0; i < s1.length; i++) {
for (var i = 0; i < s1.length; i++) {
if (i == 0 || s1[i-1] != s1[i])
if (i == 0 || s1[i-1] != s1[i]) {
s2.push(s1[i].trim());
s2.push(s1[i].trim());
}
}
}
document.selection.Text = s2.join("");
sel.Text = s2.join("");
</source>
</syntaxhighlight>
 
データが大きければそれなりに時間がかかりますが、25MB のテキストファイルで 2 分ぐらいでした。サロゲートペアに対応していますが、IVS には対応していません(サブセット化するのに IVS いりませんよね…)。


== 第一水準漢字、記号、ローマ字、カタカナ、ひらがな ==
== 第一水準漢字、記号、ローマ字、カタカナ、ひらがな ==
スポンサーリンク