昨日の続きで、テキストデータマインドの実施例を資料にまとめました。
資料はこちら → テキストマイニング分析その２
p.1 Geminiに「WordPressのブログ記事のテキストデータマインドを実施する方法を教えて」と質問したところ「「WP All Export」などの無料プラグインを使用すると、記事の「タイトル」と「本文（コンテンツ）」だけを綺麗に切り分けたCSVファイルとしてエクスポートできます。ツールに読み込ませる際のノイズが減るため、分析がスムーズになります。」という回答でした。「WP All Export」の実施結果を抜粋したものを載せておきます。このCSVファイルの容量は9MBもあります。
p.2 ①テキストデータマインドを無料で実施くれるUser Local(https://textmining.userlocal.jp/)にアクセスします。②CSVデータファイルをアップロードして、③「ワードクラウド作成」をクリックすると、スコア順あるいは出現頻度順のワードクラウドを描いてくれます。スコアとは、TF-IDF法という統計処理により、 「一般的な文書でよく出る単語は、重要ではないため、重み付けを軽くする」、一方「一般的な文書ではあまり出現しないけれど、調査対象の文書だけによく出現する単語は重視」する手法です。スコア順、出現頻度順いずれについても、ワードクラウド真中にある「Strong」って何でしょうか？ CSVファイルを見ると、本文以外にブログ内に隠れているHTML文字の一部のようです。例えば、太字にする場合HTMLで「Strong」という指示が太字にする文書毎に隠れています。
p.3 Geminiは、CSVファイルであれば、テキストデータマインドをしてくれると、昨日回答してくれたので、依頼してみたところ、「私は大規模言語モデルとしてまだ学習中です。そちらについては、必要な情報や機能がないため、すみませんがお手伝いできません。」そこで、「今回送付したCSVデータより不要なノイズを除去したCSVデータにしたファイルを作成してください」と依頼し、「アップロードいただいた 3,042件全件 の記事データから、HTMLタグ（<p>や<img>など）、スタイル指定、HTML特殊文字 等）、 不要な連続空白・改行などを除去・整形したクリーニング済みのCSVファイルを作成いたしました。」と回答があり、右下のCSVファイルを作成してくれました。確かに、HTML文字は削除してくれたようです。
p.4 クリーニング済みのCSVファイルを用いて、改めて「ワードクラウド」を作成したものが、下図です。名詞、動詞あるいは形容詞などすべての単語を用いるため、「用いる」とか「思う」が大きな文字になっています。
p.5 名詞だけにしたCSVファイルを用いて描いた「ワードクラウド」が下図です。ようやく求めていた図になってきましたが、まだまだですね。名詞だけにするにはpythonを用いますが、明日説明します。今回、テキストデータマインドを実施するためには、ノイズ消去などの前処理が必要なことがよくわかりました。