「本当に読み込んでいますか？」の分析レポートをGeminiは作成してくれなかったので、ChatGPTに依頼してみたところ、一連のプログラムをpythonで作成してくれました。Jupyter notebookで実行してエラーが出ると、今度はGeminiがプログラムを修復してくれました。この機能は助かりますね。今まで、エラーが出るとネットで検索して対処法を見つけなければいけなかったのですが、直ぐ直してくれます。素晴らしい！！ 一連の流れを資料にまとめました。
資料はこちら → テキストマイニング分析その3
p.1 ChatGPTに「CSVデータよりテキストデータマインドの分析をお願いします」と依頼しました。いろいろ分析して、CSVデータに不必要な語句が入っていると解析しました。そこで「名詞のみで分析お願いします。」と依頼すると、「より精度の高い分析を行うには、MeCab や SudachiPy を用いて品詞を判定し、「名詞」のみを抽出する方法が適しています。」という返答です。
p.2〜4 そして、「Jupyter Notebookでブログ記事のテキストマイニングを一通り実施する流れとプログラム」の提案があり、pythonのプログラムを作成してくれました。このプログラムは、1. CSV読込、2. 前処理、3. SudachiPyによる名詞抽出、4. 頻出語ランキング、5. WordCloud、6. 共起ネットワーク、7. LDAによるトピック分析の流れで作られています。本プログラムを実行するとグラフの横軸が日本語でなかったり、エラーが生じましたが、Geminiが立ち上がり、修復をしてくれました。赤い矢印のコードがGeminiが追加した部分です。pythonでコード作成初心者の私には便利な機能で、効率的です。
p.5 頻出ランキングのグラフです。「データ」が一番の頻出単語でした。「データ」好きな私を象徴していますね。
p.6 ワードクラウドです。ブログでよく使っている語句の頻度や重要性を字の大きさでよくイメージできています。
p.7 「共起ネットワーク」です。どの単語同士がよく使われているかを示しています。品質工学が孤島のように離れて表示されているのはなぜなのでしょうか？
p.8 Geminiは、「こんなこともできますよ」と提案してくれますので、「トピックごとの単語出現頻度を分析するコード」を作成してもらうことにしました。
p.9 代表的なトピック１〜５について、出現回数のグラフを描いてくれました。トピック１は、品質工学の英語バージョンのブログの例だと思われます。なので、よく使われる「is」などが多く重要キーワードは出現していません。英語版は、修正が必要です。トピック３は、画像処理の話だと思います。行列が出てきますので。
ようやく私のブログ記事に関するテキストデータマインドが出来上がりました。今回実施してみて、案件ごとに手直しは必要ですが、データ処理の流れは把握できました。そして、ChatGPTとGeminiを併用すると力が発揮できることがわかりました。