Open AIを用いて平面図やテキストから3D描画してくれるソフト「Point-e」を紹介します。試してみてください。本日は、平面図より3D描画する部分を説明します。
資料はこちら → Point-e
p.1 ① https://github.com/openai/point-e/tree/main/point_e/examples にアクセスします。②「例のデータ」クリック、③コーギー.jpgをクリック、④コーギーの絵をダウンロードします。⑤image2pointcloud.ipynbをクリックするとコードが表示されるされます。ダウンロードするか、コードをコピーして後で使います(p.5)。
p.2 慣れている方は、https://github.com/openai/point-e にアクセスして、「Code」をクリック→Zipファイルをダウンロードして解凍して、point-e-main→point_e→examplesのようにフォルダを開けていくと、p.1のページと同様のファイルが入っています。
p.3 ①GoogleのColaboratory https://colab.research.google.com/にアクセスします。以前「機械学習やpythonが簡単に使えるドライブ」で取り上げたように、jupyter notebookと同様に使用できるので便利です。②編集→ノートブック設定→ランチタイプはpython3、ハードウェアアクセラレータは「GPU」を選択します。 ③ファイル→ノートブックを新規作成をクリックするとコードを入れるフレームが現れます。④右下の「#パッケージのインストール」のコードをフレーム内に書き込んでください。
p.4 Googleドライブに右下の図のような絵のファイルを保存しておきます。Googleドライブは、①右上の「Googleアプリ」をクリックすると表示されるアイコンの中にありますので、②ドライブのアイコンをクリックしてください。④ファイルをアップロードするには、左上の「+」をクリックして「ファイルアップロード」を選択して、⑤ご自身のパソコンにある画像データをアップロードしてください。⑥その他→ Google Colaboratoryクリック、⑦Colaboratory 起動します。
p.5 Googleドライブ内のファイルをColaboratoryで読み込む前には、「from google.colab import drive」「drive.mount('/content/drive')」のコードを最初に書き込んでください。以降、「#パッケージのインポート」「#モデルの準備」「#サンプラーの準備」「#画像の準備」「#推論の実行」のコードを書き込んでいきます。画像データを読み込む際には、「/content/drive/My Drive/ファイル名'」Colaboratoryで、Zipファイル内にある「image2pointcloud.ipynb」を読み込めば、コードを入力する手間が省けます。
p.6 「#ポイントクラウドの実行」を書き込み、全てのコードを実行すると、以下の3D画像が表示されます。2次元の画像が3次元画像に変換されました。