3次元の形を,解析し,検索し,認識する

3次元の形を,解析し,検索し,認識する

 スマートフォン,PS4やSwitchのゲーム,映画,等で3次元モデルが活躍しています.工業製品の設計・製造,医療診断・外科手術の支援,医薬品の開発,等でも3次元モデルは大活躍です.最近では,特殊なカメラで物体の3次元の形を読み取ることや,3次元プリンタで3次元の形を書き出すことなどが可能になってきました.自動運転車やドローン,家やオフィスで人とともに働くロボット,なども,カメラなどを用いて周囲の3次元世界を認識して動きます.
私たちの研究室では, これら多種多様の3次元モデルを中心としたマルチメディアデータを,解析し,分類し,認識し,検索する技術を研究しています.私たちは,機械学習,特に,深層学習(ディープラーニング)の技術を活用して,分類や認識に必要な「知識」をデータから自動的に獲得することを目指しています.

●解析,検索,認識!:

 私たちが最近注目しているのは,「こんな形の怪獣の3次元モデルを見つけて」といった,3次元形状モデルの「形による類似検索」です.私たちは,誰にでも扱いやすい検索システムの実現を目指しています.例えば,ヘリコプターの3次元モデルを検索するために,キーワード,3次元モデルの例示,手描きスケッチ,部分の形など,様々な方法でシステムに問い合わせることができたら便利です.
上記のような多様な問い合わせ方法による検索を行うために,私たちは,様々な要素技術の開発を行っています.例えば,3次元モデルにキーワードタグを自動的に付与する技術,3次元の形の特徴を数値的に取り出す技術,手描きスケッチと3次元の形を効果的に比較する技術,部分の形を素早く見つけ出す技術,などです.私たちは,深層ニューラルネットワークを用い,これにキーワード,手描きスケッチ,3次元モデルなど異なる種類のデータ間の関係を教えることで,上記の技術の精度と速度の改善を図っています.
私たちは,3次元モデル検索の研究で世界の先頭集団にいます.検索精度を競う国際的なコンテストSHRECにおいて,2012年と2017年のRigid(剛体の)モデル部門,2010年,2015年,2017年のNon-Rigid(変形する)モデル部門,そして2010年と2015年のレンジスキャンモデル部門,など,複数年度の複数部門で検索精度1位を獲得しています.

●3次元脳血管画像からの動脈瘤検出:

 3次元の形を解析する技術は,医療診断にも応用できます.私たちの研究室では,磁気共鳴画像法(MRI)で撮像された人間の3次元脳血管画像をもとに,動脈瘤の候補を自動的に検出し,医師による診断を補助する研究を行っています.複雑な3次元構造を持つ脳血管から,様々な形態,位置,大きさ,向きを持ち得る動脈瘤を検出することはとても困難です.私たちは,3次元脳血管画像から切り出した部分的な3次元画像が動脈瘤であるか,そうでないかを見分ける深層ニューラルネットワークを設計・訓練し,動脈瘤らしき部位を精度良く自動検出するシステムの開発を目指しています.