JP5560925B2 - ３次元形状検索装置、３次元形状検索方法、及びプログラム - Google Patents

Description

本発明は、コンピュータグラフィックスにおける３次元形状モデルの制作を支援する３次元形状検索装置等に関する。

従来より、ゲームや映画等にコンピュータグラフィックス（ＣＧ；Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）が多用されており、ＣＧ制作のニーズが高まっている。写実的な３次元ＣＧを制作するためには、実物に忠実な形状をモデリングする必要がある。しかし、市販されている高機能なモデリングソフトを用いて３次元ＣＧの形状モデリングを行うためには、ソフトウエアの操作を習熟する必要がある。そのため、３次元ＣＧコンテンツ用の形状をモデリングできる人は一部の専門的なスキルを持つ制作者に限定される傾向にあった。

これに対し、近年、３次元ＣＧの３次元形状モデリングや３次元形状モデル検索を直感的な操作で簡単に行えるようにするための研究が行われている。
例えば、非特許文献１には、ユーザにより手書き入力されたスケッチ（輪郭線情報）を基に３次元形状モデリングを行う技術が提案されている。非特許文献１に示すＴｅｄｄｙと呼ばれるシステムでは、タブレットやマウス等を利用して平面に手書き自由曲線（２次元の多角形）を描くと、描かれた多角形の芯線を見つけて上下に持ち上げ、元の多角形の周と持ち上げられた芯線とを包み込むようなポリゴンメッシュを生成することにより３次元形状を生成することが可能となっている。

また、ＣＧ制作を効率よく行なうために、既に生成した３次元形状のモデルをデータベースに保存しておき、これらの中から所望の形状に類似した３次元モデルを容易に検索する技術が提案されている。
例えば特許文献１には、データベースに多種類の３次元モデルのメッシュモデルデータの影画像を生成して、影画像用の特徴量であるＧＦＤ（Ｇｅｎｅｒｉｃ Ｆｏｕｒｉｅｒ Ｄｅｓｃｒｉｐｔｉｏｎ；特許文献１の段落［００２５］）、及び特徴稜線画像用の特徴量であるＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ；特許文献１の段落［００３７］）と対応付けて保持しておくとともに、デザイナが描く３面図やアイソメ図をもとに１４方向の視点からデザインスケッチデータを描画して（特許文献１の段落［００２３］）、上述と同様にそれらの影画像を生成し、影画像のＧＦＤを算出し、算出されたＧＦＤを基にデータベース内から類似する３次元モデルを検索し、更に、ＬＢＰの類似性に基づいて絞込み検索する技術が開示されている。しかし、特許文献１では、ＧＦＤのように方向に依存する特徴量を用いて類似検索を行うので、データベースに登録された影画像と同一方向についてのスケッチを描かない限り、精度のよい検索が行われない。

これに対し、特許文献２には、検索の対象となる３次元モデルについて互いに異なる視点から見た複数の２次元画像を生成し、生成された２次元画像それぞれの特徴量を抽出してデータベースに保持しておき、検索キーとなる二次元画像が入力されると入力された二次元画像から特徴量を抽出し、この特徴量と、データベース内に保持されている３次元モデルから抽出した特徴量との類似検索を行なって、類似する３次元モデルを出力する方法が記載されている。そして、類似性の判定の規準とする特徴量については、２次元画像から算出可能なものとして、ＲＧＢ、ＨＳＶ、Ｌａｂ等の色情報毎の値を量子化したヒストグラム、エッジ微分を量子化した形状ヒストグラム等が挙げられ（特許文献２の段落［００５３］）、また、３次元画像から算出可能なものとしては上述のものに加え、３次元オブジェクトの体積や表面積、頂点分布、ポリゴン分布等が挙げられている（特許文献２の段落［００４５］）。

"Teddy：A Sketching Interface for 3D Freedom Design",T.Igarashi,S.matsuoka,H.tanaka.SIGGRAPH99Conference Proceedings.

特開２００６−２８５６２７号公報 特開２００４−１６４５０３号公報

しかしながら、上述の特許文献１及び特許文献２では、２次元画像が正確に入力されないと精度のよい検索が行なえない。そのため、検索の精度はユーザの画力に依存することとなり、誰でも簡単に所望の検索結果を得られるものではない。

本発明は、このような課題に鑑みてなされたもので、その目的とするところは、手書きの２次元画像から容易かつ高精度に、類似する３次元形状モデルを検索可能な３次元形状検索装置、３次元形状検索方法、及びプログラムを提供することである。

前述した課題を解決するため第１の発明は、複数の３次元形状モデルと、前記３次元形状モデルの２次元投影画像から算出される２種類の特徴量として、前記２次元投影画像の輪郭線上の注目画素に隣接する複数の方向の画素のうち、いずれの方向に次の輪郭線上の画素が出現するかを示した度数分布である画素連結性ヒストグラム、及び前記２次元投影画像の輪郭線内を塗りつぶした画像の重心から輪郭線内の各画素までの距離について、距離毎に該当する画素の数を集積した度数分布である半径ヒストグラムとを予め記憶するデータベースと、任意の物体の手書き画像を入力する入力手段と、前記入力手段により入力された手書き画像について、前記画素連結性ヒストグラム及び前記半径ヒストグラムを抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出される前記画素連結性ヒストグラム及び前記半径ヒストグラムに基づいて、前記データベースから前記手書き画像に類似する３次元形状モデルを検索する検索手段と、前記検索手段による検索結果を提示する提示手段と、を備えることを特徴とする３次元形状検索装置である。

画素連結性ヒストグラムとは、輪郭線の連結方向の傾向を示す特徴量である。すなわち、輪郭線上の画素に隣接する例えば８方向の画素のうち、いずれの方向に次の輪郭線上の画素が出現するかを示した度数分布である。

半径ヒストグラムとは、２次元投影画像のシルエット画像（輪郭線内を塗りつぶした画像）の重心からシルエット画像内の各画素までの距離について、距離毎に該当する画素の数（度数）を示した度数分布である。

第１の発明の３次元形状検索装置は、データベースに複数の３次元形状モデルと、それらの３次元形状モデルについての形状に関する少なくとも２種類の特徴量と、を予め記憶しておき、任意の物体の手書き画像が入力されると、入力された手書き画像について形状に関する少なくとも２種類の特徴量を抽出し、抽出した特徴量に基づいて、前記データベースから前記手書き画像に類似する３次元形状モデルを検索して検索結果を提示する。
これにより、手書き画像及び３次元形状モデルからそれぞれ抽出される形状に関する少なくとも２種類の特徴量に基づいて、類似する３次元形状モデルを検索できるので、手書きの２次元画像からの３次元形状モデルの検索を容易かつ高精度に行える。特に、形状について精度よく類似検索を行える。

また、第１の発明の３次元形状検索装置において、前記入力手段は、前記物体を含む２次元画像データを取り込む２次元画像データ取り込み手段と、前記２次元画像データ取り込み手段により取り込まれた２次元画像データを基に前記物体の輪郭線をなぞり書き入力する輪郭線入力手段と、前記輪郭線入力手段により入力された輪郭線を、前記２次元画像データから抽出されるエッジ形状に沿うように補正する補正手段と、を更に備えることが望ましい。
これにより、例えば、デジタルカメラやスキャナ等から取り込んだ写真や絵画等の２次元画像データから、輪郭線をなぞり書きするという簡単かつユーザの画力に依存しない方法で、検索キーとなる２次元画像を入力できる。また、輪郭線は元の２次元画像から抽出されるエッジ形状に沿うように補正されるので、正確な輪郭線を入力でき、検索の精度を向上させることができる。

また、第１の発明の３次元形状検索装置において、前記入力手段により入力された手書き画像に基づいて３次元形状モデルを生成する３次元形状モデル生成手段と、前記３次元形状モデル生成手段により生成された３次元形状モデルについて、前記３次元形状モデルをボクセル変換したボクセルモデルの重心から前記３次元形状モデル領域内の各ボクセルまでの距離について、距離毎に該当する画素の数を集積したヒストグラムである３次元形状特徴量を抽出する３次元形状特徴量抽出手段と、を更に備え、前記データベースは、更に、複数の前記３次元形状モデルの前記３次元形状特徴量を予め記憶し、前記検索手段は、前記画素連結性ヒストグラム及び前記半径ヒストグラムに加え、更に、前記３次元形状特徴量抽出手段により抽出された前記３次元形状特徴量に基づいて、前記データベースから前記手書き画像に類似する３次元形状モデルを検索することが望ましい。

これにより、手書き画像から抽出される２次元の形状に関する少なくとも２種類の特徴量に加え、３次元形状に関する特徴量を考慮して類似する３次元形状モデルを検索できるので、検索の精度が向上し、ＣＧ制作の作業効率が向上する。例えば、手書きの２次元画像を入力した後に、簡単な３次元形状モデルを生成すれば、２次元の特徴量と３次元の特徴量とを組み合わせて、データベース内の完成された３次元形状モデルが類似検索されるため、所望の検索結果に速く到達できる。

また、第１の発明の３次元形状検索装置において、前記提示手段により提示された３次元形状モデルのうち、ユーザにより選択された３次元形状モデルについて、前記３次元形状モデルをボクセル変換したボクセルモデルの重心から前記３次元形状モデル領域内の各ボクセルまでの距離について、距離毎に該当する画素の数を集積したヒストグラムである３次元形状特徴量を抽出する３次元形状特徴量抽出手段を更に備え、前記データベースは、更に、複数の前記３次元形状モデルの前記３次元形状特徴量を予め記憶し、前記検索手段は、前記画素連結性ヒストグラム及び前記半径ヒストグラムに加え、更に、前記３次元形状特徴量抽出手段により抽出された前記３次元形状特徴量に基づいて、前記データベースから前記手書き画像に類似する３次元形状モデルを再検索することが望ましい。

これにより、手書きの２次元画像から形状に関する少なくとも２種類の特徴量を用いて検索された３次元形状モデルのうち、ユーザにより選択されたものについて、更に３次元形状に関する特徴量を算出し、２次元の形状に関する少なくとも２つの特徴量と、３次元形状に関する特徴量とを組み合わせてデータベース内の類似する３次元形状モデルを再検索するので、検索の精度が向上し、かつ効率よく所望の検索結果を導出できる。

第２の発明は、コンピュータにより実行される３次元形状検索方法であって、コンピュータの制御部が、任意の物体の手書き画像を入力する入力ステップと、前記制御部が、入力された手書き画像について、前記手書き画像の輪郭線上の注目画素に隣接する複数の方向の画素のうち、いずれの方向に次の輪郭線上の画素が出現するかを示した度数分布である画素連結性ヒストグラム、及び前記手書き画像の輪郭線内を塗りつぶした画像の重心から輪郭線内の各画素までの距離について、距離毎に該当する画素の数を集積した度数分布である半径ヒストグラムを抽出する特徴量抽出ステップと、前記制御部が、複数の３次元形状モデルと、前記３次元形状モデルの２次元投影画像から算出される２種類の特徴量として、前記画素連結性ヒストグラム及び前記半径ヒストグラムとを予め記憶したデータベースから、前記画素連結性ヒストグラム及び前記半径ヒストグラムに基づいて、前記手書き画像に類似する３次元形状モデルを検索する検索ステップと、前記制御部が、検索結果を提示する提示ステップと、を含むことを特徴とする３次元形状検索方法である。

第２の発明によれば、任意の物体の手書き画像が入力されると、入力された手書き画像について形状に関する少なくとも２種類の特徴量を抽出し、３次元形状モデルについての形状に関する少なくとも２種類の特徴量を予め記憶したデータベースから、前記少なくとも２種類の特徴量に基づいて、前記手書き画像に類似する３次元形状モデルを検索して検索結果を提示する。
これにより、手書き画像及び３次元形状モデルから抽出される形状に関する少なくとも２種類の特徴量に基づいて類似する３次元モデルを検索できるので、手書きの２次元画像からの３次元形状モデルの検索を容易かつ高精度に行える。

第３の発明は、コンピュータにより読み取り可能な形式で記述されたプログラムであって、任意の物体の手書き画像を入力する入力ステップと、入力された手書き画像について、前記手書き画像の輪郭線上の注目画素に隣接する複数の方向の画素のうち、いずれの方向に次の輪郭線上の画素が出現するかを示した度数分布である画素連結性ヒストグラム、及び前記手書き画像の輪郭線内を塗りつぶした画像の重心から輪郭線内の各画素までの距離について、距離毎に該当する画素の数を集積した度数分布である半径ヒストグラムを抽出する特徴量抽出ステップと、複数の３次元形状モデルと、前記３次元形状モデルの２次元投影画像から算出される２種類の特徴量として、前記画素連結性ヒストグラム及び前記半径ヒストグラムとを予め記憶したデータベースから、前記画素連結性ヒストグラム及び前記半径ヒストグラムに基づいて、前記手書き画像に類似する３次元形状モデルを検索する検索ステップと、検索結果を提示する提示ステップと、を含む処理をコンピュータに実行させるためのプログラムである。

第３の発明によれば、コンピュータを第１の発明の３次元形状検索装置として機能させることが可能となる。

本発明によれば、手書きの２次元画像から容易かつ高精度に、類似する３次元形状モデルを検索可能な３次元形状検索装置、３次元形状検索方法、及びプログラムを提供できる。

３次元形状検索装置１のハードウエアブロック図 データベース５のデータ構成を示す図 ３次元形状検索処理の流れを説明するフローチャート ２次元画像の入力処理について説明するフローチャート 輪郭線補正について説明する図 ２次元形状の特徴量抽出について説明するフローチャート 画素連結性ヒストグラムについて説明する図 半径ヒストグラムについて説明する図 ３次元形状の特徴量抽出について説明するフローチャート

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
まず、図１〜図２を参照して本発明の構成について説明する。
図１は、本発明に係る３次元形状検索装置１のハードウエア構成を示す図であり、図２は、データベース５のデータ構成を示す図である。

３次元形状検索装置１は、例えば一般的なコンピュータ等であり、図１に示すように、制御部１１、記憶部１２、メディア入出力部１３、入力部１４、表示部１５、通信部１６、周辺機器Ｉ／Ｆ部１７、データベース５等がバス１８を介して接続されて構成される。また、通信部１６は、ネットワーク３に接続される。なお、データベース５は、ネットワーク３を介して通信接続される構成としてもよい。

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）等により構成される。
ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各部を駆動制御する。ＲＯＭは、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部１１が後述する各種処理を行うために使用するワークエリアを備える。

記憶部１２は、ＨＤＤ（ハードディスクドライブ）であり、制御部１１が実行するプログラムや、プログラム実行に必要なデータ、ＯＳ（オペレーティング・システム）等が格納されている。これらのプログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。

メディア入出力部１３は、例えば、フロッピー（登録商標）ディスクドライブ、ＰＤドライブ、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ等のメディア入出力装置であり、データの入出力を行う。

入力部１４は、例えば、キーボード、マウス、タッチパネル、タブレット等のポインティング・デバイス、テンキー等の入力装置であり、入力されたデータを制御部１１へ出力する。本実施の形態では、マウス、タッチパネル、またはタブレット等のポインティング・デバイスを利用して、手書き画像が入力される。特に、後述するように、なぞり書き画像を入力する際には、入力装置と表示装置とが一体的に設けられているタッチパネルが好適である。

表示部１５は、例えば液晶パネル、ＣＲＴモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部１１の制御により入力された表示情報をディスプレイ装置上に表示させる。
周辺機器Ｉ／Ｆ（インタフェース）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
通信部１７は、通信制御装置、通信ポート等を有し、ネットワーク３との通信を媒介する通信インタフェースであり、通信制御を行う。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

データベース５は、複数の３次元形状モデル５０と、それらの各３次元形状モデル５０の形状に関する少なくとも２種類の特徴量と、が記憶される。また、必要に応じて、特徴量抽出のために用いられる各３次元形状モデル５０の２次元投影画像５１や、その投影角度情報５２を格納するようにしてもよい。後述する類似検索の精度を向上するために、各３次元形状モデル５０の２次元形状特徴量５３，５４は、複数の投影方向から投影された２次元画像を元に算出され、格納されることが望ましい。

図２に示すように、本実施の形態のデータベース５は、各３次元形状モデル５０の形状に関する少なくとも２種類の特徴量として、２種類の２次元形状特徴量５３，５４を少なくとも保持する。より好適には、２次元形状特徴量５３，５４に加え、３次元形状特徴量５５を保持する。
具体的には、２次元形状特徴量５３，５４には、３次元形状モデル５０の２次元投影画像５１から算出される画素連結性ヒストグラム５３及び半径ヒストグラム５４が含まれる。

画素連結性ヒストグラム５３とは、２次元投影画像５１の輪郭線の連結方向の傾向を表す特徴量である。すなわち、画素連結性ヒストグラム５３は、輪郭線上の注目画素に隣接する例えば８方向の画素のうち、いずれの方向に次の輪郭線上の画素が出現するかを示した度数分布である（図７参照）。

半径ヒストグラム５４とは、２次元投影画像５１の全体形状の特徴を表す量である。２次元投影画像５１のシルエット画像（輪郭線内を塗りつぶした画像）の重心から輪郭線内の各画素までの距離について、距離毎に該当する画素の数（度数）を集積した度数分布である（図８参照）。
画素連結性ヒストグラム５３及び半径ヒストグラム５４については後述する。

３次元形状特徴量５５には、３次元形状モデル５０をボクセル変換したボクセルモデルの重心から３次元形状モデル領域内の各ボクセルまでの距離について、距離毎に該当する画素の数（度数）を集積したヒストグラムを用いる。このヒストグラムは、上述の半径ヒストグラム５４を３次元に拡張した量であり、３次元形状モデル５０の全体形状の特徴を表すものである。

なお、データベース５に予め記憶される各特徴量５３，５４，５５は、後述する３次元形状モデル検索処理において、手書き画像との類似度の算出に用いられるため、正規化されて記憶されていることが望ましい。

次に、３次元形状検索装置１の実行する３次元形状モデル検索処理について図３〜図９を参照して説明する。
なお、以下のフローチャートに含まれる処理は、コンピュータにより読み取り可能なプログラムの形式で記述される。すなわち、３次元形状検索装置１の制御部１１は、制御部１２から当該プログラムを読み込み、以下の各処理を実行する。

まず、全体の流れとして、本実施の形態の３次元形状検索装置１は、以下の３つの流れの検索処理を行う。

第１の流れは、検索キーとなる２次元画像が手書き入力されると（ステップＳ１）、制御部１１は、入力された２次元画像から形状に関する少なくとも２種類の２次元形状特徴量（画素連結性ヒストグラム、半径ヒストグラム）を抽出し（ステップＳ２）、抽出した２次元形状特徴量に基づいて、データベース５内に予め記憶されている全て、或いは所定の絞込み検索条件で絞り込まれた３次元形状モデル５０から、入力された２次元画像と類似する特徴量を有するものを検索し（ステップＳ３；Ｎｏ→ステップＳ４）、検索結果を表示する（ステップＳ５）ものである。

第２の流れは、第１の流れの処理に加え、更に、手書き入力された２次元画像を元にユーザが３次元形状モデルを生成すると（ステップＳ３；Ｙｅｓ→ステップＳ７）、制御部１１は、生成された３次元形状モデルについての３次元形状特徴量を求め（ステップＳ８）、３次元形状特徴量と上述の少なくとも２種類の２次元形状特徴量とを用いて、データベース５から、手書き入力された２次元画像及び生成された３次元形状モデルと類似する３次元形状モデルを検索し（ステップＳ４）、表示する（ステップＳ５）ものである。

第３の流れは、第１の流れのステップＳ５にて表示された検索結果から、ユーザにより選択された３次元形状モデル（ステップＳ６）を、更に検索キーに加え、再検索を行うものである。すなわち、ステップＳ６にて選択された３次元形状モデルについて、制御部１１は更に３次元形状に関する特徴量を抽出し（ステップＳ８）、抽出した３次元形状に関する特徴量と、上述の少なくとも２つの２次元形状特徴量と、に基づいて、データベース５内に予め記憶されている全て、或いは所定の絞込み検索条件で絞り込まれた３次元形状モデル５０の中から、選択された３次元形状モデルと類似するものを再検索し（ステップＳ４）、検索結果を表示する（ステップＳ５）。

以下、各ステップの処理を詳細に説明する。
まず、ステップＳ１の２次元画像の入力処理について、図４及び図５を参照して説明する。図４に示すように、２次元画像の入力方法は、デジタルカメラやスキャナ等の周辺機器または記憶部１２から写真等の２次元画像データを取り込んで、２次元画像データ内の所望の物体の輪郭線をなぞり書き入力する手法（ステップＳ１１〜Ｓ１４）、またはユーザが自由に線を入力する手法（ステップＳ１５）のいずれを用いてもよい。

輪郭線をなぞり書き入力する場合、まず、ユーザにより画像データの取り込みが選択される（ステップＳ１１；Ｙｅｓ）。すると制御部１１は、デジタルカメラ等にて撮影した画像データやスキャナにて読み込んだ画像データを記憶部１２または周辺機器Ｉ／Ｆ部１７から取り込み（ステップＳ１２）、表示部１５に表示する。その後、タッチパネル等の入力装置を用いて、取り込まれた画像の輪郭線がなぞり書き入力されると（ステップＳ１３）、制御部１１は、入力された輪郭線の補正処理を行う（ステップＳ１４）。
図５に、取り込まれた画像６０と、なぞり書き入力された輪郭線６５とを示す。

ステップＳ１４の輪郭線補正処理において、制御部１１は、まず、取り込んだ画像６０のエッジ抽出処理を行う。エッジとは、隣り合う画素の画素値の差が所定の基準値より大きい画素である。例えば、図５に示す画像では、テーブルとメガネ６２との境界、メガネ６２のレンズとフレームとの境界、テーブルとキーボード６１との境界等がエッジ抽出処理により抽出される。
制御部１１は、手書きにてなぞり書き入力された線６５の各点を、抽出したエッジのうち最も近いエッジ（画素）に一致するように移動して、輪郭線補正する。

また、ユーザが自由に線を入力する場合は（ステップＳ１１；Ｎｏ）、タブレットやマウス等の入力機器を用いて任意の物体の輪郭線６５が手書き入力される（ステップＳ１５）。

次に、ステップＳ２の２次元形状特徴抽出処理について、図６〜図８を参照して説明する。図６は２次元形状特徴抽出処理の流れを示すフローチャート、図７は画素連結性ヒストグラムについて説明する図、図８は半径ヒストグラムについて説明する図である。

図６に示す２次元形状特徴抽出処理では、制御部１１は、まず入力された画像である輪郭線６５内の領域を塗りつぶし、シルエット画像８１を生成する（ステップＳ２１；図８参照）。また、制御部１１は、輪郭線６５について輪郭線追跡処理を行って画素連結性ヒストグラムＣＨを求める（ステップＳ２２；図７参照）。また、ステップＳ３１にて生成したシルエット画像８１から半径ヒストグラムＲＨを求める（ステップＳ２３；図８参照）。

手書き入力された画像から求められる画素連結性ヒストグラムＣＨ及び半径ヒストグラムＲＨは、データベース５に保持されている画素連結性ヒストグラム５３及び半径ヒストグラム５４と同様の方法で求められるものであるが、手書き入力画像から算出されたものか、３次元形状モデル５０から算出されデータベース５内に保持されているものかを区別するため、以下の説明では異なる符号を付すものとする。

画素連結性ヒストグラムＣＨは、ステップＳ１の入力処理にて入力された画像の輪郭線６５を任意の開始点Ｐ１から追跡することにより求められる。すなわち、制御部１１は、図７（ａ）に示すように輪郭線６５上に設定される任意の開始点Ｐ１から、輪郭線６５上の着目画素の隣接する例えば８方向（図７（ｂ）のｖ１，ｖ２，ｖ３，ｖ４，ｖ５，ｖ６，ｖ７，ｖ８）の画素について、いずれの方向に次の輪郭線６５上の画素が出現するかを調べ（図７（ｃ））、その出現度数Ｉを方向別（ｖ１，ｖ２，ｖ３，ｖ４，ｖ５，ｖ６，ｖ７，ｖ８）に集積することにより、図７（ｄ）に示すような画素連結性ヒストグラムＣＨを求める。

入力された輪郭線６５が太く、複数画素にまたがるような場合には、線入力時においてタッチパネル上で指示した画素を輪郭線６５の太さの中心（芯）として細線化すればよい。

半径ヒストグラムＲＨは、ステップＳ１の入力処理にて入力された画像のシルエット画像８１（輪郭線６５内を塗りつぶした画像；図８（ａ））に対して重心を中心とするＲｉｎｇ Ｔｒａｎｓｆｏｒｍを実行し（図８（ｂ））、塗りつぶされた画素の存在する範囲を調べることにより求められる。すなわち、制御部１１は、シルエット画像８１内の各画素とシルエット画像８１の重心との距離ｒを求め、距離別（１，２，３，・・・，ｎ−１，ｎ）の画素数（度数）を集積することにより、図８（ｃ）に示すような半径ヒストグラムＲＨを求める。

なお、後の処理で類似度を計算するため、ステップＳ２にて算出される２次元形状特徴量ＣＨ，ＲＨは正規化される。

ステップＳ２（図６のステップＳ２１〜ステップＳ２３）の２次元形状特徴抽出処理により、手書き入力された輪郭線６５（２次元画像）について、形状に関する少なくとも２種類の２次元形状特徴量（上述の画素連結性ヒストグラムＣＨ及び半径ヒストグラムＲＨ）が求められると、この段階で、制御部１１は、ユーザに３次元形状モデルを生成するか否かを選択させる（ステップＳ３）。

３次元形状モデルを生成しない場合は（ステップＳ３；Ｎｏ（第１の流れ））、制御部１１は、データベース５内に格納されている３次元形状モデル５０から、算出した２次元形状特徴量ＣＨ，ＲＨと類似する２次元形状特徴量５３，５４を有する３次元形状モデル５０を検索する（ステップＳ４）。

すなわち、制御部１１は、ステップＳ２にて算出した２次元形状特徴量（画素連結性ヒストグラムＣＨ及び半径ヒストグラムＲＨ）と、データベース５に格納されている各３次元形状モデル５０についての２次元形状特徴量（画素連結性ヒストグラム５３，半径ヒストグラム５４）との類似度を算出する。そして、類似度の大きい３次元形状モデル５０を１つ以上提示する（ステップＳ５）。

検索対象は、データベース５内の全ての３次元形状モデル５０としてもよいし、例えばモデル形状カテゴリ、モデル登録日時等の絞込み検索条件を設定して、その条件に合致する３次元形状モデル５０としてもよい。

また、類似度は、一般に用いられている類似度の算出法を用いて算出できる。例えば、特徴量である画素連結性ヒストグラムや半径ヒストグラムの各度数を各次元の値として表現したベクトル（以下、特徴ベクトルという）を、入力画像とデータベース５内の比較対象となる全ての３次元形状モデル５０とについてそれぞれ生成し、入力画像の特徴ベクトルと、各３次元形状モデル５０の特徴ベクトルとのベクトル間距離を演算することにより類似度が計算される。この場合、算出したベクトル間距離が小さいものが、類似度が大きいものとなる。

手書き入力された２次元画像を元とする３次元形状モデルを生成した後に類似検索を行う場合は（ステップＳ３；Ｙｅｓ（第２の流れ））、ステップＳ７の３次元形状モデル生成処理へ移行する。
手書き入力された輪郭線６５から３次元形状モデルを生成する方法については、周知の手法を用いればよい。例えば、特開平６−１４９９４３号公報に示すように、輪郭線の各部に断面形状を設定して３次元形状を生成したり、上述の非特許文献１に示すように、輪郭線の芯線を求め、その芯線を持ち上げて輪郭線と芯線とを包む図形を生成する手法を用いたりすればよい。

ステップＳ７の処理により３次元形状モデルが生成されると、制御部１１は選択された３次元形状モデルについて、３次元形状に関する特徴量（以下、３次元形状特徴量）を抽出する（ステップＳ８）。
図９に、３次元形状特徴量を抽出する処理の流れを示す。

図９に示すように、３次元形状特徴量を抽出する際、制御部１１は、入力された３次元形状モデル（ステップＳ８１）について、ボクセル変換を行う（ステップＳ８２）。３次元形状モデルはサーフェスモデルにて生成、格納されるため、このボクセル変換処理により、表面形状のみが定義された３次元形状モデルを、３次元形状モデル内部の各ボクセルを塗りつぶしたボクセルモデルとする。そして、ボクセルモデルの重心から塗りつぶされた各ボクセルまでの距離を算出し（ステップＳ８３）、距離毎のボクセル数を度数とするヒストグラムを求める（Ｓｐｈｅｒｅ Ｔｒａｎｓｆｏｒｍ）。このヒストグラムを３次元形状特徴量とする。

そして、制御部１１は、ステップＳ２にて算出した２次元形状特徴量（画素連結性ヒストグラムＣＨ及び半径ヒストグラムＲＨ）及びステップＳ８にて算出した３次元形状特徴量と、データベース５に格納されている各３次元形状モデル５０についての２次元形状特徴量（画素連結性ヒストグラム５３，半径ヒストグラム５４）及びその３次元形状モデル５０の３次元形状特徴量５５との類似度を算出する。そして、類似度の大きい３次元形状モデル５０を１つ以上提示する（ステップＳ５）。類似度は、上述のように特徴ベクトルの距離を算出することにより求められる。

次に、ステップＳ５にて提示された検索結果となる３次元形状モデルから再検索のキーとする３次元形状モデルが選択されると（ステップＳ６；Ｙｅｓ；第３の流れ）、制御部１１は選択された３次元形状モデルについて、３次元形状に関する特徴量（以下、３次元形状特徴量）を抽出する（ステップＳ８）。
３次元形状特徴量を抽出する処理は上述のステップＳ８１〜ステップＳ８３の処理と同様である。

そして、制御部１１は、ステップＳ２にて算出した２次元形状特徴量（画素連結性ヒストグラムＣＨ及び半径ヒストグラムＲＨ）及びステップＳ８にて算出した３次元形状特徴量と、データベース５に格納されている各３次元形状モデル５０の各投影画像についての２次元形状特徴量（画素連結性ヒストグラム５３，半径ヒストグラム５４）及びその３次元形状モデル５０についての３次元形状特徴量５５との類似度を算出する。そして、類似度の大きい３次元形状モデル５０を１つ以上提示する（ステップＳ５）。類似度は、上述のように特徴ベクトルを算出することにより求められる。

検索結果について再検索を行わない場合は（ステップＳ６；Ｎｏ）、一連の３次元形状モデル検索処理を終了する。

以上説明したように、本実施の形態の３次元形状検索装置１は、データベース５に複数の３次元形状モデル５０と、その形状に関する少なくとも２種類の特徴量（画素連結性ヒストグラム５３、半径ヒストグラム５４）とを記憶しておき、任意の物体の手書き画像６５（輪郭線６５や自由線）が入力されると、入力された手書き画像６５の形状に関する少なくとも２種類の特徴量（画素連結性ヒストグラムＣＨ、半径ヒストグラムＲＨ）を算出し、これらの特徴量に基づいて、データベース５から手書き画像６５に類似する３次元形状モデル５０を検索して検索結果を表示する。
従って、形状に関する少なくとも２種類の特徴量に基づいて、類似する３次元形状モデルを検索し、提示するので、手書きの２次元画像から容易かつ高精度に、類似する３次元モデルを検索できる。特に、形状について精度よく検索できる。

また、手書き画像６５は、デジタルカメラやスキャナ等から取り込まれた画像の輪郭をなぞり書きしたなぞり書き画像でもよく、なぞり書きした輪郭線６５については、元の画像（取り込まれた写真等の画像）から抽出されるエッジ形状に沿うように補正処理を施すようにしてもよい。この場合は、デジタルカメラ等から取り込んだ写真や元となる絵画等の２次元画像から、輪郭線６５をなぞり書きするという簡単かつユーザの画力に依存しない方法で、検索キーとなる２次元画像を入力できる。また、輪郭線６５は元の２次元画像のエッジ形状に沿うように補正されるので、正確な輪郭線を入力でき、検索の精度を向上させることができる。
また、取り込まれた画像の輪郭をなぞり書きすることで、様々な物体画像が含まれる例えばスナップ写真のような一般に入手しやすい画像データから、所望の物体画像のみを簡単かつ効率よく入力することができる。

また、３次元形状検索装置１において、入力された手書き画像に基づいて３次元形状モデルを生成し、生成された３次元形状モデルについて３次元形状に関する特徴量を抽出し、上述の少なくとも２種類の２次元形状特徴量に加え、更に、３次元形状に関する特徴量に基づいて、データベース５から手書き画像に類似する３次元形状モデル５０を検索することも可能である。
これにより、手書きの２次元画像に基づいて簡単な３次元形状モデルを生成した後に、２次元及び３次元の形状に関する特徴量を考慮して、データベース５内の類似する完成された３次元形状モデルを検索できるので、検索の精度が向上し、ＣＧ制作の作業効率が向上する。

また、３次元形状検索装置１において、検索結果として提示された３次元形状モデルのうち、ユーザにより選択された３次元形状モデルについて３次元形状に関する特徴量を抽出し、上述の少なくとも２種類の特徴量に加え、更に、３次元形状に関する特徴量に基づいて、データベース５から手書き画像に類似する３次元形状モデルを再検索することも可能である。
これにより、手書きの画像に類似する３次元形状モデルを更に検索キーに加えることが可能となり、また、２次元及び３次元の形状に関する特徴量を考慮してデータベース５内から類似する３次元モデルを再検索するので、検索の精度が向上し、所望の検索結果を効率よく導出できる。

以上、本発明に係る３次元形状検索装置について説明したが、本発明は上述の実施形態に限定されるものではない。例えば、上述の実施形態では、３次元形状検索装置がコンピュータにより実現される例を示したが、これに限定されず、ゲーム機、ＰＤＡ、携帯電話等の電子機器により実現されるものとしてもよい。その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１・・・・３次元形状検索装置
５・・・・データベース
５０・・・３次元形状モデル
５１・・・３次元形状モデルの２次元投影画像
５２・・・投影角度情報
５３・・・画素連結性ヒストグラム（データベース５に格納されたもの）
５４・・・半径ヒストグラム（データベース５に格納されたもの）
５５・・・３次元形状特徴量
６０・・・入力画像
６２・・・手書き入力したい物体
６５・・・手書き輪郭線
８１・・・シルエット画像
１１・・・制御部
１２・・・記憶部
１３・・・メディア入出力部
１４・・・入力部
１５・・・表示部
１６・・・通信部
１７・・・周辺機器１／Ｆ部
１８・・・バス
ＣＨ・・・画素連結性ヒストグラム（入力画像から算出されるもの）
ＲＨ・・・半径ヒストグラム（入力画像から算出されるもの）

Claims (6)

1. 複数の３次元形状モデルと、前記３次元形状モデルの２次元投影画像から算出される２種類の特徴量として、前記２次元投影画像の輪郭線上の注目画素に隣接する複数の方向の画素のうち、いずれの方向に次の輪郭線上の画素が出現するかを示した度数分布である画素連結性ヒストグラム、及び前記２次元投影画像の輪郭線内を塗りつぶした画像の重心から輪郭線内の各画素までの距離について、距離毎に該当する画素の数を集積した度数分布である半径ヒストグラムとを予め記憶するデータベースと、
   任意の物体の手書き画像を入力する入力手段と、
   前記入力手段により入力された手書き画像について、前記画素連結性ヒストグラム及び前記半径ヒストグラムを抽出する特徴量抽出手段と、
   前記特徴量抽出手段により抽出される前記画素連結性ヒストグラム及び前記半径ヒストグラムに基づいて、前記データベースから前記手書き画像に類似する３次元形状モデルを検索する検索手段と、
   前記検索手段による検索結果を提示する提示手段と、
   を備えることを特徴とする３次元形状検索装置。
2. 前記入力手段は、
   前記物体を含む２次元画像データを取り込む２次元画像データ取り込み手段と、
   前記２次元画像データ取り込み手段により取り込まれた２次元画像データを基に前記物体の輪郭線をなぞり書き入力する輪郭線入力手段と、
   前記輪郭線入力手段により入力された輪郭線を、前記２次元画像データから抽出されるエッジ形状に沿うように補正する補正手段と、
   を更に備えることを特徴とする請求項１に記載の３次元形状検索装置。
3. 前記入力手段により入力された手書き画像に基づいて３次元形状モデルを生成する３次元形状モデル生成手段と、
   前記３次元形状モデル生成手段により生成された３次元形状モデルについて、前記３次元形状モデルをボクセル変換したボクセルモデルの重心から前記３次元形状モデル領域内の各ボクセルまでの距離について、距離毎に該当する画素の数を集積したヒストグラムである３次元形状特徴量を抽出する３次元形状特徴量抽出手段と、を更に備え、
   前記データベースは、更に、複数の前記３次元形状モデルの前記３次元形状特徴量を予め記憶し、
   前記検索手段は、前記画素連結性ヒストグラム及び前記半径ヒストグラムに加え、更に、前記３次元形状特徴量抽出手段により抽出された前記３次元形状特徴量に基づいて、前記データベースから前記手書き画像に類似する３次元形状モデルを検索することを特徴とする請求項１に記載の３次元形状検索装置。
4. 前記提示手段により提示された３次元形状モデルのうち、ユーザにより選択された３次元形状モデルについて、前記３次元形状モデルをボクセル変換したボクセルモデルの重心から前記３次元形状モデル領域内の各ボクセルまでの距離について、距離毎に該当する画素の数を集積したヒストグラムである３次元形状特徴量を抽出する３次元形状特徴量抽出手段を更に備え、
   前記データベースは、更に、複数の前記３次元形状モデルの前記３次元形状特徴量を予め記憶し、
   前記検索手段は、前記画素連結性ヒストグラム及び前記半径ヒストグラムに加え、更に、前記３次元形状特徴量抽出手段により抽出された前記３次元形状特徴量に基づいて、前記データベースから前記手書き画像に類似する３次元形状モデルを再検索することを特徴とする請求項１に記載の３次元形状検索装置。
5. コンピュータにより実行される３次元形状検索方法であって、
   コンピュータの制御部が、任意の物体の手書き画像を入力する入力ステップと、
   前記制御部が、入力された手書き画像について、前記手書き画像の輪郭線上の注目画素に隣接する複数の方向の画素のうち、いずれの方向に次の輪郭線上の画素が出現するかを示した度数分布である画素連結性ヒストグラム、及び前記手書き画像の輪郭線内を塗りつぶした画像の重心から輪郭線内の各画素までの距離について、距離毎に該当する画素の数を集積した度数分布である半径ヒストグラムを抽出する特徴量抽出ステップと、
   前記制御部が、複数の３次元形状モデルと、前記３次元形状モデルの２次元投影画像から算出される２種類の特徴量として、前記画素連結性ヒストグラム及び前記半径ヒストグラムとを予め記憶したデータベースから、前記画素連結性ヒストグラム及び前記半径ヒストグラムに基づいて、前記手書き画像に類似する３次元形状モデルを検索する検索ステップと、
   前記制御部が、検索結果を提示する提示ステップと、
   を含むことを特徴とする３次元形状検索方法。
6. コンピュータにより読み取り可能な形式で記述されたプログラムであって、
   任意の物体の手書き画像を入力する入力ステップと、
   入力された手書き画像について、前記手書き画像の輪郭線上の注目画素に隣接する複数の方向の画素のうち、いずれの方向に次の輪郭線上の画素が出現するかを示した度数分布である画素連結性ヒストグラム、及び前記手書き画像の輪郭線内を塗りつぶした画像の重心から輪郭線内の各画素までの距離について、距離毎に該当する画素の数を集積した度数分布である半径ヒストグラムを抽出する特徴量抽出ステップと、
   複数の３次元形状モデルと、前記３次元形状モデルの２次元投影画像から算出される２種類の特徴量として、前記画素連結性ヒストグラム及び前記半径ヒストグラムとを予め記憶したデータベースから、前記画素連結性ヒストグラム及び前記半径ヒストグラムに基づいて、前記手書き画像に類似する３次元形状モデルを検索する検索ステップと、
   検索結果を提示する提示ステップと、
   を含む処理をコンピュータに実行させるためのプログラム。