JP4568967B2 - ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム記録媒体 - Google Patents
３次元画像生成システムおよび３次元画像生成方法、並びにプログラム記録媒体 Download PDFInfo
- Publication number
- JP4568967B2 JP4568967B2 JP2000212541A JP2000212541A JP4568967B2 JP 4568967 B2 JP4568967 B2 JP 4568967B2 JP 2000212541 A JP2000212541 A JP 2000212541A JP 2000212541 A JP2000212541 A JP 2000212541A JP 4568967 B2 JP4568967 B2 JP 4568967B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- image
- dimensional
- model
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、単眼カメラで撮影した複数枚の２次元画像から、その画像内に映されている注目対象の特徴点を追跡することによって、対象の３次元形状を生成する３Ｄモデリングにおいて、知識ベース、または対象モデルベースでの特徴点の自動抽出、追跡と修正及び三角パッチの自動作成手法を実現する３次元画像生成システムおよび３次元画像生成方法に関する。
【０００２】
【従来の技術】
野外で歩きながらデジタルカメラやビデオカメラで撮影し記録された景色、建築物等や、人物の顔写真などの複数枚画像（または時系列画像）において、その撮影視点と対象との間に相対的な動きがあれば、それらの複数枚の画像や時系列画像から撮影対象の３次元形状を復元することが原理的に可能である。実際に、このような複数枚の画像を用いてカメラの相対運動と対象形状とを同時に求める手法の研究は、様々な応用分野に期待される重要なテーマである。その一つの代表的な手法としては、画像における対象の特徴（物体の角やエッジ部などの点、線等）を抽出し、時系列画像における同一対象の特徴を追跡し、線形的なカメラ射影モデルを用いる因子分解法（Factorization）によって、対象の３Ｄ形状を復元する手法が金出らにより提案された［例えば、(1)Carlo Tomasi: Shape and Motion from Image Streams: a Factorization Method. CMU-CS-91-172, Sep. 1991，(2)Conrad J. Poelman: A Paraperspective and Projective Factorization Methods for Recovering Shape and Motion. CMU-CS-95-173, (1995)，(3)Joao Costeira and Takeo Kanade: A Multi-body Factorization Method for Motion Analysis. CMU-CS-TR-94-220, (1994)，(4)Toshihiko Morita and Takeo Kanade: A Sequential Factorization Method for Recovering Shape and Motion from Image Streams. CMU-CS-94-158, (1994)，(5)Naoki Chiba and Takeo Kanade: A Tracker for Broken and Closely-Spaced Lines. CMU-CS-97-182, Oct. (1997)］。この方法による３次元形状とカメラ動き復元の概念図を図1に示す。
【０００３】
まず、カメラの視点を変えながら、対象を撮影する。撮影したＦ枚の画像を｛ｆｔ（ｘ，ｙ）｜ｔ＝１，．．．．，Ｆ｝と記し、その一枚目の画像ｆ１（ｘ，ｙ）からＰ個の特徴点をウィンドウ内の分散評価値などによって抽出し、Ｆ枚の画像にわたって追跡する。特徴点追跡によって得られた各フレーム上の特徴点座標（Ｘｆｐ，Ｙｆｐ）を行列Ｗ（ここで計測行列と呼ぶ）で表現することができる。そして、線形的な射影モデルを適用し、特異値分解法（ＳＶＤ）によって計測行列Ｗを２つの直行行列Ｕ，Ｖ’と対角行列Σに分解することができる。そこで、直行行列Ｕ，Ｖ’では、それぞれカメラの動き情報Ｍと対象の３次元情報Ｓが含まれている。また、カメラの姿勢を表現する単位ベクトル（ｉ，ｊ，ｋ）の拘束条件を用いると、ＭとＳを一意に決めるための行列Ａが求められる。従って、カメラ動きＭと対象の３次元形状Ｓが一意に決まることになる。
【０００４】
一般的に、この方法は、対象の３次元形状を高速に復元すると同時に、撮影カメラの３次元情報(位置・姿勢・画角など)も復元することが可能である。
【０００５】
【発明が解決しようとする課題】
この手法では、必要となる特徴点を確実に抽出し、追跡することが最も重要である。しかしながら、実際には、対象の３次元形状を作成するために、どんな特徴点が必要であるかといった基準が明確ではない。また、それらの必要となる特徴点に対して、複数枚の画像において、特徴点の対応付け（特徴点追跡）を確実に行うことが必ずしも容易ではない。さらに、対象の３次元形状を表現するために、特徴点の間に三角パッチを作成し、それらのパッチにテクスチャ画像をマッピングする必要があるが、このような三角パッチが対象の３次元形状に依存するので、三角パッチの自動作成が容易ではない。
【０００６】
本発明は、これらの課題を検討し、対象に関する先見的な知識による特徴点決定方法を示し、それらの特徴点追跡法及び誤追跡の修正方法を提案する。また、同じ知識モデルに基づいて、特徴点間の三角パッチを自動的に作成することが可能となる手法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
複数の入力画像に関する特徴点追跡処理により３次元画像を生成する３次元画像生成システムにおいて、
データベースに格納された形状モデルに基づいて、入力画像上に３次元モデル生成領域を設定する３次元モデル生成領域抽出処理手段と、
データベースに格納された特徴点位置データに基づいて、入力画像の３次元モデル生成領域に特徴点を設定する３次元モデル特徴点選択処理手段と、
データベースに格納されたパッチ領域設定データに基づいて、入力画像の３次元モデル生成領域に設定された特徴点を頂点とする三角パッチ領域を設定する３次元モデルパッチ領域設定処理手段と、
前記特徴点追跡処理を行う対象を異なる視点から撮影した前記複数の入力画像から、前記パッチ領域毎に最も解像度の高い画像を選択して、選択画像を各パッチ領域に適用するテクスチャ画像としてテクスチャマッピングを実行して３次元画像を生成するテクスチャマッピング手段と
を有することを特徴とする３次元画像生成システムにある。
【０００８】
さらに、本発明の３次元画像生成システムの一実施態様において、前記３次元モデル生成領域抽出処理手段は、入力画像上の色相等の特性を判別し、判別によって得られる領域形状と、前記データベースに格納された形状モデルとの比較によって、入力画像上に３次元モデル生成領域を設定する構成であることを特徴とする。
【０００９】
さらに、本発明の３次元画像生成システムの一実施態様において、前記３次元モデル特徴点選択処理手段は、前記特徴点選択処理において、特定モデルに対して適用可能なウィンドウ設定テンプレートを適用して、複数のフレーム画像に対して特徴点追跡用ウィンドウの設定処理を実行する構成を有することを特徴とする。
【００１０】
さらに、本発明の３次元画像生成システムの一実施態様において、テンプレートマッチングによる特徴点追跡処理において取得された特徴点追跡結果座標値と特徴点マップを用いた初期追跡結果座標値との差分と、予め定めた閾値とを比較して、該差分が閾値より大である場合に、テンプレートマッチングによる特徴点追跡結果をエラーと判定して、該エラーと判定された特徴点を周囲の特徴点に基づいて補正する補正処理を実行する構成を有することを特徴とする。
【００１３】
さらに、本発明の第２の側面は、
複数の入力画像に関する特徴点追跡処理により３次元画像を生成する３次元画像生成方法において、
データベースに格納された形状モデルに基づいて、入力画像上に３次元モデル生成領域を設定する３次元モデル生成領域抽出処理ステップと、
データベースに格納された特徴点位置データに基づいて、入力画像の３次元モデル生成領域に特徴点を設定する３次元モデル特徴点選択処理ステップと、
データベースに格納されたパッチ領域設定データに基づいて、入力画像の３次元モデル生成領域に設定された特徴点を頂点とする三角パッチ領域を設定する３次元モデルパッチ領域設定処理ステップと、
前記特徴点追跡処理を行う対象を異なる視点から撮影した前記複数の入力画像から、前記パッチ領域毎に最も解像度の高い画像を選択して、選択画像を各パッチ領域に適用するテクスチャ画像としてテクスチャマッピングを実行して３次元画像を生成するテクスチャマッピング・ステップと
を有することを特徴とする３次元画像生成方法にある。
【００１４】
さらに、本発明の３次元画像生成方法の一実施態様において、前記３次元モデル生成領域抽出処理ステップは、入力画像上の色相等の特性を判別し、判別によって得られる領域形状と、前記データベースに格納された形状モデルとの比較によって、入力画像上に３次元モデル生成領域を設定することを特徴とする。
【００１５】
さらに、本発明の３次元画像生成方法の一実施態様において、前記３次元モデル特徴点選択処理ステップは、前記特徴点選択処理において、特定モデルに対して適用可能なウィンドウ設定テンプレートを適用して、複数のフレーム画像に対して特徴点追跡用ウィンドウの設定処理を実行することを特徴とする。
【００１６】
さらに、本発明の３次元画像生成方法の一実施態様において、テンプレートマッチングによる特徴点追跡処理において取得された特徴点追跡結果座標値と特徴点マップを用いた初期追跡結果座標値との差分と、予め定めた閾値とを比較して、該差分が閾値より大である場合に、テンプレートマッチングによる特徴点追跡結果をエラーと判定して、該エラーと判定された特徴点を周囲の特徴点に基づいて補正する補正処理を実行することを特徴とする。
【００１９】
さらに、本発明の第３の側面は、
複数の入力画像に関する特徴点追跡処理により３次元画像を生成する３次元画像生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを記録したプログラム記録媒体であって、前記コンピュータ・プログラムは、
データベースに格納された形状モデルに基づいて、入力画像上に３次元モデル生成領域を設定する３次元モデル生成領域抽出処理ステップと、
データベースに格納された特徴点位置データに基づいて、入力画像の３次元モデル生成領域に特徴点を設定する３次元モデル特徴点選択処理ステップと、
データベースに格納されたパッチ領域設定データに基づいて、入力画像の３次元モデル生成領域に設定された特徴点を頂点とする三角パッチ領域を設定する３次元モデルパッチ領域設定処理ステップと、
前記特徴点追跡処理を行う対象を異なる視点から撮影した前記複数の入力画像から、前記パッチ領域毎に最も解像度の高い画像を選択して、選択画像を各パッチ領域に適用するテクスチャ画像としてテクスチャマッピングを実行して３次元画像を生成するテクスチャマッピング・ステップと
を有することを特徴とするプログラム記録媒体にある。
【００２０】
本発明の第３の側面に係るプログラム記録媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。媒体は、ＣＤやＦＤ、ＭＯなどの記録媒体など、その形態は特に限定されない。
【００２１】
このようなプログラム記録媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと記録媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該記録媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００２２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく詳細な説明によって明らかになるであろう。
【００２３】
【発明の実施の形態】
本発明の３次元画像生成システムおよび３次元画像生成方法について、以下詳細に説明する。まず、図２に、本発明の３次元画像生成システムの構成を示す。本発明の３次元画像生成システムは、市販のデジタルカメラ、ＤＶカム、カメラ付きパソコン上のデジタルカメラ、３Ｄ形状撮影（処理）モード付きのカメラ等によって注目対象を撮影する画像撮影ユニット２０１、撮影手段に対応して、撮影された複数枚画像をパソコンの内部メモリまたはカメラに付属する記録媒体（市販のメモリカード、磁気テープ、レーザー記録ディスクなど）に保存する画像保存ユニット２０２、撮影手段によって、カメラ側の記録媒体に保存されていた画像をUSB、i.Link、メモリカードアダプタなどのような標準インターフェースを装備するパソコンや専用装置などに転送できる画像転送ユニット２０３、予めに用意されていた画像パターン（例えば、チェッカーパターンなど）を用いて、カメラの内部パラメータを求めて、それらのパラメータを用いて、入力画像の幾何学的歪みなどを取り除く画像補正ユニット２０４、パソコンや専用装置によって、前述の画像補正処理後の入力画像から注目対象の３次元形状を推定する３次元処理ユニット２０５、同一対象に対して、異なる視点で撮影した画像列から推定された幾つかの３次元形状を貼あわせて、その対象の全周３次元形状を作成したり、違う対象の複数個の３次元形状を貼り合わせて、３次元パノラマ形状を作成する３次元形状貼り合わせユニット２０６、推定された３次元形状データ（三角パッチ）に高画質のテクスチャ画像をマッピングするテクスチャマッピングユニット２０７、テクスチャ画像付きの３次元形状データを標準的なVRMLファイルフォーマットで保存され、それをローカル、またはネットワークを通して表示する処理を実行する３Ｄ画像表示ユニット２０８から構成されるものである。以下、各ユニットの詳細について述べる。
【００２４】
画像撮影ユニット２０１は、市販のデジタルカメラ、ＤＶカム、カメラ付きパソコン上のデジタルカメラ、３Ｄ形状撮影（処理）モード付きのカメラ等のセンシングデバイスで対象を撮影するものである。
【００２５】
画像保存ユニット２０２は、カメラで撮影した画像をメモリカード、磁気テープ、レーザーディスクなどの記録媒体に保存するものである。カメラ付きパソコンに対しては、撮影した画像を直接に内部メモリまたはハードディスクなどの記録媒体に保存することも可能である。
【００２６】
画像転送ユニット２０３は、カメラ側の記録媒体に保存されていた画像をUSB、i.Link、メモリカードアダプタなどの標準インターフェースを通して、パソコンや専用３次元処理装置などに転送するものである。画像補正ユニット２０４は、予めに用意されていた既知の画像パターン（例えば、チェッカーパターンなど）を同一のカメラで撮影し、カメラの内部パラメータを求める。そして、撮影した複数枚の画像（入力画像）に対して、カメラの内部パラメータによる画像補正処理を行い、入力画像の幾何学的歪みなどを取り除く処理を実行する。
【００２７】
画像補正ユニット２０４で実行されるカメラ内部パラメータのキャリブレーション手法について図３のフローを用いて説明する。
【００２８】
まずステップＳ３０１で、特定の形状パターンが設定されている特徴パターン（例えば、図３右下に示すようなチェッカパターン）を撮影し、それをＩｍ（ｘ，ｙ）とする。次に、ステップＳ３０２で、撮影画像Ｉｍ（ｘ，ｙ）から理想的な合成画像Ｉｍ２（ｕ，ｖ）を作成する。なお、撮影画像と合成画像との関係：合成画像を射影変換行列Ｈにより変換した画像をカメラ内部の歪パラメータによって変形したものが撮影画像となる。さらに、ステップＳ３０３で、撮影画像と合成画像との誤差を評価し、その誤差が最小となるように、カメラ内部の歪パラメータを推定する。なお、撮影画像と合成画像との誤差は、以下に示す式によって求められる。
【００２９】
【数１】
Ｅ＝Σ｛Ｉｍ１（ｘ，ｙ）−Ｉｍ２（ｕ，ｖ）｝2
【００３０】
ここで、推定されるカメラ内部パラメータとは、歪中心ｃｐ，ｃｑ（distortion center）、アスペクト比ｓｖ(aspect ratio)、カッパκ（distortion coefficient）である。画像補正ユニット２０４は、これらのカメラ内部パラメータを用いて、撮影画像の補正を実行する。
【００３１】
３次元処理ユニット２０５は、複枚数の画像から注目対象の３次元形状を生成する処理としての特徴点抽出、追跡、パッチ設定処理を主に実行するものである。その詳細は、次の図４を参照しながら説明する。
【００３２】
図４に示すように、３次元処理ユニット２０５は、３次元モデル生成領域抽出処理手段２０５１、３次元モデル特徴点選択、追跡処理手段２０５２、３次元モデルパッチ領域設定処理手段２０５３、形状モデル（知識モデル）データベース２０５４を有する。
【００３３】
３次元モデル生成領域抽出処理手段２０５１は、画像転送ユニットから複数の画像を受領し、例えばその中から１フレーム目の入力画像を基準画像として、基準画像中から、３次元モデルの生成領域を抽出する。領域抽出処理は、形状モデル（知識モデル）データベース２０５４中のデータに基づいて実行される。３次元モデル生成領域抽出処理手段２０５１は、入力画像上の色相特性を判別し、判別によって得られる領域形状と、形状モデル（知識モデル）データベース２０５４に格納された形状モデルとの比較によって、入力画像上に３次元モデル生成領域を設定する。
【００３４】
３次元モデル生成領域抽出処理手段２０５１により、３次元モデル生成領域が選択されると、３次元モデル特徴点選択、追跡処理手段２０５２が、選択領域内において、特徴点を設定し、さらに、基準画像以外の画像における特徴点の対応点を探索、すなわち特徴点追跡を実行する。この処理も、形状モデル（知識モデル）データベース２０５４中のデータに基づいて実行される。
【００３５】
３次元モデル生成領域抽出処理手段２０５１による３次元モデル生成領域の選択処理、および３次元モデル特徴点選択、追跡処理手段２０５２による特徴点選択処理の具体例を図５，６を用いて説明する。
【００３６】
図５は、1フレーム目の入力画像から顔の部分を３次元モデル生成領域として領域抽出し、特徴点を抽出する処理の実例を示した図である。図５(a)は入力画像であり、図５(b)は、形状モデル（知識モデル）データベース２０５４に格納された顔の形状モデルを表す。本発明のシステムでは、形状モデル（知識モデル）データベース２０５４に格納された顔の形状モデル及び顔の色相特性などを用いて、３次元モデル生成領域抽出処理手段２０５１が入力画像と、モデルとの対比を実行して、図５(d)のような顔の領域を３次元モデル生成領域として検出する。
【００３７】
さらに、３次元モデル特徴点選択、追跡処理手段２０５２は、形状モデル（知識モデル）データベース２０５４に格納された顔の特徴点位置モデル（図５(e)）を用いて、実際の入力画像における顔位置とのマッチング処理を実行して、顔の特徴点の位置を決める（図５(f)）。
【００３８】
本発明のシステムでは、ほぼ楕円形状とした顔のモデル（図５（ｂ））により、３次元モデル生成領域である顔領域を検出し、さらに、その楕円形状に対応して設定されている特徴点一を設定した特徴点位置モデルにより、入力画像に設定された３次元モデル生成領域内に特徴点を自動的に設定する。
【００３９】
図６は、顔領域抽出のもう一つの手法を示す。３次元モデル生成領域抽出処理手段２０５１は、図６(a)の入力画像に対して、色分布を解析し、色相特性によって顔の領域（首の部分を含む）を検出する（図６(b)）。そこで、両目の色相特性と顔部分の色相特性が違うので、両目の位置（目の中心）及び両面間の中心位置も同時に検出される。そして、予め形状モデル（知識モデル）データベース２０５４に用意されていた顔の幾何学形状モデル（例えば、図６(d)のx0/y0等）を用いて、画像内の顔領域を検出する（図６(e)）。
【００４０】
このように、本発明のシステムでは、入力画像の持つ例えば色相特性から、撮影された被写体を分析し、形状モデル（知識モデル）データベース２０５４に格納された形状モデルとの相関をとり、適当なモデルをあてはめて３次元モデル生成領域の抽出を実行し、さらに、モデルに対応して特徴点位置を設定した特徴点位置モデルにより、基準画像に自動的に特徴点を設定する。
【００４１】
以上の処理をフローに示すと、図７のようになる。まずステップＳ７０１で、画像を入力し、ステップＳ７０２において、注目対象、すなわち３次元モデルを生成する対象に対応する形状モデルを、データベースに格納されたモデル中から選択する。さらに、ステップＳ７０３において、入力画像の色相特性等と選択モデルとを対比しながら、３次元モデルを生成する領域を抽出する。さらに、ステップＳ７０４において、データベースに格納されたモデルに対応して特徴点位置を設定した特徴点位置モデルに基づいて入力画像中に特徴点を設定する。
【００４２】
特徴点抽出後、３次元モデル特徴点選択、追跡処理手段２０５２は、設定した特徴点に対して特徴点追跡処理を実行する。
【００４３】
図８は、特徴点追跡の一手法を示した。ステップＳ８０１に示すように、Ｆ枚の入力画像に対して、前述の方法で抽出したｎ個の特徴点位置の追跡処理を行う。例えば、i番目の画像fi(x,y)における特徴点Pjに対して、次の(i+1)番目画像fi+1(x,y)上の対応点を見つけるには、まず画像fi+1(x,y)上の探索領域を設定（ステップＳ８０４）して、ステップＳ８０５において、その探索領域内で特徴点Pjと最も相似するものをある評価値（相似性評価値）に基づいて検出する。ここでの相似性評価値が、正規化相関や最小二乗法などによって求められる。また、探索される領域内のパターンは回転処理されたものでもよい。評価値の最も高いものを選択（ステップＳ８０６）して追跡された特徴点とする。
【００４４】
このような処理で全ての画像を渡って追跡し、その結果を保存して追跡処理を完了（Ｓ８１０）する。そして、保存された結果に対して、特徴点追跡エラーの有無をチェック（Ｓ８１１）し、誤追跡がある時、特徴点エラー修正モード（Ｓ８１２）によって、それらのエラー追跡点の座標値を修正（Ｓ８１５）する。全ての誤追跡点が修正されたら、それらの特徴点座標を計測行列に格納し特徴点追跡を完了（Ｓ８１７）する。
【００４５】
これらの特徴点追跡の結果得られた複数画像の対応に基づいて、図１に示された因子分解法によって、カメラ射影モデルを用いて対象の形状とカメラ動きを一意的に求める。
【００４６】
顔を３次元画像生成モデルとした場合の特徴点選択、追跡処理について、図９、１０を用いて説明する。図９の上段（ａ）に示すように、複数の画像としてフレーム１〜１２が入力され、この中から基準画像を１つ、例えばフレーム１を選択して、基準フレーム上の画像において、形状モデル（知識モデル）データベース２０５４に格納された形状モデルとの相関をとり、適当なモデルをあてはめて３次元モデル生成領域の抽出を実行し、さらに、モデルに対応して特徴点位置を設定した特徴点位置モデルにより、基準画像に自動的に特徴点を設定する。
【００４７】
さらに、基準画像に設定したテンプレートに対応する画像が撮り込まれている他のフレーム画像領域に同様の枠を設定する（図９（ｂ））。さらに、基準画像のテンプレートに矩形領域ウィンドウによって構成される特徴点マップを設定し、他のフレーム画像において、基準画像の特徴点に対する相似パターンを探索して相似性評価値を算出し、これを予め定めた閾値と比較して、基準を満たすもののみを特徴点として識別して保存する。このように複数画像を特徴点マップによって対応付けて特徴点の初期追跡を行ない、各画像間のおおよその特徴点位置を判別する。
【００４８】
特徴点追跡について、オクルージョンなどの原因で誤ってしまった特徴点追跡エラー処理を含めた詳細処理フローを図１０に示す。図１０のステップＳ１００１では、Ｆ枚の画像を入力し、ステップＳ１００２では、１枚の画像を基準画像として選択して、例えばＰ個の特徴点マップを作成する。ステップＳ１００３では、特徴点の領域を識別可能とするテンプレートを設定する。
【００４９】
次に、各特徴点、各フレーム画像について、基準画像に設定したテンプレートを用いた特徴点追跡処理（Ｓ１００６）を実行する。追跡結果の評価は、ステップＳ１００７に示すように、Ｅ＝｜追跡結果（座標値）−初期追跡結果（座標値）｜により、座標値の誤差を算出し、これを予め定めた閾値と比較（Ｓ１００８）し、基準を満たすもののみを正当な特徴点追跡結果であるとして保存（Ｓ１００９）する。
【００５０】
具体的には、テンプレートマッチングを用い、例えば正規化相関によってマッチングした点を追跡結果（座標値）とし、前述の特徴点マップによる追跡結果を初期追跡結果（座標値）として、その差分を算出し、算出した差分と閾値とを比較する。その比較において基準を満たさない場合は、ステップＳ１０１３において、エラーとして識別された特徴点であることを示すラベルを追跡結果に対して設定する。これらの処理をすべての特徴点と画像フレームに対して実行すると、エラーのラベルの付与された追跡点が抽出され、これをステップＳ１０１１において、エラー追跡点の周囲の特徴点との関連によってエラーの付加された追跡結果を補正する。図１０（ｃ）に示すように、追跡結果の周囲に正しく追跡された特徴点があるので、これらを用いて、エラーのラベルづけのなされた追跡点の補正を行なう。
【００５１】
３次元モデル特徴点選択、追跡処理手段２０５２による特徴点選択処理、追跡処理が終了すると、図４に示す３次元モデルパッチ領域設定手段２０５３によるパッチ領域設定が実行される。
【００５２】
図１１は、顔を対象とした場合、予め用意されていた顔モデルの特徴点（数と位置）と実際に検出された顔の特徴点との対応付けを行い、顔モデルに定義された特徴点の間の関係によって、顔の三角パッチを作成する例を示した。３次元モデルパッチ領域設定手段２０５３によるパッチ領域設定は、予め形状モデル（知識モデル）データベース２０５４に格納されているモデルに対応するパッチ領域データに基づいて実行される。形状モデル（知識モデル）データベース２０５４には、例えばモデルが顔である場合には、パッチ領域データ１１０１が抽出され、このパッチ領域データに基づいて画像にパッチ領域が設定される。パッチは特徴点を頂点とする三角領域によって設定される。例えばパッチ領域データ１１０１には特徴点１，２，５を３頂点とする三角領域、１，５，３を３頂点とする三角領域等がパッチ領域として設定されている。
【００５３】
図１２は、設定されたパッチ面にテクスチャ画像をマッピングする実施例を示す。前述の方法で求められたカメラ動きと位置情報を用いて、各三角パッチ面の法線ベクトルと最も正対するカメラの位置で撮影した画像（解像度が最も高い画像）を選択し、画像濃淡値の正規化処理及び各パッチ面間のスムージング処理によって得られた一枚のテクスチャ画像を用いてマッピングする。
【００５４】
図１３は、本発明の３次元画像生成システムにおける３次元画像生成処理全体の処理手順を示すフローである。
【００５５】
ステップＳ１３０１は、画像撮影ユニット２０１、画像保存ユニット２０２、画像転送ユニット２０３による画像撮影、転送処理であり、ステップＳ１３０２は、上述した画像補正ユニット２０４で実行される画像補正処理ステップである。
【００５６】
ステップＳ１３０３の知識ベースの特徴点自動選択は、前述したように、図４に示す３次元モデル特徴点選択、追跡処理手段２０５２によって、形状モデル（知識モデル）データベースに格納されたデータに基づいて実行される特徴点自動選択処理である。ステップＳ１３０４の特徴ウィンドウの追跡処理および結果保存は、やはり図４に示す３次元モデル特徴点選択、追跡処理手段２０５２によって実行される処理であり、選択された特徴ウィンドウに対して、複数枚の画像に渡って、各画像における同一の特徴ウィンドウ（特徴ウィンドウの対応付け）を探索する。すなわち、図８、図９を用いて説明した処理である。
【００５７】
さらに、ステップＳ１３０５では、特徴点追跡におけるエラーの有無を判定し、エラーがある場合は、ステップＳ１３０６において、追跡エラーの修正処理を行なう。この処理は、先に図１０を用いて説明した処理である。
【００５８】
ところで、前述の追跡処理を用いても、完全に正確な特徴点位置を得ることが困難である場合には、特徴点位置修正モードにおいて、手動によって、そのエラー追跡点の位置（座標値）を修正する構成としてもよい。これは、ビジュアルインタフェースにより、ディスプレイに基準画像、特徴点設定対象画像のそれぞれにテンプレートに対応するウィンドウを表示し、正確な特徴点位置をユーザが設定可能とするものである。ユーザによる画面の確認により、正確な特徴点の入力、修正が可能となる。
【００５９】
入力画像上の特徴点をチェックし、全ての特徴点位置が正しく修正されたら、３次元形状推定処理（Ｓ１３０７）を行い、注目対象の３次元形状と撮影時のカメラ動き（位置、姿勢）を推定し、それらの結果を出力（Ｓ１３０８）する。ここで、３次元形状データとは、２次元画像上の注目対象における特徴点を３次元空間へ逆射影する時の特徴点位置（３次元座標値）である。次に、ステップＳ１３０９，Ｓ１３１０において、三角パッチの生成、およびテクスチャマッピング、３次元形状の貼り合わせ処理を実行して３次元画像を生成する。
【００６０】
図１４は、上述した本発明の３次元画像生成システムにより、対象モデルベースの特徴点選択＆三角パッチ作成処理の具体的例を示した図である。図１４(a)は、１フレーム目の入力画像を示す。図１４(b)は、顔の色相特性と幾何学的形状モデルに基づいて検出した顔の領域、及び特徴点位置である。ここで、特徴点の数と位置は、顔のモデルによって予め作成している。図１４(c)は、顔の形状モデルに基づいて、抽出された特徴点を用いて、作成した三角パッチを示し、図１４(d)は、それらの三角パッチ面に最も解像度の高い画像を用いてテクスチャマッピングを行った結果、及びその三角パッチ（ワイヤーフレーム）を示した図である。
【００６１】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００６２】
【発明の効果】
以上、説明したように、本発明の３次元画像生成システムおよび３次元画像生成方法によれば、以下のような様々な効果がもたらされる。(1)対象の特性と形状モデルに基づく領域抽出法によって、例えば、顔の領域などを自動的に検出することが可能となり、顔検出と顔認識などにも適用できる。また、（2)抽出された対象領域に対して、対象の知識モデルによって特徴点を自動的に決めることが可能となり、一般的な特徴量評価値による特徴ウィンドウの決め方と比較して、より正確で確実となる。(3)抽出された特徴点に対して、複数枚の画像間の対応付け（特徴点追跡）及び誤対応の修正を行うことによって、より精度の高い３次元形状復元が可能となる。(4)抽出された対象の特徴点に対して、知識モデルによる三角パッチを自動的に作成することによって、実際の対象形状と一致するワイヤーフレーム表現が可能となる。(5)作成された各三角パッチに対して、それらの三角パッチの法線方向に最も正対するテクスチャ画像を自動的に選択し、濃淡値正規化処理などを含んだ高解像度テクスチャマッピングが可能となる。
【図面の簡単な説明】
【図１】３次元画像処理における因子分解法を説明する図である。
【図２】本発明の３次元画像生成システムのシステム構成を示す図である。
【図３】本発明の３次元画像生成システムにおけるカメラパラメータのキャリブレーション処理について説明する図である。
【図４】本発明の３次元画像生成システムの３次元処理ユニットの詳細構成を示すブロック図である。
【図５】本発明の３次元画像生成システムの３次元モデル生成領域抽出処理の具体例を示す図である。
【図６】本発明の３次元画像生成システムの３次元モデル生成領域抽出処理の具体例を示す図である。
【図７】本発明の３次元画像生成システムの３次元処理ユニットの処理フローを示す図である。
【図８】本発明の３次元画像生成システムにおける特徴点追跡処理について説明するフロー図である。
【図９】本発明の３次元画像生成システムにおける特徴点追跡処理について説明する図である。
【図１０】本発明の３次元画像生成システムにおける特徴点追跡処理について説明するフロー図である。
【図１１】本発明の３次元画像生成システムの３次元モデルパッチ領域設定処理の具体例を示す図である。
【図１２】本発明の３次元画像生成システムにおけるテクスチャマッピング処理について説明する図である。
【図１３】本発明の３次元画像生成システムにおける３次元モデル生成処理について説明するフロー図である。
【図１４】本発明の３次元画像生成システムにおける特徴点選択、三角パッチ生成処理の処理具体例について説明する図である。
【符号の説明】
２０１ 画像撮影ユニット
２０２ 画像保存ユニット
２０３ 画像転送ユニット
２０４ 画像補正ユニット
２０５ ３次元処理ユニット
２０６ ３次元形状貼り合わせユニット
２０７ テクスチャマッピングユニット
２０８ ３Ｄ画像表示ユニット
２０５１ ３次元モデル生成領域抽出処理手段
２０５２ ３次元モデル特徴点選択、追跡処理手段
２０５３ ３次元モデルパッチ利用域設定処理手段
２０５４ ３次元モデル（知識モデル）データベース
【発明の属する技術分野】
本発明は、単眼カメラで撮影した複数枚の２次元画像から、その画像内に映されている注目対象の特徴点を追跡することによって、対象の３次元形状を生成する３Ｄモデリングにおいて、知識ベース、または対象モデルベースでの特徴点の自動抽出、追跡と修正及び三角パッチの自動作成手法を実現する３次元画像生成システムおよび３次元画像生成方法に関する。
【０００２】
【従来の技術】
野外で歩きながらデジタルカメラやビデオカメラで撮影し記録された景色、建築物等や、人物の顔写真などの複数枚画像（または時系列画像）において、その撮影視点と対象との間に相対的な動きがあれば、それらの複数枚の画像や時系列画像から撮影対象の３次元形状を復元することが原理的に可能である。実際に、このような複数枚の画像を用いてカメラの相対運動と対象形状とを同時に求める手法の研究は、様々な応用分野に期待される重要なテーマである。その一つの代表的な手法としては、画像における対象の特徴（物体の角やエッジ部などの点、線等）を抽出し、時系列画像における同一対象の特徴を追跡し、線形的なカメラ射影モデルを用いる因子分解法（Factorization）によって、対象の３Ｄ形状を復元する手法が金出らにより提案された［例えば、(1)Carlo Tomasi: Shape and Motion from Image Streams: a Factorization Method. CMU-CS-91-172, Sep. 1991，(2)Conrad J. Poelman: A Paraperspective and Projective Factorization Methods for Recovering Shape and Motion. CMU-CS-95-173, (1995)，(3)Joao Costeira and Takeo Kanade: A Multi-body Factorization Method for Motion Analysis. CMU-CS-TR-94-220, (1994)，(4)Toshihiko Morita and Takeo Kanade: A Sequential Factorization Method for Recovering Shape and Motion from Image Streams. CMU-CS-94-158, (1994)，(5)Naoki Chiba and Takeo Kanade: A Tracker for Broken and Closely-Spaced Lines. CMU-CS-97-182, Oct. (1997)］。この方法による３次元形状とカメラ動き復元の概念図を図1に示す。
【０００３】
まず、カメラの視点を変えながら、対象を撮影する。撮影したＦ枚の画像を｛ｆｔ（ｘ，ｙ）｜ｔ＝１，．．．．，Ｆ｝と記し、その一枚目の画像ｆ１（ｘ，ｙ）からＰ個の特徴点をウィンドウ内の分散評価値などによって抽出し、Ｆ枚の画像にわたって追跡する。特徴点追跡によって得られた各フレーム上の特徴点座標（Ｘｆｐ，Ｙｆｐ）を行列Ｗ（ここで計測行列と呼ぶ）で表現することができる。そして、線形的な射影モデルを適用し、特異値分解法（ＳＶＤ）によって計測行列Ｗを２つの直行行列Ｕ，Ｖ’と対角行列Σに分解することができる。そこで、直行行列Ｕ，Ｖ’では、それぞれカメラの動き情報Ｍと対象の３次元情報Ｓが含まれている。また、カメラの姿勢を表現する単位ベクトル（ｉ，ｊ，ｋ）の拘束条件を用いると、ＭとＳを一意に決めるための行列Ａが求められる。従って、カメラ動きＭと対象の３次元形状Ｓが一意に決まることになる。
【０００４】
一般的に、この方法は、対象の３次元形状を高速に復元すると同時に、撮影カメラの３次元情報(位置・姿勢・画角など)も復元することが可能である。
【０００５】
【発明が解決しようとする課題】
この手法では、必要となる特徴点を確実に抽出し、追跡することが最も重要である。しかしながら、実際には、対象の３次元形状を作成するために、どんな特徴点が必要であるかといった基準が明確ではない。また、それらの必要となる特徴点に対して、複数枚の画像において、特徴点の対応付け（特徴点追跡）を確実に行うことが必ずしも容易ではない。さらに、対象の３次元形状を表現するために、特徴点の間に三角パッチを作成し、それらのパッチにテクスチャ画像をマッピングする必要があるが、このような三角パッチが対象の３次元形状に依存するので、三角パッチの自動作成が容易ではない。
【０００６】
本発明は、これらの課題を検討し、対象に関する先見的な知識による特徴点決定方法を示し、それらの特徴点追跡法及び誤追跡の修正方法を提案する。また、同じ知識モデルに基づいて、特徴点間の三角パッチを自動的に作成することが可能となる手法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
複数の入力画像に関する特徴点追跡処理により３次元画像を生成する３次元画像生成システムにおいて、
データベースに格納された形状モデルに基づいて、入力画像上に３次元モデル生成領域を設定する３次元モデル生成領域抽出処理手段と、
データベースに格納された特徴点位置データに基づいて、入力画像の３次元モデル生成領域に特徴点を設定する３次元モデル特徴点選択処理手段と、
データベースに格納されたパッチ領域設定データに基づいて、入力画像の３次元モデル生成領域に設定された特徴点を頂点とする三角パッチ領域を設定する３次元モデルパッチ領域設定処理手段と、
前記特徴点追跡処理を行う対象を異なる視点から撮影した前記複数の入力画像から、前記パッチ領域毎に最も解像度の高い画像を選択して、選択画像を各パッチ領域に適用するテクスチャ画像としてテクスチャマッピングを実行して３次元画像を生成するテクスチャマッピング手段と
を有することを特徴とする３次元画像生成システムにある。
【０００８】
さらに、本発明の３次元画像生成システムの一実施態様において、前記３次元モデル生成領域抽出処理手段は、入力画像上の色相等の特性を判別し、判別によって得られる領域形状と、前記データベースに格納された形状モデルとの比較によって、入力画像上に３次元モデル生成領域を設定する構成であることを特徴とする。
【０００９】
さらに、本発明の３次元画像生成システムの一実施態様において、前記３次元モデル特徴点選択処理手段は、前記特徴点選択処理において、特定モデルに対して適用可能なウィンドウ設定テンプレートを適用して、複数のフレーム画像に対して特徴点追跡用ウィンドウの設定処理を実行する構成を有することを特徴とする。
【００１０】
さらに、本発明の３次元画像生成システムの一実施態様において、テンプレートマッチングによる特徴点追跡処理において取得された特徴点追跡結果座標値と特徴点マップを用いた初期追跡結果座標値との差分と、予め定めた閾値とを比較して、該差分が閾値より大である場合に、テンプレートマッチングによる特徴点追跡結果をエラーと判定して、該エラーと判定された特徴点を周囲の特徴点に基づいて補正する補正処理を実行する構成を有することを特徴とする。
【００１３】
さらに、本発明の第２の側面は、
複数の入力画像に関する特徴点追跡処理により３次元画像を生成する３次元画像生成方法において、
データベースに格納された形状モデルに基づいて、入力画像上に３次元モデル生成領域を設定する３次元モデル生成領域抽出処理ステップと、
データベースに格納された特徴点位置データに基づいて、入力画像の３次元モデル生成領域に特徴点を設定する３次元モデル特徴点選択処理ステップと、
データベースに格納されたパッチ領域設定データに基づいて、入力画像の３次元モデル生成領域に設定された特徴点を頂点とする三角パッチ領域を設定する３次元モデルパッチ領域設定処理ステップと、
前記特徴点追跡処理を行う対象を異なる視点から撮影した前記複数の入力画像から、前記パッチ領域毎に最も解像度の高い画像を選択して、選択画像を各パッチ領域に適用するテクスチャ画像としてテクスチャマッピングを実行して３次元画像を生成するテクスチャマッピング・ステップと
を有することを特徴とする３次元画像生成方法にある。
【００１４】
さらに、本発明の３次元画像生成方法の一実施態様において、前記３次元モデル生成領域抽出処理ステップは、入力画像上の色相等の特性を判別し、判別によって得られる領域形状と、前記データベースに格納された形状モデルとの比較によって、入力画像上に３次元モデル生成領域を設定することを特徴とする。
【００１５】
さらに、本発明の３次元画像生成方法の一実施態様において、前記３次元モデル特徴点選択処理ステップは、前記特徴点選択処理において、特定モデルに対して適用可能なウィンドウ設定テンプレートを適用して、複数のフレーム画像に対して特徴点追跡用ウィンドウの設定処理を実行することを特徴とする。
【００１６】
さらに、本発明の３次元画像生成方法の一実施態様において、テンプレートマッチングによる特徴点追跡処理において取得された特徴点追跡結果座標値と特徴点マップを用いた初期追跡結果座標値との差分と、予め定めた閾値とを比較して、該差分が閾値より大である場合に、テンプレートマッチングによる特徴点追跡結果をエラーと判定して、該エラーと判定された特徴点を周囲の特徴点に基づいて補正する補正処理を実行することを特徴とする。
【００１９】
さらに、本発明の第３の側面は、
複数の入力画像に関する特徴点追跡処理により３次元画像を生成する３次元画像生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを記録したプログラム記録媒体であって、前記コンピュータ・プログラムは、
データベースに格納された形状モデルに基づいて、入力画像上に３次元モデル生成領域を設定する３次元モデル生成領域抽出処理ステップと、
データベースに格納された特徴点位置データに基づいて、入力画像の３次元モデル生成領域に特徴点を設定する３次元モデル特徴点選択処理ステップと、
データベースに格納されたパッチ領域設定データに基づいて、入力画像の３次元モデル生成領域に設定された特徴点を頂点とする三角パッチ領域を設定する３次元モデルパッチ領域設定処理ステップと、
前記特徴点追跡処理を行う対象を異なる視点から撮影した前記複数の入力画像から、前記パッチ領域毎に最も解像度の高い画像を選択して、選択画像を各パッチ領域に適用するテクスチャ画像としてテクスチャマッピングを実行して３次元画像を生成するテクスチャマッピング・ステップと
を有することを特徴とするプログラム記録媒体にある。
【００２０】
本発明の第３の側面に係るプログラム記録媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。媒体は、ＣＤやＦＤ、ＭＯなどの記録媒体など、その形態は特に限定されない。
【００２１】
このようなプログラム記録媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと記録媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該記録媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００２２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく詳細な説明によって明らかになるであろう。
【００２３】
【発明の実施の形態】
本発明の３次元画像生成システムおよび３次元画像生成方法について、以下詳細に説明する。まず、図２に、本発明の３次元画像生成システムの構成を示す。本発明の３次元画像生成システムは、市販のデジタルカメラ、ＤＶカム、カメラ付きパソコン上のデジタルカメラ、３Ｄ形状撮影（処理）モード付きのカメラ等によって注目対象を撮影する画像撮影ユニット２０１、撮影手段に対応して、撮影された複数枚画像をパソコンの内部メモリまたはカメラに付属する記録媒体（市販のメモリカード、磁気テープ、レーザー記録ディスクなど）に保存する画像保存ユニット２０２、撮影手段によって、カメラ側の記録媒体に保存されていた画像をUSB、i.Link、メモリカードアダプタなどのような標準インターフェースを装備するパソコンや専用装置などに転送できる画像転送ユニット２０３、予めに用意されていた画像パターン（例えば、チェッカーパターンなど）を用いて、カメラの内部パラメータを求めて、それらのパラメータを用いて、入力画像の幾何学的歪みなどを取り除く画像補正ユニット２０４、パソコンや専用装置によって、前述の画像補正処理後の入力画像から注目対象の３次元形状を推定する３次元処理ユニット２０５、同一対象に対して、異なる視点で撮影した画像列から推定された幾つかの３次元形状を貼あわせて、その対象の全周３次元形状を作成したり、違う対象の複数個の３次元形状を貼り合わせて、３次元パノラマ形状を作成する３次元形状貼り合わせユニット２０６、推定された３次元形状データ（三角パッチ）に高画質のテクスチャ画像をマッピングするテクスチャマッピングユニット２０７、テクスチャ画像付きの３次元形状データを標準的なVRMLファイルフォーマットで保存され、それをローカル、またはネットワークを通して表示する処理を実行する３Ｄ画像表示ユニット２０８から構成されるものである。以下、各ユニットの詳細について述べる。
【００２４】
画像撮影ユニット２０１は、市販のデジタルカメラ、ＤＶカム、カメラ付きパソコン上のデジタルカメラ、３Ｄ形状撮影（処理）モード付きのカメラ等のセンシングデバイスで対象を撮影するものである。
【００２５】
画像保存ユニット２０２は、カメラで撮影した画像をメモリカード、磁気テープ、レーザーディスクなどの記録媒体に保存するものである。カメラ付きパソコンに対しては、撮影した画像を直接に内部メモリまたはハードディスクなどの記録媒体に保存することも可能である。
【００２６】
画像転送ユニット２０３は、カメラ側の記録媒体に保存されていた画像をUSB、i.Link、メモリカードアダプタなどの標準インターフェースを通して、パソコンや専用３次元処理装置などに転送するものである。画像補正ユニット２０４は、予めに用意されていた既知の画像パターン（例えば、チェッカーパターンなど）を同一のカメラで撮影し、カメラの内部パラメータを求める。そして、撮影した複数枚の画像（入力画像）に対して、カメラの内部パラメータによる画像補正処理を行い、入力画像の幾何学的歪みなどを取り除く処理を実行する。
【００２７】
画像補正ユニット２０４で実行されるカメラ内部パラメータのキャリブレーション手法について図３のフローを用いて説明する。
【００２８】
まずステップＳ３０１で、特定の形状パターンが設定されている特徴パターン（例えば、図３右下に示すようなチェッカパターン）を撮影し、それをＩｍ（ｘ，ｙ）とする。次に、ステップＳ３０２で、撮影画像Ｉｍ（ｘ，ｙ）から理想的な合成画像Ｉｍ２（ｕ，ｖ）を作成する。なお、撮影画像と合成画像との関係：合成画像を射影変換行列Ｈにより変換した画像をカメラ内部の歪パラメータによって変形したものが撮影画像となる。さらに、ステップＳ３０３で、撮影画像と合成画像との誤差を評価し、その誤差が最小となるように、カメラ内部の歪パラメータを推定する。なお、撮影画像と合成画像との誤差は、以下に示す式によって求められる。
【００２９】
【数１】
Ｅ＝Σ｛Ｉｍ１（ｘ，ｙ）−Ｉｍ２（ｕ，ｖ）｝2
【００３０】
ここで、推定されるカメラ内部パラメータとは、歪中心ｃｐ，ｃｑ（distortion center）、アスペクト比ｓｖ(aspect ratio)、カッパκ（distortion coefficient）である。画像補正ユニット２０４は、これらのカメラ内部パラメータを用いて、撮影画像の補正を実行する。
【００３１】
３次元処理ユニット２０５は、複枚数の画像から注目対象の３次元形状を生成する処理としての特徴点抽出、追跡、パッチ設定処理を主に実行するものである。その詳細は、次の図４を参照しながら説明する。
【００３２】
図４に示すように、３次元処理ユニット２０５は、３次元モデル生成領域抽出処理手段２０５１、３次元モデル特徴点選択、追跡処理手段２０５２、３次元モデルパッチ領域設定処理手段２０５３、形状モデル（知識モデル）データベース２０５４を有する。
【００３３】
３次元モデル生成領域抽出処理手段２０５１は、画像転送ユニットから複数の画像を受領し、例えばその中から１フレーム目の入力画像を基準画像として、基準画像中から、３次元モデルの生成領域を抽出する。領域抽出処理は、形状モデル（知識モデル）データベース２０５４中のデータに基づいて実行される。３次元モデル生成領域抽出処理手段２０５１は、入力画像上の色相特性を判別し、判別によって得られる領域形状と、形状モデル（知識モデル）データベース２０５４に格納された形状モデルとの比較によって、入力画像上に３次元モデル生成領域を設定する。
【００３４】
３次元モデル生成領域抽出処理手段２０５１により、３次元モデル生成領域が選択されると、３次元モデル特徴点選択、追跡処理手段２０５２が、選択領域内において、特徴点を設定し、さらに、基準画像以外の画像における特徴点の対応点を探索、すなわち特徴点追跡を実行する。この処理も、形状モデル（知識モデル）データベース２０５４中のデータに基づいて実行される。
【００３５】
３次元モデル生成領域抽出処理手段２０５１による３次元モデル生成領域の選択処理、および３次元モデル特徴点選択、追跡処理手段２０５２による特徴点選択処理の具体例を図５，６を用いて説明する。
【００３６】
図５は、1フレーム目の入力画像から顔の部分を３次元モデル生成領域として領域抽出し、特徴点を抽出する処理の実例を示した図である。図５(a)は入力画像であり、図５(b)は、形状モデル（知識モデル）データベース２０５４に格納された顔の形状モデルを表す。本発明のシステムでは、形状モデル（知識モデル）データベース２０５４に格納された顔の形状モデル及び顔の色相特性などを用いて、３次元モデル生成領域抽出処理手段２０５１が入力画像と、モデルとの対比を実行して、図５(d)のような顔の領域を３次元モデル生成領域として検出する。
【００３７】
さらに、３次元モデル特徴点選択、追跡処理手段２０５２は、形状モデル（知識モデル）データベース２０５４に格納された顔の特徴点位置モデル（図５(e)）を用いて、実際の入力画像における顔位置とのマッチング処理を実行して、顔の特徴点の位置を決める（図５(f)）。
【００３８】
本発明のシステムでは、ほぼ楕円形状とした顔のモデル（図５（ｂ））により、３次元モデル生成領域である顔領域を検出し、さらに、その楕円形状に対応して設定されている特徴点一を設定した特徴点位置モデルにより、入力画像に設定された３次元モデル生成領域内に特徴点を自動的に設定する。
【００３９】
図６は、顔領域抽出のもう一つの手法を示す。３次元モデル生成領域抽出処理手段２０５１は、図６(a)の入力画像に対して、色分布を解析し、色相特性によって顔の領域（首の部分を含む）を検出する（図６(b)）。そこで、両目の色相特性と顔部分の色相特性が違うので、両目の位置（目の中心）及び両面間の中心位置も同時に検出される。そして、予め形状モデル（知識モデル）データベース２０５４に用意されていた顔の幾何学形状モデル（例えば、図６(d)のx0/y0等）を用いて、画像内の顔領域を検出する（図６(e)）。
【００４０】
このように、本発明のシステムでは、入力画像の持つ例えば色相特性から、撮影された被写体を分析し、形状モデル（知識モデル）データベース２０５４に格納された形状モデルとの相関をとり、適当なモデルをあてはめて３次元モデル生成領域の抽出を実行し、さらに、モデルに対応して特徴点位置を設定した特徴点位置モデルにより、基準画像に自動的に特徴点を設定する。
【００４１】
以上の処理をフローに示すと、図７のようになる。まずステップＳ７０１で、画像を入力し、ステップＳ７０２において、注目対象、すなわち３次元モデルを生成する対象に対応する形状モデルを、データベースに格納されたモデル中から選択する。さらに、ステップＳ７０３において、入力画像の色相特性等と選択モデルとを対比しながら、３次元モデルを生成する領域を抽出する。さらに、ステップＳ７０４において、データベースに格納されたモデルに対応して特徴点位置を設定した特徴点位置モデルに基づいて入力画像中に特徴点を設定する。
【００４２】
特徴点抽出後、３次元モデル特徴点選択、追跡処理手段２０５２は、設定した特徴点に対して特徴点追跡処理を実行する。
【００４３】
図８は、特徴点追跡の一手法を示した。ステップＳ８０１に示すように、Ｆ枚の入力画像に対して、前述の方法で抽出したｎ個の特徴点位置の追跡処理を行う。例えば、i番目の画像fi(x,y)における特徴点Pjに対して、次の(i+1)番目画像fi+1(x,y)上の対応点を見つけるには、まず画像fi+1(x,y)上の探索領域を設定（ステップＳ８０４）して、ステップＳ８０５において、その探索領域内で特徴点Pjと最も相似するものをある評価値（相似性評価値）に基づいて検出する。ここでの相似性評価値が、正規化相関や最小二乗法などによって求められる。また、探索される領域内のパターンは回転処理されたものでもよい。評価値の最も高いものを選択（ステップＳ８０６）して追跡された特徴点とする。
【００４４】
このような処理で全ての画像を渡って追跡し、その結果を保存して追跡処理を完了（Ｓ８１０）する。そして、保存された結果に対して、特徴点追跡エラーの有無をチェック（Ｓ８１１）し、誤追跡がある時、特徴点エラー修正モード（Ｓ８１２）によって、それらのエラー追跡点の座標値を修正（Ｓ８１５）する。全ての誤追跡点が修正されたら、それらの特徴点座標を計測行列に格納し特徴点追跡を完了（Ｓ８１７）する。
【００４５】
これらの特徴点追跡の結果得られた複数画像の対応に基づいて、図１に示された因子分解法によって、カメラ射影モデルを用いて対象の形状とカメラ動きを一意的に求める。
【００４６】
顔を３次元画像生成モデルとした場合の特徴点選択、追跡処理について、図９、１０を用いて説明する。図９の上段（ａ）に示すように、複数の画像としてフレーム１〜１２が入力され、この中から基準画像を１つ、例えばフレーム１を選択して、基準フレーム上の画像において、形状モデル（知識モデル）データベース２０５４に格納された形状モデルとの相関をとり、適当なモデルをあてはめて３次元モデル生成領域の抽出を実行し、さらに、モデルに対応して特徴点位置を設定した特徴点位置モデルにより、基準画像に自動的に特徴点を設定する。
【００４７】
さらに、基準画像に設定したテンプレートに対応する画像が撮り込まれている他のフレーム画像領域に同様の枠を設定する（図９（ｂ））。さらに、基準画像のテンプレートに矩形領域ウィンドウによって構成される特徴点マップを設定し、他のフレーム画像において、基準画像の特徴点に対する相似パターンを探索して相似性評価値を算出し、これを予め定めた閾値と比較して、基準を満たすもののみを特徴点として識別して保存する。このように複数画像を特徴点マップによって対応付けて特徴点の初期追跡を行ない、各画像間のおおよその特徴点位置を判別する。
【００４８】
特徴点追跡について、オクルージョンなどの原因で誤ってしまった特徴点追跡エラー処理を含めた詳細処理フローを図１０に示す。図１０のステップＳ１００１では、Ｆ枚の画像を入力し、ステップＳ１００２では、１枚の画像を基準画像として選択して、例えばＰ個の特徴点マップを作成する。ステップＳ１００３では、特徴点の領域を識別可能とするテンプレートを設定する。
【００４９】
次に、各特徴点、各フレーム画像について、基準画像に設定したテンプレートを用いた特徴点追跡処理（Ｓ１００６）を実行する。追跡結果の評価は、ステップＳ１００７に示すように、Ｅ＝｜追跡結果（座標値）−初期追跡結果（座標値）｜により、座標値の誤差を算出し、これを予め定めた閾値と比較（Ｓ１００８）し、基準を満たすもののみを正当な特徴点追跡結果であるとして保存（Ｓ１００９）する。
【００５０】
具体的には、テンプレートマッチングを用い、例えば正規化相関によってマッチングした点を追跡結果（座標値）とし、前述の特徴点マップによる追跡結果を初期追跡結果（座標値）として、その差分を算出し、算出した差分と閾値とを比較する。その比較において基準を満たさない場合は、ステップＳ１０１３において、エラーとして識別された特徴点であることを示すラベルを追跡結果に対して設定する。これらの処理をすべての特徴点と画像フレームに対して実行すると、エラーのラベルの付与された追跡点が抽出され、これをステップＳ１０１１において、エラー追跡点の周囲の特徴点との関連によってエラーの付加された追跡結果を補正する。図１０（ｃ）に示すように、追跡結果の周囲に正しく追跡された特徴点があるので、これらを用いて、エラーのラベルづけのなされた追跡点の補正を行なう。
【００５１】
３次元モデル特徴点選択、追跡処理手段２０５２による特徴点選択処理、追跡処理が終了すると、図４に示す３次元モデルパッチ領域設定手段２０５３によるパッチ領域設定が実行される。
【００５２】
図１１は、顔を対象とした場合、予め用意されていた顔モデルの特徴点（数と位置）と実際に検出された顔の特徴点との対応付けを行い、顔モデルに定義された特徴点の間の関係によって、顔の三角パッチを作成する例を示した。３次元モデルパッチ領域設定手段２０５３によるパッチ領域設定は、予め形状モデル（知識モデル）データベース２０５４に格納されているモデルに対応するパッチ領域データに基づいて実行される。形状モデル（知識モデル）データベース２０５４には、例えばモデルが顔である場合には、パッチ領域データ１１０１が抽出され、このパッチ領域データに基づいて画像にパッチ領域が設定される。パッチは特徴点を頂点とする三角領域によって設定される。例えばパッチ領域データ１１０１には特徴点１，２，５を３頂点とする三角領域、１，５，３を３頂点とする三角領域等がパッチ領域として設定されている。
【００５３】
図１２は、設定されたパッチ面にテクスチャ画像をマッピングする実施例を示す。前述の方法で求められたカメラ動きと位置情報を用いて、各三角パッチ面の法線ベクトルと最も正対するカメラの位置で撮影した画像（解像度が最も高い画像）を選択し、画像濃淡値の正規化処理及び各パッチ面間のスムージング処理によって得られた一枚のテクスチャ画像を用いてマッピングする。
【００５４】
図１３は、本発明の３次元画像生成システムにおける３次元画像生成処理全体の処理手順を示すフローである。
【００５５】
ステップＳ１３０１は、画像撮影ユニット２０１、画像保存ユニット２０２、画像転送ユニット２０３による画像撮影、転送処理であり、ステップＳ１３０２は、上述した画像補正ユニット２０４で実行される画像補正処理ステップである。
【００５６】
ステップＳ１３０３の知識ベースの特徴点自動選択は、前述したように、図４に示す３次元モデル特徴点選択、追跡処理手段２０５２によって、形状モデル（知識モデル）データベースに格納されたデータに基づいて実行される特徴点自動選択処理である。ステップＳ１３０４の特徴ウィンドウの追跡処理および結果保存は、やはり図４に示す３次元モデル特徴点選択、追跡処理手段２０５２によって実行される処理であり、選択された特徴ウィンドウに対して、複数枚の画像に渡って、各画像における同一の特徴ウィンドウ（特徴ウィンドウの対応付け）を探索する。すなわち、図８、図９を用いて説明した処理である。
【００５７】
さらに、ステップＳ１３０５では、特徴点追跡におけるエラーの有無を判定し、エラーがある場合は、ステップＳ１３０６において、追跡エラーの修正処理を行なう。この処理は、先に図１０を用いて説明した処理である。
【００５８】
ところで、前述の追跡処理を用いても、完全に正確な特徴点位置を得ることが困難である場合には、特徴点位置修正モードにおいて、手動によって、そのエラー追跡点の位置（座標値）を修正する構成としてもよい。これは、ビジュアルインタフェースにより、ディスプレイに基準画像、特徴点設定対象画像のそれぞれにテンプレートに対応するウィンドウを表示し、正確な特徴点位置をユーザが設定可能とするものである。ユーザによる画面の確認により、正確な特徴点の入力、修正が可能となる。
【００５９】
入力画像上の特徴点をチェックし、全ての特徴点位置が正しく修正されたら、３次元形状推定処理（Ｓ１３０７）を行い、注目対象の３次元形状と撮影時のカメラ動き（位置、姿勢）を推定し、それらの結果を出力（Ｓ１３０８）する。ここで、３次元形状データとは、２次元画像上の注目対象における特徴点を３次元空間へ逆射影する時の特徴点位置（３次元座標値）である。次に、ステップＳ１３０９，Ｓ１３１０において、三角パッチの生成、およびテクスチャマッピング、３次元形状の貼り合わせ処理を実行して３次元画像を生成する。
【００６０】
図１４は、上述した本発明の３次元画像生成システムにより、対象モデルベースの特徴点選択＆三角パッチ作成処理の具体的例を示した図である。図１４(a)は、１フレーム目の入力画像を示す。図１４(b)は、顔の色相特性と幾何学的形状モデルに基づいて検出した顔の領域、及び特徴点位置である。ここで、特徴点の数と位置は、顔のモデルによって予め作成している。図１４(c)は、顔の形状モデルに基づいて、抽出された特徴点を用いて、作成した三角パッチを示し、図１４(d)は、それらの三角パッチ面に最も解像度の高い画像を用いてテクスチャマッピングを行った結果、及びその三角パッチ（ワイヤーフレーム）を示した図である。
【００６１】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００６２】
【発明の効果】
以上、説明したように、本発明の３次元画像生成システムおよび３次元画像生成方法によれば、以下のような様々な効果がもたらされる。(1)対象の特性と形状モデルに基づく領域抽出法によって、例えば、顔の領域などを自動的に検出することが可能となり、顔検出と顔認識などにも適用できる。また、（2)抽出された対象領域に対して、対象の知識モデルによって特徴点を自動的に決めることが可能となり、一般的な特徴量評価値による特徴ウィンドウの決め方と比較して、より正確で確実となる。(3)抽出された特徴点に対して、複数枚の画像間の対応付け（特徴点追跡）及び誤対応の修正を行うことによって、より精度の高い３次元形状復元が可能となる。(4)抽出された対象の特徴点に対して、知識モデルによる三角パッチを自動的に作成することによって、実際の対象形状と一致するワイヤーフレーム表現が可能となる。(5)作成された各三角パッチに対して、それらの三角パッチの法線方向に最も正対するテクスチャ画像を自動的に選択し、濃淡値正規化処理などを含んだ高解像度テクスチャマッピングが可能となる。
【図面の簡単な説明】
【図１】３次元画像処理における因子分解法を説明する図である。
【図２】本発明の３次元画像生成システムのシステム構成を示す図である。
【図３】本発明の３次元画像生成システムにおけるカメラパラメータのキャリブレーション処理について説明する図である。
【図４】本発明の３次元画像生成システムの３次元処理ユニットの詳細構成を示すブロック図である。
【図５】本発明の３次元画像生成システムの３次元モデル生成領域抽出処理の具体例を示す図である。
【図６】本発明の３次元画像生成システムの３次元モデル生成領域抽出処理の具体例を示す図である。
【図７】本発明の３次元画像生成システムの３次元処理ユニットの処理フローを示す図である。
【図８】本発明の３次元画像生成システムにおける特徴点追跡処理について説明するフロー図である。
【図９】本発明の３次元画像生成システムにおける特徴点追跡処理について説明する図である。
【図１０】本発明の３次元画像生成システムにおける特徴点追跡処理について説明するフロー図である。
【図１１】本発明の３次元画像生成システムの３次元モデルパッチ領域設定処理の具体例を示す図である。
【図１２】本発明の３次元画像生成システムにおけるテクスチャマッピング処理について説明する図である。
【図１３】本発明の３次元画像生成システムにおける３次元モデル生成処理について説明するフロー図である。
【図１４】本発明の３次元画像生成システムにおける特徴点選択、三角パッチ生成処理の処理具体例について説明する図である。
【符号の説明】
２０１ 画像撮影ユニット
２０２ 画像保存ユニット
２０３ 画像転送ユニット
２０４ 画像補正ユニット
２０５ ３次元処理ユニット
２０６ ３次元形状貼り合わせユニット
２０７ テクスチャマッピングユニット
２０８ ３Ｄ画像表示ユニット
２０５１ ３次元モデル生成領域抽出処理手段
２０５２ ３次元モデル特徴点選択、追跡処理手段
２０５３ ３次元モデルパッチ利用域設定処理手段
２０５４ ３次元モデル（知識モデル）データベース
Claims (9)
- 複数の入力画像に関する特徴点追跡処理により３次元画像を生成する３次元画像生成システムにおいて、
データベースに格納された形状モデルに基づいて、入力画像上に３次元モデル生成領域を設定する３次元モデル生成領域抽出処理手段と、
データベースに格納された特徴点位置データに基づいて、入力画像の３次元モデル生成領域に特徴点を設定する３次元モデル特徴点選択処理手段と、
データベースに格納されたパッチ領域設定データに基づいて、入力画像の３次元モデル生成領域に設定された特徴点を頂点とする三角パッチ領域を設定する３次元モデルパッチ領域設定処理手段と、
前記特徴点追跡処理を行う対象を異なる視点から撮影した前記複数の入力画像から、前記パッチ領域毎に最も解像度の高い画像を選択して、選択画像を各パッチ領域に適用するテクスチャ画像としてテクスチャマッピングを実行して３次元画像を生成するテクスチャマッピング手段と
を有することを特徴とする３次元画像生成システム。 - 前記３次元モデル生成領域抽出処理手段は、
入力画像上の色相等の特性を判別し、判別によって得られる領域形状と、前記データベースに格納された形状モデルとの比較によって、入力画像上に３次元モデル生成領域を設定する構成であることを特徴とする請求項１に記載の３次元画像生成システム。 - 前記３次元モデル特徴点選択処理手段は、
前記特徴点選択処理において、特定モデルに対して適用可能なウィンドウ設定テンプレートを適用して、複数のフレーム画像に対して特徴点追跡用ウィンドウの設定処理を実行する構成を有することを特徴とする請求項１に記載の３次元画像生成システム。 - 前記３次元画像生成システムは、
テンプレートマッチングによる特徴点追跡処理において取得された特徴点追跡結果座標値と特徴点マップを用いた初期追跡結果座標値との差分と、予め定めた閾値とを比較して、該差分が閾値より大である場合に、テンプレートマッチングによる特徴点追跡結果をエラーと判定して、該エラーと判定された特徴点を周囲の特徴点に基づいて補正する補正処理を実行する構成を有することを特徴とする請求項１に記載の３次元画像生成システム。 - 複数の入力画像に関する特徴点追跡処理により３次元画像を生成する３次元画像生成方法において、
データベースに格納された形状モデルに基づいて、入力画像上に３次元モデル生成領域を設定する３次元モデル生成領域抽出処理ステップと、
データベースに格納された特徴点位置データに基づいて、入力画像の３次元モデル生成領域に特徴点を設定する３次元モデル特徴点選択処理ステップと、
データベースに格納されたパッチ領域設定データに基づいて、入力画像の３次元モデル生成領域に設定された特徴点を頂点とする三角パッチ領域を設定する３次元モデルパッチ領域設定処理ステップと、
前記特徴点追跡処理を行う対象を異なる視点から撮影した前記複数の入力画像から、前記パッチ領域毎に最も解像度の高い画像を選択して、選択画像を各パッチ領域に適用するテクスチャ画像としてテクスチャマッピングを実行して３次元画像を生成するテクスチャマッピング・ステップと
を有することを特徴とする３次元画像生成方法。 - 前記３次元モデル生成領域抽出処理ステップは、
入力画像上の色相等の特性を判別し、判別によって得られる領域形状と、前記データベースに格納された形状モデルとの比較によって、入力画像上に３次元モデル生成領域を設定することを特徴とする請求項５に記載の３次元画像生成方法。 - 前記３次元モデル特徴点選択処理ステップは、
前記特徴点選択処理において、特定モデルに対して適用可能なウィンドウ設定テンプレートを適用して、複数のフレーム画像に対して特徴点追跡用ウィンドウの設定処理を実行することを特徴とする請求項５に記載の３次元画像生成方法。 - 前記３次元画像生成方法は、
テンプレートマッチングによる特徴点追跡処理において取得された特徴点追跡結果座標値と特徴点マップを用いた初期追跡結果座標値との差分と、予め定めた閾値とを比較して、該差分が閾値より大である場合に、テンプレートマッチングによる特徴点追跡結果をエラーと判定して、該エラーと判定された特徴点を周囲の特徴点に基づいて補正する補正処理を実行することを特徴とする請求項５に記載の３次元画像生成方法。 - 複数の入力画像に関する特徴点追跡処理により３次元画像を生成する３次元画像生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを記録したプログラム記録媒体であって、前記コンピュータ・プログラムは、
データベースに格納された形状モデルに基づいて、入力画像上に３次元モデル生成領域を設定する３次元モデル生成領域抽出処理ステップと、
データベースに格納された特徴点位置データに基づいて、入力画像の３次元モデル生成領域に特徴点を設定する３次元モデル特徴点選択処理ステップと、
データベースに格納されたパッチ領域設定データに基づいて、入力画像の３次元モデル生成領域に設定された特徴点を頂点とする三角パッチ領域を設定する３次元モデルパッチ領域設定処理ステップと、
前記特徴点追跡処理を行う対象を異なる視点から撮影した前記複数の入力画像から、前記パッチ領域毎に最も解像度の高い画像を選択して、選択画像を各パッチ領域に適用するテクスチャ画像としてテクスチャマッピングを実行して３次元画像を生成するテクスチャマッピング・ステップと
を有することを特徴とするプログラム記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000212541A JP4568967B2 (ja) | 2000-07-13 | 2000-07-13 | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000212541A JP4568967B2 (ja) | 2000-07-13 | 2000-07-13 | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002032742A JP2002032742A (ja) | 2002-01-31 |
| JP4568967B2 true JP4568967B2 (ja) | 2010-10-27 |
Family
ID=18708456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000212541A Expired - Fee Related JP4568967B2 (ja) | 2000-07-13 | 2000-07-13 | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4568967B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006215685A (ja) * | 2005-02-02 | 2006-08-17 | Funai Electric Co Ltd | フォトプリンタ |
| US7639250B2 (en) | 2005-11-01 | 2009-12-29 | Microsoft Corporation | Sketching reality |
| US8467570B2 (en) * | 2006-06-14 | 2013-06-18 | Honeywell International Inc. | Tracking system with fused motion and object detection |
| KR101591471B1 (ko) * | 2008-11-03 | 2016-02-04 | 삼성전자주식회사 | 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법 |
| JP5476928B2 (ja) * | 2009-10-29 | 2014-04-23 | コニカミノルタ株式会社 | 対応点探索装置、対応点探索方法、およびプログラム |
| CN102542601A (zh) * | 2010-12-10 | 2012-07-04 | 三星电子株式会社 | 一种用于3d对象建模的设备和方法 |
| JP6150950B1 (ja) | 2015-11-20 | 2017-06-21 | 三菱電機株式会社 | 運転支援装置、運転支援システム、運転支援方法及び運転支援プログラム |
| JP7180243B2 (ja) * | 2018-09-27 | 2022-11-30 | 株式会社デンソーウェーブ | 監視システムおよびカメラ |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH085333A (ja) * | 1994-06-21 | 1996-01-12 | Kobe Steel Ltd | ３次元位置姿勢認識装置 |
| JP2532985B2 (ja) * | 1990-09-20 | 1996-09-11 | 工業技術院長 | ３次元画像評価装置 |
| JPH09257414A (ja) * | 1996-03-25 | 1997-10-03 | Kobe Steel Ltd | 物体位置検出装置 |
| JP2000146546A (ja) * | 1998-11-09 | 2000-05-26 | Hitachi Ltd | ３次元モデル生成方法及び装置 |
-
2000
- 2000-07-13 JP JP2000212541A patent/JP4568967B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2532985B2 (ja) * | 1990-09-20 | 1996-09-11 | 工業技術院長 | ３次元画像評価装置 |
| JPH085333A (ja) * | 1994-06-21 | 1996-01-12 | Kobe Steel Ltd | ３次元位置姿勢認識装置 |
| JPH09257414A (ja) * | 1996-03-25 | 1997-10-03 | Kobe Steel Ltd | 物体位置検出装置 |
| JP2000146546A (ja) * | 1998-11-09 | 2000-05-26 | Hitachi Ltd | ３次元モデル生成方法及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002032742A (ja) | 2002-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242950B (zh) | 多人紧密交互场景下的多视角人体动态三维重建方法 | |
| US7889197B2 (en) | Method of capturing, processing, and rendering images | |
| US9619704B2 (en) | Fast articulated motion tracking | |
| Wu et al. | On-set performance capture of multiple actors with a stereo camera | |
| US8384714B2 (en) | Systems, methods and devices for motion capture using video imaging | |
| JP5094663B2 (ja) | 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法 | |
| US7352386B1 (en) | Method and apparatus for recovering a three-dimensional scene from two-dimensional images | |
| US20180218507A1 (en) | 3d reconstruction of a human ear from a point cloud | |
| Prankl et al. | RGB-D object modelling for object recognition and tracking | |
| KR20160098560A (ko) | 동작 분석 장치 및 방법 | |
| JP2009506441A (ja) | モーションキャプチャに使用されるラベリング | |
| Huang et al. | Global temporal registration of multiple non-rigid surface sequences | |
| Pressigout et al. | Hybrid tracking algorithms for planar and non-planar structures subject to illumination changes | |
| US9836846B2 (en) | System and method of estimating 3D facial geometry | |
| JP4568967B2 (ja) | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム記録媒体 | |
| JP2002032741A (ja) | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体 | |
| JP2002032743A (ja) | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体 | |
| EP2237227A1 (en) | Video sequence processing method and system | |
| Jo et al. | 3D facial shape reconstruction using macro-and micro-level features from high resolution facial images | |
| JP2020101922A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| Van Gool et al. | Modeling shapes and textures from images: new frontiers | |
| Tyagi et al. | Multiview fusion for canonical view generation based on homography constraints | |
| Xu et al. | Robust relative pose estimation with integrated cheirality constraint | |
| Saito et al. | Factorization Method Using Interpolated Feature Tracking via Projective Geometry. | |
| CN115330992A (zh) | 多视觉特征融合的室内定位方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100625 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100713 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100726 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |