JP4014140B2 - Three-dimensional modeling apparatus and method and program thereof - Google Patents

Three-dimensional modeling apparatus and method and program thereof Download PDF

Info

Publication number
JP4014140B2
JP4014140B2 JP2002069017A JP2002069017A JP4014140B2 JP 4014140 B2 JP4014140 B2 JP 4014140B2 JP 2002069017 A JP2002069017 A JP 2002069017A JP 2002069017 A JP2002069017 A JP 2002069017A JP 4014140 B2 JP4014140 B2 JP 4014140B2
Authority
JP
Japan
Prior art keywords
subject
shape
camera
dimensional
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002069017A
Other languages
Japanese (ja)
Other versions
JP2003271928A (en
Inventor
美和 片山
祐一 岩舘
浩幸 今泉
仁博 冨山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2002069017A priority Critical patent/JP4014140B2/en
Publication of JP2003271928A publication Critical patent/JP2003271928A/en
Application granted granted Critical
Publication of JP4014140B2 publication Critical patent/JP4014140B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、多視点カメラを用いて被写体の三次元形状データを生成する三次元モデリング装置及びその方法及びそのプログラムに関する。
【０００２】
【従来の技術】
従来、立体形状である被写体から三次元形状データを生成する三次元モデリング手法は、被写体の周囲に複数のカメラを配置（多視点カメラ）して、そのカメラから入力された複数のカメラ画像に基づいて、個々のカメラ画像の被写体に対応する点をブロックマッチング法によって探索し、その探索された点と、それぞれのカメラとの距離を算出して、この探索された点の各カメラの距離情報を統合することで、被写体の三次元形状データを生成していた。本手法によれば、カメラの台数を増やすことで、高精度の三次元モデリングを行うことができるものである。なお、この手法は、「Peter Rander,“A Multi-Camera Method for 3D Digitization of Dynamic, Real-World Events,”CMU-RI-TR-98-12,March 1998.」（以下、先行技術１）で開示されている。
【０００３】
また、他の三次元モデリング手法では、被写体の周囲に複数のカメラを配置して、カメラから入力されたカメラ画像の被写体領域の形状である被写体シルエットを、カメラの光学主点位置から仮想的に被写体方向に逆投影した、前記光学主点位置を頂点とし、断面が前記被写体シルエットとなる錐体領域を形成する。そして、カメラ毎に形成された前記錐体領域の重複領域（論理積）を被写体の概形とし、その概形の形状を三次元形状データとしていた。この手法は、ブロックマッチング法よりも高速に三次元形状データを求めることができる。なお、この手法は視体積交差法と呼ばれ、「Ｗｕ他，“３次元ビデオ映像の能動的実時間撮影と対話的編集・表示”，信学技報 PRMU2001-187,Feb.2001.」（以下、先行技術２）で開示されている。
【０００４】
【発明が解決しようとする課題】
しかし、前記従来の技術における多眼カメラを利用した三次元モデリング手法、例えば、前記先行技術１では、個々のカメラで撮影したカメラ画像の被写体に対応する点を探索するときに、ブロックマッチング法によってカメラ画像全体（被写体が存在する空間全体）を探索領域とするため、膨大な演算量を必要とし、探索時間が長くかかってしまうという問題がある。また、高精度の三次元モデリングを行うためにカメラの台数を増やすと、さらに多くの演算量及び探索時間を要してしまうという問題がある。
【０００５】
また、前記先行技術２の視体積交差法では、生成される形状データは近似形状のデータであり、原理的に誤差を生じやすい。特に被写体の表面が滑らかな曲面であったり、凹面の形状である場合は、その形状を平面で近似してしまうため、誤差が大きくなってしまうという問題がある。
【０００６】
本発明は、以上のような問題点に鑑みてなされたものであり、多眼カメラを利用した三次元形状データの生成に際して、三次元モデリングの精度を落とさず、演算量を抑制して高速に行うことを可能にした三次元モデリング装置及びその方法及びそのプログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の三次元モデリング装置は、以下の構成にかかるものとした。
すなわち、立体形状である被写体をその周囲に配置した複数のカメラで撮影した複数のカメラ画像に基づいて、前記被写体の三次元形状データを生成する三次元モデリング装置であって、前記複数のカメラ画像から、前記被写体に外接するその被写体の概形形状を計測する概形形状計測手段と、この概形形状計測手段によって計測された前記概形形状の近傍を探索範囲として、前記複数のカメラの中で、順次基準となる基準カメラを切り換えて撮影した基準カメラ画像と、前記基準カメラの左右に隣接する隣接カメラで撮影した隣接カメラ画像とにおいて、前記基準カメラと前記左右の隣接カメラとの間隔に基づいて求められる前記概形形状の表面までの距離と前記被写体までの距離との誤差と、ブロックマッチングの誤差とを重み付け加算した量が最小となるブロックを探索することで、前記基準カメラ画像内の被写体画像に対応する対応点を探索する対応点探索手段と、前記複数のカメラから、前記対応点探索手段によって探索された前記被写体の対応点までの距離に基づいて、前記被写体の三次元形状データを生成する三次元形状データ生成手段と、を備える構成とした。
【０００８】
かかる構成によれば、三次元モデリング装置は、概形形状計測手段によって、被写体の周囲に配置した複数のカメラで被写体を撮影した複数のカメラ画像から、その被写体の概形となる形状を計測する。例えば、視体積交差法等の技術を用いることで前記被写体を内包し、その被写体に外接する形状を計測する。
【０００９】
そして、三次元モデリング装置は、対応点探索手段によって、概形形状計測手段により計測された概形形状内を探索範囲として、基準カメラとそれに隣接するカメラで撮影したカメラ画像毎に被写体領域内の対応する点を探索する。そして、三次元形状データ生成手段によって、各カメラから被写体表面までの距離に基づいて、被写体の三次元形状データを生成する。なお、この基準カメラは固定したものではなく、被写体の周囲のカメラを順次切り換えて、各カメラが順番に基準カメラとなる。
これによって、三次元モデリング装置は、被写体の概形形状を探索範囲として限定し、隣接したカメラ画像から、その限定された範囲内で被写体の対応点を探索する。
【００１０】
また、請求項２に記載の三次元モデリング装置は、請求項１に記載の三次元モデリング装置において、概形形状計測手段が、カメラの光学主点位置を頂点とし、その光学主点位置からカメラ画像内の被写体形状を仮想的に被写体方向に逆投影し、断面が前記被写体形状となる錐体領域が、複数のカメラ画像分重なりあった重複領域を前記被写体の概形形状とする構成とした。
【００１１】
かかる構成によれば、三次元モデリング装置は、概形形状計測手段によって、カメラの光学主点位置からカメラ画像内の被写体形状を仮想的に被写体方向に逆投影した錐体領域をカメラの台数分生成し、その各々の錐体領域の重なりあった領域、すなわち論理積をとることで被写体に外接する被写体の概形形状を求めることができる。
【００１２】
さらに、請求項３に記載の三次元モデリング装置は、請求項１又は請求項２に記載の三次元モデリング装置において、三次元形状データ生成手段が、前記カメラと被写体表面の各対応点との距離を、前記被写体が存在する仮想的な三次元空間座標に対応付けることで、前記被写体の内部に位置する三次元空間座標単位格子点を判定し、その内部に位置する単位格子点の集合を前記被写体の三次元形状データとする構成とした。
【００１３】
かかる構成によれば、三次元モデリング装置は、三次元形状データ生成手段によって、各カメラ画像の被写体領域内のカメラから被写体表面までの画素毎の距離を被写体が存在する仮想的な三次元空間座標に対応付けることで、被写体表面の近傍にある三次元空間座標上の格子点が被写体内に存在する点かどうかを判定して被写体の三次元形状データを生成する。
【００１４】
また、請求項４に記載の三次元モデリング方法は、立体形状である被写体をその周囲に配置した複数のカメラで撮影した複数のカメラ画像に基づいて、前記被写体の三次元形状データを生成する三次元モデリング方法であって、前記複数のカメラ画像から、前記被写体に外接するその被写体の概形形状を計測する概形形状計測ステップと、この概形形状計測ステップによって計測された前記概形形状の近傍を探索範囲として、前記複数のカメラの中で、基準となる基準カメラを切り換えて撮影した基準カメラ画像と、前記基準カメラの左右に隣接する隣接カメラで撮影した隣接カメラ画像とにおいて、前記基準カメラと前記左右の隣接カメラとの間隔に基づいて求められる前記被写体までの距離と前記概形形状の表面までの距離との誤差と、ブロックマッチングの誤差とを重み付け加算した量が最小となるブロックを探索することで、前記基準カメラ画像内の被写体画像に対応する対応点を探索する対応点探索ステップと、前記複数のカメラから、前記対応点探索ステップによって探索された前記被写体の対応点までの距離に基づいて、前記被写体の三次元形状データを生成する三次元形状データ生成ステップと、を含むことを特徴とする。
【００１５】
この方法によれば、三次元モデリング方法は、概形形状計測ステップによって、被写体の周囲に配置した複数のカメラで被写体を撮影した複数のカメラ画像から、その被写体の概形となる形状を算出する。例えば、視体積交差法等の技術を用いることで前記被写体を内包し、その被写体に外接する形状を算出する。
【００１６】
次に、対応点探索ステップによって、概形形状計測ステップにより計測された概形形状内を探索範囲として、隣接するカメラで撮影したカメラ画像毎に被写体の対応する点を探索する。そして、三次元形状データ生成ステップによって、カメラから被写体表面までの距離に基づいて、被写体の三次元形状データを生成する。
【００１７】
さらに、請求項５に記載の三次元モデリングプログラムは、立体形状である被写体をその周囲に配置した複数のカメラで撮影した複数のカメラ画像に基づいて、前記被写体の三次元形状データを生成するために、コンピュータを、以下の手段によって機能させる構成とした。
すなわち、前記複数のカメラ画像から、前記被写体に外接するその被写体の概形形状を計測する概形形状計測手段、この概形形状計測手段によって計測された前記概形形状の近傍を探索範囲として、前記複数のカメラの中で、順次基準となる基準カメラを切り換えて撮影した基準カメラ画像と、前記基準カメラの左右に隣接する隣接カメラで撮影した隣接カメラ画像とにおいて、前記基準カメラと前記左右の隣接カメラとの間隔に基づいて求められる前記被写体までの距離と前記概形形状の表面までの距離との誤差と、ブロックマッチングの誤差とを重み付け加算した量が最小となるブロックを探索することで、前記基準カメラ画像内の被写体画像に対応する対応点を探索する対応点探索手段、前記複数のカメラから、前記対応点探索手段によって探索された前記被写体の対応点までの距離に基づいて、前記被写体の三次元形状データを生成する三次元形状データ生成手段、とした。
【００１８】
かかる構成によれば、三次元モデリングプログラムは、概形形状計測手段によって、被写体の周囲に配置した複数のカメラで被写体を撮影した複数のカメラ画像から、その被写体の概形となる形状を計測する。例えば、視体積交差法等の技術を用いることで前記被写体を内包し、その被写体に外接する形状を計測する。
【００１９】
そして、三次元モデリングプログラムは、対応点探索手段によって、概形形状計測手段によって計測された概形形状内を探索範囲として、基準カメラとそれに隣接するカメラで撮影したカメラ画像毎に被写体領域内の対応する点を探索する。そして、三次元形状データ生成手段によって、カメラから被写体表面までの距離に基づいて、被写体の三次元形状データを生成する。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
（三次元モデリング装置の構成）
【００２１】
まず、本発明に係る三次元モデリング装置の構成について説明する。図１は、本発明の実施の形態に係る三次元モデリング装置の構成を示すブロック図である。図１に示すように、三次元モデリング装置１は、カメラパラメータ測定手段２と、概形形状計測手段３と、詳細形状計測手段４とを含む構成とした。
【００２２】
この三次元モデリング装置１は、複数のカメラＣＡで立体形状である被写体を撮影した複数のカメラ画像に基づいて、前記被写体の三次元形状データを生成させる装置である。ここではカメラＣＡの数を９台（ＣＡ1，ＣＡ2，ＣＡ3，…，ＣＡ9）としたときの例を示している。なお、カメラＣＡの配置は、人物等の被写体を中心とした円周上に等間隔に配置する。（図２参照）
なお、切り換えスイッチＳＷは、カメラＣＡの入力の切り換えを行い、三次元モデリング装置１のカメラ切り換え手段（図示せず）によって、切り換えられるものとする。
【００２３】
カメラパラメータ測定手段２は、予めカメラＣＡからカメラ位置等を校正するためのカメラ校正パターンを入力しておき、そのカメラ校正パターンを基準として定義される三次元座標と二次元のカメラ座標との座標変換を行うことにより、現在のカメラＣＡの位置や、角度等のカメラパラメータを測定するものである。このカメラパラメータ測定手段２で測定されたカメラパラメータは、概形形状測定手段３や詳細形状測定手段４に入力され、各形状等の算出に用いられる。なお、既知パターン（カメラ校正パターン）からカメラパラメータを求める手法は、「Roger Y.Tsai,“Multiframe Image Point Matching and 3-D Surface Reconstruction,”IEEE Trans.PAMI,Vol.PAMI-5,No.2,pp.159-173,March 1983.」を用いることができる。
【００２４】
概形形状計測手段３は、カメラＣＡ（ＣＡ1，ＣＡ2，ＣＡ3，…，ＣＡ9）から入力される複数のカメラ画像から、被写体に外接する概形形状を計測するものである。この概形形状計測手段３は、シルエット抽出部３１と、外接形状算出部３２とを備えて構成されている。
【００２５】
シルエット抽出部３１は、個々のカメラ画像から被写体以外の背景領域を除去し、被写体領域のみを切り出した被写体シルエット（被写体形状）を抽出するものである。このシルエット抽出部３１で抽出された被写体シルエットは、外接形状算出部３２へ出力される。
【００２６】
ここで、カメラ画像を被写体領域と背景領域とに分離するには、予め被写体が存在しない状態で背景のみを撮影しておき、被写体が存在する状態のカメラ画像との差分をとり被写体の領域のみを抽出する、いわゆる背景差分法によって行う。あるいは、均一な特定色の背景（クロマキーバック）の中に被写体を配置し、この背景色以外の領域を抽出するクロマキー手法によって行うことも可能である。
【００２７】
外接形状算出部３２は、シルエット抽出部３１で抽出された被写体シルエットを、カメラＣＡ（ＣＡ1，ＣＡ2，ＣＡ3，…，ＣＡ9）で撮影したカメラ画像分入力し、その複数の被写体シルエットから、被写体の概形形状を算出するものである。ここで抽出された概形形状は、詳細形状計測手段４へ出力され、さらに詳細な形状が算出される。
【００２８】
ここで、図３を参照して、複数の被写体シルエットから、被写体の概形形状を算出する方法について説明する。図３は、被写体Ｍの概形形状ＡＭを推定する視体積交差法を説明するための説明図である。なお、ここでは説明を簡略化するためにカメラＣＡを２台（ＣＡ1，ＣＡ2）としている。
【００２９】
この視体積交差法は、カメラＣＡ1で撮影したカメラ画像Ｇの被写体シルエットＳを、カメラＣＡ1の光学主点位置Ｖから仮想的に被写体Ｍ方向に逆投影して形成される光学主点位置Ｖを頂点として、断面が被写体シルエットＳとなる錐体Ｔ1の形状（錐体領域）を算出し、同様にカメラＣＡ2のカメラ画像から算出される錐体Ｔ2の形状とが重なる重複領域（論理積）を概形形状ＡＭとするものである。なお、この概形形状ＡＭは、被写体Ｍに外接し、被写体Ｍの概略の形状を表わしている。
図１に戻って説明を続ける。
【００３０】
詳細形状計測手段４は、概形形状計測手段３の外接形状算出部３２から出力される概形形状と、カメラＣＡ（ＣＡ1，ＣＡ2，ＣＡ3，…，ＣＡ9）から入力される複数のカメラ画像とに基づいて、詳細な被写体の形状を算出し、その被写体の三次元形状データを生成するものである。この詳細形状計測手段４は、対応点探索部４１と、格子点距離算出部４２と、距離判定部４３と、ソリッドモデル生成部４４とを備えて構成されている。
【００３１】
対応点探索部４１は、隣り合う３台のカメラＣＡから入力されるカメラ画像に基づいて、その各々のカメラ画像内の被写体領域を特定の大きさのブロックで探索し、そのブロックの中央画素に対応する被写体表面までの距離を画素毎に算出するものである。ここで算出されたカメラＣＡから被写体表面までの距離（被写体表面距離）は被写体表面距離蓄積手段（図示せず）に蓄積され、距離判定部４３によって参照される。
【００３２】
この対応点探索部４１は、３台のカメラ（例えばＣＡ1，ＣＡ2，ＣＡ3）において、中央のカメラＣＡ2を基準カメラ、右のカメラＣＡ1を隣接カメラとしてブロックマッチングを行い、さらに中央のカメラＣＡ2を基準カメラ、左のカメラＣＡ3を隣接カメラとし、中央からの距離の探索パラメータとしてブロックマッチングを行う。そして、各々のブロックマッチングの誤差量（各ブロックの差分）の和が最小となるときのブロックの距離を推定距離とする。また、この基準カメラをＣＡ1，ＣＡ2，ＣＡ3…，ＣＡ9と順次切り換えることで、各々のカメラＣＡのカメラ画像におけるブロックの推定距離を求める。
【００３３】
このように、基準カメラ１台に対して、それに隣接する左右の隣接カメラを用いてブロックマッチングを行うことで、被写体の重なり等のオクルージョンが発生した状況であっても、その認識結果の誤りを軽減することができる。
【００３４】
ここで、図４及び図５を参照して、ブロックマッチング法について説明する。図４は、あるカメラを基準カメラとして被写体Ｍを撮影した基準カメラ画像（ａ）と、その基準カメラに隣接する隣接カメラで同じ被写体Ｍを撮影した隣接カメラ画像（ｂ）の画像内容を表わしている。
【００３５】
図４に示すように基準カメラ画像（ａ）の特定の大きさを持ったブロック（探索ブロックＢ）の領域を、隣接カメラ画像（ｂ）で探索し、そのブロックデータの差分が最小となるようなブロックを探索結果ブロックＢｒとする。そして、探索ブロックＢと探索結果ブロックＢｒの位置の差分を推定視差ベクトルＶｅとする。
【００３６】
なお、推定視差ベクトルＶｅの大きさを視差量（disparity）といい、前記基準カメラと前記隣接カメラとのカメラ間隔をＤとすると、各々のカメラから被写体Ｍまでの距離（depth）は（１）式で求めることができる。
【００３７】
depth＝Ｄ／disparity …（１）
【００３８】
また、図４に示すように、一対のステレオカメラを使う場合には、視差ベクトルを探索パラメータとすることが一般的であるが、本発明の場合には、２対のステレオカメラを使うので、共通の探索パラメータとして、中央カメラからの距離を用いている。このため、ブロックの差分を計算する時には（１）式により画面上での視差に変換して計算する。
【００３９】
また、この探索結果ブロックＢｒを求める方法を図５を参照して説明する。図５は、視体積交差法による概形と真の被写体との関係を示す図である。図５に示すように、概形の形状の表面（概形表面ＡＣ）は、被写体Ｍの表面（被写体表面ＭＣ）に外接している。ここでブロックマッチングによるブロックデータの差分（誤差量）をError_matching、カメラの光学主点位置Ｖから当該ブロックの被写体Ｍまでの距離をw、光学主点位置Ｖから概形表面ＡＣまでの距離をedge、そして、前記wと前記edgeの誤差に対する重み付け係数をkとして、（２）式のような誤差判定式を用い、その値（Error_total）が最小となるようなブロックを探索結果ブロックＢｒとする。
【００４０】
Error_total＝Error_matching＋k（w−edge）2 …（２）
【００４１】
なお、探索ブロックＢの探索範囲Ｆは、概形形状計測手段３（図１参照）で計測された被写体の概形形状に基づいた限定した領域とすることができる。
図１に戻って説明を続ける。
【００４２】
格子点距離算出部４２は、被写体を含んだ仮想的な三次元座標空間（世界座標）の単位格子点（格子点世界座標）を画像座標に変換し、カメラＣＡから単位格子点までの距離（格子点距離）を求めるものである。この格子点距離算出部４２によって求められた格子点距離は格子点距離蓄積手段（図示せず）に蓄積される。なお、この格子点距離は、距離判定部４３によって参照される。なお、この格子点世界座標は、その格子点の間隔等が外部から入力されるものとする。
【００４３】
距離判定部４３は、対応点探索部４１によって求められた被写体表面距離と、格子点距離算出部４２によって求められた格子点距離とを比較判定することで、単位格子点が被写体の内部に存在する点であるか外部に存在する点であるかを判定するものである。この距離判定部４３による判定結果である被写体内部格子点位置及び被写体外部格子点位置が、被写体内外格子点位置蓄積手段（図示せず）に蓄積され、ソリッドモデル生成部４４によって参照される。
【００４４】
なお、この距離判定部４３による判定は、被写体表面距離（ｄ＿ｓｕｒｆａｃｅ）と格子点距離（ｄ＿ｇｒｉｄ）との関係が以下の（３）式を満たす場合は、単位格子点が被写体の外部にあると判定し、（４）式を満たす場合は、単位格子点が被写体の内部にあると判定する。
【００４５】
ｄ＿ｓｕｒｆａｃｅ＞ｄ＿ｇｒｉｄ …（３）
【００４６】
ｄ＿ｓｕｒｆａｃｅ≦ｄ＿ｇｒｉｄ …（４）
【００４７】
ソリッドモデル生成部４４（三次元形状データ生成手段）は、距離判定部４３で判定された被写体内部格子点位置及び被写体外部格子点位置に基づいて、被写体の三次元形状データであるソリッドモデルを生成するものである。このソリッドモデル生成部４４は、被写体の三次元形状を、被写体の内部に存在する単位格子点に基づいて被写体の実体部分を定義した固体（ソリッド）として定義するものである。
【００４８】
ここで、図６を参照して、ソリッドモデルの概念について説明する。図６は、ソリッドモデルの概念を示した図である。
図６に示したように、被写体Ｍは、カメラの光学主点位置Ｖから見てカメラ画像Ｇ上に被写体シルエットＳとして平面的に撮影される。そして、三次元座標単位格子点は、カメラパラメータにより画像座標へ変換され、カメラから格子点までの距離（距離情報Ｒ）が求められ、カメラから格子点までの距離と、同じ画像座標におけるカメラから被写体表面までの距離とを比較することでソリッドモデルが求められる。このように、個々のソリッドが距離情報Ｒに基づいてデータ化されることで、被写体Ｍは、三次元のソリッドデータとして生成される。
【００４９】
以上、本発明に係る三次元モデリング装置１の構成について説明したが、三次元モデリング装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して三次元モデリングプログラムとして動作させることも可能である。
【００５０】
（三次元モデリング装置の動作）
次に、図１、図７及び図８を参照して、三次元モデリング装置１の動作について説明する。図７及び図８は、三次元モデリング装置１の動作を示すフローチャートである。
【００５１】
［初期ステップ］
まず最初に、カメラパラメータ測定手段２によって、カメラＣＡの位置、角度等のカメラパラメータを測定する（ステップＳ１）。
【００５２】
［概形形状計測ステップ］
シルエット抽出部３１によって、カメラＣＡから入力されたカメラ画像から、背景差分法（あるいはクロマキー手法等）により、被写体以外の背景領域を除去し、被写体領域のみを切り出した被写体シルエット（被写体形状）を抽出する（ステップＳ２）。
【００５３】
次に、外接形状算出部３２によって、この被写体シルエットを、カメラＣＡの光学主点位置から仮想的に被写体方向に逆投影して形成される、光学主点位置を頂点として断面が被写体シルエットとなる錐体の形状（錐体領域）を、カメラＣＡの台数分算出する（ステップＳ３）。
【００５４】
そして、カメラＣＡの台数分の錐体の形状（錐体領域）が重なりあう領域（論理積）を被写体の概形形状として算出して（ステップＳ４）、対応点探索ステップ（ステップＳ５）へ進む。なお、このステップＳ４で算出された概形形状は、被写体に外接し、被写体の概略の形状を表わしている。
【００５５】
［対応点探索ステップ］
対応点探索部４１によって、カメラＣＡの中から基準となる基準カメラ（例えばカメラＣＡ１）を設定し（ステップＳ５）、その基準カメラに隣接する２台のカメラ（例えばＣＡ９，ＣＡ２）の各々のカメラ画像から、被写体の概形形状を探索範囲として、ブロックマッチングを行い各画素毎にカメラＣＡの光学主点位置から被写体表面までの距離を算出する（ステップＳ６）。
【００５６】
そして、全てのカメラＣＡを基準カメラとして動作したかどうかを判定し（ステップＳ７）、全てのカメラＣＡを基準カメラとしていない場合（Ｎｏ）は、ステップＳ５へ戻って、基準カメラをカメラＣＡ1からカメラＣＡ9まで切り換えることで、各カメラ（ＣＡ1，ＣＡ2，ＣＡ3…，ＣＡ9）から被写体表面までの距離を算出する。
一方、全てのカメラＣＡを基準カメラとして動作した場合（Ｙｅｓ）は、三次元形状データ生成ステップ（ステップＳ８）へ進む。
【００５７】
［三次元形状データ生成ステップ］
格子点距離算出部４２によって、仮想的な三次元座標空間（世界座標）の単位格子点（格子点世界座標）を画像座標に変換し、カメラＣＡから単位格子点までの距離（格子点距離）を格子点距離蓄積手段（図示せず）に蓄積する（ステップＳ８）。
【００５８】
そして、距離判定部４３によって、ステップＳ６で求めた被写体表面距離と、ステップＳ８で求めた格子点距離とを比較判定し、その判定結果である被写体内部格子点位置及び被写体外部格子点位置を、被写体内外格子点位置蓄積手段（図示せず）に蓄積する（ステップＳ９）。
【００５９】
そして、被写体内部格子点位置及び被写体外部格子点位置に基づいて、ソリッドモデル生成部４４が被写体の実体部分を固体（ソリッド）として定義した三次元形状データであるソリッドモデルを生成する（ステップＳ１０）。
【００６０】
なお、ステップＳ８内の単位格子点を画像座標に変換する動作は、初期ステップにおいて、予め実行しておいてもよい。
【００６１】
以上の各ステップによって、複数のカメラ（多視点カメラ）で被写体を撮影したカメラ画像から、被写体の概形形状を算出し、その概形形状の近傍に被写体の真の表面が存在することから、その概形形状を被写体形状の探索範囲とすることで、より詳細な形状を測定することができる。
【００６２】
【発明の効果】
以上説明したとおり、本発明に係る三次元モデリング装置及びその方法及びそのプログラムでは、以下に示す優れた効果を奏する。
【００６３】
請求項１、請求項４又は請求項５に記載の発明によれば、三次元モデリング装置、三次元モデリング方法又は三次元モデリングプログラムは、まず、被写体の概形形状を測定し、その概形形状を基に詳細な形状を計測するため、従来の三次元モデリング手法に比べて、演算量を抑制して高速に三次元形状データを生成することができる。さらに、被写体の表面形状が滑らかな曲面であったり、凹面の形状であっても、正確にその形状を反映した三次元形状データを生成することができる。
【００６４】
請求項２に記載の発明によれば、三次元モデリング装置は、従来の視体積交差法により、被写体の概形形状のみを計測し、その概形形状を詳細な形状を計測するための探索領域として活用することができるため、従来の視体積交差法による三次元モデリング装置に比べて、誤差を軽減することができる。
【００６５】
請求項３に記載の発明によれば、三次元モデリング装置は、被写体の形状が三次元空間座標上にマッピングされ、その三次元空間座標の格子点が被写体の内部にある点か、外部にある点かの簡単な判定を行い、被写体の表面形状だけでなく、被写体の内部に属する三次元座標点をすべて抽出することができるため、三次元のソリッドデータを効率良く生成することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る三次元モデリング装置の全体構成を示すブロック図である。
【図２】被写体を中心とした円周上に配置されたカメラの配置例を示す配置図である。
【図３】視体積交差法を説明するための説明図である。
【図４】ブロックマッチング法を説明するための説明図である。
【図５】視体積交差法による概形と被写体との関係を示す関係図である。
【図６】ソリッドモデルの概念を説明するための説明図である。
【図７】本発明に係る三次元モデリング装置の動作を示すフローチャート（１／２）である。
【図８】本発明に係る三次元モデリング装置の動作を示すフローチャート（２／２）である。
【符号の説明】
１……三次元モデリング装置
２……カメラパラメータ測定手段
３……概形形状測定手段
３１……シルエット抽出部
３２……外接形状算出部
４……詳細形状計測手段
４１……対応点探索部（対応点探索手段）
４２……格子点距離算出部
４３……距離判定部
４４……ソリッドモデル生成部（三次元形状データ生成手段）
ＣＡ……カメラ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional modeling apparatus that generates three-dimensional shape data of a subject using a multi-viewpoint camera, a method thereof, and a program thereof.
[0002]
[Prior art]
Conventionally, a 3D modeling method for generating 3D shape data from a subject having a three-dimensional shape is based on a plurality of camera images input from the camera by arranging a plurality of cameras around the subject (multi-viewpoint camera). Then, the point corresponding to the subject of each camera image is searched by the block matching method, the distance between the searched point and each camera is calculated, and the distance information of each camera of the searched point is obtained. By integrating, three-dimensional shape data of the subject was generated. According to this method, highly accurate three-dimensional modeling can be performed by increasing the number of cameras. This method is “Peter Rander,“ A Multi-Camera Method for 3D Digitization of Dynamic, Real-World Events, ”“ CMU-RI-TR-98-12, March 1998. ”(hereinafter, Prior Art 1). It is disclosed.
[0003]
In another 3D modeling technique, a plurality of cameras are arranged around the subject, and a subject silhouette that is the shape of the subject region of the camera image input from the camera is virtually determined from the optical principal point position of the camera. A cone region is formed that is back-projected in the subject direction and has the optical principal point position as a vertex and a cross-section as the subject silhouette. Then, the overlapping area (logical product) of the cone areas formed for each camera is used as the outline of the subject, and the shape of the outline is used as the three-dimensional shape data. This method can obtain three-dimensional shape data faster than the block matching method. This method is called the visual volume intersection method, “Wu et al.,“ Active real-time shooting and interactive editing / display of 3D video images ”, IEICE Technical Report PRMU2001-187, Feb. 2001.” The following is disclosed in Prior Art 2).
[0004]
[Problems to be solved by the invention]
However, a three-dimensional modeling method using a multi-lens camera in the conventional technique, for example, in the prior art 1, when searching for a point corresponding to a subject of a camera image taken by each camera, a block matching method is used. Since the entire camera image (the entire space where the subject exists) is used as the search area, there is a problem that a huge amount of calculation is required and a long search time is required. Further, when the number of cameras is increased in order to perform high-accuracy three-dimensional modeling, there is a problem that more calculation amount and search time are required.
[0005]
In the visual volume intersection method of the prior art 2, the generated shape data is approximate shape data, and in principle, an error is likely to occur. In particular, when the surface of the subject has a smooth curved surface or a concave shape, the shape is approximated by a plane, and there is a problem that an error increases.
[0006]
The present invention has been made in view of the above problems, and at the time of generating three-dimensional shape data using a multi-lens camera, the accuracy of three-dimensional modeling is not reduced, and the amount of calculation is suppressed at high speed. It is an object of the present invention to provide a three-dimensional modeling apparatus and method and program thereof that can be performed.
[0007]
[Means for Solving the Problems]
The present invention has been developed to achieve the above object, and first, the three-dimensional modeling apparatus according to claim 1 is configured as follows.
That is, a three-dimensional modeling apparatus that generates three-dimensional shape data of a subject based on a plurality of camera images taken by a plurality of cameras arranged around the subject having a three-dimensional shape, the plurality of camera images The outline shape measuring means for measuring the outline shape of the subject circumscribing the subject, and the vicinity of the outline shape measured by the outline shape measuring means as a search range, the plurality of cameras The reference camera image taken by sequentially switching the reference camera, and the reference camera Left and right Adjacent camera image taken by the adjacent camera adjacent to In this case, an amount obtained by weighting and adding an error between the distance to the surface of the rough shape and the distance to the subject obtained based on a distance between the reference camera and the left and right adjacent cameras and an error of block matching is obtained. By searching for the smallest block, Corresponding points corresponding to the subject image in the reference camera image Explore Corresponding point search means; From the plurality of cameras to the corresponding points of the subject searched by the corresponding point search means 3D shape data generation means for generating 3D shape data of the subject based on the distance.
[0008]
According to such a configuration, the three-dimensional modeling apparatus measures the shape that is the approximate shape of the subject from the plurality of camera images obtained by photographing the subject with the plurality of cameras arranged around the subject by the approximate shape measuring unit. . For example, by using a technique such as a visual volume intersection method, the shape of the subject is included and the shape circumscribing the subject is measured.
[0009]
Then, the three-dimensional modeling device uses the corresponding point search unit as a search range within the outline shape measured by the outline shape measurement unit, and stores the image in the subject area for each camera image captured by the reference camera and the adjacent camera. Search for corresponding points . And The distance from each camera to the subject surface by means of 3D shape data generation means On the basis of the, 3D shape data of the subject is generated. The reference camera is not fixed, and the cameras around the subject are sequentially switched so that each camera becomes the reference camera in turn.
Thus, the three-dimensional modeling apparatus limits the approximate shape of the subject as a search range, and searches for corresponding points of the subject within the limited range from adjacent camera images.
[0010]
The three-dimensional modeling apparatus according to claim 2 is the three-dimensional modeling apparatus according to claim 1, wherein the approximate shape measuring means has the optical principal point position of the camera as a vertex, and the camera starts from the optical principal point position. The subject shape in the image is virtually back-projected in the subject direction, and the conical region whose cross-section is the subject shape is defined as an approximate shape of the subject, with the overlapping region overlapping multiple camera images. .
[0011]
According to such a configuration, the three-dimensional modeling apparatus uses the approximate shape measurement unit to create a cone area, which is obtained by virtually back projecting the object shape in the camera image from the optical principal point position of the camera in the direction of the object. The outline shape of the subject circumscribing the subject can be obtained by generating and taking the region where the respective cone regions overlap, that is, the logical product.
[0012]
Furthermore, the three-dimensional modeling apparatus according to claim 3 is the three-dimensional modeling apparatus according to claim 1 or 2, wherein the three-dimensional shape data generating means includes: Said By associating the distance between the camera and each corresponding point on the surface of the subject with the virtual three-dimensional space coordinates where the subject exists, a three-dimensional space coordinate unit lattice point located inside the subject is determined, A set of unit lattice points located at the position is used as the three-dimensional shape data of the subject.
[0013]
According to such a configuration, the three-dimensional modeling apparatus uses the three-dimensional shape data generation unit to determine the distance for each pixel from the camera to the subject surface in the subject area of each camera image in virtual three-dimensional spatial coordinates where the subject exists. By associating with, the three-dimensional shape data of the subject is generated by determining whether or not the grid point on the three-dimensional space coordinates in the vicinity of the subject surface exists in the subject.
[0014]
The three-dimensional modeling method according to claim 4 is a third-order modeling method for generating three-dimensional shape data of a subject based on a plurality of camera images photographed by a plurality of cameras arranged around the subject having a three-dimensional shape. An original modeling method comprising: measuring a rough shape of a subject circumscribing the subject from the plurality of camera images; and measuring the rough shape measured by the rough shape measuring step. A reference camera image obtained by switching a reference camera serving as a reference among the plurality of cameras using a vicinity as a search range, and the reference camera Left and right Adjacent camera image taken by the adjacent camera adjacent to In this case, an amount obtained by weighting and adding an error between the distance to the subject and the distance to the surface of the approximate shape obtained based on an interval between the reference camera and the left and right adjacent cameras and an error of the block matching is obtained. By searching for the smallest block, Corresponding points corresponding to the subject image in the reference camera image Explore A corresponding point search step; From the plurality of cameras to the corresponding points of the subject searched by the corresponding point searching step And a three-dimensional shape data generation step of generating three-dimensional shape data of the subject based on the distance.
[0015]
According to this method, the three-dimensional modeling method calculates an approximate shape of a subject from a plurality of camera images obtained by photographing the subject with a plurality of cameras arranged around the subject in a rough shape measuring step. . For example, by using a technique such as a view volume intersection method, the shape of the object is included and the shape circumscribing the object is calculated.
[0016]
Next, in the corresponding point search step, the corresponding point of the subject is searched for each camera image photographed by the adjacent camera using the outline shape measured in the outline shape measurement step as a search range. . And By the 3D shape data generation step ,camera Distance from the subject surface On the basis of the, 3D shape data of the subject is generated.
[0017]
Furthermore, the three-dimensional modeling program according to claim 5 is for generating the three-dimensional shape data of the subject based on a plurality of camera images taken by a plurality of cameras having a three-dimensional shape around the subject. In addition, the computer is configured to function by the following means.
That is, from the plurality of camera images, a rough shape measuring means for measuring the rough shape of the subject circumscribing the subject, the vicinity of the rough shape measured by the rough shape measuring means as a search range, A reference camera image obtained by sequentially switching a reference camera as a reference among the plurality of cameras, and the reference camera; Left and right Adjacent camera image taken by the adjacent camera adjacent to In this case, an amount obtained by weighting and adding an error between the distance to the subject and the distance to the surface of the approximate shape obtained based on an interval between the reference camera and the left and right adjacent cameras and an error of the block matching is obtained. By searching for the smallest block, Corresponding points corresponding to the subject image in the reference camera image Explore Corresponding point search means, From the plurality of cameras to the corresponding points of the subject searched by the corresponding point search means 3D shape data generating means for generating 3D shape data of the subject based on the distance of the subject.
[0018]
According to such a configuration, the three-dimensional modeling program uses the rough shape measuring unit to measure a shape that is a rough shape of the subject from the plurality of camera images obtained by photographing the subject with the plurality of cameras arranged around the subject. . For example, by using a technique such as a visual volume intersection method, the shape of the subject is included and the shape circumscribing the subject is measured.
[0019]
Then, the three-dimensional modeling program uses the corresponding point search means as a search range within the outline shape measured by the outline shape measurement means, and stores the image in the subject area for each camera image taken by the reference camera and the adjacent camera. Search for corresponding points . And By means of 3D shape data generation means ,camera Distance from the subject surface On the basis of the, 3D shape data of the subject is generated.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(Configuration of 3D modeling equipment)
[0021]
First, the configuration of the three-dimensional modeling apparatus according to the present invention will be described. FIG. 1 is a block diagram showing a configuration of a three-dimensional modeling apparatus according to an embodiment of the present invention. As shown in FIG. 1, the three-dimensional modeling apparatus 1 includes a camera parameter measuring unit 2, a rough shape measuring unit 3, and a detailed shape measuring unit 4.
[0022]
The three-dimensional modeling apparatus 1 is an apparatus that generates three-dimensional shape data of a subject based on a plurality of camera images obtained by photographing a subject having a three-dimensional shape with a plurality of cameras CA. Here, the number of cameras CA is nine (CA 1 , CA 2 , CA Three , ..., CA 9 ) Is shown as an example. The cameras CA are arranged at equal intervals on a circumference centered on a subject such as a person. (See Figure 2)
Note that the changeover switch SW switches the input of the camera CA and is switched by a camera switching unit (not shown) of the three-dimensional modeling apparatus 1.
[0023]
The camera parameter measuring means 2 inputs in advance a camera calibration pattern for calibrating the camera position and the like from the camera CA, and coordinates between the three-dimensional coordinates and the two-dimensional camera coordinates defined with reference to the camera calibration pattern. By performing the conversion, camera parameters such as the current position and angle of the camera CA are measured. The camera parameters measured by the camera parameter measuring unit 2 are input to the approximate shape measuring unit 3 and the detailed shape measuring unit 4 and used for calculating each shape and the like. The method for obtaining camera parameters from known patterns (camera calibration patterns) is “Roger Y. Tsai,“ Multiframe Image Point Matching and 3-D Surface Reconstruction, ”IEEE Trans.PAMI, Vol.PAMI-5, No.2. , pp.159-173, March 1983. ”.
[0024]
The rough shape measuring means 3 is a camera CA (CA 1 , CA 2 , CA Three , ..., CA 9 ) To measure the outline shape circumscribing the subject from the plurality of camera images input from (1). The approximate shape measuring means 3 includes a silhouette extracting unit 31 and a circumscribed shape calculating unit 32.
[0025]
The silhouette extraction unit 31 removes a background region other than the subject from each camera image and extracts a subject silhouette (subject shape) obtained by cutting out only the subject region. The subject silhouette extracted by the silhouette extraction unit 31 is output to the circumscribed shape calculation unit 32.
[0026]
Here, in order to separate the camera image into the subject area and the background area, only the background is captured in advance without the subject, and the difference from the camera image with the subject present is taken to obtain only the subject area. Is performed by a so-called background subtraction method. Alternatively, it is possible to use a chroma key technique in which a subject is placed in a uniform background of specific color (chroma key back) and an area other than the background color is extracted.
[0027]
The circumscribed shape calculation unit 32 converts the subject silhouette extracted by the silhouette extraction unit 31 to the camera CA (CA 1 , CA 2 , CA Three , ..., CA 9 ) Are input for the camera images taken, and the approximate shape of the subject is calculated from the plurality of subject silhouettes. The approximate shape extracted here is output to the detailed shape measuring means 4, and a more detailed shape is calculated.
[0028]
Here, with reference to FIG. 3, a method for calculating the approximate shape of a subject from a plurality of subject silhouettes will be described. FIG. 3 is an explanatory diagram for explaining the visual volume intersection method for estimating the approximate shape AM of the subject M. FIG. Here, in order to simplify the description, two cameras CA (CA 1 , CA 2 ).
[0029]
This view volume intersection method uses the camera CA 1 The subject silhouette S of the camera image G taken with the camera CA 1 A cone T whose cross section is the subject silhouette S with the optical principal point position V formed by virtual back projection in the direction of the subject M from the optical principal point position V 1 The shape (cone region) of the camera CA 2 Cone T calculated from the camera image of 2 An overlapping area (logical product) overlapping with the shape is defined as the approximate shape AM. The approximate shape AM circumscribes the subject M and represents the approximate shape of the subject M.
Returning to FIG. 1, the description will be continued.
[0030]
The detailed shape measuring means 4 includes a rough shape output from the circumscribed shape calculating unit 32 of the rough shape measuring means 3 and a camera CA (CA 1 , CA 2 , CA Three , ..., CA 9 ), The detailed shape of the subject is calculated on the basis of the plurality of camera images input from (), and three-dimensional shape data of the subject is generated. The detailed shape measuring unit 4 includes a corresponding point searching unit 41, a lattice point distance calculating unit 42, a distance determining unit 43, and a solid model generating unit 44.
[0031]
The corresponding point search unit 41 searches for a subject area in each of the camera images based on the camera images input from the three adjacent cameras CA, and searches for the center pixel of the block. The distance to the corresponding subject surface is calculated for each pixel. The calculated distance from the camera CA to the subject surface (subject surface distance) is stored in a subject surface distance storage unit (not shown) and is referred to by the distance determination unit 43.
[0032]
The corresponding point search unit 41 includes three cameras (for example, CA 1 , CA 2 , CA Three ), The central camera CA 2 The reference camera, right camera CA 1 Block matching with the adjacent camera, and the central camera CA 2 The reference camera, left camera CA Three Is a neighboring camera, and block matching is performed as a search parameter for the distance from the center. Then, the block distance when the sum of the error amounts of each block matching (difference between the blocks) is minimized is set as the estimated distance. Also, this reference camera is 1 , CA 2 , CA Three ..., CA 9 Are sequentially switched to obtain the estimated block distance in the camera image of each camera CA.
[0033]
In this way, by performing block matching on one reference camera using the left and right adjacent cameras adjacent to it, even if there is an occlusion such as subject overlap, an error in the recognition result can be obtained. Can be reduced.
[0034]
Here, the block matching method will be described with reference to FIGS. FIG. 4 shows image contents of a reference camera image (a) obtained by photographing a subject M using a certain camera as a reference camera and an adjacent camera image (b) obtained by photographing the same subject M with an adjacent camera adjacent to the reference camera. Yes.
[0035]
As shown in FIG. 4, an area of a block (search block B) having a specific size in the reference camera image (a) is searched with the adjacent camera image (b), and the difference between the block data is minimized. This block is set as a search result block Br. Then, a difference between positions of the search block B and the search result block Br is set as an estimated parallax vector Ve.
[0036]
The magnitude of the estimated parallax vector Ve is referred to as a disparity amount (disparity), and when the camera interval between the reference camera and the adjacent camera is D, the distance (depth) from each camera to the subject M is (1). It can be obtained by an expression.
[0037]
depth = D / disparity (1)
[0038]
Also, as shown in FIG. 4, when using a pair of stereo cameras, it is common to use a parallax vector as a search parameter, but in the present invention, two pairs of stereo cameras are used. The distance from the central camera is used as a common search parameter. For this reason, when calculating the difference between the blocks, the calculation is performed by converting the parallax on the screen according to the equation (1).
[0039]
Also this search A method for obtaining the result block Br will be described with reference to FIG. FIG. 5 is a diagram showing the relationship between the outline by the visual volume intersection method and the true subject. As shown in FIG. 5, the roughly shaped surface (rough shape surface AC) circumscribes the surface of the subject M (subject surface MC). Here, the difference (error amount) of block data by block matching is Error_matching, the distance from the optical principal point position V of the camera to the subject M of the block is w, and the distance from the optical principal point position V to the rough surface AC is edge. Then, a weighting coefficient for the error between w and the edge is set to k, and an error determination expression such as Expression (2) is used, and a block whose value (Error_total) is minimum is set as a search result block Br.
[0040]
Error_total = Error_matching + k (w-edge) 2 ... (2)
[0041]
The search range F of the search block B can be a limited area based on the approximate shape of the subject measured by the approximate shape measuring means 3 (see FIG. 1).
Returning to FIG. 1, the description will be continued.
[0042]
The lattice point distance calculation unit 42 converts unit lattice points (lattice point world coordinates) in a virtual three-dimensional coordinate space (world coordinates) including the subject into image coordinates, and the distance from the camera CA to the unit lattice points ( Grid point distance). The grid point distance obtained by the grid point distance calculation unit 42 is stored in a grid point distance storage unit (not shown). The grid point distance is referred to by the distance determination unit 43. Note that the grid point world coordinates are input from the outside such as the interval of the grid points.
[0043]
The distance determination unit 43 compares and determines the subject surface distance obtained by the corresponding point search unit 41 and the lattice point distance obtained by the lattice point distance calculation unit 42 so that the unit lattice point exists inside the subject. It is determined whether it is a point to be performed or a point existing outside. The subject internal grid point position and the subject external grid point position, which are determination results by the distance determination unit 43, are stored in a subject internal / external grid point position storage unit (not shown) and referred to by the solid model generation unit 44.
[0044]
The distance determination unit 43 determines that the unit grid point is outside the subject when the relationship between the subject surface distance (d_surface) and the grid point distance (d_grid) satisfies the following expression (3). If the expression (4) is satisfied, it is determined that the unit grid point is inside the subject.
[0045]
d_surface> d_grid (3)
[0046]
d_surface ≦ d_grid (4)
[0047]
The solid model generation unit 44 (three-dimensional shape data generation means) generates a solid model that is three-dimensional shape data of the subject based on the subject internal grid point position and the subject external grid point position determined by the distance determination unit 43. To do. The solid model generation unit 44 defines the three-dimensional shape of the subject as a solid in which the actual part of the subject is defined based on unit grid points existing inside the subject.
[0048]
Here, the concept of the solid model will be described with reference to FIG. FIG. 6 is a diagram showing the concept of the solid model.
As shown in FIG. 6, the subject M is photographed as a subject silhouette S on the camera image G as viewed from the optical principal point position V of the camera. Then, the three-dimensional coordinate unit grid point is converted into image coordinates by camera parameters, and the distance from the camera to the grid point (distance information R) is obtained. From the camera at the same image coordinate as the distance from the camera to the grid point, A solid model is obtained by comparing the distance to the subject surface. As described above, each solid is converted into data based on the distance information R, so that the subject M is generated as three-dimensional solid data.
[0049]
The configuration of the three-dimensional modeling apparatus 1 according to the present invention has been described above. However, the three-dimensional modeling apparatus 1 can also realize each unit as each function program in a computer, and combine the function programs to obtain a third order. It is also possible to operate as an original modeling program.
[0050]
(Operation of 3D modeling equipment)
Next, the operation of the three-dimensional modeling apparatus 1 will be described with reference to FIG. 1, FIG. 7, and FIG. 7 and 8 are flowcharts showing the operation of the three-dimensional modeling apparatus 1.
[0051]
[Initial step]
First, camera parameters such as the position and angle of the camera CA are measured by the camera parameter measuring means 2 (step S1).
[0052]
[Outline shape measurement step]
The silhouette extraction unit 31 removes the background area other than the subject from the camera image input from the camera CA by the background difference method (or chroma key method, etc.), and extracts the subject silhouette (subject shape) obtained by cutting out only the subject area. (Step S2).
[0053]
Next, the circumscribed shape calculation unit 32 virtually back-projects the subject silhouette from the optical principal point position of the camera CA toward the subject direction, and the cross section with the optical principal point position as a vertex becomes the subject silhouette. The shape of the cone (cone region) is calculated for the number of cameras CA (step S3).
[0054]
Then, an area (logical product) where cone shapes (cone areas) corresponding to the number of cameras CA overlap is calculated as the approximate shape of the subject (step S4), and the process proceeds to the corresponding point search step (step S5). . Note that the approximate shape calculated in step S4 circumscribes the subject and represents the approximate shape of the subject.
[0055]
[ Corresponding point search step ]
A reference point camera (for example, camera CA) serving as a reference among the cameras CA by the corresponding point search unit 41. 1 ) (Step S5), and two cameras adjacent to the reference camera (for example, CA) 9 , CA 2 From each camera image, block matching is performed using the approximate shape of the subject as a search range, and the distance from the optical principal point position of the camera CA to the subject surface is calculated for each pixel (step S6).
[0056]
Then, it is determined whether or not all the cameras CA are operated as the reference cameras (step S7). When all the cameras CA are not used as the reference cameras (No), the process returns to step S5 and the reference cameras are set as the camera CA. 1 To camera CA 9 Each camera (CA 1 , CA 2 , CA Three ..., CA 9 ) To the subject surface.
On the other hand, when all the cameras CA are operated as reference cameras (Yes), the process proceeds to the three-dimensional shape data generation step (step S8).
[0057]
[Three-dimensional shape data generation step]
The lattice point distance calculation unit 42 converts unit lattice points (lattice point world coordinates) in a virtual three-dimensional coordinate space (world coordinates) into image coordinates, and the distance from the camera CA to the unit lattice points (lattice point distance). Is stored in a grid point distance storage means (not shown) (step S8).
[0058]
Then, the distance determination unit 43 compares and determines the subject surface distance obtained in step S6 and the lattice point distance obtained in step S8, and the subject internal lattice point position and subject external lattice point position, which are the determination results, are determined. The data is stored in a subject internal / external grid point position storage means (not shown) (step S9).
[0059]
Then, based on the subject internal grid point position and the subject external grid point position, the solid model generation unit 44 generates a solid model that is three-dimensional shape data in which the actual part of the subject is defined as a solid (step S10). .
[0060]
Note that the operation of converting the unit grid points in step S8 into image coordinates may be performed in advance in the initial step.
[0061]
Through the above steps, the approximate shape of the subject is calculated from camera images obtained by photographing the subject with a plurality of cameras (multi-viewpoint cameras), and the true surface of the subject exists in the vicinity of the approximate shape. By setting the rough shape as the subject shape search range, a more detailed shape can be measured.
[0062]
【The invention's effect】
As described above, the three-dimensional modeling apparatus, method and program thereof according to the present invention have the following excellent effects.
[0063]
According to the first, fourth, or fifth aspect of the invention, the three-dimensional modeling apparatus, the three-dimensional modeling method, or the three-dimensional modeling program first measures the rough shape of the object, and then the rough shape. Since the detailed shape is measured based on the above, it is possible to generate the three-dimensional shape data at a high speed while suppressing the amount of calculation as compared with the conventional three-dimensional modeling method. Furthermore, even if the surface shape of the subject is a smooth curved surface or a concave shape, three-dimensional shape data that accurately reflects the shape can be generated.
[0064]
According to the second aspect of the present invention, the three-dimensional modeling apparatus measures only the approximate shape of the subject by the conventional visual volume intersection method, and searches the detailed shape of the approximate shape. Therefore, the error can be reduced as compared with the conventional three-dimensional modeling apparatus based on the visual volume intersection method.
[0065]
According to the third aspect of the present invention, the three-dimensional modeling apparatus is configured such that the shape of the subject is mapped on the three-dimensional space coordinates, and the lattice points of the three-dimensional space coordinates are located inside or outside the subject. Since simple determination of a point can be performed and not only the surface shape of the subject but also all three-dimensional coordinate points belonging to the inside of the subject can be extracted, three-dimensional solid data can be efficiently generated.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a three-dimensional modeling apparatus according to an embodiment of the present invention.
FIG. 2 is an arrangement diagram illustrating an arrangement example of cameras arranged on a circumference around a subject.
FIG. 3 is an explanatory diagram for explaining a visual volume intersection method;
FIG. 4 is an explanatory diagram for explaining a block matching method;
FIG. 5 is a relationship diagram illustrating a relationship between an outline and a subject by a visual volume intersection method.
FIG. 6 is an explanatory diagram for explaining the concept of a solid model.
FIG. 7 is a flowchart (1/2) showing the operation of the three-dimensional modeling apparatus according to the present invention.
FIG. 8 is a flowchart (2/2) showing the operation of the three-dimensional modeling apparatus according to the present invention.
[Explanation of symbols]
1 ... 3D modeling equipment
2 ... Camera parameter measurement means
3. Approximate shape measuring means
31 …… Silhouette extractor
32 ... circumscribed shape calculation unit
4. Detailed shape measuring means
41 …… Corresponding point search unit ( Corresponding point search means )
42 …… Lattice point distance calculator
43 …… Distance judgment part
44 …… Solid model generator (three-dimensional shape data generator)
CA …… Camera

Claims (5)

立体形状である被写体をその周囲に配置した複数のカメラで撮影した複数のカメラ画像に基づいて、前記被写体の三次元形状データを生成する三次元モデリング装置であって、
前記複数のカメラ画像から、前記被写体に外接するその被写体の概形形状を計測する概形形状計測手段と、
この概形形状計測手段によって計測された前記概形形状の近傍を探索範囲として、前記複数のカメラの中で、順次基準となる基準カメラを切り換えて撮影した基準カメラ画像と、前記基準カメラの左右に隣接する隣接カメラで撮影した隣接カメラ画像とにおいて、前記基準カメラと前記左右の隣接カメラとの間隔に基づいて求められる前記被写体までの距離と前記概形形状の表面までの距離との誤差と、ブロックマッチングの誤差とを重み付け加算した量が最小となるブロックを探索することで、前記基準カメラ画像内の被写体画像に対応する対応点を探索する対応点探索手段と、
前記複数のカメラから、前記対応点探索手段によって探索された前記被写体の対応点までの距離に基づいて、前記被写体の三次元形状データを生成する三次元形状データ生成手段と、
を備えていることを特徴とする三次元モデリング装置。A three-dimensional modeling apparatus that generates three-dimensional shape data of the subject based on a plurality of camera images taken by a plurality of cameras arranged around the subject having a three-dimensional shape,
A rough shape measuring means for measuring a rough shape of the subject circumscribing the subject from the plurality of camera images;
Using the vicinity of the approximate shape measured by the approximate shape measuring means as a search range, among the plurality of cameras, a reference camera image photographed by sequentially switching a reference camera as a reference , and left and right of the reference camera And an error between a distance to the subject and a distance to the surface of the rough shape obtained based on an interval between the reference camera and the left and right adjacent cameras. Corresponding point search means for searching for a corresponding point corresponding to the subject image in the reference camera image by searching for a block having a minimum amount of weighted addition of block matching errors ;
3D shape data generation means for generating 3D shape data of the subject based on distances from the plurality of cameras to corresponding points of the subject searched by the corresponding point search means ;
A three-dimensional modeling apparatus comprising: 前記概形形状計測手段は、前記カメラの光学主点位置を頂点とし、その光学主点位置から前記カメラ画像内の被写体形状を仮想的に前記被写体方向に逆投影し、断面が前記被写体形状となる錐体領域が、前記複数のカメラ画像分重なりあった重複領域を前記被写体の概形形状とすることを特徴とする請求項１に記載の三次元モデリング装置。  The approximate shape measuring means has an optical principal point position of the camera as a vertex, and virtually back-projects a subject shape in the camera image from the optical principal point position to the subject direction, and a cross-section is the subject shape. The three-dimensional modeling apparatus according to claim 1, wherein an overlapping region in which the cone region is overlapped by the plurality of camera images has an approximate shape of the subject. 前記三次元形状データ生成手段は、前記カメラと前記被写体の被写体表面の各対応点との距離を、前記被写体が存在する仮想的な三次元空間座標に対応付けることで、前記被写体の内部に位置する三次元空間座標単位格子点を判定し、その内部に位置する単位格子点の集合を前記被写体の三次元形状データとすることを特徴とする請求項１又は請求項２に記載の三次元モデリング装置。The three-dimensional shape data generating means, the distance between corresponding points of the camera and the subject surface of the object, by associating a virtual three-dimensional space coordinates the subject exists, located in the interior of the subject The three-dimensional modeling apparatus according to claim 1 or 2, wherein a three-dimensional spatial coordinate unit lattice point is determined, and a set of unit lattice points located inside the unit lattice point is used as the three-dimensional shape data of the subject. . 立体形状である被写体をその周囲に配置した複数のカメラで撮影した複数のカメラ画像に基づいて、前記被写体の三次元形状データを生成する三次元モデリング方法であって、
前記複数のカメラ画像から、前記被写体に外接するその被写体の概形形状を計測する概形形状計測ステップと、
この概形形状計測ステップによって計測された前記概形形状の近傍を探索範囲として、前記複数のカメラの中で、順次基準となる基準カメラを切り換えて撮影した基準カメラ画像と、前記基準カメラの左右に隣接する隣接カメラで撮影した隣接カメラ画像とにおいて、前記基準カメラと前記左右の隣接カメラとの間隔に基づいて求められる前記被写体までの距離と前記概形形状の表面までの距離との誤差と、ブロックマッチングの誤差とを重み付け加算した量が最小となるブロックを探索することで、前記基準カメラ画像内の被写体画像に対応する対応点を探索する対応点探索ステップと、
前記複数のカメラから、前記対応点探索ステップによって探索された前記被写体の対応点までの距離に基づいて、前記被写体の三次元形状データを生成する三次元形状データ生成ステップと、
を含むことを特徴とする三次元モデリング方法。A three-dimensional modeling method for generating three-dimensional shape data of a subject based on a plurality of camera images taken by a plurality of cameras arranged around the subject having a three-dimensional shape,
A rough shape measuring step for measuring a rough shape of the subject circumscribing the subject from the plurality of camera images;
Using the vicinity of the approximate shape measured in the approximate shape measurement step as a search range, among the plurality of cameras, a reference camera image captured by sequentially switching a reference camera serving as a reference , and left and right of the reference camera And an error between a distance to the subject and a distance to the surface of the rough shape obtained based on an interval between the reference camera and the left and right adjacent cameras. A corresponding point search step of searching for a corresponding point corresponding to the subject image in the reference camera image by searching for a block having a minimum amount obtained by weighted addition of block matching errors ;
3D shape data generation step for generating 3D shape data of the subject based on distances from the plurality of cameras to corresponding points of the subject searched in the corresponding point search step ;
A three-dimensional modeling method comprising: 立体形状である被写体をその周囲に配置した複数のカメラで撮影した複数のカメラ画像に基づいて、前記被写体の三次元形状データを生成するために、コンピュータを、
前記複数のカメラ画像から、前記被写体に外接するその被写体の概形形状を計測する概形形状計測手段、
この概形形状計測手段によって計測された前記概形形状の近傍を探索範囲として、前記複数のカメラの中で、順次基準となる基準カメラを切り換えて撮影した基準カメラ画像と、前記基準カメラの左右に隣接する隣接カメラで撮影した隣接カメラ画像とにおいて、前記基準カメラと前記左右の隣接カメラとの間隔に基づいて求められる前記被写体までの距離と前記概形形状の表面までの距離との誤差と、ブロックマッチングの誤差とを重み付け加算した量が最小となるブロックを探索することで、前記基準カメラ画像内の被写体画像に対応する対応点を探索する対応点探索手段、
前記複数のカメラから、前記対応点探索手段によって探索された前記被写体の対応点までの距離に基づいて、前記被写体の三次元形状データを生成する三次元形状データ生成手段、
として機能させることを特徴とする三次元モデリングプログラム。In order to generate the three-dimensional shape data of the subject based on a plurality of camera images taken by a plurality of cameras arranged around the subject having a three-dimensional shape,
A rough shape measuring means for measuring a rough shape of the subject circumscribing the subject from the plurality of camera images;
Using the vicinity of the approximate shape measured by the approximate shape measuring means as a search range, among the plurality of cameras, a reference camera image photographed by sequentially switching a reference camera as a reference , and left and right of the reference camera And an error between a distance to the subject and a distance to the surface of the rough shape obtained based on an interval between the reference camera and the left and right adjacent cameras. Corresponding point search means for searching for a corresponding point corresponding to a subject image in the reference camera image by searching for a block having a minimum amount obtained by weighted addition of block matching errors ;
3D shape data generation means for generating 3D shape data of the subject based on distances from the plurality of cameras to corresponding points of the subject searched by the corresponding point search means;
A three-dimensional modeling program characterized by functioning as
JP2002069017A 2002-03-13 2002-03-13 Three-dimensional modeling apparatus and method and program thereof Expired - Lifetime JP4014140B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002069017A JP4014140B2 (en) 2002-03-13 2002-03-13 Three-dimensional modeling apparatus and method and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002069017A JP4014140B2 (en) 2002-03-13 2002-03-13 Three-dimensional modeling apparatus and method and program thereof

Publications (2)

Publication Number Publication Date
JP2003271928A JP2003271928A (en) 2003-09-26
JP4014140B2 true JP4014140B2 (en) 2007-11-28

Family

ID=29199983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002069017A Expired - Lifetime JP4014140B2 (en) 2002-03-13 2002-03-13 Three-dimensional modeling apparatus and method and program thereof

Country Status (1)

Country Link
JP (1) JP4014140B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217593A (en) * 2007-03-06 2008-09-18 Nippon Hoso Kyokai <Nhk> Subject area extraction device and subject area extraction program
JP5631086B2 (en) 2010-07-12 2014-11-26 キヤノン株式会社 Information processing apparatus, control method therefor, and program
JPWO2015108071A1 (en) * 2014-01-20 2017-03-23 正実 森 Three-dimensional data generation apparatus, three-dimensional object manufacturing system, and three-dimensional data generation method
CN106773508B (en) * 2017-02-15 2022-05-24 天津长瑞大通流体控制系统有限公司 Shooting system for watching 3D (three-dimensional) images by naked eyes and using method
JP6948175B2 (en) 2017-07-06 2021-10-13 キヤノン株式会社 Image processing device and its control method
JP6425847B1 (en) 2017-08-14 2018-11-21 キヤノン株式会社 Image processing apparatus, image processing method and program
CN110082882B (en) * 2018-01-25 2022-07-26 台湾东电化股份有限公司 Optical system and assembling method thereof
KR102045875B1 (en) * 2018-03-16 2019-11-18 서울여자대학교 산학협력단 Target 3D modeling method using realsense
JP7063837B2 (en) * 2019-03-27 2022-05-09 Kddi株式会社 Area extraction device and program

Also Published As

Publication number Publication date
JP2003271928A (en) 2003-09-26

Similar Documents

Publication Publication Date Title
CN110458939B (en) Indoor scene modeling method based on visual angle generation
CN109816703B (en) Point cloud registration method based on camera calibration and ICP algorithm
US10789765B2 (en) Three-dimensional reconstruction method
CN109215117B (en) Flower three-dimensional reconstruction method based on ORB and U-net
US8447099B2 (en) Forming 3D models using two images
CN108053476B (en) Human body parameter measuring system and method based on segmented three-dimensional reconstruction
US8452081B2 (en) Forming 3D models using multiple images
US9234749B2 (en) Enhanced object reconstruction
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
JP5106375B2 (en) 3D shape restoration device and program thereof
JP6097903B2 (en) Three-dimensional shape acquisition apparatus, processing method, and program
JP5366258B2 (en) Virtual viewpoint image generation method and program based on geometric information in large space camera arrangement
CN205451195U (en) Real -time three -dimensional some cloud system that rebuilds based on many cameras
JP4014140B2 (en) Three-dimensional modeling apparatus and method and program thereof
WO2022127181A1 (en) Passenger flow monitoring method and apparatus, and electronic device and storage medium
CN113570701B (en) Hair reconstruction method and device
CN113971718A (en) Method for performing Boolean operation on three-dimensional point cloud model
JP2020098421A (en) Three-dimensional shape model generation device, three-dimensional shape model generation method and program
KR20070073647A (en) Method and apparatus of generating three dimensional scene in virtual view point
JP7465234B2 (en) 3D model generation device, method and program
Lian et al. Non-Reference Quality Evaluation for Indoor 3d Point Clouds
JPH09229648A (en) Input/output method and device for image information
Lin et al. Complete 3D model reconstruction from multiple views
JP4122663B2 (en) 3D shape model creation device for objects

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070606

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070907

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110921

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120921

Year of fee payment: 5