JP3606308B2

JP3606308B2 - ３次元構造獲得方法及び記録媒体並びに装置

Info

Publication number: JP3606308B2
Application number: JP27138399A
Authority: JP
Inventors: 勲宮川; 賞一堀口; 茂長井; 尚子植本; 憲作藤井; 和弘杉山
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1999-09-24
Filing date: 1999-09-24
Publication date: 2005-01-05
Anticipated expiration: 2019-09-24
Also published as: JP2001091250A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像入力装置等により取得した時系列画像データから、対象物の３次元形状または構造を計測、獲得、復元する３次元構造獲得技術に関し、特に、空中撮影した画像データからの建築物の構造もしくは形状を計測する測量技術に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来、時系列画像データから、対象物の形状を計測または獲得する手法には、ステレオ計測やエピポーラ解析を用いた３次元解析手法がある。また、最近では、カメラの運動と対象物の形状に関する３次元情報を、同時に、計測または獲得する手法の代表的な手法として、因子分解法がある。これらの手法によれば、対象物が撮影されている複数の時系列画像データから、３次元の形状に関する情報を計測または獲得することができる。この手法は、ランダム雑音にロスバストであり、図１８に示すように、カメラ運動と対象物の形状に関する獲得頻度が高い。
【０００３】
【発明が解決しようとする課題】
しかし、飛行機等にカメラを設置した空中撮影においては、対象物の特徴点として同定できる点が限定される。すなわち、隣接する建物によりオクルージョンが発生し、建物の足（地面に接する部分）に関して、図１９に示すように、空中撮影画像では、追跡することが困難である。この場合、特徴点として追跡できる点は、建物の上面の点Ａｉである（図中、Ｂｉは建物の地面に接する点である）。したがって、実際の空中撮影画像において、特徴点としての数は少ないことが想定され、これらの情報だけから対象物（建築物の形状）を獲得、復元することは困難である。
【０００４】
本発明の目的は、空中撮影した時系列画像から少ない特徴点しか追跡できない場合にでも、物体の形状を獲得、復元することが可能な技術を提供することにある。
【０００５】
本発明の他の目的は、物体の構造もしくは形状の３次元構造の獲得において、空中撮影した時系列画像から物体の構造もしくは形状の獲得精度を向上することが可能な技術を提供することにある。
【０００６】
本発明の他の目的は、空中撮影した時系列画像から物体の構造もしくは形状を容易に獲得することが可能な技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【０００７】
【課題を解決するための手段】
本願において開示される発明の概要を簡単に説明すれば、以下のとおりである。
（１）画像入力装置により物体（対象物）を撮影し、時系列画像データを取得し、この時系列画像データから前記対象物（被写体）の形状情報を計測し、物体の形状を復元（再現）する３次元構造獲得方法における画像シーケンス中に、前記時系列画像面上に対象物の形状を特徴付ける対象の点（以下、特徴点と称する）、及び形状を復元する際の３次元的に基準となる点（以下、基準点と称する）を追跡する過程において、オクルージョン、特徴点の画面枠外への移動等が発生しないような時系列画像を、前記画像入力装置から、逐次、更新、または選択しながら、適切な時系列シーケンスを確保すると共に、前記特徴点と基準点の２次元特徴点座標データを取得し、該２次元特徴点座標データを用いて各々の特徴点に対応する３次元座標値を獲得し、時系列の特徴点を追跡し、得られた時系列の特徴点データを因子分解法を用いて対象物の構造もしくは形状を復元する３次元構造獲得方法であって、
前記特徴点データから構成される２次元計測データを、因子分解法により、雑音成分を除去した前記画像入力装置の物理的運動を表現する運動情報と、雑音成分を除去した物体の構造もしくは形状を表現する構造情報もしくは形状情報に分解する分解過程と、該分解過程で、前記画像入力装置の物理的運動に同期して動作するセンサ装置により、前記画像入力装置の運動情報を計測する計測過程と、該計測した物理的な運動状態情報を用いて当該運動成分を補正する補正過程と、前記基準点の３次元獲得座標値を用いて形成する平面を基準面とし、該基準面に対して、対象物の形状を特徴付ける特徴点の３次元獲得座標値を用いて幾何的処理を行い、各々の対象物の形状を復元する復元過程を有することを特徴とする。
【０００８】
（２）前記計測過程における運動情報は、前記画像入力装置の視点を原点とする座標系（画像入力装置の座標系、カメラ（視点）座標系）における、前記画像入力装置の座標の水平方向の軸周りの回転角度値、垂直方向の軸周りの回転角度値、及び光軸周りの回転角度値であることを特徴とする前記（１）の３次元構造獲得方法である。
【０００９】
（３）画像入力装置により物体（対象物）を撮影し、時系列画像データを取得し、この時系列画像データから前記対象物（被写体）の形状情報を計測し、物体の形状を復元（再現）する３次元構造獲得方法における画像シーケンス中に、前記時系列画像面上に対象物の形状を特徴付ける対象の点（以下、特徴点と称する）、及び形状を復元する際の３次元的に基準となる点（以下、基準点と称する）を追跡する過程において、オクルージョン、特徴点の画面枠外への移動等が発生しないような時系列画像を、前記画像入力装置から、逐次、更新、または選択しながら、適切な時系列シーケンスを確保すると共に、前記特徴点と基準点の２次元特徴点座標データを取得し、該２次元特徴点座標データを用いて各々の特徴点に対応する３次元座標値を獲得し、時系列の特徴点を追跡し、得られた時系列の特徴点データを因子分解法を用いて対象物の構造もしくは形状を復元する３次元構造獲得方法の処理手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読みとり可能な記録媒体であって、
前記特徴点データから構成される２次元計測データを、因子分解法により、雑音成分を除去した前記画像入力装置の物理的運動を表現する運動情報と、雑音成分を除去した物体の構造もしくは形状を表現する構造情報もしくは形状情報に分解する分解手順と、該分解手順で、前記画像入力装置の物理的運動に同期して動作するセンサ装置により、前記画像入力装置の運動情報を計測する計測手順と、該計測した物理的な運動状態情報を用いて当該運動成分を補正する補正手順と、前記基準点の３次元獲得座標値を用いて形成する平面を基準面とし、該基準面に対して、対象物の形状を特徴付ける特徴点の３次元獲得座標値を用いて幾何的処理を行い、各々の対象物の形状を復元する復元手順を、コンピュータに実行させる機能を有するプログラムを記録したコンピュータ読みとり可能な記録媒体である。
【００１０】
（４）前記計測手順における運動情報は、前記画像入力装置の視点を原点とする座標系（画像入力装置の座標系、カメラ（視点）座標系）における、前記画像入力装置の座標の水平方向の軸周りの回転角度値、垂直方向の軸周りの回転角度値、及び光軸周りの回転角度値であることを特徴とする前記（３）のコンピュータ読みとり可能な記録媒体である。
【００１１】
（５）物体を撮影するカメラ等の画像入力装置と、時系列画像データを取得する手段と、この時系列画像データから前記対象物（被写体）の形状情報を計測する手段と、物体の形状を復元（再現）する３次元構造獲得における画像シーケンス中に、前記時系列画像面上に対象物の形状を特徴付ける対象の点（以下、特徴点と称する）、及び形状を復元する際の３次元的に基準となる点（以下、基準点と称する）を追跡する手段において、オクルージョン、特徴点の画面枠外への移動等が発生しないような時系列画像を、前記画像入力装置から、逐次、更新、または選択しながら、適切な時系列シーケンスを確保すると共に、前記特徴点と基準点の２次元特徴点座標データを取得し、該２次元特徴点座標データを用いて各々の特徴点に対応する３次元座標値を獲得する手段と、時系列の特徴点を追跡し、得られた時系列の特徴点データを因子分解法を用いて対象物の構造もしくは形状を復元する手段を有する３次元構造獲得装置であって、
前記特徴点データから構成される２次元計測データを、因子分解法により、雑音成分を除去した前記画像入力装置の物理的運動を表現する成分と、雑音成分を除去した物体の構造もしくは形状を表現する成分に分解する分解手段と、該分解手段で、前記画像入力装置の物理的運動に同期して動作するセンサ装置により、前記画像入力装置の運動情報を計測する計測手段と、該計測手段で計測した物理的な運動状態情報を用いて当該運動成分を補正する補正手段と、前記基準点の３次元獲得座標値を用いて形成する平面を基準面とし、該基準面に対して、対象物の形状を特徴付ける特徴点の３次元獲得座標値を用いて幾何学的処理を行い、各々の対象物の形状を復元する復元手段を具備することを特徴とする。
【００１２】
（６）前記計測手段における運動情報は、前記画像入力装置の視点を原点とする座標系（画像入力装置の座標系、カメラ（視点）座標系）における、前記画像入力装置の座標の水平方向の軸周りの回転角度値、垂直方向の軸周りの回転角度値、及び光軸周りの回転角度値であることを特徴とする前記（５）の３次元構造獲得装置である。
【００２０】
すなわち、本発明のポイントは、空中撮影画像上の建物の上面のＭ点と、地面を形成すると想定する基準のＮ点を追跡して得た２次元の特徴点データから、因子分解法を用いて、３次元座標として獲得し、Ｎ点で形成される地面の平面に対して、Ｍ点の対象物の上面の点を幾何学的に射影して、建物の足の座標を求めることにより、対象物の形状を獲得並びに復元することである。
【００２１】
前記本発明の手段によれば、空中撮影した時系列画像から、建物の形状を、簡易的、かつ、精度よく獲得、復元することができる。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態（実施例）を詳細に説明する。
なお、実施形態（実施例）を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００２３】
以下では、３次元構造獲得手段に、平行透視（Ｐａｒａｐｅｒｓｐｅｃｔｉｖｅ）変換型因子分解法を使用し、カメラ運動を光軸方向に一定に保持して回転、並進運動した場合を例にして説明する。また、特徴点追跡による時系列の画像枚数、すなわち、フレーム数はＦとし、基準点と物体上面ま点の合計をＰとしている。
【００２４】
（実施形態１）
図１は本発明の実施形態１の３次元構造獲得方法の全体的な処理フロー図であり、Ｓ１１はカメラを運動（移動）させるステップ、Ｓ１２は物体を撮影するステップ、Ｓ１３はセンサ情報を獲得するステップ、Ｓ１４は前記ステップＳ１２で撮影された画像の特徴点を追跡処理するステップ、Ｓ１５は因子分解法のデータを入力するステップ、Ｓ１６は因子分解法による処理を行うステップ、Ｓ１７は因子分解法による処理データを出力するステップ、Ｓ１８は因子分解法による処理データの出力に基づいて物体形状を復元（再現）するステップである。
【００２５】
図２は対象とする物体と画像入力装置との関係を説明するための図であり、２１は対象とする物体、２２はカメラ２２Ａ等からなる画像入力装置、２３はカメラ（視点）座標系、２４はカメラ回転運動を検出するセンサ、２５は対象とする物体を撮影した時系列画像データ、２６は画像入力装置２２の運動を記録したセンサ情報蓄積装置である。
【００２６】
図３は本実施形態１の画像入力装置の一実施例としての３次元構造獲得用カメラ及び３次元構造獲得用８ｍｍカメラの外観を示す模式図であり、（ａ）は３次元構造獲得用カメラ２２Ａの外観図、（ｂ）は３次元構造獲得用８ｍｍカメラ２２Ｂの外観図である。前記３次元構造獲得用カメラ２２Ａには、因子分解法にカメラ回転運動を与える３次元構造獲得手段２２Ａ１及びカメラ回転運動を検出するセンサ（カメラ姿勢センサ）２２Ａ２が設けられている。また、前記３次元構造獲得用８ｍｍカメラ２２Ｂには、因子分解法にカメラ回転運動を与える３次元構造獲得手段２２Ｂ１及びカメラ回転運動を検出するセンサ（カメラ姿勢センサ）２２Ｂ２が設けられている。前記３次元構造獲得手段２２Ａ１もしくは２２Ｂ１で獲得した３次元構造データは、これを用いて後から再生する別の視点からウォークスルーできる。以下、前記画像入力装置２２は単にカメラ２２と称する。
【００２７】
本実施形態１の３次元構造獲得方法の全体的な処理手順を図１に沿って説明する。まず、カメラ２２を回転、並進の物理的な運動をさせ（Ｓ１１）、対象とする物体を撮影し（Ｓ１２）、時系列の画像データを得る（図２）。このとき、カメラ２２の回転運動に対して、カメラ２２に取り付けたジャイロ等によるカメラ回転検出センサ（カメラ姿勢センサ）２２Ａ２もしくは２２Ｂ２により、初期状態（画像データの最初の画像を撮影したときのカメラ２２の運動の初期状態）でのカメラ２２の視点における座標系を基準として、時系列的にカメラ２２を回転運動させたときのカメラ２２の回転パラメータ値をセンサ情報として獲得する（Ｓ１３）。
【００２８】
ここで、カメラ２２のパラメータ値は、Ｘ軸の周りに回転した角度値α_ｆ（ラジアン）、Ｙ軸の周りに回転した角度値β_ｆ（ラジアン）、Ｚ軸の周りに回転した角度値γ_ｆ（ラジアン）である。サフィックスｆは、フレーム毎に回転値が存在するという意味で添えてある。
【００２９】
一方、図３に示すカメラ２２が運動することで、撮影した時系列画像データ（以下、時系列画像データと称する）について、フレーム数Ｆのディジタル画像を記録し、図４に示すように、フレームｆ（ｆ＝１，２，…，Ｆ）の画像における特徴点の２次元画像面での座標値を測定する。図４において、３１１は時系列の画像データ、３１２はＮＯ．ｆのフレーム画像（ｆ＝１，２，…，Ｆ）、３１３は座標系Ｘｄ、３１４は座標軸Ｙｄ、３１５は基準点と物体上面の点である。
【００３０】
図５は、本実施形態１の画像処理部の概略構成を示すブロック構成図である。本実施形態１の画像処理部は、図５に示すように、画像入力部５１、時系列画像の選択部５２、２次元特徴点の設定部５３、特徴点追跡部５４、３次元座標獲得部５５、形状復元部５６、及び形状出力部５７で構成されている。
【００３１】
図６は、本実施形態１の画像処理部の画像処理手順（図５の５１〜５４の部分に対応）を示すフロチャートである。
【００３２】
前記画像入力部５１には、撮影により取得した時系列画像が蓄積されている。前記時系列画像の選択部５２では、図５に示すように、前記画像入力部５１に入力された膨大な画像データから、適当な分量の画像シーケンスを抽出し、初期フレームを次の２次元特徴点の設定部５３に渡す処理を行う。仮に、特徴点データが画像シーケンス中に追跡できない場合は、自動的に、時系列画像を更新して、新しいセットの時系列画像を提供するのも、この時系列画像の選択部５２の役目である。まず、初期値として、適当な画像シーケンスを取り出す。
【００３３】
次に、特徴点が設置できない場合は、時系列画像を前進するか、または後進させることで、オクルージョン等が発生しないように、画像シーケンスを選択する。特徴点が設置できた場合には、初期フレーム上に特徴点と基準点がマークされ、特徴点追跡部５４において画像シーケンスに渡って、特徴点が追跡される。このとき、最終フレームまで特徴点追跡ができない場合も、同様に、時系列画像を前進、または後進することにより、最適な画像シーケンスとして、複数の時系列画像データを用意する（図６）。
【００３４】
図７は、本実施形態１の２次元特徴点の設定部５３の処理手順を、すなわち、対象物の形状を特徴点及び地面を形成する正三角形の基準点（頂点）を設定する手順を示すフローチャートである。
【００３５】
前記２次元特徴点の設定部５３では、図７に示すように、まず、時系列画像の選択部５２から初期フレームとしての画像（Ｓ７０１）が入力されると、３次元化したい建物の点を手動により復元する特徴点を全てマークする（Ｓ７０２）。このとき、画像の水平、垂直方向への直交座標系での座標（Ｘ_０ｉ，Ｙ_０ｉ）（ｉ＝１，２，３，・・・，ｎ）を計測する。復元したい対象物の特徴点（Ｘ_０ｉ，Ｙ_０ｉ）をマークし終えた時点で、全特徴点の２次元座標における重心座標を求める（Ｓ７０３）。重心座標が求まると、重心座標から最も遠い特撒点までの座標までを径といた円を描き、その円上の点の１点（ｑ１）をマークする（Ｓ７０４，Ｓ７０５）。このとき、点ｑ１が地面の点（道路上の点、または交差点等の地面の位置に存在する特徴となる点）でない場合は、地面上の点になるまで、探索を行い（Ｓ７０６）、地面上の点で、かつ、円周上の点ｑ１を設定する（Ｓ７０７）。次に、正三角形を形成し、かつ、円周上の点ｑ２とｑ３を設定する（Ｓ７０８）。このときも、同様に、点ｑ２とｑ３が地面の点かどうかを画像上から識別し（Ｓ７０９）、そうでなければ、点ｑｌを少量時計周りに動かし、再度、点ｑ２とｑ３を決定する。点ｑ２とｑ３が地面の点であれば、点ｑｌ、ｑ２、及びｑ３で形成される正三角形が全特徴点を包含しているかを調べ（Ｓ７１０）、正三角形が全特徴点を包含していれば、全特徴点とデルタ点の表示を行い（Ｓ７１１）、特徴点の設定処理は終了する（Ｓ７１２）。正三角形が全特徴点を包含していない場合には、再度、時系列画像の再選択を行う（Ｓ７１２）。
【００３６】
現実の画像において、正三角形を為す点ｑｌ、ｑ２、及びｑ３を探索することは困難であるので、ここでは、許容誤差の範囲ε内（＜ε）で、これらの点を設定する。
【００３７】
計測行列は、２Ｆ×Ｐサイズの行列であり、後に記述するように因子分解法の入力データである。
図８は、前記２次元特徴点の設定処理の結果を示す図であり、Ｃは重心、ｐｉは物体上面（建物の屋上の面）、ｑ、ｑ１、ｑ２、ｑ３はデルタ点である。
【００３８】
図９（ａ），（ｂ）は、本実施形態１のカメラ運動とセンサ情報とカメラベクトルの関係を示す図であり、４１は初期状態におけるカメラ（画像入力装置）、４２は初期状態におけるカメラ（視点）座標系におけるＸ軸、４３は初期状態におけるカメラ（視点）座標系におけるＹ軸、４４は初期状態におけるカメラ（視点）座標系におけるＺ軸である。
【００３９】
４５はＸ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときのカメラ（画像入力装置）、４６はＸ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときのカメラ座標系におけるＸ軸、４７はＸ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときのカメラ座標系におけるＹ軸、４８はＸ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときのカメラ座標系におけるＺ軸、４９はＸ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときのカメラ座標系におけるＸ軸の単位方向ベクトル、４１０はＸ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときのカメラ座標系におけるＹ軸の単位方向ベクトル、４１１はＸ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときのカメラ座標系におけるＺ軸の単位方向ベクトルである。
【００４０】
次に、図１におけるセンサ情報獲得から因子分解法までのフローを図１０用いて説明する。カメラ運動の初期状態とは、物体を撮影したときの最初に撮影した画像のときのカメラ２２の物理的な状態であり、カメラ視点を原点として、光軸方向にＺ軸、便宜上、水平方向にＸ軸、垂直方向にＹ軸を想定して、これを初期状態とし、それぞれのＸ軸方向、Ｙ軸方向、Ｚ軸方向への単位方向ベクトルi_１，j_１，k_１を初期状態でのカメラベクトルとする。カメラ運動時の回転パラメータ値とは、この単位方向ベクトルi_１，j_１，k_１に関する回転成分であり、物体撮影のカメラ運動において、i_１周りの回転が発生した場合は、回転パラメータ値α_ｆとしてセンサ情報を検出し、j_１周りの回転が発生した場合は、回転パラメータ値β_ｆとしてセンサ情報を検出し、k_１周りの回転が発生した場合は、回転パラメータ値γ_ｆとしてセンサ情報を検出して時系列画像と同時に、フレームｆ毎に、検出した回転パラメータ値α_ｆ、β_ｆ、γ_ｆを記録する。
さらに、フレーム第ｆ番目におけるカメラ視点座標のＸ軸方向、Ｙ軸方向、Ｚ軸方向の単位方向ベクトル i _ｆ， j _ｆ， k _ｆを数４の計算式により逐次計算し、これを因子分解法のセンサ情報として入力データとする。
単位方向ベクトル i _ｆ， j _ｆ， k _ｆは、Ｘ軸、Ｙ軸、Ｚ軸周りの回転行列の積により得られるものであり、単位方向ベクトル i _ｆ， j _ｆ， k _ｆと回転行列との関係になっており、これを数１の式で示す。
【００４１】
【数１】

【００４３】
図１０は、前記実施形態１での因子分解法の処理手順を示すフロー図であり、Ｓ１１１は計測行列を入力するステップ、Ｓ１１２は物体重心を計算するステップ、Ｓ１１３は特異値分解を処理するステップ、Ｓ１１４はランク３（図１１の行列分割を示す図を参照）による雑音成分を分離するステップ、Ｓ１１５はカメラ回転パラメータ値からのカメラベクトルを計算するステップ、Ｓ１１６はカメラベクトルからのカメラ運動行列を計算するステップ、Ｓ１１７は行列［Ｑ］を計算するステップ、Ｓ１１８は行列［Ｓ］を計算するステップ、Ｓ１１９は行列［Ｓ］の計算結果に基づいて物体の形状を復元するステップである。
【００４４】
本実施形態１での因子分解法の処理に用いる計算式を以下に示す。
【００４５】
【数２】
［Ａ］＝［Ｕ］［Ｗ］［Ｖ］
【００４６】
【数３】

【００４７】
【数４】

【００４８】
【数５】

【００４９】
【数６】

【００５０】
次に、図１における因子分解法の部分について、図１０に沿って説明をする。
２次元画像面での特徴点の座標点からなる計測行列２Ｆ×Ｐサイズの[Ａ]を、数２の計算式に従って特異値分解なる数学的手法により行列[Ｕ](２Ｆ×Ｐ）、[Ｗ](Ｐ×Ｐの対角化行列）、[Ｖ](Ｐ×Ｐ)に分解する（Ｓ１１３）。ここで、ランク３により、行列[Ｕ]を２Ｆ×３サイズの行列[Ｕ_１]と２Ｆ×(Ｐ−３)サイズの行列[Ｕ_２]に、行列[Ｗ]を３×３サイズの対角行列[Ｗ_１]と(Ｐ−３)×(Ｐ−３)サイズの行列[Ｗ_２]に、行列[Ｖ]を３×Ｐサイズの行列[Ｖ_１]と(Ｐ−３)×Ｐサイズの行列[Ｖ_２]に分離する（Ｓ１１４）（数３参照、図１１）。
【００５１】
図１１は、特異値分解処理の後のランク３による雑音成分除去を説明するための図であり、［Ｗ_２］の対角要素は、［Ｗ_１］の対角要素に比較して非常に小さく、［Ｕ_２］［Ｗ_２］［Ｖ_２］雑音成分と見なして削除する。
【００５２】
一方、センサ情報として入力されたカメラベクトルｉ_ｆ，ｊ_ｆ，ｋ_ｆからカメラ運動行列［Ｍ］へは、数５の計算式を用いて計算する（Ｓ１１６）。この計算式は、平行透視変換カメラモデルから導き出される関係式である。尚、この計算式におけるＸ_ｆ、Ｙ_ｆの値は、計測行列［Ａ］から物体重心の計算（Ｓ１１２）として得ており、Ｚ_ｆ（＝１）については光軸方向への運動は考慮しないとして固定的な値を設定している。
【００５３】
前記図１０のステップＳ１１５、Ｓ１１６、Ｓ１１７の処理手順の詳細を図１２（データ処理フロー図）に示す。図１２において、Ｓ２０１は１フレーム毎に回転成分を読み込むステップ、Ｓ２０２はカメラ基底ベクトルを生成するステップ、Ｓ２０３はカメラベクトルｍ_ｆ、ｎ_ｆを生成するステップ、Ｓ２０４は計測行列［Ａ］を入力するステップ、Ｓ２０５は第ｆフレームでのＰ個の特徴点座標を読み込むステップ、Ｓ２０６は計測行列から第ｆフレームにおける物体重心を計算するステップ、Ｓ２０７は特異値分解を処理するステップ、Ｓ２０８は雑音成分を除去するステップ、Ｓ２０９は全フレームに対する処理が終了したかを判定するステップ、Ｓ２１０は全フレームに対する処理が終了していない場合、次フレームの処理に移るステップ、Ｓ２１１はカメラ運動行列［Ｍ］を生成するステップ、Ｓ２１２はカメラ作用行列［Ｑ］を生成するステップ、Ｓ２１３は３次元座標を獲得するステップ、Ｓ２１４は構造もしくは形状の復元処理を行うステップである。前記内部の詳細な計算式を以下に示す。
【００５４】
カメラの基底ベクトルの生成計算式としては前記数４の計算式を用いる。
カメラベクトルｍ_ｆ、ｎ_ｆの生成計算式としては前記数５の計算式を用いる。
【００５５】
カメラ運動行列［Ｍ］生成の計算式は次の数７の計算式を用いる。
【００５６】
【数７】

【００５７】
計測行列から第ｆフレームにおける物体重心Ｘ_ｆ、Ｙ_ｆの計算式は次の数８の計算式を用いる。
【００５８】
【数８】

【００５９】
因子分解法では、図１３に示すような因子分解法の入力データ（計測行列）を入力し、雑音成分[ Ｕ _２ ][ Ｗ _２ ][ Ｖ _２ ]を削除した行列から、([Ｕ_１][Ｑ]×[Ｑ]^−１[Ｗ_１][Ｖ_１])なる分解を行い、前者の行列[Ｕ_１][Ｑ]をカメラ運動行列[Ｍ](図１４)、後者の行列[Ｑ]^−１[Ｗ_１][Ｖ_１]を物体の構造もしくは形状を構成する特徴点の３次元座標値を配置した行列[Ｓ]であるとする。
【００６０】
本発明では、行列［Ｍ］を前記のカメラ運動行列とし、行列［Ｑ］を［Ｕ_１］の擬似逆行列と［Ｍ］から求めており（数６）、行列［Ｓ］も該行列［Ｑ］を用いて計算する（数９）。
【００６１】
【数９】

【００６２】
行列［Ｓ］は、２次元画像面において、特徴点として測定した座標点の３次元座標値であり、行列形式は、図１５のようになっており、列方向に、特徴点ｐの３次元座標Ｘ、Ｙ、Ｚ座標値が並び、行方向に特徴点の順番通りに並ぶ。この行列の要素が本発明における物体の構造もしくは形状の復元、再現として求めた因子分解法の出力データである。
【００６３】
前記特徴点追跡により得られた２次元座標データは、３次元形状獲得処理部５５において、因子分解法により、３次元座標値が計算される。また、センサ情報を用いた因子分解法（特願平１０−２３２９７９号）を使って、形状を獲得することも可能である。
【００６４】
前記獲得した３次元形状データは、形状復元処理部５６において処理される。図１６は、本実施形態１の形状復元処理部５６の処理手順を示すフローチャートである。
【００６５】
前記形状復元処理部５６では、図１６に示すように、まず、獲得した３次元データのうちで、基準点を表す点、すなわち、地面上の点を抽出する（Ｓ８０１）。抽出した３点から、３点で張られる平面の方程式を求める（Ｓ８０２）。一方、対象物の上面の座標値が存在する点だけを抽出し（Ｓ８０３）、この基準面に垂直に、幾何学的に射影する（Ｓ８０４）。この射影は、平面の方程式を表現する直交座標系の単位ベクトルとの内積により求める。これで得られた３次元座標値（地面の平面上の点であり、建物の足）と獲得した３次元座標値（建物の上面の点）から、基準面に接しない面、すなわち、上面と側面を面として生成し（Ｓ８０５，Ｓ８０６）最終的に各々の建物を復元した結果を出力する（Ｓ８０７）。
【００６６】
（実施形態２）
本発明の実施形態２は、前記実施形態１において、因子分解法の部分において、差分があるので、差分のある箇所についてのみ説明する。
【００６７】
図１７は、本発明の実施形態２の因子分解法の処理手順を示すフロー図であり、Ｓ１２１は計測行列を入力するステップ、Ｓ１２２は物体重心を計算するステップ、Ｓ１２３はカメラ回転パラメータ値からカメラベクトルを計算するステップ、Ｓ１２４はカメラベクトルからのカメラ運動行列を計算するステップ、Ｓ１２５は行列[Ｓ]を計算するステップ、Ｓ１２６は行列[Ｓ]の計算結果に基づいて物体の形状を復元するステップである。
【００６８】
２次元画像面での特徴点の座標からなる計測行列２Ｆ×Ｐサイズの［Ａ］から、計謝行列［Ａ］から物体重心の計算（数７）として、Ｘ_ｆ、Ｙ_ｆを計算しておく。次に、センサ情報として入力されたカメラベクトルｉ_ｆ，ｊ_ｆ，ｋ_ｆからカメラ運動行列［Ｍ］へ数５の計算式を用いて計算する。この数５の計算式は、平行透視変換カメラモデルから導き出される関係式である。尚、この数５の計算式におけるＺ_ｆ（＝１）については、光軸方向への運動は考慮しないとして固定的な値を設置した。物体の構造もしくは形状を構成する特徴点の３次元座標値を配置した行列［Ｓ］は、前記の行列［Ｍ］と、因子分解法の入力データ［Ａ］を用いて計算する（数１０）。
【００６９】
【数１０】

【００７０】
行列［Ｓ］は、２次元画像面において、特徴点として計測した座標点の３次元座標値であり、前記実施形態１と同様に物体の構造もしくは形状を記述する情報として獲得することができる。
【００７１】
以上、本発明者によってなされた発明を、前記実施形態（実施例）に基づき具体的に説明したが、本発明は、前記実施形態（実施例）に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００７２】
【発明の効果】
以上、説明したように、本発明によれば、物体の構造もしくは形状の３次元構造の獲得において、空中撮影した時系列画像から物体の構造もしくは形状の獲得精度を向上することができる。
また、空中撮影した時系列画像から物体の構造もしくは形状を容易に獲得することができる。
【図面の簡単な説明】
【図１】本発明の実施形態１の３次元構造獲得方法の全体的な処理フロー図である。
【図２】本実施形態１の対象とする物体と画像入力装置との関係を説明するための図である。
【図３】本実施形態１の３次元構造獲得用カメラ及び３次元構造獲得用８ｍｍカメラの外観を示す模式図である。
【図４】本実施形態１の時系列の画像データから各フレーム画像での特徴点の座標値を計測する例を示す図である。
【図５】本実施形態１の画像処理部の概略構成を示すブロック構成図である。
【図６】本実施形態１の画像処理部の画像処理手順を示すフロチャートである。
【図７】本実施形態１の２次元特徴点の設定部の処理手順を示すフローチャートである。
【図８】本実施形態１の２次元特徴点の設定処理結果を示す図である。
【図９】本実施形態１のカメラ運動とセンサ情報とカメラベクトルの関係図である。
【図１０】本実施形態１の因子分解法の処理手順を示すフロー図である。
【図１１】本実施形態１の特異値分解処理の後のランク３による雑音成分除去を説明するための図である。
【図１２】図１０のステップＳ１１５、Ｓ１１６、Ｓ１１７の処理手順の詳細なデータ処理フロー図である。
【図１３】本実施形態１の因子分解法の入力データの様式を示す図である。
【図１４】本実施形態１のカメラ運動行列の様式を示す図である。
【図１５】本実施形態１の因子分解法の出力データの様式を示す図である。
【図１６】本実施形態１の形状復元処理部の処理手順を示すフローチャートである。
【図１７】本発明の実施形態２の因子分解法の処理手順を示すフロー図である。
【図１８】空中撮影時のカメラと対象物（建物）の関係を示す図である。
【図１９】隣接する建物によるオクルージョンを説明するための図である。
【符号の説明】
Ｓ１１…カメラの運動、Ｓ１２…物体撮影、Ｓ１３…センサ情報獲得、Ｓ１４…特徴点追跡、Ｓ１５…因子分解法の入力データ、Ｓ１６…因子分解法処理、Ｓ１７…因子分解法の出力データ、２１…対象とする物体、２２…画像入力装置（カメラ）、２３…カメラ（視点）座標系、２４…カメラ回転運動を検出するセンサ、２５…対象とする物体を撮影した時系列画像データ、２６…画像入力装置の運動を記録したセンサ情報蓄積装置、３１１…時系列の画像データ、３１２…ＮＯ．ｆのフレーム画像、３１３…座標軸Ｘｄ、３１４…座標軸Ｙｄ、３１５…特徴点ｐ、４１…初期状態における画像入力装置（カメラ）、４２…初期状態におけるカメラ（視点）座標系におけるＸ軸、４３…初期状態におけるカメラ（視点）座標系におけるＹ軸、４４…初期状態におけるカメラ（視点）座標系におけるＺ軸、４５…Ｘ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときの画像入力装置（カメラ）、４６…Ｘ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときのカメラ座標系におけるＸ軸、４７…Ｘ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときのカメラ座標系におけるＹ軸、４８…Ｘ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときのカメラ座標系におけるＺ軸、４９…Ｘ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときのカメラ座標系におけるＸ軸の単位方向ベクトル、４１０…Ｘ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときのカメラ座標系におけるＹ軸の単位方向ベクトル、４１１…Ｘ軸周りにα_ｆ回転、Ｙ軸周りにβ_ｆ回転、Ｚ軸周りにγ_ｆ回転したときのカメラ座標系におけるＺ軸の単位方向ベクトル、５１…画像入力部、５２…時系処画像の選択部、５３…２次元特徴点の設定部、５４…特徴点追跡部、５５…３次元座標獲得部、５６…形状復元部、５７…形状出力部。

Claims

画像入力装置により物体（対象物）を撮影し、時系列画像データを取得し、この時系列画像データから前記対象物（被写体）の形状情報を計測し、物体の形状を復元（再現）する３次元構造獲得方法における画像シーケンス中に、前記時系列画像面上に対象物の形状を特徴付ける対象の点（以下、特徴点と称する）、及び形状を復元する際の３次元的に基準となる点（以下、基準点と称する）を追跡する過程において、オクルージョン、特徴点の画面枠外への移動等が発生しないような時系列画像を、前記画像入力装置から、逐次、更新、または選択しながら、適切な時系列シーケンスを確保すると共に、前記特徴点と基準点の２次元特徴点座標データを取得し、該２次元特徴点座標データを用いて各々の特徴点に対応する３次元座標値を獲得し、時系列の特徴点を追跡し、得られた時系列の特徴点データを因子分解法を用いて対象物の構造もしくは形状を復元する３次元構造獲得方法であって、
前記特徴点データから構成される２次元計測データを、因子分解法により、雑音成分を除去した前記画像入力装置の物理的運動を表現する運動情報と、雑音成分を除去した物体の構造もしくは形状を表現する構造情報もしくは形状情報に分解する分解過程と、
該分解過程で、前記画像入力装置の物理的運動に同期して動作するセンサ装置により、前記画像入力装置の運動情報を計測する計測過程と、
該計測した物理的な運動状態情報を用いて当該運動成分を補正する補正過程と、
前記基準点の３次元獲得座標値を用いて形成する平面を基準面とし、該基準面に対して、対象物の形状を特徴付ける特徴点の３次元獲得座標値を用いて幾何的処理を行い、各々の対象物の形状を復元する復元過程と
を有することを特徴とする３次元構造獲得方法。
前記計測過程における運動情報は、前記画像入力装置の視点を原点とする座標系（画像入力装置の座標系、カメラ（視点）座標系）における、前記画像入力装置の座標の水平方向の軸周りの回転角度値、垂直方向の軸周りの回転角度値、及び光軸周りの回転角度値であることを特徴とする請求項１に記載の３次元構造獲得方法。
画像入力装置により物体（対象物）を撮影し、時系列画像データを取得し、この時系列画像データから前記対象物（被写体）の形状情報を計測し、物体の形状を復元（再現）する３次元構造獲得方法における画像シーケンス中に、前記時系列画像面上に対象物の形状を特徴付ける対象の点（以下、特徴点と称する）、及び形状を復元する際の３次元的に基準となる点（以下、基準点と称する）を追跡する過程において、オクルージョン、特徴点の画面枠外への移動等が発生しないような時系列画像を、前記画像入力装置から、逐次、更新、または選択しながら、適切な時系列シーケンスを確保すると共に、前記特徴点と基準点の２次元特徴点座標データを取得し、該２次元特徴点座標データを用いて各々の特徴点に対応する３次元座標値を獲得し、時系列の特徴点を追跡し、得られた時系列の特徴点データを因子分解法を用いて対象物の構造もしくは形状を復元する３次元構造獲得方法の処理手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読みとり可能な記録媒体であって、
前記特徴点データから構成される２次元計測データを、因子分解法により、雑音成分を除去した前記画像入力装置の物理的運動を表現する運動情報と、雑音成分を除去した物体の構造もしくは形状を表現する構造情報もしくは形状情報に分解する分解手順と、
該分解手順で、前記画像入力装置の物理的運動に同期して動作するセンサ装置により、前記画像入力装置の運動情報を計測する計測手順と、
該計測した物理的な運動状態情報を用いて当該運動成分を補正する補正手順と、
前記基準点の３次元獲得座標値を用いて形成する平面を基準面とし、該基準面に対して、対象物の形状を特徴付ける特徴点の３次元獲得座標値を用いて幾何的処理を行い、各々の対象物の形状を復元する復元手順を、コンピュータに実行させる機能を有するプログラムを記録したコンピュータ読みとり可能な記録媒体。
前記計測手順における運動情報は、前記画像入力装置の視点を原点とする座標系（画像入力装置の座標系、カメラ（視点）座標系）における、前記画像入力装置の座標の水平方向の軸周りの回転角度値、垂直方向の軸周りの回転角度値、及び光軸周りの回転角度値であることを特徴とする請求項３に記載のコンピュータ読みとり可能な記録媒体。
物体を撮影するカメラ等の画像入力装置と、時系列画像データを取得する手段と、この時系列画像データから前記対象物（被写体）の形状情報を計測する手段と、物体の形状を復元（再現）する３次元構造獲得における画像シーケンス中に、前記時系列画像面上に対象物の形状を特徴付ける対象の点（以下、特徴点と称する）、及び形状を復元する際の３次元的に基準となる点（以下、基準点と称する）を追跡する手段において、オクルージョン、特徴点の画面枠外への移動等が発生しないような時系列画像を、前記画像入力装置から、逐次、更新、または選択しながら、適切な時系列シーケンスを確保すると共に、前記特徴点と基準点の２次元特徴点座標データを取得し、該２次元特徴点座標データを用いて各々の特徴点に対応する３次元座標値を獲得する手段と、時系列の特徴点を追跡し、得られた時系列の特徴点データを因子分解法を用いて対象物の構造もしくは形状を復元する手段を有する３次元構造獲得装置であって、
前記特徴点データから構成される２次元計測データを、因子分解法により、雑音成分を除去した前記画像入力装置の物理的運動を表現する成分と、雑音成分を除去した物体の構造もしくは形状を表現する成分に分解する分解手段と、
該分解手段で、前記画像入力装置の物理的運動に同期して動作するセンサ装置により、前記画像入力装置の運動情報を計測する計測手段と、
該計測手段で計測した物理的な運動状態情報を用いて当該運動成分を補正する補正手段と、
前記基準点の３次元獲得座標値を用いて形成する平面を基準面とし、該基準面に対して、対象物の形状を特徴付ける特徴点の３次元獲得座標値を用いて、幾何学的処理を行い、各々の対象物の形状を復元する復元手段
を具備することを特徴とする３次元構造獲得装置。
前記計測手段における運動情報は、前記画像入力装置の視点を原点とする座標系（画像入力装置の座標系、カメラ（視点）座標系）における、前記画像入力装置の座標の水平方向の軸周りの回転角度値、垂直方向の軸周りの回転角度値、及び光軸周りの回転角度値であることを特徴とする請求項５に記載の３次元構造獲得装置。