JP6403115B2 - ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法 - Google Patents

Description

本発明は、３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法に関する。

従来、左右の撮像部で同じ被写体を撮像するように、１つの筐体に２つの撮像部が固定されたステレオカメラが知られている。ステレオカメラは、被写体を異なる複数の方向から撮像し、平面方向の情報及び奥行き方向の情報（３次元情報）を記録する。

３次元情報を復元する装置として、例えば、画像入力部と、対応点検出部と、基本行列計算部と、平行移動計算部と、回転計算部と、距離計算部と、を備える３次元情報復元装置が知られている（例えば、特許文献１参照）。

この３次元情報復元装置では、画像入力部は、３次元剛体を捉えた２画像を入力する。対応点検出部は、２画像間の対応点を検出する。基本行列計算部は、２画像間の３次元回転行列及び３次元平行移動ベクトルから基本行列を計算する。平行移動計算部は、３次元平行移動ベクトルを計算する。回転計算部は、３次元回転行列を計算する。距離計算部は、３次元空間におけるカメラと対応点との距離を計算する。

特開平０９−２３７３４１号公報

特許文献１に記載された３次元情報復元装置では、２つの撮像装置を別々に設置してステレオカメラシステムを形成する場合、２つの撮像装置によりそれぞれ撮像された左右の画像から対象点の３次元座標を正しく復元できないことがあった。

本発明は、上記事情に鑑みてなされたものであり、２つの撮像画像から復元される３次元座標の復元精度を向上できる３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法を提供する。

本発明の３次元情報復元装置は、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得する画像取得部と、前記第１の画像における第１の特徴点と、前記第２の画像における第２の特徴点と、を取得する特徴点抽出部と、前記第１の特徴点と前記第２の特徴点とが対応する第１の対応点ペアを複数検出する対応点検出部と、複数の前記第１の対応点ペアに基づいて第１の３次元座標を復元する３次元座標導出部と、前記３次元座標導出部により復元された前記第１の３次元座標の異常の有無を判定する異常判定部と、復元された前記第１の３次元座標が前記異常判定部において異常と判定された場合に、前記第１の画像における第１の領域及び前記第２の画像における第２の領域の指定を受け付ける領域指定部と、前記領域指定部により受け付けられた前記第１の領域に含まれる第３の特徴点と、前記領域指定部により受け付けられた前記第２の領域に含まれる第４の特徴点と、が対応する第２の対応点ペアを複数検出する狭域対応点検出部と、を備え、前記複数の第２の対応点ペアの検出結果と、前記複数の第２の対応点ペアの検出結果に関する操作者による判定結果を受け付ける判定ボタンと、を表示部に表示する。

本発明の３次元情報復元システムは、第１の画像を撮像する第１の撮像装置と、第２の画像を撮像する第２の撮像装置と、前記第１の画像及び前記第２の画像に基づいて３次元座標を復元する３次元情報復元装置と、を備える３次元情報復元システムであって、前記３次元情報復元装置は、前記第１の画像及び前記第２の画像を取得する画像取得部と、前記第１の画像における第１の特徴点と、前記第２の画像における第２の特徴点と、を取得する特徴点抽出部と、前記第１の特徴点と前記第２の特徴点とが対応する第１の対応点ペアを複数検出する対応点検出部と、複数の前記第１の対応点ペアに基づいて第１の３次元座標を復元する３次元座標導出部と、前記３次元座標導出部により復元された前記第１の３次元座標の異常の有無を判定する異常判定部と、復元された前記第１の３次元座標が前記異常判定部において異常と判定された場合に、前記第１の画像における第１の領域及び前記第２の画像における第２の領域の指定を受け付ける領域指定部と、前記領域指定部により受け付けられた前記第１の領域に含まれる第３の特徴点と、前記領域指定部により受け付けられた前記第２の領域に含まれる第４の特徴点と、が対応する第２の対応点ペアを複数検出する狭域対応点検出部と、を備え、前記複数の第２の対応点ペアの検出結果と、前記複数の第２の対応点ペアの検出結果に関する操作者による判定結果を受け付ける判定ボタンと、を表示部に表示する。

本発明の３次元情報復元方法は、３次元情報復元装置における３次元情報復元方法であって、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得するステップと、前記第１の画像における第１の特徴点と、前記第２の画像における第２の特徴点と、を取得するステップと、前記第１の特徴点と前記第２の特徴点とが対応する第１の対応点ペアを複数検出するステップと、複数の前記第１の対応点ペアに基づいて第１の３次元座標を復元するステップと、復元された前記第１の３次元座標の異常の有無を判定するステップと、復元された前記第１の３次元座標が異常と判定された場合に、前記第１の画像における第１の領域及び前記第２の画像における第２の領域の指定を受け付けるステップと、受け付けられた前記第１の領域に含まれる第３の特徴点と、受け付けられた前記第２の領域に含まれる第４の特徴点と、が対応する第２の対応点ペアを複数検出するステップと、前記複数の第２の対応点ペアの検出結果と、前記複数の第２の対応点ペアの検出結果に関する操作者による判定結果を受け付ける判定ボタンと、を表示部に表示するステップと、を備える。

本発明によれば、２つの撮像画像から復元される３次元座標の復元精度を向上できる。

第１の実施形態におけるステレオカメラシステムの概略構成例を示す模式図 第１の実施形態におけるＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）の構成例を示すブロック図 （Ａ），（Ｂ），（Ｃ）第１の実施形態における３次元座標を導出するためのパラメータの一例を説明するための模式図 （Ａ），（Ｂ）第１の実施形態における３次元座標が異常であることを説明するための模式図 （Ａ），（Ｂ），（Ｃ）第１の実施形態における対応点領域の指定及び対応点の検出を説明する模式図 第１の実施形態におけるＰＣによる３次元情報復元動作手順の一例を示すフローチャート 第１の実施形態におけるＰＣによる３次元情報復元動作手順の一例を示すフローチャート（図６の続き） 第１の実施形態における表示部に表示されるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面の遷移例を示す模式図 第２の実施形態におけるＰＣの構成例を示すブロック図 （Ａ）第２の実施形態における特徴点群のグループ化の一例を説明するための模式図、（Ｂ）第２の実施形態における特徴点群の移動例を説明するための模式図（Ｃ）第２の実施形態における対応点の検出例を説明するための模式図 第２の実施形態における初期設定時に行われるＰＣによる３次元情報復元動作手順の一部の一例を示すフローチャート 第２の実施形態におけるキャリブレーション時に行われるＰＣによる３次元情報復元動作手順の一部の一例を示すフローチャート 第２の実施形態における表示部に表示されるＵＩ画面の遷移例を示す模式図 変形例におけるステレオカメラシステムの概略構成例を示す模式図

以下、本発明の実施形態について、図面を用いて説明する。

（本発明の一形態を得るに至った経緯）
特許文献１の３次元情報復元装置は、３次元座標を復元する際、２つの撮像装置により撮像された各撮像画像において特徴点をそれぞれ抽出する。しかし、各撮像画像の画像間で対応する特徴点の位置関係を表す対応点の数が少ない場合、又は、それぞれの撮像画像で抽出された特徴点が画像上の特定の位置に集中している場合、３次元座標を正しく復元できないことがあった。

以下、２つの撮像画像から復元される３次元座標の復元精度を向上できる３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法について説明する。

（第１の実施形態）
図１は第１の実施形態におけるステレオカメラシステム５の概略構成例を示す模式図である。ステレオカメラシステム５は、例えば、第１カメラ１０、第２カメラ１１、及びＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２０を備える。第１カメラ１０及び第２カメラ１１は、例えば、それぞれケーブル１８Ａ、１８Ｂを介してＰＣ２０と接続される。第１カメラ１０と第２カメラ１１とは、例えば、ケーブル１８Ｃを介して接続される。

ステレオカメラシステム５は、３次元情報復元システムの一例である。ＰＣ２０は、３次元情報復元装置の一例である。第１カメラ１０及び第２カメラ１１は、撮像装置の一例である。

第１カメラ１０及び第２カメラ１１は、図示しないが、例えば、被写体を含む画像を撮像する撮像部、及び、撮像された画像の画像データをＰＣ２０に送信する送信部を備える。撮像装置としては、例えば、監視カメラ、車載カメラ、産業用カメラ、医療用カメラ、民生用カメラが挙げられる。

第１カメラ１０は、例えば、ＰＣ２０からの画像取得要求に応じて、被写体を含む所定のシーンの第１画像（第１カメラ画像、例えば左側の画像）を撮像し、撮像された第１画像の画像データをＰＣ２０に転送する。

第２カメラ１１は、例えば、上記被写体を含む所定のシーンの第２画像（第２カメラ画像、例えば右側の画像）を、ＰＣ２０からの画像取得要求及び第１カメラ１０からの同期信号に従って撮像し、撮像された第２画像の画像データをＰＣ２０に転送する。つまり、第２カメラ１１は、第１カメラ１０とは異なる方向から同じシーンに含まれる同じ被写体を撮像する。

第１カメラ１０及び第２カメラ１１は、それぞれ第１の筐体１３及び第２の筐体１４を有し、例えば、天井、壁、その他の位置に固定される固定カメラである。また、第１カメラ１０及び第２カメラ１１は、パン、チルト及びズームが可能なＰＴＺカメラである。尚、第１カメラ１０及び第２カメラ１１は、パン、チルト及びズームの少なくとも１つを動作可能なカメラであってもよいし、パン方向、チルト方向及びズーム倍率が固定された固定カメラであってもよい。

また、第１カメラ１０及び第２カメラ１１では、焦点距離、光軸座標、及び歪補正係数が既知である。第１カメラ１０及び第２カメラ１１は、撮像画像に対し、例えば歪補正係数に基づいて歪補正を施した画像を出力可能である。従って、第１カメラ１０及び第２カメラ１１で撮像された画像には、歪補正済みの画像が含まれてもよい。尚、焦点距離、光軸座標及び歪補正係数は、固定値でなく、可変値として変更されてもよい。

ＰＣ２０は、第１カメラ１０及び第２カメラ１１からそれぞれケーブル１８Ａ、１８Ｂを介して画像データを受信し、後述する各種画像処理（例えば、特徴点抽出、対応点抽出、カメラパラメータ推定、３次元座標計算）を行う。

図２は、ステレオカメラシステム５におけるＰＣ２０の構成例を示すブロック図である。ＰＣ２０は、特徴点抽出部２１、対応点検出部２２、カメラパラメータ推定部２３、３次元座標計算部２４、異常検出部２５、表示・入力部２６、及び狭域対応点検出部２７を有する。

特徴点抽出部２１は、第１カメラ１０及び第２カメラ１１に対して画像取得要求を送信し、第１カメラ１０により撮像された第１画像、及び第２カメラ１１により撮像された第２画像を順次取得し、解析する。

第１カメラ１０は、例えば、被写体に対し、左カメラ画像を撮像する、図１の左側に配置されたカメラである。第２カメラ１１は、例えば、被写体に対し、右カメラ画像を撮像する、図１の右側に配置されたカメラである。

特徴点抽出部２１は、画像取得部としての機能を有し、取得した左カメラ画像及び右カメラ画像に対し、特徴点（例えばエッジが強い領域にある点）を順次検出する。特徴点の検出には、例えば、画像の拡大、縮小又は回転に対して不変な局所特徴点を抽出するアルゴリズムが用いられる。このアルゴリズムは、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ−Ｕｐ ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、を含む。

図３（Ａ），（Ｂ），（Ｃ）は、３次元座標を導出するためのパラメータの一例を説明するための模式図である。この３次元座標は、第１カメラ１０の位置を原点（０，０，０）とした場合の３次元空間における座標を示す。この３次元座標は、第１画像又は第２画像に含まれる所定の点が逆射影（３次元復元）された対象点４１の座標を示す。３次元座標を導出するためのパラメータ（単にパラメータともいう）は、例えば、特徴点、対応点ペア、カメラの位置及び姿勢、を含む。

特徴点抽出部２１は、例えば、図３（Ａ）に示すように、第１画像３３から特徴点ａ１〜ａ７を検出し、第２画像３６から特徴点ｂ１〜ｂ７を検出する。特徴点ａ１〜ａ７を特に区別する必要が無い場合、単に特徴点ａと称する。同様に、特徴点ｂ１〜ｂ７を特に区別する必要が無い場合、単に特徴点ｂと称する。特徴点の数は、例えばカメラの位置や姿勢を推定する場合に考慮される。特徴点の数が多い程、第１カメラ１０に対する第２カメラ１１の位置や姿勢を推定する推定精度が高まる。

対応点検出部２２は、例えば、図３（Ｂ）に示すように、第１画像３３及び第２画像３６に含まれる類似度の高い特徴点同士を対応点ペア（対応点の一例）として順次検出し、対応点ペア情報（画像座標ペア情報）を出力する。

対応点ペア情報は、例えば、対応点となる第１画像３３における特徴点と第２画像３６における特徴点とを、対応づけ（ペアリング）した情報を含む。類似度が高いとは、例えば、対応点に含まれる第１画像３３における特徴点、第２画像３６における特徴点において、窓の角度が類似しており、窓の角度の差異が所定角度未満であることを含む。

対応点検出部２２は、例えば、公知の技術（例えば特許文献１に記載された技術）により、対応点を検出する。

図３（Ｂ）では、第１画像３３に含まれる特徴点ａ１と、第２画像３６に含まれる特徴点ｂ１と、が対応点として検出され、対応点ペア情報が出力される。また、第１画像３３に含まれる特徴点ａ２と、第２画像３６に含まれる特徴点ｂ２と、が対応点として検出され、対応点ペア情報として出力される。同様に、特徴点ａ３〜ａ７と特徴点ｂ３〜ｂ７とが各対応点として検出され、各対応点ペア情報が出力される。

これらの対応点ペア情報は、図３（Ｂ）では、特徴点ａ１〜ａ７と特徴点ｂ１〜ｂ７とをそれぞれを結ぶ線（対応線）ｃ１〜ｃ７で対応付けられる。対応点ペアの数は、例えばカメラの位置や姿勢を推定する場合に考慮される。対応点ペアの数が多い程、第１カメラ１０に対する第２カメラ１１の位置や姿勢を推定する推定精度が高まる。

カメラパラメータ推定部２３は、図３（Ｃ）に示すように、例えば、対応点ペア情報、第１カメラ１０の焦点距離、第２カメラ１１の焦点距離、第１カメラ１０の光軸座標、及び第２カメラ１１の光軸座標に基づいて、第１カメラ１０に対する第２カメラ１１の位置及び姿勢を順次推定する。

光軸座標は、撮像画像におけるレンズの中心に対応する座標を示す。第１カメラ１０に対する第２カメラ１１の位置は、例えば並進ベクトルｐにより示される。第１カメラ１０に対する第２カメラ１１の姿勢は、例えば回転行列Ｒにより示される。

カメラパラメータ推定部２３は、公知の技術（例えば特許文献１に記載された技術）により、カメラパラメータ（例えば並進ベクトルｐ、回転行列Ｒ）を推定する。並進ベクトルｐは、特許文献１に記載された３次元平行移動ベクトルに相当する。回転行列Ｒは、特許文献１に記載された３次元回転行列に相当する。並進ベクトルｐは、例えば数式（１）で表される。

ｐｘ，ｐｙ，ｐｚは、それぞれＸ軸，Ｙ軸，Ｚ軸方向の並進ベクトル成分を表す。

回転行列Ｒは、例えば、数式（２）で表される。
Ｒ＝Ｒ（θｚ）・Ｒ（θｙ）・Ｒ（θｘ） ・・・（２）
θｚ，θｙ，θｘは、それぞれＺ軸、Ｙ軸、Ｘ軸周りの回転角（ラジアン）を表し、各軸の回転角の成分（回転成分）を表す。Ｒ（θｚ），Ｒ（θｙ），Ｒ（θｘ）は、それぞれＺ軸、Ｙ軸、Ｘ軸の回転行列Ｒの成分を表す。なお、回転角θ＝０は、第１カメラ１０と第２カメラ１１とが平行である状態を示す。

３次元座標計算部２４は、対応点ペア情報、第１カメラ１０の内部パラメータ及び外部パラメータ、第２カメラ１１の内部パラメータ及び外部パラメータ、並びにベースライン長６２に基づいて、対象点４１の３次元座標（Ｘ，Ｙ，Ｚ）を順次計算する（図３（Ｃ）参照）。この対象点４１は、対応点ペアに含まれる第１画像３３の特徴点が逆射影された点である。３次元座標計算部２４は、例えば、公知の技術（例えば特許文献１に記載された技術）により、対象点の３次元座標を計算する。

内部パラメータは、例えば、第１カメラ１０及び第２カメラ１１の焦点距離、光軸座標、アスペクト比、スキュー歪を含む。外部パラメータは、例えば、第１カメラ１０に対する第２カメラ１１の位置（Ｘ軸，Ｙ軸，Ｚ軸の３成分）及び姿勢（Ｘ軸，Ｙ軸，Ｚ軸に沿った３回転成分）を含む。ベースライン長６２は、第１カメラ１０及び第２カメラ１１間の距離である。内部パラメータ及び外部パラメータは、例えばカメラ毎に定まっている。

内部パラメータは、各カメラの図示しないメモリにより、予め保持されている。外部パラメータは、順次導出され、図示しないメモリに保持される。ベースライン長６２は、例えば、第１カメラ１０及び第２カメラ１１の少なくとも一方の図示しないメモリにより、予め保持されている。

特徴点抽出部２１、対応点検出部２２及びカメラパラメータ推定部２３は、３次元座標を導出するためのパラメータを順次導出するパラメータ導出部の一例である。

異常検出部２５は、３次元座標計算部２４によって計算された３次元座標の異常を検出する。

図４（Ａ），（Ｂ）は、３次元座標が異常であることを説明するための模式図である。対象点の３次元座標は、第１カメラ１０の位置を原点（０，０，０）とした場合の３次元空間における座標で表される。第１カメラ１０は、前方（Ｚ座標が正の値）に位置する、例えば角部に特徴点３８ａを有する対象物（被写体）４０を撮像している。

ここで、図４（Ａ）に示すように、３次元座標計算部２４によって計算された対象点４１ＡのＺ座標が負の値（図４（Ｂ）の「−Ｚ５」，「−Ｚ６」参照）、つまり、第１カメラ１０の後方にある対象点４１Ａが復元されたとする（第１の復元結果）。この場合、異常検出部２５は、対象点の３次元座標が異常であると判定する。

また、図４（Ｂ）に示すように、第１カメラ１０で撮像された第１画像３３に含まれる特徴点３８ａが同一平面等の特定領域に集中している場合（第２の復元結果）、異常検出部２５は、対象点の３次元座標が異常であると判定する。特定領域に特徴点が集中しているか否かの判断は、例えば以下のように行われる。

異常検出部２５は、第１画像３３に含まれる各特徴点３８ａ（例えばすべての特徴点）を用いて、アフィン行列を作成し、このアフィン行列を用いて、第１画像３３に含まれる各特徴点３８ａに対し、アフィン変換を行う。アフィン変換とは、線形変換（例えば拡大縮小、剪断、回転）と平行移動を組み合わせた２次元的な変換である。

第２画像３６に含まれる特徴点３８ｂが、第１画像３３に含まれる特徴点３８ａに対してアフィン変換を行うことで表現される場合、異常検出部２５は、上記表現される元となった特徴点３８ａが同一の平面にあると判定する。

第１画像３３に含まれる特徴点３８ａに対してアフィン変換を行うことで第２画像３６に含まれる特徴点３８ｂとなる数が、全ての特徴点のうち、例えば５０％以上である場合、異常検出部２５は、第１画像３３に含まれる特徴点３８ａが特定領域に集中していると判定する。この場合、異常検出部２５は、対象点の３次元座標が異常であると判定する。

また、第１カメラ１０に対する第２カメラ１１の位置（並進ベクトルｐ）及び姿勢（回転行列Ｒ）の値が、実際に設置されている状況と明確に異なる場合（第３の復元結果）、異常検出部２５は、対象点の３次元座標が異常であると判定する。

例えば、第２カメラ１１は、本来、内側（第１カメラ１０側）に向いて設置される。この場合に、カメラパラメータ推定部２３によって推定されたカメラパラメータ（例えば並進ベクトルｐ、回転行列Ｒ）により外側（第１カメラ１０と反対側）に向いていると判断された場合、異常検出部２５は、対象点の３次元座標が異常であると判定する。

尚、異常検出部２５は、前述した第１の復元結果、第２の復元結果、及び第３の復元結果に限らず、他の復元結果が得られた場合に、対象点の３次元座標が異常であると判定してよい。例えば、異常検出部２５は、特徴点の数が所定値以下と少ない場合、対応点の数が所定値以下と少ない場合でも、対象点の３次元座標が異常であると判定してもよい。

表示・入力部２６は、例えば、表示部２０Ｌ及び入力部２０Ｍを含む（図１参照）。表示部２０Ｌは液晶表示器等で構成される。入力部２０Ｍはマウス、キーボード等で構成される。なお、表示部２０Ｌ及び入力部２０Ｍは、これらが一体化されたタッチパネルで構成されてもよい。

図５（Ａ），（Ｂ），（Ｃ）は、対応点領域の指定及び対応点の検出の一例を説明するための模式図である。

表示・入力部２６は、図５（Ａ）に示すように、第１カメラ１０で撮像された第１画像３３及び第２カメラ１１で撮像された第２画像３６を表示部２０Ｌの画面に表示する。また、表示・入力部２６は、対象点の３次元座標が異常である場合、その旨（異常の旨）を表示部２０Ｌの画面に表示する。また、表示・入力部２６は、ＰＣ２０のユーザに対し、第１画像３３及び第２画像３６間の対応点を含む領域（対応点領域）を指定するように促す表示を行う。

ユーザは、図５（Ｂ）に示すように、入力部２６Ｍを用いて表示部２０Ｌの画面に表示されたカーソル２６ｚを操作し、任意の点（例えばユーザから見て識別し易い点）を含むように、第１画像３３及び第２画像それぞれに対し、カーソル２６ｚで囲むことで対応点領域２６ｙ１，２６ｙ２を指定する。

表示・入力部２６は、指定された左右の対応点領域（以下、単に領域ともいう）２６ｙ１，２６ｙ２を所定回数（例えば５回）以上受け付ける。所定回数以上、多くの対応点領域の指定を受け付けることで、３次元座標計算部２４は、多くの対応点を用いて３次元座標を生成できる。

尚、表示・入力部２６は、対応点領域２６ｙ１，２６ｙ２を指定する際、表示部２０Ｌの画面に表示された第１画像３３及び第２画像３６にそれぞれの特徴点３８ａ，３８ｂを重ねて表示してもよい。この場合、ユーザは、第１画像３３及び第２画像３６それぞれに重ねて表示された特徴点３８ａ，３８ｂを見ながら、対応点領域２６ｙ１，２６ｙ２を指定できる。

尚、対応点領域の指定は、撮像画像の一部の対応点領域を指定することで行われてもよいし、撮像画像に含まれる点（例えば特徴点）を指定し、指定された特徴点を中心とする範囲を設定することで行われてもよい。

また、表示・入力部２６は、第１画像３３に含まれる特徴点３８ａと第２画像３６に含まれる特徴点３８ｂとのマッチング処理を行い、類似度の高い特徴点を含むようにあらかじめ候補となる領域を表示しておいてもよい。この場合、ユーザは、候補となる領域を選択することで、対応点領域２６ｙ１，２６ｙ２を容易に指定でき、操作性が向上する。

また、表示・入力部２６は、対象点の３次元座標が異常であると判定された場合、異常と判定された際（前回）の対応点の結果を表示しておき、新たに対応点を追加するように、対応点領域を指定してもよい。この場合、異常と判定された前回の結果を有効に活用できる。

狭域対応点検出部２７は、図５（Ｃ）に示すように、表示・入力部２６で指定された対応点領域２６ｙ１，２６ｙ２において、対応点３９ａ、３９ｂの検出を行う。

狭域対応点検出部２７による対応点の検出の仕方は、対応点検出部２２と同様であるが、検出する対応点領域が限定されている。そのため、狭域対応点検出部２７が対応点を検出する場合、対応点検出部２２と比べて、対応点を検出し易くなっている。

狭域対応点検出部２７は、第１画像３３及び第２画像３６に含まれる類似度の高い特徴点同士を対応点ペアとして順次検出し、対応点ペア情報を出力する。

狭域対応点検出部２７により得られた対応点ペア情報を用いて、カメラパラメータ推定部２３は、前述したように、第１カメラ１０に対する第２カメラ１１の位置及び姿勢を推定し、３次元座標計算部２４は、対象点の３次元座標を計算する。

次に、ステレオカメラシステム５の動作例について説明する。

図６及び図７は、ＰＣ２０による３次元情報復元動作手順の一例を示すフローチャートである。この３次元情報復元処理は、例えば、ステレオカメラシステム５の初期設定時（例えばカメラ設置時）、初期設定後のキャリブレーション（較正）時、に行われる。

図８は、表示部２０Ｌに表示されるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面の遷移例を示す模式図である。例えば、表示部２０Ｌに３次元復元処理の初期画面Ｇ１が表示された状態で、入力部２０Ｍを介して開始ボタン２６ｅが選択されると、表示部２０Ｌは、「処理中」を表すメッセージを画面Ｇ１に表示する。

３次元情報復元処理が開始すると、まず、特徴点抽出部２１は、第１カメラ１０及び第２カメラ１１に対し、画像取得要求を行い、第１カメラ１０及び第２カメラ１１からそれぞれ第１画像３３及び第２画像３６の画像データを取り込む（Ｓ１）。尚、画像取得要求が行われず、定期的に画像データの取り込みが行われてもよい。

特徴点抽出部２１は、第１画像３３及び第２画像３６からそれぞれ特徴点３８ａ，３８ｂを抽出する（Ｓ２）。対応点検出部２２は、特徴点抽出部２１によって抽出された特徴点の類似度から、第１画像３３及び第２画像３６の対応関係を表す対応点３９ａ，３９ｂを検出し、この対応関係を表す対応点ペア情報（画像座標ペア情報）を出力する（Ｓ３）。

カメラパラメータ推定部２３は、対応点ペア情報、第１カメラ１０の焦点距離、第２カメラ１１の焦点距離、第１カメラ１０の光軸座標、及び第２カメラ１１の光軸座標に基づいて、第１カメラ１０に対する第２カメラ１１の位置及び姿勢を推定する（Ｓ４）。

３次元座標計算部２４は、対応点ペア情報、第１カメラ１０の内部パラメータ及び外部パラメータ、第２カメラ１１の内部パラメータ及び外部パラメータ、並びにベースライン長６２に基づいて、対象点４１の３次元座標（Ｘ，Ｙ，Ｚ）を順次計算する（Ｓ５）。この対象点は、前述したように、対応点ペアに含まれる第１画像３３の特徴点が逆射影された点である。

異常検出部２５は、例えばＳ５で計算された結果が前述した第１の復元結果、第２の復元結果、及び第３の復元結果に該当するか否かに応じて、対象点の３次元座標の異常があるか否かを判定する（Ｓ６）。なお、他の復元結果が得られた場合に、異常と判定してもよいことは前述した通りである。

Ｓ５における３次元座標の復元結果が異常と判定されなかった場合、表示・入力部２６は、対象点の３次元座標の復元結果を表示し（画面Ｇ５）、ＰＣ２０は本動作を終了する。

一方、Ｓ５における３次元座標の復元結果が異常と判定された場合、表示・入力部２６は、対象点の３次元座標が異常である旨を表示部２０Ｌに表示し（画面Ｇ２）、対応点領域の指定を促すメッセージを表示部２０Ｌに表示する（画面Ｇ２）（Ｓ８）。

表示・入力部２６は、ユーザが、表示部２０Ｌに表示された第１画像３３を見ながら、任意の点（例えば識別し易い点）を含む対応点領域（例えばこの点を中心とした周辺領域）２６ｙ１を、入力部２０Ｍによるカーソル２６ｚで囲むように指定する。これにより、表示・入力部２６は、この指定された対応点領域２６ｙ１を受け付ける（画面Ｇ３）（Ｓ９）。

同様に、表示・入力部２６は、ユーザが、表示部２０Ｌに表示される第２画像３６を見ながら、上記任意の点に対応する点を含む対応点領域（例えばこの点を中心とした周辺領域）２６ｙ２を、入力部２０Ｍによるカーソル２６ｚで囲むように指定する。これにより、表示・入力部２６は、この指定された対応点領域２６ｙ２を受け付ける（画面Ｇ３）（Ｓ１０）。

尚、Ｓ９及びＳ１０では、表示・入力部２６は、入力部等を介して第１画像３３で指定された対応点領域２６ｙ１に含まれる特徴量を用いて、第２画像３６における一つ以上の対応点の候補領域を抽出し、表示してもよい。

第１画像３３で指定された対応点領域２６ｙ１に対応する第２画像３６での対応点領域２６ｙ２は、表示された対応点の候補領域の中にある可能性が高い。対応点領域２６ｙ１に対応する対応点領域２６ｙ２が上記対応点の候補領域の中に含まれる場合、表示・入力部２６は、例えば、表示された対応点の候補領域の中から対応点領域２６ｙ２を選択して指定すればよい。

即ち、ユーザは、第１画像３３において指定された対応点領域２６ｙ１に真に対応する第２画像３６での対応点領域２６ｙ２を、より簡便に指定できる。

表示・入力部２６は、表示部２０Ｌに対応点関係を表示し（画面Ｇ４）、対応点の検出を完了させるか否かを判別する（Ｓ１１）。

対応点の検出の完了は、例えば、ユーザが入力部２０Ｍを介してカーソル２６ｚを用いてＯＫボタン２６ｇを選択することで行われる。この場合、ユーザは、指定された対応点領域２６ｙの数が所定値（例えば値５）以上であることや、対応線２６ｍで対応付けられる対応点ペアが偏っていないこと等が判断材料として考慮される。

表示・入力部２６は、ユーザが入力部２０Ｍを介してカーソル２６ｚを用いてＮＧボタン２６ｈを選択したことを受け付け、対応点の検出を完了させないことを検出すると、Ｓ８に戻る。

一方、表示・入力部２６は、ユーザが入力部２０Ｍを介してカーソル２６ｚを用いてＯＫボタン２６ｇを選択したことを受け付けると、対応点の検出を完了させる。

狭域対応点検出部２７は、表示・入力部２６で指定された対応点領域２６ｙ１，２６ｙ２内の特徴点群５１，５２に限定して、第１画像３３及び第２画像３６に含まれる類似度の高い特徴点同士を対応点ペアとして順次検出し、対応点ペア情報を出力する。特徴点群５１には、１つ以上の特徴点が含まれる。

カメラパラメータ推定部２３は、新たな対応点ペア情報を用いて、再び第１カメラ１０に対する第２カメラ１１の位置及び姿勢を推定し、３次元座標計算部２４は、対象点の３次元座標（Ｘ，Ｙ，Ｚ）を計算する（Ｓ１２）。この後、ＰＣ２０はＳ６に戻る。

即ち、異常検出部２５は、Ｓ６で対象点の３次元座標の異常の有無を判定し、Ｓ７で対象点の３次元座標が正常であると判定された場合、表示・入力部２６は、３次元復帰情報が正常である旨を表示する（画面Ｇ５）。そして、ＰＣ２０は、３次元情報復元処理に係る表示を終了し、本動作を終了する。

このように、ステレオカメラシステム５では、異常検出部２５によって対象点の３次元座標が異常と判定された場合、表示・入力部２６は、その旨を表示し、対応点領域の指定を促すメッセージを表示部２０Ｌに表示する。表示・入力部２６は、ユーザから入力部２０Ｍ等を介して指定された対応点領域２６ｙ１，２６ｙ２を受け付ける。狭域対応点検出部２７は、表示・入力部２６で指定された対応点領域２６ｙ１，２６ｙ２に限定して検出した対応点ペア情報を出力する。カメラパラメータ推定部２３は、出力された対応点ペア情報を用いて、再び第１カメラ１０に対する第２カメラ１１の位置及び姿勢を推定し、３次元座標計算部２４は、対象点の３次元座標を計算する。

ステレオカメラシステム５によれば、対象点の３次元座標が異常であると判定された場合、ユーザが第１画像及び第２画像を確認しながら、識別し易い点を囲むように対応点領域（対応点領域２６ｙ１，２６ｙ２）を直接指定できる。従って、ステレオカメラシステム５は、３次元情報復元に係る処理（対応点検出等）をＰＣ２０に任せる場合と比べ、指定された対応点領域内の特徴点を用いて対応点ペア情報を精度良く検出できる。この結果、ステレオカメラシステム５は、２つの撮像画像から復元される対象点の３次元座標の復元精度を向上できる。

また、ステレオカメラシステム５は、対象点の３次元座標が異常と判定された場合でも、３次元情報復元動作の一部を引き継ぎ、入力部２０Ｍを介して簡単な入力操作を行って補助することで、対象点の３次元座標が正常となるように支援できる。

また、ステレオカメラシステム５は、表示部２０Ｌを見て確認したユーザにより入力部２０Ｍを介して指定された対応点領域内の特徴点群を用いて、対象点の３次元座標を計算してもよい。これにより、３次元座標の復元精度を向上できる。

また、ユーザが対応点領域を指定する際、表示部２０Ｌに第１画像３３及び第２画像３６を表示しておき、ユーザは、入力部２０Ｍを介してこれらの画像上でカーソル２６ｚで囲むように対応点領域２６ｙを指定してもよい。これにより、簡単な操作で、直感的に分かり易いユーザインターフェースを提供できる。

（第２の実施形態）
第１の実施形態では、表示・入力部で指定された対応点領域に含まれる特徴点群は記憶されず、キャリブレーション（較正）が行われる場合、初期設定時と同様の処理が行われることを例示した。つまり、ステレオカメラシステムは、対象点の３次元座標が異常であると判定された場合、表示・入力部による対応点領域の指定をその都度行っていた。

第２の実施形態では、ステレオカメラシステムは、表示・入力部で指定された対応点領域に含まれる特徴点群をグループ化して記憶することを想定する。これにより、その後のキャリブレーションにおいて、表示・入力部による対応点領域の指定を不要化できる。

図９は、第２の実施形態におけるステレオカメラシステム５ＡにおけるＰＣ２０Ａの構成例を示すブロック図である。第２の実施形態のステレオカメラシステム５Ａは、第１の実施形態のステレオカメラシステム５とほぼ同一の構成を有する。図９において、図１のステレオカメラシステム５と同一の構成要素については、同一の符号を用いることで、その説明を省略又は簡略化する。

ＰＣ２０Ａは、第１の実施形態のＰＣ２０が有する構成部に加え、特徴点群保存部２８及び第２対応点検出部２２Ａを有する。尚、ＰＣ２０Ａでは、ＰＣ２０が備える対応点検出部２２が省かれる。

図１０（Ａ）は、特徴点群のグループ化の一例を説明するための模式図である。図１０（Ｂ）は、特徴点群の移動例を説明するための模式図である。図１０（ｃ）は、対応点の検出例を説明するための模式図である。

図１０（Ａ）に示すように、特徴点群保存部２８は、表示・入力部２６によって第１画像３３及び第２画像３６に対して指定された対応点領域２６ｙ１，２６ｙ２にそれぞれ含まれる特徴点群５１，５２をグループ化し、第１カメラ用及び第２カメラ用として記憶する。

尚、特徴点群保存部２８は、初期設定後の任意のキャリブレーション時に新たに対応点領域２６ｙ１，２６ｙ２に含まれる特徴点３８ａ，３８ｂが抽出された場合、抽出された特徴点を追加して記憶してもよい。これにより、特徴点の数を増加でき、対応点の検出精度を向上でき、３次元座標の復元精度を向上できる。

第２対応点検出部２２Ａは、特徴点群保存部２８に記憶された特徴点群５１，５２を読み込み、この特徴点群５１、５２と特徴点抽出部２１で抽出された各特徴点との対応関係を探索する。この対応関係は、例えば、特徴点群５１、５２に含まれる特徴点３８ａ，３８ｂと、特徴点抽出部２１で抽出された各特徴点に含まれる特徴点と、の類似度を求めることにより、探索される。

これにより、第２対応点検出部２２Ａは、ユーザによって指定された対応点領域２６ｙ１，２６ｙ２にそれぞれ対応する対応点領域５６ｙ１，５６ｙ２を、新たに撮像された第１画像３３Ａ及び第２画像３６Ａの中に検出可能である。

図１０（Ｂ）に示すように、表示部２０Ｌは、特徴点群５１、５２を含む対応点領域２６ｙ１，２６ｙ２が、新たに撮像された第１画像３３Ａ及び第２画像３６Ａに対して囲まれた対応点領域５６ｙ１、５６ｙ２に移動しているように、表示する。

第２対応点検出部２２Ａは、図１０（Ｃ）に示すように、新たに見つかった対応点領域５６ｙ１，５６ｙ２において、対応点５８ａ，５８ｂ（対応点としての特徴点）を探索し、対応点ペア情報を出力する。

カメラパラメータ推定部２３は、出力された対応点ペア情報を用いて、第１カメラ１０に対する第２カメラ１１の位置及び姿勢を再度推定する。３次元座標計算部２４は、対象点の３次元座標を計算する。

尚、特徴点抽出部２１は、新たに見つかった対応点領域５６ｙ１，５６ｙ２において特徴点を再度検出し、第２対応点検出部２２Ａは、この算出された特徴点を用いて対応点を再度探索してもよい。

次に、ステレオカメラシステム５Ａの動作例について説明する。

図１１は初期設定時に行われるＰＣ２０Ａによる３次元情報復元動作手順の一部の一例を示すフローチャートである。この３次元情報復元処理は、ステレオカメラシステム５Ａの初期設定時に行われる。図１１は、第１の実施形態において説明した図７に対応する。図１１において、図７におけるステップ処理と同一のステップ処理については、同一のステップ番号を付すことで、その説明を省略又は簡略化する。また、初期設定時の表示部２０Ｌに表示されるＵＩ画面は、第１の実施形態において説明した図８と同様である。

第２の実施形態では、Ｓ１２の処理が行われた後、特徴点群保存部２８は、Ｓ９で第１画像３３で指定された対応点領域２６ｙ１に含まれる特徴点群５１と、Ｓ１０で第２画像３６で指定された対応点領域２６ｙ２に含まれる特徴点群５２とを、それぞれグループ化して記憶する（Ｓ１２Ａ）。この後、ＰＣ２０Ａは、Ｓ６の処理に戻る。

このように、初期設定時、表示・入力部２６によって指定された対応点領域２６ｙ１，２６ｙ２にそれぞれ含まれる特徴点群５１，５２は、グループ化されて特徴点群保存部２８に記憶される。尚、初期設定後のキャリブレーション時においても、新たに検出された特徴点群がグループ化されて記憶されてもよい。

図１２は、初期設定後のキャリブレーション時に行われるＰＣ２０による３次元情報復元動作手順の一部の一例を示すフローチャートである。この３次元情報復元処理は、ステレオカメラシステム５Ａにおける初期設定後のキャリブレーション時や定期的なキャリブレーション時に行われる。この３次元情報復元処理により、ＰＣ２０Ａは、例えば、カメラの向きが変化したことを検出できる。

図１３は、表示部２０Ｌに表示されるＵＩ画面の遷移例を示す模式図である。表示部２０Ｌに３次元情報復元処理の初期画面Ｇ１１が表示された状態で、ユーザが入力部２０Ｍにより開始ボタン２６ｆを選択すると、表示部２０Ｌは、画面Ｇ１１に「処理中」のメッセージを表示する。

まず、特徴点抽出部２１は、特徴点群保存部２８に記憶された、指定された対応点領域２６ｙ１，２６ｙ２においてそれぞれグループ化された特徴点群５１，５２を読み込む（Ｓ２１）。

表示部２０Ｌは、第１画像３３及び第２画像３６と重なるように、指定された対応点領域２６ｙ１，２６ｙ２及び対応点領域２６ｙ１，２６ｙ２の領域内のグループ化された特徴点群５１、５２を表示する（画面Ｇ１２）。

特徴点抽出部２１は、第１カメラ１０及び第２カメラ１１に対し、画像取得要求を行い、第１カメラ１０及び第２カメラ１１からそれぞれ新たな第１画像３３Ａ及び第２画像３６Ａの画像データを取り込む（Ｓ２２）。即ち、例えば、カメラの向きが変わった場合や定期的なキャリブレーション時に新たな画像データが取得される。カメラの向きは、例えば風や振動により変化し得る。

特徴点抽出部２１は、第１画像３３Ａ及び第２画像３６Ａからそれぞれ各特徴点を抽出する（Ｓ２３）。

第２対応点検出部２２Ａは、特徴点抽出部２１によって抽出された各特徴点と、指定された対応点領域２６ｙ１、２６ｙ２内でグループ化された特徴点群５１、５２との対応関係を探索する。そして、第２対応点検出部２２Ａは、新たに撮像された第１画像３３Ａ及び第２画像３６Ａにおける対応点領域５６ｙ１、５６ｙ２を検出する（Ｓ２４）。

表示部２０Ｌは、元の対応点領域２６ｙ１、２６ｙ２と、新たに検出された対応点領域５６ｙ１，５６ｙ２とを、新たに取得された第１画像３３Ａ，第２画像３６Ａに重ねるように表示する（画面Ｇ１３）。

第２対応点検出部２２Ａは、新たに検出された対応点領域５６ｙ１，５６ｙ２の間で対応点５８ａ，５８ｂを探索し、対応点ペア情報を出力する（Ｓ２５）。表示部２０Ｌは、対応点ペア情報を新たに取得された第１画像３３Ａ及び第２画像３６Ａと重なるように表示する（画面Ｇ１４）。尚、対応点領域５６ｙ１，５６ｙ２において再度特徴点が抽出され、この特徴点を加味して対応点５８ａ，５８ｂが探索されてもよい。

カメラパラメータ推定部２３は、Ｓ２５で生成された対応点ペア情報を用いて、第１カメラ１０に対する第２カメラ１１の位置及び姿勢、つまり、カメラパラメータ（例えば並進ベクトルｐ、回転行列Ｒ）を再推定する。さらに、３次元座標計算部２４は、対応点ペア情報、第１カメラ１０の内部パラメータ及び外部パラメータ、第２カメラ１１の内部パラメータ及び外部パラメータ、並びにベースライン長６２に基づいて、対象点の３次元座標（Ｘ，Ｙ，Ｚ）を順次計算する。この対象点は、対応点領域５６ｙ１に含まれる。

この後、ＰＣ２０Ａは、第１の実施形態において図６で示したＳ６の処理に進み、異常検出部２５が対象点の３次元座標における異常の有無を判定する。これ以降の処理は、初期設定時と同じであるので、その説明を省略する。

このように、ステレオカメラシステム５Ａは、１度指定された対応点領域内でグループ化された特徴点群を保存しておき、別のタイミングで再度、対応点領域を指定する際、保存された特徴点群を利用して対応点領域を検出する。これにより、ユーザが再度、対応点領域を指定する手間が省け、操作が簡便になる。また、キャリブレーション動作をより簡素化できる。

尚、特徴点群保存部２８は、キャリブレーション時に検出された対応点領域に含まれる特徴点群をグループ化して記憶しておき、以後のキャリブレーションに利用できるようにしてもよい。

この場合、特徴点群保存部２８は、キャリブレーション時に検出された対応点領域に含まれる特徴点群で、初期設定時に記憶された対応点領域内の特徴点群を更新してもよいし、更新することなく追加記憶するようにしてもよい。また、特徴点群保存部２８は、指定された対応点領域に含まれる、グループ化された特徴点群の他、初期設置時に撮像された撮像画像に含まれる各特徴点や、キャリブレーション時に抽出された各特徴点を保存するようにしてもよい。

（変形例）
第１及び第２の実施形態では、第１カメラ１０及び第２カメラ１１は、ＰＣ２０，２０Ａにケーブル１８Ａ、１８Ｂを介して直接に接続されることを例示した。変形例では、第１カメラ１０及び第２カメラ１１とＰＣ２０Ｂとは、直接に接続されず、送信機及び受信機を用いた通信によりデータ及び信号の送受信が行われる。

図１４は、変形例におけるステレオカメラシステム５Ｂの概略構成例を示す模式図である。ステレオカメラシステム５Ｂは、第１カメラ１０、第２カメラ１１、画像取込装置６１、送信機６３、受信機７２、及びＰＣ２０Ｂを含んで構成される。

画像取込装置６１は、第１カメラ１０で撮像された第１画像及び第２カメラ１１で撮像された第２画像の画像データを取り込む。送信機６３は、第１画像及び第２画像の画像データを、受信機７２へ送信する。尚、画像取込装置６１と送信機６３とは一体に設けられても良い。

画像取込装置６１は、第１カメラ１０及び第２カメラ１１に対し、画像取得要求を出力し、第１カメラ１０で撮像された第１画像及び第２カメラ１１で撮像された第２画像の画像データを略同時に取り込む。

受信機７２は、第１画像及び第２画像の画像データを送信機６３から受信する。ＰＣ２０Ｂは、ＰＣ２０，ＰＣ２０Ａと同様の動作を行う。尚、受信機７２とＰＣ２０Ｂとは一体に設けられても良い。

送信機６３及び受信機７２との間で行われる通信は、特に限定されることなく、インターネット等のネットワークを介して行われてもよいし、ネットワークを介することなく専用線で行われてもよいし、無線で行われてもよい。ここでは、専用線６５を使って、送信機６３及び受信機７２間の通信が行われる。

このステレオカメラシステム５Ｂでは、画像取込装置６１が、ＰＣ２０Ｂからの画像取得要求に応じて、第１カメラ１０及び第２カメラ１１からそれぞれ第１画像及び第２画像を取得する。画像取込装置６１は、この取得した第１画像及び第２画像の画像データを、送信機６３及び受信機７２を介して、ＰＣ２０Ｂに転送する。この他の動作は、第１及び第２の実施形態の動作と同様である。

ステレオカメラシステム５Ｂによれば、第１カメラ１０及び第２カメラ１１の設置場所から遠く離れた場所において、ＰＣ２０Ｂが初期設定及びキャリブレーションを実施できる。従って、画像取込装置６１を設置した後、わざわざ設置場所に行ってキャリブレーション作業を行う必要がなくなり、効率的な運用が可能となる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、異常検出部によって対象点の３次元座標が異常であると判定された場合、表示・入力部は、使用者によって識別し易い点を含むような対応点領域が指定されたが、３次元座標の異常の有無を判定することなく、対象点の３次元座標を生成する最初の段階から使用者による対応点領域の指定が行われてもよい。これにより、対象点の３次元座標が異常と判定される結果に至るケースが少なくなることが想定される。

以上のように、上記実施形態の３次元情報復元装置は、画像取得部と、領域指定部と、対応点検出部と、３次元座標導出部と、を備える。画像取得部は、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像とを取得する。領域指定部は、第１の画像における第１の領域と第２の画像における第１の領域に対応する第２の領域と、を指定する。対応点検出部は、第１の領域に含まれる第１の特徴点と第２の領域に含まれる第２の特徴点とが対応する第１の対応点を複数検出する。３次元座標導出部は、複数の第１の対応点に基づいて、第１の特徴点が逆射影された３次元座標を復元する。

３次元情報復元装置は、例えばＰＣ２０である。第１の撮像装置は、例えば第１カメラ１０である。第２の撮像装置は、例えば第２カメラ１１である。画像取得部は、例えば特徴点抽出部２１である。領域指定部は、例えば表示・入力部２６である。対応点検出部２２は、例えば狭域対応点検出部２７である。３次元座標導出部は、例えば３次元座標計算部２４である。また、第１の領域は、例えば対応点領域２６ｙ１である。第２の領域は、例えば対応点領域２６ｙ２である。

これにより、３次元情報復元装置は、３次元復元の際に用いられる対応点を検出するための領域を指定できる。従って、３次元情報復元装置は、ユーザ操作なく対応点検出等の処理を全て情報処理装置に任せる場合と比べ、指定された領域内の特徴点を用いて対応点ペア情報を精度良く検出できる。よって、３次元復元装置は、対応点ペア情報を用いて計算される３次元座標の復元精度を向上できる。

また、３次元情報復元装置では、パラメータ導出部は、複数の第１の対応点に基づいて、３次元座標を導出するためのパラメータを複数導出する。異常判定部は、導出された複数のパラメータに基づいて、復元された３次元座標の異常の有無を判定する。領域指定部は、３次元座標に異常がある場合に、第１の領域及び第２の領域を指定する。

これにより、３次元座標が異常と判定された場合でも、３次元復元装置は、既に実施した異常と判定された３次元座標を復元するための動作に得た情報を活用して、簡単な領域指定を行って補助することで、３次元座標が正常となるように支援できる。また、３次元情報復元装置は、特徴点抽出の抽出精度や対応点検出の検出精度が不十分でも、対応点領域の指定によりこれらの精度不足を補い、３次元座標の復元精度を向上できる。

また、３次元復元装置は、特徴点記憶部と、特徴点抽出部を備えても良い。特徴点記憶部は、第１の対応点として検出された第１の特徴点及び前記第２の特徴点を記憶する。特徴点抽出部は、第１の撮像装置により撮像された第３の画像に含まれる第３の特徴点と、第２の撮像装置により撮像された第４の画像に含まれる第４の特徴点と、を複数抽出する。対応点検出部は、特徴点記憶部に記憶された第１の特徴点及び第２の特徴点と、特徴点抽出部によって抽出された第３の特徴点及び第４の特徴点との対応関係に基づいて、第３の画像における第１の領域に対応する第３の領域、及び第４の画像における第２の領域に対応する第４の領域を検出してもよい。対応点検出部は、第３の領域に含まれる第３の特徴点と、第４の領域に含まれる第４の特徴点と、が対応する第２の対応点を複数検出してもよい。３次元座標導出部は、複数の第２の対応点に基づいて、第３の特徴点が逆射影された３次元座標を復元してもよい。

特徴点記憶部は、例えば特徴点群保存部２８である。特徴点抽出部は、例えば特徴点抽出部２１である。第３の領域は、例えば対応点領域５６ｙ１である。第４の領域は、例えば対応点領域５６ｙ２である。

これにより、初期設定後のキャリブレーション時など、再度、対応点領域を指定する場合、過去に用いた第１の特徴点及び第２の特徴点を利用して対応点領域を検出できる。従って、ユーザが再度、対応点領域を指定する手間が省け、操作が簡便になる。また、キャリブレーション等の動作を簡素化できる。

また、３次元情報復元装置は、入力操作を受け付ける入力部（例えば入力部２０Ｍ）と、第１の画像及び第２の画像を表示する表示部（例えば表示部２０Ｌ）と、を備えてもよい。
領域指定部は、表示部に表示された第１の画像及び第２の画像に対して行われた、入力部による入力操作に従って、第１の領域及び第２の領域を指定してもよい。表示部は、領域指定部によって指定された、第１の領域及び第２の領域を表示してもよい。

これにより、ユーザは、例えば、第１の画像及び第２の画像を見ながら、例えば識別し易い点を囲むように、対応点領域を直接に指定することができる。また、ユーザは、表示部に第１画像及び第２画像を表示しておき、これらの画像に重なるように、入力部による入力操作で第１の領域及び第２の領域を指定できる。従って、簡単な操作で、直感的に分かり易いユーザインターフェースを提供できる。

また、３次元情報復元システムは、第１の画像を撮像する第１の撮像装置と、第２の画像を撮像する第２の撮像装置と、第１の画像及び第２の画像に基づいて３次元座標を復元する３次元情報復元装置と、を備える。

これにより、３次元情報復元装置は、３次元復元の際に用いられる対応点を検出するための領域を指定できる。従って、３次元情報復元装置は、ユーザ操作なく対応点検出等の処理を全て情報処理装置に任せる場合と比べ、指定された領域内の特徴点を用いて対応点ペア情報を精度良く検出できる。よって、３次元復元装置は、対応点ペア情報を用いて計算される３次元座標の復元精度を向上できる。

また、３次元情報復元システムは、第１の画像を第１の撮像装置から取得し、第２の画像を第２の撮像装置から取得し、第１の画像及び第２の画像を送信する送信機と、送信機からの第１の画像及び第２の画像を受信し、第１の画像及び第２の画像を３次元情報復元装置へ送る受信機と、を備えてもよい。送信機は、例えば送信機６３であり、受信機は、例えば受信機７２である。

これにより、第１の撮像装置及び第２の撮像装置の設置場所から遠く離れた場所においてキャリブレーション等を行うことが可能であり、３次元復元システムの効率的な運用が可能となる。

更にＰＣ２０は、操作者（ユーザ）が入力部等を介して第１の画像で指定した対応点領域にある特徴量を用いて、第２の画像における一つ以上の対応点の候補領域を抽出し、表示してもよい。第１の画像で指定した対応点領域に対応する第２の画像での対応点領域は、表示された対応点の候補領域の中にある可能性が高い。第１の画像で指定した対応点領域に対応する第２の画像での対応点領域は、表示された対応点の候補領域の中にある場合、操作者は、表示された対応点の候補領域の中から入力部等を介して選択して指定すればよい。すなわち操作者は、第１の画像で指定した対応点領域に真に対応する第２の画像での対応点領域を、より簡便に指定することができる。

本発明は、２つの撮像画像から復元される３次元座標の復元精度を向上できる３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法等に有用である。

５、５Ａ、５Ｂ ステレオカメラシステム
１０ 第１カメラ
１１ 第２カメラ
１３ 第１の筐体
１４ 第２の筐体
１８Ａ、１８Ｂ、１８Ｃ ケーブル
２０、２０Ａ、２０Ｂ ＰＣ
２０Ｌ 表示部
２０Ｍ 入力部
２１ 特徴点抽出部
２２ 対応点検出部
２３ カメラパラメータ推定部
２４ ３次元座標計算部
２５ 異常検出部
２６ 表示・入力部
２６ｅ、２６ｆ 開始ボタン
２６ｇ ＯＫボタン
２６ｈ ＮＧボタン
２６ｍ、ｃ１〜ｃ７ 対応線
２６ｙ１、２６ｙ２、５６ｙ１、５６ｙ２ 対応点領域
２６ｚ カーソル
２７ 狭域対応点検出部
２８ 特徴点群保存部
３３、３３Ａ 第１画像
３６、３６Ａ 第２画像
３８ａ、３８ｂ、ａ１〜ａ７、ｂ１〜ｂ７ 特徴点
３９ａ、３９ｂ、５８ａ、５８ｂ 対応点
４０ 対象物（被写体）
４１、４１Ａ 対象点
５１、５２ 特徴点群
６１ 画像取込装置
６２ ベースライン長
６３ 送信機
６５ 専用線
７２ 受信機
Ｇ１〜Ｇ５、Ｇ１１〜Ｇ１４ 画面

Claims (7)

1. 第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得する画像取得部と、
   前記第１の画像における第１の特徴点と、前記第２の画像における第２の特徴点と、を取得する特徴点抽出部と、
   前記第１の特徴点と前記第２の特徴点とが対応する第１の対応点ペアを複数検出する対応点検出部と、
   複数の前記第１の対応点ペアに基づいて第１の３次元座標を復元する３次元座標導出部と、
   前記３次元座標導出部により復元された前記第１の３次元座標の異常の有無を判定する異常判定部と、
   復元された前記第１の３次元座標が前記異常判定部において異常と判定された場合に、前記第１の画像における第１の領域及び前記第２の画像における第２の領域の指定を受け付ける領域指定部と、
   前記領域指定部により受け付けられた前記第１の領域に含まれる第３の特徴点と、前記領域指定部により受け付けられた前記第２の領域に含まれる第４の特徴点と、が対応する第２の対応点ペアを複数検出する狭域対応点検出部と、を備え、
   前記複数の第２の対応点ペアの検出結果と、前記複数の第２の対応点ペアの検出結果に関する操作者による判定結果を受け付ける判定ボタンと、を表示部に表示する、
   ３次元情報復元装置。
2. 請求項１に記載の３次元情報復元装置であって、
   前記領域指定部は、前記判定ボタンのうち、前記複数の第２の対応点ペアの検出結果をもって前記第２の対応点ペアの検出を完了しない旨を示す第１のボタンが押下された場合、前記第１の領域及び前記第２の領域の再指定を受け付け、
   前記特徴点抽出部は、前記領域指定部により再指定された前記第１の領域に含まれる第３の特徴点と、前記領域指定部により再指定された前記第２の領域に含まれる第４の特徴点と、を再取得し、
   前記狭域対応点検出部は、再取得された前記第３の特徴点と再取得された前記第４の特徴点とが対応する第２の対応点ペアを複数再検出し、
   再検出された前記複数の第２の対応点ペアの検出結果と、前記再検出された複数の第２の対応点ペアの検出結果に関する操作者による判定結果を受け付ける判定ボタンと、を表示部に再表示し、
   前記判定ボタンのうち、前記複数の第２の対応点ペアの検出結果をもって前記第２の対応点ペアの検出を完了する旨を示す第２のボタンが押下された場合、前記３次元座標導出部は、複数の前記第２の対応点ペアに基づいて第２の３次元座標を復元し、前記３次元座標導出部により復元された前記第２の３次元座標を前記表示部に表示する、
   ３次元情報復元装置。
3. 請求項１または２に記載の３次元情報復元装置であって、
   複数の前記第１の対応点ペアに基づいて、前記第１の３次元座標を導出するためのパラメータを複数導出するパラメータ導出部を更に備え、
   前記異常判定部は、前記パラメータ導出部によって導出された複数の前記パラメータに基づいて、前記３次元座標導出部により復元された第１の３次元座標の異常の有無を判定し、
   前記領域指定部は、前記第１の３次元座標に異常がある場合に、前記第１の領域及び前記第２の領域を指定する、
   ３次元情報復元装置。
4. 請求項１ないし３のうちいずれか一項に記載の３次元情報復元装置であって、
   前記第２の対応点ペアとして検出された前記第３の特徴点及び前記第４の特徴点を記憶する特徴点記憶部を更に備え、
   前記特徴点抽出部は、前記第１の撮像装置により撮像された第３の画像に含まれる第５の特徴点と、前記第２の撮像装置により撮像された第４の画像に含まれる第６の特徴点と、を複数抽出し、
   前記狭域対応点検出部は、
   前記特徴点記憶部に記憶された前記第３の特徴点と前記特徴点抽出部によって抽出された前記第５の特徴点との類似度及び前記特徴点記憶部に記憶された前記第４の特徴点と前記特徴点抽出部によって抽出された前記第６の特徴点との類似度に基づいて、前記第３の画像において前記第１の領域に対応する第３の領域、及び前記第４の画像において前記第２の領域に対応する第４の領域を検出し、
   前記第５の特徴点のうち前記第３の領域に含まれる第７の特徴点と、前記第６の特徴点のうち前記第４の領域に含まれる第８の特徴点と、が対応する第３の対応点ペアを複数検出し、
   前記３次元座標導出部は、複数の前記第３の対応点ペアに基づいて、第３の３次元座標を復元する、
   ３次元情報復元装置。
5. 第１の画像を撮像する第１の撮像装置と、
   第２の画像を撮像する第２の撮像装置と、
   前記第１の画像及び前記第２の画像に基づいて３次元座標を復元する３次元情報復元装置と、を備える３次元情報復元システムであって、
   前記３次元情報復元装置は、
   前記第１の画像及び前記第２の画像を取得する画像取得部と、
   前記第１の画像における第１の特徴点と、前記第２の画像における第２の特徴点と、を取得する特徴点抽出部と、
   前記第１の特徴点と前記第２の特徴点とが対応する第１の対応点ペアを複数検出する対応点検出部と、
   複数の前記第１の対応点ペアに基づいて第１の３次元座標を復元する３次元座標導出部と、
   前記３次元座標導出部により復元された前記第１の３次元座標の異常の有無を判定する異常判定部と、
   復元された前記第１の３次元座標が前記異常判定部において異常と判定された場合に、前記第１の画像における第１の領域及び前記第２の画像における第２の領域の指定を受け付ける領域指定部と、
   前記領域指定部により受け付けられた前記第１の領域に含まれる第３の特徴点と、前記領域指定部により受け付けられた前記第２の領域に含まれる第４の特徴点と、が対応する第２の対応点ペアを複数検出する狭域対応点検出部と、を備え、
   前記複数の第２の対応点ペアの検出結果と、前記複数の第２の対応点ペアの検出結果に関する操作者による判定結果を受け付ける判定ボタンと、を表示部に表示する、
   ３次元情報復元システム。
6. 請求項５に記載の３次元情報復元システムであって、更に、
   前記第１の画像を前記第１の撮像装置から取得し、前記第２の画像を前記第２の撮像装置から取得し、前記第１の画像及び前記第２の画像を送信する送信機と、
   前記送信機からの前記第１の画像及び前記第２の画像を受信し、前記第１の画像及び前記第２の画像を前記３次元情報復元装置へ送る受信機と、を備える、
   ３次元情報復元システム。
7. ３次元情報復元装置における３次元情報復元方法であって、
   第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得するステップと、
   前記第１の画像における第１の特徴点と、前記第２の画像における第２の特徴点と、を取得するステップと、
   前記第１の特徴点と前記第２の特徴点とが対応する第１の対応点ペアを複数検出するステップと、
   複数の前記第１の対応点ペアに基づいて第１の３次元座標を復元するステップと、
   復元された前記第１の３次元座標の異常の有無を判定するステップと、
   復元された前記第１の３次元座標が異常と判定された場合に、前記第１の画像における第１の領域及び前記第２の画像における第２の領域の指定を受け付けるステップと、
   受け付けられた前記第１の領域に含まれる第３の特徴点と、受け付けられた前記第２の領域に含まれる第４の特徴点と、が対応する第２の対応点ペアを複数検出するステップと、
   前記複数の第２の対応点ペアの検出結果と、前記複数の第２の対応点ペアの検出結果に関する操作者による判定結果を受け付ける判定ボタンと、を表示部に表示するステップと、を備える、
   ３次元情報復元方法。

Images