JPH0846855A - 複眼撮像装置 - Google Patents

Abstract

(57)【要約】 【目的】 複数の撮像系からの複数の画像中の対応点を
容易に探索すること。 【構成】 左撮像系１０_L と右撮像系１０_R から左画
像、右画像を得、各画像の対応する２つの点を対応点抽
出部３３で探索し抽出する際に、その探索範囲を各撮像
系１０_R ，１０_L の撮像パラメータに応じて決定するよ
うに成す。抽出された対応点の対は合成変換部４１でパ
ノラマ画像や高解像度画像に合成される。 【効果】 探索時間が短縮されると共に、探索の精度も
向上する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は複数の撮像素子及び複数
のレンズ等の結像光学系を用いた複眼撮像装置に関する
ものである。

【０００２】

【従来の技術】近年、ワイドパノラマ画像生成或いは高
精細画像生成の目的で、結像光学系と撮像素子から成る
複数の撮像系を有し、共通の被写体を撮像することによ
り各撮像素子の各々から入力された画像信号を用いて、
１つの合成画像を生成出力する複眼撮像装置が提案され
ている。

【０００３】パノラマ画像を得る方式としては、複数の
撮像系によりそれぞれ被写体領域の異なる複数の画像を
同時に撮像し、各画像内に存在する同一被写体を抽出
し、その画像内の相対位置情報に基づいて各画像を接続
することにより、合成パノラマ画像を得るものがある。

【０００４】一方、高精細画像を得る方式としては、パ
ノラマ画像と同様に、各画像内に存在する同一被写体を
抽出し、その画像内での相対位置情報に基づいて補間処
理を行なって新たに高精細な１つの画像を得るものがあ
る。この原理に基づく複眼撮像装置は、例えば図１０に
示す様に左撮像系１０_L と右撮像系１０_R とを用意し、
これらの左撮像系１０_L と右撮像系１０_R とで被写体１
１を撮像する。そして左撮像系１０_L で得られた左側画
像Ｉ_L と右撮像系１０_R で得られた右側画像Ｉ _R とを画
像処理装置１２で対応点抽出を行ない、合成処理する事
により、１つの撮像系で被写体を撮像したときに比べて
高精細な１つの出力画像Ｉ_out を得るものである。

【０００５】

【発明が解決しようとする課題】しかしながら上述した
各画像内に存在する同一被写体を抽出し、その画像内の
相対位置情報に基づいて各画像を接続することにより合
成パノラマ画像を得る方式の場合、上記相対位置情報を
得るのに非常に多くの時間を費やす事が問題となってい
る。

【０００６】本発明は上記の問題を解決するために成さ
れたもので、請求項１の発明の目的は、撮像装置の配置
情報ならびに撮像パラメータをもとに上記相対位置情報
を探索する範囲を画像中の一部の領域に限定するように
した複眼撮像装置を得ることにある。

【０００７】また、請求項２の発明の目的は、複数の撮
像装置の撮像パラメータ等の固体差を考慮して、上記の
探索範囲を、固体差の無い条件での範囲に固体差に起因
する誤差分を考慮した領域を付加した範囲として設定す
るようにした複眼撮像装置を得ることにある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の発明においては、複数の撮像系と、各撮
像系で得られる複数の画像から対応する対の点を探索す
る探索手段と、この探索手段で探索する範囲を複数の撮
像系の撮像パラメータより決定する探索範囲決定手段と
を設けている。

【０００９】請求項２の発明においては、探索範囲決定
手段は、撮像パラメータから決定する範囲を基本範囲と
し、これに複数の撮像系の固体差に基づくマージン部分
を付加して探索範囲とすることを特徴とする。

【００１０】

【作用】請求項１の発明によれば、上記検索手段は２つ
の画像間の対応点を求める事を行い、上記探索範囲決定
手段は、その対応点を求める時間の短縮と信頼性の向上
をもたらす。

【００１１】請求項２の発明によれば、複数の撮像系の
固体差に基づくマージン部分を探索範囲に付加する事に
より、上記固体差に影響される事なく、対応点探索時間
の短縮、信頼性の向上がはかれる。

【００１２】

【実施例】

（第１の実施例）次に本発明の第１の実施例について図
面を参照して説明する。まず撮像系から合成画像を得る
部分について説明する。図１に示すように本実施例の複
眼撮像装置は、右撮像系１０_R および左撮像系１０_L の
２つの撮像系を用いて被写体を撮像して得られる２つの
画像を並列に接続することにより、１つのパノラマ合成
画像を得るものである。

【００１３】まず、左撮像系１０_L について説明する。
左撮像系１０_L は、不図示の鏡筒内に組み込まれた結像
光学系としての撮像レンズ群１１_L と、この撮像レンズ
群１１_L に装着された、被写体からの光を３原色に分解
するための色分解プリズム１２_L と、色分解プリズム１
２_L によって分解された光毎に設けられた撮像素子とし
ての、それぞれ矩形の有効受光部を持つ３つのＣＣＤセ
ンサ１３_L （１つのみ図示）とを有する。撮像レンズ群
１１_L は、フォーカスモータ１４_L により駆動される合
焦レンズ群１５_L と、ズームモータ１６_L により駆動さ
れる変倍レンズ群１７_L とを含む複数のレンズで構成さ
れ、各モータ１４_L 、１６_L は光学系を制御する演算制
御部２０内の全系制御部２１及びフォーカス・ズーム制
御部２２からの制御信号に応じてそれぞれ駆動される。

【００１４】一方、右撮像系１０_R も左側撮像系１０_L
と同様に構成されており、右撮像系１０_R の撮像レンズ
群１１_R の光軸Ｌ_R は、左撮像系１０_L の撮像レンズ群
１１ _L の光軸Ｌ_L と同一平面上にある。

【００１５】また、各撮像レンズ群１１_L 、１１_R が組
み込まれた前記各鏡筒は、それぞれ演算制御部２０の輻
輳角制御部２３からの制御信号に応じて駆動される輻輳
角モータ１８_L 、１８_R の回転軸に結合されている。各
輻輳角モータ１８_L 、１８_Rの回転軸は、それぞれ両撮
像レンズ群１１_L 、１１_R の光軸Ｌ_L 、Ｌ_R を含む平面
に対して垂直方向に延びており、各輻輳角モータ１
８_L 、１８_R を駆動させることにより、各撮像レンズ群
１１_L 、１１_R はそれぞれに設けられた色分解プリズム
１２_L 、１２_R およびＣＣＤセンサ１３_L 、１３_R と一
体となって回転され、各撮像レンズ群１１_L 、１１_R の
光軸Ｌ_L 、Ｌ_R の互いに成す角（輻輳角）が設定され
る。

【００１６】また、各撮像系１０_L 、１０_R には、各合
焦レンズ群１５_L 、１５_R の位置を検出するためのフォ
ーカスエンコーダ２４_L 、２４_R 、各変倍レンズ群１７
_L 、１７_R の位置を検出するためのズームエンコーダ２
５_L 、２５_R 、および輻輳角を検出するための輻輳角エ
ンコーダ２６_L 、２６_R が設けられている。これらは、
例えばポテンショメータのような外付けの部材を用いて
もよいし、パルスモータのような駆動系自身の持つ信号
情報によりそれぞれの位置や角度を検出するものを用い
てもよい。

【００１７】一方、各ＣＣＤセンサ１３_L 、１３_R に
は、本発明の特徴である画像処理部３０を介して画像出
力部４０が接続されている。画像処理部３０は、図２に
示すように、各撮像系１０_L 、１０_R のＣＣＤセンサ１
３_L 、１３_R （図１参照）からの画像信号であるビデオ
信号をそれぞれ保持する左画像メモリ３１_L および右画
像メモリ３１_R からなる画像入力部３２と、画像入力部
３２にそれぞれ入力された各ビデオ信号により得られる
左右各画像に基づいて１つの合成画像を生成するための
画像変換部３８と、画像変換部３８で合成された画像を
保持し、画像出力部４０に出力するための合成画像メモ
リ３９とを有する。

【００１８】画像変換部３８はさらに、画像入力部３２
に入力された両画像のうち、両画像間の対応点対の抽出
を行う対応点軸出部３３と、対応点対軸出の結果から各
対応点対の３次元位置（距離情報）を算出し、その情報
により、画像を合成する合成変換部４１とに分けられ
る。

【００１９】図３は図１に示した複眼撮像装置の光学系
の主要部を、各撮像レンズ群１１_L、１１_R の光軸
Ｌ_L 、Ｌ_R の成す平面に垂直な方向から見た図である。
ただし、説明を簡略にするために、各色分解プリズム１
２_L 、１２_R （図１参照）部分は省略するとともに、各
ＣＣＤセンサ１３_L 、１３_R についても左右それぞれ１
つずつのみ示した。尚ここでは合焦面の端点が一致して
いる例で説明するが、一般にはそうでなくても良い。図
３に示すように、右撮像系１０_R の撮像レンズ群１１_R
およびＣＣＤセンサ１３_R は合焦物体面５０_R を有する
とともに、撮像可能な領域がＣＣＤＧセンサ１３_R の有
効受光部により直線５１_R と５２_R とで挟まれる領域に
制御され、この合焦物体面５０_R が端面５１_R および端
面５２_R とそれぞれ交わる交点Ｂ_R から交点Ａまでの領
域が、有効被写体領域となる。左撮像系１０_L について
も同様に、合焦物体面５０_L 上の交点Ａから交点Ｂ_L ま
での領域が有効被写体領域となっている。

【００２０】左右各撮像系１０_L 、１０_R のフォーカス
モータ１４_L 、１４_R （図１参照）およびズームモータ
１６_L 、１６_R （図１参照）は、それぞれの合焦物体面
５０ _L 、５０_R とＣＣＤセンサ１３_L 、１３_R との距
離、および結像倍率が左右互いに等しくなるように制御
される。

【００２１】各モータ１４_L 、１４_R 、１６_L 、１
６_R 、１８_L 、１８_R の制御は、各エンコーダ２４_L 、
２４_R 、２５_L 、２５_R 、２６_L 、２６_R （図２参照）
からの信号を受けた演算制御部２０（図１参照）を通じ
て行われる。特に輻輳角モータ１８_L 、１８_R は、フォ
ーカスエンコーダ２４_L 、２４_R およびズームエンコー
ダ２５_L 、２５_R からの出力信号から算出される合焦物
体面５０_L 、５０_R の位置および有効被写体領域の位置
の信号に連動して制御される。

【００２２】次に合成処理の部分の手順を簡単に説明す
る。図２に示した対応点抽出部３３において各画像の対
応点対を抽出する。これを行う代表的な手法としては、
テンプレートマッチング法がある。この方法は、例えば
左画像中のある１点を囲むテンプレートを考え、そのテ
ンプレートの画像に対する右画像中での類似性の比較に
よって対応点を決定するものである。類似性の比較の一
方法である相関法は、テンプレートの画像中の画素値と
探索画像中の画素値との相互相関をとり、最大値となっ
た座標を対応点とするものであり、その関係式を以下の
式（１）に示す。

【００２３】

【数１】

【００２４】式（１）中、Ｒ（ｍ_R ，ｎ_R ）、Ｌ
（ｍ_L ，ｎ_L ）は左右の画像の画素値であり、σ
（ｍ_R ，ｎ_R ，ｍ_L ，ｎ_L ）は相関の度合いを表すもの
である。また、ｍ _R 、ｎ_R 、ｍ_L 、ｎ_L は画素座標を示
す。なお、二乗和または積和計算でｉ，ｊの前の符号が
左右画像で逆になるのは、図４（Ｂ）に示した画素座標
軸は左右対称になるように定義されているからである。
そして、式（１）の正規化相互相関では最大値は１とな
る。また別な方法としてはＳＳＤＡ法がある。これもテ
ンプレートマッチングの一種であるが、

【００２５】

【数２】

【００２６】で残差を計算し、ある閾値を設定してお
き、加算演算の途中で残差が閾値を越えると計算をそこ
で打ち切り、次の（ｍ_R ，ｎ_R ）（ｍ_L ，ｎ_L ）の組み
合わせに移る方法である。閾値は過去の残差の最小値に
するのが一般的である。

【００２７】上述のようにして得られた対応点情報から
各対応点対の３次元空間内での位置を三角測量法により
求める。図５に示すように、左右各撮像レンズ群１
１_L 、１１_R （図１参照）の物体側主平面の中心点
Ｏ_L 、Ｏ_R をそれぞれＸ軸上でＺ軸に対して線対称に配
置し、その中心点Ｏ_L 、Ｏ_R 間を結ぶ基線の長さを基線
長ｂとすると、各中心点Ｏ_L 、Ｏ _R の座標はそれぞれ
（−ｂ／２，０，０）、（ｂ／２，０，０）で表わされ
る。また、三次元空間内の１点Ｐを各中心点Ｏ_L 、Ｏ_R
に向けて投影したときの、左右各ＣＣＤセンサ１３_L 、
１３_R 上での投影点はそれぞれＰ_L 、Ｐ_R となり、点
Ｐ、Ｐ_L 、Ｐ_R の座標をそれぞれ（Ｘ，Ｙ，Ｚ）、（Ｘ
_L ，Ｙ_L ，Ｚ_L ）、（Ｘ _R ，Ｙ_R ，Ｚ_R ）で表わす。

【００２８】ここで、三次元空間中の点Ｐ、Ｐ_L 、Ｐ_R
の三点を結んでできる平面をエピポーラ面といい、エピ
ポーラ面とセンサ面との交線をエピポーララインとい
う。この時、点Ｐの座標（Ｘ，Ｙ，Ｚ）はそれぞれ以下
に示す式（３）（４）（５）により与えられる。

【００２９】

【数３】

【００３０】一方、左右各撮像レンズ群１１_L 、１１_R
の光軸Ｌ_L 、Ｌ_R が、それぞれその物対側主平面の中心
点Ｏ_L 、Ｏ_R を通り、かつＺ軸に平行な直線に対してな
す角度（これを輻輳角という）をθとするとともに、各
撮像レンズ群１１_L 、１１_Rの焦点距離をｆとすると、

【００３１】 Ｚ_R ＝ ｛Ｘ_R −（ｂ／２）＋ｆ・ｓｉｎ（θ）｝ｔａｎ（θ） ＋ｆ・ｃｏｓ（θ） ………（６） Ｚ_L ＝−｛Ｘ_L ＋（ｂ／２）−ｆ・ｓｉｎ（θ）｝ｔａｎ（θ） ＋ｆ・ｃｏｓ（θ） ………（７） の関係が成り立ち、以上の各式により点Ｐの座標（Ｘ，
Ｙ，Ｚ）が求められる。これらの座標を元に、ある視点
から見た画像、例えばここでは２つの撮像装置の中間点
から見た画像に、座標変換を行い画像を得る。

【００３２】次に探索範囲を決定する事を説明するため
に、図６に示される様に輻輳角が付いた状態で撮像され
た画像を輻輳角がない状態、すなわち平行で撮影した様
に変換する方法を説明する。

【００３３】図７に示す様に、３軸をＸ，Ｙ，Ｚ，３軸
の回りの回転をＡ，Ｂ，Ｃ，並進連動をＵ，Ｖ，Ｗ，焦
点距離をｆ、撮像面内の座標軸をｘ，ｇ，物点Ｐ（Ｘ，
Ｙ，Ｚ）の撮像面上の点をｐ（ｘ，ｙ）で表す。 この時 ｘ＝ｆ・（Ｘ／Ｚ） ………（８） ｙ＝ｆ・（Ｙ／Ｚ） ………（９） が成立する。今、３軸が回転し、並進連動した場合、

【００３４】

【数４】

【００３５】が成り立つ。この時Ｘ′，Ｙ′，Ｚ′は新
たな３軸である。従って、Ｐ（Ｘ′，Ｙ′，Ｚ′）の撮
像面上の点ｐ（ｘ′，ｙ′）は、

【００３６】 ｘ′＝ｆ・（Ｘ′／Ｚ′） ………（１１） ｙ′＝ｆ・（Ｙ′／Ｚ′） ………（１２） で表わされる。この時、オプティカルフローすなわち
（ｕ，ｖ）＝（ｘ′，ｙ′）−（ｘ，ｙ）は、

【００３７】

【数５】

【００３８】である。今、説明を簡単にするため、Ｂの
みを考える（Ａ＝Ｃ＝Ｕ＝Ｖ＝Ｗ＝φ）とすると、上記
（１０）式は、

【００３９】

【数６】

【００４０】これを（１３）式に代入して考えると、

【００４１】

【数７】

【００４２】が導かれる。この時 α＝ｔａｎ^-1（ｘ／ｆ）＝ｔａｎ^-1（ｘ／ｚ） ………（１８） である。今、Ｂを輻輳角と考えると、上記式で表わす様
に変換される事により（１７）式ならびに図６に示す様
に次の２つのことが言える。

【００４３】（１）カメラが平行撮像した事と同様にな
るので、物点が投影される撮像面の高さは、２つの撮像
面で同じ所にある。 （２）図８に示される様に斜線部の部分は元の撮像条件
では、撮影していない部分である。

【００４４】この斜線部の範囲（ｃ）は図８ならびに式
（１７）等より（ｘ_o ，ｙ_o ）に対応する点が
（ｘ_o ′，ｙ_o ′）とすると、

【００４５】

【数８】

【００４６】で表わされる事より、上記斜線部の幅
（ｃ）は、

【００４７】

【数９】

【００４８】である。これより上記（１）から対応点を
探索するのに垂直方向の限定としては図８より高さＷの
場合、もう一方の高さｗの所の画像を探せば良い（図８
参照、探索範囲（ａ））。次に水平方向の限定として
は、前記（２）ならびに以下の事を考慮する。

【００４９】左画像中（ｈ，ｗ）の点の対応する点を探
索する場合、この（ｈ，ｗ）は右画像中（ｈ，ｗ）迄の
所に存在する。これは仮に物点Ｐが無限遠にあり、左撮
像面上で（ｈ，ｗ）に投影されていた時には、右撮像面
上でも（ｈ，ｗ）に投影される事から理解できる。

【００５０】一方、図中斜線部の範囲はもともと撮影し
ていない訳であるが、右側の画像で（Ｏ，Ｗ）から
（Ｇ，Ｗ）の画像中の対応する点は、左画像中の同じ幅
の所に対応するとしたらある訳である。とすれば、左画
像中の（ｄ）部も対応する点がよい事となる。従って、
左画像中の（ｈ，ｗ）の点はＧ＜ｈならば、右画像中の
（Ｇ，Ｗ）から（ｈ，ｗ）の間に存在する。これにより
図８に示す様に対応する点の範囲の基本領域線分（ｅ）
が設定できる。

【００５１】次にこの基本領域に複眼の撮像装置の撮像
パラメータに誤差が生じた場合の事を考慮した上での探
索範囲を説明する。複眼撮像装置において前述迄は、輻
輳角の１／２に相当する角度Ｂのみが存在する場合を考
慮していたが、一般には、撮像系の撮像パラメータとし
ての角度Ａ，Ｃが左撮像系、右撮像系で誤差ΔＡ，ΔＣ
分存在する。

【００５２】この時は、前述の式（１０）に代入して、
新たに（Ｘ′，Ｙ′，Ｚ′）を導き、これに相当する
（ｕ，ｖ）の算出から、前述の基本探索範囲に誤差相当
分を付加する。但し、誤差分はあらかじめ既知ではない
ので、最悪の場合からの分を付加して置くのが一般的で
ある。例えば垂直方向には（１）の（ｉ）分の付加、水
平方向には、以上説明した様に、最後に探索範囲を図で
示すと図８（Ｂ）の（ｉ）×（ｊ）の範囲（ｆ）の様に
する。

【００５３】（第２の実施例）上述した第１の実施例に
おいては、画像の輻輳角補正を行った後、対応点抽出を
行っていた。しかるにここでは、輻輳角補正をしない場
合の実施形態を説明する。輻輳角が存在する条件下で
は、一般にエピポーララインは互いに平行ではない。従
ってここでは、垂直方向の限定は例えば画面の縦方向全
部とか、或いは半分程度の領域とする。次に水平方向の
限定は、前述と同様の範囲を踏襲するとして、図９に示
す様に斜線部（ｇ）の範囲とする。

【００５４】

【発明の効果】以上説明したように、請求項１の発明に
よれば、複数の撮像系によって得られた画像から各々撮
像中の対応する点を探索する際に探索範囲を画像全体と
せずに撮像系の撮像パラメータに応じて限定する事によ
り、対応点を抽出する迄の時間が大幅に短縮できる効果
がある。また、探索範囲を限定することによりその範囲
外に対応するといった、誤った対応がなくなり信頼性も
向上する効果がある。

【００５５】また、請求項２の発明によれば、複眼の撮
像系の個体差が存在する場合に、撮像パラメータ等が決
定する探索の基本範囲に個体差分のマージン領域を付加
し、探索領域とすることにより、誤差がある状況下でも
探索の信頼性を維持しつつ、探索時間を短縮できる効果
がある。

【図面の簡単な説明】

【図１】本発明による複眼撮像装置の実施例を示す構成
図である。

【図２】図１の画像処理部の構成を示すブロック図であ
る。

【図３】図１の要部を示す構成図である。

【図４】撮像の状況を示す構成図である。

【図５】物点Ｐがセンサに投影されることを説明する構
成図である。

【図６】輻輳角補正を示す構成図である。

【図７】右撮像系のワールド座標系における撮像面の構
成図である。

【図８】本発明の第１の実施例による探索範囲を示す構
成図である。

【図９】本発明の第２の実施例による探索範囲を示す構
成図である。

【図１０】従来の複眼撮像装置を示す構成図である。

【符号の説明】

１０_L 左撮像系 １０_R 右撮像系 ２０ 演算制御装置 （ａ） 探索範囲線分 （ｂ） 垂直方向のマージンを付加した探索範囲 （ｃ） 無被写体領域 （ｄ） オクルージョン領域 （ｅ） 基本領域 （ｆ） マージンを付加した探索範囲 （ｉ）、（ｊ） （ｆ）の領域の垂直、水平の長さ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 森 克彦 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (2)

【特許請求の範囲】
1. 【請求項１】 複数の撮像系と、 上記複数の撮像系から得られる複数の画像から対応する
   点の対を探索する探索手段と、 上記探索手段が探索する範囲を上記複数の撮像系の撮像
   パラメータにより決定する探索範囲決定手段とを備えた
   複眼撮像装置。
2. 【請求項２】 上記探索範囲決定手段は上記撮像パラメ
   ータにより決定する基本的な探索範囲に上記複数の撮像
   系の固体差に基づくマージン部分を付加して探索範囲を
   決定することを特徴とする請求項１記載の複眼撮像装
   置。