JPH06141237A

JPH06141237A - 複眼撮像装置

Info

Publication number: JPH06141237A
Application number: JP4284343A
Authority: JP
Inventors: Hideaki Mitsutake; 英明光武; Tatsuji Katayama; 達嗣片山; Jun Tokumitsu; 純徳光; Shigeyuki Suda; 繁幸須田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1992-10-22
Filing date: 1992-10-22
Publication date: 1994-05-20
Anticipated expiration: 2015-11-13
Also published as: US5602584A; JP3107929B2

Abstract

(57)【要約】【目的】二重像の存在する領域及びその近傍の画像情
報から、連続性の失わない画像を生成して画像の劣化を
防止する。【構成】左右両撮像系１０L 、１０R からのビデオ信
号が入力される画像処理部３０は、画像入力部３２と、
画像変換部３８と、合成画像メモリ３９とを有する。画
像変換部３８はさらに、各ビデオ信号から被写体の同一
部分に対応する対応点対を抽出する対応点抽出部３３
と、抽出された各対応点対の三次元位置情報に基づき、
二重像の領域分けを行なう二重像領域分け部３４と、各
二重像が二重像非発生領域に接続する割合の多い方の画
像を決定する二重像種別判断部３５と、二重像種別判断
部３５により二重像非発生領域に接続する割合が多いと
決定された画像を合成画像生成データとして用い、他方
の画像を除去する片側二重像一括除去部３６とを有す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はＣＣＤ（電荷結合素
子）、撮像管等の撮像素子を用いた撮像装置、特に複数
の撮像素子及びレンズ等の結像光学系を用いた複眼撮像
装置に関する。

【０００２】

【従来の技術】近年、ワイドパノラマ画像生成あるいは
高精細画像生成の目的で、結像光学系と撮像素子とから
なる複数の撮像系を有し、共通の被写体を撮像すること
により前記各撮像素子の各々から入力された画像信号を
用いて、１つの合成画像を生成出力する複眼撮像装置が
提案されている。

【０００３】パノラマ画像を得る方式としては、複数の
撮像系によりそれぞれ被写体領域の異なる複数の画像を
同時に撮像し、これら各画像内に存在する同一被写体を
抽出し、その画像内の相対位置情報に基づいて各画像を
接続することにより合成パノラマ画像を得るものであ
る。

【０００４】一方、高精細画像を得る方式としては、パ
ノラマ画像と同様に各画像内に存在する同一被写体を抽
出し、その画像内での相対位置情報に基づいて補間処理
を行なって新たに高精細な１つの画像を得るものであ
る。この原理に基づく複眼撮像装置は、例えば図２２に
示すように、左撮像系１０１０_Lと右撮像系１０１０_R
とを用意し、左撮像系１０１０_Lと右撮像系１０１０_R
とで被写体１１０１を撮像する。そして、左撮像系１０
１０_Lで得られた左側画像Ｉ_Lと右撮像系１０１０_Rで
得られた右側画像Ｉ_RとをＣＰＵ１１２０で対応点抽出
を行ない合成処理することにより、１つの撮像系で被写
体を撮像したときに比べて高精細な１つの出力画像Ｉ
_OUTを得るものである。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た複眼撮像装置においては、以下に示す問題点があっ
た。パノラマ画像を得るものでは、複数の画像を接続す
るものなので１つの撮像系の最大画角内に制限されず、
さらに、同一タイミングで撮像した複数の画像から１つ
のパノラマ画像を再構成するので、動物体を含む所望の
被写体領域をカバーできるだけの撮像系を複数組み合わ
せた構成等のフレキシブな撮像装置を実現することがで
きるものの、各画像は一部接続部を除いて並列して撮像
する形態となるので、むしろ殆どの画像域が対応点のな
い被写体となる。この場合、画像接続部で互いに対応す
る被写体が、生成画像上で一致せず二重に存在するいわ
ゆる二重像として表れることがあり、これにより画像の
連続性が失われ、画像品位の劣化を招くという問題点が
あった。ここで、画像の連続性とは、注目部において被
写体形状（輪郭線等）や濃度（輝度）等が連続かつ滑ら
かに接続していることをいう。

【０００６】また、高精細画像を得るものでは、高精度
の対応点相対位置情報（１画素ピッチ以下）が求めら
れ、画像の補間方式も高精度のものが求められる。従っ
て、これらの精度が十分に満たされない場合、本来存在
しないはずの高周波ノイズ成分などが重畳され、むしろ
画像の劣化を招く場合もありうる。一方、時間解像度に
関していえば、この複眼撮像装置をテレビジョン用に用
いることを想定した場合、毎秒３０フレーム程度の画像
を連続して取り込む必要があるので、これらの処理はか
なり高速でなくてはならず出来るだけ簡易な処理が望ま
れている。

【０００７】本発明はこれらの問題点に鑑みてなされた
ものであり、その第１の目的は、二重像の存在する領域
及びその近傍の画像情報から、連続性を失わない画像を
生成して画像の劣化を防止する複眼撮像装置を提供する
ことにある。

【０００８】また、本発明の第２の目的は、撮像装置の
要求する実時間を満たしつつ、合成画像が生成前の原画
像に比べ、少なくとも画質の劣化のない複眼撮像装置を
提供することにする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
本発明は、複数の結像光学系及び前記各結像光学系の各
々に対応した撮像素子からなる複数の撮像系を有し、被
写体を撮像することにより前記各撮像素子の各々から入
力された画像信号を用いて、１つの合成画像を生成出力
する複眼撮像装置において、前記各画像信号から前記被
写体の同一部分に対応する対応点対をそれぞれ抽出し、
前記抽出された各対応点対のうち少なくとも一部の対応
点対については、その対応点対の中の少なくとも一つの
対応点を合成画像生成データとして用い、他を合成画像
生成データとして用いない画像処理部を有することを特
徴とする。

【００１０】また、前記合成画像は、前記各画像信号を
並列合成したパノラマ合成画像であるものでもよく、こ
の場合に前記画像処理部は、前記抽出された各対応点対
のうち１つの撮像系でしか撮像されない二重像非発生領
域に接続している像に属する対応点対については、その
対応点対の中の、前記二重像非発生領域に接続している
割合の最も多い像に属する対応点を前記合成画像生成デ
ータとして用いるものや、前記抽出された各対応点対の
うち１つの撮像系でしか撮像されない二重像非発生領域
との距離が異なる対応点対については、その対応点対の
中の、前記二重像非発生領域に最も近い対応点を前記合
成画像生成データとして用いるものや、前記抽出された
各対応点対のうち、１つの画像においてのみ、１つの撮
像系でしか撮像されない二重像非発生領域に接続してい
る像に属する対応点対については、前記１つの画像中の
対応点を前記合成画像生成データとして用い、２つ以上
の画像において前記二重像非発生領域に接続している像
に属する対応点については、前記２つ以上の画像のいず
れか１つの画像中の対応点を、画像の並列方向に拡大し
て前記合成画像生成データとして用いるものであっても
よい。

【００１１】さらに、前記合成画像は、前記各画像信号
を合成した高精細画像であるものでもよく、この場合に
前記画像処理部は、前記抽出された各対応点対のうち、
前記各対応点対の中の対応点同志の間隔が所定の間隔よ
りも小さい対応点対については、その対応点対の中の１
つの対応点を前記合成画像生成データとして用いるもの
や、前記各対応点対のうち対応点抽出の前に歪み補正を
必要とする対応点対のすくなくとも一部については、そ
の対応点の中の１つの対応点を前記合成画像生成データ
として用いるものや、前記抽出された各対応点対のう
ち、前記各撮像系の合焦物体面からの距離及び前記各結
像光学系の開口数から予測される像のボケの程度が一定
の閾値を越える対応点対の少なくとも一部については、
その対応点対の中の１つの対応点を前記合成画像生成デ
ータとして用いるものや、前記各対応点対を抽出した
後、対となる対応点が求まらない画素点および前記対と
なる対応点が求まらない領域とある一定の空間周波数以
上で交互に表れる対応点対の少なくとも一部について
は、その対応点対の中の１つの対応点を前記合成画像生
成データとして用いるものであってもよい。

【００１２】また、複数の結像光学系及び前記各結像光
学系の各々に対応した撮像素子からなる複数の撮像系を
有し、被写体を撮像することにより前記各撮像素子の各
々から入力された画像信号を用いて、１つの合成画像を
生成出力する複眼撮像装置において、前記各画像信号の
うち、１つの画像信号を合成画像生成のための基本画像
とするとともに、他の画像信号を補助画像とし、前記各
画像信号から前記被写体の同一部分に対応する対応点対
をそれぞれ抽出し、前記抽出された各対応点対のうち少
なくとも一部の対応点対については、前記基本画像中の
対応点を合成画像生成データとして用い、前記補助画像
中の対応点を合成画像生成データとして用いない画像処
理部を有することを特徴とするものもある。

【００１３】この場合に、前記合成画像は、前記各画像
信号を並列合成したパノラマ合成画像であり、前記画像
処理部は、前記抽出された各対応点対のうち１つの撮像
系でしか撮像されない二重像非発生領域に接続している
像に属する対応点対について、前記二重像非発生領域に
接続している割合の最も多い画像信号を基本画像とする
ものであってもよい。

【００１４】さらに、前記基本画像となる画像信号を出
力する前記撮像素子を有する前記撮像系は、その結像光
学系の光軸を装置正面方向にある前記被写体に向けて配
置されていてもよく、前記合成画像は、前記各画像信号
を合成した高精細画像であり、前記画像処理部は、前記
抽出された各対応点対のうち、前記基本画像中の対応点
と前記補助画像中の対応点との間隔が所定の間隔よりも
小さい対応点対については、前記基本画像中の対応点を
前記合成画像生成データとして用い、前記補助画像中の
対応点を前記合成画像生成データとして用いないもの
や、前記合成画像は、前記各画像信号を合成した高精細
画像であり、前記画像処理部は、前記各対応点対のうち
対応点抽出の前に歪み補正を必要とする対応点対のすく
なくとも一部については、前記基本画像中の対応点を前
記合成画像生成データとして用い、前記補助画像中の対
応点を前記合成画像生成データとして用いないものや、
前記合成画像は、前記各画像信号を合成した高精細画像
であり、前記画像処理部は、前記抽出された各対応点対
のうち、前記各撮像系の合焦物体面からの距離及び前記
各結像光学系の開口数から予測される像のボケの程度が
一定の閾値を越える対応点対の少なくとも一部について
は、前記基本画像中の対応点を前記合成画像生成データ
として用い、前記補助画像中の対応点を前記合成画像生
成データとして用いないものや、前記合成画像は、前記
各画像信号を合成した高精細画像であり、前記画像処理
部は、前記抽出された各対応点対のうち、対となる対応
点が求まらない画素点および前記対となる対応点が求ま
らない領域とある一定の空間周波数以上で交互に表れる
対応点対の少なくとも一部については、前記基本画像中
の対応点を前記合成画像生成データとして用い、前記補
助画像中の対応点を前記合成画像生成データとして用い
ないものであってもよい。

【００１５】

【作用】上記のとおり構成された本発明の複眼撮像装置
では、各画像信号から被写体の同一部分に対応する対応
点対をそれぞれ抽出し、抽出された各対応点対のうち少
なくとも一部の対応点対については、その対応点対の中
の少なくとも一つの対応点を合成画像生成データとして
用い、他を合成画像生成データとして用いない画像処理
部を有することにより、合成画像の劣化が防止される。
詳しくいえば、パノラマ合成画像の生成においては、２
つの画像の接続部近傍に二重像が発生してしまうことが
あるが、前記対応点対の中の少なくとも１つの対応点を
合成画像生成データとして用い、他の対応点を合成画像
生成データとして用いないことにより、前記二重像が除
去されるとともに二重像非発生領域との画像の良好な接
続性が保たれる。また、高精細画像の生成においては、
対応点対の中の対応点同志が非常に近接存在する場合
に、その対応点対の中の少なくとも１つの対応点を合成
画像生成データとして用い、他の対応点を合成画像生成
データとして用いないことにより、対応点対の相対画素
位置の誤差あるいは画素値に重畳するノイズ成分に敏感
に反応して発生する不要な高周波成分が抑制される。さ
らに、高精細画像生成において、歪み像部、ボケ像部、
対応点対が求まらないオクルージョン像部での処理を上
記のごとく変更することにより、不要な処理手順の省略
や誤対応による画像劣化の抑制がなされる。

【００１６】また、合成画像生成用の基本画像を設定す
ることにより、少なくとも一定レベルの画質を有する画
像が常に出力される。特に、基本画像となる画像信号を
出力する撮像素子を有する撮像系を、その結像光学系の
光軸を前記被写体に向けて配置させることにより、少な
くとも被写体の正面からの画像を特別な処理を付加する
ことなく常に出力できるし、至近撮影時においても、撮
影者が不自然な操作感を受けることなく撮影を行なえ
る。

【００１７】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００１８】（第１実施例）図１は、本発明の複眼撮像
装置の第１実施例の概略構成図である。本実施例の複眼
撮像装置は、右撮像系１０_R および左撮像系１０_L の２
つの撮像系を用いて被写体を撮像して得られる２つの画
像を並列に接続することにより１つのパノラマ合成画像
を得るものである。

【００１９】まず、左撮像系１０_L について説明する。
左撮像系１０_L は、不図示の鏡筒内に組み込まれた結像
光学系としての撮像レンズ群１１_L と、この撮像レンズ
群１１_L に装着された、被写体からの光を３原色に分解
するための色分解プリズム１２_L と、色分解プリズム１
２_L によって分解された光毎に設けられた撮像素子とし
ての、それぞれ矩形の有効受光部を持つ３つのＣＣＤセ
ンサ１３_L （１つのみ図示）とを有する。撮像レンズ群
１１_L は、フォーカスモータ１４_L により駆動される合
焦レンズ群１５_L と、ズームモータ１６_L により駆動さ
れる変倍レンズ群１７_L とを含む複数のレンズで構成さ
れ、各モータ１４_L、１６_L は、光学系を制御する制御
ユニット２０内の全系制御部２１及びフォーカス・ズー
ム制御部２２からの制御信号に応じてそれぞれ駆動され
る。一方、右撮像系１０_R も左側撮像系１０_L と同様に
構成されており、右撮像系１０_R の撮像レンズ群１１_R
の光軸Ｌ_R は、左撮像系１０_L の撮像レンズ群１１_L の
光軸Ｌ_L と同一平面上にある。

【００２０】また、各撮像レンズ群１１_L、１１_Rが組
み込まれた前記各鏡筒は、それぞれ制御ユニット２０の
輻輳角制御部２３からの制御信号に応じて駆動される輻
輳角モータ１８_L、１８_Rの回転軸に結合されている。
各輻輳角モータ１８_L、１８ _Rの回転軸は、それぞれ両
撮像レンズ群１１_L、１１_Rの光軸Ｌ_L、Ｌ_Rを含む平
面と垂直方向に延びており、各輻輳角モータ１８_L、１
８_Rを駆動させることにより、各撮像レンズ群１１_L、
１１_Rはそれぞれに設けられた色分解プリズム１２_L、
１２_RおよびＣＣＤセンサ１３_L、１３_Rと一体となっ
て回転され、各撮像レンズ群１１_L、１１_Rの光軸
Ｌ_L、Ｌ_Rの互いに成す角（輻輳角）が設定される。ま
た、各撮像系１０_L、１０_Rには、各合焦レンズ群１５
_L、１５_Rの位置を検出するためのフォーカスエンコー
ダ２４_L、２４_R、各変倍レンズ群１７_L、１７_Rの位
置を検出するためのズームエンコーダ２５_L、２５_R、
および輻輳角を検出するための輻輳角エンコーダ２
６_L、２６_Rが設けられている。これらは、例えばポテ
ンショメータのような外付けの部材を用いてもよいし、
パルスモータのような駆動系自身の持つ信号情報により
それぞれの位置や角度を検出するものを用いてもよい。

【００２１】一方、各ＣＣＤセンサ１３_L、１３_Rに
は、本発明の特徴である画像処理部３０を介して画像出
力部４０が接続されている。画像処理部３０は、図２に
示すように、各撮像系１０_L、１０_RのＣＣＤセンサ１
３_L、１３_R（図１参照）からの画像信号であるビデオ
信号をそれぞれ保持する左画像メモリ３１_Lおよび右画
像メモリ３１_Rからなる画像入力部３２と、画像入力部
３２にそれぞれ入力された各ビデオ信号により得られる
左右各画像に基づいて１つの合成画像を生成するための
画像変換部３８と、画像変換部３８で合成された画像を
保持し、画像出力部４０に出力するための合成画像メモ
リ３９とを有する。画像変換部３８はさらに、画像入力
部３２に入力された両画像のうち、後述する二重像発生
領域の全ての画素について両画像間の対応点対の抽出を
行なう対応点抽出部３３と、対応点対抽出の結果から各
対応点対の三次元位置（距離情報）を算出し、その情報
による二重像の領域分けを行なう二重像領域分け部３４
と、領域に分けられた各二重像が二重像非発生領域に接
続している割合の多い方の画像を決定する二重像種別判
断部３５と、前記二重像非発生領域に接続している割合
の多い方の画像側に属する二重像を残して合成画像生成
データとして用い、かつ他の画像側に属する二重像を除
去する片側像二重像一括除去部３６と、二重像が除去さ
れた後の画像に後処理を施す除去後処理部３７とに分け
られる。

【００２２】図３は、図１に示した複眼撮像装置の光学
系の主要部を、各撮像レンズ群１１ _L、１１_Rの光軸Ｌ
_L、Ｌ_Rの成す平面に垂直な方向から見た図である。た
だし、説明を簡略にするために、各色分解プリズム１２
_L、１２_R（図１参照）部分は省略するとともに、各Ｃ
ＣＤセンサ１３_L、１３_Rについても左右それぞれ１つ
ずつのみ示した。図３に示すように、右撮像系１０_Rの
撮像レンズ群１１_RおよびＣＣＤセンサ１３_R は合焦物
体面５０_R を有するとともに、撮像可能な領域が、ＣＣ
Ｄセンサ１３_R の有効受光部により直線５１_Rと５２_R
とで挟まれる領域に制限され、この合焦物体面５０_R が
端面５１_R および端面５２_R とそれぞれ交わる交線Ｂ_R
から交線Ａまでの領域が、有効被写体領域となる。左撮
像系１０ _L についても同様に、合焦物体面５０_L 上の交
線Ａから交線Ｂ_L までの領域が有効被写体領域となって
いる。左右各撮像系１０_L、１０_Rのフォーカスモータ
１４_L、１４_R（図１参照）およびズームモータ１
６_L、１６_R（図１参照）は、それぞれの合焦物体面５
０_L、５０_RとＣＣＤセンサ１３_L、１３_Rとの距離、
および結像倍率が左右互いに等しくなるように制御さ
れ、かつ各輻輳角モータ１８_L、１８_R（図１参照）は
各撮像系１０_L、１０_Rの有効被写体領域の端部が互い
に交線Ａで一致するように制御される。各モータ１
４_L、１４_R、１６_L、１６_R、１８_L、１８_Rの制御
は、各エンコーダ２４_L、２４_R、２５_L、２５ _R、２
６_L、２６_R（図１参照）からの信号を受けた制御ユニ
ット２０（図１参照）を通じて行われる。特に輻輳角モ
ータ１８_L、１８_Rは、フォーカスエンコーダ２４_L、
２４_Rおよびズームエンコーダ２５_L、２５_Rからの出
力信号から算出される合焦物体面５０_L、５０_Rの位置
および有効被写体領域の端部位置の信号に連動して制御
される。

【００２３】以上のごとく構成された系において、各撮
像系１０_L、１０_Rで撮像される被写体のうち、両方の
画像に含まれる可能性があるのは、斜線で示した領域５
３（端面５１_L、５２_Rで挟まれた境界を持ち、交線Ａ
より遠景の領域）に存在する被写体である。ここで、こ
の両方の画像に含まれる可能性のある領域５３が、各撮
像系１０_L、１０_Rに対して無限遠まで広がることを考
慮に入れて、各撮像レンズ群１１_L、１１_Rの物体側主
平面中心へ向けて、領域５３を合焦物体面５０ _L、５０
_Rに射影すると、領域５３は、右撮像系１０_Rについて
は、撮像レンズ群１１_R の物体側主平面の中心を通り、
かつ端面５１_L に平行な平面を示す矢印Ｃ_R が合焦物体
面５０_R と交わる交線Ｄ_R と、交線Ａとの間の領域５５
_R に対応する。同様に、左撮像系１０_L については領域
５３は、撮像レンズ群１１_L の物体側主平面の中心を通
り、かつ端面５２_R に平行な平面を示す矢印Ｃ_L が合焦
物体面５０_L と交わる交線Ｄ_L と、交線Ａとの間の領域
５５_L に対応する。これらのことから、見かけ上領域５
５_L、５５_R上の被写体として撮像されるものが二重像
になるおそれがあり、これら各領域５５_L、５５_Rが二
重像発生領域となる。その他の領域については１つの撮
像系でしか撮像されない領域なので、二重像が発生しな
い二重像非発生領域となる。

【００２４】次に、本実施例の複眼撮像装置での画像処
理手順について図２を参照しつつ説明する。

【００２５】左右各撮像系１０_L、１０_Rで物体を撮像
すると、画像処理部３０の画像入力部３２には、画像情
報が各撮像系１０_L、１０_R毎にビデオ信号として入力
され、それぞれの画像メモリ３１_L、３１_Rに保持され
る。このときの各撮像系１０ _L、１０_Rと物体との位置
関係の例を示したのが図４であり、図４の（Ａ）は、図
３と同様の方向から物体を見たときの物体の位置を示す
図、図４の（Ｂ）は、同図の（Ａ）に示した位置にある
物体を撮像したときの、左右各ＣＣＤセンサの有効受光
部を撮像レンズ群側から見た図である。図４の（Ａ）に
示すように、両方の画像に含まれる可能性のある領域５
３中に存在する物体６０は、見かけ上左右各撮像系１０
_L、１０_Rの合焦物体面５０_L、５０_R上の領域５
６_L、５６_Rに存在する如く各ＣＣＤセンサ１３_L、１
３_R上に投影される。すなわち、図４の（Ｂ）に示すよ
うに、右側のＣＣＤセンサ１３_R においては交線Ｄ_R と
交線点Ａとに挟まれた領域５５_R 中に、物体６０に対応
する像６０_R が投影され、左側のＣＣＤセンサ１３_L に
おいては交線Ｄ_L と交線Ａとに挟まれた領域５５_L 中
に、物体６０に対応する像６０_L が投影される。ここ
で、左右各ＣＣＤセンサ１３ _L、１３_Rは、それぞれ点
Ｌ₀、Ｒ₀を原点として水平及び垂直方向の画素位置を
カウントするものとし、各画像中の像６０_L、６０_Rの
位置は、それぞれの重心等の代表点の座標（ｍ_L，
ｎ_L）、（ｍ_R，ｎ_R）で示す。

【００２６】これを具体的に、自動車の背景に道路標識
が見える構図を撮像した場合を例に挙げて説明する。図
５は、自動車の背景に道路標識が見える構図を撮像した
ときの、左右それぞれの投影画像を示す図であり、自動
車６１は、ほぼ各撮像系の合焦物体面５０_L、５０
_R（図３および図４参照）上に位置している。図５にお
いて、領域５５_L、５５_R が、上述したように二重像発
生領域であり、各撮像系の合焦物体面５０_L、５０_Rは
自動車６１上にあるので左右の画像では自動車６１は滑
らかに接続しているが、道路標識６２は自動車６１の後
方にあるので両画像中に二重に表われている。

【００２７】次に、図２に示した対応点抽出部３３にお
いて各画像の対応点対を抽出する。対応点抽出法の代表
的な一つの方法として、テンプレートマッチング法があ
る。この方法は、例えば左画像中のある１点を囲むテン
プレートを考え、そのテンプレートの画像に対する右画
像中での類似性の比較によって対応点を決定するもので
ある。類似性の比較の一方法である相関法は、テンプレ
ートの画像中の画素値と探索画像中の画素値との相互相
関をとり、最大値となった座標を対応点とするものであ
り、その関係式を以下の式（１）に示す。

【００２８】

【数１】式（１）中、Ｒ（ｍ_R，ｎ_R）、Ｌ（ｍ_L，ｎ_L）は左
右の画像の画素値であり、σ（ｍ_R，ｎ_R，ｍ_L，
ｎ_L）は相関の度合いを表すものである。また、
ｍ_R、ｎ_R、ｍ_L、ｎ_Lは画素座標を示す。なお、二乗
和または積和計算でｉ，ｊの前の符合が左右画像で逆に
なるのは、図４の（ｂ）に示した画素座標軸は左右対称
になるように定義されているからである。そして、数１
の正規化相互相関では最大値は１となる。

【００２９】本実施例では、まず図４に示した右画像の
領域５５_R 内の各画素点について左画像の領域５５_L 内
の全ての点に対応する数１の値を求め、最大値となる左
右画像の座標対を求める。次に、求められた各座標対の
うち、数１の値σが予め決められた閾値σ_th以上の場合
すなわちσ≧σ_thとなる場合についてのみ二重像となる
対応点対とする。これは、本実施例のワイド画像撮像系
の場合、合焦物体面５０_L、５０_Rに射影される領域の
うち二重像非発生領域がかなりの部分を占めるため、二
重像と誤判断することによる合成画像の劣化を防止する
ために最小限必要なことである。

【００３０】左右両画像の対応点対を抽出したら、図２
に示した二重像領域分け部３４で二重像の領域分けを行
なう。二重像領域分けの処理では、まず各対応点対の三
次元空間内での位置を以下に示す三角測量法により求め
る。

【００３１】図６に示すように、左右各撮像レンズ群１
１_L、１１_R（図３参照）の物体側主平面の中心点
Ｏ_L、Ｏ_RをそれぞれＸ軸上でＺ軸に対して線対称に配
置し、その中心点Ｏ_L、Ｏ_R間を結ぶ基線の長さを基線
長ｂとすると、各中心点Ｏ_L、Ｏ _Rの座標はそれぞれ
（−ｂ／２，０，０）、（ｂ／２，０，０）で表わされ
る。また、三次元空間内の１点Ｐを各中心点Ｏ_L、Ｏ_R
に向けて投影したときの、左右各ＣＣＤセンサ１３_L、
１３_R上での投影点はそれぞれＰ_L、Ｐ_Rとなり、点
Ｐ、Ｐ_L、Ｐ_Rの座標をそれぞれ（Ｘ，Ｙ，Ｚ）、（Ｘ
_L，Ｙ_L，Ｚ_L）、（Ｘ _R，Ｙ_R，Ｚ_R）で表わす。こ
こで、三次元空間中の点Ｐ、Ｐ_L、Ｐ_Rの三点を結んで
できる平面をエピポーラ面といい、エピポーラ面とセン
サ面との交線をエピポーララインという。

【００３２】このとき点Ｐの座標（Ｘ，Ｙ，Ｚ）は、そ
れぞれ以下に示す式（２）、（３）、（４）により与え
られる。

【００３３】

【数２】一方、左右各撮像レンズ群１１_L、１１_Rの光軸Ｌ_L、
Ｌ_Rが、それぞれその物体側主平面の中心点Ｏ_L、Ｏ_R
を通り、かつＺ軸に平行な直線に対してなす角度（これ
を輻輳角という）をθとするとともに、各撮像レンズ群
１１_L、１１_Rの焦点距離をｆとすると、Ｚ_R ＝｛Ｘ_R −(ｂ／２)＋ｆ・ｓｉｎ(θ)｝ｔａｎ(θ)＋ｆ・ｃｏｓ(θ) Ｚ_L ＝−｛Ｘ_L ＋(ｂ／２)−ｆ・ｓｉｎ(θ)｝ｔａｎ(θ)＋ｆ・ｃｏｓ(θ) の関係が成り立ち、以上の各式により点Ｐの座標（Ｘ，
Ｙ，Ｚ）が求められる。

【００３４】そして、点Ｐ（Ｘ，Ｙ，Ｚ）を二重像の各
対応点対の位置とし、そのＺ座標値（奥行きの方向の距
離）をパラメータとするヒストグラムを求める。このヒ
ストグラムから、奥行き距離の不連続になる領域を境に
して領域分けを行う。

【００３５】例えば、図５に示した画像の場合、図７に
示すようにαとβの２つの領域に分けられたヒストグラ
ムが得られる。すなわち、図７に示した領域αが図５に
示した自動車６１に相当し、また、図７に示した領域β
が図５に示した道路標識６２に相当する。

【００３６】領域分けが行なわれたら、図２に示した二
重像種別判断部３５により、領域分けされた各二重像を
次に示す４つの種別に区分けする。すなわち図４の
（Ｂ）に示した各画像において、（種別１）交線Ｄ_R上の点を含み、交線Ｄ_L上の点を含
まない二重像。（種別２）交線Ｄ_R上の点を含まず、交線Ｄ_L上の点を
含む二重像。（種別３）交線Ｄ_R上の点を含まず、交線Ｄ_L上の点を
含まない二重像。（種別４）交線Ｄ_R上の点を含み、交線Ｄ_L上の点を含
む二重像。という４つの種別である。そして、種別１に区分けされ
た二重像について、その面積の総和Ｓ１を求めるととも
に、種別２に区分された二重像について、その面積の総
和Ｓ２とを求める。なお、本実施例では、種別３および
種別４に区分けされた二重像については特に処理を施さ
ない。

【００３７】次いで、図２に示した片画像二重像一括除
去部３６により、二重像種別判断部３５で求めた面積Ｓ
１が面積Ｓ２より大きいか等しい場合には、右画像中に
存在する二重像対応点のみを残し、左画像中の対応点を
除去する。逆に、面積Ｓ１が面積Ｓ２より小さい場合に
は、左画像中に存在する二重像対応点のみを残し、右画
像中の対応点を除去する。これは、種別１に区分けされ
た二重像の面積が大きい場合には、右画像中の二重像の
方が二重像が発生しない領域により多く接続し、種別２
に区分けされた二重像の面積が大きい場合には、左画像
中の二重像の方が二重像が発生しない領域により多く接
続しているという考えに基づくものである。

【００３８】一方の画像中の対応点が除去されたら、除
去後の画素は図２に示した除去後処理部３７により、例
えば周辺画素からの値に置換する等の後処理が行われ
る。その後、左右の画像が接続されて合成画像メモリ３
９に保持され、モニタ等の画像出力部４０に出力され
る。

【００３９】図５に示した左右各画像に上述した各処理
を施して接続した画像を図８に示す。図８に示すよう
に、合焦物体面５０_L、５０_R（図３参照）の後方にあ
る道路標識は、前述した種別２に区分けされ、左側画像
の領域５５_R 中の二重像６２’は除去される。一方、自
動車６１については種別４に区分けされるので特に処理
は施されないが、ほぼ合焦物体面５０_L、５０_R上にあ
るので連続的につながっている。これにより、二重像の
発生のない自然な画像が得られる。

【００４０】以上説明したような処理により一方の二重
像を除去することで、左右画像のうち二重像が発生しな
い領域への連結成分が多い方の二重像成分を残すことが
できるので、二重像が発生しない領域と滑らかに接続す
る部分の多い合成画像を得ることができる。

【００４１】（第２実施例）次に、本発明の複眼撮像装
置の第２実施例について説明する。図９は、本発明の複
眼撮像装置の第２実施例の画像処理部のブロック図であ
る。本実施例は、図１、図３および図４に示した第１実
施例のものと、画像処理部の構成が異なっているだけで
他の構成は同様であるので、同様の部分については第１
実施例のものと同じ符号を付するとともにその説明は省
略し、以下に、画像処理部の構成について説明する。

【００４２】図９に示すように画像処理部１３０は、各
撮像系１０_L、１０_RのＣＣＤセンサ１３_L、１３
_R（図１参照）からのビデオ信号をそれぞれ保持する左
画像メモリ３１_Lおよび右画像メモリ３１_Rからなる画
像入力部３２と、画像入力部３２にそれぞれ入力された
各ビデオ信号により得られる左右各画像に基づいて１つ
の合成画像を生成するための画像変換部１３８と、画像
変換部１３８で合成された画像を保持し、画像出力部４
０に出力するための合成画像メモリ３９とを有する。画
像変換部１３８はさらに、画像入力部３２に入力された
両画像のうち、二重像発生領域の全ての画素について両
画像間の対応点対の抽出を行なう対応点抽出部１３３
と、対応点対抽出の結果から各対応点の二次元位置を算
出し、その情報による二重像の領域分けを行なう二重像
領域分け部１３４と、二重像領域分け部１３４で分けら
れた領域に基づき、少なくとも一方の二重像を残して合
成画像生成データとして用いる片側像除去部１３６と、
二重像が除去された後の画像に後処理を施す除去後処理
部１３７とに分けられる。

【００４３】次に、本実施例の画像処理手順について説
明する。図３および図４の（Ａ）に示したような配置に
おいては、主被写体はパノラマ合成画像の中心部に、し
かも交線Ａを中心とした合焦部に位置する場合が多い。
このため、主被写体の背景に別の被写体が存在する場
合、右画像においては主被写体の右側に別の被写体の像
が、左画像においては主被写体の左側に別の被写体の像
が現われ、別の被写体は二重像となる。この場合、図１
０に示すように、図３に示した領域５３を左右に二等分
し、それぞれを左領域５３Ｌおよび右領域５３Ｒとする
と、右画像中の別の被写体の像は右領域５３Ｒよりも右
側の領域からの像と連続的にあるいは滑らかにつながっ
ていると考えられ、同様に、左画像中の別の被写体につ
いては左領域５３Ｌより左側からの像とつながっている
と考えられる。

【００４４】以上の考察に基いて、本実施例では画像の
連続性を重視した画像再構成を行う。そのために、右領
域５３Ｒに存在する被写体の画像は図４の（Ｂ）に示し
た右画像中に残し、左領域５３Ｌに存在する被写体の画
像は図４の（Ｂ）に示した左画像中に残すという処理を
行う。被写体が右領域５３Ｒに存在するか左領域５３Ｌ
に存在するかの判断は、第１実施例と同様の対応点抽出
法により二重像の対応点対を求め、図４の（Ｂ）中に示
した像６０_L の代表点座標（ｍ_L ，ｎ_L ）および像６０
_R の代表点座標（ｍ_R，ｎ_R）をここでは対応点抽出処
理後の対応点座標対と考えると、実際の処理としては、
像６０_L、６０_Rの位置関係からみて次の分岐処理を行
なえばよい。（ａ）ｍ_R ＞ｍ_L ならば右画像中に残す。（ｂ）ｍ_R ＜ｍ_L ならば左画像中に残す。（ｃ）ｍ_R ＝ｍ_L ならば左右両画像中に残す。

【００４５】そして、除去された画素については例えば
周辺の画素の信号値で置換する後処理を行なえばよい。
以上の処理により構成された左右の画像を交線Ａおよび
Ａ’上で接合するように合成することにより、主被写体
領域に不連続な部分が生じることなく、かつ背景画像域
における不連続の発生すなわち二重像の発生が最小限に
抑えられたパノラマ合成画像が得られる。

【００４６】本実施例の更なる効果は合焦物体面５
０_R、５０_Lの端部である交線ＡとＡ’とを常に一致す
るように制御するため、主被写体像は常に連続かつ滑ら
かになるとともに、主被写体の距離変化に伴う合焦物体
面５０_L、５０_Rの移動に際しても常に一定の画角範囲
の画像を撮影できる点にある。

【００４７】（第３実施例）次に、本発明の複眼撮像装
置の第３実施例について説明する。本実施例は第２実施
例と比較して左右各撮像系の輻輳角が異なるものであ
り、以下に、図１１を参照して説明する。図１１は、本
発明の複眼撮像装置の第３実施例の光学系の主要部を、
各撮像レンズ群の光軸の成す平面に垂直な方向から見た
図である。図１１において、図３に示したものと同様な
部分については同じ符号を付するとともに、図示してい
ない装置の概略構成については第２実施例のものと同様
であるのでその説明は省略する。

【００４８】図１１に示すように、左右各撮像系１
０_L、１０_Rの輻輳角は、各撮像系１０ _L、１０_Rの有
効被写体領域の一端面である端面５１_Lと５２_Rとの交
わったところが、各撮像系１０_L、１０_Rの至近撮影時
の合焦物体面５０_L’と５０_R’との交線Ａ’に一致す
るように制御されている。この場合、各撮像レンズ群１
１ _L、１１_Rのズーミングにより合焦距離が変化し、か
つ有効被写体領域の一端面である端面５１_Lおよび５２
_Rもズーミングによる有効画角の変動に伴って変化する
ので、輻輳角制御はズーム制御に連動して行なわれる。
フォーカス及びズーム制御は第１実施例と同様に行なわ
れる。また、各合焦物体面５０_L、５０_Rの位置は各フ
ォーカスエンコーダ２４_L、２４_R（図１参照）および
各ズームエンコーダ２５_L、２５_R（図１参照）の出力
信号値から算出される。

【００４９】本実施例の構成においては、図１１中斜線
部で示した領域５３’中に存在する物体が二重像として
撮影されるおそれがある。この領域５３’中に存在する
物体は、第１実施例と同様に、みかけ上左右各撮像系の
各合焦物体面５０_L、５０_R上の領域５５_L、５５_Rに
存在する如く各ＣＣＤセンサ１３_L、１３_R上に投影さ
れる。図１２は、図１１に示した左右各ＣＣＤセンサの
有効受光部を撮像レンズ群側から見た図である。ここ
で、左右各画像の画素座標値は、図４の（Ｂ）の場合と
同様に，それぞれ（ｍ_L，ｎ_L）、（ｍ_R，ｎ_R）で定
義するものとする。

【００５０】次に、本実施例の画像処理手順について図
１１および図１２を参照して説明する。本実施例では、
左右各画像からパノラマ合成画像を生成する為に以下の
３つの処理を行なう。領域５５_L、５５_R中の対応点対の抽出。領域５５_L、５５_R中の対応点対の位置関係に基く
片方の像の除去。合焦物体面５０_L、５０_Rの交線Ａ上の画像を連続
的に接続する合成処理。

【００５１】このうち、の対応点抽出の処理は第２実
施例と同様の処理方法で実現できる。

【００５２】次にの片方の像の除去処理について示
す。

【００５３】主被写体は、第２実施例と同様にパノラマ
合成画像の中心部にしかも左右各撮像系１０_L、１０_R
の合焦物体面５０_L、５０_Rの交線Ａを中心とした合焦
部近傍に位置する場合が多い。したがって、本実施例に
おいても第２実施例に示したのと同様の考察に基いて、
画像の連続性を重視した画像再構成を行う。そこで、領
域５３’を第２実施例と同様に右領域５３_L’と左領域
５３_R’とに二等分して考え、上述した画素座標値に基
づいて、（ａ）ｍ_R ＞ｍ_L ならば右画像中に残す。（ｂ）ｍ_R ＜ｍ_L ならば左画像中に残す。（ｃ）ｍ_R ＝ｍ_L ならば左右両画像中に残す。という３つの分岐処理を行う。

【００５４】次に、の連続合成処理について示す。

【００５５】まず、図１２において、右画像中の交線Ａ
よりも左側の領域と、左画像中の交線Ａよりも右側の領
域とを削除する。次に、削除後の両画像を交線Ａで一致
させて合成することにより、主被写体領域に不連続な部
分が生じることなく、かつ背景画像域における不連続の
発生すなわち二重像の発生が最小限に抑えられたパノラ
マ合成画像が得られる。

【００５６】（第４実施例）次に、本発明の複眼撮像装
置の第４実施例について説明する。本実施例は第２実施
例および第３実施例と比較して左右各撮像系の輻輳角が
異なるものであり、以下に、図１３を参照して説明す
る。図１３は、本発明の複眼撮像装置の第３実施例の光
学系の主要部を、各撮像レンズ群の光軸の成す平面に垂
直な方向から見た図である。図１３において、図３に示
したものと同様な部分については同じ符号を付するとと
もに、図示していない装置の概略構成については第２実
施例のものと同様であるのでその説明は省略する。

【００５７】図１３に示すように、左右各撮像系１
０_L、１０_Rの輻輳角は、各撮像系１０ _L、１０_Rの有
効被写体領域の一端面である端面５１_R、５２_Lが無限
遠で交わるように、すなわち両者が平行となるように制
御されている。この場合、輻輳角制御は第３実施例でも
述べたようにズーム制御に連動して行う必要がある。フ
ォーカス及びズーム制御は第１実施例と同様に行われ
る。

【００５８】本実施例の構成においては、図１３中斜線
部で示した領域５３’’中に存在する物体が二重像とし
て撮影されるおそれがある。この領域５３’’を各撮像
レンズ群１１、１１を通して各ＣＣＤセンサ１３、１３
上に投影すると、この領域５３’’は各ＣＣＤセンサ１
３、１３の有効受光部の全域に広がる。図１４は、図１
３に示した左右各ＣＣＤセンサの有効受光部を撮像レン
ズ群側から見た図である。ここで、左右各画像の画素座
標値は、図４の（Ｂ）の場合と同様に，それぞれ
（ｍ_L，ｎ_L）、（ｍ_R，ｎ_R）で定義するものとす
る。

【００５９】次に、本実施例の画像処理手順について図
１３および図１４を参照して説明する。本実施例でも第
３実施例と同様に、左右各画像からパノラマ合成画像を
生成する為に以下の３つの処理を行なう。画像全域の対応点対の抽出。画像全域の対応点対の位置関係に基く片方の像の除
去。合焦物体面５０_L、５０_Rの交線Ａ上の画像を連続
的に接続する合成処理。

【００６０】の対応点抽出処理は上述した各実施例と
同様の処理方法で実現できるが、本実施例ではその範囲
を有効受光部全域について行う必要がある。

【００６１】の片方の像の除去処理についても第２実
施例と同様の考察に基いて、画像の連続性を重視し、各
対応点座標対について、（ａ）ｍ_R ＞ｍ_L ならば左画像中に残す。（ｂ）ｍ_R ＜ｍ_L ならば右画像中に残す。（ｃ）ｍ_R ＝ｍ_L ならば左右両画像中に残す。という分岐処理を行えばよい。本実施例の場合、この処
理は第２実施例および第３実施例と左右逆になってい
る。

【００６２】の合成処理については、図１４におい
て、右画像中の交線Ａより右側の領域と左画像中の交線
Ａより左側の領域を削除した後、削除後の両画像を交線
Ａで一致させるように左右逆に配置して合成を行なうこ
とにより、主被写体領域に不連続な部分が生じることな
く、かつ背景画像域における不連続の発生すなわち二重
像の発生が最小限に抑えられたパノラマ合成画像が得ら
れる。

【００６３】（第５実施例）次に、本発明の複眼撮像装
置の第５実施例について説明する。図１５は、本発明の
複眼撮像装置の第５実施例の画像処理部のブロック図で
ある。本実施例は、図１、図３および図４に示した第１
実施例のものと、画像処理部の構成が異なっているだけ
で他の構成は同様であるので、同様の部分については第
１実施例のものと同じ符号を付するとともにその説明は
省略し、以下に、画像処理部の構成について説明する。

【００６４】図１５に示すように画像処理部２３０は、
各撮像系１０_L、１０_RのＣＣＤセンサ１３_L、１３_R
（図１参照）からのビデオ信号をそれぞれ保持する左画
像メモリ３１_Lおよび右画像メモリ３１_Rからなる画像
入力部３２と、画像入力部３２にそれぞれ入力された各
ビデオ信号により得られる左右各画像に基づいて１つの
合成画像を生成するための画像変換部２３８と、画像変
換部２３８で合成された画像を保持し、画像出力部４０
に出力するための合成画像メモリ３９とを有する。画像
変換部２３８はさらに、画像入力部２３２に入力された
両画像のうち、二重像発生領域の全ての画素について両
画像間の対応点対の抽出を行なう対応点抽出部２３３
と、対応点対抽出の結果から各対応点対の三次元位置
（距離情報）を算出し、その情報による二重像の領域分
けを行なう二重像領域分け部２３４と、領域に分けられ
た各二重像が、両方の画像の二重像発生領域（図４の
（Ｂ）に示した領域５５_L、５５_R）のみに含まれてい
るものか、一方の画像の二重像非発生領域（二重像発生
領域を除く領域）にも含まれているものか、あるいは両
方の画像の二重像非発生領域にも含まれているものかの
３種類の種別に区分する二重像種別判断部２３５と、二
重像種別判断部２３５で区分された種別に基づき、二重
像が両方の画像の二重像非発生領域にも存在する場合を
除いて、二重像の一方を除去する二重像除去部２３６
と、二重像が除去された場合には除去部に置換等を行な
い、二重像が除去されない場合には所定の部分を横変倍
する後処理を施す除去後処理部２３７とに分けられる。

【００６５】次に、本実施例の複眼撮像装置での画像処
理手順について説明する。

【００６６】まず、左右各撮像系１０_L、１０_Rで物体
を撮像すると、画像処理部２３０の画像入力部３２に
は、画像情報が各撮像系１０_L、１０_R毎にビデオ信号
として入力され、それぞれの画像メモリ３１_L、３１_R
に保持される。

【００６７】次に、対応点抽出部２３３において、第１
実施例で述べたのと同様のテンプレートマッチング法等
により二重像発生可能領域の対応点抽出を行い、さら
に、二重像領域分け部２３４において、第１実施例で述
べたのと同様にして、三角測量法等により各二重像の対
応点対の三次元空間内での位置を求め、そのＺ座標値を
パラメータとしたヒストグラムを求めて二重像の領域分
けを行なう。

【００６８】二重像の領域分けを行なったら、二重像種
別判断部２３５において、領域分けされた各二重像を次
に示す４つの種別に区分けする。すなわち図４の（Ｂ）
に示した各画像において、（種別１）交線Ｄ_R上の点を含み、交線Ｄ_L上の点を含
まない二重像。（種別２）交線Ｄ_R上の点を含まず、交線Ｄ_L上の点を
含む二重像。（種別３）交線Ｄ_R上の点を含まず、交線Ｄ_L上の点を
含まない二重像。（種別４）交線Ｄ_R上の点を含み、交線Ｄ_L上の点を含
む二重像。という４つの種別である。

【００６９】そして、図１５に示した二重像除去部２３
６および除去後処理部２３７では、二重像種別判断部２
３５で区分けされた４つの種別で各々異なる下記の処理
を行う。（種別１の処理）右画像中の二重像を残し、左画像中
の二重像を除去する。除去後の左画像において、除去部
の画素は例えば周辺画素からの値に置換する等の後処理
を行う。（種別２の処理）種別２は、図５に示した画像での道
路標識６２に相当し、この場合には種別１の処理と左右
逆の処理を行う。（種別３の処理）左右いずれか一方の二重像を残し、
他方の二重像を除去する。後処理は、種別１の処理と同
じである。（種別４の処理）左右いずれか一方の二重像を横方向
について２倍に拡大して図４の（Ｂ）に示した交線
Ｄ_L、Ｄ_Rに接するように合成する。または、二重像非
発生領域と滑らかに接続させるに、左右両画像の各対応
点対座標から以下に示すの写像で変換を行ってから、横
方向について２倍に拡大して交線Ｄ_L、Ｄ_R に接するよ
うに合成してもよい。そのための写像としては例えば、Ｘ_S ＝（Ｘ_L ・ｄ_R ＋Ｘ_R ・ｄ_L ）／（ｄ_R ＋ｄ_L ）Ｙ_S ＝（Ｙ_L ・ｄ_R ＋Ｙ_R ・ｄ_L ）／（ｄ_R ＋ｄ_L ）がある。ここで、図４の（Ｂ）に示した各領域５５_L、
５５_Rの左上の点をそれぞれ各領域５５_L、５５_Rの原
点としたとき、右画像中の二重像の座標を（Ｘ_R，Ｙ
_R ）、左画像中の二重像の座標を（Ｘ_L ，Ｙ_L ）、二重
像からの合成画像の座標を（Ｘ_S ，Ｙ_S ）で表わすもの
とする。また、ｄ_R は右画像中の二重像の座標（Ｘ_R，
Ｙ_R）と交線Ｄ_Rとの距離、ｄ_L は左画像中の二重像
の座標（Ｘ_L，Ｙ_R）と交線Ｄ_Rとの距離である。

【００７０】以上説明したように、領域５５_L、５５_R
内の二重像が両方の画像の二重像非発生領域に含まれて
いる場合にはその二重像を横方向に２倍に拡大すること
により、二重像発生領域が二重像非発生領域と滑らかに
接続した合成画像が得られる。

【００７１】（第６実施例）次に、本発明複眼撮像装置
のの第６実施例について説明する。本実施例は、第５実
施例において区分けした種別４に対する処理が異なるも
のである。その他の構成および処理については第５実施
例と同様であるのでその説明は省略し、以下に本実施例
の特徴となる部分について説明する。

【００７２】図１６は、本実施例の画像合成処理を説明
するための図であり、主被写体である自動車の背景に山
が見える構図を撮像したものである。この場合、第５実
施例と同様にして二重像の領域分けを行なうことによ
り、図１６の（Ａ）に示すように、左右各画像は、主被
写体である自動車を主に含む領域と、自動車を含まない
領域とに上下２分割される。さらに、二重像発生可能領
域である領域５５_L、５５_Rにおいて、下側の領域を
α、α’とし、上側の領域では山の部分の領域β、β’
と、その背景の領域γ、γ’とに分けて考える。また、
領域５５_L、５５_Rを除く領域すなわち二重像非発生領
域のうち、上側の領域をそれぞれδ、δ’とする。図１
６の（Ａ）中のβ、β’の対、およびγ、γ’の対は、
それぞれ第５実施例で述べた種別４に区分けされた二重
像となるが、本実施例ではこのうちの一方の二重像のみ
を横方向２倍に拡大するのではなく、一方の二重像（図
中斜線で示した、幅がｌ₂の部分）を除去した後、右画
像においては下側の領域の右端部（図中斜線で示した、
幅がｌ₁₂の部分）を除去するとともに、左画像において
は下側の領域の左端部（図中斜線で示した、幅がｌ₁₁の
部分。ただし、ｌ₁₁＝ｌ ₁₂、ｌ₁₁＋ｌ₁₂＝ｌ₂）を除去
し、上下２つの領域に対して同じ比率で、二重像の左右
に広がる画像全体、すなわち領域β、γの右側全体の領
域δと、領域β’、γ’の左側全体の領域δ’も横変倍
する。そして、これを拡大合成することにより、図１６
の（Ｂ）に示したように、画像の中心部で滑らかに接続
されたパノラマ合成画像が得られる。種別４に区分けさ
れない部分がある場合には、第５実施例に示した除去処
理および後処理を行なう。

【００７３】本実施例では、下側の領域において二重像
非発生部の端部を除去しているが、通常は、主要な被写
体は画像の中心部に配置されるので、画像の端部を除去
してもそれほど影響はない。また、本実施例では、画像
が上下２つの領域に分割されるものの例を示したが、３
つ以上の領域に分割される場合も同等の処理を行えばよ
い。さらに、横変倍処理のみでなく、横変倍と同じ比率
で縦変倍し、画像上下端部をカットして合成画像とする
ことにより、縦横比に歪みのない画像を得ることもでき
る。

【００７４】（第７実施例）次に、本発明の複眼撮像装
置の第７実施例について説明する。図１７は、本発明の
複眼撮像装置の第７実施例の画像処理部のブロック図で
ある。本実施例は、右撮像系１０_R および左撮像系１０
_L の２つの撮像系を用いて被写体を撮像して得られる２
つの画像を合成することにより１つの高精細画像を得る
ものであり、その構成は、図１に示した第１実施例のも
のと、画像処理部の構成が異なっているだけで他の構成
は同様であるので、同様の部分については第１実施例の
ものと同じ符号を付するとともにその説明は省略し、以
下に、画像処理部の構成について説明する。

【００７５】図１７に示すように画像処理部１３０は、
各撮像系１０_L、１０_RのＣＣＤセンサ１３_L、１３_R
（図１参照）からのビデオ信号をそれぞれ保持する左画
像メモリ３１_Lおよび右画像メモリ３１_Rからなる画像
入力部３２と、画像入力部３２にそれぞれ入力された各
ビデオ信号により得られる左右各画像に基づいて１つの
合成画像を生成するための画像変換部１３８と、画像変
換部１３８で合成された画像を保持し、画像出力部４０
に出力するための合成画像メモリ３９とを有する。画像
変換部１３８はさらに、画像入力部１３２に入力された
両画像のうち、両撮像系の被写体となり得る領域の全て
の画素について両画像間の対応点対の抽出を行なう対応
点抽出部１３３と、対応点対抽出の結果から各対応点の
位置が、基本となる画像の画素位置に対して所定の距離
だけ離れているかを判断する近接対応点判断部３３４
と、近接対応点判断部３３４により、対応点の位置が基
本となる画像の画素位置に対して所定の距離だけ離れて
いないと判断された場合には、その対応点を合成画像用
データから除去する近接対応点除去部３３５と、近接対
応点除去部３３５により除去されなかった対応点を合成
画像用データとして用いて、基本画像に対して補間処理
を行なう画像補間部３３６とに分けられる。

【００７６】図１８は、本実施例の光学系の主要部を、
各撮像レンズ群の光軸の成す平面に垂直な方向から見た
図である。図１８に示すように、左右各撮像系１０_L、
１０ _Rの輻輳角は、それぞれの光軸Ｌ_L、Ｌ_Rが互いに
平行になるように制御される。また、各撮像系１０_L、
１０_Rのフォーカスおよびズームはそれぞれの合焦物体
面５０_L、５０_RとＣＣＤセンサ１３_L、１３_Rとの距
離および結像倍率が左右互いに等しくなるように制御さ
れ、各合焦物体面５０_L、５０_Rは同一平面上に形成さ
れる。フォーカスおよびズームを制御するための各モー
タ１４_L、１４ _R、１６_L、１６_R（図１参照）は、そ
れぞれ第１実施例同様各エンコーダ２４ _L、２４_R、２
５_L、２５_R（図１参照）からの信号を受けた制御ユニ
ット２０（図１参照）を通じて駆動される。そして本実
施例では、斜線で示した領域５８が、左右両撮像系１０
_L、１０_Rの被写体となりうる領域であり、この領域５
８に存在する被写体が、高精細画像の対象となる被写体
となる。

【００７７】次に、本実施例の複眼撮像装置での画像処
理手順について図１７および図１８を参照して説明す
る。

【００７８】まず、左右各撮像系１０_L、１０_Rで物体
を撮像すると、画像処理部３３０の画像入力部３２に
は、画像情報が各撮像系１０_L、１０_R毎にビデオ信号
として入力され、それぞれの画像メモリ３１_L、３１_R
に保持される。

【００７９】次に、対応点抽出部３３３において、第１
実施例で述べたのと同様のテンプレートマッチング法等
により領域５８の対応点対の抽出を行なう。ただし、本
実施例においては一画素ピッチ以下での画素相対位置精
度が要求されるので、エラーの少ない画像低周波成分に
よるマッチングを行うため、テンプレートのサイズを大
きくしたり、またはマッチング演算を行う前に画像の低
周波成分抽出処理を行えばよい。

【００８０】そして、この対応点対抽出に基づき、右撮
像系１０_Rの右画像に左撮像系１０ _Lの左画像を合成し
て高精細画像を得るのであるが、この処理について図１
９を参照しつつ説明する。図１９は、図１８に示した光
学系によって得られる左右画像中の一部について、各Ｃ
ＣＤセンサの画素位置を表わした図である。同図中×印
の点（ｌ，ｍ）は、高精細合成画像の基本画像となる右
撮像系１０_Rの画像中の画素位置を示し、○印の点は高
精細合成画像において追加したい画素位置（ｌ，ｍ）’
を示している。ここで、ｌ、ｍは画素座標を表わしてい
る。一方、四角印で示した点Ｑは上述の対応点抽出によ
って求められた左撮像系１０_L の画像中の画素位置を示
している。

【００８１】ここでは、まず近接対応点判断部３３４に
より×印点のいずれかに対する四角印点Ｑの距離を求
め、その距離が画素ピッチｐの１／１０以下であるかど
うかを判断する。その結果、前記距離が画素ピッチｐの
１／１０以下である場合には、この四角印点Ｑは近接対
応点除去部３３５により合成画像用データから除去さ
れ、○印点（ｌ，ｍ）’の値を求めるためのパラメータ
として用いない。一方、前記距離が画素ピッチｐの１
／１０を越える場合には、この四角印点Ｑはそのまま○
印点（ｌ，ｍ）’の値を求めるためのパラメータとして
用いられる。次に、画像補間部３３６により右撮像系１
０_Rの画像に対して左撮像系１０_Lの画像の補間処理が
行なわれるが、四角印点Ｑを用いる場合および用いない
場合のいずれについても、○印点の値を求める補完法と
しては、例えば二次元の不等間隔サンプリング点に対す
る座標変換法（ＩＥＥＥＴｒａｎｓ，Ａｃｏｕｓｔ，
３３（８５）１１５１）等を用いることが出来る。ここ
で、基本画像でない左撮像系１０_Lからの画像のうち、
右撮像系１０_Rからの基本画像側に対応点のない画素点
あるいは求まらない画像点は、もちろん○印点（１，
ｍ）’の値を決定するためのパラメータとしては用いな
い。

【００８２】以上示した本実施例では、左右画像中画素
の相対位置が非常に近接している場合に、相対画素位置
の誤差或は画素値の重畳するノイズ成分に敏感に反応し
て発生する不要な高周波成分を抑制できる効果を持つ。
これにより、基本画像よりも合成画像の方が画質が劣化
してしまうような状況を防止できる。

【００８３】本実施例では右画像を基本画像とする場合
を示したが、左画像を基本画像として逆の画像合成を行
っても勿論構わない。

【００８４】（第８実施例）次に、本発明の複眼撮像装
置の第８実施例について説明する。本実施例も第７実施
例と同様に高精細画像を得るための複眼撮像装置であ
り、第７実施例と比較して左右各撮像系の輻輳角が異な
るものである。図２０は、本発明の複眼撮像装置の第８
実施例の光学系の主要部を、各撮像レンズ群の光軸の成
す平面に垂直な方向から見た図であり、第７実施例と同
様な部分については同じ符号を付した。

【００８５】図２０に示すように、左右各撮像系１
０_L、１０_Rのうち右撮像系１０_Rの輻輳角は零度に固
定されて、右撮像系１０_Rの光軸Ｌ_Rを被写体（不図
示）に向け、右撮像系１０_Rが常に被写体の正面を向く
ように設定されている。一方、左撮像系１０_Lの輻輳角
は、右撮像系１０_Rの光軸Ｌ_Rに対して左撮像系１０_L
の光軸Ｌ_Lが両撮像系１０_L、１０_Rの合焦物体面５０
_L、５０_Rの交点上で交わるように制御される。左撮像
系１０_Lのフォーカスモータ１４_L（図１参照）および
ズームモータ１６_L（図１参照）は、右撮像系１０_Rの
フォーカスモータ１４ _R（図１参照）およびズームモー
タ１６_R（図１参照）の設定と連動して、上記合焦物体
面５０_L、５０_Rおよび光軸Ｌ_L、Ｌ_Rの位置関係を保
つように制御される。各モータ１４_L、１４_R、１
６_L、１６_Rの制御は、第７実施例と同様各エンコーダ
２４_L、２４_R、２５_L、２５_R（図１参照）からの信
号を受けた制御ユニット２０（図１参照）を通じて行わ
れる。

【００８６】本実施例も、右撮像系１０_Rからの入力画
像を基本画像として高精細画像生成を行うものであり、
画像生成の方法については第７実施例と同様であるので
その説明は省略する。

【００８７】本実施例では、光軸を固定した撮像系から
の画像を基本画像としているので、高精細合成のできな
い部分が存在しても、少なくとも正面からの画像を特別
な処理を付加すること無く常に出力できる。また、装置
に対して正面からの画像を基本画像としているので、複
眼撮像系での至近撮影時においても、撮影者が不自然な
操作感を受けることなく撮影を行うことができる。

【００８８】（第９実施例）次に、本発明の複眼撮像装
置の第９実施例について説明する。図２１は、本発明の
複眼撮像装置の第９実施例の画像処理部のブロック図で
ある。本実施例は、第７実施例および第８実施例に示し
たのものと画像処理部の構成が異なっているだけで、光
学系の配置やその他の構成は同様であるので、同様の部
分については第１実施例のものと同じ符号を付するとと
もにその説明は省略し、第７実施例および第８実施例と
の違いを以下に述べる。

【００８９】（１）対応点抽出部４３３の前に、制御ユ
ニット２０からの歪み量信号に基づいて対応点対の抽出
を行なわない領域を判断する対応点非抽出領域判断部４
３７を設け、画像の歪みが大きく複雑な補正が必要な部
分は、一方の画像を合成画像用データとして用いない。

【００９０】入力画像中、画像の周辺部においては左右
各撮像レンズ群（不図示）の歪曲収差や互いの光軸が平
行でないことに伴う画像の歪みが大きくなるので、対応
点対抽出を行う前に高精度の歪み補正を行う必要があ
る。一方、通常の自然画等を撮像する場合には画像中心
部に比べて周辺部に要求される解像力は低いので、画像
周辺部での高精細合成があまり必要とならない場合があ
りうる。このような状況に対応して、画像周辺部では一
方の入力画像だけを用いて出力画像を得る。この場合で
も歪み補正は必要になるが、合成を行う場合に比べて要
求される精度は低いので、より容易な処理方法を用いて
目的を達成できる。

【００９１】（２）対応点抽出部４３３による対応点対
抽出後に、制御ユニット２０からのＦ値（開口数）信号
から像のボケの程度を推定する画像鮮鋭度判断部４３４
を設け、合焦物体面からずれて像のボケが大きい部分は
一方の画像を合成画像用データとして用いない。

【００９２】画像鮮鋭度判断部４３４では、入力画像上
の各点において行った対応点対抽出情報から、被写体上
の対応点が合焦物体面からどれだけ離れているかを算出
し、この距離情報および左右各撮像レンズ群のＦ値（開
口数）から像のボケの程度を推定する。これとＣＣＤセ
ンサ（不図示）の画素密度とを比較して、合成効果が少
ないと判断される部分については、一方の入力画像だけ
を用いて出力画像を得る。これにより、補間等の一部の
合成処理を省略することができる。

【００９３】（３）対応点抽出部４３３による対応点対
抽出後に、オクルージョン領域が存在するかどうかを判
断するオクルージョン領域判断部４３５ａと、オクルー
ジョン領域判断部４３５ａにより判断されたオクルージ
ョン領域から、ある一定の周波数以上の成分を持って出
現する領域を算出し、その領域については一方の画像を
合成画像用データとして用ないようにするためのオクル
ージョン発生周波数判断部４３５ｂとを設ける。

【００９４】オクルージョン領域とは、対応点対抽出処
理によって、一方の画像中の点で他方の画像中に対応点
が求まらない場合、これらの点からなる領域をいう。こ
のオクルージョン領域が画像中に繁雑かつ複雑に出現す
る被写体においては、対応点の誤対応が起きやすくな
り、合成画像の劣化を招く。したがって、複雑なオクル
ージョン領域では一方の入力画像だけを用いる。具体的
な方法の例としては、各入力画像の各画素点について、
他方の画像中での対応点の有無をメモリ上に記憶し、対
応点有無の変化の局所的な空間周波数がある一定の周波
数以上の成分を持つ領域を算出する。そして、この領域
については一方の入力画像だけを用いて出力処理を行
う。

【００９５】上述した（２）、（３）の、像のボケある
いはオクルージョンに伴う処理手順の変更は、対応する
領域だけについて行うこともできるし、その領域が画像
中に占める割合がある一定限度を越えた場合には画像全
域について一方の入力画像だけを用いて出力画像を得る
選択を行ってもよい。いずれにしても、合成出力画像の
画質向上効果あるいは画質劣化の程度を予想して、一方
あるいは両方の入力画像を選択する。

【００９６】また、本実施例では３つの手法を示した
が、もちろんこれらの手法は常に同時に行う必要は無
く、各々の手法が独立に効果を有する。

【００９７】以上説明した各実施例のうち、左右各撮像
系１０_L、１０_Rの光軸Ｌ_L、Ｌ_Rを互いに平行になる
ように配置した第７実施例を除く各実施例においては、
左右各撮像系１０_L、１０_Rの合焦物体面５０_L、５０
_Rは同一平面上にはない。このため、画像接続部に若干
の幾何学的歪みが生じる。さらに、一方の撮像系が被写
体の正面に向くように設定した第８実施例の場合には、
被写体中の対応点すべき点のうち少なくとも一方に若干
のボケが生じる。これを防止するために、左右各撮像系
１０_L、１０_Rの合焦物体面５０_L、５０_Rが同一平面
上に配置されるように、左右各撮像系１０_L、１０_Rの
ＣＣＤセンサ１３_L、１３_Rの受光面を各々の光軸Ｌ、
Ｌに対して所定角傾けて配置することもできる。幾何学
的歪みについては入力画像に対して歪み補正処理を行う
こともできる。

【００９８】また、第１実施例等では左右各撮像系１０
_L、１０_Rの合焦物体面５０_L、５０_Rの端部が一致す
るように配置したが、機構制御系の誤差発生を吸収する
ために、これら合焦物体面５０_L、５０_Rの端部を一部
重ねて配置し、重畳部での画像対応付けを行い、それに
基いて合成処理を行うこともできる。

【００９９】さらに、以上説明した各実施例の光学配置
は、それぞれ左右各撮像系１０_L、１０_Rが左右対称に
配置され、かつ各撮像系１０_L、１０_Rの光軸Ｌ_L、Ｌ
_Rを中心として対称となるように各ＣＣＤセンサ１
３_L、１３_Rの有効受光部が配置されているが、本発明
はこの配置に限定されるものではない。例えばＣＣＤセ
ンサ１３_L、１３_Rを光軸Ｌ、Ｌに対して一定角度あお
った配置とすることにより、左右の合焦物体面５０_L、
５０_Rを一平面上に形成することも可能である。また、
ＣＣＤセンサ１３_L、１３_Rを光軸に垂直な方向にずら
した配置をとることもできる。

【０１００】また、以上説明した各実施例では２つの撮
像系１０_L、１０_Rからなる複眼撮像系について示した
が、撮像系の数はこれに限られるものではなく、３つ以
上の場合でも可能である。撮像素子についてはＣＣＤセ
ンサ１３_L、１３_R以外の例えば撮像管を用いたもので
もよく、また色分解系を除去して受光部にモザイク状の
カラーフィルターを配した撮像素子を用いることもでき
る。

【０１０１】

【発明の効果】本発明は以上説明したように構成されて
いるので、以下に記載する効果を奏する。

【０１０２】各画像信号から被写体の同一部分に対応す
る対応点対をそれぞれ抽出し、抽出された各対応点対の
うち少なくとも一部の対応点対については、その対応点
対の中の少なくとも一つの対応点を合成画像生成データ
として用い、他を合成画像生成データとして用いない画
像処理部を有することにより、合成画像の劣化を防止す
ることができる。

【０１０３】パノラマ合成画像の生成においては、２つ
の画像の接続部近傍に発生する二重像を除去できるとと
もに、二重像非発生領域との画像の良好な接続性を保つ
ことができる。

【０１０４】また、高精細画像の生成においては、対応
点対の中の対応点同志が非常に近接存在する場合に、そ
の対応点対の中の少なくとも１つの対応点を合成画像生
成データとして用い、他の対応点を合成画像生成データ
として用いないことにより、対応点対の相対画素位置の
誤差あるいは画素値に重畳するノイズ成分に敏感に反応
して発生する不要な高周波成分を抑制することができ
る。さらに、高精細画像の生成において、対応点抽出の
前に歪み補正を必要とする対応点対、あるいは各撮像系
の合焦物体面からの距離及び各結像光学系の開口数から
予想される像のボケの程度が一定の閾値を越える対応点
対、あるいは対となる対応点が求まらない画素点および
前記対となる対応点が求まらない領域とある一定の空間
周波数以上で交互に表れる対応点対の少なくとも一部に
ついては、その対応点対の中の１つの対応点を前記合成
画像生成データとして用いることにより、歪み像部、ボ
ケ像部、オクルージョン像部での、効果の薄い不要な処
理手順を省略することができるとともに、誤対応による
画像劣化を抑制することができる。

【０１０５】さらに、各画像信号のうち、１つの画像信
号を合成画像生成のための基本画像とするとともに他の
画像信号を補助画像とすることにより、少なくとも一定
レベルの画質を有する画像を常に出力できる。

【０１０６】特に、基本画像となる画像信号を出力する
撮像素子を有する撮像系を、その結像光学系の光軸を前
記被写体に向けて配置させることにより、少なくとも被
写体の正面からの画像を特別な処理を付加することなく
常に出力できるし、至近撮影時においても、撮影者が不
自然な操作感を受けることなく撮影を行なうことができ
る。

【図面の簡単な説明】

【図１】本発明の複眼撮像装置の第１実施例の概略構成
図である。

【図２】図１に示した画像処理部のブロック図である。

【図３】図１に示した複眼撮像装置の光学系の主要部
を、各撮像レンズ群の光軸の成す平面に垂直な方向から
見た図である。

【図４】図１に示した複眼撮像装置により物体を撮像し
たときの物体の位置関係を説明するための図であり、同
図（Ａ）は、図３と同様の方向から物体を見たときの物
体の位置を示す図、同図（Ｂ）は、左右各ＣＣＤセンサ
の有効受光部を撮像レンズ群側から見た図である。

【図５】図１に示した複眼撮像装置により、自動車の背
景に道路標識が見える構図を撮像したときの、左右それ
ぞれの画像を示す図である。

【図６】図２に示した二重像領域分け部による領域分け
を行なう際の三角測量法を説明するための図である。

【図７】図５に示した構図を撮像したときの、図２に示
した二重像領域分け部で求められたヒストグラムであ
る。

【図８】図５に示した左右の投影画像を、図２に示した
画像処理部で合成することにより得られた合成画像を示
す図である。

【図９】本発明の複眼撮像装置の第２実施例の画像処理
部のブロック図である。

【図１０】本発明の複眼撮像装置の第２実施例の画像処
理手順を説明するための、図３に示した光学系の主要部
の斜線で示した領域の拡大図である。

【図１１】本発明の複眼撮像装置の第３実施例の光学系
の主要部を、各撮像レンズ群の光軸の成す平面に垂直な
方向から見た図である。

【図１２】図１１に示した左右各ＣＣＤセンサの有効受
光部を撮像レンズ群側から見た図である。

【図１３】本発明の複眼撮像装置の第４実施例の光学系
の主要部を、各撮像レンズ群の光軸の成す平面に垂直な
方向から見た図である。

【図１４】図１３に示した左右各ＣＣＤセンサの有効受
光部を撮像レンズ群側から見た図である。

【図１５】本発明の複眼撮像装置の第５実施例の画像処
理部のブロック図である。

【図１６】本発明の複眼撮像装置の第６実施例での画像
合成処理を説明するための、自動車の背景に山が見える
構図を撮像したときの図であり、同図（Ａ）は、画像合
成前の左右それぞれの画像を示す図、同図（Ｂ）は、画
像合成後の画像を示す図である。

【図１７】本発明の複眼撮像装置の第７実施例の画像処
理部のブロック図である。

【図１８】本発明の複眼撮像装置の第７実施例の光学系
の主要部を、各撮像レンズ群の光軸の成す平面に垂直な
方向から見た図である。

【図１９】図１８に示した光学系により得られる左右画
像中の一部について、各ＣＣＤセンサの画素位置を示し
た図である。

【図２０】本発明の複眼撮像装置の第８実施例の光学系
の主要部を、各撮像レンズ群の光軸の成す平面に垂直な
方向から見た図である。

【図２１】本発明の複眼撮像装置の第９実施例の画像処
理部のブロック図である。

【図２２】２つの撮像系を用いて共通の被写体を撮像し
て得られる２つの画像を合成することにより高精細な１
つの画像を得る複眼撮像装置の原理を説明するための図
である。

【符号の説明】

１０_L 左撮像系１０_R 右撮像系１１_L、１１_R 撮像レンズ群１２_L、１２_R 色分解プリズム１３_L、１３_R ＣＣＤセンサ１４_L、１４_R フォーカスモータ１５_L、１５_R 合焦レンズ群１６_L、１６_R ズームモータ１７_L、１７_R 変倍レンズ群１８_L、１８_R 輻輳角モータ２０制御ユニット２１全系制御部２２フォーカス・ズーム制御部２３輻輳角制御部２４_L、２４_R フォーカスエンコーダ２５_L、２５_R ズームエンコーダ２６_L、２６_R 輻輳角エンコーダ３０、１３０、２３０、３３０、４３０画像処理部３１_L 左画像メモリ３１_R 右画像メモリ３２画像入力部３３、１３３、２３３、３３３、４３３対応点抽出
部３４、１３４、２３４二重像領域分け部３５、２３５二重像種別判断部３６片側二重像一括除去部３７、１３７、２３７除去後処理部３８、１３８、２３８、３３８画像変換部３９合成画像メモリ４０画像出力部５０_L、５０_R 合焦物体面５０_L’、５０_R’ 至近撮影時の合焦物体面５３、５３’、５３’’、５５_L、５５_R、５８領
域５３Ｌ左領域５３Ｒ右領域６０物体６０_L、６０_R 像１３６片側像除去部２３６二重像除去部３３４近接対応点判断部３３５近接対応点除去部３３６、４３６画像補間部４３４画像鮮鋭度判断部４３５ａオクルージョン領域判断部４３５ｂオクルージョン発生周波数判断部４３７対応点非抽出領域判断部

───────────────────────────────────────────────────── フロントページの続き (72)発明者須田繁幸東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】複数の結像光学系及び前記各結像光学系
の各々に対応した撮像素子からなる複数の撮像系を有
し、被写体を撮像することにより前記各撮像素子の各々
から入力された画像信号を用いて、１つの合成画像を生
成出力する複眼撮像装置において、前記各画像信号から前記被写体の同一部分に対応する対
応点対をそれぞれ抽出し、前記抽出された各対応点対の
うち少なくとも一部の対応点対については、その対応点
対の中の少なくとも一つの対応点を合成画像生成データ
として用い、他を合成画像生成データとして用いない画
像処理部を有することを特徴とする複眼撮像装置。
【請求項２】前記合成画像は、前記各画像信号を並列
合成したパノラマ合成画像である請求項１に記載の複眼
撮像装置。
【請求項３】前記画像処理部は、前記抽出された各対
応点対のうち１つの撮像系でしか撮像されない二重像非
発生領域に接続している像に属する対応点対について
は、その対応点対の中の、前記二重像非発生領域に接続
している割合の最も多い像に属する対応点を前記合成画
像生成データとして用いるものである請求項２に記載の
複眼撮像装置。
【請求項４】前記画像処理部は、前記抽出された各対
応点対のうち１つの撮像系でしか撮像されない二重像非
発生領域との距離が異なる対応点対については、その対
応点対の中の、前記二重像非発生領域に最も近い対応点
を前記合成画像生成データとして用いるものである請求
項２に記載の複眼撮像装置。
【請求項５】前記画像処理部は、前記抽出された各対
応点対のうち、１つの画像においてのみ、１つの撮像系
でしか撮像されない二重像非発生領域に接続している像
に属する対応点対については、前記１つの画像中の対応
点を前記合成画像生成データとして用い、２つ以上の画
像において前記二重像非発生領域に接続している像に属
する対応点については、前記２つ以上の画像のいずれか
１つの画像中の対応点を、画像の並列方向に拡大して前
記合成画像生成データとして用いるものである請求項２
に記載の複眼撮像装置。
【請求項６】前記合成画像は、前記各画像信号を合成
した高精細画像である請求項１に記載の複眼撮像装置。
【請求項７】前記画像処理部は、前記抽出された各対
応点対のうち、前記各対応点対の中の対応点同志の間隔
が所定の間隔よりも小さい対応点対については、その対
応点対の中の１つの対応点を前記合成画像生成データと
して用いるものである請求項６に記載の複眼撮像装置。
【請求項８】前記画像処理部は、前記各対応点対のう
ち対応点抽出の前に歪み補正を必要とする対応点対のす
くなくとも一部については、その対応点の中の１つの対
応点を前記合成画像生成データとして用いるものである
請求項６に記載の複眼撮像装置。
【請求項９】前記画像処理部は、前記抽出された各対
応点対のうち、前記各撮像系の合焦物体面からの距離及
び前記各結像光学系の開口数から予測される像のボケの
程度が一定の閾値を越える対応点対の少なくとも一部に
ついては、その対応点対の中の１つの対応点を前記合成
画像生成データとして用いるものである請求項６に記載
の複眼撮像装置。
【請求項１０】前記画像処理部は、前記各対応点対を
抽出した後、対となる対応点が求まらない画素点および
前記対となる対応点が求まらない領域とある一定の空間
周波数以上で交互に表れる対応点対の少なくとも一部に
ついては、その対応点対の中の１つの対応点を前記合成
画像生成データとして用いるものである請求項６に記載
の複眼撮像装置。
【請求項１１】複数の結像光学系及び前記各結像光学
系の各々に対応した撮像素子からなる複数の撮像系を有
し、被写体を撮像することにより前記各撮像素子の各々
から入力された画像信号を用いて、１つの合成画像を生
成出力する複眼撮像装置において、前記各画像信号のうち、１つの画像信号を合成画像生成
のための基本画像とするとともに、他の画像信号を補助
画像とし、前記各画像信号から前記被写体の同一部分に対応する対
応点対をそれぞれ抽出し、前記抽出された各対応点対の
うち少なくとも一部の対応点対については、前記基本画
像中の対応点を合成画像生成データとして用い、前記補
助画像中の対応点を合成画像生成データとして用いない
画像処理部を有することを特徴とする複眼撮像装置。
【請求項１２】前記基本画像となる画像信号を出力す
る前記撮像素子を有する前記撮像系は、その結像光学系
の光軸を前記被写体に向けて配置されている請求項１１
に記載の複眼撮像装置。
【請求項１３】前記合成画像は、前記各画像信号を並
列合成したパノラマ合成画像であり、前記画像処理部は、前記抽出された各対応点対のうち１
つの撮像系でしか撮像されない二重像非発生領域に接続
している像に属する対応点対について、前記二重像非発
生領域に接続している割合の最も多い画像信号を基本画
像とするものである請求項１１に記載の複眼撮像装置。
【請求項１４】前記合成画像は、前記各画像信号を合
成した高精細画像であり、前記画像処理部は、前記抽出された各対応点対のうち、
前記基本画像中の対応点と前記補助画像中の対応点との
間隔が所定の間隔よりも小さい対応点対については、前
記基本画像中の対応点を前記合成画像生成データとして
用い、前記補助画像中の対応点を前記合成画像生成デー
タとして用いないものである請求項１１または１２に記
載の複眼撮像装置。
【請求項１５】前記合成画像は、前記各画像信号を合
成した高精細画像であり、前記画像処理部は、前記各対応点対のうち対応点抽出の
前に歪み補正を必要とする対応点対のすくなくとも一部
については、前記基本画像中の対応点を前記合成画像生
成データとして用い、前記補助画像中の対応点を前記合
成画像生成データとして用いないものである請求項１１
または１２に記載の複眼撮像装置。
【請求項１６】前記合成画像は、前記各画像信号を合
成した高精細画像であり、前記画像処理部は、前記抽出された各対応点対のうち、
前記各撮像系の合焦物体面からの距離及び前記各結像光
学系の開口数から予測される像のボケの程度が一定の閾
値を越える対応点対の少なくとも一部については、前記
基本画像中の対応点を前記合成画像生成データとして用
い、前記補助画像中の対応点を前記合成画像生成データ
として用いないものである請求項１１または１２に記載
の複眼撮像装置。
【請求項１７】前記合成画像は、前記各画像信号を合
成した高精細画像であり、前記画像処理部は、前記抽出された各対応点対のうち、
対となる対応点が求まらない画素点および前記対となる
対応点が求まらない領域とある一定の空間周波数以上で
交互に表れる対応点対の少なくとも一部については、前
記基本画像中の対応点を前記合成画像生成データとして
用い、前記補助画像中の対応点を前記合成画像生成デー
タとして用いないものである請求項１１または１２に記
載の複眼撮像装置。