JP2888713B2

JP2888713B2 - 複眼撮像装置

Info

Publication number: JP2888713B2
Application number: JP5005242A
Authority: JP
Inventors: 達嗣片山; 英明光武; 繁幸須田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-01-14
Filing date: 1993-01-14
Publication date: 1999-05-10
Anticipated expiration: 2014-05-10
Also published as: US5798791A; JPH06217184A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＣＣＤ（電荷結合素
子）、撮像管等の撮像素子を用いた撮像装置に関し、特
に複数の撮像素子およびレンズ等の撮像光学系を用いて
撮像し、任意のアスペクト比の画像を提供できるテレビ
ジョンあるいはビデオ装置等の複眼撮像装置に関する。

【０００２】

【従来の技術】従来、複数の撮像光学系を用い、動画像
を対象としたパノラマ撮影技術として、例えば特開昭６
３−８６４１号公報に記載の方法が知られている。一般
にこのような技術は、各々の撮像光学系の光軸のなす角
度を画界が接するように機械的調整により設定してい
る。

【０００３】一方、テレビジョンまたはビデオ装置の画
面のアスペクト比を変える方式（例えばＮＴＳＣの４対
３とＨＤの１６対９のコンバージョン）としては、出力
時に上下または左右をトリミングする方式が知られてい
る。

【０００４】

【発明が解決しようとする課題】上述した従来の技術の
うち、各撮像光学系の光軸のなす角度を機械的調整によ
り設定するものでは、隣合う２つの画像のレジストレー
ションを厳密に合致させることがきわめて困難であり、
通常この境界線が目立ってしまう問題が合った。同様の
理由で、被写体距離の異なる物体にフォーカスを取り直
したり、ズーミング動作を行うことが困難なことから、
１シーンごとのカット撮影に制限されることが多かっ
た。

【０００５】また、出力をトリミングするものでは、撮
像した画像の一部を用いる方式であるため、特に４対３
のイメージセンサを用いたＮＴＳＣカメラで撮像し、１
６対９のＨＤ用モニタで出力する場合は、元々画素数が
不足しているのに加え、さらに上下合わせて２５％の画
素を失うこととなり、画質劣化が著しい。逆に１６対９
のＨＤカメラで撮像し、４対３のＮＴＳＣ用のモニタで
出力する場合は画質的には問題内が、水平画角が１／３
も減少してしまう。さらにパノラマ効果を生かすために
は、１つの結像光学系のなす画界では不十分である。ま
た、アスペクト比可変時は、トリミングによって垂直方
向の結像力を犠牲にすることになるので画質の劣化を招
く。これは、最近のようにワイド画面表示装置の普及が
進んでくるとなおさら問題になる。

【０００６】本発明は、これらの問題点に鑑みてなされ
たものであり、その目的は、撮像光学系から得られる画
像と異なった所望のアスペクト比の画像が得られる複眼
撮像装置を提供することにある。本発明の他の目的は、
画質の劣化が少なく境界線の目立たない画像が得られる
複眼撮像装置を提供することにある。本発明のさらに他
の目的は、各々の画像のオーバーラップ部の２重像を取
り除き合成することができる複眼撮像装置を提供するこ
とにある。本発明のさらに他の目的は、パノラマ画像と
して十分な効果の得られる画界を有し、かつアスペクト
比可変時においても垂直方向の解像力の劣化の少ない複
眼撮像装置を提供することにある。本発明のさらに他の
目的は、高速なアスペクト比可変、トリミング機能を有
し、撮影者の意図に従って瞬間的かつ自在に被写体領域
を変化させることのできる複眼撮像装置を提供すること
にある。

【０００７】

【課題を解決するための手段】本発明の複眼撮像装置
は、複数の撮像系を制御して画界をオーバーラップして
撮像する複眼撮像装置において、前記複数の撮像系によ
り得られる画像信号から相関演算を行う画像相関処理手
段と、前記画像相関処理手段により相関演算が行われた
画像信号より一方の画像を基準として他方の画像をつな
ぎ合わせる合成処理手段とを有することを特徴とする。

【０００８】また、本発明の複眼撮像装置は、複数の撮
像系を制御して画界をオーバーラップしてアスペクト比
可変で撮像する複眼撮像装置において、前記複数の撮像
系から出力されるオーバーラップ部分の画像信号によ
り、前記オーバーラップ部分の画像の対応点を検出する
対応点検出手段と、該対応点検出手段から出力される検
出信号を基に、前記複数の撮像系から出力される画像信
号を補正する補正変換処理手段と、前記補正変換処理手
段により補正された画像信号から相関関係を検出する画
像相関処理手段と、前記画像相関処理手段が検出した相
関関係により前記複数の撮像系から出力される画像信号
を１つの画像信号に変換処理する画像合成処理手段とを
有することを特徴とする。

【０００９】さらに、本発明の複眼撮像装置は、複数の
結像光学系と、該結像光学系の各々に対応した撮像素子
からなる複数の撮像系を有し、前記撮像素子の各々から
出力された画像信号を用いて合成画像を生成する複眼撮
像装置において、前記各々の撮像系のなす画界が他の画
界の少なくとも１つと接するかあるいは一部分重なった
状態に保持されるように前記各々の撮像系が設定され、
前記各々の撮像系から出力された画像信号を各々保持す
る複数の画像入力手段と、アスペクト比指定値を含んだ
画像トリミング信号を入力する全系制御手段と、前記画
像入力手段に保持される画像信号および前記全系制御手
段により入力される画像トリミング信号に基づいて、ア
スペクト比可変な画像を出力生成する画像変換手段とを
有することを特徴とする。この複眼撮像装置において、
前記画像変換手段が画像出力を行った後、前記全系制御
手段に入力されるアスペクト比指定値に対応した画像ト
リミング領域を保持しつつ、前記複数の撮像系の光学パ
ラメータを変化させる制御手段を有することができる。
またこの複眼撮像装置において、前記光学パラメータは
前記複数の撮像系の焦点距離および前記複数の撮像系の
輻輳角であることが可能である。さらにこの複眼撮像装
置において、前記複数の撮像系の光軸は１つの平面に平
行な方向に変化する系であって、前記光学パラメータの
変化後の最終指定値は、前記複数の撮像系の受光部の、
前記１つの平面に垂直な垂直有効幅と前記画像トリミン
グ領域の垂直有効幅が一致することが可能である。

【００１０】

【作用】本発明によれば、各々の撮像系から出力される
オーバーラップ部分の画像信号により、オーバーラップ
部分の対応点検出を行い、各撮像系から出力される複数
の画像信号より一方の画像を基準として他方の画像の一
部あるいは全域を合成し、かつ撮像系の輻輳角を変える
ことにより、画像のアスペクト比を任意に変えるもので
ある。

【００１１】また、本発明によれば、各々の撮像系から
出力されるオーバーラップ部分の画像信号により、オー
バーラップ部分の対応点検出を行い、各撮像系から出力
される複数の画像信号の相関関係を検出してこれらの画
像信号を１つの画像信号に変換処理し、かつ撮像系の輻
輳角を変えることにより、画像のアスペクト比を任意に
変えるものである。

【００１２】また、本発明は、各々の撮像系のなす画界
は他の画界の少なくとも１つと接するかあるいは一部分
重なった状態に保持されるように各々の撮像系を設定
し、撮影者により入力されるアスペクト比指定値を含ん
だ画像トリミング信号に基づいて、アスペクト比可変な
画像を出力合成するものである。

【００１３】また、本発明の複眼撮像装置は、アスペク
ト比可変な画像を出力合成して画像出力を行った後、ア
スペクト比指定値に対応した画像トリミング領域を保持
しつつ、複数の撮像系の光学パラメータを変化させるも
のである。

【００１４】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００１５】まず、図１により本発明の第１の実施例に
係る複眼撮像系の基本配置を説明する。

【００１６】図中１は第１の被写体、２は第２の被写
体、３は第３の被写体で、１０２，２０２は等価な仕様
を有する第１および第２の撮像光学系であり、一般的に
はズームレンズが用いられる。１０３，２０３は同様に
等価な仕様を有するイメージセンサであり、サチコン等
の撮像管またはＣＣＤ等の固体撮像素子が用いられる
（ここでは簡単のために単板式（または単管式）を模式
的に示したが、色分解光学系を介した２板式（２管式）
あるいは３板式（３管式）であっても一般性を失わな
い）。

【００１７】これらの光軸１０１および２０１が第１の
被写体上で交差し、複眼撮像系の各々の回転中心を通る
回転角の基準線Ｏ_L −Ｏ_L ’およびＯ_R −Ｏ_R ’に対し
てθ ₁ ，θ₂ 傾斜した状態に各撮像光学系１０２，２０
２を配置する。ここで、θ₁，θ₂ は常に等しくなるよ
うに配置および制御される。なおθ₁ ，θ₂ を輻輳角と
して定義し、被写体距離の変化に応じてこの輻輳角を変
えて撮像する。

【００１８】次に図２において第１実施例に係る複眼撮
像系の構成要件および機能について説明する。

【００１９】図２において、１０２ａ，１０２ｂ，１０
２ｃ，１０２ｄ，２０２ａ，２０２ｂ，２０２ｃ，２０
２ｄは第１および第２の撮像光学系１０２，２０２を構
成するレンズ群を示し、特に１０２ｂ，２０２ｂは変倍
群、１０２ｄ，２０２ｄは合焦群を示す。また１０６，
２０６は、変倍群１０２ｂ，２０２ｂを駆動するための
駆動系（ズームモータ）、同様に１０７，２０７は合焦
群１０２ｄ，２０２ｄを駆動するための駆動系（フォー
カスモータ）を示す。さらに撮像光学系１０２およびイ
メージセンサ１０３、撮像光学系２０２およびイメージ
センサ２０３は、それぞれ一体として、光軸１０１，２
０１を略々含む平面内で回転する不図示の機構系と、駆
動系（輻輳角モータ）１０４，２０４が設けられてい
る。そしてこの回転角情報検出手段１０５，２０５が設
けられている。これはロータリエンコーダのような外付
けの部材でもよいし、例えばパルスモータのような駆動
系自身で駆動方法により角度情報を知る系でもよい。こ
れらの信号により各々の輻輳角が求まる。また１０８，
２０８は撮像光学系の変倍群１０２ｂ，２０２ｂに設け
た各々のレンズ群の光軸方向の位置情報を得るためのエ
ンコーダ（ズームエンコーダ）を示し、この信号により
撮像光学系１０２，２０２の焦点距離ｆを求められる。

【００２０】同様に１０９，２０９は撮像光学系の合焦
群１０２ｄ，２０２ｄに設けた各々のレンズ群の光軸方
向の位置情報を得るためのエンコーダ（フォーカスエン
コーダ）を示す。これらのエンコーダは例えばポテンシ
ョメータのような外付けの部材でもよいし、あるいは例
えばパルスモータのような駆動系自身で駆動方法により
レンズの光軸方向の位置情報を知る系でもよい。

【００２１】ここで、図２の撮像光学系の変倍群２０２
ｂには、あらかじめレンズ群の光軸方向の位置情報を得
るためのエンコーダ（ズームエンコーダ）２０８を設
け、この信号により撮像光学系２０２の焦点距離ｆを求
める。同様に撮像光学系の合焦群２０２ｄにも、レンズ
群の光軸方向の位置情報を得るためのエンコーダ（フォ
ーカスエンコーダ）２０９を設け、スームエンコーダ２
０８の信号と合わせて、撮像光学系２０２の結像倍率β
が求められる。第２の撮像光学系１０１も同様の機能を
有する。

【００２２】なお、エンコーダ１０８，１０９，２０
８，２０９からの信号により駆動系１０６，１０７，２
０６，２０７を制御部マイクロコンピュータ（「制御用
ＣＰＵ」と呼ぶ）１１により別途制御することにより、
２組の撮像光学系１０２および２０２の焦点距離ｆは、
常に一致させるようにしているものとする。

【００２３】次にアスペクト比変換処理部１０の構成に
ついて説明する。図３に示すように、アスペクト比変換
処理部１０は、図２に示す各々のイメージセンサ１０
３，２０３から出力されるアナログ映像信号をそれぞれ
デジタル映像信号に変換する第１および第２のＡ／Ｄ変
換器１１０，２１０と、各Ａ／Ｄ変換器１１０，２１０
から出力されるデジタル信号がそれぞれ記憶される第１
および第２の画像メモリ１１１，２１１と、各画像メモ
リ１１１，２１１に記憶されたデジタル映像信号から画
像合成を行って合成画像信号を外部に出力する出力する
画像合成処理部１６と、各画像メモリ１１１，２１１に
記憶されたデジタル映像信号から画像の相関演算を行う
画像相関処理部１５と、画像メモリ２１１の画像信号に
より焦点検出を行う焦点検出部１３Ｌと、画像メモリ１
１１の画像信号により焦点検出を行う焦点検出部１３Ｒ
と、画像メモリ１１１における焦点検出枠の位置を算出
する演算制御部１７と、各々の撮像光学系のエンコーダ
からの検出信号、焦点検出部１３Ｌ，１３Ｒから入力さ
れる演算結果、画像相関処理部１５から入力される演算
結果に基づいて各種制御を行うＣＰＵ１１とから構成さ
れている。

【００２４】次に、アスペクト比変換処理部１０の動作
を説明する。図４では図１と同じ位置にある第１、第２
および第３の被写体１，２，３を、各々の輻輳角をθ
₁ ’，θ₂ ’（θ₁ ’＝θ₂ ’）として撮像している。
なお、輻輳角は制御用ＣＰＵにより常にθ₁ ’＝θ₂ ’
なる状態となるよう制御されている。アスペクト比変換
処理部１０は、各々のイメージセンサ１０３，２０３か
ら入力されるアナログの映像信号を第１および第２のＡ
／Ｄ変換器１１０，２１０でデジタル信号に変換処理す
る。また、制御用ＣＰＵ１１は、撮像光学系１０２，２
０２のエンコーダ１０８，２０８，１０５，２０５から
の検出信号を入力し、各々の焦点距離、輻輳角が常に一
致するように制御する。さらに、合成処理のためのオー
バーラップ領域の相関演算を円滑に行うために撮像光学
系２０２より入力される画像中に焦点距離用の枠を設定
する。枠の位置およびサイズは撮像光学系のパラメータ
ｆ，θ₂ ’等を用いた評価関数により連続的に与えても
よいし、あらかじめ検出枠を設定してもよい。図５
（ａ），（ｂ）に一例として、あらかじめ焦点検出枠を
設定する場合について示す。図５（ａ），（ｂ）におい
て画像２２０は、撮像光学系２０２により入力された画
像であり、画像１２０は、撮像光学系１０２により入力
された画像の概略である。また画像２２０中の枠２２５
はあらかじめ設定した焦点検出枠である。

【００２５】ここで、制御用ＣＰＵ１１は、第２の画像
メモリ２１１から焦点検出枠２２５に対応する領域の画
像信号を読みだし焦点検出部１３Ｌに送る。焦点検出部
１３Ｌは、画像信号より合焦点の検出処理を行う。一例
として、画像信号のエッジ幅（エッジ部の幅）により検
出を行う方式を示す。

【００２６】図６（ａ），（ｂ）はそれぞれ、画像のエ
ッジ幅を合焦点信号とする方法を説明するためのグラフ
である。ここで、同図（ａ）は焦点外れ時のエッジ部の
強度分布を示しており、同図（ｂ）は合焦時のエッジ部
の強度分布を示している。

【００２７】画像のエッジ幅を合焦信号とする方法は、
撮像装置で得られる映像信号から検出した画像のエッジ
部の幅が焦点外れ時には画像のぼけがあるため大きくな
るのに対して合焦時には画像のぼけがないため小さくな
ることを利用して、求めたエッジ幅が小さくなるように
フォーカスレンズを駆動することにより自動的に焦点を
合わせるものである。

【００２８】なお、焦点外れ時のエッジ幅Ｌ₁ は、同図
（ａ）に示したエッジ部の強度分布を表す関数Ｉ₁
（ｘ）から求めたエッジ部の強度差Ｄ₁ およびエッジ部
の傾きｄＩ₁ （ｘ）／ｄｘを次式に代入することにより
求めることができる。

【００２９】Ｌ₁ ＝Ｄ₁ ／｛ｄＩ₁ （ｘ）／ｄｘ｝また、合焦時のエッジ幅Ｌ₂ は、同図（ｂ）に示したエ
ッジ部の強度分布を表す関数Ｉ₂ （ｘ）から求めたエッ
ジ部の強度差Ｄ₂ およびエッジ部の傾きｄＩ₂（ｘ）／
ｄｘを次式に代入することにより求めることができる。

【００３０】Ｌ₂ ＝Ｄ₂ ／｛ｄＩ₂ （ｘ）／ｄｘ｝ここで、各エッジ部の傾きｄＩ₁ （ｘ）／ｄｘ，ｄＩ₂
（ｘ）／ｄｘは、エッジの立ち上がり部分から再度平坦
になる部分までの間の各点ｘの傾きの平均値よりそれぞ
れ求めることができる。

【００３１】焦点検出部１３Ｌから出力されるエッジ幅
検出信号により、制御用ＣＰＵ１１は求めたエッジ幅が
小さくなるようにフォーカスモータ２０６を駆動する。
これにより画像２２０の焦点検出枠２２５内の画像は合
焦状態に保持される。同様の処理を画像１２０に対して
も行うわけであるがその再、画像２２０の検出枠２２５
内の画像に対応する領域を画像１２０において設定する
ことが必要となる。これを図７により説明する。

【００３２】図７は図４に示す概略図に対してｘ軸、ｙ
軸を設定したものである。図７において、２３０は撮像
光学系２０２のイメージセンサ２０３に対する共役面を
示し、１３０は撮像光学系１２０のイメージセンサ１０
３に対する共役面を示している。

【００３３】ここで撮像光学系２０２は第１の被写体１
に対して前述の処理により合焦しているものとする。撮
像光学系１０２についても第１の被写体１に対して合焦
とするためには、撮像光学系１０２の被写体距離Ｓ_R を
求めることが必要となる。図７から撮像光学系２０２の
結像関係より被写体１の位置（ｘ，ｙ）は、撮像光学系
２０２のイメージセンサ２０３における被写体１の結像
位置ｘ_L ’被写体距離Ｓ_L 、焦点距離ｆ_L 、輻輳各θ
₁ ’の関数として、ｘ＝ｇ_x （ｘ_L ’，Ｓ_L ，ｆ_L ，θ₁ ’）ｙ＝ｇ_y （ｘ_L ’，Ｓ_L ，ｆ_L ，θ₁ ’）と表すことができる。よって、幾何学的関係より撮像光
学系１０２のイメージセンサ１０３における被写体１の
結像位置ｘ_R ’は、各々の撮像光学系間の基線長をＬと
して、結像位置ｘ_L ’、被写体距離Ｓ_L 、焦点距離ｆ
_L 、輻輳各θ₁ ’、基線長Ｌの関数として、ｘ_R ’＝ｇ_xR（ｘ_L ’，Ｓ_L ，ｆ_L ，θ₁ ’，Ｌ）と表すことができる。制御用ＣＰＵ１１は、演算処理部
１７に前記各パラメータを出力し、演算処理部１７にお
いてこの一連の処理を行うことにより図５（ａ），
（ｂ）に示す画像１２０における焦点検出領域１２５を
設定する。検出枠１２５が設定されたら画像メモリ１１
１より対応する領域を読みだし焦点検出部１３Ｒに送
る。焦点検出部１３Ｒでは焦点検出部１３Ｌと同様の処
理によりエッジ幅を検出し、制御用ＣＰＵ１１は検出枠
１２５内の画像が合焦となるようフォーカスモータ１０
６を駆動する。

【００３４】以上の処理により相関演算処理を行う領域
における各々の画像は、常に合焦状態となる。

【００３５】制御用ＣＰＵ１１は、各々の焦点検出枠２
２５，１２５に基づいて相関演算処理領域２２６，１２
６を設定する。図８（ａ），（ｂ）に各々の画像メモリ
２１１，１１１に記憶されたデジタル画像信号２２０，
１２０に設定された相関演算処理領域２２６，１２６の
概略をそれぞれ示す。また、図８（ｃ）に画像信号２２
０，１２０をそのまま重ねたときの画像を示す。このと
き、各々の相関演算処理領域１２６，２２６間のずれｄ
ｘは、前述のｘ_R ’，ｘ_L ’より求めることができる。
図９（ａ）は、ずれｄｘを基に、各々の相関演算領域２
２６，１２６が一致するように各々の画像信号２２０，
１２０を重ねたものである。図９（ａ）に示すように、
各相関演算領域２２６，１２６内の画像（被写体像１
Ｌ，１Ｒ）はこの時点では、各々の撮像光学系の輻輳角
検出手段の誤差等により必ずしも一致するとは限らな
い。よって、画像相関演算領域１５において、演算領域
２２６，１２６の画像間で相関演算処理を施し、図９
（ｂ）に示すように、より正確な相関関係を求める。な
お、ここでは相関演算領域を焦点検出枠２２５，１２５
を基に設定したが、これらは位置、サイズとも任意に設
定してかまわない。

【００３６】画像相関処理部１５は、第１および第２の
画像メモリ１１１，２１１からデジタル映像信号をそれ
ぞれ読みだして相関演算を行う。該相関演算は、図８
（ａ），（ｂ）に示した演算領域１２６および２２６の
画像について実行され、相関関数として次式に示す関数
が用いられ、該関数で求めた値が相関値として評価され
る。

【００３７】Ｉ（θ₁ ’，θ₂ ’）＝｛∫ｑ₁ （ｘ，ｙ，θ₁ ’）・ｑ₂ （ｘ，ｙ，θ₂ ’）ｄｘｄｙ｝／Ｃただし、ｑ₁ は第１の被写体１の撮像光学系１１１による像１Ｒ
の強度分布ｑ₂ は第１の被写体１の撮像光学系２１１による像１Ｌ
の強度分布Ｃ＝｛∫ｑ₁ （ｘ，ｙ，θ₁ ’）ｄｘｄｙ｝・｛∫ｑ₂ （ｘ，ｙ，θ₂ ’）ｄｘｄｙ｝上式で示される相関関数Ｉ（θ₁ ’，θ₂ ’）は２つの
角θ₁ ’，θ₂ ’の関数となるが、実際にはほぼ輻輳角
θ₁ ’＋θ₂ ’の関数となる。図１２に、画像相関処理
部１５において輻輳角θ₁ ’＋θ₂ ’を変化させながら
相関関数Ｉ（θ ₁ ’，θ₂ ’）を計算して得た相関値曲
線を示す。画像相関処理部１５における演算結果は制御
用ＣＰＵ１１に出力される。各々の撮像系の合焦群２０
２ｂ，１０２ｂはそれぞれ、輻輳角モータ１０４，２０
４によって輻輳角θ₁ ’＋θ₂ ’の変化を受け、輻輳角
θ₁ ’＋θ₂ ’の回転情報検出手段１０５，２０５でそ
れぞれ読み取られる。これらの動作は制御用ＣＰＵ１１
によって制御されているため、制御用ＣＰＵ１１は図１
１に示した相関値曲線Ｒが得られる。なお、相関関数と
しては、上式に示した相関関数Ｉ（θ₁ ’，θ₂ ’）以
外でも、２つの画像の一致度が示せるような関数形（例
えば、両者の差をとるなど）であってもよい。

【００３８】制御用ＣＰＵ１１が、相関値が大きくなる
ように輻輳角θ₁ ’＋θ₂ ’を変化させることにより、
相関値のピークを見つける。２つの像１Ｌ，１Ｒは相関
値のピークの位置で図９（ｂ）に示すように一致するこ
とになる。

【００３９】合成処理部１６は、画像相関処理部１５に
おいて相関値がピークとなったときの画像を各々の画像
メモリ１１１，２１１から入力する。図１０および図１
１に画像合成処理の概略を示す。このとき画像メモリ２
１１における映像信号２２０は画像全域を入力するが、
画像メモリ１１１の映像信号１２０については、制御用
ＣＰＵ１１が画像相関処理部１５における出力結果を基
に合成処理領域１３１（図１０のハッチング部）を読み
だし合成処理部１６に入力する。なお、各々のイメージ
センサ１０３，２０３と同じアスペクト比の画像を出力
する場合は、基準画像（この場合画像２２０）のみを出
力する。

【００４０】合成処理部１６は、図１１（ａ）に示すよ
うに、映像信号２２０と合成処理領域１３１をつなぎ合
わせ１つの画像を生成する。しかし、単純につなぎ目を
合わせた場合、各々の撮像系の輝度差や制御誤差等の影
響により境界線３００が強調された画像が生成されるこ
とを考慮して、さらに図１１（ｂ）に示すように、所定
の領域（ここではシームレス領域３１０と記述する）に
おいてつなぎ目が目立たないように処理を行う。この処
理（以下一般にシームレス処理と呼ばれるためここでも
そう記述する）の１方式として、ここでは局所的な平滑
化による処理を示す。

【００４１】この方法は、ある画像ｆ（ｆ，ｙ）を中心
にしてウインドウＷ（ｉ，ｊ）を設定し、次式の計算出
力を点（ｘ，ｙ）に与えるものである。

【００４２】

【数１】ただし、ウインドウサイズはｍ×ｎとする。ウインドウ
としては、次のようなものを設定する。

【００４３】

【数２】図１３（ａ），（ｂ）は各々の撮像系１０２，２０２に
より得られる画像の、ある１ラインの出力値列に対する
シームレス処理の概略を示したものである。図１３
（ａ）に示す処理前の画像では、境界線３００における
出力値の段差により境界線が目立ってしまうが、平滑化
処理により図１３（ｂ）に示すように段差が低減された
出力合成画像３２０が提供される。

【００４４】画像合成処理部１６において、各々の画像
１２０，２２０の合成およびシームレス処理を施した画
像信号を出力合成画像信号３２０として出力する。

【００４５】図１１（ｃ）に示すように、出力された出
力合成画像信号３２０は、図５（ａ），（ｂ）に示す各
々の画像信号１２０，２２０に比べてワイドアスペクト
の画像となる。さらに、図１１（ｂ）にあるように、一
方の画像を基準として合成するために、境界線の位置が
パノラマ時を除き画面中心から外れるため画面中心部の
被写体の画質が劣化しないという特長を持つ。

【００４６】図１４は、本発明の複眼撮像装置の第２の
実施例の原理を示す概略構成図である。図１４におい
て、図２中と同符号は同一の構成要素を示す。

【００４７】本実施例の複眼撮像装置は、図２に示した
撮像光学系１０２，２０２と同一の撮像光学系と、図１
３のアスペクト比変換処理部１２により実行される。ア
スペクト比変換処理部１２の構成は、図２のアスペクト
比変換処理部１０とほぼ同じ構成である。ただし、各々
の画像メモリ１１１，２１１の映像信号を補間処理部１
４Ｒにおいて補間処理後合成する点と、相関演算処理部
１５における演算内容が異なる。

【００４８】合成時に各々の画像の位置合わせを正確に
行うために、補間処理部１４Ｒは画像メモリ１１１の画
像信号を補間処理し、その後画像相関処理部１５は、図
８（ａ），（ｂ）に示す相関演算領域１２６，２２６の
画像から相関関数を求める。ここで、画像相関処理部１
５の内部では、第１実施例とは異なり、以下に示す演算
が行われる。

【００４９】Ｉ’（ｘ₀ ）＝∫ｑ₁ （ｘ，ｙ）・ｑ₂ （ｘ＋ｘ₀ ，ｙ）ｄｘｄｙここで、ｘは紙面面内方向の座標なお、上式は、輻輳角θ₁ ’、θ₂ ’をは変えずに、演
算で相関値関数Ｉ’（ｘ ₀ ）を求めるものである。図１
５に、相関値関数Ｉ’（ｘ₀ ）の演算結果を示す。相関
値関数Ｉ’（ｘ₀ ）はｘ₀ の関数であり、相関値曲線Ｒ
₁ はｘ₀ ＝ａでピークをもつ。

【００５０】図１６に、相関演算処理により求められた
各々の画像１２０，２２０間のずれの概略を示す。画像
相関処理部１５は、制御用ＣＰＵ１１に相関演算領域１
２６，２２６内の画像間のずれａを出力する。制御用Ｃ
ＰＵ１１は前述のずれａとあらかじめ得られている各々
の相関演算領域１２６，２２６間のずれｄｘ（図８
（ｃ）参照）を用いて画像２２０，１２０間のずれｄｘ
−ａを求める（図１６参照）。そして、画像メモリ１１
１の補間された映像信号から合成処理に用いる領域を切
りだす。図１７に合成領域の切りだしの概略を示す。制
御用ＣＰＵ１１は、画像１２０，２２０のずれ量を基
に、画像メモリ１１１からのデータ読みだし位置を図１
７に示すようにｘシフトして、図１０と同様に合成処理
領域１３０を切りだし画像合成処理部１６に送る。画像
合成処理部１６においては、第１実施例と同様の方法に
より各々の映像信号を合成処理し、アスペクト比の変換
された映像信号を出力する。

【００５１】次に、本発明の第３の実施例について説明
する。

【００５２】図１８は本発明の第３の実施例に係る複眼
撮像系の基本配置を示す図である。各々の撮像光学系５
０２，６０２、イメージセンサ５０３，６０３、光軸５
０１，６０１は、図１、図２に示す撮像光学系１０２，
２０２、イメージセンサ１０３，２０３、光軸１０２，
２０１とそれぞれ同等である。したがって、各撮像光学
系５０２，６０２は、図２に示す構成を有している。本
実施例では、撮像光学系５０２，６０２の前方（図示上
方）に被写体面４０６が設けられ、被写体面４０６上に
第１の被写体４０１が描かれている。また、第２、第
３、第４、第５の被写体４０２，４０３，４０４，４０
５がそれぞれ所定位置に設置されている。次にアスペク
ト比変換処理部４１０の構成について説明する。図１９
に示すように、アスペクト比変換処理部４１０は、各々
のイメージセンサ５０３，６０３から出力されるアナロ
グ映像信号をそれぞれデジタル映像信号に変換する第１
および第２のＡ／Ｄ変換器５１０，６１０、各Ａ／Ｄ変
換器５１０，６１０から出力されるデジタル信号がそれ
ぞれ記憶される第１および第２の画像メモリ５１１，６
１１と、各々の映像信号のエピポーララインの再構成を
行う演算処理部４１２Ｌ，４１２Ｒと、各々の映像信号
における対応点の検出を行う対応点検出部４１３と、対
応点検出部４１３により求められた対応点検出信号と各
々の撮像系のパラメータを基に各々の映像信号に対応す
る３次元位置を検出する補正変換処理部４１４と、変換
処理された映像信号を遠距離被写体から順次画像メモリ
に書き込む陰線処理部４１７と、補正処理された映像信
号を記憶する画像メモリ７１１と、各画像メモリ５１
１，６１１，７１１に記憶されたデジタル映像信号から
画像合成を行って合成画像信号を外部に出力する画像合
成処理部４１６と、各画像メモリ５１１，６１１，７１
１に記憶されたデジタル映像信号から画像の相関演算を
行う画像相関処理部４１５と、各々の撮像光学系のエン
コーダからの検出信号、画像相関処理部４１５から入力
される演算結果に基づいて各種制御を行う制御用ＣＰＵ
４１１とから構成されている。

【００５３】次に、アスペクト比変換処理部４１０の動
作を説明する。図２０では図１８と同じ位置にある第
１、第２、第３、第４、第５の被写体４０１，４０２，
４０３，４０４，４０５を、各々の輻輳角をθとして撮
像している。アスペクト比変換処理部４１０は、各々の
イメージセンサ５０３，６０３から入力されるアナログ
の映像信号を第１および第２のＡ／Ｄ変換器５１０，６
１０でデジタル信号に変換処理する。また、制御用ＣＰ
Ｕ４１１は、撮像光学系５０２，６０２のエンコーダ１
０８，２０８，１０５，２０５（図２参照）からの検出
信号を入力し、各々の焦点距離、結像倍率および輻輳角
が常に一致するように制御する。各々のイメージセンサ
５０３，６０３により入力されたアナログの映像信号
は、第１および第２のＡ／Ｄ変換器５１０，６１０によ
りデジタルの映像信号に変換され各々の画像メモリ５１
１，６１１に記憶される。図２０に示す状態で、前述の
各被写体４０１，４０２，４０３，４０４，４０５を撮
像するときに得られる映像信号の画像５２０，６２０の
概略を図２２（ａ），（ｂ）に示す。図２２（ａ），
（ｂ）において、画像５２０は撮像光学系５０２により
得られる映像信号であり、画像６２０は撮像光学系６０
２により得られる映像信号である。また、像４０１Ｌ，
４０１Ｒ，４０２Ｌ，４０３Ｌ，４０４Ｌ，４０３Ｒ，
４０４Ｒ，４０５Ｒは、図２０に示す各被写体４０１，
４０２，４０３，４０４，４０５の像を表す。図２０に
示す状態で撮像する場合、輻輳角θの影響で図２２
（ａ），（ｂ）のような歪んだ画像が形成される。

【００５４】図２３は、輻輳と各々の対応点の関係を模
式的に示したものである。Ｆ₁ ，Ｆ ₂ は撮像系５０２，
６０２の回転中心である。５０３ａ，６０３ａはイメー
ジセンサ５０３，６０３のセンサ面である。なお、説明
の便宜上センサ面５０３ａ，６０３ａを回転中心Ｆ₁ ，
Ｆ₂ の前に置くものとする。このとき回転中心Ｆ₁ ，Ｆ
₂ 、被写体上の点Ｐの３点によって定まる平面をエピポ
ーラ面、さらにエピポーラ面とセンサ面５０３ａとの交
線ｌはエピポーララインという。したがって、点Ｐの対
応点を探索する場合、センサ面５０３ａのエピポーララ
インｌ上のみを探索すればよい。しかし、輻輳作用によ
りエピポーララインは斜めの線となり、対応点の探索を
円滑に行うためにはこのエピポーララインｌを再構成す
ることが必要となる。

【００５５】図２２（ａ），（ｂ）に示す各々の画像５
２０，６２０におけるエピポーララインは、前述のごと
く斜めの線となっているので、演算処理部４１２Ｌ，４
１２Ｒにおいてこのエピポーララインを再構成して水平
な線に変換処理する。変換の方法として、ここでは図２
１に示すように射影変換により画像の再構成を行う。こ
れは、図２０に示す各々の撮像系５０２，６０２の回転
中心Ｏ_L，Ｏ_Rを中心に、仮想的に各々の撮像系５０２，
６０２の光軸５０１，６０１をそれぞれθ回転させて撮
像した場合（図２１の状態）の画像に変換するものであ
る。

【００５６】制御用ＣＰＵ４１１は、撮像系５０２，６
０２の各エンコーダからの検出信号によりイメージセン
サ５０３，６０３の面からレンズの後側主点までの距離
Ｓ’を求め、回転角情報検出手段１０５，２０５（図２
参照）からの信号と合わせて演算制御部４１２Ｌ，４１
２Ｒに信号を送る。

【００５７】変換後の座標位置ｘ’、ｙ’は、センサ面
からレンズの後側主点までの距離Ｓ’、輻輳角θ、およ
びセンサ面における座標ｘおよびｙの関数ｘ’＝ｇ_x （Ｓ’，θ，ｘ）（１）ｙ’＝ｇ_y （Ｓ’，θ，ｙ）（２）として求めることができるので、演算制御部４１２Ｒ，
４１２Ｌは、（１），（２）式により変換後の座標位置
を算出し、各々の画像メモリ５１１，６１１の映像信号
を変換処理する。図２４（ａ），（ｂ）は、図２２
（ａ），（ｂ）における画像５２０，６２０を演算制御
部４１２Ｒ，４１２Ｌにおいて変換したものを模式的に
示したものである。図２４（ａ），（ｂ）において、画
像６２１は図２２（ａ）の画像６２０を変換処理部４１
２Ｌで変換処理したものであり、画像５２１は図２２
（ｂ）の画像５２０を変換処理部４１２Ｒで変換処理し
たものである。図２４（ａ），（ｂ）の水平線ｈ_L ，ｈ
_R は、各々の画像６２１，５２１における再構成された
エピポーララインの一例である。

【００５８】演算制御部４１２Ｒ，４１２Ｌにおいて変
換された映像信号は、再び画像メモリ５１０，６１０に
書き込まれる。

【００５９】対応点検出部４１３は、エピポーラライン
の再構成された画像間で対応点の検出を行う。図２４
（ａ），（ｂ）に示したように各々のエピポーラライン
は、再構成され水平となっている。対応点は、検出誤差
等の影響が無視できるならば、同じ水平線、例えば図２
４（ａ），（ｂ）の水平線ｈ_L ，ｈ_R 上の映像信号間で
行えばよい。

【００６０】対応点の検出方法の１つとして、テンプレ
ートマッチング法がある。この方法は、右画像中のある
一点を囲むテンプレートを考え、そのテンプレートの画
像に対して、左画像中での類似性の比較によって対応点
を決定するものである。対応点検出部４１３において
は、（３）式で表されるようにテンプレートの画像中の
画素値と探索画像中の画素値との相互相関をとり、最大
値となった座標を対応点の座標とする。（３）式の相互
相関では、最大値は１となる。

【００６１】

【数３】（３）式において、Ｌ，Ｒはエピポーララインの再構成
された画像５２１，６２１の画素値であり、σ（ｘ’，
ｙ’）は相関の度合を示すものである。なお、ｘ’、
ｙ’は座標を示す。

【００６２】対応点検出部４１３は、画像６２１の各画
素値に対応する座標を画像５２１から前述の処理により
抽出し、その対応点の座標値を補正変換部４１４に送
る。補正変換部４１４では、対応点検出部４１３におい
て求めた画像６２１の各画素値に対応する画像５２１の
座標値を基に座標変換処理を施し、視線方向を変換す
る。

【００６３】前述したように各々の画像５２０，６２０
は、演算制御部４１２Ｒ，４１２Ｌにより図２１に示す
状態で撮像した系の画像５２１，６２１に変換されてい
る。図２１においてＫは基線長を表し、ｘ_R ’，ｘ_L ’
はそれぞれ被写体４０４上の物点Ｑに対する各々のイメ
ージセンサ５０３，６０３上における像点の座標を示
す。またＳ’は、レンズの後側主点からセンサ面までの
距離である。

【００６４】補正変換処理部４１４では、基線長Ｋ、対
応点の座標ｘ_R ’，ｘ_L ’、レンズの後側主点からセン
サ面までの距離Ｓ’より以下の演算を施し三角測量の原
理により対応点の３次元位置を算出する。

【００６５】ｘ₀ ＝−Ｋｘ_L ’／（ｘ_R ’−ｘ_L ’）ｙ₀ ＝−ＫＳ’／（ｘ_R ’−ｘ_L ’）なお、座標は、撮像光学系６０２のレンズ中心Ｏ_L を原
点とし、ｘ軸およびｙ軸を図２１のように設定するもの
とする。

【００６６】陰線処理部４１７は、補正変換処理部４１
４において求められた３次元位置情報を基オーバーラッ
プした領域の画像をに基線長Ｋの垂直２等分線Ｃ（視
線）の方向より撮像したがごとき画像に変換する。

【００６７】このとき、遠距離にある被写体から順次変
換処理し、画像メモリ７１１に書き込み、近距離にある
被写体は、順次上書きすることにより陰線処理を行うも
のとする。

【００６８】図２５（ａ），（ｂ），（ｃ）に、陰線処
理部４１７における処理の概略を示す。図において画像
７７０は最も遠距離にある第１の被写体４０１を含む被
写体面（図２１参照）を変換処理し、画像メモリ７１１
に書き込んだ画像の概略である。画像７７１は、被写体
４０３を変換処理したものを画像メモリ７１１に上書き
したものであり、画像７７２は、被写体４０４を変換処
理したものを画像メモリ７１１に上書きしたものであ
る。画像７７２は、画像メモリ７１１に書き込まれてい
る。

【００６９】画像相関処理部４１５は、エピポーラライ
ンの再構成された画像５２１，６２１とオーバーラップ
領域の画像を変換処理した画像７７２を読み込み、画像
７７２と画像５２１，６２１の間で相関演算を行う。相
関関数として次式に示す関数が用いられ、該関数で求め
た値が相関値として評価される。

【００７０】

【数４】ここでＡは画像７７２の画素値を表し、Ｒは画像５２１
の画素値を表す。同様の処理をＡとＬ（画像６２１の画
素値）の間でも行う。

【００７１】図２７に、相関値関数Ｉ’（ｘ₁ ）の演算
結果の一例を示す。相関値関数Ｉ’（ｘ₁ ）はｘ₁ の関
数であり、相関値曲線Ｒ₁ はｘ₁ ＝ａでピーク値をも
つ。

【００７２】図２６（ａ），（ｂ）は、画像相関処理部
４１５において求められた結果を基に、画像５２１，６
２１より合成処理に用いる画像領域を抽出したものであ
る。図２６（ａ），（ｂ）において、画像５２２（画像
５２１のハッチング部）および画像６２２（画像６２１
のハッチング部）は、合成処理に用いられる画像領域を
表す。

【００７３】画像合成処理部４１６は、画像７７２と画
像５２１および画像６２１間の相関処理の結果に基づ
き、画像５２１および画像６２１から画像７７２とオー
バーラップする領域を取り除き、合成処理に用いる画像
領域５２２，６２２を抽出する。そして、抽出した画像
５２２，６２２と、画像７７２を合成処理し、図２８に
示すように、アスペクト比の変換された画像７８０を生
成し出力する。

【００７４】次に、本発明の第４の実施例について説明
する。

【００７５】図２９（ａ），（ｂ），（ｃ）は、本発明
の可変アスペクト比画像出力可能な複眼撮像装置を用い
た第４の実施例において、複数の撮像系のなす合成画像
とそこからトリミング出力される可変アスペクト比画像
の関係を示したものである。本実施例においては、アス
ペクト比３：４のＣＣＤ撮像素子および各々に対応する
結像光学系からなる撮像系を２組用い、その光軸が同一
平面をなすように配置する。装置の詳細は後述する。図
２９（ａ）において、最大の画界をなす領域８０３（ア
スペクト比３：８）は、図２９（ｂ）に示す２組の各々
の撮像系に対応する２つの領域８０１，８０２（アスペ
クト比３：４）から合成される。図２９（ｃ）に示すよ
うに、撮影者によって入力、設定されるトリミング信号
（アスペクト比３：α）に基づいて出力画像領域８０４
が決定される。

【００７６】図３０は本実施例の複眼撮像装置の概略構
成図である。本実施例の複眼撮像装置は、右撮像系８１
０_R および左撮像系８１０_L の２つの撮像系を用いて被
写体を撮像して得られる２つの画像を並列して接続する
ことにより１つのパノラマ合成画像を得るものである。

【００７７】まず、左撮像系８１０_L について説明す
る。左撮像系８１０_L は、不図示の鏡筒内に組み込まれ
た結像光学系としての撮像レンズ群８１１_L と、この撮
像レンズ群８１１_L に装着された、被写体からの光を３
原色に分解するための色分解プリズム８１２_L と、色分
解プリズム８１２_L によって分解された光毎に設けられ
た撮像素子としての、それぞれ矩形の有効受光部をもつ
３つのＣＣＤセンサ８１３_L （１つのみを図示）とを有
する。撮像レンズ群８１１_L は、フォーカスモータ８１
４_L により駆動される合焦レンズ群８１５_L と、ズーム
モータ８１６_L により駆動される変倍レンズ群８１７_L
とを含む複数のレンズで構成され、各モータ８１４_L ，
８１６_L は光学系を制御する制御ユニット８２０内の全
系制御部８２１およびフォーカス・ズーム制御部８２２
からの制御信号に応じてそれぞれ駆動される。一方、右
撮像系８１０_R も左撮像系８１０_L と同様に構成されて
おり、右撮像系８１０_R のレンズ群８１１_R の光軸Ｌ_R
は、左撮像系８１０_L の撮像レンズ群８１１_L の光軸Ｌ
_L と同一平面上にある。

【００７８】また、各撮像レンズ群８１１_L ，８１１_R
が組み込まれた前記各鏡筒は、それぞれ制御ユニット８
２０の輻輳角制御部８２３からの制御信号に応じて駆動
される輻輳角モータ８１８_L ，８１８_R の回転軸に結合
されている。各輻輳角モータ８１８_L ，８１８_R の回転
軸は、それぞれ両撮像レンズ８１１_L ，８１１_R の光軸
Ｌ_L ，Ｌ_R を含む平面と垂直方向に延びており、各輻輳
角モータ８１８_L ，８１８_R を駆動させることにより、
各撮像レンズ群８１１_L ，８１１_R はそれぞれに設けら
れた色分解プリズム８１２_L ，８１２_R およびＣＣＤセ
ンサ８１３_L ，８１３_R と一体となって回転され、各撮
像レンズ群８１１_L ，８１１_R の光軸Ｌ _L ，Ｌ_R の互い
になす角（輻輳角）が設定される。また、各撮像系８１
０_L ，８１０_R には、各合焦レンズ群８１５_L ，８１５
_R の位置を検出するためのフォーカスエンコーダ８２４
_L ，８２４_R 、各変倍レンズ群８１７_L ，８１７_R の位
置を検出するためのズームエンコーダ８２５_L ，８２５
_R 、および輻輳角を検出するための輻輳角エンコーダ８
２６_L ，８２６_R が設けられている。これらは、例えば
ポテンショメータのような外付けの部材でもよいし、パ
ルスモータのような駆動系自身の持つ信号情報によりそ
れぞれの位置や角度を検出するものを用いてもよい。

【００７９】一方、各ＣＣＤセンサ８１３_L ，８１３_R
には、画像処理部８３０を介して画像出力部８４０が接
続されている。画像処理部８３０は、図３１に示すよう
に、各撮像系８１０_L ，８１０_R のＣＣＤセンサ８１３
_L ，８１３_R （図３０参照）からの画像信号であるビデ
オ信号をそれぞれ保持する左画像メモリ８３１_L および
右画像メモリ８３１_R からなる画像入力部８３２と、画
像入力部８３２にそれぞれ入力された各ビデオ信号によ
り得られる左右各画像に基づいて１つの合成画像を生成
するための画像変換部８３８と、画像変換部８３８で合
成された画像を保持し、画像出力部８４０に出力するた
めの合成画像メモリ８３６とを有する。画像変換部８３
５はさらに、画像入力部８３２に入力された両画像のう
ち両画像接続部近傍の画像信号に対して、対応点抽出を
し補間接続を行う対応点抽出・補間処理部８３３、およ
び制御ユニット８２０からのトリミング信号に基づいて
画像中のトリミング領域を判断するトリミング領域判定
部８３５からなる。また、制御ユニット８２０中の全系
制御部８２１には、電子トリミングモードに設定可能な
モード設定部８２１ａおよび、電子トリミングモード時
にトリミングパラメータを入力するトリミング情報入力
部８２１ｂが設けられ、ここで設定されたトリミング信
号が輻輳角制御部８２３および画像処理部８３０中のト
リミング領域判定部８３４に送られる。

【００８０】図３２は、図３０に示した複眼撮像装置の
光学系の主要部を、各撮像レンズ群８１１_L ，８１１_R
の光軸Ｌ_L ，Ｌ_R のなす平面に垂直な方向から見た図で
ある。ただし、説明を簡略にするために、各色分解プリ
ズム８１２_L ，８１２_R （図３０参照）部分は省略する
とともに、各ＣＣＤセンサ８１３_L ，８１３_R について
も左右それぞれ１つずつのみ示した。図３２に示すよう
に、右撮像系８１０_Rの撮像レンズ群８１１_R およびＣ
ＣＤセンサ８１３_R は合焦物体面８５０_R を有するとと
もに、撮像可能な領域がＣＣＤセンサ８１３_R の有効受
光部により直線８５１_R ，８５２_R とで挟まれる領域に
制限され、この合焦物体面８５０_R が端面８５１_R ，８
５２_R とそれぞれ交わる交線Ｂ_R から交線Ａまでの領域
が有効被写体領域となる。左撮像系８１０_L についても
同様に合焦物体面８５０_L の交線Ａから交線Ｂ_L までの
領域が有効被写体領域となっている。左右撮像系８１０
_L，８１０_R のフォーカスモータ８１４_L ，８１４_R
（図３０参照）およびズームモータ８１６_L ，８１６_R
（図３０参照）は、それぞれの合焦物体面８５０_L ，８
５０_R とＣＣＤセンサ８１３_L ，８１３_R との距離およ
び結像倍率が左右互いに等しくなるように制御され、か
つ各輻輳角モータ８１８_L ，８１８_R （図３０参照）は
各撮像系８１０_L ，８１０_R の有効被写体領域の端部が
互いに交線Ａで一致するように制御される。各モータ８
１４_L ，８１４_R ，８１６_L ，８１６_R，８１８_L ，８
１８_R の制御は各エンコーダ８２４_L ，８２４_R ，８２
５_L ，８２５_R ，８２６_L ，８２６_R （図３０参照）か
らの信号を受けた制御ユニット８２０（図３０参照）を
通じて行われる。特に輻輳角モータ８１８_L ，８１８_R
は、フォーカスエンコーダ８２４_L ，８２４_R およびズ
ームエンコーダ８２５_L ，８２５_R からの出力信号から
算出される合焦物体面８５０_L ，８５０_R の位置および
有効被写体領域の端部位置の信号に連動して制御され
る。

【００８１】次に、本実施例の複眼撮像装置での画像処
理手順について図３１を参照しつつ説明する。

【００８２】左右の撮像系８１０_L ，８１０_R で物体を
撮像すると、画像処理部８３０の画像入力部８３２に
は、画像情報が各撮像系８１０_L ，８１０_R 毎にビデオ
信号として入力され、それぞれの画像メモリ８３１_L ，
８３１_R に保持される。対応点抽出・補間部８３３にお
いて、画像メモリ８３１_L ，８３１_R の画像信号のう
ち、接続部近傍の画像データを用いて両画像の対応点抽
出を行い、補間パラメータを求める。

【００８３】制御ユニット８２０中のモード設定部８２
１ａでは、割り込み処理による電子トリミング専用のモ
ードスイッチを設けて行うか、あるいは他のモードとの
切替えスイッチを設けて行ってもよい。トリミング情報
入力部８２１ｂでは、アスペクト比を増加側および減少
側に連続可変な一組のスイッチを設けて行う。本実施例
において最小限必要なパラメータは図２９における設定
値αの値である。

【００８４】モード設定部８２１ａで電子トリミングモ
ードへの設定が行われると、トリミング情報入力部８２
１ｂでの設定値αとモード設定の時点における複眼撮像
系の入力画界パラメータ（合成画界の最大アスペクト
比）に基づいて画像切り出し領域を設定する。そして、
合成画像メモリ８３６上に出力合成画像を展開し、画像
出力部８４０で標準映像信号（ＮＴＳＣ等）に変換した
後出力する。

【００８５】一組の入力画像を合成する手法としては、
以下に記載する方法を用いることができる。この方法
は、例えば左画像中のある１点を囲むテンプレートを考
え、そのテンプレートの画像に対する右画像中での類似
性の比較によって対応点を決定するものであり、対応点
情報を用いて画像接続を行う。この方法は、水平および
垂直方向のレジストレーションを合わせるステップと、
倍率ずれを補正するステップに分けられる。

【００８６】まず、水平および垂直方向のレジストレー
ション合わせを行うための方法の一例を説明する。以下
の説明は両者に対して共通である。図３５を使用し画像
信号によりレジストレーションのずれを求める方法を説
明する。画像メモリ９７１，９８１は画像信号９７０，
９８０のオーバーラップ部分の信号を一時保存するもの
である。ただし、まず画像データは輻輳角のずれのため
画像のレジストレーションは一致していないものとす
る。９５０は水平方向の画像シフト処理部であり例え
ば、水平方向に画像メモリ９７１の座標を一定量Ｘ（例
えば１画素）シフトさせ、シフト後の画像データを画像
メモリ９７２に書き込む。さらに画像メモリ９７２と画
像メモリ９８１との差δｓを減算処理回路等を含む相関
演算処理回路９５１を用い、シフト量Ｘを逐次変えて演
算を行い、差δｓが最小値となるシフト量Ｘ₀ を求める
制御を行う。このとき、差δｓとシフト量Ｘの関係を関
数近似すること等により補間演算処理によってシフト量
Ｘ₀ を求め補正信号９４０とする。

【００８７】次に、倍率ずれを補正する方法の一例を説
明する。

【００８８】倍率相関演算処理の一つの方法としては、
図３６に示すような方法がある。すなわち倍率演算処理
部９５９にて画像メモリ９７１の座標を、画面中心から
の距離に比例した定数ｋを掛けて座標変換した後画像メ
モリ９７２に書き込む。次に画像メモリ９７２と画像メ
モリ９８１との差δｍを減算処理回路９５０を用いて求
める。定数ｋを逐次変えて上述の減算演算を行い、差δ
ｍが最小値となる定数ｋ₀ を求める。この信号の流れを
図３６に示す。この定数ｋ₀ は一方の撮像光学系に対す
る他方の撮像光学系の結像倍率の比を表し、これを補正
信号９４２とする。

【００８９】このようにして、各々の撮像系から出力さ
れる画像信号９７０，９８０のレジストレーション倍率
のずれ量を各アクチュエータにより機械的に所定値（許
容値）以下に補正した後、画像信号９７０，９８０をオ
ーバーラップ部分の画像のつなぎ処理した後、例えば画
像メモリ９７１，９８１と加算処理回路９５４等を用い
て２つの画像信号を１つの画像信号９４１に合成でき
る。この信号の流れを図３７に示す。

【００９０】以上示した本実施例により、実際の画界を
狭めることなく、アスペクト比の大きい（本実施例では
横長の３：８）合成画像を常に出力できる複眼撮像装置
をなすとともに、撮影者の意図するアスペクト比での合
成画像出力も瞬時に行うことのできる複眼撮像装置を提
供できる。

【００９１】図３３は本発明の第５の実施例の画像処理
部８３０および制御ユニット９２０の構成を示したもの
である。第４の実施例と同等の部分については同じ番号
を付した。また、複眼撮像装置の基本的な構成は図３０
に示したものと同じである。第４実施例の制御ユニット
８２０に相当する制御ユニット９２０内の全系制御部９
２１には、以下に説明するハイブリッドトリミングモー
ドに設定可能なモード設定部９２１ａ、および本モード
設定時にトリミングパラメータの入力を行うトリミング
情報入力部９１２ｂが設けられている。

【００９２】ここに言うハイブリッドトリミングモード
は以下の２つの処理フローからなる。（処理１）第１実施例と同等の電子トリミング（ただ
し、垂直方向もトリミング）（処理２）光学トリミング状態への遷移（１）電子トリミングモード終了時のパラメータ保持（２）光学パラメータを光学トリミング時の最終値に向
けて変化させる。このとき、トリミング範囲を保持する
ように電子トリミングパラメータで補償。図３４は、本
実施例において左右撮像系８１０_L ，８１０_R からの入
力画像とそこからトリミング出力される可変アスペクト
比出力画像の関係を示したものである。通常モードで
は、左右各撮像系８１０_L ，８１０_R に対応するアスペ
クト比３：４のＣＣＤセンサ８１３_L ，８１３_R からの
入力画像８０１，８０２は水平方向で並列合成されてア
スペクト比３：８の合成出力画像８０３となる（図３４
（ａ），（ｂ））。図３４中のモード設定部９２１ａで
ハイブリッドトリミングモードが選択されると、まず第
１の処理フローでアスペクト比３：α、垂直トリミング
比β（垂直方向の最大幅を１とする）の画像トリミング
が行われ、出力画像８０５となる（図３４（ｃ））。こ
こまでが処理１に対応する部分である。引き続き第２の
処理フローでは、この電子トリミング状態から同じトリ
ミング範囲を維持しつつ、光学パラメータ（撮像レンズ
群８１１_R の焦点距離および輻輳角）をＣＣＤセンサの
有効受光部上にトリミング範囲が最も大きい結像倍率で
結像される光学パラメータに向けて連続的に変えていく
（図３４（ｃ）→（ｄ））。図３４（ｄ）において、２
本の破線は図３４（ｃ）の出力画像８０５の縦線に対応
する。光学パラメータ変化時に処理１時点でのトリミン
グ範囲を維持するために、上記光学パラメータから算出
される左右撮像系の入力画像範囲に基づいて、トリミン
グパラメータが全系制御部９２１からトリミング領域判
定部８３４へ送られ、トリミング画像合成が行われる
（図３４（ｅ））。

【００９３】以上示した本実施例により、第４の実施例
の有する効果に加え、撮影者の意図に従った瞬時のトリ
ミング画像出力と本複眼撮像装置で可能な最も高精細の
トリミング画像出力への漸近的変換を組み合せて用いる
ことができる。したがって、従来のように解像力の落ち
たトリミング画像が出力され続け画質を落とすことを防
止できる。特に本実施例のように複眼撮像装置において
本機能を備えることにより、アスペクト比の大きくなる
パノラマ画像でのアスペクト比可変時に大きな効果を発
揮できる。

【００９４】以上の実施例においてはトリミングモード
選択前の状態をアスペクト比３：８となる光学系配置で
説明したが、本発明はこの状態に限定されるわけではな
く、初期状態においてアスペクト比３：８以外の光学ト
リミング状態であっても本発明の効果は失われない。

【００９５】また、以上の実施例では左右撮像系の合焦
物体面が同一平行上に配置されず、また台形歪みのため
に画像接続部に若干の幾何学的歪みが生じる。したがっ
て、左右撮像系のＣＣＤセンサの受光平面を各々の光軸
に対して所定角傾けて配置することにより、合焦物体面
を同一平面上に配置し、かつ幾何学的歪みについては入
力画像に対して歪み補正処理を行うこともできる。

【００９６】また、以上の実施例では初期状態におい
て、両撮像系の合焦物体面の端部が一致するように配置
したが、機構制御系の誤差発生を吸収するために、上記
合焦物体面の端部を一部重ねて配置し、重畳部での画像
対応付けを行い、それに基づいて合成処理を行うことも
できる。

【００９７】また、これまでの実施例では２つの撮像系
からなる複眼撮像系について示したが３つ以上の場合も
もちろん構成可能である。撮像素子についてはＣＣＤ以
外の例えば撮像管等を用いたものでもよく、また色分解
系を除去して受光部にモザイク上のカラーフィルタを配
した撮像素子を用いることもできる。さらに撮像素子に
ついていえば、そのアスペクト比は３：４に限定される
ものでないことはいうまでもない。

【００９８】

【発明の効果】任意のアスペクト比の画像が得られる撮
像装置を提供できる。さらに合成処理を行う際に、一方
の映像信号を基準として他方をつなぎ合わせているた
め、特に比較的アスペクト比が小さい場合、境界線は画
面の周辺部に位置することとなり画面中心部領域におい
ては画質劣化のない画像が提供できる。

【００９９】さらに合成処理を行う際に、オーバーラッ
プ部の２重像を取り除くために、画像の３次元位置情報
を求め、視線変換後合成処理することによりオーバーラ
ップ部においても高画質の画像が提供できる。

【０１００】本発明により、実際の画界を狭めることな
く、アスペクト比の大きい合成画像を常に出力できる複
眼撮像装置をなすとともに、撮影者の意図するアスペク
ト比での合成画像出力も瞬時に行うことのできる複眼撮
像装置を提供できる。さらに、撮影者の意図にしたがっ
た瞬時のトリミング画像出力と本複眼撮像装置で可能な
最も高精細のトリミング画像出力への漸近的変換を組み
合せることにより、トリミング画像合成において解像力
の落ちた画像が出力され続け画質を落とすことを防止で
きる。

【図面の簡単な説明】

【図１】本発明に係る複眼撮像系の第１の実施例の基本
配置を示す図である。

【図２】第１の実施例に係る複眼撮像系の基本構成を示
す図である。

【図３】第１の実施例のアスペクト比変換処理部１０を
示す構成図である。

【図４】第１の実施例に係る複眼撮像系の配置例を示す
図である。

【図５】（ａ），（ｂ）は各々の画像における焦点検出
枠の概略を説明するための図である。

【図６】（ａ），（ｂ）はエッジ幅検出方式の概略を説
明するための図である。

【図７】複眼撮像系の結像関係の概略を示す図である。

【図８】（ａ），（ｂ），（ｃ）は相関演算領域の概略
を示す図である。

【図９】（ａ），（ｂ）は相関演算処理の概略を示す図
である。

【図１０】合成処理の概略を説明するための図である。

【図１１】（ａ），（ｂ），（ｃ）は合成処理部におけ
るシームレス処理の概略を説明するための図である。

【図１２】相関関数を説明するための図である。

【図１３】（ａ），（ｂ）は平滑化処理の概略を説明す
るための図である。

【図１４】本発明の第２の実施例のアスペクト比変換処
理部１２を示す構成図である。

【図１５】第２の実施例の相関関数の概略を説明するた
めの図である。

【図１６】第２の実施例の相関演算処理の概略を説明す
るための図である。

【図１７】画像合成領域の概略を示す図である。

【図１８】本発明の第３の実施例に係る複眼撮像系の基
本配置を示す図である。

【図１９】第３の実施例のアスペクト比変換処理部４１
０を示す構成図である。

【図２０】第３の実施例に係る複眼撮像系の配置例を示
す図である。

【図２１】エピポーララインの再構成の原理概略を説明
するための図である。

【図２２】（ａ），（ｂ）は第３の実施例に係る複眼撮
像系により得られる画像を模式的に示した図である。

【図２３】エピポーララインの概略説明図である。

【図２４】（ａ），（ｂ）は図２２（ａ），（ｂ）の画
像に対しエピポーララインの再構成処理を行った画像の
模式図である。

【図２５】（ａ），（ｂ），（ｃ）は陰線処理の概略を
説明するための図である。

【図２６】（ａ），（ｂ）は合成処理の概略を説明する
ための図である。

【図２７】相関値曲線の一例を示すグラフである。

【図２８】合成処理された画像を模式的に示す図であ
る。

【図２９】本発明の第３の実施例の複眼撮像装置におけ
る可変アスペクト比画像出力を説明するための図であ
る。

【図３０】第３の実施例の複眼撮像装置の主要構成部を
示す図である。

【図３１】第３の実施例に係る画像処理部および制御ユ
ニットのブロック図である。

【図３２】第３の実施例の光学系配置の概略図である。

【図３３】本発明の第４の実施例に係る画像処理部およ
び制御ユニットのブロック図である。

【図３４】第４の実施例での可変アスペクト比画像出力
を説明するための図である。

【図３５】レジストレーションのずれを求めるための構
成例を示す図である。

【図３６】倍率相関演算処理のための構成例を示す図で
ある。

【図３７】画像接続における信号の流れを示す図であ
る。

【符号の説明】

１，２，３被写体１０，１２アスペクト比変換処理部１１制御用ＣＰＵ１３Ｌ，１３Ｒ焦点検出回路１４Ｒ補間処理部１５画像相関処理部１６画像合成処理部１７演算処理部１０１，２０１光軸１０２，２０２撮像光学系１０２ａ，１０２ｂ，１０２ｃ，１０２ｄレンズ群２０２ａ，２０２ｂ，２０２ｃ，２０２ｄレンズ群１０３，２０３イメージセンサ１０４，２０４輻輳角モータ１０５，２０５角度エンコーダ１０６，２０６ズームモータ１０７，２０７フォーカスモータ１０８，２０８ズームエンコーダ１０９，２０９フォーカスエンコーダ１１０，２１０Ａ／Ｄ変換器１１１，２１１画像メモリ４０１．４０２，４０３，４０４，４０５被写体４１１制御用ＣＰＵ４１２Ｌ，４１２Ｒ演算処理部４１３対応点検出部４１４補正変換処理部４１５画像相関処理部４１６画像合成処理部４１７陰線処理部５０１，６０１光軸５０２，６０２撮像光学系５０３，６０３イメージセンサ５１０，６１０Ａ／Ｄ変換器５１１，６１１，７１１画像メモリ８１０_L 右撮像系８１０_R 左撮像系８１１_L ，８１１_R 撮像レンズ群８１２_L ，８１２_R 色分解プリズム８１３_L ，８１３_R ＣＣＤセンサ８１４_L ，８１４_R フォーカスモータ８１５_L ，８１５_R 合焦レンズ群８１６_L ，８１６_R ズームモータ８１７_L ，８１８_R 変倍レンズ群８１８_L ，８１８_R 輻輳角モータ８２０，９２０制御ユニット８２１，９２１全系制御部８２１ａ，９２１ａモード設定部８２１ｂ，９２１ｂトリミング情報入力部８２２フォーカス・ズーム制御部８２３輻輳角制御部８２４_L ，８２４_R フォーカスエンコーダ８２５_L ，８２５_R ズームエンコーダ８２６_L ，８２６_R 輻輳角エンコーダ８３０画像処理部８３１_L 左画像メモリ８３１_R 右画像メモリ８３２画像入力部８３３対応点抽出・補間部８３４トリミング領域判定部８３５画像変換部８３６合成画像メモリ８４０画像出力部８５０_L ，８５０_R 合焦物体面

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平６−141237（ＪＰ，Ａ) 特開平７−133207（ＪＰ，Ａ) 特開平６−6680（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 5/232 H04N 5/265 H04N 7/18

Claims

(57)【特許請求の範囲】

【請求項１】複数の撮像系を制御して画界をオーバー
ラップして撮像する複眼撮像装置において、前記複数の撮像系により得られる画像信号から相関演算
を行う画像相関処理手段と、前記画像相関処理手段により相関演算が行われた画像信
号より一方の画像を基準として他方の画像をつなぎ合わ
せる合成処理手段とを有することを特徴とする複眼撮像
装置。
【請求項２】複数の撮像系を制御して画界をオーバー
ラップしてアスペクト比可変で撮像する複眼撮像装置に
おいて、前記複数の撮像系から出力されるオーバーラップ部分の
画像信号により、前記オーバーラップ部分の画像の対応
点を検出する対応点検出手段と、該対応点検出手段から出力される検出信号を基に、前記
複数の撮像系から出力される画像信号を補正する補正変
換処理手段と、前記補正変換処理手段により補正された画像信号から相
関関係を検出する画像相関処理手段と、前記画像相関処理手段が検出した相関関係により前記複
数の撮像系から出力される画像信号を１つの画像信号に
変換処理する画像合成処理手段とを有することを特徴と
する複眼撮像装置。
【請求項３】複数の結像光学系と、該結像光学系の各
々に対応した撮像素子からなる複数の撮像系を有し、前
記撮像素子の各々から出力された画像信号を用いて合成
画像を生成する複眼撮像装置において、前記各々の撮像系のなす画界が他の画界の少なくとも１
つと接するかあるいは一部分重なった状態に保持される
ように前記各々の撮像系が設定され、前記各々の撮像系から出力された画像信号を各々保持す
る複数の画像入力手段と、アスペクト比指定値を含んだ画像トリミング信号を入力
する全系制御手段と、前記画像入力手段に保持される画像信号および前記全系
制御手段により入力される画像トリミング信号に基づい
て、アスペクト比可変な画像を出力生成する画像変換手
段とを有することを特徴とする複眼撮像装置。
【請求項４】請求項３記載の複眼撮像装置において、
前記画像変換手段が画像出力を行った後、前記全系制御
手段に入力されるアスペクト比指定値に対応した画像ト
リミング領域を保持しつつ、前記複数の撮像系の光学パ
ラメータを変化させる制御手段を有することを特徴とす
る複眼撮像装置。
【請求項５】請求項４記載の複眼撮像装置において、
前記光学パラメータは前記複数の撮像系の焦点距離およ
び前記複数の撮像系の輻輳角であることを特徴とする複
眼撮像装置。
【請求項６】請求項４記載の複眼撮像装置において、
前記複数の撮像系の光軸は１つの平面に平行な方向に変
化する系であって、前記光学パラメータの変化後の最終
指定値は、前記複数の撮像系の受光部の、前記１つの平
面に垂直な垂直有効幅と前記画像トリミング領域の垂直
有効幅が一致することを特徴とする複眼撮像装置。