JPH07212642A - 画像合成方法および該方法を用いた複眼撮像装置 - Google Patents

Abstract

(57)【要約】 【目的】 画質劣化が少なく任意のアスペクト比のパノ
ラマ画像を迅速に得ることのできる複眼撮像装置を実現
すること。 【構成】 複数の撮像系を用いて画界の一部をオーバー
ラップさせて共通の被写体を撮像して得られた画像信号
を合成して１つの画像信号を作成する画像合成方法にお
いて、前記複数の撮像系からの視点の位置ずれ量と光軸
の輻輳角とで視点位置と光軸の方向とが定義される撮像
系から任意の物体距離および結像倍率で定義される状態
で出力される一つの画像信号になるように、前記複数の
撮像系から出力される複数の画像信号を合成変換する画
像合成変換手段を備え、前記画像合成変換手段は、画界
がオーバーラップする領域については合成処理後の画像
領域に基づいて合成処理前の複数の画像信号のうちの一
つを選択し内挿処理を行って画像合成を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複眼撮像装置に関し、
特に複数の画像を合成して任意のアスペクト比のパノラ
マ画像を提供する複眼撮像装置に関する。

【０００２】

【従来の技術】従来、テレビジョン画面のアスペクト比
を変換するアスペクト比変換方式としては、出力時に画
面の上下または左右をトリミングするアスペクト比変換
方式が知られており、たとえばＮＴＳＣ方式のテレビジ
ョン画面のアスペクト比（４対３）をＨＤ方式またはＥ
Ｄ２方式のテレビジョン画面のアスペクト比（１６対
９）に変換する際に用いられている。

【０００３】これらのアスペクト比変換方式は、撮像し
た画像の一部を用いる方式であるため、特に、アスペク
ト比が４対３のイメージセンサを用いたＮＴＳＣカメラ
で被写体を撮像して、アスペクト比が４対３のＮＴＳＣ
用のモニタにその画像を出力する場合には、画質上の問
題は生じないが、水平画角が１／３ほど減少するという
問題点がある。

【０００４】一方、複数の撮像系を用いて共通の被写体
を撮像して得られる複数の画像のオーバーラップ領域を
合成することにより一つの高精細な画像を得る複眼撮像
装置が、画像電子学会予稿９０−０３−０４，ｐ２３〜
２８などに提案されている。また、複数の画像を入力し
て座標変換処理を行った各画像を合成することにより画
界の広い画像を出力する複眼撮像装置が、特開平５−１
１０９２６号公報などに提案されている。

【０００５】このような複眼撮像装置および複眼撮像装
置を応用することにより、複数の撮像系を用いて画界の
一部をオーバーラップさせて共通の被写体を撮像して得
られる複数の画像を合成して、任意のアスペクト比の一
つの画像を作成する複眼撮像装置を構成することができ
る。すなわち、図７に示す複眼撮像装置のように、２つ
の撮像系（左側撮像系１１０_Lおよび右側撮像系１１
０_R）を用いて、画界の一部をオーバーラップさせて共
通の被写体１０１を撮像したのち、左側撮像系１１０_L
で得られる左側画像Ｐ_Lと右側撮像系１１０_Rで得られる
右側画像Ｐ_Rとを中央処理装置（ＣＰＵ）１２０で合成
することにより、任意のアスペクト比の一つの画像Ｐ
_L+Rを作成することができる。

【０００６】しかしながら、上記従来例においても所定
のアスペクト比の画像を得る方法は示されておらず、合
成後の画像をトリミングする方式を適用すると画質的な
劣化が生じる。

【０００７】上述の問題点を解決するために本出願人は
特願平５−２２３５４４号の「複眼撮像装置」にて、複
数の撮像系を用いて画界の一部をオーバーラップして撮
像する装置において、上記各撮像系から出力される複数
の画像信号を視点位置と光軸の方向が上記各撮像系から
の視点の位置ずれ量と光軸の輻輳角で定義される撮像系
から任意の物体距離、結像倍率で定義される状態で出力
される一つの画像信号になるよう合成変換する撮像装置
を提供し、画質劣化が少なく、しかも、輻輳の際に生じ
た歪みが補正された画像を得る方法を示した。

【０００８】以下、上記従来例について簡単に説明す
る。図８は上記従来例の基本配置を示す図であり、右側
撮像系８１０_R、左側撮像系８１０_Lの２組の撮像系によ
り構成されている。

【０００９】図中１は共通の被写体平面、第１および第
２の撮像光学系である左側撮像光学系８１１_Lおよび右
側撮像光学系８１１_Rは等価な仕様を有する撮像光学系
であり、一般的にはズームレンズが用いられる。８１２
_Lおよび８１２_Rは同様に等価な仕様を有する右側および
左側イメージセンサであり、サチコン等の撮像管または
ＣＣＤ等の固体撮像素子が用いられる。これらの光軸Ｌ
_Lおよび光軸Ｌ_Rは、選定したアスペクト比の画面に応じ
て各々の撮像画界の所定量がオーバーラップする条件を
満たすよう、被写体面８０１の法線Ｏ−Ｏ’に対して対
称にθほど傾斜した状態に配置する（但し、点Ｏは被写
体面１上の点）。なお、２θを輻輳角と呼ぶ。また、８
０２_Lおよび８０２_Rはそれぞれ各イメージセンサ８１２
_Lおよび８１２_Rに共役な物体面で、被写体平面１に対し
てそれぞれθ傾いている。点Ｏ_LおよびＯ_Rはそれぞれ光
軸Ｌ_LおよびＬ_Rと被写体平面１との交点であり、点Ｃ_L
およびＣ_Rはそれぞれの撮像光学系８１１_Lおよび８１１
_Rの主点（詳しくは被写体側の主点）である。それぞれ
の撮像光学系８１１_Lおよび８１１_Rには、変倍群および
合焦群があり、これらを駆動する駆動系、光軸方向の位
置情報を得るためのエンコーダが設けられている。ま
た、撮像系を光軸を含む平面内で回転する機構系、駆動
系、回転角を検出するエンコーダがそれぞれの撮像系に
設けられている。そして所定のアスペクト比の画像が得
られるよう輻輳角制御系がそれぞれのエンコーダの出力
信号に応じた輻輳角の制御目標値を設定し、輻輳制御を
行っている。

【００１０】以下輻輳角の制御目標値の決定方法につい
て図８、図９を用いて説明する。

【００１１】図８に示した左側撮像光学系８１１_Lおよ
び右側撮像光学系８１１_Rの結像倍率をβとし、物体距
離（点Ｏ_Lと点Ｃ_Lとの間の距離および点Ｏ_Rと点Ｃ_Rとの
間の距離）をｚとし、点Ｃ_Lと点Ｃ_Rとの距離（基線長）
を２ｄとする。このとき、被写体平面１から距離ｚ’だ
け点Ｏ’側に離れた法線Ｏ−Ｏ’上の点に視点をとり、
その視点での仮想的な結像倍率がβ’となるように、仮
想的な像面（すなわち、視点と像面との距離がβ’
ｚ’）をとった場合、左側イメージセンサ８１２_Lの像
面Ｉ_Lと右側イメージセンサ８１２_Rの像面Ｉ_Rとが合成
された仮想像面Ｉ_L+Rは、図９に示すものとなる。

【００１２】図９において、点Ａ_L，点Ｂ_L，点Ｃ_Lおよ
びＤ_Lはそれぞれ、左側イメージセンサ１２_Lの像面Ｉ_L
の対角上の点を示し、仮想像面Ｉ_L+R上の点Ａ_L’，点Ｂ
_L’，点Ｃ_L’およびＤ_L’に対応する。また、点Ａ_R，点
Ｂ_R，点Ｃ_RおよびＤ_Rはそれぞれ、右側イメージセンサ
８１２_Rの像面Ｉ_Rの対角上の点を示し、仮想像面Ｉ_L+R
上の点Ａ_R’，点Ｂ_R’，点Ｃ_R’およびＤ_R’に対応す
る。さらに、点Ｅ_Lおよび点Ｆ_Lはそれぞれ、左側イメー
ジセンサ８１２_Lの像面Ｉ_L上のオーバーラップの中心と
なる上下辺上の点を示し、点Ｅ_Rおよび点Ｆ_Rはそれぞ
れ、右側イメージセンサ８１２_Rの像面Ｉ_R上のオーバー
ラップの中心となる上下辺上の点を示す。ここで、点Ｅ
_Lおよび点Ｅ_Rはともに、仮想像面Ｉ_L+R上の点Ｅ’に対
応し、点Ｆ_Lおよび点Ｆ_Rはともに、仮想像面Ｉ_L+R上の
点Ｆ’に対応する。

【００１３】各像面Ｉ_L，Ｉ_Rの中心を原点とするととも
に、図９中の水平方向をｘ軸および図示垂直方向をｙ軸
として、各像面Ｉ_L，Ｉ_Rでの座標系を定義すると、右側
イメージセンサ８１２_Rの像面Ｉ_R上の像点（ｘ_R，ｙ_R）
は、仮想像面Ｉ_L+R上では、（１）式および（２）式で
表わされる像点（ｘ_R’，ｙ_R’）に対応する。

【００１４】

【数１】 ｘ_R'＝｛（ｘ_Rcosθ＋βｚsinθ＋βｄ）／（ｘ_Rsinθ＋βｚ'）｝×β'ｚ' ・・・・・・（１） ｙ_R'＝｛ｙ_R ／（−ｘ_Rsinθ＋βｚ'）｝×β'ｚ' ・・・・・・（２） また、左側イメージセンサ８１２_Lの像面Ｉ_L上の像点
（ｘ_L，ｙ_L）は、仮想像面Ｉ_L+R上では、（３）式およ
び（４）式で表わされる像点（ｘ_L’，ｙ_L’）に対応す
る。

【００１５】

【数２】 ｘ_L'＝｛（ｘ_Lcosθ−βｚsinθ−βｄ）／（ｘ_Lsinθ＋βｚ'）｝×β'ｚ' ・・・・・・（３） ｙ_L'＝｛ｙ_L ／（ｘ_Lsinθ＋βｚ'）｝×β'ｚ' ・・・・・・（４） したがって、上記（１）式〜（４）式に示すような幾何
変換処理を施すことにより、輻輳が生じる複数のイメー
ジセンサ上の画像を一つの仮想像面上の画像に合成でき
るので、このような幾何変換処理を行う画像合成変換処
理部（不図示）を設けることにより、輻輳によって生じ
る歪みが補正された画像を得ることができる。

【００１６】しかしながら、上記従来例においては画像
合成変換手段における具体的な画像を合成する方法は示
されていなかった。

【００１７】このような実際の像面上の座標と仮想像面
上の座標との関係が（１）〜（４）式のような幾何変換
で与えられているとき、画像合成を行う一般的な手法の
一つとして書き込みアドレス制御による画像合成処理方
法がある。このアルゴリズムの例を図１０に示す。

【００１８】まず、ステップＳ６０１で仮想像面上の画
素座標を設定する。そして、ステップＳ６０２、ステッ
プＳ６０３でそれぞれ第１および第２のイメージセンサ
の像面上の座標を（１）〜（４）式の逆変換により求め
る。すなわち、仮想像面上の座標を（ｘ’，ｙ’）とす
ると第１および第２のイメージセンサの像面上の座標
（ｘ_R，ｙ_R）、（ｘ_L，ｙ_L）は以下の（５）〜（８）式
により求まる。

【００１９】

【数３】 ｘ_R＝｛（ｘ'cosθ−β'ｚ'sinθ−β'ｄ）／（ｘ'sinθ＋β'ｚ）｝×βｚ ・・・・・・（５） ｙ_R＝｛ｙ' ／（−ｘ'sinθ＋β'ｚ）｝×βｚ ・・・・・・（６） ｘ_L＝｛（ｘ'cosθ＋β'ｚ'sinθ＋β'ｄ）／（ｘ'sinθ＋β'ｚ）｝×βｚ ・・・・・・（７） ｙ_L＝｛ｙ' ／（−ｘ'sinθ＋β'ｚ）｝×βｚ ・・・・・・（８） 次に、ステップＳ６０４で、ステップＳ６０２で求めた
第１のイメージセンサの像面上の座標（ｘ_R，ｙ_R）が第
１のイメージセンサの画像領域内かどうかを調べる。画
像領域内であれば、ステップＳ６０５で第１のイメージ
センサの画像から内挿により座標（ｘ_L，ｙ_L）の画素値
を求める。内挿の方法としては一般的に最近傍画素割
当、双線形補間、キュービックコンボリューションなど
が知られており、いずれの方法を用いても良い。

【００２０】さらに、ステップＳ６６１でステップＳ６
０３で求めた第２のイメージセンサの像面上の座標（ｘ
_L，ｙ_L）が第２のイメージセンサの画像領域内かどうか
を調べる。画像領域内であれば、ステップＳ６７１で第
２のイメージセンサの画像から内挿により座標（ｘ_L，
ｙ_L）の画素値を求め、ステップＳ６８１でステップＳ
６０５とステップＳ６７１で求めた画素値の平均値を仮
想像面上の座標（ｘ’，ｙ’）の画素値とする。

【００２１】ステップＳ６６１で第２のイメージセンサ
の像面上の座標（ｘ_L，ｙ_L）が画像領域内でないことが
確認された場合には、第２のイメージセンサの画像から
内挿することはできないので、ステップＳ６８２でステ
ップＳ６０５で求めた値を仮想像面上の座標（ｘ’，
ｙ’）の画素値とする。ステップＳ６０４において第１
のイメージセンサの像面上の座標（ｘ_R，ｙ_R）が領域内
でなければ、次にステップＳ６６２でステップＳ６０３
で求めた第２のイメージセンサの像面上の座標（ｘ_L，
ｙ_L）が第２のイメージセンサの画像領域内かどうかを
調べる。この処理はステップＳ６６１での処理と同じ処
理である。画像領域内であれば、ステップＳ６７２で第
２のイメージセンサの画像から内挿により座標（ｘ_L，
ｙ_L）の画素値を求め、ステップＳ６８３でステップＳ
６７２で求めた画素値を仮想像面上の座標（ｘ’，
ｙ’）の画素値とする。ステップＳ６７２の処理はステ
ップＳ６７１での処理と同じ処理である。ステップＳ６
６２で第２のイメージセンサの像面上の座標（ｘ_L，
ｙ_L）が領域内でなければ、ステップＳ６８４で仮想像
面上の座標（ｘ’，ｙ’）の画素値を０とする。

【００２２】以上のようにしてステップＳ６８１、ステ
ップＳ６８２、ステップＳ６８３、ステップＳ６８４の
いずれかで（５）〜（８）式の逆変換で求めた座標がイ
メージセンサの画像領域内かにより画素値を求めた後、
ステップＳ６０９で仮想像面上の全ての画素座標で値が
求まったかを調べ、全領域で処理が終了したならば、処
理を終了する。そうでなければ新たに仮想像面上の画素
座標を更新し、ステップＳ６０１に戻って処理を繰り返
す。

【００２３】

【発明が解決しようとする課題】上述したような画像合
成を行った場合、特に第１および第２のイメージセンサ
の像面上のオーバーラップの領域において、さらに画質
向上を狙う場合に問題点が生じる。すなわち、図８のよ
うにそれぞれの撮像系の物体面８０２_L、８０２_Rが被写
体平面１に対して傾いているときにはイメージセンサの
画像の領域によって、拡大、縮小効果による画質の差が
生じる。

【００２４】例えば、図９のＥ’、Ｆ’、Ｃ_L’、Ａ_L’
で囲まれる領域Ｉでは画像合成時に第１のイメージセン
サの画像から変換する画像の方が第２のイメージセンサ
の画像から変換する画像よりも縮小の度合いが大きいの
で明らかに前者の方が画質が良く、以上説明したような
画像合成では第１のイメージセンサの画像から内挿した
値と第２のイメージセンサの画像から内挿した値を平均
しているので画質が本来得られるものよりも劣化してし
まうという問題点がある。

【００２５】また、オーバーラップ領域では両方の画像
から二重に内挿を行っているので処理時間が不必要な時
間がかかり処理が遅くなるという問題点がある。

【００２６】本発明は上述したような従来の技術が有す
る問題点に鑑みてなされたものであって、画質劣化が少
なく任意のアスペクト比のパノラマ画像を迅速に得るこ
とのできる複眼撮像装置を実現することを目的とする。

【００２７】

【課題を解決するための手段】本発明の画像合成方法
は、複数の撮像系を用いて画界の一部をオーバーラップ
させて共通の被写体を撮像して得られた画像信号を合成
して１つの画像信号を作成する画像合成方法において、
前記複数の撮像系からの視点の位置ずれ量と光軸の輻輳
角とで視点位置と光軸の方向とが定義される撮像系から
任意の物体距離および結像倍率で定義される状態で出力
される一つの画像信号になるように、前記複数の撮像系
から出力される複数の画像信号を合成変換する画像合成
変換手段を備え、前記画像合成変換手段は、画界がオー
バーラップする領域については合成処理後の画像領域に
基づいて合成処理前の複数の画像信号のうちの一つを選
択し内挿処理を行って画像合成を行うことを特徴とす
る。

【００２８】この場合、画像合成変換手段は、画界がオ
ーバーラップする領域については合成処理後の画像領域
で最も縮小の度合が大きくなる画像信号を選択するもの
としてもよい。

【００２９】本発明の複眼撮像装置は、複数の撮像系を
用いて画界の一部をオーバーラップさせて共通の被写体
を撮像して得られた画像信号を合成して１つの画像信号
を作成する複眼撮像装置において、前記複数の撮像系か
らの視点の位置ずれ量と光軸の輻輳角とで視点位置と光
軸の方向とが定義される撮像系から任意の物体距離およ
び結像倍率で定義される状態で出力される一つの画像信
号になるように、前記複数の撮像系から出力される複数
の画像信号を合成変換する画像合成変換処理部を備え、
前記画像合成変換処理部は、画界がオーバーラップする
領域については合成処理後の画像領域に基づいて合成処
理前の複数の画像信号のうちの一つを選択し内挿処理を
行って画像合成を行うことを特徴とする。

【００３０】この場合、画像合成変換処理部は、画界が
オーバーラップする領域については合成処理後の画像領
域で最も縮小の度合が大きくなる画像信号を選択しても
よい。

【００３１】

【作用】本発明においては、画界がオーバーラップする
領域について内挿処理を行う場合には、合成処理後の画
像領域に基づいて合成処理前の複数の画像信号のうちの
一つを選択して内挿処理を行うので、処理時間が短くな
る。

【００３２】画像信号の選択の際に、合成処理後の画像
領域で最も縮小の度合が大きくなる画像信号を選択する
場合には、縮小の度合が小さな画像信号と平均化されな
いので、画質劣化が生じないものとなる。

【００３３】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００３４】図１は、本発明の複眼撮像装置の一実施例
における撮像系の基本配置を示す図である。

【００３５】本実施例は基本的には本出願人による特願
平５−２２３５４４号に記載されたものと同様の複眼撮
像装置を用いて画像合成を行うものである。図１中の、
被写体面１、右側物体面２_R，左側物体面２_L、右側撮像
系１０_R，左側撮像系１０_L、右側撮像光学系１１_R，左
側撮像光学系１１_Lおよび右側イメージセンサ１２_R，左
側イメージセンサ１２_Lのそれぞれは、図８に示した被
写体面８０１、右側物体面８０２_R，左側物体面８０
２_L、右側撮像系８１０_R，左側撮像系８１０_L、右側撮
像光学系８１１_R，左側撮像光学系８１１_Lおよび右側イ
メージセンサ８１２ _R，左側イメージセンサ８１２_Lと同
様であるために説明は省略する。

【００３６】本実施例の複眼撮像装置は、左側撮像系１
０_Lおよび右側撮像系１０_Rの２つの撮像系を含む。ここ
で、左側撮像系１０_Lは、ズームレンズからなる左側撮
像光学系１１_Lと、サチコンなどの撮像管またはＣＣＤ
などの固体撮像素子からなる左側イメージセンサ１２_L
とからなる。また、右側撮像系１０_Rは、左側撮像系１
０_Lと等価な仕様を有するものであり、ズームレンズか
らなる右側撮像光学系１１_Rと、サチコンなどの撮像管
またはＣＣＤなどの固体撮像素子からなる右側イメージ
センサ１２_Rとからなる。

【００３７】なお、左側イメージセンサ１２_Lおよび右
側イメージセンサ１２_Rとしては、図１に示すような単
管式（単板式）のものでよいが、色分解光学系を介した
２管式（２板式）または３管式（３板式）のものであっ
てもよい。

【００３８】同様な構成の図８に示した従来例でも説明
したように、左側撮像光学系１１_Lおよび右側撮像光学
系１１_Rは、選定したアスペクト比の画面に応じて各撮
像画界の所定量がオーバーラップする条件を左側撮像光
学系１１_Lの光軸Ｌ_Lおよび右側撮像光学系１１_Rの光軸
Ｌ_Rが満たすように、被写体平面１の法線Ｏ−Ｏ’に対
して対称に角度θほど傾斜した状態で配置される。した
がって、左側イメージセンサ１２_Lに共役な左側物体面
２_Lおよび右側イメージセンサ１２_Rに共役な右側物体面
２_Rはそれぞれ、被写体平面１に対して角度θだけ傾
く。

【００３９】次に、上述した基本配置を前提として、左
側撮像光学系１１_Lおよび右側撮像光学系１１_Rの構成に
ついて、図２を参照して説明する。図２は図１に示した
左側撮像光学系および右側撮像光学系の構成を示す概略
構成図である。

【００４０】左側撮像光学系１１_Lは、変倍群２２_Lおよ
び合焦群２４_Lを含むレンズ群２１_L〜２４_Lと、変倍群
２２_Lを駆動するための駆動系であるズームモータ２５_L
と、合焦群２４_Lを駆動するための駆動系であるフォー
カスモータ２６_Lと、光軸Ｌ_Lを含む平面内で左側撮像光
学系１１_Lおよび左側イメージセンサ１２_Lを一体として
回転させるための機構系（不図示）および駆動系（輻輳
角モータ２７_L）と、輻輳角モータ２７_Lの回転角を検出
するための輻輳角エンコーダ２８_Lとを含む。なお、輻
輳角エンコーダ２８_Lとしては、たとえばロータリーエ
ンコーダのような外付け部材を用いてもよいし、たとえ
ばパルスモータのような駆動系自身で駆動方法により回
転角を検出するものを用いてもよい。

【００４１】左側撮像光学系１１_Lのズームモータ２５_L
は、左側撮像光学系１１_Lが所定の焦点距離となるよう
に、ズーム信号が外部から入力されるズーム制御部（不
図示）によって駆動される。また、フォーカスモータ２
６_Lは、左側撮像光学系１１_Lが所定の被写体距離に焦点
が合うように、フォーカス信号が外部から入力されるズ
ーム制御部（不図示）によって駆動される。

【００４２】左側撮像光学系１１_Lのズームエンコーダ
４１_Lは、変倍群２２_Lに設けられた各レンズ群の光軸方
向（光軸Ｌ_Lの方向）の位置情報を得るためのものであ
り、ズームエンコーダ４１_Lの出力信号より、左側撮像
光学系１１_Lの焦点距離を求めることができる。また、
フォーカスエンコーダ４２_Lは、合焦群２４_Lに設けられ
た各レンズ群の光軸方向（光軸Ｌ_L方向）の位置情報を
得るためのものであり、フォーカスエンコーダ４２_Lの
出力信号より、左側撮像光学系１１_Lの被写体距離を求
めることができる。なお、ズームエンコーダ４１_Lおよ
びフォーカスエンコーダ４２_Lとしては、たとえばポテ
ンショメータのような外付け部材を用いてもよいし、た
とえばパルスモータのような駆動系自身で駆動方法によ
りレンズの光軸方向の位置情報を検出するものを用いて
もよい。

【００４３】右側撮像光学系１１_Rは、左側撮像光学系
１１_Lと同様に構成されている。なお、右側撮像光学系
１１_Rのズームモータ２５_Rは、左側撮像光学系１１_Lと
同一の焦点距離となるように、前記ズーム制御部によっ
て駆動される。また、右側撮像光学系１１_Rのフォーカ
スモータ２６_Rは、左側撮像光学系１１_Lと同一の被写体
距離に焦点が合うように、前記ズーム制御部によって駆
動される。

【００４４】次に、本実施例の複眼撮像装置の輻輳角制
御系５０について、図３を参照して説明する。図３は、
本発明の複眼撮像装置の一実施例における輻輳角制御系
の構成を示すブロック図である。

【００４５】輻輳角制御系５０は、右側撮像光学系１１
_Rおよび左側撮像光学系１１_Lの少なくとも結像倍率と物
体距離とを表す光学パラメータに応じて、合成変換後の
画像が所定のアスペクト比となるように輻輳角の制御目
標値を決定する演算制御部５１と、演算制御部５１の出
力信号に応じて輻輳角制御を行う輻輳角制御部５２とか
らなる。

【００４６】演算制御部５１には、左側撮像光学系１１
_Lのズームエンコーダ４１_Lの出力信号およびフォーカス
エンコーダ４２_Lの出力信号と右側撮像光学系１１_Rのズ
ームエンコーダ４１_Rの出力信号およびフォーカスエン
コーダ４２_Rの出力信号とシステムコントローラ６０か
らの制御信号Ｓとが入力される。また、輻輳角制御部５
２には、左側撮像光学系１１_Lの輻輳角エンコーダ２８_L
の出力信号と右側撮像光学系１１_Rの輻輳角エンコーダ
２８_Rの出力信号と演算制御部５１の出力信号とが入力
される。なお、左側撮像光学系１１_Lの輻輳角モータ２
７_Lおよび右側撮像光学系１１_Rの輻輳角モータ２７_Rは
それぞれ、輻輳角制御部５２の出力信号によって駆動さ
れる。

【００４７】左側撮像光学系１１_Lのズームモータ２５_L
によって変倍群２２_Lが駆動されると、変倍群２２_Lに設
けられた各レンズ群の光軸方向の位置情報を示すズーム
エンコーダ４１_Lの出力信号が、演算制御部５１に入力
される。また、右側撮像光学系１１_Rのズームモータ２
５_Rによって変倍群２２_Rが駆動されると、変倍群２２_R
に設けられた各レンズ群の光軸方向の位置情報を示すズ
ームエンコーダ４１_Rの出力信号が、演算制御部５１に
入力される。

【００４８】左側撮像光学系１１_Lのフォーカスモータ
２６_Lによって合焦群２４_Lが駆動されると、合焦群２４
_Lに設けられた各レンズ群の光軸方向の位置情報を示す
フォーカスエンコーダ４２_Lの出力信号が、演算制御部
５１に入力される。また、右側撮像光学系１１_Rのフォ
ーカスムモータ２６_Rによって合焦群２４_Rが駆動される
と、合焦群２４_Rに設けられた各レンズ群の光軸方向の
位置情報を示すフォーカスエンコーダ４２_Rの出力信号
が、演算制御部５１に入力される。

【００４９】演算制御部５１では、左側撮像光学系１１
_Lおよび右側撮像光学系１１_Rの光軸回転の指示を示す制
御信号Ｓがシステムコントローラ６０から入力される
と、各ズームエンコーダ４１_L，４１_Rの出力信号および
各フォーカスエンコーダ４２_L，４２_Rの出力信号に応じ
て、輻輳角２θの制御目標値が作成されたのち、作成さ
れた制御目標値を示す出力信号が輻輳角制御部５２に出
力される。

【００５０】輻輳角制御部５２では、演算制御部５１の
出力信号と各輻輳角エンコーダ２８ _L，２８_Rの出力信号
とが比較され、各輻輳角エンコーダ２８_L，２８_Rの出力
信号が前記作成された制御目標値となるように、各輻輳
角モータ２７_L，２７_Rを駆動するための出力信号がそれ
ぞれ作成される。

【００５１】上述した本実施例の複眼撮像装置は、図９
を用いて説明した従来のものと同様の方法により制御目
標値が決定される。

【００５２】なお、上記（１）式〜（４）式に示すよう
な幾何変換処理を施すことにより、輻輳のある複数のイ
メージセンサ上の画像を一つの仮想像面上の画像に合成
できるので、このような幾何変換処理を行う画像合成変
換処理部（不図示）を設けることにより、輻輳によって
生じる歪みが補正された画像を得ることができる。

【００５３】また、この画像合成変換処理部は、複数の
撮像系からの視点の位置ずれ量と光軸の輻輳角とで視点
位置と光軸の方向とが定義される撮像系から任意の物体
距離および結像倍率で定義される状態で出力される一つ
の画像信号になるように、複数の撮像系から出力される
複数の画像信号を合成変換する画像合成変換処理部とし
て機能する。

【００５４】左側イメージセンサ１２_Lの像面Ｉ_Lおよび
右側イメージセンサ１２_Rの像面Ｉ_Rの大きさをＨ×Ｖ
（アスペクト比Ｈ／Ｖ）とし、仮想像面Ｉ_L+Rの大きさ
をＨ’×Ｖ’（アスペクト比Ｈ’／Ｖ’）とすると、点
Ａ_Rおよび点Ｂ_Lの変換後の点Ａ _R’および点Ｂ_L’のｘ座
標を上記（１）式および上記（３）式から求めることに
より、仮想像面Ｉ_L+Rの図示水平方向の長さＨ’を計算
することができる。また、点Ｂ_Lおよび点Ｄ_Lの変換後の
点Ｂ_L’および点Ｄ_L’のｙ座標を上記（２）式および上
記（４）式から求めることにより、仮想像面Ｉ_L+Rの図
示垂直方向の長さＶ’を計算することができる。このよ
うにして求めた仮想像面Ｉ_L+Rのアスペクト比は、
（５）式で表わされる。

【００５５】

【数４】 Ｈ’／Ｖ’＝｜sin（θ＋ω）／sin（ω）−２βｄ／Ｈ｜×Ｈ／Ｖ ・・・・・・（９） ただし、ω＝tan^-1〔−Ｈ／（２βｚ）〕：撮像系の水
平方向の半画角 したがって、左側イメージセンサ１２_Lの像面Ｉ_Lおよび
右側イメージセンサ１２_Rの像面Ｉ_Rの大きさＨ×Ｖと基
線長２ｄとがともに一定であるとすると、上記（９）式
は（１０）式のように書ける。

【００５６】

【数５】 θ＝ｆ（Ｈ’／，Ｖ’，β，ｚ） ・・・・・・（１０） すなわち、仮想像面Ｉ_L+Rのアスペクト比Ｈ’／Ｖ’を
決定する輻輳制御角θは、結像倍率βと物体距離ｚとに
よって決まることになる。

【００５７】そこで、図３に示した演算制御部５１で
は、各ズームエンコーダ４１_L，４１_Rの出力信号の平均
値と各フォーカスエンコーダ４２_L，４２_Rの出力信号の
平均値とが計算されたのち、結像倍率βが、計算された
２つの平均値から各撮像光学系１１_L，１１_Rの光学パラ
メータ（各撮像光学系１１_L，１１_Rを構成するレンズ群
の焦点距離および主点間隔など）を用いて求められる。
続いて、仮想像面Ｉ_L+Rのアスペクト比Ｈ’／Ｖ’が所
定のアスペクト比になるように、輻輳角の制御目標値
が、上記（１０）式に基づいて、結像倍率βおよび物体
距離ｚに応じて計算される。計算された輻輳角の制御目
標値は、輻輳角制御部５２に送られる。

【００５８】なお、ここでは、各ズームエンコーダ４１
_L，４１_Rの出力信号の平均値および各フォーカスエンコ
ーダ４２_L，４２_Rの出力信号の平均値を求めたが、いず
れか一方のズームエンコーダ４１_L，４１_Rの出力信号お
よびいずれか一方のフォーカスエンコーダ４２_L，４２_R
の出力信号を用いてもよい。また、結像倍率βおよび物
体距離ｚに応じた輻輳制御角θのテーブルを演算制御部
５１内に備えておき、このテーブルを参照して輻輳角の
制御目標値を求めてもよいし、結像倍率βおよび物体距
離ｚと輻輳制御角θとの関係を簡単な多項式に近似し
て、この多項式の係数を演算制御部５１に記憶しておく
ことにより、輻輳制御角θを計算してもよい。

【００５９】以上により、所定のアスペクト比の画像が
得られるが、この場合には、トリミングする必要はな
く、オーバーラップする領域をできるだけ大きくとれる
ので、高画質の画像が得られる。なお、合成処理後の画
像（仮想像面Ｉ_L+R）は、図４に示すように、その領域
の形状が矩形から多少歪んだ形状となり、たとえばＨＤ
モニターなどにアスペクト比１６：９の画像を表示する
際には、輪郭に沿って枠線を表示してもよい。

【００６０】次に、演算制御部５１における輻輳角の制
御目標値の他の作成方法について、図５を参照して説明
する。

【００６１】上述した作成方法では、図９に示したよう
に、合成処理後の画像の形状が、矩形から多少歪んだ形
状になる。合成処理後の画像の領域の形状を矩形にする
には、たとえば図４に示す斜線部分をカットする方法が
考えられる。この場合、上述した作成方法により輻輳角
の制御目標値を決定すると、仮想像面Ｉ_L+Rのアスペク
ト比が所定のアスペクト比よりも多少大きくなる。い
ま、仮想像面Ｉ_L+Rの大きさを、図４に示すように、
Ｈ’×Ｖ”（アスペクト比Ｈ’／Ｖ”）とすると、合成
後のアスペクト比は、上述した作成方法と同様にして、
上記（１）式〜（４）式より、（１１）式で表わされ
る。

【００６２】

【数６】 Ｈ’／Ｖ”＝〔βｚtan（ω’）sin（θ）＋βｚ’〕／〔（Ｈ／２）sin（θ） ＋βｚ’〕×（Ｈ’／Ｖ’） ・・・・・・（１１） ただし、ω’＝tan^-1｛tan（θ）＋ｄ／〔ｚcos
（θ）〕｝ この作成方法においても、輻輳角の制御目標値は、上記
（１１）式の逆変換式から所定のアスペクト比になるよ
うに結像倍率βおよび物体距離ｚに応じて計算される。
しかし、この作成方法においては、逆変換式が非常に複
雑になるので、テーブルを参照して輻輳角の制御目標値
を求める方法または多項式に近似して輻輳角の制御目標
値を計算する方法を用いるのがより望ましい。

【００６３】なお、この作成方法においては、所定のア
スペクト比の画像を得るために、合成画像の上下の領域
を多少トリミングしているが、画質の劣化が著しくない
程度であれば許容できる。同様にして、合成画像の上下
または左右の領域を多少トリミングしてアスペクト比を
微調整することは、画質の劣化が著しくない範囲であれ
ば許容できる。

【００６４】以上述べた実施例では、各撮像系の光軸回
転量が同一になるように輻輳角の制御を行ったが、一つ
の撮像系の光軸のみを回転させるよう構成してもよい。

【００６５】また、撮像光学系がズームレンズからなる
場合には、ズーミングの際に結像倍率βが変化するの
で、輻輳制御角θを逐次変化させないと、アスペクト比
が変わってしまう。すなわち、ズーミング中にアスペク
ト比を一定に保つには、以下に示す（１２）式が成り立
つことは上記（１０）式から明白であるため、（１２）
式により輻輳角の追従制御を行えばよい。

【００６６】

【数７】θ＝ｇ(β，ｚ)・・・・・・（１２） 次に、ズーミング中での輻輳角制御のアルゴリズムにつ
いて、図５を参照して説明する。なお、この制御は、ズ
ーム，フォーカスおよび輻輳を含むシステム全体の制御
を司るシステムコントローラ６０（図３参照）によって
行われる。

【００６７】外部からのズーム信号を受け付けると（ス
テップＳ５０１）、ズーム信号に応じた制御信号をズー
ム制御部（不図示）に出力する。これにより、各撮像光
学系１０_L，１０_Rの焦点距離が同一となるように、各変
倍群２２_L，２２_Rが各ズームモータ２５_L，２５_Rによっ
て駆動される（ステップＳ５０２）。続いて、外部から
のフォーカス信号を受け付けると、フォーカス信号に応
じた制御信号をフォーカス制御部（不図示）に出力す
る。これにより、各撮像光学系１０_L，１０_Rの焦点が同
一の被写体距離に合うように、各合焦群２４_L，２４_Rが
各フォーカスモータ２６_L，２６_Rによって駆動される
（ステップＳ５０３）。続いて、各撮像光学系１１_L，
１１_Rの光軸回転の指示を示す制御信号Ｓを演算制御部
５１（図３参照）に出力する。これにより、上記（８）
式に基づいた輻輳角制御が行われる（ステップＳ５０
４）。続いて、外部からのズーム信号の有無によりズー
ミング中か否かのチェックを行い、ズーミング中である
と判断した場合には、ステップＳ５０２〜ステップＳ５
０４までの動作を繰り返す（ステップＳ５０５）。

【００６８】ステップＳ５０５においてズーミング中で
ないと判断した場合には、ステップＳ５０３の動作と同
様にして、外部からのフォーカス信号の受付および各合
焦群２４_L，２４_Rの駆動を再度行う（ステップＳ５０
６）。ここで、フォーカス制御を再度行うのは、ステッ
プＳ５０４における輻輳角制御によりピントが外れるこ
とがあるためである。続いて、フォーカス制御で結像倍
率βがずれた場合には、ステップＳ５０４の動作と同様
にして、輻輳角制御を再度行う（ステップＳ５０７）。
続いて、ステップＳ５０３の動作と同様にして、外部か
らのフォーカス信号の受付および各合焦群２４_L，２４_R
の駆動を再度行う（ステップＳ５０８）。続いて、ステ
ップＳ５０８におけるフォーカス制御で結像倍率βがず
れたかどうかを判断することにより、輻輳角制御の必要
性があるか否かを判断して、輻輳角制御の必要がある場
合には、ステップＳ５０７およびステップＳ５０８の動
作を繰り返す（ステップＳ５０９）。一方、輻輳角制御
の必要がない場合には、動作を終了する。

【００６９】以上の処理によって、ズーミング中でもア
スペクト比が一定に保たれるように輻輳角制御を行うこ
とができる。

【００７０】なお、フォーカス信号は外部から与えられ
る任意の被写体距離にピントが合うように設定されてい
るものでもよいし、公知の自動焦点検出器の出力信号で
もよい。特に、フォーカス信号が自動焦点検出器の出力
信号である場合には、ズーミング中でも輻輳角制御がリ
アルタイムで行えるので、アスペクト比を違和感なく一
定に保つことができる。

【００７１】また、複数の撮像系からの視点の位置ずれ
量と光軸の輻輳角とで視点位置と光軸の方向とが定義さ
れる撮像系から任意の物体距離および結像倍率で定義さ
れる状態で出力される一つの画像信号になるように、複
数の撮像系から出力される複数の画像信号を合成変換す
ることができるため、輻輳によって生じる歪みが補正さ
れた合成画像を得ることができるとともに、合成画像の
画質の劣化を最小限に抑えることができる。

【００７２】また、複数の撮像系の少なくとも結像倍率
と物体距離とを表す光学パラメータに応じて、合成変換
後の画像が所定のアスペクト比となるように輻輳角の制
御目標値を決定し、決定した輻輳角の制御目標値に応じ
て輻輳角制御を行うことができるため、任意のアスペク
ト比の合成画像を得ることができる。

【００７３】さらに、複数の撮像系の変倍時に、合成変
換後の画像のアスペクト比が一定に保たれるように、複
数の撮像系の輻輳角制御を行うことができるため、ズー
ミング中でも輻輳制御を追従して行えるので、アスペク
ト比を違和感なく一定に保つことができる。

【００７４】次に、本発明での改良点である画像合成処
理部における処理方法についてそのアルゴリズムを図６
をもとに説明する。

【００７５】まず、ステップＳ４０１で仮想像面上の画
素座標を設定する。そして、ステップＳ４０２、ステッ
プＳ４０３でそれぞれ第１および第２のイメージセンサ
の像面上の座標を（５）式〜（８）式により求める。次
に、ステップＳ４０４でステップＳ４０２で求めた第１
のイメージセンサの像面上の座標（ｘ_R，ｙ_R）が第１の
イメージセンサの画像領域内かどうかを調べる。ここま
での処理は従来例で説明した処理のアルゴリズムと同じ
である。

【００７６】ステップＳ４０４で画像領域内であること
が確認された場合には、ステップＳ４０５でステップＳ
４０３で求めた第２のイメージセンサの像面上の座標
（ｘ_L，ｙ_L）を求め、さらに、ステップＳ４０３で求め
た第２のイメージセンサの画像領域内かどうかをさらに
調べる。領域内であればオーバーラップ領域での処理を
行う。すなわち、ステップＳ４１０で仮想像面上の座標
（ｘ’，ｙ’）が図９で示す領域Ｉ内にあるかを調べ
る。オーバーラップ領域において領域Ｉ内にあるかどう
かは仮想像面上のｘ座標でわかる。すなわち領域Ｉ内で
あれば、第１のイメージセンサの画像の方が第２のイメ
ージセンサの画像よりも細かく画素サンプリングが行わ
れているので、ステップＳ４５１で第１のイメージセン
サの画像から内挿により座標（ｘ_R，ｙ_R）の画素値を求
める。そうでなければ、ステップＳ４７３で第２のイメ
ージセンサの画像から内挿により座標（ｘ_L，ｙ_L）の画
素値を求める。

【００７７】ステップＳ４６３で第２のイメージセンサ
の像面上の座標（ｘ_L，ｙ_L）が第２のイメージセンサの
画像領域内でなければ、第２のイメージセンサの画像か
ら内挿することはできないので、ステップＳ４５１で第
１のイメージセンサの画像から内挿により座標（ｘ_R，
ｙ_R）の画素値を求める。

【００７８】ステップＳ４０４で第１のイメージセンサ
の像面上の座標（ｘ_R，ｙ_R）が第１のイメージセンサの
画像領域内でなければ、次に、ステップＳ４６４でステ
ップＳ４０３で求めた第２のイメージセンサの像面上の
座標（ｘ_L，ｙ_L）が第２のイメージセンサの画像領域内
かどうかを調べる。この処理はステップＳ４６３の処理
と同じ処理である。領域内であれば、ステップＳ４７３
で第２のイメージセンサの画像から内挿により座標（ｘ
_R，ｙ_R）の画素値を求める。ステップＳ４６４で第２の
イメージセンサの像面上の座標（ｘ_L，ｙ_L）が領域内で
なければ、内挿すべき画素が第１のイメージセンサにも
第２のイメージセンサにもないので、ステップＳ４８４
で仮想像面上の座標（ｘ’，ｙ’）の画素値を０とす
る。

【００７９】以上のようにして（５）式〜（８）式の逆
変換で求めた座標がイメージセンサの画像領域内か、そ
して仮想像面上のどちらの領域かによりどちらかのイメ
ージセンサの画像から内挿により画素値を求めた後、ス
テップＳ４０９で仮想像面上の全ての画素座標で値が求
まったかを調べ、全領域で処理が終了したならば、処理
を終了する。そうでなければ新たに仮想像面上の画素座
標を更新し、ステップＳ４０１に戻って処理を繰り返
す。

【００８０】すなわち、本発明のアルゴリズムでは第
１、あるいは第２のイメージセンサの画像の内、合成処
理の変換時にどちらの縮小の度合いが大きいかを合成処
理後の画像の領域によって判断し、縮小の度合いの大き
い方の画像から内挿により画素値を求めている。

【００８１】以上説明したように、本発明の実施例は本
出願人が提案した複眼撮像装置における画像合成処理部
のアルゴリズムとして応用できる。

【００８２】なお、本実施例では２つの撮像系で撮像す
るシステムでの例を示したが、さらに広い視野に渡って
画像を撮像する場合、３つ以上の撮像系でシステムを構
成しても良い。また、１つの撮像系をパンニングして複
数の画像を撮像して画像合成を行っても良い。

【００８３】

【発明の効果】本発明は以上説明したように構成されて
いるので、以下に記載するような効果を奏する。

【００８４】請求項１に記載の方法においては、画界が
オーバーラップする領域についての内挿処理が二重に行
われないため、処理時間を短縮することができる効果が
ある。

【００８５】請求項２に記載の方法においては、縮小の
度合いの大きい方の画像から内挿処理が行われるため、
画質劣化の少ない視野の広い合成画像を得ることができ
る効果がある。

【００８６】請求項３および請求項４に記載のものにお
いては、上記各効果を奏する複眼撮像装置を実現するこ
とができる効果がある。

【図面の簡単な説明】

【図１】本発明の複眼撮像装置の一実施例における撮像
系の基本配置を示す図である。

【図２】図１に示した左側撮像光学系および右側撮像光
学系の構成を示す概略構成図である。

【図３】本発明の複眼撮像装置の一実施例における輻輳
角制御系の構成を示すブロック図である。

【図４】演算制御部における輻輳角の制御目標値の他の
作成方法を説明するための図である。

【図５】本発明の複眼撮像装置の一実施例におけるズー
ミング中での輻輳角制御のアルゴリズムを示すためのフ
ローチャートである。

【図６】本発明の画像合成変換処理のアルゴリズムを示
す図である。

【図７】２つの撮像系を用いて、画界の一部をオーバー
ラップさせて共通の被写体を撮像して得られた２つの画
像を合成して、任意のアスペクト比の一つの画像を作成
する複眼撮像装置の一例を示すための概念図である。

【図８】複眼撮像系の基本配置を示す図である。

【図９】輻輳角の制御目標値の作成方法を説明するため
の図である。

【図１０】画像合成変換処理の従来例のアルゴリズムを
示す図である。

【符号の説明】

１ 被写体平面 ２_L 左側物体面 ２_R 右側物体面 １０_L 左側撮像系 １０_R 右側撮像系 １１_L 左側撮像光学系 １１_R 右側撮像光学系 １２_L 左側イメージセンサ １２_R 右側イメージセンサ ２１_L，２１_R，２３_L，２３_R レンズ群 ２２_L，２２_R 変倍群 ２４_L，２４_R 合焦群 ２５_L，２５_R ズームモータ ２６_L，２６_R フォーカスモータ ２７_L，２７_R 輻輳角モータ ２８_L，２８_R 輻輳角エンコーダ ４１_L，４１_R ズームエンコーダ ４２_L，４２_R フォーカスエンコーダ ５０ 輻輳角制御系 ５１ 演算制御部 ５２ 輻輳角制御部 ６０ システムコントローラ Ｌ_L，Ｌ_R 光軸 θ 角度 ２θ 輻輳角 Ｏ_L，Ｏ_R，Ｃ_L，Ｃ_R，Ａ_L，Ｂ_L，Ｃ_L，Ｄ_L，Ａ_R，Ｂ_R，
Ｃ_R，Ｄ_R，Ａ_L’，Ｂ_L’，Ｃ_L’，Ｄ_L’，Ａ_R’，
Ｂ_R’，Ｃ_R’，Ｄ_R’Ｅ_L，Ｆ_L，Ｅ_R，Ｆ_R，Ｅ’，Ｆ’
点 Ｉ_L，Ｉ_R 像面 Ｉ_L+R 仮想像面 Ｈ，Ｈ’，Ｖ，Ｖ’，Ｖ” 長さ ｘ，ｙ 軸

Claims (4)

【特許請求の範囲】
1. 【請求項１】 複数の撮像系を用いて画界の一部をオー
   バーラップさせて共通の被写体を撮像して得られた画像
   信号を合成して１つの画像信号を作成する画像合成方法
   において、 前記複数の撮像系からの視点の位置ずれ量と光軸の輻輳
   角とで視点位置と光軸の方向とが定義される撮像系から
   任意の物体距離および結像倍率で定義される状態で出力
   される一つの画像信号になるように、前記複数の撮像系
   から出力される複数の画像信号を合成変換する画像合成
   変換手段を備え、 前記画像合成変換手段は、画界がオーバーラップする領
   域については合成処理後の画像領域に基づいて合成処理
   前の複数の画像信号のうちの一つを選択し内挿処理を行
   って画像合成を行うことを特徴とする画像合成方法。
2. 【請求項２】 請求項１記載の画像合成方法において、 画像合成変換手段は、画界がオーバーラップする領域に
   ついては合成処理後の画像領域で最も縮小の度合が大き
   くなる画像信号を選択することを特徴とする画像合成方
   法。
3. 【請求項３】 複数の撮像系を用いて画界の一部をオー
   バーラップさせて共通の被写体を撮像して得られた画像
   信号を合成して１つの画像信号を作成する複眼撮像装置
   において、 前記複数の撮像系からの視点の位置ずれ量と光軸の輻輳
   角とで視点位置と光軸の方向とが定義される撮像系から
   任意の物体距離および結像倍率で定義される状態で出力
   される一つの画像信号になるように、前記複数の撮像系
   から出力される複数の画像信号を合成変換する画像合成
   変換処理部を備え、 前記画像合成変換処理部は、画界がオーバーラップする
   領域については合成処理後の画像領域に基づいて合成処
   理前の複数の画像信号のうちの一つを選択し内挿処理を
   行って画像合成を行うことを特徴とする複眼撮像装置。
4. 【請求項４】 請求項４記載の複眼撮像装置において、 画像合成変換処理部は、画界がオーバーラップする領域
   については合成処理後の画像領域で最も縮小の度合が大
   きくなる画像信号を選択することを特徴とする複眼撮像
   装置。