JPH06217184A - 複眼撮像装置 - Google Patents
複眼撮像装置Info
- Publication number
- JPH06217184A JPH06217184A JP5005242A JP524293A JPH06217184A JP H06217184 A JPH06217184 A JP H06217184A JP 5005242 A JP5005242 A JP 5005242A JP 524293 A JP524293 A JP 524293A JP H06217184 A JPH06217184 A JP H06217184A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image pickup
- systems
- imaging
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
のアスペクト比の画像を得る。 【構成】 複数の撮像系を制御して画界をオーバーラッ
プして撮像する複眼撮像装置において、複数の撮像系に
より得られる画像信号から相関演算を行う画像相関処理
部15と、画像相関処理15により相関演算が行われた
画像信号より一方の画像を基準として他方の画像をつな
ぎ合わせる画像合成処理部16とを有する。
Description
子)、撮像管等の撮像素子を用いた撮像装置に関し、特
に複数の撮像素子およびレンズ等の撮像光学系を用いて
撮像し、任意のアスペクト比の画像を提供できるテレビ
ジョンあるいはビデオ装置等の複眼撮像装置に関する。
を対象としたパノラマ撮影技術として、例えば特開昭6
3−8641号公報に記載の方法が知られている。一般
にこのような技術は、各々の撮像光学系の光軸のなす角
度を画界が接するように機械的調整により設定してい
る。
面のアスペクト比を変える方式(例えばNTSCの4対
3とHDの16対9のコンバージョン)としては、出力
時に上下または左右をトリミングする方式が知られてい
る。
うち、各撮像光学系の光軸のなす角度を機械的調整によ
り設定するものでは、隣合う2つの画像のレジストレー
ションを厳密に合致させることがきわめて困難であり、
通常この境界線が目立ってしまう問題が合った。同様の
理由で、被写体距離の異なる物体にフォーカスを取り直
したり、ズーミング動作を行うことが困難なことから、
1シーンごとのカット撮影に制限されることが多かっ
た。
像した画像の一部を用いる方式であるため、特に4対3
のイメージセンサを用いたNTSCカメラで撮像し、1
6対9のHD用モニタで出力する場合は、元々画素数が
不足しているのに加え、さらに上下合わせて25%の画
素を失うこととなり、画質劣化が著しい。逆に16対9
のHDカメラで撮像し、4対3のNTSC用のモニタで
出力する場合は画質的には問題内が、水平画角が1/3
も減少してしまう。さらにパノラマ効果を生かすために
は、1つの結像光学系のなす画界では不十分である。ま
た、アスペクト比可変時は、トリミングによって垂直方
向の結像力を犠牲にすることになるので画質の劣化を招
く。これは、最近のようにワイド画面表示装置の普及が
進んでくるとなおさら問題になる。
たものであり、その目的は、撮像光学系から得られる画
像と異なった所望のアスペクト比の画像が得られる複眼
撮像装置を提供することにある。本発明の他の目的は、
画質の劣化が少なく境界線の目立たない画像が得られる
複眼撮像装置を提供することにある。本発明のさらに他
の目的は、各々の画像のオーバーラップ部の2重像を取
り除き合成することができる複眼撮像装置を提供するこ
とにある。本発明のさらに他の目的は、パノラマ画像と
して十分な効果の得られる画界を有し、かつアスペクト
比可変時においても垂直方向の解像力の劣化の少ない複
眼撮像装置を提供することにある。本発明のさらに他の
目的は、高速なアスペクト比可変、トリミング機能を有
し、撮影者の意図に従って瞬間的かつ自在に被写体領域
を変化させることのできる複眼撮像装置を提供すること
にある。
は、複数の撮像系を制御して画界をオーバーラップして
撮像する複眼撮像装置において、前記複数の撮像系によ
り得られる画像信号から相関演算を行う画像相関処理手
段と、前記画像相関処理手段により相関演算が行われた
画像信号より一方の画像を基準として他方の画像をつな
ぎ合わせる合成処理手段とを有することを特徴とする。
像系を制御して画界をオーバーラップしてアスペクト比
可変で撮像する複眼撮像装置において、前記複数の撮像
系から出力されるオーバーラップ部分の画像信号によ
り、前記オーバーラップ部分の画像の対応点を検出する
対応点検出手段と、該対応点検出手段から出力される検
出信号を基に、前記複数の撮像系から出力される画像信
号を補正する補正変換処理手段と、前記補正変換処理手
段により補正された画像信号から相関関係を検出する画
像相関処理手段と、前記画像相関処理手段が検出した相
関関係により前記複数の撮像系から出力される画像信号
を1つの画像信号に変換処理する画像合成処理手段とを
有することを特徴とする。
結像光学系と、該結像光学系の各々に対応した撮像素子
からなる複数の撮像系を有し、前記撮像素子の各々から
出力された画像信号を用いて合成画像を生成する複眼撮
像装置において、前記各々の撮像系のなす画界が他の画
界の少なくとも1つと接するかあるいは一部分重なった
状態に保持されるように前記各々の撮像系が設定され、
前記各々の撮像系から出力された画像信号を各々保持す
る複数の画像入力手段と、アスペクト比指定値を含んだ
画像トリミング信号を入力する全系制御手段と、前記画
像入力手段に保持される画像信号および前記全系制御手
段により入力される画像トリミング信号に基づいて、ア
スペクト比可変な画像を出力生成する画像変換手段とを
有することを特徴とする。この複眼撮像装置において、
前記画像変換手段が画像出力を行った後、前記全系制御
手段に入力されるアスペクト比指定値に対応した画像ト
リミング領域を保持しつつ、前記複数の撮像系の光学パ
ラメータを変化させる制御手段を有することができる。
またこの複眼撮像装置において、前記光学パラメータは
前記複数の撮像系の焦点距離および前記複数の撮像系の
輻輳角であることが可能である。さらにこの複眼撮像装
置において、前記複数の撮像系の光軸は1つの平面に平
行な方向に変化する系であって、前記光学パラメータの
変化後の最終指定値は、前記複数の撮像系の受光部の、
前記1つの平面に垂直な垂直有効幅と前記画像トリミン
グ領域の垂直有効幅が一致することが可能である。
オーバーラップ部分の画像信号により、オーバーラップ
部分の対応点検出を行い、各撮像系から出力される複数
の画像信号より一方の画像を基準として他方の画像の一
部あるいは全域を合成し、かつ撮像系の輻輳角を変える
ことにより、画像のアスペクト比を任意に変えるもので
ある。
出力されるオーバーラップ部分の画像信号により、オー
バーラップ部分の対応点検出を行い、各撮像系から出力
される複数の画像信号の相関関係を検出してこれらの画
像信号を1つの画像信号に変換処理し、かつ撮像系の輻
輳角を変えることにより、画像のアスペクト比を任意に
変えるものである。
は他の画界の少なくとも1つと接するかあるいは一部分
重なった状態に保持されるように各々の撮像系を設定
し、撮影者により入力されるアスペクト比指定値を含ん
だ画像トリミング信号に基づいて、アスペクト比可変な
画像を出力合成するものである。
ト比可変な画像を出力合成して画像出力を行った後、ア
スペクト比指定値に対応した画像トリミング領域を保持
しつつ、複数の撮像系の光学パラメータを変化させるも
のである。
て説明する。
係る複眼撮像系の基本配置を説明する。
体、3は第3の被写体で、102,202は等価な仕様
を有する第1および第2の撮像光学系であり、一般的に
はズームレンズが用いられる。103,203は同様に
等価な仕様を有するイメージセンサであり、サチコン等
の撮像管またはCCD等の固体撮像素子が用いられる
(ここでは簡単のために単板式(または単管式)を模式
的に示したが、色分解光学系を介した2板式(2管式)
あるいは3板式(3管式)であっても一般性を失わな
い)。
被写体上で交差し、複眼撮像系の各々の回転中心を通る
回転角の基準線OL −OL ’およびOR −OR ’に対し
てθ 1 ,θ2 傾斜した状態に各撮像光学系102,20
2を配置する。ここで、θ1,θ2 は常に等しくなるよ
うに配置および制御される。なおθ1 ,θ2 を輻輳角と
して定義し、被写体距離の変化に応じてこの輻輳角を変
えて撮像する。
像系の構成要件および機能について説明する。
2c,102d,202a,202b,202c,20
2dは第1および第2の撮像光学系102,202を構
成するレンズ群を示し、特に102b,202bは変倍
群、102d,202dは合焦群を示す。また106,
206は、変倍群102b,202bを駆動するための
駆動系(ズームモータ)、同様に107,207は合焦
群102d,202dを駆動するための駆動系(フォー
カスモータ)を示す。さらに撮像光学系102およびイ
メージセンサ103、撮像光学系202およびイメージ
センサ203は、それぞれ一体として、光軸101,2
01を略々含む平面内で回転する不図示の機構系と、駆
動系(輻輳角モータ)104,204が設けられてい
る。そしてこの回転角情報検出手段105,205が設
けられている。これはロータリエンコーダのような外付
けの部材でもよいし、例えばパルスモータのような駆動
系自身で駆動方法により角度情報を知る系でもよい。こ
れらの信号により各々の輻輳角が求まる。また108,
208は撮像光学系の変倍群102b,202bに設け
た各々のレンズ群の光軸方向の位置情報を得るためのエ
ンコーダ(ズームエンコーダ)を示し、この信号により
撮像光学系102,202の焦点距離fを求められる。
群102d,202dに設けた各々のレンズ群の光軸方
向の位置情報を得るためのエンコーダ(フォーカスエン
コーダ)を示す。これらのエンコーダは例えばポテンシ
ョメータのような外付けの部材でもよいし、あるいは例
えばパルスモータのような駆動系自身で駆動方法により
レンズの光軸方向の位置情報を知る系でもよい。
bには、あらかじめレンズ群の光軸方向の位置情報を得
るためのエンコーダ(ズームエンコーダ)208を設
け、この信号により撮像光学系202の焦点距離fを求
める。同様に撮像光学系の合焦群202dにも、レンズ
群の光軸方向の位置情報を得るためのエンコーダ(フォ
ーカスエンコーダ)209を設け、スームエンコーダ2
08の信号と合わせて、撮像光学系202の結像倍率β
が求められる。第2の撮像光学系101も同様の機能を
有する。
8,209からの信号により駆動系106,107,2
06,207を制御部マイクロコンピュータ(「制御用
CPU」と呼ぶ)11により別途制御することにより、
2組の撮像光学系102および202の焦点距離fは、
常に一致させるようにしているものとする。
ついて説明する。図3に示すように、アスペクト比変換
処理部10は、図2に示す各々のイメージセンサ10
3,203から出力されるアナログ映像信号をそれぞれ
デジタル映像信号に変換する第1および第2のA/D変
換器110,210と、各A/D変換器110,210
から出力されるデジタル信号がそれぞれ記憶される第1
および第2の画像メモリ111,211と、各画像メモ
リ111,211に記憶されたデジタル映像信号から画
像合成を行って合成画像信号を外部に出力する出力する
画像合成処理部16と、各画像メモリ111,211に
記憶されたデジタル映像信号から画像の相関演算を行う
画像相関処理部15と、画像メモリ211の画像信号に
より焦点検出を行う焦点検出部13Lと、画像メモリ1
11の画像信号により焦点検出を行う焦点検出部13R
と、画像メモリ111における焦点検出枠の位置を算出
する演算制御部17と、各々の撮像光学系のエンコーダ
からの検出信号、焦点検出部13L,13Rから入力さ
れる演算結果、画像相関処理部15から入力される演算
結果に基づいて各種制御を行うCPU11とから構成さ
れている。
を説明する。図4では図1と同じ位置にある第1、第2
および第3の被写体1,2,3を、各々の輻輳角をθ
1 ’,θ2 ’(θ1 ’=θ2 ’)として撮像している。
なお、輻輳角は制御用CPUにより常にθ1 ’=θ2 ’
なる状態となるよう制御されている。アスペクト比変換
処理部10は、各々のイメージセンサ103,203か
ら入力されるアナログの映像信号を第1および第2のA
/D変換器110,210でデジタル信号に変換処理す
る。また、制御用CPU11は、撮像光学系102,2
02のエンコーダ108,208,105,205から
の検出信号を入力し、各々の焦点距離、輻輳角が常に一
致するように制御する。さらに、合成処理のためのオー
バーラップ領域の相関演算を円滑に行うために撮像光学
系202より入力される画像中に焦点距離用の枠を設定
する。枠の位置およびサイズは撮像光学系のパラメータ
f,θ2 ’等を用いた評価関数により連続的に与えても
よいし、あらかじめ検出枠を設定してもよい。図5
(a),(b)に一例として、あらかじめ焦点検出枠を
設定する場合について示す。図5(a),(b)におい
て画像220は、撮像光学系202により入力された画
像であり、画像120は、撮像光学系102により入力
された画像の概略である。また画像220中の枠225
はあらかじめ設定した焦点検出枠である。
メモリ211から焦点検出枠225に対応する領域の画
像信号を読みだし焦点検出部13Lに送る。焦点検出部
13Lは、画像信号より合焦点の検出処理を行う。一例
として、画像信号のエッジ幅(エッジ部の幅)により検
出を行う方式を示す。
ッジ幅を合焦点信号とする方法を説明するためのグラフ
である。ここで、同図(a)は焦点外れ時のエッジ部の
強度分布を示しており、同図(b)は合焦時のエッジ部
の強度分布を示している。
撮像装置で得られる映像信号から検出した画像のエッジ
部の幅が焦点外れ時には画像のぼけがあるため大きくな
るのに対して合焦時には画像のぼけがないため小さくな
ることを利用して、求めたエッジ幅が小さくなるように
フォーカスレンズを駆動することにより自動的に焦点を
合わせるものである。
(a)に示したエッジ部の強度分布を表す関数I1
(x)から求めたエッジ部の強度差D1 およびエッジ部
の傾きdI1 (x)/dxを次式に代入することにより
求めることができる。
ッジ部の強度分布を表す関数I2 (x)から求めたエッ
ジ部の強度差D2 およびエッジ部の傾きdI2(x)/
dxを次式に代入することにより求めることができる。
(x)/dxは、エッジの立ち上がり部分から再度平坦
になる部分までの間の各点xの傾きの平均値よりそれぞ
れ求めることができる。
検出信号により、制御用CPU11は求めたエッジ幅が
小さくなるようにフォーカスモータ206を駆動する。
これにより画像220の焦点検出枠225内の画像は合
焦状態に保持される。同様の処理を画像120に対して
も行うわけであるがその再、画像220の検出枠225
内の画像に対応する領域を画像120において設定する
ことが必要となる。これを図7により説明する。
軸を設定したものである。図7において、230は撮像
光学系202のイメージセンサ203に対する共役面を
示し、130は撮像光学系120のイメージセンサ10
3に対する共役面を示している。
に対して前述の処理により合焦しているものとする。撮
像光学系102についても第1の被写体1に対して合焦
とするためには、撮像光学系102の被写体距離SR を
求めることが必要となる。図7から撮像光学系202の
結像関係より被写体1の位置(x,y)は、撮像光学系
202のイメージセンサ203における被写体1の結像
位置xL ’被写体距離SL 、焦点距離fL 、輻輳各θ
1 ’の関数として、 x=gx (xL ’,SL ,fL ,θ1 ’) y=gy (xL ’,SL ,fL ,θ1 ’) と表すことができる。よって、幾何学的関係より撮像光
学系102のイメージセンサ103における被写体1の
結像位置xR ’は、各々の撮像光学系間の基線長をLと
して、結像位置xL ’、被写体距離SL 、焦点距離f
L 、輻輳各θ1 ’、基線長Lの関数として、 xR ’=gxR(xL ’,SL ,fL ,θ1 ’,L) と表すことができる。制御用CPU11は、演算処理部
17に前記各パラメータを出力し、演算処理部17にお
いてこの一連の処理を行うことにより図5(a),
(b)に示す画像120における焦点検出領域125を
設定する。検出枠125が設定されたら画像メモリ11
1より対応する領域を読みだし焦点検出部13Rに送
る。焦点検出部13Rでは焦点検出部13Lと同様の処
理によりエッジ幅を検出し、制御用CPU11は検出枠
125内の画像が合焦となるようフォーカスモータ10
6を駆動する。
における各々の画像は、常に合焦状態となる。
25,125に基づいて相関演算処理領域226,12
6を設定する。図8(a),(b)に各々の画像メモリ
211,111に記憶されたデジタル画像信号220,
120に設定された相関演算処理領域226,126の
概略をそれぞれ示す。また、図8(c)に画像信号22
0,120をそのまま重ねたときの画像を示す。このと
き、各々の相関演算処理領域126,226間のずれd
xは、前述のxR ’,xL ’より求めることができる。
図9(a)は、ずれdxを基に、各々の相関演算領域2
26,126が一致するように各々の画像信号220,
120を重ねたものである。図9(a)に示すように、
各相関演算領域226,126内の画像(被写体像1
L,1R)はこの時点では、各々の撮像光学系の輻輳角
検出手段の誤差等により必ずしも一致するとは限らな
い。よって、画像相関演算領域15において、演算領域
226,126の画像間で相関演算処理を施し、図9
(b)に示すように、より正確な相関関係を求める。な
お、ここでは相関演算領域を焦点検出枠225,125
を基に設定したが、これらは位置、サイズとも任意に設
定してかまわない。
画像メモリ111,211からデジタル映像信号をそれ
ぞれ読みだして相関演算を行う。該相関演算は、図8
(a),(b)に示した演算領域126および226の
画像について実行され、相関関数として次式に示す関数
が用いられ、該関数で求めた値が相関値として評価され
る。
の強度分布 q2 は第1の被写体1の撮像光学系211による像1L
の強度分布 C={∫q1 (x,y,θ1 ’)dxdy}・{∫q2 (x,y,θ2 ’) dxdy} 上式で示される相関関数I(θ1 ’,θ2 ’)は2つの
角θ1 ’,θ2 ’の関数となるが、実際にはほぼ輻輳角
θ1 ’+θ2 ’の関数となる。図12に、画像相関処理
部15において輻輳角θ1 ’+θ2 ’を変化させながら
相関関数I(θ 1 ’,θ2 ’)を計算して得た相関値曲
線を示す。画像相関処理部15における演算結果は制御
用CPU11に出力される。各々の撮像系の合焦群20
2b,102bはそれぞれ、輻輳角モータ104,20
4によって輻輳角θ1 ’+θ2 ’の変化を受け、輻輳角
θ1 ’+θ2 ’の回転情報検出手段105,205でそ
れぞれ読み取られる。これらの動作は制御用CPU11
によって制御されているため、制御用CPU11は図1
1に示した相関値曲線Rが得られる。なお、相関関数と
しては、上式に示した相関関数I(θ1 ’,θ2 ’)以
外でも、2つの画像の一致度が示せるような関数形(例
えば、両者の差をとるなど)であってもよい。
ように輻輳角θ1 ’+θ2 ’を変化させることにより、
相関値のピークを見つける。2つの像1L,1Rは相関
値のピークの位置で図9(b)に示すように一致するこ
とになる。
おいて相関値がピークとなったときの画像を各々の画像
メモリ111,211から入力する。図10および図1
1に画像合成処理の概略を示す。このとき画像メモリ2
11における映像信号220は画像全域を入力するが、
画像メモリ111の映像信号120については、制御用
CPU11が画像相関処理部15における出力結果を基
に合成処理領域131(図10のハッチング部)を読み
だし合成処理部16に入力する。なお、各々のイメージ
センサ103,203と同じアスペクト比の画像を出力
する場合は、基準画像(この場合画像220)のみを出
力する。
うに、映像信号220と合成処理領域131をつなぎ合
わせ1つの画像を生成する。しかし、単純につなぎ目を
合わせた場合、各々の撮像系の輝度差や制御誤差等の影
響により境界線300が強調された画像が生成されるこ
とを考慮して、さらに図11(b)に示すように、所定
の領域(ここではシームレス領域310と記述する)に
おいてつなぎ目が目立たないように処理を行う。この処
理(以下一般にシームレス処理と呼ばれるためここでも
そう記述する)の1方式として、ここでは局所的な平滑
化による処理を示す。
にしてウインドウW(i,j)を設定し、次式の計算出
力を点(x,y)に与えるものである。
としては、次のようなものを設定する。
より得られる画像の、ある1ラインの出力値列に対する
シームレス処理の概略を示したものである。図13
(a)に示す処理前の画像では、境界線300における
出力値の段差により境界線が目立ってしまうが、平滑化
処理により図13(b)に示すように段差が低減された
出力合成画像320が提供される。
120,220の合成およびシームレス処理を施した画
像信号を出力合成画像信号320として出力する。
力合成画像信号320は、図5(a),(b)に示す各
々の画像信号120,220に比べてワイドアスペクト
の画像となる。さらに、図11(b)にあるように、一
方の画像を基準として合成するために、境界線の位置が
パノラマ時を除き画面中心から外れるため画面中心部の
被写体の画質が劣化しないという特長を持つ。
実施例の原理を示す概略構成図である。図14におい
て、図2中と同符号は同一の構成要素を示す。
撮像光学系102,202と同一の撮像光学系と、図1
3のアスペクト比変換処理部12により実行される。ア
スペクト比変換処理部12の構成は、図2のアスペクト
比変換処理部10とほぼ同じ構成である。ただし、各々
の画像メモリ111,211の映像信号を補間処理部1
4Rにおいて補間処理後合成する点と、相関演算処理部
15における演算内容が異なる。
行うために、補間処理部14Rは画像メモリ111の画
像信号を補間処理し、その後画像相関処理部15は、図
8(a),(b)に示す相関演算領域126,226の
画像から相関関数を求める。ここで、画像相関処理部1
5の内部では、第1実施例とは異なり、以下に示す演算
が行われる。
算で相関値関数I’(x 0 )を求めるものである。図1
5に、相関値関数I’(x0 )の演算結果を示す。相関
値関数I’(x0 )はx0 の関数であり、相関値曲線R
1 はx0 =aでピークをもつ。
各々の画像120,220間のずれの概略を示す。画像
相関処理部15は、制御用CPU11に相関演算領域1
26,226内の画像間のずれaを出力する。制御用C
PU11は前述のずれaとあらかじめ得られている各々
の相関演算領域126,226間のずれdx(図8
(c)参照)を用いて画像220,120間のずれdx
−aを求める(図16参照)。そして、画像メモリ11
1の補間された映像信号から合成処理に用いる領域を切
りだす。図17に合成領域の切りだしの概略を示す。制
御用CPU11は、画像120,220のずれ量を基
に、画像メモリ111からのデータ読みだし位置を図1
7に示すようにxシフトして、図10と同様に合成処理
領域130を切りだし画像合成処理部16に送る。画像
合成処理部16においては、第1実施例と同様の方法に
より各々の映像信号を合成処理し、アスペクト比の変換
された映像信号を出力する。
する。
撮像系の基本配置を示す図である。各々の撮像光学系5
02,602、イメージセンサ503,603、光軸5
01,601は、図1、図2に示す撮像光学系102,
202、イメージセンサ103,203、光軸102,
201とそれぞれ同等である。したがって、各撮像光学
系502,602は、図2に示す構成を有している。本
実施例では、撮像光学系502,602の前方(図示上
方)に被写体面406が設けられ、被写体面406上に
第1の被写体401が描かれている。また、第2、第
3、第4、第5の被写体402,403,404,40
5がそれぞれ所定位置に設置されている。次にアスペク
ト比変換処理部410の構成について説明する。図19
に示すように、アスペクト比変換処理部410は、各々
のイメージセンサ503,603から出力されるアナロ
グ映像信号をそれぞれデジタル映像信号に変換する第1
および第2のA/D変換器510,610、各A/D変
換器510,610から出力されるデジタル信号がそれ
ぞれ記憶される第1および第2の画像メモリ511,6
11と、各々の映像信号のエピポーララインの再構成を
行う演算処理部412L,412Rと、各々の映像信号
における対応点の検出を行う対応点検出部413と、対
応点検出部413により求められた対応点検出信号と各
々の撮像系のパラメータを基に各々の映像信号に対応す
る3次元位置を検出する補正変換処理部414と、変換
処理された映像信号を遠距離被写体から順次画像メモリ
に書き込む陰線処理部417と、補正処理された映像信
号を記憶する画像メモリ711と、各画像メモリ51
1,611,711に記憶されたデジタル映像信号から
画像合成を行って合成画像信号を外部に出力する画像合
成処理部416と、各画像メモリ511,611,71
1に記憶されたデジタル映像信号から画像の相関演算を
行う画像相関処理部415と、各々の撮像光学系のエン
コーダからの検出信号、画像相関処理部415から入力
される演算結果に基づいて各種制御を行う制御用CPU
411とから構成されている。
作を説明する。図20では図18と同じ位置にある第
1、第2、第3、第4、第5の被写体401,402,
403,404,405を、各々の輻輳角をθとして撮
像している。アスペクト比変換処理部410は、各々の
イメージセンサ503,603から入力されるアナログ
の映像信号を第1および第2のA/D変換器510,6
10でデジタル信号に変換処理する。また、制御用CP
U411は、撮像光学系502,602のエンコーダ1
08,208,105,205(図2参照)からの検出
信号を入力し、各々の焦点距離、結像倍率および輻輳角
が常に一致するように制御する。各々のイメージセンサ
503,603により入力されたアナログの映像信号
は、第1および第2のA/D変換器510,610によ
りデジタルの映像信号に変換され各々の画像メモリ51
1,611に記憶される。図20に示す状態で、前述の
各被写体401,402,403,404,405を撮
像するときに得られる映像信号の画像520,620の
概略を図22(a),(b)に示す。図22(a),
(b)において、画像520は撮像光学系502により
得られる映像信号であり、画像620は撮像光学系60
2により得られる映像信号である。また、像401L,
401R,402L,403L,404L,403R,
404R,405Rは、図20に示す各被写体401,
402,403,404,405の像を表す。図20に
示す状態で撮像する場合、輻輳角θの影響で図22
(a),(b)のような歪んだ画像が形成される。
式的に示したものである。F1 ,F 2 は撮像系502,
602の回転中心である。503a,603aはイメー
ジセンサ503,603のセンサ面である。なお、説明
の便宜上センサ面503a,603aを回転中心F1 ,
F2 の前に置くものとする。このとき回転中心F1 ,F
2 、被写体上の点Pの3点によって定まる平面をエピポ
ーラ面、さらにエピポーラ面とセンサ面503aとの交
線lはエピポーララインという。したがって、点Pの対
応点を探索する場合、センサ面503aのエピポーララ
インl上のみを探索すればよい。しかし、輻輳作用によ
りエピポーララインは斜めの線となり、対応点の探索を
円滑に行うためにはこのエピポーララインlを再構成す
ることが必要となる。
20,620におけるエピポーララインは、前述のごと
く斜めの線となっているので、演算処理部412L,4
12Rにおいてこのエピポーララインを再構成して水平
な線に変換処理する。変換の方法として、ここでは図2
1に示すように射影変換により画像の再構成を行う。こ
れは、図20に示す各々の撮像系502,602の回転
中心OL,ORを中心に、仮想的に各々の撮像系502,
602の光軸501,601をそれぞれθ回転させて撮
像した場合(図21の状態)の画像に変換するものであ
る。
02の各エンコーダからの検出信号によりイメージセン
サ503,603の面からレンズの後側主点までの距離
S’を求め、回転角情報検出手段105,205(図2
参照)からの信号と合わせて演算制御部412L,41
2Rに信号を送る。
からレンズの後側主点までの距離S’、輻輳角θ、およ
びセンサ面における座標xおよびyの関数 x’=gx (S’,θ,x) (1) y’=gy (S’,θ,y) (2) として求めることができるので、演算制御部412R,
412Lは、(1),(2)式により変換後の座標位置
を算出し、各々の画像メモリ511,611の映像信号
を変換処理する。図24(a),(b)は、図22
(a),(b)における画像520,620を演算制御
部412R,412Lにおいて変換したものを模式的に
示したものである。図24(a),(b)において、画
像621は図22(a)の画像620を変換処理部41
2Lで変換処理したものであり、画像521は図22
(b)の画像520を変換処理部412Rで変換処理し
たものである。図24(a),(b)の水平線hL ,h
R は、各々の画像621,521における再構成された
エピポーララインの一例である。
換された映像信号は、再び画像メモリ510,610に
書き込まれる。
の再構成された画像間で対応点の検出を行う。図24
(a),(b)に示したように各々のエピポーラライン
は、再構成され水平となっている。対応点は、検出誤差
等の影響が無視できるならば、同じ水平線、例えば図2
4(a),(b)の水平線hL ,hR 上の映像信号間で
行えばよい。
ートマッチング法がある。この方法は、右画像中のある
一点を囲むテンプレートを考え、そのテンプレートの画
像に対して、左画像中での類似性の比較によって対応点
を決定するものである。対応点検出部413において
は、(3)式で表されるようにテンプレートの画像中の
画素値と探索画像中の画素値との相互相関をとり、最大
値となった座標を対応点の座標とする。(3)式の相互
相関では、最大値は1となる。
された画像521,621の画素値であり、σ(x’,
y’)は相関の度合を示すものである。なお、x’、
y’は座標を示す。
素値に対応する座標を画像521から前述の処理により
抽出し、その対応点の座標値を補正変換部414に送
る。補正変換部414では、対応点検出部413におい
て求めた画像621の各画素値に対応する画像521の
座標値を基に座標変換処理を施し、視線方向を変換す
る。
は、演算制御部412R,412Lにより図21に示す
状態で撮像した系の画像521,621に変換されてい
る。図21においてKは基線長を表し、xR ’,xL ’
はそれぞれ被写体404上の物点Qに対する各々のイメ
ージセンサ503,603上における像点の座標を示
す。またS’は、レンズの後側主点からセンサ面までの
距離である。
応点の座標xR ’,xL ’、レンズの後側主点からセン
サ面までの距離S’より以下の演算を施し三角測量の原
理により対応点の3次元位置を算出する。
点とし、x軸およびy軸を図21のように設定するもの
とする。
4において求められた3次元位置情報を基オーバーラッ
プした領域の画像をに基線長Kの垂直2等分線C(視
線)の方向より撮像したがごとき画像に変換する。
換処理し、画像メモリ711に書き込み、近距離にある
被写体は、順次上書きすることにより陰線処理を行うも
のとする。
理部417における処理の概略を示す。図において画像
770は最も遠距離にある第1の被写体401を含む被
写体面(図21参照)を変換処理し、画像メモリ711
に書き込んだ画像の概略である。画像771は、被写体
403を変換処理したものを画像メモリ711に上書き
したものであり、画像772は、被写体404を変換処
理したものを画像メモリ711に上書きしたものであ
る。画像772は、画像メモリ711に書き込まれてい
る。
ンの再構成された画像521,621とオーバーラップ
領域の画像を変換処理した画像772を読み込み、画像
772と画像521,621の間で相関演算を行う。相
関関数として次式に示す関数が用いられ、該関数で求め
た値が相関値として評価される。
の画素値を表す。同様の処理をAとL(画像621の画
素値)の間でも行う。
結果の一例を示す。相関値関数I’(x1 )はx1 の関
数であり、相関値曲線R1 はx1 =aでピーク値をも
つ。
415において求められた結果を基に、画像521,6
21より合成処理に用いる画像領域を抽出したものであ
る。図26(a),(b)において、画像522(画像
521のハッチング部)および画像622(画像621
のハッチング部)は、合成処理に用いられる画像領域を
表す。
像521および画像621間の相関処理の結果に基づ
き、画像521および画像621から画像772とオー
バーラップする領域を取り除き、合成処理に用いる画像
領域522,622を抽出する。そして、抽出した画像
522,622と、画像772を合成処理し、図28に
示すように、アスペクト比の変換された画像780を生
成し出力する。
する。
の可変アスペクト比画像出力可能な複眼撮像装置を用い
た第4の実施例において、複数の撮像系のなす合成画像
とそこからトリミング出力される可変アスペクト比画像
の関係を示したものである。本実施例においては、アス
ペクト比3:4のCCD撮像素子および各々に対応する
結像光学系からなる撮像系を2組用い、その光軸が同一
平面をなすように配置する。装置の詳細は後述する。図
29(a)において、最大の画界をなす領域803(ア
スペクト比3:8)は、図29(b)に示す2組の各々
の撮像系に対応する2つの領域801,802(アスペ
クト比3:4)から合成される。図29(c)に示すよ
うに、撮影者によって入力、設定されるトリミング信号
(アスペクト比3:α)に基づいて出力画像領域804
が決定される。
成図である。本実施例の複眼撮像装置は、右撮像系81
0R および左撮像系810L の2つの撮像系を用いて被
写体を撮像して得られる2つの画像を並列して接続する
ことにより1つのパノラマ合成画像を得るものである。
る。左撮像系810L は、不図示の鏡筒内に組み込まれ
た結像光学系としての撮像レンズ群811L と、この撮
像レンズ群811L に装着された、被写体からの光を3
原色に分解するための色分解プリズム812L と、色分
解プリズム812L によって分解された光毎に設けられ
た撮像素子としての、それぞれ矩形の有効受光部をもつ
3つのCCDセンサ813L (1つのみを図示)とを有
する。撮像レンズ群811L は、フォーカスモータ81
4L により駆動される合焦レンズ群815L と、ズーム
モータ816L により駆動される変倍レンズ群817L
とを含む複数のレンズで構成され、各モータ814L ,
816L は光学系を制御する制御ユニット820内の全
系制御部821およびフォーカス・ズーム制御部822
からの制御信号に応じてそれぞれ駆動される。一方、右
撮像系810R も左撮像系810L と同様に構成されて
おり、右撮像系810R のレンズ群811R の光軸LR
は、左撮像系810L の撮像レンズ群811L の光軸L
L と同一平面上にある。
が組み込まれた前記各鏡筒は、それぞれ制御ユニット8
20の輻輳角制御部823からの制御信号に応じて駆動
される輻輳角モータ818L ,818R の回転軸に結合
されている。各輻輳角モータ818L ,818R の回転
軸は、それぞれ両撮像レンズ811L ,811R の光軸
LL ,LR を含む平面と垂直方向に延びており、各輻輳
角モータ818L ,818R を駆動させることにより、
各撮像レンズ群811L ,811R はそれぞれに設けら
れた色分解プリズム812L ,812R およびCCDセ
ンサ813L ,813R と一体となって回転され、各撮
像レンズ群811L ,811R の光軸L L ,LR の互い
になす角(輻輳角)が設定される。また、各撮像系81
0L ,810R には、各合焦レンズ群815L ,815
R の位置を検出するためのフォーカスエンコーダ824
L ,824R 、各変倍レンズ群817L ,817R の位
置を検出するためのズームエンコーダ825L ,825
R 、および輻輳角を検出するための輻輳角エンコーダ8
26L ,826R が設けられている。これらは、例えば
ポテンショメータのような外付けの部材でもよいし、パ
ルスモータのような駆動系自身の持つ信号情報によりそ
れぞれの位置や角度を検出するものを用いてもよい。
には、画像処理部830を介して画像出力部840が接
続されている。画像処理部830は、図31に示すよう
に、各撮像系810L ,810R のCCDセンサ813
L ,813R (図30参照)からの画像信号であるビデ
オ信号をそれぞれ保持する左画像メモリ831L および
右画像メモリ831R からなる画像入力部832と、画
像入力部832にそれぞれ入力された各ビデオ信号によ
り得られる左右各画像に基づいて1つの合成画像を生成
するための画像変換部838と、画像変換部838で合
成された画像を保持し、画像出力部840に出力するた
めの合成画像メモリ836とを有する。画像変換部83
5はさらに、画像入力部832に入力された両画像のう
ち両画像接続部近傍の画像信号に対して、対応点抽出を
し補間接続を行う対応点抽出・補間処理部833、およ
び制御ユニット820からのトリミング信号に基づいて
画像中のトリミング領域を判断するトリミング領域判定
部835からなる。また、制御ユニット820中の全系
制御部821には、電子トリミングモードに設定可能な
モード設定部821aおよび、電子トリミングモード時
にトリミングパラメータを入力するトリミング情報入力
部821bが設けられ、ここで設定されたトリミング信
号が輻輳角制御部823および画像処理部830中のト
リミング領域判定部834に送られる。
光学系の主要部を、各撮像レンズ群811L ,811R
の光軸LL ,LR のなす平面に垂直な方向から見た図で
ある。ただし、説明を簡略にするために、各色分解プリ
ズム812L ,812R (図30参照)部分は省略する
とともに、各CCDセンサ813L ,813R について
も左右それぞれ1つずつのみ示した。図32に示すよう
に、右撮像系810Rの撮像レンズ群811R およびC
CDセンサ813R は合焦物体面850R を有するとと
もに、撮像可能な領域がCCDセンサ813R の有効受
光部により直線851R ,852R とで挟まれる領域に
制限され、この合焦物体面850R が端面851R ,8
52R とそれぞれ交わる交線BR から交線Aまでの領域
が有効被写体領域となる。左撮像系810L についても
同様に合焦物体面850L の交線Aから交線BL までの
領域が有効被写体領域となっている。左右撮像系810
L,810R のフォーカスモータ814L ,814R
(図30参照)およびズームモータ816L ,816R
(図30参照)は、それぞれの合焦物体面850L ,8
50R とCCDセンサ813L ,813R との距離およ
び結像倍率が左右互いに等しくなるように制御され、か
つ各輻輳角モータ818L ,818R (図30参照)は
各撮像系810L ,810R の有効被写体領域の端部が
互いに交線Aで一致するように制御される。各モータ8
14L ,814R ,816L ,816R,818L ,8
18R の制御は各エンコーダ824L ,824R ,82
5L ,825R ,826L ,826R (図30参照)か
らの信号を受けた制御ユニット820(図30参照)を
通じて行われる。特に輻輳角モータ818L ,818R
は、フォーカスエンコーダ824L ,824R およびズ
ームエンコーダ825L ,825R からの出力信号から
算出される合焦物体面850L ,850R の位置および
有効被写体領域の端部位置の信号に連動して制御され
る。
理手順について図31を参照しつつ説明する。
撮像すると、画像処理部830の画像入力部832に
は、画像情報が各撮像系810L ,810R 毎にビデオ
信号として入力され、それぞれの画像メモリ831L ,
831R に保持される。対応点抽出・補間部833にお
いて、画像メモリ831L ,831R の画像信号のう
ち、接続部近傍の画像データを用いて両画像の対応点抽
出を行い、補間パラメータを求める。
1aでは、割り込み処理による電子トリミング専用のモ
ードスイッチを設けて行うか、あるいは他のモードとの
切替えスイッチを設けて行ってもよい。トリミング情報
入力部821bでは、アスペクト比を増加側および減少
側に連続可変な一組のスイッチを設けて行う。本実施例
において最小限必要なパラメータは図29における設定
値αの値である。
ードへの設定が行われると、トリミング情報入力部82
1bでの設定値αとモード設定の時点における複眼撮像
系の入力画界パラメータ(合成画界の最大アスペクト
比)に基づいて画像切り出し領域を設定する。そして、
合成画像メモリ836上に出力合成画像を展開し、画像
出力部840で標準映像信号(NTSC等)に変換した
後出力する。
以下に記載する方法を用いることができる。この方法
は、例えば左画像中のある1点を囲むテンプレートを考
え、そのテンプレートの画像に対する右画像中での類似
性の比較によって対応点を決定するものであり、対応点
情報を用いて画像接続を行う。この方法は、水平および
垂直方向のレジストレーションを合わせるステップと、
倍率ずれを補正するステップに分けられる。
ション合わせを行うための方法の一例を説明する。以下
の説明は両者に対して共通である。図35を使用し画像
信号によりレジストレーションのずれを求める方法を説
明する。画像メモリ971,981は画像信号970,
980のオーバーラップ部分の信号を一時保存するもの
である。ただし、まず画像データは輻輳角のずれのため
画像のレジストレーションは一致していないものとす
る。950は水平方向の画像シフト処理部であり例え
ば、水平方向に画像メモリ971の座標を一定量X(例
えば1画素)シフトさせ、シフト後の画像データを画像
メモリ972に書き込む。さらに画像メモリ972と画
像メモリ981との差δsを減算処理回路等を含む相関
演算処理回路951を用い、シフト量Xを逐次変えて演
算を行い、差δsが最小値となるシフト量X0 を求める
制御を行う。このとき、差δsとシフト量Xの関係を関
数近似すること等により補間演算処理によってシフト量
X0 を求め補正信号940とする。
明する。
図36に示すような方法がある。すなわち倍率演算処理
部959にて画像メモリ971の座標を、画面中心から
の距離に比例した定数kを掛けて座標変換した後画像メ
モリ972に書き込む。次に画像メモリ972と画像メ
モリ981との差δmを減算処理回路950を用いて求
める。定数kを逐次変えて上述の減算演算を行い、差δ
mが最小値となる定数k0 を求める。この信号の流れを
図36に示す。この定数k0 は一方の撮像光学系に対す
る他方の撮像光学系の結像倍率の比を表し、これを補正
信号942とする。
れる画像信号970,980のレジストレーション倍率
のずれ量を各アクチュエータにより機械的に所定値(許
容値)以下に補正した後、画像信号970,980をオ
ーバーラップ部分の画像のつなぎ処理した後、例えば画
像メモリ971,981と加算処理回路954等を用い
て2つの画像信号を1つの画像信号941に合成でき
る。この信号の流れを図37に示す。
狭めることなく、アスペクト比の大きい(本実施例では
横長の3:8)合成画像を常に出力できる複眼撮像装置
をなすとともに、撮影者の意図するアスペクト比での合
成画像出力も瞬時に行うことのできる複眼撮像装置を提
供できる。
部830および制御ユニット920の構成を示したもの
である。第4の実施例と同等の部分については同じ番号
を付した。また、複眼撮像装置の基本的な構成は図30
に示したものと同じである。第4実施例の制御ユニット
820に相当する制御ユニット920内の全系制御部9
21には、以下に説明するハイブリッドトリミングモー
ドに設定可能なモード設定部921a、および本モード
設定時にトリミングパラメータの入力を行うトリミング
情報入力部912bが設けられている。
は以下の2つの処理フローからなる。 (処理1)第1実施例と同等の電子トリミング(ただ
し、垂直方向もトリミング) (処理2)光学トリミング状態への遷移 (1)電子トリミングモード終了時のパラメータ保持 (2)光学パラメータを光学トリミング時の最終値に向
けて変化させる。このとき、トリミング範囲を保持する
ように電子トリミングパラメータで補償。図34は、本
実施例において左右撮像系810L ,810R からの入
力画像とそこからトリミング出力される可変アスペクト
比出力画像の関係を示したものである。通常モードで
は、左右各撮像系810L ,810R に対応するアスペ
クト比3:4のCCDセンサ813L ,813R からの
入力画像801,802は水平方向で並列合成されてア
スペクト比3:8の合成出力画像803となる(図34
(a),(b))。図34中のモード設定部921aで
ハイブリッドトリミングモードが選択されると、まず第
1の処理フローでアスペクト比3:α、垂直トリミング
比β(垂直方向の最大幅を1とする)の画像トリミング
が行われ、出力画像805となる(図34(c))。こ
こまでが処理1に対応する部分である。引き続き第2の
処理フローでは、この電子トリミング状態から同じトリ
ミング範囲を維持しつつ、光学パラメータ(撮像レンズ
群811R の焦点距離および輻輳角)をCCDセンサの
有効受光部上にトリミング範囲が最も大きい結像倍率で
結像される光学パラメータに向けて連続的に変えていく
(図34(c)→(d))。図34(d)において、2
本の破線は図34(c)の出力画像805の縦線に対応
する。光学パラメータ変化時に処理1時点でのトリミン
グ範囲を維持するために、上記光学パラメータから算出
される左右撮像系の入力画像範囲に基づいて、トリミン
グパラメータが全系制御部921からトリミング領域判
定部834へ送られ、トリミング画像合成が行われる
(図34(e))。
の有する効果に加え、撮影者の意図に従った瞬時のトリ
ミング画像出力と本複眼撮像装置で可能な最も高精細の
トリミング画像出力への漸近的変換を組み合せて用いる
ことができる。したがって、従来のように解像力の落ち
たトリミング画像が出力され続け画質を落とすことを防
止できる。特に本実施例のように複眼撮像装置において
本機能を備えることにより、アスペクト比の大きくなる
パノラマ画像でのアスペクト比可変時に大きな効果を発
揮できる。
選択前の状態をアスペクト比3:8となる光学系配置で
説明したが、本発明はこの状態に限定されるわけではな
く、初期状態においてアスペクト比3:8以外の光学ト
リミング状態であっても本発明の効果は失われない。
物体面が同一平行上に配置されず、また台形歪みのため
に画像接続部に若干の幾何学的歪みが生じる。したがっ
て、左右撮像系のCCDセンサの受光平面を各々の光軸
に対して所定角傾けて配置することにより、合焦物体面
を同一平面上に配置し、かつ幾何学的歪みについては入
力画像に対して歪み補正処理を行うこともできる。
て、両撮像系の合焦物体面の端部が一致するように配置
したが、機構制御系の誤差発生を吸収するために、上記
合焦物体面の端部を一部重ねて配置し、重畳部での画像
対応付けを行い、それに基づいて合成処理を行うことも
できる。
からなる複眼撮像系について示したが3つ以上の場合も
もちろん構成可能である。撮像素子についてはCCD以
外の例えば撮像管等を用いたものでもよく、また色分解
系を除去して受光部にモザイク上のカラーフィルタを配
した撮像素子を用いることもできる。さらに撮像素子に
ついていえば、そのアスペクト比は3:4に限定される
ものでないことはいうまでもない。
像装置を提供できる。さらに合成処理を行う際に、一方
の映像信号を基準として他方をつなぎ合わせているた
め、特に比較的アスペクト比が小さい場合、境界線は画
面の周辺部に位置することとなり画面中心部領域におい
ては画質劣化のない画像が提供できる。
プ部の2重像を取り除くために、画像の3次元位置情報
を求め、視線変換後合成処理することによりオーバーラ
ップ部においても高画質の画像が提供できる。
く、アスペクト比の大きい合成画像を常に出力できる複
眼撮像装置をなすとともに、撮影者の意図するアスペク
ト比での合成画像出力も瞬時に行うことのできる複眼撮
像装置を提供できる。さらに、撮影者の意図にしたがっ
た瞬時のトリミング画像出力と本複眼撮像装置で可能な
最も高精細のトリミング画像出力への漸近的変換を組み
合せることにより、トリミング画像合成において解像力
の落ちた画像が出力され続け画質を落とすことを防止で
きる。
配置を示す図である。
す図である。
示す構成図である。
図である。
枠の概略を説明するための図である。
明するための図である。
を示す図である。
である。
るシームレス処理の概略を説明するための図である。
るための図である。
理部12を示す構成図である。
めの図である。
るための図である。
本配置を示す図である。
0を示す構成図である。
す図である。
するための図である。
像系により得られる画像を模式的に示した図である。
像に対しエピポーララインの再構成処理を行った画像の
模式図である。
説明するための図である。
ための図である。
る。
る可変アスペクト比画像出力を説明するための図であ
る。
示す図である。
ニットのブロック図である。
び制御ユニットのブロック図である。
を説明するための図である。
成例を示す図である。
ある。
る。
Claims (6)
- 【請求項1】 複数の撮像系を制御して画界をオーバー
ラップして撮像する複眼撮像装置において、 前記複数の撮像系により得られる画像信号から相関演算
を行う画像相関処理手段と、 前記画像相関処理手段により相関演算が行われた画像信
号より一方の画像を基準として他方の画像をつなぎ合わ
せる合成処理手段とを有することを特徴とする複眼撮像
装置。 - 【請求項2】 複数の撮像系を制御して画界をオーバー
ラップしてアスペクト比可変で撮像する複眼撮像装置に
おいて、 前記複数の撮像系から出力されるオーバーラップ部分の
画像信号により、前記オーバーラップ部分の画像の対応
点を検出する対応点検出手段と、 該対応点検出手段から出力される検出信号を基に、前記
複数の撮像系から出力される画像信号を補正する補正変
換処理手段と、 前記補正変換処理手段により補正された画像信号から相
関関係を検出する画像相関処理手段と、 前記画像相関処理手段が検出した相関関係により前記複
数の撮像系から出力される画像信号を1つの画像信号に
変換処理する画像合成処理手段とを有することを特徴と
する複眼撮像装置。 - 【請求項3】 複数の結像光学系と、該結像光学系の各
々に対応した撮像素子からなる複数の撮像系を有し、前
記撮像素子の各々から出力された画像信号を用いて合成
画像を生成する複眼撮像装置において、 前記各々の撮像系のなす画界が他の画界の少なくとも1
つと接するかあるいは一部分重なった状態に保持される
ように前記各々の撮像系が設定され、 前記各々の撮像系から出力された画像信号を各々保持す
る複数の画像入力手段と、 アスペクト比指定値を含んだ画像トリミング信号を入力
する全系制御手段と、 前記画像入力手段に保持される画像信号および前記全系
制御手段により入力される画像トリミング信号に基づい
て、アスペクト比可変な画像を出力生成する画像変換手
段とを有することを特徴とする複眼撮像装置。 - 【請求項4】 請求項3記載の複眼撮像装置において、
前記画像変換手段が画像出力を行った後、前記全系制御
手段に入力されるアスペクト比指定値に対応した画像ト
リミング領域を保持しつつ、前記複数の撮像系の光学パ
ラメータを変化させる制御手段を有することを特徴とす
る複眼撮像装置。 - 【請求項5】 請求項4記載の複眼撮像装置において、
前記光学パラメータは前記複数の撮像系の焦点距離およ
び前記複数の撮像系の輻輳角であることを特徴とする複
眼撮像装置。 - 【請求項6】 請求項4記載の複眼撮像装置において、
前記複数の撮像系の光軸は1つの平面に平行な方向に変
化する系であって、前記光学パラメータの変化後の最終
指定値は、前記複数の撮像系の受光部の、前記1つの平
面に垂直な垂直有効幅と前記画像トリミング領域の垂直
有効幅が一致することを特徴とする複眼撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5005242A JP2888713B2 (ja) | 1993-01-14 | 1993-01-14 | 複眼撮像装置 |
US08/751,242 US5798791A (en) | 1993-01-14 | 1996-11-18 | Multieye imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5005242A JP2888713B2 (ja) | 1993-01-14 | 1993-01-14 | 複眼撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06217184A true JPH06217184A (ja) | 1994-08-05 |
JP2888713B2 JP2888713B2 (ja) | 1999-05-10 |
Family
ID=11605737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5005242A Expired - Fee Related JP2888713B2 (ja) | 1993-01-14 | 1993-01-14 | 複眼撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5798791A (ja) |
JP (1) | JP2888713B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6507358B1 (en) | 1997-06-02 | 2003-01-14 | Canon Kabushiki Kaisha | Multi-lens image pickup apparatus |
JP2005223524A (ja) * | 2004-02-04 | 2005-08-18 | Nissan Motor Co Ltd | 車両周辺監視装置 |
JP2007036748A (ja) * | 2005-07-27 | 2007-02-08 | Fujifilm Corp | 監視システム、監視装置、監視方法、及びプログラム |
KR20150072439A (ko) * | 2012-10-19 | 2015-06-29 | 퀄컴 인코포레이티드 | 폴드형 광학계를 이용한 다중-카메라 시스템 |
US9973680B2 (en) | 2014-04-04 | 2018-05-15 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
US10084958B2 (en) | 2014-06-20 | 2018-09-25 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6118475A (en) * | 1994-06-02 | 2000-09-12 | Canon Kabushiki Kaisha | Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape |
GB2298100A (en) * | 1995-02-07 | 1996-08-21 | Peng Seng Toh | High resolution video imaging system for simultaneous acquisition of two high aspect ratio object fields |
US6849588B2 (en) * | 1996-02-08 | 2005-02-01 | Huntsman Petrochemical Corporation | Structured liquids made using LAB sulfonates of varied 2-isomer content |
JPH114398A (ja) * | 1997-06-11 | 1999-01-06 | Hitachi Ltd | デジタルワイドカメラ |
US6762794B1 (en) * | 1997-12-03 | 2004-07-13 | Canon Kabushiki Kaisha | Image pick-up apparatus for stereoscope |
US6160607A (en) * | 1998-06-01 | 2000-12-12 | Diaconu; Dan Mugur | Camera focus indicator |
JP3791216B2 (ja) * | 1998-11-10 | 2006-06-28 | コニカミノルタホールディングス株式会社 | 画像合成処理装置、画像合成処理方法および画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4169462B2 (ja) * | 1999-08-26 | 2008-10-22 | 株式会社リコー | 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体 |
US7313289B2 (en) * | 2000-08-30 | 2007-12-25 | Ricoh Company, Ltd. | Image processing method and apparatus and computer-readable storage medium using improved distortion correction |
JP3437555B2 (ja) * | 2001-03-06 | 2003-08-18 | キヤノン株式会社 | 特定点検出方法及び装置 |
DE10131196A1 (de) * | 2001-06-28 | 2003-01-16 | Bosch Gmbh Robert | Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen |
AU2003226047A1 (en) * | 2002-04-10 | 2003-10-27 | Pan-X Imaging, Inc. | A digital imaging system |
JP3926244B2 (ja) * | 2002-09-26 | 2007-06-06 | 株式会社島津製作所 | 撮影装置 |
US20060069591A1 (en) * | 2004-09-29 | 2006-03-30 | Razzano Michael R | Dental image charting system and method |
FR2881598B1 (fr) * | 2005-02-01 | 2007-08-03 | Canon Kk | Procede et dispositif d'enregistrement d'images composant un panorama, de visualisation et de modification d'un panorama |
TWI383666B (zh) * | 2007-08-21 | 2013-01-21 | Sony Taiwan Ltd | 多重鏡頭相機系統之先進式動態接圖方法 |
JP4669032B2 (ja) * | 2008-09-08 | 2011-04-13 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
US20100186234A1 (en) | 2009-01-28 | 2010-07-29 | Yehuda Binder | Electric shaver with imaging capability |
US8462209B2 (en) * | 2009-06-26 | 2013-06-11 | Keyw Corporation | Dual-swath imaging system |
JP4759082B2 (ja) * | 2009-11-18 | 2011-08-31 | 富士フイルム株式会社 | 複眼式撮像装置 |
US9161020B2 (en) * | 2013-04-26 | 2015-10-13 | B12-Vision Co., Ltd. | 3D video shooting control system, 3D video shooting control method and program |
US10419655B2 (en) | 2015-04-27 | 2019-09-17 | Snap-Aid Patents Ltd. | Estimating and using relative head pose and camera field-of-view |
US9563957B1 (en) | 2015-07-02 | 2017-02-07 | Yesvideo, Inc. | 2D/3D image scanning and compositing |
US10796425B1 (en) * | 2016-09-06 | 2020-10-06 | Amazon Technologies, Inc. | Imagery-based member deformation gauge |
US11290708B2 (en) | 2019-02-19 | 2022-03-29 | Edgy Bees Ltd. | Estimating real-time delay of a video data stream |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4825393A (en) * | 1986-04-23 | 1989-04-25 | Hitachi, Ltd. | Position measuring method |
JPH01246989A (ja) * | 1988-03-29 | 1989-10-02 | Kanji Murakami | 立体撮像ビデオカメラ |
DE3828766C2 (de) * | 1988-08-25 | 1997-04-10 | Daimler Benz Aerospace Ag | Elektrooptisches System zur Erkennung von Flugkörpern |
US4890314A (en) * | 1988-08-26 | 1989-12-26 | Bell Communications Research, Inc. | Teleconference facility with high resolution video display |
US4963962A (en) * | 1989-01-25 | 1990-10-16 | Visual Methods, Inc. | Optical surveillance assembly and camera |
US5038224A (en) * | 1989-12-22 | 1991-08-06 | Bell Communications Research, Inc. | Video imaging device in a teleconferencing system |
US5130794A (en) * | 1990-03-29 | 1992-07-14 | Ritchey Kurtis J | Panoramic display system |
US5187754A (en) * | 1991-04-30 | 1993-02-16 | General Electric Company | Forming, with the aid of an overview image, a composite image from a mosaic of images |
US5386228A (en) * | 1991-06-20 | 1995-01-31 | Canon Kabushiki Kaisha | Image pickup device including means for adjusting sensitivity of image pickup elements |
TW221312B (ja) * | 1991-06-27 | 1994-02-21 | Eastman Kodak Co | |
JP2714277B2 (ja) * | 1991-07-25 | 1998-02-16 | 株式会社東芝 | リード形状計測装置 |
-
1993
- 1993-01-14 JP JP5005242A patent/JP2888713B2/ja not_active Expired - Fee Related
-
1996
- 1996-11-18 US US08/751,242 patent/US5798791A/en not_active Expired - Lifetime
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6507358B1 (en) | 1997-06-02 | 2003-01-14 | Canon Kabushiki Kaisha | Multi-lens image pickup apparatus |
JP2005223524A (ja) * | 2004-02-04 | 2005-08-18 | Nissan Motor Co Ltd | 車両周辺監視装置 |
JP2007036748A (ja) * | 2005-07-27 | 2007-02-08 | Fujifilm Corp | 監視システム、監視装置、監視方法、及びプログラム |
KR20150072439A (ko) * | 2012-10-19 | 2015-06-29 | 퀄컴 인코포레이티드 | 폴드형 광학계를 이용한 다중-카메라 시스템 |
JP2016500962A (ja) * | 2012-10-19 | 2016-01-14 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | フォールデッドオプティクスを用いたマルチカメラシステム |
US10165183B2 (en) | 2012-10-19 | 2018-12-25 | Qualcomm Incorporated | Multi-camera system using folded optics |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
US9973680B2 (en) | 2014-04-04 | 2018-05-15 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
US10084958B2 (en) | 2014-06-20 | 2018-09-25 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
Also Published As
Publication number | Publication date |
---|---|
JP2888713B2 (ja) | 1999-05-10 |
US5798791A (en) | 1998-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2888713B2 (ja) | 複眼撮像装置 | |
US5646679A (en) | Image combining method and apparatus | |
JP3107929B2 (ja) | 複眼撮像装置 | |
US5682198A (en) | Double eye image pickup apparatus | |
JP2883265B2 (ja) | 画像処理装置 | |
JP4297111B2 (ja) | 撮像装置、画像処理方法及びそのプログラム | |
JP4995854B2 (ja) | 撮像装置、画像補正方法および画像補正プログラム | |
US8059185B2 (en) | Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range | |
WO2011078244A1 (ja) | 多眼撮像装置および多眼撮像方法 | |
WO2011121840A1 (ja) | 立体撮像装置 | |
US20110234767A1 (en) | Stereoscopic imaging apparatus | |
WO2012002046A1 (ja) | 立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法 | |
JP2012199621A (ja) | 複眼撮像装置 | |
JP2011259168A (ja) | 立体パノラマ画像撮影装置 | |
JP2006251683A (ja) | 立体画像撮影システム | |
JP2002077947A (ja) | 立体画像補正方法及びこれを用いた立体画像装置 | |
US20120057747A1 (en) | Image processing system and image processing method | |
JP4436488B2 (ja) | ステレオ映像取得装置 | |
JPH07303207A (ja) | 撮像装置 | |
JP2005020606A (ja) | デジタルカメラ | |
JP2007049266A (ja) | 画像撮像装置 | |
JP6648916B2 (ja) | 撮像装置 | |
JP2008053787A (ja) | 多眼電子カメラ及び多眼電子カメラの視差補正方法 | |
JP3105515B2 (ja) | 電子カメラ | |
JP2883264B2 (ja) | 複眼撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080219 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090219 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100219 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100219 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110219 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120219 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |