JPH08336165A - 複眼撮像装置 - Google Patents
複眼撮像装置Info
- Publication number
- JPH08336165A JPH08336165A JP7143357A JP14335795A JPH08336165A JP H08336165 A JPH08336165 A JP H08336165A JP 7143357 A JP7143357 A JP 7143357A JP 14335795 A JP14335795 A JP 14335795A JP H08336165 A JPH08336165 A JP H08336165A
- Authority
- JP
- Japan
- Prior art keywords
- convergence angle
- video signals
- image pickup
- imaging
- phase difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【目的】 複数の撮像系の輻輳角制御を電気的に行って
装置を小型化すると共に良好な立体視を得る。 【構成】 2つのCCD101R、101Lで撮像され
た映像信号は、デジタル化された後、処理されてメモリ
104R、104Lに保持されると共に動き検出部10
6R、106Lで動きベクトルを検出される。トリミン
グ領域設定部107R、107Lは、輻輳角入力部12
0で設定された輻輳角情報と検出された動きベクトルと
に応じてメモリ104R、104Lから映像信号を切り
出す。切り出された映像信号はD/A変換され、出力さ
れる。 【効果】 輻輳角の制御が従来のような機械的な制御で
なく電気的に行われるので、装置が小型化されると共
に、機構のガタツキ等による不都合が解消される。
装置を小型化すると共に良好な立体視を得る。 【構成】 2つのCCD101R、101Lで撮像され
た映像信号は、デジタル化された後、処理されてメモリ
104R、104Lに保持されると共に動き検出部10
6R、106Lで動きベクトルを検出される。トリミン
グ領域設定部107R、107Lは、輻輳角入力部12
0で設定された輻輳角情報と検出された動きベクトルと
に応じてメモリ104R、104Lから映像信号を切り
出す。切り出された映像信号はD/A変換され、出力さ
れる。 【効果】 輻輳角の制御が従来のような機械的な制御で
なく電気的に行われるので、装置が小型化されると共
に、機構のガタツキ等による不都合が解消される。
Description
【0001】
【産業上の利用分野】本発明は複数の撮像系により被写
体を撮像して立体視および距離情報入力等を行うための
複眼撮像装置に関するものである。
体を撮像して立体視および距離情報入力等を行うための
複眼撮像装置に関するものである。
【0002】
【従来の技術】従来より複数の撮像系により被写体を撮
像し立体視像を提供する複眼撮像装置においては、各撮
像系の輻輳角を制御することにより、立体感の調整を行
うことはよく知られている。従来の装置では輻輳角の変
更を、各々の撮像系に設置されたモータ等を駆動するこ
とにより実現しているものがほとんどであった。また、
立体映像を撮像する場合に発生する手ぶれ等が、立体視
の際に見る人の疲労感を増長させる要因として挙げられ
るが、これを低減する方法については従来はあまり言及
されていない。
像し立体視像を提供する複眼撮像装置においては、各撮
像系の輻輳角を制御することにより、立体感の調整を行
うことはよく知られている。従来の装置では輻輳角の変
更を、各々の撮像系に設置されたモータ等を駆動するこ
とにより実現しているものがほとんどであった。また、
立体映像を撮像する場合に発生する手ぶれ等が、立体視
の際に見る人の疲労感を増長させる要因として挙げられ
るが、これを低減する方法については従来はあまり言及
されていない。
【0003】
【発明が解決しようとする課題】上記従来の複眼撮像装
置においては、輻輳角を制御するためのモータ等の機構
が必要であり、このため装置が複雑でかつ大型化すると
いう問題があった。また輻輳角を駆動制御する際に発生
する機械的なガタツキ等により、各撮像系より得られる
画像間にずれが生じ、立体視の際に不具合を引起こす要
因になるという問題があった。
置においては、輻輳角を制御するためのモータ等の機構
が必要であり、このため装置が複雑でかつ大型化すると
いう問題があった。また輻輳角を駆動制御する際に発生
する機械的なガタツキ等により、各撮像系より得られる
画像間にずれが生じ、立体視の際に不具合を引起こす要
因になるという問題があった。
【0004】さらに、手持ちタイプの複眼撮像系の場合
は、撮像の際の手ぶれにより画像が揺れるために、立体
像を鑑賞する際に見る人の疲労が増す等の問題があっ
た。また、さらにズームレンズ等を用いた複眼撮像系に
おいては、ズーム操作により光軸がシフトし、その結果
立体視等を行う場合に不適切な視差が生じ、見る人の疲
労の要因となるという問題があった。
は、撮像の際の手ぶれにより画像が揺れるために、立体
像を鑑賞する際に見る人の疲労が増す等の問題があっ
た。また、さらにズームレンズ等を用いた複眼撮像系に
おいては、ズーム操作により光軸がシフトし、その結果
立体視等を行う場合に不適切な視差が生じ、見る人の疲
労の要因となるという問題があった。
【0005】本発明の第1の目的は、複数の撮像光学系
により被写体を撮像し、立体視または距離情報入力等を
行う際に、輻輳角の制御を電気的に行うことにより、装
置の小型化及び機械的に制御を行う場合に発生するガタ
ツキ等を解消し、また手ぶれにより各々の画像が上下左
右に揺れ立体視を行う際の疲労感を増長するのを抑え、
常に高品質の映像を出力する複眼撮像装置を提供するこ
とである。
により被写体を撮像し、立体視または距離情報入力等を
行う際に、輻輳角の制御を電気的に行うことにより、装
置の小型化及び機械的に制御を行う場合に発生するガタ
ツキ等を解消し、また手ぶれにより各々の画像が上下左
右に揺れ立体視を行う際の疲労感を増長するのを抑え、
常に高品質の映像を出力する複眼撮像装置を提供するこ
とである。
【0006】本発明の第2の目的は、複数の撮像光学系
により被写体を撮像し、立体視または距離情報入力等を
行う際に、各々の撮像光学系により得られる映像間の位
相ずれを補正し、立体視等を行う際には、疲労感を抑
え、距離情報入力の際には処理を容易にする複眼撮像装
置を提供することである。
により被写体を撮像し、立体視または距離情報入力等を
行う際に、各々の撮像光学系により得られる映像間の位
相ずれを補正し、立体視等を行う際には、疲労感を抑
え、距離情報入力の際には処理を容易にする複眼撮像装
置を提供することである。
【0007】
【課題を解決するための手段】本発明においては、被写
体を撮像して映像信号を出力する複数の撮像手段と、上
記複数の撮像手段から出力される複数の映像信号を記憶
する記憶手段と、上記複数の撮像手段の輻輳角を設定す
る輻輳角設定手段と、上記記憶手段に記憶された複数の
映像信号の各々から上記輻輳角設定手段で設定された輻
輳角に応じた部分の信号をそれぞれ切り出すトリミング
手段とを設けている。
体を撮像して映像信号を出力する複数の撮像手段と、上
記複数の撮像手段から出力される複数の映像信号を記憶
する記憶手段と、上記複数の撮像手段の輻輳角を設定す
る輻輳角設定手段と、上記記憶手段に記憶された複数の
映像信号の各々から上記輻輳角設定手段で設定された輻
輳角に応じた部分の信号をそれぞれ切り出すトリミング
手段とを設けている。
【0008】
【作用】本発明によれば、複数の撮像手段により被写体
像を入力して記憶手段に保持し、輻輳角設定手段により
与えられる情報に応じて記憶手段から被写体像の一部を
切り出して出力することにより、輻輳角制御を電気的に
行うことができ、機械的なガタツキによる画像の劣化を
解消することができる。
像を入力して記憶手段に保持し、輻輳角設定手段により
与えられる情報に応じて記憶手段から被写体像の一部を
切り出して出力することにより、輻輳角制御を電気的に
行うことができ、機械的なガタツキによる画像の劣化を
解消することができる。
【0009】
【実施例】図1は、本発明の第1の実施例を示すブロッ
ク図である。図1において、1R、1Lは左右の撮像系
の光軸を示す。100R及び100Lは撮像レンズであ
り、101R及び101Lは撮像した被写体の光学像を
電気信号に変換する撮像素子としてのCCDであり、画
素数は通常のNTSC対応のものより多い画素数を持っ
たものを用いる。尚、撮像素子はCCDに限るものでは
なく他のイメージセンサを用いることができることは言
うまでもない。102R及び102LはA/D変換器で
あり、CCD100R、100Lにより変換されたアナ
ログの電気信号をデジタルの信号に変換する。
ク図である。図1において、1R、1Lは左右の撮像系
の光軸を示す。100R及び100Lは撮像レンズであ
り、101R及び101Lは撮像した被写体の光学像を
電気信号に変換する撮像素子としてのCCDであり、画
素数は通常のNTSC対応のものより多い画素数を持っ
たものを用いる。尚、撮像素子はCCDに限るものでは
なく他のイメージセンサを用いることができることは言
うまでもない。102R及び102LはA/D変換器で
あり、CCD100R、100Lにより変換されたアナ
ログの電気信号をデジタルの信号に変換する。
【0010】103R及び103LはDSP(デジタル
・シグナル・プロセッサ)であり、A/D変換された電
気信号を処理することにより適切な映像信号を生成する
ものである。104R及び104Lはメモリであり、D
SP103R、103Lで生成された映像信号を一時保
持する。105R及び105LはD/A変換器であり、
メモリ104R、104Lより読み出されたデジタルの
映像信号をアナログの映像信号に変換するものである。
・シグナル・プロセッサ)であり、A/D変換された電
気信号を処理することにより適切な映像信号を生成する
ものである。104R及び104Lはメモリであり、D
SP103R、103Lで生成された映像信号を一時保
持する。105R及び105LはD/A変換器であり、
メモリ104R、104Lより読み出されたデジタルの
映像信号をアナログの映像信号に変換するものである。
【0011】106R及び106Lは動き検出部であ
り、各CCD101R、101Lにより撮像された映像
のフィールド(あるいはフレームでも良い)間の動き量
を検出する。107R及び107Lはトリミング領域設
定部であり、各メモリ104R、104Lの書き込み及
び読み出しの制御を行う。110は、マイコン(マイロ
クコンピュータ)であり、撮像装置全体の制御を行うも
のである。120は輻輳角入力部であり、各撮像系の撮
像時の輻輳角を設定するものである。
り、各CCD101R、101Lにより撮像された映像
のフィールド(あるいはフレームでも良い)間の動き量
を検出する。107R及び107Lはトリミング領域設
定部であり、各メモリ104R、104Lの書き込み及
び読み出しの制御を行う。110は、マイコン(マイロ
クコンピュータ)であり、撮像装置全体の制御を行うも
のである。120は輻輳角入力部であり、各撮像系の撮
像時の輻輳角を設定するものである。
【0012】図3は、本発明による複眼撮像装置を原理
的に示したものである。図2において、201R、20
1R′及び201L、201L′はCCD101R、1
01Lの撮像面上における通常の4:3のアスペクト比
により撮像される範囲としてのトリミング領域を示す。
201R、201Lは光軸1R、1Lに対するトリミン
グ領域であり、201R′、201L′は光軸1R′、
1L′に対するトリミング領域である。
的に示したものである。図2において、201R、20
1R′及び201L、201L′はCCD101R、1
01Lの撮像面上における通常の4:3のアスペクト比
により撮像される範囲としてのトリミング領域を示す。
201R、201Lは光軸1R、1Lに対するトリミン
グ領域であり、201R′、201L′は光軸1R′、
1L′に対するトリミング領域である。
【0013】本発明においては、図2において、各CC
D101R、101Lで撮像した映像をトリミングする
ことにより輻輳角の制御を行うようにしている。即ち、
トリミングを行う際に、トリミング領域201R、20
1Lの中心位置をシフトすることにより、光軸1R、1
Lを光軸1R′、1L′に実質的に変更したトリミング
領域201R′、201L′を得ることで輻輳角を制御
するようにしている。従って、輻輳角を電気的に制御す
ることができ、機械的な輻輳角制御のための機構を必要
としない。
D101R、101Lで撮像した映像をトリミングする
ことにより輻輳角の制御を行うようにしている。即ち、
トリミングを行う際に、トリミング領域201R、20
1Lの中心位置をシフトすることにより、光軸1R、1
Lを光軸1R′、1L′に実質的に変更したトリミング
領域201R′、201L′を得ることで輻輳角を制御
するようにしている。従って、輻輳角を電気的に制御す
ることができ、機械的な輻輳角制御のための機構を必要
としない。
【0014】次に本発明の装置の動作について説明す
る。撮像レンズ100R、100Lを通して得られる被
写体の光学像は、CCD101R、101Lによる電気
的なアナログ映像信号に変換され、この映像信号はA/
D変換器102R、102Lによりデジタル映像信号に
変換された後、DSP103R、103Lに与えられ
る。DSP103R、103Lにおいてデジタル信号処
理を行うことにより適切な形態の映像信号を生成し、メ
モリ104R、104L及び動き検出部107R、10
7Lに出力する。
る。撮像レンズ100R、100Lを通して得られる被
写体の光学像は、CCD101R、101Lによる電気
的なアナログ映像信号に変換され、この映像信号はA/
D変換器102R、102Lによりデジタル映像信号に
変換された後、DSP103R、103Lに与えられ
る。DSP103R、103Lにおいてデジタル信号処
理を行うことにより適切な形態の映像信号を生成し、メ
モリ104R、104L及び動き検出部107R、10
7Lに出力する。
【0015】動き検出部107R、107Lにおいて
は、現フィールドの映像と前フィールドの映像との間に
おける動きベクトルの検出を行う。図3に動きベクトル
検出の原理を示す。図3(a)に示すように、入力した
現フィールドの映像信号を適切なサイズから成る複数の
ブロックに分割する。分割した各ブロックの映像信号と
図3(b)の前フィールドの映像信号との間でテンプレ
ートマッチング処理を施し、相関値のピークとなる位置
を求める。以上の処理を各ブロックについて施すことに
より、図3(c)に示すように各ブロックの動きベクト
ルが求められる。
は、現フィールドの映像と前フィールドの映像との間に
おける動きベクトルの検出を行う。図3に動きベクトル
検出の原理を示す。図3(a)に示すように、入力した
現フィールドの映像信号を適切なサイズから成る複数の
ブロックに分割する。分割した各ブロックの映像信号と
図3(b)の前フィールドの映像信号との間でテンプレ
ートマッチング処理を施し、相関値のピークとなる位置
を求める。以上の処理を各ブロックについて施すことに
より、図3(c)に示すように各ブロックの動きベクト
ルが求められる。
【0016】動き検出部106R、106Lは、求めら
れた各ブロックに関する動きベクトルを統合し、それら
の平均値、中央値等から現フィールドの動きベクトルの
代表値(x,y)を求め、これをトリミング領域設定部
107R、107Lに出力する。
れた各ブロックに関する動きベクトルを統合し、それら
の平均値、中央値等から現フィールドの動きベクトルの
代表値(x,y)を求め、これをトリミング領域設定部
107R、107Lに出力する。
【0017】図4に一例としてモメリ104Rに保持さ
れている現フィールドの映像信号の概略を示す。本実施
例におていは、通常のNTSC対応のものより画素数の
多い大面積のCCDを用いているため図4に示すよう
に、映像信号から動きベクトルの代表値(x,y)に応
じて点線で囲まれたアスペクト比が4:3の領域をトリ
ミングすることができる。
れている現フィールドの映像信号の概略を示す。本実施
例におていは、通常のNTSC対応のものより画素数の
多い大面積のCCDを用いているため図4に示すよう
に、映像信号から動きベクトルの代表値(x,y)に応
じて点線で囲まれたアスペクト比が4:3の領域をトリ
ミングすることができる。
【0018】一方、輻輳角入力部120はダイヤルある
いはスイッチ等を含んで構成されており、例えば輻輳角
を各光軸1R、1Lが図2に示すような平行の状態から
光軸1R′、1L′のような内向きとなるようにダイヤ
ルあるいはボタンを操作するように構成されている。輻
輳角入力部120により輻輳角変更に関する情報が入力
されると、マイコン110はこの入力情報を検知してト
リミング領域設定部107R、107Lに制御信号を与
える。
いはスイッチ等を含んで構成されており、例えば輻輳角
を各光軸1R、1Lが図2に示すような平行の状態から
光軸1R′、1L′のような内向きとなるようにダイヤ
ルあるいはボタンを操作するように構成されている。輻
輳角入力部120により輻輳角変更に関する情報が入力
されると、マイコン110はこの入力情報を検知してト
リミング領域設定部107R、107Lに制御信号を与
える。
【0019】図5はトリミングによる輻輳角変更の概略
を示したもので、図2に示すように輻輳を内向きに変更
する場合について示している。輻輳角入力部120から
の情報に基づいてマイコン110はトリミング領域設定
部107R、107Lに画像のシフト量Δxを与える。
図5において、点線及び一点鎖線で囲まれた部分はトリ
ミングされる領域を表わす。
を示したもので、図2に示すように輻輳を内向きに変更
する場合について示している。輻輳角入力部120から
の情報に基づいてマイコン110はトリミング領域設定
部107R、107Lに画像のシフト量Δxを与える。
図5において、点線及び一点鎖線で囲まれた部分はトリ
ミングされる領域を表わす。
【0020】トリミング領域設定部107R、107L
は、動き検出部106R、106Lより出力される動き
ベクトル(x,y)及びマイコン110より出力される
輻輳角の変更量Δxを統合し、最終的なトリミング領域
を求める。図6は一例としてトリミング領域設定部10
7R、107Lにおいて動き量と輻輳角変更のためのシ
フト量とを統合した結果得られるトリミング領域を示
す。尚、トリミング領域設定部107Lにおいても上記
と同様に処理される。
は、動き検出部106R、106Lより出力される動き
ベクトル(x,y)及びマイコン110より出力される
輻輳角の変更量Δxを統合し、最終的なトリミング領域
を求める。図6は一例としてトリミング領域設定部10
7R、107Lにおいて動き量と輻輳角変更のためのシ
フト量とを統合した結果得られるトリミング領域を示
す。尚、トリミング領域設定部107Lにおいても上記
と同様に処理される。
【0021】次に、トリミング領域設定部107R、1
07Lにより得られる制御信号に基づいて、各メモリ1
04R、104Lより映像の一部をトリミングして読み
出し、D/A変換器105R、105Lに出力する。D
/A変換器105R、105Lは、メモリ104R、1
04Lより出力されるデジタルの映像信号をアナログ信
号に変換処理し、出力信号を生成する。以上により、輻
輳角制御のための複雑な機構を設けることなく、手ぶれ
の補正された高品質の映像を提供することができる。
07Lにより得られる制御信号に基づいて、各メモリ1
04R、104Lより映像の一部をトリミングして読み
出し、D/A変換器105R、105Lに出力する。D
/A変換器105R、105Lは、メモリ104R、1
04Lより出力されるデジタルの映像信号をアナログ信
号に変換処理し、出力信号を生成する。以上により、輻
輳角制御のための複雑な機構を設けることなく、手ぶれ
の補正された高品質の映像を提供することができる。
【0022】図7は本発明の第2の実施例を示すブロッ
ク図である。尚、図7において図1と同じ符号を付する
ものは、第1の実施例において述べたものと同様の機能
及び動作をするものであり、説明を省略する。本実施例
が第1の実施例の装置と異なる点は、撮像レンズとして
ズームレンズ108R、108Lを用いている点と位相
差検出部130が設けられていることである。位相差検
出部130は、各メモリ104R、104Lの映像信号
における重複領域の位相差を検出し、その検出信号をト
リミング領域設定部107R、107Lに出力するもの
である。
ク図である。尚、図7において図1と同じ符号を付する
ものは、第1の実施例において述べたものと同様の機能
及び動作をするものであり、説明を省略する。本実施例
が第1の実施例の装置と異なる点は、撮像レンズとして
ズームレンズ108R、108Lを用いている点と位相
差検出部130が設けられていることである。位相差検
出部130は、各メモリ104R、104Lの映像信号
における重複領域の位相差を検出し、その検出信号をト
リミング領域設定部107R、107Lに出力するもの
である。
【0023】本実施例に示す装置のようにズーム光学系
を用いて撮像を行う場合、ズーミング等の操作により光
軸がシフトするという問題が生じ、そのために各々の撮
像系により得られる画像間にレジストレーションずれが
発生する。図8は各メモリ104R、104Lの映像信
号及び動きベクトルと輻輳角制御とを統合したトリミン
グ領域の概略を示したものである。図8に示すように、
各々の映像信号に関して独立に手ぶれ補正及び輻輳角制
御を行う場合、各々の画像間の位相が必ずしも一致して
いるとは限らない。
を用いて撮像を行う場合、ズーミング等の操作により光
軸がシフトするという問題が生じ、そのために各々の撮
像系により得られる画像間にレジストレーションずれが
発生する。図8は各メモリ104R、104Lの映像信
号及び動きベクトルと輻輳角制御とを統合したトリミン
グ領域の概略を示したものである。図8に示すように、
各々の映像信号に関して独立に手ぶれ補正及び輻輳角制
御を行う場合、各々の画像間の位相が必ずしも一致して
いるとは限らない。
【0024】図9に図8に示す各メモリ104R、10
4Lにおけるトリミング領域を重ねて示す。尚、V1、
V2は後述する位相差を示すベクトルである。この図9
から明らかなように、各々の画像間においてずれが生じ
ている。特に、垂直方向のずれは立体視を行う場合に疲
労を増長させる要因となるので補正することが必要であ
る。
4Lにおけるトリミング領域を重ねて示す。尚、V1、
V2は後述する位相差を示すベクトルである。この図9
から明らかなように、各々の画像間においてずれが生じ
ている。特に、垂直方向のずれは立体視を行う場合に疲
労を増長させる要因となるので補正することが必要であ
る。
【0025】位相差検出部130は、動きベクトル及び
輻輳角制御信号に基づいて得られるトリミング領域の映
像信号を各メモリ104R、104Lより入力する。入
力した映像信号を用いて相関演算あるいはテンプレート
マッチング法により垂直及び水平方向の位相差を検出す
る。図9に検出された位相差を表わすベクトルv1及び
2を示す。位相差は各画素毎に求めてもよいし適切なブ
ロック毎に求めてもよい。次に位相差検出部130は、
求めた位相差を基に例えば図10に示すように垂直方向
の位相を合わせる方向にトリミング領域を設定し、トリ
ミング領域設定部107R、107Lに制御信号を与え
る。
輻輳角制御信号に基づいて得られるトリミング領域の映
像信号を各メモリ104R、104Lより入力する。入
力した映像信号を用いて相関演算あるいはテンプレート
マッチング法により垂直及び水平方向の位相差を検出す
る。図9に検出された位相差を表わすベクトルv1及び
2を示す。位相差は各画素毎に求めてもよいし適切なブ
ロック毎に求めてもよい。次に位相差検出部130は、
求めた位相差を基に例えば図10に示すように垂直方向
の位相を合わせる方向にトリミング領域を設定し、トリ
ミング領域設定部107R、107Lに制御信号を与え
る。
【0026】図11は位相差補正の概略を示すもので3
00R及び300Lは、各々の画像間の位相ずれを考慮
して得られるトリミング領域である。トリミング領域3
00R、300Lの映像信号はD/A変換器105R、
105Lにおいてアナログ信号に変換処理されて出力さ
れる。
00R及び300Lは、各々の画像間の位相ずれを考慮
して得られるトリミング領域である。トリミング領域3
00R、300Lの映像信号はD/A変換器105R、
105Lにおいてアナログ信号に変換処理されて出力さ
れる。
【0027】
【発明の効果】以上説明したように、請求項1の発明に
よれば、輻輳角の制御をモータ等の機構を用いずに電気
的に行うことができる。このため装置を小型化できると
共に、機械的なガタツキにより各画像間にずれが生じる
ことがなくなり、良好な立体視を実現することができ
る。
よれば、輻輳角の制御をモータ等の機構を用いずに電気
的に行うことができる。このため装置を小型化できると
共に、機械的なガタツキにより各画像間にずれが生じる
ことがなくなり、良好な立体視を実現することができ
る。
【0028】また、請求項2の発明によれば、立体視を
行う時における撮像系の手ぶれに基づく画像の揺れをな
くして、立体視の際の疲労を軽減することができる。
行う時における撮像系の手ぶれに基づく画像の揺れをな
くして、立体視の際の疲労を軽減することができる。
【0029】さらに請求項3の発明によれば、ズームレ
ンズを用いた場合に、ズーム操作の際の光軸のずれに基
づく垂直ずれのような不適切な視差をなくし、立体視の
際の疲労を軽減することができると共に処理の負担を軽
減することができる。
ンズを用いた場合に、ズーム操作の際の光軸のずれに基
づく垂直ずれのような不適切な視差をなくし、立体視の
際の疲労を軽減することができると共に処理の負担を軽
減することができる。
【図1】本発明の第1の実施例を示すブロック図であ
る。
る。
【図2】輻輳角制御の概略を示す構成図である。
【図3】マッチング法の概略を示す構成図である。
【図4】手ぶれ補正の概略を示す構成図である。
【図5】トリミングによる輻輳角制御の概略を示す構成
図である。
図である。
【図6】トリミング領域設定部の処理の概略を示す構成
図である。
図である。
【図7】本発明の第2の実施例を示すブロック図であ
る。
る。
【図8】トリミングされる映像信号の概略を示す構成図
である。
である。
【図9】位相差検出部の処理の概略を示す構成図であ
る。
る。
【図10】位相の補正方法の概略を示す構成図である。
【図11】トリミングされる映像信号の概略を示す構成
図である。
図である。
1R、1L 光軸 100R、100L 撮像レンズ 101R、101L CCD 103R、103L DSP 104R、104L メモリ 106R、106L 動き検出部 107R、107L トリミング領域設定部 108R、108L ズームレンズ 110 マイコン 120 輻輳角入力部 130 位相差検出部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 森 克彦 東京都大田区下丸子3丁目30番2号 キヤ ノン株式会社内
Claims (3)
- 【請求項1】 被写体を撮像して映像信号を出力する複
数の撮像手段と、 上記複数の撮像手段から出力される複数の映像信号を記
憶する記憶手段と、 上記複数の撮像手段の輻輳角を設定する輻輳角設定手段
と、 上記記憶手段に記憶された複数の映像信号の各々から上
記輻輳角設定手段で設定された輻輳角に応じた部分の信
号をそれぞれ切り出すトリミング手段とを備えた複眼撮
像装置。 - 【請求項2】 上記複数の撮像手段から出力される複数
の映像信号についてそれぞれ映像の動きベクトルを検出
する動き検出手段を設け、 上記トリミング手段は、上記記憶された複数の映像信号
の各々から上記設定された輻輳角と上記動き検出手段で
検出された動きベクトルとに応じた部分の信号をそれぞ
れ切り出すようにした請求項1記載の複眼撮像装置。 - 【請求項3】 上記複数の映像信号の位相差を検出する
位相差検出手段を設け、 上記トリミング手段は、上記記憶された複数の映像信号
の各々から上記設定された輻輳角と上記位相差検出手段
で検出された位相差とに応じた部分の信号を切り出すよ
うにした請求項1記載の複眼撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7143357A JPH08336165A (ja) | 1995-06-09 | 1995-06-09 | 複眼撮像装置 |
US08/659,182 US5786847A (en) | 1995-06-09 | 1996-06-06 | Apparatus for adjusting the convergence in a stereoscopic image system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7143357A JPH08336165A (ja) | 1995-06-09 | 1995-06-09 | 複眼撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH08336165A true JPH08336165A (ja) | 1996-12-17 |
Family
ID=15336912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7143357A Pending JPH08336165A (ja) | 1995-06-09 | 1995-06-09 | 複眼撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5786847A (ja) |
JP (1) | JPH08336165A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010013733A1 (ja) * | 2008-07-31 | 2010-02-04 | 富士フイルム株式会社 | 複眼撮像装置 |
JP2010103895A (ja) * | 2008-10-27 | 2010-05-06 | Fujifilm Corp | 撮像装置、複眼撮像装置及び撮像制御方法 |
WO2011121841A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 立体撮像装置 |
US8363091B2 (en) | 2010-03-31 | 2013-01-29 | Fujifilm Corporation | Stereoscopic image pick-up apparatus |
JP2013081091A (ja) * | 2011-10-04 | 2013-05-02 | Morpho Inc | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
JP2018500690A (ja) * | 2014-12-23 | 2018-01-11 | エルビット システムズ リミテッド | 拡大3d画像を生成するための方法およびシステム |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6014165A (en) * | 1997-02-07 | 2000-01-11 | Eastman Kodak Company | Apparatus and method of producing digital image with improved performance characteristic |
KR100252080B1 (ko) * | 1997-10-10 | 2000-04-15 | 윤종용 | 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법 |
JP4416315B2 (ja) * | 2000-12-21 | 2010-02-17 | キヤノン株式会社 | 撮影装置、及び撮影装置の制御方法 |
US20020141635A1 (en) * | 2001-01-24 | 2002-10-03 | Swift David C. | Method and system for adjusting stereoscopic image to optimize viewing for image zooming |
US7623733B2 (en) * | 2002-08-09 | 2009-11-24 | Sharp Kabushiki Kaisha | Image combination device, image combination method, image combination program, and recording medium for combining images having at least partially same background |
US7146242B2 (en) * | 2003-09-30 | 2006-12-05 | Rockwell Automation Technologies, Inc. | Method and system for generating multi-dimensional motion profiles |
EP1677518A4 (en) * | 2003-10-22 | 2009-12-02 | Panasonic Corp | IMAGING SYSTEM AND METHOD FOR PRODUCING THE SYSTEM, PORTABLE APPARATUS, AND IMAGING ELEMENT, AND METHOD FOR PRODUCING THE SAME |
JP4574235B2 (ja) * | 2004-06-04 | 2010-11-04 | キヤノン株式会社 | 画像処理装置、及びその制御方法、プログラム |
US9124877B1 (en) | 2004-10-21 | 2015-09-01 | Try Tech Llc | Methods for acquiring stereoscopic images of a location |
US7692828B2 (en) * | 2005-05-10 | 2010-04-06 | Canon Kabushiki Kaisha | Image reading apparatus |
US7777781B2 (en) * | 2005-08-26 | 2010-08-17 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Method and system for determining the motion of an imaging apparatus |
US7599616B2 (en) * | 2005-09-30 | 2009-10-06 | Sharp Kabushiki Kaisha | Image shooting apparatus, display apparatus and image shooting and display apparatus |
US8013895B2 (en) | 2006-08-07 | 2011-09-06 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Optical motion sensing |
US8792556B2 (en) * | 2007-06-19 | 2014-07-29 | Samsung Electronics Co., Ltd. | System and method for correcting motion vectors in block matching motion estimation |
JP2011139296A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 映像信号処理装置及び映像信号処理方法 |
JP2011223562A (ja) * | 2010-03-23 | 2011-11-04 | Fujifilm Corp | 撮像装置 |
JP2011257541A (ja) * | 2010-06-08 | 2011-12-22 | Fujifilm Corp | 立体カメラ用レンズシステム |
US9596453B2 (en) * | 2010-06-14 | 2017-03-14 | Lg Electronics Inc. | Electronic device and control method thereof |
JP5739624B2 (ja) * | 2010-07-01 | 2015-06-24 | キヤノン株式会社 | 光学機器、撮像装置、及び制御方法 |
US8896667B2 (en) * | 2010-10-25 | 2014-11-25 | Aptina Imaging Corporation | Stereoscopic imaging systems with convergence control for reducing conflicts between accomodation and convergence |
JP5682291B2 (ja) * | 2010-12-20 | 2015-03-11 | ソニー株式会社 | 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法 |
US9883164B2 (en) * | 2011-08-03 | 2018-01-30 | Sony Mobile Communications Inc. | Optimizing usage of image sensors in a stereoscopic environment |
US9160917B2 (en) | 2013-07-09 | 2015-10-13 | Htc Corporation | Handheld electronic apparatus and image capturing apparatus and focusing method thereof |
WO2013042311A1 (ja) * | 2011-09-20 | 2013-03-28 | パナソニック株式会社 | 立体映像処理装置及び立体映像処理方法 |
US9784942B2 (en) * | 2015-04-20 | 2017-10-10 | Sensors Unlimited, Inc. | System for parallax correction |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2659816B1 (fr) * | 1990-03-19 | 1994-01-28 | France Etat | Procede de reglage de la convergence stereoscopique dans un equipement de prise de vue stereoscopique. |
US5369449A (en) * | 1991-11-08 | 1994-11-29 | Matsushita Electric Industrial Co., Ltd. | Method for predicting move compensation |
JPH05265081A (ja) * | 1992-03-23 | 1993-10-15 | Canon Inc | 複眼撮像装置 |
JP3107929B2 (ja) * | 1992-10-22 | 2000-11-13 | キヤノン株式会社 | 複眼撮像装置 |
JP2940762B2 (ja) * | 1993-06-28 | 1999-08-25 | 三洋電機株式会社 | 手振れ補正装置を有するビデオカメラ |
-
1995
- 1995-06-09 JP JP7143357A patent/JPH08336165A/ja active Pending
-
1996
- 1996-06-06 US US08/659,182 patent/US5786847A/en not_active Expired - Lifetime
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010013733A1 (ja) * | 2008-07-31 | 2010-02-04 | 富士フイルム株式会社 | 複眼撮像装置 |
JP2010032969A (ja) * | 2008-07-31 | 2010-02-12 | Fujifilm Corp | 複眼撮像装置 |
JP4626684B2 (ja) * | 2008-07-31 | 2011-02-09 | 富士フイルム株式会社 | 複眼撮像装置及び像ブレ補正方法 |
US8169489B2 (en) | 2008-07-31 | 2012-05-01 | Fujifilm Corporation | Multi view imaging device and method for correcting image blur |
JP2010103895A (ja) * | 2008-10-27 | 2010-05-06 | Fujifilm Corp | 撮像装置、複眼撮像装置及び撮像制御方法 |
WO2011121841A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 立体撮像装置 |
CN102362487A (zh) * | 2010-03-31 | 2012-02-22 | 富士胶片株式会社 | 立体成像设备 |
US8363091B2 (en) | 2010-03-31 | 2013-01-29 | Fujifilm Corporation | Stereoscopic image pick-up apparatus |
US8502863B2 (en) | 2010-03-31 | 2013-08-06 | Fujifilm Corporation | Stereoscopic imaging apparatus |
JP2013081091A (ja) * | 2011-10-04 | 2013-05-02 | Morpho Inc | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
US9117271B2 (en) | 2011-10-04 | 2015-08-25 | Morpho, Inc. | Apparatus, method and recording medium for image processing |
JP2018500690A (ja) * | 2014-12-23 | 2018-01-11 | エルビット システムズ リミテッド | 拡大3d画像を生成するための方法およびシステム |
Also Published As
Publication number | Publication date |
---|---|
US5786847A (en) | 1998-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH08336165A (ja) | 複眼撮像装置 | |
US5646679A (en) | Image combining method and apparatus | |
JP2888713B2 (ja) | 複眼撮像装置 | |
EP0645926B1 (en) | Image processing apparatus and method. | |
EP2382792B1 (en) | Imaging apparatus, image correction method, and computer-readable recording medium | |
US5682198A (en) | Double eye image pickup apparatus | |
US8384802B2 (en) | Image generating apparatus and image regenerating apparatus | |
US20160255333A1 (en) | Generating Images from Light Fields Utilizing Virtual Viewpoints | |
EP2330812B1 (en) | Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium | |
EP0563737A1 (en) | Multilens imaging apparatus with correction of misregistration | |
EP0696144A2 (en) | Multilens imaging apparatus comprising a corresponding point extraction unit | |
KR20190000591A (ko) | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 | |
US20050128335A1 (en) | Imaging device | |
US20090058878A1 (en) | Method for displaying adjustment images in multi-view imaging system, and multi-view imaging system | |
US20110149016A1 (en) | Image processing apparatus and method, and program | |
US20130278730A1 (en) | Single-eye stereoscopic imaging device, correction method thereof, and recording medium thereof | |
JPH10155104A (ja) | 複眼撮像方法及び装置並びに記憶媒体 | |
JP6155471B2 (ja) | 画像生成装置、撮像装置および画像生成方法 | |
US20100220200A1 (en) | Still Image Acquistion Device, Still Image Acquistion Method, and Image Fluctuation Correction Device | |
JP2008252493A (ja) | ファイル生成方法および装置並びに立体画像の表示制御方法および装置 | |
JPH07303207A (ja) | 撮像装置 | |
JPH0937302A (ja) | 立体撮像装置 | |
JP2003092768A (ja) | 撮像装置 | |
JP2974500B2 (ja) | 複眼撮像装置 | |
JP2883264B2 (ja) | 複眼撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040525 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041005 |