JPH08336165A - 複眼撮像装置 - Google Patents
複眼撮像装置Info
- Publication number
- JPH08336165A JPH08336165A JP7143357A JP14335795A JPH08336165A JP H08336165 A JPH08336165 A JP H08336165A JP 7143357 A JP7143357 A JP 7143357A JP 14335795 A JP14335795 A JP 14335795A JP H08336165 A JPH08336165 A JP H08336165A
- Authority
- JP
- Japan
- Prior art keywords
- convergence angle
- video signals
- image pickup
- imaging
- phase difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【目的】 複数の撮像系の輻輳角制御を電気的に行って
装置を小型化すると共に良好な立体視を得る。 【構成】 ２つのＣＣＤ１０１Ｒ、１０１Ｌで撮像され
た映像信号は、デジタル化された後、処理されてメモリ
１０４Ｒ、１０４Ｌに保持されると共に動き検出部１０
６Ｒ、１０６Ｌで動きベクトルを検出される。トリミン
グ領域設定部１０７Ｒ、１０７Ｌは、輻輳角入力部１２
０で設定された輻輳角情報と検出された動きベクトルと
に応じてメモリ１０４Ｒ、１０４Ｌから映像信号を切り
出す。切り出された映像信号はＤ／Ａ変換され、出力さ
れる。 【効果】 輻輳角の制御が従来のような機械的な制御で
なく電気的に行われるので、装置が小型化されると共
に、機構のガタツキ等による不都合が解消される。
装置を小型化すると共に良好な立体視を得る。 【構成】 ２つのＣＣＤ１０１Ｒ、１０１Ｌで撮像され
た映像信号は、デジタル化された後、処理されてメモリ
１０４Ｒ、１０４Ｌに保持されると共に動き検出部１０
６Ｒ、１０６Ｌで動きベクトルを検出される。トリミン
グ領域設定部１０７Ｒ、１０７Ｌは、輻輳角入力部１２
０で設定された輻輳角情報と検出された動きベクトルと
に応じてメモリ１０４Ｒ、１０４Ｌから映像信号を切り
出す。切り出された映像信号はＤ／Ａ変換され、出力さ
れる。 【効果】 輻輳角の制御が従来のような機械的な制御で
なく電気的に行われるので、装置が小型化されると共
に、機構のガタツキ等による不都合が解消される。
Description
【０００１】
【産業上の利用分野】本発明は複数の撮像系により被写
体を撮像して立体視および距離情報入力等を行うための
複眼撮像装置に関するものである。
体を撮像して立体視および距離情報入力等を行うための
複眼撮像装置に関するものである。
【０００２】
【従来の技術】従来より複数の撮像系により被写体を撮
像し立体視像を提供する複眼撮像装置においては、各撮
像系の輻輳角を制御することにより、立体感の調整を行
うことはよく知られている。従来の装置では輻輳角の変
更を、各々の撮像系に設置されたモータ等を駆動するこ
とにより実現しているものがほとんどであった。また、
立体映像を撮像する場合に発生する手ぶれ等が、立体視
の際に見る人の疲労感を増長させる要因として挙げられ
るが、これを低減する方法については従来はあまり言及
されていない。
像し立体視像を提供する複眼撮像装置においては、各撮
像系の輻輳角を制御することにより、立体感の調整を行
うことはよく知られている。従来の装置では輻輳角の変
更を、各々の撮像系に設置されたモータ等を駆動するこ
とにより実現しているものがほとんどであった。また、
立体映像を撮像する場合に発生する手ぶれ等が、立体視
の際に見る人の疲労感を増長させる要因として挙げられ
るが、これを低減する方法については従来はあまり言及
されていない。
【０００３】
【発明が解決しようとする課題】上記従来の複眼撮像装
置においては、輻輳角を制御するためのモータ等の機構
が必要であり、このため装置が複雑でかつ大型化すると
いう問題があった。また輻輳角を駆動制御する際に発生
する機械的なガタツキ等により、各撮像系より得られる
画像間にずれが生じ、立体視の際に不具合を引起こす要
因になるという問題があった。
置においては、輻輳角を制御するためのモータ等の機構
が必要であり、このため装置が複雑でかつ大型化すると
いう問題があった。また輻輳角を駆動制御する際に発生
する機械的なガタツキ等により、各撮像系より得られる
画像間にずれが生じ、立体視の際に不具合を引起こす要
因になるという問題があった。
【０００４】さらに、手持ちタイプの複眼撮像系の場合
は、撮像の際の手ぶれにより画像が揺れるために、立体
像を鑑賞する際に見る人の疲労が増す等の問題があっ
た。また、さらにズームレンズ等を用いた複眼撮像系に
おいては、ズーム操作により光軸がシフトし、その結果
立体視等を行う場合に不適切な視差が生じ、見る人の疲
労の要因となるという問題があった。
は、撮像の際の手ぶれにより画像が揺れるために、立体
像を鑑賞する際に見る人の疲労が増す等の問題があっ
た。また、さらにズームレンズ等を用いた複眼撮像系に
おいては、ズーム操作により光軸がシフトし、その結果
立体視等を行う場合に不適切な視差が生じ、見る人の疲
労の要因となるという問題があった。
【０００５】本発明の第１の目的は、複数の撮像光学系
により被写体を撮像し、立体視または距離情報入力等を
行う際に、輻輳角の制御を電気的に行うことにより、装
置の小型化及び機械的に制御を行う場合に発生するガタ
ツキ等を解消し、また手ぶれにより各々の画像が上下左
右に揺れ立体視を行う際の疲労感を増長するのを抑え、
常に高品質の映像を出力する複眼撮像装置を提供するこ
とである。
により被写体を撮像し、立体視または距離情報入力等を
行う際に、輻輳角の制御を電気的に行うことにより、装
置の小型化及び機械的に制御を行う場合に発生するガタ
ツキ等を解消し、また手ぶれにより各々の画像が上下左
右に揺れ立体視を行う際の疲労感を増長するのを抑え、
常に高品質の映像を出力する複眼撮像装置を提供するこ
とである。
【０００６】本発明の第２の目的は、複数の撮像光学系
により被写体を撮像し、立体視または距離情報入力等を
行う際に、各々の撮像光学系により得られる映像間の位
相ずれを補正し、立体視等を行う際には、疲労感を抑
え、距離情報入力の際には処理を容易にする複眼撮像装
置を提供することである。
により被写体を撮像し、立体視または距離情報入力等を
行う際に、各々の撮像光学系により得られる映像間の位
相ずれを補正し、立体視等を行う際には、疲労感を抑
え、距離情報入力の際には処理を容易にする複眼撮像装
置を提供することである。
【０００７】
【課題を解決するための手段】本発明においては、被写
体を撮像して映像信号を出力する複数の撮像手段と、上
記複数の撮像手段から出力される複数の映像信号を記憶
する記憶手段と、上記複数の撮像手段の輻輳角を設定す
る輻輳角設定手段と、上記記憶手段に記憶された複数の
映像信号の各々から上記輻輳角設定手段で設定された輻
輳角に応じた部分の信号をそれぞれ切り出すトリミング
手段とを設けている。
体を撮像して映像信号を出力する複数の撮像手段と、上
記複数の撮像手段から出力される複数の映像信号を記憶
する記憶手段と、上記複数の撮像手段の輻輳角を設定す
る輻輳角設定手段と、上記記憶手段に記憶された複数の
映像信号の各々から上記輻輳角設定手段で設定された輻
輳角に応じた部分の信号をそれぞれ切り出すトリミング
手段とを設けている。
【０００８】
【作用】本発明によれば、複数の撮像手段により被写体
像を入力して記憶手段に保持し、輻輳角設定手段により
与えられる情報に応じて記憶手段から被写体像の一部を
切り出して出力することにより、輻輳角制御を電気的に
行うことができ、機械的なガタツキによる画像の劣化を
解消することができる。
像を入力して記憶手段に保持し、輻輳角設定手段により
与えられる情報に応じて記憶手段から被写体像の一部を
切り出して出力することにより、輻輳角制御を電気的に
行うことができ、機械的なガタツキによる画像の劣化を
解消することができる。
【０００９】
【実施例】図１は、本発明の第１の実施例を示すブロッ
ク図である。図１において、１Ｒ、１Ｌは左右の撮像系
の光軸を示す。１００Ｒ及び１００Ｌは撮像レンズであ
り、１０１Ｒ及び１０１Ｌは撮像した被写体の光学像を
電気信号に変換する撮像素子としてのＣＣＤであり、画
素数は通常のＮＴＳＣ対応のものより多い画素数を持っ
たものを用いる。尚、撮像素子はＣＣＤに限るものでは
なく他のイメージセンサを用いることができることは言
うまでもない。１０２Ｒ及び１０２ＬはＡ／Ｄ変換器で
あり、ＣＣＤ１００Ｒ、１００Ｌにより変換されたアナ
ログの電気信号をデジタルの信号に変換する。
ク図である。図１において、１Ｒ、１Ｌは左右の撮像系
の光軸を示す。１００Ｒ及び１００Ｌは撮像レンズであ
り、１０１Ｒ及び１０１Ｌは撮像した被写体の光学像を
電気信号に変換する撮像素子としてのＣＣＤであり、画
素数は通常のＮＴＳＣ対応のものより多い画素数を持っ
たものを用いる。尚、撮像素子はＣＣＤに限るものでは
なく他のイメージセンサを用いることができることは言
うまでもない。１０２Ｒ及び１０２ＬはＡ／Ｄ変換器で
あり、ＣＣＤ１００Ｒ、１００Ｌにより変換されたアナ
ログの電気信号をデジタルの信号に変換する。
【００１０】１０３Ｒ及び１０３ＬはＤＳＰ（デジタル
・シグナル・プロセッサ）であり、Ａ／Ｄ変換された電
気信号を処理することにより適切な映像信号を生成する
ものである。１０４Ｒ及び１０４Ｌはメモリであり、Ｄ
ＳＰ１０３Ｒ、１０３Ｌで生成された映像信号を一時保
持する。１０５Ｒ及び１０５ＬはＤ／Ａ変換器であり、
メモリ１０４Ｒ、１０４Ｌより読み出されたデジタルの
映像信号をアナログの映像信号に変換するものである。
・シグナル・プロセッサ）であり、Ａ／Ｄ変換された電
気信号を処理することにより適切な映像信号を生成する
ものである。１０４Ｒ及び１０４Ｌはメモリであり、Ｄ
ＳＰ１０３Ｒ、１０３Ｌで生成された映像信号を一時保
持する。１０５Ｒ及び１０５ＬはＤ／Ａ変換器であり、
メモリ１０４Ｒ、１０４Ｌより読み出されたデジタルの
映像信号をアナログの映像信号に変換するものである。
【００１１】１０６Ｒ及び１０６Ｌは動き検出部であ
り、各ＣＣＤ１０１Ｒ、１０１Ｌにより撮像された映像
のフィールド（あるいはフレームでも良い）間の動き量
を検出する。１０７Ｒ及び１０７Ｌはトリミング領域設
定部であり、各メモリ１０４Ｒ、１０４Ｌの書き込み及
び読み出しの制御を行う。１１０は、マイコン（マイロ
クコンピュータ）であり、撮像装置全体の制御を行うも
のである。１２０は輻輳角入力部であり、各撮像系の撮
像時の輻輳角を設定するものである。
り、各ＣＣＤ１０１Ｒ、１０１Ｌにより撮像された映像
のフィールド（あるいはフレームでも良い）間の動き量
を検出する。１０７Ｒ及び１０７Ｌはトリミング領域設
定部であり、各メモリ１０４Ｒ、１０４Ｌの書き込み及
び読み出しの制御を行う。１１０は、マイコン（マイロ
クコンピュータ）であり、撮像装置全体の制御を行うも
のである。１２０は輻輳角入力部であり、各撮像系の撮
像時の輻輳角を設定するものである。
【００１２】図３は、本発明による複眼撮像装置を原理
的に示したものである。図２において、２０１Ｒ、２０
１Ｒ′及び２０１Ｌ、２０１Ｌ′はＣＣＤ１０１Ｒ、１
０１Ｌの撮像面上における通常の４：３のアスペクト比
により撮像される範囲としてのトリミング領域を示す。
２０１Ｒ、２０１Ｌは光軸１Ｒ、１Ｌに対するトリミン
グ領域であり、２０１Ｒ′、２０１Ｌ′は光軸１Ｒ′、
１Ｌ′に対するトリミング領域である。
的に示したものである。図２において、２０１Ｒ、２０
１Ｒ′及び２０１Ｌ、２０１Ｌ′はＣＣＤ１０１Ｒ、１
０１Ｌの撮像面上における通常の４：３のアスペクト比
により撮像される範囲としてのトリミング領域を示す。
２０１Ｒ、２０１Ｌは光軸１Ｒ、１Ｌに対するトリミン
グ領域であり、２０１Ｒ′、２０１Ｌ′は光軸１Ｒ′、
１Ｌ′に対するトリミング領域である。
【００１３】本発明においては、図２において、各ＣＣ
Ｄ１０１Ｒ、１０１Ｌで撮像した映像をトリミングする
ことにより輻輳角の制御を行うようにしている。即ち、
トリミングを行う際に、トリミング領域２０１Ｒ、２０
１Ｌの中心位置をシフトすることにより、光軸１Ｒ、１
Ｌを光軸１Ｒ′、１Ｌ′に実質的に変更したトリミング
領域２０１Ｒ′、２０１Ｌ′を得ることで輻輳角を制御
するようにしている。従って、輻輳角を電気的に制御す
ることができ、機械的な輻輳角制御のための機構を必要
としない。
Ｄ１０１Ｒ、１０１Ｌで撮像した映像をトリミングする
ことにより輻輳角の制御を行うようにしている。即ち、
トリミングを行う際に、トリミング領域２０１Ｒ、２０
１Ｌの中心位置をシフトすることにより、光軸１Ｒ、１
Ｌを光軸１Ｒ′、１Ｌ′に実質的に変更したトリミング
領域２０１Ｒ′、２０１Ｌ′を得ることで輻輳角を制御
するようにしている。従って、輻輳角を電気的に制御す
ることができ、機械的な輻輳角制御のための機構を必要
としない。
【００１４】次に本発明の装置の動作について説明す
る。撮像レンズ１００Ｒ、１００Ｌを通して得られる被
写体の光学像は、ＣＣＤ１０１Ｒ、１０１Ｌによる電気
的なアナログ映像信号に変換され、この映像信号はＡ／
Ｄ変換器１０２Ｒ、１０２Ｌによりデジタル映像信号に
変換された後、ＤＳＰ１０３Ｒ、１０３Ｌに与えられ
る。ＤＳＰ１０３Ｒ、１０３Ｌにおいてデジタル信号処
理を行うことにより適切な形態の映像信号を生成し、メ
モリ１０４Ｒ、１０４Ｌ及び動き検出部１０７Ｒ、１０
７Ｌに出力する。
る。撮像レンズ１００Ｒ、１００Ｌを通して得られる被
写体の光学像は、ＣＣＤ１０１Ｒ、１０１Ｌによる電気
的なアナログ映像信号に変換され、この映像信号はＡ／
Ｄ変換器１０２Ｒ、１０２Ｌによりデジタル映像信号に
変換された後、ＤＳＰ１０３Ｒ、１０３Ｌに与えられ
る。ＤＳＰ１０３Ｒ、１０３Ｌにおいてデジタル信号処
理を行うことにより適切な形態の映像信号を生成し、メ
モリ１０４Ｒ、１０４Ｌ及び動き検出部１０７Ｒ、１０
７Ｌに出力する。
【００１５】動き検出部１０７Ｒ、１０７Ｌにおいて
は、現フィールドの映像と前フィールドの映像との間に
おける動きベクトルの検出を行う。図３に動きベクトル
検出の原理を示す。図３（ａ）に示すように、入力した
現フィールドの映像信号を適切なサイズから成る複数の
ブロックに分割する。分割した各ブロックの映像信号と
図３（ｂ）の前フィールドの映像信号との間でテンプレ
ートマッチング処理を施し、相関値のピークとなる位置
を求める。以上の処理を各ブロックについて施すことに
より、図３（ｃ）に示すように各ブロックの動きベクト
ルが求められる。
は、現フィールドの映像と前フィールドの映像との間に
おける動きベクトルの検出を行う。図３に動きベクトル
検出の原理を示す。図３（ａ）に示すように、入力した
現フィールドの映像信号を適切なサイズから成る複数の
ブロックに分割する。分割した各ブロックの映像信号と
図３（ｂ）の前フィールドの映像信号との間でテンプレ
ートマッチング処理を施し、相関値のピークとなる位置
を求める。以上の処理を各ブロックについて施すことに
より、図３（ｃ）に示すように各ブロックの動きベクト
ルが求められる。
【００１６】動き検出部１０６Ｒ、１０６Ｌは、求めら
れた各ブロックに関する動きベクトルを統合し、それら
の平均値、中央値等から現フィールドの動きベクトルの
代表値（ｘ，ｙ）を求め、これをトリミング領域設定部
１０７Ｒ、１０７Ｌに出力する。
れた各ブロックに関する動きベクトルを統合し、それら
の平均値、中央値等から現フィールドの動きベクトルの
代表値（ｘ，ｙ）を求め、これをトリミング領域設定部
１０７Ｒ、１０７Ｌに出力する。
【００１７】図４に一例としてモメリ１０４Ｒに保持さ
れている現フィールドの映像信号の概略を示す。本実施
例におていは、通常のＮＴＳＣ対応のものより画素数の
多い大面積のＣＣＤを用いているため図４に示すよう
に、映像信号から動きベクトルの代表値（ｘ，ｙ）に応
じて点線で囲まれたアスペクト比が４：３の領域をトリ
ミングすることができる。
れている現フィールドの映像信号の概略を示す。本実施
例におていは、通常のＮＴＳＣ対応のものより画素数の
多い大面積のＣＣＤを用いているため図４に示すよう
に、映像信号から動きベクトルの代表値（ｘ，ｙ）に応
じて点線で囲まれたアスペクト比が４：３の領域をトリ
ミングすることができる。
【００１８】一方、輻輳角入力部１２０はダイヤルある
いはスイッチ等を含んで構成されており、例えば輻輳角
を各光軸１Ｒ、１Ｌが図２に示すような平行の状態から
光軸１Ｒ′、１Ｌ′のような内向きとなるようにダイヤ
ルあるいはボタンを操作するように構成されている。輻
輳角入力部１２０により輻輳角変更に関する情報が入力
されると、マイコン１１０はこの入力情報を検知してト
リミング領域設定部１０７Ｒ、１０７Ｌに制御信号を与
える。
いはスイッチ等を含んで構成されており、例えば輻輳角
を各光軸１Ｒ、１Ｌが図２に示すような平行の状態から
光軸１Ｒ′、１Ｌ′のような内向きとなるようにダイヤ
ルあるいはボタンを操作するように構成されている。輻
輳角入力部１２０により輻輳角変更に関する情報が入力
されると、マイコン１１０はこの入力情報を検知してト
リミング領域設定部１０７Ｒ、１０７Ｌに制御信号を与
える。
【００１９】図５はトリミングによる輻輳角変更の概略
を示したもので、図２に示すように輻輳を内向きに変更
する場合について示している。輻輳角入力部１２０から
の情報に基づいてマイコン１１０はトリミング領域設定
部１０７Ｒ、１０７Ｌに画像のシフト量Δｘを与える。
図５において、点線及び一点鎖線で囲まれた部分はトリ
ミングされる領域を表わす。
を示したもので、図２に示すように輻輳を内向きに変更
する場合について示している。輻輳角入力部１２０から
の情報に基づいてマイコン１１０はトリミング領域設定
部１０７Ｒ、１０７Ｌに画像のシフト量Δｘを与える。
図５において、点線及び一点鎖線で囲まれた部分はトリ
ミングされる領域を表わす。
【００２０】トリミング領域設定部１０７Ｒ、１０７Ｌ
は、動き検出部１０６Ｒ、１０６Ｌより出力される動き
ベクトル（ｘ，ｙ）及びマイコン１１０より出力される
輻輳角の変更量Δｘを統合し、最終的なトリミング領域
を求める。図６は一例としてトリミング領域設定部１０
７Ｒ、１０７Ｌにおいて動き量と輻輳角変更のためのシ
フト量とを統合した結果得られるトリミング領域を示
す。尚、トリミング領域設定部１０７Ｌにおいても上記
と同様に処理される。
は、動き検出部１０６Ｒ、１０６Ｌより出力される動き
ベクトル（ｘ，ｙ）及びマイコン１１０より出力される
輻輳角の変更量Δｘを統合し、最終的なトリミング領域
を求める。図６は一例としてトリミング領域設定部１０
７Ｒ、１０７Ｌにおいて動き量と輻輳角変更のためのシ
フト量とを統合した結果得られるトリミング領域を示
す。尚、トリミング領域設定部１０７Ｌにおいても上記
と同様に処理される。
【００２１】次に、トリミング領域設定部１０７Ｒ、１
０７Ｌにより得られる制御信号に基づいて、各メモリ１
０４Ｒ、１０４Ｌより映像の一部をトリミングして読み
出し、Ｄ／Ａ変換器１０５Ｒ、１０５Ｌに出力する。Ｄ
／Ａ変換器１０５Ｒ、１０５Ｌは、メモリ１０４Ｒ、１
０４Ｌより出力されるデジタルの映像信号をアナログ信
号に変換処理し、出力信号を生成する。以上により、輻
輳角制御のための複雑な機構を設けることなく、手ぶれ
の補正された高品質の映像を提供することができる。
０７Ｌにより得られる制御信号に基づいて、各メモリ１
０４Ｒ、１０４Ｌより映像の一部をトリミングして読み
出し、Ｄ／Ａ変換器１０５Ｒ、１０５Ｌに出力する。Ｄ
／Ａ変換器１０５Ｒ、１０５Ｌは、メモリ１０４Ｒ、１
０４Ｌより出力されるデジタルの映像信号をアナログ信
号に変換処理し、出力信号を生成する。以上により、輻
輳角制御のための複雑な機構を設けることなく、手ぶれ
の補正された高品質の映像を提供することができる。
【００２２】図７は本発明の第２の実施例を示すブロッ
ク図である。尚、図７において図１と同じ符号を付する
ものは、第１の実施例において述べたものと同様の機能
及び動作をするものであり、説明を省略する。本実施例
が第１の実施例の装置と異なる点は、撮像レンズとして
ズームレンズ１０８Ｒ、１０８Ｌを用いている点と位相
差検出部１３０が設けられていることである。位相差検
出部１３０は、各メモリ１０４Ｒ、１０４Ｌの映像信号
における重複領域の位相差を検出し、その検出信号をト
リミング領域設定部１０７Ｒ、１０７Ｌに出力するもの
である。
ク図である。尚、図７において図１と同じ符号を付する
ものは、第１の実施例において述べたものと同様の機能
及び動作をするものであり、説明を省略する。本実施例
が第１の実施例の装置と異なる点は、撮像レンズとして
ズームレンズ１０８Ｒ、１０８Ｌを用いている点と位相
差検出部１３０が設けられていることである。位相差検
出部１３０は、各メモリ１０４Ｒ、１０４Ｌの映像信号
における重複領域の位相差を検出し、その検出信号をト
リミング領域設定部１０７Ｒ、１０７Ｌに出力するもの
である。
【００２３】本実施例に示す装置のようにズーム光学系
を用いて撮像を行う場合、ズーミング等の操作により光
軸がシフトするという問題が生じ、そのために各々の撮
像系により得られる画像間にレジストレーションずれが
発生する。図８は各メモリ１０４Ｒ、１０４Ｌの映像信
号及び動きベクトルと輻輳角制御とを統合したトリミン
グ領域の概略を示したものである。図８に示すように、
各々の映像信号に関して独立に手ぶれ補正及び輻輳角制
御を行う場合、各々の画像間の位相が必ずしも一致して
いるとは限らない。
を用いて撮像を行う場合、ズーミング等の操作により光
軸がシフトするという問題が生じ、そのために各々の撮
像系により得られる画像間にレジストレーションずれが
発生する。図８は各メモリ１０４Ｒ、１０４Ｌの映像信
号及び動きベクトルと輻輳角制御とを統合したトリミン
グ領域の概略を示したものである。図８に示すように、
各々の映像信号に関して独立に手ぶれ補正及び輻輳角制
御を行う場合、各々の画像間の位相が必ずしも一致して
いるとは限らない。
【００２４】図９に図８に示す各メモリ１０４Ｒ、１０
４Ｌにおけるトリミング領域を重ねて示す。尚、Ｖ１、
Ｖ２は後述する位相差を示すベクトルである。この図９
から明らかなように、各々の画像間においてずれが生じ
ている。特に、垂直方向のずれは立体視を行う場合に疲
労を増長させる要因となるので補正することが必要であ
る。
４Ｌにおけるトリミング領域を重ねて示す。尚、Ｖ１、
Ｖ２は後述する位相差を示すベクトルである。この図９
から明らかなように、各々の画像間においてずれが生じ
ている。特に、垂直方向のずれは立体視を行う場合に疲
労を増長させる要因となるので補正することが必要であ
る。
【００２５】位相差検出部１３０は、動きベクトル及び
輻輳角制御信号に基づいて得られるトリミング領域の映
像信号を各メモリ１０４Ｒ、１０４Ｌより入力する。入
力した映像信号を用いて相関演算あるいはテンプレート
マッチング法により垂直及び水平方向の位相差を検出す
る。図９に検出された位相差を表わすベクトルｖ１及び
２を示す。位相差は各画素毎に求めてもよいし適切なブ
ロック毎に求めてもよい。次に位相差検出部１３０は、
求めた位相差を基に例えば図１０に示すように垂直方向
の位相を合わせる方向にトリミング領域を設定し、トリ
ミング領域設定部１０７Ｒ、１０７Ｌに制御信号を与え
る。
輻輳角制御信号に基づいて得られるトリミング領域の映
像信号を各メモリ１０４Ｒ、１０４Ｌより入力する。入
力した映像信号を用いて相関演算あるいはテンプレート
マッチング法により垂直及び水平方向の位相差を検出す
る。図９に検出された位相差を表わすベクトルｖ１及び
２を示す。位相差は各画素毎に求めてもよいし適切なブ
ロック毎に求めてもよい。次に位相差検出部１３０は、
求めた位相差を基に例えば図１０に示すように垂直方向
の位相を合わせる方向にトリミング領域を設定し、トリ
ミング領域設定部１０７Ｒ、１０７Ｌに制御信号を与え
る。
【００２６】図１１は位相差補正の概略を示すもので３
００Ｒ及び３００Ｌは、各々の画像間の位相ずれを考慮
して得られるトリミング領域である。トリミング領域３
００Ｒ、３００Ｌの映像信号はＤ／Ａ変換器１０５Ｒ、
１０５Ｌにおいてアナログ信号に変換処理されて出力さ
れる。
００Ｒ及び３００Ｌは、各々の画像間の位相ずれを考慮
して得られるトリミング領域である。トリミング領域３
００Ｒ、３００Ｌの映像信号はＤ／Ａ変換器１０５Ｒ、
１０５Ｌにおいてアナログ信号に変換処理されて出力さ
れる。
【００２７】
【発明の効果】以上説明したように、請求項１の発明に
よれば、輻輳角の制御をモータ等の機構を用いずに電気
的に行うことができる。このため装置を小型化できると
共に、機械的なガタツキにより各画像間にずれが生じる
ことがなくなり、良好な立体視を実現することができ
る。
よれば、輻輳角の制御をモータ等の機構を用いずに電気
的に行うことができる。このため装置を小型化できると
共に、機械的なガタツキにより各画像間にずれが生じる
ことがなくなり、良好な立体視を実現することができ
る。
【００２８】また、請求項２の発明によれば、立体視を
行う時における撮像系の手ぶれに基づく画像の揺れをな
くして、立体視の際の疲労を軽減することができる。
行う時における撮像系の手ぶれに基づく画像の揺れをな
くして、立体視の際の疲労を軽減することができる。
【００２９】さらに請求項３の発明によれば、ズームレ
ンズを用いた場合に、ズーム操作の際の光軸のずれに基
づく垂直ずれのような不適切な視差をなくし、立体視の
際の疲労を軽減することができると共に処理の負担を軽
減することができる。
ンズを用いた場合に、ズーム操作の際の光軸のずれに基
づく垂直ずれのような不適切な視差をなくし、立体視の
際の疲労を軽減することができると共に処理の負担を軽
減することができる。
【図１】本発明の第１の実施例を示すブロック図であ
る。
る。
【図２】輻輳角制御の概略を示す構成図である。
【図３】マッチング法の概略を示す構成図である。
【図４】手ぶれ補正の概略を示す構成図である。
【図５】トリミングによる輻輳角制御の概略を示す構成
図である。
図である。
【図６】トリミング領域設定部の処理の概略を示す構成
図である。
図である。
【図７】本発明の第２の実施例を示すブロック図であ
る。
る。
【図８】トリミングされる映像信号の概略を示す構成図
である。
である。
【図９】位相差検出部の処理の概略を示す構成図であ
る。
る。
【図１０】位相の補正方法の概略を示す構成図である。
【図１１】トリミングされる映像信号の概略を示す構成
図である。
図である。
１Ｒ、１Ｌ 光軸 １００Ｒ、１００Ｌ 撮像レンズ １０１Ｒ、１０１Ｌ ＣＣＤ １０３Ｒ、１０３Ｌ ＤＳＰ １０４Ｒ、１０４Ｌ メモリ １０６Ｒ、１０６Ｌ 動き検出部 １０７Ｒ、１０７Ｌ トリミング領域設定部 １０８Ｒ、１０８Ｌ ズームレンズ １１０ マイコン １２０ 輻輳角入力部 １３０ 位相差検出部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 森 克彦 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内
Claims (3)
- 【請求項１】 被写体を撮像して映像信号を出力する複
数の撮像手段と、 上記複数の撮像手段から出力される複数の映像信号を記
憶する記憶手段と、 上記複数の撮像手段の輻輳角を設定する輻輳角設定手段
と、 上記記憶手段に記憶された複数の映像信号の各々から上
記輻輳角設定手段で設定された輻輳角に応じた部分の信
号をそれぞれ切り出すトリミング手段とを備えた複眼撮
像装置。 - 【請求項２】 上記複数の撮像手段から出力される複数
の映像信号についてそれぞれ映像の動きベクトルを検出
する動き検出手段を設け、 上記トリミング手段は、上記記憶された複数の映像信号
の各々から上記設定された輻輳角と上記動き検出手段で
検出された動きベクトルとに応じた部分の信号をそれぞ
れ切り出すようにした請求項１記載の複眼撮像装置。 - 【請求項３】 上記複数の映像信号の位相差を検出する
位相差検出手段を設け、 上記トリミング手段は、上記記憶された複数の映像信号
の各々から上記設定された輻輳角と上記位相差検出手段
で検出された位相差とに応じた部分の信号を切り出すよ
うにした請求項１記載の複眼撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7143357A JPH08336165A (ja) | 1995-06-09 | 1995-06-09 | 複眼撮像装置 |
| US08/659,182 US5786847A (en) | 1995-06-09 | 1996-06-06 | Apparatus for adjusting the convergence in a stereoscopic image system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7143357A JPH08336165A (ja) | 1995-06-09 | 1995-06-09 | 複眼撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08336165A true JPH08336165A (ja) | 1996-12-17 |
Family
ID=15336912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7143357A Pending JPH08336165A (ja) | 1995-06-09 | 1995-06-09 | 複眼撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5786847A (ja) |
| JP (1) | JPH08336165A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010013733A1 (ja) * | 2008-07-31 | 2010-02-04 | 富士フイルム株式会社 | 複眼撮像装置 |
| JP2010103895A (ja) * | 2008-10-27 | 2010-05-06 | Fujifilm Corp | 撮像装置、複眼撮像装置及び撮像制御方法 |
| WO2011121841A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 立体撮像装置 |
| US8363091B2 (en) | 2010-03-31 | 2013-01-29 | Fujifilm Corporation | Stereoscopic image pick-up apparatus |
| JP2013081091A (ja) * | 2011-10-04 | 2013-05-02 | Morpho Inc | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
| JP2018500690A (ja) * | 2014-12-23 | 2018-01-11 | エルビット システムズ リミテッド | 拡大３ｄ画像を生成するための方法およびシステム |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6014165A (en) * | 1997-02-07 | 2000-01-11 | Eastman Kodak Company | Apparatus and method of producing digital image with improved performance characteristic |
| KR100252080B1 (ko) * | 1997-10-10 | 2000-04-15 | 윤종용 | 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법 |
| JP4416315B2 (ja) * | 2000-12-21 | 2010-02-17 | キヤノン株式会社 | 撮影装置、及び撮影装置の制御方法 |
| US20020141635A1 (en) * | 2001-01-24 | 2002-10-03 | Swift David C. | Method and system for adjusting stereoscopic image to optimize viewing for image zooming |
| US7623733B2 (en) * | 2002-08-09 | 2009-11-24 | Sharp Kabushiki Kaisha | Image combination device, image combination method, image combination program, and recording medium for combining images having at least partially same background |
| US7146242B2 (en) * | 2003-09-30 | 2006-12-05 | Rockwell Automation Technologies, Inc. | Method and system for generating multi-dimensional motion profiles |
| EP1677518A4 (en) * | 2003-10-22 | 2009-12-02 | Panasonic Corp | IMAGING SYSTEM AND METHOD FOR PRODUCING THE SYSTEM, PORTABLE APPARATUS, AND IMAGING ELEMENT, AND METHOD FOR PRODUCING THE SAME |
| JP4574235B2 (ja) * | 2004-06-04 | 2010-11-04 | キヤノン株式会社 | 画像処理装置、及びその制御方法、プログラム |
| US9124877B1 (en) | 2004-10-21 | 2015-09-01 | Try Tech Llc | Methods for acquiring stereoscopic images of a location |
| US7692828B2 (en) * | 2005-05-10 | 2010-04-06 | Canon Kabushiki Kaisha | Image reading apparatus |
| US7777781B2 (en) * | 2005-08-26 | 2010-08-17 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Method and system for determining the motion of an imaging apparatus |
| US7599616B2 (en) * | 2005-09-30 | 2009-10-06 | Sharp Kabushiki Kaisha | Image shooting apparatus, display apparatus and image shooting and display apparatus |
| US8013895B2 (en) | 2006-08-07 | 2011-09-06 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Optical motion sensing |
| US8792556B2 (en) * | 2007-06-19 | 2014-07-29 | Samsung Electronics Co., Ltd. | System and method for correcting motion vectors in block matching motion estimation |
| JP2011139296A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 映像信号処理装置及び映像信号処理方法 |
| JP2011223562A (ja) * | 2010-03-23 | 2011-11-04 | Fujifilm Corp | 撮像装置 |
| JP2011257541A (ja) * | 2010-06-08 | 2011-12-22 | Fujifilm Corp | 立体カメラ用レンズシステム |
| US9596453B2 (en) * | 2010-06-14 | 2017-03-14 | Lg Electronics Inc. | Electronic device and control method thereof |
| JP5739624B2 (ja) * | 2010-07-01 | 2015-06-24 | キヤノン株式会社 | 光学機器、撮像装置、及び制御方法 |
| US8896667B2 (en) * | 2010-10-25 | 2014-11-25 | Aptina Imaging Corporation | Stereoscopic imaging systems with convergence control for reducing conflicts between accomodation and convergence |
| JP5682291B2 (ja) * | 2010-12-20 | 2015-03-11 | ソニー株式会社 | 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法 |
| US9883164B2 (en) * | 2011-08-03 | 2018-01-30 | Sony Mobile Communications Inc. | Optimizing usage of image sensors in a stereoscopic environment |
| US9160917B2 (en) | 2013-07-09 | 2015-10-13 | Htc Corporation | Handheld electronic apparatus and image capturing apparatus and focusing method thereof |
| WO2013042311A1 (ja) * | 2011-09-20 | 2013-03-28 | パナソニック株式会社 | 立体映像処理装置及び立体映像処理方法 |
| US9784942B2 (en) * | 2015-04-20 | 2017-10-10 | Sensors Unlimited, Inc. | System for parallax correction |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2659816B1 (fr) * | 1990-03-19 | 1994-01-28 | France Etat | Procede de reglage de la convergence stereoscopique dans un equipement de prise de vue stereoscopique. |
| US5369449A (en) * | 1991-11-08 | 1994-11-29 | Matsushita Electric Industrial Co., Ltd. | Method for predicting move compensation |
| JPH05265081A (ja) * | 1992-03-23 | 1993-10-15 | Canon Inc | 複眼撮像装置 |
| JP3107929B2 (ja) * | 1992-10-22 | 2000-11-13 | キヤノン株式会社 | 複眼撮像装置 |
| JP2940762B2 (ja) * | 1993-06-28 | 1999-08-25 | 三洋電機株式会社 | 手振れ補正装置を有するビデオカメラ |
-
1995
- 1995-06-09 JP JP7143357A patent/JPH08336165A/ja active Pending
-
1996
- 1996-06-06 US US08/659,182 patent/US5786847A/en not_active Expired - Lifetime
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010013733A1 (ja) * | 2008-07-31 | 2010-02-04 | 富士フイルム株式会社 | 複眼撮像装置 |
| JP2010032969A (ja) * | 2008-07-31 | 2010-02-12 | Fujifilm Corp | 複眼撮像装置 |
| JP4626684B2 (ja) * | 2008-07-31 | 2011-02-09 | 富士フイルム株式会社 | 複眼撮像装置及び像ブレ補正方法 |
| US8169489B2 (en) | 2008-07-31 | 2012-05-01 | Fujifilm Corporation | Multi view imaging device and method for correcting image blur |
| JP2010103895A (ja) * | 2008-10-27 | 2010-05-06 | Fujifilm Corp | 撮像装置、複眼撮像装置及び撮像制御方法 |
| WO2011121841A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 立体撮像装置 |
| CN102362487A (zh) * | 2010-03-31 | 2012-02-22 | 富士胶片株式会社 | 立体成像设备 |
| US8363091B2 (en) | 2010-03-31 | 2013-01-29 | Fujifilm Corporation | Stereoscopic image pick-up apparatus |
| US8502863B2 (en) | 2010-03-31 | 2013-08-06 | Fujifilm Corporation | Stereoscopic imaging apparatus |
| JP2013081091A (ja) * | 2011-10-04 | 2013-05-02 | Morpho Inc | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
| US9117271B2 (en) | 2011-10-04 | 2015-08-25 | Morpho, Inc. | Apparatus, method and recording medium for image processing |
| JP2018500690A (ja) * | 2014-12-23 | 2018-01-11 | エルビット システムズ リミテッド | 拡大３ｄ画像を生成するための方法およびシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| US5786847A (en) | 1998-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH08336165A (ja) | 複眼撮像装置 | |
| US5646679A (en) | Image combining method and apparatus | |
| JP2888713B2 (ja) | 複眼撮像装置 | |
| EP0645926B1 (en) | Image processing apparatus and method. | |
| EP2382792B1 (en) | Imaging apparatus, image correction method, and computer-readable recording medium | |
| US5682198A (en) | Double eye image pickup apparatus | |
| US8384802B2 (en) | Image generating apparatus and image regenerating apparatus | |
| US20160255333A1 (en) | Generating Images from Light Fields Utilizing Virtual Viewpoints | |
| EP2330812B1 (en) | Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium | |
| EP0563737A1 (en) | Multilens imaging apparatus with correction of misregistration | |
| EP0696144A2 (en) | Multilens imaging apparatus comprising a corresponding point extraction unit | |
| KR20190000591A (ko) | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 | |
| US20050128335A1 (en) | Imaging device | |
| US20090058878A1 (en) | Method for displaying adjustment images in multi-view imaging system, and multi-view imaging system | |
| US20110149016A1 (en) | Image processing apparatus and method, and program | |
| US20130278730A1 (en) | Single-eye stereoscopic imaging device, correction method thereof, and recording medium thereof | |
| JPH10155104A (ja) | 複眼撮像方法及び装置並びに記憶媒体 | |
| JP6155471B2 (ja) | 画像生成装置、撮像装置および画像生成方法 | |
| US20100220200A1 (en) | Still Image Acquistion Device, Still Image Acquistion Method, and Image Fluctuation Correction Device | |
| JP2008252493A (ja) | ファイル生成方法および装置並びに立体画像の表示制御方法および装置 | |
| JPH07303207A (ja) | 撮像装置 | |
| JPH0937302A (ja) | 立体撮像装置 | |
| JP2003092768A (ja) | 撮像装置 | |
| JP2974500B2 (ja) | 複眼撮像装置 | |
| JP2883264B2 (ja) | 複眼撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040525 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041005 |