JP4512276B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4512276B2
JP4512276B2 JP2001010307A JP2001010307A JP4512276B2 JP 4512276 B2 JP4512276 B2 JP 4512276B2 JP 2001010307 A JP2001010307 A JP 2001010307A JP 2001010307 A JP2001010307 A JP 2001010307A JP 4512276 B2 JP4512276 B2 JP 4512276B2
Authority
JP
Japan
Prior art keywords
image
stereo
imaging
display
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001010307A
Other languages
Japanese (ja)
Other versions
JP2002218501A (en
Inventor
英明 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2001010307A priority Critical patent/JP4512276B2/en
Publication of JP2002218501A publication Critical patent/JP2002218501A/en
Application granted granted Critical
Publication of JP4512276B2 publication Critical patent/JP4512276B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は立体画像を取り扱うことが可能な撮像装置に関し、特に多眼式ステレオ画像の撮像に好適な撮像装置に関する。
【0002】
【従来の技術】
画像を立体的情報を含んで撮影記録し、これを再生観察する方式には多種多様な提案がある。その中でも、左右両眼の視点に対応する視差を持った2画像を記録し、これを左右両眼に対してそれぞれ提示するいわゆる2眼式ステレオ方式は、構成が最も簡単で安価な割に効果が大きいため、旧くから今日に至るまで利用されている。
【0003】
この2眼式ステレオにおいても提示方式にはまた各種あり、例えば大画面による多人数同時観察を行なう場合には、偏光メガネを併用した偏光投影方式や、シャッタメガネを併用した時分割提示方式が使用されているが、これらはいずれも大がかりで高価なシステムを必要とするため特殊な業務用途以外には使用されることは少ない。そこでいわゆるパーソナルユースに対しては、同時には1人しか観察できないという制約はあるものの、最も基本的かつ古典的な方法であるステレオペア画像を用いる方式が、極めて安価にまた鮮明な画像を観察できる方式として、今日なお広く使用されている。
【0004】
このステレオペア画像について詳述すれば、左眼視点対応画像であるL画像と右眼視点対応画像であるR画像とが、通常僅かな隙間を介して2枚並列に並べられて1つの画像を構成している。この種の画像の最も手軽な撮影装置として普及している35ミリ1眼レフカメラ+ステレオアダプタのシステム上の制約等のため、LR画像は実際には1つの標準横位置画像(横3:縦2)を縦に2分割した形で構成されており、従って各画像すなわち観察される立体画像は縦位置(横縦比約3:4程度)になっているのが一般的である。
【0005】
本明細書に於いては、このようにLRの2画像が空間的に(画像平面上に)併置されて1つの画像を構成しているものをステレオペア画像と称する。なお、上記した具体的な構成(数値等)は一例に過ぎないが、説明を簡明にするために、特記しない場合は上記具体例のものが例として取り上げられていることを前提に説明する。
【0006】
このステレオペア画像は、
(1)記録、印画、伝送、印刷等に際して何らの特殊なシステムを要しない。
(2)適切な条件を満たせば直接立体観察できる。即ち、左右像の融合が何らの装置を用いることなくできる。
という極めて優れた特長を有している。
【0007】
特に(2)に関して詳述すれば、LR画像が正しく左右眼によって捉えられ、2つの異なる画像では無く一つの立体画像として認識される状態を左右像の融合と称するが、例えば適当な大きさ(具体的には横幅が眼幅の2倍よりやや小さい程度=10〜13cm)に印画された「平行配置」(Lを左、Rを右に配置)のものであれば、観察に際しても視線を平行に向けるいわゆる「平行法」(人によっては若干の練習を要するが)を用いることで融合可能である。またこれとは左右の画像を入れ替えた「交差配置」も使用され、こちらは印画サイズの制約が無く、視線を交差させる「交差法」によってやはり直接立体視観察できるが、観察時の眼の疲労と立体観察時の不自然さ(箱庭現象)がやや大きいため、上記平行配置の方がより普及しているものである。
【0008】
いずれにせよこのように(1)システムを選ばず(2)直接観察も可能であるという2つの大きな特長をもつステレオペア画像は、特にインターネットやデジタルカメラの普及などいわゆるメディアミックス化が進めば進むほどその不朽の価値が見直され、利用され続けるものと予想される。
【0009】
そこで、本出願人は先にステレオアダプタを通常の単眼撮像光学系に装着し、これによって得られる複数の視差画像を元に電子的なステレオペア画像たるSPM(Stereo Pear in Multimedia)を生成し、これを所定フォーマットの電子画像ファイルSGM(Stereo Gram in Multimedia)として記録する撮像装置を提案している(特願2000−259489号)。
【0010】
【発明が解決しようとする課題】
ところで、通常の単眼カメラの撮像系に外付けのステレオアダプタを追加した場合には、ステレオアダプタの光学系を理想的に設定した場合であっても、LR画像のオーバーラップやケラレなどの不具合現象が生じる。この現象はカメラ側の絞りの値にも依存し、例えば、図7(a)のようにF値が小さい(開放側の)場合はLR画像のオーバーラップが大きくなり、また図7(b)のようにF値が大きい(絞り込み側の)場合はLR画像間に生じる暗黒のケラレ領域が大きくなる、という現象が生じる。ここでケラレ領域とは一般の光学系でのケラレと同義であり、ここではステレオアダプタによって十分な光が到達しない領域を意味することになる。オーバーラップやケラレはLR画像の境界部のみならず、ステレオアダプタの光学系の特性等によっては撮像画枠の周囲部にも生じる現象である。
【0011】
上記先願の撮像装置では、画像ケラレやオーバーラップの問題に対して、撮像画像信号に対して適当な領域トリミングを行なうことによって高画質なステレオ画像の記録を実現している。しかし、このようにしてもなお、ステレオペア画像の撮像に際しては実際には難しい問題が残っている。これは、ファインダによる構図の問題である。
【0012】
すなわち、ファインダから観察される像は撮影光学系から入力されたものとなるため、ステレオアダプタを用いた場合にはファインダから実際に観察される像もLR画像となり、LとRの両画像が並んで観察されることになる。このため、その観察されるLとRのどちらの像に注目してフレーミングすべきであるかの把握が難しく、これは特に上述のケラレやオーバーラップが生じている場合に顕著となる。
【0013】
さらに、上記先願の撮像装置のようにトリミングによって記録用のステレオ画像を生成する技術を用いた場合には、実際に取り出される画像は領域トリミングによって切り出された部分画像となるが、ファインダ上ではそのトリミングの位置つまり実際の撮像画角を確認することができない。特に、上記撮像装置では、標準横位置画像を縦に2分割した縦位置のLR画像のみならず、トリミングの画枠設定を替えることで横位置のLR画像も生成できるので、どの部分が実際にステレオ画像として撮影されるかの確認も難しくなる。
【0014】
本発明は上記事情を考慮してなされたもので、その目的とするところは、ステレオペア画像の撮像に適した画像を表示できるようにし、立体撮影を極めて容易に実現することが可能な撮像装置を提供することにある。
【0015】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、撮像光学系と、この撮像光学系を介して入力された被写体像を光電変換する撮像素子と、該撮像素子の出力に基づいて被写体画像信号を得る撮像手段と、前記被写体画像信号を表示するための電子ファインダ手段とを具備する撮像装置であって、立体撮影が可能なステレオ撮影モードと通常の単眼撮影を行うための通常撮影モードとを有し、前記通常撮影モード時には前記被写体画像信号を前記電子ファインダ手段への表示に使用し、前記ステレオ撮影モード時には、前記被写体画像信号に対して所定のトリミングを行うことで、前記被写体画像信号から1つの多眼式ステレオ画像の構成要素である複数のモノキュラ画像を抽出し、前記抽出後の複数のモノキュラ画像それぞれの画枠が一致するように前記抽出後の複数のモノキュラ画像を重ねた状態の重ねフレーム画像を前記電子ファインダ手段に表示するように構成されていることを特徴とする。
【0016】
この撮像装置によれば、通常撮影モード時とステレオ撮影モード時とでファインダ表示が切り替えられ、通常撮影モード時には通常通り被写体画像信号がそのまま電子ファインダ手段への表示に使用されるが、ステレオ撮影モード時には、トリミングによって被写体画像信号から抽出された複数のモノキュラ画像それぞれの画枠が一致するように前記抽出後の複数のモノキュラ画像を重ねた状態の重ねフレーム画像が電子ファインダ手段への表示に使用される。このようにトリミングによって得られた抽出後のモノキュラ画像を重ねた状態の重ねフレーム画像をファインダ表示に利用することにより、ケラレやオーバーラップ領域を除いた状態の画像をファインダに表示することができるとともに、複数のモノキュラ画像の融合状態を確認しながら撮影を行うことが可能となり、立体撮影を極めて容易に実現することが可能となる。
【0019】
また、撮像素子の撮像領域の中に、1つの多眼式ステレオ画像の構成要素である複数のモノキュラ画像に対応した複数の撮影画枠を設定するステレオ撮像画枠設定手段と、前記複数の撮影画枠に対応して得られた複数のモノキュラ画像を用いて、所定のステレオ画像取扱いフォーマットに従った構造化ステレオ画像を生成するステレオ画像生成手段とをさらに具備し、前記ステレオ撮影モード時には、前記ステレオ撮像画枠設定手段によって設定された複数の撮像画枠に対応する複数のモノキュラ画像を重ねた状態の重ねフレーム画像を前記電子ファインダ手段に表示するように構成することが望ましい。
【0020】
これにより、画像ケラレやオーバーラップの問題を回避して高画質なステレオ画像を生成できると共に、最終的なステレオ画像とファインダに表示される画像との間で画枠を合わせることが可能となる。よって、どの部分が実際にステレオ画像として撮影されるかを確認しながら立体撮影を行うことが可能となる。
【0021】
また、本発明は、撮像光学系と、この撮像光学系により結像された被写体像を光電変換する撮像素子と、該撮像素子の出力に基づいて被写体画像信号を得る撮像手段と、前記被写体画像信号を表示する表示手段と、前記被写体画像信号に対して所定のトリミングを行なうことで、前記撮像素子の撮像領域の中に、1つの多眼式ステレオ画像の構成要素である複数のモノキュラ画像に対応した複数の撮影画枠を設定するステレオ撮像画枠設定手段と、前記複数の撮影画枠に対応して得られた複数のモノキュラ画像を用いて、所定のステレオ画像取扱いフォーマットに従った構造化ステレオ画像を生成するステレオ画像生成手段とを具備する撮像装置であって、1)前記複数の撮影画枠より1を選択的に使用して前記表示手段に表示する単フレーム表示モード2)前記複数の撮影画枠を並列位置した状態で前記表示手段に表示する構造化ステレオ画像表示モードと、3)前記複数の撮影画枠が一致するように前記複数の撮影画枠を重ねた状態の重ねフレーム画像を前記表示手段に表示する重ねフレーム表示モードとの間で、前記被写体画像信号を前記表示手段に表示するためのモードを切り換える手段を具備することを特徴とする。
1)のモードではステレオペア画像の撮像時にはLとRのどちらか1画像のみを表示できるので、ファインダによる構図の設定を通常撮影の場合と同様に行うことが可能となり、極めて有効となる。また2)のモードでは実際に生成されるステレオペア画像と同様の画像をファインダで確認しながら撮影を行うことができる。さらに3)のモードではLR画像の融合状態を確認しながら撮影を行うことが可能となる。
【0022】
この構成においても、画像ケラレやオーバーラップの問題を回避して高画質なステレオ画像を生成できると共に、最終的なステレオ画像と表示画像との間で画枠を合わせることができるので、トリミング位置を確認しながら極めて容易に立体撮影を行うことが可能となる。
【0023】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係わる電子カメラの回路構成を示すブロック図である。
【0024】
図中101は各種レンズからなる撮像レンズ系、102はレンズ系101を駆動するためのレンズ駆動機構、103はレンズ系101の絞り及びシャッタ装置を制御するための露出制御機構、104はローパス及び赤外カット用のフィルタ、105は被写体像を光電変換するためのCCDカラー撮像素子、106は撮像素子105を駆動するためのCCDドライバ、107はA/D変換器等を含むプリプロセス回路、108は色信号生成処理,マトリックス変換処理,その他各種のデジタル処理を行うためのデジタルプロセス回路、109はカードインターフェース、110はメモリカード、111はLCD画像表示系を示している。
【0025】
また、図中の112は各部を統括的に制御するためのシステムコントローラ(CPU)、113は各種SWからなる操作スイッチ系、114は操作状態及びモード状態等を表示するための操作表示系、115はレンズ駆動機構102を制御するためのレンズドライバ、116は発光手段としてのストロボ、117は露出制御機構103及びストロボ116を制御するための露出制御ドライバ、118は各種設定情報等を記憶するための不揮発性メモリ(EEPROM)を示している。
【0026】
本実施形態の電子カメラにおいては、システムコントローラ112が全ての制御を統括的に行っており、露出制御機構103とCCDドライバ106によるCCD撮像素子105の駆動を制御して露光(電荷蓄積)及び信号の読み出しを行い、それをプリプロセス回路107を介してデジタルプロセス回路108に取込んで、各種信号処理を施した後にカードインターフェース109を介してメモリカード110に記録するようになっている。
【0027】
ここまでの基本的な構成は従来一般的な電子カメラと同様であるが、本実施形態ではこれに加えて、操作スイッチ系113には、立体撮影が可能なステレオ撮影モードと通常の単眼撮影を行うための通常撮影モードを切り替えるためのモード切り替えスイッチが設けられている。また、システムコントローラ112には、撮像エリアのトリミング領域を設定するための画枠設定部112a、モノキュラ画像からSPM画像を合成して得るためのSPM合成部112b、SPM画像からSGM画像データを生成するためのSGM生成部112cが設けられている。
【0028】
さらに、本実施形態では、システムコントローラ112には、電子ファインダ(EVF)として使用されるLCD画像表示系111への画像表示を通常撮影モードとステレオ撮影モードとで切り換える機能を持つEVF表示制御部112dが設けられている。このEVF表示制御部112dは、通常撮影モード時には通常通り被写体画像信号をそのままLCD画像表示系111への表示に使用するが、ステレオ撮影モード時には、トリミング領域から切り出したモノキュラ画像をLCD画像表示系111への表示に使用する。トリミング処理はデジタルプロセス回路108によるデジタル演算処理により実行され、データバッファ108a上の撮像画像信号に対してトリミング処理を行うことによって得られた表示用の画像信号が表示メモリ108bに書き込まれ、それがLCD画像表示系111へに表示される。
【0029】
本実施形態の電子カメラにおいては、図2に示すように、カメラ本体100のレンズ鏡筒にミラー式ステレオアダプタ200が着脱可能となっている。このアダプタ200は、視差程度離れた位置にミラー201,202をそれぞれ配置し、更にこれらのミラー201,202で反射した光をカメラ側に導くためのミラー203,204を配置して構成される。アダプタ200の左眼視用ミラー201に入射した光はミラー203及び撮影レンズ101を介して撮像素子105の領域Lに結像され、右眼視用ミラー202に入射した光はミラー204及び撮影レンズ101を介して撮像素子105の領域Rに結像されるようになっている。
【0030】
なお、通常撮影モードとステレオ撮影モードの切り替えは前記したモード切り替えスイッチで行われるが、ミラー式ステレオアダプタ200を取り付けているか否かに応じて自動的に切り替えるようにしてもよい。
【0031】
ステレオ撮影モードでは、ステレオアダプタ200を取り付けた状態でシャッタートリガー操作を行うことにより、CCD撮像素子105の露光および信号読み出しが通常撮影モードの場合と同様にして行われる。これにより、CCD撮像素子105の撮像エリアの全領域から画像信号が読み出されるが、ステレオ撮影モードでは、この画像信号に対して以下の処理を行う。
【0032】
まず、システムコントローラ112に含まれる画枠設定部112aによって撮像画枠の設定が行われ、その撮像画枠からモノキュラ画像を切り出すためのトリミング処理がデジタルプロセス回路108において行われる。即ち、図3に示すように、画面を縦に2分割し、左半分をL画像、右半分をR画像と割り当てる(100%トリミング)。なお、100%トリミングで使用することも可能であるが、本実施形態ではオーバーラップやケラレが画像に出るのを防ぐために横幅を90%に制限し、更に(必須ではないが)縦横バランスを整えるために縦幅も同率でトリミングしたものをそれぞれL,R画像に割り当てる。このような画枠設定により撮像画角自体は小さく制限されることになるものの、アダプタ200のミラーに対して中央付近に位置する比較的良好な画像を抽出して利用することが可能となる。
【0033】
なお、例えば縦幅の制限率を横幅よりも大きく設定することで、図3のような縦位置のLR画像のみならず、横位置のLR画像に対応する画枠設定を行うこともできる。
【0034】
次いで、システムコントローラ112に含まれるSPM合成部112bの制御の下、デジタルプロセス回路108においてSPM画像が生成される。即ち、上記のトリミングにより得られたL,R画像は、図4に示すように合成され、2つの画像が左右に隙間無く並列配置された1つの画像(SPM画像)となる。このとき、境界領域に或いはさらにSPM画像の周囲に1〜数画素幅の枠線(例えばR=G=B=0の黒)を配して、SPM画像であることが視覚的にも明確となるようにすることも好適な変形例である。
【0035】
そして、SPM画像は、システムコントローラ112に含まれるSGM(Stereo Gram in Multimedia)生成部112cによって、ステレオデータがヘッダ部として付加されたJPEG画像データに生成される。即ち、記録や伝送に際して画像情報を圧縮しておくことが好適であり、その際任意の方法を用いることが可能であるが、最も標準的な公知のJPEG圧縮を用いる。その際、例えばヘッダ部のユーザー情報領域の所定のタグにステレオデータを割り当てる。記録する情報は、
a:ステレオであるか否か(デフォルト:Y)
b:ステレオの場合の画像枚数(デフォルト:2)
c:各モノキュラ画像の配置(縦横画素数を含む存在領域)
が基本情報となる。
【0036】
これらの情報があれば、自身或いは他の装置はこの情報を読み取ることによって、元の各モノキュラ画像を分離、再現することができる(画像を伸張した後に数,配置情報に従って各画像を切り出せばよい)。このようなSGMは、1つのステレオ画像の全画像データと、画像データ以外に必要なステレオデータとを1ファイル、即ち取り扱い単位としたものであるから、(狭義の)構造化ステレオ画像の一例である。一般の、例えば汎用PCでの使用やインターネット上での伝送に際しての不可分な取り扱い単位であるから、このうちの一部だけが誤って記録,伝送,消去されるような不具合は生じない。
【0037】
但し、本発明においては、構造化ステレオ画像としては広義のものを対象とする。従って、上記例以外にも、画像データが複数ファイルに分かれているような形でSGMを構成してもよい。即ち、SGMの形式に拘わらず、小型軽量化やアダプタ使用時の不具合回避などの効果が同様に得られることは自明である。なお、このような複数ファイル形式のSGMを構成するためには、上記トリミング(1つの撮像画枠からのL、R各画像の切り出し)が不可欠となる。
【0038】
生成されたSGMは、システムコントローラ112の指示により働くデジタルプロセス回路108内の記録手段でカードインターフェース109を介してメモリカード110に記録される。
【0039】
なお、SGMが記録されたカードは、例えば汎用PC等のスロット等に差し替えて使用される。カメラ本体は他に入出力ポートを持っており、有線又は無線接続により、生成されたSGMを入出力可能である。また、カード(カードインターフェース)経由で、SGMを入出力することも可能である。
【0040】
このような本撮像動作に先立ち、EVF表示のための動画像信号を得るため、CCD撮像素子105からは画像信号が連続的に読み出される。ステレオ撮影モードにおいては、この画像信号に対してEVF表示制御部112dの制御により、上述と同様のトリミング処理さらには必要に応じてSPM合成処理が行われた後にLCD画像表示系111への表示が行われる。EVF表示のために行われるトリミング処理およびSPM合成処理は、扱う画像の解像度の違い等を除けば本撮像時に行われるトリミング処理およびSPM合成処理と同じであり、それぞれ画枠設定部112aおよびSPM合成部112bによって行うことができる。
【0041】
EVF表示には以下の4つの表示モードがある。
1)撮像領域全体の画像信号をそのまま使用する非ステレオ表示モード
2)トリミングされたLまたはRのいずれか1つのモノキュラ画像のみを1画像として表示する単フレーム表示モード
3)トリミングされたLおよびRのモノキュラ画像同士を左右に並べて合成することによって得られたSPMを表示するSPM表示モード
4)トリミングされたLおよびRのモノキュラ画像同士を重ね合わせて表示する重ねフレームモード
通常撮影モードでは「非ステレオ表示モード」が使用され、またステレオ撮影モードでは「単フレーム表示モード」、「SPM表示モード」、「重ねフレームモード」のいずれかが選択的に利用できる。これら表示モードそれぞれで表示される表示画像を図5、図6に示す。
【0042】
図5は縦位置のLR画像に対応する画枠設定を行った場合における表示画像の例を示しており、また図6は横位置のLR画像に対応する画枠設定を行った場合における表示画像の例を示している。
【0043】
図5(a),図6(a)は「非ステレオ表示モード」を使用した場合であり、トリミング処理を行う前の画像、つまりステレオアダプタ200によって得られる、ケラレ(またはオーバーラップ領域)を含むLR画像全体がファインダ像として表示される。
【0044】
図5(b),図6(b)は「単フレーム表示モード」を使用した場合であり、トリミングによって切り出された1つのモノキュラ画像(ここではL画像)のみがファインダ像として表示され、ケラレ領域やオーバーラップ領域は表示されない。この表示モードではステレオアダプタ200を用いたステレオ撮像でありながら、通常の単眼撮像と同様の画像を表示できるので、ファインダによる構図の設定を通常撮影モードの場合と同様に行うことが可能となる。しかも、表示されるのはケラレ領域やオーバーラップ領域をトリミングによって除外した後の画像であり、観察される画角がSGMとして実際に生成・記録される各モノキュラ画像と等しくなるので、ファインダ像を見ながら極めて容易に構図を決めることができる。
【0045】
LとRのどちらの画像を表示するかはスイッチ操作などによって切り替えることができる。この場合、図示のように、現在表示されている画像がL画像であるかR画像であるかを示す文字やマークなどの識別情報を一緒に画面表示することが望ましい。なお、EVF表示時には、表示に使用するLまたはRの一方のみをトリミングすればよい。
【0046】
図5(c),図6(c)は「SPM表示モード」を使用した場合であり、SPM合成によって左右に隙間無く並列配置されたLR画像がファインダ像として表示される。この場合にも、ケラレ領域やオーバーラップ領域は表示されない。本撮像で得られる最終的なSMP画像を予め確認しながら立体撮像を行うことが可能となる。
【0047】
図5(d),図6(d)は「重ねフレーム表示モード」を使用した場合であり、トリミングによって切り出されたLR画像それぞれの画枠が一致するように両画像が重ね合わされた状態で画面表示される。この表示画像は、例えば、画素毎にL画像とR画像の平均値を算出すること等によって得ることができる。(2画像の平均値として得られる画像は、1回の露光量を標準の1/2にして撮影した2重露光画像と等価であるから。)
ステレオ撮影モードにおけるデフォルトのEVF表示モードを例えば「単フレーム表示モード」に設定しておき、スイッチ操作などによって必要に応じて「SPM表示モード」、「重ねフレーム表示モード」に切り換え可能に構成しておくことにより、状況に応じて様々な角度からフレーミングの調整を行うことが可能となる。
【0048】
このように本実施形態によれば、1つの撮像素子105の撮像エリア上に複数のモノキュラ画枠を設定し、これから得た複数のモノキュラ画像によりステレオ画像を得るようにしているので、アダプタ方式特有のオーバーラップやケラレなどの不具合を回避することができる。特に、モノキュラ画枠によるトリミングをEVF表示にも利用しているので、オーバーラップやケラレを除いた状態で構図の設定を行うことが可能となると共に、最終的に生成されるSPM画像のトリミング位置を確認することが可能となる。
【0049】
なお、本発明は上述した実施形態に限定されるものではない。上述の実施形態においては、SPMやSGM等は静止画の場合を例示したが、これに限られることなく、EVF表示における信号処理の説明からも明らかなように動画によるSPM、SGMにも全く同様に適用可能である。即ち、上記SPM合成のやり方、SGM生成に際して付加するステレオデータに関しては、静止画動画の別によらない要素しか含まれていないから、従来の動画撮像技術をそのまま使用し、例えば代表的な動画圧縮フォーマットの1つであるMPEGを上記JPEGに代えて用いることによって、全く同様に実施して効果を得ることができるものである。
【0050】
また、本実施形態で使用したステレオアダプタは平面鏡を組み合わせたミラー式アダプタであったが、これに替えて任意の形式のアダプタを使用可能であり、例えばカメラの視野方向(視線)を偏向させる楔形プリズムを対向させて左右に配置したプリズム式ステレオアダプタの使用も好適な一例である。
【0051】
また、本実施形態では撮像エリアに2つの画枠を設定したが、例えば、公知のレンチキュラー方式(レンチキュラーシートプリントやレンチキュラースクリーンを用いたマルチプロジェクション方式など)に用いられる一般の多眼式立体画像を得るべく、3眼以上のステレオアダプタとこれに対応した3つ以上の画枠設定を使用しても良い。さらに、ファインダ像の表示時のみならず、例えばメモリカードに記録されている通常のLR画像に対してモノキュラ画枠の設定を行って、上述の「単フレーム表示モード」、「SPM表示モード」、「重ねフレームモード」のいずれかでLCD画像表示系111に再生表示することも可能である。
【0052】
また、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果の少なくとも1つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0053】
【発明の効果】
以上説明したように、本発明によれば、複数のモノキュラ画像の融合状態を確認しながら撮影を行うことができ、立体撮影を極めて容易に実現することが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係わる電子カメラの構成を示すブロック図。
【図2】同実施形態の電子カメラに装着するミラー式ステレオアダプタの構成を示す図。
【図3】同実施形態において撮像エリアに設定される画枠を示す図。
【図4】同実施形態においてL,R画像を合成してSPM画像を生成し、更にSGMを生成する様子を示す図。
【図5】同実施形態におけるEVF表示モードを説明するための図。
【図6】同実施形態におけるEVF表示モードを説明するための図。
【図7】従来の問題点であるアダプタ方式特有のオーバーラップとケラレを示す図。
【符号の説明】
100…カメラ本体
101…レンズ系
102…レンズ駆動機構
103…露出制御機構
104…フィルタ系
105…CCDカラー撮像素子
106…CCDドライバ
107…プリプロセス部
108…デジタルプロセス部
109…カードインターフェース
110…メモリカード
111…LCD画像表示系
112…システムコントローラ(CPU)
112a…画枠設定部
112b…SPM合成部
112c…SGM生成部
112d…EVF表示制御部
200…ミラー式ステレオアダプタ
201〜204…ミラー
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus capable of handling a stereoscopic image, and more particularly to an imaging apparatus suitable for imaging a multi-view stereo image.
[0002]
[Prior art]
There are a wide variety of proposals for a method of photographing and recording an image including three-dimensional information and reproducing and observing the image. Among them, the so-called binocular stereo system that records two images with parallax corresponding to the viewpoints of the left and right eyes and presents them to the left and right eyes is the simplest and cheapest configuration. Since it is large, it has been used from the old days to today.
[0003]
There are also various presentation methods in this binocular stereo. For example, when performing simultaneous observation of a large number of people on a large screen, a polarization projection method using polarized glasses or a time-sharing presentation method using shutter glasses is used. However, since these are large and require expensive systems, they are rarely used except for special business purposes. Therefore, for so-called personal use, there is a restriction that only one person can observe at the same time, but the method using stereo pair images, which is the most basic and classic method, can observe clear images at a very low cost. As a method, it is still widely used today.
[0004]
To describe this stereo pair image in detail, an L image that is an image corresponding to the left eye viewpoint and an R image that is an image corresponding to the right eye viewpoint are usually arranged in parallel with a small gap between two images. It is composed. The LR image is actually one standard horizontal position image (horizontal 3: vertical) due to restrictions on the system of 35 mm single-lens reflex camera + stereo adapter, which is popular as the most convenient image capturing device of this kind. 2) is vertically divided into two, and therefore each image, that is, the stereoscopic image to be observed is generally in a vertical position (aspect ratio of about 3: 4).
[0005]
In the present specification, such an image in which two images of LR are spatially arranged on the image plane to form one image is referred to as a stereo pair image. The specific configuration (numerical values and the like) described above is merely an example, but for the sake of simplicity, the description will be made on the assumption that the specific example is taken as an example unless otherwise specified.
[0006]
This stereo pair image
(1) No special system is required for recording, printing, transmission, printing, etc.
(2) Direct observation can be performed if appropriate conditions are satisfied. That is, the left and right images can be fused without using any device.
It has an extremely excellent feature.
[0007]
Specifically, regarding (2), a state in which the LR image is correctly captured by the left and right eyes and is recognized as one stereoscopic image instead of two different images is referred to as fusion of the left and right images. Specifically, if it is of “parallel arrangement” (L is placed on the left and R is placed on the right) printed with a lateral width slightly smaller than twice the eye width = 10 to 13 cm, the line of sight is also observed during observation. Fusion can be achieved by using the so-called “parallel method” (although some practice may require some practice). In addition, the “crossing arrangement” in which the left and right images are interchanged is also used, and this is not limited by the print size and can be directly viewed stereoscopically by the “crossing method” that intersects the lines of sight. Since the unnaturalness (a miniature garden phenomenon) at the time of stereoscopic observation is somewhat large, the parallel arrangement is more popular.
[0008]
In any case, stereo pair images with two major features (1) regardless of system (2) direct observation are possible, especially if so-called media mixing is promoted, such as the spread of the Internet and digital cameras. It is expected that the enduring value will be reviewed and continue to be used.
[0009]
Therefore, the applicant first attaches a stereo adapter to a normal monocular imaging optical system, and generates SPM (Stereo Pear in Multimedia) that is an electronic stereo pair image based on a plurality of parallax images obtained thereby. An imaging device that records this as an electronic image file SGM (Stereo Gram in Multimedia) in a predetermined format has been proposed (Japanese Patent Application No. 2000-259489).
[0010]
[Problems to be solved by the invention]
By the way, when an external stereo adapter is added to the image pickup system of a normal monocular camera, even if the optical system of the stereo adapter is ideally set, a malfunction such as overlap of LR images or vignetting is caused. Occurs. This phenomenon also depends on the aperture value on the camera side. For example, when the F value is small (open side) as shown in FIG. 7A, the overlap of LR images becomes large, and FIG. When the F value is large (on the narrowing side) as described above, a phenomenon occurs in which the dark vignetting region generated between the LR images becomes large. Here, the vignetting region is synonymous with vignetting in a general optical system, and here means a region where sufficient light does not reach by the stereo adapter. Overlap or vignetting is a phenomenon that occurs not only at the boundary portion of the LR image but also at the peripheral portion of the captured image frame depending on the characteristics of the optical system of the stereo adapter.
[0011]
In the imaging device of the prior application, high-quality stereo image recording is realized by performing appropriate area trimming on the captured image signal for the problem of image vignetting and overlap. However, even in this way, there are still problems that are difficult in practice when capturing a stereo pair image. This is a composition problem with the viewfinder.
[0012]
That is, since the image observed from the finder is input from the photographing optical system, when the stereo adapter is used, the image actually observed from the finder is also an LR image, and both the L and R images are arranged. Will be observed. For this reason, it is difficult to grasp which of the observed images L and R should be framed, and this is particularly noticeable when the above-described vignetting or overlap occurs.
[0013]
Furthermore, when a technique for generating a stereo image for recording by trimming is used as in the imaging device of the previous application, the image actually taken out is a partial image cut out by area trimming. The trimming position, that is, the actual imaging angle of view cannot be confirmed. In particular, the imaging apparatus can generate not only the LR image in the vertical position obtained by dividing the standard horizontal position image into two vertically but also the LR image in the horizontal position by changing the trimming image frame setting. It is also difficult to check whether the image is captured as a stereo image.
[0014]
The present invention has been made in consideration of the above circumstances, and an object of the present invention is to make it possible to display an image suitable for capturing a stereo pair image and to realize stereoscopic shooting extremely easily. Is to provide.
[0015]
[Means for Solving the Problems]
  In order to solve the above-described problems, the present invention provides an imaging optical system, an imaging device that photoelectrically converts a subject image input via the imaging optical system, and a subject image signal based on the output of the imaging device. An imaging apparatus comprising an imaging unit and an electronic finder unit for displaying the subject image signal, and having a stereo shooting mode capable of stereoscopic shooting and a normal shooting mode for performing normal monocular shooting In the normal shooting mode, the subject image signal is used for display on the electronic viewfinder means, and in the stereo shooting mode, a predetermined trimming is performed on the subject image signal so that one of the subject image signals is obtained. Multiple monocular images that are components of multi-view stereo imagesAnd a superimposed frame image in a state in which the extracted plurality of monocular images are overlapped so that the image frames of the extracted plurality of monocular images match each other.It is configured to display on the electronic finder means.
[0016]
  According to this imaging apparatus, the viewfinder display is switched between the normal shooting mode and the stereo shooting mode, and the subject image signal is used as it is for display on the electronic viewfinder as usual in the normal shooting mode. Sometimes extracted from subject image signal by trimmingA superimposed frame image in which a plurality of the extracted monocular images are superimposed so that the image frames of the plurality of monocular images match each other.Are used for display on the electronic finder means. Monocular image after extraction obtained by trimming in this wayOverlapped frame image with overlaidCan be used for viewfinder display to display images in the viewfinder without vignetting or overlap areas.In addition, it is possible to shoot while checking the fusion state of multiple monocular images,Stereo imaging can be realized very easily.
[0019]
  Also, a stereo imaging image frame setting means for setting a plurality of imaging image frames corresponding to a plurality of monocular images that are components of one multi-view stereo image in the imaging area of the imaging device, and the plurality of imaging Stereo image generation means for generating a structured stereo image according to a predetermined stereo image handling format using a plurality of monocular images obtained corresponding to the image frame, and in the stereo shooting mode, Set by the stereo image frame setting meanspluralCorresponds to the image framepluralMonocular imageOverlapping frame image withIt is desirable to configure to display on the electronic viewfinder means.
[0020]
As a result, it is possible to avoid the problem of image vignetting and overlap and generate a high-quality stereo image, and to match the image frame between the final stereo image and the image displayed on the viewfinder. Therefore, it is possible to perform stereoscopic shooting while confirming which part is actually shot as a stereo image.
[0021]
  The present invention also provides an imaging optical system, an imaging device that photoelectrically converts a subject image formed by the imaging optical system, an imaging unit that obtains a subject image signal based on an output of the imaging device, and the subject image By performing predetermined trimming on the subject image signal and display means for displaying a signal, a plurality of monocular images which are constituent elements of one multi-view stereo image are included in the imaging region of the imaging element. Structuring according to a predetermined stereo image handling format by using a stereo imaging image frame setting means for setting a plurality of corresponding shooting image frames and a plurality of monocular images obtained corresponding to the plurality of shooting image frames An imaging apparatus comprising a stereo image generating means for generating a stereo image,1)Single frame display mode in which 1 is selectively used from the plurality of photographed image frames and displayed on the display means.When,2)A structured stereo image display mode for displaying the plurality of photographed image frames on the display means in a state of being positioned in parallel.And 3)A state in which the plurality of shooting image frames are overlapped so that the plurality of shooting image frames match.The frame image ofOverlapping frame display mode displayed on the display meansSwitching a mode for displaying the subject image signal on the display meansIt is characterized by comprising.
  In the mode 1), only one of L and R can be displayed when a stereo pair image is captured. Therefore, the composition setting by the finder can be performed in the same manner as in normal shooting, which is extremely effective. In the mode 2), it is possible to take an image while confirming an image similar to a stereo pair image that is actually generated with a viewfinder. Further, in the mode 3), it is possible to perform photographing while confirming the fusion state of the LR images.
[0022]
Even in this configuration, it is possible to generate a high-quality stereo image by avoiding the problem of image vignetting and overlap, and to adjust the image frame between the final stereo image and the display image. Stereoscopic shooting can be performed very easily while checking.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a circuit configuration of an electronic camera according to an embodiment of the present invention.
[0024]
In the figure, 101 is an imaging lens system composed of various lenses, 102 is a lens driving mechanism for driving the lens system 101, 103 is an exposure control mechanism for controlling the aperture and shutter device of the lens system 101, and 104 is low-pass and red. An outer cut filter 105 is a CCD color image sensor for photoelectrically converting a subject image, 106 is a CCD driver for driving the image sensor 105, 107 is a preprocess circuit including an A / D converter, and 108 is A digital process circuit for performing color signal generation processing, matrix conversion processing, and other various digital processing, 109 is a card interface, 110 is a memory card, and 111 is an LCD image display system.
[0025]
Also, 112 in the figure is a system controller (CPU) 112 for overall control of each part, 113 is an operation switch system composed of various SWs, 114 is an operation display system for displaying operation states and mode states, 115 Is a lens driver for controlling the lens driving mechanism 102, 116 is a strobe as a light emitting means, 117 is an exposure control driver for controlling the exposure control mechanism 103 and the strobe 116, and 118 is for storing various setting information and the like. A non-volatile memory (EEPROM) is shown.
[0026]
In the electronic camera according to the present embodiment, the system controller 112 performs overall control, and controls exposure (charge accumulation) and signals by controlling the driving of the CCD image sensor 105 by the exposure control mechanism 103 and the CCD driver 106. Is read into the digital process circuit 108 via the pre-process circuit 107 and subjected to various signal processing, and then recorded on the memory card 110 via the card interface 109.
[0027]
The basic configuration so far is the same as that of a conventional general electronic camera, but in this embodiment, in addition to this, the operation switch system 113 has a stereo shooting mode capable of stereoscopic shooting and normal monocular shooting. A mode switch for switching the normal shooting mode for performing is provided. Further, the system controller 112 generates an image frame setting unit 112a for setting a trimming region of an imaging area, an SPM synthesis unit 112b for synthesizing an SPM image from a monocular image, and generates SGM image data from the SPM image. An SGM generation unit 112c is provided.
[0028]
Further, in this embodiment, the system controller 112 has an EVF display control unit 112d having a function of switching the image display on the LCD image display system 111 used as an electronic viewfinder (EVF) between the normal shooting mode and the stereo shooting mode. Is provided. The EVF display control unit 112d uses the subject image signal as it is for display on the LCD image display system 111 as usual in the normal shooting mode, but in the stereo shooting mode, the monocular image cut out from the trimming area is used as the LCD image display system 111. Used for display. The trimming process is executed by digital arithmetic processing by the digital process circuit 108, and a display image signal obtained by performing the trimming process on the captured image signal on the data buffer 108a is written in the display memory 108b. It is displayed on the LCD image display system 111.
[0029]
In the electronic camera of this embodiment, as shown in FIG. 2, a mirror type stereo adapter 200 can be attached to and detached from the lens barrel of the camera body 100. The adapter 200 is configured by disposing mirrors 201 and 202 at positions separated by a parallax, and further disposing mirrors 203 and 204 for guiding light reflected by the mirrors 201 and 202 to the camera side. The light incident on the left-eye viewing mirror 201 of the adapter 200 is imaged in the region L of the imaging element 105 via the mirror 203 and the photographing lens 101, and the light incident on the right-eye viewing mirror 202 is reflected on the mirror 204 and the photographing lens. An image is formed on a region R of the image sensor 105 via 101.
[0030]
Note that switching between the normal shooting mode and the stereo shooting mode is performed by the mode switch described above, but may be automatically switched according to whether or not the mirror type stereo adapter 200 is attached.
[0031]
In the stereo shooting mode, by performing a shutter trigger operation with the stereo adapter 200 attached, exposure and signal readout of the CCD image sensor 105 are performed in the same manner as in the normal shooting mode. As a result, an image signal is read from the entire imaging area of the CCD image sensor 105. In the stereo imaging mode, the following processing is performed on the image signal.
[0032]
First, a captured image frame is set by the image frame setting unit 112a included in the system controller 112, and a trimming process for cutting out a monocular image from the captured image frame is performed in the digital process circuit. That is, as shown in FIG. 3, the screen is vertically divided into two, and the left half is assigned as an L image and the right half is assigned as an R image (100% trimming). Although it is possible to use 100% trimming, in this embodiment, the horizontal width is limited to 90% in order to prevent overlap and vignetting from appearing in the image, and further (although it is not essential) the vertical and horizontal balance is adjusted. For this purpose, the trimmed images with the same vertical width are assigned to the L and R images, respectively. Although the imaging angle of view itself is limited to be small by such an image frame setting, it is possible to extract and use a relatively good image located near the center with respect to the mirror of the adapter 200.
[0033]
For example, by setting the vertical width restriction ratio to be larger than the horizontal width, it is possible to set not only the vertical LR image as shown in FIG. 3 but also the image frame setting corresponding to the horizontal LR image.
[0034]
Next, an SPM image is generated in the digital process circuit 108 under the control of the SPM synthesis unit 112 b included in the system controller 112. That is, the L and R images obtained by the above trimming are combined as shown in FIG. 4 and become one image (SPM image) in which two images are arranged in parallel on the left and right without any gap. At this time, a border line having a width of 1 to several pixels (for example, black of R = G = B = 0) is arranged in the boundary region or around the SPM image, so that it is visually clear that the image is an SPM image. It is also a preferable modification example.
[0035]
Then, the SPM image is generated into SPEG (Stereo Gram in Multimedia) generation unit 112c included in system controller 112 as JPEG image data to which stereo data is added as a header portion. That is, it is preferable to compress the image information during recording and transmission, and any method can be used at that time, but the most standard known JPEG compression is used. At this time, stereo data is assigned to a predetermined tag in the user information area of the header portion, for example. The information to record is
a: Stereo or not (default: Y)
b: Number of images in stereo (default: 2)
c: Arrangement of each monocular image (existing area including the number of vertical and horizontal pixels)
Is basic information.
[0036]
If there is such information, the device itself or another device can read and separate the original monocular image and reproduce it (the image can be extracted according to the number and arrangement information after the image is expanded). ). Such an SGM is an example of a (stereoscopic) structured stereo image because all image data of one stereo image and necessary stereo data other than the image data are used as one file, that is, a handling unit. is there. Since it is an inseparable handling unit for general use, for example, on a general-purpose PC or for transmission on the Internet, there is no problem that only some of them are erroneously recorded, transmitted, or deleted.
[0037]
However, in the present invention, the structured stereo image is a broad definition. Therefore, in addition to the above example, the SGM may be configured such that the image data is divided into a plurality of files. That is, it is self-evident that effects such as reduction in size and weight and avoidance of problems when using an adapter can be obtained in the same manner regardless of the SGM format. Note that the above-described trimming (cutting out L and R images from one captured image frame) is indispensable in order to configure such an SGM having a plurality of file formats.
[0038]
The generated SGM is recorded on the memory card 110 via the card interface 109 by a recording means in the digital process circuit 108 that operates according to an instruction from the system controller 112.
[0039]
Note that the card on which the SGM is recorded is used by being replaced with a slot of a general-purpose PC, for example. The camera body also has an input / output port, and the generated SGM can be input / output by wired or wireless connection. It is also possible to input / output SGM via a card (card interface).
[0040]
Prior to the actual imaging operation, image signals are continuously read from the CCD imaging device 105 in order to obtain a moving image signal for EVF display. In the stereo shooting mode, the image signal is displayed on the LCD image display system 111 after the image signal is subjected to trimming processing similar to that described above and, if necessary, SPM synthesis processing under the control of the EVF display control unit 112d. Done. The trimming process and SPM composition process performed for EVF display are the same as the trimming process and SPM composition process performed at the time of actual imaging except for the difference in resolution of images to be handled, and the image frame setting unit 112a and the SPM composition process, respectively. This can be performed by the unit 112b.
[0041]
The EVF display has the following four display modes.
1) Non-stereo display mode that uses the image signal of the entire imaging area as it is
2) Single frame display mode in which only one of the trimmed L and R monocular images is displayed as one image.
3) SPM display mode for displaying the SPM obtained by combining the trimmed L and R monocular images side by side.
4) Overlapping frame mode in which trimmed L and R monocular images are superimposed and displayed
The “non-stereo display mode” is used in the normal shooting mode, and any of the “single frame display mode”, “SPM display mode”, and “overlapping frame mode” can be selectively used in the stereo shooting mode. Display images displayed in each of these display modes are shown in FIGS.
[0042]
FIG. 5 shows an example of a display image when the image frame setting corresponding to the LR image at the vertical position is performed, and FIG. 6 is a display image when the image frame setting corresponding to the LR image at the horizontal position is performed. An example is shown.
[0043]
FIGS. 5A and 6A show a case where the “non-stereo display mode” is used, and includes an image before trimming processing, that is, vignetting (or overlap area) obtained by the stereo adapter 200. FIG. The entire LR image is displayed as a viewfinder image.
[0044]
FIGS. 5B and 6B show a case where the “single frame display mode” is used, and only one monocular image (here, L image) cut out by trimming is displayed as a finder image, and the vignetting area is displayed. And the overlap area is not displayed. In this display mode, although the stereo imaging using the stereo adapter 200 is performed, an image similar to the normal monocular imaging can be displayed, so that the composition setting by the finder can be performed in the same manner as in the normal imaging mode. Moreover, what is displayed is an image after the vignetting area and the overlap area are excluded by trimming, and the observed angle of view becomes equal to each monocular image actually generated and recorded as SGM. The composition can be determined very easily while watching.
[0045]
Which image to display, L or R, can be switched by a switch operation or the like. In this case, as shown in the figure, it is desirable to display on the screen together identification information such as characters and marks indicating whether the currently displayed image is an L image or an R image. In EVF display, only one of L and R used for display needs to be trimmed.
[0046]
FIGS. 5C and 6C show the case where the “SPM display mode” is used, and the LR images arranged in parallel on the left and right sides with the SPM composition are displayed as a finder image. Also in this case, the vignetting area and the overlap area are not displayed. It is possible to perform stereoscopic imaging while confirming in advance the final SMP image obtained by the main imaging.
[0047]
FIGS. 5D and 6D show the case where the “overlapping frame display mode” is used, and the screen is displayed in a state where both images are superimposed so that the image frames of the LR images cut out by trimming match each other. Is displayed. This display image can be obtained, for example, by calculating an average value of the L image and the R image for each pixel. (Because the image obtained as the average value of the two images is equivalent to a double-exposure image taken with a single exposure amount ½ of the standard.)
The default EVF display mode in the stereo shooting mode is set to, for example, “single frame display mode”, and can be switched to “SPM display mode” or “overlapping frame display mode” as required by switch operation or the like. Therefore, the framing can be adjusted from various angles depending on the situation.
[0048]
As described above, according to the present embodiment, a plurality of monocular image frames are set on the imaging area of one image sensor 105, and a stereo image is obtained from a plurality of monocular images obtained from the frames. It is possible to avoid problems such as overlap and vignetting. In particular, since trimming using a monocular frame is also used for EVF display, it is possible to set the composition without overlapping or vignetting, and the trimming position of the finally generated SPM image Can be confirmed.
[0049]
In addition, this invention is not limited to embodiment mentioned above. In the above-described embodiment, SPM, SGM, and the like are exemplified as still images. However, the present invention is not limited to this, and as is clear from the description of signal processing in EVF display, the same applies to SPM and SGM based on moving images. It is applicable to. That is, since the SPM composition method and the stereo data added at the time of SGM generation include only elements that are not different from still image moving images, the conventional moving image imaging technology is used as it is, for example, a typical moving image compression format. By using MPEG, which is one of the above, instead of the above-mentioned JPEG, the same effect can be obtained by carrying out in exactly the same way.
[0050]
In addition, the stereo adapter used in the present embodiment is a mirror type adapter combined with a plane mirror. However, instead of this, any type of adapter can be used, for example, a wedge shape that deflects the viewing direction (line of sight) of the camera. The use of a prismatic stereo adapter in which the prisms are arranged on the left and right sides is also a suitable example.
[0051]
In this embodiment, two image frames are set in the imaging area. For example, a general multi-view stereoscopic image used in a known lenticular method (such as a multi-projection method using a lenticular sheet print or a lenticular screen) is used. As much as possible, a stereo adapter of three or more eyes and three or more image frame settings corresponding thereto may be used. Furthermore, not only when displaying a finder image, but also by setting a monocular image frame for a normal LR image recorded on a memory card, for example, the above-mentioned “single frame display mode”, “SPM display mode”, It is also possible to reproduce and display on the LCD image display system 111 in any of the “overlapping frame mode”.
[0052]
Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of the effect of the invention If at least one of the following is obtained, a configuration in which this configuration requirement is deleted can be extracted as an invention.
[0053]
【The invention's effect】
  As explained above, according to the present invention,It is possible to shoot while confirming the fusion state of multiple monocular images, and realize stereoscopic shooting very easily.It becomes possible.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an electronic camera according to an embodiment of the present invention.
FIG. 2 is a view showing a configuration of a mirror type stereo adapter attached to the electronic camera of the embodiment.
FIG. 3 is a view showing an image frame set in the imaging area in the embodiment.
FIG. 4 is a view showing a state in which LPM images are combined to generate an SPM image, and further an SGM is generated in the embodiment.
FIG. 5 is a view for explaining an EVF display mode in the embodiment.
FIG. 6 is a view for explaining an EVF display mode in the embodiment.
FIG. 7 is a diagram showing overlap and vignetting peculiar to an adapter method, which is a conventional problem.
[Explanation of symbols]
100 ... Camera body
101 ... Lens system
102: Lens drive mechanism
103. Exposure control mechanism
104: Filter system
105 ... CCD color image sensor
106 ... CCD driver
107: Pre-processing section
108 ... Digital Process Department
109 ... Card interface
110: Memory card
111 ... LCD image display system
112 ... System controller (CPU)
112a: Image frame setting section
112b ... SPM synthesis unit
112c ... SGM generation part
112d ... EVF display control unit
200 ... Mirror type stereo adapter
201-204 ... Mirror

Claims (4)

撮像光学系と、この撮像光学系を介して入力された被写体像を光電変換する撮像素子と、該撮像素子の出力に基づいて被写体画像信号を得る撮像手段と、前記被写体画像信号を表示するための電子ファインダ手段とを具備する撮像装置であって、
立体撮影が可能なステレオ撮影モードと通常の単眼撮影を行うための通常撮影モードとを有し、前記通常撮影モード時には前記被写体画像信号を前記電子ファインダ手段への表示に使用し、前記ステレオ撮影モード時には、前記被写体画像信号に対して所定のトリミングを行うことで、前記被写体画像信号から1つの多眼式ステレオ画像の構成要素である複数のモノキュラ画像を抽出し、前記抽出後の複数のモノキュラ画像それぞれの画枠が一致するように前記抽出後の複数のモノキュラ画像を重ねた状態の重ねフレーム画像を前記電子ファインダ手段に表示するように構成されていることを特徴とする撮像装置。
An imaging optical system, an imaging device that photoelectrically converts a subject image input through the imaging optical system, an imaging unit that obtains a subject image signal based on an output of the imaging device, and for displaying the subject image signal An image pickup apparatus comprising the electronic viewfinder means,
A stereo shooting mode capable of stereoscopic shooting and a normal shooting mode for performing normal monocular shooting, and in the normal shooting mode, the subject image signal is used for display on the electronic viewfinder means, and the stereo shooting mode Sometimes, by subjecting the subject image signal to predetermined trimming, a plurality of monocular images that are constituent elements of one multi-view stereo image are extracted from the subject image signal, and the plurality of monocular images after the extraction are extracted. An image pickup apparatus configured to display, on the electronic viewfinder means, a superimposed frame image in a state in which a plurality of extracted monocular images are superimposed so that the respective image frames coincide with each other .
前記撮像素子の撮像領域の中に、1つの多眼式ステレオ画像の構成要素である複数のモノキュラ画像に対応した複数の撮影画枠を設定するステレオ撮像画枠設定手段と、前記複数の撮影画枠に対応して得られた複数のモノキュラ画像を用いて、所定のステレオ画像取扱いフォーマットに従った構造化ステレオ画像を生成するステレオ画像生成手段とをさらに具備し、
前記ステレオ撮影モード時には、前記ステレオ撮像画枠設定手段によって設定された複数の撮像画枠に対応する複数のモノキュラ画像を重ねた状態の重ねフレーム画像が前記電子ファインダ手段に表示されるように構成されていることを特徴とする請求項項記載の撮像装置。
Stereo imaging image frame setting means for setting a plurality of imaging image frames corresponding to a plurality of monocular images that are constituent elements of one multi-view stereo image in the imaging area of the imaging element; and the plurality of imaging images Stereo image generation means for generating a structured stereo image in accordance with a predetermined stereo image handling format using a plurality of monocular images obtained corresponding to the frame;
Wherein the stereoscopic photography mode, is configured as a plurality of overlapping frame images monocular a laminated state image corresponding to the stereoscopic imaging image frame multiple imaging image frame that has been set by the setting means is displayed on the electronic viewfinder means The imaging apparatus according to claim 1, wherein :
撮像光学系と、この撮像光学系により結像された被写体像を光電変換する撮像素子と、該撮像素子の出力に基づいて被写体画像信号を得る撮像手段と、前記被写体画像信号を表示する表示手段と、前記被写体画像信号に対して所定のトリミングを行なうことで、前記撮像素子の撮像領域の中に、1つの多眼式ステレオ画像の構成要素である複数のモノキュラ画像に対応した複数の撮影画枠を設定するステレオ撮像画枠設定手段と、前記複数の撮影画枠に対応して得られた複数のモノキュラ画像を用いて、所定のステレオ画像取扱いフォーマットに従った構造化ステレオ画像を生成するステレオ画像生成手段とを具備する撮像装置であって、
前記複数の撮影画枠より1を選択的に使用して前記表示手段に表示する単フレーム表示モード、前記複数の撮影画枠を並列位置した状態で前記表示手段に表示する構造化ステレオ画像表示モードと、前記複数の撮影画枠が一致するように前記複数の撮影画枠を重ねた状態の重ねフレーム画像を前記表示手段に表示する重ねフレーム表示モードとの間で、前記被写体画像信号を前記表示手段に表示するためのモードを切り換える手段を具備することを特徴とする撮像装置。
An imaging optical system, an imaging device that photoelectrically converts a subject image formed by the imaging optical system, an imaging unit that obtains a subject image signal based on an output of the imaging device, and a display unit that displays the subject image signal And by performing predetermined trimming on the subject image signal, a plurality of captured images corresponding to a plurality of monocular images which are constituent elements of one multi-view stereo image are formed in the imaging region of the imaging element. Stereo that generates a structured stereo image according to a predetermined stereo image handling format using a stereo imaging image frame setting means for setting a frame and a plurality of monocular images obtained corresponding to the plurality of captured image frames An imaging device comprising an image generating means,
A single-frame display mode in which one is selectively used from the plurality of shooting image frames and displayed on the display means, and a structured stereo image display in which the plurality of shooting image frames are displayed on the display means in a parallel position mode and, between the overlapping frame display mode lap frame image in a state where the plurality of photographing frame is repeated said plurality of photographing frame to match displayed on the display means, the said subject image signal An image pickup apparatus comprising means for switching a mode for display on a display means .
前記複数のモノキュラ画像は2眼式ステレオ画像の構成要素であるLおよびR画像であり、前記ステレオ画像生成手段が生成する構造化ステレオ画像は、前記LおよびR画像を左右に配置したステレオペア画像に対応するものであることを特徴とする請求項記載の撮像装置。The plurality of monocular images are L and R images that are components of a binocular stereo image, and the structured stereo image generated by the stereo image generating means is a stereo pair image in which the L and R images are arranged on the left and right The imaging apparatus according to claim 3 , wherein the imaging apparatus corresponds to the above.
JP2001010307A 2001-01-18 2001-01-18 Imaging device Expired - Fee Related JP4512276B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001010307A JP4512276B2 (en) 2001-01-18 2001-01-18 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001010307A JP4512276B2 (en) 2001-01-18 2001-01-18 Imaging device

Publications (2)

Publication Number Publication Date
JP2002218501A JP2002218501A (en) 2002-08-02
JP4512276B2 true JP4512276B2 (en) 2010-07-28

Family

ID=18877647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001010307A Expired - Fee Related JP4512276B2 (en) 2001-01-18 2001-01-18 Imaging device

Country Status (1)

Country Link
JP (1) JP4512276B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3929384B2 (en) * 2002-10-23 2007-06-13 オリンパス株式会社 Viewfinder, photographing apparatus, marker presenting member, and photographing method for calibration
JP4602737B2 (en) * 2004-10-25 2010-12-22 シャープ株式会社 Video display device
JP4698307B2 (en) * 2005-07-05 2011-06-08 三洋電機株式会社 Stereoscopic image processing method, stereoscopic image processing apparatus, program, and recording medium storing program
JP4688590B2 (en) * 2005-07-05 2011-05-25 三洋電機株式会社 Stereoscopic image processing method, stereoscopic image processing apparatus, program, and recording medium storing program
US8217991B2 (en) 2005-07-05 2012-07-10 Sanyo Electric Co., Ltd. Method, device and program for processing stereoscopic images and recording medium storing the program
JP5415170B2 (en) * 2009-07-21 2014-02-12 富士フイルム株式会社 Compound eye imaging device
JP2012034215A (en) * 2010-07-30 2012-02-16 Sony Corp Image processing apparatus and method and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001222083A (en) * 2000-02-07 2001-08-17 Canon Inc Image pickup device, method of controlling image pickup device, and medium that supplies program in whch controlling method is described to computer

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3091628B2 (en) * 1994-03-30 2000-09-25 三洋電機株式会社 Stereoscopic video camera
JPH08149515A (en) * 1994-11-18 1996-06-07 Sanyo Electric Co Ltd Stereoscopic image pickup device
JPH0951551A (en) * 1995-08-04 1997-02-18 Canon Inc Image pickup device
JPH10322725A (en) * 1997-05-19 1998-12-04 Sony Corp Stereoscopic photographed image positioning device
JPH11127369A (en) * 1997-10-21 1999-05-11 Canon Inc Image pickup display system, its control program and recording medium
JP3691656B2 (en) * 1998-03-31 2005-09-07 株式会社リコー Imaging device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001222083A (en) * 2000-02-07 2001-08-17 Canon Inc Image pickup device, method of controlling image pickup device, and medium that supplies program in whch controlling method is described to computer

Also Published As

Publication number Publication date
JP2002218501A (en) 2002-08-02

Similar Documents

Publication Publication Date Title
JP3841630B2 (en) Image handling device
JP4625515B2 (en) Three-dimensional imaging apparatus, method, and program
US8384802B2 (en) Image generating apparatus and image regenerating apparatus
JP4638783B2 (en) 3D image file generation device, imaging device, image reproduction device, image processing device, and 3D image file generation method
EP2590421B1 (en) Single-lens stereoscopic image capture device
JP4764854B2 (en) Imaging apparatus, image reproducing apparatus, imaging method, system, and program
JP2011024003A (en) Three-dimensional moving image recording method and apparatus, and moving image file conversion method and apparatus
JP5449551B2 (en) Image output apparatus, method and program
JP5567901B2 (en) Interchangeable lens and imaging system for stereo photography
JP4536231B2 (en) Imaging device
JP4512276B2 (en) Imaging device
JP2002218506A (en) Image pickup device
JP3939127B2 (en) Imaging device
JP4646459B2 (en) Solid-state imaging device
JP4516221B2 (en) Imaging device
JP2010102137A (en) Three-dimensional photographing device, method and program
JP2000102035A (en) Stereoscopic photograph system
JP4573496B2 (en) Information equipment
JP4759789B2 (en) Image processing system
JP2002214515A (en) Image pickup unit
JP2002209232A (en) Compound eye camera
JP2010147784A (en) Three-dimensional imaging device and three-dimensional imaging method
KR100257333B1 (en) Digital still camera for displaying a tree-dimensional image
JP2002330450A (en) Imaging apparatus
JP2006128899A (en) Imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees