JP5864992B2 - 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 - Google Patents
撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP5864992B2 JP5864992B2 JP2011220409A JP2011220409A JP5864992B2 JP 5864992 B2 JP5864992 B2 JP 5864992B2 JP 2011220409 A JP2011220409 A JP 2011220409A JP 2011220409 A JP2011220409 A JP 2011220409A JP 5864992 B2 JP5864992 B2 JP 5864992B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- eye
- parallax map
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
立体映像をユーザが鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、右目用画像と左目用画像のデータが用意される。各画像をユーザが右目と左目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式等のように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法等が知られている。
特許文献1は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが1対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第1の画像信号が得られ、他方のフォトダイオードの出力から第2の画像信号が得られる。第1及び第2の画像信号を、左目用画像、右目用画像としてそれぞれ用いることで、ユーザは立体映像の鑑賞が可能となる。
特許文献2は、第1の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを開示する。この出力視差マップと第1の画像とに基づいて、第2の画像を生成することができる。この計算は、入力値を持つそれぞれの入力要素を有する入力視差マップに基づいており、マルチビュー画像をレンダリングするために、入力画像と視差マップを用いて第2の画像が生成可能である。
特許文献1が開示するように、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが1対以上配置されている固体撮像素子を用いて撮影をした場合、以下のような問題がある。対をなすフォトダイオードの一方が撮像光学系の射出瞳のある領域を通過した光束を光電変換した左目用画像信号を出力し、他方が射出瞳の上記領域とは異なる領域を通過した光束を光電変換した右目用画像信号を出力する場合を想定する。この場合、被写体によっては、左目用画像、右目用画像のいずれの画像も、被写体の形状を反映した画像でないことがある。
例えば、点光源からの光がボケたように撮影される撮影シーンにおいては、本来、円形にボケた光源の写真が撮影されるべきである。しかし、特許文献1が開示する固体撮像素子で撮影した場合には、撮影される画像は、被写体の形状が反映されていない半円形や楕円形等の形状となってしまう。例えば、左目用画像における被写体は左半分が欠けており、右目用画像における被写体は右半分が欠けているというように、左目用画像と右目用画像とでは、画像として写る被写体の形状が異なって撮影される。その理由としては、撮像光学系の射出瞳から出た光束のうち、光軸を境にして、フォトダイオードが受光する光の領域が異なるためである。
このような場合、特許文献2に開示の技術を用いて前記第2の画像を計算により求めようと試みたとしても正しい被写体形状の画像は得られない。つまり、基の画像にて実際の被写体とは異なる形状に撮影されるので、計算により求めた前記第2の画像についても正しい被写体形状の画像として再生ができないからである。
そこで、本発明は、合成画像データと視差マップを用いて2次元表示でも立体視表示でも正しい被写体形状の画像再生が可能な装置の提供を目的とする。
図1は、本発明の実施形態の撮像装置に適用する撮像素子の構成例を概略的に示す図である。撮像素子100は、画素アレイ101と、画素アレイ101における行を選択する垂直選択回路102と、画素アレイ101における列を選択する水平選択回路104を含む。読み出し回路103は、画素アレイ101中の画素のうち垂直選択回路102によって選択される画素の信号を読み出す。読み出し回路103は、信号を蓄積するメモリ、ゲインアンプ、AD変換器等を列毎に有する。
シリアルインターフェース(SI)部105は、各回路の動作モード等を外部回路からの指示に従って決定する。垂直選択回路102は、画素アレイ101の複数の行を順次選択し、読み出し回路103に画素信号を取り出す。また水平選択回路104は、読み出し回路103によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子100は、図1に示す構成要素以外に、例えば、垂直選択回路102、水平選択回路104、読み出し回路103等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。
図2(A)には、1画素に左側のPD203と右側のPD204の2個を設けた例を示すが、3個以上(例えば、4個または9個)のPDを用いてもよい。PD203は、受光した光束を光電変換して左目用画像信号を出力する。PD204は、受光した光束を光電変換して右目用画像信号を出力する。なお、画素201は、図示の構成要素以外にも、例えば、PD信号を読み出し回路103に取り出す画素増幅アンプや、行選択スイッチ、PD信号のリセットスイッチ等を備える。
画素アレイ101は2次元画像を提供するため、図2(B)に示す複数の画素301から304のように、2次元アレイ状に配列して構成される。PD301L、302L、303L、304Lは、図2(A)中のPD203に相当する。また、PD301R、302R、303R、304Rは、図2(A)中のPD204に相当する。すなわち、本実施形態に用いる撮像素子は、各々が、左目用画像信号を出力する第1の光電変換部(PD203)と、右目用画像信号を出力する第2の光電変換部(PD204)とを有する複数の画素を備える。
画素アレイ101は、マイクロレンズ202と、カラーフィルタ403と、PD404および405を有する。PD404、PD405は、図2(A)中のPD203、PD204にそれぞれ相当する。
図3において、マイクロレンズ202に対して、撮影レンズの射出瞳406から出た光束の中心を光軸409とする。射出瞳406から出た光は、光軸409を中心として撮像素子100に入射する。一部領域407、408は、撮影レンズの射出瞳406の領域である。光線410、411は、一部領域407を通過する光の最外周の光線である。光線412、413は、一部領域408を通過する光の最外周の光線である。
射出瞳406から出る光束のうち、光軸409を境界線として、図3の上側の光束はPD405に入射し、下側の光束はPD404に入射する。つまり、PD404とPD405は、各々、撮像光学系の射出瞳の異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。
撮像光学系を構成するレンズ部501は、被写体からの光を撮像素子505に結像する。撮像素子505は、図1に示す撮像素子100に相当し、図2(B)に示す画素構成を有する。レンズ駆動装置502は、ズーム制御、フォーカス制御、絞り制御等を行う。メカニカルシャッタ503は、シャッタ駆動装置504によって制御される。撮像素子505は、レンズ部501により結像した被写体像を画像信号に変換する。撮像信号処理回路506は、撮像素子505の出力する画像信号に対して各種の処理(画素補間処理や色変換処理等)や補正を行う。タイミング発生部507は、撮像素子505や撮像信号処理回路506に必要なタイミング信号を出力する。
システム制御部509は各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のCPU(中央演算処理装置)がプログラムを解釈して実行することで各種の処理を行う。なお、システム制御部509は、左目用画像と右目用画像の各データを比較し、位相差検出を行ってAF(オートフォーカス)制御を行うことができる。
メモリ部508は、画像データを一時的に記憶するメモリを備える。記録制御を行う記録媒体制御インターフェース部(以下、I/F部と略記する)510は、記録媒体511に画像データや後述の視差マップデータ等を記録し、または読み出すために設けられる。撮像装置に着脱可能な記録媒体511は、半導体メモリ等である。外部I/F部512は、コンピュータ機器等の外部装置との間でデータを送受し、ユーザは画像加工を行うことができる。また外部I/F部512に接続された不図示の操作部を用いて、ユーザはデジタルカメラに対する操作を行うことができる。
視差マップ生成回路514は、合成画像における被写体像の位置を基準とした左目用画像/右目用画像の位置ずれ量を視差量として算出する。算出した視差量に関する情報は視差マップとしてメモリ部508に記憶される。圧縮伸長回路515は、メモリ部508に記憶した画像データを所定の画像圧縮方法(例えば、適応離散コサイン変換(ADCT)等)に従って画像圧縮する。また、圧縮伸長回路515は、画像圧縮された画像データをメモリ部508に書き込む機能、及びメモリ部508から読み出した画像データを伸長してメモリ部508に書き込む機能を有する。
表示部516は、表示制御回路517からの表示用データに従って、各種情報や撮影画像を表示する。表示制御回路517は2次元表示用の画像データを表示するための表示制御や、立体視表示で画像データを表示するための表示制御を行う。
撮像装置のメイン電源が投入されると、制御系回路部の電源がオン状態となり、更に撮像信号処理回路506等の撮像処理系回路の電源がオン状態となる。ユーザが図示しないレリーズボタンを操作すると、システム制御部509が撮像素子505からのデータに基づいて、焦点状態検出に係る演算を行い、撮像装置から被写体までの距離を算出する。その後、レンズ駆動装置502がレンズ部501の可動レンズを駆動し、システム制御部509は、合焦状態であるか否かを判定する。
システム制御部509は、合焦状態でないと判定した場合、再びレンズ部501の駆動制御により、焦点状態の検出処理を実行する。なお、被写体までの距離を求める演算については、撮像素子505によるデータから算出する方法以外に、図示しない測距専用装置を用いて行う方法でも構わない。システム制御部509は、合焦状態と判定した後に撮影動作を開始させる。撮影動作が終了すると、撮像信号処理回路506は撮像素子505が出力した画像信号を処理し、システム制御部509は画像データをメモリ部508に書き込む制御を行う。
撮像素子505が出力する撮像データについては、複数のPDからの画像信号として出力される。図2(B)に示す例では、PD301L、301R、302L、302R、303L、303R、304L、304Rの順に画像信号が出力される。撮像信号処理回路506は、撮像素子505の出力する撮像データを左目用画像データと右目用画像データに振り分けて画像処理を行う。左目用画像データは、図2(B)における左側PD301L、302L、303L、304L等の出力のみを選択して処理した結果得られる画像データである。また、右目用画像データは、図2(B)における右側PD301R、302R、303R、304R等の出力のみを選択して処理した結果得られる画像データである。左目用画像データと右目用画像データとは、別々にメモリ部508に保持される。
画像合成回路513は、メモリ部508に保持した左目用画像と右目用画像の各データを読み出して合成画像データを生成する。生成された合成画像データはメモリ部508に格納される。画像合成回路513によって実行される画像処理は、左目用画像と右目用画像について画素毎の加算平均値を算出する処理である。従って、この画像処理によって生成される合成画像は、被写体の形状を反映した画像となる。つまり、撮像素子505にて、左目用画像と右目用画像とで被写体の形状が異なって撮影された場合でも、画像合成回路513の画像処理によって被写体像の形状が補間されるため、正しい形状の画像データが生成される。例えば、被写体の形状が円形状であって、左目用画像と右目用画像では円形状でない場合でも、合成画像では被写体の形状と同じ円形状となる。
図5は、視差マップの生成処理例を示す図である。図5(A)中の符号601は、被写体を撮影して得られる構図を示す。符号602、603、604はそれぞれ被写体を示す。図5(A)中に示す構図では、被写体602、603、604は、この順に上から並んでいる。また、被写体は、図5(C)に示すように、奥行き方向に並んで配置されている。符号604がカメラから最も近い被写体を示し、符号602が最も遠い被写体を示す。
図5(B)は、図5(A)に示す構図を撮影して得られるステレオ画像を示す。画像605は左目用画像を示し、画像606は右目用画像を示す。左目用画像605には、被写体602、603、604が、それぞれ、607L、608L、609Lとして示される。右目用画像606には、被写体602、603、604が、それぞれ、607R、608R、609Rとして示される。
左目用画像605における被写体像と右目用画像606における被写体像との間には、位置ずれがある。本実施形態では、両者間の位置ずれの量を視差量と定義する。符号610は、被写体602の左目用画像605における位置を基準とする、右目用画像606における位置のずれ量、つまり607Lと607Rとの間の視差量を示す。同様に、符号611は、被写体604の左目用画像605における位置を基準とする、右目用画像606における位置のずれ量、つまり609Lと609Rとの間の視差量を示す。被写体603については、左目用画像605における位置と右目用画像606における位置とが同じである。すなわち、被写体603については、視差量がゼロである。
視差マップ生成回路514は、左目用画像605、右目用画像606における被写体像の重心間の中点から、左目用画像605における被写体像の重心までの位置ずれ量を視差量として算出する。言い換えると、視差マップ生成回路514は、左目用画像605と右目用画像606とに基づいて生成された合成画像における被写体像の重心の位置を基準とした、左目用画像における当該被写体の重心の位置の位置ずれ量を視差量として算出する。算出される視差量は、左目用画像に対応する視差量である。もちろん、視差マップ生成回路514が、合成画像における被写体像の重心の位置を基準とした、右目用画像における当該被写体像の重心の位置の位置ずれ量を、右目用画像に対応する視差量として算出してもよい。
図5(B)に示す例では、被写体602については、視差マップ生成回路514は、視差量610の半分の量である視差量612を算出する。また、被写体604については、視差マップ生成回路514は、視差量611の半分の量である視差量613を算出する。視差マップ生成回路514は、算出した視差量612、613に関する情報と、当該視差量の基準となる画像の位置情報を視差マップとしてメモリ部508に記憶する。この例では、視差量の基準となる画像の位置情報は、合成画像における被写体像の重心を示す。なお、上述したように、図5(B)に示す例では、被写体603については視差量がゼロである。
図6は、視差マップを模式的に例示した図である。視差マップ621は、視差量622と、視差量の基準となる画像の位置(重心)の情報623を含む。
システム制御部509は、メモリ部508から合成画像データと視差マップデータを読み出す。システム制御部509は、視差マップデータが示す視差量の基準となる画像の位置が、合成画像における被写体像の重心であることを確認する。そして、システム制御部509は、合成画像における被写体像を当該視差マップデータが示す視差量の分だけシフトさせることによって、再生対象の左目用画像すなわち視差量に対応する画像の再生用データを生成する。
また、システム制御部509は視差マップデータが示す視差量の符号を反転させる。システム制御部509は、視差マップが示す視差量の符号を反転させて得られる視差量を、合成画像における当該被写体像の重心を基準とする右目用画像における当該被写体の重心の位置の位置ずれ量とする。そして、システム制御部509は、合成画像における被写体像を当該視差マップデータが示す視差量の符号を反転させて得られる視差量の分だけシフトさせる。これによって、再生対象の右目用画像すなわち視差マップデータが示す視差量に対応する画像以外の画像の再生用データが生成される。
なお、合成画像における被写体像のシフトによって、当該被写体像が配置されていた位置の画素は、欠落画素となる。システム制御部509は、例えば、下記の参考文献1に記載されている技術を用いて、この欠落画素に色空間情報を付与する。すなわち、システム制御部509は、欠落画素の近傍の画素の画素値の平均値を色空間情報として算出し、算出した色空間情報を欠落画素に付与する。
参考文献1:特許第3524147号公報
以上のように本実施形態の撮像装置は、左目用画像と右目用画像を合成して、被写体の形状が反映された合成画像を生成し、該合成画像での位置を基準とする視差量に関する情報を視差マップデータとして生成する。メモリ部508には、左目用画像データと右目用画像データ、さらに画像合成回路513によって生成された合成画像データと、視差マップ生成回路514によって生成された視差マップデータが記憶される。
合成画像データと、視差マップデータが示す視差量に基づいて、再生対象の左目用画像データおよび右目用画像データが生成される。従って、撮影光学系の射出瞳の異なる領域を通過した光束の光電変換によって得られる左目用画像、右目用画像での形状が被写体形状と異なる場合であっても、画像の再生時には被写体の形状を反映した正しい画像を再生できる。
DCFヘッダ部701はDCFヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。DCFヘッダ情報には、以下のデータが含まれる(括弧内は符号を示す)。
・メタデータA(704):JPEG画像部703に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値B(705):サムネイル画像部702の先頭位置までのオフセットデータ。
・オフセット値C(706):JPEG画像部703の先頭位置までのオフセットデータ。
オフセット値BとCは、DCFヘッダ部701の基準位置から算出される各画像部までの相対位置情報であり、これらのオフセット値により画像ファイル内における各画像データの開始位置が特定される。
サムネイル画像部702は、JPEG画像部703に格納されているJPEG画像データ等を間引いてリサイズしたサムネイル画像データを格納する領域である。サムネイル画像データは、例えば、表示部516の画面上に複数枚の縮小画像表示(インデックス表示)を行う際等に利用される。
JPEG画像部703は、撮像信号処理回路506での画像処理後に圧縮伸長回路515で圧縮して得たJPEG画像データを格納する領域である。この画像データは、一般の多くのアプリケーションで扱うことが可能なデータである。
DCF画像データ部801は、DCFヘッダ部803、合成サムネイル画像部804、合成JPEG画像部805から構成される。DCFヘッダ部803はDCFヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。DCFヘッダ情報には、以下の付帯情報、および各画像データを格納する領域を特定するためのオフセット情報が含まれる(括弧内は符号を示す)。
・メタデータA(810):合成JPEG画像部805に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値B(811):合成サムネイル画像部804の先頭位置までのオフセットデータ。
・オフセット値C(812):合成JPEG画像部805の先頭位置までのオフセットデータ。
・オフセット値D(813):左目用サムネイル画像部806の先頭位置までのオフセットデータ。
・オフセット値E(814):右目用サムネイル画像部807の先頭位置までのオフセットデータ。
・オフセット値F(815):左目用JPEG画像部808の先頭位置までのオフセットデータ。
・オフセット値G(816):右目用JPEG画像部809の先頭位置までのオフセットデータ。
オフセット値BからGにより画像ファイル内における各画像データの開始位置が特定される。
合成サムネイル画像部804は、表示部516の画面上にインデックス表示を行う際等に利用するために、合成JPEG画像部805に格納されている合成JPEG画像データ等を間引いてリサイズした合成サムネイル画像を格納する領域である。また、合成JPEG画像部805は、撮像素子505からの画像データを撮像信号処理回路506で処理した後、圧縮伸長回路515で圧縮して得た合成JPEG画像データを格納する領域である。この画像データは一般の多くのアプリケーションで扱うことが可能なデータである。本実施形態にて右目用画像と左目用画像の各データを画像合成回路513で加算合成したJPEG画像データが合成JPEG画像部805に格納される。左目用画像および右目用画像を加算合成することで2D表示用画像として正しい被写体形状を再生可能な画像データが得られる。なお、加算合成には加算平均処理も含むものとする。
左右目用画像データ部802は左目用サムネイル画像部806、右目用サムネイル画像部807、左目用JPEG画像部808、右目用JPEG画像部809で構成されている。左目用サムネイル画像部806と右目用サムネイル画像部807にそれぞれ格納される画像データは表示部516によるインデックス表示にて、サムネイル画像を立体視表示として表示する際等に利用する。また、左目用JPEG画像部808、右目用JPEG画像部809にそれぞれ格納される画像データは表示部516にて立体視表示として表示する際等に利用する。なお、これらの画像部806乃至809を含む左右目用画像データ部802を画像ファイル800の後方に配置することで、左目用JPEG画像部808および右目用JPEG画像部809を使用しない場合の処理にて利便性が向上する。
DCF画像データ部901は、DCFヘッダ部903、合成サムネイル画像部904、合成JPEG画像部905から構成される。
DCFヘッダ部903はDCFヘッダ情報を格納する領域であって、予め所定のデータサイズが与えられている。DCFヘッダ情報には、以下のデータが含まれる(括弧内は符号を示す)。
・メタデータA(908):合成JPEG画像部905に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値B(909):合成サムネイル画像部904の先頭位置までのオフセットデータ。
・オフセット値C(910):合成JPEG画像部905の先頭位置までのオフセットデータ。
・オフセット値D(911):合成サムネイル画像用視差マップ部906の先頭位置までのオフセットデータ。
・オフセット値E(912):合成JPEG画像用視差マップ部907の先頭位置までのオフセットデータ。
オフセット値BからEにより画像ファイル内での各画像データの開始位置が特定される。
視差マップ部902は合成サムネイル画像用視差マップ部906と合成JPEG画像用視差マップ部907で構成される。合成サムネイル画像部904は、表示部516にインデックス表示を行う際等に利用するために、合成JPEG画像部905に格納されているJPEG画像データ等を間引いてリサイズしたサムネイル画像データを格納する領域である。合成JPEG画像部905は、撮像素子505からの画像データを撮像信号処理回路506で処理した後、圧縮伸長回路515で圧縮して得た合成JPEG画像データを格納する領域である。この画像データは一般の多くのアプリケーションで扱うことが可能なデータである。本実施形態において右目用画像と左目用画像の各データを画像合成回路513で加算合成したJPEG画像データが合成JPEG画像部905に格納される。左目用および右目用の画像データを合成することで2D表示用として正しい被写体形状を再生可能な画像が得られる。さらには視差マップを用いることで左目用および右目用の各画像データを復元でき、立体視表示用画像として再生可能となる。合成サムネイル画像用視差マップ部906は合成サムネイル画像のサイズに合わせて生成された視差マップデータを格納する領域である。また合成JPEG画像用視差マップ部907は、合成JPEG画像の視差量を示すマップデータを格納する領域である。なお、合成サムネイル画像用視差マップを合成JPEG画像用視差マップと併せて視差マップ部902として画像ファイル900の後方に配置することで、視差マップを使用しない場合の画像再生や視差マップの削除等の編集時の利便性が向上する。
S1001は、外部I/F部512の操作部に設けられた図示しない画像再生釦が操作された否かの判定処理である。ユーザが画像再生釦を操作していないと判定された場合、S1001の判定処理を繰り返し、ユーザが画像再生釦を操作したと判定された場合、S1002に進む。S1002では、記録媒体511から記録媒体制御I/F部510を介して画像ファイルのデータをメモリ部508に読み出す処理が実行される。次のS1003では、S1002でメモリ部508に読み込んだ画像ファイルの解析処理が行われる。画像ファイルの解析処理ではDCF画像ファイルの構造を解析することで、各画像データへのアクセスが可能となる。次にS1004では、S1003での解析結果に基づき、画像ファイルが立体視表示に対応した画像ファイルであるか否かについて判定される。立体視表示に対応した画像ファイルの判定処理とは、左目用画像、右目用画像をそれぞれ用意することができる画像ファイルであるか否かの判定である。本実施形態では図8で説明した左目用画像および右目用画像のデータを有する画像ファイルの場合や、図9で説明した視差マップを有する画像ファイルの場合に立体視表示に対応した画像ファイルであると判定される。画像ファイルに関する判定結果がYESの場合、S1005に処理を進め、NOの場合、S1006に処理を進める。
以上、説明したように、本実施形態の撮像装置における画像ファイルの再生処理では、立体視画像に対応した画像ファイルを用いることにより、3D表示でも2D表示でも画像再生が可能となる。
S1101では、画像ファイルから2D画像データを取得する処理が行われる。2D画像データの取得処理では、解析した画像ファイルから、2D画像として再生するためのデータとして、合成JPEG画像データが取得される。本実施形態の撮像装置以外で撮影された画像データを有するファイルであって、合成JPEG画像データが存在しない場合、2D画像として他の画像データを取得する処理を行うと再生互換性が向上する。次にS1102の2D画像表示データ作成処理では、S1101で取得した2D画像データから表示用データが作成される。本処理では、圧縮伸長回路515が伸長したデータを、表示制御回路517が処理することにより、表示部516に2D画像を表示するためのデータが作成される。次にS1103では表示制御回路517の制御下において、S1102で作成した表示用データに従い、表示部516が2D表示を行う。この2D画像表示処理では後述する立体視画像表示処理のように左目用画像と右目用画像と区別することなく表示用データが処理される。こうして、画像ファイルに基づいて2D画像の再生が可能となる。
S1201は、画像ファイル内に視差マップがあるか否かの判定処理である。視差マップの有無については、S1003での解析結果から判定できる。画像ファイル内に視差マップがないと判定された場合、S1202に処理を進め、左右画像3D再生処理が実行される。左右画像3D再生処理については図13を用いて後述する。一方、画像ファイル内に視差マップがあると判定された場合、S1203に処理を進め、視差マップ3D再生処理が実行される。視差マップ3D再生処理については図14を用いて後述する。本実施形態では3D再生処理として、左右画像を用いた3D再生と、視差マップを用いた3D再生が可能である。
次に図13を用いて、図12のS1202に示した左右画像3D再生処理について説明をする。
S1301の左目用画像データ取得処理では、メモリ部508に展開した画像ファイルのデータから、左目用JPEG画像データを取得する処理が行われる。次にS1302の表示データ作成処理では、S1301で取得した左目用JPEG画像データから左目用画像の表示用データが作成される。左目用画像の表示データ作成処理では、圧縮伸長回路515が伸長したデータに基づいて表示制御回路517が表示部516に画像を表示するためのデータを作成する。次にS1303の右目用画像データ取得処理では、メモリ部508に展開した画像ファイルのデータから右目用JPEG画像データを取得する処理が行われる。次にS1304の表示データ作成処理では、S1303で取得した右目用JPEG画像データから右目用画像の表示用データが作成される。右目用画像の表示データ作成処理では、圧縮伸長回路515が伸長したデータに基づいて表示制御回路517が表示部516に画像を表示するためのデータを作成する。次のS1305ではS1302で作成した左目用画像の表示用データと、S1304で作成した右目用画像の表示用データに従って、表示部516は3D画像表示処理を行う。本処理ではユーザの左目と右目にそれぞれ異なる映像の光が入射するように、既知の技術によって画像表示が行われるが、その詳細についての説明は省略する。こうして、左目用画像データおよび右目用画像データを有する画像ファイルに基づいて3D画像再生が可能となる。
S1401の視差マップ取得処理では、メモリ部508に展開した画像ファイルのデータから合成JPEG画像用視差マップのデータが取得される。次にS1402の基準画像データ取得処理では、メモリ部508に展開した画像ファイルのデータから基準画像データが取得される。ここでいう基準画像とは、S1401で取得した視差マップに対応する画像データのことであり、本実施形態では合成JPEG画像データとする。次にS1403の左目用画像データ作成処理では、S1401で取得した視差マップとS1402で取得した基準画像のデータから、左目用画像データが作成される。視差マップは合成画像の被写体像の重心から左目用画像にて該当する重心までの視差量のデータを含む。このデータを用いて、被写体像を視差量に対応する左目用画像の重心に移動させることで左目用画像データが生成される。次にS1404の右目用画像データ作成処理では、S1401で取得した視差マップとS1402で取得した基準画像データから、右目用画像データが作成される。本処理は左目用画像データ作成処理と同様に行われるが、この場合、視差マップデータの示す視差量の符号を反転させることにより、合成画像の被写体像の重心から右目用画像にて該当する重心までの視差量が得られる。被写体像を視差量に対応する右目用画像の重心に移動させることで右目用画像データを生成することができる。次のS1405では、S1403で作成した左目用画像データとS1404で作成した右目用画像データを用いて、図13で説明した左右画像3D再生処理が実行される。その際、前記した欠落画素に色空間情報が付与される。こうして、視差マップデータを有する画像ファイルから左目用画像および右目用画像のデータが生成され、これらの画像データに基づいて3D再生が可能となる。
尚、本実施形態で説明した一連の処理をサムネイル画像に適用することにより、表示部516にインデックス表示を行う際、複数枚の縮小画像を2D表示または3D表示にて再生可能な撮像装置を提供できる。この場合、画像合成回路513は、前記合成画像データから縮小画像表示用の画像データを生成する。また視差マップ生成回路514は、前記左目用画像および右目用画像のデータを用いて縮小画像表示用の視差マップデータを生成する。システム制御部509は、画像ファイルが縮小画像表示用の合成画像データおよび視差マップデータを含む場合、これらのデータから左目用縮小画像および右目用縮小画像の各データを生成して立体視表示での画像再生制御を行う。また、画像ファイルが左目用縮小画像および右目用縮小画像の各データを含む場合には、該データを用いて立体視表示での縮小画像再生を行うことができる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
505 撮像素子
509 システム制御部
510 記録媒体制御I/F部
511 記録媒体
513 画像合成回路
514 視差マップ生成回路
Claims (12)
- 撮像光学系の射出瞳における異なる瞳領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部を撮像素子が有する撮像装置であって、
取得手段により取得される画像信号のうち、前記異なる瞳領域を通過した光束に対応する信号から左目用画像および右目用画像のデータをそれぞれ取得し、該左目用画像および右目用画像に係る加算合成によって2次元表示用の合成画像データを生成する画像合成手段と、
前記撮像光学系の瞳領域の対となる領域に対応する信号から生成される画像信号に基づいて、視差マップデータを生成する視差マップ生成手段と、
再生指示に応じて2次元表示での画像再生および立体視表示での画像再生のいずれかを行うよう制御する制御手段を備え、
前記制御手段は、前記合成画像データを用いて2次元表示での画像再生を行い、または前記合成画像データおよび前記視差マップデータから左目用画像および右目用画像のデータを生成して立体視表示での画像再生を行うように制御することを特徴とする撮像装置。 - 前記合成画像データおよび前記視差マップデータを含む画像ファイルを生成し、記録媒体に記録する記録手段を有することを特徴とする請求項1に記載の撮像装置。
- 前記制御手段は、ユーザ操作によって2次元表示での画像再生が指定されているか、または立体視表示での画像再生が指定されているかを判定し、
前記画像ファイルが前記合成画像データを含み、かつ2次元表示での画像再生が指定されている場合、前記合成画像データを用いて画像再生を行い、
前記画像ファイルが前記視差マップデータを含み、かつ立体視表示での画像再生が指定されている場合、前記合成画像データおよび前記視差マップデータから左目用画像および右目用画像のデータを生成して立体視表示での画像再生を行うように制御することを特徴とする請求項2に記載の撮像装置。 - 前記制御手段は、前記画像ファイルが前記左目用画像および右目用画像のデータを含み、かつ立体視表示での画像再生が指定されている場合、前記左目用画像および右目用画像のデータを用いて立体視表示での画像再生を行うように制御することを特徴とする請求項3に記載の撮像装置。
- 前記画像合成手段は、前記合成画像データから縮小画像表示用の画像データを生成し、
前記視差マップ生成手段は、前記左目用画像および右目用画像のデータを用いて前記縮小画像表示用の視差マップデータを生成し、
前記制御手段は、前記画像ファイルが前記縮小画像表示用の画像データおよび前記縮小画像表示用の視差マップデータを含む場合、該画像データおよび視差マップデータから左目用縮小画像および右目用縮小画像のデータを生成して立体視表示での画像再生を行うように制御することを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。 - 撮像光学系の射出瞳における異なる瞳領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部を撮像素子が有する撮像装置にて実行される制御方法であって、
取得手段により取得される画像信号のうち、前記異なる瞳領域を通過した光束に対応する信号から左目用画像および右目用画像のデータをそれぞれ取得し、該左目用画像および右目用画像に係る加算合成によって2次元表示用の合成画像データを生成する画像合成ステップと、
前記撮像光学系の瞳領域の対となる領域に対応する信号から生成される画像信号に基づいて、視差マップデータを生成する視差マップ生成ステップと、
再生指示に応じて2次元表示での画像再生を行うか、または立体視表示での画像再生を行うかを判定する判定ステップと、
前記合成画像データを用いて2次元表示での画像再生を行うか、または前記合成画像データおよび前記視差マップデータから左目用画像および右目用画像のデータを生成して立体視表示での画像再生を行うように制御する制御ステップを有することを特徴とする撮像装置の制御方法。 - 撮像光学系の異なる瞳領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部を有する撮像素子から得られる信号を取得する取得手段と、
前記取得手段により取得される画像信号のうち、前記異なる瞳領域を通過した光束に対応する信号を合成して合成画像信号を生成する画像生成手段と、
前記撮像光学系の瞳領域の対となる領域に対応する信号から生成される画像信号に基づいて、視差マップデータを生成する視差マップ生成手段と、
前記合成画像信号および前記視差マップデータを含む画像ファイルを生成し、記録媒体に記録する記録手段と、を有することを特徴とする画像処理装置。 - 前記合成画像信号はJPEG画像として前記画像ファイルに含まれて記録されることを特徴とする請求項7に記載の画像処理装置。
- 前記画像ファイルはDCF形式で記録されることを特徴とする請求項7または8に記載の画像処理装置。
- 前記記録手段は、前記合成画像信号をリサイズして生成される縮小画像信号と、前記縮小画像信号に対応して前記視差マップデータがリサイズされた縮小視差マップデータを併せて前記画像ファイルに記録させることを特徴とする請求項7乃至9のいずれか1項に記載の画像処理装置。
- 前記撮像素子を含む撮像手段と、
請求項7乃至10のいずれか1項に記載の画像処理装置と、
を有することを特徴とする撮像装置。 - 撮像光学系の異なる瞳領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部を有する撮像素子から得られる信号を取得する取得ステップと、
前記取得ステップで取得される画像信号のうち、前記異なる瞳領域を通過した光束に対応する信号を合成して合成画像信号を生成する画像生成ステップと、
前記撮像光学系の瞳領域の対となる領域に対応する信号から生成される画像信号に基づいて、視差マップデータを生成する視差マップ生成ステップと、
前記合成画像信号および前記視差マップデータを含む画像ファイルを生成し、記録媒体に記録する記録ステップと、を有することを特徴とする画像処理装置の制御方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011220409A JP5864992B2 (ja) | 2011-10-04 | 2011-10-04 | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 |
US13/615,996 US9521395B2 (en) | 2011-10-04 | 2012-09-14 | Imaging apparatus and method for controlling same |
CN201210381242.0A CN103037235B (zh) | 2011-10-04 | 2012-10-08 | 摄像装置及其控制方法 |
US15/337,651 US9924155B2 (en) | 2011-10-04 | 2016-10-28 | Imaging apparatus and method for controlling same |
US15/899,901 US10587860B2 (en) | 2011-10-04 | 2018-02-20 | Imaging apparatus and method for controlling same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011220409A JP5864992B2 (ja) | 2011-10-04 | 2011-10-04 | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015255039A Division JP6177305B2 (ja) | 2015-12-25 | 2015-12-25 | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013081105A JP2013081105A (ja) | 2013-05-02 |
JP5864992B2 true JP5864992B2 (ja) | 2016-02-17 |
Family
ID=48527144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011220409A Active JP5864992B2 (ja) | 2011-10-04 | 2011-10-04 | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5864992B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016106466A (ja) * | 2015-12-25 | 2016-06-16 | キヤノン株式会社 | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 |
US9521395B2 (en) | 2011-10-04 | 2016-12-13 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling same |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000078611A (ja) * | 1998-08-31 | 2000-03-14 | Toshiba Corp | 立体映像受信装置及び立体映像システム |
JP2008299184A (ja) * | 2007-06-01 | 2008-12-11 | Nikon Corp | 撮像装置および焦点検出装置 |
-
2011
- 2011-10-04 JP JP2011220409A patent/JP5864992B2/ja active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9521395B2 (en) | 2011-10-04 | 2016-12-13 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling same |
US9924155B2 (en) | 2011-10-04 | 2018-03-20 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling same |
US10587860B2 (en) | 2011-10-04 | 2020-03-10 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling same |
JP2016106466A (ja) * | 2015-12-25 | 2016-06-16 | キヤノン株式会社 | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2013081105A (ja) | 2013-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10587860B2 (en) | Imaging apparatus and method for controlling same | |
JP5096048B2 (ja) | 撮像装置、立体画像再生装置及び立体画像再生プログラム | |
JP4763827B2 (ja) | 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム | |
JP5614268B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2013061440A (ja) | 撮像装置および撮像装置の制御方法 | |
JP6053276B2 (ja) | 撮像装置およびその制御方法、画像処理装置 | |
JP5924943B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP5864992B2 (ja) | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 | |
JP6004741B2 (ja) | 画像処理装置およびその制御方法、撮像装置 | |
JP2014022888A (ja) | 撮像装置および撮像装置の制御方法 | |
JP5704885B2 (ja) | 撮影機器、撮影方法及び撮影制御プログラム | |
JP6366793B2 (ja) | 画像処理装置およびその制御方法、撮像装置 | |
JP5911276B2 (ja) | 撮像装置およびその制御方法、画像処理装置 | |
JP6177305B2 (ja) | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 | |
JP6626257B2 (ja) | 画像表示装置、撮像装置、画像表示方法、プログラム、記憶媒体 | |
JP6433474B2 (ja) | 撮像装置およびその制御方法 | |
JP6172949B2 (ja) | 撮像装置、撮像装置の制御方法、画像処理装置および画像処理装置の制御方法 | |
JP2016154360A (ja) | 撮像装置およびその制御方法 | |
JP2014090252A (ja) | 画像処理装置およびその制御方法、撮像装置およびその制御方法、並びに画像処理プログラム | |
JP2014204299A (ja) | 撮像装置および撮像装置の制御方法 | |
JP6230266B2 (ja) | 撮像装置、画像処理装置、および制御方法 | |
JP5307189B2 (ja) | 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム | |
JP2013157726A (ja) | 撮像装置および撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150414 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151225 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5864992 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |