JP5911276B2 - 撮像装置およびその制御方法、画像処理装置 - Google Patents
撮像装置およびその制御方法、画像処理装置 Download PDFInfo
- Publication number
- JP5911276B2 JP5911276B2 JP2011264282A JP2011264282A JP5911276B2 JP 5911276 B2 JP5911276 B2 JP 5911276B2 JP 2011264282 A JP2011264282 A JP 2011264282A JP 2011264282 A JP2011264282 A JP 2011264282A JP 5911276 B2 JP5911276 B2 JP 5911276B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax map
- data
- parallax
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Television Signal Processing For Recording (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Description
立体映像として鑑賞可能な画像の撮影方法として、異なる視点での画像を同時に撮影する方法が、特許文献1および2に開示されている。
特許文献1が開示するように、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが1対以上配置されている固体撮像素子を用いて撮影した場合、以下のような問題がある。対をなすフォトダイオードの一方が撮像光学系の射出瞳のある領域を通過した光束を光電変換した左目用画像信号を出力し、他方が射出瞳の上記領域とは異なる領域を通過した光束を光電変換した右目用画像信号を出力する場合を想定する。この場合、被写体によっては、左目用画像、右目用画像のいずれの画像も、被写体の形状を反映した画像でないことがある。
このような場合、特許文献2に開示の技術を用いて前記第2の画像を計算により求めようと試みたとしても正しい被写体形状の画像は得られない。つまり、基の画像にて実際の被写体とは異なる形状に撮影されるので、計算により求めた前記第2の画像についても正しい画像として再生することはできないからである。
そこで、本発明の目的は、2次元表示および立体視表示で正しい被写体形状の画像を再生可能な画像ファイルを作成できる撮像装置とその制御方法を提供することである。
図1は、本発明の実施形態の撮像装置に適用する撮像素子の構成例を概略的に示す図である。撮像素子100は、画素アレイ101と、画素アレイ101における行を選択する垂直選択回路102と、画素アレイ101における列を選択する水平選択回路104を含む。読み出し回路103は、画素アレイ101中の画素のうち垂直選択回路102によって選択される画素の信号を読み出す。読み出し回路103は、信号を蓄積するメモリ、ゲインアンプ、AD変換器等を列毎に有する。
画素アレイ101は、マイクロレンズ202と、カラーフィルタ403と、PD404および405を有する。PD404、PD405は、図2(A)中のPD203、PD204にそれぞれ相当する。
射出瞳406から出る光束のうち、光軸409を境界線として、図3の上側の光束はPD405に入射し、下側の光束はPD404に入射する。つまり、PD404とPD405は、各々、撮像光学系の射出瞳の異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。
撮像光学系を構成するレンズ部501は、被写体からの光を撮像素子505に結像する。撮像素子505は、図1に示す撮像素子100に相当し、図2(B)に示す画素構成を有する。レンズ駆動装置502は、ズーム制御、フォーカス制御、絞り制御等を行う。メカニカルシャッタ503は、シャッタ駆動装置504によって制御される。撮像素子505は、レンズ部501により結像した被写体像を画像信号に変換する。撮像信号処理回路506は、撮像素子505の出力する画像信号に対して各種の処理(画素補間処理や色変換処理等)や補正を行う。タイミング発生部507は、撮像素子505や撮像信号処理回路506に必要なタイミング信号を出力する。
撮像装置のメイン電源が投入されると、制御系回路部の電源がオン状態となり、更に撮像信号処理回路506等の撮像処理系回路の電源がオン状態となる。ユーザが図示しないレリーズボタンを操作すると、システム制御部509が撮像素子505からのデータに基づいて、焦点状態検出に係る演算を行い、撮像装置から被写体までの距離を算出する。その後、レンズ駆動装置502がレンズ部501の可動レンズを駆動し、システム制御部509は、合焦状態であるか否かを判定する。
図5(B)は、図5(A)に示す構図を撮影して得られるステレオ画像を示す。画像605は左目用画像を示し、画像606は右目用画像を示す。左目用画像605には、被写体602、603、604が、それぞれ、607L、608L、609Lとして示される。右目用画像606には、被写体602、603、604が、それぞれ、607R、608R、609Rとして示される。
視差マップ生成回路514は、左目用画像605、右目用画像606における被写体像の重心間の中点から、左目用画像605における被写体像の重心までの位置ずれ量を視差量として算出する。言い換えると、視差マップ生成回路514は、左目用画像605と右目用画像606とに基づいて生成された合成画像における被写体像の重心の位置を基準とした、左目用画像における当該被写体の重心の位置ずれ量を視差量として算出する。算出される視差量は、左目用画像に対応する視差量である。もちろん、視差マップ生成回路514が、合成画像における被写体像の重心の位置を基準とした、右目用画像における当該被写体像の重心の位置ずれ量を、右目用画像に対応する視差量として算出してもよい。
システム制御部509は、メモリ部508から合成画像データと視差マップデータを読み出す。システム制御部509は、視差マップデータが示す視差量の基準となる画像の位置が、合成画像における被写体像の重心であることを確認する。そして、システム制御部509は、合成画像における被写体像を当該視差マップデータが示す視差量の分だけシフトさせることによって、再生対象の左目用画像すなわち視差量に対応する画像の再生用データを生成する。
参考文献1:特許第3524147号公報
次に、本発明の第1実施形態における画像データのファイル構造について図7を参照して説明する。
図7は、視差マップを含む、DCF規格に準拠した画像ファイルを作成した場合の構造例を示す。なお、DCF(Design rule for Camera
File system)とは、デジタルカメラにおいて画像データを共通の仕様で扱うための画像ファイル形式である。画像ファイル6000は、DCFヘッダ部6003、サムネイル画像部6004、JPEG画像部6005、視差マップ部6006で構成されている。JPEGは、“Joint Photographic Experts Group”の略号である。
・メタデータA(6007):JPEG画像部6005に格納される画像データに関連する撮影情報やパラメータ等。
・オフセット値B(6008):サムネイル画像部6004の先頭位置までのオフセットデータ。
・オフセット値C(6009):JPEG画像部6005の先頭位置までのオフセットデータ。
・オフセット値D(6010):視差マップ部6006の先頭位置までのオフセットデータ。
オフセット値B、C、DはDCFヘッダ部6003の基準位置から算出される各画像部までの相対位置情報であり、これらの値により画像ファイル内における各画像データの開始位置が特定される。
視差マップ部6006は、JPEG画像部6005の画像データに係る視差量を格納する領域である。視差量は前記の方法により算出される。
まず、S6201にて撮像信号処理回路506は、撮像素子505から出力されるRAWデータを取得する。画像合成回路513は取得したRAWデータを用いて合成画像データを生成する(S6202)。生成された合成画像データはメモリ部508に記憶される。
S6203は視差マップの作成が必要か否かの判定処理である。例えばユーザ操作に従って3D撮影を行った場合、視差マップが必要になるが、2D撮影を行った場合、視差マップは不要である。ここでは、視差マップを生成する場合から説明する。
まずS6201で取得したRAWデータから画像合成回路513は左目用画像データを生成し(S6301)、さらに右目用画像データを生成する(S6302)。なお、左目用画像データおよび右目用画像データの生成順序はこの逆でもよい。
生成された各画像データに対して、JPEG画像のサイズに合わせたリサイズ処理が行われる(S6303)。次に、リサイズ処理された左目用画像データと右目用画像データから視差マップ生成回路514が視差マップデータを生成する(S6304)。生成された視差マップデータはメモリ部508に記憶される。なお、リサイズ処理を行っていない左目用画像および右目用画像のデータから視差マップのデータを生成し、その後でリサイズ処理を行ってもよい。
S6201とS6202の処理にてメモリ部508には合成画像データが格納される。S6203での判定後、合成画像データを用いてサムネイル画像データが生成され(S6205)、JPEG画像データが生成される(S6206)。視差マップの生成処理を省略することで、メモリ部508を無駄に使用しないで済む。
本実施形態では、画像ファイルを記録媒体511に書き込む記録処理について説明したが、これに限らず、コンピュータ機器やプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合う場合でも前記と同様の処理が行われる。
次に、本発明の第2実施形態を説明する。
以下、図11を参照して、サムネイル画像用の視差マップを生成した場合の画像ファイルの構造と生成処理について説明する。
DCF画像データ部7001は、DCFヘッダ部7003、サムネイル画像部7004、JPEG画像部7005を含む。DCFヘッダ部7003はDCFヘッダ情報を格納する領域であり、予め所定のデータサイズが与えられている。DCFヘッダ情報は、撮影情報やパラメータ等のメタデータA(7008参照)を含む。この他、サムネイル画像部7004の先頭位置までのオフセット値B(7009参照)と、JPEG画像部7005の先頭位置までのオフセット値C(7010参照)が含まれる。オフセット値D(7011参照)は、サムネイル画像用視差マップ部7006の先頭位置までのオフセットを示す。オフセット値E(7012参照)は、JPEG画像用視差マップ部7007の先頭位置までのオフセットデータを示す。これらのオフセット値B、C、D、Eにより、画像ファイル内における各画像データの開始位置が特定される。なお、オフセット値の配置順序は例示であって、他の順序でも構わない。
図11のように、サムネイル画像用視差マップをJPEG画像用視差マップとともに画像ファイルの後方に配置することで、視差マップを使用しない場合の画像再生や視差マップの削除等の編集において利便性が向上する。
まず、図9のS6201およびS6202の処理にてメモリ部508に合成画像データが格納される。画像合成回路513は、左目用画像データを生成し(図12のS7101)、右目用画像データを生成する(S7102)。生成された各画像データに対して、設定されたJPEG画像のサイズに合わせてリサイズ処理が実行される(S7103)。JPEG画像用にリサイズ処理された右目用画像データと左目用画像データから、視差マップ生成回路514はJPEG画像用の視差マップを生成する(S7104)。
次に、本発明の第3実施形態を説明する。
図13はRAW画像データを含む画像ファイルを作成した場合のファイル構造を例示する。
・オフセット値B(8011参照):サムネイル画像部8004の先頭位置までのオフセットデータを示す。
・オフセット値C(8012参照):表示用JPEG画像部8005の先頭位置までのオフセットデータを示す。
・オフセット値D(8013参照):RAW画像部8006の先頭位置までのオフセットデータを示す。
・オフセット値E(8014参照):サムネイル画像用視差マップ部8007の先頭位置までのオフセットデータを示す。
・オフセット値F(8015参照):表示JPEG画像用視差マップ部8008の先頭位置までのオフセットデータを示す。
・オフセット値G(8016参照):RAW画像用視差マップ部8009の先頭位置までのオフセットデータを示す。
オフセット値BないしGにより画像ファイル内における各画像データの開始位置が特定される。
・複数のPDで得たデータを各画素内で加算平均したRAW画像データ(以下、加算RAW画像データという)
・選択処理や合成処理を行わずに、画素内の各PDで得たデータをそのまま使用したRAW画像データ(以下、非加算RAW画像データという)。
まず、図9のS6201およびS6202の処理においてメモリ部508には合成画像データが格納される。画像合成回路513は、左目用画像データを生成し(S8101)、右目用画像データを生成する(S8102)。次にシステム制御部509は、RAW画像データが非加算RAW画像データであるか、または加算RAW画像データであるかを判定し、RAW画像用視差マップを作成する必要性の有無を判定する(S8103)。RAW画像データが非加算RAW画像データであるか、または加算RAW画像データであるかの判定については、ユーザが設定したモード等から判定する方法や、メディア容量や画像サイズ等から自動で判定する方法がある。加算RAW画像データの場合、S8014に進む。S8101やS8102で生成した左目用画像データと右目用画像データから、視差マップ生成回路514はRAW画像用視差マップデータを生成する(S8104)。次に、S8101、S8102で生成した左目用画像データと右目用画像データは、それぞれJPEG画像用にリサイズ処理され(S8105)、表示用JPEG画像の視差マップデータが生成される(S8106)。さらに、S8101およびS8102で生成した左目用画像データと右目用画像データは、それぞれサムネイル画像用にリサイズ処理され(S8107)、サムネイル画像用の視差マップデータが生成される(S8108)。
第1実施形態のDCFヘッダ部と同様に、DCFヘッダ部8003には、撮影情報、パラメータ等のメタデータA(図13の8010参照)として、シャッタースピードや露光時間等の撮影情報が設定される。またデータサイズに基づいて前記オフセット値BからGが設定され、DCFヘッダ部8003のヘッダ情報が生成される。こうして、DCFヘッダ部8003内にはRAW画像データ用の視差マップの存在の有無及び場所を示す情報(オフセットG)が格納されることになる。オフセット8016の示すオフセット値Gとして所定値(例えば、“0”)が設定されている場合、RAW画像用視差マップのデータが画像ファイル8000には格納されていないことを意味する。あるいは、オフセット8016自体がDCFヘッダ部8003に存在しない場合、RAW画像用視差マップデータは画像ファイル8000に格納されていないことが分かる。オフセット値Gに正当な値が与えられていれば、RAW画像用視差マップデータが画像ファイル8000内に格納されていることが判明し、その格納場所はオフセット値Gから特定できる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
506 撮像信号処理回路
509 システム制御部
510 記録媒体制御I/F部
511 記録媒体
513 画像合成回路
514 視差マップ生成回路
Claims (9)
- 撮像光学系の異なる瞳領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部と、
前記複数の光電変換部より出力される複数の画像信号のうち、異なる瞳領域を通過した光束に対応する信号を合成して画像加工前の合成画像信号を生成する画像生成手段と、
前記撮像光学系の瞳領域の対となる領域に対応する信号から生成される画像信号に基づいて、視差マップデータを生成する視差マップ生成手段と、
前記合成画像信号および前記視差マップデータを含む画像ファイルを生成し、記録媒体に記録する記録手段と、を有することを特徴とする撮像装置。 - 前記記録手段は、前記合成画像信号のJPEG画像を前記画像ファイルに含んで記録することを特徴とする請求項1に記載の撮像装置。
- 前記画像ファイルはDCF形式で記録されることを特徴とする請求項1または2に記載の撮像装置。
- 前記記録手段は、前記合成画像信号をリサイズして生成される縮小画像信号と、前記縮小画像信号に対応して前記視差マップデータがリサイズされた縮小視差マップデータを合わせて前記画像ファイルに記録させることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
- 複数のマイクロレンズを有し、
前記複数のマイクロレンズは、各マイクロレンズがそれぞれ複数の前記光電変換部に対応することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 - 前記視差マップデータとは、前記撮像光学系の異なる瞳領域を通過した光束に対応する画像信号間の領域ごとの視差量を示すデータであることを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
- 前記記録手段は、前記合成画像信号及び前記撮像光学系の異なる瞳領域のいずれかを通過した光束に対応する画像信号を含む画像ファイルを生成し、前記記録媒体に記録することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
- 撮像光学系の異なる瞳領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部からの画像信号と、前記複数の画像信号のうち、異なる瞳領域を通過した光束に対応する信号を合成した画像加工前の合成画像信号を取得する取得手段と、
前記複数の画像信号のうち、前記撮像光学系の瞳領域の対となる領域に対応する画像信号に基づいて、視差マップデータを生成する視差マップ生成手段と、
前記合成画像信号および前記視差マップデータを含む画像ファイルを生成し、記録媒体に記録する記録手段と、を有することを特徴とする画像処理装置。 - 撮像光学系の異なる瞳領域をそれぞれ通過した光束を光電変換して複数の画像信号を出力する複数の光電変換部が画像信号を出力する出力ステップと、
前記出力ステップにて出力される画像信号のうち、異なる瞳領域を通過した光束に対応する信号を合成して画像加工前の合成画像信号を生成する生成ステップと、
前記撮像光学系の瞳領域の対となる領域に対応する信号から生成される画像信号に基づいて、視差マップデータを生成する視差マップ生成ステップと、
前記合成画像信号および前記視差マップデータを含む画像ファイルを生成し、記録媒体に記録する記録ステップと、を有することを特徴とする撮像装置の制御方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011264282A JP5911276B2 (ja) | 2011-12-02 | 2011-12-02 | 撮像装置およびその制御方法、画像処理装置 |
US13/615,996 US9521395B2 (en) | 2011-10-04 | 2012-09-14 | Imaging apparatus and method for controlling same |
CN201210381242.0A CN103037235B (zh) | 2011-10-04 | 2012-10-08 | 摄像装置及其控制方法 |
US15/337,651 US9924155B2 (en) | 2011-10-04 | 2016-10-28 | Imaging apparatus and method for controlling same |
US15/899,901 US10587860B2 (en) | 2011-10-04 | 2018-02-20 | Imaging apparatus and method for controlling same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011264282A JP5911276B2 (ja) | 2011-12-02 | 2011-12-02 | 撮像装置およびその制御方法、画像処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016068031A Division JP2016154360A (ja) | 2016-03-30 | 2016-03-30 | 撮像装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013118464A JP2013118464A (ja) | 2013-06-13 |
JP5911276B2 true JP5911276B2 (ja) | 2016-04-27 |
Family
ID=48712748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011264282A Active JP5911276B2 (ja) | 2011-10-04 | 2011-12-02 | 撮像装置およびその制御方法、画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5911276B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6618271B2 (ja) * | 2015-05-01 | 2019-12-11 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4457316B2 (ja) * | 2006-12-01 | 2010-04-28 | 富士フイルム株式会社 | 画像再生装置及び方法 |
JP4717853B2 (ja) * | 2007-03-30 | 2011-07-06 | 富士フイルム株式会社 | ファイル生成方法および装置並びに立体画像の表示制御方法および装置 |
JP4809294B2 (ja) * | 2007-06-11 | 2011-11-09 | 富士フイルム株式会社 | 画像記録装置及び画像記録方法 |
JP2008310187A (ja) * | 2007-06-15 | 2008-12-25 | Fujifilm Corp | 画像処理装置及び画像処理方法 |
WO2011118089A1 (ja) * | 2010-03-24 | 2011-09-29 | 富士フイルム株式会社 | 立体撮像装置 |
-
2011
- 2011-12-02 JP JP2011264282A patent/JP5911276B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013118464A (ja) | 2013-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10587860B2 (en) | Imaging apparatus and method for controlling same | |
JP5096048B2 (ja) | 撮像装置、立体画像再生装置及び立体画像再生プログラム | |
CN103797415B (zh) | 摄像设备及其控制方法 | |
JP6053276B2 (ja) | 撮像装置およびその制御方法、画像処理装置 | |
JP5864992B2 (ja) | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 | |
JP5924943B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP5911276B2 (ja) | 撮像装置およびその制御方法、画像処理装置 | |
JP6004741B2 (ja) | 画像処理装置およびその制御方法、撮像装置 | |
JP2014022888A (ja) | 撮像装置および撮像装置の制御方法 | |
JP5001960B2 (ja) | 3次元画像表示装置及び方法 | |
JP6366793B2 (ja) | 画像処理装置およびその制御方法、撮像装置 | |
JP6626257B2 (ja) | 画像表示装置、撮像装置、画像表示方法、プログラム、記憶媒体 | |
JP6177305B2 (ja) | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 | |
JP6433474B2 (ja) | 撮像装置およびその制御方法 | |
JP2016154360A (ja) | 撮像装置およびその制御方法 | |
JP6172949B2 (ja) | 撮像装置、撮像装置の制御方法、画像処理装置および画像処理装置の制御方法 | |
JP2014090252A (ja) | 画像処理装置およびその制御方法、撮像装置およびその制御方法、並びに画像処理プログラム | |
JP6230266B2 (ja) | 撮像装置、画像処理装置、および制御方法 | |
JP2014204299A (ja) | 撮像装置および撮像装置の制御方法 | |
JP2017126916A (ja) | 撮像装置 | |
JP2013157726A (ja) | 撮像装置および撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160329 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5911276 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |