JP6230266B2 - Imaging apparatus, image processing apparatus, and control method - Google Patents
Imaging apparatus, image processing apparatus, and control method Download PDFInfo
- Publication number
- JP6230266B2 JP6230266B2 JP2013106081A JP2013106081A JP6230266B2 JP 6230266 B2 JP6230266 B2 JP 6230266B2 JP 2013106081 A JP2013106081 A JP 2013106081A JP 2013106081 A JP2013106081 A JP 2013106081A JP 6230266 B2 JP6230266 B2 JP 6230266B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- aspect ratio
- subject
- parallax amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、立体映像処理が可能な撮像装置、画像処理装置、および制御方法に関する。
The present invention relates to an imaging apparatus , an image processing apparatus, and a control method that can perform stereoscopic video processing.
近年、3次元(3D)シネマや3Dディスプレイ等、立体映像関連機器の普及が急速に進んでいる。立体映像撮影は従来からフィルム式カメラ等でも行われてきたが、デジタル撮像装置の普及に伴い、デジタルカメラやデジタルビデオカメラ等により立体映像を生成するための元画像が撮影されるようになってきている。 In recent years, three-dimensional (3D) cinema, 3D display, and other 3D video related devices are rapidly spreading. Although stereoscopic video shooting has been conventionally performed with a film camera or the like, with the widespread use of digital imaging devices, original images for generating stereoscopic video with a digital camera, a digital video camera, and the like have been captured. ing.
立体映像をユーザが鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、左目用画像データと右目用画像データが用意される。各画像をユーザが左目と右目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式等のように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法等が知られている。 As a mechanism for a user to view a stereoscopic video, left-eye image data and right-eye image data that have a parallax in the left-right direction so as to correspond to an image viewed from the left eye and an image viewed from the right eye are provided. Prepared. A user can view each image stereoscopically by viewing the image with the left eye and the right eye. As such a method, there is a method of dividing an image to be viewed, such as a parallax barrier method or a lenticular method, into a parallax. There is also known a method for presenting different images to the left and right eyes of the user through filters having different characteristics on the left and right.
一方、立体映像として鑑賞可能な画像の撮影方法として、異なる視点での画像を同時に撮影する方法が、特許文献1および2に開示されている。特許文献1は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが1対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第1の画像信号が得られ、他方のフォトダイオードの出力から第2の画像信号が得られる。第1及び第2の画像信号に基づく左目用画像、右目用画像をそれぞれ用いることで、ユーザは立体映像の鑑賞が可能となる。 On the other hand, Patent Documents 1 and 2 disclose a method for simultaneously capturing images from different viewpoints as a method for capturing an image that can be viewed as a stereoscopic video. Patent Document 1 discloses a solid-state imaging device in which a plurality of microlenses are formed, and one or more pairs of photodiodes are arranged in proximity to each of the microlenses. A first image signal is obtained from the output of one of the photodiode pairs, and a second image signal is obtained from the output of the other photodiode. By using the left-eye image and the right-eye image based on the first and second image signals, the user can view a stereoscopic video.
また、特許文献2は、第1の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを開示する。この出力視差マップと第1の画像とに基づいて、第2の画像を生成することができる。 Patent Document 2 discloses an output parallax map having an output element having an output value corresponding to a shift to be applied to each pixel of the first image. A second image can be generated based on the output parallax map and the first image.
立体映像を鑑賞するには、ユーザが左目で鑑賞するための左目用画像と、右目で鑑賞するための右目用画像を用意する必要がある。一方、撮影画像の縦横比、すなわちアスペクト比を選択可能なデジタルカメラでは、アスペクト比に応じて、撮像後の画像処理の手前でトリミング加工を施す方法や、画像処理後の記録画像に対してトリミング加工を施す方法がある。 In order to view a stereoscopic image, it is necessary to prepare a left-eye image for a user to view with a left eye and a right-eye image for a user to view with a right eye. On the other hand, for digital cameras that can select the aspect ratio of the shot image, that is, the aspect ratio, trimming can be performed on the recorded image after image processing, or by performing a trimming process before image processing after imaging according to the aspect ratio. There is a method of processing.
立体視表示が可能な映像を出力できるカメラにおいて、アスペクト比を複数設定できる機能を備える場合、設定されたアスペクト比によっては、表示画像の立体感が得られなくなる場合が生じ得る。以下、その理由について図9を参照して説明する。 When a camera capable of outputting an image capable of stereoscopic display has a function of setting a plurality of aspect ratios, the stereoscopic effect of the display image may not be obtained depending on the set aspect ratio. Hereinafter, the reason will be described with reference to FIG.
図9は撮影画像を模式的に示す図であり、カメラからの距離が異なる3つの被写体を例示する。図9(C)の矢印Zは奥行き方向を表し、被写体1105はカメラから最も遠い被写体を表す。被写体1107はカメラに最も近い被写体を表し、被写体1106は、被写体1105と1107との間の距離に位置する被写体を表す。被写体1107が最も右に位置し、被写体1105が最も左に位置する。
FIG. 9 is a diagram schematically showing a photographed image, and illustrates three subjects with different distances from the camera. The arrow Z in FIG. 9C represents the depth direction, and the
図9(A)は、アスペクト比を、例えば3:2に設定して画像枠1103a内で被写体を撮影した構図を例示する。画像枠1103a内にて、各被写体像には被写体1105、1106、1107と同じ符号を使用しており、上から符号の順に並んでいる。図9(B)は、アスペクト比を、例えば1:1に設定して画像枠1103b内で被写体を撮影した構図を例示する。つまり、画像枠1103aに対して、上下方向の線1101および線1102の内側の画像だけが撮影されるので、画像枠1103bは、画像枠1103aに比べて左右方向の撮影範囲が狭い。よって、画像枠1103aに写っている被写体1107の画像は、画像枠1103bから削除される。画像枠1103aの場合と同様の立体画像処理により、画像枠1103bの構図について処理を行った場合、被写体1107が画角から外れてしまう。このため、被写体1105および1106についての奥行き量が計算され、画像枠1103aの場合に比べて十分な立体感が得られなくなる可能性がある。
FIG. 9A illustrates a composition in which the subject is photographed within the
そこで、本発明の目的は、アスペクト比の設定に応じて視差補正を行うことで立体感を損なわない画像処理を行う装置およびその制御方法を提供することである。
An object of the present invention is to provide an image processing line USo location and a control method which does not impair the stereoscopic effect by performing parallax correction in accordance with the setting of the aspect ratio.
上記課題を解決するために、本発明の一実施形態に係る装置は、複数の光電変換部の出力信号から異なる視点の画像信号を取得する取得手段と、前記異なる視点の画像信号を合成して合成画像データを生成する画像処理手段と、前記異なる視点の画像信号から被写体の視差量を算出する視差量算出手段と、撮影した画像に係る第1アスペクト比から、画像の記録又は再生に係る第2アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正手段を備える。前記視差補正手段は、前記第1アスペクト比および前記第2アスペクト比から決定される補正パラメータにより前記視差量を補正する際、前記第1アスペクト比での画像のうち、前記第2アスペクト比への変更により前記画像枠から除外される画像範囲が大きいほど、前記視差量を大きくする。
In order to solve the above-mentioned problem, an apparatus according to an embodiment of the present invention combines an acquisition unit that acquires image signals of different viewpoints from output signals of a plurality of photoelectric conversion units, and an image signal of the different viewpoints. An image processing unit that generates composite image data, a parallax amount calculating unit that calculates a parallax amount of the subject from the image signals of different viewpoints, and a first aspect ratio related to the captured image, are used for recording or reproducing an image. When there is an image range that is excluded from the image frame due to the change to the two aspect ratio, a parallax correction unit that corrects the parallax amount of the subject in the images of different viewpoints is provided. When the parallax correction unit corrects the parallax amount by a correction parameter determined from the first aspect ratio and the second aspect ratio, the parallax correction unit converts the parallax correction unit to the second aspect ratio among the images having the first aspect ratio. The larger the image range excluded from the image frame due to the change, the larger the parallax amount.
本発明によれば、アスペクト比の設定に応じて視差補正を行うことにより、立体感を損なわない画像処理を行える。 According to the present invention, by performing parallax correction in accordance with the setting of the aspect ratio, it is possible to perform image processing that does not impair the stereoscopic effect.
以下に、本発明の実施形態を、添付図面に基づいて詳細に説明する。 Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
図1は、本実施形態の撮像装置で使用する撮像素子の構成例を概略的に示す図である。撮像素子100は、画素アレイ101と、画素アレイ101における行を選択する垂直選択回路102と、画素アレイ101における列を選択する水平選択回路104を含む。読み出し回路103は、画素アレイ101中の画素のうち垂直選択回路102によって選択される画素の信号を読み出す。読み出し回路103は、信号を蓄積するメモリ、ゲインアンプ、AD変換器等を列毎に有する。
FIG. 1 is a diagram schematically illustrating a configuration example of an imaging element used in the imaging apparatus of the present embodiment. The
シリアルインターフェース(SI)部105は、各回路の動作モード等を外部回路からの指示に従って決定する。垂直選択回路102は、画素アレイ101の複数の行を順次選択し、読み出し回路103に画素信号を取り出す。また水平選択回路104は、読み出し回路103によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子100には、図1に示す構成要素以外に、例えば、垂直選択回路102、水平選択回路104、読み出し回路103等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。
The serial interface (SI)
図2は撮像素子100の画素の構成例を示す図である。図2(A)は1画素の構成を概略的に示す。図2(B)は画素アレイ101の配置を示す。図2(A)に示す画素201は、光学素子としてのマイクロレンズ202と、受光素子としての複数のフォトダイオード(以下、PDと略記する)とを有する。
FIG. 2 is a diagram illustrating a configuration example of pixels of the
図2(A)には、1画素に左側のPD203と右側のPD204の2個を設けた例を示すが、3個以上(例えば、4個または9個)のPDを用いてもよい。PD203は、受光した光束を光電変換して左目用画像の信号を出力する。PD204は、受光した光束を光電変換して右目用画像の信号を出力する。なお、画素201は、図示の構成要素以外にも、例えば、PD信号を読み出し回路103に取り出す画素増幅アンプや、行選択スイッチ、PD信号のリセットスイッチ等を備える。
FIG. 2A illustrates an example in which two pixels, the
画素アレイ101は、2次元画像を提供するため、図2(B)に示す多数の画素301から304のように、2次元アレイ状に配列して構成される。画素301から304にて、PD301L、302L、303L、304Lは、図2(A)中のPD203に相当する。また、PD301R、302R、303R、304Rは、図2(A)中のPD204に相当する。すなわち、各画素において、左目用画像データを出力する第1の光電変換部(PD203)と、右目用画像データを出力する第2の光電変換部(PD204)とを有する。
In order to provide a two-dimensional image, the
次に、図2(B)に示す画素構成を有する撮像素子100の受光について説明する。図3は撮影レンズの射出瞳から出た光束が撮像素子100に入射する様子を表した概念図である。
Next, light reception of the
画素アレイ101は、マイクロレンズ202と、カラーフィルタ403と、PD404および405を有する。PD404、PD405は、図2(A)中のPD203、PD204にそれぞれ相当する。
The
図3において、各マイクロレンズ202に対して、撮影レンズの射出瞳406から出た光束の中心を光軸409とする。射出瞳406から出た光は、光軸409を中心として撮像素子100に入射する。一部領域407、408は、撮影レンズの射出瞳406の領域である。光線410、411は、一部領域407を通過する光の最外周の光線である。光線412、413は、一部領域408を通過する光の最外周の光線である。
In FIG. 3, the center of the light beam emitted from the
射出瞳406から出る光束のうち、光軸409を境界線として、図3の上側の光束はPD405に入射し、下側の光束はPD404に入射する。つまり、PD404とPD405は、撮影光学系の射出瞳の異なる領域からの光束をそれぞれ受光する。
Among the light beams emitted from the
図4は、本実施形態の撮像装置の構成例を示す図である。以下、図4を参照してデジタルカメラへの適用例について説明する。撮像光学系を構成するレンズ部501は、被写体からの光を撮像素子505に結像する。撮像素子505は、図1に示す撮像素子100に相当し、図2(B)に示す画素構成を有する。
FIG. 4 is a diagram illustrating a configuration example of the imaging apparatus according to the present embodiment. Hereinafter, an application example to a digital camera will be described with reference to FIG. The
レンズ駆動装置502は、ズーム制御、フォーカス制御、絞り制御等を行う。メカニカルシャッタ503は、シャッタ駆動装置504によって制御される。撮像素子505は、レンズ部501により結像した被写体像を画像信号に変換する。撮像信号処理回路506は、撮像素子505の出力する画像信号に対して各種の処理や補正、データ圧縮等を行う。タイミング発生部507は、撮像素子505や撮像信号処理回路506に必要なタイミング信号を出力する。
The
システム制御部509は各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のCPU(中央演算処理装置)がプログラムを実行することで処理を行う。システム制御部509は、画像合成回路513によって生成される合成画像と、視差マップ生成回路514によって生成される視差マップとに基づいて、立体視表示に使用する左目用画像と右目用画像の各データを生成する。また、システム制御部509は、左目用画像と右目用画像の再生制御を行うことで、ユーザは表示画面上で立体画像を鑑賞できる。なお、システム制御部509は、左目用画像データと右目用画像データに基づいて位相差を検出して、位相差AF(オートフォーカス)を実現することもできる。
A
記憶部508は、画像データを一時的に記憶するメモリを備える。記録媒体制御インターフェース部(以下、I/F部と略記する)510は、記録媒体511に画像データ等を記録し、または読み出すために設けられる。撮像装置に着脱可能な記録媒体511は、半導体メモリ等である。外部I/F部512は、外部装置との間でデータを送受する。表示部518は、表示制御回路517からの表示用データに従って、各種情報や撮影画像を表示する。
The
撮像信号処理回路506は、撮像素子505が出力する撮像データを左目用画像データと右目用画像データに振り分けて画像処理を行う。記憶部508は、撮像信号処理回路506の出力データ、画像合成回路513によって生成された合成画像データ、視差マップ生成回路514によって生成された視差マップデータを記憶する。
The imaging
画像合成回路513は、左目用画像と右目用画像とを合成し、合成画像データを生成する。視差マップ生成回路514は視差量算出処理を行う。視差マップ生成回路514は、合成画像での被写体像の位置を基準として左目用画像/右目用画像での被写体像の位置ずれ量を視差量として算出する。算出した視差量に関する情報は視差マップデータとして記憶部508に記憶される。視差補正回路515は、視差マップ生成回路514で算出した視差量と補正パラメータを用いて視差量を補正する。視差量の補正処理の詳細については後述する。測光装置516は、露出制御に用いる測光値を取得してシステム制御部509に出力する。
The
次に、本実施形態における撮影時のデジタルカメラの動作について図8を参照して説明する。
メイン電源が投入されると、制御系回路部の電源がオン状態となる。更に撮像信号処理回路506等の撮像処理系回路の電源がオン状態となり、カメラシステムがスタンバイ状態となる(S1301)。システム制御部509は、ユーザが図示しないレリーズボタンを操作したか否かを判定する(S1302)。撮影動作を開始させる操作指示があった場合、S1303に進み、当該操作指示がない場合、S1302の判定処理が繰り返される。
Next, the operation of the digital camera at the time of shooting in this embodiment will be described with reference to FIG.
When the main power supply is turned on, the power supply of the control system circuit unit is turned on. Further, the power of the imaging processing system circuit such as the imaging
システム制御部509は、撮像素子505からの出力データに基づいて焦点状態検出および焦点調節動作に係る演算処理を行う(S1303)。この演算処理では、カメラから被写体までの距離に応じた合焦位置等が算出され、フォーカスレンズの駆動量が算出される。システム制御部509は、演算結果に従ってレンズ駆動装置502を介してレンズ部501の駆動制御を行う。次に、S1303の演算処理が終了したか否かについて判定され(S1304)、処理が終了した場合、撮影動作が開始し、S1305に進む。また、S1303の演算処理が終了していない場合、S1304の判定処理が繰り返されて待ち処理となる。
The
S1305で撮影動作が終了すると、撮像信号処理回路506は、撮像素子505が出力した画像信号に画像処理を施す。システム制御部509はステレオ画像(左目用画像と右目用画像)のデータを取得して、記憶部508に書き込む制御を行う。S1306にてシステム制御部509はステレオ画像のデータ取得が終了したか否かを判定し、データ取得が終了した場合、S1307に処理を進め、データ取得が未終了の場合、S1306の判定処理が繰り返される。S1307にてシステム制御部509は、S1303での演算結果に基づいてカメラから被写体までの距離(被写体距離)を算出する。次のS1308でシステム制御部509は、S1307で算出した被写体距離と、撮影レンズの焦点距離等の情報を用いて撮影時の画角を求め、画角に応じた補正パラメータを算出する。補正パラメータの算出方法については後述する。
When the photographing operation is finished in step S1305, the imaging
次に、視差マップ生成回路514は視差量の検出、および視差マップの生成処理を行う(S1309)。視差マップ生成回路514が検出した視差量と前記補正パラメータにより、視差補正回路515は、左目用画像と右目用画像の各々に対して、視差量補正を行う(S1310)。これにより、視差マップデータが修正される(S1311)。次のS1312でシステム制御部509は撮影終了について判定し、撮影終了の指示があった場合、S1313に処理を進め、また撮影動作を続行する場合、S1312の判定処理が繰り返される。S1313でシステム制御部509は、撮像装置への電源供給を停止し、必要な情報を記憶部508に保存するシャットダウン処理を実行する。
Next, the parallax
次に、本実施形態における画像処理について説明する。
撮像素子505は、PDからの全ての画像信号を出力する。図2(B)に示す例では、各PD、つまり301L、301R、302L、302R、303L、303R、304L、304Rという具合に、画像信号が順番に出力される。撮像信号処理回路506は、撮像素子505の出力信号から画像データを取得し、左目用画像データと右目用画像データへのデータ分離処理を行う。左目用画像のデータは、図2(B)におけるPD301L、302L、303L、304Lの出力(左PD出力)のみを選択的に処理した画像データである。また、右目用画像データは、図2(B)におけるPD301R、302R、303R、304Rの出力(右PD出力)のみを選択的に処理した画像データである。左目用画像データと右目用画像データは別々に記憶部508に保持される。
Next, image processing in this embodiment will be described.
The
記憶部508に記憶された左目用画像データおよび右目用画像データは、画像合成回路513に送られて合成画像データが生成される。生成された合成画像データは記憶部508に保存される。画像合成回路513が実行する画像処理は、左目用画像データと右目用画像データに対して画素毎の加算平均値を求める処理である。撮像素子505から読み出した画像データにて、左目用画像と右目用画像とで被写体の形状が異なって撮影された場合でも、画像合成処理によって被写体の形状が補間されて、正しい形状の画像データが生成される。
The left-eye image data and right-eye image data stored in the
次に、視差マップ生成回路514は左目用画像データと右目用画像データを用いて、視差マップを生成する。求められた視差マップデータは記憶部508に保存される。視差マップに保存される情報について、図5を用いて説明する。
Next, the parallax
図5は撮影画像を模式的に示す図である。図5(A)は、画像枠601内にて、カメラからの距離が異なる3つの被写体602、603、604を撮影した画像を示す。各被写体と相似の小図形は、顔位置等に相当するそれぞれの特徴点を例示する。図5(C)の矢印Zは奥行き方向を表し、被写体602はカメラから最も遠い被写体を表す。被写体604はカメラに最も近い被写体を表し、被写体603は、被写体602と604との間の距離に位置する被写体を表す。
FIG. 5 is a diagram schematically showing a captured image. FIG. 5A shows images obtained by photographing three
図5(B)は、図5(A)の画像枠601で示す構図を撮影した場合に得られるステレオ画像を、画像枠605、606にそれぞれ示す。画像枠605内の画像は左目用画像であり、画像枠606内の画像は右目用画像である。画像枠605内の左目用画像には、各被写体602、603、604に各々相当する像607L、608L、609Lが写っている。また画像枠606内の右目用画像には、各被写体602、603、604に各々相当する像607R、608R、609Rが写っている。図中の一点鎖線は、画像枠605、606における被写体像の位置関係を表しており、左目用画像と右目用画像での被写体像のシフト量を視差量と定義する。視差量610は、被写体602に関する、左目用画像と右目用画像での位置ずれ量、つまり像607Lと607Rの視差を表す。同様に視差量611は被写体604に関し、像609Lと609Rの位置ずれ量を表す。なお、被写体603については、左目用画像と右目用画像との間で、視差量がゼロの状態を示している。
FIG. 5B shows stereo images obtained when the composition shown by the
視差マップ生成回路514は視差量を求める際、画像枠605内の左目用画像と画像枠606内の右目用画像に含まれる被写体像の位置を検出し、被写体像同士のシフト量を求めることで視差量を算出する。具体的には、視差マップ生成回路514に左目用画像データと右目用画像データが入力された場合、視差量610と611が算出される。そして、合成画像における被写体像の重心、つまり左目用画像での重心と右目用画像での重心との中点を基準として、左目用画像または右目用画像での被写体像の重心までの距離が演算により求められる。視差量610の半分の量612を示すデータと、視差量611の半分の量613を示すデータが、視差マップの情報として記憶部508に保存される。
図5(B)に示す視差量610は、カメラから最も遠い被写体の立体映像を表示させた場合の、見かけ上の奥行き量に対応する。また、視差量611は、カメラから最も近い被写体の立体映像を表示させた場合の、見かけ上の飛び出し量に対応する。つまり、左目用画像と右目用画像との視差量は、被写体を右目と左目で見た場合の視差を表しており、見かけ上の奥行き量や飛び出し量を決定する。
When obtaining the parallax amount, the parallax
A
図6を参照して、左目用画像および右目用画像がステレオ表示装置に表示された場合に、観察者に立体感を与える、一般的な視覚効果について説明する。
図6はステレオ表示装置での鑑賞時の様子を模式的に示し、ステレオ表示装置と観察者を上から俯瞰した図である。観察者902は、ステレオ表示装置のスクリーン面901を観察し、その左目903Lと右目903Rの位置をそれぞれに示す。スクリーン面901に映し出される各被写体像が、右目903Lと右目903Rに投影される様子を点線で模式的に示す。
With reference to FIG. 6, a general visual effect that gives a viewer a stereoscopic effect when a left-eye image and a right-eye image are displayed on a stereo display device will be described.
FIG. 6 schematically shows a state of viewing on a stereo display device, and is a view of the stereo display device and an observer viewed from above. The
スクリーン面901には、左目用画像、右目用画像が表示されて、観察者の左目903L、右目903Rのみに各々投影される。図6では、異なる被写体像の特徴点904LおよびR、905LおよびR、906LおよびRをそれぞれ例示し、これらは観察者の注視点に対応している。つまり、左目用画像における被写体の特徴点904L、905L、906Lの映像は左目903Lに投影され、右目用画像における被写体の特徴点904R、905R、906Rの映像は右目903Rに投影される。観察者には、左目用画像での特徴点904Lと右目用画像での特徴点904Rに対応する被写体像の位置904が、スクリーン面901よりも奥に見える。また、観察者には、左目用画像での特徴点905Lと右目用画像での特徴点905Rに対応する被写体像の位置905が、スクリーン面901上に見える。さらに、観察者には、左目用画像での特徴点906Lと右目用画像での特徴点906Rに対応する被写体像の位置906が、スクリーン面901よりも手前に飛び出して見える。これらの被写体像の奥行き量や飛び出し量は、左目用画像と右目用画像における被写体像の視差量に依存する。
A left-eye image and a right-eye image are displayed on the
次に、アスペクト比の設定情報に応じた視差補正処理について説明する。なお、画像の記録時または再生時におけるアスペクト比の設定については、システム制御部509が画角や構図等に応じて自動的に設定するか、またはユーザの操作指示に従って設定する。
視差補正回路515は、例えば、下表1に示す補正パラメータを使って視差補正の演算処理を行う。補正パラメータの値は、撮影画像に係る第1アスペクト比から、画像の記録時または再生時の第2アスペクト比へ変更した場合に画像枠からトリミングにより除外される画像範囲が存在すると判定された場合に、視差量を補正するために決定される。
Next, parallax correction processing according to aspect ratio setting information will be described. The aspect ratio setting at the time of image recording or reproduction is automatically set by the
For example, the
表1に例示する参照テーブルは、補正パラメータとして、変更後の第2アスペクト比と視差量の情報を含む。例えば、第2アスペクト比の種類は、列1001に複数記載され、また、各アスペクト比に対応する視差量が列1002に記載されている。撮影した画像、つまり第1アスペクト比での画像のうち、変更後の画像枠内に入りきらずにデータが削除される範囲が大きい第2アスペクト比ほど、視差量は大きい値に設定されている。視差補正回路515は、第1アスペクト比および第2アスペクト比から決定した補正パラメータに基づいて視差量を補正する。例えば、表1中の行1003には、第2アスペクト比が1:1の場合におけるパラメータ値が記載されている。以下、補正パラメータ1006の値に基づく視差補正処理について、図7を参照して説明する。
The reference table exemplified in Table 1 includes the changed second aspect ratio and parallax information as correction parameters. For example, a plurality of types of the second aspect ratio are described in the column 1001, and the parallax amount corresponding to each aspect ratio is described in the column 1002. The parallax amount is set to a larger value as the second aspect ratio has a larger range in which data is deleted without entering the image frame after the change in the photographed image, that is, the image with the first aspect ratio. The
図7(A)は、画像枠704内に示す複数の被写体を撮影して得られる構図を例示する。画像枠704内には、各被写体像707と708を示す。各被写体と相似の小図形は特徴点を例示する。図7(B)は画像枠705内に左目用画像を示し、被写体像707Lおよび708Lは図7(A)の被写体像707と708にそれぞれ相当する。図7(C)は画像枠706内に右目用画像を示し、被写体像707Rおよび708Rは、図7(A)の被写体像707と708にそれぞれ対応する。但し、被写体像708の視差量はゼロとする。図7(D)および(E)はアスペクト比が1:1に設定された場合の画像枠1201および1202をそれぞれ示す。図7(D)の画像枠1201内には、視差補正された左目用画像を示し、図7(E)の画像枠1202内には、視差補正された右目用画像を示す。
FIG. 7A illustrates a composition obtained by photographing a plurality of subjects shown in the
視差補正回路515には、図7(B)に示す画像枠705内の左目用画像のデータと、図7(C)に示す画像枠706内の右目用画像のデータが入力される。ここで、視差補正回路515は、前記補正パラメータに応じた視差量に補正するために、各々の画像枠内で被写体像のシフト処理を行う。被写体像707についての視差を補正する場合を、具体的に説明する。画像枠705内での被写体像と画像枠706内での被写体像には、視差量709が存在する。この視差量709は、画像枠内での被写体像707Lと707Rとの位置差に相当し、補正パラメータに基づいて視差補正が行われる。視差補正回路515は、表1の行1003に示すアスペクト比1:1に対応する補正パラメータ1006の値を参照して図7(D)および図7(E)に示すように被写体像のシフト操作を行う。つまり、図7(D)では、被写体像707Lを図7の左側へ移動させるシフト操作により被写体像1203Lに変更され、図7(E)では、被写体像707Rを図7の右側へ移動させるシフト操作により被写体像1203Rに変更される。これらの図では、奥行き量をさらに強調するための、被写体像のシフト操作を示す。ここで、視差量1205は視差補正後の視差量を示しており、表1の補正パラメータ1006の値に基づいて決定される。例えば、補正パラメータ1006の値については直接に視差量1205を示すデータを使用するか、あるいはシフト比率を示すデータを使用してもよい。シフト比率の場合、視差量1205の値を視差量709の値で除算した数値が補正パラメータ1006の値となり、視差補正時にて視差量に乗算する係数として使用される。また、補正パラメータ1006については一定の比率であってもよいし、映像の見かけ上の飛び出し量および奥行き量に応じた数次の関数式で表してもよい。補正パラメータ1006が最終的な飛び出し量および奥行き量を決定する要素であれば、算出形態の如何は問わない。
To the
図7の例では、視差補正方法として左目用画像および右目用画像での被写体像の単純なシフト操作を説明したが、これは例示であって補正方法を限定するものではない。例えば、視差補正回路515によりアフィン変換等を用いて、空間的に立体感を強調する処理を行うこともできる。視差補正回路515は、アスペクト比に対応する補正パラメータに基づいて左目用画像と右目用画像に係る視差量補正を行う。視差補正回路515により補正された視差量のデータは記憶部508に保存される。
In the example of FIG. 7, the simple shift operation of the subject image in the left-eye image and the right-eye image has been described as the parallax correction method, but this is an example and the correction method is not limited. For example, it is possible to perform a process of spatially enhancing a stereoscopic effect using affine transformation or the like by the
記憶部508には、画像合成回路513によって生成された合成画像データと、視差マップ生成回路514によって生成され、視差補正回路515で視差量が補正された視差マップデータが記憶されている。システム制御部509は記録媒体制御I/F部510を制御して、合成画像データおよび視差マップデータを半導体メモリ等の着脱可能な記録媒体511に記録する処理を行う。また、外部I/F部512がコンピュータ等の外部機器にデータを出力することにより、画像加工処理を行うことができる。
The
画像データの再生時には、システム制御部509は記録媒体制御I/F部510を制御して合成画像データと視差マップデータを読み出して記憶部508に保存し、これらのデータから左目用画像データと右目用画像データが生成される。視差マップの情報は、合成画像における被写体像の重心位置と、左目用画像または右目用画像における当該被写体像の重心位置との間の視差量を示す。具体的には、図5(B)で説明したように、視差量610の2分の1に相当する視差量612と、視差量611の2分の1に相当する視差量613が使用される。合成画像での被写体像は、視差量に従って左目用画像での重心位置に移動されて、左目用画像データが生成される。同様に、視差マップが示す視差量の符号を反転させれば、右目用画像での重心までの視差量となる。これより、合成画像での被写体像は、符号反転した視差量に従って右目用画像での重心位置に移動され、右目用画像データが生成される。
When reproducing the image data, the
本実施形態では、撮像素子505から読み出した画像データを左目用画像データと右目用画像データに振り分けるデータ分離処理を撮像信号処理回路506が担当し、左目用画像データと右目用画像データの加算合成処理を画像合成回路513が担当する。これに限らず、撮像信号処理回路506がデータ分離処理と合成処理を行う形態でも構わない。また、視差マップ生成回路514による視差マップデータの生成後に、視差補正回路515がアスペクト比に応じた視差量補正を行ったが、視差マップ生成回路514が視差マップの生成および視差補正処理を行う構成でもよい。
In this embodiment, the imaging
以上、本実施形態によれば、アスペクト比の設定に応じたトリミング加工により、奥行き感を表現する被写体像を含む画像範囲が画像枠から除外される場合、視差量の補正によって、映像の立体感が損なわれないようにステレオ画像処理を実現できる。 As described above, according to the present embodiment, when the image range including the subject image expressing the sense of depth is excluded from the image frame by the trimming process according to the aspect ratio setting, the stereoscopic effect of the video is corrected by correcting the parallax amount. Stereo image processing can be realized so as not to damage the image.
501 レンズ部
505 撮像素子
506 撮像信号処理回路
508 記憶部
509 システム制御部
513 画像合成回路
514 視差マップ生成回路
515 視差補正回路
501
Claims (9)
前記異なる視点の画像信号を合成して合成画像データを生成する画像処理手段と、
前記異なる視点の画像信号から被写体の視差量を算出する視差量算出手段と、
撮影した画像に係る第1アスペクト比から、画像の記録又は再生に係る第2アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正手段を備え、
前記視差補正手段は、前記第1アスペクト比および前記第2アスペクト比から決定される補正パラメータにより前記視差量を補正する際、前記第1アスペクト比での画像のうち、前記第2アスペクト比への変更により前記画像枠から除外される画像範囲が大きいほど、前記視差量を大きくすることを特徴とする撮像装置。 Acquisition means for acquiring image signals of different viewpoints from output signals of a plurality of photoelectric conversion units;
Image processing means for generating composite image data by combining the image signals of the different viewpoints;
Parallax amount calculating means for calculating the parallax amount of the subject from the image signals of the different viewpoints;
When there is an image range that is excluded from the image frame due to a change from the first aspect ratio related to the captured image to the second aspect ratio related to image recording or playback, the parallax amount of the subject in the images of different viewpoints is corrected comprising a parallax correction means for,
When the parallax correction unit corrects the parallax amount by a correction parameter determined from the first aspect ratio and the second aspect ratio, the parallax correction unit converts the parallax correction unit to the second aspect ratio among the images having the first aspect ratio. An image pickup apparatus , wherein the amount of parallax is increased as the image range excluded from the image frame due to the change is larger .
前記異なる視点の画像信号を合成して合成画像データを生成する画像処理手段と、
前記異なる視点の画像信号から被写体の視差量を算出する視差量算出手段と、
撮影した画像に係る第1アスペクト比から、画像の記録又は再生に係る第2アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正手段を備え、
前記視差量算出手段は、前記画像処理手段により生成された合成画像データにおける被写体像の位置を基準として、前記異なる視点の画像における当該被写体像の位置ずれ量を視差量として算出し、該視差量を含む視差マップデータを記憶手段に記憶させることを特徴とする撮像装置。 Acquisition means for acquiring image signals of different viewpoints from output signals of a plurality of photoelectric conversion units;
Image processing means for generating composite image data by combining the image signals of the different viewpoints;
Parallax amount calculating means for calculating the parallax amount of the subject from the image signals of the different viewpoints;
When there is an image range that is excluded from the image frame due to a change from the first aspect ratio related to the captured image to the second aspect ratio related to image recording or playback, the parallax amount of the subject in the images of different viewpoints is corrected comprising a parallax correction means for,
The parallax amount calculating means calculates a positional deviation amount of the subject image in the images of different viewpoints as a parallax amount with reference to the position of the subject image in the composite image data generated by the image processing means, and the parallax amount An imaging apparatus characterized by storing parallax map data including
前記視差補正手段は、前記視差量算出手段が算出した視差量に対して前記比率を乗算して視差補正を行い、補正した視差量を含む視差マップデータを記憶手段に記憶させることを特徴とする請求項1または請求項3に記載の撮像装置。 The correction parameter indicates a ratio obtained by dividing the parallax amount of the subject at the second aspect ratio by the parallax amount of the subject at the first aspect ratio;
The parallax correction unit performs parallax correction by multiplying the parallax amount calculated by the parallax amount calculation unit by the ratio, and stores parallax map data including the corrected parallax amount in the storage unit. The imaging device according to claim 1 or 3 .
前記異なる視点の画像信号を合成して合成画像データを生成する画像処理手段と、
前記異なる視点の画像信号から被写体の視差量を算出する視差量算出手段と、
撮影した画像に係る第1アスペクト比から、画像の記録又は再生に係る第2アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正手段を備え、
前記視差補正手段は、前記第1アスペクト比および前記第2アスペクト比から決定される補正パラメータにより前記視差量を補正する際、前記第1アスペクト比での画像のうち、前記第2アスペクト比への変更により前記画像枠から除外される画像範囲が大きいほど、前記視差量を大きくすることを特徴とする画像処理装置。 Acquisition means for acquiring image signals of different viewpoints from output signals of a plurality of photoelectric conversion units;
Image processing means for generating composite image data by combining the image signals of the different viewpoints;
Parallax amount calculating means for calculating the parallax amount of the subject from the image signals of the different viewpoints;
When there is an image range that is excluded from the image frame due to a change from the first aspect ratio related to the captured image to the second aspect ratio related to image recording or playback, the parallax amount of the subject in the images of different viewpoints is corrected comprising a parallax correction means for,
When the parallax correction unit corrects the parallax amount by a correction parameter determined from the first aspect ratio and the second aspect ratio, the parallax correction unit converts the parallax correction unit to the second aspect ratio among the images having the first aspect ratio. The image processing apparatus , wherein the amount of parallax is increased as the image range excluded from the image frame due to the change is larger .
前記異なる視点の画像信号を合成して合成画像データを生成する画像処理手段と、
前記異なる視点の画像信号から被写体の視差量を算出する視差量算出手段と、
撮影した画像に係る第1アスペクト比から、画像の記録又は再生に係る第2アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正手段を備え、
前記視差量算出手段は、前記画像処理手段により生成された合成画像データにおける被写体像の位置を基準として、前記異なる視点の画像における当該被写体像の位置ずれ量を視差量として算出し、該視差量を含む視差マップデータを記憶手段に記憶させることを特徴とする画像処理装置。 Acquisition means for acquiring image signals of different viewpoints from output signals of a plurality of photoelectric conversion units;
Image processing means for generating composite image data by combining the image signals of the different viewpoints;
Parallax amount calculating means for calculating the parallax amount of the subject from the image signals of the different viewpoints;
When there is an image range that is excluded from the image frame due to a change from the first aspect ratio related to the captured image to the second aspect ratio related to image recording or playback, the parallax amount of the subject in the images of different viewpoints is corrected comprising a parallax correction means for,
The parallax amount calculating means calculates a positional deviation amount of the subject image in the images of different viewpoints as a parallax amount with reference to the position of the subject image in the composite image data generated by the image processing means, and the parallax amount An image processing apparatus characterized in that parallax map data including is stored in a storage means.
複数の光電変換部の出力信号から異なる視点の画像信号を取得するデータ取得ステップと、
前記異なる視点の画像信号を合成して合成画像データを生成する画像合成ステップと、
前記異なる視点の画像信号から被写体の視差量を算出する視差量算出ステップと、
撮影した画像に係る第1アスペクト比から、画像の記録又は再生に係る第2アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正ステップを有し、
前記視差補正ステップでは、前記第1アスペクト比および前記第2アスペクト比から決定される補正パラメータにより前記視差量を補正する際、前記第1アスペクト比での画像のうち、前記第2アスペクト比への変更により前記画像枠から除外される画像範囲が大きいほど、前記視差量を大きくする処理が行われることを特徴とする制御方法。 A control method executed by an imaging device or an image processing device ,
A data acquisition step of acquiring image signals of different viewpoints from output signals of a plurality of photoelectric conversion units;
An image synthesizing step of generating synthesized image data form if the image signal of the different viewpoints,
A parallax amount calculating step of calculating the parallax amount of the subject from the image signals of the different viewpoints;
When there is an image range that is excluded from the image frame due to a change from the first aspect ratio related to the captured image to the second aspect ratio related to image recording or playback, the parallax amount of the subject in the images of different viewpoints is corrected have a parallax correction step of,
In the parallax correction step, when the parallax amount is corrected by a correction parameter determined from the first aspect ratio and the second aspect ratio, among the images having the first aspect ratio, the second aspect ratio is corrected. the higher the image area is large are excluded from the image frames, processing to increase the amount of parallax to that control method characterized by being performed by changes.
複数の光電変換部の出力信号から異なる視点の画像信号を取得するデータ取得ステップと、
前記異なる視点の画像信号を合成して合成画像データを生成する画像合成ステップと、
前記異なる視点の画像信号から被写体の視差量を算出する視差量算出ステップと、
撮影した画像に係る第1アスペクト比から、画像の記録又は再生に係る第2アスペクト比への変更により画像枠から除外される画像範囲が存在する場合、異なる視点の画像における被写体の視差量を補正する視差補正ステップを有し、
前記視差量算出ステップでは、前記画像合成ステップで生成された合成画像データにおける被写体像の位置を基準として、前記異なる視点の画像における当該被写体像の位置ずれ量を視差量として算出し、該視差量を含む視差マップデータを記憶手段に記憶させる処理が行われることを特徴とする制御方法。
A control method executed by an imaging device or an image processing device ,
A data acquisition step of acquiring image signals of different viewpoints from output signals of a plurality of photoelectric conversion units;
An image synthesizing step of generating synthesized image data form if the image signal of the different viewpoints,
A parallax amount calculating step of calculating the parallax amount of the subject from the image signals of the different viewpoints;
When there is an image range that is excluded from the image frame due to a change from the first aspect ratio related to the captured image to the second aspect ratio related to image recording or playback, the parallax amount of the subject in the images of different viewpoints is corrected have a parallax correction step of,
In the parallax amount calculating step, the positional deviation amount of the subject image in the image of the different viewpoint is calculated as the parallax amount with reference to the position of the subject image in the composite image data generated in the image synthesizing step, and the parallax amount The control method characterized by performing the process which memorize | stores the parallax map data containing this in a memory | storage means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013106081A JP6230266B2 (en) | 2013-05-20 | 2013-05-20 | Imaging apparatus, image processing apparatus, and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013106081A JP6230266B2 (en) | 2013-05-20 | 2013-05-20 | Imaging apparatus, image processing apparatus, and control method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014229974A JP2014229974A (en) | 2014-12-08 |
JP2014229974A5 JP2014229974A5 (en) | 2016-06-30 |
JP6230266B2 true JP6230266B2 (en) | 2017-11-15 |
Family
ID=52129482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013106081A Expired - Fee Related JP6230266B2 (en) | 2013-05-20 | 2013-05-20 | Imaging apparatus, image processing apparatus, and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6230266B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011146828A (en) * | 2010-01-13 | 2011-07-28 | Sony Corp | Data structure, recording apparatus and recording method, playback apparatus and playback method, and program |
JP5502205B2 (en) * | 2010-09-10 | 2014-05-28 | 富士フイルム株式会社 | Stereo imaging device and stereo imaging method |
JP5814692B2 (en) * | 2011-08-15 | 2015-11-17 | キヤノン株式会社 | Imaging apparatus, control method therefor, and program |
-
2013
- 2013-05-20 JP JP2013106081A patent/JP6230266B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014229974A (en) | 2014-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9341935B2 (en) | Image capturing device | |
CN103493484B (en) | Imaging device and formation method | |
US10587860B2 (en) | Imaging apparatus and method for controlling same | |
JP5127787B2 (en) | Compound eye photographing apparatus and control method thereof | |
RU2567438C1 (en) | Image forming device and method of controlling same | |
JP5627438B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP6053276B2 (en) | Imaging apparatus, control method therefor, and image processing apparatus | |
JP6004741B2 (en) | Image processing apparatus, control method therefor, and imaging apparatus | |
JP5924943B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP5864992B2 (en) | Imaging apparatus and control method thereof, and image processing apparatus and control method thereof | |
JP2014022888A (en) | Image pickup device and image pickup device manufacturing method | |
JP6230266B2 (en) | Imaging apparatus, image processing apparatus, and control method | |
JP2012124650A (en) | Imaging apparatus, and imaging method | |
JP2012094997A (en) | Imaging device | |
JP5911276B2 (en) | Imaging apparatus, control method therefor, and image processing apparatus | |
JP6433474B2 (en) | Imaging apparatus and control method thereof | |
JP6366793B2 (en) | Image processing apparatus, control method therefor, and imaging apparatus | |
JP6177305B2 (en) | Imaging apparatus and control method thereof, and image processing apparatus and control method thereof | |
JP2014204299A (en) | Imaging apparatus and method for controlling the same | |
JP6172949B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING DEVICE CONTROL METHOD | |
JP2014090252A (en) | Image processing device and control method for the same, image pickup device and control method for the same and image processing program | |
JP2016154360A (en) | Imaging apparatus and control method therefor | |
JP2013157726A (en) | Imaging apparatus and method for controlling imaging apparatus | |
JP2014146962A (en) | Image pickup device and control method of the same | |
JP2013187878A (en) | Imaging apparatus and control method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160517 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171017 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6230266 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |