JP5385462B2 - 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム - Google Patents
単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム Download PDFInfo
- Publication number
- JP5385462B2 JP5385462B2 JP2012533952A JP2012533952A JP5385462B2 JP 5385462 B2 JP5385462 B2 JP 5385462B2 JP 2012533952 A JP2012533952 A JP 2012533952A JP 2012533952 A JP2012533952 A JP 2012533952A JP 5385462 B2 JP5385462 B2 JP 5385462B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- correction
- dimensional
- shading
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/16—Circuitry for reinsertion of dc and slowly varying components of signal; Circuitry for preservation of black or white level
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
本発明は単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラムに係り、特に撮影レンズの左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左眼用の画像及び右眼用の画像を取得する技術に関する。
特許文献1には、右目用画像と左目用画像とを別々の撮像素子から取得して立体画像を生成する場合において、右目用画像と左目用画像の少なくとも1つにシェーディング補正を行うことが開示されている。
特許文献2には、1つの撮像素子を構成する各フォトダイオード上にマイクロレンズを設け、マイクロレンズの位置を対応フォトダイオードの位置とずらすことによりA群画素とB群画素とを分ける立体撮像素子が開示されている。
しかしながら、特許文献1に記載の発明は、複数の撮影光学系を有する多眼カメラが前提となっており、単一の撮影レンズ(撮影光学系)を用い、単一の撮影レンズを通過した光束を複数の光束に分離し、それぞれの光束を単一の撮像素子に結像させること(瞳分割)により立体視画像を撮影する(以下、瞳分割方式という)単眼3Dカメラ(単眼立体撮像装置)に適用することはできない。また、特許文献1には、シェーディング補正の詳細については記載されていない。
特許文献2に記載の発明には、A群画素による撮影画像とB群画素による撮影画像とでは異なるシェーディング特性を有することが記載されている。
図31は、A群画素とB群画素を有する撮像素子の模式図であり、図31Aは撮像素子全体図、図31BはA群画素、図31CはB群画素である。単眼3Dカメラでは、フォトダイオードの前面にマイクロレンズが配設されており、マイクロレンズの位置、形状等によりA群画素、B群画素(すなわち、視差)が得られるように設計されている。
単眼3Dカメラにおいては、通常の2Dカメラと同様に、撮像素子の中心と光学レンズの中心とは略一致している。したがって、まず、撮影レンズの中心部(すなわち撮像素子中心部M)付近の撮像信号レベルに対して、中心部から距離が離れるにつれて、すなわち撮像素子周辺部(U、D、R、L)の信号レベルが低下するというシェーディング特性を補正(以下、通常のシェーディング補正という)する必要がある。この通常のシェーディング補正には、例えば撮像素子の各画素毎のバラツキの補正も含まれる。
それに加え、図31Bに示す主画素群でも、図31Cに示す副画素群でも、中心部M1、M2と比較して、周縁部(U1、D1、R1、L1、U2、D2、R2、L2)は各画素の受光量が小さくなる。特に、図31Bに示す主画素群では、瞳分割方向(左右方向)において、図中の左端側よりも右端側の受光量が小さくなる。また、図31Cに示す副画素群では、瞳分割方向(左右方向)において、図中の右端側よりも左端側の受光量が小さくなる。例えば、M1、M2の受光量を100とすると、上下方向であるU1、D1、U2、D2の受光量は約30であるのに対し、主画素群においてはL1の受光量が約40、R1の受光量が約20となる。それに対し、副画素群においては、R2の受光量が約40、L2の受光量が約20となる。すなわち、瞳分割方向に起因するシェーディング特性が発生する。
この理由について図32を用いて説明する。図32に示すように、単眼3Dカメラにおいては、撮像レンズLを通過した光束が、各マイクロレンズ(Lm、Lcなど)ごとに分割して配置したフォトダイオード(PDma・PDmb、PDca・PDcbなど)に射出されることで、複数の視点画像が得られる。この構成にて、撮像レンズLの光軸I0を中心とした撮像素子の受光面の中心部R1では、光束がマイクロレンズの光軸中心を基準としてX方向(左右方向)に関して均等に入射するため、フォトダイオード(PDca、PDcb)間で均一な明るさの信号が出力される。しかし、撮像素子の受光面の周縁部R2、R3では、光束がX方向(左右方向)に関して不均等に入射するため、フォトダイオード(PDma、PDmb)間で不均一な明るさの信号が出力されてしまう。即ち、撮像素子の受光面の瞳分割方向Xにおける周縁部では複数の視点画像間で明るさが均一とはならない。
このような瞳分割方向に沿って受光量が変化するという単眼3Dカメラに特有のシェーディング特性は、通常のシェーディング補正では補正できない。
なお、特許文献2に記載の発明は、マイクロレンズの位置をずらすことによりシェーディングを抑制するものであり、シェーディングをなくすための画像処理を行うことについては記載されていない。
本発明はこのような事情に鑑みてなされたもので、単眼立体撮像装置に特有のシェーディング特性を簡単な方法で補正することができる単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラムを提供することを目的とする。
上記目的を達成するため、この発明の単眼立体撮像装置は、単一の撮影光学系と、撮影光学系を通過した光束を複数の光束に分割する瞳分割手段と、複数の光束をそれぞれ受光する複数の画素群により構成された単一の撮像素子と、少なくとも撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた2次元の補正テーブルを用いて、単一の撮像素子より出力される撮像信号全体に対してシェーディング補正をする第1のシェーディング補正手段と、瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた1次元の補正テーブルを用いて、複数の画素群より出力される撮像信号をそれぞれシェーディング補正する第2のシェーディング補正手段と、を備えたことを特徴とする。
かかる単眼立体撮像装置によれば、少なくとも撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた2次元の補正テーブルを用いて、単一の撮像素子より出力される撮像信号全体に対してシェーディング補正をすると共に、瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた1次元の補正テーブルを用いて、複数の画素群より出力される撮像信号をそれぞれシェーディングを補正する。これにより、撮影レンズの中心部付近の撮像信号レベルに対して、中心部から距離が離れるにつれて信号レベルが低下するというシェーディング特性を補正すると共に、瞳分割方向に沿って受光量が変化するという単眼立体撮像装置に特有のシェーディング特性を補正することができる。
また、本発明の単眼立体撮像装置において、第2のシェーディング補正手段は、複数の画素群に対するシェーディング補正を同一の1次元の補正テーブルを用いて行うことが好ましい。
かかる単眼立体撮像装置によれば、同一の1次元の補正テーブルを用いて複数の画素群に対するシェーディング補正を行う。これにより、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。
また、本発明の単眼立体撮像装置において、撮像素子は、複数の光束をそれぞれ受光する第1の画素群と第2の画素群とを有し、第2のシェーディング補正手段は、第1の画素群の所定の列の任意の位置の画素を第1の画素として選択し、かつ第2の画素群の所定の列の第1の画素に対応する位置にある画素を第2の画素として選択する手段と、第1の画素に対する補正値を、第1の画素の位置に対応する位置にある補正値を1次元の補正テーブルから読み出す手段と、1次元の補正テーブルにおいて第1の画素に対する補正値と左右対称位置にある補正値を、第2の画素に対する補正値として読み出す手段と、第1の画素の画素値と第1の画素に対する補正値とに基づいて第1の画素に対してシェーディング補正をし、かつ第2の画素の画素値と第2の画素に対する補正値とに基づいて第2の画素に対してシェーディング補正をする手段と、を有することが好ましい。
かかる単眼立体撮像装置によれば、第1の画素群の所定の列の任意の位置の画素を第1の画素として選択し、第1の画素の位置に対応する位置にある補正値を1次元の補正テーブルより第1の画素に対する補正値を読み出し、第1の画素の画素値と第1の画素に対する補正値とに基づいて第1の画素に対してシェーディング補正をする。また、第2の画素群の所定の列の第1の画素に対応する位置にある画素を第2の画素として選択し、1次元の補正テーブルにおいて第1の画素に対する補正値と左右対称位置にある補正値を第2の画素に対する補正値として読み出し、第2の画素の画素値と第2の画素に対する補正値とに基づいて第2の画素に対してシェーディング補正をする。これにより、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについて1つの1次元の補正テーブルでシェーディング補正を行うことができる。
また、本発明の単眼立体撮像装置において、撮像素子は、複数の光束をそれぞれ受光する第1の画素群と第2の画素群とを有し、第2のシェーディング補正手段は、第1の画素群の所定の列の任意の位置の画素を第1の画素として選択し、かつ第2の画素群の所定の列から第1の画素と左右対称位置にある画素を第2の画素として選択する手段と、第1の画素の位置に対応する位置にある補正値を1次元の補正テーブルから読み出す手段と、第1の画素の画素値と第1の画素の位置に対応する位置にある補正値とに基づいて第1の画素に対してシェーディング補正をし、かつ第2の画素の画素値と第1の画素の位置に対応する位置にある補正値とに基づいて第2の画素に対してシェーディング補正をする手段と、を有することが好ましい。
かかる単眼立体撮像装置によれば、第1の画素群の所定の列の任意の位置にある画素を第1の画素として選択し、第1の画素の位置に対応する位置にある補正値を1次元の補正テーブルから読み出し、第1の画素の画素値と第1の画素の位置に対応する位置にある補正値とに基づいて第1の画素に対してシェーディング補正をする。また、第2の画素群の所定の列から第1の画素と左右対称位置にある画素を第2の画素として選択し、第1の画素の位置に対応する位置にある補正値を1次元の補正テーブルから読み出し、第1の画素の画素値と第1の画素の位置に対応する位置にある補正値とに基づいて第1の画素に対してシェーディング補正をする。これにより、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについて1つの1次元の補正テーブルでシェーディング補正を行うことができる。
また、本発明の単眼立体撮像装置において、撮影光学系はズームレンズを有し、ズームレンズの位置より焦点距離を取得する焦点距離取得手段を備え、第2のシェーディング補正手段は、焦点距離に応じて複数の1次元の補正テーブルを記憶し、焦点距離取得手段により取得された焦点距離に応じた1次元の補正テーブルを用いてシェーディング補正をすることが好ましい。
かかる単眼立体撮像装置によれば、焦点距離に基づいて、複数の1次元の補正テーブルの中から適切な1次元の補正テーブルを用いてシェーディング補正をする。これにより、焦点距離に応じた適切なシェーディング補正をすることができる。
また、本発明の単眼立体撮像装置において、撮影光学系は絞り値を変化させる絞りを有し、第2のシェーディング補正手段は、絞りの絞り値に応じて複数の1次元の補正テーブルを記憶し、絞りの現在の絞り値に応じた1次元の補正テーブルを用いてシェーディング補正をすることが好ましい。
かかる単眼立体撮像装置によれば、絞りの絞り値に基づいて、複数の1次元の補正テーブルの中から適切な1次元の補正テーブルを用いてシェーディング補正をする。これにより、絞り値に応じた適切なシェーディング補正をすることができる。
また、本発明の単眼立体撮像装置において、第2のシェーディング補正手段は、R、G、Bの各色の1次元の補正テーブルを記憶し、複数の画素群から選択された画素(以下、選択された画素)の画素色がRの場合にはR色用の1次元の補正テーブルを用い、選択された画素の画素色がGの場合にはG色用の1次元の補正テーブルを用い、選択された画素の画素色がBの場合にはB色用の1次元の補正テーブルを用いてシェーディング補正をすることが好ましい。
かかる単眼立体撮像装置によれば、複数の画素群から選択された画素の画素色がRの場合にはR色用の1次元の補正テーブルを用い、選択された画素の画素色がGの場合にはG色用の1次元の補正テーブルを用い、選択された画素の画素色がBの場合にはB色用の1次元の補正テーブルを用いてシェーディング補正をする。これにより、RGBでシェーディング特性が異なる場合においても、特にG画素についてより適切なシェーディング補正を行うことができる。
また、本発明の単眼立体撮像装置において、第2のシェーディング補正手段は、G色用の1次元の補正テーブルとして、RGRG…の配列の水平ライン(以下、GRラインという)のG画素であるGr色用の1次元の補正テーブルと、GBGB…の配列の水平ライン(以下、GBラインという)のG画素であるGb色用の1次元の補正テーブルを記憶し、選択された画素の画素色がGRラインから読み出されたG画素の場合にはGr色用の1次元の補正テーブルを用い、選択された画素の画素色がGBラインから読み出されたG画素の場合にはGb色用の1次元の補正テーブルを用いてシェーディング補正をすることが好ましい。
かかる単眼立体撮像装置によれば、複数の画素群から選択された画素がGRラインから読み出されたG画素の場合にはGr色用の1次元の補正テーブルを用い、選択された画素がGBラインから読み出されたG画素の場合にはGb色用の1次元の補正テーブルを用いてシェーディング補正をする。これにより、RGBでシェーディング特性が異なる場合においても、特にG画素についてより適切なシェーディング補正を行うことができる。
また、本発明の単眼立体撮像装置において、撮像素子の向きを検出する向き検出手段を備え、第2のシェーディング補正手段は、撮像素子が横向きの場合の1次元の補正テーブルと、撮像素子が縦向きの場合の1次元の補正テーブルとを記憶し、向き検出手段により検出された撮像素子の向きに基づいた1次元の補正テーブルを用いてシェーディング補正をすることが好ましい。
かかる単眼立体撮像装置によれば、撮像素子の向きを検出し、撮像素子の向きに基づいた1次元の補正テーブルを用いてシェーディング補正をする。これにより、水平方向に視差がある立体視画像の場合のみならず、垂直方向に視差がある立体視画像の場合においても適切なシェーディング補正をすることができる。
更に、上記目的を達成するため、本発明の単眼立体撮像装置用シェーディング補正方法は、単一の撮影光学系を通過した光束を瞳分割手段により瞳分割して得られた複数の光束がそれぞれ受光された複数の画素群からの出力信号を取得するステップと、複数の画素群からの出力信号に対してシェーディング補正するステップであって、瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた1次元の補正テーブルを用いて、複数の画素群よりそれぞれ出力される出力信号に対してそれぞれシェーディング補正をする、及び少なくとも撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた2次元の補正テーブルを用いて、複数の画素群より出力される出力信号全体に対してシェーディング補正をするステップと、を有することを特徴とする。
更にまた、上記目的を達成するため、本発明の単眼立体撮像装置用プログラムは、単一の撮影光学系を通過した光束を瞳分割手段により瞳分割して得られた複数の光束がそれぞれ受光された複数の画素群からの出力信号を取得するステップと、複数の画素群からの出力信号に対してシェーディング補正するステップであって、瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた1次元の補正テーブルを用いて、複数の画素群よりそれぞれ出力される出力信号に対してそれぞれシェーディング補正をする、及び少なくとも撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた2次元の補正テーブルを用いて、複数の画素群より出力される出力信号全体に対してシェーディング補正をするステップと、を演算装置に実行させることを特徴とする。
本発明によれば、単眼立体撮像装置に特有のシェーディング特性を簡単な方法で補正することができる。
以下、添付図面に従って本発明に係る単眼立体撮像装置の実施の形態について説明する。
<第1の実施の形態>
[撮像装置の全体構成]
図1は本発明に係る第1の実施の形態の撮像装置である単眼立体撮像装置1の一実施形態を示す斜視図である。図2は、上記単眼立体撮像装置1の一実施形態を示す背面図である。この単眼立体撮像装置1は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。
[撮像装置の全体構成]
図1は本発明に係る第1の実施の形態の撮像装置である単眼立体撮像装置1の一実施形態を示す斜視図である。図2は、上記単眼立体撮像装置1の一実施形態を示す背面図である。この単眼立体撮像装置1は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。
単眼立体撮像装置1のカメラボディ10は、横長の四角い箱状に形成されており、その正面には、図1に示すように、レンズユニット12、ストロボ21等が配設されている。また、カメラボディ10の上面にはシャッタボタン22、電源/モードスイッチ24、モードダイヤル26等が配設されている。一方、カメラボディ10の背面には、図2に示すように、液晶モニタ28、ズームボタン30、十字ボタン32、MENU/OKボタン34、再生ボタン36、BACKボタン38等が配設されている。
なお、図示しないカメラボディ10の下面には、三脚ネジ穴と、開閉自在なカバーを介してバッテリ挿入部とメモリカードスロットとが設けられており、このバッテリ挿入部とメモリカードスロットにバッテリとメモリカードが装填される。
レンズユニット12は、沈胴式のズームレンズで構成されており、電源/モードスイッチ24によってカメラのモードを撮影モードに設定することにより、カメラボディ10から繰り出される。なお、レンズユニット12のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。
ストロボ21は、主要被写体に向けてストロボ光を照射するものである。
シャッタボタン22は、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成されている。単眼立体撮像装置1は、撮影モードで駆動しているときは、このシャッタボタン22が「半押し」されることにより、AE/AFが作動し、「全押し」されることにより、撮影を実行する。また、単眼立体撮像装置1は、投影モードで駆動しているときは、このシャッタボタン22が「全押し」されることにより、投影を実行する。
電源/モードスイッチ24は、単眼立体撮像装置1の電源をON/OFFする電源スイッチとしての機能と、単眼立体撮像装置1のモードを設定するモードスイッチとしての機能とを併せ持っており、「OFF位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。単眼立体撮像装置1は、電源/モードスイッチ24をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がONになり、「OFF位置」に合わせることにより、電源がOFFになる。そして、電源/モードスイッチ24をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
モードダイヤル26は、単眼立体撮像装置1の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、単眼立体撮像装置1の撮影モードが様々なモードに設定される。例えば、平面画像の撮影を行う「平面画像撮影モード」、立体視画像(3D画像)の撮影を行う「立体視画像撮影モード」、動画撮影を行う「動画撮影モード」、立体パノラマ撮影の撮影を行う「立体パノラマ撮影モード」等である。
液晶モニタ28は、左眼用画像及び右眼用画像をパララックスバリアによりそれぞれ所定の指向性をもった立体視画像として表示できる立体表示手段である。立体視画像が液晶モニタ28に入力された場合には、液晶モニタ28のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像や使用者インターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に1枚の画像をそのまま表示する。なお、液晶モニタ28の形態はこれに限らず、立体視画像を立体画像として認識可能に表示させるものであれば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左眼用画像と右眼用画像とを個別に見ることができるものでもよい。なお、液晶モニタの代わりに有機EL等を用いてもよい。
ズームボタン30は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するズームテレボタン30Tと、広角側へのズームを指示するズームワイドボタン30Wとからなる。単眼立体撮像装置1は、撮影モード時に、このズームテレボタン30Tとズームワイドボタン30Wとが操作されることにより、レンズユニット12の焦点距離が変化する。また、再生モード時に、このズームテレボタン30Tとズームワイドボタン30Wとが操作されることにより、再生中の画像が拡大、縮小する。
十字ボタン32は、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン(カーソル移動操作手段)として機能する。左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。
MENU/OKボタン34は、液晶モニタ28の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。
再生ボタン36は、撮影記録した立体視画像(3D画像)、平面画像(2D画像)の静止画又は動画を液晶モニタ28に表示させる再生モードに切り替えるためのボタンである。
BACKボタン38は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。
[撮影光学系、撮像素子の構成例]
レンズユニット12は、主として撮影レンズ14、絞り16、位相差イメージセンサである固体撮像素子(以下、「位相差CCD」という)17で構成される。
レンズユニット12は、主として撮影レンズ14、絞り16、位相差イメージセンサである固体撮像素子(以下、「位相差CCD」という)17で構成される。
撮影レンズ14は、フォーカスレンズ、ズームレンズを含む多数のレンズから構成される撮像光学系である。絞り16は、例えば、5枚の絞り羽根からなり、例えば、絞り値F2.8 〜F11まで1AV刻みで5段階に絞り制御される。撮影モード時において、被写体を示す画像光は、撮影レンズ14、絞り16を介して位相差CCD17の受光面に結像される。
図3は位相差CCD17の構成例を示す図である。
位相差CCD17は、それぞれマトリクス状に配列された奇数ラインの画素(主画素、A面画素ともいう)と、偶数ラインの画素(副画素、B面画素ともいう)とを有しており、これらの主、副画素にてそれぞれ光電変換された2面分の画像信号は、独立して読み出すことができるようになっている。
図3に示すように位相差CCD17の奇数ライン(1、3、5、…)には、R(赤)、G(緑)、B(青)のカラーフィルタを備えた画素のうち、GRGR…の画素配列のラインと、BGBG…の画素配列のラインとが交互に設けられ、一方、偶数ライン(2、4、6、…)の画素は、奇数ラインと同様に、GRGR…の画素配列のラインと、BGBG…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が2分の1ピッチだけライン方向にずれて配置されている。
図4は撮影レンズ14、及び位相差CCD17の主、副画素の1画素ずつを示した図であり、図5は図4の要部拡大図である。
位相差CCD17の主画素の前面側(マイクロレンズML側)には、遮光部材17Aが配設され、副画素の前面側には、遮光部材17Bが配設される。遮光部材17A、17Bは瞳分割部材としての機能を有している。図5Aに示すように通常のCCDの画素(フォトダイオードPD)には、射出瞳を通過する光束が、マイクロレンズMLを介して制限を受けずに入射する。図5Bに示すように遮光部材17Aは、主画素(フォトダイオードPD)の受光面の右半分を遮光する。そのため、主画素には、射出瞳を通過する光束の光軸の左側のみが受光される。また、図5Cに示すように遮光部材17Bは、副画素(フォトダイオードPD)の受光面の左半分を遮光する。そのため、副画素には、射出瞳を通過する光束の光軸の右側のみが受光される。このように、瞳分割手段である遮光部材17A、17Bにより、射出瞳を通過する光束が左右に分割される。
このように位相差CCD17の主画素に射出瞳を通過する光束の光軸の左側のみを受光させ、副画素に射出瞳を通過する光束の光軸の右側のみを受光させるようにすることで、位相差CCD17で立体視画像を撮影する仕組みについて説明する。
図6A〜図6Cは、フォーカスレンズがそれぞれ前ピン、合焦(ベストフォーカス)、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。尚、図6A〜図6Cでは、フォーカスによる分離の違いを比較するために絞り16を省略している。
図6Bに示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する(一致する)が、図6A及び図6Cに示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する(分離する)。
従って、左右方向に瞳分割された被写体像を位相差CCD17を介して取得することにより、フォーカス位置に応じて視差の異なる左眼用画像及び右眼用画像(立体視画像)を取得することができる。すなわち、合焦位置の視差は0となり、3D再生像の位置(虚像の位置)は表示面と一致する。合焦位置を奥にずらしていくにつれて、視差が0となる位置が奥にずれ、表示面上の被写体は表示面から飛びだしてくるように見える。逆に、合焦位置を手前にずらしていくにつれて、視差が0となる位置が手前にずれ、表示面上の被写体は表示面から奥へ移動していくように見える。
尚、上記構成の位相差CCD17は、主画素と副画素とでは、遮光部材17A、17Bより光束が制限されている領域(右半分、左半分)が異なるように構成されているが、これに限らず、遮光部材17A、17Bを設けずに、マイクロレンズMLとフォトダイオードPDとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードPDに入射する光束が制限されるものでもよいし、また、2つの画素(主画素と副画素)に対して1つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
[撮像装置の内部構成]
図7は本発明の第1の実施の形態に係る単眼立体撮像装置1のブロック図である。この単眼立体撮像装置1は、撮像した画像を記録メディア54に記録するもので、装置全体の動作は、中央処理装置(CPU)40によって統括制御される。
図7は本発明の第1の実施の形態に係る単眼立体撮像装置1のブロック図である。この単眼立体撮像装置1は、撮像した画像を記録メディア54に記録するもので、装置全体の動作は、中央処理装置(CPU)40によって統括制御される。
単眼立体撮像装置1には、シャッタボタン、モードダイヤル、再生ボタン、MENU/OKキー、十字キー、BACKキー等の操作部48が設けられている。この操作部48からの信号はCPU40に入力され、CPU40は入力信号に基づいて単眼立体撮像装置1の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、立体表示用の液晶モニタ28の表示制御などを行う。
電源/モードスイッチ24により単眼立体撮像装置1の電源がONされると、電源部58から各ブロックへ給電され、単眼立体撮像装置1の駆動が開始される。
撮影レンズ14、絞り16等を通過した光束は位相差CCD17に結像され、位相差CCD17には信号電荷が蓄積される。位相差CCD17に蓄積された信号電荷は、タイミングジェネレータ45から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差CCD17から読み出された電圧信号は、アナログ信号処理部60に加えられる。
アナログ信号処理部60は、位相差CCD17から出力された電圧信号に対して相関二重サンプリング処理(撮像素子の出力信号に含まれるノイズ(特に熱雑音)等を軽減することを目的として、撮像素子の1画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理)により各画素ごとのR、G、B信号がサンプリングホールドされ、増幅されたのちA/D変換器61に加えられる。A/D変換器61は、順次入力するR、G、B信号をデジタルのR、G、B信号に変換して画像入力コントローラ62に出力する。
デジタル信号処理部63は、画像入力コントローラ62を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、YC処理等の所定の信号処理を行う。ここで、位相差CCD17の奇数ラインの主画素から読み出される主画像データは、左眼用画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右眼用画像データとして処理される。
デジタル信号処理部63で処理された左眼用画像データ及び右眼用画像データ(3D画像データ)は、VRAM50に入力される。VRAM50には、それぞれが1コマ分の3D画像を表す3D画像データを記録するA領域とB領域とが含まれている。VRAM50において1コマ分の3D画像を表す3D画像データがA領域とB領域とで交互に書き換えられる。VRAM50のA領域及びB領域のうち、3D画像データが書き換えられている方の領域以外の領域から、書き込まれている3D画像データが読み出される。
VRAM50から読み出された3D画像データは、3D画像信号処理部64で短冊状の画像断片に加工され、ビデオエンコーダ66においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ28に出力され、これにより3Dの被写体像が連続的に液晶モニタ28の表示画面上に表示される。
操作部48のシャッタボタン22の第1段階の押下(半押し)があると、CCD40は、AF動作及びAE動作を開始させ、レンズ駆動部47を介してフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。
AF処理部42は、コントラストAF処理又は位相差AF処理を行う部分である。コントラストAF処理を行う場合には、左眼用画像データ及び右眼用画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すAF評価値を算出する。このAF評価値が極大となるように撮影レンズ14内のフォーカスレンズを制御することによりAF制御が行われる。また、位相差AF処理を行う場合には、左眼用画像データ及び右眼用画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が0になるように撮影レンズ14内のフォーカスレンズを制御することによりAF制御が行われる。
CPU40は、必要に応じてレンズ駆動部47を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。
また、シャッタボタン22の半押し時にA/D変換器61から出力される画像データは、AE/AWB検出部44に取り込まれる。
AE/AWB検出部44では、画面全体のG信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたG信号を積算し、その積算値をCPU40に出力する。CPU40は、AE/AWB検出部44から入力する積算値より被写体の明るさ(撮影Ev値)を算出し、この撮影Ev値に基づいて絞り16の絞り値及び位相差CCD17の電子シャッタ(シャッタスピード)を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部46を介して絞り16を制御するとともに、決定したシャッタスピードに基づいてタイミングジェネレータ45を介して位相差CCD17での電荷蓄積時間を制御する。
AE動作及びAF動作が終了し、シャッタボタン22の第2段階の押下(全押し)があると、その押下に応答してA/D変換器61から出力される主画素及び副画素に対応する左眼用画像(主画像)及び右眼用画像(副画像)の2枚分の画像データが画像入力コントローラ62からVRAM50に入力され、一時的に記録される。
VRAM50に一時的に記録された2枚分の画像データは、デジタル信号処理部63により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理(YC処理)を含む所定の信号処理が行われる。YC処理された画像データ(YCデータ)は、再びVRAM50に記録される。続いて、2枚分のYCデータは、それぞれ圧縮伸張処理部65に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びVRAM50に記録される。
VRAM50に記録された2枚分のYCデータ(圧縮データ)から、3D画像信号処理部64でマルチピクチャファイル(MPファイル:複数の画像が連結された形式のファイル)が生成され、そのMPファイルは、メディア・コントローラ52により読み出され、記録メディア54に記録される。
なお、AF動作は、シャッタボタン22の第1段階の押下(半押し)がある場合のみでなく、右眼用画像データ、左眼用画像データを連続的に撮影する場合にも行われる。右眼用画像データ、左眼用画像データを連続的に撮影する場合とは、例えばライブビュー画像(スルー画像)を撮影する場合や、動画を撮影する場合が挙げられる。この場合には、AF処理部42は、連続的に右眼用画像データ、左眼用画像データを撮影している間、常時繰り返しAF評価値の演算を行って、連続的にフォーカスレンズ位置を制御するコンティニュアスAFを行う。この場合には、フォーカスレンズ位置の移動に応じて、連続的に液晶モニタ28の表示画面上に表示された右眼用画像、左眼用画像の視差が変化することとなる。
ところで、本実施の形態は、シャッタボタン22の全押しにより主画素、副画素から出力された信号に対してシェーディング補正を行うシェーディング補正手段として、シェーディング(SD)補正部67を有している。
SD補正部67は、通常のシェーディング補正と、単眼立体撮像装置1に特有のシェーディング補正との2通りのシェーディング補正を行う。
2次元シェーディング(SD)補正部67B(第1のシェーディング補正手段)は、撮影レンズの中心と端部とで光量がことなるという撮影光学系に起因するもの、位相差CCD17の画素のバラツキに起因するもの等の補正、すなわち通常のシェーディング補正を行う部分であり、左右上下方向の2次元に補正値が並べられた2次元の補正テーブル(図9参照)が1つ記憶されている。この2次元の補正テーブルは、例えば中心部の受光量が大きく周辺部の受光量が小さいというシェーディングカーブの逆カーブを基に求められたゲイン(すなわち中心から外側に向けて大きくなるようなゲイン)すなわち補正値が2次元に並べられたテーブルである。2次元SD補正部67Bは、この2次元の補正テーブルを用いて位相差CCD17全体に対してシェーディング補正を行う。なお、2次元SD補正部67Bが行う処理は既に公知であるため、説明を省略する。
1次元シェーディング(SD)補正部67A(第2のシェーディング補正手段)は、瞳分割方向(本実施の形態では左右方向)に起因し、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図8に示すように、主として、座標演算部67−1、焦点距離取得部67−2(焦点距離取得手段)、テーブル選択制御部67−3、テーブル選択部67−4、1次元補正テーブル記憶部67−5、シェーディング(SD)係数演算部67−6、シェーディング(SD)補正部67−7で構成される。
1次元補正テーブル記憶部67−5には、主画素用の1次元の補正テーブルと副画素用の1次元の補正テーブルとが記憶されている。単眼立体撮像装置1では、マイクロレンズMLの形状や位置に関係して、左右方向に単眼立体撮像装置特有のシェーディングが発生するため、1次元の補正テーブル(図10参照)のみで補正を行うことができる。
また、1次元補正テーブル記憶部67−5には、焦点距離に応じて主画素用の1次元の補正テーブル及び副画素用の1次元の補正テーブルがそれぞれ複数記憶されている。単眼立体撮像装置1では、焦点距離を変化させると、位相差CCD17の各フォトダイオードに光束が入射する入射角が異なるため、左右方向のシェーディング形状は大きく変化する。そのため、焦点距離に応じて1次元補正テーブル記憶部67−5に記憶された1次元の補正テーブルの中から適切な補正テーブルを選択することによって、焦点距離によって異なるシェーディング特性に対応することができる。
焦点距離取得部67−2は、ズームレンズの位置より焦点距離を求め、テーブル選択制御部67−3は、1次元補正テーブル記憶部67−5に記憶された1次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部67−4へ指示を出し、テーブル選択部67−4は、テーブル選択制御部67−3の指示に応じて1次元補正テーブル記憶部67−5から適切な1次元の補正テーブルを取得する。
座標演算部67−1は、主画素又は副画素から任意の画素を選択し、その情報をテーブル選択部67−4へ出力する。テーブル選択部67−4は、焦点距離に応じて選択された1次元の補正テーブルの中から座標演算部67−1で選択された画素位置に対応した位置の補正値を読み出す。1次元補正テーブル記憶部67−5に記憶されている補正値は、全ての画素位置に対応する補正値ではなく、離散的に補正値をもっている。したがって、本実施の形態では、テーブル選択部67−4は2つの補正値を読みだすこととなる。
SD係数演算部67−6は、テーブル選択部67−4が取得した補正値に対して線形補間等を行うことにより、座標演算部67−1が選択した任意の画素のシェーディング補正係数を算出する。
SD補正部67−7は、SD係数演算部67−6が算出したシェーディング補正係数を座標演算部67−1が選択した任意の画素の画素値に乗じることによりシェーディング補正を行う。
単眼立体撮像装置1は、立体視画像のみでなく、2次元画像の取得も可能である。また、単眼立体撮像装置1は、動画、静止画のみでなく、音声の記録再生が可能である。マイクロフォン57は送話音声を入力し、スピーカ56は受話音声を出力し、音声入出力回路55はマイクロフォンから入力された音声の符号化及び受信した音声の復号化などを行う。
[撮像装置の動作の説明]
次に、単眼立体撮像装置1の動作について説明する。この撮像処理はCPU40によって制御される。この撮像処理をCPU40に実行させるためのプログラムはCPU40内のプログラム格納部に記録されている。
次に、単眼立体撮像装置1の動作について説明する。この撮像処理はCPU40によって制御される。この撮像処理をCPU40に実行させるためのプログラムはCPU40内のプログラム格納部に記録されている。
撮影が開始されると、CPU40は、撮影レンズ14、絞り16を初期位置へ駆動する。撮影レンズ14を通過した被写体光は、絞り16を介して位相差CCD17の受光面に結像される。タイミングジェネレータ45により、位相差CCD17の主画素及び副画素に蓄えられた信号電荷は、信号電荷に応じた電圧信号(画像信号)として所定のフレームレートで順次読み出され、アナログ信号処理部60、A/D変換器61、画像入力コントローラ62を介してデジタル信号処理部63に順次入力され、左眼用画像データ及び右眼用画像データが順次生成される。生成された左眼用画像データ及び右眼用画像データは順次VRAM50に入力される。
CPU40は、左眼用画像データ及び右眼用画像データにもとづいて、絞り駆動部46を介して絞り16の開口量(F値)を変更する。また、CPU40は、操作部48からの入力に応じて、レンズ駆動部47を介してズーミングをおこなう。
撮影者は、この液晶モニタ28にリアルタイムに表示される画像(スルー画像)を見ることにより、撮影画角を確認することができる。
シャッタボタンが半押しされると、S1ON信号がCPU40に入力され、CPU40はAF処理部42及びAE/AWB検出部44を介してAE/AF動作を実施する。立体視画像の撮影処理においては、AF処理部42は、位相差AF処理によりAF動作を行う。
シャッタボタンが全押しされると、CPU40にS2ON信号が入力され、CPU40は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で位相差CCD17を露光する。
図11は、位相差CCD17の主画素、副画素からそれぞれ出力され、アナログ信号処理部60で処理された2枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてCPU40によって制御される。
まず、CPU40は、単眼立体撮像装置1で撮影された画像が立体視画像であるか、すなわち位相差CCD17の主画素、副画素から2枚分の画像データが取得されているか否かを判断する(ステップS10)。立体視画像が得られていない(たとえば、主画素と副画素とが加算されて1枚の2次元画像が得られている)場合(ステップS10でNO)には、瞳分割に起因する主画素の画面と副画素の画面の濃度ムラ(シェーディング)は相殺されるため、1次元SD補正部67Aによるシェーディング補正は行わず、2次元SD補正部67Bが2次元の補正テーブルを用いて通常のシェーディング補正を行う(ステップS16)。
位相差CCD17の主画素、副画素から2枚分の画像データが取得されている場合(ステップS10でYES)には、焦点距離取得部67−2は焦点距離を取得し(ステップS11)、テーブル選択制御部67−3は、1次元補正テーブル記憶部67−5に記憶された1次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部67−4へ指示を出し、テーブル選択部67−4は、テーブル選択制御部67−3の指示に応じて1次元補正テーブル記憶部67−5から適切な1次元の補正テーブルを取得する(ステップS12、S13、S14…)。例えば、焦点距離がAである場合には、焦点距離がAの場合の1次元の補正テーブルである1次元SD補正テーブル1A(主画素用)及び1次元SD補正テーブル2A(副画素用)が取得され(ステップS12)、焦点距離がBである場合には、焦点距離がBの場合の1次元の補正テーブルである1次元SD補正テーブル1B(主画素用)及び1次元SD補正テーブル2B(副画素用)が取得され(ステップS13)、焦点距離がCである場合には、焦点距離がCの場合の1次元の補正テーブルである1次元SD補正テーブル1C(主画素用)及び1次元SD補正テーブル2C(副画素用)が取得される(ステップS14)。これにより、シェーディング補正に使用される1次元の補正テーブルが取得される。なお、1次元SD補正テーブル1A(主画素用)と1次元SD補正テーブル2A(副画素用)とは左右対称の補正値を有し、1次元SD補正テーブル1B(主画素用)と1次元SD補正テーブル2B(副画素用)とは左右対称の補正値を有し、1次元SD補正テーブル1C(主画素用)と1次元SD補正テーブル2C(副画素用)とは左右対称の補正値を有する。
1次元SD補正部67Aは、取得された1次元の補正テーブルを用いてシェーディング補正を行う(ステップS15)。以下、ステップS15を具体的に説明する。
座標演算部67−1は、主画素から任意の画素を選択し、その情報を出力されたテーブル選択部67−4はステップS12〜S14で取得された1次元の補正テーブルのうちの主画素用のテーブル(1次元SD補正テーブル1A、1次元SD補正テーブル1B、1次元SD補正テーブル1C)の中から座標演算部67−1で選択された画素位置に対応した補正値を読み出す(ステップS15−1)。SD係数演算部67−6は、テーブル選択部67−4が取得した補正値に対して線形補間等により、座標演算部67−1が選択した任意の画素のシェーディング補正係数を算出する(ステップS15−2)。なお、座標演算部67−1は、 主画素群の所定の列の任意の位置の画素を第1の画素として選択し、かつ副画素群の所定の列の第1の画素に対応する位置にある画素を第2の画素として選択する手段と、第1の画素に対する補正値を、第1の画素の位置に対応する位置にある補正値を1次元の補正テーブルから読み出す手段と、から構成されている。
SD補正部67−7は、SD係数演算部67−6が算出したシェーディング補正係数を座標演算部67−1が選択した任意の画素の画素値に乗じることによりシェーディング補正を行う(ステップS15−3)。1次元SD補正部67Aは、ステップS15−1〜ステップS15−3の処理を主画素のすべての画素について繰り返し行う。
主画素のすべての画素についてシェーディング補正が行われたら、1次元SD補正部67Aは、副画素についてシェーディング補正をおこなう。すなわち、座標演算部67−1は、副画素から任意の画素を選択し、その情報を出力されたテーブル選択部67−4はステップS12〜S14で取得された1次元の補正テーブルのうちの副画素用のテーブル(1次元SD補正テーブル2A、1次元SD補正テーブル2B、1次元SD補正テーブル2C)の中から座標演算部67−1で選択された画素位置に対応した補正値を読み出す(ステップS15−4)。SD係数演算部67−6は、テーブル選択部67−4が取得した補正値に対して線形補間等により、座標演算部67−1が選択した任意の画素のシェーディング補正係数を算出する(ステップS15−5)。
SD補正部67−7は、SD係数演算部67−6が算出したシェーディング補正係数を座標演算部67−1が選択した任意の画素の画素値に乗じることによりシェーディング補正を行う(ステップS15−6)。1次元SD補正部67Aは、ステップS15−4〜ステップS15−6の処理を主画素のすべての画素について繰り返し行う。
これにより、単眼立体撮像装置1特有のシェーディング補正(ステップS15)が終了される。その後、シェーディング補正(ステップS15)が行われたデータに対して、2次元SD補正部67Bが2次元の補正テーブルを用いて通常のシェーディング補正を行う(ステップS16)。
これにより、シェーディング補正が終了する。このようにしてシェーディング補正された2枚分の画像データは、A/D変換器61、画像入力コントローラ62を介してVRAM50に取り込まれ、3D画像信号処理部64において輝度/色差信号に変換されたのち、VRAM50に格納される。VRAM50に格納された左眼用画像データは、圧縮伸張処理部65に加えられ、所定の圧縮フォーマット(たとえばJPEG形式)に従って圧縮された後、VRAM50に格納される。
VRAM50に記録された2枚分の圧縮データからMPファイルが生成され、そのMPファイルはメディア・コントローラ52を介して記録メディア54に記録される。これにより、立体視画像が撮影、記録される。
なお、本実施の形態では、立体視画像を撮影する場合を例に説明したが、単眼立体撮像装置1は、平面画像、立体視画像の両方が撮影可能である。平面画像を撮影する場合には、位相差CCD17の主画素のみを用いて撮影を行うようにすればよい。撮影処理の詳細については立体視画像を撮影する場合と同様であるため、説明を省略する。
以上のようにして記録メディア54に記録された画像は、再生ボタンにより単眼立体撮像装置1のモードを再生モードに設定することにより、液晶モニタ28で再生表示させることができる。
再生モードに設定されると、CPU40は、メディア・コントローラ52にコマンドを出力し、記録メディア54に最後に記録された画像ファイルを読み出させる。
読み出された画像ファイルの圧縮画像データは、圧縮伸張処理部65に加えられ、非圧縮の輝度/色差信号に伸張されたのち、ビデオエンコーダ66を介して液晶モニタ28に出力される。
画像のコマ送りは、十字キーの左右のキー操作によって行われ、十字キーの右キーが押されると、次の画像ファイルが記録メディア54から読み出され、液晶モニタ28に再生表示される。また、十字キーの左キーが押されると、一つ前の画像ファイルが記録メディア54から読み出され、液晶モニタ28に再生表示される。
本実施の形態によれば、通常のシェーディング補正に加え、主画素群(第1の画素群又は第2の画素群)では左端側よりも右端側の受光量が小さくなり、副画素群(第1の画素群又は第2の画素群)では右端側よりも左端側の受光量が小さくなるという瞳分割方向(左右方向)に沿ってシェーディング特性が異なるという単眼立体撮像装置に特有のシェーディング特性を、簡単な方法で補正することができる。
なお、本実施の形態では、2次元SD補正部67Bには2次元の補正テーブルが1つだけ記憶されている、すなわち焦点距離に応じた複数の2次元の補正テーブルが記憶されていない。これは、通常のシェーディング特性に関する焦点距離によるシェーディングの変化は、単眼撮像装置特有のシェーディング特性に関する焦点距離によるシェーディングの変化に比べて小さいからである。しかしながら、焦点距離によってシェーディング特性も変化するため、2次元SD補正部67Bに焦点距離に応じた複数の2次元の補正テーブルを記憶するようにし、焦点距離に応じて使用する2次元の補正テーブルを変えるようにしてもよい。
<第2の実施の形態>
本発明の第1の実施の形態は、主画素用の1次元の補正テーブルと副画素用の1次元の補正テーブルとが記憶されていたが、1次元の補正テーブルは主画素と副画素とで共有することも可能である。
本発明の第1の実施の形態は、主画素用の1次元の補正テーブルと副画素用の1次元の補正テーブルとが記憶されていたが、1次元の補正テーブルは主画素と副画素とで共有することも可能である。
本発明の第2の実施の形態は、主画素と副画素と同一の1次元の補正テーブルを用いる形態である。以下、第2の実施の形態に係る単眼立体撮像装置2について説明する。なお、撮像装置の構成については、内部構成のうちのSD補正部のみが異なり、その他は第1の実施の形態と同一であるため、同一の部分については説明を省略し、SD補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第1の実施の形態と異なるため、シェーディング補正の方法のみ説明する。
[撮像装置の内部構成]
図12は、第2の実施の形態のSD補正部67−Aを示す図である。SD補正部67−Aは、主として、通常のシェーディング補正を行う2次元SD補正部67Bと、単眼立体撮像装置2に特有のシェーディング補正を行う1次元SD補正部67A−1とで構成される。
図12は、第2の実施の形態のSD補正部67−Aを示す図である。SD補正部67−Aは、主として、通常のシェーディング補正を行う2次元SD補正部67Bと、単眼立体撮像装置2に特有のシェーディング補正を行う1次元SD補正部67A−1とで構成される。
1次元SD補正部67A−1は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図12に示すように、主として、座標演算部67−1、焦点距離取得部67−2、テーブル選択制御部67−3、テーブル選択部67−4a、1次元補正テーブル記憶部67−5a、シェーディング(SD)係数演算部67−6、シェーディング(SD)補正部67−7とで構成される。
1次元補正テーブル記憶部67−5aには、焦点距離に応じた複数の1次元の補正テーブルが記憶されている。本実施の形態では、主画素と副画素とで同一の1次元の補正テーブルを使用する。
座標演算部67−1は、主画素から任意の画素を選択し、その情報をテーブル選択部67−4へ出力する。テーブル選択部67−4aは、焦点距離に応じて選択された1次元の補正テーブルの中から座標演算部67−1で選択された画素位置に対応した位置の補正値を読み出す。
座標演算部67−1は、副画素から任意の画素を選択し、その情報をテーブル選択部67−4へ出力する。テーブル選択部67−4aは、主画素の任意の画素が選択された場合と同様にして焦点距離に応じて選択された1次元の補正テーブルの中から座標演算部67−1で選択された画素位置に対応した位置を決定し、1次元の補正テーブルのなかの決定した位置と左右対称位置の補正値を読み出す。
[撮像装置の動作の説明]
図13は、位相差CCD17の主画素、副画素からそれぞれ出力され、アナログ信号処理部60で処理された2枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてCPU40によって制御される。
図13は、位相差CCD17の主画素、副画素からそれぞれ出力され、アナログ信号処理部60で処理された2枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてCPU40によって制御される。
まず、CPU40は、単眼立体撮像装置1で撮影された画像が立体視画像であるか否かを判断する(ステップS10)。立体視画像が得られていない場合(ステップS10でNO)には、2次元SD補正部67Bが2次元の補正テーブルを用いて通常のシェーディング補正を行う(ステップS16)。
位相差CCD17の主画素、副画素から2枚分の画像データが取得されている場合(ステップS10でYES)には、焦点距離取得部67−2は焦点距離を取得し(ステップS11)、テーブル選択制御部67−3は、1次元補正テーブル記憶部67−5に記憶された1次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部67−4aへ指示を出し、テーブル選択部67−4aは、テーブル選択制御部67−3の指示に応じて1次元補正テーブル記憶部67−5aから適切な1次元の補正テーブルを取得する(ステップS21、S22、S23…)。例えば、焦点距離がAである場合には、焦点距離がAの場合の1次元の補正テーブルである1次元SD補正テーブル1Aが取得され(ステップS21)、焦点距離がBである場合には、焦点距離がBの場合の1次元の補正テーブルである1次元SD補正テーブル1Bが取得され(ステップS22)、焦点距離がCである場合には、焦点距離がCの場合の1次元の補正テーブルである1次元SD補正テーブル1Cが取得される(ステップS23)。これにより、シェーディング補正に使用される1次元の補正テーブルが取得される。
1次元SD補正部67A−1は、取得された1次元の補正テーブルを用いてシェーディング補正を行う(ステップS24)。以下、ステップS24を具体的に説明する。
座標演算部67−1は、図14Aに示すように、主画素(A群画素)及び副画素(B群画素)から同じ位置にある任意の画素を選択する(ステップS24−1)。任意の画素の情報はテーブル選択部67−4aに出力され、テーブル選択部67−4aは、図14Bに示すように、ステップS21〜S23で取得された1次元の補正テーブルの中から座標演算部67−1で選択された主画素の画素位置に対応した補正値を読み出す(ステップS24−2)。また、テーブル選択部67−4aは、図14Cに示すように、ステップS21〜S23で取得された1次元の補正テーブルの中の補正値であって、ステップS24−2で読みだされた補正値と左右対称位置にある補正値を読み出す(ステップS24−3)。
SD係数演算部67−6は、テーブル選択部67−4aがステップS24−2、ステップS24−3のそれぞれで取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する(ステップS24−4)。
SD補正部67−7は、テーブル選択部67−4aがステップS24−2で取得した補正値に基づいてSD係数演算部67−6が算出したシェーディング補正係数を、座標演算部67−1が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う(ステップS24−5)。また、SD補正部67−7は、テーブル選択部67−4aがステップS24−3で取得した補正値に基づいてSD係数演算部67−6が算出したシェーディング補正係数を、座標演算部67−1が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う(ステップS24−5)。
これを主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置1特有のシェーディング補正(ステップS24)が終了される。その後、シェーディング補正(ステップS24)が行われたデータに対して、2次元SD補正部67Bが2次元の補正テーブルを用いて通常のシェーディング補正を行う(ステップS16)。
本実施の形態によれば、1つの1次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。
<第3の実施の形態>
本発明の第3の実施の形態は、第2の実施の形態と同様、主画素と副画素と同一の1次元の補正テーブルを用いる形態である。以下、第3の実施の形態に係る単眼立体撮像装置3について説明する。なお、撮像装置の構成については、内部構成のうちのSD補正部のみが異なり、その他は第1の実施の形態と同一であるため、同一の部分については説明を省略し、SD補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第1の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第1の実施の形態及び第2の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
本発明の第3の実施の形態は、第2の実施の形態と同様、主画素と副画素と同一の1次元の補正テーブルを用いる形態である。以下、第3の実施の形態に係る単眼立体撮像装置3について説明する。なお、撮像装置の構成については、内部構成のうちのSD補正部のみが異なり、その他は第1の実施の形態と同一であるため、同一の部分については説明を省略し、SD補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第1の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第1の実施の形態及び第2の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
[撮像装置の内部構成]
図15は、第3の実施の形態のSD補正部67−Bを示す図である。SD補正部67−Bは、主として、通常のシェーディング補正を行う2次元SD補正部67Bと、単眼立体撮像装置3に特有のシェーディング補正を行う1次元SD補正部67A−2とで構成される。
図15は、第3の実施の形態のSD補正部67−Bを示す図である。SD補正部67−Bは、主として、通常のシェーディング補正を行う2次元SD補正部67Bと、単眼立体撮像装置3に特有のシェーディング補正を行う1次元SD補正部67A−2とで構成される。
1次元SD補正部67A−2は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図15に示すように、主として、座標演算部67−1、焦点距離取得部67−2、テーブル選択制御部67−3、テーブル選択部67−4a、1次元補正テーブル記憶部67−5a、シェーディング(SD)係数演算部67−6、シェーディング(SD)補正部67−7、読み出し方向制御部67−8で構成される。
読み出し方向制御部67−8は、座標演算部67−1が任意の画素を選択するときの読み出し方向を制御する。読み出し方向制御部67−8は、主画素に対しては座標演算部67−1が左方向から読み出すように制御し、副画素に対しては座標演算部67−1が右方向から読み出すように制御する。例えば、座標演算部67−1が端から5個目の画素を任意の画素として選択する場合には、読み出し方向制御部67−8は、主画素の場合には、図16Aに示すように座標演算部67−1が左端から5個目の画素を読み出すように制御し、副画素の場合には、図16Bに示すように座標演算部67−1が左端から5個目の画素を読み出すように制御する。
座標演算部67−1は、主画素及び副画素から任意の画素を選択し、その情報をテーブル選択部67−4へ出力する。テーブル選択部67−4aは、焦点距離に応じて選択された1次元の補正テーブルの中から座標演算部67−1で選択された画素位置に対応した位置の補正値を読み出す。
[撮像装置の動作の説明]
図17は、位相差CCD17の主画素、副画素からそれぞれ出力され、アナログ信号処理部60で処理された2枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてCPU40によって制御される。
図17は、位相差CCD17の主画素、副画素からそれぞれ出力され、アナログ信号処理部60で処理された2枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてCPU40によって制御される。
まず、CPU40は、単眼立体撮像装置1で撮影された画像が立体視画像であるか否かを判断する(ステップS10)。立体視画像が得られていない場合(ステップS10でNO)には、2次元SD補正部67Bが2次元の補正テーブルを用いて通常のシェーディング補正を行う(ステップS16)。
位相差CCD17の主画素、副画素から2枚分の画像データが取得されている場合(ステップS10でYES)には、焦点距離取得部67−2は焦点距離を取得し(ステップS11)、テーブル選択制御部67−3は、1次元補正テーブル記憶部67−5aに記憶された1次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部67−4aへ指示を出し、テーブル選択部67−4aは、テーブル選択制御部67−3の指示に応じて1次元補正テーブル記憶部67−5aから適切な1次元の補正テーブルを取得する(ステップS21、S22、S23…)。
1次元SD補正部67A−2は、取得された1次元の補正テーブルを用いてシェーディング補正を行う(ステップS31)。以下、ステップS31を具体的に説明する。
座標演算部67−1は、主画素(A群画素)から任意の画素を選択し、テーブル選択部67−4aは、ステップS21〜S23で取得された1次元の補正テーブルの中から座標演算部67−1で選択された主画素の画素位置に対応した補正値を読み出す(ステップS31−1)。
SD係数演算部67−6は、テーブル選択部67−4aがステップS31−1で取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する(ステップS31−2)。ステップS31−1において、図16Aに示すように主画素の左端から5番目の画素が任意の画素として選択された場合には、ステップS31−2においては、主画素の左端から5番目の画素に対するシェーディング補正係数が算出される。
SD補正部67−7は、SD係数演算部67−6が算出したシェーディング補正係数を、座標演算部67−1が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う(ステップS31−3)。
また、SD補正部67−7は、読み出し方向制御部67−8の制御のもと、主画素(A群画素)から選択された任意の画素の位置と左右対称の位置にある画素を任意の画素として副画素から読み出す。そして、SD補正部67−7は、SD係数演算部67−6が算出したシェーディング補正係数を、座標演算部67−1が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う(ステップS31−3)。ステップS31−1において、図16Aに示すように主画素の左端から5番目の画素が任意の画素として選択された場合には、ステップS31−3では図16Bに示すように副画素の左端から5番目の画素が任意の画素として選択され、ステップS31−2で算出された主画素の左端から5番目の画素に対するシェーディング補正係数を副画素の左端から5番目の画素の画素値に乗じることでシェーディング補正が行われる。
これを主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置1特有のシェーディング補正(ステップS31)が終了される。その後、シェーディング補正(ステップS31)が行われたデータに対して、2次元SD補正部67Bが2次元の補正テーブルを用いて通常のシェーディング補正を行う(ステップS16)。
本実施の形態によれば、1つの1次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。
<第4の実施の形態>
本発明の第4の実施の形態は、絞り16の絞り値に応じて1次元補正テーブル記憶部67−5bから、その絞り値に対応する1次元の補正テーブルを選択する点で、第1の実施の形態と相違する。
本発明の第4の実施の形態は、絞り16の絞り値に応じて1次元補正テーブル記憶部67−5bから、その絞り値に対応する1次元の補正テーブルを選択する点で、第1の実施の形態と相違する。
絞り16の絞り値(開口径)が異なると、位相差CCD17の各フォトダイオードに光束が入射する入射角が異なるため、左右方向のシェーディング形状は大きく変化する。そのため、第4の実施の形態では、絞り値に応じて1次元補正テーブル記憶部67−5bに記憶された1次元の補正テーブルの中から適切な補正テーブルを選択することによって、絞り値によって異なるシェーディング特性に対応できるようにしている。
以下、第4の実施の形態に係る単眼立体撮像装置4について説明する。なお、撮像装置の構成については、内部構成のうちのSD補正部のみが異なり、その他は第1の実施の形態と同一であるため、同一の部分については説明を省略し、SD補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第1の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第1の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
[撮像装置の内部構成]
図18は、第4の実施の形態のSD補正部67−Cを示す図である。SD補正部67−Cは、主として、通常のシェーディング補正を行う2次元SD補正部67Bと、単眼立体撮像装置4に特有のシェーディング補正を行う1次元SD補正部67A−3とで構成される。
図18は、第4の実施の形態のSD補正部67−Cを示す図である。SD補正部67−Cは、主として、通常のシェーディング補正を行う2次元SD補正部67Bと、単眼立体撮像装置4に特有のシェーディング補正を行う1次元SD補正部67A−3とで構成される。
1次元SD補正部67A−3は、図18に示すように、主として、座標演算部67−1、絞り値取得部67−3、テーブル選択制御部67−4、テーブル選択部67−4b、1次元補正テーブル記憶部67−5b、シェーディング(SD)係数演算部67−6、シェーディング(SD)補正部67−7で構成される。
座標演算部67−1は、主画素及び副画素から任意の画素を選択し、その情報をテーブル選択部67−4bへ出力する。テーブル選択部67−4bは、絞り値に応じて選択された1次元の補正テーブルの中から座標演算部67−1で選択された画素位置に対応した位置の補正値を読み出す。
[撮像装置の動作の説明]
図19は、位相差CCD17の主画素、副画素からそれぞれ出力され、アナログ信号処理部60で処理された2枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてCPU40によって制御される。
図19は、位相差CCD17の主画素、副画素からそれぞれ出力され、アナログ信号処理部60で処理された2枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてCPU40によって制御される。
尚、図19に示したフローチャートは、図11に示した第1の実施の形態とは、点線で囲んだステップ(ステップS11’、及びステップS12’、S13’、S14’…)の処理のみが異なるため、以下、これらのステップS11’、及びステップS12’、S13’、S14’…についてのみ説明する。
図19において、位相差CCD17の主画素、副画素から2枚分の画像データが取得されている場合(ステップS10でYES)には、絞り値取得部67−3は、絞り16の現在の絞り値を取得し、現在の絞り値が、絞り値F1、F2、F3、…のうちのいずれの絞り値かを判別し(ステップS11’)、その判別結果をテーブル選択制御部67−4に出力する。
テーブル選択制御部67−4は、1次元補正テーブル記憶部67−5bに絞り値F1、F2、F3、…に応じて記憶された1次元の補正テーブルの中から、現在の絞り16の絞り値に応じたテーブルを選択するようにテーブル選択部67−4bへ指示を出し、テーブル選択部67−4bは、テーブル選択制御部67−4からの指示に応じて1次元補正テーブル記憶部67−5bから適切な1次元の補正テーブルを取得する(ステップS12’、S12’、S12’…)。
本実施の形態によれば、絞り16の絞り値に応じて適切な補正テーブルを選択するようにしたため、絞り値によって異なるシェーディング特性に対応することができる。
<第5の実施の形態>
本発明の第5の実施の形態は、第2の実施の形態と同様、主画素と副画素と同一の1次元の補正テーブルを用い、画素の色(RGB)に応じて使用する1次元の補正テーブルを切り替える形態である。以下、第5の実施の形態に係る単眼立体撮像装置5について説明する。なお、撮像装置の構成については、内部構成のうちのSD補正部のみが異なり、その他は第1の実施の形態と同一であるため、同一の部分については説明を省略し、SD補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第1の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第1の実施の形態〜第3の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
本発明の第5の実施の形態は、第2の実施の形態と同様、主画素と副画素と同一の1次元の補正テーブルを用い、画素の色(RGB)に応じて使用する1次元の補正テーブルを切り替える形態である。以下、第5の実施の形態に係る単眼立体撮像装置5について説明する。なお、撮像装置の構成については、内部構成のうちのSD補正部のみが異なり、その他は第1の実施の形態と同一であるため、同一の部分については説明を省略し、SD補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第1の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第1の実施の形態〜第3の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
[撮像装置の内部構成]
図20は、第5の実施の形態のSD補正部67−Dを示す図である。SD補正部67−Dは、主として、通常のシェーディング補正を行う2次元SD補正部67Bと、単眼立体撮像装置5に特有のシェーディング補正を行う1次元SD補正部67A−4とで構成される。
図20は、第5の実施の形態のSD補正部67−Dを示す図である。SD補正部67−Dは、主として、通常のシェーディング補正を行う2次元SD補正部67Bと、単眼立体撮像装置5に特有のシェーディング補正を行う1次元SD補正部67A−4とで構成される。
1次元SD補正部67A−4は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図20に示すように、主として、座標演算部67−1、焦点距離取得部67−2、テーブル選択制御部67−3b、テーブル選択部67−4c、1次元補正テーブル記憶部67−5c、シェーディング(SD)係数演算部67−6、シェーディング(SD)補正部67−7、画素色(RGB)取得部67−9で構成される。
1次元補正テーブル記憶部67−5cには、画素色(RGB)に応じた複数の1次元の補正テーブルが記憶されている。各色ごとの1次元の補正テーブルのそれぞれに対して、焦点距離に応じた複数の1次元の補正テーブルが記憶されている。本実施の形態では、主画素と副画素とで同一の1次元の補正テーブルを使用する。
座標演算部67−1は、主画素から任意の画素を選択し、その情報をテーブル選択部67−4及び画素色(RGB)取得部67−9へ出力する。画素色(RGB)取得部67−9は、座標演算部67−1が選択した任意の画素の画素色が何であるかを判断し、テーブル選択制御部67−3bへ出力する。テーブル選択制御部67−3bは、1次元補正テーブル記憶部67−5に記憶された1次元の補正テーブルの中から画素色及び焦点距離に応じたテーブルを選択するようにテーブル選択部67−4cへ指示を出し、テーブル選択部67−4cは、焦点距離に応じて選択された1次元の補正テーブルの中から座標演算部67−1で選択された画素位置に対応した位置の補正値を読み出す。
座標演算部67−1は、副画素から任意の画素を選択し、その情報をテーブル選択部67−4cへ出力する。テーブル選択部67−4cは、主画素の任意の画素が選択された場合と同様にして画素色及び焦点距離に応じて選択された1次元の補正テーブルの中から座標演算部67−1で選択された画素位置に対応した位置を決定し、1次元の補正テーブルのなかの決定した位置と左右対称位置の補正値を読み出す。
[撮像装置の動作の説明]
図21は、位相差CCD17の主画素、副画素からそれぞれ出力され、アナログ信号処理部60で処理された2枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてCPU40によって制御される。
図21は、位相差CCD17の主画素、副画素からそれぞれ出力され、アナログ信号処理部60で処理された2枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてCPU40によって制御される。
まず、CPU40は、単眼立体撮像装置1で撮影された画像が立体視画像であるか否かを判断する(ステップS10)。立体視画像が得られていない場合(ステップS10でNO)には、2次元SD補正部67Bが2次元の補正テーブルを用いて通常のシェーディング補正を行う(ステップS16)。
位相差CCD17の主画素、副画素から2枚分の画像データが取得されている場合(ステップS10でYES)には、焦点距離取得部67−2は焦点距離を取得し(ステップS11)、テーブル選択制御部67−3bは、1次元補正テーブル記憶部67−5cに記憶された1次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部67−4cへ指示を出す。以下、焦点距離がAである場合について説明する。焦点距離がB,C…である場合については、焦点距離がAである場合の処理と同様であるため、説明を省略する。
座標演算部67−1は、主画素(A群画素)及び副画素(B群画素)から同じ位置にある任意の画素を選択する(ステップS41)。画素色(RGB)取得部67−9は、主画素(A群画素)、副画素(B群画素)のそれぞれについて、ステップS41で選択された任意の画素の画素色を判断する(ステップSS42)。
画素色に応じて、テーブル選択部67−4aは、テーブル選択制御部67−3の指示に応じて、1次元補正テーブル記憶部67−5aから適切な1次元の補正テーブルを取得する(ステップS43、S44、S45)。例えば、画素色がRの場合には、焦点距離がAの場合の1次元の補正テーブルの中から、画素色がRの場合の1次元の補正テーブルである1次元SD補正テーブル1Rが取得され(ステップS43)、画素色がGの場合には、焦点距離がAの場合の1次元の補正テーブルの中から、画素色がGの場合の1次元の補正テーブルである1次元SD補正テーブル1Gが取得され(ステップS44)、画素色がBの場合には、焦点距離がAの場合の1次元の補正テーブルの中から、画素色がBの場合の1次元の補正テーブルである1次元SD補正テーブル1Bが取得される(ステップS45)。これにより、シェーディング補正に使用される1次元の補正テーブルが取得される。
1次元SD補正部67A−4は、取得された1次元の補正テーブルを用いてシェーディング補正を行う(ステップS46)。以下、ステップS46を具体的に説明する。
ステップS41で選択された任意の画素の情報はテーブル選択部67−4cに出力され、テーブル選択部67−4cは、ステップS43〜S45で取得された1次元の補正テーブルの中から座標演算部67−1で選択された主画素の画素位置に対応した補正値を読み出す(ステップS46−1)。
また、テーブル選択部67−4cは、ステップS43〜S45で取得された1次元の補正テーブルの中の補正値であって、ステップS46−1で読みだされた補正値と左右対称位置にある補正値を読み出す(ステップS46−2)。左右対称位置にある補正値を読み出す方法は、ステップS24−3と同様である。
SD係数演算部67−6は、テーブル選択部67−4cがステップS46−1、ステップS46−2のそれぞれで取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する(ステップS46−3)。
SD補正部67−7は、テーブル選択部67−4cがステップS46−1で取得した補正値に基づいてSD係数演算部67−6が算出したシェーディング補正係数を、座標演算部67−1が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う(ステップS46−4)。また、SD補正部67−7は、テーブル選択部67−4aがステップS46−2で取得した補正値に基づいてSD係数演算部67−6が算出したシェーディング補正係数を、座標演算部67−1が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う(ステップS46−4)。
ステップS41〜S46を主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置5特有のシェーディング補正が終了される。その後、2次元SD補正部67Bが2次元の補正テーブルを用いて通常のシェーディング補正を行う(ステップS16)。
本実施の形態によれば、1つの1次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。
また、本実施の形態によれば、RGBでシェーディング特性が異なる場合においても、適切なシェーディング補正を行うことができる。
<第6の実施の形態>
本発明の第6の実施の形態は、第5の実施の形態と同様、画素の色(RGB)に応じて使用する1次元の補正テーブルを切り替える形態であるが、第6の実施の形態はさらにGr,Gbで使用する1次元テーブルを切り替える形態である。以下、第6の実施の形態に係る単眼立体撮像装置6について説明する。なお、撮像装置の構成については、内部構成のうちのSD補正部のみが異なり、その他は第1の実施の形態と同一であるため、同一の部分については説明を省略し、SD補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第1の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第1の実施の形態〜第5の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
本発明の第6の実施の形態は、第5の実施の形態と同様、画素の色(RGB)に応じて使用する1次元の補正テーブルを切り替える形態であるが、第6の実施の形態はさらにGr,Gbで使用する1次元テーブルを切り替える形態である。以下、第6の実施の形態に係る単眼立体撮像装置6について説明する。なお、撮像装置の構成については、内部構成のうちのSD補正部のみが異なり、その他は第1の実施の形態と同一であるため、同一の部分については説明を省略し、SD補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第1の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第1の実施の形態〜第5の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
[撮像装置の内部構成]
図22は、第6の実施の形態のSD補正部67−Eを示す図である。SD補正部67−Eは、主として、通常のシェーディング補正を行う2次元SD補正部67Bと、単眼立体撮像装置6に特有のシェーディング補正を行う1次元SD補正部67A−5とで構成される。
図22は、第6の実施の形態のSD補正部67−Eを示す図である。SD補正部67−Eは、主として、通常のシェーディング補正を行う2次元SD補正部67Bと、単眼立体撮像装置6に特有のシェーディング補正を行う1次元SD補正部67A−5とで構成される。
1次元SD補正部67A−5は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図22に示すように、主として、座標演算部67−1、焦点距離取得部67−2、テーブル選択制御部67−3c、テーブル選択部67−4d、1次元補正テーブル記憶部67−5d、シェーディング(SD)係数演算部67−6、シェーディング(SD)補正部67−7、画素色(R、Gr、B、Gb)取得部67−9aで構成される。
1次元補正テーブル記憶部67−5dには、画素色(R、Gr、B、Gb)に応じた複数の1次元の補正テーブルが記憶されている。画素色のうちのGrは、GRGR…の画素配列のラインに配設されたG画素であり、Gbは、BGBG…の画素配列のラインに配設されたG画素である。各色ごとの1次元の補正テーブルのそれぞれに対して、焦点距離に応じた複数の1次元の補正テーブルが記憶されている。本実施の形態では、主画素と副画素とで同一の1次元の補正テーブルを使用する。
同じG画素であっても、隣接する画素の色によってシェーディング特性が変わる。本実施の形態では、Gr、Gbとで異なる1次元の補正テーブルを持つことでより正確なシェーディング補正が可能となる。
座標演算部67−1は、主画素から任意の画素を選択し、その情報をテーブル選択部67−4及び画素色(RGB)取得部67−9aへ出力する。画素色(R、Gr、B、Gb)取得部67−9aは、座標演算部67−1が選択した任意の画素の画素色が何であるかを判断し、テーブル選択制御部67−3cへ出力する。テーブル選択制御部67−3cは、1次元補正テーブル記憶部67−5dに記憶された1次元の補正テーブルの中から画素色及び焦点距離に応じたテーブルを選択するようにテーブル選択部67−4dへ指示を出し、テーブル選択部67−4dは、焦点距離に応じて選択された1次元の補正テーブルの中から座標演算部67−1で選択された画素位置に対応した位置の補正値を読み出す。
座標演算部67−1は、副画素から任意の画素を選択し、その情報をテーブル選択部67−4dへ出力する。テーブル選択部67−4dは、主画素の任意の画素が選択された場合と同様にして画素色及び焦点距離に応じて選択された1次元の補正テーブルの中から座標演算部67−1で選択された画素位置に対応した位置を決定し、1次元の補正テーブルのなかの決定した位置と左右対称位置の補正値を読み出す。
[撮像装置の動作の説明]
図23は、位相差CCD17の主画素、副画素からそれぞれ出力され、アナログ信号処理部60で処理された2枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてCPU40によって制御される。
図23は、位相差CCD17の主画素、副画素からそれぞれ出力され、アナログ信号処理部60で処理された2枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてCPU40によって制御される。
まず、CPU40は、単眼立体撮像装置6で撮影された画像が立体視画像であるか否かを判断する(ステップS10)。立体視画像が得られていない場合(ステップS10でNO)には、2次元SD補正部67Bが2次元の補正テーブルを用いて通常のシェーディング補正を行う(ステップS16)。
位相差CCD17の主画素、副画素から2枚分の画像データが取得されている場合(ステップS10でYES)には、焦点距離取得部67−2は焦点距離を取得し(ステップS11)、テーブル選択制御部67−3cは、1次元補正テーブル記憶部67−5dに記憶された1次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部67−4dへ指示を出す。以下、焦点距離がAである場合について説明する。焦点距離がB,C…である場合については、焦点距離がAである場合の処理と同様であるため、説明を省略する。
座標演算部67−1は、主画素(A群画素)及び副画素(B群画素)から同じ位置にある任意の画素を選択する(ステップS41)。画素色(R、Gr、B、Gb)取得部67−9aは、主画素(A群画素)、副画素(B群画素)のそれぞれについて、選択された任意の画素の画素色を判断する(ステップSS51)。
画素色に応じて、テーブル選択部67−4dは、テーブル選択制御部67−3の指示に応じて、1次元補正テーブル記憶部67−5dから適切な1次元の補正テーブルを取得する(ステップS21、S22、S23…)。例えば、画素色がRの場合には、焦点距離がAの場合の1次元の補正テーブルの中から、画素色がRの場合の1次元の補正テーブルである1次元SD補正テーブル1Rが取得され(ステップS52)、画素色がGrの場合には、焦点距離がAの場合の1次元の補正テーブルの中から、画素色がGrの場合の1次元の補正テーブルである1次元SD補正テーブル1Grが取得され(ステップS53)、画素色がBの場合には、焦点距離がAの場合の1次元の補正テーブルの中から、画素色がBの場合の1次元の補正テーブルである1次元SD補正テーブル1Bが取得され(ステップS54)、画素色がGbの場合には、焦点距離がAの場合の1次元の補正テーブルの中から、画素色がGbの場合の1次元の補正テーブルである1次元SD補正テーブル1Gbが取得される(ステップS55)。これにより、シェーディング補正に使用される1次元の補正テーブルが取得される。
1次元SD補正部67A−5は、取得された1次元の補正テーブルを用いてシェーディング補正を行う(ステップS56)。以下、ステップS56を具体的に説明する。
ステップS41で選択された任意の画素の情報はテーブル選択部67−4dに出力され、テーブル選択部67−4dは、ステップS52〜S55で取得された1次元の補正テーブルの中から座標演算部67−1で選択された主画素の画素位置に対応した補正値を読み出す(ステップS56−1)。
また、テーブル選択部67−4dは、ステップS52〜S55で取得された1次元の補正テーブルの中の補正値であって、ステップS56−1で読みだされた補正値と左右対称位置にある補正値を読み出す(ステップS56−2)。左右対称位置にある補正値を読み出す方法は、ステップS24−3と同様である。
SD係数演算部67−6は、テーブル選択部67−4dがステップS56−1、ステップS56−2のそれぞれで取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する(ステップS56−3)。
SD補正部67−7は、テーブル選択部67−4dがステップS46−1で取得した補正値に基づいてSD係数演算部67−6が算出したシェーディング補正係数を、座標演算部67−1が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う(ステップS56−4)。また、SD補正部67−7は、テーブル選択部67−4dがステップS56−2で取得した補正値に基づいてSD係数演算部67−6が算出したシェーディング補正係数を、座標演算部67−1が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う(ステップS56−4)。
ステップS41〜S56を主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置6特有のシェーディング補正が終了される。その後、シェーディング補正(ステップS56)が行われたデータに対して、2次元SD補正部67Bが2次元の補正テーブルを用いて通常のシェーディング補正を行う(ステップS16)。
本実施の形態によれば、1つの1次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。
また、本実施の形態によれば、RGBでシェーディング特性が異なる場合においても、特にG画素についてより適切なシェーディング補正を行うことができる。
なお、本実施の形態では、R、Gr、B、Gbで別々の1次元の補正テーブルを用いたが、GRライン用の1次元の補正テーブルとGBライン用の1次元の補正テーブルとを記憶させておき、シェーディング補正の対象がGRラインなのかGBラインなのかに応じて適切な補正テーブルを用いるようにしてもよい。
<第7の実施の形態>
本発明の第1の実施の形態では、位相差CCD17の主画素に射出瞳を通過する光束の光軸の左側のみを受光させ、副画素に射出瞳を通過する光束の光軸の右側のみを受光させるようにすることで立体視画像を撮影したが、立体視画像の撮影方法はこれに限られない。
本発明の第1の実施の形態では、位相差CCD17の主画素に射出瞳を通過する光束の光軸の左側のみを受光させ、副画素に射出瞳を通過する光束の光軸の右側のみを受光させるようにすることで立体視画像を撮影したが、立体視画像の撮影方法はこれに限られない。
本発明の第7の実施の形態は、左右方向、上下方向の2通りの方法で立体視画像を用いる形態である。以下、第7の実施の形態に係る単眼立体撮像装置7について説明する。なお、撮像装置の構成については、固体撮像素子の構造及び内部構成のうちのSD補正部のみが異なり、その他は第1の実施の形態と同一であるため、同一の部分については説明を省略し、固体撮像素子の構造及びSD補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第1の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第1の実施の形態〜第6の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
[撮影光学系、撮像素子の構成例]
レンズユニット12は、主として撮影レンズ14、絞り16、位相差イメージセンサである固体撮像素子(以下、「位相差CCD」という)17’で構成される。
レンズユニット12は、主として撮影レンズ14、絞り16、位相差イメージセンサである固体撮像素子(以下、「位相差CCD」という)17’で構成される。
図24は位相差CCD17’の構成例を示す図である。
位相差CCD17’は、4個のフォトダイオードA、B、C、Dが2次元に並べられ、その4個のフォトダイオードを覆うように1つのマイクロレンズML’が配設されたものを1個のユニット(4画素1マイクロレンズ)として、このユニットが2次元に配置されている。ユニット内の各フォトダイオードは、それぞれ独立して読み出すことができるようになっている。
図24に示すように位相差CCD17’の奇数ライン(1、3、5、…)には、R(赤)、G(緑)、B(青)のカラーフィルタを備えた画素のうち、GRGR…の画素配列のラインが設けられ、一方、偶数ライン(2、4、6、…)の画素は、BGBG…の画素配列のラインが設けられる。
図25は、位相差CCD17’で立体視画像を撮影する仕組みについて説明する図である。
位相差CCD17’が水平方向で撮影された場合(通常の横撮り)には、各ユニットのフォトダイオードA及びCを合成したものが、射出瞳を通過する光束の光軸の左側のみが受光される主画素となり、フォトダイオードA及びCの合成画像が左目用の画像となる。また、各ユニットのフォトダイオードB及びDを合成したものが、射出瞳を通過する光束の光軸の右側のみが受光される副画素となり、フォトダイオードB及びDの合成画像が左目用の画像となる。
位相差CCD17’が垂直方向で撮影された場合(単眼立体撮像装置7を90度回転させて撮影するいわゆる縦撮り)には、各ユニットのフォトダイオードA及びBを合成したものが、射出瞳を通過する光束の光軸の左側のみが受光される主画素となり、フォトダイオードA及びBの合成画像が左目用の画像となる。また、各ユニットのフォトダイオードC及びDを合成したものが、射出瞳を通過する光束の光軸の右側のみが受光される副画素となり、フォトダイオードC及びDの合成画像が左目用の画像となる。
[撮像装置の内部構成]
図26は、第7の実施の形態のSD補正部67−Fを示す図である。SD補正部67−Fは、主として、通常のシェーディング補正を行う2次元SD補正部67Bと、単眼立体撮像装置7に特有のシェーディング補正を行う1次元SD補正部67A−5とで構成される。
図26は、第7の実施の形態のSD補正部67−Fを示す図である。SD補正部67−Fは、主として、通常のシェーディング補正を行う2次元SD補正部67Bと、単眼立体撮像装置7に特有のシェーディング補正を行う1次元SD補正部67A−5とで構成される。
1次元SD補正部67A−5は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図26に示すように、主として、座標演算部67−1、焦点距離取得部67−2、テーブル選択制御部67−3d、テーブル選択部67−4e、1次元補正テーブル記憶部67−5e、シェーディング(SD)係数演算部67−6、シェーディング(SD)補正部67−7、水平、垂直補正制御部67−10で構成される。
1次元補正テーブル記憶部67−5eには、位相差CCD17’が水平方向で撮影された場合の複数の1次元の補正テーブルと、位相差CCD17’が垂直方向で撮影された場合の複数の1次元の補正テーブルとが記憶されている。位相差CCD17’が水平方向で撮影された場合の複数の1次元の補正テーブルと、位相差CCD17’が垂直方向で撮影された場合の複数の1次元の補正テーブルとのそれぞれに対して、焦点距離に応じた複数の1次元の補正テーブルが記憶されている。本実施の形態では、主画素と副画素とで同一の1次元の補正テーブルを使用する。
水平、垂直補正制御部67−10は、ジャイロセンサ等〜なり、位相差CCD17’が水平方向で撮影されたか、位相差CCD17’が垂直方向で撮影されたか(以下、撮影方向という)を判断する。水平、垂直補正制御部67−10での判断結果は、テーブル選択制御部67−3dへ出力される。
座標演算部67−1は、主画素から任意の画素を選択し、その情報をテーブル選択部67−4eへ出力する。テーブル選択制御部67−3dは、1次元補正テーブル記憶部67−5eに記憶された1次元の補正テーブルの中から撮影方向及び焦点距離に応じたテーブルを選択するようにテーブル選択部67−4eへ指示を出し、テーブル選択部67−4eは、選択された1次元の補正テーブルの中から座標演算部67−1で選択された画素位置に対応した位置の補正値を読み出す。
座標演算部67−1は、副画素から任意の画素を選択し、その情報をテーブル選択部67−4eへ出力する。テーブル選択制御部67−3dは、1次元補正テーブル記憶部67−5eに記憶された1次元の補正テーブルの中から撮影方向及び焦点距離に応じたテーブルを選択するようにテーブル選択部67−4eへ指示を出し、テーブル選択部67−4eは、選択された1次元の補正テーブルの中から座標演算部67−1で選択された画素位置に対応した位置の補正値を読み出す。
[撮像装置の動作の説明]
図27は、位相差CCD17’の主画素、副画素からそれぞれ出力され、アナログ信号処理部60で処理された2枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてCPU40によって制御される。
図27は、位相差CCD17’の主画素、副画素からそれぞれ出力され、アナログ信号処理部60で処理された2枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてCPU40によって制御される。
まず、CPU40は、単眼立体撮像装置1で撮影された画像が立体視画像であるか否かを判断する(ステップS10)。立体視画像が得られていない場合(ステップS10でNO)には、2次元SD補正部67Bが2次元の補正テーブルを用いて通常のシェーディング補正を行う(ステップS16)。
位相差CCD17の主画素、副画素から2枚分の画像データが取得されている場合(ステップS10でYES)には、焦点距離取得部67−2は焦点距離を取得し(ステップS11)、テーブル選択制御部67−3dは、1次元補正テーブル記憶部67−5eに記憶された1次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部67−4eへ指示を出す。以下、焦点距離がAである場合について説明する。焦点距離がB,C…である場合については、焦点距離がAである場合の処理と同様であるため、説明を省略する。
水平、垂直補正制御部67−10は、撮影方向を判断し、テーブル選択制御部67−3dへ出力する(ステップS61)。テーブル選択制御部67−3dは、1次元補正テーブル記憶部67−Efに記憶された1次元の補正テーブルの中から撮影方向及び焦点距離に応じたテーブルを選択するようにテーブル選択部67−4eへ指示を出し、テーブル選択部67−4eは、テーブル選択制御部67−3dの指示に応じて1次元補正テーブル記憶部67−5eから適切な1次元の補正テーブルを取得する(ステップS62、S63)。すなわち、焦点距離がAである場合に、位相差CCD17’が水平方向で撮影された場合には、焦点距離がAの場合かつ撮影方向が水平方向の1次元の補正テーブルである1次元SD補正テーブルXが取得され(ステップS62)、焦点距離がAである場合に、位相差CCD17’が垂直方向で撮影された場合には、焦点距離がAの場合かつ撮影方向が垂直方向の1次元の補正テーブルである1次元SD補正テーブルYが取得される(ステップS63)。これにより、シェーディング補正に使用される1次元の補正テーブルが取得される。
1次元SD補正部67A−5は、取得された1次元の補正テーブルを用いてシェーディング補正を行う(ステップS64)。以下、ステップS64を具体的に説明する。
座標演算部67−1は、主画素及び副画素から同じ位置にある任意の画素を選択する(ステップS64−1)。任意の画素の情報はテーブル選択部67−4eに出力され、テーブル選択部67−4eは、ステップS62〜S63で取得された1次元の補正テーブルの中から座標演算部67−1で選択された主画素の画素位置に対応した補正値を読み出す(ステップS64−2)。また、テーブル選択部67−4eは、ステップS62〜S63で取得された1次元の補正テーブルの中の補正値であって、ステップS64−2で読みだされた補正値と左右対称位置にある補正値を読み出す(ステップS64−3)。
SD係数演算部67−6は、テーブル選択部67−4eがステップS64−2、ステップS64−3のそれぞれで取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する(ステップS64−4)。
SD補正部67−7は、テーブル選択部67−4eがステップS64−2で取得した補正値に基づいてSD係数演算部67−6が算出したシェーディング補正係数を、座標演算部67−1が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う(ステップS64−5)。また、SD補正部67−7は、テーブル選択部67−4eがステップS64−3で取得した補正値に基づいてSD係数演算部67−6が算出したシェーディング補正係数を、座標演算部67−1が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う(ステップS64−5)。
これを主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置7特有のシェーディング補正(ステップS64)が終了される。その後、シェーディング補正(ステップS64)が行われたデータに対して、2次元SD補正部67Bが2次元の補正テーブルを用いて通常のシェーディング補正を行う(ステップS16)。
本実施の形態によれば、1つの1次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。
また、本実施の形態では、水平方向に視差がある立体視画像の場合のみならず、垂直方向に視差がある立体視画像の場合においても適切なシェーディング補正をすることができる。
また、本実施の形態では、主画素と副画素とが加算されて1枚の2次元画像を得る場合、又は図24に示した4画素1マイクロレンズの4画素を加算することにより1枚の2次元画像を得る場合には、単眼3D(瞳分割)に起因する各面の濃度ムラが相殺されるため、1次元のシェーディング補正を行わないようにしたが、各面を加算せずに高解像度の2D画像を取得する場合には、瞳分割に起因する各面の濃度ムラを個別にシェーディング補正する必要がある。
[瞳分割に起因する濃度ムラをシェーディング補正する他の実施の形態]
次に、4画素1マイクロレンズの位相差CCD17’から得られる4面(A,B,C,D面)の瞳分割に起因する濃度ムラを、面ごとに補正する場合について説明する。
次に、4画素1マイクロレンズの位相差CCD17’から得られる4面(A,B,C,D面)の瞳分割に起因する濃度ムラを、面ごとに補正する場合について説明する。
図28は、4画素1マイクロレンズの位相差CCD17’から得られる4面(A,B,C,D面)の瞳分割に起因する濃度ムラを示すイメージ図である。尚、図28上で、濃度の濃い部分は明るい部分に対応する。
いま、4画素1マイクロレンズの位相差CCD17’(図24)のフォトダイオードAのみからなる1画面(A面)の場合、瞳分割に起因する濃度ムラは、A面の右下隅の位置OAが最も明るくなり、この位置OAから遠ざかるにしたがって暗くなる濃度勾配を有している。
従って、図28のA面上に示した矢印の方向の1次元の補正テーブル(位置OAとその対角の位置とを結ぶ対角線上の、位置OAからの距離に応じた1次元の補正テーブル)を準備し、補正しようとするA面の画素をシェーディング補正する場合には、そのA面の画素の位置OAからの距離に基づいて前記1次元の補正テーブルから対応する補正値を読み出して適用することにより、瞳分割に起因するA面の濃度ムラのシェーディング補正を行うことができる。
尚、A面内の各画素の位置OAからの距離は、予め求めることができるため、画素ごとに位置OAからの距離を示す情報を持たせることができる。
また、B面、C面及びD面の瞳分割に起因する濃度ムラを補正する場合も、上記A面と同じ1次元の補正テーブルを使用することができる。この場合、1次元の補正テーブルから補正値を読み出すためのB面の各画素の距離は、B面の左下隅の位置OBからの距離とし、同様にC面、D面の各画素の距離は、それぞれC面の右上隅の位置OCからの距離、D面の左上隅の位置ODからの距離とする。
即ち、A面からD面の各面の画素は、それぞれ基準とする位置(OA〜OD)からの距離情報を予め保持し、各画素の距離に応じた補正値を1次元の補正テーブルから読み出して適用することにより、瞳分割に起因する濃度ムラを補正することができる。
次に、9画素1マイクロレンズの位相差CCD17から得られる9面(A〜I面)の瞳分割に起因する濃度ムラを、面ごとに補正する場合について説明する。
図29は、9画素1マイクロレンズの位相差CCDの要部を示す図である。同図に示すように9画素1マイクロレンズの位相差CCDは、9個のフォトダイオードA〜Iが2次元に並べられ、その9個のフォトダイオードを覆うように1つのマイクロレンズML”が配設されたものを1個のユニット(9画素1マイクロレンズ)として、このユニットが2次元に配置されている。尚、9画素1マイクロレンズの1ユニットは、図24に示した4画素マイクロレンズと同様にユニット毎に同じカラーフィルタが配設されている。
図30は、9画素1マイクロレンズの位相差CCDから得られる9面(A〜I面)の瞳分割に起因する濃度ムラを示すイメージ図である。尚、図30上で、濃度の濃い部分は明るい部分に対応する。
いま、図30に示すように9面(A〜I面)をマトリクス状に並べると、中央のE面が明るく、E面の中心から遠ざかるにしたがって暗くなる濃度勾配を有している。
従って、図30に示した矢印の方向の1次元の補正テーブル(E面の中央からの距離に応じた1次元の補正テーブル)を準備し、補正しようとする面の画素をシェーディング補正する場合には、その面の画素のE面の中央からの距離に基づいて前記1次元の補正テーブルから対応する補正値を読み出して適用することにより、瞳分割に起因する各面の濃度ムラのシェーディング補正を行うことができる。
尚、各面の画素のE面の中央からの距離は、図30に示すように幾何的に決まっているため、画素ごとに距離情報を持たせることができる。また、1次元の補正テーブルとしては、E面の画素はシェーディング補正を行わない補正値を持たせるようにしてもよい。
なお、上記実施の形態では、1次元補正テーブル記憶部に記憶されている補正値は、全ての画素位置に対応する補正値ではなく、離散的に補正値をもっており、テーブル選択部が2つの補正値を読みだし、SD係数演算部が線形補間等によりシェーディング補正係数を算出したが、1次元補正テーブルがすべての画素位置に対応する補正値を持つようにし、読み出した補正値を画素値に乗ずることによりシェーディング補正を行ってもよい。
また、位相差CCD17のマイクロレンズML側に設けられた遮光部材17A、17Bにより光束を分割する単眼立体撮像装置を例に説明したが、光束を分割するリレーレンズを含む撮影レンズ12’を用いた単眼立体撮像装置にも適用可能である。また、2つの画素(主画素、副画素)に対して1つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
また、上記実施の形態では、撮像素子にCCDを用いた例で説明したが、CCDに限定されるものではない。本発明はCMOS等他のイメージセンサにも適用可能である。また、CCDについても、フォトダイオードの配列はこれに限られず、フォトダイオードが異なる配列で並べられたCCDについても適用可能である。
さらに、上記第1〜第7の実施の形態では、主画素、副画素から出力された信号に対して1次元の補正テーブルを用いて単眼3D起因のシェーディング補正をした後、その補正後の信号に対して2次元の補正テーブルを用いて光学系起因のシェーディング補正を行うようにしたが、シェーディング補正は、信号に対するシェーディング補正係数の乗算であるため、上記とは逆に主画素、副画素から出力された信号に対して2次元の補正テーブルを用いて光学系起因のシェーディング補正をした後、その補正後の信号に対して1次元の補正テーブルを用いて単眼3D起因のシェーディング補正を行うようにしてもよいし、1次元の補正テーブルのシェーディング補正係数と2次元の補正テーブルのシェーディング補正係数とを乗算して1つのシェーディング補正係数を作成し、主画素、副画素から出力された信号に対して、前記作成したシェーディング補正係数を乗算することにより単眼3D起因及び光学系起因のシェーディング補正を1度に行うようにしてもよい。
さらにまた、各実施の形態は別々に実施する場合に限定されず、複数の実施の形態を組み合わせて実施することも可能である。また、第3〜第7の実施の形態においては、シェーディング補正に用いる1次元テーブルは、主画素、副画素同一のものでもよいし、別々のものでもよい。
1、2、3、4、5、6:単眼立体撮像装置、14:撮影レンズ、16:絞り、17A、17B:遮光部材、17、17’:位相差CCD、40:CPU、45:タイミングジェネレータ、46:絞り駆動部、47:レンズ駆動部、54:記録メディア、67、67−A、67−B、67−C、67−D、67−E、67−F:SD補正部
Claims (11)
- 単一の撮影光学系と、
前記撮影光学系を通過した光束を複数の光束に分割する瞳分割手段と、
前記複数の光束をそれぞれ受光する複数の画素群により構成された単一の撮像素子と、
少なくとも前記撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた2次元の補正テーブルを用いて、前記単一の撮像素子より出力される撮像信号全体に対してシェーディング補正をする第1のシェーディング補正手段と、
前記瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた1次元の補正テーブルを用いて、前記複数の画素群より出力される撮像信号をそれぞれシェーディング補正する第2のシェーディング補正手段と、
を備えたことを特徴とする単眼立体撮像装置。 - 前記第2のシェーディング補正手段は、前記複数の画素群に対するシェーディング補正を同一の1次元の補正テーブルを用いて行うことを特徴とする請求項1に記載の単眼立体撮像装置。
- 前記撮像素子は、前記複数の光束をそれぞれ受光する第1の画素群と第2の画素群とを有し、
前記第2のシェーディング補正手段は、
前記第1の画素群の所定の列の任意の位置の画素を第1の画素として選択し、かつ前記第2の画素群の所定の列の前記第1の画素に対応する位置にある画素を第2の画素として選択する手段と、
前記第1の画素に対する補正値を、前記第1の画素の位置に対応する位置にある補正値を前記1次元の補正テーブルから読み出す手段と、
前記1次元の補正テーブルにおいて前記第1の画素に対する補正値と左右対称位置にある補正値を、前記第2の画素に対する補正値として読み出す手段と、
前記第1の画素の画素値と前記第1の画素に対する補正値とに基づいて前記第1の画素に対してシェーディング補正をし、かつ前記第2の画素の画素値と前記第2の画素に対する補正値とに基づいて前記第2の画素に対してシェーディング補正をする手段と、
を有することを特徴とする請求項2に記載の単眼立体撮像装置。 - 前記撮像素子は、前記複数の光束をそれぞれ受光する第1の画素群と第2の画素群とを有し、
前記第2のシェーディング補正手段は、
前記第1の画素群の所定の列の任意の位置の画素を第1の画素として選択し、かつ前記第2の画素群の所定の列から前記第1の画素と左右対称位置にある画素を第2の画素として選択する手段と、
前記第1の画素の位置に対応する位置にある補正値を前記1次元の補正テーブルから読み出す手段と、
前記第1の画素の画素値と前記第1の画素の位置に対応する位置にある補正値とに基づいて前記第1の画素に対してシェーディング補正をし、かつ前記第2の画素の画素値と前記第1の画素の位置に対応する位置にある補正値とに基づいて前記第2の画素に対してシェーディング補正をする手段と、
を有することを特徴とする請求項2に記載の単眼立体撮像装置。 - 前記撮影光学系はズームレンズを有し、
前記ズームレンズの位置より焦点距離を取得する焦点距離取得手段を備え、
前記第2のシェーディング補正手段は、焦点距離に応じて複数の1次元の補正テーブルを記憶し、前記焦点距離取得手段により取得された焦点距離に応じた1次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項1から4のいずれかに記載の単眼立体撮像装置。 - 前記撮影光学系は絞り値を変化させる絞りを有し、
前記第2のシェーディング補正手段は、前記絞りの絞り値に応じて複数の1次元の補正テーブルを記憶し、前記絞りの現在の絞り値に応じた1次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項1から5のいずれかに記載の単眼立体撮像装置。 - 前記第2のシェーディング補正手段は、R、G、Bの各色の1次元の補正テーブルを記憶し、前記複数の画素群から選択された画素(以下、選択された画素)の画素色がRの場合にはR色用の1次元の補正テーブルを用い、選択された画素の画素色がGの場合にはG色用の1次元の補正テーブルを用い、選択された画素の画素色がBの場合にはB色用の1次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項1から6のいずれかに記載の単眼立体撮像装置。
- 前記第2のシェーディング補正手段は、G色用の1次元の補正テーブルとして、RGRG…の配列の水平ライン(以下、GRラインという)のG画素であるGr色用の1次元の補正テーブルと、GBGB…の配列の水平ライン(以下、GBラインという)のG画素であるGb色用の1次元の補正テーブルを記憶し、選択された画素の画素色が前記GRラインから読み出されたG画素の場合には前記Gr色用の1次元の補正テーブルを用い、選択された画素の画素色が前記GBラインから読み出されたG画素の場合にはGb色用の1次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項7に記載の単眼立体撮像装置。
- 前記撮像素子の向きを検出する向き検出手段を備え、
前記第2のシェーディング補正手段は、前記撮像素子が横向きの場合の1次元の補正テーブルと、前記撮像素子が縦向きの場合の1次元の補正テーブルとを記憶し、前記向き検出手段により検出された撮像素子の向きに基づいた1次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項1から8のいずれかに記載の単眼立体撮像装置。 - 単一の撮影光学系を通過した光束を瞳分割手段により瞳分割して得られた複数の光束がそれぞれ受光された複数の画素群からの出力信号を取得するステップと、
前記複数の画素群からの出力信号に対してシェーディング補正するステップであって、前記瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた1次元の補正テーブルを用いて、前記複数の画素群よりそれぞれ出力される出力信号に対してそれぞれシェーディング補正をする、及び少なくとも前記撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた2次元の補正テーブルを用いて、前記複数の画素群より出力される出力信号全体に対してシェーディング補正をするステップと、
を有することを特徴とする単眼立体撮像装置用シェーディング補正方法。 - 単一の撮影光学系を通過した光束を瞳分割手段により瞳分割して得られた複数の光束がそれぞれ受光された複数の画素群からの出力信号を取得するステップと、
前記複数の画素群からの出力信号に対してシェーディング補正するステップであって、前記瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた1次元の補正テーブルを用いて、前記複数の画素群よりそれぞれ出力される出力信号に対してそれぞれシェーディング補正をする、及び少なくとも前記撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた2次元の補正テーブルを用いて、前記複数の画素群より出力される出力信号全体に対してシェーディング補正をするステップと、
を演算装置に実行させることを特徴とする単眼立体撮像装置用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012533952A JP5385462B2 (ja) | 2010-09-13 | 2011-09-06 | 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010204566 | 2010-09-13 | ||
JP2010204566 | 2010-09-13 | ||
JP2011026428 | 2011-02-09 | ||
JP2011026428 | 2011-02-09 | ||
PCT/JP2011/070226 WO2012036019A1 (ja) | 2010-09-13 | 2011-09-06 | 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム |
JP2012533952A JP5385462B2 (ja) | 2010-09-13 | 2011-09-06 | 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013207814A Division JP5722975B2 (ja) | 2010-09-13 | 2013-10-03 | 撮像装置、撮像装置用シェーディング補正方法及び撮像装置用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5385462B2 true JP5385462B2 (ja) | 2014-01-08 |
JPWO2012036019A1 JPWO2012036019A1 (ja) | 2014-02-03 |
Family
ID=45831486
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012533952A Expired - Fee Related JP5385462B2 (ja) | 2010-09-13 | 2011-09-06 | 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム |
JP2013207814A Active JP5722975B2 (ja) | 2010-09-13 | 2013-10-03 | 撮像装置、撮像装置用シェーディング補正方法及び撮像装置用プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013207814A Active JP5722975B2 (ja) | 2010-09-13 | 2013-10-03 | 撮像装置、撮像装置用シェーディング補正方法及び撮像装置用プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9282312B2 (ja) |
EP (1) | EP2618585B1 (ja) |
JP (2) | JP5385462B2 (ja) |
CN (1) | CN103109536B (ja) |
WO (1) | WO2012036019A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5395273B2 (ja) * | 2010-09-08 | 2014-01-22 | パナソニック株式会社 | 立体画像処理装置、立体撮像装置、立体撮像方法およびプログラム |
WO2012137650A1 (ja) * | 2011-04-01 | 2012-10-11 | 富士フイルム株式会社 | 撮影装置及びプログラム |
JP6131546B2 (ja) | 2012-03-16 | 2017-05-24 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
EP2833638B1 (en) * | 2012-03-29 | 2017-09-27 | Fujifilm Corporation | Image processing device, imaging device, and image processing method |
JP2014026062A (ja) * | 2012-07-26 | 2014-02-06 | Sony Corp | 撮像装置および撮像方法 |
JP5889441B2 (ja) | 2013-01-04 | 2016-03-22 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
CN105122793B (zh) * | 2013-03-29 | 2017-05-10 | 株式会社尼康 | 图像处理装置、摄像装置及图像处理程序 |
WO2014192300A1 (ja) | 2013-05-31 | 2014-12-04 | 株式会社ニコン | 撮像素子、撮像装置、および画像処理装置 |
KR102103983B1 (ko) * | 2013-07-31 | 2020-04-23 | 삼성전자주식회사 | 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치 |
JP6033454B2 (ja) * | 2013-09-27 | 2016-11-30 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
US9300888B2 (en) * | 2013-10-03 | 2016-03-29 | Amlogic Co., Ltd. | Methods and systems for lens shading correction |
US10141107B2 (en) | 2013-10-10 | 2018-11-27 | Analog Devices, Inc. | Miniature planar transformer |
CN105100550A (zh) * | 2014-04-21 | 2015-11-25 | 展讯通信(上海)有限公司 | 阴影校正方法及装置、成像系统 |
US10567636B2 (en) | 2017-08-07 | 2020-02-18 | Qualcomm Incorporated | Resolution enhancement using sensor with plural photodiodes per microlens |
CN109709759A (zh) * | 2019-02-21 | 2019-05-03 | 北京交通大学 | 仅采用一个图像感知元件即可构成立体视觉的方法 |
CN113495366B (zh) * | 2020-04-03 | 2022-05-17 | 驻景(广州)科技有限公司 | 基于子像素出射光空间叠加的三维显示方法 |
JP2022184138A (ja) * | 2021-05-31 | 2022-12-13 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005043891A1 (ja) * | 2003-10-31 | 2005-05-12 | Mitsubishi Denki Kabushiki Kaisha | 画像補正方法および撮像装置 |
JP2005216191A (ja) * | 2004-01-30 | 2005-08-11 | Canon Inc | ステレオ画像処理装置およびステレオ画像処理方法 |
JP2007279512A (ja) * | 2006-04-10 | 2007-10-25 | Fujifilm Corp | 立体カメラ及び立体撮像素子 |
JP2009244858A (ja) * | 2008-03-11 | 2009-10-22 | Canon Inc | 撮像装置及び画像処理方法 |
JP2010152006A (ja) * | 2008-12-24 | 2010-07-08 | Canon Inc | 焦点検出装置及び方法、及び撮像装置 |
JP2011223562A (ja) * | 2010-03-23 | 2011-11-04 | Fujifilm Corp | 撮像装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5756981A (en) * | 1992-02-27 | 1998-05-26 | Symbol Technologies, Inc. | Optical scanner for reading and decoding one- and-two-dimensional symbologies at variable depths of field including memory efficient high speed image processing means and high accuracy image analysis means |
US6107637A (en) * | 1997-08-11 | 2000-08-22 | Hitachi, Ltd. | Electron beam exposure or system inspection or measurement apparatus and its method and height detection apparatus |
US6603885B1 (en) * | 1998-04-30 | 2003-08-05 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
JP3261115B2 (ja) * | 1999-09-22 | 2002-02-25 | 富士重工業株式会社 | ステレオ画像処理装置 |
US20030222998A1 (en) * | 2000-12-20 | 2003-12-04 | Satoru Yamauchi | Digital still camera system and method |
JP4574022B2 (ja) * | 2001-01-17 | 2010-11-04 | キヤノン株式会社 | 撮像装置及びシェーディング補正方法 |
JP2003007994A (ja) * | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP2004191629A (ja) | 2002-12-11 | 2004-07-08 | Canon Inc | 焦点検出装置 |
JP2004289055A (ja) * | 2003-03-25 | 2004-10-14 | Fuji Photo Film Co Ltd | 固体撮像素子 |
WO2004106857A1 (ja) * | 2003-05-29 | 2004-12-09 | Olympus Corporation | ステレオ光学モジュール及びステレオカメラ |
CN100554878C (zh) * | 2003-05-29 | 2009-10-28 | 奥林巴斯株式会社 | 立体光学模块和立体摄像机 |
EP1706702A2 (en) * | 2003-12-21 | 2006-10-04 | KREMEN, Stanley H. | System and apparatus for recording, transmitting, and projecting digital three-dimensional images |
JP2006157344A (ja) | 2004-11-29 | 2006-06-15 | Matsushita Electric Ind Co Ltd | 撮像装置 |
GB2425363A (en) * | 2005-04-18 | 2006-10-25 | Sharp Kk | Panoramic adapter with mirrors formed by rotating conic section |
WO2007095307A1 (en) * | 2006-02-13 | 2007-08-23 | 3M Innovative Properties Company | Monocular three-dimensional imaging |
US8619865B2 (en) * | 2006-02-16 | 2013-12-31 | Vidyo, Inc. | System and method for thinning of scalable video coding bit-streams |
US7978239B2 (en) * | 2007-03-01 | 2011-07-12 | Eastman Kodak Company | Digital camera using multiple image sensors to provide improved temporal sampling |
JP4301308B2 (ja) * | 2007-03-02 | 2009-07-22 | ソニー株式会社 | 撮像装置および画像処理方法 |
JP2008270937A (ja) * | 2007-04-17 | 2008-11-06 | Seiko Epson Corp | 画像処理コントローラ、電子機器及び画像処理方法 |
JP5040458B2 (ja) | 2007-06-16 | 2012-10-03 | 株式会社ニコン | 固体撮像素子及びこれを用いた撮像装置 |
JP5552214B2 (ja) * | 2008-03-11 | 2014-07-16 | キヤノン株式会社 | 焦点検出装置 |
US8194159B2 (en) * | 2008-04-28 | 2012-06-05 | Omnivision Technologies, Inc. | System and method for lens shading correction of an image sensor using splines |
US20100097444A1 (en) * | 2008-10-16 | 2010-04-22 | Peter Lablans | Camera System for Creating an Image From a Plurality of Images |
JP5424679B2 (ja) * | 2009-03-18 | 2014-02-26 | キヤノン株式会社 | 撮像装置及び信号処理装置 |
JP2011017800A (ja) * | 2009-07-07 | 2011-01-27 | Canon Inc | 焦点検出装置 |
US8363093B2 (en) * | 2009-07-27 | 2013-01-29 | Eastman Kodak Company | Stereoscopic imaging using split complementary color filters |
-
2011
- 2011-09-06 WO PCT/JP2011/070226 patent/WO2012036019A1/ja active Application Filing
- 2011-09-06 EP EP11825025.7A patent/EP2618585B1/en not_active Not-in-force
- 2011-09-06 CN CN201180042931.2A patent/CN103109536B/zh not_active Expired - Fee Related
- 2011-09-06 JP JP2012533952A patent/JP5385462B2/ja not_active Expired - Fee Related
-
2013
- 2013-02-28 US US13/781,144 patent/US9282312B2/en not_active Expired - Fee Related
- 2013-10-03 JP JP2013207814A patent/JP5722975B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005043891A1 (ja) * | 2003-10-31 | 2005-05-12 | Mitsubishi Denki Kabushiki Kaisha | 画像補正方法および撮像装置 |
JP2005216191A (ja) * | 2004-01-30 | 2005-08-11 | Canon Inc | ステレオ画像処理装置およびステレオ画像処理方法 |
JP2007279512A (ja) * | 2006-04-10 | 2007-10-25 | Fujifilm Corp | 立体カメラ及び立体撮像素子 |
JP2009244858A (ja) * | 2008-03-11 | 2009-10-22 | Canon Inc | 撮像装置及び画像処理方法 |
JP2010152006A (ja) * | 2008-12-24 | 2010-07-08 | Canon Inc | 焦点検出装置及び方法、及び撮像装置 |
JP2011223562A (ja) * | 2010-03-23 | 2011-11-04 | Fujifilm Corp | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2012036019A1 (ja) | 2012-03-22 |
CN103109536A (zh) | 2013-05-15 |
US20130278730A1 (en) | 2013-10-24 |
EP2618585A4 (en) | 2014-02-26 |
JP2014039311A (ja) | 2014-02-27 |
EP2618585A1 (en) | 2013-07-24 |
US9282312B2 (en) | 2016-03-08 |
JP5722975B2 (ja) | 2015-05-27 |
JPWO2012036019A1 (ja) | 2014-02-03 |
CN103109536B (zh) | 2015-09-02 |
EP2618585B1 (en) | 2016-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5385462B2 (ja) | 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム | |
JP5640143B2 (ja) | 撮像装置及び撮像方法 | |
JP4875225B2 (ja) | 立体撮像装置 | |
JP5595499B2 (ja) | 単眼立体撮像装置 | |
US8786676B2 (en) | Imaging device for generating stereoscopic image | |
JP4897940B2 (ja) | 立体撮像装置 | |
JP4626684B2 (ja) | 複眼撮像装置及び像ブレ補正方法 | |
JP5166650B2 (ja) | 立体撮像装置、画像再生装置及び編集ソフトウエア | |
JP5474234B2 (ja) | 単眼立体撮像装置及びその制御方法 | |
WO2012039180A1 (ja) | 撮像デバイス及び撮像装置 | |
JP5469258B2 (ja) | 撮像装置および撮像方法 | |
JP4763827B2 (ja) | 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム | |
JP2011259168A (ja) | 立体パノラマ画像撮影装置 | |
JP2011199755A (ja) | 撮像装置 | |
JP5611469B2 (ja) | 立体撮像装置および方法 | |
JP2010204385A (ja) | 立体撮像装置および立体撮像方法 | |
JP2012124650A (ja) | 撮像装置および撮像方法 | |
JP2010200024A (ja) | 立体画像表示装置および立体画像表示方法 | |
JP5307189B2 (ja) | 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131003 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |