JP5740045B2 - 画像処理装置及び方法並びに撮像装置 - Google Patents
画像処理装置及び方法並びに撮像装置 Download PDFInfo
- Publication number
- JP5740045B2 JP5740045B2 JP2014507579A JP2014507579A JP5740045B2 JP 5740045 B2 JP5740045 B2 JP 5740045B2 JP 2014507579 A JP2014507579 A JP 2014507579A JP 2014507579 A JP2014507579 A JP 2014507579A JP 5740045 B2 JP5740045 B2 JP 5740045B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion
- filter
- digital filter
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
- G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Description
本発明は画像処理装置及び方法並びに撮像装置に係り、特に単一の撮影レンズを介して撮像される視差を有する立体視用の画像の視差を調整する技術に関する。
従来、単一の撮影レンズの左右方向の異なる領域を通過した被写体像が瞳分割されてそれぞれ結像される位相差CCD(Charge Coupled Device)により、各領域を通過した被写体像がそれぞれ光電変換され、ピントずれ量に応じて互いに位相差をもった左目画像及び右目画像(単眼3D画像)を取得する単眼3D撮像装置が知られている(特許文献1)。特許文献1に記載の立体撮像装置は、単眼3Dの左目画像と右目画像の視差の調整を絞りのF値により行っている。
特許文献2に記載の画像処理装置は、左右の視点画像間で互いに対応する画素間の視差量を算出し、視差量の分布を示す初期の視差マップを生成し、予め定められた外形形状及び視差量分布を示す複数の視差テンプレートのうちから、視差マップ内の部分領域と視差テンプレートとを比較することで、前記部分領域に対応する視差テンプレートを選択し、選択された視差テンプレートで置き換えられた視差マップに基づいて、左右の視点画像よりも視点数が多い多視点画像を生成している。また、特許文献2の段落[0048]には、特許文献2に記載の技術は、単眼3D画像にも適用できる記載がある。
特許文献3には、複眼撮像装置により撮像された視差のある左目画像と右目画像とを互いにシフトすることにより、左目画像と右目画像の視差を調整する技術が記載されている。
特許文献1に記載の単眼3D撮像装置は、絞りのF値を調整することにより単眼3D画像の視差の調整を行っているが、この視差の調整は、単眼3D撮像装置での撮像時にしか行うことができない。即ち、単眼3D画像を画像処理することにより、視差(F値)の異なる単眼3D画像を生成することができない。
特許文献2に記載の発明は、単眼3D画像を画像処理することにより、視差の異なる左目画像及び右目画像を生成することができる。しかしながら、生成後の左目画像及び右目画像は、単眼3D画像にはならない。
ここで、単眼3D画像は、視差が大きくなると、ぼけも大きくなる画像である。単眼3D画像の利点の1つとして、3Dテレビで3D専用眼鏡を外して鑑賞しても、二重像が殆ど発生しないという利点(2D画像として鑑賞できる利点)が挙げられる。
特許文献3に記載の左目画像と右目画像は、複眼撮像装置により撮像された画像であり、単眼3D画像ではない。また、左目画像と右目画像とを互いにシフトすることにより視差が調整された画像も単眼3D画像ではない。
本発明はこのような事情に鑑みてなされたもので、単眼3D画像装置により撮像された単眼3D画像から、視差量とぼかし量とが連動して調整された所望の立体視用の画像を生成することができる画像処理装置及び方法並びに撮像装置を提供することを目的とする。
前記目的を達成するために本発明の一の態様に係る画像処理装置は、単一の撮影光学系を介して撮像され、瞳分割手段により瞳分割された互いに視差を有する第1の画像及び第2の画像を取得する画像取得手段と、取得した第1の画像と第2の画像との対応する画素間の視差を取得する視差取得手段と、取得した第1の画像及び第2の画像の有する視差量及びぼけ量を変更した第3の画像及び第4の画像に変換するための第1の画像に適用する第1の変換フィルタ群及び第2の画像に適用する第2の変換フィルタ群のうち、取得した第1の画像及び第2の画像の画素毎に、視差取得手段により取得した当該画素の視差に対応する第1の変換フィルタ及び第2の変換フィルタを使用してフィルタ処理を行うフィルタ処理手段と、を備えている。
本発明の一の態様によれば、第1の画像及び第2の画像の画素毎に、当該画素の視差に応じた第1の変換フィルタ及び第2の変換フィルタによるフィルタ処理を行うことにより、視差量とぼけ量の両方を連動して調整するようにしている。
本発明の他の態様に係る画像処理装置において、フィルタ処理手段は、第3の画像及び第4の画像の対応する画素間の視差量が大きいほどぼけ量を大きくすることが好ましい。これにより、第3、第4の画像は、3Dディスプレイにより立体視することができ、また、3D専用眼鏡を外して鑑賞しても二重像が殆ど発生しないものになる。
本発明の更に他の態様に係る画像処理装置において、単一の撮影光学系に入射する光から第1の画像及び第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群及び第2のデジタルフィルタ群を記憶するデジタルフィルタ記憶手段と、記憶された第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、単一の撮影光学系に入射する光から第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群とに基づいて、第1の変換フィルタ群及び第2の変換フィルタ群を算出する変換フィルタ算出手段と、を備え、フィルタ処理手段は、取得した第1の画像及び第2の画像の画素毎に、視差取得手段により取得した当該画素の視差に基づいて、算出された第1の変換フィルタ群及び第2の変換フィルタ群から、視差に対応する第1の変換フィルタ及び第2の変換フィルタを選択し、選択した第1の変換フィルタ及び第2の変換フィルタを使用してフィルタ処理を行うようにしている。
デジタルフィルタ記憶手段には、単一の撮影光学系に入射する光から第1の画像及び第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群及び第2のデジタルフィルタ群が記憶されている。これらの第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、撮影光学系、瞳分割手段及び撮像素子等の特性により予めシミュレーションにより、又は点像の実測により取得することができる。
変換フィルタ算出手段は、第1、第2のデジタルフィルタ群と、第3、第4のデジタルフィルタ群とに基づいて第1、第2の画像を第3、第4の画像に変換するための第1、第2の変換フィルタを算出するようにしている。
本発明の更に他の態様に係る画像処理装置において、変換フィルタ算出手段は、デジタルフィルタ記憶手段に記憶された第1のデジタルフィルタ群及び第2のデジタルフィルタ群のうちのいずれか1つのデジタルフィルタをT(x,y)、デジタルフィルタT(x,y)をフーリエ変換したものをTf(ωx,ωy)とし、第3のデジタルフィルタ群及び第4のデジタルフィルタ群のうちのデジタルフィルタT(x,y)に対応するデジタルフィルタをTw(x,y)、デジタルフィルタTw(x,y)をフーリエ変換したものをTwf(ωx,ωy)とすると、実空間で畳み込む変換フィルタを、次式、 F-1(Tf(ωx,ωy)-1・Twf(ωx,ωy))の振幅成分(ただし、F-1:フーリエ逆変換)により算出することが好ましい。
本発明の更に他の態様に係る画像処理装置において、変換すべき第3の画像及び第4の画像への変換特性を指定する指定手段と、指定された変換特性に対応する第3のデジタルフィルタ群及び第4のデジタルフィルタ群を算出するデジタルフィルタ算出手段と、を備え、変換フィルタ算出手段は、デジタルフィルタ記憶手段に記憶された第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、デジタルフィルタ算出手段により算出された第3のデジタルフィルタ群及び第4のデジタルフィルタ群とを使用して第1の変換フィルタ群及び第2の変換フィルタ群を算出することが好ましい。
本発明の更に他の態様に係る画像処理装置において、単一の撮影光学系に入射する光から第1の画像及び第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、単一の撮影光学系に入射する光から第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群とに基づいて算出された、視差毎の第1の変換フィルタ群及び第2の変換フィルタ群を記憶する変換フィルタ記憶手段を備え、フィルタ処理手段は、取得した第1の画像及び第2の画像の画素毎に、視差取得手段により取得した当該画素の視差に基づいて、記憶された第1の変換フィルタ群及び第2の変換フィルタ群から、視差に対応する第1の変換フィルタ及び第2の変換フィルタを読み出し、読み出した第1の変換フィルタ及び第2の変換フィルタを使用してフィルタ処理を行うようにしている。
これによれば、第1、第2の変換フィルタ群を算出する必要がないため、第1、第2の画像から第3、第4の画像を生成するためのフィルタ処理の高速化を図ることができるが、予め第3、第4の画像毎に第1、第2の変換フィルタ群を記憶させておく必要があるため、所望の第3、第4の画像の数が多い場合には、変換フィルタ記憶手段の記憶容量が大きくなる欠点がある。
本発明の更に他の態様に係る画像処理装置において、変換フィルタ記憶手段は、第1のデジタルフィルタ群及び第2のデジタルフィルタ群のうちのいずれか1つのデジタルフィルタをT(x,y)、デジタルフィルタT(x,y)をフーリエ変換したものをTf(ωx,ωy)とし、第3のデジタルフィルタ群及び第4のデジタルフィルタ群のうちのデジタルフィルタT(x,y)に対応するデジタルフィルタをTw(x,y)、デジタルフィルタTw(x,y)をフーリエ変換したものをTwf(ωx,ωy)とすると、次式、 F-1(Tf(ωx,ωy)-1・Twf(ωx,ωy))の振幅成分(ただし、F-1:フーリエ逆変換)により算出された実空間で畳み込む変換フィルタを記憶するようにしている。
本発明の更に他の態様に係る画像処理装置において、変換すべき第3の画像及び第4の画像への変換特性を指定する指定手段を備え、変換フィルタ記憶手段は、単一の撮影光学系に入射する光から前記第1の画像及び第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、単一の撮影光学系に入射する光から前記第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群であって、指定手段により指定可能な複数の変換特性に対応する第3のデジタルフィルタ群及び第4のデジタルフィルタ群とに基づいて算出された、変換特性毎の第1の変換フィルタ群及び第2の変換フィルタ群を記憶し、フィルタ処理手段は、変換フィルタ記憶手段から指定手段により指定された変換特性に応じた第1の変換フィルタ群及び第2の変換フィルタ群から、視差に対応する第1の変換フィルタ及び第2の変換フィルタを読み出して使用するようにしている。
本発明の更に他の態様に係る画像処理装置において、単一の撮影光学系に入射する光から第1の画像又は第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群又は第2のデジタルフィルタ群の逆フィルタ群を記憶する逆フィルタ記憶手段を備え、フィルタ処理手段は、第1の変換フィルタ群及び第2の変換フィルタ群として、記憶された逆フィルタ群と、単一の撮影光学系に入射する光から第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群とを使用するようにしている。
第1の画像又は第2の画像の画素毎に、当該画素の視差毎の逆フィルタを掛けることにより、視差量とぼけ量がキャンセルされた画像を生成し、その画像に対して、視差毎の第3のデジタルフィルタ及び第4のデジタルフィルタを掛けることにより、第3の画像及び第4の画像を得ることができる。
本発明の更に他の態様に係る画像処理装置において、変換すべき第3の画像及び第4の画像への変換特性を指定する指定手段と、指定された変換特性に対応する第3のデジタルフィルタ群及び第4のデジタルフィルタ群を算出するデジタルフィルタ算出手段と、を備え、フィルタ処理手段は、デジタルフィルタ算出手段により算出された第3のデジタルフィルタ群及び第4のデジタルフィルタ群を使用するようにしている。
本発明の更に他の態様に係る画像処理装置において、指定手段により指定される第3の画像及び第4の画像への変換特性は、第1の画像及び第2の画像とは異なる撮影光学系の焦点距離、絞り値、撮像素子のサイズ、及び感度特性のうちの少なくとも1つである。
これにより、実際には第3、第4の画像は撮像されていないが、第1、第2の画像を撮像したときの焦点距離、絞り値、撮像素子のサイズ、及び感度特性のうちの少なくとも1つを変更した場合に得られる、第3、第4の画像を生成することができる。
本発明の更に他の態様に係る画像処理装置において、第3のデジタルフィルタ群及び第4のデジタルフィルタ群は、第1のデジタルフィルタ群及び第2のデジタルフィルタ群を相似形に拡縮したものであることが好ましい。これらの第3のデジタルフィルタ群及び第4のデジタルフィルタ群に基づいて変換される第3、第4の画像は、3Dディスプレイにより立体視することができ、また、3D専用眼鏡を外して鑑賞しても二重像が殆ど発生しないもの(単眼3D画像装置により撮像される単眼3D画像)になる。
本発明の更に他の態様に係る画像処理装置において、第3のデジタルフィルタ群及び第4のデジタルフィルタ群は、それぞれ円形で、点対称のフィルタ係数を有するデジタルフィルタ群としてもよい。この場合には、3D専用眼鏡を外して鑑賞すると、二重像になるが、ぼけが大きい場合など、人間の目では、画素同士の対応がとりづらい場合(立体視しにくい場合)でも、立体視が容易な第3、第4の画像を生成することができる。
本発明の更に他の態様に係る画像処理装置において、フィルタ処理手段は、複数の変換特性の第3の画像及び第4の画像を取得する際に、取得した第1の画像又は第2の画像の画素毎に、該画素毎の視差に対応する第1のデジタルフィルタ又は第2のデジタルフィルタの逆フィルタを掛ける第1の演算を行い、該第1の演算結果に、それぞれ複数の変換特性の第3の画像及び第4の画像に対応する第3のデジタルフィルタ及び第4のデジタルフィルタを掛けることが好ましい。
第1の演算により視差及びぼけがキャンセルされた画像が生成され、この画像の各画素に対して、それぞれ複数の変換特性の第3の画像及び第4の画像に対応する第3のデジタルフィルタ及び第4のデジタルフィルタを掛けて第3の画像及び第4の画像を生成することにより、第1の演算は1回で済み、計算時間の短縮を図ることができる。
本発明の更に他の態様に係る画像処理装置において、第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、画像の中心で互いに左右対称となり、瞳分割方向の像高に応じて左右対称性が変化するものを使用することが好ましい。
ここで、第1、第2のデジタルフィルタ群は、単一の撮影光学系に入射する光から第1、第2の画像に変換されるまでの変換特性に対応する視差毎のフィルタであり、第1、第2の画像にどのようなフィルタがかかっているかを正確に把握することが、適切な第1、第2の変換フィルタ(所望の第3、第4の画像)を得るために重要である。そして、瞳分割されて取得される第1、第2の画像における感度は入射角により異なるため、第1、第2のデジタルフィルタは、画像の中心では互いに左右対称を有するが、瞳分割方向の像高に応じて左右対称性が変化する。したがって、第1、第2のデジタルフィルタは、像高に応じて異なるものを使用することが好ましい。
本発明の更に他の態様に係る画像処理装置において、第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、第1の画像及び第2の画像の取得時における、撮影光学系に含まれる絞りの開口形状を分割した形状を有するものを使用することが好ましい。
第1、第2のデジタルフィルタ群は、それぞれ点像のぼけ像(視差に応じて異なるぼけ像)を瞳分割したものに相当し、レンズの絞りの開口形状を分割した形状を有する。例えば、絞り開口が円形の場合には、それを2分割した形状を有し、絞り開口が多角形の場合には、それを2分割した形状を有する。したがって、第1、第2のデジタルフィルタ群は、単眼3D画像の撮像時の絞りの開口形状に合わせることが好ましい。
本発明の更に他の態様に係る画像処理装置において、第1の画像及び第2の画像は、カラー撮像素子から出力される3原色のカラー画像であり、第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、カラー撮像素子の色毎の感度特性に対応して色毎に異なるものを使用することが好ましい。
カラー撮像素子に入射する光の入射角に対する第1、第2の感度は、3原色の色毎に異なっている。したがって、これらの感度に基づいて設計される第1、第2のデジタルフィルタは、色毎に設計することが好ましい。
本発明の更に他の態様に係る画像処理装置において、第3のデジタルフィルタ群及び第4のデジタルフィルタ群は、3原色のカラー画像のうちの特定の色に対応するものを使用することが好ましい。これにより、色毎の像の形状違いの影響をなくし、画質の改善を図ることができる。
本発明の更に他の態様に係る画像処理装置において、第1の画像及び第2の画像は、カラー撮像素子から出力される3原色のカラー画像であり、視差取得手段は、取得した第1の画像と第2の画像との対応する画素間の視差を色毎に算出し、フィルタ処理手段は、取得した第1の画像と第2の画像に対するフィルタ処理を色毎に行うことが好ましい。
レンズは色収差を持っているため、色毎にぼけ(視差)が異なる。したがって、第1、第2の画像の対応する画素間の視差は色毎に取得し、第1、第2の画像から第3、第4への画像の変換は、色毎に異なる視差に基づいて行うことが好ましい。これにより、3原色の色収差の影響をなくし、画質の改善を図ることができる。
本発明の更に他の態様に係る撮像装置は、単一の撮影光学系と、撮影光学系の異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、第1、第2の領域を通過した被写体像をそれぞれ光電変換して第1の画像及び第2の画像を出力する撮像素子と、上述のいずれかの画像処理装置と、を備えている。
本発明の更に他の態様に係る画像処理方法は、単一の撮影光学系を介して撮像され、瞳分割手段により瞳分割された互いに視差を有する第1の画像及び第2の画像を取得する画像取得工程と、取得した第1の画像と第2の画像との対応する画素間の視差を取得する視差取得工程と、取得した第1の画像及び第2の画像の有する視差量及びぼけ量を変更した第3の画像及び第4の画像に変換するための第1の画像に適用する第1の変換フィルタ群及び第2の画像に適用する第2の変換フィルタ群のうち、取得した第1の画像及び第2の画像の画素毎に、視差取得工程により取得した当該画素の視差に対応する第1の変換フィルタ及び第2の変換フィルタを使用してフィルタ処理を行うフィルタ処理工程と、を含んでいる。
本発明の更に他の態様に係る画像処理方法において、単一の撮影光学系に入射する光から第1の画像及び第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群及び第2のデジタルフィルタ群を記憶するデジタルフィルタ記憶手段を準備する工程と、記憶された第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、単一の撮影光学系に入射する光から第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群とに基づいて、第1の変換フィルタ群及び第2の変換フィルタ群を算出する変換フィルタ算出工程と、を更に含み、フィルタ処理工程は、取得した第1の画像及び第2の画像の画素毎に、視差取得工程により取得した当該画素の視差に基づいて、算出された第1の変換フィルタ群及び第2の変換フィルタ群から、視差に対応する第1の変換フィルタ及び第2の変換フィルタを選択し、選択した第1の変換フィルタ及び第2の変換フィルタを使用してフィルタ処理を行うようにしている。
本発明の更に他の態様に係る画像処理方法において、単一の撮影光学系に入射する光から第1の画像及び第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、単一の撮影光学系に入射する光から第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群とに基づいて算出された、視差毎の第1の変換フィルタ群及び第2の変換フィルタ群を記憶する変換フィルタ記憶手段を準備する工程を更に含み、フィルタ処理工程は、取得した第1の画像及び第2の画像の画素毎に、視差取得工程により取得した当該画素の視差に基づいて、記憶された第1の変換フィルタ群及び第2の変換フィルタ群から、視差に対応する第1の変換フィルタ及び第2の変換フィルタを読み出し、読み出した第1の変換フィルタ及び第2の変換フィルタを使用してフィルタ処理を行うようにしている。
本発明の更に他の態様に係る画像処理方法において、単一の撮影光学系に入射する光から第1の画像又は第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群又は第2のデジタルフィルタ群の逆フィルタ群を記憶する逆フィルタ記憶手段を準備する工程を更に含み、フィルタ処理工程は、第1の変換フィルタ群及び第2の変換フィルタ群として、記憶された逆フィルタ群と、単一の撮影光学系に入射する光から第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群とを使用するようにしている。
本発明によれば、単一の撮影光学系を介して撮像され、瞳分割手段により瞳分割された互いに視差を有する第1の画像及び第2の画像(単眼3D画像)から、視差量とぼかし量とが連動して調整された所望の立体視用の第3、第4の画像を生成することができる。また、所望の第3、第4の画像として、第1、第2の画像とは異なる撮影光学系の焦点距離、絞り値、撮像素子のサイズ、又は感度特性のうちの少なくとも1つを指定することにより、実際には第3、第4の画像は撮像されていないが、第1、第2の画像を撮像したときの焦点距離、絞り値、撮像素子のサイズ、及び感度特性のうちの少なくとも1つを変更した場合に得られる、第3、第4の画像を生成することができる。
以下、添付図面に従って本発明に係る画像処理装置及び方法並びに撮像装置の実施の形態について説明する。
[撮像装置]
図1及び図2はそれぞれ本発明に係る撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置10は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラであり、単眼3D画像及び2D画像を撮像することができる単眼3D撮像装置である。
図1及び図2はそれぞれ本発明に係る撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置10は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラであり、単眼3D画像及び2D画像を撮像することができる単眼3D撮像装置である。
図1に示すように、撮像装置10は、その正面に撮影レンズ(撮影光学系)12、ストロボ1等が配設され、上面にはシャッタボタン2、電源/モードスイッチ3、モードダイヤル4等が配設されている。一方、図2に示すように、カメラ背面には、3D表示用の3D液晶モニタ30、ズームボタン5、十字ボタン6、MENU/OKボタン7、再生ボタン8、BACKボタン9等が配設されている。
撮影レンズ12は、沈胴式のズームレンズで構成されており、電源/モードスイッチ3によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ1は、主要被写体に向けてストロボ光を照射するものである。
シャッタボタン2は、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成されている。撮像装置10は、撮影モードで駆動しているときは、このシャッタボタン2が「半押し」されることにより、AE/AF(自動露出調整/自動合焦)が作動し、「全押し」されることにより、撮影を実行する。また、撮像装置10は、撮影モードで駆動しているときは、このシャッタボタン2が「全押し」されることにより、撮影を実行する。
電源/モードスイッチ3は、撮像装置10の電源をON/OFFする電源スイッチとしての機能と、撮像装置10のモードを設定するモードスイッチとしての機能とを併せ持っている。電源/モードスイッチ3は、「OFF位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置10は、電源/モードスイッチ3をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がONになり、「OFF位置」に合わせることにより、電源がOFFになる。そして、電源/モードスイッチ3をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
モードダイヤル4は、撮像装置10の撮影モードを設定する撮影モード設定手段として機能する。このモードダイヤル4の設定位置により、撮像装置10の撮影モードが様々なモードに設定される。例えば、平面画像(2D画像)の撮影を行う「平面画像撮影モード」、立体画像(3D画像)の撮影を行う「立体画像撮影モード」、動画撮影を行う「動画撮影モード」等である。
3D液晶モニタ30は、立体視画像(左目画像及び右目画像)をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。立体視画像が3D液晶モニタ30に入力された場合には、3D液晶モニタ30のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像やユーザインターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に1枚の画像をそのまま表示する。尚、3D液晶モニタ30の形態はこれに限らず、左目画像及び右目画像を立体画像として認識可能に表示させるものであれば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネを用いることで左目画像と右目画像とを個別に見ることができるものでもよい。
ズームボタン5は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン5Tと、広角側へのズームを指示するワイドボタン5Wとからなる。撮像装置10は、撮影モード時に、このテレボタン5Tとワイドボタン5Wとが操作されることにより、撮影レンズ12の焦点距離が変化する。また、再生モード時に、このテレボタン5Tとワイドボタン5Wとが操作されることにより、再生中の画像が拡大、縮小する。
十字ボタン6は、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン(カーソル移動操作手段)として機能する。左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。
MENU/OKボタン7は、3D液晶モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。
再生ボタン8は、撮影記録した立体画像(3D画像)、平面画像(2D画像)の静止画又は動画を3D液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。
BACKボタン9は、入力操作のキャンセルや1つ前の操作状態に戻すことを指示するボタンとして機能する。
[撮像装置の内部構成]
図3は上記撮像装置10の内部構成の実施形態を示すブロック図である。この撮像装置10は、撮像した画像をメモリカード54に記録するもので、装置全体の動作は、中央処理装置(CPU)40によって統括制御される。
図3は上記撮像装置10の内部構成の実施形態を示すブロック図である。この撮像装置10は、撮像した画像をメモリカード54に記録するもので、装置全体の動作は、中央処理装置(CPU)40によって統括制御される。
撮像装置10には、シャッタボタン2、モードダイヤル4、再生ボタン8、MENU/OKボタン7、十字ボタン6、ズームボタン5、BACKボタン9を含む操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいて撮像装置10の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御(絞り駆動部34の制御)、撮影動作制御(CCD制御部32等の制御)、画像処理制御、画像データの記録/再生制御、3D液晶モニタ(LCD)30の表示制御などを行う。
電源/モードスイッチ3により撮像装置10の電源がONされると、図示しない電源部から各ブロックへ給電され、撮像装置10の駆動が開始される。
撮影レンズ12、絞り14等を通過した光束は、位相差イメージセンサである撮像素子16(撮像手段、画像取得手段)に結像され、撮像素子16には信号電荷が蓄積される。
ここで、撮像素子16は、デフォーカス量に応じて視差の異なる左目画像及び右目画像(単眼3D画像)を取得することができるものであり、左目画像と右目画像とを加算することにより、2D画像も取得することができる。尚、撮像素子16の詳細については後述する。また、この実施の形態の撮像素子16は、CCDイメージセンサであるが、これに限らず、CMOS(Complementary Metal Oxide Semiconductor)型のイメージセンサでもよい。
撮像素子16に蓄積された左目画像及び右目画像の信号電荷は、タイミングジェネレータ(不図示)から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子16から読み出された電圧信号は、アナログ信号処理部18に加えられる。
アナログ信号処理部18は、撮像素子16から出力された電圧信号に対して相関二重サンプリング処理(撮像素子の出力信号に含まれるノイズ(特に熱雑音)等を軽減することを目的として、撮像素子の1画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理)により各画素ごとのR(赤)、G(緑)、B(青)信号がサンプリングホールドされ、増幅されたのちA/D変換器20に加えられる。A/D変換器20は、順次入力するR、G、B信号をデジタルのR、G、B信号に変換して画像入力コントローラ22に出力する。
デジタル信号処理部24は、画像入力コントローラ22を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、YC処理、エッジ強調処理等の所定の信号処理を行う。
また、デジタル信号処理部24は、左目画像と右目画像との対応する画素間の視差を取得する視差取得手段、取得した視差から視差マップを作成する視差マップ取得手段、取得した左目画像と右目画像(第1の単眼3D画像)及び視差マップから、単眼3D画像の視差量とぼけ量の両方を連動させて変更させ、所望の左目画像と右目画像(第2の単眼3D画像)を生成するフィルタ処理手段等を備えている。尚、撮像時に取得した第1の単眼3D画像から所望の第2の単眼3D画像を生成する画像処理方法の詳細については、後述する。
デジタル信号処理部24により処理された2D又は3Dの画像データは、VRAM(Video Random Access Memory)50に入力される。VRAM50には、それぞれが1コマ分の2D又は3Dの画像を表す画像データを記録するA領域とB領域とが含まれている。VRAM50において1コマ分の2D又は3Dの画像を表す画像データがA領域とB領域とで交互に書き換えられる。VRAM50のA領域及びB領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。
VRAM50から読み出された2D又は3Dの画像データは、ビデオエンコーダ28においてエンコーディングされ、カメラ背面に設けられている3D液晶モニタ30に出力される。これにより、2D又は3Dの被写体像が連続的に3D液晶モニタ30の表示画面上に表示される。
操作部38のシャッタボタン2の第1段階の押下(半押し)があると、撮像素子16は、AF動作及びAE動作を開始させ、レンズ駆動部36を介して撮影レンズ12のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。
AF処理部42は、コントラストAF処理又は位相差AF処理を行う部分である。コントラストAF処理を行う場合には、左目画像及び右目画像の少なくとも一方の画像のうちの所定のフォーカス領域内の画像の高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すAF評価値を算出する。このAF評価値が極大となるレンズ位置に撮影レンズ12内のフォーカスレンズを移動させることによりAF制御(コントラストAF)が行われる。
CPU40は、ズームボタン5からのズーム指令に応じてレンズ駆動部36を介して撮影レンズ12のズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。
また、シャッタボタン2の半押し時にA/D変換器20から出力される画像データは、AE検出部44に取り込まれる。
AE検出部44では、画面全体のG信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたG信号を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力する積算値より被写体の明るさ(撮影Ev値)を算出し、この撮影EV値に基づいて絞り14のF値及び撮像素子16の電子シャッタ(シャッタ速度)を所定のプログラム線図にしたがって決定する。
尚、図3において、46は、撮影画角内の人物の顔を検出し、その顔を含むエリアをAFエリア、AEエリアとして設定するための公知の顔検出回路である(例えば、特開平9−101579号公報)。
また、47は、カメラ制御プログラム、撮像素子16の欠陥情報、画像処理等に使用する各種のパラメータやテーブルの他に、本発明に係る第2の単眼3D画像を生成するための画像処理プログラム、第2の単眼3D画像を生成するために使用する第1及び第2の半月フィルタ群(第1、第2のデジタルフィルタ群)、第1の単眼3D画像を第2の単眼3D画像に変換するための第1、第2の変換フィルタ群、第1及び第2の半月フィルタ群の逆フィルタである第1、第2の逆フィルタ群等が記憶されているROM(Read Only Memory)ないしEEPROM(Electronically Erasable and Programmable Read Only Memory)(デジタルフィルタ記憶手段、変換フィルタ記憶手段、逆フィルタ記憶手段)である。尚、本発明に係る画像処理プログラム、フィルタ群等の詳細については後述する。
シャッタボタン2の半押しによりAE動作及びAF動作が終了し、シャッタボタンの第2段階の押下(全押し)があると、その押下に応答してA/D変換器20から出力される画像データが画像入力コントローラ22からメモリ(SDRAM:Synchronous Dynamic Random Access Memory)48に入力し、一時的に記憶される。
メモリ48に一時的に記憶された画像データは、デジタル信号処理部24により適宜読み出され、ここで、デモザイク処理(同時化処理;原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理)、エッジ強調の画像処理、及びYC処理(画像データの輝度データ及び色差データの生成処理)を含む所定の信号処理が行われる。YC処理された画像データ(YCデータ)は、再びメモリ48に記憶される。
メモリ48に記憶されたYCデータは、圧縮伸長処理部26に出力され、JPEG(Joint Photographic Experts Group)などの所定の圧縮処理が実行されたのち、再びメモリ48に記憶される。メモリ48に記憶されたYCデータ(圧縮データ)から画像ファイルが生成され、その画像ファイルは、メディア・コントローラ52により読み出され、撮像装置10に着脱可能な記録メディア(例えば、メモリカード)54に記録される。
上記構成の撮像装置10は、3D画像の撮像又は再生時に、撮像された3D画像(第1の単眼3D画像)から所望の3D画像(第2の単眼3D画像)を生成する画像処理機能を備えているが、その他の部分は従来のものと同じである。
[第1、第2のデジタルフィルタ群(第1、第2の半月フィルタ群)]
次に、本発明に係る画像処理方法が適用される単眼3D画像、及び第1、第2のデジタルフィルタ群(第1、第2の半月フィルタ群)について、図4及び図5を参照して説明する。
次に、本発明に係る画像処理方法が適用される単眼3D画像、及び第1、第2のデジタルフィルタ群(第1、第2の半月フィルタ群)について、図4及び図5を参照して説明する。
図4は、レンズが物体aの前面にピント調整された状態で、ピント位置よりも手前の物体(点光源)がどのように撮影されるかを示す図であり、通常の撮像素子200により撮像される画像と、特殊な撮像素子(単眼3D用の撮像素子)16により撮像される左目画像及び右目画像が示されている。尚、図4上の撮像素子200及び16は、それぞれ被写体側から見た受光面を示している。
撮像素子200は、それぞれマトリクス状に配列された奇数列の画素(主画素、A面画素ともいう)と、偶数列の画素(副画素、B面画素ともいう)とが、水平垂直方向にそれぞれ半ピッチずつずれて配置されている。A面画素からなる画像(A面画像)と、B面画素からなる画像(B面画像)とは、それぞれベイヤー配列のカラーフィルタを有している。これらのA面画像とB面画像とから1枚の高解像度の画像を生成することができる。尚、撮像素子200のA面画素、B面画素に対応して設けられた、光が入射する開口は、各画素の中央に形成されている。また、各画素上には、図示しないマイクロレンズが設けられている。
撮像素子200から得られるピント位置よりも手前の点光源の画像は、後ピンとなり、そのぼけ量に相当する直径の円になる。
一方、撮像素子16は、A面画素に形成された開口と、B面画素に形成された開口とが、それぞれ左右方向に偏倚している。A面画素には、レンズの左側の領域を通過する光が入射し、B面画素には、レンズの右側の領域を通過する光が入射するようになっている。
上記構成の単眼3D用の撮像素子16のA面画素からなる画像(A面画像)は、左目画像となり、B面画素からなる画像(B面画像)は、右目画像となる。
撮像素子16から得られるピント位置よりも手前の点光源の画像は、後ピンとなり、左目画像及び右目画像は、それぞれそのぼけ量に相当する直径を有する半月状になる。そして、半月状の左目画像の重心と右目画像の重心とのずれ量が、点光源の画像の視差量になる。即ち、ピント位置よりも手前の点光源の画像は、撮像素子16の特性(角度ごとの感度)などが既知であれば、点光源に対してどのような左目用及び右目用のフィルタ(前述した第1のデジタルフィルタ及び第2のデジタルフィルタ)が畳み込まれているかがわかる。尚、上記第1のデジタルフィルタ及び第2のデジタルフィルタは、半月状となるため、以後「第1の半月フィルタ及び第2の半月フィルタ」という。
さて、図4に示したレンズを介して単眼3D用の撮像素子16に入射する光のx方向の角度[°]に対する左目画像及び右目画像の感度の一例を、図5Aに示し、y方向の角度[°]に対する左目画像及び右目画像の感度の一例を、図5Bに示す。
図5Aに示すように、x方向の角度[°]に対する左目画像及び右目画像の感度は、角度ゼロを中心にして略対称になるとともに、感度のピーク位置がずれる。また、図5Bに示すように、y方向の角度[°]に対する左目画像及び右目画像の感度は一致し、角度ゼロに感度のピーク位置がくる。
図5A及び図5Bに示したx方向及びy方向の感度特性を掛け合わせると、図5Cに示すように撮像素子16に入射する光のx方向及びy方向の角度毎の感度特性が得られる。尚、図5Cは、撮像素子16の左目画像に対応する感度特性を示している。
次に、図5Dに示すように、点像のぼけ量に応じた、ある直径Rの範囲のみ光が撮像素子16に当たると仮定して、角度を撮像素子16のx軸(横方向)、y軸(縦方向)の座標に換算すると、左右の半月フィルタの重心間距離(即ち、視差ΔD)と、半月フィルタの直径Rは、それぞれ次式で表すことができる。
ここで、[数1]式及び[数2]式において、図6に示すように実焦点距離をf[mm]、絞り値をF、合焦位置までの合焦距離をLo[mm]、被写体までの距離をL[mm]としている。また、ΔDは、Fの関数ρ(F)を用いて、Rに対する所定の比で表すことができる。よって、ΔDが分かれば、Rの値や、現在どのような半径・分布の半月フィルタがかかっているかが分かる。
図7の(a)部及び(b)部は、それぞれ半月フィルタ、及び図6の撮像面近傍の拡大図である。尚、図6及び図7中に示した数式は、レンズの公式、及び幾何的な関係から導き出すことができる。
また、半月フィルタのフィルタ係数を算出する場合には、図8に示すように、ある座標を(Px,Py)、その座標(Px,Py)への光の入射角を(θx,θy)とすると、以下の[数3]式に示す(x,y)について、[数4]式に示す(θx,θy)を求める。
[数4]式で求めた入射角(θx,θy)に基づいて、図5Cに示した角度毎の感度特性を代入することにより、半月フィルタのフィルタ係数を算出する。このとき、フィルタ係数の総和で各フィルタ係数を除算することにより、フィルタ係数を正規化することが好ましい。
上記のようにして視差ΔDごとに左右の半月フィルタを作成し、視差ΔDに関連付けてROM(EEPROM)47に記憶させる。半月フィルタの作成は、予め外部で行い、作成した半月フィルタをROM47に記憶させることが好ましいが、デジタル信号処理部24内で作成し、ROM47に記憶させるようにしてもよい。
また、[数1]式では、視差ΔDが絶対値で表されているが、合焦距離Loよりも手前の物体の視差と合焦距離Loよりも奥側の物体の視差とは、視差方向(符号)が逆になる。したがって、視差の大きさ及び視差方向ごとに左右の半月フィルタを作成し、ROM47に記憶させる。
図9A及び図9Bは、それぞれROM47に記憶させる、それぞれ左目画像及び右目画像にかかっている視差ΔD毎の半月フィルタ(第1、第2の半月フィルタ群)の一例を示している。
[変換フィルタ]
次に、撮像装置10により撮像された視差を有する左目画像及び右目画像(第1の単眼3D画像)を、所望の左目画像及び右目画像(第2の単眼3D画像)に変換するための、変換フィルタについて説明する。
次に、撮像装置10により撮像された視差を有する左目画像及び右目画像(第1の単眼3D画像)を、所望の左目画像及び右目画像(第2の単眼3D画像)に変換するための、変換フィルタについて説明する。
図10に示すように、第1の単眼3D画像の撮像時の焦点距離がfの場合において、第2の単眼3D画像として、焦点距離fのn倍の焦点距離(n×f)の撮影レンズで撮像された場合に得られるものとする。
予めROM47に記憶されている半月フィルタ(焦点距離fに対応する第1、第2の半月フィルタ)と焦点距離(n×f)とに基づいて、前記[数1]式及び[数2]式に示した視差ΔD及び直径Rが、それぞれnの2乗倍となる、第2の単眼3D画像に対応する半月フィルタ(第3、第4の半月フィルタ)を算出する。即ち、第1、第2の半月フィルタのnの2乗倍の相似形の第3、第4の半月フィルタを算出する。
ここで、図10に示すように第1の単眼3D画像の左目画像にかかっている第1の半月フィルタをTL(x,y)、第1の半月フィルタTL(x,y)をフーリエ変換したものをTLf(ωx,ωy)とする。一方、第2の単眼3D画像の左目画像にかかるべき第3の半月フィルタをTLW(x,y)、第3の半月フィルタをTLW(x,y)をフーリエ変換したものをTLWf(ωx,ωy)とする。この場合、視差ΔDの左目画像の画素毎に、実空間で畳み込むべきフィルタ(以下、「変換フィルタ」という)を、次式、
[数5]
F-1(TLf(ωx,ωy)-1・TLWf(ωx,ωy))の振幅成分
ただし、F-1:フーリエ逆変換
より算出する。この変換フィルタ(第1の変換フィルタ)は、視差毎に記憶されている第1の半月フィルタに対応して算出される。第2の単眼3D画像の右目画像の変換に使用される第2の変換フィルタも同様にして算出する。
[数5]
F-1(TLf(ωx,ωy)-1・TLWf(ωx,ωy))の振幅成分
ただし、F-1:フーリエ逆変換
より算出する。この変換フィルタ(第1の変換フィルタ)は、視差毎に記憶されている第1の半月フィルタに対応して算出される。第2の単眼3D画像の右目画像の変換に使用される第2の変換フィルタも同様にして算出する。
尚、所望の第2の単眼3D画像が決定されると、予め視差に応じて第1、第2の半月フィルタ群に対応する、第1、第2の変換フィルタ群を算出することが好ましい。
このようにして算出した第1、第2の変換フィルタ群を使用して、第1の単眼3D画像を第2の単眼3D画像に変換する。即ち、第1の単眼3D画像の左目画像、右目画像の画素毎に、当該画素の視差ΔDに対応する第1の変換フィルタ及び第2の変換フィルタを使用してフィルタ処理を行うことにより、第1の単眼3D画像の画素間の視差毎に、その視差量とぼけ量の両方が連動して変換された第2の単眼3D画像が生成される。
<本発明により設計される半月フィルタの実施形態>
第1の単眼3D画像にどのような半月フィルタがかかっているときに、所望の第2の単眼3D画像にかかるべき半月フィルタをどのように設計するかについては、様々な指針がある。以下に示す実施形態では、焦点距離を2倍にした場合、絞りのF値を半分にした場合、撮像素子サイズを1.5倍にした場合の視差量とぼけ量に相当するような、半月フィルタを設計する。
第1の単眼3D画像にどのような半月フィルタがかかっているときに、所望の第2の単眼3D画像にかかるべき半月フィルタをどのように設計するかについては、様々な指針がある。以下に示す実施形態では、焦点距離を2倍にした場合、絞りのF値を半分にした場合、撮像素子サイズを1.5倍にした場合の視差量とぼけ量に相当するような、半月フィルタを設計する。
[焦点距離を2倍にしたときの半月フィルタ]
図11Aは、ある視差ΔDの第1の単眼3D画像の左目画素にかかっている第1の半月フィルタを示し、図11Bは、撮影レンズの焦点距離fを2倍した場合に得られる第2の単眼3D画像の、前記第1の半月フィルタに対応する第3の半月フィルタを示している。
図11Aは、ある視差ΔDの第1の単眼3D画像の左目画素にかかっている第1の半月フィルタを示し、図11Bは、撮影レンズの焦点距離fを2倍した場合に得られる第2の単眼3D画像の、前記第1の半月フィルタに対応する第3の半月フィルタを示している。
図11Bに示すように、第3の半月フィルタは、視差ΔD及び直径Rが、それぞれ4倍になる、第1の半月フィルタと相似形のフィルタとして設計される。これは、[数1]式及び[数2]式中のfに、2fを代入することにより、視差ΔD及び直径Rは、それぞれ4(=2×2)倍になるからである。
これにより、所望の第2の単眼3D画像は、視差ΔDが4倍に拡大され、同時に視差に応じたぼけ量(直径R)も4倍に拡大される。
[絞りのF値を半分(1/2)にしたときの半月フィルタ]
図12Aは、ある視差ΔDの第1の単眼3D画像の左目画素にかかっている第1の半月フィルタを示し、図12Bは、絞り14のF値を半分にした場合に得られる第2の単眼3D画像の、前記第1の半月フィルタに対応する第3の半月フィルタを示している。
図12Aは、ある視差ΔDの第1の単眼3D画像の左目画素にかかっている第1の半月フィルタを示し、図12Bは、絞り14のF値を半分にした場合に得られる第2の単眼3D画像の、前記第1の半月フィルタに対応する第3の半月フィルタを示している。
図12Bに示すように、第3の半月フィルタは、F値の関数ρ(F)で表されている視差ΔDが、ρ(0.5F)/ρ(F)倍となり、直径Rが2倍になる。
これにより、所望の第2の単眼3D画像は、視差ΔDがρ(0.5F)/ρ(F)倍に拡大され、同時に視差に応じたぼけ量(直径R)は2倍に拡大される。
[撮像素子サイズを1.5倍したときの半月フィルタ]
図13Aは、ある視差ΔDの第1の単眼3D画像の左目画素にかかっている第1の半月フィルタを示し、図13Bは、撮像素子サイズを1.5倍にした場合に得られる第2の単眼3D画像の、前記第1の半月フィルタに対応する第3の半月フィルタを示している。
図13Aは、ある視差ΔDの第1の単眼3D画像の左目画素にかかっている第1の半月フィルタを示し、図13Bは、撮像素子サイズを1.5倍にした場合に得られる第2の単眼3D画像の、前記第1の半月フィルタに対応する第3の半月フィルタを示している。
図13Bに示すように、第3の半月フィルタは、視差ΔD及び直径Rが、それぞれ2.25倍になる、第1の半月フィルタと相似形のフィルタとして設計される。撮像素子サイズが1.5倍になると、実質的に焦点距離fが1.5倍になったことに相当する。したがって、[数1]式及び[数2]式中のfに、1.5fを代入することにより、視差ΔD及び直径Rは、それぞれ2.25(=1.5×1.5)倍になる。
これにより、所望の第2の単眼3D画像は、視差ΔDが2.25倍に拡大され、同時に視差に応じたぼけ量(直径R)も2.25倍に拡大される。
[所望の単眼3D画像(第2の単眼3D画像)の指定手段]
次に、実際に撮像された第1の単眼3D画像から所望の第2の単眼3D画像を生成する場合の、所望の第2の単眼3D画像を指示する指示手段(ユーザインターフェース)について説明する。
次に、実際に撮像された第1の単眼3D画像から所望の第2の単眼3D画像を生成する場合の、所望の第2の単眼3D画像を指示する指示手段(ユーザインターフェース)について説明する。
単眼3D画像の撮像又は再生時に、実際に撮像された第1の単眼3D画像から所望の第2の単眼3D画像を生成する際に、撮像装置10のMENU/OKボタン7等を操作し、3D液晶モニタ30のメニュー設定画面上で、本発明による第1の単眼3D画像から第2の単眼3D画像を生成する機能を選択する。
この機能の選択により、3D液晶モニタ30の画面は、図14の(a)部に示すように焦点距離、F値、又は撮像素子サイズを選択する画面に遷移する。ここで、十字ボタン6の上下キーを操作することにより、焦点距離、F値、又は撮像素子サイズのいずれかを選択することができる。
焦点距離、F値、又は撮像素子サイズのいずれかを選択した後、MENU/OKボタン7を操作すると、3D液晶モニタ30の画面は、図14の(b)部に示すように選択した項目の倍率を設定する画面に遷移する。尚、図14の(b)部には、第1の単眼3D画像の撮像時の焦点距離fに対して、その焦点距離fを何倍にするかを設定する画面が示されている。
この画面表示時に、十字ボタン6の上下キーを操作し、数字をアップダウンさせることにより、任意の倍率を選択することができる。倍率の選択後、MENU/OKボタン7を操作すると、選択された倍率が確定するとともに、図14の(a)部に示す画面に遷移する。
このように焦点距離、F値、又は撮像素子サイズのいずれか1つ、又は複数を倍率の設定を行うことにより、第1の単眼3D画像から生成する所望の第2の単眼3D画像を指定することができる。
尚、所望の第2の単眼3D画像を指定するユーザインターフェースとしては、この実施形態に限らず、種々のものが考えられ、例えば、3D液晶モニタ30がタッチ操作による指示入力を受け付けるタッチパネルを有する場合には、タッチパネルでの操作により所望の単眼3D画像を指定するようにしてもよい。
<画像処理装置>
次に、撮像装置10により撮影されたオリジナルの第1の単眼3D画像、又はメモリカード54から読み出されたオリジナルの第1の単眼3D画像から、所望の第2の単眼3D画像を生成する画像処理装置(主としてデジタル信号処理部24、CPU40、ROM47が相当する)について説明する。
次に、撮像装置10により撮影されたオリジナルの第1の単眼3D画像、又はメモリカード54から読み出されたオリジナルの第1の単眼3D画像から、所望の第2の単眼3D画像を生成する画像処理装置(主としてデジタル信号処理部24、CPU40、ROM47が相当する)について説明する。
以下に示す第1の実施形態から第3の実施形態は、それぞれ第1の単眼3D画像から生成される第2の単眼3D画像は同一であるが、予め記憶しているフィルタの種類及び演算内容が相違する。
[第1の実施形態]
図15は本発明に係る画像処理装置の第1の実施形態を示す要部ブロック図である。
図15は本発明に係る画像処理装置の第1の実施形態を示す要部ブロック図である。
図15において、撮像装置10のデジタル信号処理部24は、フィルタ処理部240−1を有している。フィルタ処理部240−1は、畳み込み演算部242、244、変換フィルタ算出部246、及び半月フィルタ算出部248を備えている。
オリジナルの第1の単眼3D画像の左目画像100L、右目画像100Rは、それぞれ畳み込み演算部242、244に加えられる。畳み込み演算部242、244の他の入力には、変換フィルタ算出部246により算出された第1の変換フィルタFL,第2の変換フィルタFRが加えられるようになっており、畳み込み演算部242、244は、それぞれ2入力の畳み込み演算を行うことにより、左目画像100L、右目画像100Rの対応する2つの画素の視差量及びぼかし量を連動させて変更した、所望の第2の単眼3D画像の左目画像120L,右目画像120Rの対応する2つの画素を生成する。
ここで、変換フィルタ算出部246は、以下に示すように左目画像100L、右目画像100Rの対応する2つの画素の視差量、及び第2の単眼3D画像にかける設計された半月フィルタに応じた第1の変換フィルタFL,第2の変換フィルタFRを算出し、これらを畳み込み演算部242、244に出力する。
CPU40は、オリジナルの第1の単眼3D画像の左目画像100Lと右目画像100Rとの対応点同士の画素のずれ(視差)を画面全体にわたって算出し、画面位置に応じた視差を示す視差マップ130を作成する。
左目画像100Lと右目画像100Rとの対応点(特徴点)は、左目画像100Lと右目画像100Rの画像間でその特徴が一意に特定できる全ての点をとることが望ましい。
左目画像100Lと右目画像100Rの画像間で特徴が一致する特徴点の検出には、例えば、ブロックマッチング法を適用することができる。ブロックマッチング法は、左目画像100Lと右目画像100Rのうちの一方の画像(左目画像100L)から任意の画素を基準に切り出した所定のブロックサイズのブロックと、他方の画像(右目画像100R)のブロックとの一致度を評価し、ブロック間の一致度が最大となるときの右目画像100Rのブロックの基準の画素を、左目画像100Lの任意の画素に対応する右目画像100Rの画素とする。
ブロックマッチング法でのブロック間の一致度を評価する関数として、例えば各ブロック内の画素の輝度差の2乗和(SSD)を使用するものがある(SSDブロックマッチング法)。
そして、右目画像100Rの画素の位置と、右目画像100R上の対応する画素との画素間のずれ量及びずれ方向を示す視差(ずれ方向は正負で表すことができる)を求めることにより、視差マップ130を作成することができる。尚、視差マップ130の作成は、デジタル信号処理部24で行ってもよい。
半月フィルタ記憶部470は、オリジナルの左目画像100L、右目画像100Rにかかっている、視差に応じた第1の半月フィルタ、第2の半月フィルタ(図9A及び図9B等に示した第1、第2の半月フィルタ群)を記憶する部分であり、ROM47の一部の記憶部に対応する。
半月フィルタ算出部248は、所望の第2の単眼3D画像の左目画像120L,右目画像120Rにかけるための第3、第4の半月フィルタ群を算出するもので、半月フィルタ記憶部470から第1、第2の半月フィルタ群を入力するとともに、操作部38を含むユーザインターフェースにより指示された所望の第2の単眼3D画像への変換特性に対応する情報(第1の単眼3D画像の撮像時の焦点距離f,F値、又は撮像素子サイズに対する、第2の単眼3D画像の焦点距離f、F値、又は撮像素子サイズの倍率)を入力し、これらの入力した第1、第2の半月フィルタ群と、第2の単眼3D画像への変換特性にかかわる情報とに基づいて、第3、第4の半月フィルタ群を算出する(図11A〜図13B参照)。
変換フィルタ算出部246は、半月フィルタ記憶部470から入力する第1、第2の半月フィルタ群と、半月フィルタ算出部248により算出された第3、第4の半月フィルタ群とに基づいて、前述した[数5]式により視差ΔD毎に第1、第2の変換フィルタを算出する。ここで、算出した視差ΔD毎の第1、第2の変換フィルタ(第1、第2の変換フィルタ群)は、図示しない内部メモリに一時記憶しておくことが好ましい。
変換フィルタ算出部246は、左目画像100Lの任意の画素とその画素に対応する右目画像100Rの画素との視差を視差マップ130から取得し、この取得した視差に対応する第1、2の変換フィルタを、予め算出して記憶した第1、第2の変換フィルタ群から取得し、第1、第2の変換フィルタをそれぞれ畳み込み演算部242、244に出力する。
畳み込み演算部242は、左目画像100Lの任意の画素を基準にした、第1の変換フィルタと同じカーネルサイズの複数の画素と第1の変換フィルタとの畳み込み演算を行うことにより、任意の画素に対応する左目画像120L上の画素を算出し、同様に畳み込み演算部244は、左目画像100Lの任意の画素に対応する右目画像100Rの対応画素を基準にした、第2の変換フィルタと同じカーネルサイズの複数の画素と第2の変換フィルタとの畳み込み演算を行うことにより、右目画像100Rの対応画素の左目画像120L上の画素を算出する。
オリジナルの第1の単眼3D画像の左目画像100L、右目画像100Rの全ての対応画素について、上記フィルタ処理を行うことにより、第2の単眼3D画像の左目画像120L,右目画像120Rを生成することができる。
[第2の実施形態]
図16は本発明に係る画像処理装置の第2の実施形態を示す要部ブロック図である。
図16は本発明に係る画像処理装置の第2の実施形態を示す要部ブロック図である。
尚、図16において、図15と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図16において、撮像装置10のデジタル信号処理部24は、フィルタ処理部240−2を有している。フィルタ処理部240−2は、畳み込み演算部242、244、及び変換フィルタ読出部250を備えている。
変換フィルタ記憶部472は、第1の実施形態の変換フィルタ算出部246により算出される第1、第2の変換フィルタ群と同じ第1、第2の変換フィルタ群を記憶する部分であり、ROM47の一部の記憶部に対応する。この変換フィルタ記憶部472は、予め複数の種類(ユーザインターフェースにより指定可能な所望の第2の単眼3D画像への変換特性に対応する情報別の複数の種類)の第1、第2の変換フィルタ群を記憶していることが好ましい。また、これらの第1、第2の変換フィルタ群は、第1の実施形態の変換フィルタ算出部246に相当する外部機器等により算出し、その算出結果を変換フィルタ記憶部472に記憶させることができる。
変換フィルタ読出部250は、変換フィルタ記憶部472から適宜の第1、第2の変換フィルタFL、FRを読み出し、それぞれ畳み込み演算部242、244に出力するもので、操作部38を含むユーザインターフェースにより指示された所望の第2の単眼3D画像への変換特性に対応する情報を入力するとともに、視差マップ130から視差を入力する。
変換フィルタ読出部250は、所望の第2の単眼3D画像への変換特性に対応する情報に基づいて変換フィルタ記憶部472に記憶されている複数の種類の第1、第2の変換フィルタ群から使用する第1、第2のフィルタ群を決定する。一方、左目画像100Lの任意の画素とその画素に対応する右目画像100Rの画素との視差を視差マップ130から取得し、この取得した視差に対応する第1、2の変換フィルタを、前記決定した第1、第2のフィルタ群から読み出し、読み出した第1、第2の変換フィルタをそれぞれ畳み込み演算部242、244に出力する。
第2の実施形態によれば、予め変換フィルタ記憶部472に複数の種類の第1、第2の変換フィルタ群を記憶させるようにしたため、第1、第2の変換フィルタ群を算出するための演算処理を省略することができるが、変換フィルタ記憶部472として記憶容量の大きなものが必要になる。
[第3の実施形態]
図17は本発明に係る画像処理装置の第3の実施形態を示す要部ブロック図である。
図17は本発明に係る画像処理装置の第3の実施形態を示す要部ブロック図である。
尚、図17において、図15と共通する部分には同一の符号を付し、その詳細な説明は省略する。
図17において、撮像装置10のデジタル信号処理部24は、フィルタ処理部240−3を有している。フィルタ処理部240−3は、畳み込み演算を行う第1演算部260、262、第2演算部264、266、逆フィルタ読出部268、及び半月フィルタ算出部248を備えている。
変換フィルタは、[数5]式に示したように、F-1(TLf(ωx,ωy)-1・TLWf(ωx,ωy))の振幅成分のフィルタ係数を有するものである。この変換フィルタによるフィルタ処理は、F-1(TLf(ωx,ωy)-1)による畳み込み演算と、F-1(TLWf(ωx,ωy))による畳み込み演算とに分けることができる。
前者のF-1(TLf(ωx,ωy)-1)は、第1の半月フィルタの逆フィルタであり、後者のF-1(TLWf(ωx,ωy))は、第3の半月フィルタである。
第3の実施形態では、左目画像100L、右目画像100Rの対応する画素毎に、視差に応じた第1、第2の逆フィルタをかける第1の演算を行い、その演算結果に対して第3、第4の半月フィルタをかける第2の演算を行う。第1の演算は、オリジナルの第1の単眼3D画像の視差及びぼけがキャンセルされたぼけキャンセル画像を生成し、第2の演算は、ぼけキャンセル画像に対して、撮影レンズ12に入射する光から所望の第2の単眼3D画像に変換されるまでの変換特性に対応する、視差毎の第3、第4の半月フィルタをかけることにより左目画像120L、右目画像120Rを生成することを意味する。
逆フィルタ記憶部474は、半月フィルタ記憶部470に記憶されている第1、第2の半月フィルタ群から算出された第1、第2の逆フィルタ群を記憶する部分であり、ROM47の一部の記憶部に対応する。第1、第2の逆フィルタ群は、第1、第2の半月フィルタ群から外部機器等により算出し、その算出結果を逆フィルタ記憶部474に記憶させることができる。
逆フィルタ読出部268は、左目画像100Lの任意の画素とその画素に対応する右目画像100Rの画素との視差を視差マップ130から取得し、この取得した視差に対応する第1、第2の半月フィルタの逆フィルタである第1、2の逆フィルタを、逆フィルタ記憶部474から読み出し、それぞれ第1演算部260、262に出力する。
第1演算部260は、左目画像100Lの任意の画素を基準にした、第1の逆フィルタと同じカーネルサイズの複数の画素と第1の逆フィルタとの畳み込み演算を行う。同様に第2演算部262は、左目画像100Lの任意の画素に対応する右目画像100Rの対応画素を基準にした、第2の逆フィルタと同じカーネルサイズの複数の画素と第2の逆フィルタとの畳み込み演算を行う。これらの演算結果(ぼけ等をキャンセルしたぼけキャンセル画像)はそれぞれ第2演算部264、266に出力される。
第2演算部264、266の他の入力には、半月フィルタ算出部248により算出された第3、第4の半月フィルタ群のうち、視差マップ130から得られる現在の視差に対応する第3、第4の半月フィルタが加えられており、第2演算部264、266は、第1演算部260、262により算出されたぼけキャンセル画像と第3、第4の半月フィルタとの畳み込み演算を行うことにより、左目画像120L、右目画像120R上の各画素を算出する。
第3の実施形態によれば、第1の実施形態に比べて第1、第2の変換フィルタ群の算出が不要であるため、演算処理の高速化が可能である。また、第3の実施形態によれば、第1、第2の逆フィルタ群を記憶する必要があるが、複数の種類の第1、第2の変換フィルタ群を記憶させる必要がある第2の実施形態に比べて、逆フィルタ記憶部474の記憶容量を小さいものとすることができる。
尚、第1演算部260、262により算出されるぼけキャンセル画像は同一のものになる。このため、左目画像100L,右目画像100Rのいずれか一方のみを使用してぼけキャンセル画像を生成し、生成したぼけキャンセル画像をそれぞれ第2演算部264、266に出力することが好ましい。
[第3、第4の半月フィルタの他の実施形態]
図11Aから図13Bに示した実施形態では、第1の単眼3D画像にかかっている第1、第2の半月フィルタを相似形に拡縮して所望の第2の単眼3D画像に対応する第3、第4の半月フィルタを設計するようにしたが、第3、第4の半月フィルタは、第1、第2の半月フィルタとは無関係に設計することが可能である。
図11Aから図13Bに示した実施形態では、第1の単眼3D画像にかかっている第1、第2の半月フィルタを相似形に拡縮して所望の第2の単眼3D画像に対応する第3、第4の半月フィルタを設計するようにしたが、第3、第4の半月フィルタは、第1、第2の半月フィルタとは無関係に設計することが可能である。
図18Aは、ある視差ΔDの第1の単眼3D画像の左目画素にかかっている第1の半月フィルタを示し、図18Bは、単眼3D用の撮像素子の感度特性が変わったときに得られる第2の単眼3D画像の、前記第1の半月フィルタに対応する第3の半月フィルタを示している。
図18Bに示すように、第3の半月フィルタは、ぼけ量(直径R)は変化していないが、感度特性が異なる撮像素子に対応するため、Fの関数ρ(F)が関数ρ'(F)に変化する。その結果、第3の半月フィルタは、第1の半月フィルタとはぼけ量(直径R)が同じでも異なる視差ΔDを付与することができる。
また、感度特性が異なる撮像素子としては、理想的な撮像素子を仮定することができ、例えば、図5Aに示した左目画像と右目画像の感度特性によれば、入射角に応じたクロストークが発生しているが、クロストークのない感度特性を有する撮像素子に対応する第3、第4の半月フィルタを設計することができる。
図19の(a)部は、ある視差ΔDの第1の単眼3D画像の左目画素にかかっている第1、第2の半月フィルタをそれぞれ示し、図19の(b)部は、第1、第2の半月フィルタに対応する第3、第4のフィルタをそれぞれ示している。
図11A及び図11B、図12A及び図12B、図13A及び図13B及び図18A及び図18Bに示す実施形態では、二重像発生を回避すべく、目標とするフィルタを半月フィルタとしたが、ぼけが大きい場合など、人間の目では、画素同士の対応がとりづらい場合(立体視しにくい場合)には、二重像発生回避よりも人間の目に自然に見えることを優先させることが好ましい。
図19の(b)部に示す第3、第4のフィルタは、それぞれ円形で、その中心のフィルタ係数が最も高い点対称のフィルタ係数を有している。
図19の(b)部に示すように、円形の第3、第4のフィルタを目標とするフィルタにすることにより、ぼけを円形にすることができ、ぼけの口径が大きい場合などでも自然な立体視可能な画像を生成することができる。尚、計算方法などは、目標とするフィルタが半月フィルタのときと同様である。
[1つの第1の単眼3D画像から複数の第2の単眼3D画像を生成する手法]
次に、1つのオリジナルの第1の単眼3D画像から複数の第2の単眼3D画像を生成する場合の実施形態について説明する。
次に、1つのオリジナルの第1の単眼3D画像から複数の第2の単眼3D画像を生成する場合の実施形態について説明する。
図20A及び図20Bは、それぞれオリジナルの第1の単眼3D画像から複数の第2の単眼3D画像を生成する場合の2通りのプロセス(通常プロセスと計算時間短縮版プロセス)を示す概念図である。
図20Aに示す通常プロセスは、図15に示した第1の実施形態に相当する。通常プロセスでは、視差強調等の程度が異なる第2の単眼3D画像を生成する毎に、第1の単眼3D画像に対して実空間で畳み込む変換フィルタの算出処理([数5]式に示す演算)を行うようにしている。この通常のプロセスでは、複数の所望の第2の単眼3D画像に対応してそれぞれ変換フィルタを算出するため、変換フィルタの算出処理を複数回行う必要があり、計算量が多くなる。
図20Bに示す計算時間短縮版プロセスは、図17に示した第3の実施形態に相当する。計算時間短縮版プロセスでは、まず、オリジナルの第1の単眼3D画像から視差とぼけをキャンセルしたぼけキャンセル画像を生成する。このぼけキャンセル画像は、第1の単眼3D画像の左目画像又は右目画像に、第1の半月フィルタ又は第2の半月フィルタの逆フィルタである、第1の逆フィルタ又は第2の逆フィルタをかけることにより生成することができる。
第1の逆フィルタは、[数5]式中の前段のF-1(TLf(ωx,ωy)-1)の振幅成分をフィルタ係数とするものである。この逆フィルタの算出演算は、1回だけでよく、又は逆フィルタは、第1の単眼3D画像に固有のものであるため、予め演算して記憶しておくことにより、逆フィルタの演算を省略することができる。
続いて、1つのぼけキャンセル画像に対して、複数の第2の単眼3D画像にそれぞれ対応する第3、第4の半月フィルタをかける。第3の半月フィルタは、[数5]式中の後段のF-1(TLWf(ωx,ωy))の振幅成分をフィルタ係数とするもので、第1の半月フィルタを相似形に拡大することにより得られるものである。
図20Bに示す計算時間短縮版プロセスによれば、図20Aに示した通常プロセスに比べて変換フィルタの算出が不要となり、計算時間を短縮することができる。特に視差が連続的に変化する多数の第2の単眼3D画像を生成し、視差が連続的に変化する3D動画として表示させる場合に有効である。
<第1、第2の半月フィルタの正確な把握>
オリジナルの単眼3D画像にかかっている第1、第2の半月フィルタは、図9A及び図9Bに示したように視差に応じてフィルタサイズが異なっているが、視差以外に種々のパラメータに依存している。
オリジナルの単眼3D画像にかかっている第1、第2の半月フィルタは、図9A及び図9Bに示したように視差に応じてフィルタサイズが異なっているが、視差以外に種々のパラメータに依存している。
以下に示す実施形態では、第1、第2の半月フィルタを正確に把握し、それを元に生成される所望の画像の画質の改善を図る。
[像高に応じた第1、第2の半月フィルタ]
図21に示すように半月フィルタの形状は、像高に応じて異なる。即ち、オリジナルの単眼3D画像にかかっている第1、第2の半月フィルタは、像高ゼロ(画像中心)では、撮像素子の感度特性が左右対称であれば、図9A及び図9Bに示したように左右対称となる。瞳分割方向における像高が高い位置では、第1、第2の半月フィルタの左右対称性が変化し、第1、第2の半月フィルタの形状は、例えば、円の中心から左右方向にずれた位置を通る直線により円を2つに分割した形状になる。
図21に示すように半月フィルタの形状は、像高に応じて異なる。即ち、オリジナルの単眼3D画像にかかっている第1、第2の半月フィルタは、像高ゼロ(画像中心)では、撮像素子の感度特性が左右対称であれば、図9A及び図9Bに示したように左右対称となる。瞳分割方向における像高が高い位置では、第1、第2の半月フィルタの左右対称性が変化し、第1、第2の半月フィルタの形状は、例えば、円の中心から左右方向にずれた位置を通る直線により円を2つに分割した形状になる。
以下、像高により第1、第2の半月フィルタが変化する理由について説明する。
図22A及び図22Bに示すように、画面中央の物体における入射角と、画面端の物体における入射角は異なり、例えば、画面中央の物体における入射角が、−15°〜15°であるのに対し、画面端の物体における入射角は、−7°〜23°となる。
これにより、図23に示すように画面中央の物体における左目画像と右目画像の入射角特性は、左右対称となるのに対し、画面端の物体における左目画像と右目画像の入射角特性は、左右対称にならない。その結果、画面中央(像高ゼロ)の物体における第1、第2の半月フィルタは、左右対称になるのに対し、画面端(像高が高い位置)の物体における第1、第2の半月フィルタは、形状に差異が生じる。
したがって、像高に応じた第1、第2の半月フィルタを求めておくことが好ましい。そして、オリジナルの第1の単眼3D画像から所望の第2の単眼3D画像への変換時に、フィルタ処理の対象の画素の像高に対応した第1、第2の半月フィルタを使用する。
これにより、像高による像の形状違いの影響をなくし、画質の改善を図ることができる。
[絞りの開口形状に応じた第1、第2の半月フィルタ]
図24A及び図24Bは、4枚の絞り羽根からなるレンズの絞りを示し、図24C及び図24Dは、6枚の絞り羽根からなるレンズの絞りを示している。
図24A及び図24Bは、4枚の絞り羽根からなるレンズの絞りを示し、図24C及び図24Dは、6枚の絞り羽根からなるレンズの絞りを示している。
図24A及び図24Cは、それぞれレンズの絞りを全開にした開放絞りの状態を示しており、その絞り開口の形状は円形になっている。そして、図24Aに示したレンズの絞りを開放絞りから絞っていくと、図24Bに示すように絞り開口が四角形になる。図24Cに示したレンズの絞りを開放絞りから絞っていくと、図24Dに示すように絞り開口が六角形になる。
ぼけの形は、絞りの形に依存する。開放絞りのように絞り開口が円形の場合には、点像は円形にぼけ、これが左右に瞳分割されている単眼3D画像上では半月状にぼける(図4参照)。
したがって、第1、第2の半月フィルタは、単眼3D画像の撮像時の絞りの開口形状に合わせることが好ましい。即ち、図24A及び図24Cに示すように絞り開口の形状が円形の場合には、第1、第2の半月フィルタは半月状にする。一方、図24Bに示すように絞り開口の形状が四角形の場合には、第1、第2の半月フィルタは三角形にし、図24Dに示すように絞り開口の形状が六角形の場合には、六角形を左右2分割にした形状にする。
即ち、絞り段数毎に絞りの形状を把握し、第1、第2の半月フィルタは、単眼3D画像の撮像時の絞りの開口形状に合ったものを適用する。尚、レンズの絞りの開口形状は、この実施形態に限らず種々のものがあり、星型の絞りになることもある。
このように絞りの開口形状に合った第1、第2の半月フィルタを使用することにより、絞りの開口形状による像の形状違いの影響をなくし、画質の改善を図ることができる。
[3原色の色に応じた第1、第2の半月フィルタ]
図25A及び図25Bは、それぞれ、単眼3D用の撮像素子に入射する光のx方向の角度[°]に対する左目画像及び右目画像の感度と、y方向の角度[°]に対する左目画像及び右目画像の感度の一例を示すグラフである。
図25A及び図25Bは、それぞれ、単眼3D用の撮像素子に入射する光のx方向の角度[°]に対する左目画像及び右目画像の感度と、y方向の角度[°]に対する左目画像及び右目画像の感度の一例を示すグラフである。
x方向の角度[°]に対する左目画像及び右目画像の感度は、赤(R)、緑(G)、青(B)の3原色の色毎に異なっている。
図5で説明したように、第1、第2の半月フィルタは、単眼3D用の撮像素子に入射する光の角度に対する左目画像及び右目画像の感度に応じて求めているが、RGB毎に感度が異なるため、第1、第2の半月フィルタは、RGB毎に求めることが好ましい。
デジタル信号処理部24(フィルタ処理部)では、オリジナルの単眼3D画像を、それぞれRGB毎に求めた第1、第2の半月フィルタを使用し、RGB毎に所望の単眼3D画像を生成する。上記RGB毎のフィルタ処理は、撮像素子16のカラーフィルタ配列に対応するRGBデータ(RAWデータ)の段階で行ってもよいし、同時化処理後のRGBデータに対して行うようにしてもよい。
これにより、RGB毎の像の形状違いの影響をなくし、画質の改善を図ることができる。
また、上記のようにオリジナルの単眼3D画像にかかっている第1、第2の半月フィルタをRGB毎に求める場合、所望の単眼3D画像にかかるべき第3、第4の半月フィルタは、RGB毎の第1、第2の半月フィルタを相似形に拡大したものではなく、RGB共通(例えば、G画素用)の第3、第4の半月フィルタとすることが好ましい。
これにより、各色の重心ずれ(視差)を補正することができ、更にRGB毎の像の形状違いの影響をなくし、画質の改善を図ることができる。
[色収差に応じた画像処理]
レンズは一般的に軸上色収差という収差を持っている。図26はRGB毎の色収差の一例を示している。
レンズは一般的に軸上色収差という収差を持っている。図26はRGB毎の色収差の一例を示している。
この色収差が大きいレンズの場合、RGBの特定の一色、又はRGB信号から生成される輝度信号からオリジナルの単眼3D画像の視差ΔDを算出すると、同一距離上の被写体のはずが、色毎に視差ΔDが異なる結果になってしまう。
そこで、RGB毎に視差ΔDを把握し、RGB毎の視差マップを作成する。デジタル信号処理部24(フィルタ処理部)では、オリジナルの単眼3D画像を、それぞれRGBの色信号毎に処理を行うが、視差を拡大する所望の単眼3D画像を生成する際に使用する視差マップは、色ごとに生成した視差マップを使用する。そして、RGB毎に対応する視差マップを使用して所望の単眼3D画像を生成する。
これにより、所望の単眼3D画像の生成時にRGB毎の色収差の影響をなくし、画質の改善を図ることができる。
また、オリジナルの単眼3D画像を、それぞれRGBの色信号毎に処理を行う際に、前述したようにRGB毎の第1、第2の半月フィルタを使用し、所望の単眼3D画像にかかるべき第3、第4の半月フィルタは、RGB共通(例えば、G画素用)の第3、第4の半月フィルタとすることが好ましい。
撮像装置10の他の実施形態としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
<スマートフォンの構成>
図27は、撮像装置10の他の実施形態であるスマートフォン500の外観を示すものである。図27に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541とを備えている。なお、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図27は、撮像装置10の他の実施形態であるスマートフォン500の外観を示すものである。図27に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541とを備えている。なお、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図28は、図27に示すスマートフォン500の構成を示すブロック図である。図28に示すように、スマートフォンの主たる構成要素として、無線通信部510と、表示入力部520と、通話部530と、操作部540と、カメラ部541と、記憶部550と、外部入出力部560と、GPS(Global Positioning System)受信部570と、モーションセンサ部580と、電源部590と、主制御部501とを備える。また、スマートフォン500の主たる機能として、基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部510は、主制御部501の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部520は、主制御部501の制御により、画像(静止画像および動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル521と、操作パネル522とを備える。生成された3D画像を鑑賞する場合には、表示パネル521は、3D表示パネルであることが好ましい。
表示パネル521は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル522は、表示パネル521の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される1又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部501に出力する。次いで、主制御部501は、受信した検出信号に基づいて、表示パネル521上の操作位置(座標)を検出する。
図27に示すように、スマートフォン500の表示パネル521と操作パネル522とは一体となって表示入力部520を構成しているが、操作パネル522が表示パネル521を完全に覆うような配置となっている。この配置を採用した場合、操作パネル522は、表示パネル521外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル522は、表示パネル521に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル521に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
尚、表示領域の大きさと表示パネル521の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル522が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体502の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル522で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部530は、スピーカ531やマイクロホン532を備え、マイクロホン532を通じて入力されたユーザの音声を主制御部501にて処理可能な音声データに変換して主制御部501に出力したり、無線通信部510あるいは外部入出力部560により受信された音声データを復号してスピーカ531から出力するものである。また、図27に示すように、例えば、スピーカ531を表示入力部520が設けられた面と同じ面に搭載し、マイクロホン532を筐体502の側面に搭載することができる。
操作部540は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図28に示すように、操作部540は、スマートフォン500の筐体502の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部550は、主制御部501の制御プログラムや制御データ、本発明に係る視差を拡縮した所望の単眼3D画像を生成するための画像処理プログラムを含むアプリケーションソフトウェア、第1、第2の半月フィルタ群、第1、第2の変換フィルタ群、第1、第2の逆フィルタ群、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部550は、スマートフォン内蔵の内部記憶部551と着脱自在な外部メモリスロットを有する外部記憶部552により構成される。なお、記憶部550を構成するそれぞれの内部記憶部551と外部記憶部552は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、Micro SD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部560は、スマートフォン500に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth(登録商標))、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン500に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン500の内部の各構成要素に伝達することや、スマートフォン500の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部570は、主制御部501の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン500の緯度、経度、高度からなる位置を検出する。GPS受信部570は、無線通信部510や外部入出力部560(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部580は、例えば、3軸の加速度センサなどを備え、主制御部501の指示にしたがって、スマートフォン500の物理的な動きを検出する。スマートフォン500の物理的な動きを検出することにより、スマートフォン500の動く方向や加速度が検出される。この検出結果は、主制御部501に出力されるものである。
電源部590は、主制御部501の指示にしたがって、スマートフォン500の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部501は、マイクロプロセッサを備え、記憶部550が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン500の各部を統括して制御するものである。また、主制御部501は、無線通信部510を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部550が記憶するアプリケーションソフトウェアにしたがって主制御部501が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部560を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能、本発明に係る2D画像から3D画像を生成する機能などがある。
また、主制御部501は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部520に表示する等の画像処理機能を備える。画像処理機能とは、主制御部501が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部520に表示する機能のことをいう。
更に、主制御部501は、表示パネル521に対する表示制御と、操作部540、操作パネル522を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部501は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル521の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部501は、操作部540を通じたユーザ操作を検出したり、操作パネル522を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部501は、操作パネル522に対する操作位置が、表示パネル521に重なる重畳部分(表示領域)か、それ以外の表示パネル521に重ならない外縁部分(非表示領域)かを判定し、操作パネル522の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部501は、操作パネル522に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部541は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラであり、図3のブロック図に示した機能と同等の機能を備えている。また、カメラ部541は、主制御部501の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部550に記録したり、外部入出力部560や無線通信部510を通じて出力することができる。図27に示すにスマートフォン500において、カメラ部541は表示入力部520と同じ面に搭載されているが、カメラ部541の搭載位置はこれに限定されるものではない。カメラ部541は、表示入力部520の背面に搭載されてもよいし、あるいは、複数のカメラ部541が搭載されてもよい。なお、複数のカメラ部541が搭載されている場合には、撮影に供するカメラ部541を切り替えて単独にて撮影したり、あるいは、複数のカメラ部541を同時に使用して撮影することもできる。
また、カメラ部541はスマートフォン500の各種機能に利用することができる。例えば、表示パネル521にカメラ部541で取得した画像を表示することや、操作パネル522の操作入力の1つとして、カメラ部541の画像を利用することができる。また、GPS受信部570が位置を検出する際に、カメラ部541からの画像を参照して位置を検出することもできる。更には、カメラ部541からの画像を参照して、3軸の加速度センサを用いずに、あるいは、3軸の加速度センサと併用して、スマートフォン500のカメラ部541の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部541からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにGPS受信部570により取得した位置情報、マイクロホン532により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部580により取得した姿勢情報等などを付加して記憶部550に記録したり、外部入出力部560や無線通信部510を通じて出力することもできる。
[その他]
本発明は、オリジナルの単眼3D画像の静止画から所望の3Dの静止画を作成する場合に限らず、単眼3D画像の動画から所望の3Dの動画を生成する場合にも適用できる。
本発明は、オリジナルの単眼3D画像の静止画から所望の3Dの静止画を作成する場合に限らず、単眼3D画像の動画から所望の3Dの動画を生成する場合にも適用できる。
また、撮像装置10、スマートフォン500は、2D画像、単眼3D画像を撮像するとともに、実際に撮像したオリジナルの単眼3D画像から所望の3D画像を生成する本発明に係る画像処理装置を含んでいるが、本発明はこれに限定されるものではない。例えば、オリジナルの単眼3D画像は、外部機器や通信により取得し、取得した単眼3D画像から所望の3D画像を生成する、画像処理装置(例えば、パーソナルコンピュータ、タブレットPC等)にも本発明は適用できる。この場合、オリジナルの単眼3D画像にかかっている第1、第2の半月フィルタ群の情報等は別途取得する必要がある。
また、本実施形態では、オリジナルの単眼3D画像から所望の3D画像を得るために、実空間領域での空間フィルタリングを行うようにしているが、周波数領域における周波数フィルタリングを行うようにしてもよい。
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10…撮像装置、12…撮影レンズ、14…絞り、16…撮像素子、24…デジタル信号処理部、30…3D液晶モニタ、40…中央処理装置(CPU)、47…ROM(EEPROM)、48…メモリ、100L,120L…左目画像、100R、120R…右目画像、130…視差マップ、240−1、240−2、240−3…フィルタ処理部、242、244…畳み込み演算部、246…変換フィルタ算出部、248…半月フィルタ算出部、250…変換フィルタ読出部、260、262…第1演算部、264、266…第2演算部、268…逆フィルタ読出部、470…半月フィルタ記憶部、472…変換フィルタ記憶部、474…逆フィルタ記憶部、500…スマートフォン
Claims (24)
- 単一の撮影光学系を介して撮像され、瞳分割手段により瞳分割された互いに視差を有する第1の画像及び第2の画像を取得する画像取得手段と、
前記取得した第1の画像と第2の画像との対応する画素間の視差を取得する視差取得手段と、
前記取得した第1の画像及び第2の画像の有する視差量及びぼけ量を変更した第3の画像及び第4の画像に変換するための第1の画像に適用する第1の変換フィルタ群及び第2の画像に適用する第2の変換フィルタ群のうち、前記取得した第1の画像及び第2の画像の画素毎に、前記視差取得手段により取得した当該画素の視差に対応する第1の変換フィルタ及び第2の変換フィルタを使用してフィルタ処理を行うフィルタ処理手段と、
を備えた画像処理装置。 - 前記フィルタ処理手段は、第3の画像及び第4の画像の対応する画素間の視差量が大きいほどぼけ量を大きくする請求項1に記載の画像処理装置。
- 前記単一の撮影光学系に入射する光から前記第1の画像及び第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群及び第2のデジタルフィルタ群を記憶するデジタルフィルタ記憶手段と、
前記記憶された第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、単一の撮影光学系に入射する光から前記第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群とに基づいて、前記第1の変換フィルタ群及び第2の変換フィルタ群を算出する変換フィルタ算出手段と、を備え、
前記フィルタ処理手段は、前記取得した第1の画像及び第2の画像の画素毎に、前記視差取得手段により取得した当該画素の視差に基づいて、前記算出された第1の変換フィルタ群及び第2の変換フィルタ群から、視差に対応する第1の変換フィルタ及び第2の変換フィルタを選択し、選択した第1の変換フィルタ及び第2の変換フィルタを使用してフィルタ処理を行う請求項1又は2に記載の画像処理装置。 - 前記変換フィルタ算出手段は、前記デジタルフィルタ記憶手段に記憶された第1のデジタルフィルタ群及び第2のデジタルフィルタ群のうちのいずれか1つのデジタルフィルタをT(x,y)、該デジタルフィルタT(x,y)をフーリエ変換したものをTf(ωx,ωy)とし、前記第3のデジタルフィルタ群及び第4のデジタルフィルタ群のうちの前記デジタルフィルタT(x,y)に対応するデジタルフィルタをTw(x,y)、該デジタルフィルタTw(x,y)をフーリエ変換したものをTwf(ωx,ωy)とすると、実空間で畳み込む変換フィルタを、次式、
F-1(Tf(ωx,ωy)-1・Twf(ωx,ωy))の振幅成分(ただし、F-1:フーリエ逆変換)
により算出する請求項3に記載の画像処理装置。 - 前記変換すべき第3の画像及び第4の画像への変換特性を指定する指定手段と、
前記指定された変換特性に対応する第3のデジタルフィルタ群及び第4のデジタルフィルタ群を算出するデジタルフィルタ算出手段と、を備え、
前記変換フィルタ算出手段は、前記デジタルフィルタ記憶手段に記憶された第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、前記デジタルフィルタ算出手段により算出された第3のデジタルフィルタ群及び第4のデジタルフィルタ群とを使用して前記第1の変換フィルタ群及び第2の変換フィルタ群を算出する請求項3に記載の画像処理装置。 - 前記単一の撮影光学系に入射する光から前記第1の画像及び第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、単一の撮影光学系に入射する光から前記第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群とに基づいて算出された、視差毎の前記第1の変換フィルタ群及び第2の変換フィルタ群を記憶する変換フィルタ記憶手段を備え、
前記フィルタ処理手段は、前記取得した第1の画像及び第2の画像の画素毎に、前記視差取得手段により取得した当該画素の視差に基づいて、前記記憶された第1の変換フィルタ群及び第2の変換フィルタ群から、視差に対応する第1の変換フィルタ及び第2の変換フィルタを読み出し、読み出した第1の変換フィルタ及び第2の変換フィルタを使用してフィルタ処理を行う請求項1又は2に記載の画像処理装置。 - 前記変換フィルタ記憶手段は、前記第1のデジタルフィルタ群及び第2のデジタルフィルタ群のうちのいずれか1つのデジタルフィルタをT(x,y)、該デジタルフィルタT(x,y)をフーリエ変換したものをTf(ωx,ωy)とし、前記第3のデジタルフィルタ群及び第4のデジタルフィルタ群のうちの前記デジタルフィルタT(x,y)に対応するデジタルフィルタをTw(x,y)、該デジタルフィルタTw(x,y)をフーリエ変換したものをTwf(ωx,ωy)とすると、次式、
F-1(Tf(ωx,ωy)-1・Twf(ωx,ωy))の振幅成分(ただし、F-1:フーリエ逆変換)
により算出された実空間で畳み込む変換フィルタを記憶する請求項6に記載の画像処理装置。 - 前記変換すべき第3の画像及び第4の画像への変換特性を指定する指定手段を備え、
前記変換フィルタ記憶手段は、前記単一の撮影光学系に入射する光から前記第1の画像及び第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、単一の撮影光学系に入射する光から前記第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群であって、前記指定手段により指定可能な複数の変換特性に対応する第3のデジタルフィルタ群及び第4のデジタルフィルタ群とに基づいて算出された、変換特性毎の第1の変換フィルタ群及び第2の変換フィルタ群を記憶し、
前記フィルタ処理手段は、前記変換フィルタ記憶手段から前記指定手段により指定された変換特性に応じた第1の変換フィルタ群及び第2の変換フィルタ群から、視差に対応する第1の変換フィルタ及び第2の変換フィルタを読み出して使用する請求項6に記載の画像処理装置。 - 前記単一の撮影光学系に入射する光から前記第1の画像又は第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群又は第2のデジタルフィルタ群の逆フィルタ群を記憶する逆フィルタ記憶手段を備え、
前記フィルタ処理手段は、前記第1の変換フィルタ群及び第2の変換フィルタ群として、前記記憶された逆フィルタ群と、単一の撮影光学系に入射する光から前記第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群とを使用する請求項1又は2に記載の画像処理装置。 - 前記変換すべき第3の画像及び第4の画像への変換特性を指定する指定手段と、
前記指定された変換特性に対応する第3のデジタルフィルタ群及び第4のデジタルフィルタ群を算出するデジタルフィルタ算出手段と、を備え、
前記フィルタ処理手段は、前記デジタルフィルタ算出手段により算出された第3のデジタルフィルタ群及び第4のデジタルフィルタ群を使用する請求項9に記載の画像処理装置。 - 前記指定手段により指定される第3の画像及び第4の画像への変換特性は、前記第1の画像及び第2の画像とは異なる撮影光学系の焦点距離、絞り値、撮像素子のサイズ、及び感度特性のうちの少なくとも1つである請求項5、8又は10に記載の画像処理装置。
- 前記第3のデジタルフィルタ群及び第4のデジタルフィルタ群は、前記第1のデジタルフィルタ群及び第2のデジタルフィルタ群を相似形に拡縮したものである請求項5、8、10、又は11に記載の画像処理装置。
- 前記第3のデジタルフィルタ群及び第4のデジタルフィルタ群は、それぞれ円形で、点対称のフィルタ係数を有するデジタルフィルタ群である請求項3から12のいずれか1項に記載の画像処理装置。
- 前記フィルタ処理手段は、複数の変換特性の第3の画像及び第4の画像を取得する際に、前記取得した第1の画像又は第2の画像の画素毎に、該画素毎の視差に対応する第1のデジタルフィルタ又は第2のデジタルフィルタの逆フィルタを掛ける第1の演算を行い、該第1の演算結果に、それぞれ複数の変換特性の第3の画像及び第4の画像に対応する第3のデジタルフィルタ及び第4のデジタルフィルタを掛ける請求項9に記載の画像処理装置。
- 前記第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、画像の中心で互いに左右対称となり、瞳分割方向の像高に応じて左右対称性が変化するものを使用する請求項3から14のいずれか1項に記載の画像処理装置。
- 前記第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、前記第1の画像及び第2の画像の取得時における、前記撮影光学系に含まれる絞りの開口形状を分割した形状を有するものを使用する請求項3から15のいずれか1項に記載の画像処理装置。
- 前記第1の画像及び第2の画像は、カラー撮像素子から出力される3原色のカラー画像であり、
前記第1のデジタルフィルタ群及び第2のデジタルフィルタ群は、前記カラー撮像素子の色毎の感度特性に対応して色毎に異なるものを使用する請求項3から16のいずれか1項に記載の画像処理装置。 - 前記第3のデジタルフィルタ群及び第4のデジタルフィルタ群は、3原色のカラー画像のうちの特定の色に対応するものを使用する請求項17に記載の画像処理装置。
- 前記第1の画像及び第2の画像は、カラー撮像素子から出力される3原色のカラー画像であり、
前記視差取得手段は、前記取得した第1の画像と第2の画像との対応する画素間の視差を色毎に算出し、
前記フィルタ処理手段は、前記取得した第1の画像と第2の画像に対するフィルタ処理を色毎に行う請求項1から18のいずれか1項に記載の画像処理装置。 - 単一の撮影光学系と、
前記撮影光学系の異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第1、第2の領域を通過した被写体像をそれぞれ光電変換して第1の画像及び第2の画像を出力する撮像素子と、
請求項1から19のいずれか1項に記載の画像処理装置と、
を備えた撮像装置。 - 単一の撮影光学系を介して撮像され、瞳分割手段により瞳分割された互いに視差を有する第1の画像及び第2の画像を取得する画像取得工程と、
前記取得した第1の画像と第2の画像との対応する画素間の視差を取得する視差取得工程と、
前記取得した第1の画像及び第2の画像の有する視差量及びぼけ量を変更した第3の画像及び第4の画像に変換するための第1の画像に適用する第1の変換フィルタ群及び第2の画像に適用する第2の変換フィルタ群のうち、前記取得した第1の画像及び第2の画像の画素毎に、前記視差取得工程により取得した当該画素の視差に対応する第1の変換フィルタ及び第2の変換フィルタを使用してフィルタ処理を行うフィルタ処理工程と、
を含む画像処理方法。 - 前記単一の撮影光学系に入射する光から前記第1の画像及び第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群及び第2のデジタルフィルタ群を記憶するデジタルフィルタ記憶手段を準備する工程と、
前記記憶された第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、単一の撮影光学系に入射する光から前記第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群とに基づいて、前記第1の変換フィルタ群及び第2の変換フィルタ群を算出する変換フィルタ算出工程と、を更に含み、
前記フィルタ処理工程は、前記取得した第1の画像及び第2の画像の画素毎に、前記視差取得工程により取得した当該画素の視差に基づいて、前記算出された第1の変換フィルタ群及び第2の変換フィルタ群から、視差に対応する第1の変換フィルタ及び第2の変換フィルタを選択し、選択した第1の変換フィルタ及び第2の変換フィルタを使用してフィルタ処理を行う請求項21に記載の画像処理方法。 - 前記単一の撮影光学系に入射する光から前記第1の画像及び第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群及び第2のデジタルフィルタ群と、単一の撮影光学系に入射する光から前記第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群とに基づいて算出された、視差毎の前記第1の変換フィルタ群及び第2の変換フィルタ群を記憶する変換フィルタ記憶手段を準備する工程を更に含み、
前記フィルタ処理工程は、前記取得した第1の画像及び第2の画像の画素毎に、前記視差取得工程により取得した当該画素の視差に基づいて、前記記憶された第1の変換フィルタ群及び第2の変換フィルタ群から、視差に対応する第1の変換フィルタ及び第2の変換フィルタを読み出し、読み出した第1の変換フィルタ及び第2の変換フィルタを使用してフィルタ処理を行う請求項21に記載の画像処理方法。 - 前記単一の撮影光学系に入射する光から前記第1の画像又は第2の画像に変換されるまでの変換特性に対応する、視差毎の第1のデジタルフィルタ群又は第2のデジタルフィルタ群の逆フィルタ群を記憶する逆フィルタ記憶手段を準備する工程を更に含み、
前記フィルタ処理工程は、前記第1の変換フィルタ群及び第2の変換フィルタ群として、前記記憶された逆フィルタ群と、単一の撮影光学系に入射する光から前記第3の画像及び第4の画像に変換されるまでの変換特性に対応する、視差毎の第3のデジタルフィルタ群及び第4のデジタルフィルタ群とを使用する請求項21に記載の画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014507579A JP5740045B2 (ja) | 2012-03-30 | 2013-02-28 | 画像処理装置及び方法並びに撮像装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012082078 | 2012-03-30 | ||
JP2012082078 | 2012-03-30 | ||
PCT/JP2013/055373 WO2013146066A1 (ja) | 2012-03-30 | 2013-02-28 | 画像処理装置及び方法並びに撮像装置 |
JP2014507579A JP5740045B2 (ja) | 2012-03-30 | 2013-02-28 | 画像処理装置及び方法並びに撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5740045B2 true JP5740045B2 (ja) | 2015-06-24 |
JPWO2013146066A1 JPWO2013146066A1 (ja) | 2015-12-10 |
Family
ID=49259341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014507579A Expired - Fee Related JP5740045B2 (ja) | 2012-03-30 | 2013-02-28 | 画像処理装置及び方法並びに撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9277201B2 (ja) |
JP (1) | JP5740045B2 (ja) |
CN (1) | CN104205827B (ja) |
WO (1) | WO2013146066A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104205827B (zh) * | 2012-03-30 | 2016-03-16 | 富士胶片株式会社 | 图像处理装置及方法、以及摄像装置 |
JP5687803B2 (ja) | 2012-05-09 | 2015-03-25 | 富士フイルム株式会社 | 画像処理装置及び方法並びに撮像装置 |
USD817353S1 (en) * | 2014-03-07 | 2018-05-08 | Sony Corporation | Display panel or screen with an icon |
JP1563491S (ja) * | 2015-12-04 | 2016-11-21 | ||
CN107957268A (zh) * | 2016-10-18 | 2018-04-24 | 菜鸟智能物流控股有限公司 | 导航数据生成方法及相关设备、物体运送方法及相关设备 |
JP7091053B2 (ja) * | 2017-10-27 | 2022-06-27 | キヤノン株式会社 | 撮像装置および焦点検出方法 |
JP2020027957A (ja) * | 2018-08-09 | 2020-02-20 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN109540918B (zh) * | 2018-11-28 | 2021-04-16 | 鞍钢集团自动化有限公司 | 一种热轧卷边部缺陷检测装置及方法 |
US11357593B2 (en) | 2019-01-10 | 2022-06-14 | Covidien Lp | Endoscopic imaging with augmented parallax |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011118077A1 (ja) * | 2010-03-24 | 2011-09-29 | 富士フイルム株式会社 | 立体撮像装置および視差画像復元方法 |
WO2012032826A1 (ja) * | 2010-09-10 | 2012-03-15 | 富士フイルム株式会社 | 立体撮像装置および立体撮像方法 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5588948A (en) * | 1993-02-17 | 1996-12-31 | Olympus Optical Co. Ltd. | Stereoscopic endoscope |
GB9823689D0 (en) * | 1998-10-30 | 1998-12-23 | Greenagate Limited | Improved methods and apparatus for 3-D imaging |
US7092003B1 (en) * | 1999-01-21 | 2006-08-15 | Mel Siegel | 3-D imaging arrangements |
US6618054B2 (en) * | 2000-05-16 | 2003-09-09 | Sun Microsystems, Inc. | Dynamic depth-of-field emulation based on eye-tracking |
US8717456B2 (en) * | 2002-02-27 | 2014-05-06 | Omnivision Technologies, Inc. | Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing |
EP1958459B1 (en) * | 2005-12-02 | 2018-06-13 | Koninklijke Philips N.V. | Depth dependent filtering of image signal |
US7859588B2 (en) * | 2007-03-09 | 2010-12-28 | Eastman Kodak Company | Method and apparatus for operating a dual lens camera to augment an image |
WO2009097552A1 (en) * | 2008-02-01 | 2009-08-06 | Omnivision Cdm Optics, Inc. | Image data fusion systems and methods |
CN101557534B (zh) * | 2009-05-19 | 2010-09-01 | 无锡景象数字技术有限公司 | 一种从视频相近帧中生成视差图的方法 |
JP5491786B2 (ja) | 2009-07-21 | 2014-05-14 | 富士フイルム株式会社 | 画像再生装置及び方法 |
WO2011081646A1 (en) * | 2009-12-15 | 2011-07-07 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
JP5670481B2 (ja) * | 2010-02-19 | 2015-02-18 | デュアル・アパーチャー・インコーポレーテッド | 多開口画像データの処理 |
JP5368350B2 (ja) | 2010-03-18 | 2013-12-18 | 富士フイルム株式会社 | 立体撮像装置 |
CN102812714B (zh) * | 2010-03-24 | 2014-04-30 | 富士胶片株式会社 | 立体图像获取装置 |
JP2011211551A (ja) | 2010-03-30 | 2011-10-20 | Fujifilm Corp | 画像処理装置および画像処理方法 |
JP2011259211A (ja) | 2010-06-09 | 2011-12-22 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
CN102934025B (zh) * | 2010-06-30 | 2015-07-22 | 富士胶片株式会社 | 摄像装置及摄像方法 |
CN103039066B (zh) * | 2010-06-30 | 2016-01-27 | 富士胶片株式会社 | 成像装置、图像处理装置以及图像处理方法 |
JP2012249038A (ja) * | 2011-05-27 | 2012-12-13 | Hitachi Consumer Electronics Co Ltd | 画像信号処理装置、画像信号処理方法 |
JP2012253713A (ja) * | 2011-06-07 | 2012-12-20 | Sony Corp | 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム |
US9363498B2 (en) * | 2011-11-11 | 2016-06-07 | Texas Instruments Incorporated | Method, system and computer program product for adjusting a convergence plane of a stereoscopic image |
EP2786580B1 (en) * | 2011-11-30 | 2015-12-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Spatio-temporal disparity-map smoothing by joint multilateral filtering |
JP6024110B2 (ja) * | 2012-01-26 | 2016-11-09 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム |
JP5572647B2 (ja) * | 2012-02-17 | 2014-08-13 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 |
CN104205827B (zh) * | 2012-03-30 | 2016-03-16 | 富士胶片株式会社 | 图像处理装置及方法、以及摄像装置 |
-
2013
- 2013-02-28 CN CN201380018610.8A patent/CN104205827B/zh not_active Expired - Fee Related
- 2013-02-28 JP JP2014507579A patent/JP5740045B2/ja not_active Expired - Fee Related
- 2013-02-28 WO PCT/JP2013/055373 patent/WO2013146066A1/ja active Application Filing
-
2014
- 2014-09-29 US US14/499,933 patent/US9277201B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011118077A1 (ja) * | 2010-03-24 | 2011-09-29 | 富士フイルム株式会社 | 立体撮像装置および視差画像復元方法 |
WO2012032826A1 (ja) * | 2010-09-10 | 2012-03-15 | 富士フイルム株式会社 | 立体撮像装置および立体撮像方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104205827B (zh) | 2016-03-16 |
US9277201B2 (en) | 2016-03-01 |
CN104205827A (zh) | 2014-12-10 |
JPWO2013146066A1 (ja) | 2015-12-10 |
US20150015677A1 (en) | 2015-01-15 |
WO2013146066A1 (ja) | 2013-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5740045B2 (ja) | 画像処理装置及び方法並びに撮像装置 | |
JP5931206B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP5655174B2 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP5960286B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5687803B2 (ja) | 画像処理装置及び方法並びに撮像装置 | |
JP5889441B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5901782B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5901801B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
US9609224B2 (en) | Imaging device and image display method | |
JP5833254B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5926391B2 (ja) | 撮像装置及び合焦確認表示方法 | |
JP6000446B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5923595B2 (ja) | 画像処理装置及び方法並びに撮像装置 | |
JP5747124B2 (ja) | 撮像装置 | |
JP5955417B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP5972485B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム | |
JP5901780B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150413 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5740045 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |