JP6275174B2 - 画像処理方法、画像処理装置、および、撮像装置 - Google Patents
画像処理方法、画像処理装置、および、撮像装置 Download PDFInfo
- Publication number
- JP6275174B2 JP6275174B2 JP2016045216A JP2016045216A JP6275174B2 JP 6275174 B2 JP6275174 B2 JP 6275174B2 JP 2016045216 A JP2016045216 A JP 2016045216A JP 2016045216 A JP2016045216 A JP 2016045216A JP 6275174 B2 JP6275174 B2 JP 6275174B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distribution
- viewpoint
- image processing
- viewpoint images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 153
- 238000003384 imaging method Methods 0.000 title claims description 131
- 238000003672 processing method Methods 0.000 title claims description 37
- 210000001747 pupil Anatomy 0.000 claims description 157
- 238000006243 chemical reaction Methods 0.000 claims description 74
- 230000036961 partial effect Effects 0.000 claims description 70
- 238000000034 method Methods 0.000 claims description 67
- 230000008569 process Effects 0.000 claims description 62
- 230000003287 optical effect Effects 0.000 claims description 60
- 238000009499 grossing Methods 0.000 claims description 48
- 239000002131 composite material Substances 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000002829 reductive effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 22
- 238000012937 correction Methods 0.000 description 20
- 239000000203 mixture Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000001965 increasing effect Effects 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000004907 flux Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000005484 gravity Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 210000000720 eyelash Anatomy 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Image Analysis (AREA)
Description
本発明は、撮像素子により取得される、複数の視点に対応する複数の視点画像の画像処理に関する。
撮像装置の焦点検出方法の1つとして、撮像素子に形成された焦点検出画素により位相差方式の焦点検出を行う撮像面位相差方式がある。特許文献1に開示された撮像装置は、1つの画素に対して、1つのマイクロレンズと複数に分割された光電変換部が形成されている2次元撮像素子を用いる。複数に分割された光電変換部は、1つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行う。複数に分割された光電変換部で、それぞれ、受光した信号から視点信号を生成し、複数の視点信号間の視差から像ずれ量を算出してデフォーカス量に換算することで、位相差方式の焦点検出が行われる。特許文献2では、複数に分割された光電変換部によって受光した複数の視点信号を加算することで、撮像信号を生成することが開示されている。
撮影された画像に関する複数の視点信号は、光強度の空間分布および角度分布の情報であるライトフィールド(Light Field)データと等価である。非特許文献1では、取得されたライトフィールドデータを用いて撮像面とは異なる仮想結像面における画像を合成し、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。
SIGGRAPH‘00 Proceedings of the 27th annual conferrence on Computer graphics and interactive techniques,p297−306(2000)
しかしながら、複数の視点画像間の差が大きい領域は、遠近競合やオクルージョンが発生している可能性が高い。これらのデフォーカス状態や空間周波数成分構成が大きく異なる複数の被写体像が撮影されている領域に、リフォーカス処理での先鋭化や平滑化などの画像処理を行うと、画質品位が低下する場合がある。
本発明は、画質品位を良好に保持して画像処理を行うことを可能とする画像処理方法を提供することを目的とする。
本発明に係る画像処理方法は、複数の視点画像を取得し、前記複数の視点画像からコントラスト分布を生成し、前記複数の視点画像に基づく画像に対して、前記コントラスト分布に応じた画像処理を行い、出力画像を生成する。
本発明の画像処理方法によれば、画質品位を良好に保持して画像処理を行うことができる。
以下、本発明を実施するための形態について図面などを参照して説明する。なお、以下の実施形態では、デジタルカメラ等の撮像装置に適用した場合について説明するが、本発明に係る画像処理を実行する画像処理装置や情報処理装置、電子機器等に幅広く適用可能である。
[第1の実施例]
本発明の第1の実施例に係る画像処理方法を適用した撮像装置であるカメラの全体構成を例示して、以下に説明する。
本発明の第1の実施例に係る画像処理方法を適用した撮像装置であるカメラの全体構成を例示して、以下に説明する。
図1は本実施形例に係る撮像素子を有する撮像装置の構成例を示すブロック図である。撮像光学系(結像光学系)の先端に配置された第1レンズ群101は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ102は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第2レンズ群103は、絞り兼用シャッタ102と一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)を有する。第3レンズ群105は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ106は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子107は、例えば2次元CMOS(相補型金属酸化膜半導体)フォトセンサと周辺回路からなり、撮像光学系の結像面に配置される。
ズームアクチュエータ111は、不図示のカム筒を回動することで、第1レンズ群101および第2レンズ群103を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ112は、絞り兼用シャッタ102の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ114は、第3レンズ群105を光軸方向に移動させて焦点調節動作を行う。
被写体照明用の電子フラッシュ115は撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するLED(発光ダイオード)を備えた照明装置が用いられる。AF(オートフォーカス)補助光源116は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。
カメラ本体部の制御部を構成するCPU(中央演算処理装置)121は、種々の制御を司る制御中枢機能をもつ。CPU121は、演算部、ROM(リード・オンリー・メモリ)、RAM(ランダム・アクセス・メモリ)、A(アナログ)/D(デジタル)コンバーター、D/Aコンバーター、通信インターフェイス回路等を有する。CPU121はROMに記憶された所定のプログラムに従って、カメラ内の各種回路を駆動し、AF制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。また、CPU121は本発明に係るデータの生成手段、すなわち視点画像生成手段と、撮像画像生成手段、コントラスト分布生成手段、ずれ量分布生成、出力画像生成手段としての機能を有する。
電子フラッシュ制御回路122はCPU121の制御指令に従い、撮影動作に同期して電子フラッシュ115を点灯制御する。補助光源駆動回路123はCPU121の制御指令に従い、焦点検出動作に同期してAF補助光源116を点灯制御する。撮像素子駆動回路124は撮像素子107の撮像動作を制御するとともに、取得した撮像信号をA/D変換してCPU121に送信する。画像処理回路125はCPU121の制御指令に従い、撮像素子107により取得した画像のガンマ変換、カラー補間、JPEG(Joint Photographic Experts Group)圧縮等の処理を行う。
フォーカス駆動回路126はCPU121の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動し、第3レンズ群105を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路128はCPU121の制御指令に従い、絞りシャッタアクチュエータ112を駆動し、絞り兼用シャッタ102の開口径を制御する。ズーム駆動回路129はCPU121の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ111を駆動する。
表示部131はLCD(液晶表示装置)等の表示デバイスを有し、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部132は操作スイッチとして、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をCPU121に出力する。フラッシュメモリ133はカメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。本実施例では、撮像素子107により撮像され、画像処理回路125により処理された画像データとして複数の視点画像やそれらを撮像素子107内や画像処理回路125内で合成した合成画像を表示部131やフラッシュメモリ133に表示・記録する。
[撮像素子]
本実施例における撮像素子の画素と副画素の配列の概略図を図2に示す。図2の左右方向をx軸方向とし、上下方向をy軸方向とし、x軸方向およびy軸方向に直交する方向(紙面に垂直な方向)をz軸方向と定義する。図2は、本実施例の2次元CMOSセンサー(撮像素子)の画素(撮像画素)配列を4列×4行の範囲で、副画素配列を8列×4行の範囲で示したものである。
本実施例における撮像素子の画素と副画素の配列の概略図を図2に示す。図2の左右方向をx軸方向とし、上下方向をy軸方向とし、x軸方向およびy軸方向に直交する方向(紙面に垂直な方向)をz軸方向と定義する。図2は、本実施例の2次元CMOSセンサー(撮像素子)の画素(撮像画素)配列を4列×4行の範囲で、副画素配列を8列×4行の範囲で示したものである。
本実施例では、図2に示した2列×2行の画素群200は、第1色のR(赤)の分光感度を有する画素200Rが左上の位置に配置されている。また、第2色のG(緑)の分光感度を有する画素200Gが右上と左下の位置に配置されている。また、第3色のB(青)の分光感度を有する画素200Bが右下の位置に配置されている。さらに、各画素は、x軸方向に2分割(Nx分割)、y軸方向に1分割(Ny分割)された分割数2(分割数NLF=Nx×Ny)の第1副画素201と第2副画素202(第1副画素から第NLF副画素)の複数の副画素により構成されている。副画素はそれぞれ、焦点検出信号を出力する焦点検出画素としての機能を有する。
図2に示す例では、4列×4行の画素(8列×4行の副画素)を面上に多数配置することで、撮像素子107から、以下の画像を取得可能である。すなわち、表示部131での表示やフラッシュメモリ132への記録などにも用いる撮像画像(合成画像)および分割数2(分割数NLF)の複数の視点画像を生成するための入力画像を取得可能である。本実施例の撮像素子では、画素の周期Pを4μm(マイクロメートル)とし、画素数Nを横5575列×縦3725行=約2075万画素とする。また、副画素の列方向周期PSを2μmとし、副画素数NSを横11150列×縦3725行=約4150万画素とする。
図2に示す撮像素子107における1つの画素200Gを、撮像素子の受光面側(+z側)から見た場合の平面図を図3(A)に示す。図3(A)の紙面に垂直な方向にz軸を設定し、手前側をz軸の正方向と定義する。また、z軸に直交する上下方向にy軸を設定して上方をy軸の正方向とし、z軸およびy軸に直交する左右方向にx軸を設定して右方をx軸の正方向と定義する。図3(A)にてa−a切断線に沿って、−y側から見た場合の断面図を図3(B)に示す。
図3(A)および、図3(B)に示すように、画素200Gは、各画素の受光面側(+z軸方向)に入射光を集光するためのマイクロレンズ305が形成されている。さらに、x軸方向に2分割(Nx分割)、y軸方向に1分割(Ny分割)された分割数2(分割数NLF)の第1光電変換部301と第2光電変換部302(第1光電変換部から第NLF光電変換部)の複数の光電変換部が形成されている。第1光電変換部301と第2光電変換部302(第1光電変換部から第NLF光電変換部)が、それぞれ、第1副画素201と第2副画素202(第1副画素から第NLF副画素)に対応する。
第1光電変換部301と第2光電変換部302は、2つの独立したpn接合フォトダイオードであり、p型ウェル層300と2つに分割されたn型層301とn型層302から構成される。必要に応じて、イントリンシック層を挟み、pin構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ305と、第1光電変換部301および第2光電変換部302との間に、カラーフィルタ306が形成される。必要に応じて、画素毎や光電変換部毎などで、カラーフィルタ306の分光透過率を変えても良いし、カラーフィルタを省略しても構わない。
画素200Gに入射した光はマイクロレンズ305が集光し、さらにカラーフィルタ306で分光された後に、第1光電変換部301と第2光電変換部302がそれぞれ受光する。第1光電変換部301と第2光電変換部302では、受光量に応じて電子とホール(正孔)が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源(不図示)に接続されたp型ウェル層を通じて撮像素子の外部へ排出される。第1光電変換部301と第2光電変換部302に蓄積された電子は、転送ゲートを介して、静電容量部(FD)に転送されて電圧信号に変換される。
図4は、撮像素子107における画素構造と瞳分割との対応関係を示す概略的な説明図である。図4には、図3(A)に示した画素構造のa−a線での切断面を、+y軸方向から見た場合の断面図と、結像光学系の射出瞳面を、−z軸方向から見た図を示す。図4では、射出瞳面の座標軸と対応を取るために、断面図にてx軸とy軸を図3に示す状態とは反転させて示している。
撮像素子107は、撮影レンズ(結像光学系)の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳400を通過して、それぞれの画素に入射する。撮像素子が配置された面を撮像面とする。
2×1分割された第1瞳部分領域501と第2瞳部分領域502(Nx×Ny分割された第1瞳部分領域から第NLF瞳部分領域)は、概ね光学的に共役な関係になっている。詳細には、各々が、第1光電変換部301と第2光電変換部302(第1光電変換部から第NLF光電変換部)の受光面と、マイクロレンズによって、概ね光学的に共役な関係になっている。そして、第1副画素201と第2副画素202(第1副画素から第NLF副画素)で、それぞれ、受光可能な瞳領域である。第1副画素201の第1瞳部分領域501は、瞳面上で+X側に重心が偏心しており、第2副画素202の第2瞳部分領域502は、瞳面上で−X側に重心が偏心している。
また、瞳領域500は、2×1分割された第1光電変換部301と第2光電変換部302(Nx×Ny分割された第1光電変換部から第NLF光電変換部)を全て合わせた受光面と、マイクロレンズによって、概ね光学的に共役な関係になっている。そして、第1副画素201と第2副画素202(第1副画素から第NLF副画素)を全て合わせた画素200G全体での受光可能な瞳領域である。
図5に、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を例示する。図5(A)はマイクロレンズの光軸に平行な断面での光強度分布を示す。図5(B)はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約1〜2μm程度であり、これに対してマイクロレンズの集光スポットが約1μm程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図4の第1瞳部分領域501と第2瞳部分領域502は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布(瞳強度分布)となる。
図6に、光の入射角に依存した受光率分布(瞳強度分布)例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図6に実線で示すグラフ線L1は、図4の第1瞳部分領域501のx軸に沿った瞳強度分布を表す。グラフ線L1で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図6に破線で示すグラフ線L2は、第2瞳部分領域502のx軸に沿った瞳強度分布を表す。グラフ線L2で示す受光率は、グラフ線L1とは反対(左右対称的)に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。
本実施例の撮像素子と瞳分割との対応関係を示した概略図を図7に示す。第1光電変換部301と第2光電変換部302(第1光電変換部から第NLF光電変換部)が、それぞれ、第1副画素201と第2副画素202(第1副画素から第NLF副画素)に対応する。撮像素子の各画素において、2×1分割された第1副画素201と第2副画素202(Nx×Ny分割された第1副画素から第NLF副画素)は、それぞれ結像光学系の第1瞳部分領域501と第2瞳部分領域502の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布を示すLFデータ(入力画像)が取得される。
LFデータから、各画素毎に2×1分割された第1副画素201と第2副画素202の中から特定の副画素の信号を選択することで、結像光学系の第1瞳部分領域501と第2瞳部分領域502の中の特定の瞳部分領域に対応した視点画像を生成できる。例えば、各画素毎に、第1副画素201の信号を選択することで、結像光学系の第1瞳部分領域501に対応した画素数Nの解像度を有する第1視点画像を生成できる。他の副画素でも同様である。
また、LFデータ(入力画像)から、各画素毎に、2×1分割された第1副画素201と第2副画素202(Nx×Ny分割された第1副画素から第NLF副画素)の信号を全て合成することで、画素数Nの解像度を有する撮像画像を生成することができる。
以上のように本実施例の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素が複数配列された構造を有し、LFデータ(入力画像)を取得することができる。
[デフォーカス量と像ずれ量の関係]
本実施例の撮像素子により取得されるLFデータ(入力画像)から生成される第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)のデフォーカス量と、像ずれ量との関係について、以下に説明する。
本実施例の撮像素子により取得されるLFデータ(入力画像)から生成される第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)のデフォーカス量と、像ずれ量との関係について、以下に説明する。
図8は、第1視点画像と第2視点画像のデフォーカス量と、第1視点画像と第2視点画像との間の像ずれ量について概略的に示す関係図である。撮像面600には撮像素子(不図示)が配置され、図4、図7の場合と同様に、結像光学系の射出瞳が、第1瞳部分領域501と第2瞳部分領域502に2×1分割される。
デフォーカス量dは、その大きさ|d|が被写体像の結像位置から撮像面600までの距離を表す。被写体像の結像位置が撮像面600よりも被写体側にある前ピン状態では、負符号(d<0)とし、これとは反対の後ピン状態では正符号(d>0)として向きを定義する。被写体像の結像位置が撮像面(合焦位置)にある合焦状態では、d=0である。図8に示す被写体801の位置は、合焦状態(d=0)に対応する位置を示しており、被写体802の位置は前ピン状態(d<0)に対応する位置を例示する。以下では、前ピン状態(d<0)と後ピン状態(d>0)とを併せて、デフォーカス状態(|d|>0)という。
前ピン状態(d<0)では、被写体802からの光束のうち、第1瞳部分領域501(または第2瞳部分領域502)を通過した光束は、いったん集光した後、光束の重心位置G1(またはG2)を中心として幅Γ1(またはΓ2)に広がる。この場合、撮像面600上でボケ像となる。ボケ像は、撮像素子に配列された各画素部を構成する第1副画素201(または第2副画素202)により受光され、第1視点画像(または第2視点画像)が生成される。よって、第1視点画像(または第2視点画像)は、撮像面600上の重心位置G1(またはG2)にて、幅Γ1(またはΓ2)をもった被写体像(ボケ像)の画像データとしてメモリに記憶される。
被写体像の幅Γ1(またはΓ2)は、デフォーカス量dの大きさ|d|が増加するのに伴い、概ね比例して増加する。同様に、第1視点画像と第2視点画像との間の被写体像の像ずれ量を「p」と記すと、その大きさ|p|はデフォーカス量dの大きさ|d|の増加に伴って増加する。例えば、像ずれ量pは光束の重心位置の差「G1−G2」として定義され、その大きさ|p|は、|d|が増加するのに伴い、概ね比例して増加する。なお、後ピン状態(d>0)では、第1視点画像と第2視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。
したがって、本実施例では、第1視点画像と第2視点画像、または、第1視点画像と第2視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第1視点画像と第2視点画像との間の像ずれ量の大きさが増加する。
[リフォーカス処理とシャープ/アンシャープ制御]
本実施例では、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)のデフォーカス量と像ずれ量の関係性を用いて、撮像画像に対して、撮影後に、フォーカス位置を再修正するリフォーカス処理を行う。本実施例では、リフォーカス処理として以下の2つを組み合わせた処理を行う。1つは、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)を用いたシフト合成処理によるリフォーカス処理である。もう1つは、像ずれ差分量分布に応じた先鋭化と平滑化によって先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ/アンシャープ制御である。しかし、本実施例としてはこれに限らず、上記のリフォーカス処理、シャープ/アンシャープ制御両者のうち、いずれか一方のみを画像に行ってもよい。いずれか一方を行う場合には、図9にていずれか一方の処理にのみ係るステップを省略すればよい。
本実施例では、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)のデフォーカス量と像ずれ量の関係性を用いて、撮像画像に対して、撮影後に、フォーカス位置を再修正するリフォーカス処理を行う。本実施例では、リフォーカス処理として以下の2つを組み合わせた処理を行う。1つは、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)を用いたシフト合成処理によるリフォーカス処理である。もう1つは、像ずれ差分量分布に応じた先鋭化と平滑化によって先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ/アンシャープ制御である。しかし、本実施例としてはこれに限らず、上記のリフォーカス処理、シャープ/アンシャープ制御両者のうち、いずれか一方のみを画像に行ってもよい。いずれか一方を行う場合には、図9にていずれか一方の処理にのみ係るステップを省略すればよい。
以下、本実施例の撮像素子により取得されたLFデータ(入力画像)から、撮影後に、フォーカス位置やボケ感が修正された処理画像(出力画像)を生成する画像処理方法について、図9を用いて説明する。図9は、リフォーカス処理及びシャープ/アンシャープ制御の流れの概略図を示す図である。なお、図9の処理は、本実施例の画像処理手段であるCPU121と画像処理回路125によって実行される。
[多視点画像と撮像画像]
図9のステップS1で、本実施例の撮像素子により取得されたLFデータ(入力画像)から、結像光学系の異なる瞳部分領域毎に、複数の視点画像を生成し、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像(合成画像)を生成する。
図9のステップS1で、本実施例の撮像素子により取得されたLFデータ(入力画像)から、結像光学系の異なる瞳部分領域毎に、複数の視点画像を生成し、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像(合成画像)を生成する。
ステップS1において、まず、本実施例の撮像素子により取得されたLFデータ(入力画像)を入力する。もしくは、予め本実施例の撮像素子により撮影され、記録媒体に保存されているLFデータ(入力画像)を用いても良い。
ステップS1において、次に、結像光学系の異なる瞳部分領域毎に、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)を生成する。LFデータ(入力画像)をLFとする。また、LFの各画素信号内での列方向iS(1≦iS≦Nx)番目、行方向jS(1≦jS≦Ny)番目の副画素信号を、k=Nx(jS−1)+iS(1≦k≦NLF)として、第k副画素信号とする。結像光学系の第k瞳部分領域に対応した、列方向i番目、行方向j番目の第k視点画像Ik(j、i)を、式(1)により生成する。
本実施例は、Nx=2、Ny=1、NLF=2のx軸方向2分割の例である。図2に例示した画素配列に対応したLFデータ(入力画像)から、各画素毎に、x軸方向2分割された第1副画素201と第2副画素202(Nx×Ny分割された第1副画素から第NLF副画素)の中から特定の副画素の信号を選択する。よって、結像光学系の第1瞳部分領域501と第2瞳部分領域502(第NLF瞳部分領域)の中の特定の瞳部分領域に対応した、画素数Nの解像度を有するベイヤー配列のRGB信号である第1視点画像と第2視点画像(第NLF視点画像)を生成する。
ここで、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)の瞳ずれによるシェーディングについて説明する。図10に、撮像素子の周辺像高における第1光電変換部301が受光する第1瞳部分領域501、第2光電変換部302が受光する第2瞳部分領域502、および結像光学系の射出瞳400の関係を示す。尚、図4と同じ部分は同じ符号を付して示す。第1光電変換部301と第2光電変換部302(第1光電変換部から第NLF光電変換部)が、それぞれ、第1副画素201と第2副画素202(第1副画素から第NLF副画素)に対応する。
図10(A)は、結像光学系の射出瞳距離Dlと撮像素子の設定瞳距離Dsが同じ場合である。この場合は、第1瞳部分領域501と第2瞳部分領域502により、結像光学系の射出瞳400が、概ね、均等に瞳分割される。これに対して、図10(B)に示した結像光学系の射出瞳距離Dlが撮像素子の設定瞳距離Dsより短い場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳400が、不均一に瞳分割されてしまう。同様に、図10(C)に示した結像光学系の射出瞳距離Dlが撮像素子の設定瞳距離Dsより長い場合も、撮像素子の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳400が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になるのに伴い、第1視点画像と第2視点画像の強度も不均一になり、第1視点画像と第2視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが、RGB毎に生じる。
必要に応じて、各視点画像のシェーディングを改善するために、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)に、それぞれ、RGB毎に、シェーディング補正処理(光学補正処理)を行っても良い。また、必要に応じて、キズ補正処理や、飽和処理、デモザイキング処理などを行っても良い。
図9のステップS1において、次に、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像(合成画像)を生成する。列方向にi番目、行方向にj番目の撮像画像I(j、i)を、式(2)により生成する。
本実施例は、Nx=2、Ny=1、NLF=2のx軸方向2分割の例である。図2に例示した画素配列に対応した入力画像から、各画素毎にx軸方向2分割された第1副画素201と第2副画素202の信号を全て合成し、画素数Nの解像度を有するベイヤー配列のRGB信号である撮像画像を生成する。必要に応じて、シェーディング補正処理、キズ補正処理、飽和処理、デモザイキング処理などを行っても良い。図11に、本実施例のデモザイキング処理された撮像画像を例示する。中央に人物(人形)が配置され、左側に細かい市松模様の平板が手前から奥に渡って傾斜して配置されている。
以上のように本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域毎に、複数の視点画像を生成する。そして、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。しかしこれに限らず、本実施例も他の実施例も、公知の技術により複数の視点画像及びそれらの合成画像を取得できるものであれば適用出来る。例えば特開2011−22796号公報のように、複数の視点の異なるカメラをまとめて撮像素子107とみなす構成でもよい。また、図1の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ(一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる)、その結像面に撮像素子を設けるような構成でも良い。また、適当なパターンを施したマスク(ゲイン変調素子)を撮影光学系の光路中に挿入する方法も利用できる。
[コントラスト分布]
図9のステップS2で、本実施例の撮像画像(合成画像)と複数の視点画像から、それぞれ、空間周波数の高周波帯域成分を領域毎に抽出して、コントラスト分布を生成する。本実施例のコントラスト分布は、視点画像間の差に応じた調整が行われる。
図9のステップS2で、本実施例の撮像画像(合成画像)と複数の視点画像から、それぞれ、空間周波数の高周波帯域成分を領域毎に抽出して、コントラスト分布を生成する。本実施例のコントラスト分布は、視点画像間の差に応じた調整が行われる。
ステップS2において、まず、ベイヤー配列のRGB信号である撮像画像I(j、i)から、位置(j,i)ごとに、各色RGBの色重心を一致させて、撮像輝度信号Yを、式(3A)により生成する。同様に、ベイヤー配列のRGB信号である第k視点画像Ik(k=1〜NLF)から、第k視点輝度信号Ykを、式(3B)により生成する。
ステップS2において、次に、空間周波数の高周波成分を抽出する2次元バンドパスフィルタを用いて、撮像輝度信号Y(j,i)から、撮像高周波信号dY(j,i)を式(4A)より生成する。2次元バンドパスフィルタを{FBPF(jBPF、iBPF)|−nBPF≦jBPF≦nBPF、−mBPF≦iBPF≦mBPF}とする。同様に、第k視点輝度信号Yk(j,i)(k=1〜NLF)から、第k視点高周波信号dYk(j,i)を式(4B)より生成する。
本実施例は、Nx=2、Ny=1、NLF=2のx軸方向2分割の例である。x軸方向(瞳分割方向)の1次元フィルタFx(iBPF)と、y軸方向(瞳分割方向と直交する方向)の1次元フィルタFy(jBPF)との直積により、2次元バンドパスフィルタを構成する例を示す。すなわち、2次元バンドパスフィルタをFBPF(jBPF、iBPF)=Fy(jBPF)×Fx(iBPF)とする。瞳分割方向であるx軸方向の1次元フィルタFx(iBPF)には、x軸方向の空間周波数の高周波成分を抽出するため、例えば、0.5×[1、2、0、−2、−1]+1.5×[1、0、−2、0、1]などの1次元バンドパスフィルタを用いることができる。
ここで、1次微分型フィルタ[1、2、0、−2、−1]と2次微分型フィルタ[1、0、−2、0、1]を組み合わせた混合型フィルタとしている。一般的に、微分型フィルタ処理を行うと、フィルタ処理後の信号において、正符号から負符号に変化する部分に0点が存在するため、絶対値演算と組み合わせることにより、空間周波数の高周波成分が含まれる領域に節が生じてしまう場合がある。節が発生する位置は、微分型フィルタの微分の次数により異なる。よって、本実施例では、1次微分型フィルタと2次微分型フィルタ(一般には、異なる次数の微分型フィルタ)を組み合わせた混合型フィルタを用いることで、節の発生を抑制している。
必要に応じて、[1、2、0、−2、−1]などの1次微分型フィルタ、[1、0、−2、0、1]などの2次微分型フィルタ、高次微分型フィルタや、より一般的な1次元バンドパスフィルタを用いても良い。瞳分割方向と直交する方向であるy軸方向の1次元フィルタFy(jBPF)には、y軸方向の高周波ノイズを抑制するため、例えば、[1、1、1、1、1]や[1、4、6、4、1]などの高周波カット(ローパス)フィルタを用いることができる。必要に応じて、x軸方向とy軸方向のいずれの方向に対しても、空間周波数の高周波成分を抽出するバンドパスフィルタ処理を行っても良い。本実施例では、2つの1次元フィルタの直積で構成される2次元バンドパスフィルタを例示したが、これに限定されず、一般的な2次元バンドパスフィルタを用いることができる。
ステップS2において、次に、Y0>0として、撮像高周波信号dY(j,i)を、撮像輝度信号Y(j,i)により規格化した、規格化撮像高周波信号dZ(j,i)を、式(5A)により生成する。同様に、第k視点高周波信号dYk(j,i)(k=1〜NLF)を、第k視点輝度信号Yk(j,i)により規格化した、規格化第k視点高周波信号dZk(j,i)を、式(5B)により生成する。分母のY0>0との最大値判定は、0割を防止するためである。必要に応じて、式(5A)、式(5B)での規格化前に、撮像輝度信号Y(j,i)、第k視点輝度信号Yk(j,i)に対して、高周波カット(ローパス)フィルタ処理を行い、高周波ノイズを抑制しても良い。
ステップS2において、次に、低輝度閾値Ymin、コントラスト最大閾値Cmax、指数γとして、撮像コントラスト分布C(j,i)を、式(6A)により生成する。式(6A)の1行目で、撮像輝度信号Y(j,i)が、低輝度閾値Yminより小さい場合、撮像コントラスト分布C(j,i)の値が0に設定される。式(6A)の3行目で、規格化撮像高周波信号dZ(j,i)が、コントラスト最大閾値Cmaxより大きい場合、撮像コントラスト分布C(j,i)の値が1に設定される。それ以外の場合は、式(6A)の2行目で、撮像コントラスト分布C(j,i)は、規格化撮像高周波信号dZ(j,i)をコントラスト最大閾値Cmaxで規格化してγ乗した値に設定される。
以上のように、撮像コントラスト分布C(j,i)は、[0,1](0以上1以下)の範囲内の値をとる。C(j,i)の値が、0に近いとコントラストが低く、1に近いとコントラストが高いことを示す。撮像コントラスト分布C(j,i)の0から1までのトーンカーブを調整するためにγ乗されている。低コントラスト側での変化を緩やかに、高コントラスト側での変化を急峻にするために、指数γは1.5以上2.5以下が望ましい。必要に応じて、定義域[0,1]から値域[0,1]への関数F:[0,1]→[0,1]を用いて、合成関数F(C(j,i))を撮像コントラスト分布としても良い。同様に、第k視点コントラスト分布Ck(j,i)(k=1〜NLF)を、式(6B)により生成する。
本実施例の撮像コントラスト分布C(j,i)の分布例を図12に、第1視点コントラスト分布C1(j,i)の分布例を図13に、第2視点コントラスト分布C2(j,i)の分布例を図14に、それぞれ、例示する。図12から図14に示す分布例では、右側の[0、1]の範囲のグレースケール表示にてコントラストの高低の指標を表している。1近傍の白い部分はx軸方向の空間周波数の高周波成分が多く、高コントラストな領域を示し、0近傍の黒い部分はx軸方向の空間周波数の高周波成分が少なく、低コントラストな領域を示している。
本実施例における複数の視点画像(第1視点画像と第2視点画像)間の視差と、遠近競合やオクルージョンとの関係を、図15を用いて説明する。図15において、撮像面600に本実施例の撮像素子(不図示)が配置され、図4、図7、図8と同様に、結像光学系の射出瞳が、瞳部分領域501と瞳部分領域502に2分割される。
図15(A)は、被写体q1の合焦像p1に、手前の被写体q2のボケ像Γ1+Γ2が重なって撮影され、撮影画像において遠近競合が生じている例である。この例を、結像光学系の瞳部分領域501を通過する光束と、瞳部分領域502を通過する光束に、それぞれ、分けたものを、図15(B)、図15(C)に示す。
図15(B)では、被写体q1からの光束は、瞳部分領域501を通過して、合焦状態で像p1に結像し、手前の被写体q2からの光束は、瞳部分領域501を通過して、デフォーカス状態でボケ像Γ1に広がり、撮像素子の各画素の副画素201で受光される。副画素201の受光信号から、第1視点画像が生成される。第1視点画像では、被写体q1の像p1と手前の被写体q2のボケ像Γ1が重ならずに、異なる位置で撮影される。第1視点画像において、複数の被写体(被写体q1と被写体q2)の間で、遠近競合やオクルージョンが生じていない例である。
一方、図15(C)では、被写体q1からの光束は、瞳部分領域502を通過し、合焦状態で像p1に結像する。そして、手前の被写体q2からの光束は、瞳部分領域502を通過し、デフォーカス状態でボケ像Γ2に広がり、撮像素子の各画素の副画素202で受光される。副画素202の受光信号から、第2視点画像が生成される。第2視点画像では、被写体q1の像p1と手前の被写体q2のボケ像Γ2が重なって撮影される。第2視点画像において、複数の被写体(被写体q1と被写体q2)の間で、遠近競合やオクルージョンが生じている例である。
図15の例は、撮影画像において遠近競合やオクルージョンが生じている領域近傍では、撮影画像を構成する第1視点画像と第2視点画像とで遠近競合やオクルージョンが生じている状態が異なる。すなわち、第1視点画像と第2視点画像間の差が大きくなる可能性が高いことを示している。したがって、複数の視点画像間の差が大きい領域を検出することにより、遠近競合やオクルージョンが発生している可能性が高い領域を推定することができる。
本実施例の第1視点コントラスト分布C1(j,i)と第2視点コントラスト分布C2(j,i)の差分量分布C1(j,i)−C2(j,i)を図16に例示する。図16に示す分布例では、右側の[−1、1]の範囲のグレースケール表示にて、第1視点画像のコントラストと第2視点画像のコントラスト間の差(第1視点コントラスト分布と第2視点コントラスト分布の差分量)の大小の指標を表している。0近傍の黒い部分は、第1視点画像のコントラストと第2視点画像のコントラスト間の差が小さい領域を示している。一方、±1近傍の白い部分は、第1視点画像のコントラストと第2視点画像のコントラスト間の差が大きい領域を示している。
図16において、第1視点画像のコントラストと第2視点画像のコントラスト間の差が大きい白い領域として、中央下部で、人物(人形)の胴体と、市松模様の平板とで、遠近競合やオクルージョンを生じている領域が、検出されている。また、遠近競合やオクルージョンを生じている領域以外に、第1視点画像と第2視点画像とで、空間周波数の高周波帯域成分が大きく変化している領域が検出されている。例えば、デフォーカス状態の被写体エッジ部のように、高いコントラストが保たれたまま像ずれ量が大きい領域など、第1視点画像と第2視点画像とで、空間周波数の高周波帯域成分が大きく変化している領域が検出されている。これらの検出領域では、第1視点画像と第2視点画像とで、空間周波数成分が大きく異なる被写体像が、それぞれ、撮影されている。そのため、第1視点画像と第2視点画像を合わせた撮像画像では、これらの検出領域は、空間周波数成分が大きく異なる複数の被写体像が混成している領域である。
これらの空間周波数成分が異なる複数被写体像の混成領域に、先鋭化や平滑化などの画像処理を強く行うと、画質品位が低下する場合がある。したがって、本実施例では、第1視点コントラスト分布と第2視点コントラスト分布の差分量分布の絶対値|C1(j,i)−C2(j,i)|を用いて、空間周波数成分が異なる複数被写体像の混成領域の検出を行う。そして、検出された混成領域での先鋭化や平滑化などの画像処理を抑制して行う。これにより、画質品位を良好に保持して、先鋭化や平滑化の画像処理を行うことができる。
本実施例では、ステップS2において、次に、空間周波数成分が異なる複数被写体像の混成領域を検出するために、コントラスト差分量分布を生成する。詳細には、第1視点コントラスト分布C1(j,i)と第2視点コントラスト分布C2(j,i)から、式(7A)により、コントラスト差分量分布CDIFF(j,i)を生成する。次に、式(7B)により、撮像コントラスト分布C(j,i)に、コントラスト差分量分布CDIFF(j,i)を、かけ合わせる。これにより、空間周波数成分が異なる複数被写体像の混成領域での値を0近傍に抑制したコントラスト分布MCON(j,i)を生成する。
コントラスト差分量分布CDIFF(j,i)は、[0、1]の範囲の分布で、視点画像間のコントラスト差が大きく、空間周波数成分が異なる被写体像の混成が多い領域では0の値に近づく。また、視点画像間のコントラスト差が小さく、空間周波数成分が異なる被写体像の混成が少ない領域では1の値に近づく分布である。コントラスト分布MCON(j,i)は、撮像コントラスト分布C(j,i)に、コントラスト差分量分布CDIFF(j,i)を、かけ合わせた分布であり、よって、空間周波数成分が異なる複数被写体像の混成領域での値を0近傍に抑制した分布である。
本実施例のコントラスト分布MCON(j,i)の分布例を図17に、例示する。図17に示す分布例では、右側の[0、1]の範囲のグレースケール表示にてコントラストの高低の指標を表している。1近傍の白い部分はx軸方向の空間周波数の高周波成分が多く、高コントラストな領域を示し、0近傍の黒い部分はx軸方向の空間周波数の高周波成分が少なく、低コントラストな領域を示している。図12に示した撮像コントラスト分布C(j,i)に対して、第1視点コントラスト分布C1(j,i)と第2視点コントラスト分布C2(j,i)の差分量分布の絶対値|C1(j,i)−C2(j,i)|が大きい領域でのコントラスト値が抑制されている。
本実施例では、コントラスト差分量分布CDIFF(j,i)として、第1視点コントラスト分布と第2視点コントラスト分布の差分量分布の絶対値|C1(j,i)−C2(j,i)|に対して単調減少な線形関数を用いた。しかしこれに限られるものではなく、必要に応じて、より一般的な関数を用いても良い。
以上のように本実施例では、撮像画像と複数の視点画像から、視点画像毎のコントラスト間の差に応じて、コントラスト分布MCON(j,i)(合成コントラスト分布)を生成する。本実施例のコントラスト分布は、視点画像毎のコントラスト間の差が大きい領域より、コントラスト間の差が小さい領域の方が大きい。また、本実施例のコントラスト分布は、所定の空間周波数帯域における前記撮像画像の空間周波数成分が少ない領域より、空間周波数成分が多い領域の方が大きい。また、本実施例のコントラスト分布は、撮像画像の輝度が低い領域より、輝度が高い領域の方が大きい。
2回目以降の処理で、コントラスト分布MCON(j,i)の生成を省略し、処理時間を短縮するために、以下を行うことが望ましい。すなわち、生成されたコントラスト分布MCON(j,i)を、記録される画像データと関連付けてフラッシュメモリ133等の記録媒体などに記録することが望ましい。
[像ずれ量分布]
図9のステップS3において、コントラスト分布MCON(j,i)の値が所定値以上である各位置(j,i)で、第1視点画像と第2視点画像(複数の視点画像)から、第1視点画像と第2視点画像の相関(信号の一致度)に基づき像ずれ量分布を生成する。なお、本実施例はこれに限らず、コントラスト分布MCON(j,i)の値に関係なく各視点画像に基づき像ずれ量分布を生成してもよい。
図9のステップS3において、コントラスト分布MCON(j,i)の値が所定値以上である各位置(j,i)で、第1視点画像と第2視点画像(複数の視点画像)から、第1視点画像と第2視点画像の相関(信号の一致度)に基づき像ずれ量分布を生成する。なお、本実施例はこれに限らず、コントラスト分布MCON(j,i)の値に関係なく各視点画像に基づき像ずれ量分布を生成してもよい。
ステップS3では、まず、ベイヤー配列のRGB信号である第1視点画像I1から、式(3B)により生成された第1視点輝度信号Y1に対して、瞳分割方向(列方向)に、1次元バンドパスフィルタ処理を行い、第1焦点検出信号dYAを生成する。また、第2視点画像I2から、式(3B)により生成された第2視点輝度信号Y2に対して、瞳分割方向(列方向)に、1次元バンドパスフィルタ処理を行い、第2焦点検出信号dYBを生成する。1次元バンドパスフィルタとしては、例えば、1次微分型フィルタ[1、5、8、8、8、8、5、1、−1、−5、−8、−8、−8、−8、−5、−1]などを用いることができる。必要に応じて、1次元バンドパスフィルタの通過帯域を調整しても良い。
ステップS3では、次に、コントラスト分布MCON(j,i)の値が所定値以上の各位置(j,i)において、第1焦点検出信号dYAと第2焦点検出信号dYBを相対的に瞳分割方向(列方向)にシフトさせ、信号の一致度を表す相関量を算出する。所定値とは、例えば、0.2とする。そして、相関量に基づいて像ずれ量分布MDIS(j,i)を生成する。一方、コントラスト分布MCON(j,i)の値が所定値(例えば、0.2)未満である各位置(j,i)は、像ずれ量の算出から除外する。像ずれ量の検出を、高コントラストで、かつ、遠近競合やオクルージョンが生じていない領域に限定することにより、像ずれ量の検出精度を高精度化し、処理を高速化することができる。
位置(j,i)を中心として、行方向j2(−n2≦j2≦n2)番目、瞳分割方向である列方向i2(−m2≦i2≦m2)番目の第1焦点検出信号をdYA(j+j2、i+i2)、第2焦点検出信号をdYB(j+j2、i+i2)とする。シフト量をs(−ns≦s≦ns)として、各位置(j,i)での相関量COREVEN(j,i、s)を、式(8A)により算出し、相関量CORODD(j,i、s)を、式(8B)により算出する。
相関量CORODD(j,i、s)は、相関量COREVEN(j,i、s)に対して、第1焦点検出信号dYAと第2焦点検出信号dYBのシフト量を半位相−1シフトずらした相関量である。
相関量COREVEN(j,i、s)と相関量CORODD(j,i、s)から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出し、像ずれ量分布MDIS(j,i)を生成する。
コントラスト分布MCON(j,i)の値が所定値(例えば、0.2)未満であり、像ずれ量の算出から除外された領域は、MDIS(j,i)=0とする。必要に応じて、0以外の値を設定しても良い。
本実施例の像ずれ量分布MDIS(j,i)の分布例を図17に、例示する。図17では、コントラスト分布MCON(j,i)の値が所定値0.2以上で、像ずれ量が算出されている領域は、右側の[−6、6]の範囲のグレースケール表示にて、第1視点画像と第2視点画像との間の像ずれ量を1ピクセル単位で表している。マイナス(−)符号の黒側の部分は、前ピン状態の領域を、0付近が合焦近傍の領域を、プラス(+)符号の白側の部分は、後ピン状態の領域を示している。また、図17の分布例の表示では、コントラスト分布MCON(j,i)の値が所定値0.2未満で、像ずれ量の算出から除外され、MDIS(j,i)=0と設定された領域に関しては、黒で表示している。
以上のように本実施例では、複数の視点画像から、像ずれ量分布MDIS(j,i)を生成する。
2回目以降の処理で、像ずれ量分布MDIS(j,i)の生成を省略し、処理時間を短縮するために、生成された像ずれ量分布MDIS(j,i)を、記録される画像データと関連付けてフラッシュメモリ133等の記録媒体などに記録することが望ましい。
必要に応じて、像ずれ量分布MDIS(j,i)に、位置(j,i)と撮像レンズ(結像光学系)の絞り値、射出瞳距離などに応じた変換係数をかけて、視点画像内の被写体のデフォーカス量の分布を示すデフォーカス量分布に変換しても良い。
[像ずれ差分量分布]
図9のステップS4で、像ずれ量分布MDIS(j,i)と所定像ずれ量から、像ずれ差分量分布MDIFF(j,i)を生成する。
図9のステップS4で、像ずれ量分布MDIS(j,i)と所定像ずれ量から、像ずれ差分量分布MDIFF(j,i)を生成する。
ステップS4において、まず、本実施例のリフォーカス処理により修正を行いたい像ずれ量を、所定像ずれ量pとして設定する。例えば、図18の像ずれ量分布MDISの例では、目近傍の領域での像ずれ量は約2.5である。リフォーカス処理により、人物(人形)の目近傍の領域での像ずれ量を、概ね、0に微修正したい場合、所定像ずれ量p=2.5と設定する。
ステップS4において、次に、σp>0として、像ずれ量分布MDIS(j,i)、所定像ずれ量p、コントラスト分布MCON(j,i)から、像ずれ差分量分布MDIFF(j,i)を、式(9)により算出する。
像ずれ差分量分布MDIFF(j,i)は、像ずれ量分布MDIS(j,i)と所定像ずれ量pの差分の絶対値|MDIS(j,i)−p|に対して単調減少する線形関数と、コントラスト分布MCON(j,i)とを、かけ合わせた分布である。像ずれ差分量分布MDIFF(j,i)は、|MDIS(j,i)−p|<σpで正、|MDIS(j,i)−p|=σpで0、|MDIS(j,i)−p|>σpで負となる。
コントラスト分布MCON(j,i)の値が所定値(例えば、0.2)未満であり、像ずれ量の算出から除外された領域は、MDIFF(j,i)=(1−|p|/σp)×MCON(j,i)とする。必要に応じて、他の値を設定しても良い。
本実施例の像ずれ差分量分布MDIFF(j,i)の分布例を図19に、例示する。コントラスト分布MCONの値が所定値0.2以上で、像ずれ量が算出されている領域は、右側の[−1、1]の範囲のグレースケール表示にて、像ずれ差分量を示している。プラス(+)符号の白側の部分は、像ずれ量分布MDIS(j,i)と所定像ずれ量pの差分の絶対値|MDIS(j,i)−p|が小さく、かつ、コントラストが高い領域を示している。マイナス(−)符号の黒側の部分は、像ずれ量分布MDIS(j,i)と所定像ずれ量pの差分の絶対値|MDIS(j,i)−p|が大きく、かつ、コントラストが高い領域を示している。また、図19の分布例の表示では、コントラスト分布MCON(j,i)の値が所定値0.2未満で、像ずれ量の算出から除外され、MDIFF(j,i)=(1−|p|/σp)×MCON(j,i)と設定された領域に関しては、黒で表示している。
[修正視点画像]
図9のステップS5で、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)に対して、像ずれ差分量分布MDIFF(j,i)に応じて、第1の先鋭化および第1の平滑化の処理を行う。そして、第1修正視点画像と第2修正視点画像(第1修正視点画像から第NLF修正視点画像)を生成する。
図9のステップS5で、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)に対して、像ずれ差分量分布MDIFF(j,i)に応じて、第1の先鋭化および第1の平滑化の処理を行う。そして、第1修正視点画像と第2修正視点画像(第1修正視点画像から第NLF修正視点画像)を生成する。
本実施例では、第1視点画像と第2視点画像(複数の視点画像)に対して、像ずれ差分量分布が0以上(MDIFF(j,i)≧0)の領域では、視点画像間の差を拡大して視差を先鋭化する(クロストーク補正、第1の先鋭化)処理を行う。一方、像ずれ差分量分布が0未満(MDIFF(j,i)<0)の領域では、視点画像間の差を縮小して視差を平滑化する(クロストーク、第1の平滑化)処理を行う。上記処理を行い、第1修正視点画像と第2修正視点画像(複数の修正視点画像)を生成する。
図9のステップS5において、まず、第1視点画像と第2視点画像(複数の視点画像)に対して、視点画像間の差を拡大して視差を先鋭化する(クロストーク補正、第1の先鋭化)処理の強さを指定する第1の強度パラメータkct≧0を設定する。または、視点画像間の差を縮小して視差を平滑化する(クロストーク、第1の平滑化)処理の強さを指定する第1の強度パラメーターkct≧0を設定する。
ステップS5において、次に、第1の強度パラメーター分布Kct(j,i)を、式(10)により設定する。第1の強度パラメーター分布Kct(j,i)は、kctを比例係数として、像ずれ差分量分布MDIFF(j,i)に比例する。
ステップS5において、次に、第1視点画像I1(j,i)と第2視点画像I2(j,i)(第1視点画像から第NLF視点画像)に対して、式(11A)、および、式(11B)の処理を行う。そして、第1修正視点画像MI1(j,i)と第2修正視点画像MI2(j,i)(第1修正視点画像から第NLF修正視点画像)を生成する。
式(11A)は、第1の強度パラメーター分布(像ずれ差分量分布)が0以上(Kct(j,i)=kct×MDIFF(j,i)≧0)の領域で、第1視点画像と第2視点画像(複数の視点画像)間の差を拡大して視差を先鋭化する処理である。一方、式(11B)は、第1の強度パラメーター分布(像ずれ差分量分布)が0未満(Kct(j,i)=kct×MDIFF(j,i)<0)の領域で、第1視点画像と第2視点画像(複数の視点画像)間の差を縮小して視差を平滑化する処理である。
図20は、第1視点画像と第2視点画像(複数の視点画像)間の差を拡大して視差を先鋭化する(クロストーク補正、第1の先鋭化)処理例をグラフで示した図である。横軸は画素位置を表し、縦軸は画素値(信号レベル)を表す。図20では、先鋭化する(クロストーク補正、第1の先鋭化)処理前の第1視点画像(修正前A)と第2視点画像(修正前B)の例を、破線のグラフで示す。また、式(11A)により、先鋭化する(クロストーク補正、第1の先鋭化)処理後の第1修正視点画像(修正後A)と第2修正視点画像(修正後B)の例を、実線のグラフで示す。視点画像間の差を拡大して視差を先鋭化する(クロストーク補正、第1の先鋭化)処理により、処理前に視点画像間の差が大きい部分は、より拡大されるが、処理前に視点画像間の差が小さい部分はあまり変化しない。このように、視点画像間の視差が先鋭化されることがわかる。
一方、式(11B)の平滑化する(クロストーク、第1の平滑化)処理では、第1視点画像と第2視点画像(複数の視点画像)間の差が縮小され、視点画像間の視差が平滑化される。
以上のように本実施例では、複数の視点画像に、コントラスト分布および像ずれ量分布に応じた先鋭化および平滑化の画像処理を行う。コントラスト分布および像ずれ量分布に応じた画像処理は、必要に応じて、先鋭化の処理、平滑化の処理、または、これらの組み合わせ処理のいずれでも良い。
本実施例では、式(7A)、式(7B)、式(9)、式(10)、式(11A)、式(11B)より、視点画像毎のコントラスト間の差が大きい領域よりコントラスト間の差が小さい領域の方が、各視差画像への先鋭化や平滑化などの画像処理が強く行われる。また、コントラスト分布が、小さい領域より、大きい領域の方が、各視差画像への先鋭化や平滑化などの画像処理が強く行われる。
本実施例では、式(9)、式(10)、式(11A)および式(11B)より、像ずれ量分布の所定シフト量(基準)からの差が小さい領域は、先鋭化の処理を行い、差が大きい領域は、平滑化の処理を行う。本実施例では、式(9)、式(10)、式(11A)より、像ずれ量分布の所定シフト量からの差が大きい領域より、差が小さい領域の方が、先鋭化の処理が強く行われる。本実施例では、式(9)、式(10)、式(11B)より、像ずれ量分布の所定シフト量からの差が小さい領域より、差が大きい領域の方が、平滑化の処理が強く行われる。
また、本実施例では、式(11A)および式(11B)より、複数の視点画像の画素毎に、複数の視点画像間の差を拡大して視差を先鋭化、または、複数の視点画像間の差を縮小して視差を平滑化する処理を行い、複数の修正視点画像を生成する。式(11A)の第1の先鋭化の処理および式(11B)の第2の平滑化の処理は、各(j,i)画素に含まれる第1光電変換部の出力信号である第1視点画像I1(j,i)と、第2光電変換部の出力信号である第2視点画像I2(j,i)間の演算処理である。
[重み係数]
図9のステップS6で、所定領域において被写界深度を微修正するために、第1修正視点画像と第2修正視点画像(第1修正視点画像から第NLF修正視点画像)毎の重み係数を設定する。
図9のステップS6で、所定領域において被写界深度を微修正するために、第1修正視点画像と第2修正視点画像(第1修正視点画像から第NLF修正視点画像)毎の重み係数を設定する。
ステップS6において、まず、被写界深度の再修正を行いたい所定領域R=[j1、j2]×[i1、i2]、および、所定領域の境界幅σを設定し、式(12)により、所定領域Rと所定領域の境界幅σに応じたテーブル関数T(j、i)を算出する。
テーブル関数T(j、i)は、所定領域Rの内側で1、所定領域Rの外側で0となり、所定領域Rの境界幅σで、概ね、1から0に連続的に変化する。必要に応じて、所定領域は、円形や、その他の任意の形状としても良い。また、必要に応じて、複数の所定領域、および、境界幅を設定しても良い。
ステップS6において、次に、実係数w(−1≦w≦1)として、第1修正視点画像MI1(j、i)の第1重み係数分布W1(j、i)を、式(13A)により算出する。また、第2修正視点画像MI2(j、i)の第2重み係数分布W2(j、i)を、式(13B)により算出する。
所定領域において、第1修正視点画像MI1(j、i)の加算比率を上げて、被写界深度を修正する場合は、−1≦w<0の範囲で設定し、第2修正視点画像MI2(j、i)の加算比率を上げて、被写界深度を修正する場合は、0<w≦1の範囲で設定する。必要に応じて、w=0として、W1≡W2≡1とし、被写界深度を修正しなくても良い。
[シフト合成処理によるリフォーカス]
図9のステップS7で、第1修正視点画像と第2修正視点画像(第1修正視点画像から第NLF修正視点画像)毎に重み係数をかけて、瞳分割方向(x軸方向)に相対的にシフトして加算する処理(シフト合成処理)を行う。そして、複数の視点画像による合成画像である中間画像を生成する。
図9のステップS7で、第1修正視点画像と第2修正視点画像(第1修正視点画像から第NLF修正視点画像)毎に重み係数をかけて、瞳分割方向(x軸方向)に相対的にシフトして加算する処理(シフト合成処理)を行う。そして、複数の視点画像による合成画像である中間画像を生成する。
図21は、第1修正視点画像MI1(j,i)と第2修正視点画像MI2(j,i)(複数の修正視点画像)による瞳分割方向(x軸方向)のシフト合成処理によるリフォーカスについて概要を示す説明図である。図21では、紙面の上下方向にx軸を設定して下方をx軸の正方向と定義し、紙面に垂直な方向をy軸に設定して手前側をy軸の正方向と定義し、紙面の左右方向にz軸を設定して左方をz軸の正方向と定義する。図21の撮像面600は、図7、図8(および、図15)に示した撮像面600に対応している。
図21では、第1修正視点画像MI1(j,i)と第2修正視点画像MI2(j,i)を模式的に表している。第1修正視点画像MI1(j,i)の信号は、図7の第1瞳部分領域501に対応した主光線角度θ1で位置(j,i)の第1光電変換部301に入射した光束の受光信号である。第2修正視点画像MI2(j,i)の信号は、図7の第2瞳部分領域502に対応した主光線角度θ2で位置(j,i)の第2光電変換部302に入射した光束の受光信号である。第1光電変換部301と第2光電変換部302(第1光電変換部から第NLF光電変換部)が、それぞれ、第1副画素201と第2副画素202(第1副画素から第NLF副画素)に対応する。
第1修正視点画像MI1(j,i)と第2修正視点画像MI2(j,i)(複数の修正視点画像)は、光強度分布情報だけでなく、入射角度情報も有している。したがって、以下の平行移動および加算処理で仮想結像面610でのリフォーカス画像を生成できる。第1に、第1修正視点画像MI1(j,i)を主光線角度θ1に沿って仮想結像面610まで平行移動させ、第2修正視点画像MI2(j,i)を主光線角度θ2に沿って仮想結像面610まで平行移動させる処理。第2に、それぞれ平行移動させた第1修正視点画像MI1(j,i)と第2修正視点画像MI2(j,i)を加算する処理。
第1修正視点画像MI1(j,i)を主光線角度θ1に沿って仮想結像面610まで平行移動させることは、列方向への−1画素分のシフトに対応する。また、第2修正視点画像MI2(j,i)を主光線角度θ2に沿って仮想結像面610まで平行移動させることは、列方向への+1画素分のシフトに対応する。したがって、第1修正視点画像MI1(j,i)と第2修正視点画像MI2(j,i)を相対的に+2画素分シフトさせ、MI1(j,i)とMI2(j,i+2)を対応させて加算することで、仮想結像面610でのリフォーカス信号を生成できる。
図9のステップS7において、第1修正視点画像MI1(j,i)と第2修正視点画像MI2(j,i)(複数の修正視点画像)を、式(14)により、仮想結像面でのリフォーカス画像であるシフト合成画像IS(j,i)を生成する。所定像ずれ量pに最も近い偶数をpeとする。ここで、所定像ずれ量pに最も近い偶数peは、ROUNDを四捨五入の関数として、pe=2×ROUND(p/2))により算出する。
式(14)では、シフト加算と同時に、式(13A)の第1重み係数分布W1(j、i)を第1修正視点画像MI1(j、i)に乗算し、式(13B)の第2重み係数分布W2(j、i)を第2修正視点画像MI2(j、i)に乗算する。これにより、所定領域での被写界深度を修正する。必要に応じて、W1≡W2≡1とし、被写界深度を修正しなくても良い。複数の視差画像毎に重み係数をかけて、シフト合成処理を行い、複数の視点画像による合成画像である中間画像を生成する。
第1修正視点画像MI1(j,i)と第2修正視点画像MI2(j,i)(複数の修正視点画像)のシフト合成処理は、偶数シフトや加算処理に限定されず、必要に応じて、実数シフトや、より一般的な合成処理を用いても良い。また、必要に応じて、後述する図9のステップS8の処理を省略し、式(14)により、第1修正視点画像と第2修正視点画像(複数の修正視点画像)をシフト加算して生成されるシフト合成画像IS(j,i)を出力画像としても良い。
本実施例では、式(14)により生成されるシフト合成画像IS(j,i)の画素数を、撮像画像の画素数Nと同数に保つため、予め、第2修正視点画像MI2(j,i)の瞳分割方向(x軸方向)の終端部分に対して、データ長を拡大する終端処理を行う。pe>0の場合、最小列番号をiminとして、終端の列番号ie(imin≦ie≦imin+pe−1)に対して、式(15A)により、終端処理を行う。pe<0の場合、最大列番号をimaxとして、終端の列番号ie(imax+pe+1≦ie≦imax)に対して、式(15B)により、終端処理を行う。本実施例では、複数の修正視点画像の画像サイズを拡張する処理を行う。
[リフォーカス可能範囲]
図22の概略図を参照して、本実施例でのシフト合成処理によるリフォーカス可能範囲について説明する。撮像面600には撮像素子(不図示)が配置され、図4、図7、図8の場合と同様に、結像光学系の射出瞳が、第1瞳部分領域501と第2瞳部分領域502に2×1分割される。
図22の概略図を参照して、本実施例でのシフト合成処理によるリフォーカス可能範囲について説明する。撮像面600には撮像素子(不図示)が配置され、図4、図7、図8の場合と同様に、結像光学系の射出瞳が、第1瞳部分領域501と第2瞳部分領域502に2×1分割される。
許容錯乱円径をδとし、結像光学系の絞り値をFとすると、絞り値Fでの被写界深度は、±F×δである。これに対して、Nx×Ny(例えば、2×1)に分割されて狭くなった瞳部分領域501(または502)の瞳分割方向(x軸方向)の実効絞り値F01(またはF02)は、F01=Nx×F(またはF02=Nx×F)となって暗くなる。第1修正視点画像(または第2修正視点画像)ごとの実効的な被写界深度は、±Nx×F×δで、Nx倍深くなり、合焦範囲がNx倍に広がる。実効的な被写界深度「±Nx×F×δ」の範囲内では、第1修正視点画像(または第2修正視点画像)ごとに合焦した被写体像が取得されている。よって、図21に示した主光線角度θ1(またはθ2)に沿って第1修正視点画像(または第2修正視点画像)を平行移動させて加算する処理により、撮影後に、合焦位置をリフォーカスすることができる。
撮影後に合焦位置をリフォーカス可能な撮像面600からのデフォーカス量dは限定される。デフォーカス量dのリフォーカス可能範囲は、概ね、式(16)の範囲である。許容錯乱円径δは、δ=2・ΔX(画素周期ΔXのナイキスト周波数1/(2・ΔX)の逆数)等で規定される。
しかしながら、図6の瞳強度分布例に示したように、画素部ごとに形成される直径数umのマイクロレンズと複数に分割された光電変換部による瞳分割では、光の波動性による回折ボケのために、緩やかな瞳分割となる。そのため、第1視点画像と第2視点画像(複数の視点画像)の瞳分割方向(x軸方向)の焦点深度が十分に深くならず、第1視点画像と第2視点画像(複数の視点画像)を用いてリフォーカス画像を生成しても、リフォーカス効果が十分に得られない場合がある。
したがって、本実施例では、シフト合成処理によるリフォーカスにおいて、第1視点画像と第2視点画像(複数の視点画像)に対し、以下の処理を行う。第1の強度パラメーター分布(像ずれ差分量分布)が0以上(Kct(j,i)=kct×MDIFF(j,i)≧0)の画素ごとに、式(11A)により第1視点画像と第2視点画像間の差を拡大して視差を先鋭化する処理を行う。そして、第1修正視点画像と第2修正視点画像(複数の修正視点画像)を生成する。これにより、第1修正視点画像と第2修正視点画像(複数の修正視点画像)の瞳分割方向(x軸方向)の実効的な絞り値Fを大きく、焦点深度を深く修正することができ、リフォーカス効果を向上させることができる。
以下、図23を参照して、シフト合成処理によるリフォーカスにおける、第1視点画像と第2視点画像(複数の視点画像)を先鋭化する(クロストーク補正、第1の先鋭化)処理の効果を説明する。図23(A)は、従来例における先鋭化(クロストーク補正、第1の先鋭化)前の第1視点画像と第2視点画像とのシフト合成処理によるリフォーカス画像の例を示す。
瞳分割が緩やかで、第1視点画像と第2視点画像(複数の視点画像)の瞳分割方向(x軸方向)の焦点深度が十分に深くない例である。人物(人形)の右目よりも、後ろに焦点が合った後ピン状態の撮像画像に対し、シフト合成処理によるリフォーカスを行っているが、人物(人形)の右目や、まつ毛、髪の毛などが小ボケ状態のままで、十分なリフォーカス効果が得られていない。
一方、図23(B)は、本実施例における先鋭化(クロストーク補正、第1の先鋭化)後の第1修正視点画像と第2修正視点画像とのシフト合成処理によるリフォーカス画像の例を示す。第1視点画像と第2視点画像間の差を拡大して視差を先鋭化する処理により、第1修正視点画像と第2修正視点画像(複数の修正視点画像)の瞳分割方向(x軸方向)の実効的な絞り値Fが大きく、焦点深度が深く修正された例である。シフト合成処理によるリフォーカスにより、撮影後に、人物(人形)の右目や、まつ毛、髪の毛などに合わせてフォーカス位置が再修正され、リフォーカス効果が向上している。
また、Nx=2、Ny=1、NLF=2の瞳分割方向(x軸方向)2分割の本実施例のように、瞳分割数が少なく、視点画像数が少ない場合、以下のことがおこる場合がある。すなわち、シフト合成処理によるリフォーカスにおいて、ボケ量(像ずれ量)を増加させる領域で、人工的な2線ボケが生じて被写体の境界が2重となり、画像品位が低下する場合がある。
したがって、本実施例では、シフト合成処理によるリフォーカスにおいて、第1視点画像と第2視点画像(複数の視点画像)に対し、以下の処理を行う。第1の強度パラメーター分布(像ずれ差分量分布)が0未満(Kct(j,i)=kct×MDIFF(j,i)<0)の画素ごとに、式(11B)により、第1視点画像と第2視点画像(複数の視点画像)間の差を縮小して視差を平滑化する処理を行う。そして、第1修正視点画像と第2修正視点画像(複数の修正視点画像)を生成する。これにより、ボケ量(像ずれ量)を増加させる領域で、人工的な2線ボケの発生を抑制し、画質品位を良好に保持して、シフト合成処理によるリフォーカスを行うことができる。
[シャープ/アンシャープ制御]
図9のステップS8で、第1修正視点画像と第2修正視点画像(第1修正視点画像から第NLF修正視点画像)より生成されたシフト合成画像(中間画像)に対し、像ずれ差分量分布MDIFF(j,i)に応じた第2の先鋭化および第2の平滑化の処理を行う。この処理によって、撮影後に、先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ/アンシャープ制御された出力画像を生成する。
図9のステップS8で、第1修正視点画像と第2修正視点画像(第1修正視点画像から第NLF修正視点画像)より生成されたシフト合成画像(中間画像)に対し、像ずれ差分量分布MDIFF(j,i)に応じた第2の先鋭化および第2の平滑化の処理を行う。この処理によって、撮影後に、先鋭度の高い領域とボケ度合いの高い領域を適応的に制御するシャープ/アンシャープ制御された出力画像を生成する。
本実施例では、シフト合成画像IS(j,i)に対して、像ずれ差分量分布が0以上(MDIFF(j,i)≧0)の領域では、第2の先鋭化処理を行う。一方、像ずれ差分量分布が0未満(MDIFF(j,i)<0)の領域では、第2の平滑化処理を行う。そして、出力画像を生成する。
図9のステップS8において、まず、シフト合成画像IS(j,i)に対して、第2の先鋭化処理、もしくは、第2の平滑化処理の強さを指定する第2の強度パラメーターkUSM≧0を設定する。
ステップS8において、次に、2次元ローパスフィルタ{FLPF(jLPF、iLPF)|−nLPF≦jLPF≦nLPF、−mLPF≦iLPF≦mLPF}を、シフト合成画像IS(j,i)に作用させる。式(17)により、アンシャープマスクIUSM(j,i)を算出する。2次元ローパスフィルタFLPF(jLPF、iLPF)には、例えば、t[1、0、2、0、1]×[1、0、2、0、1]などの2次元フィルタを用いることができる。必要に応じて、2次元ガウシアン分布などを用いても良い。
ステップS8において、最後に、シフト合成画像IS(j,i)に対して、式(18)により、像ずれ差分量分布MDIFF(j,i)に応じて、アンシャープマスクIUSM(j,i)を作用させて、第2の先鋭化、まらは第2の平滑化処理を行う。そして、出力画像であるリフォーカス画像IRF(j,i)を生成する。
式(18)は、像ずれ差分量分布が0以上(MDIFF(j,i)≧0)の領域では、以下の処理を表す。すなわち、正係数kUSM×MDIFF(j,i)が乗算されたアンシャープマスクIUSM(j,i)により、シフト合成画像IS(j,i)を、像ずれ差分量分布MDIFF(j,i)の大きさに応じて先鋭化する(第2の先鋭化)処理である。
一方、式(18)は、像ずれ差分量分布が0未満(MDIFF(j,i)<0)の領域では、以下の処理を表す。すなわち、負係数kUSM×MDIFF(j,i)が乗算されたアンシャープマスクIUSM(j,i)により、シフト合成画像IS(j,i)を、像ずれ差分量分布MDIFF(j,i)の大きさに応じて平滑化する(第2の平滑化)処理である。
シフト合成処理によるリフォーカスでは、LFデータを用いて光学的な原理に基づいたリフォーカスを行うことができる。シフト合成処理によるリフォーカスは、像ずれ差分量分布を検出できない領域に対しても、処理を行うことができる利点がある。しかしながら、本実施例(Nx=2、Ny=1、NLF=2)の瞳分割のように、瞳分割方向がx軸方向(y軸方向)の1方向のみである場合、以下の場合がある。すなわち、瞳分割方向のx軸方向(y軸方向)にはリフォーカス効果が得られるが、瞳分割方向と直交するy軸方向(x軸方向)には、リフォーカス効果が十分に得られない場合がある。一方、像ずれ差分量分布に応じた先鋭化と平滑化によるボケの制御では、瞳分割方向に関係なくリフォーカス効果を得ることができる。したがって、本実施例では、シフト合成処理によるリフォーカスと、像ずれ差分量分布に応じた先鋭化と平滑化によるボケの制御と、を組み合わせたリフォーカス処理を行う。これにより、瞳分割方向と直交する方向に対しても、リフォーカス効果を得ることができる。
以上のように本実施例では、複数の修正視点画像の合成画像IS(j,i)に、コントラスト分布および像ずれ量分布に応じた先鋭化および平滑化の画像処理を行い、出力画像を生成する。
必要に応じて、シフト合成処理によるリフォーカスである図8のステップS5〜ステップS7の処理を省略し、撮像画像I(j、i)に、コントラスト分布および像ずれ量分布に応じた先鋭化および平滑化の画像処理を行い、出力画像を生成しても良い。コントラスト分布および像ずれ量分布に応じた画像処理は、必要に応じて、先鋭化の処理、平滑化の処理、もしくは、これらの組み合わせ処理のいずれでも良い。
本実施例では、式(7A)、式(7B)、式(9)、式(17)、式(18)より、次の領域に対して画像処理が強く行われる。すなわち、視点画像毎のコントラスト間の差が大きい領域よりコントラスト間の差が小さい領域の方が、複数の修正視点画像の合成画像(または、撮像画像)への先鋭化や平滑化などの画像処理が強く行われる。また、コントラスト分布が、小さい領域より、大きい領域の方が、複数の修正視点画像の合成画像(もしくは、撮像画像)への先鋭化や平滑化などの画像処理が強く行われる。
本実施例では、式(9)、式(17)、および式(18)より、像ずれ量分布の所定シフト量(基準)からの差が小さい領域は、先鋭化の処理を行い、差が大きい領域は、平滑化の処理を行う。本実施例では、式(9)、式(17)、および式(18)より、像ずれ量分布の所定シフト量からの差が大きい領域より、差が小さい領域の方が、先鋭化の処理が強く行われる。本実施例では、式(9)、式(17)、および式(18)より、像ずれ量分布の所定シフト量からの差が小さい領域より、差が大きい領域の方が、平滑化の処理が強く行われる。
以下、本実施例の発明の効果について説明する。
遠近競合やオクルージョンを生じている領域など、空間周波数成分が大きく異なる複数の被写体像が混成している領域に、先鋭化や平滑化などの画像処理を強く行うと、画質品位が低下する場合がある。
遠近競合やオクルージョンを生じている領域など、空間周波数成分が大きく異なる複数の被写体像が混成している領域に、先鋭化や平滑化などの画像処理を強く行うと、画質品位が低下する場合がある。
これに対して、本実施例では、第1に、第1視点コントラスト分布C1(j,i)と第2視点コントラスト分布C2(j,i)から、式(7A)により、コントラスト差分量分布CDIFF(j,i)を生成する。そして、空間周波数成分が大きく異なる複数の被写体像が混成している領域の検出を行う。コントラスト差分量分布CDIFF(j,i)は、[0、1]の範囲の分布で、視点画像間のコントラスト差が大きく、空間周波数成分が異なる被写体像の混成が多い領域では0の値に近づく分布である。また、視点画像間のコントラスト差が小さく、空間周波数成分が異なる被写体像の混成が少ない領域では1の値に近づく分布である。
本実施例では、第2に、生成されたコントラスト差分量分布CDIFF(j,i)を、式(7B)により、複数の視点画像から得られる合成画像のコントラスト分布である撮像コントラスト分布C(j,i)に、かけ合わせる。これにより、空間周波数成分が大きく異なる複数の被写体像が混成している領域での値を0近傍に抑制したコントラスト分布MCON(j,i)を生成する。
本実施例では、第3に、生成されたコントラスト分布MCON(j,i)に基づき、複数の視点画像や、これらの合成画像に対して、空間周波数成分が異なる被写体像の混成が多い領域では、先鋭化や平滑化などの画像処理を相対的に弱めて行う。また、空間周波数成分が異なる被写体像の混成が少ない領域では、先鋭化や平滑化などの画像処理を相対的に強めて行う。したがって、本実施例では、これらの構成により、画質品位を良好に保持して、先鋭化や平滑化の画像処理を行うことができる。
また、低輝度領域に、先鋭化や平滑化などの画像処理を強く行うと、画質品位が低下する場合がある。本実施例では、式(6A)1行目、および、式(7B)により、低輝度閾値Yminより小さい場合、コントラスト分布MCON(j,i)の値が0に設定される。よって、本実施例のコントラスト分布MCON(j,i)は、撮像画像の輝度が高い領域の方が、輝度が低い領域より、コントラストが高い。低輝度領域での画質品位を良好に保持するには、コントラスト分布MCON(j,i)に基づき複数の視点画像やこれらの合成画像に対して、輝度が低輝度閾値Yminより小さい領域では、先鋭化や平滑化などの画像処理を相対的に弱めて行うことが望ましい。また、輝度が低輝度閾値Ymin以上の領域では、先鋭化や平滑化などの画像処理を相対的に強めて行う、ことが望ましい。
以下、図24を参照して、本実施例の図9に示したリフォーカス処理(シフト合成処理によるリフォーカス、被写界深度の修正処理、像ずれ差分量分布に応じた先鋭化と平滑化によるボケの制御)の効果を説明する。図24(A)は、従来のリフォーカス処理前の撮像画像の例を示す。人物(人形)の右目よりも、後ろに焦点が合った後ピン状態の撮像画像の例である。図24(B)は、本実施例のリフォーカス処理後のリフォーカス画像の例を示す。本実施例のリフォーカスにより、撮影後に、画質品位を良好に保持して、人物(人形)の左右の目や、まつ毛、髪の毛などに合わせてフォーカス位置が再修正されている。
以上のように本実施例の画像処理方法は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から出力画像を生成する画像処理方法である。この画像処理方法では、入力画像から、異なる瞳部分領域毎に、複数の視点画像を生成し、入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。そして、撮像画像と複数の視点画像からコントラスト分布を生成し、複数の視点画像から像ずれ量分布を生成する。さらに、撮像画像、複数の視点画像、またはこれらの合成画像の少なくとも1つに、コントラスト分布および像ずれ量分布に応じた画像処理を行い、出力画像を生成する。
本実施例の画像処理装置は、上記の画像処理方法を行う画像処理手段を有する画像処理装置である。
本実施例の撮像装置は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子と、上記の画像処理方法を行う画像処理手段を有する撮像装置である。
本実施例の構成により、画質品位を良好に保持して、先鋭化や平滑化の画像処理を行うことができる。
[第2の実施例]
次に、本発明の第2の実施例を説明する。なお、第1の実施例の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、相違点を中心に説明する。本実施例では、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)のデフォーカス量と像ずれ量の関係性を用いて、撮影後に、彩度を修正する処理を行う。
次に、本発明の第2の実施例を説明する。なお、第1の実施例の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、相違点を中心に説明する。本実施例では、第1視点画像と第2視点画像(第1視点画像から第NLF視点画像)のデフォーカス量と像ずれ量の関係性を用いて、撮影後に、彩度を修正する処理を行う。
以下、本実施例の撮像素子により取得されたLFデータ(入力画像)から、撮像画像に対して、撮影後に、彩度が修正された彩度修正画像(出力画像)を生成する画像処理方法について、図25の彩度処理の流れの概略図を用いて説明する。
図25のステップS4の像ずれ差分量分布の生成までは、第1の実施例と同様である。
[彩度修正処理]
図25のステップS5で、撮像画像に対して、像ずれ差分量分布MDIFF(j,i)に応じて、彩度強調および彩度低減の処理を行い、彩度が修正された出力画像を生成する。
本実施例では、撮像画像I(j、i)に対して、像ずれ差分量分布が0以上(MDIFF(j,i)≧0)の領域では、彩度強調処理を行う。一方、像ずれ差分量分布が0未満(MDIFF(j,i)<0)の領域では、彩度低減処理を行う。そして、出力画像を生成する。
図25のステップS5で、撮像画像に対して、像ずれ差分量分布MDIFF(j,i)に応じて、彩度強調および彩度低減の処理を行い、彩度が修正された出力画像を生成する。
本実施例では、撮像画像I(j、i)に対して、像ずれ差分量分布が0以上(MDIFF(j,i)≧0)の領域では、彩度強調処理を行う。一方、像ずれ差分量分布が0未満(MDIFF(j,i)<0)の領域では、彩度低減処理を行う。そして、出力画像を生成する。
図25のステップS5において、まず、撮像画像I(j、i)のデモザイキング処理を行い、L*a*b*表色系に変換し、明度L*(j、i)と、色相と彩度を示す色度a*(j、i)、b*(j、i)を生成する。図25のステップS5において、次に、撮像画像I(j、i)に対して、彩度修正処理の強さを指定する第3の強度パラメーター0≦kab<1を設定する。
図25のステップS5において、最後に、色度a*(j、i)、b*(j、i)に対して、式(19A)、式(19B)により、像ずれ差分量分布MDIFF(j,i)に応じて、彩度強調処理、または、彩度低減処理を行う。そして、彩度が修正された出力画像L*(j、i)、Ma*(j、i)、Mb*(j、i)を生成する。
所定像ずれ量p=0と設定した場合、ボケている領域の彩度を低減し、フォーカスが合っている主被写体の彩度を強調することにより、主被写体をより際立たせる処理例である。
本実施例では、像ずれ差分量分布MDIFF(j,i)に応じて、彩度を修正する例を示したが、これに限定されず、コントラスト分布MCON(j,i)に応じて、彩度を修正したり、像ずれ量分布MDIS(j,i)に応じて、彩度を修正しても良い。
遠景の彩度を相対的に低くして遠近感を強調するために、所定像ずれ量pより、像ずれ量分布MDIS(j,i)が小さく、相対的に奥行き奥側の領域では彩度を低減する処理を行っても良い。また、所定像ずれ量pより、像ずれ量分布MDIS(j,i)が大きく、相対的に奥行き手前側の領域では彩度を強調する処理を行っても良い。
これとは逆に、遠景の彩度を相対的に高くして望遠レンズでの圧縮効果をより際立たせるために、所定像ずれ量pより、像ずれ量分布MDIS(j,i)が小さく、相対的に奥行き奥側の領域では彩度を強調する処理を行っても良い。また、所定像ずれ量pより、像ずれ量分布MDIS(j,i)が大きく、相対的に奥行き手前側の領域では彩度を低減する処理を行っても良い。
以上のように本実施例の画像処理方法は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から出力画像を生成する画像処理方法である。この画像処理方法では、入力画像から、異なる瞳部分領域毎に、複数の視点画像を生成し、入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。そして、撮像画像と複数の視点画像からコントラスト分布を生成し、複数の視点画像から像ずれ量分布を生成する。さらに、撮像画像に、コントラスト分布および像ずれ量分布に応じて彩度を修正する画像処理を行い、出力画像を生成する。
本実施例の構成により、画質品位を良好に保持して、彩度を修正する画像処理を行うことができる。
[第3の実施例]
次に、本発明の第3の実施例を説明する。なお、第1の実施例の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、相違点を中心に説明する。
次に、本発明の第3の実施例を説明する。なお、第1の実施例の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、相違点を中心に説明する。
本実施例における撮像素子の画素と副画素の配列の概略図を図26に示す。図26の左右方向をx軸方向(水平方向)とし、上下方向をy軸方向(垂直方向)とし、x軸方向およびy軸方向に直交する方向(紙面に垂直な方向)をz軸方向(光軸方向)と定義する。図26は、本実施例の2次元CMOSセンサー(撮像素子)の画素(撮像画素)配列を4列×4行の範囲で、副画素配列を8列×8行の範囲で示したものである。
本実施例では、図26に示した2列×2行の画素群200は、第1色のR(赤)の分光感度を有する画素200Rが左上に、第2色のG(緑)の分光感度を有する画素200Gが右上と左下に配置されている。また、第3色のB(青)の分光感度を有する画素200Bが右下に配置されている。さらに、各画素は、x軸方向に2分割(Nx分割)、y軸方向に2分割(Ny分割)された分割数4(分割数NLF=Nx×Ny)の第1副画素201から第4副画素204(第1副画素から第NLF副画素)の複数の副画素により構成されている。
図26に示す例では、4列×4行の画素(8列×8行の副画素)を面上に多数配置することで、撮像画像および分割数4(分割数NLF)の複数の視点画像を生成するための入力画像を取得可能である。本実施例の撮像素子では、画素の周期Pを4μm(マイクロメートル)とし、画素数Nを横5575列×縦3725行=約2075万画素とする。また、副画素の周期PSを2μmとし、副画素数NSを横11150列×縦7450行=約8300万画素とする。
図26に示す撮像素子における1つの画素200Gを、撮像素子の受光面側(+z側)から見た場合の平面図を図27(A)に示す。図27(A)の紙面に垂直な方向にz軸を設定し、手前側をz軸の正方向と定義する。また、z軸に直交する上下方向にy軸を設定して上方をy軸の正方向とし、z軸およびy軸に直交する左右方向にx軸を設定して右方をx軸の正方向と定義する。図27(A)にてa−a切断線に沿って、−y側から見た場合の断面図を図27(B)に示す。
図27(A)および、図27(B)に示すように、画素200Gは、各画素の受光面側(+z軸方向)に入射光を集光するためのマイクロレンズ305が形成されている。さらに、x軸方向に2分割(Nx分割)、y軸方向に2分割(Ny分割)された分割数4(分割数NLF)の第1光電変換部301から第4光電変換部304(第1光電変換部から第NLF光電変換部)の複数の光電変換部が形成されている。第1光電変換部301から第4光電変換部304(第1光電変換部から第NLF光電変換部)が、それぞれ、第1副画素201から第4副画素204(第1副画素から第NLF副画素)に対応する。
[多視点画像と撮像画像]
図9のステップS1で、本実施例の撮像素子により取得されたLFデータ(入力画像)から、結像光学系の異なる瞳部分領域毎に、複数の視点画像を生成し、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。ステップS1において、まず、本実施例の撮像素子により取得されたLFデータ(入力画像)を入力する。もしくは、予め本実施例の撮像素子により撮影され、記録媒体に保存されているLFデータ(入力画像)を用いても良い。
図9のステップS1で、本実施例の撮像素子により取得されたLFデータ(入力画像)から、結像光学系の異なる瞳部分領域毎に、複数の視点画像を生成し、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。ステップS1において、まず、本実施例の撮像素子により取得されたLFデータ(入力画像)を入力する。もしくは、予め本実施例の撮像素子により撮影され、記録媒体に保存されているLFデータ(入力画像)を用いても良い。
ステップS1において、次に、結像光学系の異なる瞳部分領域毎に、第1副画素201から第4副画素204(第1視点画像から第NLF視点画像)を生成する。LFデータ(入力画像)をLFとする。また、LFの各画素信号内での列方向iS(1≦iS≦Nx)番目、行方向jS(1≦jS≦Ny)番目の副画素信号を、k=Nx(jS−1)+iS(1≦k≦NLF)として、第k副画素信号とする。結像光学系の第k瞳部分領域に対応した、列方向i番目、行方向j番目の第k視点画像Ik(j、i)を、式(1)により生成する。
本実施例は、Nx=2、Ny=2、NLF=4の4分割の例である。図26に例示した画素配列に対応したLFデータ(入力画像)から、各画素毎に、4分割された第1副画素201から第4副画素204(Nx×Ny分割された第1副画素から第NLF副画素)の中から特定の副画素の信号を選択する。よって、結像光学系の第1瞳部分領域から第4瞳部分領域(第NLF瞳部分領域)の中の特定の瞳部分領域に対応した、画素数Nの解像度を有するベイヤー配列のRGB信号である第1視点画像から第4視点画像(第NLF視点画像)を生成する。
図9のステップS1において、次に、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。列方向にi番目、行方向にj番目の撮像画像I(j、i)を、式(2)により生成する。
本実施例は、Nx=2、Ny=2、NLF=4の4分割の例である。図26に例示した画素配列に対応した入力画像(LFデータ)から、各画素毎に、4分割された第1副画素201から第4副画素204(Nx×Ny分割された第1副画素から第NLF副画素)の信号を全て合成する。そして、画素数Nの解像度を有するベイヤー配列のRGB信号である撮像画像を生成する。
[コントラスト分布]
図9のステップS2で、本実施例の撮像画像と複数の視点画像から、それぞれ、空間周波数の高周波帯域成分を領域毎に抽出して、コントラスト分布を生成する。本実施例のコントラスト分布は、視点画像間の差に応じた調整が行われる。ステップS2において、まず、ベイヤー配列のRGB信号である撮像画像I(j、i)から、位置(j,i)ごとに、各色RGBの色重心を一致させて、撮像輝度信号Yを、式(3A)により生成する。同様に、ベイヤー配列のRGB信号である第k視点画像Ik(k=1〜NLF)から、第k視点輝度信号Ykを、式(3B)により生成する。
図9のステップS2で、本実施例の撮像画像と複数の視点画像から、それぞれ、空間周波数の高周波帯域成分を領域毎に抽出して、コントラスト分布を生成する。本実施例のコントラスト分布は、視点画像間の差に応じた調整が行われる。ステップS2において、まず、ベイヤー配列のRGB信号である撮像画像I(j、i)から、位置(j,i)ごとに、各色RGBの色重心を一致させて、撮像輝度信号Yを、式(3A)により生成する。同様に、ベイヤー配列のRGB信号である第k視点画像Ik(k=1〜NLF)から、第k視点輝度信号Ykを、式(3B)により生成する。
ステップS2において、次に、空間周波数の高周波成分を抽出する2次元バンドパスフィルタを用いて、撮像輝度信号Y(j,i)から、撮像高周波信号dY(j,i)を式(4A)より生成する。2次元バンドパスフィルタを{FBPF(jBPF、iBPF)|−nBPF≦jBPF≦nBPF、−mBPF≦iBPF≦mBPF}とする。同様に、第k視点輝度信号Yk(j,i)(k=1〜NLF)から、第k視点高周波信号dYk(j,i)を式(4B)より生成する。
本実施例は、Nx=2、Ny=2、NLF=4の4分割の例である。x軸方向(瞳分割方向)の1次元フィルタFx(iBPF)と、y軸方向(瞳分割方向と直交する方向)の1次元フィルタFy(jBPF)との直積により、2次元バンドパスフィルタを構成する例を示す。すなわち、FBPF(jBPF、iBPF)=Fy(jBPF)×Fx(iBPF)と構成する。瞳分割方向の1つであるx軸方向の1次元フィルタFx(iBPF)には、x軸方向の空間周波数の高周波成分を抽出する。このため、例えば、0.5×[1、2、0、−2、−1]+1.5×[1、0、−2、0、1]などの1次元バンドパスフィルタを用いることができる。
同様に、瞳分割方向の1つであるy軸方向の1次元フィルタFy(jBPF)には、y軸方向の空間周波数の高周波成分を抽出する。このため、例えば、0.5×[1、2、0、−2、−1]+1.5×[1、0、−2、0、1]などの1次元バンドパスフィルタを用いることができる。本実施例では、2つの1次元フィルタの直積で構成される2次元バンドパスフィルタを例示したが、これに限定されず、一般的な2次元バンドパスフィルタを用いることができる。
ステップS2において、次に、Y0>0として、撮像高周波信号dY(j,i)を、撮像輝度信号Y(j,i)により規格化した、規格化撮像高周波信号dZ(j,i)を、式(5A)により生成する。同様に、第k視点高周波信号dYk(j,i)(k=1〜NLF)を、第k視点輝度信号Yk(j,i)により規格化した、規格化第k視点高周波信号dZk(j,i)を、式(5B)により生成する。分母のY0>0との最大値判定は、0割を防止するためである。必要に応じて、式(5A)、式(5B)での規格化前に、撮像輝度信号Y(j,i)、第k視点輝度信号Yk(j,i)に対して、高周波カット(ローパス)フィルタ処理を行い、高周波ノイズを抑制しても良い。
ステップS2において、次に、低輝度閾値Ymin、コントラスト最大閾値Cmax、指数γとして、撮像コントラスト分布C(j,i)を、式(6A)により生成する。式(6A)の1行目で、撮像輝度信号Y(j,i)が、低輝度閾値Yminより小さい場合、撮像コントラスト分布C(j,i)の値が0に設定される。式(6A)の3行目で、規格化撮像高周波信号dZ(j,i)が、コントラスト最大閾値Cmaxより大きい場合、撮像コントラスト分布C(j,i)の値が1に設定される。
それ以外の場合は、式(6A)の2行目で、撮像コントラスト分布C(j,i)は、規格化撮像高周波信号dZ(j,i)をコントラスト最大閾値Cmaxで規格化してγ乗した値に設定される。以上のように、撮像コントラスト分布C(j,i)は、[0,1](0以上1以下)の範囲内の値をとる。C(j,i)の値が、0に近いとコントラストが低く、1に近いとコントラストが高いことを示す。
撮像コントラスト分布C(j,i)の0から1までのトーンカーブを調整するためにγ乗されている。低コントラスト側での変化を緩やかに、高コントラスト側での変化を急峻にするために、指数γは1.5以上2.5以下が望ましい。必要に応じて、定義域[0,1]から値域[0,1]への関数F:[0,1]→[0,1]を用いて、合成関数F(C(j,i))を撮像コントラスト分布としても良い。同様に、第k視点コントラスト分布Ck(j,i)(k=1〜NLF)を、式(6B)により生成する。
本実施例では、ステップS2において、次に、空間周波数成分が異なる複数被写体像の混成領域を検出する。このために、第1視点コントラスト分布C1(j,i)から第4視点コントラスト分布C4(j,i)を用いて、式(20)により、コントラスト差分量分布CDIFF(j,i)を生成する。次に、式(7B)により、撮像コントラスト分布C(j,i)に、コントラスト差分量分布CDIFF(j,i)を、かけ合わせる。これにより、空間周波数成分が異なる複数被写体像の混成領域での値を0近傍に抑制したコントラスト分布MCON(j,i)を生成する。
コントラスト差分量分布CDIFF(j,i)は、[0、1]の範囲の分布で、視点画像間のコントラスト差が大きく、空間周波数成分が異なる被写体像の混成が多い領域では0の値に近づく分布である。また、視点画像間のコントラスト差が小さく、空間周波数成分が異なる被写体像の混成が少ない領域では1の値に近づく分布である。コントラスト分布MCON(j,i)は、撮像コントラスト分布C(j,i)に、コントラスト差分量分布CDIFF(j,i)を、かけ合わせた分布であり、よって、空間周波数成分が異なる複数被写体像の混成領域での値を0近傍に抑制した分布である。
図9のステップS3以降は、第1の実施例と同様の処理である。本実施例の構成により、画質品位を良好に保持して、先鋭化や平滑化の画像処理を行うことができる。なお、撮像素子の各画素部における光電変換部については、分割数をさらに多くした実施形態(例えば、Nx=3、Ny=3、NLF=9の9分割や、Nx=4、Ny=4、NLF=16の16分割など)が可能である。
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
Claims (25)
- 複数の視点画像を取得し、
前記複数の視点画像からコントラスト分布を生成し、
前記複数の視点画像に基づく画像に対して、前記コントラスト分布に応じた画像処理を行い、出力画像を生成することを特徴とする画像処理方法。 - 前記コントラスト分布は、前記視点画像毎のコントラスト間の差に応じて生成される、ことを特徴とする請求項1に記載の画像処理方法。
- 前記視点画像毎のコントラスト間の差が大きい領域より、差が小さい領域の方が、前記画像処理が強く行われる、ことを特徴とする請求項1または請求項2に記載の画像処理方法。
- 前記画像処理は、先鋭化の処理、平滑化の処理、または、これらの組み合わせ処理である、ことを特徴とする請求項1乃至請求項3のいずれか1項に記載の画像処理方法。
- 前記複数の視点画像から視点画像間の像のずれ量の分布を示す像ずれ量分布あるいは視点画像内の被写体のデフォーカス量の分布を示すデフォーカス量分布を生成し、
前記像ずれ量分布またはデフォーカス量分布に基づいて前記画像処理を行う、ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理方法。 - 前記像ずれ量分布またはデフォーカス量分布の基準からの差が大きい領域より、差が小さい領域の方が、前記画像処理としての先鋭化の処理が強く行われる、ことを特徴とする請求項5に記載の画像処理方法。
- 前記像ずれ量分布またはデフォーカス量分布の基準からの差が小さい領域より、差が大きい領域の方が、前記画像処理としての平滑化の処理が強く行われる、ことを特徴とする請求項4または請求項5に記載の画像処理方法。
- 前記像ずれ量分布またはデフォーカス量分布の基準からの差が小さい領域は、前記画像処理として先鋭化の処理を行い、差が大きい領域は、前記画像処理として平滑化の処理を行う、ことを特徴とする請求項5に記載の画像処理方法。
- 前記画像処理は、彩度を修正する処理である、ことを特徴とする請求項1乃至請求項3のいずれか1項に記載の画像処理方法。
- 前記複数の視点画像を合成した合成画像において、所定の空間周波数帯域における空間周波数成分が少ない領域より、空間周波数成分が多い領域の方が大きい合成コントラスト分布を生成する、ことを特徴とする請求項1乃至請求項9のいずれか1項に記載の画像処理方法。
- 前記コントラスト分布は、前記合成画像の輝度が低い領域より、輝度が高い領域の方が大きい、ことを特徴とする請求項1乃至請求項10のいずれか1項に記載の画像処理方法。
- 前記コントラスト分布は、前記視点画像毎のコントラスト間の差が大きい領域より、コントラスト間の差が小さい領域の方が大きい、ことを特徴とする請求項1乃至請求項11のいずれか1項に記載の画像処理方法。
- 前記コントラスト分布が、小さい領域より、大きい領域の方が、前記画像処理が強く行われる、ことを特徴とする請求項1乃至請求項12のいずれか1項に記載の画像処理方法。
- 前記コントラスト分布を記録媒体に記録する、ことを特徴とする請求項1乃至請求項13のいずれか1項に記載の画像処理方法。
- 前記コントラスト分布が所定値以上の領域において、前記像ずれ量分布を生成する、ことを特徴とする請求項5に記載の画像処理方法。
- 前記像ずれ量分布を記録媒体に記録する、ことを特徴とする請求項5に記載の画像処理方法。
- 前記複数の視点画像毎に重み係数をかけて前記複数の視点画像を合成した合成画像を生成する、
ことを特徴とする請求項1乃至請求項16のいずれか1項に記載の画像処理方法。 - 前記複数の視点画像は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から生成される、ことを特徴とする請求項1乃至請求項17のいずれか1項に記載の画像処理方法。
- 複数の視点画像を取得し、
前記複数の視点画像の画素毎に、前記複数の視点画像間の差を拡大して視差を先鋭化、もしくは、前記複数の視点画像間の差を縮小して視差を平滑化する処理を行い、複数の修正視点画像を生成し、
前記複数の修正視点画像から出力画像を生成する、ことを特徴とする画像処理方法。 - 前記複数の視点画像間の差を拡大して視差を先鋭化、または、前記複数の視点画像間の差を縮小して視差を平滑化する処理は、前記画素毎に含まれる前記複数の光電変換部が、それぞれ、出力する信号間の演算により処理を行う、ことを特徴とする請求項19に記載の画像処理方法。
- 前記複数の修正視点画像をシフトして加算することにより、前記出力画像を生成する、ことを特徴とする請求項19または請求項20に記載の画像処理方法。
- 前記複数の修正視点画像の画像サイズを拡張する処理を行う、ことを特徴とする請求項19乃至請求項21のいずれか1項に記載の画像処理方法。
- 複数の視点画像を取得する取得手段と、
前記複数の視点画像からコントラスト分布を生成するコントラスト分布生成手段と、
前記複数の視点画像に基づく画像に対して、前記コントラスト分布に応じた画像処理を行い、出力画像を生成する出力画像生成手段と、を備えることを特徴とする画像処理装置。 - 前記複数の視点画像から視点画像間の像のずれ量の分布を示す像ずれ量分布または視点画像内の被写体のデフォーカス量の分布を示すデフォーカス量分布を生成する生成手段をさらに備え、
前記像ずれ量分布または前記デフォーカス量分布に基づいて前記画像処理を行う、ことを特徴とする請求項23に記載の画像処理装置。 - 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子と、
前記撮像素子により取得される入力画像から、前記異なる瞳部分領域毎に、複数の視点画像を生成する視点画像生成手段と、
前記入力画像から、前記異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する撮像画像生成手段と、
前記複数の視点画像からコントラスト分布を生成するコントラスト分布生成手段と、
前記複数の視点画像に基づく画像に、前記コントラスト分布に応じた画像処理を行い、出力画像を生成する出力画像生成手段と、を備えることを特徴とする撮像装置。
Priority Applications (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16761877.6A EP3269135B1 (en) | 2015-03-10 | 2016-03-10 | Image processing method, image processing device, and image pickup apparatus |
PCT/JP2016/058419 WO2016143913A1 (en) | 2015-03-10 | 2016-03-10 | Image processing method, image processing device, and image pickup apparatus |
EP23216664.5A EP4386659A1 (en) | 2015-03-10 | 2016-03-10 | Image processing method, image processing device, and image pickup apparatus |
CN202011073254.8A CN112492194B (zh) | 2015-03-10 | 2016-03-10 | 图像处理方法和图像处理装置 |
KR1020177024777A KR101983047B1 (ko) | 2015-03-10 | 2016-03-10 | 화상처리방법, 화상처리장치 및 촬상 장치 |
EP19215526.5A EP3668083A1 (en) | 2015-03-10 | 2016-03-10 | Image processing method, image processing device, and image pickup apparatus |
CN201680012952.2A CN107431754B (zh) | 2015-03-10 | 2016-03-10 | 图像处理方法、图像处理装置和摄像设备 |
US15/545,050 US10545311B2 (en) | 2015-03-10 | 2016-03-10 | Image processing method, image processing device, and image pickup apparatus |
US16/731,247 US20200174222A1 (en) | 2015-03-10 | 2019-12-31 | Image processing method, image processing device, and image pickup apparatus |
US17/570,426 US20220137328A1 (en) | 2015-03-10 | 2022-01-07 | Image processing method, image processing device, and image pickup apparatus |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015047460 | 2015-03-10 | ||
JP2015047460 | 2015-03-10 | ||
JP2016039594 | 2016-03-02 | ||
JP2016039594 | 2016-03-02 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018002384A Division JP6772201B2 (ja) | 2015-03-10 | 2018-01-11 | 画像処理方法、画像処理装置、プログラム、および記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017163308A JP2017163308A (ja) | 2017-09-14 |
JP6275174B2 true JP6275174B2 (ja) | 2018-02-07 |
Family
ID=59853228
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016045216A Active JP6275174B2 (ja) | 2015-03-10 | 2016-03-09 | 画像処理方法、画像処理装置、および、撮像装置 |
JP2018002384A Active JP6772201B2 (ja) | 2015-03-10 | 2018-01-11 | 画像処理方法、画像処理装置、プログラム、および記録媒体 |
JP2020166198A Active JP6972266B2 (ja) | 2015-03-10 | 2020-09-30 | 画像処理方法、画像処理装置、および、撮像装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018002384A Active JP6772201B2 (ja) | 2015-03-10 | 2018-01-11 | 画像処理方法、画像処理装置、プログラム、および記録媒体 |
JP2020166198A Active JP6972266B2 (ja) | 2015-03-10 | 2020-09-30 | 画像処理方法、画像処理装置、および、撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10545311B2 (ja) |
EP (2) | EP3668083A1 (ja) |
JP (3) | JP6275174B2 (ja) |
KR (1) | KR101983047B1 (ja) |
CN (1) | CN107431754B (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6486149B2 (ja) | 2015-03-03 | 2019-03-20 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
WO2016143913A1 (en) | 2015-03-10 | 2016-09-15 | Canon Kabushiki Kaisha | Image processing method, image processing device, and image pickup apparatus |
JP6746359B2 (ja) | 2015-05-08 | 2020-08-26 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
GB2548462B (en) | 2016-01-29 | 2020-06-17 | Canon Kk | Image sensor and image capturing apparatus |
JP6806494B2 (ja) * | 2016-08-24 | 2021-01-06 | キヤノン株式会社 | 撮像装置、撮像システム、移動体及び撮像装置の駆動方法 |
JP7319840B2 (ja) * | 2019-06-25 | 2023-08-02 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4410804A (en) | 1981-07-13 | 1983-10-18 | Honeywell Inc. | Two dimensional image panel with range measurement capability |
JP2001126075A (ja) * | 1999-08-17 | 2001-05-11 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びに記録媒体 |
JP3774597B2 (ja) | 1999-09-13 | 2006-05-17 | キヤノン株式会社 | 撮像装置 |
JP3751806B2 (ja) * | 2000-08-24 | 2006-03-01 | 大日本スクリーン製造株式会社 | 画像処理装置および記録媒体 |
JP4866147B2 (ja) * | 2006-05-22 | 2012-02-01 | 株式会社リコー | 画像シフト検出方法および装置および画像入力装置 |
EP2289235A4 (en) * | 2008-05-20 | 2011-12-28 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER |
JP5289105B2 (ja) * | 2009-03-05 | 2013-09-11 | キヤノン株式会社 | 画像処理装置およびその制御方法、ならびに、撮像装置 |
US20120249550A1 (en) * | 2009-04-18 | 2012-10-04 | Lytro, Inc. | Selective Transmission of Image Data Based on Device Attributes |
JP2011017800A (ja) | 2009-07-07 | 2011-01-27 | Canon Inc | 焦点検出装置 |
JP2011022796A (ja) | 2009-07-15 | 2011-02-03 | Canon Inc | 画像処理方法および画像処理装置 |
CN102812712B (zh) | 2010-03-24 | 2015-04-08 | 富士胶片株式会社 | 图像处理设备和图像处理方法 |
JP5699609B2 (ja) * | 2011-01-06 | 2015-04-15 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP5743769B2 (ja) * | 2011-07-15 | 2015-07-01 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP6021306B2 (ja) | 2011-07-25 | 2016-11-09 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US20130050420A1 (en) | 2011-08-22 | 2013-02-28 | Ding-Yun Chen | Method and apparatus for performing image processing according to disparity information |
CN103037236A (zh) | 2011-08-22 | 2013-04-10 | 联发科技股份有限公司 | 图像处理方法以及装置 |
WO2013047007A1 (ja) | 2011-09-29 | 2013-04-04 | 富士フイルム株式会社 | 視差量調整装置およびその動作制御方法 |
JP6019568B2 (ja) * | 2011-11-28 | 2016-11-02 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP5917125B2 (ja) | 2011-12-16 | 2016-05-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置および表示装置 |
EP2833638B1 (en) | 2012-03-29 | 2017-09-27 | Fujifilm Corporation | Image processing device, imaging device, and image processing method |
JP6036829B2 (ja) * | 2012-08-10 | 2016-11-30 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理装置の制御プログラム |
CN107346061B (zh) * | 2012-08-21 | 2020-04-24 | 快图有限公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
JP5988790B2 (ja) | 2012-09-12 | 2016-09-07 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム |
CN104641626B (zh) * | 2012-09-19 | 2018-02-27 | 富士胶片株式会社 | 摄像装置及对焦确认显示方法 |
JP6239855B2 (ja) | 2013-05-08 | 2017-11-29 | キヤノン株式会社 | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 |
JP6239862B2 (ja) * | 2013-05-20 | 2017-11-29 | キヤノン株式会社 | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 |
JP5857012B2 (ja) | 2013-09-04 | 2016-02-10 | 株式会社平和 | 遊技機 |
JP2015156607A (ja) * | 2014-02-21 | 2015-08-27 | ソニー株式会社 | 画像処理装置、画像処理装置、及び電子機器 |
JP5947343B2 (ja) | 2014-08-11 | 2016-07-06 | ソフトバンク株式会社 | アンテナ調整システム及びアンテナ調整方法 |
JP6327467B2 (ja) | 2014-08-19 | 2018-05-23 | 大日本印刷株式会社 | スクラッチラベル |
US10325356B2 (en) | 2015-11-30 | 2019-06-18 | Canon Kabushiki Kaisha | Image processing device, image processing method, imaging device, and recording medium for exclusively performing adjustment processing or viewpoint change processing |
-
2016
- 2016-03-09 JP JP2016045216A patent/JP6275174B2/ja active Active
- 2016-03-10 CN CN201680012952.2A patent/CN107431754B/zh active Active
- 2016-03-10 EP EP19215526.5A patent/EP3668083A1/en active Pending
- 2016-03-10 EP EP16761877.6A patent/EP3269135B1/en active Active
- 2016-03-10 KR KR1020177024777A patent/KR101983047B1/ko active IP Right Grant
- 2016-03-10 US US15/545,050 patent/US10545311B2/en active Active
-
2018
- 2018-01-11 JP JP2018002384A patent/JP6772201B2/ja active Active
-
2019
- 2019-12-31 US US16/731,247 patent/US20200174222A1/en not_active Abandoned
-
2020
- 2020-09-30 JP JP2020166198A patent/JP6972266B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021007247A (ja) | 2021-01-21 |
CN107431754A (zh) | 2017-12-01 |
KR20170110695A (ko) | 2017-10-11 |
EP3269135A1 (en) | 2018-01-17 |
US20200174222A1 (en) | 2020-06-04 |
JP2018101982A (ja) | 2018-06-28 |
EP3269135B1 (en) | 2020-06-17 |
JP2017163308A (ja) | 2017-09-14 |
KR101983047B1 (ko) | 2019-05-28 |
JP6972266B2 (ja) | 2021-11-24 |
US10545311B2 (en) | 2020-01-28 |
EP3668083A1 (en) | 2020-06-17 |
JP6772201B2 (ja) | 2020-10-21 |
CN107431754B (zh) | 2020-11-03 |
US20180003923A1 (en) | 2018-01-04 |
EP3269135A4 (en) | 2019-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6275174B2 (ja) | 画像処理方法、画像処理装置、および、撮像装置 | |
JP6918485B2 (ja) | 画像処理装置および画像処理方法、プログラム、記憶媒体 | |
US10325356B2 (en) | Image processing device, image processing method, imaging device, and recording medium for exclusively performing adjustment processing or viewpoint change processing | |
JP2018121235A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2017184217A (ja) | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム | |
JP6370348B2 (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム、記憶媒体 | |
US20220137328A1 (en) | Image processing method, image processing device, and image pickup apparatus | |
US11032465B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and recording medium | |
JP7204357B2 (ja) | 撮像装置およびその制御方法 | |
JP2015145970A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6800648B2 (ja) | 画像処理装置及びその制御方法、プログラム並びに撮像装置 | |
JP7091048B2 (ja) | 撮像装置およびその制御方法 | |
JP7319840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
WO2017163588A1 (ja) | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム | |
US10964739B2 (en) | Imaging apparatus and control method thereof | |
JP2018110299A (ja) | 画像処理方法、画像処理装置、および、撮像装置 | |
JP2016133595A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
JP2016024402A (ja) | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180109 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6275174 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |