JP6140935B2 - 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 - Google Patents
画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 Download PDFInfo
- Publication number
- JP6140935B2 JP6140935B2 JP2012113472A JP2012113472A JP6140935B2 JP 6140935 B2 JP6140935 B2 JP 6140935B2 JP 2012113472 A JP2012113472 A JP 2012113472A JP 2012113472 A JP2012113472 A JP 2012113472A JP 6140935 B2 JP6140935 B2 JP 6140935B2
- Authority
- JP
- Japan
- Prior art keywords
- reliability
- images
- information
- image processing
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 61
- 238000003384 imaging method Methods 0.000 title claims description 21
- 238000003672 processing method Methods 0.000 title claims description 16
- 238000000034 method Methods 0.000 claims description 70
- 238000006073 displacement reaction Methods 0.000 claims description 69
- 238000004364 calculation method Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 description 26
- 239000013598 vector Substances 0.000 description 15
- 230000008859 change Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/676—Bracketing for image capture at varying focusing conditions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Description
誤った距離マップを利用して被写界深度が浅い画像を生成しようすると、正しく距離マップが求められていない領域において正しいぼけ効果が得られなくなる。すなわち、ぼけてほしくない主被写体領域がぼけたり、ぼかしたい背景領域がぼけていなかったりといった、視覚的に著しい画質劣化が発生するという問題があった。
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置であって、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する位置ずれ検出手段と、前記複数の画像から被写体の距離情報を算出する距離情報算出手段と、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する信頼度情報作成手段と、を有し、前記信頼度情報作成手段は、対象の領域における位置ずれと、該領域の周辺にある複数領域の位置ずれの平均との差異を算出し、差異が大きい場合に、差異が小さい場合と比較してより低い信頼度を設定することを特徴とする。
また、本発明の第二の形態に係る画像処理装置は、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置であって、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する位置ずれ検出手段と、前記複数の画像から被写体の距離情報を算出する距離情報算出手段と、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する信頼度情報作成手段と、を有し、前記信頼度情報作成手段は、前記複数の画像の差分にさらに基づいて、前記信頼度情報を作成することを特徴とする。
また、本発明の第三の形態に係る画像処理装置は、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置であって、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する位置ずれ検出手段と、前記複数の画像から被写体の距離情報を算出する距離情報算出手段と、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する信頼度情報作成手段と、前記距離情報算出手段が算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御手段と、を有
し、前記被写界深度制御手段は、前記信頼度が低い領域に対して、信頼度が高い場合と比較してぼけの付加量を少なくすることを特徴とする。
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置が行う画像処理方法であって、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、前記複数の画像から被写体の距離情報を算出する算出ステップと、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、を含み、前記作成ステップでは、対象の領域における位置ずれと、該領域の周辺にある複数領域の位置ずれの平均との差異を算出し、差異が大きい場合に、差異が小さい場合と比較してより低い信頼度を設定することを特徴とする。
また、本発明の第二の形態に係る画像処理方法は、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置が行う画像処理方法であって、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、前記複数の画像から被写体の距離情報を算出する算出ステップと、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、を含み、前記作成ステップでは、前記複数の画像の差分にさらに基づいて、前記信頼度情報を作成することを特徴とする。
また、本発明の第三の形態に係る画像処理方法は、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置が行う画像処理方法であって、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、前記複数の画像から被写体の距離情報を算出する算出ステップと、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、前記算出ステップで算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御ステップと、を含み、前記被写界深度制御ステップでは、前記信頼度が低い領域に対して、信頼度が高い場合と比較してぼけの付加量を少なくすることを特徴とする。
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置に、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、前記複数の画像から被写体の距離情報を算出する算出ステップと、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報
に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、を実行させ、前記作成ステップでは、対象の領域における位置ずれと、該領域の周辺にある複数領域の位置ずれの平均との差異を算出し、差異が大きい場合に、差異が小さい場合と比較してより低い信頼度を設定することを特徴とする。
また、本発明の第二の形態に係る画像処理プログラムは、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置に、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、前記複数の画像から被写体の距離情報を算出する算出ステップと、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、を実行させ、前記作成ステップでは、前記複数の画像の差分にさらに基づいて、前記信頼度情報を作成することを特徴とする。
また、本発明の第三の形態に係る画像処理プログラムは、
ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置に、前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、前記複数の画像から被写体の距離情報を算出する算出ステップと、検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、前記算出ステップで算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御ステップと、を実行させ、前記被写界深度制御ステップでは、前記信頼度が低い領域に対して、信頼度が高い場合と比較してぼけの付加量を少なくすることを特徴とする。
本実施形態に係る撮像装置は、フォーカス位置の異なる複数の画像を撮影する機能と、撮影した複数の画像を処理することによって、被写界深度を浅くした画像を生成する機能を有する。
図1aは、本実施形態に係る撮像装置のシステム構成である。撮像装置1は、本発明に係る画像処理装置を含むデジタルスチルカメラ、デジタルビデオカメラ等である。
撮像素子102は被写体光を電気信号に変換して出力する撮像素子であり、典型的にはCCDやCMOS等のイメージセンサで構成される。
画像形成回路103は、撮像素子102から出力されたアナログ信号をデジタル化して画像化するための画像形成回路である。画像形成回路103は、不図示のアナログ/デジタル変換回路、オートゲイン制御回路、オートホワイトバランス回路、画素補間処理回路、色変換処理回路などによって構成される。また、形成した画像の被写界深度を変更するための被写界深度制御回路を含んでいる。当該被写界深度制御回路が、本発明における画像処理装置に相当する。
システム制御回路106は、撮像装置1全体の動作を司る制御回路である。撮影のための光学系の制御と、撮影した画像をデジタル処理するための制御を行う。
メモリ107は、システム制御回路106で用いる動作制御用のデータ、および処理プログラムなどを記録するフラッシュROM等を用いたメモリである。また、不揮発性メモリ108は各種調整値などの情報を記憶する、電気的に消去および記録可能なEEPROM等の不揮発性メモリである。
フレームメモリ109は、画像形成回路103で生成された画像を数フレーム分記憶するフレームメモリである。また、メモリ制御回路110は、フレームメモリ109に入出力される画像信号を制御するメモリ制御回路である。画像出力部111は、画像形成回路103で生成された画像を不図示の画像出力装置に表示するための画像出力部である。
なお、本発明に係る画像処理装置、すなわち本実施形態における被写界深度制御回路は、専用の回路を用いて実現されてもよいし、コンピュータによって実現されてもよい。コンピュータによって実現される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、CPUによって実行されることによって図1bに図示した各手段が機能する。(CPU、補助記憶装置、主記憶装置はいずれも不図示)
信頼度マップ算出部203は、距離マップ推定部202が作成した距離マップがどの程度信頼できるかを表す信頼度を領域ごとに決定し、当該信頼度の画像上での分布を表す信頼度マップを作成する手段である。信頼度の算出方法の詳細については後述する。信頼度マップ算出部203が、本発明における信頼度情報算出手段である。
被写界深度制御部205は、距離マップ補正部204が作成した補正距離マップを元に、撮影画像に対してぼけの付加を行う手段である。被写界深度制御部205が、本発明における被写界深度制御手段である。
次に、撮像装置1の動作について、処理フローチャートを用いて詳細に説明する。
図2(a)は、撮像装置1が被写体を撮影してから、撮影画像に対して所定のぼけを付加、すなわち被写界深度が浅い画像を生成し、表示するまでの処理を示すフローチャートである。
ステップS201ではまず、露光制御部104や測距制御部105によって、露出制御や焦点制御などが行われ、撮影条件が決定される。その後、撮像素子102が光学系100を介して結像された被写体像を光電変換し、被写体輝度に応じたアナログ信号を生成する。その後、撮像素子102で生成されたアナログ画像信号が画像形成回路103を介してデジタル画像化され、フレームメモリ109に記録される。ステップS201で得られる画像はフォーカス画像である。
また、ステップS203では、画像形成回路103に含まれる被写界深度制御回路が、フレームメモリ109に記録された画像に対して距離マップを推定する処理と、推定した距離マップに基づいて画像の被写界深度を変更する処理を行う。以降、この二つの処理を被写界深度制御処理と称する。被写界深度制御処理と、その他の画像処理の実行順序は、得られる画像が最適となるように設定すればよく、特に限定されるものではない。その他の画像処理におけるパラメータについても同様である。
まず、ステップS211では、信頼度マップ算出部203がフォーカス画像を解析して信頼度マップを作成する。信頼度マップとは、ステップS213で作成する距離マップの信頼度を表すマップであり、DFD法によって推定した被写体との距離が、どの程度正確であるかを表すマップである。この信頼度マップは、撮影画像が有する画素ごとに分割されたマップであってもよく、矩形領域など特定の小ブロックに分割されたマップであってもよい。その分割サイズまたは形状に制限は無い。本実施形態では、撮影画像を矩形領域に分割する。
い領域であることを意味する。
例えば、図3(a)の例の場合、太陽などの輝度が高い部分(符号302)や、空などの輝度変化の無い部分(符号303)は、デフォーカスの影響が出にくいためにぼけの違いを検出しにくい部分であるため、距離が正確に推定できない、すなわち信頼度が低い部分であると考えられる。
例1)領域内の画素が持つ輝度値の平均が、所定の範囲から外れている場合
例2)領域内の画素が持つ輝度値の変化が乏しい場合
例3)領域内の空間周波数が所定の値より低い場合
このように、信頼度を決定するための評価基準には複数のものを用いることができる。また、例示したもの以外の評価基準を用いてもよい。
「平均輝度が閾値よりも高い領域に対して低い信頼度を与える」という評価基準によって生成された信頼度マップが図4(a)である。また、「輝度の変化幅が閾値よりも低い領域に対して低い信頼度を与える」という評価基準によって生成された信頼度マップが図4(b)である。割り当てる信頼度の値は、任意の数値で表してもよいし、最大値〜最小値を正規化して0〜1の数値で表すなどしてもよい。その表現方法に特に規定はない。
本実施形態では、ステップS211で、図4(a)に示した信頼度マップと、図4(b)に示した信頼度マップの二つを生成する。本実施形態では、異なる評価基準によって二つの信頼度マップを生成するが、生成される信頼度マップはいくつであってもよいし、一つに統合されて出力されてもよい。
位置合わせは、撮影条件の変更による像倍率の変化やカメラの移動による影響を最小限にするための処理である。また、位置合わせを行う際の位置ずれ量(移動量)及び/又は位置ずれ方向(移動方向)、すなわちフォーカス画像およびデフォーカス画像の位置ずれを用いて、ステップS212で生成した信頼度マップとは別の信頼度マップを生成する。位置ずれから信頼度マップを生成するのは、フォーカス画像とデフォーカス画像の対応する領域が大きく離れている場合、当該領域はDFD法によって推定した距離が不正確であることが予想されるためである。
位置合わせ処理は、画像を複数の領域に分割して、領域毎に動きベクトルを算出することで行う。図5は、位置合わせ処理の概要を表した図である。
頭部のみが右に動いていた場合を考える。すると、頭部が属する領域のみ、代表動きベクトル504の方向が周囲と異なる結果となる。したがって、当該頭部が属する領域はフォーカス画像とデフォーカス画像の対応が十分にとれていない領域であり、推定した距離の信頼度が低い領域であると判定できる。
ステップS212では、ある領域の代表動きベクトルの方向や大きさが、周辺の代表動きベクトルと異なるほど、当該領域に割り当てる信頼度を小さくする。例えば、対象領域の周辺にある複数領域の代表動きベクトルの平均値を算出し、当該平均値との差異が大きいほど、信頼度を小さくするようにしてもよい。
図4(c)が、位置合わせ処理によって生成した信頼度マップである。前述した通り、代表動きベクトルが周囲と異なる領域403の部分が低信頼度となる。
なお、本実施形態では代表動きベクトルを算出してから信頼度を算出するようにしたが、必ずしもそのように算出する必要はなく、微小領域の動きベクトルから直接信頼度を算出してもよい。また、フォーカス画像とデフォーカス画像の差分を取得することで被写体の動きを検出し、周囲と比較して動きが大きい領域の信頼度を低くするようにしてもよい。
本実施形態では、距離マップの推定にDFD法を用いる。ここで、図7を用いてDFD法の原理を簡単に説明する。図7において、対象物体Pまでの距離uは、対象物体Pが合焦する位置vが既知であれば、レンズの焦点距離fから、数式1を用いて算出することができる。
v−s1に比例する錯乱円の直径d1に依存する。そこで、錯乱円直径をパラメータとするPSFモデルを仮定し、像i1から錯乱円直径d1を推定する。
ただし、数式2からもわかるように、観測画像i1は対象物体の像i0に依存しているため、このままでは錯乱円直径d1は求めることができない。そこで、異なる撮像面位置s2における観測画像i2を撮像し、画像の周波数領域における観測画像i1と観測画像i2との比を取ることにより、数式3のように観測画像とPSFの関係を導出できる。
本実施形態においては、画像を4×4の領域に分割し、画像中のそれぞれの領域に対し
て、算出した被写体との距離値を与えた距離マップを作成する。
図4を用いて、統合信頼度マップの作成処理を説明する。図4(a)および図4(b)は、ステップS211でフォーカス画像を元に求めた信頼度マップである。また、図4(c)は、ステップS212で行った位置合わせ処理により算出した信頼度マップである。これらの信頼度マップを図4(d)のように統合する。
具体的には、各信頼度を所定の値域に正規化した後、領域毎に乗算することで算出する。統合のさせ方は、特定の方法に限定されるものではない。たとえば、撮影モード(動きが多いシーンや静止物を撮影するシーンなど)の違いによって信頼度に重み付けを行ってもよい。本実施形態では、説明を簡単にするため、ハッチングされた部分を「低信頼度」、その他の部分を「高信頼度」として二値化した統合信頼度マップを生成する。
この処理の概要を、図6を用いて簡単に説明する。まず、ステップS201で取得されたフォーカス画像(図3(a))に対して、画像の輝度や色相が所定の範囲内となる複数の領域を設定する処理を行う。本例では、図6(a)に示したように、画像を4×4のブロックに分割し、それぞれ異なるハッチングで示した領域601〜604の4つの領域を設定するものとする。設定された4つのそれぞれの領域を補正領域と称する。ここでは説明を簡単にするため、本ステップで分割するブロックのサイズと、信頼度マップおよび距離マップが有する領域のサイズは同一とするが、互いのサイズは異なっていてもよい。
図6(b)は、作成した距離マップから、信頼度が低い領域の距離値を削除した状態を表す図である。×印が付与された領域は、信頼度が低い領域であるため、距離値が削除されていることを意味する。そして、距離値を持たない領域の近傍に距離値を持つ領域がある場合、当該距離値を代入する。このとき、同じ補正領域に属する領域を優先する。
以上の処理により、図6(c)のように補正された距離マップを得ることができる。そして、前景および背景に分離するため、距離マップに閾値処理を行い、図6(d)に示した二値の距離マップを得る。このようにして得られた距離マップが、本発明における補正距離マップである。なお、本例では距離値の取得において、同じ補正領域に属する領域を優先したが、距離が近い領域から優先的に得てもよいし、周辺にある複数の領域に対応する距離値を取得し、その平均を使用するなどしてもよい。
具体的には、図3(a)のフォーカス画像の、図6(d)の背景領域609に対応する領域に所定の二次元フィルタを適用し、積和演算をすることで、被写界深度を浅くした画像を得る。このフィルタは、ガウス関数など利用してもよいし、特定のレンズを模したフ
ィルタを適用してもよい。また、演算方式は、積和演算に限るものではなく、FFTなど周波数空間を利用したものであってもよい。その演算方式に限定は無い。また、ここで、図6(d)の前景領域610と背景領域609との間に適切な遷移領域を加え、急激な変化を避けるようにしてもよい。
この他にも、信頼度によって被写界深度制御用の強度パラメータを変更してもよい。例えば、信頼度が低い領域については、ぼけの付加量にゲインをかけ、ぼかしを弱く調整することで視覚的な画像劣化を緩和する処理を行ってもよい。
また、実施形態の説明では、動きベクトルから信頼度マップを生成した。しかし、ぼけ方の異なる複数の画像間の位置ずれが拡大縮小及び/又は回転を含む場合には、検出した位置ずれ量及び位置ずれ方向から複数の画像間の拡大縮小及び/又は回転を位置ずれとして算出し、その算出結果に基づいて信頼度情報を作成しても良い。
Claims (17)
- ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置であって、
前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する位置ずれ検出手段と、
前記複数の画像から被写体の距離情報を算出する距離情報算出手段と、
検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する信頼度情報作成手段と、
を有し、
前記信頼度情報作成手段は、対象の領域における位置ずれと、該領域の周辺にある複数領域の位置ずれの平均との差異を算出し、差異が大きい場合に、差異が小さい場合と比較してより低い信頼度を設定する
ことを特徴とする画像処理装置。 - ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置であって、
前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する位置ずれ検出手段と、
前記複数の画像から被写体の距離情報を算出する距離情報算出手段と、
検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する信頼度情報作成手段と、
を有し、
前記信頼度情報作成手段は、前記複数の画像の差分にさらに基づいて、前記信頼度情報を作成する
ことを特徴とする画像処理装置。 - ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置であって、
前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する位置ずれ検出手段と、
前記複数の画像から被写体の距離情報を算出する距離情報算出手段と、
検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する信頼度情報作成手段と、
前記距離情報算出手段が算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御手段と、
を有し、
前記被写界深度制御手段は、前記信頼度が低い領域に対して、信頼度が高い場合と比較してぼけの付加量を少なくする
ことを特徴とする画像処理装置。 - 前記距離情報算出手段は、前記信頼度情報に基づいて、算出した距離情報を変更する
ことを特徴とする、請求項1から3のいずれか1項に記載の画像処理装置。 - 前記距離情報算出手段は、前記信頼度が所定の値よりも低い領域について、算出した距離情報のかわりに、前記信頼度が所定の値よりも高い他の領域に対応する距離情報を使用する
ことを特徴とする、請求項4に記載の画像処理装置。 - 前記距離情報算出手段は、領域内の画素の輝度または色相が所定の範囲内となる補正領域を決定し、前記信頼度が所定の値よりも低い領域について、算出した距離情報のかわりに、該領域と同一の補正領域に属する他の領域に対応する距離情報を使用する
ことを特徴とする、請求項5に記載の画像処理装置。 - 前記信頼度情報作成手段は、前記複数の画像のうち、より合焦している画像の周波数特性または画素の輝度値にさらに基づいて前記信頼度情報を作成する
ことを特徴とする、請求項1から6のいずれか1項に記載の画像処理装置。 - 前記信頼度情報作成手段は、対象の領域における空間周波数が小さい場合に、空間周波数が大きい場合と比較してより低い信頼度を設定する
ことを特徴とする、請求項7に記載の画像処理装置。 - 前記距離情報算出手段が算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御手段
をさらに有する
ことを特徴とする、請求項1から8のいずれか1項に記載の画像処理装置。 - 前記位置ずれ検出手段は、前記複数の画像間の位置ずれ量および位置ずれ方向の双方を検出する
ことを特徴とする、請求項1から9のいずれか1項に記載の画像処理装置。 - 撮像手段と、請求項1から請求項10のいずれか1項に記載の画像処理装置とを有する
ことを特徴とする撮像装置。 - ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置が行う画像処理方法であって、
前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、
前記複数の画像から被写体の距離情報を算出する算出ステップと、
検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、
を含み、
前記作成ステップでは、対象の領域における位置ずれと、該領域の周辺にある複数領域の位置ずれの平均との差異を算出し、差異が大きい場合に、差異が小さい場合と比較してより低い信頼度を設定する
ことを特徴とする画像処理方法。 - ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置が行う画像処理方法であって、
前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、
前記複数の画像から被写体の距離情報を算出する算出ステップと、
検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、
を含み、
前記作成ステップでは、前記複数の画像の差分にさらに基づいて、前記信頼度情報を作成する
ことを特徴とする画像処理方法。 - ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置が行う画像処理方法であって、
前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、
前記複数の画像から被写体の距離情報を算出する算出ステップと、
検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、
前記算出ステップで算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御ステップと、
を含み、
前記被写界深度制御ステップでは、前記信頼度が低い領域に対して、信頼度が高い場合と比較してぼけの付加量を少なくする
ことを特徴とする画像処理方法。 - ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置に、
前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、
前記複数の画像から被写体の距離情報を算出する算出ステップと、
検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、
を実行させ、
前記作成ステップでは、対象の領域における位置ずれと、該領域の周辺にある複数領域の位置ずれの平均との差異を算出し、差異が大きい場合に、差異が小さい場合と比較してより低い信頼度を設定する
ことを特徴とする画像処理プログラム。 - ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置に、
前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、
前記複数の画像から被写体の距離情報を算出する算出ステップと、
検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、
を実行させ、
前記作成ステップでは、前記複数の画像の差分にさらに基づいて、前記信頼度情報を作成する
ことを特徴とする画像処理プログラム。 - ぼけ方の異なる複数の画像から距離マップを作成する画像処理装置に、
前記複数の画像を、それぞれ複数の領域に分割し、対応する領域間の位置ずれ量または位置ずれ方向を検出する検出ステップと、
前記複数の画像から被写体の距離情報を算出する算出ステップと、
検出した前記領域ごとの位置ずれ量または位置ずれ方向に基づいて、算出した距離情報に対する信頼度を表す情報である信頼度情報を前記領域ごとに作成する作成ステップと、
前記算出ステップで算出した前記距離情報を用いて、前記複数の画像のうちより合焦している画像に対してぼけを付加する被写界深度制御ステップと、
を実行させ、
前記被写界深度制御ステップでは、前記信頼度が低い領域に対して、信頼度が高い場合と比較してぼけの付加量を少なくする
ことを特徴とする画像処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012113472A JP6140935B2 (ja) | 2012-05-17 | 2012-05-17 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
US13/862,880 US8988592B2 (en) | 2012-05-17 | 2013-04-15 | Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images |
US14/620,408 US9621786B2 (en) | 2012-05-17 | 2015-02-12 | Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images |
US15/437,690 US10021290B2 (en) | 2012-05-17 | 2017-02-21 | Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012113472A JP6140935B2 (ja) | 2012-05-17 | 2012-05-17 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017011692A Division JP6336148B2 (ja) | 2017-01-25 | 2017-01-25 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013239119A JP2013239119A (ja) | 2013-11-28 |
JP2013239119A5 JP2013239119A5 (ja) | 2015-05-21 |
JP6140935B2 true JP6140935B2 (ja) | 2017-06-07 |
Family
ID=49581018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012113472A Expired - Fee Related JP6140935B2 (ja) | 2012-05-17 | 2012-05-17 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (3) | US8988592B2 (ja) |
JP (1) | JP6140935B2 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6308748B2 (ja) * | 2013-10-29 | 2018-04-11 | キヤノン株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
US9418432B2 (en) * | 2014-03-28 | 2016-08-16 | Sony Corporation | Imaging system with depth estimation mechanism and method of operation thereof |
JP5895270B2 (ja) * | 2014-03-28 | 2016-03-30 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP6395429B2 (ja) * | 2014-04-18 | 2018-09-26 | キヤノン株式会社 | 画像処理装置、その制御方法及び記憶媒体 |
US9635242B2 (en) | 2014-09-29 | 2017-04-25 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus |
JP2016072965A (ja) * | 2014-09-29 | 2016-05-09 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP5980294B2 (ja) * | 2014-10-27 | 2016-08-31 | キヤノン株式会社 | データ処理装置、撮像装置、およびデータ処理方法 |
FR3030971A1 (fr) | 2014-12-17 | 2016-06-24 | Stmicroelectronics (Grenoble 2) Sas | Procede d'estimation de flou independant du contenu de la scene et utilisation dans un systeme de mise au point automatique |
JP6608148B2 (ja) | 2015-02-24 | 2019-11-20 | キヤノン株式会社 | 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム |
JP6702755B2 (ja) * | 2015-04-08 | 2020-06-03 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
US9924157B2 (en) | 2015-04-08 | 2018-03-20 | Canon Kabushiki Kaisha | Image processing device, image pickup apparatus, image processing method, and storage medium |
JP6521715B2 (ja) | 2015-04-22 | 2019-05-29 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
US10284835B2 (en) | 2015-09-04 | 2019-05-07 | Apple Inc. | Photo-realistic shallow depth-of-field rendering from focal stacks |
JP6570406B2 (ja) * | 2015-10-05 | 2019-09-04 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
WO2018012094A1 (ja) * | 2016-07-13 | 2018-01-18 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US11042984B2 (en) * | 2016-11-10 | 2021-06-22 | Movea | Systems and methods for providing image depth information |
JP6737212B2 (ja) * | 2017-03-14 | 2020-08-05 | オムロン株式会社 | 運転者状態推定装置、及び運転者状態推定方法 |
US11935285B1 (en) * | 2017-06-02 | 2024-03-19 | Apple Inc. | Real-time synthetic out of focus highlight rendering |
JP2019011971A (ja) | 2017-06-29 | 2019-01-24 | 株式会社東芝 | 推定システムおよび自動車 |
JP6995561B2 (ja) * | 2017-10-23 | 2022-01-14 | キヤノン株式会社 | 像ブレ補正装置およびその制御方法、撮像装置 |
JP6623419B2 (ja) * | 2018-03-22 | 2019-12-25 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 表示制御装置、撮像装置、スマートフォン、表示制御方法、及びプログラム |
US11611773B2 (en) * | 2018-04-06 | 2023-03-21 | Qatar Foundation For Education, Science And Community Development | System of video steganalysis and a method for the detection of covert communications |
JP7002050B2 (ja) * | 2018-07-11 | 2022-02-10 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP2018200722A (ja) * | 2018-08-29 | 2018-12-20 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 |
US10992845B1 (en) * | 2018-09-11 | 2021-04-27 | Apple Inc. | Highlight recovery techniques for shallow depth of field rendering |
CN111724430A (zh) * | 2019-03-22 | 2020-09-29 | 株式会社理光 | 一种图像处理方法、装置及计算机可读存储介质 |
CN110378946B (zh) | 2019-07-11 | 2021-10-01 | Oppo广东移动通信有限公司 | 深度图处理方法、装置以及电子设备 |
JP2021081290A (ja) * | 2019-11-19 | 2021-05-27 | ソニーグループ株式会社 | 測距装置及び測距方法 |
US11823353B2 (en) * | 2020-07-28 | 2023-11-21 | Samsung Electronics Co., Ltd. | System and method for generating bokeh image for DSLR quality depth-of-field rendering and refinement and training method for the same |
US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
Family Cites Families (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0820584B2 (ja) * | 1986-11-27 | 1996-03-04 | 富士写真フイルム株式会社 | オ−トフオ−カス方法 |
JP3305314B2 (ja) | 1989-06-29 | 2002-07-22 | ザ・リサーチ・ファンデーション・オブ・ステート・ユニバーシティ・オブ・ニューヨーク | 対象の距離を決定し、自動焦点合せをし、合焦像を得るための方法及び電子カメラ装置 |
US5193124A (en) | 1989-06-29 | 1993-03-09 | The Research Foundation Of State University Of New York | Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images |
US5581668A (en) | 1991-07-30 | 1996-12-03 | Canon Kabushiki Kaisha | Method and apparatus for processing data |
JPH0721365A (ja) | 1993-07-06 | 1995-01-24 | Canon Inc | 画像処理方法および装置 |
JPH07221971A (ja) | 1994-02-01 | 1995-08-18 | Canon Inc | 画像処理方法及び装置 |
JP3673561B2 (ja) | 1995-06-26 | 2005-07-20 | キヤノン株式会社 | 画像処理方法及び装置 |
JPH09181966A (ja) | 1995-12-22 | 1997-07-11 | Olympus Optical Co Ltd | 画像処理方法及び装置 |
JP2000261828A (ja) | 1999-03-04 | 2000-09-22 | Toshiba Corp | 立体映像生成方法 |
US7606417B2 (en) * | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
US8593542B2 (en) * | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
US8896725B2 (en) * | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
US20110102553A1 (en) * | 2007-02-28 | 2011-05-05 | Tessera Technologies Ireland Limited | Enhanced real-time face models from stereo imaging |
US7599555B2 (en) * | 2005-03-29 | 2009-10-06 | Mitsubishi Electric Research Laboratories, Inc. | System and method for image matting |
JP4970468B2 (ja) * | 2006-02-14 | 2012-07-04 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 画像ぼかし処理 |
JP2007286474A (ja) * | 2006-04-19 | 2007-11-01 | Nikon Corp | 焦点検出装置および撮影装置 |
IES20060564A2 (en) * | 2006-05-03 | 2006-11-01 | Fotonation Vision Ltd | Improved foreground / background separation |
JP4182117B2 (ja) * | 2006-05-10 | 2008-11-19 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
JP4886898B2 (ja) | 2007-07-26 | 2012-02-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 深さ関連情報伝達のための方法及び装置 |
JP5048468B2 (ja) * | 2007-11-28 | 2012-10-17 | 富士フイルム株式会社 | 撮像装置およびその撮像方法 |
US8328454B2 (en) * | 2008-06-30 | 2012-12-11 | Specialized Bicycle Components, Inc. | Vertically adjustable bicycle assembly |
JP5181913B2 (ja) * | 2008-08-07 | 2013-04-10 | 株式会社リコー | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP5210198B2 (ja) * | 2009-02-13 | 2013-06-12 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム |
JP5478935B2 (ja) * | 2009-05-12 | 2014-04-23 | キヤノン株式会社 | 撮像装置 |
US8542313B2 (en) * | 2010-01-27 | 2013-09-24 | Csr Technology Inc. | Depth from defocus calibration |
US8885890B2 (en) * | 2010-05-07 | 2014-11-11 | Microsoft Corporation | Depth map confidence filtering |
US8644697B1 (en) * | 2010-08-13 | 2014-02-04 | Csr Technology Inc. | Method for progressively determining depth from defocused images |
US8983121B2 (en) * | 2010-10-27 | 2015-03-17 | Samsung Techwin Co., Ltd. | Image processing apparatus and method thereof |
US9014462B2 (en) * | 2010-11-10 | 2015-04-21 | Panasonic Intellectual Property Management Co., Ltd. | Depth information generating device, depth information generating method, and stereo image converter |
US20120121163A1 (en) * | 2010-11-15 | 2012-05-17 | Samsung Electronics Co., Ltd. | 3d display apparatus and method for extracting depth of 3d image thereof |
JP2012138787A (ja) * | 2010-12-27 | 2012-07-19 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP5882593B2 (ja) * | 2011-03-14 | 2016-03-09 | キヤノン株式会社 | 撮像装置 |
WO2012140869A1 (ja) * | 2011-04-12 | 2012-10-18 | パナソニック株式会社 | 動き推定装置、奥行き推定装置、及び動き推定方法 |
US8432434B2 (en) * | 2011-07-08 | 2013-04-30 | Mitsubishi Electric Research Laboratories, Inc. | Camera and method for focus based depth reconstruction of dynamic scenes |
US8928737B2 (en) * | 2011-07-26 | 2015-01-06 | Indiana University Research And Technology Corp. | System and method for three dimensional imaging |
CN103339651B (zh) * | 2011-10-11 | 2016-12-07 | 松下知识产权经营株式会社 | 图像处理装置、摄像装置以及图像处理方法 |
TW201320734A (zh) * | 2011-11-03 | 2013-05-16 | Altek Corp | 產生背景模糊的影像處理方法及其影像擷取裝置 |
US9014463B2 (en) * | 2011-11-25 | 2015-04-21 | Kyungpook National University Industry-Academic Cooperation Foundation | System for real-time stereo matching |
US9161010B2 (en) * | 2011-12-01 | 2015-10-13 | Sony Corporation | System and method for generating robust depth maps utilizing a multi-resolution procedure |
US9117295B2 (en) * | 2011-12-20 | 2015-08-25 | Adobe Systems Incorporated | Refinement of depth maps by fusion of multiple estimates |
JP2013172190A (ja) * | 2012-02-17 | 2013-09-02 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP6115781B2 (ja) * | 2012-03-29 | 2017-04-19 | パナソニックIpマネジメント株式会社 | 画像処理装置及び画像処理方法 |
JP2015111746A (ja) * | 2012-04-09 | 2015-06-18 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP5932476B2 (ja) * | 2012-05-17 | 2016-06-08 | キヤノン株式会社 | 画像処理装置、撮像装置、距離計測方法および距離計測プログラム |
JP6116277B2 (ja) * | 2012-06-07 | 2017-04-19 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US9098911B2 (en) * | 2012-11-01 | 2015-08-04 | Google Inc. | Depth map generation from a monoscopic image based on combined depth cues |
US9240048B2 (en) * | 2012-11-30 | 2016-01-19 | Adobe Systems Incorporated | Depth estimation using three-dimensional epipolar data structures |
AU2012258467A1 (en) * | 2012-12-03 | 2014-06-19 | Canon Kabushiki Kaisha | Bokeh amplification |
JP2014126710A (ja) * | 2012-12-26 | 2014-07-07 | Canon Inc | 自動焦点検出装置およびその制御方法、撮像装置 |
US9519972B2 (en) * | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
US20150201182A1 (en) * | 2013-04-11 | 2015-07-16 | Altek Semiconductor Corp. | Auto focus method and auto focus apparatus |
KR20140123302A (ko) * | 2013-04-12 | 2014-10-22 | 삼성전자주식회사 | 영상 처리 장치 및 그 제어방법 |
JP2015035658A (ja) * | 2013-08-07 | 2015-02-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
JP6292790B2 (ja) * | 2013-08-08 | 2018-03-14 | キヤノン株式会社 | 距離検出装置、撮像装置および距離検出方法 |
JP2015036841A (ja) * | 2013-08-12 | 2015-02-23 | キヤノン株式会社 | 画像処理装置、距離計測装置、撮像装置、画像処理方法 |
US9742980B2 (en) * | 2013-11-01 | 2017-08-22 | Canon Kabushiki Kaisha | Focus control apparatus and control method therefor |
JP6405531B2 (ja) * | 2013-11-19 | 2018-10-17 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP5895270B2 (ja) * | 2014-03-28 | 2016-03-30 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP2015232604A (ja) * | 2014-06-09 | 2015-12-24 | キヤノン株式会社 | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 |
JP6336341B2 (ja) * | 2014-06-24 | 2018-06-06 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
US9779491B2 (en) * | 2014-08-15 | 2017-10-03 | Nikon Corporation | Algorithm and device for image processing |
JP6506560B2 (ja) * | 2015-01-20 | 2019-04-24 | キヤノン株式会社 | フォーカス制御装置及びその方法、プログラム、記憶媒体 |
JP6608148B2 (ja) * | 2015-02-24 | 2019-11-20 | キヤノン株式会社 | 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム |
JP6521715B2 (ja) * | 2015-04-22 | 2019-05-29 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
JP6739242B2 (ja) * | 2016-06-01 | 2020-08-12 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム並びに記憶媒体 |
US10565712B2 (en) * | 2016-06-21 | 2020-02-18 | Canon Kabushiki Kaisha | Image processing apparatus and method for controlling the same |
-
2012
- 2012-05-17 JP JP2012113472A patent/JP6140935B2/ja not_active Expired - Fee Related
-
2013
- 2013-04-15 US US13/862,880 patent/US8988592B2/en not_active Expired - Fee Related
-
2015
- 2015-02-12 US US14/620,408 patent/US9621786B2/en active Active
-
2017
- 2017-02-21 US US15/437,690 patent/US10021290B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20170163876A1 (en) | 2017-06-08 |
US10021290B2 (en) | 2018-07-10 |
US20150156404A1 (en) | 2015-06-04 |
US8988592B2 (en) | 2015-03-24 |
US9621786B2 (en) | 2017-04-11 |
JP2013239119A (ja) | 2013-11-28 |
US20130308005A1 (en) | 2013-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6140935B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 | |
JP6336148B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 | |
JP6271990B2 (ja) | 画像処理装置、画像処理方法 | |
US9361680B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
KR101233013B1 (ko) | 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법 | |
US9092875B2 (en) | Motion estimation apparatus, depth estimation apparatus, and motion estimation method | |
US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
JP5374119B2 (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
US9619886B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
US20120307009A1 (en) | Method and apparatus for generating image with shallow depth of field | |
KR20090028255A (ko) | 영상 획득 장치의 자동초점조절 방법 및 장치 | |
JP2007199633A (ja) | 合焦検出装置 | |
JP2009080113A (ja) | 距離推定方法、距離推定装置、撮像装置およびコンピュータ読み取り可能な媒体 | |
KR20140118031A (ko) | 영상 처리 장치 및 방법 | |
JP2006279807A (ja) | 手ぶれ補正装置 | |
JP2015207090A (ja) | 画像処理装置、及びその制御方法 | |
JP2010154306A (ja) | 撮像制御装置、撮像制御プログラム及び撮像制御方法 | |
JP6486453B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6381206B2 (ja) | 画像処理装置、その制御方法およびプログラム | |
JP2012085205A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
KR101599434B1 (ko) | 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법 | |
JP7020387B2 (ja) | 撮像制御装置、撮像装置及び撮像制御プログラム | |
JP7346021B2 (ja) | 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 | |
JP6900228B2 (ja) | 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム | |
JP2021164059A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150402 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160516 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170125 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170502 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6140935 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |