JP6395429B2 - 画像処理装置、その制御方法及び記憶媒体 - Google Patents
画像処理装置、その制御方法及び記憶媒体 Download PDFInfo
- Publication number
- JP6395429B2 JP6395429B2 JP2014086318A JP2014086318A JP6395429B2 JP 6395429 B2 JP6395429 B2 JP 6395429B2 JP 2014086318 A JP2014086318 A JP 2014086318A JP 2014086318 A JP2014086318 A JP 2014086318A JP 6395429 B2 JP6395429 B2 JP 6395429B2
- Authority
- JP
- Japan
- Prior art keywords
- defocus amount
- reliability
- distance
- processing apparatus
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
また、本発明の画像処理装置は、複数の画像の相関度から被写体距離に対応するデフォーカス量を領域ごとに推定する推定手段と、前記推定手段が推定したデフォーカス量の信頼度を算出する信頼度算出手段と、前記信頼度算出手段が算出した信頼度が相対的に低いデフォーカス量を特定の被写体距離に対応するデフォーカス量に補正し、該補正したデフォーカス量に基づいて前記画像に対応するデフォーカス量列を生成する生成手段と、を備えることを特徴とする。
さらに、本発明の画像処理装置は、複数の画像の相関度から被写体距離に対応するデフォーカス量を領域ごとに推定する推定手段と、前記推定手段によって推定されたデフォーカス量のうち、特定の被写体距離を超えた被写体距離に対応するデフォーカス量を、該特定の被写体距離に対応するデフォーカス量に補正する補正手段と、前記推定手段によって推定されたデフォーカス量と前記補正手段によって補正されたデフォーカス量に基づいて前記画像に対応するデフォーカス量列を生成する生成手段と、を備えることを特徴とする。
上式(1)において、Σ演算は、nについて計算され、このΣ演算において、n、n+kのとる範囲は、1〜mの範囲に限定される。また、ずれ量kは、整数であり、一対の画像データの検出ピッチを単位とした相対的シフト量である。
D={C(kj−1)−C(kj+1)}/2 …(3)
SLOP=MAX{C(kj+1)−C(kj),C(kj−1)−C(kj)}…(4)
図5(a)において、C(kj)=C(−6)=400、C(kj−1)=C(−7)=1000、C(kj+1)=C(−5)=4000であるとすると、C(x_a)=−6.42となる。
上式(5)において、Pは、検出ピッチ(画素配置ピッチ)と、一対の視差画像における左右2つの視点の投影中心の距離とによって決まる変換係数であり、単位は、mm/pixelである。
1/Zo+1/So=1/f …(6)
1/Zdef+1/(So+def)=1/f …(7)
となる。
また、上式(6)及び(7)より
So=(Zo・f)/(Zo−f) …(8)
Sdef=(Zdef・f)/(Zdef−f) …(9)
def=Sdef−So …(10)
Zdef=((So+def)・f)/((So+def)−f) …(11)
となる。
102 距離画像生成部
103 記録部
201 距離推定部
202 距離信頼度算出部
203 推定距離補正部
204 実距離画像生成部
Claims (19)
- 複数の画像の相関度から被写体距離に対応するデフォーカス量を領域ごとに推定する推定手段と、
前記推定手段が推定したデフォーカス量の信頼度を算出する信頼度算出手段と、
前記信頼度算出手段が算出した信頼度に基づいて、前記推定手段により推定されたデフォーカス量を補正し、補正したデフォーカス量に基づいてデフォーカス量列を生成する生成手段と、を備え、
前記推定手段は、前記デフォーカス量を特定の被写体距離に対応する第1の閾値と比較することで、該デフォーカス量を前記特定の被写体距離に対応するデフォーカス量に置き換えるか否かを判定することを特徴とする画像処理装置。 - 前記複数の画像は、互いに視差を有する一対の画像、又は合焦位置の異なる一対の画像であることを特徴とする請求項1に記載の画像処理装置。
- 前記第1の閾値は特定の被写体距離に対応するデフォーカス量の値であり、
前記推定手段は、前記デフォーカス量が前記特定の被写体距離よりも遠い被写体距離に対応するデフォーカス量である場合に、該デフォーカス量を前記特定の被写体距離に対応するデフォーカス量に置き換えることを特徴とする請求項1又は2に記載の画像処理装置。 - 前記信頼度算出手段は、前記推定手段で推定したデフォーカス量について、あらかじめ設定した第2の閾値に基づき、無限遠を超える被写体距離に対応するデフォーカス量であるか否かを判定し、無限遠を超える被写体距離に対応するデフォーカス量であると判定した場合に、低い信頼度を割り当てることを特徴とすることを特徴とする請求項3に記載の画像処理装置。
- 前記生成手段は、前記信頼度算出手段が算出した信頼度を用い、信頼度が低いとされた領域については、当該領域の周囲の領域において信頼度が高いとされた領域の前記推定したデフォーカス量に置き換える補正を行うことを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。
- 前記生成手段は、前記信頼度算出手段が算出した信頼度を用い、信頼度が低いとされた領域については、当該領域の周囲において信頼度が高いとされた複数の領域の前記推定したデフォーカス量の平均値に置き換える補正を行うことを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。
- 被写体認識手段を有し、前記被写体認識手段により認識された特定の輝度の被写体を含む領域について、前記第1の閾値、及び前記第2の閾値を特定の被写体距離に対応するデフォーカス量に設定することを特徴とする請求項4に記載の画像処理装置。
- 前記信頼度算出手段は、前記被写体認識手段により認識された特定の輝度の被写体を含む領域について、低い信頼度を割り当てることを特徴とする請求項7に記載の画像処理装置。
- 前記推定手段に対して前記複数の画像を入力する入力部を有することを特徴とする請求項1乃至8のいずれか一項に記載の画像処理装置。
- 前記入力部は、被写体を撮像する撮像部であることを特徴とする請求項9に記載の画像処理装置。
- 前記特定の被写体距離とは無限遠で有ることを特徴とする請求項1乃至10のいずれか一項に記載の画像処理装置。
- 複数の画像の相関度から被写体距離に対応するデフォーカス量を領域ごとに推定する推定ステップと、
前記推定ステップで推定したデフォーカス量の信頼度を算出する信頼度算出ステップと、
前記信頼度算出ステップで算出した信頼度に基づいて、前記推定ステップで推定されたデフォーカス量を補正し、補正したデフォーカス量に基づいてデフォーカス量列を生成する生成ステップと、を備え、
前記推定ステップは、前記デフォーカス量を特定の被写体距離に対応する第1の閾値と比較することで、該デフォーカス量を前記特定の被写体距離に対応するデフォーカス量に置き換えるか否かを判定することを特徴とする画像処理装置の制御方法。 - 請求項12に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させるプログラムを格納した、ことを特徴とするコンピュータで読み取り可能な記憶媒体。
- 複数の画像の相関度から被写体距離に対応するデフォーカス量を領域ごとに推定する推定手段と、
前記推定手段が推定したデフォーカス量の信頼度を算出する信頼度算出手段と、
前記信頼度算出手段が算出した信頼度が相対的に低いデフォーカス量を特定の被写体距離に対応するデフォーカス量に補正し、該補正したデフォーカス量に基づいて前記画像に対応するデフォーカス量列を生成する生成手段と、を備えることを特徴とする画像処理装置。 - 複数の画像の相関度から被写体距離に対応するデフォーカス量を領域ごとに推定する推定手段と、
前記推定手段によって推定されたデフォーカス量のうち、特定の被写体距離を超えた被写体距離に対応するデフォーカス量を、該特定の被写体距離に対応するデフォーカス量に補正する補正手段と、
前記推定手段によって推定されたデフォーカス量と前記補正手段によって補正されたデフォーカス量に基づいて前記画像に対応するデフォーカス量列を生成する生成手段と、を備えることを特徴とする画像処理装置。 - 複数の画像の相関度から被写体距離に対応するデフォーカス量を領域ごとに推定する推定ステップと、
前記推定ステップで推定したデフォーカス量の信頼度を算出する信頼度算出ステップと、
前記信頼度算出ステップで算出した信頼度が相対的に低いデフォーカス量を特定の被写体距離に対応するデフォーカス量に補正し、該補正したデフォーカス量に基づいて前記画像に対応するデフォーカス量列を生成する生成ステップと、を備えることを特徴とする画像処理装置の制御方法。 - 複数の画像の相関度から被写体距離に対応するデフォーカス量を領域ごとに推定する推定ステップと、
前記推定ステップで推定されたデフォーカス量のうち、特定の被写体距離を超えた被写体距離に対応するデフォーカス量を、該特定の被写体距離に対応するデフォーカス量に補正する補正ステップと、
前記推定ステップで推定されたデフォーカス量と前記補正ステップで補正されたデフォーカス量に基づいて前記画像に対応するデフォーカス量列を生成する生成ステップと、を備えることを特徴とする画像処理装置の制御方法。 - 請求項16に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させるプログラムを格納した、ことを特徴とするコンピュータで読み取り可能な記憶媒体。
- 請求項17に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させるプログラムを格納した、ことを特徴とするコンピュータで読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014086318A JP6395429B2 (ja) | 2014-04-18 | 2014-04-18 | 画像処理装置、その制御方法及び記憶媒体 |
US14/683,531 US9710913B2 (en) | 2014-04-18 | 2015-04-10 | Image processing apparatus that forms distance image and control method thereof, as well as storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014086318A JP6395429B2 (ja) | 2014-04-18 | 2014-04-18 | 画像処理装置、その制御方法及び記憶媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018159916A Division JP2018200722A (ja) | 2018-08-29 | 2018-08-29 | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015207090A JP2015207090A (ja) | 2015-11-19 |
JP6395429B2 true JP6395429B2 (ja) | 2018-09-26 |
Family
ID=54322441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014086318A Active JP6395429B2 (ja) | 2014-04-18 | 2014-04-18 | 画像処理装置、その制御方法及び記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9710913B2 (ja) |
JP (1) | JP6395429B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10659766B2 (en) | 2015-10-30 | 2020-05-19 | Canon Kabushiki Kaisha | Confidence generation apparatus, confidence generation method, and imaging apparatus |
JP6611576B2 (ja) * | 2015-11-30 | 2019-11-27 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US11503201B2 (en) * | 2017-10-13 | 2022-11-15 | Sony Corporation | Focus detection device and method |
JP7431527B2 (ja) * | 2019-08-07 | 2024-02-15 | キヤノン株式会社 | 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4667228A (en) | 1983-10-14 | 1987-05-19 | Canon Kabushiki Kaisha | Image signal processing apparatus |
EP0633539B1 (en) | 1993-06-30 | 2001-02-21 | Canon Kabushiki Kaisha | Document processing method and apparatus |
JPH09116911A (ja) | 1995-10-20 | 1997-05-02 | Canon Inc | 撮像システム |
JP3617709B2 (ja) * | 1995-11-10 | 2005-02-09 | 株式会社日本自動車部品総合研究所 | 距離計測装置 |
JP4403477B2 (ja) | 2000-01-26 | 2010-01-27 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP3530906B2 (ja) * | 2001-03-30 | 2004-05-24 | ミノルタ株式会社 | 結像位置検出プログラムおよびカメラ |
JP3855812B2 (ja) * | 2002-03-15 | 2006-12-13 | ソニー株式会社 | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 |
JP2004045745A (ja) * | 2002-07-11 | 2004-02-12 | Canon Inc | ピント合わせ装置 |
JP4478419B2 (ja) * | 2003-09-02 | 2010-06-09 | キヤノン株式会社 | レンズ制御装置、光学機器およびレンズ制御方法 |
JP4554316B2 (ja) * | 2004-09-24 | 2010-09-29 | 富士重工業株式会社 | ステレオ画像処理装置 |
JP2006208267A (ja) * | 2005-01-31 | 2006-08-10 | Fuji Electric Device Technology Co Ltd | 位相差検出方式による距離情報分布の取得方法、補正方法および表示方法 |
JP5066851B2 (ja) | 2006-07-05 | 2012-11-07 | 株式会社ニコン | 撮像装置 |
JP5163446B2 (ja) * | 2008-11-25 | 2013-03-13 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
JP5641771B2 (ja) * | 2010-04-27 | 2014-12-17 | キヤノン株式会社 | 焦点検出装置 |
JP2013030895A (ja) | 2011-07-27 | 2013-02-07 | Sony Corp | 信号処理装置、撮像装置、信号処理方法およびプログラム |
JP2012003233A (ja) | 2010-05-17 | 2012-01-05 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
US8411195B2 (en) * | 2011-04-01 | 2013-04-02 | Sony Corporation | Focus direction detection confidence system and method |
CN103026171B (zh) * | 2011-05-27 | 2016-03-16 | 松下电器产业株式会社 | 图像处理装置及图像处理方法 |
JP6140935B2 (ja) * | 2012-05-17 | 2017-06-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
JP2013244852A (ja) * | 2012-05-25 | 2013-12-09 | Sharp Corp | 駐車支援装置、駐車支援方法およびそのプログラム |
-
2014
- 2014-04-18 JP JP2014086318A patent/JP6395429B2/ja active Active
-
2015
- 2015-04-10 US US14/683,531 patent/US9710913B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015207090A (ja) | 2015-11-19 |
US9710913B2 (en) | 2017-07-18 |
US20150302589A1 (en) | 2015-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997696B2 (en) | Image processing method, apparatus and device | |
US9998650B2 (en) | Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map | |
US9092875B2 (en) | Motion estimation apparatus, depth estimation apparatus, and motion estimation method | |
US10326927B2 (en) | Distance information producing apparatus, image capturing apparatus, distance information producing method and storage medium storing distance information producing program | |
JP5980294B2 (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
US9607240B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing | |
JP6415179B2 (ja) | 画像処理装置、画像処理方法、および撮像装置並びにその制御方法 | |
US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
US9619886B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
JP2015035658A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP2010117593A (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
US11080873B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP5857712B2 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
WO2017187935A1 (en) | Information processing apparatus, information processing method, and program | |
JP6486453B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2018200722A (ja) | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 | |
JP6639155B2 (ja) | 画像処理装置及び画像処理方法 | |
US10776927B2 (en) | Image processing apparatus, image processing method, and program | |
JP6608238B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP2023069386A (ja) | 画像計測装置、方法およびプログラム | |
JP6066765B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2019035967A (ja) | 画像処理装置、画像処理方法、および撮像装置並びにその制御方法 | |
JP2019047218A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2017138240A (ja) | 画像処理装置、画像処理方法、および、プログラム。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180731 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180828 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6395429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |