JP6808770B2 - データ処理装置、撮像装置、およびデータ処理方法 - Google Patents
データ処理装置、撮像装置、およびデータ処理方法 Download PDFInfo
- Publication number
- JP6808770B2 JP6808770B2 JP2019053674A JP2019053674A JP6808770B2 JP 6808770 B2 JP6808770 B2 JP 6808770B2 JP 2019053674 A JP2019053674 A JP 2019053674A JP 2019053674 A JP2019053674 A JP 2019053674A JP 6808770 B2 JP6808770 B2 JP 6808770B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- map
- data
- image data
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
りも前記距離マップ上で前記対象領域に近い第2の位置の距離情報により大きい重みをつけ、前記画像データの第1の画素値を有する画素の位置に対応する距離情報よりも、前記第1の画素値よりも前記対象領域に対応する画像データの画素値に近い第2の画素値を有する画素の位置に対応する距離情報により大きい重みをつけて、前記対象領域の周辺の距離情報を用いた重みづけ加算を行うことで前記対象領域の距離情報を補正して、前記補正距離マップを生成し、前記対象領域の周辺の距離情報のうち、前記補正距離マップと前記距離マップの間の距離情報の差が閾値よりも大きい距離情報を用いずに前記重みづけ加算を再度行うことで、前記補正距離マップを更新することを特徴とするデータ処理方法である。
図1は、本発明の実施形態1に係る撮像装置の構成を模式的に示している。撮像装置1は、撮像光学系10、撮像素子11、制御部12、データ処理装置13、記憶部14、入力部15、表示部16を有している。図2Aは、撮影処理から撮影画像の出力・記録処理までを表すフローチャートである。図2Aのフローチャートも参照しつつ、撮像装置1の各構成について説明する。
出力されるデジタル画像データはメモリ131に蓄積され、表示部16への表示、記憶部14への記録(保存)、距離情報の算出、距離画像データの生成)などに使用される。
ータなどの記憶部14への記録処理や、これらのデータの表示部16への表示処理が含まれる。
ータ算出部133は、図4Dに示すように、エラー領域を正しく抽出する信頼度情報を得る処理を行う。より具体的には、信頼度データ算出部133は、エラー領域において低信頼度(図4Dでは黒で表示)、それ以外の領域では高信頼度(図4Dでは白で表示)である信頼度情報を取得可能な処理を行う。
出される。
合には0に設定される。例えば、信頼度Cが0以上1以下の数値範囲をとる場合、信頼度Cが0.5以上のときにThは1に設定され、Cが0.5未満の場合にThは0に設定されるようにする。なお、Cが0と1の2値の値しかとらない場合には、Th(C)はCと置換してもよい(すなわちTh(C)=Cとしてよい)。
上記の式8の第一項と式9の形は非常に類似している。式9が補正後の距離情報であるので、式8(および式4)によって定義される統計量Tは補正後の距離情報と補正前の距離情報との差の絶対値と考えることができる。したがって、実施形態1における信頼度算出処理は、図7に示すような処理によっても実現可能である。すなわち、まず類似度取得部1331が、撮影画像中での着目画素pとその周辺画素qとの類似度Sを算出する(式1)。距離マップ補正部134が、算出された類似度Sに基づく重みW(例えば、Gσs(|p−q|)×Gσr(S))を用いて距離画像における周辺画素qの距離値Dを用いて着目画素pの距離値得の補正を行う(式9)。そして、統計量取得部1333が、着目画素pにおける補正前の距離値Dと補正後の距離値D’の差の絶対値を、統計量Tとして算出する(式8に相当)。最後に、変換部1334が、統計量Tを信頼度Cに変換する(式6または式7)。
実施形態1では、撮影画像データと距離画像データを使用し、信頼度情報データの生成、距離情報の補正を行っていた。それに対して、本実施形態では、撮影画像データと距離画像データ以外を用いて、信頼度情報の生成及び補正処理が行えることを示す。図8は、本実施形態のデータ処理装置を表す。フローチャートは実施形態1のフローチャートと同じである。本実施形態の画像処理方法を、実施形態1と異なる点を中心に説明する。
実施形態1では、図4Cに示すように、オブジェクト境界部のエラーが徐々に変化していた。本実施形態では、図9のように、オブジェクト境界部の一方のオブジェクトにおける距離値が、他方のオブジェクトにおける距離値と略同一となるようなエラーを含む画像(第二画像)を対象として、信頼度の算出および情報の補正を行う。本実施形態では、オブジェクト境界において、後景オブジェクトの距離値が前景オブジェクトの距離値として算出されるようなエラーを含む距離画像を対象とする。なお、距離画像がどのようなエラーを有するかは、距離画像の算出方法によって決定される。
上述した本発明のデータ処理装置及び方法は、例えば、デジタルカメラやカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器(携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む)にも本発明の技術を適用可能である。上記実施形態では撮像装置の本体に画像処理装置の機能を組み込んだ構成を示したが、画像処理装置の機能はどのように構成してもよい。例えば、撮像装置を有するコンピュータに画像処理装置を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて上記画像処理方法を実行するようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに画像処理装置が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて上記画像処理方法を実行するようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ぼけ効果のエミュレーションなどの各種画像処理に利用することができる。
1331 類似度取得部
1332 信頼度取得部
Claims (13)
- 画像データと、該画像データに対応する距離情報の分布を示す距離マップとを取得する取得手段と、
前記画像データの対応する領域を参照して前記距離マップの各領域にフィルタ処理を施して補正距離マップを生成する補正手段と、を有し、
前記補正手段は、前記距離マップにおける対象領域の距離情報に対して、
前記距離マップ上の第1の位置の距離情報よりも、前記距離マップ上の前記第1の位置よりも前記距離マップ上で前記対象領域に近い第2の位置の距離情報により大きい重みをつけ、
前記画像データの第1の画素値を有する画素の位置に対応する距離情報よりも、前記第1の画素値よりも前記対象領域に対応する画像データの画素値に近い第2の画素値を有する画素の位置に対応する距離情報により大きい重みをつけて、
前記対象領域の周辺の距離情報を用いた重みづけ加算を行うことで前記対象領域の距離情報を補正し、前記補正距離マップを生成し、
前記対象領域の周辺の距離情報のうち、前記補正距離マップと前記距離マップの間の距離情報の差が閾値よりも大きい距離情報を用いずに前記重みづけ加算を再度行うことで、前記補正距離マップを更新することを特徴とするデータ処理装置。 - 前記画像データに基づいて前記距離マップの信頼度を判定する判定手段を有し、
前記補正手段は、前記補正距離マップを生成するために用いる距離情報に、前記信頼度に応じた重みをつけて前記補正距離マップを生成することを特徴とする請求項1に記載のデータ処理装置。 - 前記判定手段は、前記画像データのテクスチャが少ない領域を大きい領域に比べて信頼度が低いと判定することを特徴とする請求項2に記載のデータ処理装置。
- 画像データと、該画像データに対応する距離情報の分布を示す距離マップとを取得する取得ステップと、
前記画像データの対応する領域を参照して前記距離マップの各領域にフィルタ処理を施して補正距離マップを生成する補正ステップと、を有し、
前記補正ステップでは、前記距離マップにおける対象領域の距離情報に対して、
前記距離マップ上の第1の位置の距離情報よりも、前記距離マップ上の前記第1の位置よりも前記距離マップ上で前記対象領域に近い第2の位置の距離情報により大きい重みをつけ、
前記画像データの第1の画素値を有する画素の位置に対応する距離情報よりも、前記第1の画素値よりも前記対象領域に対応する画像データの画素値に近い第2の画素値を有する画素の位置に対応する距離情報により大きい重みをつけて、
前記対象領域の周辺の距離情報を用いた重みづけ加算を行うことで前記対象領域の距離情報を補正して、前記補正距離マップを生成し、
前記対象領域の周辺の距離情報のうち、前記補正距離マップと前記距離マップの間の距離情報の差が閾値よりも大きい距離情報を用いずに前記重みづけ加算を再度行うことで、前記補正距離マップを更新することを特徴とするデータ処理方法。 - コンピュータを請求項1乃至3のいずれか1項に記載のデータ処理装置の各手段として機能させるための手順が記述されたコンピュータで実行可能なプログラム。
- コンピュータを請求項1乃至3のいずれか1項に記載のデータ処理装置の各手段として機能させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
- 画像データと、各データが該画像データの各領域に対応するマップとを取得する取得手段と、
前記画像データの対応する領域を参照して前記マップの各領域にフィルタ処理を施して補正マップを生成する補正手段と、を有し、
前記補正手段は、前記マップにおける対象領域のデータに対して、
前記マップ上の第1の位置のデータよりも、前記マップ上の前記第1の位置よりも前記マップ上で前記対象領域に近い第2の位置のデータにより大きい重みをつけ、
前記画像データの第1の画素値を有する画素の位置に対応するデータよりも、前記第1の画素値よりも前記対象領域に対応する画像データの画素値に近い第2の画素値を有する画素の位置に対応するデータにより大きい重みをつけて、
前記対象領域の周辺のデータを用いた重みづけ加算を行うことで前記対象領域のデータを補正し、前記補正マップを生成し、
前記対象領域の周辺のデータのうち、前記補正マップと前記マップの間のデータの差が閾値よりも大きいデータを用いずに前記重みづけ加算を再度行うことで、前記補正マップを更新することを特徴とするデータ処理装置。 - 前記画像データに基づいて前記マップの信頼度を判定する判定手段を有し、
前記補正手段は、前記補正マップを生成するために用いるデータに、前記信頼度に応じた重みをつけて前記補正マップを生成することを特徴とする請求項7に記載のデータ処理装置。 - 前記判定手段は、前記画像データのテクスチャが少ない領域を大きい領域に比べて信頼度が低いと判定することを特徴とする請求項8に記載のデータ処理装置。
- 画像データと、各データが該画像データの各領域に対応するマップとを取得する取得ステップと、
前記画像データの対応する領域を参照して前記マップの各領域にフィルタ処理を施して補正マップを生成する補正ステップと、を有し、
前記補正ステップでは、前記マップにおける対象領域のデータに対して、
前記マップ上の第1の位置のデータよりも、前記マップ上の前記第1の位置よりも前記マップ上で前記対象領域に近い第2の位置のデータにより大きい重みをつけ、
前記画像データの第1の画素値を有する画素の位置に対応するデータよりも、前記第1の画素値よりも前記対象領域に対応する画像データの画素値に近い第2の画素値を有する画素の位置に対応するデータにより大きい重みをつけて、
前記対象領域の周辺のデータを用いた重みづけ加算を行うことで前記対象領域のデータを補正し、前記補正マップを生成し、
前記対象領域の周辺のデータのうち、前記補正マップと前記マップの間のデータの差が閾値よりも大きいデータを用いずに前記重みづけ加算を再度行うことで、前記補正マップを更新することを特徴とするデータ処理方法。 - コンピュータを請求項7乃至9のいずれか1項に記載のデータ処理装置の各手段として機能させるための手順が記述されたコンピュータで実行可能なプログラム。
- コンピュータを請求項7乃至9のいずれか1項に記載のデータ処理装置の各手段として機能させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
- 撮像素子と、
請求項1乃至4および7乃至9のいずれか1項に記載されたデータ処理装置と、
を有する撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019053674A JP6808770B2 (ja) | 2019-03-20 | 2019-03-20 | データ処理装置、撮像装置、およびデータ処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019053674A JP6808770B2 (ja) | 2019-03-20 | 2019-03-20 | データ処理装置、撮像装置、およびデータ処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016146320A Division JP6501732B2 (ja) | 2016-07-26 | 2016-07-26 | データ処理装置、撮像装置、およびデータ処理装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019106215A JP2019106215A (ja) | 2019-06-27 |
JP6808770B2 true JP6808770B2 (ja) | 2021-01-06 |
Family
ID=67061393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019053674A Active JP6808770B2 (ja) | 2019-03-20 | 2019-03-20 | データ処理装置、撮像装置、およびデータ処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6808770B2 (ja) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3855812B2 (ja) * | 2002-03-15 | 2006-12-13 | ソニー株式会社 | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 |
-
2019
- 2019-03-20 JP JP2019053674A patent/JP6808770B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019106215A (ja) | 2019-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11044453B2 (en) | Data processing apparatus, imaging apparatus and data processing method | |
US11790481B2 (en) | Systems and methods for fusing images | |
US9288392B2 (en) | Image capturing device capable of blending images and image processing method for blending images thereof | |
US10306210B2 (en) | Image processing apparatus and image capturing apparatus | |
US9723208B2 (en) | Image processing apparatus, method for controlling the same, and storage medium | |
US9865064B2 (en) | Image processing apparatus, image processing method, and storage medium | |
KR20200023651A (ko) | 미리보기 사진 블러링 방법 및 장치 및 저장 매체 | |
JP2015152484A (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
US10482580B2 (en) | Image processing apparatus, image processing method, and program | |
JP5970012B2 (ja) | 画像処理装置およびその制御方法 | |
US10832386B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6838918B2 (ja) | 画像データ処理装置及び方法 | |
JP6808770B2 (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
JP2015233202A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2018142983A (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
JP6501732B2 (ja) | データ処理装置、撮像装置、およびデータ処理装置の制御方法 | |
JP2013255121A (ja) | 画像処理装置及び画像処理装置の制御方法 | |
US10565712B2 (en) | Image processing apparatus and method for controlling the same | |
JP6514577B2 (ja) | 画像処理装置および画像処理方法ならびに撮像装置 | |
JP2017182668A (ja) | データ処理装置、撮像装置、及びデータ処理方法 | |
JP6632339B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 | |
JP2018151409A (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
JP2019022002A (ja) | 画像処理装置および画像処理プログラム | |
JP2018191261A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP2019022024A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190419 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201209 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6808770 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |