JP7408337B2 - 画像処理方法、および画像処理装置 - Google Patents
画像処理方法、および画像処理装置 Download PDFInfo
- Publication number
- JP7408337B2 JP7408337B2 JP2019187167A JP2019187167A JP7408337B2 JP 7408337 B2 JP7408337 B2 JP 7408337B2 JP 2019187167 A JP2019187167 A JP 2019187167A JP 2019187167 A JP2019187167 A JP 2019187167A JP 7408337 B2 JP7408337 B2 JP 7408337B2
- Authority
- JP
- Japan
- Prior art keywords
- cost
- image
- pixel
- parallax
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 54
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000004364 calculation method Methods 0.000 claims description 58
- 239000002131 composite material Substances 0.000 claims description 44
- 230000015572 biosynthetic process Effects 0.000 claims description 26
- 238000003786 synthesis reaction Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 description 93
- 238000003384 imaging method Methods 0.000 description 45
- 238000003860 storage Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 23
- 238000005314 correlation function Methods 0.000 description 21
- 230000008859 change Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000004220 aggregation Methods 0.000 description 9
- 230000002776 aggregation Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000012887 quadratic function Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明の一態様は、画像処理装置であって、対象物が撮像された第1画像および第2画像を取得する画像取得部と、前記第1画像に基づく基準領域の画像と、前記第2画像に基づく複数の比較領域の画像と、を用いて、各比較領域の画像について、視差方向及び画素方向におけるマッチングコストの関係を示すコストマップをピクセル単位で算出し、前記ピクセル単位のコストマップの視差方向の単位をサブピクセル単位に細分化して、サブピクセル単位のコストマップを算出するコストマップ生成部と、前記サブピクセル単位のコストマップにおけるマッチングコストの値の比較結果に基づいて、前記サブピクセル単位のコストマップのマッチングコストにペナルティコストを付与して、前記基準領域に関する合成コストを算出する合成コスト生成部と、を備えた、ことを特徴とする画像処理装置である。
図5は本実施形態において、本発明の画像処理方法として視差演算を実施する画像処理装置100の概略構成を示している。
以下では、図6、図7を参照して、本実施形態の画像処理装置100の視差演算処理につき説明する。図6は視差演算処理の全体の流れを、また、図7は実施形態1における視差演算処理の詳細な流れを示す。図6、図7のフローチャートに図示した制御手順は、CPU1601(図13)が実行可能な画像処理プログラムとして記述され、例えば記憶装置111の任意の記憶デバイスに格納しておく(後述の他のフローチャートにおいても同様)。
上記実施形態では、第1、第2画像の高解像度画像を生成してから、その高解像度画像を用いてサブピクセル単位のコストマップを生成している。本実施形態では、第2画像に含まれる複数の比較領域と比較して算出したピクセル単位のマッチングコストに基づき、サブピクセル単位のマッチングコストを算出する例を示す。なお、本実施形態の視差演算装置のハードウェア構成は、実施形態1の視差演算装置のハードウェア構成と同じであるため、その説明を省略する。
ここで、図10、図11により、本実施形態における画像処理装置100の視差演算処理に関わる動作を説明する。図10は本実施形態のコストマップ生成ステップ(S21)の詳細な流れを、また、図11は、ピクセル単位コストマップ生成ステップS40におけるコストマップサブピクセル化の処理を示している。なお、処理の全体の流れおよび画像撮影ステップ(S20)における処理内容は実施形態1と同じである。そこで、以下では、コストマップ生成ステップ(S21)、合成コスト生成ステップ(S22)、サブピクセル視差生成ステップ(S23)の処理内容についてのみ説明する。
Claims (5)
- コンピュータが、対象物が撮影された第1画像に基づく基準領域の画像と、前記対象物が撮像された第2画像に基づく複数の比較領域の画像と、を用いて、各比較領域の画像について、視差方向及び画素方向におけるマッチングコストの関係を示すコストマップをピクセル単位で算出する第1マッチングコスト算出工程と、
前記コンピュータが、前記ピクセル単位のコストマップの視差方向の単位をサブピクセル単位に細分化して、サブピクセル単位のコストマップを算出する第2マッチングコスト算出工程と、
前記コンピュータが、前記サブピクセル単位のコストマップにおけるマッチングコストの値の比較結果に基づいて、前記サブピクセル単位のコストマップのマッチングコストにペナルティコストを付与して、前記基準領域に関する合成コストを算出する合成コスト算出工程と、を備えた、
ことを特徴とする画像処理方法。 - 請求項1に記載の画像処理方法の各工程を前記コンピュータに実行させるための制御プログラム。
- 請求項2に記載の制御プログラムを格納したコンピュータ読み取り可能な記録媒体。
- 画像処理装置であって、
対象物が撮像された第1画像および第2画像を取得する画像取得部と、
前記第1画像に基づく基準領域の画像と、前記第2画像に基づく複数の比較領域の画像と、を用いて、各比較領域の画像について、視差方向及び画素方向におけるマッチングコストの関係を示すコストマップをピクセル単位で算出し、前記ピクセル単位のコストマップの視差方向の単位をサブピクセル単位に細分化して、サブピクセル単位のコストマップを算出するコストマップ生成部と、
前記サブピクセル単位のコストマップにおけるマッチングコストの値の比較結果に基づいて、前記サブピクセル単位のコストマップのマッチングコストにペナルティコストを付与して、前記基準領域に関する合成コストを算出する合成コスト生成部と、を備えた、
ことを特徴とする画像処理装置。 - 請求項4に記載の画像処理装置であって、前記サブピクセル単位のコストマップの視差の単位に関するユーザ指定を受け付けるユーザインターフェースを備えた画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019187167A JP7408337B2 (ja) | 2019-10-10 | 2019-10-10 | 画像処理方法、および画像処理装置 |
US17/061,845 US11443410B2 (en) | 2019-10-10 | 2020-10-02 | Image processing method and image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019187167A JP7408337B2 (ja) | 2019-10-10 | 2019-10-10 | 画像処理方法、および画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021064066A JP2021064066A (ja) | 2021-04-22 |
JP2021064066A5 JP2021064066A5 (ja) | 2022-10-21 |
JP7408337B2 true JP7408337B2 (ja) | 2024-01-05 |
Family
ID=75383213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019187167A Active JP7408337B2 (ja) | 2019-10-10 | 2019-10-10 | 画像処理方法、および画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11443410B2 (ja) |
JP (1) | JP7408337B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015179499A (ja) | 2014-02-28 | 2015-10-08 | 株式会社リコー | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
JP2019120590A (ja) | 2018-01-05 | 2019-07-22 | パナソニックIpマネジメント株式会社 | 視差値算出装置、視差値算出方法及びプログラム |
JP2019159708A (ja) | 2018-03-12 | 2019-09-19 | 株式会社東芝 | 画像処理装置、及び、画像処理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014096062A (ja) | 2012-11-09 | 2014-05-22 | Yamaguchi Univ | 画像処理方法及び画像処理装置 |
JP6417886B2 (ja) | 2013-12-12 | 2018-11-07 | 株式会社リコー | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム |
JP6362068B2 (ja) * | 2014-02-17 | 2018-07-25 | キヤノン株式会社 | 距離計測装置、撮像装置、距離計測方法、およびプログラム |
JP6565188B2 (ja) * | 2014-02-28 | 2019-08-28 | 株式会社リコー | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
JP2016075658A (ja) | 2014-10-03 | 2016-05-12 | 株式会社リコー | 情報処理システムおよび情報処理方法 |
EP3002550B1 (en) | 2014-10-03 | 2017-08-30 | Ricoh Company, Ltd. | Information processing system and information processing method for distance measurement |
JP6795027B2 (ja) * | 2016-03-15 | 2020-12-02 | 株式会社リコー | 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム |
JP6986683B2 (ja) | 2018-01-05 | 2021-12-22 | パナソニックIpマネジメント株式会社 | 視差値算出装置、視差値算出方法及びプログラム |
-
2019
- 2019-10-10 JP JP2019187167A patent/JP7408337B2/ja active Active
-
2020
- 2020-10-02 US US17/061,845 patent/US11443410B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015179499A (ja) | 2014-02-28 | 2015-10-08 | 株式会社リコー | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
JP2019120590A (ja) | 2018-01-05 | 2019-07-22 | パナソニックIpマネジメント株式会社 | 視差値算出装置、視差値算出方法及びプログラム |
JP2019159708A (ja) | 2018-03-12 | 2019-09-19 | 株式会社東芝 | 画像処理装置、及び、画像処理方法 |
Non-Patent Citations (2)
Title |
---|
Accurate and efficient stereo processing by semi-global matching and mutual information,2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05),2005年06月20日,https://ieeexplore.ieee.org/document/1467526 |
縦断勾配を持つ路面領域の抽出,SSII2011 第17回 画像センシングシンポジウム講演論文集,2011年06月08日 |
Also Published As
Publication number | Publication date |
---|---|
US20210110513A1 (en) | 2021-04-15 |
US11443410B2 (en) | 2022-09-13 |
JP2021064066A (ja) | 2021-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20150097827A1 (en) | Target Region Fill Utilizing Transformations | |
WO2018127007A1 (zh) | 深度图获取方法及系统 | |
JP3837575B2 (ja) | 超解像処理の高速化方法 | |
CN106447601B (zh) | 一种基于投影-相似变换的无人机遥感影像拼接方法 | |
JP2017182302A (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
CN110246161B (zh) | 一种360度全景图像无缝拼接的方法 | |
JP6332951B2 (ja) | 画像処理装置および画像処理方法、およびプログラム | |
US9514528B2 (en) | Image processing apparatus, distortion-corrected map creation apparatus, and semiconductor measurement apparatus | |
JP6581359B2 (ja) | 情報処理装置及びその制御方法及びプログラム及び記憶媒体、並びに、ビデオカメラ | |
JP5987114B2 (ja) | 高解像度画像生成装置、高解像度画像生成方法及び高解像度画像生成プログラム | |
JP2019109747A (ja) | 位置姿勢推定装置、位置姿勢推定方法及びプログラム | |
JP7408337B2 (ja) | 画像処理方法、および画像処理装置 | |
JP2009186287A (ja) | 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム | |
JP6645442B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2007323616A (ja) | 画像処理装置及びその処理方法 | |
JP2009146150A (ja) | 特徴位置検出方法及び特徴位置検出装置 | |
JP2012003503A (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
CN109741389B (zh) | 一种基于区域基匹配的局部立体匹配方法 | |
CN115239559A (zh) | 一种融合视图合成的深度图超分辨率方法及系统 | |
CN115546027A (zh) | 图像缝合线确定方法、装置以及存储介质 | |
JP6843552B2 (ja) | 画像処理装置、画像処理方法およびプログラム。 | |
JP2020034743A (ja) | 画像取得装置および画像取得装置の作動方法 | |
US20140063235A1 (en) | Distance information estimating apparatus | |
CN111521127B (zh) | 测量方法、测量装置以及记录介质 | |
JP6216143B2 (ja) | 画像処理装置、その制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200206 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231220 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7408337 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |