JP4934701B2 - ステレオ画像処理装置およびステレオ画像処理方法 - Google Patents
ステレオ画像処理装置およびステレオ画像処理方法 Download PDFInfo
- Publication number
- JP4934701B2 JP4934701B2 JP2009154518A JP2009154518A JP4934701B2 JP 4934701 B2 JP4934701 B2 JP 4934701B2 JP 2009154518 A JP2009154518 A JP 2009154518A JP 2009154518 A JP2009154518 A JP 2009154518A JP 4934701 B2 JP4934701 B2 JP 4934701B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image processing
- calculated
- collation
- stereo image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 57
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000004364 calculation method Methods 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 24
- 238000009499 grossing Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
4a,4b カメラ
101 撮像部
102 画像メモリ
103 照合領域制御部
104 視差演算部
105 算出済み視差格納部
202 視差勾配算出部
203 照合領域算出部
204 視差エッジ保存型平滑化フィルタ
1001 探索範囲制御部
1106 距離算出部
Claims (13)
- 複数のカメラで複数の画像データを撮像する撮像部と、
前記撮像部で撮像された複数の画像データを格納する画像メモリと、
複数の画像データから求められた、視差算出の対象となる画素に対して、空間的な隣接関係がある複数の視差データ、又は時系列的な隣接関係がある複数の視差データを格納する算出済み視差格納部と、
前記算出済み視差格納部から読み込んだ前記複数の視差データに基づいて、画素毎に照合領域を設定する照合領域制御部と、
前記画像メモリから読み込んだ前記複数の画像データと、前記照合領域制御部で設定された画素毎の前記照合領域と、に基づいて画像データを照合し、視差データを算出する視差演算部と、を有するステレオ画像処理装置。 - 請求項1のステレオ画像処理装置において、
前記算出済み視差格納部は、前記視差演算部で算出された視差データが格納されたステレオ画像処理装置。 - 請求項1のステレオ画像処理装置において、
前記照合領域制御部は、
前記算出済み視差格納部で格納された視差データに対して、急峻なエッジを保ちつつ、平滑化を行うフィルタ処理部と、
前記フィルタ処理部でフィルタ処理された視差データに基づいて、視差勾配を算出する視差勾配算出部と、
前記視差勾配算出部で算出された前記視差勾配を用いて、各画素における照合領域を設定する照合領域算出部と、を有するステレオ画像処理装置。 - 請求項1のステレオ画像処理装置において、
前記算出済み視差格納部で格納された視差データを用いて照合範囲を決定する探索範囲制御部を有し、
前記視差演算部は、前記画像メモリから読み込んだ前記複数の画像データと、前記探索範囲制御部で決定された照合範囲と、前記照合領域制御部で設定された照合領域と、を用いて視差データを算出するステレオ画像処理装置。 - 請求項1のステレオ画像処理装置において、
視差演算部で算出された視差データに基づいて計測点までの距離を算出する距離算出部を有するステレオ画像処理装置。 - 請求項1のステレオ画像処理装置において、
前記画像メモリは、自車両の左側に備えた第1のカメラで撮像した第1の画像データと、自車両の右側に備えた第2のカメラで撮像した第2の画像データと、が格納されたステレオ画像処理装置。 - 請求項3のステレオ画像処理装置において、
前記照合領域算出部は、前記視差勾配算出部で算出された前記視差勾配の値に負の相関をもつ窓幅を設定するステレオ画像処理装置。 - 請求項3のステレオ画像処理装置において、
前記照合領域算出部は、照合領域の窓幅を、予め定めた照合領域の窓幅最大値及び窓幅最小値の間で設定するステレオ画像処理装置。 - 請求項1のステレオ画像処理装置において、
前記算出済み視差格納部に格納する視差データは、ミリ波レーダ,レーザレーダ,超音波装置のいずれかを用いて算出された視差データであるステレオ画像処理装置。 - 複数のカメラで複数の画像データを撮像し、
撮像された複数の画像データを画像メモリに格納し、
算出済み視差格納部に予め格納された、複数の画像データから求められた、視差算出の対象となる画素に対して、空間的な隣接関係がある複数の視差データ、又は時系列的な隣接関係がある複数の視差データに基づいて画素毎に照合領域を設定し、
設定された照合領域に基づいて、前記複数の画像データを照合して視差データを算出するステレオ画像処理方法。 - 請求項10のステレオ画像処理方法において、
前記算出済み視差格納部で格納された視差データに対して、急峻なエッジを保ちつつ、平滑化を行うフィルタ処理をし、
フィルタ処理された視差データに基づいて、視差勾配を算出し、
算出された前記視差勾配を用いて、各画素における照合領域を設定するステレオ画像処理方法。 - 請求項10のステレオ画像処理方法において、
前記算出済み視差格納部で格納された視差データを用いて照合範囲を決定し、
前記画像メモリから読み込んだ前記複数の画像データと、前記照合範囲と、前記照合領域と、を用いて視差データを算出する画像処理方法。 - 請求項10のステレオ画像処理方法において、
算出された視差データに基づいて計測点までの距離を算出し、算出された距離情報を出力するステレオ画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009154518A JP4934701B2 (ja) | 2009-06-30 | 2009-06-30 | ステレオ画像処理装置およびステレオ画像処理方法 |
US12/711,787 US8548226B2 (en) | 2009-06-30 | 2010-02-24 | Stereo image processing device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009154518A JP4934701B2 (ja) | 2009-06-30 | 2009-06-30 | ステレオ画像処理装置およびステレオ画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011013706A JP2011013706A (ja) | 2011-01-20 |
JP4934701B2 true JP4934701B2 (ja) | 2012-05-16 |
Family
ID=43380261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009154518A Expired - Fee Related JP4934701B2 (ja) | 2009-06-30 | 2009-06-30 | ステレオ画像処理装置およびステレオ画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8548226B2 (ja) |
JP (1) | JP4934701B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9832454B2 (en) | 2014-11-20 | 2017-11-28 | Samsung Electronics Co., Ltd. | Method and apparatus for matching stereo images |
US10713806B2 (en) | 2017-09-21 | 2020-07-14 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing system |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8730301B2 (en) * | 2010-03-12 | 2014-05-20 | Sony Corporation | Service linkage to caption disparity data transport |
US9237331B2 (en) * | 2011-01-18 | 2016-01-12 | Disney Enterprises, Inc. | Computational stereoscopic camera system |
JP5433610B2 (ja) * | 2011-03-04 | 2014-03-05 | 日立オートモティブシステムズ株式会社 | 車載カメラ装置 |
US8941717B2 (en) * | 2011-04-08 | 2015-01-27 | Tektronix, Inc. | Semi-automatic 3D stereoscopic disparity cursor |
JP5536283B2 (ja) * | 2011-06-06 | 2014-07-02 | 富士フイルム株式会社 | 画像加工装置、複眼撮像装置、画像加工方法及びプログラム |
JP5352869B2 (ja) * | 2011-09-07 | 2013-11-27 | シャープ株式会社 | 立体画像処理装置、立体画像処理方法、及びプログラム |
US8989481B2 (en) * | 2012-02-13 | 2015-03-24 | Himax Technologies Limited | Stereo matching device and method for determining concave block and convex block |
JP5955028B2 (ja) * | 2012-02-28 | 2016-07-20 | 株式会社トプコン | 画像処理装置、画像処理方法および画像処理用のプログラム |
US9361699B2 (en) * | 2012-06-27 | 2016-06-07 | Imec Taiwan Co. | Imaging system and method |
US9064318B2 (en) | 2012-10-25 | 2015-06-23 | Adobe Systems Incorporated | Image matting and alpha value techniques |
US9355649B2 (en) | 2012-11-13 | 2016-05-31 | Adobe Systems Incorporated | Sound alignment using timing information |
US9201580B2 (en) | 2012-11-13 | 2015-12-01 | Adobe Systems Incorporated | Sound alignment user interface |
US9076205B2 (en) | 2012-11-19 | 2015-07-07 | Adobe Systems Incorporated | Edge direction and curve based image de-blurring |
US10249321B2 (en) | 2012-11-20 | 2019-04-02 | Adobe Inc. | Sound rate modification |
US9451304B2 (en) | 2012-11-29 | 2016-09-20 | Adobe Systems Incorporated | Sound feature priority alignment |
US10455219B2 (en) | 2012-11-30 | 2019-10-22 | Adobe Inc. | Stereo correspondence and depth sensors |
US9135710B2 (en) | 2012-11-30 | 2015-09-15 | Adobe Systems Incorporated | Depth map stereo correspondence techniques |
US10249052B2 (en) | 2012-12-19 | 2019-04-02 | Adobe Systems Incorporated | Stereo correspondence model fitting |
US9208547B2 (en) * | 2012-12-19 | 2015-12-08 | Adobe Systems Incorporated | Stereo correspondence smoothness tool |
US9214026B2 (en) | 2012-12-20 | 2015-12-15 | Adobe Systems Incorporated | Belief propagation and affinity measures |
US9280806B2 (en) * | 2013-01-10 | 2016-03-08 | Broadcom Corporation | Edge smoothing block filtering and blending |
JP6342128B2 (ja) * | 2013-08-23 | 2018-06-13 | キヤノンメディカルシステムズ株式会社 | 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 |
JP6476831B2 (ja) | 2013-12-26 | 2019-03-06 | 株式会社リコー | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
JP2015158394A (ja) * | 2014-02-24 | 2015-09-03 | 株式会社リコー | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
JP5999127B2 (ja) * | 2014-03-12 | 2016-09-28 | トヨタ自動車株式会社 | 画像処理装置 |
US9756312B2 (en) | 2014-05-01 | 2017-09-05 | Ecole polytechnique fédérale de Lausanne (EPFL) | Hardware-oriented dynamically adaptive disparity estimation algorithm and its real-time hardware |
KR102240570B1 (ko) * | 2014-05-13 | 2021-04-15 | 삼성전자주식회사 | 신장 트리 생성 방법 및 장치,스테레오 매칭 방법 및 장치,업 샘플링 방법 및 장치,및 기준 픽셀 생성 방법 및 장치 |
JP6642998B2 (ja) | 2014-09-17 | 2020-02-12 | キヤノン株式会社 | 像ズレ量算出装置、撮像装置、および像ズレ量算出方法 |
KR101622344B1 (ko) * | 2014-12-16 | 2016-05-19 | 경북대학교 산학협력단 | 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템 |
CN107810520B (zh) | 2015-07-03 | 2020-11-10 | 华为技术有限公司 | 图像处理装置和方法 |
JP7013182B2 (ja) * | 2017-09-21 | 2022-01-31 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2018205325A (ja) * | 2018-08-27 | 2018-12-27 | 株式会社リコー | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
CN112602118B (zh) | 2019-03-14 | 2024-06-07 | 欧姆龙株式会社 | 图像处理装置和三维测量系统 |
US11348271B2 (en) | 2019-03-14 | 2022-05-31 | Omron Corporation | Image processing device and three-dimensional measuring system |
CN113748313B (zh) * | 2019-05-22 | 2023-11-21 | 欧姆龙株式会社 | 三维测量系统及三维测量方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5577130A (en) * | 1991-08-05 | 1996-11-19 | Philips Electronics North America | Method and apparatus for determining the distance between an image and an object |
JPH05256613A (ja) * | 1992-03-13 | 1993-10-05 | Matsushita Electric Ind Co Ltd | ステレオ画像からの視差演算方法と装置並びに奥行き測定装置 |
JP3242529B2 (ja) * | 1994-06-07 | 2001-12-25 | 松下通信工業株式会社 | ステレオ画像対応付け方法およびステレオ画像視差計測方法 |
JPH09231358A (ja) * | 1996-02-21 | 1997-09-05 | Canon Inc | 画像対応点抽出装置、及び方法 |
JP3017122B2 (ja) | 1997-04-03 | 2000-03-06 | 株式会社エイ・ティ・アール知能映像通信研究所 | 奥行き情報抽出装置および奥行き情報抽出方法 |
US7660436B2 (en) * | 2003-06-13 | 2010-02-09 | Sarnoff Corporation | Stereo-vision based imminent collision detection |
US7292735B2 (en) * | 2004-04-16 | 2007-11-06 | Microsoft Corporation | Virtual image artifact detection |
US7330593B2 (en) * | 2004-06-25 | 2008-02-12 | Stmicroelectronics, Inc. | Segment based image matching method and system |
US7324687B2 (en) * | 2004-06-28 | 2008-01-29 | Microsoft Corporation | Color segmentation-based stereo 3D reconstruction system and process |
WO2008029345A1 (en) * | 2006-09-04 | 2008-03-13 | Koninklijke Philips Electronics N.V. | Method for determining a depth map from images, device for determining a depth map |
JP2008309637A (ja) * | 2007-06-14 | 2008-12-25 | Konica Minolta Holdings Inc | 障害物計測方法、障害物計測装置及び障害物計測システム |
EP2213102B1 (en) * | 2007-11-09 | 2012-02-22 | Thomson Licensing | System and method for depth map extraction using region-based filtering |
JP2009133753A (ja) * | 2007-11-30 | 2009-06-18 | Toshiba Corp | 画像処理装置及びその方法 |
-
2009
- 2009-06-30 JP JP2009154518A patent/JP4934701B2/ja not_active Expired - Fee Related
-
2010
- 2010-02-24 US US12/711,787 patent/US8548226B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9832454B2 (en) | 2014-11-20 | 2017-11-28 | Samsung Electronics Co., Ltd. | Method and apparatus for matching stereo images |
US10713806B2 (en) | 2017-09-21 | 2020-07-14 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing system |
Also Published As
Publication number | Publication date |
---|---|
JP2011013706A (ja) | 2011-01-20 |
US20100328427A1 (en) | 2010-12-30 |
US8548226B2 (en) | 2013-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4934701B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
JP6224251B2 (ja) | ボウル形状イメージングシステム | |
JP3868876B2 (ja) | 障害物検出装置及び方法 | |
CN107735812B (zh) | 对象识别设备、方法、装置控制系统及图像生成设备 | |
US9665782B2 (en) | Obstacle detecting apparatus and obstacle detecting method | |
CN109997148B (zh) | 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质 | |
CN103914810B (zh) | 用于动态后视镜的图像超分辨率 | |
JP6577703B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
KR20120130788A (ko) | 멀티-카메라 교정을 위한 방법 및 장치 | |
WO2014002692A1 (ja) | ステレオカメラ | |
Praczyk | A quick algorithm for horizon line detection in marine images | |
US9747507B2 (en) | Ground plane detection | |
US20150131853A1 (en) | Stereo matching system and method for generating disparity map using same | |
CN109325388A (zh) | 车道线的识别方法、系统以及汽车 | |
JP2010262576A (ja) | 対象物検出装置及びプログラム | |
JP2021051347A (ja) | 距離画像生成装置及び距離画像生成方法 | |
KR100691855B1 (ko) | 영상정보의 특징 추출장치 및 그 방법 | |
JP2013251005A (ja) | 画像補正方法 | |
CN109923586B (zh) | 停车框识别装置 | |
JP5442408B2 (ja) | 画像補正方法 | |
US11475233B2 (en) | Image processing device and image processing method | |
KR101437228B1 (ko) | 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법 | |
WO2018097269A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
JP6677142B2 (ja) | 駐車枠認識装置 | |
JP4812743B2 (ja) | 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110606 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120220 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4934701 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150224 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |