JP6789888B2 - ステレオカメラ装置 - Google Patents
ステレオカメラ装置 Download PDFInfo
- Publication number
- JP6789888B2 JP6789888B2 JP2017117336A JP2017117336A JP6789888B2 JP 6789888 B2 JP6789888 B2 JP 6789888B2 JP 2017117336 A JP2017117336 A JP 2017117336A JP 2017117336 A JP2017117336 A JP 2017117336A JP 6789888 B2 JP6789888 B2 JP 6789888B2
- Authority
- JP
- Japan
- Prior art keywords
- reference image
- image
- matching
- block
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
以上のように、図5と図6では基本的な処理は同じであるため、サブピクセル処理部3035でどちらも処理が可能である。
20 撮影部
21 左カメラ
22 右カメラ
50 画像メモリ
60 CPU
70 内部リバス
90 SoC
210 ソース画像左
220 ソース画像右
302 アフィン変換部
303 視差演算部
304 垂直ずれ検知部
305 1次元変換部
306 評価結果メモリB
307 基準画像バッファB
502 視差画像
503 垂直ずれ検知結果
601 垂直ずれ調整値設定処理
2110 アフィン変換後左画像
2210 アフィン変換後右画像
3020 垂直ずれ調整値レジスタ
3030 参照画像ラインバッファ
3031 ステレオマッチング回路
3032 基準画像バッファA
3033 評価結果メモリA
3034 一致度評価部
3035 サブピクセル処理部
3050 参照画像ブロックメモリ
3051 ブロックラインバッファ
Claims (6)
- 基準画像と参照画像の視差を算出するステレオマッチング回路を備え、
前記ステレオマッチング回路は、一致度評価部を有し、
前記一致度評価部は前記参照画像に含まれるブロックラインと前記基準画像の一部の領域である基準ブロック画像を比較して、視差演算に用いる位置ずれ量を求め、さらに、
前記一致度評価部は、2次元画像領域である前記参照画像の一部の画像から読み出されたブロックと、当該ブロックに対応する基準画像の一部の領域とを比較して、前記基準画像に対する前記参照画像の垂直ずれを検知することを特徴とするステレオカメラ装置。 - 前記2次元画像領域である前記参照画像の一部の画像から読み出されたブロックラインは、前記参照画像の垂直位置をずらしながら抽出された1ライン分のブロックラインデータであり、
当該ブロックラインデータを保持するブロックラインバッファを有することを特徴とする、請求項1に記載のステレオカメラ装置。 - 前記ステレオマッチング回路は、複数の前記探索した前記ブロックラインの結果を保持するメモリを有し、
該メモリから前記基準画像との一致度が最も大きい前記参照画像の位置をマッチング位置とし、
前記マッチング位置のマッチング結果と、前記マッチング位置の上下の前記ブロックラインに位置するマッチング結果とを用いて、垂直方向にサブピクセルを算出することを特徴とする、請求項1又は2に記載のステレオカメラ装置。 - 垂直ずれ検知に使用した画像の垂直ずれを調整し、前記調整された画像で視差を算出する、請求項1乃至3のいずれかに記載のステレオカメラ装置。
- 前記視差演算に用いる位置ずれ量を求める際に用いる前記基準ブロック画像を保持する第1の基準画像バッファと、前記垂直ずれを検知する際に用いる前記基準画像の一部の領域の画像を保持する第2の基準画像バッファを有することを特徴とする、請求項1に記載のステレオカメラ装置。
- 前記視差演算に用いる位置ずれ量の算出処理と、前記基準画像に対する前記参照画像の垂直ずれ量を検知する処理は、同一の前記一致度評価部を用いて、交互に行われることを特徴とする、請求項1に記載のステレオカメラ装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017117336A JP6789888B2 (ja) | 2017-06-15 | 2017-06-15 | ステレオカメラ装置 |
PCT/JP2018/020661 WO2018230340A1 (ja) | 2017-06-15 | 2018-05-30 | ステレオカメラ装置 |
EP18818696.9A EP3640585B1 (en) | 2017-06-15 | 2018-05-30 | Stereo camera device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017117336A JP6789888B2 (ja) | 2017-06-15 | 2017-06-15 | ステレオカメラ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019002787A JP2019002787A (ja) | 2019-01-10 |
JP6789888B2 true JP6789888B2 (ja) | 2020-11-25 |
Family
ID=64659144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017117336A Active JP6789888B2 (ja) | 2017-06-15 | 2017-06-15 | ステレオカメラ装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3640585B1 (ja) |
JP (1) | JP6789888B2 (ja) |
WO (1) | WO2018230340A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7109386B2 (ja) * | 2019-01-22 | 2022-07-29 | 日立Astemo株式会社 | 画像処理装置 |
JP7134113B2 (ja) * | 2019-02-12 | 2022-09-09 | 日立Astemo株式会社 | 画像処理装置 |
JP7492372B2 (ja) * | 2020-05-08 | 2024-05-29 | 株式会社Subaru | 画像処理装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3167752B2 (ja) * | 1991-10-22 | 2001-05-21 | 富士重工業株式会社 | 車輌用距離検出装置 |
US5768404A (en) * | 1994-04-13 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods |
JP3280001B2 (ja) * | 1999-09-16 | 2002-04-30 | 富士重工業株式会社 | ステレオ画像の位置ずれ調整装置 |
US6674892B1 (en) * | 1999-11-01 | 2004-01-06 | Canon Kabushiki Kaisha | Correcting an epipolar axis for skew and offset |
JP4053314B2 (ja) * | 2002-02-27 | 2008-02-27 | 富士重工業株式会社 | ステレオ画像の位置ずれ調整装置、位置ずれ調整方法、およびステレオ式監視装置 |
JP2005009883A (ja) * | 2003-06-16 | 2005-01-13 | Calsonic Kansei Corp | ステレオカメラ装置 |
JP5631581B2 (ja) * | 2009-12-01 | 2014-11-26 | 富士重工業株式会社 | 道路認識装置 |
JP5792662B2 (ja) * | 2011-03-23 | 2015-10-14 | シャープ株式会社 | 視差算出装置、距離算出装置及び視差算出方法 |
-
2017
- 2017-06-15 JP JP2017117336A patent/JP6789888B2/ja active Active
-
2018
- 2018-05-30 WO PCT/JP2018/020661 patent/WO2018230340A1/ja unknown
- 2018-05-30 EP EP18818696.9A patent/EP3640585B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3640585A4 (en) | 2021-03-10 |
WO2018230340A1 (ja) | 2018-12-20 |
EP3640585B1 (en) | 2022-11-23 |
JP2019002787A (ja) | 2019-01-10 |
EP3640585A1 (en) | 2020-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5293131B2 (ja) | 車両用複眼距離測定装置及び複眼距離測定方法 | |
US20060227041A1 (en) | Apparatus, method and computer program product for calibrating image transform parameter, and obstacle detection apparatus | |
US20130114887A1 (en) | Stereo distance measurement apparatus and stereo distance measurement method | |
US10776937B2 (en) | Image processing apparatus and image processing method for setting measuring point to calculate three-dimensional coordinates of subject image with high reliability | |
JP6789888B2 (ja) | ステレオカメラ装置 | |
US20060215881A1 (en) | Distance measurement apparatus, electronic device, distance measurement method, distance measurement control program and computer-readable recording medium | |
JP6515650B2 (ja) | 校正装置、距離計測装置及び校正方法 | |
JP6694234B2 (ja) | 距離測定装置 | |
JP6035774B2 (ja) | 画像処理装置、画像処理方法、及び車両 | |
JP6673160B2 (ja) | 距離測定装置 | |
US11571125B2 (en) | Line-of-sight measurement device | |
JP2014138332A (ja) | 画像処理装置及びプログラム | |
JP7152506B2 (ja) | 撮像装置 | |
JP2019113434A (ja) | 校正装置、校正方法及び校正プログラム | |
EP4235574A1 (en) | Measuring device, moving device, measuring method, and storage medium | |
CN110728710B (zh) | 视觉里程计算方法、装置和计算机可读存储介质 | |
US10726528B2 (en) | Image processing apparatus and image processing method for image picked up by two cameras | |
WO2015159791A1 (ja) | 測距装置および測距方法 | |
JP6241083B2 (ja) | 撮像装置及び視差検出方法 | |
JP7134780B2 (ja) | ステレオカメラ装置 | |
US10911739B2 (en) | Camera device | |
JPH09126759A (ja) | 車載カメラによる測距方法およびそれを用いる測距装置 | |
JP2019158759A (ja) | 撮像装置、車両、及び撮像方法 | |
EP4030746A1 (en) | Image processing device and stereo camera device using same | |
US11010625B2 (en) | Vehicle exterior environment recognition apparatus and method of recognizing exterior environment outside vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170616 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6789888 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |