JP5404263B2 - 視差算出方法、および視差算出装置 - Google Patents
視差算出方法、および視差算出装置 Download PDFInfo
- Publication number
- JP5404263B2 JP5404263B2 JP2009205466A JP2009205466A JP5404263B2 JP 5404263 B2 JP5404263 B2 JP 5404263B2 JP 2009205466 A JP2009205466 A JP 2009205466A JP 2009205466 A JP2009205466 A JP 2009205466A JP 5404263 B2 JP5404263 B2 JP 5404263B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- reference point
- evaluation value
- corresponding point
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Description
図1は、本発明の実施の形態1における視差算出装置100のブロック図である。図1に示す視差算出装置100は、視差算出部101と、ステレオ画像データ取得部102と、視差データ出力部103と、を含む構成である。
実施の形態1では、基準点(xb1、yb1)の周辺領域をXb軸上の横方向に設けて、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出することについて説明したが、図11に示すように、基準点(xb1、yb1)のYb軸上の縦方向に位置する一、または複数の基準点の極小値分布を重畳してから、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出するとしてもよい。
実施の形態1では、基準点(xb1、yb1)の周辺領域をXb軸上の横方向の任意の範囲に設けて、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出することについて説明したが、基準点(xb1、yb1)の周辺領域の横方向の幅を所定の幅としても良い。
101 視差算出部
102 ステレオ画像データ取得部
103 視差データ出力部
104 ステレオマッチング部
105 対応点候補数判定部
106 極小値分布算出部
107 評価値マップ算出部
108 対応点判定部
1201 視差算出部
1202 ステレオ画像データ取得部
1203 ステレオマッチング部
1204 対応点候補複数存在判定部
1205 評価値最小対応点算出
1206 制御態様データ取得部
1207 制御態様対応点算出部
1208 視差データ出力部
Claims (11)
- 第1の撮像系を用いて対象物を撮像した基準画像と、第2の撮像系を用いて前記対象物を撮像した参照画像とを取得するステレオ画像データ取得部と、
前記基準画像に含まれる基準点と、前記基準点に対応する、前記参照画像に含まれる複数の探索点との画像輝度の相違度を算出するステレオマッチング部と、
前記複数の探索点から前記複数の探索点の座標に対する前記画像輝度の相違度が極小である探索点を検出し、前記検出された探索点が複数存在する場合に、前記検出された複数の探索点を対応点候補と判定する対応点候補数判定部と、
第1の基準点に対応する複数の対応点候補および前記第1の基準点を含む周辺領域に存在する一または複数の第2の基準点に対応する複数の対応点候補を抽出する対応点候補抽出部と、
前記抽出された対応点候補のうち、前記第1の基準点に対する視差値と前記第2の基準点に対する視差値との間の変動値が最小である対応点候補を対応点と判定する対応点判定部と、
前記第1の基準点に対応する前記対応点の座標点と、前記第1の基準点の座標点とに基づいて算出される視差データを出力する視差データ出力部と、
を備えた視差算出装置。 - 前記周辺領域の範囲は、前記第1の基準点に対応する対応点候補の数量および間隔に基づいて定まる請求項1に記載の視差算出装置。
- 前記第1の撮像系は第1のレンズを有し、前記第2の撮像系は第2のレンズを有し、前記周辺領域は、前記第1のレンズと前記第2のレンズとの配列方向に任意の幅を有する領域である場合において、
前記対応点候補抽出部は、更に、前記第1のレンズと前記第2のレンズとの配列方向に対して垂直方向に存在する第3の基準点に対応する複数の対応点候補を抽出し、
前記対応点判定部は、前記第1の基準点に対する視差値と前記第2の基準点に対する視差値と前記第3の基準点に対する視差値との間の変動値が最小である対応点候補を対応点と判定する請求項1に記載の視差算出装置。 - 前記周辺領域の範囲は、前記第1の基準点に対応する対応点候補の画像輝度と、前記第2の基準点に対応する対応点候補の画像輝度との相違度の差分和に基づいて定まる請求項1に記載の視差算出装置。
- 第1の撮像系と第2の撮像系を有し、前記第1の撮像系を用いて対象物を撮像した基準画像のデータと、前記第2の撮像系を用いて前記対象物を撮像した参照画像のデータとを取得するステレオ画像データ取得部と、
前記基準画像に含まれる基準点と、前記基準点に対応する、前記参照画像に含まれる複数の探索点との画像輝度の相違度を示す評価値分布を算出するステレオマッチング部と、
前記評価値分布に含まれる探索点から前記評価値が極小である探索点を検出し、前記検出された探索点が複数存在する場合に、前記検出された複数の探索点を対応点候補として出力する対応点候補数判定部と、
前記評価値分布に前記対応点候補が含まれる場合に、第1の基準点に対応する複数の対応点候補の座標分布を示す第1の極小値分布と、前記第1の基準点を含む前記基準画像の周辺領域に存在する一または複数の第2の基準点に対応する第2の極小値分布とを算出する極小値分布算出部と、
前記第1の極小値分布と前記第2の極小値分布とに基づいて、前記第1の基準点の座標点と前記第1の基準点に対応する複数の対応点候補の座標点との差分と、前記第2の基準点の座標点と前記第2の基準点に対応する複数の対応点候補の座標点との差分との間の変動値である座標変動値の関係を示す評価値マップを算出する評価値マップ算出部と、
前記評価値マップにおいて前記座標変動値が最小である一の対応点候補を対応点として判定する対応点判定部と、
前記対応点の座標点と、前記第1の基準点の座標点との差分である視差データを出力する視差データ出力部と、
を備えた視差算出装置。 - 前記周辺領域の範囲は、前記第1の基準点の前記極小値分布に含まれる評価値が極小となる探索点の数および間隔に基づいて定まる請求項5に記載の視差算出装置。
- 前記対応点判定部は、前記第1の基準点に対応する前記対応点候補の数量と、前記第2の基準点に対応する前記対応点候補の数量とが異なる場合に、前記第1の基準点および前記第2の基準点に対応する前記極小値分布の何れかにのみ含まれる前記対応点候補を除いて、前記対応点を判定する請求項5に記載の視差算出装置。
- 前記対応点判定部は、前記評価値マップに対してハフ変換を行うことにより、前記座標変動値が最小である前記対応点候補を、対応点として抽出する請求項5に記載の視差算出装置。
- 前記第1の撮像系は第1のレンズを有し、前記第2の撮像系は第2のレンズを有し、前記周辺領域は、前記第1のレンズと前記第2のレンズとの配列方向に任意の幅を有する領域である場合において、
前記評価値マップ算出部は、前記第1の評価値分布と、前記第2の評価値分布と、前記周辺領域に存在する基準点に対して、前記第1のレンズと前記第2のレンズとの配列方向に対して垂直方向に存在する第3の基準点に対応する極小値分布とに基づいて、前記評価値マップを算出する請求項5に記載の視差算出装置。 - 前記周辺領域の範囲は、前記第1の基準点に対応する評価値分布と、前記第2の基準点に対応する評価値分布との前記複数の探索点に対応する画像輝度の相違度の差分和に基づいて定める範囲である請求項5に記載の視差算出装置。
- ステレオ画像データ取得部は、第1の撮像系を用いて対象物を撮像した基準画像と、第2の撮像系を用いて前記対象物を撮像した参照画像とを取得し、
ステレオマッチング部は、前記基準画像に含まれる基準点と、前記基準点に対応する、
前記参照画像に含まれる複数の探索点との画像輝度の相違度を算出し、
対応点候補数判定部は、前記複数の探索点から前記複数の探索点の座標に対する前記画像輝度の相違度が極小である探索点を検出し、前記検出された探索点が複数存在する場合に、前記検出された複数の探索点を対応点候補と判定し、
対応点候補抽出部は、第1の基準点に対応する複数の対応点候補および前記第1の基準点を含む周辺領域に存在する一または複数の第2の基準点に対応する複数の対応点候補を抽出し、
対応点判定部は、前記抽出された対応点候補のうち、前記第1の基準点に対する視差値と前記第2の基準点に対する視差値との間の変動値が最小である対応点候補を対応点と判定し、
視差データ出力部は、前記第1の基準点に対応する前記対応点の座標点と、前記第1の基準点の座標点とに基づいて算出される視差データを出力する視差算出方法。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009205466A JP5404263B2 (ja) | 2009-09-07 | 2009-09-07 | 視差算出方法、および視差算出装置 |
PCT/JP2010/005416 WO2011027564A1 (ja) | 2009-09-07 | 2010-09-02 | 視差算出方法、および視差算出装置 |
EP13175943.3A EP2650639B1 (en) | 2009-09-07 | 2010-09-02 | Disparity calculation apparatus |
US13/125,108 US8743183B2 (en) | 2009-09-07 | 2010-09-02 | Parallax calculation method and parallax calculation device |
CN2013101493105A CN103278133A (zh) | 2009-09-07 | 2010-09-02 | 视差计算方法和视差计算装置 |
EP10813515.3A EP2476996B1 (en) | 2009-09-07 | 2010-09-02 | Parallax calculation method and parallax calculation device |
EP14162784.4A EP2752641A1 (en) | 2009-09-07 | 2010-09-02 | Disparity calculation apparatus |
CN2010800031211A CN102203552B (zh) | 2009-09-07 | 2010-09-02 | 视差计算方法和视差计算装置 |
US14/249,721 US9338434B2 (en) | 2009-09-07 | 2014-04-10 | Parallax calculation method and parallax calculation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009205466A JP5404263B2 (ja) | 2009-09-07 | 2009-09-07 | 視差算出方法、および視差算出装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013080311A Division JP5579297B2 (ja) | 2013-04-08 | 2013-04-08 | 視差算出方法、および視差算出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011058812A JP2011058812A (ja) | 2011-03-24 |
JP5404263B2 true JP5404263B2 (ja) | 2014-01-29 |
Family
ID=43649119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009205466A Expired - Fee Related JP5404263B2 (ja) | 2009-09-07 | 2009-09-07 | 視差算出方法、および視差算出装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8743183B2 (ja) |
EP (3) | EP2650639B1 (ja) |
JP (1) | JP5404263B2 (ja) |
CN (2) | CN103278133A (ja) |
WO (1) | WO2011027564A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8782803B2 (en) | 2010-04-14 | 2014-07-15 | Legitmix, Inc. | System and method of encrypting a derivative work using a cipher created from its source |
JP5654956B2 (ja) * | 2011-07-14 | 2015-01-14 | 日本放送協会 | 視差画像生成装置および視差画像生成プログラム |
JP2013109010A (ja) * | 2011-11-17 | 2013-06-06 | Canon Inc | 立体映像撮影システム |
KR101877570B1 (ko) * | 2012-04-04 | 2018-07-11 | 현대자동차주식회사 | Av 영상 기반의 주차위치 설정 장치 및 그 방법 |
EP2669846B1 (en) * | 2012-06-01 | 2017-11-01 | Ricoh Company, Ltd. | Target recognition system and target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program |
TWI502544B (zh) * | 2013-03-07 | 2015-10-01 | Acer Inc | 立體影像的視差估算方法 |
JP6346869B2 (ja) * | 2015-03-31 | 2018-06-20 | 公益財団法人鉄道総合技術研究所 | ステレオ画像処理方法およびその装置 |
US9977998B2 (en) | 2015-04-27 | 2018-05-22 | Sony Corporation | Method and system for processing one or more multi-channel images |
EP3139346B1 (en) * | 2015-09-01 | 2019-01-16 | Veoneer Sweden AB | Vision system for a motor vehicle and method of controlling a vision system |
JP6668763B2 (ja) * | 2016-01-13 | 2020-03-18 | セイコーエプソン株式会社 | 画像認識装置、画像認識方法および画像認識ユニット |
CN107025660B (zh) * | 2016-02-01 | 2020-07-10 | 北京三星通信技术研究有限公司 | 一种确定双目动态视觉传感器图像视差的方法和装置 |
US10582179B2 (en) * | 2016-02-01 | 2020-03-03 | Samsung Electronics Co., Ltd. | Method and apparatus for processing binocular disparity image |
JP6668922B2 (ja) * | 2016-04-27 | 2020-03-18 | 株式会社リコー | 情報処理装置、撮像装置、移動体制御システム、情報処理方法およびプログラム |
US10796425B1 (en) * | 2016-09-06 | 2020-10-06 | Amazon Technologies, Inc. | Imagery-based member deformation gauge |
JP6986683B2 (ja) * | 2018-01-05 | 2021-12-22 | パナソニックIpマネジメント株式会社 | 視差値算出装置、視差値算出方法及びプログラム |
CN109255387A (zh) * | 2018-09-20 | 2019-01-22 | 珠海市君天电子科技有限公司 | 一种图像匹配方法、装置、电子设备及存储介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0581410A (ja) * | 1991-09-19 | 1993-04-02 | Fujitsu Ltd | 対応点探索方式 |
JP3055721B2 (ja) * | 1991-11-01 | 2000-06-26 | アイシン精機株式会社 | 左,右カメラの撮像画像の対応点検索方法 |
JPH05215547A (ja) * | 1992-02-06 | 1993-08-24 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ画像間対応点決定方法 |
JP3348939B2 (ja) * | 1993-11-26 | 2002-11-20 | 富士重工業株式会社 | 車輌用距離検出装置 |
DE19636028C1 (de) * | 1996-09-05 | 1997-11-20 | Daimler Benz Ag | Verfahren zur Stereobild-Objektdetektion |
JP2000348175A (ja) * | 1999-06-08 | 2000-12-15 | Sony Corp | 対応点検出装置及び方法 |
JP2001351200A (ja) * | 2000-06-09 | 2001-12-21 | Nissan Motor Co Ltd | 車載用物体検知装置 |
CN1141670C (zh) * | 2001-07-27 | 2004-03-10 | 南开大学 | 用二维编码对运动物体进行三维跟踪测量的方法 |
JP3822515B2 (ja) * | 2002-03-29 | 2006-09-20 | 株式会社東芝 | 障害物検知装置及びその方法 |
JP3977776B2 (ja) * | 2003-03-13 | 2007-09-19 | 株式会社東芝 | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 |
US8594370B2 (en) * | 2004-07-26 | 2013-11-26 | Automotive Systems Laboratory, Inc. | Vulnerable road user protection system |
JP4882324B2 (ja) * | 2005-09-20 | 2012-02-22 | トヨタ自動車株式会社 | 車両用画像処理装置 |
WO2007124502A2 (en) * | 2006-04-21 | 2007-11-01 | Sarnoff Corporation | Apparatus and method for object detection and tracking and roadway awareness using stereo cameras |
KR20080076628A (ko) * | 2007-02-16 | 2008-08-20 | 삼성전자주식회사 | 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법 |
CN101321299B (zh) * | 2007-06-04 | 2011-06-01 | 华为技术有限公司 | 视差生成方法、生成单元以及三维视频生成方法及装置 |
JP5050926B2 (ja) | 2008-02-28 | 2012-10-17 | セイコーエプソン株式会社 | 画像出力方法、画像出力装置および画像出力プログラム |
CN100586199C (zh) * | 2008-03-30 | 2010-01-27 | 深圳华为通信技术有限公司 | 视差获取方法和装置 |
-
2009
- 2009-09-07 JP JP2009205466A patent/JP5404263B2/ja not_active Expired - Fee Related
-
2010
- 2010-09-02 EP EP13175943.3A patent/EP2650639B1/en not_active Not-in-force
- 2010-09-02 CN CN2013101493105A patent/CN103278133A/zh active Pending
- 2010-09-02 CN CN2010800031211A patent/CN102203552B/zh not_active Expired - Fee Related
- 2010-09-02 US US13/125,108 patent/US8743183B2/en not_active Expired - Fee Related
- 2010-09-02 WO PCT/JP2010/005416 patent/WO2011027564A1/ja active Application Filing
- 2010-09-02 EP EP10813515.3A patent/EP2476996B1/en not_active Not-in-force
- 2010-09-02 EP EP14162784.4A patent/EP2752641A1/en not_active Withdrawn
-
2014
- 2014-04-10 US US14/249,721 patent/US9338434B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN102203552B (zh) | 2013-06-05 |
EP2752641A1 (en) | 2014-07-09 |
EP2476996A4 (en) | 2013-02-20 |
CN102203552A (zh) | 2011-09-28 |
EP2476996A1 (en) | 2012-07-18 |
US8743183B2 (en) | 2014-06-03 |
US20140218485A1 (en) | 2014-08-07 |
US9338434B2 (en) | 2016-05-10 |
US20110199462A1 (en) | 2011-08-18 |
JP2011058812A (ja) | 2011-03-24 |
EP2650639B1 (en) | 2014-11-26 |
WO2011027564A1 (ja) | 2011-03-10 |
EP2650639A1 (en) | 2013-10-16 |
EP2476996B1 (en) | 2014-03-12 |
CN103278133A (zh) | 2013-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5404263B2 (ja) | 視差算出方法、および視差算出装置 | |
US8867790B2 (en) | Object detection device, object detection method, and program | |
JP4556798B2 (ja) | 画像処理装置 | |
JP4363295B2 (ja) | ステレオ画像による平面推定方法 | |
WO2015053100A1 (ja) | 物体検出装置及びそれを用いた車両 | |
US20200068186A1 (en) | Stereo camera | |
JP5752618B2 (ja) | ステレオ視差算出装置 | |
JP6307037B2 (ja) | 障害物検知方法およびその装置 | |
KR102010823B1 (ko) | 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치 | |
JP5548212B2 (ja) | 横断歩道標示検出方法および横断歩道標示検出装置 | |
JPH11351862A (ja) | 前方車両検出方法及び装置 | |
JP2009092551A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
JP5981284B2 (ja) | 対象物検出装置、及び対象物検出方法 | |
JP5579297B2 (ja) | 視差算出方法、および視差算出装置 | |
JP6346869B2 (ja) | ステレオ画像処理方法およびその装置 | |
JP4552409B2 (ja) | 画像処理装置 | |
CN114830180A (zh) | 摄像机自动检查系统 | |
JP5822866B2 (ja) | 画像処理装置 | |
JP7066580B2 (ja) | 画像処理装置 | |
WO2023139675A1 (ja) | 撮像装置、視差ずれ補正方法、及び視差ずれ補正プログラム | |
JP2008097444A (ja) | 画像処理装置 | |
JP6334773B2 (ja) | ステレオカメラ | |
JP5614100B2 (ja) | 画像処理装置及び移動体位置推定方法 | |
EP2919191A1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131029 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5404263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |