JP6345147B2 - ステレオ画像の対において物体を検出する方法 - Google Patents
ステレオ画像の対において物体を検出する方法 Download PDFInfo
- Publication number
- JP6345147B2 JP6345147B2 JP2015075866A JP2015075866A JP6345147B2 JP 6345147 B2 JP6345147 B2 JP 6345147B2 JP 2015075866 A JP2015075866 A JP 2015075866A JP 2015075866 A JP2015075866 A JP 2015075866A JP 6345147 B2 JP6345147 B2 JP 6345147B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pair
- stereo
- classifier
- cost
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000001514 detection method Methods 0.000 claims description 24
- 238000003066 decision tree Methods 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
図4は、コストボリュームC211の生成を示している。コストボリュームC:X×Y×Dは、メモリ内に記憶される3次元データ構造であり、Xは画像のx軸を表し、Yは画像のy軸を表し、Dは1組の視差値を表す。これらの視差値は、2つのステレオ画像IL501及びIR502における対応するピクセル間の並進である。IL及びIRは調整されていると仮定する。これは、レンズ歪み効果が補償されるように画像が変換されており、1つの画像の行内のピクセルが、他の画像の同じ行内のピクセルにマッピングされていることを意味する。次に、ステレオ画像IL及びIRの対においてピクセル外観をマッチングすることによって、コストボリュームを求めることができる。
図5は、図1の特徴選択及び抽出215を示している。部分画像内に物体が存在するか否かを判断するために、各部分画像600からK次元特徴ベクトルを抽出する。部分画像は、例えば複数のスケールにおいてピクセルごとにラスター走査順で、画像の上を通過する移動ウィンドウとみなすことができる。
部分画像と関連付けられたK次元特徴ベクトルは、検出スコアを求めるためにアンサンブル分類器に渡される。アンサンブル分類器はT決定木分類器を含む。各決定木分類器は、K次元特徴の少数の次元を入力として取り、部分画像を正(物体を含む)又は負(物体を含まない)として分類する。部分画像Jについて分類器から取得される検出スコアsは以下によって与えられる。
出力:アンサンブル分類器
For t=1,2,...,T
1.重みwiを用いて決定木分類器δt(J)∈{−1.1}を学習する;
2.誤り率ε=Σiwi|(δt(Ji)≠li)を求める;
3.決定木分類器重み
4.i=1,2,...,Vについて、wi←wiexp(θt|δt(Ji)≠li)を設定する;及び、
5.サンプル重みを正規化する
Claims (10)
- シーンから取得されたステレオ画像の対において物体を検出する方法であって、各ステレオ画像はピクセルを含み、該方法は、
前記ステレオ画像の対からコストボリュームを生成するステップであって、該コストボリュームは、前記対内の前記ステレオ画像間でのピクセルごとの広範な視差値のマッチングコストを含む、ステップと、
前記コストボリューム内の部分画像から、該部分画像内部の領域内の最小累積コストを有する前記視差値の特徴関数を用いて特徴ベクトルを求めるステップと、
前記特徴ベクトルに分類器を適用するステップであって、前記部分画像が前記物体を含むか否かを検出するステップと、
を含み、前記ステップはプロセッサにおいて実行される、シーンから取得されたステレオ画像の対において物体を検出する方法。 - 前記ステレオ画像内の前記物体のロケーションを特定することを更に含む、請求項1に記載の方法。
- 前記分類器は、トレーニングステレオ画像の対から学習される、請求項1に記載の方法。
- 前記ステレオ画像の対を調整することを更に含む、請求項1に記載の方法。
- 前記ステレオ画像の対を平滑化することを更に含む、請求項1に記載の方法。
- 前記生成することは、
ユークリッドノルムを用いて前記ステレオ画像の対における前記ピクセルの色及び勾配をマッチングすることを更に含む、請求項1に記載の方法。 - 前記分類器は、T決定木分類器を含むアンサンブル分類器である、請求項1に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/272,570 US9195904B1 (en) | 2014-05-08 | 2014-05-08 | Method for detecting objects in stereo images |
US14/272,570 | 2014-05-08 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015215877A JP2015215877A (ja) | 2015-12-03 |
JP2015215877A5 JP2015215877A5 (ja) | 2018-02-22 |
JP6345147B2 true JP6345147B2 (ja) | 2018-06-20 |
Family
ID=54368107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015075866A Active JP6345147B2 (ja) | 2014-05-08 | 2015-04-02 | ステレオ画像の対において物体を検出する方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9195904B1 (ja) |
JP (1) | JP6345147B2 (ja) |
CN (1) | CN105096307B (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104864849B (zh) * | 2014-02-24 | 2017-12-26 | 电信科学技术研究院 | 视觉导航方法和装置以及机器人 |
US9626590B2 (en) * | 2015-09-18 | 2017-04-18 | Qualcomm Incorporated | Fast cost aggregation for dense stereo matching |
US10482331B2 (en) * | 2015-11-20 | 2019-11-19 | GM Global Technology Operations LLC | Stixel estimation methods and systems |
CN105718910A (zh) * | 2016-01-22 | 2016-06-29 | 孟玲 | 一种局部和全局特征相结合的蓄电池室 |
KR101825459B1 (ko) * | 2016-08-05 | 2018-03-22 | 재단법인대구경북과학기술원 | 다중 클래스 객체 검출 장치 및 그 방법 |
US9989964B2 (en) | 2016-11-03 | 2018-06-05 | Mitsubishi Electric Research Laboratories, Inc. | System and method for controlling vehicle using neural network |
CN106845520B (zh) * | 2016-12-23 | 2018-05-18 | 深圳云天励飞技术有限公司 | 一种图像处理方法及终端 |
US11272163B2 (en) * | 2017-02-07 | 2022-03-08 | Sony Corporation | Image processing apparatus and image processing method |
US10554957B2 (en) * | 2017-06-04 | 2020-02-04 | Google Llc | Learning-based matching for active stereo systems |
US10395144B2 (en) * | 2017-07-24 | 2019-08-27 | GM Global Technology Operations LLC | Deeply integrated fusion architecture for automated driving systems |
US10990801B1 (en) * | 2018-05-31 | 2021-04-27 | The Charles Stark Draper Laboratory, Inc. | System and method for multidimensional gradient-based cross-spectral stereo matching |
TWI709725B (zh) * | 2019-12-03 | 2020-11-11 | 阿丹電子企業股份有限公司 | 箱體的體積量測裝置及體積量測方法 |
KR102192322B1 (ko) * | 2020-04-13 | 2020-12-17 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 픽셀 블록 단위로 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법 |
US11577723B2 (en) | 2020-06-29 | 2023-02-14 | Uatc, Llc | Object trajectory association and tracking |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6301370B1 (en) * | 1998-04-13 | 2001-10-09 | Eyematic Interfaces, Inc. | Face recognition from video images |
US9111342B2 (en) * | 2010-07-07 | 2015-08-18 | Electronics And Telecommunications Research Institute | Method of time-efficient stereo matching |
CN101976455B (zh) * | 2010-10-08 | 2012-02-01 | 东南大学 | 一种基于立体匹配的彩色图像三维重建方法 |
KR20120049997A (ko) * | 2010-11-10 | 2012-05-18 | 삼성전자주식회사 | 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들 |
CN102026013B (zh) * | 2010-12-18 | 2012-05-23 | 浙江大学 | 基于仿射变换的立体视频匹配方法 |
US8406470B2 (en) * | 2011-04-19 | 2013-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Object detection in depth images |
WO2013106418A1 (en) | 2012-01-09 | 2013-07-18 | Tk Holdings, Inc. | Stereo-vision object detection system and method |
CN103366354B (zh) * | 2012-03-27 | 2016-09-07 | 富士通株式会社 | 用于立体匹配的方法和系统 |
JP2014096062A (ja) * | 2012-11-09 | 2014-05-22 | Yamaguchi Univ | 画像処理方法及び画像処理装置 |
CN103226821B (zh) * | 2013-04-27 | 2015-07-01 | 山西大学 | 基于视差图像素分类校正优化的立体匹配方法 |
-
2014
- 2014-05-08 US US14/272,570 patent/US9195904B1/en active Active
-
2015
- 2015-04-02 JP JP2015075866A patent/JP6345147B2/ja active Active
- 2015-05-08 CN CN201510232293.0A patent/CN105096307B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN105096307A (zh) | 2015-11-25 |
US9195904B1 (en) | 2015-11-24 |
CN105096307B (zh) | 2018-01-02 |
JP2015215877A (ja) | 2015-12-03 |
US20150324659A1 (en) | 2015-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6345147B2 (ja) | ステレオ画像の対において物体を検出する方法 | |
CN109034047B (zh) | 一种车道线检测方法及装置 | |
US9305206B2 (en) | Method for enhancing depth maps | |
Keller et al. | A new benchmark for stereo-based pedestrian detection | |
Shao et al. | Computer vision and machine learning with RGB-D sensors | |
CN105095905B (zh) | 目标识别方法和目标识别装置 | |
CN103530599B (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
WO2015161816A1 (en) | Three-dimensional facial recognition method and system | |
CN105740780B (zh) | 人脸活体检测的方法和装置 | |
JP5771413B2 (ja) | 姿勢推定装置、姿勢推定システム、および姿勢推定方法 | |
CN102087703B (zh) | 确定正面的脸部姿态的方法 | |
US9639748B2 (en) | Method for detecting persons using 1D depths and 2D texture | |
CN111480183B (zh) | 用于产生透视效果的光场图像渲染方法和系统 | |
KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
JP5936561B2 (ja) | 画像における外観及びコンテキストに基づく物体分類 | |
US20200357137A1 (en) | Determining a Pose of an Object in the Surroundings of the Object by Means of Multi-Task Learning | |
CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
CN109919128B (zh) | 控制指令的获取方法、装置及电子设备 | |
EP2299388A2 (en) | Apparatus and method for detecting face | |
KR20180025135A (ko) | 단일 이미지를 사용한 내벽 구조 검출 장치 및 방법 | |
CN114399731B (zh) | 一种单粗点监督下的目标定位方法 | |
Arunkumar et al. | Estimation of vehicle distance based on feature points using monocular vision | |
JP2007257489A (ja) | 画像処理装置および画像処理方法 | |
Yousif et al. | ROS2D: Image feature detector using rank order statistics | |
Hadi et al. | Improved occlusion handling for human detection from mobile robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180115 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180115 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180115 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6345147 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |