JP6677474B2 - 周辺認識装置 - Google Patents
周辺認識装置 Download PDFInfo
- Publication number
- JP6677474B2 JP6677474B2 JP2015191331A JP2015191331A JP6677474B2 JP 6677474 B2 JP6677474 B2 JP 6677474B2 JP 2015191331 A JP2015191331 A JP 2015191331A JP 2015191331 A JP2015191331 A JP 2015191331A JP 6677474 B2 JP6677474 B2 JP 6677474B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- distance
- short
- long
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002093 peripheral effect Effects 0.000 claims description 47
- 238000001514 detection method Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 31
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 240000004050 Pentaglottis sempervirens Species 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/265—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network constructional aspects of navigation devices, e.g. housings, mountings, displays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
図1は、本発明に係る周辺認識装置の第1実施形態の内部構成を示すブロック図である。
図7は、本発明に係る周辺認識装置の第2実施形態の内部構成を示すブロック図である。
図9は、本発明に係る周辺認識装置の第3実施形態の内部構成を示すブロック図である。
11a カメラ(第1センサ部)
11b カメラ(第2センサ部)
12 3次元距離画像生成部
13 遠距離物体認識部
14 近距離物体認識部
15 フィードバック部(情報連携部)
15a 立体物マップ
16 コントロールアプリケーション処理部
100a カメラ11aの検出領域
100b カメラ11bの検出領域
101a 遠距離認識可能領域(第1領域)
101b 広角かつ近距離認識可能領域(第2領域)
101c 検知可能領域(第3領域)
Claims (6)
- 遠距離領域の状況データを取得するための第1センサ部と、
前記第1センサ部より広角の検出領域を有すると共に、該検出領域における近距離領域の状況データを取得するための第2センサ部と、
前記第1センサ部によって取得された状況データに基づき算出される3次元遠距離データに基づいて、遠距離領域に存在する物体の認識を行う遠距離物体認識部と、
前記第2センサ部によって取得された状況データに基づき算出される3次元広角近距離データに基づいて、広角かつ近距離領域に存在する物体の認識を行う近距離物体認識部と、
前記遠距離物体認識部と前記近距離物体認識部との間で物体に関する情報の伝達を行う情報連携部と、を備え、
前記遠距離物体認識部及び前記近距離物体認識部は、所定時間における認識結果としての前記物体に関する情報を前記情報連携部に記録し、
前記遠距離物体認識部又は前記近距離物体認識部は、前記情報連携部から伝達された前記所定時間における前記物体に関する情報を使用して前記所定時間より後の現在の前記物体の位置を推定し、その推定結果と前記遠距離物体認識部又は前記近距離物体認識部の現在の認識結果とを照合し、前記情報連携部から伝達された前記所定時間における前記物体に関する情報と前記遠距離物体認識部又は前記近距離物体認識部の現在の認識結果としての前記物体に関する情報の両方を使用して、前記物体に関する情報を算出することを特徴とする周辺認識装置。 - 前記情報連携部は、前記遠距離物体認識部と前記近距離物体認識部とによって作成された物体認識情報を記録するための、少なくとも立体物の種類と三次元物体の実環境における現在の位置と速度とを示す立体物マップを備えることを特徴とする請求項1に記載の周辺認識装置。
- 前記情報連携部は、前記遠距離物体認識部から前記近距離物体認識部に、又は、前記近距離物体認識部から前記遠距離物体認識部に、物体に関する情報の伝達を行うことを特徴とする請求項1に記載の周辺認識装置。
- 前記周辺認識装置における前記第1センサ部と前記第2センサ部とは、遠距離における検出と広角かつ近距離における検出とに適した一対のカメラからなるステレオカメラ装置で構成されており、
前記ステレオカメラ装置から受信した画像信号を使用してステレオマッチングを行い、遠距離に対する3次元距離画像と広角かつ近距離に対する3次元距離画像とを作成する3次元距離画像生成部を備えることを特徴とする請求項1に記載の周辺認識装置。 - 前記第1センサ部と前記第2センサ部とが車両に搭載されていることを特徴とする請求項1に記載の周辺認識装置。
- 前記第1センサ部と前記第2センサ部とが搭載された前記車両によって実行される制御動作を決定するコントロールアプリケーション処理部を更に備えることを特徴とする請求項5に記載の周辺認識装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015191331A JP6677474B2 (ja) | 2015-09-29 | 2015-09-29 | 周辺認識装置 |
CN201680033003.2A CN108027237B (zh) | 2015-09-29 | 2016-08-05 | 周边识别装置 |
US15/741,807 US10796167B2 (en) | 2015-09-29 | 2016-08-05 | Periphery recognition device |
PCT/JP2016/073029 WO2017056724A1 (ja) | 2015-09-29 | 2016-08-05 | 周辺認識装置 |
EP16850901.6A EP3358296B1 (en) | 2015-09-29 | 2016-08-05 | Periphery recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015191331A JP6677474B2 (ja) | 2015-09-29 | 2015-09-29 | 周辺認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017067535A JP2017067535A (ja) | 2017-04-06 |
JP6677474B2 true JP6677474B2 (ja) | 2020-04-08 |
Family
ID=58427429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015191331A Active JP6677474B2 (ja) | 2015-09-29 | 2015-09-29 | 周辺認識装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10796167B2 (ja) |
EP (1) | EP3358296B1 (ja) |
JP (1) | JP6677474B2 (ja) |
CN (1) | CN108027237B (ja) |
WO (1) | WO2017056724A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3422285A4 (en) * | 2016-02-22 | 2019-03-06 | Ricoh Company, Ltd. | IMAGE PROCESSING DEVICE, IMAGE CAPTURE DEVICE, MOBILE BODY APPARATUS CONTROL SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM |
WO2019089591A1 (en) * | 2017-10-30 | 2019-05-09 | Mobileye Vision Technologies Ltd. | Vehicle navigation based on human activity |
JP7120835B2 (ja) * | 2018-07-18 | 2022-08-17 | トヨタ自動車株式会社 | 画像処理装置 |
JP2020013332A (ja) * | 2018-07-18 | 2020-01-23 | トヨタ自動車株式会社 | 画像認識装置 |
JP7253693B2 (ja) * | 2018-10-18 | 2023-04-07 | 学校法人 芝浦工業大学 | 画像処理装置 |
JP7472816B2 (ja) * | 2021-02-12 | 2024-04-23 | トヨタ自動車株式会社 | 注意喚起装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3468428B2 (ja) * | 1993-03-24 | 2003-11-17 | 富士重工業株式会社 | 車輌用距離検出装置 |
JPH1139596A (ja) * | 1997-07-17 | 1999-02-12 | Fuji Heavy Ind Ltd | 車外監視装置 |
JPH11183172A (ja) * | 1997-12-25 | 1999-07-09 | Mitsubishi Heavy Ind Ltd | 写真測量支援システム |
JP2001033236A (ja) * | 1999-07-23 | 2001-02-09 | Mitsubishi Heavy Ind Ltd | ステレオ画像計測装置およびステレオ画像計測方法 |
JP4593736B2 (ja) * | 2000-07-14 | 2010-12-08 | オリンパス株式会社 | 測距装置 |
US20050278088A1 (en) * | 2004-05-29 | 2005-12-15 | Craig Thorner | Method and apparatus for collision avoidance and enhanced visibility in vehicles |
CN1937766A (zh) * | 2005-09-20 | 2007-03-28 | 富士能株式会社 | 监视摄像机装置及监视摄像机系统 |
US7576639B2 (en) * | 2006-03-14 | 2009-08-18 | Mobileye Technologies, Ltd. | Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle |
CN101656840B (zh) * | 2008-08-22 | 2011-09-28 | 原相科技股份有限公司 | 广角传感器阵列模块及其图像校正方法、操作方法与应用 |
JP5278819B2 (ja) * | 2009-05-11 | 2013-09-04 | 株式会社リコー | ステレオカメラ装置及びそれを用いた車外監視装置 |
JP5476960B2 (ja) * | 2009-12-08 | 2014-04-23 | トヨタ自動車株式会社 | 車両前方監視装置 |
JP5776173B2 (ja) * | 2010-03-01 | 2015-09-09 | 株式会社リコー | 撮像装置及び距離測定装置 |
CN102893126B (zh) * | 2010-05-12 | 2016-01-20 | 莱卡地球系统公开股份有限公司 | 测量仪器 |
JP2012103109A (ja) * | 2010-11-10 | 2012-05-31 | Panasonic Corp | ステレオ画像処理装置、ステレオ画像処理方法及びプログラム |
JP5617100B2 (ja) * | 2011-02-08 | 2014-11-05 | 株式会社日立製作所 | センサ統合システム及びセンサ統合方法 |
KR101824439B1 (ko) * | 2011-02-16 | 2018-02-02 | 주식회사 스테레오피아 | 모바일 스테레오 카메라 장치 및 그 촬영방법 |
WO2014054752A1 (ja) * | 2012-10-04 | 2014-04-10 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
JP6180968B2 (ja) * | 2014-03-10 | 2017-08-16 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
EP2918972B1 (de) * | 2014-03-14 | 2019-10-09 | Leica Geosystems AG | Verfahren und handhaltbares Entfernungsmessgerät zum Erzeugen eines Raummodells |
JP6545997B2 (ja) * | 2015-04-24 | 2019-07-17 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
CA3008378A1 (en) * | 2015-12-17 | 2017-06-22 | Nissan Motor Co., Ltd. | Parking support method and device |
EP3223034B1 (en) * | 2016-03-16 | 2022-07-20 | Ricoh Company, Ltd. | Object detection apparatus and moveable apparatus |
-
2015
- 2015-09-29 JP JP2015191331A patent/JP6677474B2/ja active Active
-
2016
- 2016-08-05 US US15/741,807 patent/US10796167B2/en active Active
- 2016-08-05 EP EP16850901.6A patent/EP3358296B1/en active Active
- 2016-08-05 WO PCT/JP2016/073029 patent/WO2017056724A1/ja active Application Filing
- 2016-08-05 CN CN201680033003.2A patent/CN108027237B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP3358296A1 (en) | 2018-08-08 |
CN108027237B (zh) | 2020-11-03 |
US20180197020A1 (en) | 2018-07-12 |
EP3358296B1 (en) | 2024-04-03 |
US10796167B2 (en) | 2020-10-06 |
EP3358296A4 (en) | 2019-08-14 |
WO2017056724A1 (ja) | 2017-04-06 |
CN108027237A (zh) | 2018-05-11 |
JP2017067535A (ja) | 2017-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6677474B2 (ja) | 周辺認識装置 | |
JP6838248B2 (ja) | 情報処理装置 | |
JP6747269B2 (ja) | 物体認識装置 | |
JP6795027B2 (ja) | 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム | |
JP6450294B2 (ja) | 物体検出装置、物体検出方法、及びプログラム | |
US10242272B2 (en) | Method for advanced and low cost cross traffic alert, related processing system, cross traffic alert system and vehicle | |
JP2010198552A (ja) | 運転状況監視装置 | |
JP2008219063A (ja) | 車両周辺監視装置及び方法 | |
JP2013225295A5 (ja) | ||
JP4901275B2 (ja) | 走行誘導障害物検出装置および車両用制御装置 | |
JP2009040108A (ja) | 画像表示制御装置及び画像表示制御システム | |
US20230296395A1 (en) | Vehicle display device | |
WO2019193928A1 (ja) | 車両システム、空間領域推測方法及び空間領域推測装置 | |
CN112639811A (zh) | 用于分析处理具有扩展对象识别的传感器数据的方法 | |
KR20180047149A (ko) | 충돌 위험 경고 장치 및 방법 | |
JP2018074286A (ja) | 運転支援装置 | |
JP4762830B2 (ja) | 周辺監視システム | |
JP6699728B2 (ja) | 車間距離推定方法及び車間距離推定装置 | |
JPWO2018025632A1 (ja) | 撮像装置 | |
JP6660367B2 (ja) | 車外環境認識装置 | |
KR101340014B1 (ko) | 위치 정보 제공 장치 및 방법 | |
JP7236556B2 (ja) | 物体検知装置および物体検知プログラム | |
JP7379268B2 (ja) | 画像処理装置 | |
US11417115B2 (en) | Obstacle recognition device | |
WO2024171459A1 (ja) | 外界認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6677474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |