RU2017133756A - Способ, система и считываемый компьютером носитель для обнаружения препятствий сзади и оценки расстояния - Google Patents
Способ, система и считываемый компьютером носитель для обнаружения препятствий сзади и оценки расстояния Download PDFInfo
- Publication number
- RU2017133756A RU2017133756A RU2017133756A RU2017133756A RU2017133756A RU 2017133756 A RU2017133756 A RU 2017133756A RU 2017133756 A RU2017133756 A RU 2017133756A RU 2017133756 A RU2017133756 A RU 2017133756A RU 2017133756 A RU2017133756 A RU 2017133756A
- Authority
- RU
- Russia
- Prior art keywords
- frame
- characteristic points
- points
- characteristic
- parameters
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0097—Predicting future conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
Claims (36)
1. Способ обнаружения препятствий сзади с использованием метода структура из движения, причем способ содержит этапы, на которых:
идентифицируют характерные точки изображения в первом кадре, соответствующие характерным точкам во втором кадре, причем первый кадр и второй кадр содержат соседние кадры изображения, захватываемые обращенной назад камерой транспортного средства;
определяют параметры для модели неплоского движения на основе характерных точек изображения; и
определяют движение камеры на основе параметров для модели неплоского движения.
2. Способ по п. 1, дополнительно содержащий этап, на котором идентифицируют одну или более характерных точек как часть одного и того же объекта на основе одного или более из интенсивности пикселей или двумерного расположения в первом кадре или втором кадре.
3. Способ по п. 1, дополнительно содержащий этапы, на которых:
реконструируют характерные точки в трехмерном пространстве; и
определяют масштаб для расположения характерных точек в трехмерном пространстве на основе характерных точек в пределах заданной области земли в первом кадре и втором кадре.
4. Способ по п. 3, дополнительно содержащий этап, на котором определяют высоту одного или более объектов на основе соответствующих характерных точек.
5. Способ по п. 4, дополнительно содержащий этап, на котором определяют расстояние до одного или более объектов, имеющих высоту, превышающую пороговое значение.
6. Способ по п. 5, дополнительно содержащий этап, на котором уведомляют водителя или систему автоматизированного вождения о присутствии объектов, имеющих высоту, превышающую пороговое значение.
7. Способ по п. 1, дополнительно содержащий этап, на котором классифицируют характерные точки как неискаженные и выбросы, причем определение параметров содержит определение на основе неискаженных характерных точек.
8. Способ по п. 1, дополнительно содержащий этап, на котором выполняют локальное уравнивание по связкам в отношении характерных точек изображения для повышенной точности.
9. Система для обнаружения препятствий сзади с использованием метода структура из движения, причем система содержит:
компонент получения изображений, выполненный с возможностью получения серии кадров изображения, захватываемых монокулярной камерой во время движения транспортного средства;
компонент идентификации характерных точек, выполненный с возможностью идентификации характерных точек изображения в первом кадре, соответствующих характерным точкам во втором кадре, причем первый кадр и второй кадр содержат соседние кадры изображения в серии кадров изображения;
компонент определения параметров модели, выполненный с возможностью определения параметров для модели неплоского движения на основе характерных точек изображения; и
компонент определения движения, выполненный с возможностью определения движения камеры на основе параметров для модели неплоского движения.
10. Система по п. 9, дополнительно содержащая компонент обнаружения объектов, выполненный с возможностью идентификации одной или более характерных точек как части одного и того же объекта на основе одного или более из интенсивности пикселей или двумерного расположения в первом кадре или втором кадре.
11. Система по п. 9, дополнительно содержащая компонент реконструкции, выполненный с возможностью:
реконструкции характерных точек в трехмерном пространстве; и
определения масштаба для расположения характерных точек в трехмерном пространстве на основе характерных точек в заданной области земли в первом кадре и втором кадре.
12. Система по п. 11, дополнительно содержащая компонент обнаружения объектов, выполненный с возможностью определения высоты одного или более объектов на основе местоположений соответствующих характерных точек.
13. Система по п. 12, дополнительно содержащая компонент определения расстояния, выполненный с возможностью определения расстояния до одного или более объектов, имеющих высоту, превышающую пороговое значение.
14. Система по п. 13, дополнительно содержащая компонент уведомления, выполненный с возможностью уведомления водителя или системы автоматизированного вождения о присутствии одного или более объектов, имеющих высоту, превышающую пороговое значение.
15. Система по п. 9, в которой компонент идентификации характерных точек дополнительно выполнен с возможностью классификации характерных точек как неискаженные или выбросы, причем компонент определения параметров модели, выполненный с возможностью определения параметров, выполняет определение на основе неискаженных характерных точек.
16. Система по п. 9, в котором компонент идентификации характерных точек дополнительно выполнен с возможностью выполнения локального уравнивания по связкам в отношении характерных точек изображения для повышенной точности.
17. Считываемые компьютером носители данных, хранящие инструкции, которые при выполнении одним или более процессорами побуждают процессоры:
идентифицировать характерные точки изображения в первом кадре, соответствующие характерным точкам во втором кадре, причем первый кадр и второй кадр содержат соседние кадры изображения, захватываемые обращенной назад камерой транспортного средства;
определять параметры для модели неплоского движения на основе характерных точек изображения; и
определять движение камеры на основе параметров для модели неплоского движения.
18. Считываемые компьютером носители по п. 17, в которых инструкции дополнительно побуждают один или более процессоров идентифицировать одну или более характерных точек как часть одного и того же объекта на основе одного или более из интенсивности пикселей или двумерного расположения в первом кадре или втором кадре.
19. Считываемые компьютером носители по п. 17, в которых инструкции дополнительно побуждают один или более процессоров:
реконструировать характерные точки в трехмерном пространстве; и
определять масштаб для расположения характерных точек в трехмерном пространстве на основе характерных точек в заданной области земли в первом кадре и втором кадре.
20. Считываемые компьютером носители по п. 17, в которых инструкции дополнительно побуждают один или более процессоров определять высоту одного или более объектов на основе соответствующих характерных точек.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/288,042 | 2016-10-07 | ||
US15/288,042 US10318826B2 (en) | 2016-10-07 | 2016-10-07 | Rear obstacle detection and distance estimation |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2017133756A true RU2017133756A (ru) | 2019-03-28 |
Family
ID=60270227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2017133756A RU2017133756A (ru) | 2016-10-07 | 2017-09-28 | Способ, система и считываемый компьютером носитель для обнаружения препятствий сзади и оценки расстояния |
Country Status (6)
Country | Link |
---|---|
US (1) | US10318826B2 (ru) |
CN (1) | CN107914708B (ru) |
DE (1) | DE102017123180A1 (ru) |
GB (1) | GB2557402A (ru) |
MX (1) | MX2017012837A (ru) |
RU (1) | RU2017133756A (ru) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10318822B2 (en) * | 2017-04-06 | 2019-06-11 | GM Global Technology Operations LLC | Object tracking |
KR20170061640A (ko) * | 2017-04-26 | 2017-06-05 | (주)디렉션 | 원근법 대응 이미지 보정 방법 및 장치 |
JP2019028870A (ja) * | 2017-08-02 | 2019-02-21 | ルネサスエレクトロニクス株式会社 | 移動体制御システム、移動体制御方法、及びプログラム |
US10836379B2 (en) | 2018-03-23 | 2020-11-17 | Sf Motors, Inc. | Multi-network-based path generation for vehicle parking |
GB2573792B (en) * | 2018-05-17 | 2022-11-09 | Denso Corp | Surround monitoring system for vehicles |
EP3591956A1 (en) * | 2018-07-06 | 2020-01-08 | Continental Automotive GmbH | Device for determining camera blockage |
KR102616205B1 (ko) * | 2018-10-08 | 2023-12-21 | 주식회사 에이치엘클레무브 | 후방 경보 장치, 그 방법 및 제어 시스템 |
CN109760688B (zh) * | 2018-12-29 | 2020-07-28 | 百度在线网络技术(北京)有限公司 | 路段信息确定方法、装置、车辆及计算机可读存储介质 |
CN111583324B (zh) * | 2019-02-19 | 2023-11-28 | 顺丰科技有限公司 | 单目图像深度估测装载率识别方法和装置 |
CN109949364B (zh) * | 2019-04-01 | 2023-04-11 | 上海淞泓智能汽车科技有限公司 | 一种基于路侧单目摄像头的车辆姿态检测精度优化方法 |
CN110135377B (zh) * | 2019-05-21 | 2022-10-14 | 北京百度网讯科技有限公司 | 车路协同中物体运动状态检测方法、装置和服务器 |
CN112389419B (zh) * | 2019-08-12 | 2022-04-08 | 欧特明电子股份有限公司 | 识别停车位的方法和停车辅助系统 |
CN111813116A (zh) * | 2020-07-09 | 2020-10-23 | 海南发控智慧环境建设集团有限公司 | 一种基于三维模型的避障辅助系统 |
CN113071480B (zh) * | 2021-04-30 | 2022-06-03 | 重庆长安汽车股份有限公司 | 自动泊车障碍物检测方法、泊车方法、系统及车辆 |
KR20220154379A (ko) * | 2021-05-13 | 2022-11-22 | 삼성전자주식회사 | 보행자와 카메라 간 거리의 추정 방법 및 장치 |
CN114565674B (zh) * | 2022-03-03 | 2023-07-04 | 江苏集萃清联智控科技有限公司 | 自动驾驶车辆城市结构化场景纯视觉定位方法及装置 |
CN114494444A (zh) * | 2022-04-15 | 2022-05-13 | 北京智行者科技有限公司 | 障碍物动静态估计方法及电子设备和存储介质 |
CN114979596B (zh) * | 2022-05-27 | 2024-05-07 | 峰米(重庆)创新科技有限公司 | 投影画面控制方法、投影设备、计算机设备及存储介质 |
EP4361952A1 (en) * | 2022-10-26 | 2024-05-01 | Toyota Jidosha Kabushiki Kaisha | Method and system for tracking an object in a scene surrounding a mobile machine |
CN117007061A (zh) * | 2023-08-07 | 2023-11-07 | 重庆大学 | 一种用于无人驾驶平台的基于地标的激光slam方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7446798B2 (en) | 2003-02-05 | 2008-11-04 | Siemens Corporate Research, Inc. | Real-time obstacle detection with a calibrated camera and known ego-motion |
EP2071515A1 (en) | 2007-12-11 | 2009-06-17 | Honda Research Institute Europe GmbH | Visually tracking an object in real world using 2D appearance and multicue depth estimations |
CN101336856B (zh) * | 2008-08-08 | 2010-06-02 | 西安电子科技大学 | 辅助视觉系统的信息获取与传递方法 |
DE102010063133A1 (de) * | 2010-12-15 | 2012-06-21 | Robert Bosch Gmbh | Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs |
CN102774380A (zh) * | 2011-05-12 | 2012-11-14 | 无锡维森智能传感技术有限公司 | 一种判断车辆行驶状态的方法 |
KR101309519B1 (ko) | 2012-02-21 | 2013-09-24 | 중앙대학교 산학협력단 | 객체 추적 장치 및 방법 |
US10008002B2 (en) * | 2012-02-28 | 2018-06-26 | NXP Canada, Inc. | Single-camera distance estimation |
US20140055615A1 (en) * | 2012-08-27 | 2014-02-27 | Stephen Chen | Parking assistant device |
US9070202B2 (en) | 2013-03-14 | 2015-06-30 | Nec Laboratories America, Inc. | Moving object localization in 3D using a single camera |
CN103150748B (zh) * | 2013-03-18 | 2017-03-22 | 大连慈航电子有限公司 | 倒车影像3d 场景重构方法和系统 |
EP2851870B1 (en) | 2013-09-20 | 2019-01-23 | Application Solutions (Electronics and Vision) Limited | Method for estimating ego motion of an object |
JP6231345B2 (ja) * | 2013-10-18 | 2017-11-15 | クラリオン株式会社 | 車両用発進支援装置 |
CN105869136A (zh) * | 2015-01-22 | 2016-08-17 | 北京雷动云合智能技术有限公司 | 一种基于多摄像机的协作式视觉slam方法 |
US20160214536A1 (en) * | 2015-01-23 | 2016-07-28 | Glenn S. Burdge | Door-Mounted Side View Camera System For A Vehicle |
-
2016
- 2016-10-07 US US15/288,042 patent/US10318826B2/en not_active Expired - Fee Related
-
2017
- 2017-09-28 RU RU2017133756A patent/RU2017133756A/ru not_active Application Discontinuation
- 2017-09-28 GB GB1715742.1A patent/GB2557402A/en not_active Withdrawn
- 2017-09-30 CN CN201710924480.4A patent/CN107914708B/zh active Active
- 2017-10-05 DE DE102017123180.3A patent/DE102017123180A1/de active Pending
- 2017-10-05 MX MX2017012837A patent/MX2017012837A/es unknown
Also Published As
Publication number | Publication date |
---|---|
GB201715742D0 (en) | 2017-11-15 |
DE102017123180A1 (de) | 2018-04-19 |
MX2017012837A (es) | 2018-09-27 |
CN107914708B (zh) | 2022-08-02 |
US20180101739A1 (en) | 2018-04-12 |
CN107914708A (zh) | 2018-04-17 |
GB2557402A (en) | 2018-06-20 |
US10318826B2 (en) | 2019-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2017133756A (ru) | Способ, система и считываемый компьютером носитель для обнаружения препятствий сзади и оценки расстояния | |
JP7025912B2 (ja) | 車載環境認識装置 | |
WO2018058356A1 (zh) | 基于双目立体视觉的汽车防碰撞预警方法和系统 | |
JP5267596B2 (ja) | 移動体検出装置 | |
RU2017130021A (ru) | Оценка расстояния до объекта с использованием данных из одиночной камеры | |
EP3125151A3 (en) | Inventory, growth, and risk prediction using image processing | |
EP2551793A3 (en) | Obstacle detection system | |
JP5999127B2 (ja) | 画像処理装置 | |
US20130286205A1 (en) | Approaching object detection device and method for detecting approaching objects | |
US20130057688A1 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method and vehicle device | |
CN107004120B (zh) | 宽基线物体探测立体系统 | |
JP6786279B2 (ja) | 画像処理装置 | |
JP2014215877A (ja) | 物体検出装置 | |
EP2835763A3 (en) | A hybrid method and system of video and vision based access control for parking stall occupancy determination | |
JP2010102572A (ja) | 車両の周辺監視装置 | |
JPWO2009099022A1 (ja) | 周辺監視装置及び周辺監視方法 | |
JPWO2017098709A1 (ja) | 画像認識装置および画像認識方法 | |
US9852519B2 (en) | Detection system | |
JP2016218651A5 (ru) | ||
JP6333975B2 (ja) | 車両周辺監視装置 | |
JP2014009975A (ja) | ステレオカメラ | |
JP6384802B2 (ja) | 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路 | |
JPWO2021092702A5 (ru) | ||
Lion et al. | Smart speed bump detection and estimation with kinect | |
WO2016059643A1 (en) | System and method for pedestrian detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FA93 | Acknowledgement of application withdrawn (no request for examination) |
Effective date: 20200929 |