RU2017133756A - Способ, система и считываемый компьютером носитель для обнаружения препятствий сзади и оценки расстояния - Google Patents

Способ, система и считываемый компьютером носитель для обнаружения препятствий сзади и оценки расстояния Download PDF

Info

Publication number
RU2017133756A
RU2017133756A RU2017133756A RU2017133756A RU2017133756A RU 2017133756 A RU2017133756 A RU 2017133756A RU 2017133756 A RU2017133756 A RU 2017133756A RU 2017133756 A RU2017133756 A RU 2017133756A RU 2017133756 A RU2017133756 A RU 2017133756A
Authority
RU
Russia
Prior art keywords
frame
characteristic points
points
characteristic
parameters
Prior art date
Application number
RU2017133756A
Other languages
English (en)
Inventor
И Чжан
МУРАЛИ Видия НАРИЯМБУТ
Мадлен Дж. ГОХ
Original Assignee
ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи filed Critical ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Publication of RU2017133756A publication Critical patent/RU2017133756A/ru

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures

Claims (36)

1. Способ обнаружения препятствий сзади с использованием метода структура из движения, причем способ содержит этапы, на которых:
идентифицируют характерные точки изображения в первом кадре, соответствующие характерным точкам во втором кадре, причем первый кадр и второй кадр содержат соседние кадры изображения, захватываемые обращенной назад камерой транспортного средства;
определяют параметры для модели неплоского движения на основе характерных точек изображения; и
определяют движение камеры на основе параметров для модели неплоского движения.
2. Способ по п. 1, дополнительно содержащий этап, на котором идентифицируют одну или более характерных точек как часть одного и того же объекта на основе одного или более из интенсивности пикселей или двумерного расположения в первом кадре или втором кадре.
3. Способ по п. 1, дополнительно содержащий этапы, на которых:
реконструируют характерные точки в трехмерном пространстве; и
определяют масштаб для расположения характерных точек в трехмерном пространстве на основе характерных точек в пределах заданной области земли в первом кадре и втором кадре.
4. Способ по п. 3, дополнительно содержащий этап, на котором определяют высоту одного или более объектов на основе соответствующих характерных точек.
5. Способ по п. 4, дополнительно содержащий этап, на котором определяют расстояние до одного или более объектов, имеющих высоту, превышающую пороговое значение.
6. Способ по п. 5, дополнительно содержащий этап, на котором уведомляют водителя или систему автоматизированного вождения о присутствии объектов, имеющих высоту, превышающую пороговое значение.
7. Способ по п. 1, дополнительно содержащий этап, на котором классифицируют характерные точки как неискаженные и выбросы, причем определение параметров содержит определение на основе неискаженных характерных точек.
8. Способ по п. 1, дополнительно содержащий этап, на котором выполняют локальное уравнивание по связкам в отношении характерных точек изображения для повышенной точности.
9. Система для обнаружения препятствий сзади с использованием метода структура из движения, причем система содержит:
компонент получения изображений, выполненный с возможностью получения серии кадров изображения, захватываемых монокулярной камерой во время движения транспортного средства;
компонент идентификации характерных точек, выполненный с возможностью идентификации характерных точек изображения в первом кадре, соответствующих характерным точкам во втором кадре, причем первый кадр и второй кадр содержат соседние кадры изображения в серии кадров изображения;
компонент определения параметров модели, выполненный с возможностью определения параметров для модели неплоского движения на основе характерных точек изображения; и
компонент определения движения, выполненный с возможностью определения движения камеры на основе параметров для модели неплоского движения.
10. Система по п. 9, дополнительно содержащая компонент обнаружения объектов, выполненный с возможностью идентификации одной или более характерных точек как части одного и того же объекта на основе одного или более из интенсивности пикселей или двумерного расположения в первом кадре или втором кадре.
11. Система по п. 9, дополнительно содержащая компонент реконструкции, выполненный с возможностью:
реконструкции характерных точек в трехмерном пространстве; и
определения масштаба для расположения характерных точек в трехмерном пространстве на основе характерных точек в заданной области земли в первом кадре и втором кадре.
12. Система по п. 11, дополнительно содержащая компонент обнаружения объектов, выполненный с возможностью определения высоты одного или более объектов на основе местоположений соответствующих характерных точек.
13. Система по п. 12, дополнительно содержащая компонент определения расстояния, выполненный с возможностью определения расстояния до одного или более объектов, имеющих высоту, превышающую пороговое значение.
14. Система по п. 13, дополнительно содержащая компонент уведомления, выполненный с возможностью уведомления водителя или системы автоматизированного вождения о присутствии одного или более объектов, имеющих высоту, превышающую пороговое значение.
15. Система по п. 9, в которой компонент идентификации характерных точек дополнительно выполнен с возможностью классификации характерных точек как неискаженные или выбросы, причем компонент определения параметров модели, выполненный с возможностью определения параметров, выполняет определение на основе неискаженных характерных точек.
16. Система по п. 9, в котором компонент идентификации характерных точек дополнительно выполнен с возможностью выполнения локального уравнивания по связкам в отношении характерных точек изображения для повышенной точности.
17. Считываемые компьютером носители данных, хранящие инструкции, которые при выполнении одним или более процессорами побуждают процессоры:
идентифицировать характерные точки изображения в первом кадре, соответствующие характерным точкам во втором кадре, причем первый кадр и второй кадр содержат соседние кадры изображения, захватываемые обращенной назад камерой транспортного средства;
определять параметры для модели неплоского движения на основе характерных точек изображения; и
определять движение камеры на основе параметров для модели неплоского движения.
18. Считываемые компьютером носители по п. 17, в которых инструкции дополнительно побуждают один или более процессоров идентифицировать одну или более характерных точек как часть одного и того же объекта на основе одного или более из интенсивности пикселей или двумерного расположения в первом кадре или втором кадре.
19. Считываемые компьютером носители по п. 17, в которых инструкции дополнительно побуждают один или более процессоров:
реконструировать характерные точки в трехмерном пространстве; и
определять масштаб для расположения характерных точек в трехмерном пространстве на основе характерных точек в заданной области земли в первом кадре и втором кадре.
20. Считываемые компьютером носители по п. 17, в которых инструкции дополнительно побуждают один или более процессоров определять высоту одного или более объектов на основе соответствующих характерных точек.
RU2017133756A 2016-10-07 2017-09-28 Способ, система и считываемый компьютером носитель для обнаружения препятствий сзади и оценки расстояния RU2017133756A (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/288,042 2016-10-07
US15/288,042 US10318826B2 (en) 2016-10-07 2016-10-07 Rear obstacle detection and distance estimation

Publications (1)

Publication Number Publication Date
RU2017133756A true RU2017133756A (ru) 2019-03-28

Family

ID=60270227

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017133756A RU2017133756A (ru) 2016-10-07 2017-09-28 Способ, система и считываемый компьютером носитель для обнаружения препятствий сзади и оценки расстояния

Country Status (6)

Country Link
US (1) US10318826B2 (ru)
CN (1) CN107914708B (ru)
DE (1) DE102017123180A1 (ru)
GB (1) GB2557402A (ru)
MX (1) MX2017012837A (ru)
RU (1) RU2017133756A (ru)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318822B2 (en) * 2017-04-06 2019-06-11 GM Global Technology Operations LLC Object tracking
KR20170061640A (ko) * 2017-04-26 2017-06-05 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
JP2019028870A (ja) * 2017-08-02 2019-02-21 ルネサスエレクトロニクス株式会社 移動体制御システム、移動体制御方法、及びプログラム
US10836379B2 (en) 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
GB2573792B (en) * 2018-05-17 2022-11-09 Denso Corp Surround monitoring system for vehicles
EP3591956A1 (en) * 2018-07-06 2020-01-08 Continental Automotive GmbH Device for determining camera blockage
KR102616205B1 (ko) * 2018-10-08 2023-12-21 주식회사 에이치엘클레무브 후방 경보 장치, 그 방법 및 제어 시스템
CN109760688B (zh) * 2018-12-29 2020-07-28 百度在线网络技术(北京)有限公司 路段信息确定方法、装置、车辆及计算机可读存储介质
CN111583324B (zh) * 2019-02-19 2023-11-28 顺丰科技有限公司 单目图像深度估测装载率识别方法和装置
CN109949364B (zh) * 2019-04-01 2023-04-11 上海淞泓智能汽车科技有限公司 一种基于路侧单目摄像头的车辆姿态检测精度优化方法
CN110135377B (zh) * 2019-05-21 2022-10-14 北京百度网讯科技有限公司 车路协同中物体运动状态检测方法、装置和服务器
CN112389419B (zh) * 2019-08-12 2022-04-08 欧特明电子股份有限公司 识别停车位的方法和停车辅助系统
CN111813116A (zh) * 2020-07-09 2020-10-23 海南发控智慧环境建设集团有限公司 一种基于三维模型的避障辅助系统
CN113071480B (zh) * 2021-04-30 2022-06-03 重庆长安汽车股份有限公司 自动泊车障碍物检测方法、泊车方法、系统及车辆
KR20220154379A (ko) * 2021-05-13 2022-11-22 삼성전자주식회사 보행자와 카메라 간 거리의 추정 방법 및 장치
CN114565674B (zh) * 2022-03-03 2023-07-04 江苏集萃清联智控科技有限公司 自动驾驶车辆城市结构化场景纯视觉定位方法及装置
CN114494444A (zh) * 2022-04-15 2022-05-13 北京智行者科技有限公司 障碍物动静态估计方法及电子设备和存储介质
CN114979596B (zh) * 2022-05-27 2024-05-07 峰米(重庆)创新科技有限公司 投影画面控制方法、投影设备、计算机设备及存储介质
EP4361952A1 (en) * 2022-10-26 2024-05-01 Toyota Jidosha Kabushiki Kaisha Method and system for tracking an object in a scene surrounding a mobile machine
CN117007061A (zh) * 2023-08-07 2023-11-07 重庆大学 一种用于无人驾驶平台的基于地标的激光slam方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7446798B2 (en) 2003-02-05 2008-11-04 Siemens Corporate Research, Inc. Real-time obstacle detection with a calibrated camera and known ego-motion
EP2071515A1 (en) 2007-12-11 2009-06-17 Honda Research Institute Europe GmbH Visually tracking an object in real world using 2D appearance and multicue depth estimations
CN101336856B (zh) * 2008-08-08 2010-06-02 西安电子科技大学 辅助视觉系统的信息获取与传递方法
DE102010063133A1 (de) * 2010-12-15 2012-06-21 Robert Bosch Gmbh Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs
CN102774380A (zh) * 2011-05-12 2012-11-14 无锡维森智能传感技术有限公司 一种判断车辆行驶状态的方法
KR101309519B1 (ko) 2012-02-21 2013-09-24 중앙대학교 산학협력단 객체 추적 장치 및 방법
US10008002B2 (en) * 2012-02-28 2018-06-26 NXP Canada, Inc. Single-camera distance estimation
US20140055615A1 (en) * 2012-08-27 2014-02-27 Stephen Chen Parking assistant device
US9070202B2 (en) 2013-03-14 2015-06-30 Nec Laboratories America, Inc. Moving object localization in 3D using a single camera
CN103150748B (zh) * 2013-03-18 2017-03-22 大连慈航电子有限公司 倒车影像3d 场景重构方法和系统
EP2851870B1 (en) 2013-09-20 2019-01-23 Application Solutions (Electronics and Vision) Limited Method for estimating ego motion of an object
JP6231345B2 (ja) * 2013-10-18 2017-11-15 クラリオン株式会社 車両用発進支援装置
CN105869136A (zh) * 2015-01-22 2016-08-17 北京雷动云合智能技术有限公司 一种基于多摄像机的协作式视觉slam方法
US20160214536A1 (en) * 2015-01-23 2016-07-28 Glenn S. Burdge Door-Mounted Side View Camera System For A Vehicle

Also Published As

Publication number Publication date
GB201715742D0 (en) 2017-11-15
DE102017123180A1 (de) 2018-04-19
MX2017012837A (es) 2018-09-27
CN107914708B (zh) 2022-08-02
US20180101739A1 (en) 2018-04-12
CN107914708A (zh) 2018-04-17
GB2557402A (en) 2018-06-20
US10318826B2 (en) 2019-06-11

Similar Documents

Publication Publication Date Title
RU2017133756A (ru) Способ, система и считываемый компьютером носитель для обнаружения препятствий сзади и оценки расстояния
JP7025912B2 (ja) 車載環境認識装置
WO2018058356A1 (zh) 基于双目立体视觉的汽车防碰撞预警方法和系统
JP5267596B2 (ja) 移動体検出装置
RU2017130021A (ru) Оценка расстояния до объекта с использованием данных из одиночной камеры
EP3125151A3 (en) Inventory, growth, and risk prediction using image processing
EP2551793A3 (en) Obstacle detection system
JP5999127B2 (ja) 画像処理装置
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
US20130057688A1 (en) Vehicle periphery monitoring device, vehicle periphery monitoring method and vehicle device
CN107004120B (zh) 宽基线物体探测立体系统
JP6786279B2 (ja) 画像処理装置
JP2014215877A (ja) 物体検出装置
EP2835763A3 (en) A hybrid method and system of video and vision based access control for parking stall occupancy determination
JP2010102572A (ja) 車両の周辺監視装置
JPWO2009099022A1 (ja) 周辺監視装置及び周辺監視方法
JPWO2017098709A1 (ja) 画像認識装置および画像認識方法
US9852519B2 (en) Detection system
JP2016218651A5 (ru)
JP6333975B2 (ja) 車両周辺監視装置
JP2014009975A (ja) ステレオカメラ
JP6384802B2 (ja) 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
JPWO2021092702A5 (ru)
Lion et al. Smart speed bump detection and estimation with kinect
WO2016059643A1 (en) System and method for pedestrian detection

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20200929