KR102616205B1 - 후방 경보 장치, 그 방법 및 제어 시스템 - Google Patents

후방 경보 장치, 그 방법 및 제어 시스템 Download PDF

Info

Publication number
KR102616205B1
KR102616205B1 KR1020180120091A KR20180120091A KR102616205B1 KR 102616205 B1 KR102616205 B1 KR 102616205B1 KR 1020180120091 A KR1020180120091 A KR 1020180120091A KR 20180120091 A KR20180120091 A KR 20180120091A KR 102616205 B1 KR102616205 B1 KR 102616205B1
Authority
KR
South Korea
Prior art keywords
vehicle
height
road surface
free space
boundary
Prior art date
Application number
KR1020180120091A
Other languages
English (en)
Other versions
KR20200040153A (ko
Inventor
전경근
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020180120091A priority Critical patent/KR102616205B1/ko
Priority to US16/219,650 priority patent/US10752259B2/en
Priority to CN201910121380.7A priority patent/CN111002900A/zh
Publication of KR20200040153A publication Critical patent/KR20200040153A/ko
Application granted granted Critical
Publication of KR102616205B1 publication Critical patent/KR102616205B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/20—Road profile
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/35—Road bumpiness, e.g. pavement or potholes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/03—Actuating a signal or alarm device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

본 개시는 차량의 후방에 설치된 카메라, 차량의 정보를 획득하는 적어도 하나의 센서 및 차량의 후진 주행 시, 카메라를 통하여 후방 영상을 획득하고, 후방 영상에서 자유 공간(free space)의 경계 인식 및 노면의 높낮이에 대한 노면 프로파일(road profile) 생성을 수행하고, 자유 공간의 경계 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 차량의 정보에 기초하여 후방 객체의 속성에 따라 위험 여부를 판단하여 경보를 출력하는 컨트롤러를 포함하는 후방 경보 장치, 그 방법 및 제어 시스템을 제공한다. 본 개시에 의하면 낮은 높이의 후방 객체에 대한 정보를 제공하여 후진 주차 시 주차 공간의 절약 및 차체의 손상을 방지할 수 있다.

Description

후방 경보 장치, 그 방법 및 제어 시스템{Back Warning Apparatus, Method thereof and Control System}
본 개시는 차량의 후방 카메라로 획득한 영상을 이용하여 경보를 수행하는 후방 경보 장치, 그 방법 및 제어 시스템에 관한 것이다.
차량에는 운전자의 시야가 미치지 못하는 후방에 대한 정보를 알려주는 장치들이 구비되어 있다. 예를 들어, 차량 후방에 장착된 초음파 센서나 레이더 센서 등을 이용하여 후진 주행 시 후방 물체와의 충돌 상황을 판단하여 운전자에게 경보를 수행하는 경보 장치나, 후방 카메라를 이용하여 후방의 영상을 디스플레이해주는 주차 보조 장치 등이 차량에 구비되어 있다.
이러한 경보 장치나 주차 보조 장치들의 경우, 후방의 객체에 대한 경보를 수행하는 편의를 제공하고 있으나, 배수로나 노면의 함몰과 같이 지면보다 낮은 지형이나 노면 위에 위치한 연석과 같이 낮은 높이의 객체에 대해서는 경보가 수행되기 어려운 면이 있다.
따라서, 차량의 후진 중 차량의 후방에 존재하는 지면보다 낮은 지형이나 상대적으로 낮은 높이의 객체를 인식하고 운전자에게 알려주는 방법이 필요하게 된다.
이러한 배경에서, 본 개시의 목적은, 차량의 후방 영상에서 인식된 자유 공간 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 차량의 정보와 후방 객체의 속성에 기초하여 판단된 위험 여부에 대한 경보를 출력함으로써, 상대적으로 낮은 높이의 후방 객체에 대한 정보를 제공할 수 있는 후방 경보 장치, 그 방법 및 제어 시스템을 제공하는 것이다.
본 개시의 다른 목적은, 차량의 차체 높이와 후방 객체의 높이에 따라 경보를 구별하여 출력함으로써, 후진 주차 시 주차 공간의 절약 및 차체의 손상을 방지할 수 있는 후방 경보 장치, 그 방법 및 제어 시스템을 제공하는 것이다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 개시는 차량의 후방에 대한 시야를 갖도록 상기 차량에 배치되어 이미지 데이터를 캡쳐하도록 구성된 이미지 센서, 이미지 센서에 의해 캡쳐된 이미지 데이터를 처리하도록 구성된 프로세서, 차량의 정보를 획득하는 적어도 하나의 센서 및 이미지 데이터의 처리에 적어도 부분적으로 기초하여, 후방 경보를 출력하도록 구성된 컨트롤러를 포함하되, 차량의 후진 주행 시, 이미지 데이터의 처리에 기초하여 후방 영상을 획득하고, 후방 영상에서 자유 공간(free space)의 경계 인식 및 노면의 높낮이에 대한 노면 프로파일(road profile) 생성을 수행하고, 자유 공간의 경계 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 차량의 정보에 기초하여 후방 객체의 속성에 따라 위험 여부를 판단하여 경보를 출력하는 컨트롤러를 포함하는 후방 경보 장치를 제공한다.
다른 측면에서, 본 개시는 차량의 후방에 대한 시야를 갖도록 차량에 배치되어 이미지 데이터를 캡쳐하도록 구성된 이미지 센서, 차량의 정보를 획득하는 적어도 하나의 센서 및 이미지 센서에 의해 캡쳐된 이미지 데이터를 처리하고, 차량에 구비된 적어도 하나의 운전자 보조 시스템을 제어하도록 구성된 도메인 컨트롤 유닛을 포함하되, 도메인 컨트롤 유닛은, 차량의 후진 주행 시, 이미지 데이터의 처리에 적어도 부분적으로 기초하여, 후방 영상을 획득하고, 후방 영상에서 자유 공간(free space)의 경계 인식 및 노면의 높낮이에 대한 노면 프로파일(road profile) 생성을 수행하고, 자유 공간의 경계 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 차량의 정보에 기초하여 후방 객체의 속성에 따라 위험 여부를 판단하여 경보를 출력하는 후방 경보 장치를 제공한다.
다른 측면에서, 본 개시는 차량의 후방에 대한 시야를 갖도록 차량에 배치되어 이미지 데이터를 캡쳐하도록 구성된 이미지 센서에 있어서, 이미지 데이터는, 프로세서에 의해 처리되어, 차량의 후진 주행 시 후방 영상의 획득, 후방 영상에서 자유 공간(free space)의 경계 인식 및 노면의 높낮이에 대한 노면 프로파일(road profile) 생성을 수행하는데 사용되고, 자유 공간의 경계 및 노면 프로파일은, 후방 객체의 속성을 판단하는데 사용되고, 차량의 정보와 함께 후방 객체의 속성에 따라 위험 여부를 판단하는데 사용되는 이미지 센서를 제공한다.
다른 측면에서, 본 개시는 차량의 후진 주행 시, 차량의 후방에 설치된 카메라를 통하여 후방 영상을 획득하는 단계, 후방 영상에서 자유 공간의 경계를 인식하고 노면의 높낮이에 대한 노면 프로파일을 생성하는 단계, 자유 공간의 경계 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단하는 단계 및 차량의 정보에 기초하여 후방 객체의 속성에 따라 위험 여부를 판단하여 경보를 출력하는 단계를 포함하는 후방 경보 방법을 제공한다.
또 다른 측면에서, 본 개시는 차량의 후진 주행 시, 차량의 후방에 설치된 카메라를 통하여 후방 영상을 획득하고, 후방 영상에서 자유 공간의 경계 인식 및 노면의 높낮이에 대한 노면 프로파일 생성을 수행하고, 자유 공간의 경계 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 차량의 정보에 기초하여 후방 객체의 속성에 따라 위험 여부를 판단하여 경보를 출력하는 후방 경보 장치 및 후방 경보 장치에서 판단된 위험 여부에 기초하여 차량을 제어하는 전자 제어 장치를 포함하는 제어 시스템을 제공한다.
이상에서 살펴본 바와 같이, 본 개시에 의하면, 차량의 후방 영상에서 인식된 자유 공간 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 차량의 정보와 후방 객체의 속성에 기초하여 판단된 위험 여부에 대한 경보를 출력함으로써, 종래에 경보를 수행하기 어려웠던, 상대적으로 낮은 높이의 후방 객체에 대한 정보를 제공할 수 있는 후방 경보 장치, 그 방법 및 제어 시스템을 제공할 수 있다.
또한, 본 개시에 의하면, 차량의 차체 높이와 후방 객체의 높이에 따라 경보를 구별하여 출력함으로써, 후진 주차 시 주차 공간의 절약 및 차체의 손상을 방지할 수 있는 후방 경보 장치, 그 방법 및 제어 시스템을 제공할 수 있다.
도 1은 본 개시에 따른 후방 경보 장치를 포함하는 제어 시스템의 블록도이다.
도 2 내지 도 7은 본 개시에 따른 후방 경보 장치의 동작을 설명하기 위한 도면이다.
도 8은 본 개시에 따른 후방 경보 방법에 대한 흐름도이다.
도 9는 본 개시에 따른 후방 객체의 높이에 따른 후방 경보 방법을 설명하기 위한 흐름도이다.
도 10은 본 개시에 따른 후방 객체의 깊이에 따른 후방 경보 방법을 설명하기 위한 흐름도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
다른 정의가 없다면, 본 개시에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 그리고 후술되는 용어들은 본 개시의 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 개시 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 개시에서, "차량의 후진 주행 시"는, 차량이 실제 후진 주행하는 경우 또는 차량의 후진을 위한 신호가 감지되는 경우를 의미할 수 있다. 또한, "자유 공간"은, 차량의 현재 위치를 기준으로 차량이 주행할 수 있는 영역을 의미할 수 있다. 또한, "노면 프로파일"은, 노면의 단면을 잘라 측면에서 관찰했을 때 보이는 노면의 높낮이(상대 고도)에 대한 정보를 의미할 수 있다. 또한, "후방 객체의 속성"은, 차량의 후방에 존재하는 연석 등의 장애물이나 함몰 영역 등과 같은 객체의 종류, 위치, 깊이 등의 정보를 의미할 수 있다.
이하에서는, 첨부되는 도면을 참조하여 본 개시의 실시예들에 따른 후방 경보 장치, 그 방법 및 제어 시스템을 설명한다.
도 1은 본 개시에 따른 후방 경보 장치를 포함하는 제어 시스템의 블록도이다. 도 2 내지 도 7은 본 개시에 따른 후방 경보 장치의 동작을 설명하기 위한 도면이다.
도 1을 참조하면, 본 개시에 따른 제어 시스템(10)은 차량의 후진 주행 시, 차량의 후방에 설치된 카메라를 통하여 후방 영상을 획득하고, 후방 영상에서 자유 공간(free space)의 경계 인식 및 노면의 높낮이에 대한 노면 프로파일(road profile) 생성을 수행하고, 자유 공간의 경계 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 차량의 정보에 기초하여 후방 객체의 속성에 따라 위험 여부를 판단하여 경보를 출력하는 후방 경보 장치(100) 및 후방 경보 장치에서 판단된 위험 여부에 기초하여 차량을 제어하는 전자 제어 장치(200, ECU, Electronic Control Unit)를 포함한다.
제어 시스템(10)은 카메라(110) 및 센서(130)에서 획득된 정보에 기초하여 차량의 후방에 존재하는 객체에 의한 위험 여부를 판단할 수 있다. 제어 시스템(10)는 판단된 위험 여부에 따른 경보를 출력 기기(150)를 통하여 출력할 수 있다. 또한, 제어 시스템(10)은 판단된 위험 여부에 따라 전자 제어 장치(200)를 통하여 차량의 후진 주행을 제어하거나 제동할 수 있다.
제어 시스템(10)에 포함된 후방 경보 장치(100)는 차량의 후방에 설치된 카메라(110), 차량의 정보를 획득하는 적어도 하나의 센서(130), 컨트롤러의 제어에 따라 경보를 출력하는 출력 기기(150) 및 차량의 후진 주행 시, 카메라를 통하여 후방 영상을 획득하고, 후방 영상에서 자유 공간의 경계 인식 및 노면의 높낮이에 대한 노면 프로파일 생성을 수행하고, 자유 공간의 경계 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 차량의 정보에 기초하여 후방 객체의 속성에 따라 위험 여부를 판단하여 경보를 출력하도록 출력 기기(150)를 제어하는 컨트롤러(170)를 포함한다.
일 예에 따라, 카메라(110)는, 차량의 후방에 대한 시야를 갖도록 차량에 배치되어 이미지 데이터를 캡쳐하도록 구성된 이미지 센서와 이미지 센서에 의해 캡쳐된 이미지 데이터를 처리하도록 구성된 프로세서를 포함할 수 있다. 일 예에 따라, 이미지 센서와 프로세서는 하나의 모듈로 구현될 수 있다.
이미지 센서는 자율주행 차량의 외부에 대한 시야를 갖도록 차량에 배치될 수 있다. 적어도 하나의 이미지 센서는 차량의 전방, 측방 또는 후방에 대한 시야를 갖도록 차량의 각 부분에 탑재될 수 있다.
이미지 센서로부터 촬상된 영상 정보는 이미지 데이터로 구성되므로, 이미지 센서로부터 캡쳐된 이미지 데이터를 의미할 수 있다. 이하, 본 개시에서는 이미지 센서로부터 촬상된 영상 정보는 이미지 센서로부터 캡쳐된 이미지 데이터를 의미한다. 이미지 센서에 의해 캡쳐된 이미지 데이터는, 예를 들어, Raw 형태의 AVI, MPEG-4, H.264, DivX, JPEG 중 하나의 포맷으로 생성될 수 있다. 이미지 센서에서 캡쳐된 이미지 데이터는 프로세서에서 처리될 수 있다.
또한, 이미지 센서는, 차량의 후방에 대한 시야를 갖도록 차량에 배치되어 이미지 데이터를 캡쳐하도록 구성될 수 있다. 이미지 센서에서 캡쳐된 이미지 데이터는, 프로세서에 의해 처리되어, 차량의 후진 주행 시 후방 영상의 획득, 후방 영상에서 자유 공간(free space)의 경계 인식 및 노면의 높낮이에 대한 노면 프로파일(road profile) 생성을 수행하는데 사용되고, 자유 공간의 경계 및 노면 프로파일은, 후방 객체의 속성을 판단하는데 사용되고, 차량의 정보와 함께 후방 객체의 속성에 따라 위험 여부를 판단하는데 사용될 수 있다.
프로세서는 이미지 센서에 의해 캡쳐된 이미지 데이터를 처리하도록 동작할 수 있다. 일 예로, 후방 영상을 획득하여 자유 공간의 경계 및 노면의 프로파일을 획득하는 동작의 적어도 일부는 프로세서에 의해 실행될 수 있다.
프로세서는, 예를 들어, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro controllers), 마이크로 프로세서(microprocessors) 등과 같이, 이미지 데이터의 처리 및 기타 기능을 수행할 수 있는 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
카메라(110)는, 도 2에 도시된 것과 같이, 제어 시스템(10)이 장착된 차량(1)의 후방에 설치될 수 있다. 일 예에 따라, 도 2에는, 하나의 카메라가 배치된 것으로 도시되어 있으나, 이에 한정되는 것은 아니다. 일 예에 따라, 카메라(110)는 차량(1)의 후방에 대한 시야를 가지는 복수의 카메라로 구현될 수 있다. 이 경우, 컨트롤러(170)는 각 카메라에서 획득된 영상을 조합한 영상을 획득할 수 있다.
센서(130)는, 차량(1)에 설치되어, 차량(1)에 대한 다양한 정보를 획득할 수 있다. 센서(130)에서 획득되는 차량의 정보는 차량(1)의 차체 높이, 후륜 바퀴의 위치 및 차량의 최후미의 위치에 대한 정보 등을 포함할 수 있다. 센서(130)에서 차량의 정보를 획득하기 위하여, 후방 경보 장치(100)는 차량(1)의 제원에 대한 정보를 저장하는 메모리(미도시)를 더 포함할 수 있다.
일 예에 따라, 센서(130)는 차량(1)의 제원에 대한 정보 및 차량(1)의 현재 상태에 대한 정보를 이용하여 차량(1)의 차체 높이, 후륜 바퀴의 위치 및 차량의 최후미의 위치에 대한 정보 등을 획득할 수 있다. 필요한 차량의 정보를 획득할 수 있다면, 센서(130)는 특정 종류에 한정되지 않는다.
출력 기기(150)는 컨트롤러(170)의 제어에 따라, 컨트롤러(170)에서 판단된 후방의 객체로 인한 위험 여부에 대응하는 경보를 출력할 수 있다. 출력 기기(150)는 시각적, 청각적, 촉각적으로 경보를 출력할 수 있다. 일 예에 따라, 출력 기기(150)는 시각적 경보를 출력하기 위한 디스플레이, 청각적 경보를 출력하기 위한 스피커, 촉각적 경보를 출력하기 위한 햅틱 모듈이 장착된 스티어링 휠 등을 포함할 수 있다.
컨트롤러(170)는 후방 경보 장치(100)의 전반적인 동작을 제어할 수 있다. 일 예에 따라, 컨트롤러(170)는 전자 제어 장치(ECU)로 구현될 수 있다. 컨트롤러(170)는 프로세서로부터 이미지 데이터의 처리 결과를 수신할 수 있다. 컨트롤러(170)는 이미지 데이터의 처리에 적어도 부분적으로 기초하여, 후방 경보를 수행할 수 있다.
컨트롤러(170)는 차량(1)의 후진 주행 시, 카메라(110)를 통하여 후방 영상을 획득할 수 있다. 일 예에 따라, 컨트롤러(170)는 차량의 후진을 위한 신호가 감지되는 경우, 후방에 설치된 카메라(110)를 구동할 수 있다. 예를 들어, 차량의 후진을 위한 신호는 차량(1)이 후진 모드로 변경되는 경우를 의미할 수 있다. 컨트롤러(170)는 차량(1)이 후진 주행을 하는 동안 카메라(110)를 통하여 후방 영상을 획득할 수 있다.
컨트롤러(170)는 획득된 후방 영상에서 차량(1)이 주행할 수 있는 자유 공간(free space)의 경계를 인식할 수 있다. 컨트롤러(170)는 카메라(110)를 통하여 획득되는 후방 영상에 객체 검출 알고리즘을 적용하여 자유 공간을 인식할 수 있다. 영상 내에서 자유 공간을 검출하는 알고리즘은 공지된 바에 따르며, 자유 공간을 인식할 수 있다면, 특정 알고리즘에 한정되지 않는다.
도 3을 참조하면, 카메라(110)에서 획득된 영상에서 자유 공간이 인식된 것이 도시되어 있다. 해당 영상에는 연석(s)으로 구분되는 상단의 인도 및 건물들이 나타나있다. 연석(s) 아래의 특정 장애물(o)이나 차량 진입 금지 영역을 제외한, 차량(1)이 주행할 수 있는 자유 공간(FS)은 다른 영역과 구분되도록 표시될 수 있다.
컨트롤러(170)는 획득된 후방 영상에서 노면의 높낮이에 대한 노면 프로파일(road profile)을 생성할 수 있다. 일 예에 따라, 노면 프로파일은 인식된 자유 공간의 경계를 기준으로 자유 공간에 대해서 생성될 수 있다.
노면의 프로파일을 생성하기 위하여, 컨트롤러(170)는 차량(1)의 이동에 따라 카메라(110) 앞의 특정 포인트에 대해 인식되는 기울기 변화를 획득하여, 해당 포인트의 높이를 판단할 수 있다. 예를 들어, 도 4를 참조하면, 차량(1)의 후방 객체로 함몰 지형(o1) 및 연석(o2)이 도시되어 있다. 차량(1)의 후진에 따라, 카메라(110)의 위치도 변경되게 되며, 각 위치(110, 110')에서 특정 포인트(p)를 포함하는 영상이 획득될 수 있다. 컨트롤러(170)는 각 위치에서 획득된 영상 내의 특정 포인트(p)에 대해 인식되는 기울기 변화를 이용하여, 특정 포인트(p)의 높낮이를 판단할 수 있다.
컨트롤러(170)는 자유 공간의 경계 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단할 수 있다. 후방 객체의 속성은 차량의 후방에 존재하는 연석 등의 장애물이나 함몰 영역과 같은 객체의 종류, 위치, 깊이 등의 정보를 포함할 수 있다. 예를 들어, 컨트롤러(170)는 자유 공간 내의 높낮이가 다른 영역에 비하여 낮은 영역을 함몰 영역으로 판단하고, 해당 영역의 위치, 넓이, 깊이 등의 정보를 획득할 수 있다. 또는, 컨트롤러(170)는 자유 공간의 경계에서 높낮이가 다른 영역에 비하여 높은 영역을 연석으로 판단하고, 위치, 높이 등의 정보를 획득할 수 있다.
컨트롤러(170)는 센서(130)에서 획득된 차량의 정보에 기초하여 후방 객체의 속성에 따라 위험 여부를 판단할 수 있다. 도 5를 참조하면, 컨트롤러(170)는 자유 공간의 경계 및 노면 프로파일에 기초하여, 차량(1)의 일 부분을 기준으로 하는 후방 객체(o3)의 위치 및 높낮이를 산출할 수 있다.
일 예에 따라, 차량(1)의 차체 높이(H2)보다 후방 객체의 높이(H1)가 더 높은 경우, 컨트롤러(170)는 차량(1)의 최후미(2)를 기준으로 하여, 후방 객체(o3)까지의 거리(D1)를 산출할 수 있다. 컨트롤러(170)는 차량(1)의 후진에 따라 후방 객체(o3)까지의 거리(D1)가 미리 설정된 위험 거리보다 짧아지게 되는 경우, 경보를 출력할 수 있다. 즉, 도 6에 도시된 바와 같이, 객체(o3)의 높이가 차량(1)의 차체보다 높은 경우, 운전자는 경보를 받으며, 차량의 최후미가 객체(o3)를 넘지 않는 범위에서 안전하게 차량(1)을 후진시킬 수 있다.
다른 일 예에 따라, 차량(1)의 차체 높이(H2)보다 후방 객체의 높이(H1)가 더 낮은 경우, 컨트롤러(170)는 차량(1)의 후륜 바퀴의 위치(3)를 기준으로 하여, 후방 객체(o3)까지의 거리(D2)를 산출할 수 있다. 컨트롤러(170)는 차량(1)의 후진에 따라 후방 객체(o3)까지의 거리(D2)가 미리 설정된 위험 거리보다 짧아지게 되는 경우, 경보를 출력할 수 있다. 즉, 도 7에 도시된 바와 같이, 객체(o3)의 높이가 차량(1)의 차체보다 낮은 경우, 운전자는 차량의 후륜 바퀴가 객체(o3)에 닿지 않는 범위에서 차량(1)을 후진시킬 수 있다. 따라서, 도 6의 경우에 비하여, 운전자는 주차 공간을 더 효율적으로 이용할 수 있다.
다른 일 예에 따라, 차량(1)의 차체 높이(H2)보다 후방 객체의 깊이가 더 깊은 경우를 가정한다. 즉, 차량(1)의 후방에 차체 높이보다 더 깊게 함몰된 영역이 있는 경우, 컨트롤러(170)는 차량(1)의 후륜 바퀴의 위치(3)를 기준으로 하여, 함몰된 영역까지의 거리를 산출할 수 있다. 컨트롤러(170)는 차량(1)의 후진에 따라 함몰된 영역까지의 거리가 미리 설정된 위험 거리보다 짧아지게 되는 경우, 경보를 출력할 수 있다.
이 경우, 일 예에 따라, 컨트롤러(170)는 함몰된 영역의 직경을 산출할 수 있다. 함몰된 영역의 직경이 차량(1)의 후륜 바퀴의 폭보다 좁은 경우, 컨트롤러(170)는 경보를 출력하지 않거나, 다른 경보를 출력할 수 있다.
일 실시예에 따라 컨트롤러(170)는 후진 주행이 위험하다고 판단한 경우(예를 들어, 소정의 위험 거리보다 후방 객체에 더 접근한 경우), 후방 객체의 속성에 따라 서로 다른 경보를 출력 기기(150)를 통하여 출력할 수 있다.
일 예에 따라, 차량(1)의 차체 높이(H2)보다 후방 객체의 높이(H1)가 더 높은 경우, 컨트롤러(170)는 차량의 최후미에 대한 충돌 위험을 표시할 수 있다. 예를 들어, 컨트롤러(170)는 차량 내부의 디스플레이에 최후미의 충돌 위험을 나타내는 텍스트나 도형 등을 표시할 수 있다. 또는, 컨트롤러(170)는 스피커를 통하여, 최후미의 충돌 위험을 경고하는 음성을 출력할 수 있다. 또는, 컨트롤러(170)는 스티어링 휠에 소정의 시간 간격으로 진동하는 제1 패턴의 진동을 출력할 수 있다.
다른 일 예에 따라, 차량(1)의 차체 높이(H2)보다 후방 객체의 높이(H1)가 더 낮은 경우, 컨트롤러(170)는 차량의 후륜 바퀴에 대한 충돌 위험을 표시할 수 있다. 예를 들어, 컨트롤러(170)는 차량 내부의 디스플레이에 후륜 바퀴의 충돌 위험을 나타내는 텍스트나 도형 등을 표시할 수 있다. 또는, 컨트롤러(170)는 스피커를 통하여, 후륜 바퀴의 충돌 위험을 경고하는 음성을 출력할 수 있다. 또는, 컨트롤러(170)는 스티어링 휠에 상기 제1 패턴과는 다른 시간 간격으로 진동하는 제2 패턴의 진동을 출력할 수 있다.
다른 일 예에 따라, 차량(1)의 차체 높이보다 후방 객체의 깊이가 더 깊은 경우, 컨트롤러(170)는 차량의 후륜 바퀴가 함몰 영역에 빠질 위험을 표시할 수 있다. 예를 들어, 컨트롤러(170)는 차량 내부의 디스플레이에 후륜 바퀴의 추락 위험을 나타내는 텍스트나 도형 등을 표시할 수 있다. 또는, 컨트롤러(170)는 스피커를 통하여, 후륜 바퀴의 추락을 경고하는 음성을 출력할 수 있다. 또는, 컨트롤러(170)는 스티어링 휠에 상기 제1 및 제2 패턴과는 다른 시간 간격으로 진동하는 제3 패턴의 진동을 출력할 수 있다.
이 경우, 함몰된 영역의 직경이 차량(1)의 후륜 바퀴의 폭보다 좁은 경우, 컨트롤러(170)는 후륜 바퀴가 함몰 영역을 통과함에 따라 발생할 수 있는 충격에 대한 경보를 출력할 수 있다.
이에 따르면, 차량의 후방 영상에서 인식된 자유 공간 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 차량의 정보와 후방 객체의 속성에 기초하여 판단된 위험 여부에 대한 경보를 출력함으로써, 상대적으로 낮은 높이의 후방 객체에 대한 정보를 제공할 수 있다. 또한, 차량의 차체 높이와 후방 객체의 높이에 따라 경보를 구별하여 출력함으로써, 후진 주차 시 주차 공간의 절약 및 차체의 손상을 방지할 수 있다.
본 개시에 따른 후방 경보 장치(100)는 차량의 후방에 대한 시야를 갖도록 차량에 배치되어 이미지 데이터를 캡쳐하도록 구성된 이미지 센서, 차량의 정보를 획득하는 적어도 하나의 센서 및 이미지 센서에 의해 캡쳐된 이미지 데이터를 처리하고, 차량에 구비된 적어도 하나의 운전자 보조 시스템을 제어하도록 구성된 도메인 컨트롤 유닛(Domain Control Unit; DCU)을 포함할 수 있다.
일 예에 따라, 전술한 이미지 데이터를 처리하는 프로세서, 컨트롤러 및 전자 제어 장치 등은 하나로 통합되어, 도메인 컨트롤 유닛으로 구현될 수 있다. 이 경우, 도메인 컨트롤 유닛은 다양한 차량 제어신호를 생성하여, 차량에 구비된 운전자 보조 시스템 및 그와 관련된 차량의 다양한 장치 등을 제어할 수 있다.
도메인 컨트롤 유닛은, 차량의 후진 주행 시, 이미지 데이터의 처리에 적어도 부분적으로 기초하여, 후방 영상을 획득하고, 후방 영상에서 자유 공간(free space)의 경계 인식 및 노면의 높낮이에 대한 노면 프로파일(road profile) 생성을 수행하고, 자유 공간의 경계 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 차량의 정보에 기초하여 후방 객체의 속성에 따라 위험 여부를 판단하여 경보를 출력할 수 있다. 이러한 처리를 위해 도메인 컨트롤 유닛은 적어도 하나의 프로세서를 포함할 수 있다.
도메인 컨트롤 유닛은 차량 내 구비되어, 차량 내 탑재된 적어도 하나의 이미지 센서 및 적어도 하나의 비-이미지 센서와 통신할 수 있다. 이를 위하여, 데이터 전송 또는 신호 통신을 위한 차량 네트워크 버스 등과 같은 적절한 데이터 링크 또는 통신 링크가 더 포함될 수 있다.
도메인 컨트롤 유닛은 차량에 사용되는 여러 운전자 보조 시스템(DAS) 중 하나 이상을 제어하도록 동작할 수 있다. 도메인 컨트롤 유닛은 복수의 비-이미지 센서들에 의해서 캡쳐된 센싱 데이터와 이미지 센서로부터 캡쳐된 이미지 데이터에 기초하여 사각 감지(BSD) 시스템, 적응형 크루즈 컨트롤(ACC) 시스템, 차선 이탈 경고 시스템(LDWS), 차선 유지 보조 시스템(LKAS), 차선 변경 보조 시스템(LCAS) 등과 같은 운전자 보조 시스템(DAS)를 제어할 수 있다.
도메인 컨트롤 유닛은 차량(1)의 후진 주행 시, 이미지 센서에서 캡쳐된 이미지 데이터를 처리하여 후방 영상을 획득할 수 있다. 일 예에 따라, 도메인 컨트롤 유닛은 차량의 후진을 위한 신호가 감지되는 경우, 후방에 설치된 이미지 센서를 구동할 수 있다. 예를 들어, 차량의 후진을 위한 신호는 차량(1)이 후진 모드로 변경되는 경우를 의미할 수 있다. 도메인 컨트롤 유닛은 차량(1)이 후진 주행을 하는 동안 이미지 센서를 통하여 후방 영상을 획득할 수 있다.
도메인 컨트롤 유닛은 획득된 후방 영상에서 차량(1)이 주행할 수 있는 자유 공간(free space)의 경계를 인식할 수 있다. 도메인 컨트롤 유닛은 카메라(110)를 통하여 획득되는 후방 영상에 객체 검출 알고리즘을 적용하여 자유 공간을 인식할 수 있다. 영상 내에서 자유 공간을 검출하는 알고리즘은 공지된 바에 따르며, 자유 공간을 인식할 수 있다면, 특정 알고리즘에 한정되지 않는다.
도메인 컨트롤 유닛은 획득된 후방 영상에서 노면의 높낮이에 대한 노면 프로파일(road profile)을 생성할 수 있다. 일 예에 따라, 노면 프로파일은 인식된 자유 공간의 경계를 기준으로 자유 공간에 대해서 생성될 수 있다.
노면의 프로파일을 생성하기 위하여, 도메인 컨트롤 유닛은 차량(1)의 이동에 따라 카메라(110) 앞의 특정 포인트에 대해 인식되는 기울기 변화를 획득하여, 해당 포인트의 높이를 판단할 수 있다. 도메인 컨트롤 유닛은 각 위치에서 획득된 영상 내의 특정 포인트에 대해 인식되는 기울기 변화를 이용하여, 특정 포인트의 높낮이를 판단할 수 있다.
도메인 컨트롤 유닛은 자유 공간의 경계 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단할 수 있다. 후방 객체의 속성은 차량의 후방에 존재하는 연석 등의 장애물이나 함몰 영역과 같은 객체의 종류, 위치, 깊이 등의 정보를 포함할 수 있다. 예를 들어, 도메인 컨트롤 유닛은 자유 공간 내의 높낮이가 다른 영역에 비하여 낮은 영역을 함몰 영역으로 판단하고, 해당 영역의 위치, 넓이, 깊이 등의 정보를 획득할 수 있다. 또는, 도메인 컨트롤 유닛은 자유 공간의 경계에서 높낮이가 다른 영역에 비하여 높은 영역을 연석으로 판단하고, 위치, 높이 등의 정보를 획득할 수 있다.
도메인 컨트롤 유닛은 센서(130)에서 획득된 차량의 정보에 기초하여 후방 객체의 속성에 따라 위험 여부를 판단할 수 있다. 도 5를 참조하면, 도메인 컨트롤 유닛은 자유 공간의 경계 및 노면 프로파일에 기초하여, 차량(1)의 일 부분을 기준으로 하는 후방 객체(o3)의 위치 및 높낮이를 산출할 수 있다.
일 예에 따라, 차량(1)의 차체 높이(H2)보다 후방 객체의 높이(H1)가 더 높은 경우, 도메인 컨트롤 유닛은 차량(1)의 최후미(2)를 기준으로 하여, 후방 객체(o3)까지의 거리(D1)를 산출할 수 있다. 도메인 컨트롤 유닛은 차량(1)의 후진에 따라 후방 객체(o3)까지의 거리(D1)가 미리 설정된 위험 거리보다 짧아지게 되는 경우, 경보를 출력할 수 있다. 즉, 도 6에 도시된 바와 같이, 객체(o3)의 높이가 차량(1)의 차체보다 높은 경우, 운전자는 경보를 받으며, 차량의 최후미가 객체(o3)를 넘지 않는 범위에서 안전하게 차량(1)을 후진시킬 수 있다.
다른 일 예에 따라, 차량(1)의 차체 높이(H2)보다 후방 객체의 높이(H1)가 더 낮은 경우, 도메인 컨트롤 유닛은 차량(1)의 후륜 바퀴의 위치(3)를 기준으로 하여, 후방 객체(o3)까지의 거리(D2)를 산출할 수 있다. 도메인 컨트롤 유닛은 차량(1)의 후진에 따라 후방 객체(o3)까지의 거리(D2)가 미리 설정된 위험 거리보다 짧아지게 되는 경우, 경보를 출력할 수 있다. 즉, 도 7에 도시된 바와 같이, 객체(o3)의 높이가 차량(1)의 차체보다 낮은 경우, 운전자는 차량의 후륜 바퀴가 객체(o3)에 닿지 않는 범위에서 차량(1)을 후진시킬 수 있다. 따라서, 도 6의 경우에 비하여, 운전자는 주차 공간을 더 효율적으로 이용할 수 있다.
다른 일 예에 따라, 차량(1)의 차체 높이(H2)보다 후방 객체의 깊이가 더 깊은 경우를 가정한다. 즉, 차량(1)의 후방에 차체 높이보다 더 깊게 함몰된 영역이 있는 경우, 도메인 컨트롤 유닛은 차량(1)의 후륜 바퀴의 위치(3)를 기준으로 하여, 함몰된 영역까지의 거리를 산출할 수 있다. 도메인 컨트롤 유닛은 차량(1)의 후진에 따라 함몰된 영역까지의 거리가 미리 설정된 위험 거리보다 짧아지게 되는 경우, 경보를 출력할 수 있다.
이 경우, 일 예에 따라, 도메인 컨트롤 유닛은 함몰된 영역의 직경을 산출할 수 있다. 함몰된 영역의 직경이 차량(1)의 후륜 바퀴의 폭보다 좁은 경우, 도메인 컨트롤 유닛은 경보를 출력하지 않거나, 다른 경보를 출력할 수 있다.
일 실시예에 따라 도메인 컨트롤 유닛은 후진 주행이 위험하다고 판단한 경우(예를 들어, 소정의 위험 거리보다 후방 객체에 더 접근한 경우), 후방 객체의 속성에 따라 서로 다른 경보를 출력 기기(150)를 통하여 출력할 수 있다.
일 예에 따라, 차량(1)의 차체 높이(H2)보다 후방 객체의 높이(H1)가 더 높은 경우, 도메인 컨트롤 유닛은 차량의 최후미에 대한 충돌 위험을 표시할 수 있다. 예를 들어, 도메인 컨트롤 유닛은 차량 내부의 디스플레이에 최후미의 충돌 위험을 나타내는 텍스트나 도형 등을 표시할 수 있다. 또는, 도메인 컨트롤 유닛은 스피커를 통하여, 최후미의 충돌 위험을 경고하는 음성을 출력할 수 있다. 또는, 도메인 컨트롤 유닛은 스티어링 휠에 소정의 시간 간격으로 진동하는 제1 패턴의 진동을 출력할 수 있다.
다른 일 예에 따라, 차량(1)의 차체 높이(H2)보다 후방 객체의 높이(H1)가 더 낮은 경우, 도메인 컨트롤 유닛은 차량의 후륜 바퀴에 대한 충돌 위험을 표시할 수 있다. 예를 들어, 도메인 컨트롤 유닛은 차량 내부의 디스플레이에 후륜 바퀴의 충돌 위험을 나타내는 텍스트나 도형 등을 표시할 수 있다. 또는, 도메인 컨트롤 유닛은 스피커를 통하여, 후륜 바퀴의 충돌 위험을 경고하는 음성을 출력할 수 있다. 또는, 도메인 컨트롤 유닛은 스티어링 휠에 상기 제1 패턴과는 다른 시간 간격으로 진동하는 제2 패턴의 진동을 출력할 수 있다.
다른 일 예에 따라, 차량(1)의 차체 높이보다 후방 객체의 깊이가 더 깊은 경우, 도메인 컨트롤 유닛은 차량의 후륜 바퀴가 함몰 영역에 빠질 위험을 표시할 수 있다. 예를 들어, 도메인 컨트롤 유닛은 차량 내부의 디스플레이에 후륜 바퀴의 추락 위험을 나타내는 텍스트나 도형 등을 표시할 수 있다. 또는, 도메인 컨트롤 유닛은 스피커를 통하여, 후륜 바퀴의 추락을 경고하는 음성을 출력할 수 있다. 또는, 도메인 컨트롤 유닛은 스티어링 휠에 상기 제1 및 제2 패턴과는 다른 시간 간격으로 진동하는 제3 패턴의 진동을 출력할 수 있다.
이 경우, 함몰된 영역의 직경이 차량(1)의 후륜 바퀴의 폭보다 좁은 경우, 도메인 컨트롤 유닛은 후륜 바퀴가 함몰 영역을 통과함에 따라 발생할 수 있는 충격에 대한 경보를 출력할 수 있다.
이에 따르면, 차량의 후방 영상에서 인식된 자유 공간 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 차량의 정보와 후방 객체의 속성에 기초하여 판단된 위험 여부에 대한 경보를 출력함으로써, 상대적으로 낮은 높이의 후방 객체에 대한 정보를 제공할 수 있다. 또한, 차량의 차체 높이와 후방 객체의 높이에 따라 경보를 구별하여 출력함으로써, 후진 주차 시 주차 공간의 절약 및 차체의 손상을 방지할 수 있다.
도 8은 본 개시에 따른 후방 경보 방법에 대한 흐름도이다. 도 9는 본 개시에 따른 후방 객체의 높이에 따른 후방 경보 방법을 설명하기 위한 흐름도이다. 도 10은 본 개시에 따른 후방 객체의 깊이에 따른 후방 경보 방법을 설명하기 위한 흐름도이다.
본 개시에 따른 후방 경보 방법은, 도 1을 참조하여 설명한 후방 경보 장치(100)에서 구현될 수 있다. 이하 필요한 도면들을 참조하여, 본 개시에 따른 후방 경보 방법과, 이를 구현하기 위한 후방 경보 장치(100)의 동작을 상세히 설명하기로 한다.
도 8을 참조하면, 후방 경보 장치는 차량의 후진 주행 시, 차량의 후방에 설치된 카메라를 통하여 후방 영상을 획득할 수 있다[S110].
후방 경보 장치는 차량의 후진 주행 시, 카메라를 통하여 후방 영상을 획득할 수 있다. 일 예에 따라, 후방 경보 장치는 차량의 후진을 위한 신호가 감지되는 경우, 후방에 설치된 카메라를 구동할 수 있다. 예를 들어, 차량의 후진을 위한 신호는 차량이 후진 모드로 변경되는 경우를 의미할 수 있다. 후방 경보 장치는 차량이 후진 주행을 하는 동안 카메라를 통하여 후방 영상을 획득할 수 있다.
다시, 도 8을 참조하면, 후방 경보 장치는 후방 영상에서 자유 공간의 경계를 인식하고 노면의 높낮이에 대한 노면 프로파일을 생성할 수 있다[S120].
후방 경보 장치는 획득된 후방 영상에서 차량이 주행할 수 있는 자유 공간의 경계를 인식할 수 있다. 후방 경보 장치는 카메라를 통하여 획득되는 후방 영상에 객체 검출 알고리즘을 적용하여 자유 공간을 인식할 수 있다. 영상 내에서 자유 공간을 검출하는 알고리즘은 공지된 바에 따르며, 자유 공간을 인식할 수 있다면, 특정 알고리즘에 한정되지 않는다.
후방 경보 장치는 획득된 후방 영상에서 노면의 높낮이에 대한 노면 프로파일을 생성할 수 있다. 일 예에 따라, 노면 프로파일은 인식된 자유 공간의 경계를 기준으로 자유 공간에 대해서 생성될 수 있다. 노면의 프로파일을 생성하기 위하여, 후방 경보 장치는 차량의 이동에 따라 카메라 앞의 특정 포인트에 대해 인식되는 기울기 변화를 획득하여, 해당 포인트의 높이를 판단할 수 있다.
이상에서는, 자유 공간의 인식이 수행된 이후 노면 프로파일을 생성하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 후방 경보 장치는 획득된 후방 영상에서 자유 공간의 인식 및 노면 프로파일의 생성을 실질적으로 동시에 수행하도록 설정될 수도 있다.
다시, 도 8을 참조하면, 후방 경보 장치는 자유 공간의 경계 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단할 수 있다[S130].
후방 경보 장치는 자유 공간의 경계 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단할 수 있다. 후방 객체의 속성은 차량의 후방에 존재하는 연석 등의 장애물이나 함몰 영역과 같은 객체의 종류, 위치, 깊이 등의 정보를 포함할 수 있다.
다시, 도 8을 참조하면, 후방 경보 장치는 차량의 정보에 기초하여 후방 객체의 속성에 따라 위험 여부를 판단하여 경보를 출력할 수 있다[S140].
후방 경보 장치는 차량에 구비된 센서에서 획득된 차량의 정보에 기초하여 후방 객체의 속성에 따라 위험 여부를 판단할 수 있다. 후방 경보 장치는 자유 공간의 경계 및 노면 프로파일에 기초하여, 차량의 일 부분을 기준으로 하는 후방 객체의 위치 및 높낮이를 산출할 수 있다.
후방 경보 장치는 차량의 일 부분과 후방 객체까지의 거리가 소정의 위험 거리 이하로 근접되는 경우, 후방 객체의 높낮이에 따라 구분되는 다른 경보를 출력할 수 있다. 이하에서는, 도 9 및 도 10을 참조하여, 경보의 출력에 대해 구체적으로서 설명하기로 한다.
도 9에는, 도 8에 도시된 S140 단계를 보다 구체적으로 도시한 흐름도가 도시되어 있다. 도 9를 참조하면, 후방 경보 장치는 차량의 정보를 획득할 수 있다[S210]. 후방 경보 장치는 차량에 설치된 다양한 센서를 이용하여, 차량에 대한 다양한 정보를 획득할 수 있다. 센서에서 획득되는 차량의 정보는 차량의 차체 높이, 후륜 바퀴의 위치 및 차량의 최후미의 위치에 대한 정보 등을 포함할 수 있다. 센서에서 차량의 정보를 획득하기 위하여, 후방 경보 장치는 차량의 제원에 대한 정보를 저장하는 메모리를 더 포함할 수 있다.
후방 경보 장치는는 차량의 제원에 대한 정보 및 차량의 현재 상태에 대한 정보를 이용하여 차량의 차체 높이, 후륜 바퀴의 위치 및 차량의 최후미의 위치에 대한 정보 등을 획득할 수 있다. 필요한 차량의 정보를 획득할 수 있다면, 센서는 특정 종류에 한정되지 않는다.
다시, 도 9를 참조하면, 후방 경보 장치는 후방 영상에서 검출된 후방 객체의 높이와 차량의 차체 높이를 비교할 수 있다[S220]. 차량의 차체 높이보다 후방 객체의 높이가 더 높은 경우(S220, Yes), 후방 경보 장치는 차량의 최후미를 기준으로 하여, 후방 객체까지의 거리를 산출할 수 있다[S230].
후방 경보 장치는 차량의 후진에 따라 후방 객체까지의 거리가 미리 설정된 위험 거리보다 짧아지는지를 모니터링할 수 있다[S250]. 차량의 후진에 따라 후방 객체까지의 거리가 미리 설정된 위험 거리보다 짧아지게 되는 경우(S250, Yes), 후방 경보 장치는 경보를 출력할 수 있다[S260]. 이 경우, 후방 경보 장치는 차량의 최후미에 대한 충돌 위험을 표시할 수 있다.
예를 들어, 후방 경보 장치는 차량 내부의 디스플레이에 최후미의 충돌 위험을 나타내는 텍스트나 도형 등을 표시할 수 있다. 또는, 후방 경보 장치는 스피커를 통하여, 최후미의 충돌 위험을 경고하는 음성을 출력할 수 있다. 또는, 후방 경보 장치는 스티어링 휠에 소정의 시간 간격으로 진동하는 제1 패턴의 진동을 출력할 수 있다. 이에 따라, 객체의 높이가 차량의 차체보다 높은 경우, 운전자는 차량의 최후미가 객체를 넘지 않는 범위에서 안전하게 차량을 후진시킬 수 있다.
다시, 도 9를 참조하면, 차량의 차체 높이보다 후방 객체의 높이가 더 낮은 경우(S220, No), 후방 경보 장치는 차량의 후륜 바퀴의 위치를 기준으로 하여, 후방 객체까지의 거리를 산출할 수 있다[S240]. 차량의 후진에 따라 후방 객체까지의 거리가 미리 설정된 위험 거리보다 짧아지게 되는 경우(S250, No), 후방 경보 장치는 경보를 출력할 수 있다[S260]. 이 경우, 후방 경보 장치는 차량의 후륜 바퀴에 대한 충돌 위험을 표시할 수 있다.
예를 들어, 후방 경보 장치는 차량 내부의 디스플레이에 후륜 바퀴의 충돌 위험을 나타내는 텍스트나 도형 등을 표시할 수 있다. 또는, 후방 경보 장치는 스피커를 통하여, 후륜 바퀴의 충돌 위험을 경고하는 음성을 출력할 수 있다. 또는, 후방 경보 장치는 스티어링 휠에 상기 제1 패턴과는 다른 시간 간격으로 진동하는 제2 패턴의 진동을 출력할 수 있다. 이에 따라, 차량의 최후미가 후방 객체위 위쪽에 놓이는 상태로 주차가 가능하므로, 운전자는 주차 공간을 더 효율적으로 이용할 수 있다.
도 10에는, 도 8에 도시된 S140 단계를 다른 예에 따라 보다 구체적으로 도시한 흐름도가 도시되어 있다. 도 10을 참조하면, 후방 경보 장치는 차량의 정보를 획득할 수 있다[S310]. 이에 대해서는 도 9의 단계 S210과 실질적으로 동일하므로, 더 이상 구체적인 설명은 생략하기로 한다.
다시, 도 10을 참조하면, 후방 경보 장치는 후방 영상에서 검출된 후방 객체의 높이와 차량의 차체 높이를 비교할 수 있다[S320]. 차량의 차체 높이보다 후방 객체의 깊이가 더 깊은 경우(S320, Yes), 후방 경보 장치는 차량의 후륜 바퀴의 위치를 기준으로 하여, 후방 객체까지의 거리를 산출할 수 있다[S330].
후방 경보 장치는 차량의 후진에 따라 후방 객체까지의 거리가 미리 설정된 위험 거리보다 짧아지는지를 모니터링할 수 있다[S340]. 차량의 후진에 따라 후방 객체까지의 거리가 미리 설정된 위험 거리보다 짧아지게 되는 경우(S340, Yes), 후방 경보 장치는 경보를 출력할 수 있다[S350]. 이 경우, 후방 경보 장치는 차량의 후륜 바퀴에 대한 충돌 위험을 표시할 수 있다.
예를 들어, 후방 경보 장치는 차량 내부의 디스플레이에 후륜 바퀴의 추락 위험을 나타내는 텍스트나 도형 등을 표시할 수 있다. 또는, 후방 경보 장치는 스피커를 통하여, 후륜 바퀴의 추락을 경고하는 음성을 출력할 수 있다. 또는, 후방 경보 장치는 스티어링 휠에 상기 제1 및 제2 패턴과는 다른 시간 간격으로 진동하는 제3 패턴의 진동을 출력할 수 있다.
만약, 함몰된 영역의 직경이 차량의 후륜 바퀴의 폭보다 좁은 경우, 후방 경보 장치는 후륜 바퀴가 함몰 영역을 통과함에 따라 발생할 수 있는 충격에 대한 경보를 출력할 수 있다. 이에 따라, 객체의 깊이가 차량의 차체보다 깊은 경우, 운전자는 차량의 후륜 바퀴가 객체를 넘지 않는 범위에서 안전하게 차량을 후진시킬 수 있다.
이에 따르면, 차량의 후방 영상에서 인식된 자유 공간 및 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 차량의 정보와 후방 객체의 속성에 기초하여 판단된 위험 여부에 대한 경보를 출력함으로써, 상대적으로 낮은 높이의 후방 객체에 대한 정보를 제공할 수 있다. 또한, 차량의 차체 높이와 후방 객체의 높이에 따라 경보를 구별하여 출력함으로써, 후진 주차 시 주차 공간의 절약 및 차체의 손상을 방지할 수 있다.
전술한 본 개시는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
이상에서의 설명 및 첨부된 도면은 본 개시의 기술 사상을 예시적으로 나타낸 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 구성의 결합, 분리, 치환 및 변경 등의 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 개시에 개시된 실시예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 개시의 기술 사상의 범위가 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 제어 시스템 100: 후방 경보 장치
110: 카메라 130: 센서
150: 출력 기기 170: 컨트롤러
200: 전자 제어 장치

Claims (20)

  1. 차량의 후방에 대한 시야를 갖도록 상기 차량에 배치되어 이미지 데이터를 캡쳐하도록 구성된 이미지 센서;
    상기 이미지 센서에 의해 캡쳐된 이미지 데이터를 처리하도록 구성된 프로세서;
    상기 차량의 정보를 획득하는 적어도 하나의 센서; 및
    상기 이미지 데이터의 처리에 적어도 부분적으로 기초하여, 후방 경보를 출력하도록 구성된 컨트롤러를 포함하되,
    상기 컨트롤러는 상기 차량의 후진 주행 시, 상기 이미지 데이터의 처리에 기초하여 후방 영상을 획득하고, 상기 후방 영상에서 자유 공간(free space)의 경계 인식 및 노면의 높낮이에 대한 노면 프로파일(road profile) 생성을 수행하고, 상기 자유 공간의 경계 및 상기 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 상기 차량의 정보에 기초하여 상기 후방 객체의 속성에 따라 위험 여부를 판단하되, 상기 자유 공간의 경계 및 상기 노면 프로파일에 기초하여 상기 후방 객체의 위치 및 높낮이를 산출하고, 상기 차량의 차체 높이보다 상기 후방 객체의 높이가 더 낮은 경우, 상기 차량의 후륜 바퀴의 위치와 상기 후방 객체 사이의 거리를 기준으로 경보를 출력하는 후방 경보 장치.
  2. 제 1 항에 있어서,
    상기 차량의 정보는 상기 차량의 차체 높이, 후륜 바퀴의 위치 및 차량의 최후미의 위치에 대한 정보를 포함하는 후방 경보 장치.
  3. 제 1 항에 있어서,
    상기 컨트롤러는 상기 자유 공간의 경계 및 상기 노면 프로파일에 기초하여 상기 후방 객체의 위치 및 높낮이를 산출하고, 상기 차량의 차체 높이보다 상기 후방 객체의 높이가 더 높은 경우, 상기 차량의 최후미와 상기 후방 객체 사이의 거리를 기준으로 경보를 출력하는 후방 경보 장치.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 컨트롤러는 상기 자유 공간의 경계 및 상기 노면 프로파일에 기초하여 상기 후방 객체의 위치 및 높낮이를 산출하고, 상기 차량의 차체 높이보다 상기 후방 객체의 깊이가 더 깊은 경우, 상기 차량의 후륜 바퀴의 위치와 상기 후방 객체 사이의 거리를 기준으로 경보를 출력하는 후방 경보 장치.
  6. 제 1 항에 있어서,
    상기 컨트롤러는 상기 후방 객체의 속성에 따라 서로 다른 경보를 출력하는 후방 경보 장치.
  7. 차량의 후방에 대한 시야를 갖도록 상기 차량에 배치되어 이미지 데이터를 캡쳐하도록 구성된 이미지 센서;
    상기 차량의 정보를 획득하는 적어도 하나의 센서; 및
    상기 이미지 센서에 의해 캡쳐된 이미지 데이터를 처리하고, 상기 차량에 구비된 적어도 하나의 운전자 보조 시스템을 제어하도록 구성된 도메인 컨트롤 유닛을 포함하되,
    상기 도메인 컨트롤 유닛은, 상기 이미지 데이터의 처리에 적어도 부분적으로 기초하여, 상기 차량의 후진 주행 시, 상기 이미지 데이터의 처리에 기초하여 후방 영상을 획득하고, 상기 후방 영상에서 자유 공간(free space)의 경계 인식 및 노면의 높낮이에 대한 노면 프로파일(road profile) 생성을 수행하고, 상기 자유 공간의 경계 및 상기 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 상기 차량의 정보에 기초하여 상기 후방 객체의 속성에 따라 위험 여부를 판단하되, 상기 자유 공간의 경계 및 상기 노면 프로파일에 기초하여 상기 후방 객체의 위치 및 높낮이를 산출하고, 상기 차량의 차체 높이보다 상기 후방 객체의 높이가 더 낮은 경우, 상기 차량의 후륜 바퀴의 위치와 상기 후방 객체 사이의 거리를 기준으로 경보를 출력하는 후방 경보 장치.
  8. 제 7 항에 있어서,
    상기 차량의 정보는 상기 차량의 차체 높이, 후륜 바퀴의 위치 및 차량의 최후미의 위치에 대한 정보를 포함하는 후방 경보 장치.
  9. 제 7 항에 있어서,
    상기 도메인 컨트롤 유닛은 상기 자유 공간의 경계 및 상기 노면 프로파일에 기초하여 상기 후방 객체의 위치 및 높낮이를 산출하고, 상기 차량의 차체 높이보다 상기 후방 객체의 높이가 더 높은 경우, 상기 차량의 최후미와 상기 후방 객체 사이의 거리를 기준으로 경보를 출력하는 후방 경보 장치.
  10. 삭제
  11. 제 7 항에 있어서,
    상기 도메인 컨트롤 유닛은 상기 자유 공간의 경계 및 상기 노면 프로파일에 기초하여 상기 후방 객체의 위치 및 높낮이를 산출하고, 상기 차량의 차체 높이보다 상기 후방 객체의 깊이가 더 깊은 경우, 상기 차량의 후륜 바퀴의 위치와 상기 후방 객체 사이의 거리를 기준으로 경보를 출력하는 후방 경보 장치.
  12. 제 7 항에 있어서,
    상기 도메인 컨트롤 유닛은 상기 후방 객체의 속성에 따라 서로 다른 경보를 출력하는 후방 경보 장치.
  13. 차량의 후방에 대한 시야를 갖도록 상기 차량에 배치되어 이미지 데이터를 캡쳐하도록 구성된 이미지 센서에 있어서,
    상기 이미지 데이터는,
    프로세서에 의해 처리되어, 차량의 후진 주행 시 후방 영상의 획득, 상기 후방 영상에서 자유 공간(free space)의 경계 인식 및 노면의 높낮이에 대한 노면 프로파일(road profile) 생성을 수행하는데 사용되고,
    상기 자유 공간의 경계 및 상기 노면 프로파일은,
    후방 객체의 속성을 판단하는데 사용되고, 상기 차량의 정보와 함께 상기 후방 객체의 속성에 따라 위험 여부를 판단하되, 상기 자유 공간의 경계 및 상기 노면 프로파일에 기초하여 상기 후방 객체의 위치 및 높낮이를 산출하고, 상기 차량의 차체 높이보다 상기 후방 객체의 높이가 더 낮은 경우, 상기 차량의 후륜 바퀴의 위치와 상기 후방 객체 사이의 거리를 판단하는데 사용되는 이미지 센서.
  14. 차량의 후방 경보 방법에 있어서,
    상기 차량의 후진 주행 시, 차량의 후방에 설치된 카메라를 통하여 후방 영상을 획득하는 단계;
    상기 후방 영상에서 자유 공간의 경계를 인식하고 노면의 높낮이에 대한 노면 프로파일을 생성하는 단계;
    상기 자유 공간의 경계 및 상기 노면 프로파일에 기초하여 후방 객체의 속성을 판단하는 단계; 및
    상기 차량의 정보에 기초하여 상기 후방 객체의 속성에 따라 위험 여부를 판단하되, 상기 자유 공간의 경계 및 상기 노면 프로파일에 기초하여 상기 후방 객체의 위치 및 높낮이를 산출하고, 상기 차량의 차체 높이보다 상기 후방 객체의 높이가 더 낮은 경우, 상기 차량의 후륜 바퀴의 위치와 상기 후방 객체 사이의 거리를 기준으로 경보를 출력하는 단계;
    를 포함하는 후방 경보 방법.
  15. 삭제
  16. 제 14 항에 있어서,
    상기 경보를 출력하는 단계는 상기 차량의 차체 높이보다 상기 후방 객체의 높이가 더 높은 경우, 상기 차량의 최후미와 상기 후방 객체 사이의 거리를 기준으로 경보를 출력하는 후방 경보 방법.
  17. 삭제
  18. 제 14 항에 있어서,
    상기 경보를 출력하는 단계는 상기 차량의 차체 높이보다 상기 후방 객체의 깊이가 더 깊은 경우, 상기 차량의 후륜 바퀴의 위치와 상기 후방 객체 사이의 거리를 기준으로 경보를 출력하는 후방 경보 방법.
  19. 제 14 항에 있어서,
    상기 경보를 출력하는 단계는 상기 후방 객체의 속성에 따라 서로 다른 경보를 출력하는 후방 경보 방법.
  20. 차량의 후진 주행 시, 상기 차량의 후방에 설치된 카메라를 통하여 후방 영상을 획득하고, 상기 후방 영상에서 자유 공간의 경계 인식 및 노면의 높낮이에 대한 노면 프로파일 생성을 수행하고, 상기 자유 공간의 경계 및 상기 노면 프로파일에 기초하여 후방 객체의 속성을 판단하고, 상기 차량의 정보에 기초하여 상기 후방 객체의 속성에 따라 위험 여부를 판단하되, 상기 자유 공간의 경계 및 상기 노면 프로파일에 기초하여 상기 후방 객체의 위치 및 높낮이를 산출하고, 상기 차량의 차체 높이보다 상기 후방 객체의 높이가 더 낮은 경우, 상기 차량의 후륜 바퀴의 위치와 상기 후방 객체 사이의 거리를 기준으로 경보를 출력하는 후방 경보 장치; 및
    상기 후방 경보 장치에서 판단된 위험 여부에 기초하여 상기 차량을 제어하는 전자 제어 장치;
    를 포함하는 제어 시스템.
KR1020180120091A 2018-10-08 2018-10-08 후방 경보 장치, 그 방법 및 제어 시스템 KR102616205B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180120091A KR102616205B1 (ko) 2018-10-08 2018-10-08 후방 경보 장치, 그 방법 및 제어 시스템
US16/219,650 US10752259B2 (en) 2018-10-08 2018-12-13 Back warning apparatus, and method and control system therefor
CN201910121380.7A CN111002900A (zh) 2018-10-08 2019-02-19 倒车警告设备及其方法和控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180120091A KR102616205B1 (ko) 2018-10-08 2018-10-08 후방 경보 장치, 그 방법 및 제어 시스템

Publications (2)

Publication Number Publication Date
KR20200040153A KR20200040153A (ko) 2020-04-17
KR102616205B1 true KR102616205B1 (ko) 2023-12-21

Family

ID=70052904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180120091A KR102616205B1 (ko) 2018-10-08 2018-10-08 후방 경보 장치, 그 방법 및 제어 시스템

Country Status (3)

Country Link
US (1) US10752259B2 (ko)
KR (1) KR102616205B1 (ko)
CN (1) CN111002900A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113415279B (zh) * 2021-06-24 2022-11-01 东风汽车集团股份有限公司 一种车辆倒车辅助方法、系统及车辆

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6073358B2 (ja) * 2011-12-07 2017-02-01 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車体部及び／又は車輪と対象物との衝突を回避するための能動的警報及び／又はナビゲーション補助の方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006182108A (ja) * 2004-12-27 2006-07-13 Nissan Motor Co Ltd 車両周辺監視装置
JP4741847B2 (ja) 2005-01-20 2011-08-10 株式会社アトム技研 後方監視装置
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
JP4386082B2 (ja) * 2007-02-20 2009-12-16 トヨタ自動車株式会社 車両走行支援装置
DE102008001838A1 (de) * 2008-05-19 2009-11-26 Robert Bosch Gmbh Verfahren und Vorrichtung zur Vermessung eines Hindernisses
DE102008027180A1 (de) * 2008-06-06 2009-12-10 Daimler Ag Verfahren und Vorrichtung zum Betrieb eines Fahrzeuges
KR101417110B1 (ko) 2008-09-29 2014-07-08 현대자동차주식회사 차량의 입체 안내선 표시된 영상 제공 시스템
US10703299B2 (en) * 2010-04-19 2020-07-07 SMR Patents S.à.r.l. Rear view mirror simulation
JP2012065225A (ja) 2010-09-17 2012-03-29 Panasonic Corp 車載用画像処理装置、周辺監視装置、および、車両
KR20140052506A (ko) * 2012-10-24 2014-05-07 현대모비스 주식회사 차량 후방 함몰위치 인식방법 및 장치
KR20140130824A (ko) * 2013-05-02 2014-11-12 현대모비스 주식회사 주차 모드 자동 변경 시스템 및 방법
KR20150051735A (ko) * 2013-11-05 2015-05-13 현대모비스 주식회사 주차 보조 시스템 및 그 방법
CN106461774B (zh) * 2014-02-20 2019-04-23 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
DE102015201317A1 (de) * 2015-01-27 2016-07-28 Bayerische Motoren Werke Aktiengesellschaft Vermessen einer Abmessung auf einer Oberfläche
EP3382639B1 (en) * 2015-11-27 2024-02-21 Ricoh Company, Ltd. Image processing device, image pickup device, apparatus control system, distribution data generation method, and program
CN206096446U (zh) * 2016-09-05 2017-04-12 罗伯特·博世有限公司 车辆及其障碍物检测装置
US10318826B2 (en) * 2016-10-07 2019-06-11 Ford Global Technologies, Llc Rear obstacle detection and distance estimation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6073358B2 (ja) * 2011-12-07 2017-02-01 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車体部及び／又は車輪と対象物との衝突を回避するための能動的警報及び／又はナビゲーション補助の方法

Also Published As

Publication number Publication date
KR20200040153A (ko) 2020-04-17
US20200108841A1 (en) 2020-04-09
CN111002900A (zh) 2020-04-14
US10752259B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
KR101996419B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996418B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101276871B1 (ko) 차량 충돌 방지 장치 및 방법
JP6416288B2 (ja) 操作制御装置
JP4876772B2 (ja) 割込車両判定装置
KR101687073B1 (ko) 터널 높이 추정 장치 및 터널 높이 추정 방법
JP2008037361A (ja) 障害物認識装置
JP2007137085A (ja) 運転支援システムおよびプログラム
JP3915766B2 (ja) 運転支援装置
KR20200011672A (ko) 후측방 경보 장치 및 그 후측방 경보 방법
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
KR100600165B1 (ko) 안전한 차선 변경을 위한 자동차의 스티어링 제어방법
KR102616205B1 (ko) 후방 경보 장치, 그 방법 및 제어 시스템
CN113895433B (zh) 通过传感器角度调整的前向避撞系统及其方法
KR101103357B1 (ko) 차량의 사이드미러를 대체하는 측방충돌방지 경보시스템
JP4872517B2 (ja) 障害物認識装置
JP4309184B2 (ja) 車両用運転支援装置
JP2006195729A (ja) 車両用警報装置
CN116946121A (zh) 车辆和拖车车轮路径碰撞检测和警报
CN112542060B (zh) 车用后侧方警报装置
KR20180024479A (ko) 전방 차량과의 거리 표시장치
JP3905496B2 (ja) 後側方警報装置
JPH09254726A (ja) 車両用運転支援装置
KR102175793B1 (ko) 인지 장애 경고 방법 및 장치
KR20190079334A (ko) 후방 추돌 사고를 방지하는 장치 및 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right