KR102647407B1 - Device and method for preventing car accident caused by obstacle - Google Patents

Device and method for preventing car accident caused by obstacle Download PDF

Info

Publication number
KR102647407B1
KR102647407B1 KR1020160146662A KR20160146662A KR102647407B1 KR 102647407 B1 KR102647407 B1 KR 102647407B1 KR 1020160146662 A KR1020160146662 A KR 1020160146662A KR 20160146662 A KR20160146662 A KR 20160146662A KR 102647407 B1 KR102647407 B1 KR 102647407B1
Authority
KR
South Korea
Prior art keywords
area
image
camera
input
vehicle
Prior art date
Application number
KR1020160146662A
Other languages
Korean (ko)
Other versions
KR20180050018A (en
Inventor
정우영
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020160146662A priority Critical patent/KR102647407B1/en
Publication of KR20180050018A publication Critical patent/KR20180050018A/en
Application granted granted Critical
Publication of KR102647407B1 publication Critical patent/KR102647407B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Abstract

차량 사고 예방 방법이 개시된다. 이 방법은, 차량에 설치된 카메라로부터 입력되는 제1 입력 영상과 내비게이션으로부터 입력되는 제1 고정밀 지도 영상을 비교한 결과를 이용하여 상기 카메라의 카메라 각도를 조정하는 단계; 상기 카메라 각도가 조정된 카메라로부터 입력되는 제2 입력 영상과 상기 내비게이션으로부터 입력되는 제2 고정밀 지도 영상을 비교하여, 픽셀값이 다른 픽셀들을 상기 입력 영상으로부터 검출하고, 상기 검출된 픽셀들을 장애물로 탐지하는 단계; 및 상기 탐지된 장애물을 헤드업 디스플레이에 표시하는 단계;를 포함한다.A method for preventing vehicle accidents is disclosed. This method includes adjusting the camera angle of the camera using the result of comparing a first input image input from a camera installed in the vehicle and a first high-precision map image input from a navigation system; Compare the second input image input from the camera with the adjusted camera angle and the second high-precision map image input from the navigation, detect pixels with different pixel values from the input image, and detect the detected pixels as obstacles. steps; and displaying the detected obstacle on a head-up display.

Description

차량 사고 예방 시스템 및 그 방법{DEVICE AND METHOD FOR PREVENTING CAR ACCIDENT CAUSED BY OBSTACLE}Vehicle accident prevention system and method {DEVICE AND METHOD FOR PREVENTING CAR ACCIDENT CAUSED BY OBSTACLE}

본 발명은 차량 사고 예방 시스템 및 그 방법에 관한 것으로, 특히 도로 장애물에 의한 차량 사고 예방 시스템 및 그 방법에 관한 것이다. The present invention relates to a vehicle accident prevention system and method, and particularly to a vehicle accident prevention system and method due to road obstacles.

최근 출시되는 차량에는 도로 장애물에 의한 사고를 예방하기 위한 다양한 장애물 탐지 시스템이 탑재되고 있는데, 종래의 장애물 탐지 시스템 중에 레이더를 이용한 장애물 탐지 시스템이 있다.Recently released vehicles are equipped with various obstacle detection systems to prevent accidents caused by road obstacles. Among the conventional obstacle detection systems, there is an obstacle detection system using radar.

이러한 종래의 장애물 탐지 시스템은 레이더를 이용하여 도로 장애물 또는 낙하물을 탐지하고, 운전자가 그 탐지 결과를 네비게이션을 통해 확인함으로써, 도로 장애물을 피하도록 안전 운전을 수행할 수 있게 한다. 그러나 종래의 장애물 탐지 시스템은 고가의 레이더 장비를 이용하기 때문에, 그 설계 비용이 높다.This conventional obstacle detection system detects road obstacles or falling objects using radar, and allows drivers to check the detection results through navigation, thereby enabling safe driving to avoid road obstacles. However, because conventional obstacle detection systems use expensive radar equipment, their design costs are high.

본 발명에서 해결하고자 하는 과제는 고가의 레이더 장비를 이용하지 않고서도 장애물에 의한 사고를 예방할 수 있는 장애물 사고 예방 시스템 및 그 방법을 제공하는 데 있다.The problem to be solved by the present invention is to provide an obstacle accident prevention system and method that can prevent accidents caused by obstacles without using expensive radar equipment.

본 발명에서 해결하고자 하는 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to those mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.

본 발명의 일면에 따른 차량 사고 예방 방법은, 차량에 설치된 카메라로부터 입력되는 제1 입력 영상과 내비게이션으로부터 입력되는 제1 고정밀 지도 영상을 비교한 결과를 이용하여 상기 카메라의 카메라 각도를 조정하는 단계와, 상기 카메라 각도가 조정된 카메라로부터 입력되는 제2 입력 영상과 상기 내비게이션으로부터 입력되는 제2 고정밀 지도 영상을 비교하여, 픽셀값이 다른 픽셀들을 상기 입력 영상으로부터 검출하고, 상기 검출된 픽셀들을 장애물로 탐지하는 단계 및 상기 탐지된 장애물을 헤드업 디스플레이에 표시하는 단계;를 포함한다.A vehicle accident prevention method according to one aspect of the present invention includes the steps of adjusting the camera angle of the camera using the result of comparing a first input image input from a camera installed in the vehicle and a first high-precision map image input from a navigation system; , Compare the second input image input from the camera with the camera angle adjusted and the second high-precision map image input from the navigation, detect pixels with different pixel values from the input image, and treat the detected pixels as obstacles. It includes detecting and displaying the detected obstacle on a head-up display.

본 발명의 다른 일면에 따른 차량 사고 예방 시스템은, 차량에 설치된 카메라로부터 입력되는 제1 입력 영상과 내비게이션으로부터 입력되는 제1 고정밀 지도 영상을 비교한 결과를 이용하여 상기 카메라의 카메라 각도를 조정하는 카메라 조정부와, 상기 카메라 각도가 조정된 카메라로부터 입력되는 제2 입력 영상과 상기 내비게이션으로부터 입력되는 제2 고정밀 지도 영상을 비교하여, 픽셀값이 다른 픽셀들을 상기 입력 영상으로부터 검출하고, 상기 검출된 픽셀들을 장애물로 탐지하는 영상 처리부; 및 상기 탐지된 장애물을 표시하는 헤드업 디스플레이를 포함한다.A vehicle accident prevention system according to another aspect of the present invention includes a camera that adjusts the camera angle of the camera using the result of comparing the first input image input from the camera installed in the vehicle and the first high-precision map image input from the navigation. An adjustment unit compares a second input image input from the camera with the camera angle adjusted and a second high-precision map image input from the navigation, detects pixels with different pixel values from the input image, and detects the detected pixels. An image processing unit that detects obstacles; and a head-up display that displays the detected obstacle.

본 발명에 따르면, 고가의 레이더 장비를 이용하지 않고, 차량에 장착된 카메라로부터 입력된 입력 영상과 내비게이션으로부터 입력된 고정밀 지도 영상을 비교한 결과를 이용하여 도로 장애물을 탐지하고, 탐지된 도로 장애물에 대한 경보를 헤드 업 디스플레이(Head-Up-Display)를 통해 제공함으로써, 도로 장애물에 대한 회피 운전을 가능하게 한다. 또한, 후방 차량이 전방 차량에서 탐지한 도로 장애물에 대한 정보를 수신하여, 수신된 정보를 통해 전방 차량에서 탐지한 도로 장애물에 대하 회피 운전을 가능하게 한다. According to the present invention, without using expensive radar equipment, road obstacles are detected using the result of comparing the input image input from the camera mounted on the vehicle and the high-precision map image input from the navigation, and By providing warnings through the Head-Up-Display, it is possible to drive to avoid road obstacles. Additionally, the rear vehicle receives information about road obstacles detected by the front vehicle, enabling avoidance driving against road obstacles detected by the front vehicle through the received information.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 일 실시 예에 따른 차량 사고 예방 시스템의 기능 블록도이다.
도 2는 도 1에 도시된 카메라 조정부의 기능 블록도이다.
도 3은 도 2에 도시된 영역 설정부에서 설정한 영역의 예를 도식적으로 나타낸 도면이다.
도 4는 도 2에 도시된 영상 처리부의 기능 블록도이다.
도 5는 도 4에 도시된 영역 설정부에서 설정한 영역의 예를 도식적으로 나타낸 도면이다.
도 6 내지 9는 본 발명의 일 실시 예에 따른 차량 사고 예방 방법의 흐름도이다.
1 is a functional block diagram of a vehicle accident prevention system according to an embodiment of the present invention.
FIG. 2 is a functional block diagram of the camera control unit shown in FIG. 1.
FIG. 3 is a diagram schematically showing an example of an area set in the area setting unit shown in FIG. 2.
FIG. 4 is a functional block diagram of the image processing unit shown in FIG. 2.
FIG. 5 is a diagram schematically showing an example of an area set in the area setting unit shown in FIG. 4.
6 to 9 are flowcharts of a vehicle accident prevention method according to an embodiment of the present invention.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.It should be noted that the technical terms used in this specification are only used to describe specific embodiments and are not intended to limit the present invention. In addition, the technical terms used in this specification, unless specifically defined in a different way in this specification, should be interpreted as meanings commonly understood by those skilled in the art in the technical field to which the present invention pertains, and are not overly comprehensive. It should not be interpreted in a literal or excessively reduced sense. Additionally, if the technical terms used in this specification are incorrect technical terms that do not accurately express the spirit of the present invention, they should be replaced with technical terms that can be correctly understood by those skilled in the art. In addition, general terms used in the present invention should be interpreted according to the definition in the dictionary or the context, and should not be interpreted in an excessively reduced sense. Additionally, as used herein, singular expressions include plural expressions, unless the context clearly dictates otherwise. In this application, terms such as “consists of” or “comprises” should not be construed as necessarily including all of the various components or steps described in the specification, and some of the components or steps may include It may not be included, or it should be interpreted as including additional components or steps.

본 발명은 장애물의 확인 및 이에 대한 경보를 차량 운전자에게 제공하여 운전자가 미리 장애물을 확인하고 회피 할 수 있도록 도와주는 시스템 및 방법에 관한 것이다. The present invention relates to a system and method that identifies obstacles and provides warnings about them to vehicle drivers, thereby helping drivers identify and avoid obstacles in advance.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 대해 상세 기술한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the attached drawings.

도 1은 본 발명의 일 실시 예에 따른 낙하물 사고 예방 시스템의 기능 블록도이다.1 is a functional block diagram of a falling object accident prevention system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 차량 사고 예방 시스템은 센서부(110), 저장부(120), 카메라 조정부(130), 카메라 구동부(140), 영상 처리부(150), 표시부(160) 및 통신부(170)를 포함한다.Referring to Figure 1, the vehicle accident prevention system according to an embodiment of the present invention includes a sensor unit 110, a storage unit 120, a camera control unit 130, a camera driver 140, an image processing unit 150, and a display unit. (160) and a communication unit (170).

센서부sensor part (110)(110)

상기 센서부(110)는 차량의 전방을 촬영하여, 전방 도로 위의 장애물에 대한 영상(이하, 입력 영상)을 획득하는 카메라 센서(112)와 상기 차량으로부터 상기 장애물까지의 거리를 측정하는 거리 센서(114)를 포함한다.The sensor unit 110 includes a camera sensor 112 that captures an image of an obstacle on the road ahead (hereinafter referred to as an input image) by photographing the front of the vehicle, and a distance sensor that measures the distance from the vehicle to the obstacle. Includes (114).

상기 카메라 센서(112)는 차량의 전방을 촬영하기 위해, 차량의 전면에 설치될 수 있다. 상기 카메라 센서(112)는 일반 카메라와 야간 촬영에 적합한 특수 카메라를 포함한다. 일반 카메라는, 예를 들면, CCD 카메라, CMOS 카메라일 수 있다. 특수 카메라는, 예를 들면, 적외선 카메라일 수 있다. 상기 입력 영상은, 운전자의 선택에 따라, 주간에는 일반 카메라로부터 획득되고, 야간에는 상기 특수 카메라로부터 획득될 수 있다.The camera sensor 112 may be installed on the front of the vehicle to photograph the front of the vehicle. The camera sensor 112 includes a general camera and a special camera suitable for night photography. A general camera may be, for example, a CCD camera or a CMOS camera. The special camera may be, for example, an infrared camera. The input image may be obtained from a general camera during the day and from the special camera at night, depending on the driver's selection.

상기 거리 센서(114)는, 예를 들면, 저가의 초음파 센서일 수 있다.The distance sensor 114 may be, for example, a low-cost ultrasonic sensor.

저장부(120)Storage unit (120)

상기 저장부(120)는 상기 카메라 센서에 의해 촬영된 입력 영상과 상기 거리 센서에 의해 측정된 거리값을 저장한다. 상기 입력 영상은 상기 저장부(120)에 프레임 단위로 저장될 수 있다. 상기 저장부(120)는 비휘발성 메모리일 수 있다.The storage unit 120 stores the input image captured by the camera sensor and the distance value measured by the distance sensor. The input image may be stored in the storage unit 120 in units of frames. The storage unit 120 may be a non-volatile memory.

카메라 조정부(130)Camera control unit (130)

상기 카메라 조정부(130)는 상기 카메라 센서(112)로부터 입력되는 초기 입력 영상(이하, 제1 입력 영상)과 내비게이션부(10)로부터 입력되는 초기 고정밀 지도 영상(이하, 제1 고정밀 지도 영상)을 비교한 결과를 이용하여 상기 카메라 센서(112)의 카메라 각도를 조정한다.The camera control unit 130 outputs an initial input image (hereinafter referred to as first input image) input from the camera sensor 112 and an initial high-precision map image (hereinafter referred to as first high-precision map image) input from the navigation unit 10. The camera angle of the camera sensor 112 is adjusted using the compared result.

상기 제1 입력 영상은, 상기 카메라 각도를 조정하기 위해 사용되는 영상이기 때문에, 상기 장애물이 존재하는 영상일 필요는 없다. 물론 장애물이 존재하는 영상이어도 무방하다. 상기 고정밀 지도 영상은 차량의 현 위치에서 주변 환경(건물, 도로, 가드레일 등)을 묘사한 3차원 그래픽 영상으로, 사전에 제작되어, 상기 내비게이션부(10)에 저장된다.Since the first input image is an image used to adjust the camera angle, it does not need to be an image in which the obstacle exists. Of course, it is okay if the video contains obstacles. The high-precision map image is a three-dimensional graphic image depicting the surrounding environment (buildings, roads, guardrails, etc.) at the current location of the vehicle, is produced in advance, and is stored in the navigation unit 10.

상기 카메라 조정부(130)는, 상기 카메라 센서(112)의 카메라 각도를 조정하기 위해, 도 2에 도시된 바와 같이, 영상 변환부(131), 영역 설정부(133), 에지 검출부(135), 차이값 계산부(137) 및 각도 계산부(139)를 포함한다.In order to adjust the camera angle of the camera sensor 112, the camera adjustment unit 130 includes an image conversion unit 131, an area setting unit 133, an edge detection unit 135, as shown in FIG. 2. It includes a difference value calculation unit 137 and an angle calculation unit 139.

상기 영상 변환부(131)는 상기 제1 입력 영상과 상기 제1 고정밀 지도 영상을 그레이 스케일(gray scale)로 각각 변환한다. 이하, 그레이 스케일로 변환된 제1 입력 영상을 제1-1 계조 영상(G1-1)으로 지칭하고, 그레이 스케일로 변환된 제1 고정밀 지도 영상을 제1-2 계조 영상(G1-2)으로 지칭한다. The image conversion unit 131 converts the first input image and the first high-precision map image into gray scale, respectively. Hereinafter, the first input image converted to gray scale will be referred to as the 1-1 gray scale image (G 1-1 ), and the first high-precision map image converted to gray scale will be referred to as the 1-2 gray scale image (G 1-2 ). ).

상기 제1 입력 영상과 상기 제1 고정밀 지도 영상에 대한 그레이 스케일로의 변환이 완료되면, 상기 영상 변환부(131)는 상기 제1-1 계조 영상(G1-1)을 업 스케일링하여, 상기 제1-1 계조 영상(G1-1)의 해상도를 상기 제1-2 계조 영상(G1-2)의 해상도로 변환한다.When the conversion to gray scale for the first input image and the first high-precision map image is completed, the image conversion unit 131 upscales the 1-1 grayscale image (G 1-1 ), The resolution of the 1-1st grayscale image ( G1-1 ) is converted to the resolution of the 1-2nd grayscale image ( G1-2 ).

상기 영역 설정부(133)는 상기 해상도가 변환된 상기 제1-1 계조 영상(G1-1) 내에서 제1 영역(R1-1)을 설정하고, 상기 제1-2 계조 영상(G1-2) 내에서 상기 제1 영역(R1-1)과 비교되는 제2 영역(R1-2)을 설정한다. The area setting unit 133 sets a first area (R 1-1 ) within the resolution-converted 1-1 gray-scale image (G 1-1 ), and sets the first area (R 1-1 ) within the 1-2 gray-scale image (G 1-1 ) of which the resolution has been converted. 1-2 ), a second area (R 1-2 ) compared to the first area (R 1-1 ) is set.

구체적으로, 상기 영역 설정부(133)는, 도 3에 도시된 바와 같이, 상기 제1 계조 영상(A)의 전체 영역을 X축 방향으로 3등분하고, 3등분한 영역들 중에서 맨 아래쪽 영역을 상기 제1 영역(R1-1)으로 설정하고, 상기 제2 계조 영상의 전체 영역을 X축 방향으로 3등분하고, 3등분한 영역들 중에서 맨 아래쪽 영역을 상기 제2 영역(R1-2)으로 설정한다. Specifically, as shown in FIG. 3, the area setting unit 133 divides the entire area of the first grayscale image A into thirds in the X-axis direction, and selects the bottom area among the three divided areas. Set as the first area (R 1-1 ), the entire area of the second grayscale image is divided into three in the X-axis direction, and the lowest area among the three divided areas is divided into the second area (R 1-2) . ).

해상도가 변환된 상기 제1-1 계조 영상(G1-1)의 전체 영역과 상기 제1-2 계조 영상(G1-2)의 전체 영역을 비교하는 경우, 처리 시간 및 시스템 부하가 증가하므로, 이를 줄이기 위해, 상기 설정된 제1 영역(R1-1)과 상기 제2 영역(R1-2)이 서로 비교되는 영역으로 정의된다.When comparing the entire area of the resolution-converted 1-1st grayscale image ( G1-1 ) with the entire area of the 1-2nd grayscale image ( G1-2 ), processing time and system load increase. , in order to reduce this, the set first area (R 1-1 ) and the second area (R 1-2 ) are defined as areas in which they are compared.

상기 제1 영역(R1-1)과 상기 제2 영역(R1-2)의 해상도는 가로 픽셀 수×(세로 픽셀 수×0.3)로 각각 나타낼 수 있다. 즉, 상기 제1 영역(R1-1)과 상기 제2 영역(R1-2)은 각 영상(G1-1, G1-2)의 전체 영역에서 30%에 해당하는 영역으로서, 각 영역(R1-1, R1- 2)은 상기 제1 계조 영상(G1-1)과 상기 제2 계조 영상(G1-2)를 비교 분석하기 위한 충분 픽셀 데이터의 개수를 제공한다.The resolution of the first area (R 1-1 ) and the second area (R 1-2 ) can be expressed as the number of horizontal pixels × (the number of vertical pixels × 0.3). That is, the first area (R 1-1 ) and the second area (R 1-2 ) are areas corresponding to 30% of the total area of each image (G 1-1 , G 1-2 ), and each The areas R 1-1 and R 1- 2 provide a sufficient number of pixel data for comparative analysis of the first gray level image G 1-1 and the second gray level image G 1-2 .

한편, 각 영상(G1-1, G1-2)의 맨 아래쪽 영역을 비교 영역으로 설정하는 이유는 각 영상(G1-1, G1-2) 내에서는 주차선 및 도로 연석 등과 같은 물체의 윤곽선이 위쪽 영역보다는 아래쪽 영역에서 더 뚜렷하게 나타나기 때문이다.Meanwhile, the reason for setting the bottom area of each image (G 1-1 , G 1-2 ) as the comparison area is that within each image (G 1-1 , G 1-2 ), objects such as parking lines and road curbs are included. This is because the outline appears more clearly in the lower area than in the upper area.

상기 영역들(R1-1, R1-2)이 설정되면, 상기 에지 검출부(135)는 상기 제1 영역(R1-1) 내에서 제1 객체(건물, 도로 표지판, 주차선 및 도로 연석 등)의 에지(E1)를 검출하고, 상기 제2 영역(R1-2) 내에서 상기 제1 객체에 대응하는 제2 객체의 에지(E2)를 검출한다. 객체의 에지를 검출하는 방법으로, 밝기 변화율(1차 미분)을 이용한 에지 검출 기법, 소벨(sobel) 에지 검출 기법, 프리윗(prewitt) 에지 검출 기법, 로버츠(roberts) 에지 검출 기법, 컴퍼스(compass) 에지 검출 기법, 2차미분과 라플라시안(laplacian)을 이용한 에지 검출 기법, 캐니(canny) 에지 검출 기법, 라인(line) 에지 검출 기법 등 다양한 알고리즘 등을 예로 들 수 있다.When the areas (R 1-1 , R 1-2 ) are set, the edge detection unit 135 detects the first object (building, road sign, parking line, and road) within the first area (R 1-1 ). An edge (E 1 ) of a curb, etc.) is detected, and an edge (E 2 ) of a second object corresponding to the first object is detected within the second area (R 1-2 ). Methods for detecting the edge of an object include an edge detection technique using the brightness change rate (first derivative), a Sobel edge detection technique, a prewitt edge detection technique, a Roberts edge detection technique, and a compass. ) Examples include various algorithms such as edge detection technique, edge detection technique using second order differentiation and Laplacian, canny edge detection technique, and line edge detection technique.

상기 에지들(E1, E2)의 검출이 완료되면, 상기 차이값 계산부(137)가 상기 제1 객체의 에지(E1)를 구성하는 픽셀의 계조값과 상기 제2 객체의 에지(E2)를 구성하는 픽셀의 계조값 간의 제1 차이값을 계산하고, 상기 제1 차이값과 기준값 간의 제2 차이값을 계산한다. 여기서, 상기 기준값은 전체 그레이 스케일이 256 계조의 간격으로 구분될 때, 전체 256 계조의 10%에 해당하는 계조 차이(대략 26 계조값 = 256×0.1)일 수 있다.When the detection of the edges (E 1 and E 2 ) is completed, the difference calculation unit 137 calculates the grayscale value of the pixel constituting the edge (E 1 ) of the first object and the edge (E 2 ) of the second object. A first difference value between grayscale values of pixels constituting E 2 ) is calculated, and a second difference value between the first difference value and a reference value is calculated. Here, when the entire gray scale is divided into intervals of 256 gray levels, the reference value may be a gray level difference corresponding to 10% of the total 256 gray levels (approximately 26 gray levels = 256 × 0.1).

상기 각도 계산부(139)는 상기 제2 차이값에 대응하는 카메라 각도를 계산한다. 상기 카메라 각도는, 예를 들면, 상기 차이값 계산부(137)에서 계산한 제2 차이값에 따라 사전 학습된 카메라 각도가 저장된 테이블을 참조하여 계산될 수 있다. 여기서, 상기 카메라 각도는, 피치(pitch) 방향의 각도, 요(yaw) 방향의 각도 및 롤(roll) 방향의 각도를 포함한다.The angle calculation unit 139 calculates a camera angle corresponding to the second difference value. For example, the camera angle may be calculated by referring to a table in which pre-learned camera angles are stored according to the second difference value calculated by the difference value calculation unit 137. Here, the camera angle includes an angle in the pitch direction, an angle in the yaw direction, and an angle in the roll direction.

카메라 구동부(140)Camera driving unit (140)

상기 카메라 구동부(140)는 상기 각도 계산부(139)에서 계산한 상기 카메라 각도에 대응하는 구동력을 생성하는 구성으로, 상기 구동력은 상기 피치(pitch) 방향의 각도에 대응하는 제1 구동력, 상기 요(yaw) 방향의 각도에 대응하는 제2 구동력 및 상기 롤(roll) 방향의 각도에 대응하는 제3 구동력을 포함한다. 상기 구동력은, 예를 들면, 모터 구동력일 수 있다. 따라서, 상기 카메라 구동부(140)는 상기 차량에 회전 가능하도록 설치된 카메라 센서(112)의 카메라 각도를 물리적으로 조정하도록 전기모터 등으로 구현될 수 있다.The camera driving unit 140 is configured to generate a driving force corresponding to the camera angle calculated by the angle calculating unit 139, and the driving force includes a first driving force corresponding to the angle in the pitch direction, the yaw It includes a second driving force corresponding to an angle in the (yaw) direction and a third driving force corresponding to the angle in the roll direction. The driving force may be, for example, a motor driving force. Accordingly, the camera driving unit 140 may be implemented with an electric motor or the like to physically adjust the camera angle of the camera sensor 112 rotatably installed in the vehicle.

영상 처리부(150)Image processing unit (150)

상기 카메라 조정부(130) 및 상기 카메라 구동부(140)에 의해 카메라 각도의 조정이 완료되면, 상기 영상 처리부(150)는 상기 카메라 각도가 조정된 카메라 센서(112)로부터 입력되는 입력 영상(이하, 제2 입력 영상)과 상기 내비게이션부(10)로부터 입력되는 고정밀 지도 영상(이하, 제2 고정밀 지도 영상)을 비교하여 장애물을 탐지하는 동작을 수행한다.When the adjustment of the camera angle is completed by the camera adjuster 130 and the camera driver 140, the image processor 150 processes the input image (hereinafter referred to as 2 input image) and a high-precision map image input from the navigation unit 10 (hereinafter referred to as a second high-precision map image) to detect obstacles.

구체적으로, 상기 장애물을 탐지하기 위해, 상기 영상 처리부(150)는, 도 4에 도시된 바와 같이, 영상 변환부(151), 배경 영역 제거부(152), 영역 설정부(155), 영역 비교부(154), 비교 시간 계산부(155) 및 데이터 생성부(156)를 포함한다.Specifically, in order to detect the obstacle, the image processing unit 150 includes an image conversion unit 151, a background area removal unit 152, an area setting unit 155, and an area comparison unit, as shown in FIG. 4. It includes a unit 154, a comparison time calculation unit 155, and a data generation unit 156.

상기 영상 변환부(151)는 상기 카메라 각도가 조정된 카메라 센서(112)로부터 입력되는 제2 입력 영상과 상기 내비게이션부(10)로부터 입력되는 상기 제2 고정밀 지도 영상을 제2-1 계조 영상(G2-1)과 제2-2 계조 영상(G2-2)으로 각각 변환한다.The image conversion unit 151 converts the second input image input from the camera sensor 112 with the camera angle adjusted and the second high-precision map image input from the navigation unit 10 into a 2-1 grayscale image ( Converted to G 2-1 ) and 2-2nd grayscale image (G 2-2 ), respectively.

상기 배경 영역 제거부(153)는 물체와 배경을 분리하는 알고리즘을 기반으로 상기 제2-1 계조 영상(G2-1)의 배경 영역과 상기 제2-2 계조 영상(G2-2)의 배경 영역을 제거한다.The background area removal unit 153 removes the background area of the 2-1st grayscale image ( G2-1 ) and the 2-2nd grayscale image ( G2-2 ) based on an algorithm for separating the object and the background. Remove background area.

상기 영역 설정부(153)는 상기 배경 영역이 제거된 상기 제2-1 계조 영상(G'2-1) 내에서 제2-1 영역(R2-1)을 설정하고, 상기 배경 영역이 제거된 상기 제2-2 계조 영상(G'2 -2) 내에서 제2-2 영역(R2-2)을 설정한다. 상기 제2-1 영역(R2-1)과 상기 제2-2 영역(R2-2)은, 도 5에 도시된 바와 같이, 각 영상의 전체 영역을 상부 영역과 하부 영역으로 나눌 때, 상기 상부 영역이며, 상기 상부 영역은, 예를 들면, 전체 영역에서 70%를 차지하는 영역일 수 있다. 차량과 가까운 거리에 있는 객체는 영상 화면의 아래쪽에서 시인되며, 상대적으로 차량과 먼 거리에 있는 객체는 영상 화면의 위쪽에서 시인된다. 따라서, 상기 제2-1 계조 영상(G'2 - 1)의 하부 영역과 상기 제2-2 계조 영상(G'2 - 2)의 하부 영역을 비교하여, 장애물을 탐지한 경우, 탐지된 장애물은 차량으로부터 가까운 거리에 존재하기 때문에, 장애물을 회피할 수 있는 시간이 부족하다. 따라서, 상기 제2-1 계조 영상(G'2 - 1)의 상부 영역과 상기 제2-2 계조 영상(G'2 - 2)의 상부 영역을 비교하여, 장애물을 탐지하는 것이 바람직하다.The area setting unit 153 sets a 2-1 area (R 2-1 ) within the 2-1 grayscale image (G' 2-1 ) from which the background area has been removed. A 2-2 region (R 2-2 ) is set within the 2-2 gray scale image (G' 2 -2 ). As shown in FIG. 5, the 2-1 area (R 2-1 ) and the 2-2 area (R 2-2 ) divide the entire area of each image into an upper area and a lower area, It is the upper area, and the upper area may be, for example, an area that occupies 70% of the entire area. Objects that are close to the vehicle are viewed at the bottom of the video screen, and objects that are relatively far away from the vehicle are viewed at the top of the video screen. Therefore, when an obstacle is detected by comparing the lower area of the 2-1st grayscale image (G' 2 - 1 ) with the lower area of the 2-2 grayscale image (G' 2 - 2 ), the detected obstacle Because it exists at a short distance from the vehicle, there is not enough time to avoid obstacles. Therefore, it is desirable to detect an obstacle by comparing the upper area of the 2-1st grayscale image (G' 2 - 1 ) with the upper area of the 2-2 grayscale image (G' 2 - 2 ).

상기 영역 비교부(154)는 대응하는 위치좌표별로 상기 제2-1 영역(R2-1)의 픽셀값(계조값)들과 상기 제2-2 영역(R2-2)의 픽셀값(계조값)들을 각각 비교하여, 픽셀값(또는 계조값)이 다른 픽셀들을 상기 제2-1 영역(R2-1)으로부터 검출하고, 상기 검출된 픽셀들을 장애물을 나타내는 픽셀들로 탐지한다.The area comparison unit 154 calculates the pixel values (gradation values) of the 2-1st area (R 2-1 ) and the pixel values (grayscale values) of the 2-2 area (R 2-2 ) for each corresponding position coordinate. By comparing the gray level values, pixels with different pixel values (or gray level values) are detected from the 2-1 area (R 2-1 ), and the detected pixels are detected as pixels representing obstacles.

상기 비교시간 계산부(155)는 차량의 현재 속도에 따라 상기 영역 비교부(154)에서 수행하는 영상의 비교 시간을 계산한다. 계산된 비교 시간은 영역 설정부(153)로 제공되어, 상기 영역 비교부(154)가 상기 계산된 비교 시간 내에서 상기 제2-1 영역(R2-1)과 상기 제2-2 영역(R2-2)을 비교하도록 상기 제2-1 영역(R2-1)과 상기 제2-2 영역(R2-2) 각각의 면적을 재설정한다. The comparison time calculation unit 155 calculates the image comparison time performed by the area comparison unit 154 according to the current speed of the vehicle. The calculated comparison time is provided to the area setting unit 153, so that the area comparing unit 154 compares the 2-1 area (R 2-1 ) and the 2-2 area (R 2-1 ) within the calculated comparison time. The areas of each of the 2-1 region (R 2-1 ) and the 2-2 region (R 2-2 ) are reset to compare R 2-2 ).

차량의 현재 속도가 매우 큰 상황에서는, 장애물을 빠르게 탐지해야 하므로, 이 경우에서는 상기 제2-1 영역(R2-1)과 상기 제2-2 영역(R2-2) 각각의 면적을 감소시켜 비교 시간 단축에 따른 장애물 탐지 시간을 앞당길 필요가 있다. 면적의 감소폭은 적절하게 선택될 수 있으며, 예를 들면, 각 영역(R2-1, R2-2)의 전체 면적에 대한 10%일 수 있다. 이때, 장애물은 시간에 따라 화면 내에서 상부에서 하부를 향하는 방향으로 이동하기 때문에, 각 영역(R2-1, R2-2)의 상부 쪽부터 감소시키면, 장애물을 빠르게 탐지할 수 없는 경우가 발생할 수 있다. 따라서, 면적은 화면 내에서 하부에서 상부를 향하는 방향(D1, 도 5에 도시됨)으로 감소시키는 것이 바람직하다. In a situation where the current speed of the vehicle is very high, obstacles must be detected quickly, so in this case, the areas of each of the 2-1 area (R 2-1 ) and the 2-2 area (R 2-2 ) are reduced. It is necessary to accelerate the obstacle detection time by reducing the comparison time. The reduction in area may be appropriately selected, for example, 10% of the total area of each region (R 2-1 , R 2-2 ). At this time, since the obstacle moves from the top to the bottom within the screen over time, if you decrease from the top of each area (R 2-1 , R 2-2 ), there are cases where the obstacle cannot be detected quickly. It can happen. Therefore, it is desirable to reduce the area in the direction from the bottom to the top (D1, shown in FIG. 5) within the screen.

상기 비교 시간은 상기 차량의 현재 속도와 GPS 정보에 포함된 상기 차량의 현재 주행 도로의 안전거리를 이용하여 계산될 수 있다. 이를 수식으로 나타내면 아래의 수학식 1과 같다.The comparison time may be calculated using the vehicle's current speed and the safety distance of the vehicle's current driving road included in GPS information. This can be expressed as a formula as shown in Equation 1 below.

상기 차량의 현재 속도는 차속 센서(도시하지 않음)로부터 획득될 수 있으며, 상기 안전 거리는 상기 내비게이션부(10)로부터 제공되는 GPS 정보에 포함될 수 있다.The current speed of the vehicle may be obtained from a vehicle speed sensor (not shown), and the safety distance may be included in GPS information provided from the navigation unit 10.

상기 데이터 생성부(156)는 상기 영역 비교부(154)에서 탐지한 픽셀들의 좌표 데이터와 상기 거리 센서(114)에서 측정한 장애물까지의 거리 데이터를 포함하는 영상 데이터를 생성한다. The data generator 156 generates image data including coordinate data of pixels detected by the area comparison unit 154 and distance data to an obstacle measured by the distance sensor 114.

표시부(160)Display unit (160)

다시 도 2를 참조하면, 상기 표시부(160)는 상기 영상 처리부(150)에서 탐지한 장애물을 표시하여, 운전자에게 전방에 장애물이 존재함 경고한다. 상기 표시부(160)는, 예를 들면, 커버 유리(cover glass), 거울(mirror), LED, TFT 투영 장치(TFT projection display), 윈드실드(windshield) 등과 같은 구성 부품을 포함하는 헤드-업-디스플레이 장치일 수 있다.Referring again to FIG. 2, the display unit 160 displays obstacles detected by the image processing unit 150 and warns the driver that an obstacle exists ahead. The display unit 160 includes, for example, a cover glass, a mirror, an LED, a TFT projection display, a windshield, etc. It may be a display device.

상기 표시부(160)가 헤드-업-디스플레이 장치인 경우, 상기 영상 처리부(150)에서 탐지한 장애물은 차량의 앞유리에 설치된 투명 디스플레이 화면에 표시될 수 있다.When the display unit 160 is a head-up-display device, obstacles detected by the image processing unit 150 may be displayed on a transparent display screen installed on the windshield of the vehicle.

상기 장애물은 상기 투명 디스플레이 화면 상에서 부각되도록 특정 색상으로 하이라이트 처리될 수 있다. 또한, 상기 장애물은 상기 장애물을 둘러싸는 원형 또는 사각 형상의 가이드 라인으로 상기 투명 디스플레이 화면상에서 부각될 수 있으며, 상기 가이드 라인을 하이라이트 처리하여 상기 장애물의 존재를 더욱 부각시킬 수도 있다. 상기 장애물 또는 상기 가이드 라인의 주변에는 상기 거리 센서(114)에 의해 측정된 차량으로부터 상기 장애물까지의 거리가 표시될 수 있다. 또한, 상기 장애물은 상기 투명 디스플레이 화면의 서브 화면에서 표시될 수도 있다.The obstacle may be highlighted with a specific color to stand out on the transparent display screen. Additionally, the obstacle may be highlighted on the transparent display screen by a circular or square-shaped guide line surrounding the obstacle, and the presence of the obstacle may be further highlighted by highlighting the guide line. The distance from the vehicle to the obstacle measured by the distance sensor 114 may be displayed around the obstacle or the guide line. Additionally, the obstacle may be displayed on a sub-screen of the transparent display screen.

통신부(170)Communications Department (170)

상기 통신부(170)는 상기 영상 처리부(150)에서 탐지한 장애물에 대한 영상 데이터를 주변 차량으로 무선으로 송신하고, 반대로, 상기 주변 차량에서 탐지한 장애물에 대한 영상 데이터를 무선으로 수신하도록 구성될 수 있다. 따라서, 상기 통신부(170)는 송신기와 수신기를 포함할 수 있다.The communication unit 170 may be configured to wirelessly transmit image data about obstacles detected by the image processing unit 150 to surrounding vehicles, and conversely, wirelessly receive image data about obstacles detected by the surrounding vehicles. there is. Accordingly, the communication unit 170 may include a transmitter and a receiver.

구체적으로, 상기 통신부(170)는 상기 영상 처리부(150)에서 탐지한 장애물에 대한 영상 데이터를 무선 통신 데이터로 부호화하고, 상기 부호화된 무선 통신 데이터를 안테나(도시하지 않음)를 통해 상기 주변 차량에 송신한다. 무선 통신 방식으로, DLNA 또는 WI-DI 통신 방식을 예로 들 수 있다. Specifically, the communication unit 170 encodes image data about the obstacle detected by the image processing unit 150 into wireless communication data, and transmits the encoded wireless communication data to the surrounding vehicle through an antenna (not shown). Send. Examples of wireless communication methods include DLNA or WI-DI communication methods.

반대로, 상기 통신부(170)는 상기 주변 차량으로부터 상기 장애물에 대한 무선 통신 데이터를 수신하고, 수신한 상기 무선 통신 데이터를 상기 영상 데이터로 복호화하고, 상기 복호화된 상기 영상 데이터에 대응하는 장애물을 헤드업 디스플레이에 표시할 수 있다. Conversely, the communication unit 170 receives wireless communication data about the obstacle from the surrounding vehicle, decodes the received wireless communication data into the image data, and heads up the obstacle corresponding to the decoded image data. It can be displayed on the display.

한편, 상기 통신부(170)가 상기 주변 차량으로부터 상기 무선 통신 데이터를 수신한 경우, 즉, 상기 주변 차량으로부터 전방에 장애물이 존재함을 알리는 경고 메시지를 수신한 경우, 상기 비교시간 계산부(155)는 상기 경고 메시지에 응답하여 현재 계산된 비교 시간에 가중치(W)를 부여하여, 상기 현재 계산된 비교 시간을 상기 가중치(W)만큼 감소시켜서 상기 장애물을 더 빠르게 인식할 수 있도록 한다. 예를 들면, 전술한 수학식 1에서 계산한 비교 시간을 10% 정도 줄여서 사전에 장애물에 대한 정보를 확인할 수 있게 한다. 이 경우, 상기 가중치(W)는 0.1(10%)일 수 있다. 이를 수식으로 나타내면, 아래의 수학식 2와 같다.Meanwhile, when the communication unit 170 receives the wireless communication data from the surrounding vehicle, that is, when it receives a warning message indicating the presence of an obstacle ahead from the surrounding vehicle, the comparison time calculation unit 155 assigns a weight (W) to the currently calculated comparison time in response to the warning message, thereby reducing the currently calculated comparison time by the weight (W) to enable faster recognition of the obstacle. For example, the comparison time calculated in Equation 1 above is reduced by about 10%, allowing information about obstacles to be confirmed in advance. In this case, the weight (W) may be 0.1 (10%). If this is expressed as a formula, it is as equation 2 below.

도 6 내지 9는 본 발명의 일 실시 예에 따른 차량 사고 예방 방법의 흐름도로서, 각 단계를 설명함에 있어서, 도 1 내지 도 5를 참조하여 설명한 내용과 중복되는 내용은 간략하게 기재하거나 생략하기로 한다.Figures 6 to 9 are flowcharts of a vehicle accident prevention method according to an embodiment of the present invention. In explaining each step, content that overlaps with the content described with reference to Figures 1 to 5 will be briefly described or omitted. do.

먼저, 도 6을 참조하면, 먼저, 단계 S610에서, 차량에 설치된 카메라(112)로부터 입력되는 제1 입력 영상과 내비게이션으로부터 입력되는 제1 고정밀 지도 영상을 비교하고, 그 비교 결과를 이용하여 상기 카메라(112)의 카메라 각도를 조정하는 과정이 수행된다. 단계 S610에 대한 상세한 설명은 도 7 및 도 8을 참조하여 설명한다. 먼저, 도 7을 참조하면, 먼저, 단계 S612에서, 상기 제1 입력 영상을 제1-1 계조 영상(G1-1)으로 변환하고, 상기 제1 고정밀 지도 영상을 제1-2 계조 영상(G1-2)으로 변환한다. 이어, 단계 S614에서, 상기 제1-1 계조 영상(G1-1)의 해상도를 상기 제1-2 계조 영상의 해상도(G1-2)로 변환한다. 이어, 단계 S616에서, 상기 제1-2 계조 영상(G1-1)과 상기 제1-2 계조 영상(G1-2)의 해상도로 변환된 상기 제1-1 계조 영상(G1-1)을 비교한 결과를 이용하여 상기 카메라(112)의 카메라 각도를 조정한다. 도 8을 참조하여, 상기 단계 S616에 대해 상세히 설명하면, 먼저, 단계 S616A에서, 상기 제1-2 계조 영상(G1-2)의 해상도로 변환된 상기 제1-1 계조 영상(G1-1) 내에서 제1 영역(R1-1)을 설정하고, 상기 제1-2 계조 영상(G1-2) 내에서 상기 제1 영역(R1-1)과 비교되는 제2 영역(R1-2)을 설정한다. 이어, 단계 S616B에서, 상기 제1 영역(R1-1) 내에서 제1 객체의 에지(E1)를 검출하고, 상기 제2 영역(R1-2) 내에서 상기 제1 객체에 대응하는 제2 객체의 에지(E2)를 검출한다. 이어, 단계 S616C에서, 상기 제1 객체의 에지(E1)를 구성하는 픽셀값(계조값)과 상기 제2 객체의 에지(E2)를 구성하는 픽셀값(계조값) 간의 제1 차이값을 계산한 후, 상기 제1 차이값과 기설정된 값 간의 제2 차이값을 계산한다. 이어, 단계 S616D에서, 상기 제2 차이값에 대응하는 조정값으로 상기 카메라의 카메라 각도를 조정한다. 여기서, 조정되는 카메라 각도는 피치방향의 각도, 롤 방향의 각도 및 요 방향의 각도를 포함한다. 한편, 도 8에서, 단계 S616A는 시스템 성능에 따라 생략될 수도 있다. 이 경우, 상기 제1-2 계조 영상의 해상도로 변환된 상기 제1-1 계조 영상의 전체 영역과 상기 제1-2 계조 영상의 전체 영역을 비교한 결과를 이용하여 카메라 각도가 조정된다. First, referring to FIG. 6, first, in step S610, the first input image input from the camera 112 installed in the vehicle is compared with the first high-precision map image input from the navigation, and the comparison result is used to The process of adjusting the camera angle of 112 is performed. A detailed description of step S610 is provided with reference to FIGS. 7 and 8. First, referring to FIG. 7, first, in step S612, the first input image is converted into a 1-1 grayscale image (G 1-1 ), and the first high-precision map image is converted into a 1-2 grayscale image (G 1-1 ). Convert to G 1-2 ). Next, in step S614, the resolution of the 1-1st grayscale image ( G1-1 ) is converted to the resolution of the 1-2nd grayscale image ( G1-2 ). Then, in step S616, the 1-2nd grayscale image ( G1-1 ) and the 1-1st grayscale image ( G1-1 ) converted to the resolution of the 1-2nd grayscale image ( G1-2 ) ) is used to adjust the camera angle of the camera 112. Referring to FIG. 8, if step S616 is described in detail, first, in step S616A, the 1-1 grayscale image (G 1- ) converted to the resolution of the 1-2 grayscale image (G 1-2 ) 1 ), a first area (R 1-1 ) is set within the 1-2 grayscale image (G 1-2 ), and a second area (R) is compared with the first area (R 1-1 ) within the 1-2 grayscale image (G 1-2). 1-2 ). Then, in step S616B, an edge (E 1 ) of the first object is detected within the first region (R 1-1 ), and an edge (E 1 ) corresponding to the first object is detected within the second region (R 1-2 ). The edge (E 2 ) of the second object is detected. Then, in step S616C, a first difference value between the pixel value (gradation value) constituting the edge (E 1 ) of the first object and the pixel value (gradation value) constituting the edge (E 2 ) of the second object. After calculating, a second difference value between the first difference value and a preset value is calculated. Then, in step S616D, the camera angle of the camera is adjusted with an adjustment value corresponding to the second difference value. Here, the adjusted camera angle includes an angle in the pitch direction, an angle in the roll direction, and an angle in the yaw direction. Meanwhile, in FIG. 8, step S616A may be omitted depending on system performance. In this case, the camera angle is adjusted using the result of comparing the entire area of the 1-1st grayscale image converted to the resolution of the 1-2nd grayscale image with the entire area of the 1-2nd grayscale image.

다시, 도 6을 참조하면, 단계 S620에서, 상기 카메라 각도가 조정된 카메라로부터 입력되는 제2 입력 영상과 상기 내비게이션으로부터 입력되는 제2 고정밀 지도 영상을 비교하여, 픽셀값(계조값)이 다른 픽셀들을 상기 입력 영상으로부터 검출한 후, 상기 검출된 픽셀들을 장애물로 탐지하는 과정이 수행된다. Referring again to FIG. 6, in step S620, the second input image input from the camera with the camera angle adjusted is compared with the second high-precision map image input from the navigation, and pixels with different pixel values (gradation values) are compared. After detecting pixels from the input image, a process of detecting the detected pixels as obstacles is performed.

상기 단계 S620에 대한 상세한 설명은 도 9를 참조하여 설명한다. 도 9를 참조하면, 먼저, 단계 S621에서, 상기 제2 입력 영상을 제2-1 계조 영상(G2-1)으로 변환하고, 상기 제2 고정밀 지도 영상을 제2-2 계조 영상(G2-2)으로 변환한다. 이어, 단계 S623에서, 상기 제2-1 계조 영상(G2-1)의 배경 영역과 상기 제2-2 계조 영상(G2-2)의 배경 영역을 제거한다. 이어, 단계 S625에서, 상기 배경 영역이 제거된 제2-1 계조 영상(G'2 -1) 내에서 상부에 존재하는 제2-1 영역(R2-1)을 설정하고, 상기 배경 영역이 제거된 제2-2 계조 영상(G'2 -2) 영상 내에서 상부에 존재하는 제2-2 영역(R2-2)을 설정한다. 이어, 단계 S627에서, 상기 제2-1 영역(R2-1)의 픽셀값들(계조값들)과 상기 제2-2 영역(R2-2)의 픽셀값들(계조값들)을 비교하여, 픽셀값(계조값들)이 다른 픽셀들을 상기 제2-1 영역(R2-1)으로부터 검출하고, 상기 검출된 픽셀들을 상기 장애물로 탐지한다. 여기서, 상기 단계 S627은 상기 차량의 현재 속도와 상기 차량의 현재 위치에서 설정된 안전거리를 기반으로 계산된 비교 시간 동안 수행될 수 있다. 이러한 비교 시간은 전술한 수학식 2로부터 계산될 수 있다. A detailed description of step S620 will be described with reference to FIG. 9. Referring to FIG. 9, first, in step S621, the second input image is converted into a 2-1 grayscale image ( G2-1 ), and the second high-precision map image is converted into a 2-2 grayscale image ( G2-1) . Convert to -2 ). Next, in step S623, the background area of the 2-1st grayscale image ( G2-1 ) and the background area of the 2-2nd grayscale image ( G2-2 ) are removed. Next, in step S625, the 2-1 region (R 2-1 ) existing at the upper part of the 2-1 grayscale image (G' 2 -1 ) from which the background region has been removed is set, and the background region is The 2-2 region (R 2-2 ) existing at the upper part of the removed 2-2 grayscale image (G' 2 -2 ) image is set. Then, in step S627, the pixel values (grayscale values) of the 2-1 region (R 2-1 ) and the pixel values (grayscale values) of the 2-2 region (R 2-2 ) are By comparison, pixels with different pixel values (gradation values) are detected from the 2-1 area (R 2-1 ), and the detected pixels are detected as the obstacles. Here, step S627 may be performed during a comparison time calculated based on the current speed of the vehicle and the safety distance set at the current location of the vehicle. This comparison time can be calculated from Equation 2 described above.

다시 도 6을 참조하면, 단계 S630에서, 상기 탐지된 장애물을 헤드업 디스플레이에 표시하는 과정이 수행된다. 구체적으로, 상기 장애물은 상기 헤드업 디스플레이의 투명 디스플레이 화면상에서 부각되도록 특정 색상으로 하이라이트 처리될 수 있다. 또한, 상기 장애물은 상기 장애물을 둘러싸는 원형 또는 사각 형상의 가이드 라인으로 상기 투명 디스플레이 화면상에서 부각될 수 있으며, 상기 가이드 라인을 하이라이트 처리하여 상기 장애물의 존재를 더욱 부각시킬 수도 있다. 또한, 상기 장애물 또는 상기 가이드 라인의 주변에는 상기 거리 센서(114)에 의해 측정된 차량으로부터 상기 장애물까지의 거리가 표시될 수 있다. 또한, 상기 장애물은 상기 투명 디스플레이 화면의 서브 화면에서 표시될 수도 있다.Referring again to FIG. 6, in step S630, a process of displaying the detected obstacle on the head-up display is performed. Specifically, the obstacle may be highlighted with a specific color to stand out on the transparent display screen of the head-up display. Additionally, the obstacle may be highlighted on the transparent display screen by a circular or square-shaped guide line surrounding the obstacle, and the presence of the obstacle may be further highlighted by highlighting the guide line. Additionally, the distance from the vehicle to the obstacle measured by the distance sensor 114 may be displayed around the obstacle or the guide line. Additionally, the obstacle may be displayed on a sub-screen of the transparent display screen.

이어, 단계 S640에서, 상기 탐지된 장애물에 대한 데이터를 주변 차량으로 송신하거나, 상기 주변 차량으로부터 상기 데이터를 수신하는 과정이 수행된다. 여기서, 상기 데이터를 상기 주변 차량으로 송신 또는 상기 주변 차량으로부터 수신하는 방법으로, DLNA 또는 WI-DI 통신 방식이 사용될 수 있다. Next, in step S640, a process of transmitting data about the detected obstacle to a surrounding vehicle or receiving the data from the surrounding vehicle is performed. Here, as a method of transmitting or receiving the data to or from the surrounding vehicles, DLNA or WI-DI communication method may be used.

이상 설명한 바와 같이, 본 발명은 고가의 레이더 장비를 이용하지 않고, 차량에 장착된 카메라로부터 입력된 입력 영상과 내비게이션으로부터 입력된 고정밀 지도 영상을 비교한 결과를 이용하여 도로 장애물(또는 주변 차량에서 도로에 낙하된 낙하물)을 탐지하고, 탐지된 도로 장애물에 대한 경보를 헤드 업 디스플레이(Head-Up-Display)를 통해 제공함으로써, 도로 장애물에 대해 회피 운전을 가능하게 한다. 또한, 주변 차량이 전방 차량에서 탐지한 도로 장애물에 대한 정보를 수신함으로써, 수신된 정보를 통해 전방 차량에서 탐지한 도로 장애물에 대해 회피 운전을 가능하게 한다.As described above, the present invention does not use expensive radar equipment, but uses the result of comparing the input image input from the camera mounted on the vehicle and the high-precision map image input from the navigation to detect road obstacles (or road obstacles from surrounding vehicles). It detects fallen objects) and provides warnings about detected road obstacles through a head-up display, enabling avoidance driving against road obstacles. Additionally, surrounding vehicles receive information about road obstacles detected by the vehicle ahead, enabling avoidance driving regarding road obstacles detected by the vehicle ahead through the received information.

한편, 도로 장애물을 탐지하는 차량 사고 예방 시스템을 나타내는 도 1, 2 및 4의 블록도는 발명의 원리를 기능적 관점에서 구체화한 것으로 이해해야 한다. 이와 유사하게, 도 6 내지 9의 흐름도는 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.Meanwhile, the block diagrams of FIGS. 1, 2, and 4 showing a vehicle accident prevention system for detecting road obstacles should be understood as embodying the principles of the invention from a functional perspective. Similarly, the flow diagrams of FIGS. 6-9 may be substantially represented on a computer-readable medium and should be understood as representing various processes performed by a computer or processor whether or not the computer or processor is explicitly shown.

프로세서 또는 이와 유사한 개념으로 표시된 도 1, 2 및 4의 블록들은 전용 하드웨어뿐만 아니라 소프트웨어를 실행할 수 있는 하드웨어의 사용으로 제공될 수 있다. The blocks of Figures 1, 2, and 4, which are represented by processors or similar concepts, can be provided using dedicated hardware as well as hardware capable of executing software.

도 1, 2 및 4의 블록들이 프로세서에 의해 구현될 때, 도 1, 2 및 4에 도시된 블록들의 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.When the blocks of Figures 1, 2, and 4 are implemented by a processor, the functionality of the blocks shown in Figures 1, 2, and 4 may be provided by a single dedicated processor, a single shared processor, or multiple individual processors, any of which Some may be shared.

또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 물론 주지관용의 다른 하드웨어도 포함될 수 있다.In addition, the clear use of terms such as processor, control, or similar concepts should not be construed as exclusively referring to hardware capable of executing software, and should not be interpreted as referring exclusively to hardware capable of executing software, including without limitation digital signal processor (DSP) hardware and ROM for storing software. It should be understood as implicitly including ROM, RAM, and non-volatile memory. Of course, other hardware for general use may also be included.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an illustrative explanation of the technical idea of the present invention, and various modifications, changes, and substitutions can be made by those skilled in the art without departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the attached drawings are not intended to limit the technical idea of the present invention, but are for illustrative purposes, and the scope of the technical idea of the present invention is not limited by these embodiments and the attached drawings. . The scope of protection of the present invention should be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope should be construed as being included in the scope of rights of the present invention.

Claims (15)

차량에 설치된 카메라로부터 입력되는 제1 입력 영상과 내비게이션으로부터 입력되는 제1 고정밀 지도 영상을 비교한 결과를 이용하여 상기 카메라의 카메라 각도를 조정하는 단계;
상기 카메라 각도가 조정된 카메라로부터 입력되는 제2 입력 영상과 상기 내비게이션으로부터 입력되는 제2 고정밀 지도 영상을 비교하여, 픽셀값이 다른 픽셀들을 상기 입력 영상으로부터 검출하고, 상기 검출된 픽셀들을 장애물로 탐지하는 단계; 및
상기 탐지된 장애물을 헤드업 디스플레이에 표시하는 단계;
를 포함하는 차량 사고 예방 방법.
adjusting the camera angle of the camera using a result of comparing a first input image input from a camera installed in the vehicle and a first high-precision map image input from a navigation system;
Compare the second input image input from the camera with the camera angle adjusted and the second high-precision map image input from the navigation, detect pixels with different pixel values from the input image, and detect the detected pixels as obstacles. steps; and
displaying the detected obstacle on a head-up display;
Vehicle accident prevention method including.
제1항에서, 상기 조정하는 단계는,
상기 제1 입력 영상을 제1-1 계조 영상으로 변환하고, 상기 제1 고정밀 지도 영상을 제1-2 계조 영상으로 변환하는 단계;
상기 제1-1 계조 영상의 해상도를 상기 제1-2 계조 영상의 해상도로 변환하는 단계; 및
상기 제1-2 계조 영상과 상기 제1-2 계조 영상의 해상도로 변환된 상기 제1-1 계조 영상을 비교한 결과를 이용하여 상기 카메라의 카메라 각도를 조정하는 단계;를 포함함을 특징으로 하는 차량 사고 예방 방법.
In claim 1, the adjusting step includes:
Converting the first input image into a 1-1 grayscale image and converting the first high-precision map image into a 1-2 grayscale image;
converting the resolution of the 1-1 grayscale image to the resolution of the 1-2 grayscale image; and
and adjusting the camera angle of the camera using a result of comparing the 1-2nd grayscale image with the 1-1st grayscale image converted to the resolution of the 1-2nd grayscale image. How to prevent car accidents.
제2항에서, 상기 카메라 각도를 조정하는 단계는,
상기 제1-2 계조 영상의 해상도로 변환된 상기 제1-1 계조 영상 내에서 제1 객체의 에지를 검출하고, 상기 제1-2 계조 영상 내에서 상기 제1 객체에 대응하는 제2 객체의 에지를 검출하는 단계;
상기 제1 객체의 에지를 구성하는 픽셀값과 상기 제2 객체의 에지를 구성하는 픽셀값 간의 제1 차이값을 계산하는 단계;
상기 제1 차이값과 기설정된 값 간의 제2 차이값을 계산하는 단계; 및
상기 제2 차이값에 대응하는 조정값으로 상기 카메라의 카메라 각도를 조정하는 단계
를 포함함을 특징으로 하는 차량 사고 예방 방법.
In claim 2, the step of adjusting the camera angle includes:
Detecting the edge of the first object in the 1-1 gray-scale image converted to the resolution of the 1-2 gray-scale image, and detecting the edge of the second object corresponding to the first object in the 1-2 gray-scale image detecting an edge;
calculating a first difference value between pixel values constituting an edge of the first object and pixel values constituting an edge of the second object;
calculating a second difference between the first difference and a preset value; and
adjusting the camera angle of the camera with an adjustment value corresponding to the second difference value.
A vehicle accident prevention method comprising:
제2항에서, 상기 카메라 각도를 조정하는 단계는,
상기 제1-2 계조 영상의 해상도로 변환된 상기 제1-1 계조 영상 내에서 제1 영역을 설정하고, 상기 제1-2 계조 영상 내에서 상기 제1 영역과 비교되는 제2 영역을 설정하는 단계;
상기 제1 영역 내에서 제1 객체의 에지를 검출하고, 상기 제2 영역 내에서 상기 제1 객체에 대응하는 제2 객체의 에지를 검출하는 단계;
상기 제1 객체의 에지를 구성하는 픽셀값과 상기 제2 객체의 에지를 구성하는 픽셀값 간의 제1 차이값을 계산하는 단계;
상기 제1 차이값과 기설정된 값 간의 제2 차이값을 계산하는 단계; 및
상기 제2 차이값에 대응하는 조정값으로 상기 카메라의 카메라 각도를 조정하는 단계;
를 포함함을 특징으로 하는 차량 사고 예방 방법.
In claim 2, the step of adjusting the camera angle includes:
Setting a first area in the 1-1 gray-scale image converted to the resolution of the 1-2 gray-scale image, and setting a second area compared to the first area in the 1-2 gray-scale image step;
Detecting an edge of a first object within the first area and detecting an edge of a second object corresponding to the first object within the second area;
calculating a first difference value between pixel values constituting an edge of the first object and pixel values constituting an edge of the second object;
calculating a second difference between the first difference and a preset value; and
adjusting a camera angle of the camera with an adjustment value corresponding to the second difference value;
A vehicle accident prevention method comprising:
제4항에서, 상기 제1 영역은 상기 제1-1 계조 영상의 전체 영역을 X축 방향으로 3등분한 영역들 중에서 맨 아래쪽 영역이고,
상기 제2 영역은 상기 제1-2 계조 영상의 전체 영역을 x축 방향으로 3등분한 영역들 중에서 맨 아래쪽 영역임을 특징으로 하는 차량 사고 예방 방법.
In claim 4, the first area is the lowest area among areas divided by dividing the entire area of the 1-1 grayscale image into thirds in the X-axis direction,
The second area is a vehicle accident prevention method, wherein the entire area of the 1-2 grayscale image is divided into three areas in the x-axis direction.
제1항에서, 상기 탐지하는 단계는,
상기 제2 입력 영상을 제2-1 계조 영상으로 변환하고, 상기 제2 고정밀 지도 영상을 제2-2 계조 영상으로 변환하는 단계;
상기 제2-1 계조 영상의 배경 영역과 상기 제2-2 계조 영상의 배경 영역을 제거하는 단계;
상기 배경 영역이 제거된 제2-1 계조 영상 내에서 상부에 존재하는 제2-1 영역을 설정하고, 상기 배경 영역이 제거된 제2-2 계조 영상 내에서 상부에 존재하는 제2-2 영역을 설정하는 단계; 및
상기 제2-1 영역의 픽셀값들과 상기 제2-2 영역의 픽셀값들을 비교하여, 픽셀값이 다른 픽셀들을 상기 제2-1 영역으로부터 검출하고, 상기 검출된 픽셀들을 상기 장애물로 탐지하는 단계
를 포함함을 특징으로 하는 차량 사고 예방 방법.
In claim 1, the detecting step includes:
converting the second input image into a 2-1 grayscale image and converting the second high-precision map image into a 2-2 grayscale image;
removing a background area of the 2-1st grayscale image and a background area of the 2-2nd grayscale image;
Set a 2-1 area existing at the upper part of the 2-1 grayscale image from which the background area has been removed, and set a 2-2 area existing at the upper part of the 2-2 grayscale image from which the background area has been removed. Setting up; and
Comparing the pixel values of the 2-1 area with the pixel values of the 2-2 area, detecting pixels with different pixel values from the 2-1 area, and detecting the detected pixels as the obstacle step
A vehicle accident prevention method comprising:
제6항에서, 상기 검출된 픽셀들을 상기 장애물로 탐지하는 단계는,
상기 차량의 현재 속도와 상기 차량의 현재 위치에서 설정된 안전거리를 기반으로 계산된 비교 시간동안 수행됨을 특징으로 하는 차량 사고 예방 방법.
In claim 6, the step of detecting the detected pixels as the obstacle comprises:
A vehicle accident prevention method, characterized in that it is performed for a comparison time calculated based on the current speed of the vehicle and a safety distance set at the current location of the vehicle.
제7항에서, 상기 비교 시간은 아래의 수식으로 계산되고,
상기 수식은,

임을 특징으로 하는 차량 사고 예방 방법.
In clause 7, the comparison time is calculated by the formula below,
The above formula is,

A vehicle accident prevention method characterized by:
제1항에서, 상기 검출된 픽셀들을 장애물로 탐지하는 단계 이후에,
상기 탐지된 장애물에 대응하는 영상 데이터를 무선 통신 데이터로 부호화하는 단계; 및
상기 부호화된 무선 통신 데이터를 주변 차량에 송신하는 단계;를 더 포함하고,
상기 주변 차량은, 상기 무선 통신 데이터를 상기 영상 데이터로 복호화하고, 상기 복호화된 상기 영상 데이터에 대응하는 장애물을 상기 후방 차량에 설치된 헤드업 디스플레이에 표시함을 특징으로 하는 차량 사고 예방 방법.
In claim 1, after detecting the detected pixels as obstacles,
Encoding image data corresponding to the detected obstacle into wireless communication data; and
Further comprising: transmitting the encoded wireless communication data to surrounding vehicles,
The surrounding vehicle decodes the wireless communication data into the image data, and displays an obstacle corresponding to the decoded image data on a head-up display installed in the rear vehicle.
차량에 설치된 카메라로부터 입력되는 제1 입력 영상과 내비게이션으로부터 입력되는 제1 고정밀 지도 영상을 비교한 결과를 이용하여 상기 카메라의 카메라 각도를 조정하는 카메라 조정부;
상기 카메라 각도가 조정된 카메라로부터 입력되는 제2 입력 영상과 상기 내비게이션으로부터 입력되는 제2 고정밀 지도 영상을 비교하여, 픽셀값이 다른 픽셀들을 상기 입력 영상으로부터 검출하고, 상기 검출된 픽셀들을 장애물로 탐지하는 영상 처리부; 및
상기 탐지된 장애물을 표시하는 헤드업 디스플레이
를 포함하는 차량 사고 예방 시스템.
a camera adjustment unit that adjusts the camera angle of the camera using a result of comparing a first input image input from a camera installed in the vehicle and a first high-precision map image input from a navigation system;
Compare the second input image input from the camera with the adjusted camera angle and the second high-precision map image input from the navigation, detect pixels with different pixel values from the input image, and detect the detected pixels as obstacles. an image processing unit that does; and
Head-up display that displays the detected obstacles
A vehicle accident prevention system that includes.
제10항에서, 상기 카메라 조정부는,
상기 제1 입력 영상과 상기 제1 고정밀 지도 영상을 제1-1 계조 영상 및 제1-2 계조 영상으로 각각 변환하고, 상기 제1-1 계조 영상의 해상도를 상기 제1-2 계조 영상의 해상도로 변환하는 영상 변환부;
상기 제1-2 계조 영상의 해상도로 변환된 상기 제1-1 계조 영상 내에서 제1 영역을 설정하고, 상기 제1-2 계조 영상 내에서 상기 제1 영역과 비교되는 제2 영역을 설정하는 영역 설정부;
상기 제1 영역 내에서 제1 객체의 에지를 검출하고, 상기 제2 영역 내에서 상기 제1 객체에 대응하는 제2 객체의 에지를 검출하는 에지 검출부;
상기 제1 객체의 에지를 구성하는 픽셀값과 상기 제2 객체의 에지를 구성하는 픽셀값 간의 제1 차이값을 계산한 후, 상기 제1 차이값과 기설정된 값 간의 제2 차이값을 계산하는 차이값 계산부; 및
상기 제2 차이값에 대응하는 조정값으로 상기 카메라의 카메라 각도를 계산하는 각도 계산부
를 포함함을 특징으로 하는 차량 사고 예방 시스템.

In claim 10, the camera control unit,
The first input image and the first high-precision map image are converted into a 1-1 gray-scale image and a 1-2 gray-scale image, respectively, and the resolution of the 1-1 gray-scale image is changed to the resolution of the 1-2 gray-scale image. A video conversion unit that converts to;
Setting a first area in the 1-1 gray-scale image converted to the resolution of the 1-2 gray-scale image, and setting a second area compared to the first area in the 1-2 gray-scale image Area setting unit;
an edge detection unit detecting an edge of a first object within the first area and detecting an edge of a second object corresponding to the first object within the second area;
Calculating a first difference value between a pixel value constituting an edge of the first object and a pixel value constituting an edge of the second object, and then calculating a second difference value between the first difference value and a preset value. Difference value calculation unit; and
An angle calculation unit that calculates the camera angle of the camera with an adjustment value corresponding to the second difference value.
A vehicle accident prevention system comprising:

제11항에서, 상기 제1 영역은 상기 제1-1 계조 영상의 전체 영역을 X축 방향으로 3등분한 영역들 중에서 맨 아래쪽 영역이고, 상기 제2 영역은 상기 제1-2 계조 영상의 전체 영역을 x축 방향으로 3등분한 영역들 중에서 맨 아래쪽 영역임을 특징으로 하는 차량 사고 예방 시스템.
In claim 11, the first area is the lowermost area among areas divided by dividing the entire area of the 1-1 grayscale image into thirds in the X-axis direction, and the second area is the entire area of the 1-2 grayscale image. A vehicle accident prevention system characterized in that the area is at the bottom of the three areas divided in the x-axis direction.
제10항에서, 상기 영상 처리부는,
상기 제2 입력 영상을 제2-1 계조 영상으로 변환하고, 상기 제2 고정밀 지도 영상을 제2-2 계조 영상으로 변환하는 영상 변환부;
상기 제2-1 계조 영상의 배경 영역과 상기 제2-2 계조 영상의 배경 영역을 제거하는 배경 영역 제거부;
상기 제2-1 계조 영상 내에서 상부에 존재하는 제2-1 영역을 설정하고, 상기 제2-2 계조 영상 내에서 상부에 존재하는 제2-2 영역을 설정하는 영역 설정부; 및
상기 제2-1 영역의 픽셀값들과 상기 제2-2 영역의 픽셀값들을 비교하여, 픽셀값이 다른 픽셀들을 상기 제2-1 영역으로부터 검출하고, 상기 검출된 픽셀들을 상기 장애물로 탐지하는 영역 비교부
를 포함함을 특징으로 하는 차량 사고 예방 시스템.
In claim 10, the image processing unit,
an image converter converting the second input image into a 2-1 grayscale image and converting the second high-precision map image into a 2-2 grayscale image;
a background area removal unit that removes a background area of the 2-1st grayscale image and a background area of the 2-2nd grayscale image;
an area setting unit that sets a 2-1 area existing in the upper part of the 2-1 gray scale image and sets a 2-2 area existing in the upper part of the 2-2 gray scale image; and
Comparing the pixel values of the 2-1 area with the pixel values of the 2-2 area, detecting pixels with different pixel values from the 2-1 area, and detecting the detected pixels as the obstacle Area comparison unit
A vehicle accident prevention system comprising:
제13항에서, 상기 차량의 현재 속도와 상기 차량의 현재 위치에서 설정된 안전거리를 기반으로 계산된 비교 시간을 계산하는 비교 시간 계산부를 더 포함하고,
상기 영역 설정부는,
상기 비교 시간에 따라 상기 제2-1 영역과 상기 제2-2 영역을 재설정함을 특징으로 하는 차량 사고 예방 시스템.
In claim 13, further comprising a comparison time calculation unit that calculates a comparison time calculated based on the current speed of the vehicle and a safety distance set at the current location of the vehicle,
The area setting unit,
A vehicle accident prevention system, characterized in that the 2-1 area and the 2-2 area are reset according to the comparison time.
제14항에서, 상기 비교 시간은 아래의 수식으로 계산되고,
상기 수식은,

임을 특징으로 하는 차량 사고 예방 시스템.
In claim 14, the comparison time is calculated by the formula below,
The above formula is,

A vehicle accident prevention system characterized by:
KR1020160146662A 2016-11-04 2016-11-04 Device and method for preventing car accident caused by obstacle KR102647407B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160146662A KR102647407B1 (en) 2016-11-04 2016-11-04 Device and method for preventing car accident caused by obstacle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160146662A KR102647407B1 (en) 2016-11-04 2016-11-04 Device and method for preventing car accident caused by obstacle

Publications (2)

Publication Number Publication Date
KR20180050018A KR20180050018A (en) 2018-05-14
KR102647407B1 true KR102647407B1 (en) 2024-03-14

Family

ID=62187681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160146662A KR102647407B1 (en) 2016-11-04 2016-11-04 Device and method for preventing car accident caused by obstacle

Country Status (1)

Country Link
KR (1) KR102647407B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209510A (en) 2005-01-28 2006-08-10 Aisin Aw Co Ltd Image recognition device and image recognition method
JP2009260475A (en) 2008-04-14 2009-11-05 Mitsubishi Electric Corp Information processor, information processing method, and program
JP2010026620A (en) 2008-07-16 2010-02-04 Hitachi Automotive Systems Ltd Vehicle driving support device
KR101348800B1 (en) 2013-10-30 2014-01-09 주식회사 지오스토리 System for processing reflection image enhanced degree of precision by correcting error of reflection image

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9145139B2 (en) * 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209510A (en) 2005-01-28 2006-08-10 Aisin Aw Co Ltd Image recognition device and image recognition method
JP2009260475A (en) 2008-04-14 2009-11-05 Mitsubishi Electric Corp Information processor, information processing method, and program
JP2010026620A (en) 2008-07-16 2010-02-04 Hitachi Automotive Systems Ltd Vehicle driving support device
KR101348800B1 (en) 2013-10-30 2014-01-09 주식회사 지오스토리 System for processing reflection image enhanced degree of precision by correcting error of reflection image

Also Published As

Publication number Publication date
KR20180050018A (en) 2018-05-14

Similar Documents

Publication Publication Date Title
US9704404B2 (en) Lane detection apparatus and operating method for the same
JP5316713B2 (en) Lane departure prevention support apparatus, lane departure prevention method, and storage medium
US10116873B1 (en) System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
JP4970516B2 (en) Surrounding confirmation support device
US9659497B2 (en) Lane departure warning system and lane departure warning method
KR100956858B1 (en) Sensing method and apparatus of lane departure using vehicle around image
JP4638143B2 (en) Vehicle driving support device
EP2819090B1 (en) Three-dimensional object detection device
JP6307895B2 (en) Vehicle periphery monitoring device
EP2546819B1 (en) Device for monitoring vicinity of vehicle
JP6453192B2 (en) Image recognition processing apparatus and program
US20160364620A1 (en) Outside recognition system, vehicle and camera dirtiness detection method
US20220180483A1 (en) Image processing device, image processing method, and program
CN102170558A (en) Obstacle detection alarm system and method
KR102118066B1 (en) Vehicle control method for safety driving
US20130202155A1 (en) Low-cost lane marker detection
JP2010044561A (en) Monitoring device to be mounted on vehicle
KR20140074219A (en) Object localization using vertical symmetry
JP6617610B2 (en) Vehicle display device
KR102228387B1 (en) System for controling vehicle, and method of controling vehicle
WO2011087354A2 (en) Vehicle parking and obstacle avoidance system using a single panoramic camera
KR102647407B1 (en) Device and method for preventing car accident caused by obstacle
KR101117969B1 (en) Vehicle surrounding information service system
KR20130081914A (en) Apparatus and method for controlling exposure of camera for vehicle

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right