KR101438921B1 - Apparatus and method for alerting moving-object of surrounding of vehicle - Google Patents

Apparatus and method for alerting moving-object of surrounding of vehicle Download PDF

Info

Publication number
KR101438921B1
KR101438921B1 KR1020120130245A KR20120130245A KR101438921B1 KR 101438921 B1 KR101438921 B1 KR 101438921B1 KR 1020120130245 A KR1020120130245 A KR 1020120130245A KR 20120130245 A KR20120130245 A KR 20120130245A KR 101438921 B1 KR101438921 B1 KR 101438921B1
Authority
KR
South Korea
Prior art keywords
moving object
vehicle
top view
range
detected
Prior art date
Application number
KR1020120130245A
Other languages
Korean (ko)
Other versions
KR20140063186A (en
Inventor
윤성원
권구도
신동인
최진혁
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120130245A priority Critical patent/KR101438921B1/en
Publication of KR20140063186A publication Critical patent/KR20140063186A/en
Application granted granted Critical
Publication of KR101438921B1 publication Critical patent/KR101438921B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Abstract

본 발명은 차량 주변의 이동체 경보 장치 및 방법에 관한 것으로, 본 발명에 따른 이동체 경보 장치는, 차량에 구비된 카메라를 통해 촬영된 주변영상을 취득하는 영상 취득부, 상기 차량에 구비된 센서로부터 상기 카메라의 촬영 범위 내외의 이동체들을 감지한 센서값을 취득하는 센서값 취득부, 상기 센서값을 분석하여 상기 차량 주변의 이동체 및 상기 이동체의 위치를 검출하는 이동체 검출부, 및 상기 검출된 이동체의 위치에 따라 상기 주변영상의 범위 내에서 검출된 이동체 및 상기 주변영상의 범위 외에서 검출된 이동체에 대응하는 표시요소를 상기 주변영상 상에 표시하도록 하는 출력 제어부를 포함한다.The present invention relates to a moving object alarm apparatus and method in the vicinity of a vehicle. The moving object alarm apparatus according to the present invention includes an image acquisition unit for acquiring a peripheral image photographed through a camera provided in a vehicle, A moving object detection unit for detecting a moving object around the vehicle and a position of the moving object by analyzing the sensor value, and a moving object detection unit for detecting a position of the moving object by analyzing the sensor value, And an output control unit for displaying a moving object detected within the range of the peripheral image and a display element corresponding to the moving object detected outside the range of the peripheral image on the peripheral image.

Description

차량 주변의 이동체 경보 장치 및 방법{Apparatus and method for alerting moving-object of surrounding of vehicle}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an alarm device and a method for alerting moving objects around a vehicle,

본 발명은 차량 주변의 이동체 경보 장치 및 방법에 관한 것으로, 탑 뷰 영상의 범위 외에서 검출된 이동체를 주변영상 상에 표시하도록 하는 기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving object alarm apparatus and method in the vicinity of a vehicle, and relates to a technique for displaying a moving object detected outside the range of a top view image on a surrounding image.

AVM 시스템은 차량 주변에서 촬영되는 주변영상을 뷰 변환하여 합성한 탑 뷰 영상을 모니터 등을 통해 제공함으로써, 사용자가 차량의 전, 후, 좌, 우 방향의 영상을 한눈에 확인할 수 있도록 한다. 이때, 사용자는 탑 뷰 영상을 통해 차량으로 접근하는 이동체를 파악할 수 있다.The AVM system provides a top view image that is synthesized and synthesized by the view conversion of the surrounding images photographed in the vicinity of the vehicle, so that the user can view the images of the front, rear, left, and right directions of the vehicle at a glance. At this time, the user can grasp the moving object approaching the vehicle through the top view image.

이 경우, 사용자는 탑 뷰 영상을 통해 차량으로 접근하는 이동체를 파악하기 때문에, 주변영상 상에서 이동체가 포함된 영역이 탑 뷰 영상을 생성하는 과정에서 잘리게 되면 탑 뷰 영상을 통해서는 해당 이동체를 확인할 수 없다. 또한, 카메라의 촬영 범위 밖에서 접근하는 이동체도 확인할 수 없다.In this case, since the user recognizes the moving object approaching the vehicle through the top view image, if the area including the moving object on the peripheral image is cut off in the process of generating the top view image, the moving object is confirmed through the top view image I can not. In addition, a moving object approaching from outside the shooting range of the camera can not be confirmed.

물론, 초음파 센서 등을 이용하여 차량 주변 일정 방향에서 접근하는 이동체를 감지하여 소리 경보 등을 통해 사용자에게 이동체의 접근을 알리기도 하지만, 이 경우 사용자는 어느 방향에서 어느 속도로 이동체가 접근하는지 파악하기가 어렵다.Of course, an ultrasonic sensor or the like may be used to sense a moving object approaching a certain direction around the vehicle and to inform the user of the approach of the moving object through an audible alarm. In this case, the user grasps from which direction the moving object approaches Is difficult.

본 발명의 목적은, 카메라를 통해 촬영된 원본영상에 촬영된 이동체가 탑 뷰 영상을 생성하는 과정에서 탑 뷰 영상에 포함되지 않는 경우 해당 이동체를 탑 뷰 영상 상에 표시하도록 함으로써 사용자가 탑 뷰 영상을 통해 확인되지 않는 이동체의 접근 상태를 확인할 수 있도록 한 차량 주변의 이동체 경보 장치 및 방법을 제공함에 있다.It is an object of the present invention to provide a moving picture capturing apparatus and method capable of displaying a moving object on a top view image when a moving object photographed on an original image captured through a camera is not included in the top view image in the process of generating the top view image, And to confirm the approaching state of the moving object which is not confirmed through the moving object.

또한, 본 발명의 다른 목적은, 카메라의 촬영 범위 내에서 검출된 이동체뿐만 아니라 카메라의 촬영 범위 외에서 검출된 이동체까지도 탑 뷰 영상 상에 표시하도록 함으로써 사용자가 카메라를 통해 촬영되지 않은 이동체의 접근 상태를 확인할 수 있도록 한 차량 주변의 이동체 경보 장치 및 방법을 제공함에 있다.It is another object of the present invention to provide a method and apparatus for displaying a moving object detected within a shooting range of a camera as well as a moving object detected outside a shooting range of the camera on a top view image, And to provide an alarm device and method for a moving object around the vehicle.

상기의 목적을 달성하기 위한 본 발명에 따른 비보호 교차로에서의 차량 통행 제어 장치는, 차량에 구비된 카메라를 통해 촬영된 주변영상을 취득하는 영상 취득부, 상기 차량에 구비된 센서로부터 상기 카메라의 촬영 범위 내외의 이동체들을 감지한 센서값을 취득하는 센서값 취득부, 상기 센서값을 분석하여 상기 차량 주변의 이동체 및 상기 이동체의 위치를 검출하는 이동체 검출부, 및 상기 검출된 이동체의 위치에 따라 상기 주변영상의 범위 내에서 검출된 이동체 및 상기 주변영상의 범위 외에서 검출된 이동체에 대응하는 표시요소를 상기 주변영상 상에 표시하도록 하는 출력 제어부를 포함하는 것을 특징으로 한다.In order to achieve the above-mentioned object, the present invention provides an apparatus for controlling vehicle travel in an unprotected intersection, comprising: an image acquisition unit for acquiring a peripheral image photographed through a camera provided in a vehicle; A moving object detection unit for detecting a moving object around the vehicle and a position of the moving object by analyzing the sensor value and a moving object detection unit for detecting a position of the moving object based on the detected position of the moving object, And an output controller for displaying a moving object detected within a range of the image and a display element corresponding to the moving object detected outside the range of the peripheral image on the peripheral image.

상기 출력 제어부는, 상기 검출된 이동체의 위치와 상기 주변영상의 범위를 비교하여, 상기 검출된 이동체의 위치가 상기 주변영상의 범위 외인 경우 상기 주변영상 상에서 상기 검출된 이동체가 위치한 방향에 상기 검출된 이동체에 대응하는 표시요소를 표시하도록 하는 것을 특징으로 한다.Wherein the output control unit compares the detected position of the moving object with the range of the surrounding image to determine whether the detected position of the moving object is outside the range of the surrounding image, And a display element corresponding to the moving object is displayed.

상기 출력 제어부는, 상기 검출된 이동체의 위치와 상기 주변영상의 범위를 비교하여, 상기 검출된 이동체의 위치가 상기 주변영상의 범위 내인 경우 상기 주변영상 상에서 해당하는 위치에 상기 검출된 이동체에 대응하는 표시요소를 표시하도록 하는 것을 특징으로 한다.Wherein the output control unit compares the detected position of the moving object with the range of the surrounding image to determine whether the detected position of the moving object is within the range of the surrounding image, And the display element is displayed.

상기 표시요소는, 상기 검출된 이동체의 접근 방향 및 접근성을 나타내는 것을 특징으로 한다.And the display element indicates an approach direction and accessibility of the detected moving object.

또한, 본 발명에 따른 차량 주변의 이동체 경보 장치는, 상기 검출된 이동체의 위치 정보를 분석하여 상기 차량에 대한 상기 검출된 이동체의 접근성을 판단하는 접근성 판단부를 더 포함하는 것을 특징으로 한다.In addition, the moving object alarm apparatus around the vehicle according to the present invention may further include an accessibility judgment unit for analyzing the detected position information of the moving object to determine the accessibility of the detected moving object to the vehicle.

상기 출력 제어부는, 상기 검출된 이동체의 접근성에 따라 상기 표시요소의 모양, 패턴, 명암, 색깔 및 크기 중 적어도 하나를 달리하여 표시하도록 하는 것을 특징으로 한다.The output control unit displays at least one of the shape, pattern, lightness, color, and size of the display element according to the accessibility of the detected moving object.

상기 주변영상은, 상기 카메라를 통해 촬영된 적어도 하나의 주변영상들을 뷰 변환하여 합성한 탑 뷰 영상인 것을 특징으로 한다.The peripheral image is a top view image obtained by performing a view conversion of at least one peripheral image photographed through the camera.

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 차량 주변의 이동체 경보 장치는, 차량에 구비된 카메라를 통해 촬영된 주변영상을 취득하는 영상 취득부, 상기 주변영상을 분석하여 상기 차량 주변의 이동체 및 상기 이동체의 위치를 검출하는 이동체 검출부, 및 상기 카메라를 통해 촬영된 적어도 하나의 주변영상들을 뷰 변환하여 합성한 탑 뷰 영상 내의 이동체와, 상기 검출된 이동체 중 상기 탑 뷰 영상 생성 시 상기 탑 뷰 영상의 범위에 포함되지 않은 이동체에 대응하는 표시요소를 상기 탑 뷰 영상 상에 표시하도록 하는 출력 제어부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a moving object alarm apparatus for a vehicle, the moving object alarm apparatus comprising: an image acquisition unit for acquiring a surrounding image photographed through a camera provided in a vehicle; And a moving object in a top view image obtained by transforming at least one peripheral image photographed by the camera, the moving object being detected by the moving object detecting unit, and the top view And an output control unit for displaying a display element corresponding to a moving object not included in the image range on the top view image.

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 차량 주변의 이동체 경보 방법은, 차량에 구비된 카메라를 통해 촬영된 주변영상을 취득하는 단계, 상기 차량에 구비된 센서로부터 상기 카메라의 촬영 범위 내외의 이동체들을 감지한 센서값을 취득하는 단계, 상기 센서값을 분석하여 상기 차량 주변의 이동체 및 상기 이동체의 위치를 검출하는 단계, 및 상기 검출된 이동체의 위치에 따라 상기 주변영상의 범위 내에서 검출된 이동체 및 상기 주변영상의 범위 외에서 검출된 이동체에 대응하는 표시요소를 상기 주변영상 상에 표시하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for alerting a moving object around a vehicle, the method comprising: acquiring a peripheral image photographed through a camera provided in the vehicle; Detecting a moving object around the vehicle by analyzing the sensor value and detecting a position of the moving object by detecting the moving object of the moving object; And displaying a display element corresponding to the moving object detected outside the range of the surrounding image on the surrounding image.

상기 표시하는 단계는, 상기 검출된 이동체의 위치와 상기 주변영상의 범위를 비교하여, 상기 검출된 이동체의 위치가 상기 주변영상의 범위 외인 경우 상기 주변영상 상에서 상기 검출된 이동체가 위치한 방향에 상기 검출된 이동체에 대응하는 표시요소를 표시하도록 하는 것을 특징으로 한다.Wherein the displaying step comprises the step of comparing the detected position of the moving object with the range of the surrounding image to determine whether the detected position of the moving object is outside the range of the surrounding image, And the display element corresponding to the moving object is displayed.

상기 표시하는 단계는, 상기 검출된 이동체의 위치와 상기 주변영상의 범위를 비교하여, 상기 검출된 이동체의 위치가 상기 주변영상의 범위 내인 경우 상기 주변영상 상에서 해당하는 위치에 상기 검출된 이동체에 대응하는 표시요소를 표시하도록 하는 것을 특징으로 한다.Wherein the displaying step comprises the step of comparing the detected position of the moving object with the range of the peripheral image and comparing the detected position of the moving object with the detected moving object at a corresponding position on the peripheral image when the detected position of the moving object is within the range of the peripheral image The display element is displayed.

또한, 본 발명에 따른 차량 주변의 이동체 경보 방법은, 상기 검출된 이동체의 위치 정보를 분석하여 상기 차량에 대한 상기 검출된 이동체의 접근성을 판단하는 단계를 더 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for alarming a moving object around a vehicle, the method comprising the steps of: analyzing positional information of the detected moving object to determine an accessibility of the detected moving object to the vehicle;

상기 표시하는 단계는, 상기 검출된 이동체의 접근성에 따라 상기 표시요소의 모양, 패턴, 명암, 색깔 및 크기 중 적어도 하나를 달리하여 표시하도록 하는 것을 특징으로 한다.The displaying step displays at least one of the shape, pattern, lightness, color and size of the display element in accordance with the accessibility of the detected moving object.

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 차량 주변의 이동체 경보 방법은, 차량에 구비된 카메라를 통해 촬영된 주변영상을 취득하는 단계, 상기 주변영상을 분석하여 상기 차량 주변의 이동체 및 상기 이동체의 위치를 검출하는 단계, 및 상기 카메라를 통해 촬영된 적어도 하나의 주변영상들을 뷰 변환하여 합성한 탑 뷰 영상 내의 이동체와, 상기 검출된 이동체 중 상기 탑 뷰 영상 생성 시 상기 탑 뷰 영상의 범위에 포함되지 않은 이동체에 대응하는 표시요소를 상기 탑 뷰 영상 상에 표시하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for alerting a moving object around a vehicle, the method comprising: acquiring a surrounding image photographed through a camera provided in the vehicle; A moving object in a top view image obtained by performing a view transformation of at least one peripheral image photographed by the camera, and a moving object in the top view image when generating the top view image, And displaying the display element corresponding to the moving object not included in the top view image.

본 발명에 따르면, 카메라를 통해 촬영된 원본영상에 촬영된 이동체가 탑 뷰 영상을 생성하는 과정에서 탑 뷰 영상에 포함되지 않는 경우 해당 이동체를 탑 뷰 영상 상에 표시하도록 함으로써 사용자가 탑 뷰 영상을 통해 확인되지 않는 이동체의 접근 상태를 확인할 수 있으며, 이로 인해 이동체 검출에 대한 신뢰성이 향상되는 이점이 있다.According to the present invention, when a moving object photographed on an original image photographed by a camera is not included in the top view image in the process of generating the top view image, the moving object is displayed on the top view image, It is possible to confirm the approaching state of the mobile body which is not confirmed through the mobile body, thereby improving the reliability of the mobile body detection.

또한, 본 발명은, 카메라의 촬영 범위 내에서 검출된 이동체뿐만 아니라 카메라의 촬영 범위 외에서 검출된 이동체까지도 탑 뷰 영상 상에 표시하도록 함으로써 사용자가 카메라를 통해 촬영되지 않은 이동체의 접근 상태를 확인할 수 있어 이로 인해 차량 주행에 따른 안전성이 향상되는 이점이 있다.Further, according to the present invention, not only the moving object detected within the shooting range of the camera but also the moving object detected outside the shooting range of the camera are displayed on the top view image, so that the user can confirm the approaching state of the moving object, This has the advantage of improving the safety of driving the vehicle.

도 1은 본 발명에 따른 차량 주변의 이동체 경보 장치가 적용되는 차량을 도시한 도이다.
도 2는 본 발명에 따른 차량 주변의 이동체 경보 장치의 구성을 도시한 블록도이다.
도 3 및 도 4는 본 발명에 따른 차량 주변의 이동체 경보 장치에서의 이동체 표시 형태를 도시한 예시도이다.
도 5a 내지 도 5f는 본 발명에 따른 차량 주변의 이동체 경보 장치의 이동체 경보 동작을 설명하는데 참조되는 예시도이다.
도 6은 본 발명에 따른 차량 주변의 이동체 경보 방법에 대한 동작 흐름을 도시한 순서도이다.1 is a view showing a vehicle to which a moving object alarm device in the vicinity of a vehicle according to the present invention is applied.
2 is a block diagram showing the configuration of a moving object alarm device in the vicinity of a vehicle according to the present invention.
FIG. 3 and FIG. 4 are views showing an example of a display form of a moving object in the moving object alarm device around the vehicle according to the present invention.
FIGS. 5A to 5F are views for explaining a moving object alarm operation of the moving object alarm device around the vehicle according to the present invention.
6 is a flowchart showing an operation flow for a moving object alarm method around a vehicle according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명에 따른 차량 주변의 이동체 경보 장치가 적용되는 차량을 도시한 도이다.1 is a view showing a vehicle to which a moving object alarm device in the vicinity of a vehicle according to the present invention is applied.

도 1을 참조하면, 본 발명에 적용되는 차량(10)은 카메라(미도시)가 구비되어, 차량 주변의 주변영상을 촬영한다. 이때, 카메라는 차량의 전, 후, 좌 및 우 중 적어도 한 방향에 배치될 수 있다.Referring to FIG. 1, a vehicle 10 according to the present invention is provided with a camera (not shown) to photograph a surrounding image around the vehicle. At this time, the camera may be disposed in at least one of the front, rear, left, and right directions of the vehicle.

또한, 본 발명에 적용되는 차량(10)은 차량 주변의 물체를 검출하는 센서(미도시)가 구비되어, 차량 주변의 물체를 검출한다. 여기서, 차량 주변의 물체를 검출하는 센서는 거리측정센서로서, 초음파센서 등이 적용될 수 있다. 이때, 차량에 구비된 센서는 차량 주변으로 신호를 송출하고, 차량 주변에 위치한 주변차량으로부터 반사되는 신호를 수신하여 주변차량의 위치를 감지한다.Further, the vehicle 10 according to the present invention is provided with a sensor (not shown) for detecting an object around the vehicle, and detects an object around the vehicle. Here, the sensor for detecting an object in the vicinity of the vehicle may be an ultrasonic sensor or the like as a distance measuring sensor. At this time, a sensor provided in the vehicle transmits a signal to the surroundings of the vehicle, receives a signal reflected from the surrounding vehicle located in the vicinity of the vehicle, and detects the position of the surrounding vehicle.

한편, 차량(10)에 구비된 센서는 카메라의 촬영 범위 보다 넓은 범위에 위치한 물체를 검출하는 것이 가능하다.On the other hand, the sensor provided in the vehicle 10 can detect an object located in a range wider than the photographing range of the camera.

차량(10)에 구비된 카메라를 통해 촬영된 주변영상 및 센서에 의해 감지된 센서값은 차량(10)에 구비된 차량 주변의 이동체 경보 장치(이하, '이동체 경보 장치'라 칭한다.)(100)로 전달되어, 이동체 경보 장치(100)에서 이동체(21, 25)를 검출하고 표시하는데 이용될 수 있다.The peripheral image photographed through the camera provided in the vehicle 10 and the sensor value sensed by the sensor are transmitted to a moving object alarm device 100 (hereinafter, referred to as a moving object alarm device) 100 And can be used to detect and display the moving objects 21 and 25 in the moving object alarm apparatus 100. [

이에, 본 발명에 따른 이동체 경보 장치(100)에 대한 세부 구성은 도 2를 참조하여 보다 상세히 설명하도록 한다.The detailed structure of the moving object alarm device 100 according to the present invention will be described in more detail with reference to FIG.

도 2는 본 발명에 따른 차량 주변의 이동체 경보 장치의 구성을 도시한 블록도이다. 도 2를 참조하면, 본 발명에 따른 이동체 경보 장치(100)는, 제어부(110), 영상 취득부(120), 센서값 취득부(130), 출력부(140), 저장부(150), 이동체 검출부(160), 접근성 판단부(170) 및 출력 제어부(180)를 포함한다. 여기서, 제어부(110)는 이동체 경보 장치(100)의 각 부의 동작을 제어한다. 2 is a block diagram showing the configuration of a moving object alarm device in the vicinity of a vehicle according to the present invention. 2, the moving object alarm apparatus 100 according to the present invention includes a control unit 110, an image acquisition unit 120, a sensor value acquisition unit 130, an output unit 140, a storage unit 150, A moving object detection unit 160, an accessibility determination unit 170, and an output control unit 180. Here, the control unit 110 controls the operations of the respective units of the moving object alarm apparatus 100.

영상 취득부(120)는 차량에 구비된 카메라와 연결되어, 카메라로부터 촬영되는 주변영상을 취득한다. 이때, 카메라는 차량의 전, 후, 좌 및 우 중 적어도 한 방향에 배치된 카메라를 포함할 수 있다. 한편, 영상 취득부(120)는 차량에 AVM 시스템이 구비된 경우, AVM(Around View Monitoring) 시스템과 연결되어 AVM 시스템에 의해 생성된 탑 뷰 영상을 취득할 수도 있다. The image acquisition unit 120 is connected to a camera provided in the vehicle, and acquires a peripheral image photographed from the camera. At this time, the camera may include a camera disposed in at least one of the front, rear, left, and right directions of the vehicle. On the other hand, when the vehicle has an AVM system, the image acquisition unit 120 may acquire a top view image generated by the AVM system by being connected to an AVM (Around View Monitoring) system.

센서값 취득부(130)는 차량에 구비되어 차량 주변의 물체, 특히, 사람 또는 차량과 같은 이동체를 감지하는 센서와 연결되어, 해당 센서로부터 감지되는 센서값을 취득한다. 이때, 센서로부터 취득된 센서값은 차량과 이동체 간 거리 및 방향 정보를 포함할 수 있다. 여기서, 센서값 취득부(130)는 이동체를 검출하는 방식에 따라 생략될 수도 있다.The sensor value acquiring unit 130 is connected to a sensor for sensing an object around the vehicle, in particular, a moving object such as a person or a vehicle, and acquires a sensor value sensed by the sensor. At this time, the sensor value acquired from the sensor may include distance information and direction information between the vehicle and the moving object. Here, the sensor value acquiring unit 130 may be omitted depending on a method of detecting a moving object.

출력부(140)는 영상 취득부(120)에 의해 취득된 주변영상 또는 주변영상들을 뷰 변환하여 합성한 탑 뷰 영상을 표시할 수 있다. 또한, 출력부(140)는 탑 뷰 영상을 통해 이동체의 위치 및 접근 상태를 표시할 수 있다. 이때, 출력부(140)는 차량 내부의 모니터 및 내비게이션 등이 해당 될 수 있다. The output unit 140 may display a top view image obtained by performing a view conversion of the peripheral image or the surrounding images acquired by the image acquisition unit 120. In addition, the output unit 140 may display the position and the access state of the moving object through the top view image. At this time, the output unit 140 may correspond to a monitor and navigation in the vehicle.

한편, 출력부(140)는 이동체의 접근 상태에 대한 경보음을 출력하는 스피커 또는 알람수단을 포함할 수도 있다.Meanwhile, the output unit 140 may include a speaker or an alarm unit for outputting an alarm sound for the approaching state of the moving object.

저장부(150)는 이동체 경보 장치(100)의 동작을 위한 설정값이 저장되며, 영상 취득부(120)에 의해 취득된 주변영상 및 센서값 취득부(130)에 의해 취득된 센서값 등이 저장될 수 있다. 또한, 저장부(150)는 탑 뷰 영상 상에 이동체를 표시하기 위한 표시요소들의 정보가 저장될 수 있으며, 표시요소들의 정보는 이동체의 위치 및 접근성에 따라 다르게 설정될 수 있다. 또한, 저장부(150)는 이동체 검출부(160)로부터의 이동체 검출 정보 및 접근성 판단부(170)로부터의 판단 결과 등이 저장될 수도 있다.The storage unit 150 stores a set value for the operation of the moving object alarm apparatus 100 and stores the peripheral image acquired by the image acquisition unit 120 and the sensor value acquired by the sensor value acquisition unit 130 Lt; / RTI > In addition, the storage unit 150 may store information of display elements for displaying a moving object on the top view image, and the information of the display elements may be set differently according to the position and accessibility of the moving object. In addition, the storage unit 150 may store moving object detection information from the moving object detection unit 160, a determination result from the accessibility determination unit 170, and the like.

이동체 검출부(160)는 센서값 취득부(130)에 의해 취득된 센서값을 분석하여 차량 주변의 이동체를 검출하고, 검출된 이동체의 위치를 검출한다. 일 예로서, 이동체 검출부(160)는 차량과 이동체 간 거리 및 방향 정보 등을 검출하고, 이동체의 위치 변화에 따른 속도 및 가속도 정보 등을 검출한다.The moving object detection unit 160 detects the moving object around the vehicle by analyzing the sensor value acquired by the sensor value acquisition unit 130 and detects the position of the detected moving object. For example, the moving object detection unit 160 detects distance and direction information between the vehicle and the moving object, and detects velocity and acceleration information according to the positional change of the moving object.

한편, 이동체 검출부(160)는 영상 취득부(120)에 의해 취득된 주변영상을 분석하여 차량 주변의 이동체를 검출할 수 있다. 일 예로서, 이동체 검출부(160)는 주변영상 상의 좌표 정보를 이용하여 차량과 이동체 간 거리 및 방향 정보 등을 검출할 수 있다. 만일, 이동체 검출부(160)가 주변영상을 분석하여 차량 주변의 이동체를 검출하는 경우 센서값 취득부(130)는 생략될 수 있다. 물론, 이동체 검출부(160)는 주변영상과 센서값을 모두 적용하여 이동체를 검출할 수도 있다.On the other hand, the moving object detection unit 160 can detect a moving object around the vehicle by analyzing the surrounding image acquired by the image acquisition unit 120. [ For example, the moving object detection unit 160 may detect the distance and direction information between the vehicle and the moving object using the coordinate information on the surrounding image. If the moving object detecting unit 160 analyzes a surrounding image to detect a moving object around the vehicle, the sensor value obtaining unit 130 may be omitted. Of course, the moving object detection unit 160 may detect the moving object by applying both the surrounding image and the sensor value.

접근성 판단부(170)는 이동체 검출부(160)에 의해 검출된 이동체의 위치 정보를 분석하여 차량에 대한 이동체의 접근성을 판단한다. 이때, 접근성은 차량과 이동체 간 거리, 이동체의 접근 방향 및 속도 등에 따라 적어도 둘 이상의 접근 레벨을 설정하고, 설정된 값에 근거하여 차량 주변에서 검출된 이동체의 접근성을 판단할 수 있다. 예를 들어, 차량과 이동체 간 거리가 2m 내이면 '매우 위험', 2m 내지 9m 범위 내이면 '위험', 9m 이상이면 '주의'로 설정된 상태에서, 차량 주변에서 검출된 이동체의 진행 방향이 차량 방향이고, 차량 및 이동체 간 거리가 5m이면, 접근성 판단부(170)는 차량 주변에서 검출된 이동체의 접근성이 '위험'인 것으로 판단한다.The accessibility determination unit 170 analyzes the location information of the moving object detected by the moving object detection unit 160 to determine the accessibility of the moving object to the vehicle. At this time, the accessibility may set at least two access levels according to the distance between the vehicle and the moving object, the approach direction and the speed of the moving object, and determine the accessibility of the detected object around the vehicle based on the set value. For example, when the distance between the vehicle and the moving object is 'very dangerous' when the distance is within 2 m, 'danger' is within the range of 2 m to 9 m, Direction, and the distance between the vehicle and the moving object is 5 m, the accessibility determining unit 170 determines that the accessibility of the moving object detected in the vicinity of the vehicle is 'dangerous'.

한편, 접근성 판단부(170)는 차량과 이동체 간 거리, 이동체의 접근 방향 및 속도 등에 따라 차량 및 이동체 간 충돌 시간을 예측하여 충돌 시간에 따라 접근성을 판단할 수도 있다. 예를 들어, 차량과 이동체 간 충돌 시간이 2초 이내이면 '매우 위험', 2초 내지 5초 범위 내이면 '위험', 5초 이상이면 '주의'로 설정된 상태에서, 차량 및 이동체 간 충돌 예측 시간이 8초이면, 접근성 판단부(170)는 차량 주변에서 검출된 이동체의 접근성이 '주의'인 것으로 판단한다.Meanwhile, the accessibility determination unit 170 may estimate the access time according to the collision time by predicting the collision time between the vehicle and the moving object according to the distance between the vehicle and the moving object, the approach direction and the speed of the moving object, and the like. For example, if the collision time between the vehicle and the moving object is set to "very dangerous" within 2 seconds, "dangerous" within 2 seconds to 5 seconds, and "attention" If the time is 8 seconds, the accessibility determination unit 170 determines that the accessibility of the moving object detected in the vicinity of the vehicle is 'attention'.

여기서, 접근성 판단부(170)는 주변영상으로부터 취득된 이동체 검출 정보 및 센서값으로부터 취득된 이동체 검출 정보 중 적어도 하나를 기준으로 하여 검출된 이동체의 접근성을 판단할 수 있다.Here, the accessibility determination unit 170 can determine the accessibility of the detected moving object based on at least one of the moving object detection information acquired from the peripheral image and the moving object detection information acquired from the sensor value.

출력 제어부(180)는 영상 취득부(120)에 의해 취득된 주변영상들에 대한 탑 뷰 영상이 출력부(140)를 통해 표시되도록 한다. 이때, 출력 제어부(180)는 이동체 검출부(160)에 의해 이동체가 검출되면, 검출된 이동체가 탑 뷰 영상 상에 표시되도록 제어한다.여기서, 출력 제어부(180)는 검출된 이동체의 위치에 따라 대응하는 표시요소가 탑 뷰 영상 상에 표시되도록 한다. 구체적으로, 출력 제어부(180)는 검출된 이동체의 위치와 탑 뷰 영상의 범위를 비교하여 검출된 이동체의 위치가 탑 뷰 영상의 범위 외인 경우, 탑 뷰 영상 상에서 검출된 이동체가 위치한 방향에 검출된 이동체에 대응하는 표시요소가 표시되도록 한다. 이때, 탑 뷰 영상의 범위 외에 위치한 이동체에 대응하는 표시요소는 탑 뷰 영상의 테두리 또는 테두리에 근접하여 배치될 수 있다. 이에 대한 실시예는 도 3을 참조하여 보다 상세히 설명하도록 한다.The output control unit 180 causes the output unit 140 to display a top view image of the peripheral images acquired by the image acquisition unit 120. [ At this time, the output control unit 180 controls the detected moving object to be displayed on the top view image when the moving object is detected by the moving object detection unit 160. Here, the output control unit 180 may correspond to the detected position of the moving object To be displayed on the top view image. Specifically, the output control unit 180 compares the detected position of the moving object with the range of the top view image. If the detected position of the moving object is outside the range of the top view image, So that a display element corresponding to the moving object is displayed. At this time, the display elements corresponding to the moving object located outside the range of the top view image can be arranged close to the rim or rim of the top view image. An embodiment of this will be described in more detail with reference to FIG.

한편, 출력 제어부(180)는 검출된 이동체의 위치와 탑 뷰 영상의 범위를 비교하여 검출된 이동체의 위치가 탑 뷰 영상의 범위 내인 경우, 탑 뷰 영상 상에서 해당하는 위치에 검출된 이동체에 대응하는 표시요소가 표시되도록 한다. On the other hand, when the detected position of the moving object is within the range of the top view image by comparing the detected position of the moving object with the range of the top view image, the output control unit 180 determines whether the position of the moving object corresponding to the detected moving object Display elements are displayed.

일 예로서, 출력 제어부(180)는 주변영상으로부터 검출된 이동체 중 탑 뷰 영상의 범위에 포함된 이동체와 포함되지 않은 이동체를 분류하여, 각 이동체에 대응하는 표시요소가 표시되도록 할 수 있다. As an example, the output controller 180 may classify a moving object included in the range of the top view image of the moving object detected from the surrounding image and a moving object that is not included, and display elements corresponding to each moving object may be displayed.

다시 말해, 탑 뷰 영상은 주변영상들을 뷰 변환하여 합성한 영상이므로, 탑 뷰 영상을 생성하는 과정에서 원본 영상의 일부 영역이 제외될 수 있다. 이 경우, 주변영상 상에 포함된 이동체가 탑 뷰 영상 상에는 포함되지 않을 수도 있다. 따라서, 출력 제어부(180)는 주변영상을 통해 검출된 이동체가 탑 뷰 영상에 포함되지 않은 경우에도 표시요소를 통해 탑 뷰 영상 상에 해당 이동체의 정보가 표시되도록 한다.In other words, since the top view image is a synthesized image obtained by transforming the surrounding images, a part of the original image may be excluded in the process of generating the top view image. In this case, the moving object included on the surrounding image may not be included on the top view image. Accordingly, the output control unit 180 displays the information of the moving object on the top view image through the display element even if the moving object detected through the surrounding image is not included in the top view image.

다른 예로서, 출력 제어부(180)는 센서값으로부터 검출된 이동체 중 탑 뷰 영상의 범위에 포함된 이동체와 포함되지 않은 이동체를 분류하여, 각 이동체에 대응하는 표시요소가 표시되도록 할 수 있다.As another example, the output controller 180 may classify a moving object included in the range of the top view image of the moving object detected from the sensor value and a moving object that is not included, and display elements corresponding to each moving object may be displayed.

다시 말해, 거리측정센서의 측정 범위가 카메라의 촬영범위보다 넓기 때문에, 카메라를 통해 촬영되지 않은 영역의 이동체를 검출할 수도 있다. 따라서, 출력 제어부(180)는 센서값으로부터 검출된 이동체가 탑 뷰 영상에 포함되지 않은 경우에도 표시요소를 통해 탑 뷰 영상 상에 해당 이동체의 정보가 표시되도록 한다.In other words, since the measuring range of the distance measuring sensor is wider than the photographing range of the camera, a moving object in an area not photographed through the camera can be detected. Accordingly, the output control unit 180 displays the information of the moving object on the top view image through the display element even if the moving object detected from the sensor value is not included in the top view image.

이에 대한 실시예는 도 4를 참조하여 보다 상세히 설명하도록 한다.An embodiment of this will be described in more detail with reference to FIG.

이때, 검출된 이동체에 대응하는 표시요소는 검출된 이동체의 접근 방향 및 접근성을 나타내는 것으로 한다. 여기서, 출력 제어부(180)는 접근성 판단부(170)로부터의 이동체의 접근성에 따라 표시요소의 모양, 패턴, 명암, 색깔 및 크기 중 적어도 하나를 달리하여 표시하도록 한다. 이동체의 접근성에 따라 표시요소를 표시하는 실시예는 도 5a 내지 도 5f를 참조하여 보다 상세히 설명하도록 한다.At this time, the display element corresponding to the detected moving object indicates the approach direction and accessibility of the detected moving object. Here, the output control unit 180 displays at least one of the shape, pattern, lightness, color, and size of the display element in accordance with the accessibility of the moving object from the accessibility determination unit 170. An embodiment for displaying the display element according to the accessibility of the moving object will be described in more detail with reference to Figs. 5A to 5F.

도 3 및 도 4는 본 발명에 따른 차량 주변의 이동체 경보 장치에서의 이동체 표시 형태를 도시한 예시도이다.FIG. 3 and FIG. 4 are views showing an example of a display form of a moving object in the moving object alarm device around the vehicle according to the present invention.

먼저, 도 3은 탑 뷰 영상의 범위 외에서 검출된 이동체에 대응하는 표시요소의 실시예를 나타낸 것이다. First, FIG. 3 shows an embodiment of a display element corresponding to a moving object detected outside the range of the top view image.

도 3을 참조하면, 본 발명에 따른 이동체 검출 장치는 차량의 전방 우측 대각선 방향에서 검출된 이동체의 위치가 탑 뷰 영상의 범위 외인 경우에, 탑 뷰 영상의 전방 우측 대각선 방향에 이동체를 나타내는 표시요소(311, 321, 331, 341)를 배치하여 사용자가 탑 뷰 영상 외에서 접근하는 이동체를 확인할 수 있도록 한다.3, when the position of the moving object detected in the diagonal direction of the front right of the vehicle is outside the range of the top view image, the moving object detecting device according to the present invention displays the moving object in the diagonal direction, (311, 321, 331, 341) so that the user can identify the moving object which is accessed from outside the top view image.

이때, 이동체 경보 장치는 도 3의 (a), (b), (c)와 같이 탑 뷰 영상 상에 △ 형태의 표시요소(311, 321, 331)를 배치하여 이동체의 접근 방향을 나타낼 수 있으며, (d)와 같이 ○ 형태의 표시요소(341)를 배치하여 이동체의 접근성만을 나타낼 수도 있다. 이 경우, 이동체 경보 장치는 이동체의 접근성에 따라 (a) 및 (b)와 같이 표시요소(311, 321)의 패턴, 색상 또는 명암을 달리하거나, (c)와 같이 표시요소(331)의 크기를 달리하여 배치할 수 있다. 또한, 이동체 경보 장치는 이동체의 접근성에 따라 (d)와 같이 표시요소(341)의 모양을 달리하여 표시할 수도 있다.At this time, the moving object alarm device can display the approach direction of the moving object by arranging the display elements 311, 321, 331 of? Type on the top view image as shown in FIGS. 3A, 3B, and 3C the display element 341 may be arranged in the form of a circle as shown in (d) to indicate only the accessibility of the moving object. In this case, depending on the accessibility of the moving object, the moving object alarm device may have different patterns, colors or shades of the display elements 311 and 321 as shown in (a) and (b) As shown in FIG. Further, the moving object alarm device may be displayed in a different shape of the display element 341 as shown in (d) according to the accessibility of the moving object.

한편, 이동체 경보 장치는 탑 뷰 영상 상에 검출된 이동체에 대응하는 표시요소(311, 321, 331, 341)를 배치함과 동시에 이동체를 검출한 센서를 나타내는 표시요소(301)를 추가로 배치할 수도 있다.On the other hand, in the moving object alarm device, the display elements 311, 321, 331, and 341 corresponding to the moving object detected on the top view image are disposed, and the display element 301 representing the sensor that detects the moving object is further disposed It is possible.

도 4는 탑 뷰 영상의 범위 내에서 검출된 이동체에 대응하는 표시요소의 실시예를 나타낸 것이다.4 shows an embodiment of a display element corresponding to a moving object detected within the range of the top view image.

도 4를 참조하면, 본 발명에 따른 이동체 검출 장치는 차량의 후방 좌측 대각선 방향에서 검출된 이동체의 위치가 탑 뷰 영상의 범위 내인 경우에, 탑 뷰 영상 상의 해당 위치에 이동체에 대응하는 표시요소(20)를 배치하도록 한다. 더불어, 이동체 검출 장치는 탑 뷰 영상 내에서 검출된 이동체의 접근성을 나타내는 표시요소(411, 421, 431, 441)를 추가로 배치하여, 사용자가 이동체의 접근 상태를 쉽게 파악할 수 있도록 한다.4, when the position of the moving object detected in the diagonal direction of the rear left side of the vehicle is within the range of the top view image, the moving object detection apparatus according to the present invention detects the position 20 are arranged. In addition, the moving object detection apparatus further arranges the display elements 411, 421, 431, and 441 indicating the accessibility of the moving object detected in the top view image so that the user can easily grasp the approach state of the moving object.

이 경우, 이동체 경보 장치는 이동체의 접근성에 따라 (a) 및 (b)와 같이 표시요소(411, 421)의 색상 또는 명암을 달리하거나, (c)와 같이 표시요소(431)의 길이를 달리하여 배치할 수 있으며, (d)와 같이 표시요소(441)의 크기를 달리하여 배치할 수 있다.In this case, depending on the accessibility of the moving object, the moving object alarm device may have different color or contrast of the display elements 411 and 421 as shown in (a) and (b) And the display elements 441 may be arranged in different sizes as shown in (d).

한편, 이동체 경보 장치는 탑 뷰 영상 상에 이동체를 검출한 센서를 나타내는 표시요소(401)를 추가로 배치할 수도 있다.On the other hand, the moving object alarm device may further include a display element 401 indicating a sensor that detects a moving object on the top view image.

도 5a 내지 도 5f는 본 발명에 따른 차량 주변의 이동체 경보 장치의 이동체 경보 동작을 설명하는데 참조되는 예시도이다.FIGS. 5A to 5F are views for explaining a moving object alarm operation of the moving object alarm device around the vehicle according to the present invention.

먼저, 도 5a는 탑 뷰 영상(I)의 범위 외에서 두 개의 이동체가 검출되고, 탑 뷰 영상(I)의 범위 내에서 한 개의 이동체가 검출된 경우를 나타낸 것이다. 이때, 이동체에 대한 접근성이, 차량과 이동체 간 거리가 2m 내이면 '매우 위험', 2m 내지 9m 범위 내이면 '위험', 9m 이상이면 '주의'로 설정된 상태에서, 차량 및 제1 이동체(21) 간 거리는 9m, 제2 이동체(23) 간 거리는 5m, 제3 이동체(25) 간 거리는 1m인 것으로 가정한다.5A shows a case in which two moving objects are detected outside the range of the top view image I and one moving object is detected within the range of the top view image I. FIG. At this time, the accessibility to the moving object is determined by the distance between the vehicle and the first moving object 21 (" very dangerous " if the distance between the vehicle and the moving object is within 2 m, ) Is 9 m, the distance between the second moving bodies 23 is 5 m, and the distance between the third moving bodies 25 is 1 m.

여기서, 이동체 경보 장치는 탑 뷰 영상(I)의 범위 내에서 검출된 제3 이동체(25)를 탑 뷰 영상(I) 상에 표시하고, 각 이동체들(21, 23, 25)에 대응하는 표시요소(511, 513, 515)를 탑 뷰 영상(I) 상에 표시하도록 한다. 이때, 이동체 경보 장치는 제3 이동체(25)에 대응하는 표시요소(515)는 제3 이동체(25)의 위치에 배치하고, 탑 뷰 영상(I)의 범위 외에서 검출된 제1 이동체(21) 및 제2 이동체(23)에 대응하는 표시요소(511, 513)는 해당 이동체(21, 23)가 검출된 방향에 각각 표시하도록 한다.Here, the moving object alarm apparatus displays the third moving object 25 detected within the range of the top view image I on the top view image I, and displays a mark corresponding to each of the moving objects 21, 23, And displays the elements 511, 513, and 515 on the top view image I. [ At this time, in the moving object alarm device, the display element 515 corresponding to the third moving object 25 is disposed at the position of the third moving object 25, and the first moving object 21 detected outside the range of the top view image I, And the display elements 511 and 513 corresponding to the second moving body 23 are respectively displayed in the direction in which the moving bodies 21 and 23 are detected.

이동체 경보 장치는 각 이동체들(21, 23, 25)의 접근성에 따라 표시요소들(511, 513, 515)의 색상 또는 명암을 다르게 하여 표시하도록 한다. 이때, 제3 이동체(25)는 차 간 거리가 1m로 접근성이 '매우 위험'이므로, 이동체 경보 장치는 '매우 위험'에 해당되는 색상 또는 명암으로 표시요소(515)를 표시하도록 한다.The moving object alarm device displays the display elements 511, 513, and 515 with different colors or shades according to the accessibility of the moving objects 21, 23, and 25. At this time, since the accessibility of the third mobile unit 25 is 1 m and the accessibility is 'very dangerous', the moving object alarm unit displays the display unit 515 with a color or lightness corresponding to 'very dangerous'.

또한, 제2 이동체(23)는 차 간 거리가 5m로 접근성이 '위험'이므로, 이동체 경보 장치는 '위험'에 해당되는 색상 또는 명암으로 표시요소(513)를 표시하도록 한다. 또한, 제1 이동체(21)는 차 간 거리가 9m로 접근성이 '주의'이므로, 이동체 경보 장치는 '주의'에 해당되는 색상 또는 명암으로 표시요소(511)를 표시하도록 한다.Also, since the accessibility of the second mobile unit 23 is 5 m and the accessibility is 'dangerous', the mobile unit alarm unit displays the display unit 513 with a color or lightness corresponding to 'danger'. In addition, since the distance between the first mobile unit 21 is 9 m and the accessibility is 'attention', the mobile unit alarm unit displays the display unit 511 with a color or brightness corresponding to the 'attention'.

도 5b는 도 5a에서 제1 이동체(21) 및 제2 이동체(23)에 대응하는 표시요소(521, 523)들의 모양만을 다르게 하여 표시한 예를 나타낸 것이다.5B shows an example in which only the display elements 521 and 523 corresponding to the first mobile 21 and the second mobile 23 are displayed differently in FIG. 5A.

도 5c는 각 이동체에 대응하는 표시요소를 탑 뷰 영상 상에 표시함에 있어서, 표시요소를 대신하여 탑 뷰 영상(I)을 방향에 따라 네 개의 영역으로 분리하여, 분리된 각 영역을 통해 해당 방향에서 접근하는 이동체의 접근성을 나타낸 것이다.FIG. 5C is a diagram showing an example in which, in displaying a display element corresponding to each moving object on the top view image, instead of the display element, the top view image I is divided into four regions along the direction, The accessibility of the moving object is shown.

다시 말해, 이동체 경보 장치는 탑 뷰 영상(I)을 방향에 따라 전방 좌, 우, 후방 좌, 우의 네 개의 영역 R1, R2, R3 및 R4로 분리한다. 이때, 제2 이동체(23) 및 제3 이동체(25)의 접근성이 '위험'이면, 이동체 경보 장치는 제2 이동체(23)가 위치한 방향의 R2 및 제3 이동체(25)가 위치한 방향의 R3에 '위험'에 해당하는 색상 또는 명암을 표시하도록 한다. 또한, 이동체 경보 장치는 제1 이동체(21)의 접근성이 '주의'이면, 제1 이동체(21)가 위치한 방향의 R1에 '주의'에 해당하는 색상 또는 명암을 표시하도록 한다.In other words, the moving object alarm device separates the top view image I into four regions R1, R2, R3, and R4 of the front left, right, rear left, and right directions along the direction. At this time, if the accessibility of the second mobile unit 23 and the third mobile unit 25 is 'dangerous', then the moving object alarm device may be configured such that R2 in the direction in which the second moving object 23 is positioned and R3 in the direction in which the third moving object 25 is located To display the color or intensity corresponding to the "danger". Also, if the accessibility of the first mobile 21 is 'Attention', the moving object alarm device displays a color or lightness corresponding to the 'Attention' in R1 in the direction in which the first mobile 21 is located.

한편, 이동체 검출 장치는 차량의 후방 우측 방향에서는 이동체가 검출되지 않았으므로, R4에는 아무것도 표시하지 않는다.On the other hand, in the moving object detection device, no moving object is detected in the rear right direction of the vehicle, so nothing is displayed in R4.

도 5d는 도 5c를 좀 더 세분화하여 나타낸 것으로, 차량의 전, 후, 좌, 우 영역을 각각 세 개의 영역으로 분류하여, 이동체가 검출된 방향에 해당되는 영역에 검출된 이동체의 접근성에 따른 색상 또는 명암을 표시하도록 한 것이다.FIG. 5D is a more detailed view of FIG. 5C. In FIG. 5C, the front, rear, left, and right regions of the vehicle are classified into three regions and the color corresponding to the accessibility of the moving object detected in the region corresponding to the detected direction Or brightness.

이때, 이동체 경보 장치는 탑 뷰 영상의 전, 후, 좌, 우 테두리 영역을 세 개의 영역으로 분류한다. 예를 들어, 전방 테두리 영역을 A1, A2, A3으로 분류하고, 후방 테두리 영역을 B1, B2, B3으로 분류하고, 좌측 테두리 영역을 C1, C2, C3으로 분류하고, 우측 테두리 영역을 D1, D2, D3 영역으로 분류한다.At this time, the moving object alarm apparatus classifies the front, rear, left and right edge regions of the top view image into three regions. For example, the front edge area is classified as A1, A2, A3, the rear edge area is classified as B1, B2, B3, the left edge area is classified as C1, C2, C3, , And D3 regions.

이때, 제1 이동체(21)의 접근성이 '주의'이면, 이동체 경보 장치는 제1 이동체(21)가 위치한 방향의 영역, 즉, A1 및 C1에 '주의'에 해당하는 색상 또는 명암을 표시하도록 한다. 한편, 제2 이동체(23) 및 제3 이동체(25)의 접근성이 '위험'이면, 이동체 경보 장치는 제2 이동체(23)가 위치한 방향의 영역, 즉, A3 및 D1과, 제3 이동체(25)가 위치한 방향의 영역, 즉, B1 및 C3에 '위험'에 해당하는 색상 또는 명암을 표시하도록 한다.At this time, if the accessibility of the first mobile body 21 is 'Caution', the mobile body alarm apparatus displays the color or brightness corresponding to 'Caution' in the area in the direction of the first mobile body 21, do. On the other hand, if the accessibility of the second mobile unit 23 and the third mobile unit 25 is 'dangerous', the mobile unit alarm device can detect the area in the direction of the second mobile unit 23, that is, A3 and D1, 25 and the color or lightness corresponding to 'danger' in the areas B1 and C3 in the direction in which they are located.

한편, 도 5e는 도 5d와는 또 다른 예로서, 이동체 경보 장치는 탑 뷰 영상(I) 상에 각 방향에 따라 여덟 개의 영역으로 분리된 원 형상(P)을 표시하고, 이때 차량으로 접근하는 이동체의 접근성에 따라 해당하는 방향의 색상 또는 명암을 달리하여 표시하도록 할 수 있다.On the other hand, FIG. 5E is an example different from FIG. 5D. In FIG. 5D, the moving object alarm device displays a circular shape P separated into eight regions along each direction on the top view image I, The color or the brightness of the corresponding direction may be displayed in accordance with the accessibility of the display device.

다른 예로서, 이동체 경보 장치는 도 5f에 도시된 바와 같이, 차량 주변에서 검출된 이동체에 대응하는 표시요소를 표시하는 대신에, 검출된 이동체의 접근성에 따라 차량이 접근 가능한 방향을 나타내는 표시요소를 탑 뷰 영상 상에 배치할 수도 있다.As another example, instead of displaying the display element corresponding to the moving object detected in the vicinity of the vehicle, as shown in Fig. 5F, the moving object alarm device may display a display element indicating the direction in which the vehicle is accessible according to the accessibility of the detected moving object Or may be placed on the top view image.

상기와 같이 구성되는 본 발명에 따른 차량 주변의 이동체 경보 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.The operation flow of the moving object alarm apparatus around the vehicle according to the present invention will be described in more detail as follows.

도 6은 본 발명에 따른 차량 주변의 이동체 경보 방법에 대한 동작 흐름을 도시한 순서도이다. 도 6을 참조하면, 본 발명에 따른 이동체 경보 장치는 차량에 구비된 카메라를 통해 촬영된 주변영상을 취득하고(S100), 이때 취득된 주변영상을 이용하여 탑 뷰 영상을 생성한다(S110). 만일, 차량에 AVM 시스템이 구비되어, AVM 시스템으로부터 탑 뷰 영상을 취득하는 경우에 'S110' 과정은 생략 가능하다.6 is a flowchart showing an operation flow for a moving object alarm method around a vehicle according to the present invention. Referring to FIG. 6, the moving object alarm apparatus according to the present invention acquires a surrounding image photographed through a camera provided in the vehicle (S100), and generates a top view image using the acquired surrounding image (S110). If the AVM system is provided in the vehicle and the top view image is acquired from the AVM system, the process of 'S110' may be omitted.

또한, 이동체 경보 장치는 차량 주변의 이동체들을 감지하는 센서로부터 센서값을 취득한다(S120). 이때, 이동체 경보 장치는 'S120' 과정에서 취득된 센서값을 분석하여 탑 뷰 영상 내/외의 이동체를 검출한다(S130). 여기서, 차량에 구비된 센서의 감지 영역은 카메라의 촬영 영역보다 큰 것으로 하며, 이로써 탑 뷰 영상 내의 이동체뿐만 아니라 탑 뷰 영상 외의 이동체를 검출하는 것이 가능하다.In addition, the moving object alarm device acquires the sensor value from a sensor that detects moving objects around the vehicle (S120). At this time, the moving object alarm device analyzes the sensor value acquired in the process 'S120' to detect a moving object in / out of the top view image (S130). Here, it is possible to detect a moving object other than the moving object in the top view image as well as the top view image.

한편, 도 6에는 도시하지 않았으나, 이동체 경보 장치는 차량 주변에서 촬영된 주변영상을 분석하여 탑 뷰 영상 내/외의 이동체를 검출할 수도 있다. 다시 말해, 주변영상 상에서 이동체가 표시된 영역이 탑 뷰 영상을 생성하는 과정에서 제외된다면, 주변영상을 통해 검출된 이동체가 탑 뷰 영상 상에 표시되지 않을 수 있다. 이로부터 이동체 경보 장치는 주변영상을 분석하여 탑 뷰 영상 내/외의 이동체를 검출할 수 있다. 이 경우 'S120' 과정은 생략될 수 있다.Meanwhile, although not shown in FIG. 6, the moving object alarm apparatus may detect a moving object inside / outside the top view image by analyzing the surrounding images photographed in the vicinity of the vehicle. In other words, if the area where the moving object is displayed on the surrounding image is excluded from the process of generating the top view image, the moving object detected through the surrounding image may not be displayed on the top view image. From this, the moving object alarm device can detect a moving object inside / outside the top view image by analyzing the surrounding image. In this case, the 'S120' procedure may be omitted.

이동체 경보 장치는 'S130' 과정에서 검출된 이동체의 위치 정보를 분석하여 검출된 이동체의 접근성을 판단하고(S140), 탑 뷰 영상 상에 'S130' 과정에서 검출된 이동체의 접근성을 표시하도록 한다(S150). 이 경우, 이동체 경보 장치는 검출된 이동체의 위치와 탑 뷰 영상의 범위를 비교하여, 검출된 이동체의 위치가 탑 뷰 영상의 범위 내인 경우 탑 뷰 영상 상에서 해당하는 위치에 이동체에 대응하는 표시요소를 표시하고, 검출된 이동체의 위치가 탑 뷰 영상의 범위 외인 경우에는 탑 뷰 영상 상에서 이동체가 위치한 방향에 이동체에 대응하는 표시요소를 표시하도록 한다.The moving object alarm device analyzes the position information of the moving object detected in the step 'S130', determines the accessibility of the detected moving object (S140), and displays the accessibility of the moving object detected in the process 'S130' on the top view image S150). In this case, the moving object alarm device compares the detected position of the moving object with the range of the top view image, and when the detected position of the moving object is within the range of the top view image, When the detected position of the moving object is out of the range of the top view image, the display element corresponding to the moving object is displayed in the direction in which the moving object is located on the top view image.

이때, 이동체 경보 장치는 이동체의 접근성에 따라 이동체의 접근을 경보하여(S160), 사용자가 이동체의 접근을 인지할 수 있도록 한다.At this time, the moving object alarm alerts the approach of the moving object according to the accessibility of the moving object (S160) so that the user can recognize the approach of the moving object.

이상과 같이 본 발명에 의한 차량 주변의 이동체 경보 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.Although the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, Can be applied.

10: 차량 21, 25: 주변차량
100: 이동체 경보 장치 110: 제어부
120: 영상 취득부 130: 센서값 취득부
140: 출력부 150: 저장부
160: 이동체 검출부 170: 접근성 판단부
180: 출력 제어부10: vehicle 21, 25: nearby vehicle
100: Moving object alarm device 110:
120: image acquisition unit 130: sensor value acquisition unit
140: output unit 150: storage unit
160: Moving object detection unit 170: Accessibility judgment unit
180:

Claims (14)

차량에 구비된 카메라를 통해 촬영된 주변영상을 취득하는 영상 취득부;
상기 차량에 구비된 센서로부터 상기 카메라의 촬영 범위 내 및 상기 촬영 범위 외의 이동체들을 감지한 센서값을 취득하는 센서값 취득부;
상기 주변영상 및 상기 센서값을 분석하여 상기 차량의 주변에서 상기 카메라의 촬영범위 내에 존재하는 이동체의 좌표 정보를 이용하여 상기 차량과 이동체 간 거리 및 방향 정보를 검출하고, 상기 센서값을 분석하여 상기 카메라의 촬영범위 외에 존재하는 이동체의 정보를 이용하여 상기 차량과 이동체 간 거리 및 방향 정보를 검출하는 이동체 검출부; 및
상기 카메라를 통해 촬영된 적어도 하나의 주변영상들을 뷰 변환하여 합성한 탑 뷰 영상 내의 이동체에 대응하는 표시요소, 상기 검출된 이동체 중 상기 주변영상의 범위에는 포함되나 상기 탑 뷰 영상 생성 시 상기 탑 뷰 영상의 범위에 포함되지 않은 이동체에 대해 접근 방향 및 접근성을 나타내는 표시요소, 및 상기 센서값에 의해 검출된 이동체 중 상기 카메라의 촬영 범위 외에서 검출된 이동체에 대해 접근 방향 및 접근성을 나타내는 표시요소를 상기 탑 뷰 영상 상에 표시하도록 하는 출력 제어부를 포함하는 것을 특징으로 하는 차량 주변의 이동체 경보 장치.An image acquisition unit for acquiring a peripheral image photographed through a camera provided in the vehicle;
A sensor value acquiring unit for acquiring a sensor value that senses moving objects within a shooting range of the camera and outside the shooting range from a sensor provided in the vehicle;
Analyzing the peripheral image and the sensor value to detect distance and direction information between the vehicle and the moving object using coordinate information of the moving object existing within the shooting range of the camera in the vicinity of the vehicle, A moving object detection unit for detecting distance and direction information between the vehicle and the moving object using information of the moving object existing outside the photographing range of the camera; And
A display element corresponding to a moving object in a top view image obtained by transforming and combining at least one peripheral image photographed through the camera; and a display element included in the range of the surrounding image among the detected moving objects, A display element for indicating an approach direction and an accessibility to a moving object not included in the image range and a display element for indicating an approach direction and an accessibility to the moving object detected outside the photographing range of the camera among the moving objects detected by the sensor value, And an output control unit for displaying the top view image on the top view image. 청구항 1에 있어서,
상기 출력 제어부는,
상기 검출된 이동체의 위치와 상기 탑 뷰 영상의 범위를 비교하여, 상기 검출된 이동체의 위치가 상기 탑 뷰 영상의 범위 외인 경우 상기 탑 뷰 영상 상에서 상기 검출된 이동체가 위치한 방향에 상기 검출된 이동체의 접근 방향 및 접근성에 대응하는 표시요소를 표시하도록 하는 것을 특징으로 하는 차량 주변의 이동체 경보 장치.The method according to claim 1,
Wherein the output control unit comprises:
Comparing the detected position of the moving object with the range of the top view image, and when the detected position of the moving object is out of the range of the top view image, The display element corresponding to the approach direction and the accessibility is displayed. 청구항 1에 있어서,
상기 출력 제어부는,
상기 검출된 이동체의 위치와 상기 탑 뷰 영상의 범위를 비교하여, 상기 검출된 이동체의 위치가 상기 탑 뷰 영상의 범위 내인 경우 상기 탑 뷰 영상 상에서 해당하는 위치에 상기 검출된 이동체에 대응하는 표시요소를 표시하도록 하는 것을 특징으로 하는 차량 주변의 이동체 경보 장치.The method according to claim 1,
Wherein the output control unit comprises:
And comparing the detected position of the moving object with the range of the top view image. When the detected position of the moving object is within the range of the top view image, And a display unit for displaying the moving object. 삭제delete 청구항 1에 있어서,
상기 차량과 이동체 간 거리, 상기 이동체의 접근 방향, 속도 및 상기 차량과 이동체 간에 예측된 충돌 시간에 근거하여 상기 차량에 대한 상기 검출된 이동체의 접근성을 판단하는 접근성 판단부를 더 포함하는 것을 특징으로 하는 차량 주변의 이동체 경보 장치.The method according to claim 1,
Further comprising an accessibility determination unit for determining an accessibility of the detected moving object to the vehicle based on the distance between the vehicle and the moving object, the approach direction of the moving object, the speed, and the collision time predicted between the vehicle and the moving object Moving body alarm device around the vehicle. 청구항 5에 있어서,
상기 출력 제어부는,
상기 검출된 이동체의 접근성에 따라 상기 표시요소의 모양, 패턴, 명암, 색깔 및 크기 중 적어도 하나를 달리하여 표시하도록 하는 것을 특징으로 하는 차량 주변의 이동체 경보 장치.The method of claim 5,
Wherein the output control unit comprises:
Wherein at least one of the shape, pattern, lightness, color, and size of the display element is displayed differently according to the proximity of the detected moving object. 삭제delete 삭제delete 차량에 구비된 카메라를 통해 촬영된 주변영상을 취득하는 단계;
상기 차량에 구비된 센서로부터 상기 카메라의 촬영 범위 내 및 상기 촬영 범위 외의 이동체들을 감지한 센서값을 취득하는 단계;
상기 주변영상 및 상기 센서값을 분석하여 상기 차량의 주변에서 상기 카메라의 촬영범위 내에 존재하는 이동체의 좌표 정보를 이용하여 상기 차량과 이동체 간 거리 및 방향 정보를 검출하고, 상기 센서값을 분석하여 상기 카메라의 촬영범위 외에 존재하는 이동체의 정보를 이용하여 상기 차량과 이동체 간 거리 및 방향 정보를 검출하는 단계; 및
상기 카메라를 통해 촬영된 적어도 하나의 주변영상들을 뷰 변환하여 합성한 탑 뷰 영상 내의 이동체에 대응하는 표시요소, 상기 검출된 이동체 중 상기 주변영상의 범위에는 포함되나 상기 탑 뷰 영상 생성 시 상기 탑 뷰 영상의 범위에 포함되지 않은 이동체에 대해 접근 방향 및 접근성을 나타내는 표시요소, 및 상기 센서값에 의해 검출된 이동체 중 상기 카메라의 촬영 범위 외에서 검출된 이동체에 대해 접근 방향 및 접근성을 나타내는 표시요소를 상기 탑 뷰 영상 상에 표시하는 단계를 포함하는 것을 특징으로 하는 차량 주변의 이동체 경보 방법.Acquiring a peripheral image photographed through a camera provided in the vehicle;
Acquiring a sensor value that senses moving objects within a shooting range of the camera and outside the shooting range from a sensor provided in the vehicle;
Analyzing the peripheral image and the sensor value to detect distance and direction information between the vehicle and the moving object using coordinate information of the moving object existing within the shooting range of the camera in the vicinity of the vehicle, Detecting distance and direction information between the vehicle and the moving object using information of the moving object existing outside the photographing range of the camera; And
A display element corresponding to a moving object in a top view image obtained by transforming and combining at least one peripheral image photographed through the camera; and a display element included in the range of the surrounding image among the detected moving objects, A display element for indicating an approach direction and an accessibility to a moving object not included in the image range and a display element for indicating an approach direction and an accessibility to the moving object detected outside the photographing range of the camera among the moving objects detected by the sensor value, And displaying the top view image on the top view image. 청구항 9에 있어서,
상기 표시하는 단계는,
상기 검출된 이동체의 위치와 상기 탑 뷰 영상의 범위를 비교하여, 상기 검출된 이동체의 위치가 상기 주변영상의 범위 외인 경우 상기 탑 뷰 영상 상에서 상기 검출된 이동체가 위치한 방향에 상기 검출된 이동체의 접근 방향 및 접근성에 대응하는 표시요소를 표시하도록 하는 것을 특징으로 하는 차량 주변의 이동체 경보 방법.The method of claim 9,
Wherein the displaying comprises:
Comparing the detected position of the moving object with the range of the top view image, and when the detected position of the moving object is outside the range of the peripheral image, Direction and accessibility of the vehicle are displayed on the display unit. 청구항 9에 있어서,
상기 표시하는 단계는,
상기 검출된 이동체의 위치와 상기 탑 뷰 영상의 범위를 비교하여, 상기 검출된 이동체의 위치가 상기 탑 뷰 영상의 범위 내인 경우 상기 탑 뷰 영상 상에서 해당하는 위치에 상기 검출된 이동체의 접근 방향 및 접근성에 대응하는 표시요소를 표시하도록 하는 것을 특징으로 하는 차량 주변의 이동체 경보 방법.The method of claim 9,
Wherein the displaying comprises:
Comparing the detected position of the moving object and the range of the top view image to determine a direction and an approach direction of the detected moving object to a corresponding position on the top view image when the detected position of the moving object is within the range of the top view image To display the display element corresponding to the vehicle. 청구항 9에 있어서,
상기 차량과 이동체 간 거리, 상기 이동체의 접근 방향, 속도 및 상기 차량과 이동체 간에 예측된 충돌 시간에 근거하여 상기 차량에 대한 상기 검출된 이동체의 접근성을 판단하는 단계를 더 포함하는 것을 특징으로 하는 차량 주변의 이동체 경보 방법.The method of claim 9,
Further comprising the step of determining the accessibility of the detected moving object to the vehicle based on the distance between the vehicle and the moving object, the approach direction of the moving object, the speed, and the collision time predicted between the vehicle and the moving object. Moving body alarm method in the vicinity. 청구항 12에 있어서,
상기 표시하는 단계는,
상기 검출된 이동체의 접근성에 따라 상기 표시요소의 모양, 패턴, 명암, 색깔 및 크기 중 적어도 하나를 달리하여 표시하도록 하는 것을 특징으로 하는 차량 주변의 이동체 경보 방법.The method of claim 12,
Wherein the displaying comprises:
Wherein at least one of the shape, pattern, lightness, color, and size of the display element is displayed differently according to the proximity of the detected moving object. 삭제delete
KR1020120130245A 2012-11-16 2012-11-16 Apparatus and method for alerting moving-object of surrounding of vehicle KR101438921B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120130245A KR101438921B1 (en) 2012-11-16 2012-11-16 Apparatus and method for alerting moving-object of surrounding of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120130245A KR101438921B1 (en) 2012-11-16 2012-11-16 Apparatus and method for alerting moving-object of surrounding of vehicle

Publications (2)

Publication Number Publication Date
KR20140063186A KR20140063186A (en) 2014-05-27
KR101438921B1 true KR101438921B1 (en) 2014-09-11

Family

ID=50891250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120130245A KR101438921B1 (en) 2012-11-16 2012-11-16 Apparatus and method for alerting moving-object of surrounding of vehicle

Country Status (1)

Country Link
KR (1) KR101438921B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009024062A1 (en) * 2009-06-05 2010-12-09 Valeo Schalter Und Sensoren Gmbh Apparatus and method for displaying objects in a vehicle environment
KR102190891B1 (en) * 2014-09-22 2020-12-14 에스엘 주식회사 Environment monitoring apparatus and method for vehicle
JP7247851B2 (en) * 2019-10-11 2023-03-29 トヨタ自動車株式会社 driver assistance device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142545A (en) * 2005-11-15 2007-06-07 Denso Corp Vehicle periphery image processing apparatus and program
JP2008230476A (en) * 2007-03-22 2008-10-02 Denso Corp Vehicle outside image taking display system and image display control device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142545A (en) * 2005-11-15 2007-06-07 Denso Corp Vehicle periphery image processing apparatus and program
JP2008230476A (en) * 2007-03-22 2008-10-02 Denso Corp Vehicle outside image taking display system and image display control device

Also Published As

Publication number Publication date
KR20140063186A (en) 2014-05-27

Similar Documents

Publication Publication Date Title
JP6113375B2 (en) Driving support device and driving support method
JP4846426B2 (en) Vehicle perimeter monitoring device
JP5406328B2 (en) VEHICLE DISPLAY DEVICE, ITS CONTROL METHOD AND PROGRAM
JP4456086B2 (en) Vehicle periphery monitoring device
EP2541525B1 (en) Vehicle surroundings monitoring device
EP2784763A1 (en) Vehicle periphery monitoring device
US10846833B2 (en) System and method for visibility enhancement
JP6595219B2 (en) Object notification device and object notification method
JP2005012465A (en) Peripheral displaying device for vehicle
KR101438921B1 (en) Apparatus and method for alerting moving-object of surrounding of vehicle
JP2008026998A (en) Obstacle location calculation system and method
JP5003473B2 (en) Warning device
JP2006352368A (en) Vehicle surrounding monitoring apparatus and vehicle surrounding monitoring method
JP5192007B2 (en) Vehicle periphery monitoring device
JP2009276906A (en) Travelling information providing device
JP2006160193A (en) Vehicular drive supporting device
JP2007133644A (en) Pedestrian recognition device
JP2002049998A (en) Drive support device
WO2008037473A1 (en) Park assist system visually marking up dangerous objects
JP5604011B2 (en) Vehicle periphery monitoring device
JP2008114673A (en) Vehicle monitoring device
KR20160136779A (en) System and Method for Displaying State of Vehicle
JP2015156191A (en) Warning device and program
JP2007249324A (en) Vehicle surroundings monitoring system and program, vehicle, and method for configuring vehicle surroundings system
US11648876B2 (en) System and method for visibility enhancement

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180829

Year of fee payment: 5