KR20150080834A

KR20150080834A - Driver assistance apparatus and Vehicle including the same

Info

Publication number: KR20150080834A
Application number: KR1020140000343A
Authority: KR
Inventors: 진주경; 레디 야람 나레쉬; 박영경
Original assignee: 엘지전자 주식회사
Priority date: 2014-01-02
Filing date: 2014-01-02
Publication date: 2015-07-10
Also published as: KR101641491B1

Abstract

The present invention relates to a driver assistance apparatus, and a vehicle including the same. According to an embodiment of the present invention, the driver assistance apparatus comprises: a stereo camera; an interface part exchanging data with at least one internal device of the vehicle; and a processor detecting a road lane in front of the vehicle based on a stereo image received from the stereo camera, predicting a proceeding direction of the vehicle based on a vehicle driving information among sensor information received through an interface part, presenting that the vehicle gets into an adjacent lane based on the predicted proceeding direction of the vehicle, and controlling a lamp driving part formed inside the vehicle. Accordingly, a side entering signal can automatically be generated based on an image taken.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a vehicle driving assist apparatus and a vehicle having the same,

본 발명은 차량 운전 보조 장치 및 이를 구비한 차량에 관한 것이며, 더욱 상세하게는 촬영된 이미지를 기반으로 하여 자동으로 측면 진입 신호를 생성할 수 있는 차량 운전 보조 장치 및 이를 구비한 차량에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a vehicle driving assistant apparatus and a vehicle having the same, and more particularly, to a vehicle driving assistant apparatus capable of automatically generating a side entry signal based on a photographed image and a vehicle having the same.

차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.A vehicle is a device that moves a user in a desired direction by a boarding user. Typically, automobiles are examples.

한편, 차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위한 다양한 장치 등이 개발되고 있다. On the other hand, for the convenience of users who use the vehicle, various sensors and electronic devices are provided. In particular, various devices for the user's driving convenience have been developed.

본 발명의 목적은, 촬영된 이미지를 기반으로 하여 자동으로 측면 진입 신호를 생성할 수 있는 차량 운전 보조 장치 및 이를 구비한 차량을 제공함에 있다.It is an object of the present invention to provide a vehicle driving assistant device capable of automatically generating a side entrance signal based on a photographed image and a vehicle equipped with the same.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 차량 운전 보조 장치는, 스테레오 카메라와, 적어도 하나의 차량 내부 장치와 데이터를 교환하는 인터페이스부와, 스테레오 카메라로부터 수신되는 스테레오 이미지에 기초하여, 차량 전방의 차선을 검출하고, 스테레오 이미지, 및 인터페이스부를 통해 수신되는 센서 정보 중 차량 주행 정보에 기초하여, 차량의 진행 방향을 예측하며, 예측된 차량의 진행 방향에 기초하여, 차량이 인접 차선으로 진입하는 것을 나타내며, 차량 내에 구비되는 램프 구동부를 제어하기 위한, 측면 진입 신호를 생성하는 프로세서를 포함한다.According to an aspect of the present invention, there is provided a vehicle driving assist system including a stereo camera, an interface unit for exchanging data with at least one vehicle interior apparatus, The vehicle ahead direction is predicted based on the vehicle running information of the sensor information received through the interface and the stereo image, and the vehicle enters the adjacent lane on the basis of the predicted traveling direction of the vehicle And a processor for generating a side entry signal for controlling a lamp driving unit provided in the vehicle.

한편, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 차량 운전 보조 장치는, 모노 카메라와, 레이더와, 적어도 하나의 차량 내부 장치와 데이터를 교환하는 인터페이스부와, 모노 카메라로부터 수신되는 모노 이미지와 레이더로부터의 거리 정보에 기초하여, 차량 전방의 차선을 검출하고, 모노 이미지, 및 인터페이스부를 통해 수신되는 센서 정보 중 차량 주행 정보에 기초하여, 차량의 진행 방향을 예측하며, 예측된 차량의 진행 방향에 기초하여, 차량이 인접 차선으로 진입하는 것을 나타내며, 차량 내에 구비되는 램프 구동부를 제어하기 위한, 측면 진입 신호를 생성하는 프로세서를 포함한다.According to another aspect of the present invention, there is provided a vehicle driving assist system including a mono camera, a radar, an interface unit for exchanging data with at least one vehicle internal apparatus, And estimates the traveling direction of the vehicle based on the vehicle running information among the sensor information received through the mono image and the interface unit, and estimates the traveling direction of the predicted vehicle based on the distance information from the radar, And a processor for generating a side entry signal for controlling the lamp driving unit provided in the vehicle, based on the direction of the vehicle, indicating that the vehicle enters the adjacent lane.

한편, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 차량 운전 보조 장치는, 외부 대상물에 대해 스캐닝을 수행하는 라이더와, 적어도 하나의 차량 내부 장치와 데이터를 교환하는 인터페이스부와, 라이더로부터 수신되는 스캔 이미지에 기초하여, 차량 전방의 차선을 검출하고, 스캔 이미지, 및 인터페이스부를 통해 수신되는 센서 정보 중 차량 주행 정보에 기초하여, 차량의 진행 방향을 예측하며, 예측된 차량의 진행 방향에 기초하여, 차량이 인접 차선으로 진입하는 것을 나타내며, 차량 내에 구비되는 램프 구동부를 제어하기 위한, 측면 진입 신호를 생성하는 프로세서를 포함한다.According to another aspect of the present invention, there is provided a vehicle driving assist system including a rider performing scanning with respect to an external object, an interface unit exchanging data with at least one vehicle internal apparatus, Based on the scan image and the sensor information received via the interface unit, predicts the traveling direction of the vehicle based on the vehicle running information based on the scan image and the scan image based on the predicted traveling direction of the vehicle, And a processor for generating a side entry signal for controlling the lamp driving unit provided in the vehicle, which indicates that the vehicle enters the adjacent lane.

한편, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 차량은, 차량 상태를 센싱하는 센서부와, 램프를 구동하는 램프 구동부와, 램프 구동부를 제어하는 제어부와, 스테레오 카메라, 적어도 하나의 차량 내부 장치와 데이터를 교환하는 인터페이스부와, 스테레오 카메라로부터 수신되는 스테레오 이미지에 기초하여, 스테레오 카메라로부터 수신되는 스테레오 이미지에 기초하여, 차량 전방의 차선을 검출하고, 스테레오 이미지, 및 인터페이스부를 통해 수신되는 센서 정보 중 차량 주행 정보에 기초하여, 차량의 진행 방향을 예측하며, 예측된 차량의 진행 방향에 기초하여, 차량이 인접 차선으로 진입하는 것을 나타내며, 차량 내에 구비되는 램프 구동부를 제어하기 위한, 측면 진입 신호를 생성하는 프로세서를 구비하는 차량 운전 보조 장치를 포함한다.According to another aspect of the present invention, there is provided a vehicle including a sensor unit for sensing a vehicle state, a lamp driving unit for driving the lamp, a control unit for controlling the lamp driving unit, a stereo camera, An interface unit for exchanging data with an internal device, and a control unit for detecting a lane in front of the vehicle based on the stereo image received from the stereo camera based on the stereo image received from the stereo camera, The control unit predicts the traveling direction of the vehicle on the basis of the vehicle running information among the sensor information and indicates that the vehicle enters the adjacent lane based on the predicted traveling direction of the vehicle, A vehicle driving assist apparatus comprising a processor for generating an entry signal .

본 발명의 일 실시예에 따른 차량 운전 보조 장치는, 스테레오 이미지에 기초하여, 차량 전방의 차선을 검출하고, 스테레오 이미지, 및 인터페이스부를 통해 수신되는 센서 정보 중 차량 주행 정보에 기초하여, 차량의 진행 방향을 예측하며, 예측된 차량의 진행 방향에 기초하여, 차량이 인접 차선으로 진입하는 것을 나타내며, 차량 내에 구비되는 램프 구동부를 제어하기 위한, 측면 진입 신호를 생성함으로써, 자동으로 측면 진입 신호를 생성할 수 있게 된다. 이에 따라, 차량 운전자의 이용 편의성이 향상될 수 있다. A vehicle driving assist apparatus according to an embodiment of the present invention detects a lane in front of a vehicle based on a stereo image, and detects a lane in front of the vehicle based on a stereo image, and based on the vehicle running information among the sensor information received via the interface section, And generates a side entrance signal to control the lamp driving unit provided in the vehicle, based on the predicted traveling direction of the vehicle, thereby automatically generating a side entrance signal . Accordingly, the usability of the vehicle driver can be improved.

한편, 프로세서는, 차량 각도 정보 중 각속도 정보와, 검출된 차선 정보에 기초하여, 차량이 인접 차선으로 진입하는 것인지, 차량이 곡선 도로를 따라 주행하는 것인지, 차량이 측면 회전하는 것인지를 구분하며, 차량이 인접 차선으로 진입하는 경우에만, 측면 진입 신호를 생성함으로써, 정확하게 측면 진입 신호를 생성할 수 있게 된다.On the other hand, based on the angular velocity information in the vehicle angle information and the detected lane information, the processor distinguishes whether the vehicle enters the adjacent lane, whether the vehicle runs along a curved road, or whether the vehicle rotates sideways, Only when the vehicle enters the adjacent lane, by generating the side entering signal, it is possible to accurately generate the side entering signal.

한편, 스테레오 이미지 기반으로, 오브젝트 검출시, 스테레오 이미지를 이용하여 디스패러티를 연산하고, 디스패러티 정보에 기초하여, 오브젝트를 검출할 수 있게 되어, 데이터 처리 속도 등을 단축할 수 있게 된다.On the other hand, on the basis of a stereo image, when an object is detected, the disparity can be calculated using the stereo image, and the object can be detected based on the disparity information, so that the data processing speed and the like can be shortened.

도 1은 본 발명의 일 실시예에 따른 스테레오 카메라를 구비하는 차량의 외관을 도시한 도면이다.
도 2는 도 1의 차량에 부착되는 스테레오 카메라의 외관을 도시한 도면이다.
도 3a 내지 도 3b는 본 발명의 일실시예에 따른 차량 운전 보조 장치의 내부 블록도의 다양한 예를 예시한다.
도 4a 내지 도 4b는 도 3a 내지 도 3b의 프로세서의 내부 블록도의 다양한 예를 예시한다.
도 5a 내지 도 5b는 도 4a 내지 도 4b의 프로세서의 동작 설명에 참조되는 도면이다.
도 6a 내지 도 6b는 도 3a 내지 도 3b의 차량 운전 보조 장치의 동작 설명에 참조되는 도면이다.
도 7은 도 1의 차량 내부의 전자 제어 장치의 내부 블록도의 일예이다.
도 8은 본 발명의 일 실시예에 따른 차량 운전 보조 장치의 동작방법을 도시한 순서도이다.
도 9 내지 도 17은 도 8의 동작 방법의 설명을 위해 참조되는 도면이다.
도 18은 본 발명의 다른 실시예에 따른 모노 카메라를 구비하는 차량의 외관을 도시한 도면이다.
도 19a는 본 발명의 다른 실시예에 따른 차량 운전 보조 장치의 내부 블록도의 일예를 예시한다.
도 19b는 본 발명의 또 다른 실시예에 따른 차량 운전 보조 장치의 내부 블록도의 일예를 예시한다.
도 20a 내지 도 20b는 도 19a의 프로세서의 내부 블록도의 다양한 예를 예시한다.
도 21a 내지 도 21b는 도 20a의 프로세서의 동작 설명에 참조되는 도면이다.1 is a view showing the appearance of a vehicle having a stereo camera according to an embodiment of the present invention.
Fig. 2 is a view showing the appearance of a stereo camera attached to the vehicle of Fig. 1. Fig.
3A to 3B illustrate various examples of an internal block diagram of a vehicle driving assist apparatus according to an embodiment of the present invention.
Figures 4A-4B illustrate various examples of internal block diagrams of the processors of Figures 3A-3B.
Figures 5A-5B are views referenced in the operational description of the processors of Figures 4A-4B.
Figs. 6A and 6B are views referred to in the description of the operation of the vehicle driving assistance apparatus of Figs. 3A to 3B.
Fig. 7 is an example of an internal block diagram of the electronic control unit in the vehicle of Fig. 1. Fig.
8 is a flowchart illustrating an operation method of a driving assist system according to an embodiment of the present invention.
Figs. 9 to 17 are diagrams referred to for explanation of the operation method of Fig.
18 is a view showing the appearance of a vehicle having a mono camera according to another embodiment of the present invention.
FIG. 19A illustrates an example of an internal block diagram of a vehicle driving assist apparatus according to another embodiment of the present invention.
FIG. 19B illustrates an example of an internal block diagram of a vehicle driving assist apparatus according to another embodiment of the present invention.
Figures 20A-20B illustrate various examples of the internal block diagram of the processor of Figure 19A.
Figs. 21A and 21B are diagrams referred to in explaining the operation of the processor of Fig. 20A.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, the present invention will be described in detail with reference to the drawings.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.The suffix "module" and " part "for components used in the following description are given merely for convenience of description, and do not give special significance or role in themselves. Accordingly, the terms "module" and "part" may be used interchangeably.

본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.The vehicle described herein may be a concept including a car, a motorcycle. Hereinafter, the vehicle will be described mainly with respect to the vehicle.

한편, 본 명세서에서 기술되는 차량은, 엔진을 구비하는 차량, 엔진과 전기 모터를 구비하는 하이브리드 차량, 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다. 이하에서는, 엔진을 구비하는 차량을 위주로 기술한다.On the other hand, the vehicle described in the present specification may be a concept including both a vehicle having an engine, a hybrid vehicle having an engine and an electric motor, an electric vehicle having an electric motor, and the like. Hereinafter, a vehicle having an engine will be mainly described.

한편, 본 명세서에서 기술되는 차량 운전 보조 장치는, 첨단 차량 운전 보조 시스템(Advanced Driver Assistance Systems, ADAS) 또는 참단 차량 운전 보조 장치(Advanced Driver Assistance Apparatus, ADAA)라 할 수 있다. 이하에서는 본 발명의 다양한 실시예에 따른 차량의 차량 운전 보조 장치 및 이를 구비하는 차량에 대해 기술한다.Meanwhile, the vehicle driving assist device described in this specification may be referred to as an Advanced Driver Assistance System (ADAS) or an Advanced Driver Assistance Apparatus (ADAA). DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a vehicle driving assist apparatus and a vehicle including the same according to various embodiments of the present invention will be described.

도 1은 본 발명의 일 실시예에 따른 스테레오 카메라를 구비하는 차량의 외관을 도시한 도면이다.1 is a view showing the appearance of a vehicle having a stereo camera according to an embodiment of the present invention.

도면을 참조하면, 차량(200)은, 동력원에 의해 회전하는 바퀴(103FR,103FL,103RL,..), 차량(200)의 진행 방향을 조절하기 위한 핸들(150), 및 차량(200) 내부에 구비되는 스테레오 카메라(195)를 구비할 수 있다.Referring to the drawings, a vehicle 200 includes wheels 103FR, 103FL, 103RL, ... rotated by a power source, a handle 150 for adjusting the traveling direction of the vehicle 200, And a stereo camera 195 provided in the mobile terminal 200.

스테레오 카메라(195)는, 복수의 카메라를 구비할 수 있으며, 복수의 카메라에 의해 획득되는, 스테레오 이미지는, 차량 운전 보조 장치(도 3의 100) 내에서 신호 처리될 수 있다.The stereo camera 195 may include a plurality of cameras, and the stereo image obtained by the plurality of cameras may be signal-processed within the vehicle driving assistance apparatus 100 (Fig. 3).

한편, 도면에서는 스테레오 카메라(195)가 두 개의 카메라를 구비하는 것을 예시한다.On the other hand, the figure illustrates that the stereo camera 195 includes two cameras.

도 2는 도 1의 차량에 부착되는 스테레오 카메라의 외관을 도시한 도면이다.Fig. 2 is a view showing the appearance of a stereo camera attached to the vehicle of Fig. 1. Fig.

도면을 참조하면, 스테레오 카메라 모듈(195)은, 제1 렌즈(193a)를 구비하는 제1 카메라(195a), 제2 렌즈(193b)를 구비하는 제2 카메라(195b)를 구비할 수 있다.Referring to the drawing, the stereo camera module 195 may include a first camera 195a having a first lens 193a, and a second camera 195b having a second lens 193b.

한편, 스테레오 카메라 모듈(195)은, 각각, 제1 렌즈(193a)와 제2 렌즈(193b)에 입사되는 광을 차폐하기 위한, 제1 광 차폐부(light shield)(192a), 제2 광 차폐부(192b)를 구비할 수 있다. The stereo camera module 195 includes a first light shield 192a and a second light shield 192b for shielding light incident on the first lens 193a and the second lens 193b, Shielding portion 192b.

도면의 스테레오 카메라 모듈(195)은, 차량(200)의 천정 또는 전면 유리에 탈부착 가능한 구조일 수 있다.The stereo camera module 195 in the drawing may be a structure detachable from the ceiling or the windshield of the vehicle 200.

이러한 스테레오 카메라 모듈(195)을 구비하는 차량 운전 보조 장치(도 3의 100)는, 스테레오 카메라 모듈(195)로부터, 차량 전방에 대한 스테레오 이미지를 획득하고, 스테레오 이미지에 기초하여, 디스패러티(disparity) 검출을 수행하고, 디스패러티 정보에 기초하여, 적어도 하나의 스테레오 이미지에 대한, 오브젝트 검출을 수행하며, 오브젝트 검출 이후, 계속적으로, 오브젝트의 움직임을 트래킹할 수 있다. A vehicle driving assistance device 100 (Fig. 3) having such a stereo camera module 195 can acquire a stereo image from the stereo camera module 195 in front of the vehicle, and based on the stereo image, disparity ) Detection, perform object detection for at least one stereo image based on the disparity information, and continuously track the motion of the object after object detection.

도 3a 내지 도 3b는 본 발명의 일실시예에 따른 차량 운전 보조 장치의 내부 블록도의 다양한 예를 예시한다.3A to 3B illustrate various examples of an internal block diagram of a vehicle driving assist apparatus according to an embodiment of the present invention.

도 3a 내지 도 3b의 차량 운전 보조 장치(100)는, 스테레오 카메라(195)로부터 수신되는 스테레오 이미지를, 컴퓨터 비젼(computer vision) 기반을 바탕으로 신호 처리하여, 차량 관련 정보를 생성할 수 있다. 여기서 차량 관련 정보는, 차량에 대한 직접적인 제어를 위한 차량 제어 정보, 또는 차량 운전자에게 운전 가이드를 위한 차량 운전 보조 정보를 포함할 수 있다. 3A and 3B can generate vehicle-related information by signal processing the stereo image received from the stereo camera 195 based on computer vision. Here, the vehicle-related information may include vehicle control information for direct control of the vehicle, or vehicle driving assistance information for a driving guide to the vehicle driver.

먼저, 도 3a를 참조하면, 도 3a의 차량 운전 보조 장치(100)는, 통신부(120), 인터페이스부(130), 메모리(140), 프로세서(170), 전원 공급부(190), 및 스테레오 카메라(195)를 구비할 수 있다. 그 외, 오디오 입력부(미도시), 오디오 출력부(미도시)를 구비하는 것도 가능하다.3A, the vehicle driving assist system 100 of FIG. 3A includes a communication unit 120, an interface unit 130, a memory 140, a processor 170, a power supply unit 190, (Not shown). In addition, an audio input unit (not shown) and an audio output unit (not shown) may be provided.

통신부(120)는, 이동 단말기(600) 또는 서버(500)와 무선(wireless) 방식으로, 데이터를 교환할 수 있다. 특히, 통신부(120)는, 차량 운전자의 이동 단말기와, 무선으로 데이터를 교환할 수 있다. 무선 데이터 통신 방식으로는, 블루투스(Bluetooth), WiFi Direct, WiFi, APiX 등 다양한 데이터 통신 방식이 가능하다.The communication unit 120 can exchange data with the mobile terminal 600 or the server 500 in a wireless manner. In particular, the communication unit 120 can exchange data with a mobile terminal of a vehicle driver wirelessly. As a wireless data communication method, various data communication methods such as Bluetooth, WiFi Direct, WiFi, and APiX are possible.

통신부(120)는, 이동 단말기(600) 또는 서버(500)로부터, 날씨 정보, 도로의 교통 상황 정보, 예를 들어, TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다. 한편, 차량 운전 보조 장치(100)에서, 스테레오 이미지를 기반으로 파악한, 실시간 교통 정보를, 이동 단말기(600) 또는 서버(500)로 전송할 수도 있다.The communication unit 120 can receive weather information and traffic situation information on the road, for example, TPEG (Transport Protocol Expert Group) information from the mobile terminal 600 or the server 500. Meanwhile, the vehicle driving assistant device 100 may transmit real-time traffic information based on the stereo image to the mobile terminal 600 or the server 500. [

한편, 사용자가 차량에 탑승한 경우, 사용자의 이동 단말기(600)와 차량 운전 보조 장치(100)는, 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링(pairing)을 수행할 수 있다. On the other hand, when the user is boarded in the vehicle, the user's mobile terminal 600 and the vehicle driving assistant device 100 can perform pairing with each other automatically or by execution of the user's application.

인터페이스부(130)는, 차량 관련 데이터를 수신하거나, 프로세서(170)에서 처리 또는 생성된 신호를 외부로 전송할 수 있다. 이를 위해, 인터페이스부(130)는, 유선 통신 또는 무선 통신 방식에 의해, 차량 내부의 ECU(770), AVN(Audio Video Navigation) 장치(400), 센서부(760) 등과 데이터 통신을 수행할 수 있다.The interface unit 130 can receive the vehicle-related data or transmit the signal processed or generated by the processor 170 to the outside. To this end, the interface unit 130 can perform data communication with the ECU 770, the AVN (Audio Video Navigation) device 400, the sensor unit 760, and the like in the vehicle by a wire communication or a wireless communication method have.

인터페이스부(130)는, AVN 장치(400)와의 데이터 통신에 의해, 차량 주행과 관련한, 맵(map) 정보를 수신할 수 있다. The interface unit 130 can receive map information related to the vehicle driving by data communication with the AVN apparatus 400. [

한편, 인터페이스부(130)는, ECU(770) 또는 센서부(760)로부터, 센서 정보를 수신할 수 있다.On the other hand, the interface unit 130 can receive the sensor information from the ECU 770 or the sensor unit 760.

여기서, 센서 정보는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보 중 적어도 하나를 포함할 수 있다.Here, the sensor information includes at least one of vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward / backward information, battery information, fuel information, Lamp information, vehicle interior temperature information, and vehicle interior humidity information.

이러한 센서 정보는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서 등으로부터 획득될 수 있다. 한편, 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈을 포함할 수 있다.Such sensor information may include a heading sensor, a yaw sensor, a gyro sensor, a position module, a vehicle forward / backward sensor, a wheel sensor, a vehicle speed sensor, A vehicle body inclination sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor by steering wheel rotation, a vehicle internal temperature sensor, and a vehicle internal humidity sensor. On the other hand, the position module may include a GPS module for receiving GPS information.

한편, 센서 정보 중, 차량 주행과 관련한, 차량 방향 정보, 차량 위치 정보, 차량 각도 정보, 차량 속도 정보, 차량 기울기 정보 등을 차량 주행 정보라 명명할 수 있다. On the other hand, among the sensor information, the vehicle direction information, the vehicle position information, the vehicle angle information, the vehicle speed information, the vehicle tilt information, and the like relating to the vehicle running can be referred to as vehicle running information.

메모리(140)는, 프로세서(170)의 처리 또는 제어를 위한 프로그램 등, 차량 운전 보조 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. The memory 140 may store various data for operation of the vehicle driving assistance apparatus 100, such as a program for processing or controlling the processor 170. [

오디오 출력부(미도시)는, 프로세서(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 스피커 등을 구비할 수 있다. 오디오 출력부(미도시)는, 입력부(110), 즉 버튼의 동작에 대응하는, 사운드를 출력하는 것도 가능하다.An audio output unit (not shown) converts an electric signal from the processor 170 into an audio signal and outputs the audio signal. For this purpose, a speaker or the like may be provided. The audio output unit (not shown) can also output sound corresponding to the operation of the input unit 110, that is, the button.

오디오 입력부(미도시)는, 사용자 음성을 입력받을 수 있다. 이를 위해, 마이크를 구비할 수 있다. 수신되는 음성은, 전기 신호로 변환하여, 프로세서(170)로 전달될 수 있다.An audio input unit (not shown) can receive a user's voice. For this purpose, a microphone may be provided. The received voice may be converted to an electrical signal and transmitted to the processor 170.

프로세서(170)는, 차량 운전 보조 장치(100) 내의 각 유닛의 전반적인 동작을 제어한다. The processor 170 controls the overall operation of each unit in the vehicle driving assistance apparatus 100. [

특히, 프로세서(170)는, 컴퓨터 비젼(computer vision) 기반의 신호 처리를 수행한다. 이에 따라, 프로세서(170)는, 스테레오 카메라(195)로부터 차량 전방에 대한 스테레오 이미지를 획득하고, 스테레오 이미지에 기초하여, 차량 전방에 대한 디스패러티 연산을 수행하고, 연산된 디스패러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대한, 오브젝트 검출을 수행하며, 오브젝트 검출 이후, 계속적으로, 오브젝트의 움직임을 트래킹할 수 있다. In particular, the processor 170 performs signal processing based on computer vision. Accordingly, the processor 170 obtains a stereo image for the vehicle front from the stereo camera 195, performs a disparity calculation for the vehicle front based on the stereo image, and based on the calculated disparity information , Perform object detection for at least one of the stereo images, and continue to track object motion after object detection.

특히, 프로세서(170)는, 오브젝트 검출시, 차선 검출(Lane Detection), 주변 차량 검출(vehicle Detection), 보행자 검출(Pedestrian Detection), 교통 표지판 검출(Traffic Sign Detection), 도로면 검출 등을 수행할 수 있다.Particularly, when the object is detected, the processor 170 performs lane detection, vehicle detection, pedestrian detection, traffic sign detection, road surface detection, and the like .

그리고, 프로세서(170)는, 검출된 주변 차량에 대한 거리 연산, 검출된 주변 차량의 속도 연산, 검출된 주변 차량과의 속도 차이 연산 등을 수행할 수 있다.The processor 170 may perform a distance calculation to the detected nearby vehicle, a speed calculation of the detected nearby vehicle, a speed difference calculation with the detected nearby vehicle, and the like.

한편, 프로세서(170)는, 통신부(120)를 통해, 날씨 정보, 도로의 교통 상황 정보, 예를 들어, TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다.Meanwhile, the processor 170 can receive weather information, traffic situation information on the road, and TPEG (Transport Protocol Expert Group) information, for example, through the communication unit 120.

한편, 프로세서(170)는, 차량 운전 보조 장치(100)에서, 스테레오 이미지를 기반으로 파악한, 차량 주변 교통 상황 정보를, 실시간으로 파악할 수도 있다.Meanwhile, the processor 170 may grasp, in real time, the traffic situation information on the surroundings of the vehicle based on the stereo image, in the vehicle driving assistant device 100. [

한편, 프로세서(170)는, 인터페이스부(130)를 통해, AVN 장치(400)로부터 맵 정보 등을 수신할 수 있다. On the other hand, the processor 170 can receive map information and the like from the AVN apparatus 400 via the interface unit 130. [

한편, 프로세서(170)는, 인터페이스부(130)를 통해, ECU(770) 또는 센서부(760)로부터, 센서 정보를 수신할 수 있다. 여기서, 센서 정보는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보 중 적어도 하나를 포함할 수 있다.On the other hand, the processor 170 can receive the sensor information from the ECU 770 or the sensor unit 760 through the interface unit 130. [ Here, the sensor information includes at least one of vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward / backward information, battery information, fuel information, Lamp information, vehicle interior temperature information, and vehicle interior humidity information.

전원 공급부(190)는, 프로세서(170)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다. The power supply unit 190 can supply power necessary for the operation of each component under the control of the processor 170. [ Particularly, the power supply unit 190 can receive power from a battery or the like inside the vehicle.

스테레오 카메라(195)는, 복수의 카메라를 구비할 수 있다. 이하에서는 도 2 등에서 기술한 바와 같이, 2개의 카메라를 구비하는 것으로 한다.The stereo camera 195 may include a plurality of cameras. Hereinafter, as described with reference to FIG. 2 and the like, it is assumed that two cameras are provided.

스테레오 카메라(195)는, 차량(200)의 천정 또는 전면 유리에 탈부착 가능할 수 있으며, 제1 렌즈(193a)를 구비하는 제1 카메라(195a), 제2 렌즈(193b)를 구비하는 제2 카메라(195b)를 구비할 수 있다.The stereo camera 195 may be detachably attachable to the ceiling or the front glass of the vehicle 200 and may include a first camera 195a having a first lens 193a and a second camera 195a having a second lens 193b, (195b).

한편, 스테레오 카메라(195)는, 각각, 제1 렌즈(193a)와 제2 렌즈(193b)에 입사되는 광을 차폐하기 위한, 제1 광 차폐부(light shield)(192a), 제2 광 차폐부(192b)를 구비할 수 있다. The stereo camera 195 includes a first light shield 192a and a second light shield 192b for shielding light incident on the first lens 193a and the second lens 193b, And a portion 192b.

다음, 도 3b를 참조하면, 도 3b의 차량 운전 보조 장치(100)는, 도 3a의 차량 운전 보조 장치(100)에 비해, 입력부(110) 및 디스플레이(180)를 더 구비할 수 있다. 이하에서는 입력부(110), 및 디스플레이(180)에 대한 설명만을 기술한다.3B, the vehicle driving assistant apparatus 100 of FIG. 3B may further include an input unit 110 and a display 180 as compared to the vehicle driving assistant apparatus 100 of FIG. 3A. Only the description of the input unit 110 and the display 180 will be described below.

입력부(110)는, 차량 운전 보조 장치(100), 특히, 스테레오 카메라(195)에 부착되는 복수의 버튼 또는 터치 스크린을 구비할 수 있다. 복수의 버튼 또는 터치 스크린을 통해, 차량 운전 보조 장치(100)의 전원을 온 시켜, 동작시키는 것이 가능하다. 그 외, 다양한 입력 동작을 수행하는 것도 가능하다.The input unit 110 may include a plurality of buttons or touch screens attached to the vehicle driving assistance apparatus 100, particularly, the stereo camera 195. [ It is possible to turn on and operate the vehicle driving assistant 100 via a plurality of buttons or a touch screen. In addition, it is also possible to perform various input operations.

디스플레이(180)는, 차량 운전 보조 장치의 동작과 관련한 이미지를 표시할 수 있다. 이러한 이미지 표시를 위해, 디스플레이(180)는, 차량 내부 전면의 클러스터(cluster) 또는 HUD(Head Up Display)를 포함할 수 있다. 한편, 디스플레이(180)가 HUD 인 경우, 차량(200)의 전면 유리에 이미지를 투사하는 투사 모듈을 포함할 수 있다.The display 180 may display an image related to the operation of the vehicle driving assist system. For this image display, the display 180 may include a cluster or HUD (Head Up Display) on the inside of the vehicle interior. On the other hand, when the display 180 is the HUD, it may include a projection module that projects an image on the windshield of the vehicle 200. [

도 4a 내지 도 4b는 도 3a 내지 도 3b의 프로세서의 내부 블록도의 다양한 예를 예시하고, 도 5a 내지 도 5b는 도 4a 내지 도 4b의 프로세서의 동작 설명에 참조되는 도면이다.Figures 4A-4B illustrate various examples of internal block diagrams of the processors of Figures 3A-3B, and Figures 5A-B are views referenced in the operational description of the processors of Figures 4A-4B.

먼저, 도 4a를 참조하면, 도 4a는, 프로세서(170)의 내부 블록도의 일예로서, 차량 운전 보조 장치(100) 내의 프로세서(170)는, 영상 전처리부(410), 디스패러티 연산부(420), 오브젝트 검출부(434), 오브젝트 트래킹부(440), 및 어플리케이션부(450)를 구비할 수 있다.4A is an internal block diagram of the processor 170. The processor 170 in the vehicle driving assistance apparatus 100 includes an image preprocessing unit 410, a disparity computing unit 420, An object detecting unit 434, an object tracking unit 440, and an application unit 450.

영상 전처리부(image preprocessor)(410)는, 스테레오 카메라(195)로부터의 스테레오 이미지를 수신하여, 전처리(preprocessing)를 수행한다. An image preprocessor 410 receives the stereo image from the stereo camera 195 and performs preprocessing.

구체적으로, 영상 전처리부(410)는, 스테레오 이미지에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion;CSC), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 스테레오 카메라(195)에서 촬영된 스테레오 이미지 보다 선명한 스테레오 이미지를 획득할 수 있다.In detail, the image preprocessing unit 410 performs a noise reduction, a rectification, a calibration, a color enhancement, a color space conversion, and a color correction on a stereo image. CSC, interpolation, camera gain control, and the like. Accordingly, a stereo image that is clearer than the stereo image captured by the stereo camera 195 can be obtained.

디스패러티 연산부(disparity calculator)(420)는, 영상 전처리부(410)에서 신호 처리된, 스테레오 이미지를 수신하고, 수신된 스테레오 이미지들에 대한 스테레오 매칭(stereo matching)을 수행하며, 스테레오 매칭에 따른, 디스패러티 맵(dispartiy map)을 획득한다. 즉, 차량 전방에 대한, 스테레오 이미지에 대한 디스패러티 정보를 획득할 수 있다.The disparity calculator 420 receives the stereo image signal processed by the image preprocessing unit 410, performs stereo matching on the received stereo images, performs stereo matching on the received stereo images, , And obtains a disparty map. That is, it is possible to obtain the disparity information about the stereo image with respect to the front of the vehicle.

이때, 스테레오 매칭은, 스테레오 이미지들의 픽셀 단위로 또는 소정 블록 단위로 수행될 수 있다. 한편, 디스패러티 맵은, 스테레오 이미지, 즉 좌,우 이미지의 시차(時差) 정보(binocular parallax information)를 수치로 나타낸 맵을 의미할 수 있다.At this time, the stereo matching may be performed on a pixel-by-pixel basis of stereo images or on a predetermined block basis. On the other hand, the disparity map may mean a map in which binaural parallax information of stereo images, i.e., left and right images, is numerically expressed.

세그멘테이션부(segmentation unit)(432)는, 디스패러티 연산부(420)로부터의 디스페러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해, 세그먼트(segment) 및 클러스터링(clustering)을 수행할 수 있다.The segmentation unit 432 can perform segmentation and clustering on at least one of the stereo images based on the dispetity information from the disparity calculation unit 420. [

구체적으로, 세그멘테이션부(432)는, 디스페러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해,배경(background)과 전경(foreground)을 분리할 수 있다.Specifically, the segmentation unit 432 can separate the background and the foreground for at least one of the stereo images based on the disparity information.

예를 들어, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이하인 영역을, 배경으로 연산하고, 해당 부분을 제외시킬 수 있다. 이에 의해, 상대적으로 전경이 분리될 수 있다. For example, an area having dispaly information within a disparity map of a predetermined value or less can be calculated as a background, and the corresponding part can be excluded. Thereby, the foreground can be relatively separated.

다른 예로, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이상인 영역을, 전경으로 연산하고, 해당 부분을 추출할 수 있다. 이에 의해, 전경이 분리될 수 있다.As another example, an area in which the dispetity information is equal to or greater than a predetermined value in the disparity map can be calculated with the foreground, and the corresponding part can be extracted. Thereby, the foreground can be separated.

이와 같이, 스테레오 이미지에 기반하여 추출된 디스페러티 정보 정보에 기초하여, 전경과 배경을 분리함으로써, 이후의, 오브젝트 검출시, 신호 처리 속도, 신호 처리 양 등을 단축할 수 있게 된다.Thus, by separating the foreground and the background based on the disparity information information extracted based on the stereo image, it becomes possible to shorten the signal processing speed, signal processing amount, and the like at the time of object detection thereafter.

다음, 오브젝트 검출부(object detector)(434)는, 세그멘테이션부(432)로부터의 이미지 세그먼트에 기초하여, 오브젝트를 검출할 수 있다. Next, the object detector 434 can detect the object based on the image segment from the segmentation unit 432. [

즉, 오브젝트 검출부(434)는, 디스페러티 정보 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다.That is, the object detecting section 434 can detect the object for at least one of the stereo images based on the disparity information information.

구체적으로, 오브젝트 검출부(434)는, 스테레오 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 예를 들어, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다.Specifically, the object detecting unit 434 can detect an object for at least one of the stereo images. For example, an object can be detected from a foreground separated by an image segment.

다음, 오브젝트 확인부(object verification unit)(436)는, 분리된 오브젝트를 분류하고(classify), 확인한다(verify).Next, the object verification unit 436 classifies and verifies the isolated object.

이를 위해, 오브젝트 확인부(436)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.For this purpose, the object identifying unit 436 identifies the objects using a neural network identification method, a SVM (Support Vector Machine) method, a AdaBoost identification method using a Haar-like feature, or a Histograms of Oriented Gradients (HOG) Technique can be used.

한편, 오브젝트 확인부(436)는, 메모리(140)에 저장된 오브젝트들과, 검출된 오브젝트를 비교하여, 오브젝트를 확인할 수 있다.On the other hand, the object checking unit 436 can check the objects by comparing the objects stored in the memory 140 with the detected objects.

예를 들어, 오브젝트 확인부(436)는, 차량 주변에 위치하는, 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 확인할 수 있다. For example, the object checking unit 436 can identify nearby vehicles, lanes, roads, signs, hazardous areas, tunnels, and the like, which are located around the vehicle.

오브젝트 트래킹부(object tracking unit)(440)는, 확인된 오브젝트에 대한 트래킹을 수행한다. 예를 들어, 순차적으로, 획득되는 스테레오 이미지들에 내의, 오브젝트를 확인하고, 확인된 오브젝트의 움직임 또는 움직임 벡터를 연산하며, 연산된 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량 주변에 위치하는, 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 트래킹할 수 있게 된다. An object tracking unit 440 performs tracking on the identified object. For example, it sequentially identifies an object in the acquired stereo images, calculates a motion or a motion vector of the identified object, and tracks movement of the object based on the calculated motion or motion vector . Accordingly, it is possible to track nearby vehicles, lanes, roads, signs, dangerous areas, tunnels, etc., located in the vicinity of the vehicle.

다음, 어플리케이션부(450)는, 차량 주변에, 위치하는 다양한 오브젝트들, 예를 들어, 다른 차량, 차선, 도로면, 표지판 등에 기초하여, 차량(200)의 위험도 등을 연산할 수 있다. 또한, 앞차와의 추돌 가능성, 차량의 슬립 여부 등을 연산할 수 있다.Next, the application unit 450 can calculate the risk and the like of the vehicle 200 based on various objects located in the vicinity of the vehicle, for example, other vehicles, lanes, roads, signs, and the like. It is also possible to calculate the possibility of a collision with a preceding vehicle, whether the vehicle is slipping or the like.

그리고, 어플리케이션부(450)는, 연산된 위험도, 추돌 가능성, 또는 슬립 여부 등에 기초하여, 사용자에게, 이러한 정보를 알려주기 위한, 메시지 등을, 차량 운전 보조 정보로서, 출력할 수 있다. 또는, 차량(200)의 자세 제어 또는 주행 제어를 위한 제어 신호를, 차량 제어 정보로서, 생성할 수도 있다. Then, the application unit 450 can output a message or the like for notifying the user to the user as vehicle driving assistance information, based on the calculated risk, possibility of collision, or slip. Alternatively, a control signal for attitude control or running control of the vehicle 200 may be generated as the vehicle control information.

도 4b는 프로세서의 내부 블록도의 다른 예이다.4B is another example of an internal block diagram of the processor.

도면을 참조하면, 도 4b의 프로세서(170)는, 도 4a의 프로세서(170)와 내부 구성 유닛이 동일하나, 신호 처리 순서가 다른 것에 그 차이가 있다. 이하에서는 그 차이만을 기술한다.Referring to the drawings, the processor 170 of FIG. 4B has the same internal structure as the processor 170 of FIG. 4A, but differs in signal processing order. Only the difference will be described below.

오브젝트 검출부(434)는, 스테레오 이미지를 수신하고, 스테레오 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 도 4a와 달리, 디스패러티 정보에 기초하여, 세그먼트된 이미지에 대해, 오브젝트를 검출하는 것이 아닌, 스테레오 이미지로부터 바로 오브젝트를 검출할 수 있다. The object detection unit 434 receives the stereo image and can detect the object for at least one of the stereo images. 4A, it is possible to detect an object directly from the stereo image, instead of detecting the object, on the segmented image, based on the disparity information.

다음, 오브젝트 확인부(object verification unit)(436)는, 세그멘테이션부(432)로부터의 이미지 세그먼트, 및 오브젝트 검출부(434)에서 검출된 오브젝트에 기초하여, 검출 및 분리된 오브젝트를 분류하고(classify), 확인한다(verify).Next, the object verification unit 436 classifies the detected and separated objects based on the image segment from the segmentation unit 432 and the object detected by the object detection unit 434, (Verify).

도 5a와 도 5b는, 제1 및 제2 프레임 구간에서 각각 획득된 스테레오 이미지를 기반으로 하여, 도 4a의 프로세서(170)의 동작 방법 설명을 위해 참조되는 도면이다.FIGS. 5A and 5B are diagrams referenced for explaining the method of operation of the processor 170 of FIG. 4A based on the stereo images obtained respectively in the first and second frame periods.

먼저, 도 5a를 참조하면, 제1 프레임 구간 동안, 스테레오 카메라(195)는, 스테레오 이미지를 획득한다.First, referring to FIG. 5A, during the first frame period, the stereo camera 195 acquires a stereo image.

프로세서(170) 내의 디스패러티 연산부(420)는, 영상 전처리부(410)에서 신호 처리된, 스테레오 이미지(FR1a,FR1b)를 수신하고, 수신된 스테레오 이미지(FR1a,FR1b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(520)을 획득한다.The disparity calculating unit 420 in the processor 170 receives the stereo images FR1a and FR1b signal-processed by the image preprocessing unit 410 and performs stereo matching on the received stereo images FR1a and FR1b And obtains a disparity map (520).

디스패러티 맵(dispartiy map)(520)은, 스테레오 이미지(FR1a,FR1b) 사이의 시차를 레벨화한 것으로서, 디스패러티 레벨이 클수록, 차량과의 거리가 가깝고, 디스패러티 레벨이 작을수록, 차량과의 거리가 먼 것으로 연산할 수 있다.The disparity map 520 is obtained by leveling the parallax between the stereo images FR1a and FR1b. The higher the disparity level is, the closer the distance is from the vehicle, and the smaller the disparity level is, It is possible to calculate that the distance is long.

한편, 이러한 디스패러티 맵을 디스플레이 하는 경우, 디스패러티 레벨이 클수록, 높은 휘도를 가지고, 디스패러티 레벨이 작을수록 낮은 휘도를 가지도록 표시할 수도 있다.On the other hand, when such a disparity map is displayed, it may be displayed so as to have a higher luminance as the disparity level becomes larger, and a lower luminance as the disparity level becomes smaller.

도면에서는, 디스패러티 맵(520) 내에, 제1 차선 내지 제4 차선(528a,528b,528c,528d) 등이 각각 해당하는 디스패러티 레벨을 가지며, 공사 지역(522), 제1 전방 차량(524), 제2 전방 차량(526)이 각각 해당하는 디스패러티 레벨을 가지는 것을 예시한다.In the figure, first to fourth lanes 528a, 528b, 528c, and 528d have corresponding disparity levels in the disparity map 520, and the construction area 522, the first front vehicle 524 ) And the second front vehicle 526 have corresponding disparity levels, respectively.

세그멘테이션부(432)와, 오브젝트 검출부(434), 오브젝트 확인부(436)는, 디스패러티 맵(520)에 기초하여, 스테레오 이미지(FR1a,FR1b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.The segmentation unit 432, the object detection unit 434 and the object identification unit 436 determine whether or not the segments, the object detection, and the object detection information for at least one of the stereo images FR1a and FR1b based on the disparity map 520 Perform object verification.

도면에서는, 디스패러티 맵(520)을 사용하여, 제2 스테레오 이미지(FR1b)에 대한, 오브젝트 검출, 및 확인이 수행되는 것을 예시한다.In the figure, using the disparity map 520, object detection and confirmation for the second stereo image FRlb is performed.

즉, 이미지(530) 내에, 제1 차선 내지 제4 차선(538a,538b,538c,538d), 공사 지역(532), 제1 전방 차량(534), 제2 전방 차량(536)이, 오브젝트 검출 및 확인이수행될 수 있다.That is, the first to fourth lanes 538a, 538b, 538c, and 538d, the construction area 532, the first forward vehicle 534, and the second forward vehicle 536 are included in the image 530, And verification may be performed.

다음, 도 5b를 참조하면, 제2 프레임 구간 동안, 스테레오 카메라(195)는, 스테레오 이미지를 획득한다.Next, referring to FIG. 5B, during the second frame period, the stereo camera 195 acquires a stereo image.

프로세서(170) 내의 디스패러티 연산부(420)는, 영상 전처리부(410)에서 신호 처리된, 스테레오 이미지(FR2a,FR2b)를 수신하고, 수신된 스테레오 이미지(FR2a,FR2b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(540)을 획득한다.The disparity calculating unit 420 in the processor 170 receives the stereo images FR2a and FR2b processed by the image preprocessing unit 410 and performs stereo matching on the received stereo images FR2a and FR2b And obtains a disparity map (540).

도면에서는, 디스패러티 맵(540) 내에, 제1 차선 내지 제4 차선(548a,548b,548c,548d) 등이 각각 해당하는 디스패러티 레벨을 가지며, 공사 지역(542), 제1 전방 차량(544), 제2 전방 차량(546)이 각각 해당하는 디스패러티 레벨을 가지는 것을 예시한다.In the figure, the first to fourth lanes 548a, 548b, 548c, and 548d have corresponding disparity levels in the disparity map 540, and the construction area 542, the first forward vehicle 544 ) And the second front vehicle 546 have corresponding disparity levels, respectively.

세그멘테이션부(432)와, 오브젝트 검출부(434), 오브젝트 확인부(436)는, 디스패러티 맵(520)에 기초하여, 스테레오 이미지(FR2a,FR2b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.The segmentation unit 432, the object detection unit 434 and the object identification unit 436 are configured to determine whether or not a segment, an object detection, and an object detection are detected for at least one of the stereo images FR2a and FR2b based on the disparity map 520 Perform object verification.

도면에서는, 디스패러티 맵(540)을 사용하여, 제2 스테레오 이미지(FR2b)에 대한, 오브젝트 검출, 및 확인이 수행되는 것을 예시한다.In the figure, using the disparity map 540, object detection and confirmation for the second stereo image FR2b is performed.

즉, 이미지(550) 내에, 제1 차선 내지 제4 차선(558a,558b,558c,558d), 공사 지역(552), 제1 전방 차량(554), 제2 전방 차량(556)이, 오브젝트 검출 및 확인이수행될 수 있다.That is, in the image 550, the first to fourth lanes 558a, 558b, 558c, and 558d, the construction area 552, the first forward vehicle 554, and the second forward vehicle 556, And verification may be performed.

한편, 오브젝트 트래킹부(440)는, 도 5a와 도 5b를 비교하여, 확인된 오브젝트에 대한 트래킹을 수행할 수 있다. On the other hand, the object tracking unit 440 can compare the FIG. 5A and FIG. 5B and perform tracking on the identified object.

구체적으로, 오브젝트 트래킹부(440)는, 도 5a와 도 5b에서 확인된, 각 오브젝트들의 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량 주변에 위치하는, 차선, 공사 지역, 제1 전방 차량, 제2 전방 차량 등에 대한 트래킹을 수행할 수 있게 된다.Specifically, the object tracking unit 440 can track movement of the object based on the motion or motion vector of each object identified in FIGS. 5A and 5B. Accordingly, it is possible to perform tracking on the lane, the construction area, the first forward vehicle, the second forward vehicle, and the like, which are located in the vicinity of the vehicle.

도 6a 내지 도 6b는 도 3의 차량 운전 보조 장치의 동작 설명에 참조되는 도면이다.6A to 6B are diagrams referred to in the description of the operation of the vehicle driving assist system of FIG.

먼저, 도 6a는, 차량 내부에 구비되는 스테레오 카메라(195)에서 촬영되는 차량 전방 상황을 예시한 도면이다. 특히, 차량 전방 상황을 버드 아이 뷰(bird eye view)로 표시한다.First, FIG. 6A is a diagram illustrating a vehicle forward situation photographed by a stereo camera 195 provided inside a vehicle. In particular, the vehicle front view is indicated by a bird eye view.

도면을 참조하면, 왼쪽에서 오른쪽으로, 제1 차선(642a), 제2 차선(644a), 제3 차선(646a), 제4 차선(648a)이 위치하며, 제1 차선(642a)과 제2 차선(644a) 사이에 공사 지역(610a)이 위치하며, 제2 차선(644a)과 제3 차선(646a) 사이에 제1 전방 차량(620a)가 위치하며, 제3 차선(646a)과 제4 차선(648a) 사이에, 제2 전방 차량(630a)이 배치되는 것을 알 수 있다.Referring to the drawing, a first lane 642a, a second lane 644a, a third lane 646a, and a fourth lane 648a are located from the left to the right, and the first lane 642a and the second The construction area 610a is positioned between the lanes 644a and the first front vehicle 620a is positioned between the second lane 644a and the third lane 646a and the third lane 646a and the fourth It can be seen that the second forward vehicle 630a is disposed between the lane lines 648a.

다음, 도 6b는 차량 운전 보조 장치에 의해 파악되는 차량 전방 상황을 각종 정보와 함께 표시하는 것을 예시한다. 특히, 도 6b와 같은 이미지는, 차량 운전 보조 장치에서 제공되는 디스플레이(180) 또는 AVN 장치(400)에서 표시될 수도 있다.Next, FIG. 6B illustrates the display of the vehicle front state, which is grasped by the vehicle driving assist system, together with various information. In particular, the image as shown in FIG. 6B may be displayed on the display 180 or the AVN apparatus 400 provided in the vehicle driving assistance apparatus.

도 6b는, 도 6a와 달리, 스테레오 카메라(195)에서 촬영되는 이미지를 기반으로하여 정보 표시가 되는 것을 예시한다. 6B is different from FIG. 6A in that information is displayed on the basis of an image photographed by the stereo camera 195. FIG.

도면을 참조하면, 왼쪽에서 오른쪽으로, 제1 차선(642b), 제2 차선(644b), 제3 차선(646b), 제4 차선(648b)이 위치하며, 제1 차선(642b)과 제2 차선(644b) 사이에 공사 지역(610b)이 위치하며, 제2 차선(644b)과 제3 차선(646b) 사이에 제1 전방 차량(620b)가 위치하며, 제3 차선(646b)과 제4 차선(648b) 사이에, 제2 전방 차량(630b)이 배치되는 것을 알 수 있다.A first lane 642b, a second lane 644b, a third lane 646b and a fourth lane 648b are located from the left to the right and the first lane 642b and the second The construction area 610b is located between the lanes 644b and the first front vehicle 620b is located between the second lane 644b and the third lane 646b and the third lane 646b and the fourth It can be seen that the second forward vehicle 630b is disposed between the lane 648b.

차량 운전 보조 장치(100)는, 스테레오 카메라(195)에서 촬영되는 스테레오 이미지를 기반으로 하여, 신호 처리하여, 공사 지역(610b), 제1 전방 차량(620b), 제2 전방 차량(630b)에 대한 오브젝트를 확인할 수 있다. 또한, 제1 차선(642b), 제2 차선(644b), 제3 차선(646b), 제4 차선(648b)을 확인할 수 있다.The vehicle driving assistant 100 performs signal processing on the basis of the stereo image photographed by the stereo camera 195 and outputs it to the construction area 610b, the first front vehicle 620b, the second front vehicle 630b You can see the object for. In addition, the first lane 642b, the second lane 644b, the third lane 646b, and the fourth lane 648b can be confirmed.

한편, 도면에서는 공사 지역(610b), 제1 전방 차량(620b), 제2 전방 차량(630b)에 대한 오브젝트 확인을 나타내기 위해, 각각 테두리로 하이라이트되는 것을 예시한다.On the other hand, in the drawing, it is exemplified that each of them is highlighted by a frame to indicate object identification for the construction area 610b, the first forward vehicle 620b, and the second forward vehicle 630b.

한편, 차량 운전 보조 장치(100)는, 스테레오 카메라(195)에서 촬영되는 스테레오 이미지를 기반으로 하여, 공사 지역(610b), 제1 전방 차량(620b), 제2 전방 차량(630b)에 대한 거리 정보를 연산할 수 있다. On the other hand, the vehicle driving assistant apparatus 100 determines the distance to the construction area 610b, the first front vehicle 620b, the second front vehicle 630b based on the stereo image photographed by the stereo camera 195 Information can be computed.

도면에서는, 공사 지역(610b), 제1 전방 차량(620b), 제2 전방 차량(630b) 각각에 대응하는, 연산된 제1 거리 정보(611b), 제2 거리 정보(621b), 제3 거리 정보(631b)가 표시되는 것을 예시한다. In the figure, calculated first distance information 611b, second distance information 621b, and third distance information 621b corresponding to the construction area 610b, the first forward vehicle 620b, and the second forward vehicle 630b, respectively, Information 631b is displayed.

한편, 차량 운전 보조 장치(100)는, ECU(770) 또는 센서부(760)로부터 차량에 대한 센서 정보를 수신할 수 있다. 특히, 차량 속도 정보, 기어 정보, 차량의 회전각(요각)이 변하는 속도를 나타내는 요 레이트 정보(yaw rate), 차량의 각도 정보를 수신할 수 있으며, 이러한 정보들을 표시할 수 있다. On the other hand, the vehicle driving assistant apparatus 100 can receive sensor information about the vehicle from the ECU 770 or the sensor unit 760. [ Particularly, it is possible to receive and display the vehicle speed information, the gear information, the yaw rate indicating the speed at which the vehicle's rotational angle (yaw angle) changes, and the angle information of the vehicle.

도면에서는, 차량 전방 이미지 상부(670)에, 차량 속도 정보(672), 기어 정보(671), 요 레이트 정보(673)가 표시되는 것을 예시하며, 차량 전방 이미지 하부(680)에, 차량의 각도 정보(682)가 표시되는 것을 예시하나 다양한 예가 가능하다. 그 외, 차량의 폭 정보(683), 도로의 곡률 정보(681)가, 차량의 각도 정보(682)와 함께 표시될 수 있다.The figure illustrates that the vehicle speed information 672, the gear information 671 and the yaw rate information 673 are displayed on the vehicle front image upper portion 670. In the vehicle front image lower portion 680, Information 682 is displayed, but various examples are possible. Besides, the width information 683 of the vehicle and the curvature information 681 of the road can be displayed together with the angle information 682 of the vehicle.

한편, 차량 운전 보조 장치(100)는, 통신부(120) 또는 인터페이스부(130)를 통해, 차량 주행 중인 도로에 대한, 속도 제한 정보 등을 수신할 수 있다. 도면에서는, 속도 제한 정보(640b)가 표시되는 것을 예시한다.On the other hand, the vehicle driving assistant apparatus 100 can receive the speed limitation information and the like for the road running on the vehicle through the communication unit 120 or the interface unit 130. [ In the figure, it is exemplified that the speed limitation information 640b is displayed.

차량 운전 보조 장치(100)는, 도 6b에 도시된 다양한 정보들을 디스플레이(180) 등을 통해 표시하도록 할 수 있으나, 이와 달리, 별도의 표시 없이, 각종 정보를 저장할 수도 있다. 그리고, 이러한 정보들을 이용하여, 다양한 어플리케이션에 활용할 수도 있다.The vehicle driving assistant apparatus 100 may display various information shown in FIG. 6B through the display 180 or the like, but may store various information without a separate indication. And, by using such information, it can be utilized for various applications.

도 7은 도 1의 차량 내부의 전자 제어 장치의 내부 블록도의 일예이다.Fig. 7 is an example of an internal block diagram of the electronic control unit in the vehicle of Fig. 1. Fig.

도면을 참조하면, 차량(200)은 차량 제어를 위한 전자 제어 장치(700)를 구비할 수 있다. 전자 제어 장치(700)는, 상술한 차량 운전 보조 장치(100), 및 AVN 장치(400)와 데이터를 교환할 수 있다.Referring to the drawings, the vehicle 200 may include an electronic control device 700 for vehicle control. The electronic control device 700 can exchange data with the vehicle driving assistant device 100 and the AVN device 400 described above.

전자 제어 장치(700)는, 입력부(710), 통신부(720), 메모리(740), 램프 구동부(751), 조향 구동부(752), 브레이크 구동부(753), 동력원 구동부(754), 썬루프 구동부(755), 서스펜션 구동부(756), 공조 구동부(757), 윈도우 구동부(758), 에어백 구동부(759), 센서부(760), ECU(770), 표시부(780), 오디오 출력부(785), 전원 공급부(790)를 구비할 수 있다. The electronic control unit 700 includes an input unit 710, a communication unit 720, a memory 740, a lamp driving unit 751, a steering driving unit 752, a brake driving unit 753, a power source driving unit 754, An airbag driving unit 755, a suspension driving unit 756, an air conditioning driving unit 757, a window driving unit 758, an airbag driving unit 759, a sensor unit 760, an ECU 770, a display unit 780, an audio output unit 785, And a power supply unit 790.

입력부(710)는, 차량(200) 내부에 배치되는 복수의 버튼 또는 터치 스크린을 구비할 수 있다. 복수의 버튼 또는 터치 스크린을 통해, 다양한 입력 동작을 수행하는 것이 가능하다.The input unit 710 may include a plurality of buttons or a touch screen disposed inside the vehicle 200. Through a plurality of buttons or a touch screen, it is possible to perform various input operations.

통신부(720)는, 이동 단말기(600) 또는 서버(500)와 무선(wireless) 방식으로, 데이터를 교환할 수 있다. 특히, 통신부(720)는, 차량 운전자의 이동 단말기와, 무선으로 데이터를 교환할 수 있다. 무선 데이터 통신 방식으로는, 블루투스(Bluetooth), WiFi Direct, WiFi, APiX 등 다양한 데이터 통신 방식이 가능하다.The communication unit 720 can exchange data with the mobile terminal 600 or the server 500 in a wireless manner. In particular, the communication unit 720 can exchange data with the mobile terminal of the vehicle driver wirelessly. As a wireless data communication method, various data communication methods such as Bluetooth, WiFi Direct, WiFi, and APiX are possible.

통신부(720)는, 이동 단말기(600) 또는 서버(500)로부터, 날씨 정보, 도로의 교통 상황 정보, 예를 들어, TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다. The communication unit 720 can receive weather information and traffic situation information of the road, for example, TPEG (Transport Protocol Expert Group) information from the mobile terminal 600 or the server 500.

한편, 사용자가 차량에 탑승한 경우, 사용자의 이동 단말기(600)와 전자 제어 장치(700)는, 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링을 수행할 수 있다. On the other hand, when the user aboard the vehicle, the user's mobile terminal 600 and the electronic control device 700 can perform pairing with each other automatically or by execution of the user's application.

메모리(740)는, ECU(770)의 처리 또는 제어를 위한 프로그램 등, 전자 제어 장치(700) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. The memory 740 may store various data for operation of the electronic control unit 700, such as a program for processing or controlling the ECU 770. [

램프 구동부(751)는, 차량 내,외부에 배치되는 램프의 턴 온/턴 오프를 제어할 수 있다. 또한, 램프의 빛의 세기, 방향 등을 제어할 수 있다. 예를 들어, 방향 지시 램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.The lamp driving unit 751 can control the turn-on / turn-off of the lamps disposed inside and outside the vehicle. Also, the intensity, direction, etc. of the light of the lamp can be controlled. For example, it is possible to perform control on a direction indicating lamp, a brake lamp, and the like.

조향 구동부(752)는, 차량(200) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 차량의 진행 방향을 변경할 수 있다.The steering driver 752 may perform electronic control of the steering apparatus in the vehicle 200. [ Thus, the traveling direction of the vehicle can be changed.

브레이크 구동부(753)는, 차량(200) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 비퀴에 배치되는 브레이크의 동작을 제어하여, 차량(200)의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량(200)의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.The brake driver 753 can perform electronic control of the brake apparatus in the vehicle 200. [ For example, it is possible to reduce the speed of the vehicle 200 by controlling the operation of the brake disposed in the wheel. As another example, it is possible to adjust the traveling direction of the vehicle 200 to the left or right by differently operating the brakes respectively disposed on the left wheel and the right wheel.

동력원 구동부(754)는, 차량(200) 내의 동력원에 대한 전자식 제어를 수행할 수 있다. The power source driving section 754 can perform electronic control of the power source in the vehicle 200. [

예를 들어, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(754)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다.For example, when the fossil fuel-based engine is a power source, the power source drive unit 754 can perform electronic control of the engine. Thus, the output torque of the engine and the like can be controlled.

다른 예로, 전기 기반의 모터가 동력원인 경우, 동력원 구동부(754)는, 모터에 대한 제어를 수행할 수 있다. 이에 의해, 모터의 회전 속도, 토크 등을 제어할 수 있다.As another example, when the electric-based motor is a power source, the power source driving section 754 can perform control on the motor. Thus, the rotation speed, torque, etc. of the motor can be controlled.

썬루프 구동부(755)는, 차량(200) 내의 썬루프 장치(sunroof apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 썬루프의 개방 또는 폐쇄를 제어할 수 있다.The sunroof driving unit 755 can perform electronic control of the sunroof apparatus in the vehicle 200. [ For example, you can control the opening or closing of the sunroof.

서스펜션 구동부(756)는, 차량(200) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(200)의 진동이 저감되도록 제어할 수 있다.The suspension driving unit 756 may perform electronic control of suspension apparatus in the vehicle 200. [ For example, when there is a curvature on the road surface, it is possible to control the suspension device so as to reduce the vibration of the vehicle 200. [

공조 구동부(757)는, 차량(200) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다. The air conditioning driving unit 757 can perform electronic control of the air conditioner in the vehicle 200. [ For example, when the temperature inside the vehicle is high, the air conditioner can be operated to control the cooling air to be supplied into the vehicle.

윈도우 구동부(758)는, 차량(200) 내의 서스펜션 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 차량의 측면의 좌,우 윈도우들에 대한 개방 또는 폐쇄를 제어할 수 있다. The window driving unit 758 can perform electronic control on a window apparatus in the vehicle 200. [ For example, it can control the opening or closing of left and right windows on the side of the vehicle.

에어백 구동부(759)는, 차량(200) 내의 서스펜션 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 위험시, 에어백이 터지도록 제어할 수 있다.The airbag driver 759 can perform electronic control of the airbag apparatus in the vehicle 200. [ For example, at risk, the airbag can be controlled to fire.

센서부(760)는, 차량(100)의 주행 등과 관련한 신호를 센싱한다. 이를 위해, 센서부(760)는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서 등을 구비할 수 있다.The sensor unit 760 senses a signal related to the running or the like of the vehicle 100. [ To this end, the sensor unit 760 may include a heading sensor, a yaw sensor, a gyro sensor, a position module, a vehicle forward / backward sensor, a wheel sensor, A vehicle speed sensor, a vehicle body inclination sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor by steering wheel rotation, a vehicle interior temperature sensor, and a vehicle interior humidity sensor.

이에 의해, 센서부(760)는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보 등에 대한 센싱 신호를 획득할 수 있다.Thereby, the sensor unit 760 outputs the vehicle position information (GPS information), the vehicle angle information, the vehicle speed information, the vehicle acceleration information, the vehicle tilt information, the vehicle forward / backward information, the battery information, Tire information, vehicle lamp information, vehicle internal temperature information, vehicle interior humidity information, and the like.

한편, 센서부(760)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 구비할 수 있다.In addition, the sensor unit 760 may include an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor AFS, an intake air temperature sensor ATS, a water temperature sensor WTS, A position sensor (TPS), a TDC sensor, a crank angle sensor (CAS), and the like.

ECU(770)는, 전자 제어 장치(700) 내의 각 유닛의 전반적인 동작을 제어할 수 있다.The ECU 770 can control the overall operation of each unit in the electronic control unit 700. [

입력부(710)에 의한 입력에 의해, 특정 동작을 수행하거나, 센서부(760)에서 센싱된 신호를 수신하여, 차량 운전 보조 장치(100)로 전송할 수 있으며, AVN 장치(400)로부터 맵 정보를 수신할 수 있으며, 각 종 구동부(751,752, 753,754,756)의 동작을 제어할 수 있다.It is possible to perform a specific operation by the input by the input unit 710 or to receive the sensed signal from the sensor unit 760 and transmit the sensed signal to the vehicle driving assistant 100 and to transmit map information from the AVN apparatus 400 And can control the operation of each of the longitudinal drive units 751, 752, 753, 754, and 756.

또한, ECU(770)는, 통신부(720)로부터 날씨 정보, 도로의 교통 상황 정보, 예를 들어, TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다. Also, the ECU 770 can receive weather information and traffic situation information of the road, for example, TPEG (Transport Protocol Expert Group) information from the communication unit 720. [

표시부(780)는, 차량 운전 보조 장치의 동작과 관련한 이미지를 표시할 수 있다. 이러한 이미지 표시를 위해, 표시부(780)는, 차량 내부 전면의 클러스터(cluster) 또는 HUD(Head Up Display)를 포함할 수 있다. 한편, 표시부(780)가 HUD 인 경우, 차량(200)의 전면 유리에 이미지를 투사하는 투사 모듈을 포함할 수 있다. 한편, 표시부(780)는, 입력이 가능한, 터치 스크린을 포함할 수 있다.The display unit 780 can display an image related to the operation of the vehicle driving assist system. For this image display, the display unit 780 may include a cluster or an HUD (Head Up Display) on the inside of the vehicle interior. Meanwhile, when the display unit 780 is the HUD, it may include a projection module for projecting an image on the windshield of the vehicle 200. [ On the other hand, the display unit 780 may include a touch screen that can be input.

오디오 출력부(785)는, ECU(770)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 스피커 등을 구비할 수 있다. 오디오 출력부(785)는, 입력부(710), 즉 버튼의 동작에 대응하는, 사운드를 출력하는 것도 가능하다.The audio output unit 785 converts the electrical signal from the ECU 770 into an audio signal and outputs the audio signal. For this purpose, a speaker or the like may be provided. The audio output unit 785 can also output a sound corresponding to the operation of the input unit 710, that is, the button.

전원 공급부(790)는, ECU(770)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(790)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다. The power supply unit 790 can supply power necessary for operation of each component under the control of the ECU 770. [ Particularly, the power supply unit 790 can receive power from a battery (not shown) inside the vehicle.

도 8은 본 발명의 일 실시예에 따른 차량 운전 보조 장치의 동작방법을 도시한 순서도이다.8 is a flowchart illustrating an operation method of a driving assist system according to an embodiment of the present invention.

도면을 참조하면, 차량 운전 보조 장치(100)의 프로세서(170)는, 스테레오 카메라로부터 스테레오 이미지를 수신한다(S810). 그리고, 장치(100)의 프로세서(170)는, 인터페이스부(130)를 통해, 차량 주행 정보를 수신한다. 그리고, 차량 운전 보조 장치(100)의 프로세서(170)는, 수신되는 스테레오 이미지에 기초하여, 차량 주변 정보를 연산한다(S820).Referring to the drawings, the processor 170 of the vehicle driving assistant 100 receives a stereo image from a stereo camera (S810). The processor 170 of the apparatus 100 receives the vehicle running information through the interface unit 130. [ Then, the processor 170 of the vehicle driving assistant 100 calculates the peripheral information of the vehicle based on the received stereo image (S820).

도 2에서 설명한 바와 같이, 차량 내부에 배치되는 스테레오 카메라(195)를 통해, 차량 운전 보조 장치(100)의 프로세서(170)는, 제1 카메라(195a)를 통해 제1 이미지를 수신하고, 제2 카메라(195b)를 통해, 제2 이미지를 수신한다.2, the processor 170 of the vehicle driving assistant 100 receives the first image through the first camera 195a, and the second camera 195a through the stereo camera 195 disposed inside the vehicle, 2 camera 195b to receive the second image.

제1 카메라(195a)와 제2 카메라(195b) 사이의 거리가 있으므로, 제1 이미지와 제2 이미지는, 디스패러티(disparity)가 발생하게 된다.Since there is a distance between the first camera 195a and the second camera 195b, a disparity occurs between the first image and the second image.

차량 운전 보조 장치(100)의 프로세서(170)는, 제1 이미지와 제2 이미지 사이의 디스패러티를 연산하며, 연산된 디스패러티 정보를 이용하여, 제1 이미지와 제2 이미지 중 적어도 하나에 대해, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.The processor 170 of the vehicle driving assistance apparatus 100 calculates the disparity between the first image and the second image and calculates the disparity between the first image and the second image using at least one of the first image and the second image , Segments, object detection, and object identification.

그리고, 차량 운전 보조 장치(100)의 프로세서(170)는, 확인된 오브젝트, 예를 들어, 전방 차량, 차선, 구조물, 도로면 등에 대한 트래킹을 수행한다. 그리고, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량 전방에 위치하는 전방 차량 등에 대한, 거리 정보를 획득할 수 있다. 또한, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량 전방에 위치하는 전방 차량에 대한, 속도 정보, 상대 속도 정보 등을 획득할 수 있다.Then, the processor 170 of the vehicle driving assistant 100 performs tracking on the identified object, for example, a front vehicle, a lane, a structure, a road surface, and the like. Then, the processor 170 of the vehicle driving assistant 100 can obtain the distance information for the front vehicle or the like located in front of the vehicle. In addition, the processor 170 of the vehicle driving assistant 100 can acquire speed information, relative speed information, and the like with respect to the preceding vehicle located in front of the vehicle.

여기서, 스테레오 이미지에 기반한, 차량 주변 정보는, 차선, 구조물, 주변 차량을 포함하고, 또한, 주변 차량과의 거리 정보, 주변 차량의 속도 정보 등을 포함할 수 있다.Here, the vehicle periphery information based on the stereo image includes the lane, the structure, and the surrounding vehicles, and may also include distance information to the surrounding vehicles, speed information of the surrounding vehicles, and the like.

한편, 본 발명의 실시예와 관련하여, 차량 운전 보조 장치(100)의 프로세서(170)는, 차선을 검출 및 확인할 수 있다.Meanwhile, in connection with the embodiment of the present invention, the processor 170 of the vehicle driving assistant 100 can detect and confirm the lane.

차선(lane)은, 차선 변경 금지를 나타내는 차선 변경 금지 차선, 차선 변경 가능을 나타내는 차선 변경 가능 차선, 중앙선 등으로 구분 가능하며, 차량 운전 보조 장치(100)의 프로세서(170)는, 이러한 차선 등을 구분하여, 검출 및 확인할 수 있다.The lane may be divided into a lane change prohibited lane indicating prohibition of lane change, a lane changeable lane indicating lane change possibility, a center line, etc. The processor 170 of the vehicle driving assistant device Can be detected and confirmed.

차량 운전 보조 장치(100)의 프로세서(170)는, 인터페이스부(150)를 통해, 차량(200)의 ECU(770) 또는 센서부(760)로부터 센서 정보를 수신할 수 있다. 특히, 센서 정보 중 차량 주행 정보를 수신할 수 있다.The processor 170 of the vehicle driving assistant apparatus 100 can receive the sensor information from the ECU 770 or the sensor unit 760 of the vehicle 200 through the interface unit 150. [ Particularly, it is possible to receive the vehicle running information among the sensor information.

여기서, 차량 주행 정보는, 차량 방향 정보, 차량 위치 정보, 차량 각도 정보, 차량 속도 정보, 차량 기울기 정보 등을 포함할 수 있다.Here, the vehicle running information may include vehicle direction information, vehicle position information, vehicle angle information, vehicle speed information, vehicle inclination information, and the like.

다음, 차량 운전 보조 장치(100)의 프로세서(170)는, 스테레오 이미지 및 차량 주행 정보에 기초하여, 차량 진행 방향을 예측한다(S830). Next, the processor 170 of the vehicle driving assistant 100 predicts the vehicle traveling direction based on the stereo image and the vehicle running information (S830).

차량 운전 보조 장치(100)의 프로세서(170)는, 차량 주행 정보 중 차량 방향 정보 또는 차량 각도 정보 등에 기초하여, 차량 움직임 추정을 수행하고, 차량 움직임 추정 및, 스테레오 이미지 기반으로 검출된 차선 등에 기초하여, 차량의 진행 방향 추적을 수행할 수 있다. The processor 170 of the vehicle driving assistant 100 performs vehicle motion estimation based on the vehicle direction information or the vehicle angle information among the vehicle running information and performs the vehicle motion estimation based on the vehicle motion estimation and the lane detected on the basis of the stereo image, So as to perform tracking of the traveling direction of the vehicle.

그리고, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량의 진행 방향 추적에 기초하여, 차량의 진행 방향을 예측할 수 있다.The processor 170 of the vehicle driving assistant 100 can predict the traveling direction of the vehicle based on the tracking of the traveling direction of the vehicle.

다음, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량이 인접 차선을 크로싱(crossing)하는 지, 크로싱 예측이 되는지를 연산하고(S835), 해당하는 경우, 측면 진입 신호를 생성한다(S840).Next, the processor 170 of the vehicle driving assistant 100 calculates whether the vehicle crosses an adjacent lane or whether it is a crossing prediction (S835), and generates a side entrance signal, if applicable S840).

구채적으로, 차량 운전 보조 장치(100)의 프로세서(170)는, 스테레오 이미지에 기초하여 검출된 차선 정보와, 차량 주행 정보 중 차량 방향 정보 또는 차량 각도 정보 중 적어도 하나에 기초하여, 차량의 앞 바퀴 또는 앞 범퍼가 인접 차선을 크로싱(crossing)하는 지, 또는 크로싱 예측이 되는지를, 연산하고, 크로싱이거나, 크로싱 예측이 되는 경우, 측면 진입 신호를 생성할 수 있다.The processor 170 of the vehicle driving assistant device 100 may be configured to determine whether the vehicle is ahead of the vehicle based on at least one of the lane information detected based on the stereo image and the vehicle direction information or the vehicle angle information of the vehicle running information Whether the wheel or the front bumper crosses an adjacent lane or a crossing prediction is calculated, and a side entrance signal can be generated when it is a crossing or a crossing prediction.

예를 들어, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량 각도 정보 등에 기초한 차량의 방향이, 검출된 차선과 교차하는 방향이면서, 검출된 차선과 차량의 거리가 소정 거리 이하인 경우, 측면 진입 신호를 생성할 수 있다.For example, when the direction of the vehicle based on the vehicle angle information is a direction intersecting the detected lane, and the distance between the detected lane and the vehicle is equal to or less than a predetermined distance, the processor 170 of the vehicle driving assistant 100, A side entrance signal can be generated.

다른 예로, 차량 운전 보조 장치(100)의 프로세서(170)는, 검출된 차선과 차량 사이의 각도가, 소정 각도 이상인 경우, 측면 진입 신호를 생성할 수 있다.As another example, the processor 170 of the vehicle driving assistant 100 can generate the side entrance signal when the angle between the detected lane and the vehicle is greater than or equal to a predetermined angle.

한편, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량 각도 정보 중 각속도 정보와, 검출된 차선 정보에 기초하여, 차량이 인접 차선으로 진입하는 것인지, 차량이 곡선 도로를 따라 주행하는 것인지, 차량이 측면 회전하는 것인지를 구분하며, 차량이 인접 차선으로 진입하는 경우에만, 측면 진입 신호를 생성할 수도 있다.On the other hand, the processor 170 of the vehicle driving assistant 100 determines whether the vehicle enters the adjacent lane or whether the vehicle runs along the curved road based on the angular velocity information and the detected lane information of the vehicle angle information , Whether the vehicle is turning sideways, and may generate a side entry signal only when the vehicle enters the adjacent lane.

이러한, 측면 진입 신호는, ECU(770)를 거쳐, 램프 구동부(751)에 전달될 수 있으며, 이에 의해, 해당 램프가 턴 온될 수 있다.This side entry signal can be transmitted to the lamp driver 751 via the ECU 770, whereby the lamp can be turned on.

예를 들어, 좌측 차선 진입시, 좌측 진입 신호가 생성되어, 차량 외부의 좌측 전방 램프, 좌측 후방 램프가 턴 온될 수 있다.For example, when entering the left lane, a left entry signal is generated, and the left front lamp and the left rear lamp outside the vehicle can be turned on.

다른 예로, 우측 차선 진입시, 우측 진입 신호가 생성되어, 차량 외부의 우측 전방 램프, 우측 후방 램프가 턴 온될 수 있다.As another example, when entering the right lane, the right entry signal is generated, and the right front lamp and the right rear lamp outside the vehicle can be turned on.

다음, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량이 인접 차선 크로싱 이후, 인접 차선으로의 진입을 완료하였는 지를 연산하고(S845), 해당하는 경우, 측면 진입 신호의 생성을 오프시킨다(S850).Next, the processor 170 of the vehicle driving assistant 100 calculates whether the vehicle has entered the adjacent lane after the adjacent lane crossing (S845), and turns off the generation of the side entrance signal, if applicable (S850).

차량 운전 보조 장치(100)의 프로세서(170)는, 계속해서 검출되는 차선과, 차량의 움직임에 기초하여, 차량이 인접 차선 크로싱 이후, 인접 차선으로의 진입을 완료하였는 지를 연산할 수 있다.The processor 170 of the vehicle driving assistant 100 can calculate whether the vehicle has completed entry into the adjacent lane after the adjacent lane crossing based on the lane continuously detected and the movement of the vehicle.

예를 들어, 진입 완료 여부는, 차량의 뒷 바퀴 또는 뒷 범퍼가, 앞 바퀴 또난 앞 범퍼에 의해 크로싱되었된, 인접 차선과 다시 크로싱되는 지 여부에 기초하여, 연산될 수 있다.For example, the completion of the entry may be calculated based on whether the rear wheel or rear bumper of the vehicle is crossed again with the adjacent lane that has been crossed by the front wheel bumper front bumper.

다른 예로, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량이 인접 차선으로 진입하여, 진입된 차선과 나란히 주행하는 경우, 인접 차선으로의 진입 완료로 판단할 수도 있다.As another example, the processor 170 of the vehicle driving assistant device 100 may determine that the vehicle has entered the adjacent lane and then proceeds to the adjacent lane when the vehicle runs side by side with the entered lane.

차량 운전 보조 장치(100)의 프로세서(170)는, 인접 차선으로의 진입이 완료된 경우, 생성되어 출력되고 있던, 측면 진입 신호의 생성을 오프시킬 수 있다. 또는, 측면 진입 완료 신호를 생성하여 출력할 수도 있다. The processor 170 of the vehicle driving assistant 100 can turn off the generation of the side entrance signal that has been generated and output when the entrance to the adjacent lane is completed. Alternatively, a side entry completion signal may be generated and output.

이에 의해, 차량 내의 램프는 턴 오프될 수 있다.Thereby, the lamp in the vehicle can be turned off.

예를 들어, 좌측 차선 진입 완료시, 동작하던 차량 외부의 좌측 전방 램프, 좌측 후방 램프가 턴 오프될 수 있다.For example, when the left lane entry is completed, the left front lamp and the left rear lamp outside the vehicle that were operating may be turned off.

다른 예로, 우측 차선 진입 완료시, 동작하던 차량 외부의 우측 전방 램프, 우측 후방 램프가 턴 오프될 수 있다.As another example, when the right lane entry is completed, the right front lamp and the right rear lamp outside the vehicle that have operated can be turned off.

이와 같이, 측면 진입 신호를 자동으로 생성하여, 램프를 턴 온시켰다가, 자동으로 오프시켜, 램프를 턴 오프시킬 수 있게 되어, 차량 운전자가 수동으로, 측면 진입 버튼 등을 동작시키지 않아도 되므로, 차량 운전자의 이용 편의성이 향상될 수 있다. In this manner, the side entry signal is automatically generated, the lamp is turned on, and the lamp is automatically turned off, so that the lamp can be turned off, so that the driver of the vehicle does not have to manually operate the side entry button, The usability of the driver can be improved.

또한, 차량의 후방에 위치하는 주변 차량은, 자동으로 생성된 측면 진입 신호에 기초하여, 해당 차량의 측면 진입 신호를 파악할 수 있게 되므로, 차량 안정성이 향상될 수 있게 된다.Further, the peripheral vehicle located in the rear of the vehicle can grasp the side entrance signal of the vehicle based on the automatically generated side entrance signal, so that the vehicle stability can be improved.

도 9는 측면 진입 신호 생성을 위한 프로세서의 내부 블록도의 일예를 예시한다.9 illustrates an example of an internal block diagram of a processor for generating a side entrance signal.

도면을 참조하면, 차량 운전 보조 장치(100)의 프로세서(170)는, 차선 검출부(910), 거리 검출부(920), 속도 검출부(930), 측면 진입 신호 생성부(940)를 구비할 수 있다.The processor 170 of the vehicle driving assistant 100 may include a lane detecting unit 910, a distance detecting unit 920, a speed detecting unit 930, and a side entrance signal generating unit 940 .

차량 운전 보조 장치(100)의 프로세서(170)는, 스테레오 카메라(195)로부터 스테레오 이미지(Simg)를 수신하며, 인터페이스부(130)를 통해, AVN 장치(400)로부터 맵 정보(Smp)를 수신하고, ECU(770) 또는 센서부(760)로부터 차량 주행 정보(Scar)를 수신할 수 있다. The processor 170 of the vehicle driving assistance apparatus 100 receives the stereo image (Simg) from the stereo camera 195 and receives map information Smp from the AVN apparatus 400 via the interface unit 130 And can receive the vehicle running information Scar from the ECU 770 or the sensor unit 760. [

여기서, 차량 주행 정보는, 차량 진행 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 기울기 정보, 측면 진입 정보, 후진 정보 등을 포함할 수 있다. 한편, 차량 주행 정보는, 센서 정보의 일부분일 수 있다.Here, the vehicle running information may include vehicle running direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle inclination information, side entry information, backward information, and the like. On the other hand, the vehicle running information may be a part of the sensor information.

차선 검출부(910)는, 전방 스테레오 카메라(195)로부터 수신되는 스테레오 이미지(Simg)에 기반하여, 차선 검출을 수행할 수 있다. 구체적으로, 스테레오 이미지(Simg)의 디스패러티에 기초하여, 전방에 대한 차선을 검출할 수 있다.The lane detecting section 910 can perform lane detection based on the stereo image (Simg) received from the front stereo camera 195. [ Specifically, based on the disparity of the stereo image (Simg), it is possible to detect a lane toward the front.

유사하게, 거리 검출부(920)와, 속도 검출부(930)는, 전방 스테레오 카메라(195)로부터 수신되는 스테레오 이미지(Simg)에 기반하여, 전방 차량의 거리, 속도 등을 검출할 수 있다.Similarly, the distance detecting unit 920 and the speed detecting unit 930 can detect the distance, speed, and the like of the preceding vehicle based on the stereo image (Simg) received from the front stereo camera 195. [

측면 진입 신호 생성부(940)는, 검출된 차선 정보, 주변 차량의 거리 정보, 속도 정보, 차량 주행 정보(Scar), 및 맵 정보(Smp)에 기초하여, 측면 진입 신호(Sse)를생성할 수 있다.The side entrance signal generating unit 940 generates the side entrance signal Sse based on the detected lane information, the distance information of the nearby vehicles, the speed information, the vehicle running information Scar and the map information Smp .

구채적으로, 측면 진입 신호 생성부(940)는, 스테레오 이미지에 기초하여 검출된 차선 정보와, 차량 주행 정보 중 차량 방향 정보 또는 차량 각도 정보 중 적어도 하나에 기초하여, 차량의 앞 바퀴 또는 앞 범퍼가 인접 차선을 크로싱(crossing)하는 지, 또는 크로싱 예측이 되는지를, 연산하고, 크로싱이거나, 크로싱 예측이 되는 경우, 측면 진입 신호(Sse)를 생성할 수 있다.The sidelight signal generation unit 940 may generate the sideline signal based on at least one of the lane information detected based on the stereo image and the vehicle direction information or the vehicle angle information of the vehicle running information, Crossing of the adjacent lane, or a crossing prediction, and generates the side entrance signal Sse when it is a crossing or a crossing prediction.

예를 들어, 측면 진입 신호 생성부(940)는, 차량 각도 정보 등에 기초한 차량의 방향이, 검출된 차선과 교차하는 방향이면서, 검출된 차선과 차량의 거리가 소정 거리 이하인 경우, 측면 진입 신호(Sse)를 생성할 수 있다.For example, when the direction of the vehicle based on the vehicle angle information or the like is in a direction crossing the detected lane, and the distance between the detected lane and the vehicle is equal to or less than a predetermined distance, the side entrance signal generation unit 940 generates a side entrance signal Sse) can be generated.

다른 예로, 측면 진입 신호 생성부(940)는, 검출된 차선과 차량 사이의 각도가, 소정 각도 이상인 경우, 측면 진입 신호(Sse)를 생성할 수 있다.As another example, the side entrance signal generating unit 940 can generate the side entrance signal Sse when the angle between the detected lane and the vehicle is a predetermined angle or more.

한편, 측면 진입 신호 생성부(940)는, 차량 각도 정보 중 각속도 정보와, 검출된 차선 정보에 기초하여, 차량이 인접 차선으로 진입하는 것인지, 차량이 곡선 도로를 따라 주행하는 것인지, 차량이 측면 회전하는 것인지를 구분하며, 차량이 인접 차선으로 진입하는 경우에만, 측면 진입 신호(Sse)를 생성할 수도 있다.On the other hand, on the basis of the angular velocity information in the vehicle angle information and the detected lane information, the side entrance signal generation unit 940 determines whether the vehicle enters the adjacent lane, whether the vehicle runs along a curved road, And may generate the side entrance signal Sse only when the vehicle enters the adjacent lane.

이러한, 측면 진입 신호(Sse)는, ECU(770)를 거쳐, 램프 구동부(751)에 전달될 수 있으며, 이에 의해, 해당 램프가 턴 온될 수 있다.The side entrance signal Sse may be transmitted to the lamp driver 751 via the ECU 770 so that the lamp may be turned on.

도 10a는 도 9의 프로세서의 내부 블록도의 다른예를 예시한다.Figure 10A illustrates another example of an internal block diagram of the processor of Figure 9;

도면을 참조하면, 차량 운전 보조 장치(100)의 프로세서(170)는, 전방 스테레오 카메라(195)로부터 수신된 스테레오 이미지에 기초하여, 이미지 기반 차량 주변 정보를 검출할 수 있다. 여기서, 이미지 기반 차량 주변 정보는, 거리 정보, 주변 차량 거리 정보, 속도 정보, 차선 정보 및 도로면 정보, 표시판 정보 등 중 적어도 하나를 포함할 수 있다.Referring to the drawings, the processor 170 of the vehicle driving assistance apparatus 100 may detect image-based vehicle periphery information based on the stereo image received from the front stereo camera 195. [ Here, the image-based vehicle periphery information may include at least one of distance information, peripheral vehicle distance information, speed information, lane information, road surface information, and display panel information.

상술한 바와 같이, 전방 스테레오 카메라(195)로부터 수신된 스테레오 이미지에 기초하여, 디스패러티 정보를 연산하고, 연산된 디스패러티 정보에 기초하여, 세그먼트, 오브젝트 검출 및 오브젝트 확인을 수행할 수 있다.As described above, it is possible to calculate disparity information based on the stereo image received from the forward stereo camera 195, and to perform segmentation, object detection, and object identification based on the calculated disparity information.

이를 바탕으로, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량 전방에 대한, 차량 검출(1010), 거리 검출(1011), 차선 검출(1012), 도로면 검출(1014), 시각적 주행 거리 측정(visual odometry)(1016)을 수행할 수 있다. 그 밖에, 구조물 검출도 수행할 수 있다.Based on this, the processor 170 of the vehicle driving assistance apparatus 100 can detect a vehicle 1010, a distance detection 1011, a lane detection 1012, a road surface detection 1014, A visual odometry 1016 may be performed. In addition, structure detection can also be performed.

다음, 차량 운전 보조 장치(100)의 프로세서(170)는, ECU(770) 또는 센서부(760)로부터의 센서 정보를 수신할 수 있다.Next, the processor 170 of the vehicle driving assistant 100 can receive sensor information from the ECU 770 or the sensor unit 760. [

차량 운전 보조 장치(100)의 프로세서(170)는, ECU(770) 또는 센서부(760)로부터의 차량 주행 정보에 기초하여, 차량 위치 예측(dead reckoning)(1030)을 수행한다.The processor 170 of the vehicle driving assistant 100 carries out dead reckoning 1030 based on the vehicle running information from the ECU 770 or the sensor unit 760. [

그리고, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량 위치 예측(dead reckoning)에 기초하여, 차량 움직임(egomotion) 추정(1040)을 수행한다. 이때, 차량 위치 예측(dead reckoning) 외에, 시각적 주행 거리 측정(visual odometry)에 기초하여, 차량 움직임(egomotion) 추정(1040)을 수행하는 것도 가능하다.Then, the processor 170 of the vehicle driving assistance apparatus 100 performs a vehicle motion (egomotion) estimation 1040 based on the dead reckoning. At this time, in addition to dead reckoning, it is also possible to perform a vehicle motion (egomotion) estimation 1040 based on visual odometry.

한편, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량 움직임(egomotion) 추정(1040)을 기반으로, 주행 도로의 곡률 계산(1050)을 수행할 수 있다.Meanwhile, the processor 170 of the vehicle driving assistant 100 may perform curvature calculation 1050 of the roadway based on the vehicle motion (egomotion) estimation 1040.

한편, 차량 운전 보조 장치(100)의 프로세서(170)는, 곡률 계산(1050), 차선 검출(1010), 및 도로면 검출(1014)을 기반으로 하여, 차량의 진행 방향 추적(1060)을 수행한다.Meanwhile, the processor 170 of the vehicle driving assistance apparatus 100 performs the tracking of the traveling direction 1060 of the vehicle based on the curvature calculation 1050, the lane detection 1010, and the road surface detection 1014 do.

그리고, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량의 진행 방향 추적(1060), 차량 검출(1010), 거리 검출(1011), 도로면 검출(1014)에 기초하여, 차량의 충돌, 추돌 위험성 등의 위험도 계산(1065)을 수행할 수 있다.The processor 170 of the vehicle driving assistant apparatus 100 then detects a collision of the vehicle based on the vehicle's traveling direction tracking 1060, vehicle detection 1010, distance detection 1011 and road surface detection 1014 , Collision risk, and the like (step 1065).

그리고, 차량 운전 보조 장치(100)의 프로세서(170)는, 위험도 계산(1065) 및 차량 움직임(egomotion) 추정(1040)에 기초하여, 차량 패쓰 예측(path prediction)(1070)을 수행한다. 즉, 차량 운전 보조 장치(100)의 프로세서(170)는, 추정된 차량 움직임(1040)에 기초하여, 차량 패쓰를 예측한다.The processor 170 of the vehicle driving assistance apparatus 100 then performs the vehicle path prediction 1070 based on the risk calculation 1065 and the vehicle motion (egomotion) estimation 1040. That is, the processor 170 of the vehicle driving assistance apparatus 100 predicts the vehicle path based on the estimated vehicle motion 1040. [

차량 운전 보조 장치(100)의 프로세서(170)는, 차량 패쓰 예측(1070), 위험도 계산(1065), 및 차량 움직임 추정(1040)에 기초하여, 차량이 인접 차선에 크로싱하는 지, 크로싱이 예측되는 지를 판단(1080)한다. 크로싱이 되지 않는 경우, 정상 주행(1085)을 수행하도록 하며, 크로싱이되는 경우, 측면 진입 신호 생성(1090)을 수행한다.The processor 170 of the vehicle driving assistance apparatus 100 determines whether the vehicle is crossing to the adjacent lane based on the vehicle path prediction 1070, the risk calculation 1065, and the vehicle motion estimation 1040, (Step 1080). If no crossing occurs, normal running 1085 is performed, and if crossing occurs, side entrance signal generation 1090 is performed.

결국, 차량 운전 보조 장치(100)의 프로세서(170)는, 차선 크로싱(1080)에 기초하여, 측면 진입 신호(Sse) 생성(1090)을 수행할 수 있다. 이러한, 측면 진입 신호(Sse)는, 차량 내의 썬루프 구동부(755), 램프 구동부(751), 윈도우 구동부(758), 공조 구동부(757) 중 적어도 하나를 제어하기 위한 제어 신호일 수 있다.As a result, the processor 170 of the vehicle driving assistance apparatus 100 can perform generation of the side entrance signal Sse 1090 based on the lane crossing 1080. [ The side entrance signal Sse may be a control signal for controlling at least one of the sunroof driving unit 755, the lamp driving unit 751, the window driving unit 758, and the air conditioning driving unit 757 in the vehicle.

그리고, 생성된, 측면 진입 신호(Sse)는, 외부, 특히, 차량의 ECU(770)에 출력되며, ECU(770)는, 램프 구동부(751)를 제어할 수 있다.The generated side entrance signal Sse is output to the outside, particularly, the ECU 770 of the vehicle, and the ECU 770 can control the lamp driving unit 751. [

한편, 차량 운전 보조 장치(100)의 프로세서(170)는, 차선 진입 완료(미도시)에 기초하여, 측면 진입 완료 신호를 생성하거나, 측면 진입 신호의 생성을 오프시킬 수 있다. 이러한, 측면 진입 완료 신호 등은, 차량 내부의 램프 구동부(751)를 제어하며, 이에 따라, 차량 외부의 램프가 턴 오프될 수 있다.On the other hand, the processor 170 of the vehicle driving assistant 100 can generate the side entrance completion signal or turn off the side entrance signal based on completion of lane entry (not shown). This side entry completion signal or the like controls the lamp driving unit 751 inside the vehicle, so that the lamp outside the vehicle can be turned off.

도 10b는 도 9의 프로세서의 내부 블록도의 또 다른예를 예시한다.Figure 10b illustrates another example of an internal block diagram of the processor of Figure 9;

도 10b를 참조하면, 도 10a와 거의 유사하나, AVN 장치(400)로부터의 맵 정보를 수신하며, 맵 매칭(1020)이 더 수행되는 것에 그 차이가 있다. 이하에서는 그 차이만을 기술한다.Referring to FIG. 10B, there is a difference in that map information from AVN apparatus 400 is received, and map matching 1020 is further performed, which is substantially similar to FIG. 10A. Only the difference will be described below.

차량 운전 보조 장치(100)의 프로세서(170)는, ECU(770) 또는 센서부(760)로부터의 센서 정보 중 차량 주행 정보와, AVN 장치(400)로부터의 맵 정보에 기초하여, 맵 매칭을 수행(1020)한다. 또한, 차량 속도 정보 등 차량 주행 정보 등에 기초하여, 맵 상에서 현재 차량의 위치를 가변시킬 수 있다.The processor 170 of the vehicle driving assistance apparatus 100 performs map matching based on the vehicle running information among the sensor information from the ECU 770 or the sensor unit 760 and the map information from the AVN apparatus 400 (Step 1020). Further, the position of the current vehicle can be varied on the map based on the vehicle running information such as the vehicle speed information.

차량 운전 보조 장치(100)의 프로세서(170)는, 차량 주행 정보 중 차량 위치 정보인 GPS 정보와, AVN 장치(400)로부터의 맵 정보에 기초하여, 현재 차량을 맵 상에 맵 매칭(1020)시킬 수 있다. The processor 170 of the vehicle driving assistant 100 maps the current vehicle on the map based on the GPS information that is the vehicle position information and the map information from the AVN apparatus 400 in the vehicle running information, .

다음, 차량 운전 보조 장치(100)의 프로세서(170)는, 주행 도로의 곡률 계산(1050)시, 차량 움직임(egomotion) 추정(1040) 외에 추가로, 맵 매칭 정보를 기반으로, 주행 도로의 곡률 계산(1050)을 수행할 수 있다.Next, the processor 170 of the vehicle driving assistant 100 calculates, in addition to the vehicle motion (egomotion) estimation 1040, the curvature of the running road 1050, Calculation 1050 may be performed.

도 11은, 차량이 직선 도로에서 제1 속도(V1)로 주행하는 중에, 측면 진입 완료 신호(Sse)의 생성에 의해, 램프가 동작하는 것을 예시한다.Fig. 11 illustrates that the lamp is operated by the generation of the side entrance completion signal Sse while the vehicle is traveling from the straight road at the first speed V1.

먼저, 도 11(a)는, 차량(200)이, 검출된 제1 차선(1010a)과 제2 차선(1010b) 사이를 주행하는 것을 예시한다. 11 (a) illustrates that the vehicle 200 travels between the detected first lane 1010a and second lane 1010b.

도면에서는, 요 레이트(yaw rate) 0이고, 제1 차선(1010a)과 차량(200) 중심 사이의 수평 거리(lateral distance)가 La 이며, 제2 차선(1010b)과 차량(200) 중심 사이의 수평 거리(lateral distance)가 Lb 인 것을 예시한다.In the figure, the yaw rate is 0, the lateral distance between the first lane 1010a and the center of the vehicle 200 is La, and the distance between the second lane 1010b and the center of the vehicle 200 And that the lateral distance is Lb.

여기서, 요 레이트는, 차량의 ECU(770) 또는 센서부(760)로부터, 차량 운전 보조 장치(100)의 프로세서(170)로 수신될 수 있다. 차량 운전 보조 장치(100)의 프로세서(170)는, 차량의 각속도 정보인, 요 레이트에 기초하여, 측면 진입 신호(Sse)를 생성할 수 있다. Here, the yaw rate may be received from the ECU 770 or the sensor unit 760 of the vehicle, to the processor 170 of the vehicle driving assistant 100. The processor 170 of the vehicle driving assistant 100 can generate the side entrance signal Sse based on the yaw rate which is the angular velocity information of the vehicle.

다음, 도 11(b)는, 차량(200)의 주행 각도가 일부 변경된 것을 예시한다.11 (b) illustrates that the running angle of the vehicle 200 is partially changed.

도면에서는, 요 레이트(yaw rate) Yx이고, 제1 차선(1010a)과 차량(200) 중심 사이의 수평 거리가 Lx 이며, 제2 차선(1010b)과 차량(200) 중심 사이의 수평 거리가 Ly 인 것을 예시한다.The yaw rate Yx and the horizontal distance between the first lane 1010a and the center of the vehicle 200 is Lx and the horizontal distance between the second lane 1010b and the center of the vehicle 200 is Ly .

차량 운전 보조 장치(100)의 프로세서(170)는, 차량(200)의 방향이, 검출된 차선과 교차하는 방향이면서, 검출된 차선과 차량의 거리가 소정 거리 이하인 경우, 측면 진입 신호를 생성할 수 있다.The processor 170 of the vehicle driving assistant 100 generates the side entrance signal when the direction of the vehicle 200 is the direction intersecting the detected lane and the distance between the detected lane and the vehicle is less than a predetermined distance .

도 11(b)의 경우는, 차량(200)의 방향이, 제1 차선(1010a)과 교차하나, 차량(200) 사이의 수평 거리가 Lx 여서, 소정 거리가 아니므로, 측면 진입 신호를 생성하지 않을 수 있다.11B, the direction of the vehicle 200 intersects the first lane 1010a, but the horizontal distance between the vehicles 200 is Lx, which is not a predetermined distance, so that the side entrance signal is generated I can not.

다음, 도 11(c)는, 차량(200)의 주행 각도가 일부 변경된 상태에서, 인접 차선과 차량이 크로싱하는 것을 예시한다.Next, Fig. 11 (c) illustrates the crossing of the adjacent lane and the vehicle in a state where the running angle of the vehicle 200 is partially changed.

도면에서는, 요 레이트(yaw rate) Yx를 그대로 유지하고, 제1 차선(1010a)과 차량(200) 중심 사이의 수평 거리가 Lm 이며, 제2 차선(1010b)과 차량(200) 사이의 수평 거리가 Ln 인 것을 예시한다.The horizontal distance between the first lane 1010a and the center of the vehicle 200 is Lm and the horizontal distance between the second lane 1010b and the vehicle 200 is the yaw rate Yx, Is Ln.

차량 운전 보조 장치(100)의 프로세서(170)는, 차량의 폭을 알 수 있으며, 제1 차선(1010a)과 차량(200) 중심 사이의 수평 거리가, 도면과 같이, Lm 인 경우, 즉, 차량의 폭의 절반과 같은 경우, 제1 차선(1010a)에 차량의 앞 범퍼가 크로싱하는 것으로 연산할 수 있다.The processor 170 of the vehicle driving assistant 100 can recognize the width of the vehicle and can determine whether the horizontal distance between the first lane 1010a and the center of the vehicle 200 is Lm, In the case of half of the width of the vehicle, the front bumper of the vehicle can be calculated by crossing the first lane 1010a.

그리고, 이러한 경우, 차량 운전 보조 장치(100)의 프로세서(170)는, 좌측 측면 진입 신호(Sse)를 생성할 수 있다. 이에 따라, 차량(200)은, 도면과 같이, 좌측 전방 램프(LLF), 좌측 사이드 램프(LLS), 좌측 후방 램프(LLR)를 턴 온시킬 수 있다.In this case, the processor 170 of the vehicle driving assistant 100 can generate the left side entrance signal Sse. Thus, the vehicle 200 can turn on the left front lamp LLF, the left side lamp LLS, and the left rear lamp LLR as shown in the figure.

한편, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량의 속도에 따라, 측면 진입 신호(Sse) 생성을 위한, 소정 거리를 가변할 수 있다.On the other hand, the processor 170 of the vehicle driving assistant 100 can vary the predetermined distance for generating the side entrance signal Sse depending on the speed of the vehicle.

이하의 도 12에서는, 도 11에 비해 더 빠른 제2 속도(V2)로 주행하는 경우, 차량과 차선의 크로싱 이전에, 미리 측면 진입 신호(Sse) 생성을 위해, 기준이 되는 소정 거리를 증가시키는 것을 예시한다.In the following FIG. 12, in the case of traveling at the second speed V2, which is faster than that in FIG. 11, before the crossing of the vehicle and the lane, .

도 12는, 차량이 직선 도로에서 제2 속도(V2)로 주행하는 중에, 측면 진입 완료 신호(Sse)의 생성에 의해, 램프가 동작하는 것을 예시한다.12 illustrates that the lamp is operated by the generation of the side entry completion signal Sse while the vehicle is traveling from the straight road to the second speed V2.

도 12(a) 내지 도 12(b)는, 도 11(a) 내지 도 11(b)와 동일하므로, 그 설명을 생략한다. Figs. 12 (a) to 12 (b) are the same as Figs. 11 (a) to 11 (b), and a description thereof will be omitted.

다음, 도 12(c)는, 차량(200)의 주행 각도가 일부 변경된 상태에서, 계속 주행하여, 인접 차선과 차량이 크로싱하기 이전 상황인 것을 예시한다.Next, Fig. 12 (c) illustrates that the vehicle 200 continues to run in a state in which the running angle of the vehicle 200 is partially changed, and the situation is before the adjacent lane and the vehicle cross.

도면에서는, 요 레이트(yaw rate) Yx를 그대로 유지하고, 제1 차선(1010a)과 차량(200) 중심 사이의 수평 거리가 Lo 이며, 제2 차선(1010b)과 차량(200) 사이의 수평 거리가 Lp 인 것을 예시한다.The yaw rate Yx is maintained as it is and the horizontal distance between the first lane 1010a and the center of the vehicle 200 is Lo and the horizontal distance between the second lane 1010b and the vehicle 200 Is Lp.

차량 운전 보조 장치(100)의 프로세서(170)는, 차량의 폭을 알 수 있으며, 제1 차선(1010a)과 차량(200) 중심 사이의 수평 거리가, 도면과 같이, Lo 인 경우, 즉, 차량의 폭의 절반 보다 일부 더 큰 경우, 제1 차선(1010a)에 차량의 앞 범퍼가 크로싱하지는 않지만, 크로싱 예측으로 연산할 수 있다.The processor 170 of the vehicle driving assistance apparatus 100 can recognize the width of the vehicle and can determine whether the horizontal distance between the first lane 1010a and the center of the vehicle 200 is Lo, If the front bumper of the vehicle does not cross the first lane 1010a, it can be calculated by the crossing prediction, if it is larger than half of the width of the vehicle.

그리고, 크로싱이 예측되는 경우, 차량 운전 보조 장치(100)의 프로세서(170)는, 좌측 측면 진입 신호(Sse)를 생성할 수 있다. 이에 따라, 차량(200)은, 도면과 같이, 좌측 전방 램프(LLF), 좌측 사이드 램프(LLS), 좌측 후방 램프(LLR)를 턴 온시킬 수 있다.And, when the crossing is predicted, the processor 170 of the vehicle driving assistant 100 can generate the left side entrance signal Sse. Thus, the vehicle 200 can turn on the left front lamp LLF, the left side lamp LLS, and the left rear lamp LLR as shown in the figure.

이와 같이, 차량의 속도에 따라, 측면 진입 신호(Sse) 생성을 위한, 소정 거리를 가변하므로, 적응적으로, 측면 진입 신호를 생성할 수 있게 된다.As described above, the predetermined distance for generating the side entrance signal Sse varies depending on the vehicle speed, so that the side entrance signal can be adaptively generated.

도 13은, 직선 도로(Road 1)에서, 차량 진입시의 측면 진입 신호에 의한 램프 턴 온과, 차량 진입 완료시의 측면 진입 완료 신호에 의한 램프 턴 오프를 예시한다.Fig. 13 illustrates a ramp turn-on by a side entrance signal at the time of vehicle entry and a lamp turn-off by a side entrance completion signal at completion of vehicle entry on a straight road (Road 1).

도 13(a)는, 좌측 후방에 인접 차량(1220a)이 위치한 상태에서, 차량(200)의 좌측 앞 범퍼가 제1 차선(1010a)과 크로싱하는 경우를 예시한다. 13A illustrates a case where the left front bumper of the vehicle 200 crosses with the first lane 1010a in a state in which the adjacent vehicle 1220a is located on the left rear side.

도면에서는 차선 크로싱에 기초하여, 차량의 좌측 전방 램프(LLF), 좌측 사이드 램프(LLS), 좌측 후방 램프(LLR)가 턴 온되는 것을 예시한다.In the drawing, the left front lamp LLF, the left side lamp LLS, and the left rear lamp LLR of the vehicle are turned on based on the lane-crossing.

도 13(b)는, 차량이 제1 차선(1010a)을 크로싱한 후, 차량(200)의 우측 뒷 범퍼가 제1 차선(1010a)과 크로싱하는 경우를 예시한다. 13B illustrates a case where the right rear bumper of the vehicle 200 crosses with the first lane 1010a after the vehicle crosses the first lane 1010a.

차량 운전 보조 장치(100)의 프로세서(170)는, 차량의 뒷 바퀴 또는 뒷 범퍼가, 앞 바퀴 또난 앞 범퍼에 의해 크로싱되었된, 인접 차선과 다시 크로싱되는 지에 따라, 인접 차선으로의 진입을 완료하였는 지를 연산할 수 있다.The processor 170 of the vehicle driving assistance apparatus 100 completes the entry into the adjacent lane according to whether the rear wheel or the rear bumper of the vehicle is crossed with the adjacent lane which has been crossed by the front wheel bumper front bumper Can be calculated.

도면에서는 차선 크로싱에 기초하여, 차량의 좌측 전방 램프(LLF), 좌측 사이드 램프(LLS), 좌측 후방 램프(LLR)가 턴 오프되는 것을 예시한다.In the drawing, the left front lamp LLF, the left side lamp LLS, and the left rear lamp LLR of the vehicle are turned off based on the lane crossing.

다음, 도 13(c)는, 차선 진입 완료 이후, 차량(200)가 인접 차량(1220a) 앞에서 주행하는 것을 예시한다.Next, FIG. 13 (c) illustrates that the vehicle 200 travels in front of the adjacent vehicle 1220a after completion of the lane entry.

한편, 도면과 달리, 차량 운전 보조 장치(100)의 프로세서(170)는, 차량이 인접 차선으로 진입하여, 진입된 차선과 나란히 주행하는 경우, 인접 차선으로의 진입 완료로 판단할 수도 있다. On the other hand, unlike the drawing, the processor 170 of the vehicle driving assistant system 100 may determine that the vehicle has entered the adjacent lane when the vehicle enters the adjacent lane and runs alongside the entered lane.

이에 따라, 도 13(b)의 경우에는, 계속하여, 램프가 턴 온되고, 도 13(c)의 경우에, 비로소, 램프가 턴 오프되는 것도 가능하다.Accordingly, in the case of Fig. 13 (b), the lamp is turned on continuously, and in the case of Fig. 13 (c), the lamp can also be turned off.

한편, 도 11 내지 도 13과 달리, 차량 운전 보조 장치(100)의 프로세서(170)는, 검출된 차선과 차량 사이의 각도가, 소정 각도 이상인 경우, 차선과 차량 사이의 수평 거리 연산 없이, 바로 측면 진입 신호를 생성할 수도 있다. 검출된 차선과 차량 사이의 각도가 충분히 커서, 차선 크로싱이 예측되는 경우, 즉, 해당 각도가 소정 각도 이상인 경우, 차량 운전 보조 장치(100)의 프로세서(170)는, 바로 측면 진입 신호를 생성할 수 있다. 한편, 이때에도, 차량 속도에 따라, 소정 각도를 가변하는 것이 가능하다. 속도가 빠를수록, 소정 각도의 각도 값은 작아지는 것이 바람직하다.11 to 13, the processor 170 of the vehicle driving assistant apparatus 100 may be configured such that, when the angle between the detected lane and the vehicle is greater than or equal to a predetermined angle, A side entry signal may be generated. When the detected lane and the angle between the vehicle are sufficiently large and the lane crossing is predicted, that is, the angle is greater than or equal to the predetermined angle, the processor 170 of the vehicle driving assistant 100 generates the side entrance signal . At this time, on the other hand, it is possible to vary the predetermined angle depending on the vehicle speed. It is preferable that the angular value of the predetermined angle becomes smaller as the velocity becomes higher.

도 14는 곡선 도로(Road 2)를 따라 차량(200)이 주행하는 것을 예시하며, 도 15는 교차로(Road3)에서 차량(200)이 우회전하는 것을 예시한다.Fig. 14 illustrates that the vehicle 200 travels along a curved road (Road 2), and Fig. 15 illustrates a right turn of the vehicle 200 at an intersection Road3.

먼저, 도 14는 S자형 차선들(1310a,1310b) 사이로 차량(200)이 주행하는 것을 예시한다.First, FIG. 14 illustrates that the vehicle 200 travels between the S-shaped lanes 1310a and 1310b.

다음, 도 15는 교차로 이전의 차선들(1410a,1410b) 사이로 차량(200)이 주행하다가, 우회전하여, 새로운 차선들(1410c,1410d) 사이로 차량(200)이 주행하는 것을 예시한다.Next, FIG. 15 illustrates that the vehicle 200 travels between the lanes 1410a and 1410b before the intersection and then makes a right turn to drive the vehicle 200 between the new lanes 1410c and 1410d.

차량 운전 보조 장치(100)의 프로세서(170)는, 차량 각도 정보 중 각속도 정보와, 검출된 차선 정보에 기초하여, 도 12 내지 도 13과 같이, 차량이 인접 차선으로 진입하는 것인지, 도 14와 같이 차량이 곡선 도로를 따라 주행하는 것인지, 도 15와 같이, 차량이 측면 회전하는 것인지를 구분하며, 도 13과 같이, 차량이 인접 차선으로 진입하는 경우에만, 측면 진입 신호를 생성할 수 있다.The processor 170 of the vehicle driving assistant 100 determines whether or not the vehicle enters the adjacent lane based on the angular velocity information in the vehicle angle information and the detected lane information as shown in Figs. It is possible to distinguish whether the vehicle is traveling along a curved road or whether the vehicle is sideways rotated as shown in Fig. 15, and a side entrance signal can be generated only when the vehicle enters the adjacent lane as shown in Fig.

이러한 구분은, 도 16과 같은, 시간 대비 요 레이트 곡선에 기초하여 수행될 수 있다.This distinction can be performed based on the time-rate yaw rate curve as shown in Fig.

차량 운전 보조 장치(100)의 프로세서(170)는, 메모리(140)에 저장된 도 16과 같은 복수의 시간 대비 요 레이트 곡선을 이용하여, 도 12 내지 도 13과 같이, 차량이 인접 차선으로 진입하는 것인지, 도 14와 같이 차량이 곡선 도로를 따라 주행하는 것인지, 도 15와 같이, 차량이 측면 회전하는 것인지를 구분하며, 도 13과 같이, 차량이 인접 차선으로 진입하는 경우에만, 측면 진입 신호를 생성할 수 있다.The processor 170 of the vehicle driving assistant 100 uses the plurality of time and yaw rate curves as shown in Fig. 16 stored in the memory 140 to determine whether or not the vehicle enters the adjacent lane Whether the vehicle travels along a curved road as shown in FIG. 14, or whether the vehicle rotates sideways as shown in FIG. 15, and only when the vehicle enters an adjacent lane, as shown in FIG. 13, Can be generated.

도 16(a)는, 도 12 내지 도 13의 직선 도로 상황에서, 차량(200)의 좌측 차선 진입 시의 요 레이트 변화를 도시한 도면이다. 여기서, 좌측 차선 방향은, -의 값을 가지며, 우측 차선 방향은, +의 값을 가지는 것으로 설정한다.Fig. 16 (a) is a view showing the change in yaw rate at the time of entering the left lane of the vehicle 200 in the straight road situation in Figs. 12 to 13. Fig. Here, the left lane direction has a value of - and the right lane direction has a value of +.

도 16(a)에서, 도 12(a)와 같이, yaw 0인 경우, 즉, 차선과 나란히 주행하는 경우, 일정한 요 레이트 값(예를 들어, 0)을 가지며, 그 이후, 도 12(b), 도 12(c), 도 13(a)와 같이, Yx 등과 같은 yaw 값을 가지는 경우, yaw rate 는, 도 16(a)와 같이, 감소되는 값을 가진다. 다시, 도 13(c)와 같이, 진입 차선과 나란히 차량(200)이 주행하는 경우, 다시 yaw rate 는, 일정한 값을 가질 수 있다.In Fig. 16A, as shown in Fig. 12A, when yaw 0, that is, when traveling alongside the lane, has a constant yaw rate value (for example, 0) The yaw rate has a decreasing value as shown in FIG. 16 (a), when it has a yaw value such as Yx, as shown in FIGS. 12 (c) and 13 (a). 13 (c), when the vehicle 200 runs alongside the entering lane, the yaw rate may have a constant value again.

도 16(a)과 같은, yaw rate 패턴을 가지는 경우, 차량 운전 보조 장치(100)의 프로세서(170)는, 좌측 측면 진입 신호를 생성할 수 있다.When having the yaw rate pattern as shown in FIG. 16A, the processor 170 of the vehicle driving assistant 100 can generate the left side entrance signal.

다음, 도 16(b)는, 도 14와 같이, s 자형 곡선 도로를 차량(200)이 주행하는 경우에 대응한다. Next, Fig. 16 (b) corresponds to the case where the vehicle 200 travels on an s-shaped curved road as shown in Fig.

S 자형 곡선을 따라, 차량(200)이 우측 방향으로 기울어졌다가 다시 좌측 방향으로 기울어지므로, 도 16(b)와 같이, yaw rate가 증가하였다가, 감소하게 된다. The yaw rate is increased and then decreased as shown in FIG. 16 (b) because the vehicle 200 is tilted rightward and then tilted leftward along the S-shaped curve.

도 16(b)와 같은, yaw rate 패턴을 가지는 경우, 차량 운전 보조 장치(100)의 프로세서(170)는, 측면 진입 신호를 생성하지 않을 수 있다.16 (b), the processor 170 of the vehicle driving assistant 100 may not generate the side entrance signal.

다음, 도 16(c)는, 도 15와 같이, 교차로를 지나 차량(200)이 우회전하는 경우에 대응한다. Next, Fig. 16 (c) corresponds to the case where the vehicle 200 makes a right turn over the intersection as shown in Fig.

교차로에서, 차량(200)이 우측 방향으로 기울어졌다가 다시 직선 방향으로 돌아오므로, 도 16(c)와 같이, yaw rate가 증가하였다가, 일부 감소하게 된다. At the intersection, the vehicle 200 tilts to the right and then returns to the straight direction, so that the yaw rate increases and then decreases, as shown in Fig. 16 (c).

도 16(c)과 같은, yaw rate 패턴을 가지는 경우, 차량 운전 보조 장치(100)의 프로세서(170)는, 측면 진입 신호를 생성하지 않을 수 있다.16 (c), the processor 170 of the vehicle driving assistant 100 may not generate the side entrance signal.

한편, 차량 운전 보조 장치(100)의 프로세서(170)는, 도 16과 같은 요 레이트 패턴만으로 측면 진입 신호를 생성하는 것이 아닌, 요 레이트 패턴과 생성된 스테레오 이미지, 특히 검출된 차선을 종합적으로 고려하여, 측면 진입 신호를 생성하는 것이 바람직하다.On the other hand, the processor 170 of the vehicle driving assistant system 100 comprehensively considers the yaw rate pattern and the generated stereo image, particularly the detected lane, rather than generating the side entrance signal only with the yaw rate pattern shown in Fig. , Thereby generating a side entrance signal.

도 17은, 측면 진입 신호 생성 및 측면 진입 완료 신호 생성에 대응하는 사운드가 차량 내부에 출력되는 것을 예시한다.17 illustrates that the sound corresponding to the generation of the side entrance signal and the generation of the side entrance completion signal is output to the inside of the vehicle.

도 17(a)는, 좌측 측면 진입 신호 생성에 대응하여, 차량 내부에 해당하는 사운드(1340)가 출력되는 것을 예시하며, 도 17(b)는, 좌측 측면 진입 완료 신호 생성에 대응하여, 차량 내부에 해당하는 사운드(1345)가 출력되는 것을 예시한다. 이에 따라, 차량 운전자의 이용 편의성이 증대될 수 있다.17A shows that the sound 1340 corresponding to the inside of the vehicle is outputted in response to the generation of the left side entrance signal. And a sound 1345 corresponding to the inside is outputted. Accordingly, the usability of the vehicle driver can be increased.

한편, 차량 운전 보조 장치(100)의 프로세서(170)는, 도 17(a)과 같이, 좌측 측면 진입 신호에 대응하는 메시지 또는 도 17(b)과 같이, 좌측 측면 진입 완료 신호에 대응하는 메시지를 생성하고, 이를 ECU(770)로 출력할 수 있다.On the other hand, the processor 170 of the vehicle driving assistant 100 transmits a message corresponding to the left side entrance signal or a message corresponding to the left side entrance completion signal as shown in FIG. 17 (b) And outputs it to the ECU 770. [

도 18은 본 발명의 다른 실시예에 따른 모노 카메라를 구비하는 차량의 외관을 도시한 도면이다.18 is a view showing the appearance of a vehicle having a mono camera according to another embodiment of the present invention.

도면을 참조하면, 본 발명의 다른 실시예에 따른 차량(200)은, 동력원에 의해 회전하는 바퀴(135FR,135FL,135RL,..), 차량(200)의 진행 방향을 조절하기 위한 핸들(150), 및 차량(200) 내부에 구비되는 모노 카메라(193)와 레이더(194)를 구비할 수 있다.Referring to the drawings, a vehicle 200 according to another embodiment of the present invention includes wheels 135FR, 135FL, 135RL, etc., rotated by a power source, a handle 150 for controlling the traveling direction of the vehicle 200 And a mono camera 193 and a radar 194 provided in the vehicle 200. [

모노 카메라(193)를 통한 모노 이미지와, 레이더(194)를 통한 거리 정보는, 차량 운전 보조 장치(도 19a의 2100) 내에서 신호 처리될 수 있다.The mono image via the mono camera 193 and the distance information via the radar 194 can be signal processed within the vehicle driving assistant (2100 of Fig. 19A).

도 19a는 본 발명의 다른 실시예에 따른 차량 운전 보조 장치의 내부 블록도의 일예를 예시한다.FIG. 19A illustrates an example of an internal block diagram of a vehicle driving assist apparatus according to another embodiment of the present invention.

도면을 참조하면, 도 19a의 차량 운전 보조 장치(2100)의 내부 블록은, 도 3의 차량 운전 보조 장치(100)의 내부 블록과 유사하나, 스테레오 카메라(195)로부터의 스테레오 이미지 기반의, 신호 처리가 아닌, 모노 카메라(193)를 통한 모노 이미지와, 레이더(194)를 통한 거리 정보에 기반한 신호 처리를 수행한다는 점에서 그 차이가 있다. 즉, 차량의 충돌 위험도 제어 신호를 생성할 수 있다. 이하에서는, 그 차이점만을 기술한다. 19A is similar to the inner block of the vehicle driving assistance apparatus 100 of FIG. 3, except that a stereo image-based signal from the stereo camera 195 There is a difference in that the signal processing based on the mono image through the mono camera 193 and the distance information through the radar 194 is performed instead of the processing. That is, the collision risk control signal of the vehicle can be generated. In the following, only the difference will be described.

모노 카메라(193)는, 차량(200)의 천정 또는 전면 유리에 탈부착 가능할 수 있으며, 렌즈를 구비하는 단일의 카메라를 구비할 수 있다.The mono camera 193 can be detachably attached to the ceiling or the front glass of the vehicle 200 and can include a single camera having a lens.

레이더(194)는, 차량(200)의 천정 또는 전면 유리에 탈부착 가능할 수 있으며, 소정 주파수의 전파를 차량 전방에 전송하고, 차량 전방의 물체서 반사되는 전파를 수신한다.The radar 194 can be detachably attached to the ceiling or the windshield of the vehicle 200 and transmits a radio wave of a predetermined frequency to the front of the vehicle and receives the radio wave reflected from the object ahead of the vehicle.

프로세서(2170)는, 레이더(194)에서의 송신 전파와 수신 전파의 차이에 기초하여, 거리 정보를 연산할 수 있다. 또한, 모노 카메라(193)를 통한 모노 이미지와 거리 정보를 매칭하여, 오브젝트 분리, 검출, 인식 등을 수행할 수 있다.The processor 2170 can calculate the distance information based on the difference between the transmission radio wave and the reception radio wave in the radar 194. Also, it is possible to perform object separation, detection, recognition, etc. by matching the mono image and the distance information through the mono camera 193.

다음, 도 19b는 본 발명의 또 다른 실시예에 따른 차량 운전 보조 장치의 내부 블록도의 일예를 예시한다.Next, Fig. 19B illustrates an example of an internal block diagram of a vehicle driving assist apparatus according to another embodiment of the present invention.

도면을 참조하면, 도 19b의 차량 운전 보조 장치(2150)의 내부 블록은, 도 19a의 차량 운전 보조 장치(2100)의 내부 블록과 유사하나, 모노 카메라(193)와 레이더(194)가 아닌, 외부 대상물에 대해 스캐닝을 수행하는 라이더(Lidar)(2101)를 구비하는 것에 그 차이가 있다.19B is similar to the inner block of the vehicle driving assistance device 2100 of FIG. 19A, but includes the mono camera 193 and the radar 194, rather than the mono camera 193 and the radar 194, (Lidar) 2101 that performs scanning with respect to an external object.

차이점을 기술하면, 라이더(2101)는, 레이저 스캐닝 방식에 의해, 전방 상황에 대한 스캔 이미지를 획득할 수 있으며, 프로세서(2270)는, 라이더로부터 수신되는 스캔 이미지에 기초하여, 신호 처리를 수행한다. 즉, 차량의 충돌 위험도 제어 신호를 생성할 수 있다. By describing the difference, the rider 2101 can acquire a scan image for the forward situation by the laser scanning method, and the processor 2270 performs signal processing based on the scan image received from the rider . That is, the collision risk control signal of the vehicle can be generated.

도 20a 내지 도 20b는 도 19a의 프로세서의 내부 블록도의 다양한 예를 예시하고, 도 21a 내지 도 21b는 도 20a의 프로세서의 동작 설명에 참조되는 도면이다.20A-20B illustrate various examples of the internal block diagram of the processor of FIG. 19A, and FIGS. 21A-21B are views referenced in the operation description of the processor of FIG. 20A.

도 20a 내지 도 20b의 프로세서 내부 블록은, 도 4a 내지 도 4b의 프로세서와 유사하나, 디스패러티 연산부를 구비하지 않는 다는 점에서 그 차이가 있다. 20A to 20B are similar to the processors of Figs. 4A to 4B, but differ from each other in that they do not include a disparity calculating unit.

대신에, 디스패러티 정보에 대응하는 거리 정보(Sd)를, 외부의 레이더(194)로부터 수신하는 것에 그 차이가 있다. 이러한, 거리 정보(Sd)는, 세그먼테이션부(432)에 입력되며, 이미지의 세그먼트시에 사용될 수 있다. Instead, distance information Sd corresponding to the disparity information is received from the external radar 194. The distance information Sd is input to the segmentation section 432, and can be used for segmenting the image.

도 21a 내지 도 21b는, 제1 및 제2 프레임 구간에서 각각 획득된 모노 이미지를 기반으로 하여, 도 20a의 프로세서(170)의 동작 방법 설명을 위해 참조되는 도면이다.FIGS. 21A and 21B are views referred to for explaining the operation method of the processor 170 of FIG. 20A based on the mono images obtained respectively in the first and second frame periods.

도 21a 내지 도 21b를 살펴보면, 도 5a 내지 도 5b와 유사하나, 모노 이미지와 레이더 기반 거리 정보를 이용하므로, 디스패러티 맵(distance map)을 생성할 필요가 없다는 점에서 그 차이가 있다.Referring to FIGS. 21A and 21B, similar to FIGS. 5A and 5B, there is a difference in that a distance map is not necessary because a mono image and radar-based distance information are used.

먼저, 도 21a를 참조하면, 제1 프레임 구간 동안, 모노 카메라(193)는, 모노 이미지(FR1)를 획득하며, 레이더는 거리 정보(Sd1)을 획득한다.First, referring to FIG. 21A, during the first frame period, the mono camera 193 acquires the mono image FR1, and the radar acquires the distance information Sd1.

이에 따라, 프로세서(2170) 내의 세그멘테이션부(432)와, 오브젝트 검출부(434), 오브젝트 확인부(436)는, 레이더에 기반한 거리 정보(Sd1)에 기초하여, 모노 이미지(FR1) 내의, 제1 차선 내지 제4 차선(538a,538b,538c,538d), 공사 지역(532), 제1 전방 차량(534), 제2 전방 차량(536)을, 검출 및 확인할 수 있다.Accordingly, the segmentation section 432, the object detection section 434, and the object identification section 436 in the processor 2170 calculate the distance information Sd1 in the mono image FR1 based on the radar-based distance information Sd1, It is possible to detect and confirm the lane to fourth lanes 538a, 538b, 538c and 538d, the construction area 532, the first front vehicle 534 and the second front vehicle 536. [

다음, 도 21b를 참조하면, 제2 프레임 구간 동안, 모노 카메라(193)는, 모노 이미지(FR2)를 획득하며, 레이더는 거리 정보(Sd2)을 획득한다.Next, referring to FIG. 21B, during the second frame period, the mono camera 193 acquires the mono image FR2, and the radar acquires the distance information Sd2.

이에 따라, 프로세서(2170) 내의 세그멘테이션부(432)와, 오브젝트 검출부(434), 오브젝트 확인부(436)는, 레이더에 기반한 거리 정보(Sd2)에 기초하여, 모노 이미지(FR2) 내의, 제1 차선 내지 제4 차선(558a,558b,558c,558d), 공사 지역(552), 제1 전방 차량(554), 제2 전방 차량(556)을, 검출 및 확인할 수 있다.Accordingly, the segmentation section 432, the object detection section 434, and the object identification section 436 in the processor 2170 determine whether or not the first (first) and second It is possible to detect and confirm the lane-to-fourth lanes 558a, 558b, 558c and 558d, the construction area 552, the first front vehicle 554 and the second front vehicle 556. [

한편, 오브젝트 트래킹부(440)는, 도 21a와 도 21b를 비교하여, 확인된 오브젝트에 대한 트래킹을 수행할 수 있다. On the other hand, the object tracking unit 440 can compare the FIG. 21A and FIG. 21B and perform tracking on the identified object.

구체적으로, 오브젝트 트래킹부(440)는, 도 21a와 도 21b에서 확인된, 각 오브젝트들의 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량 주변에 위치하는, 차선, 공사 지역, 제1 전방 차량, 제2 전방 차량 등에 대한 트래킹을 수행할 수 있게 된다.Specifically, the object tracking unit 440 can track the movement of the object based on the motion or motion vector of each object identified in Figs. 21A and 21B. Accordingly, it is possible to perform tracking on the lane, the construction area, the first forward vehicle, the second forward vehicle, and the like, which are located in the vicinity of the vehicle.

한편, 도 18 내지 도 21b에서 기술한 모노 카메라(193)와 레이더(194)를 구비하는 차량 운전 보조 장치(2100)는, 도 8 내지 도 17에서 기술한 바와 유사하게, 모노 이미지와 거리 정보에 기초하여, 차량 전방의 차선을 검출하고, 모노 이미지, 및 인터페이스부를 통해 수신되는 센서 정보 중 차량 주행 정보에 기초하여, 차량의 진행 방향을 예측하며, 예측된 차량의 진행 방향에 기초하여, 차량이 인접 차선으로 진입하는 것을 나타내며, 차량 내에 구비되는 램프 구동부를 제어하기 위한, 측면 진입 신호를 생성할 수 있다.On the other hand, the vehicle driving assistant 2100 including the monaural camera 193 and the radar 194 described in Figs. 18 to 21B is similar to the monaural image and the distance information described in Figs. 8 to 17 Based on the predicted traveling direction of the vehicle on the basis of the mono image and sensor information received through the interface unit, based on the vehicle running information, It is possible to generate a side entrance signal for controlling the lamp driver provided in the vehicle.

한편, 도 19b에서 기술한 라이더(2101)를 구비하는 차량 운전 보조 장치(2150)는, 도 8 내지 도 17에서 기술한 바와 유사하게, 스캔 이미지에 기초하여 차량 전방의 차선을 검출하고, 스캔 이미지, 및 인터페이스부를 통해 수신되는 센서 정보 중 차량 주행 정보에 기초하여, 차량의 진행 방향을 예측하며, 예측된 차량의 진행 방향에 기초하여, 차량이 인접 차선으로 진입하는 것을 나타내며, 차량 내에 구비되는 램프 구동부를 제어하기 위한, 측면 진입 신호를 생성할 수 있다.On the other hand, the vehicle driving assistant 2150 having the rider 2101 described in Fig. 19B detects lanes in front of the vehicle based on the scanned image, similarly to that described in Figs. 8 to 17, And predicts the traveling direction of the vehicle on the basis of the vehicle running information among the sensor information received through the interface section and indicates that the vehicle enters the adjacent lane based on the predicted traveling direction of the vehicle, It is possible to generate a side entry signal for controlling the driving unit.

본 발명의 실시예에 따른 차량 운전 보조 장치 및 이를 구비한 차량은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The vehicle driving assist system and the vehicle having the vehicle driving assist system according to the embodiment of the present invention can be applied to the configurations and methods of the embodiments described above in a limited manner, All or some of the examples may be selectively combined.

한편, 본 발명의 차량 운전 보조 장치 또는 차량의 동작방법은 차량 운전 보조 장치 또는 차량에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the vehicle driving assist device or the vehicle operating method of the present invention can be implemented as a code that can be read by a processor on a recording medium readable by a processor of a vehicle driving assistant or a vehicle. The processor-readable recording medium includes all kinds of recording apparatuses in which data that can be read by the processor is stored. Examples of the recording medium that can be read by the processor include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet . In addition, the processor-readable recording medium may be distributed over network-connected computer systems so that code readable by the processor in a distributed fashion can be stored and executed.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

Claims

Stereo camera;
An interface for exchanging data with at least one vehicle internal device;
Wherein the control unit detects a lane in front of the vehicle based on a stereo image received from the stereo camera and estimates a traveling direction of the vehicle based on the stereo image and sensor information received through the interface unit, And a processor for generating a side entry signal for controlling the lamp driving unit included in the vehicle, which indicates that the vehicle enters the adjacent lane based on the predicted traveling direction of the vehicle Driving assistance device.

The method according to claim 1,
The processor comprising:
Wherein the predicted traveling direction of the vehicle is predicted by a lane crossing to the adjacent lane or when the lane crossing occurs in accordance with the traveling direction of the vehicle, .

The method according to claim 1,
The processor comprising:
And when the vehicle has completed entry into the adjacent lane, turns off the side entrance signal.

The method according to claim 1,
The processor comprising:
And generates the side entrance signal based on at least one of lane information detected based on the stereo image and vehicle direction information or vehicle angle information of the vehicle running information.

5. The method of claim 4,
The processor comprising:
Based on the angular velocity information of the vehicle angle information and the detected lane information, whether the vehicle enters an adjacent lane, whether the vehicle runs along a curved road, or whether the vehicle rotates sideways, And generates the side entrance signal only when the vehicle enters the adjacent lane.

The method according to claim 1,
The processor comprising:
Wherein the side entrance signal generating unit generates the side entrance signal when the direction of the vehicle crosses the detected lane and the distance between the detected lane and the vehicle is less than a predetermined distance.

The method according to claim 1,
The processor comprising:
And when the angle between the detected lane and the vehicle is equal to or greater than a predetermined angle, generates the side entrance signal.

The method according to claim 1,
The processor comprising:
A lane detecting unit detecting a lane for the front of the vehicle; And
And a side entrance signal generating unit for generating the side entrance signal based on the detected lane.

The method according to claim 1,
The processor comprising:
A disparity operation unit for performing a disparity operation of the stereo image;
An object detection unit for performing object detection on at least one of the stereo images based on disparity information of the stereo image;
And an object tracking unit for performing tracking on the detected object.

10. The method of claim 9,
The processor comprising:
A segmentation unit for segmenting an object in the stereo image based on disparity information of the stereo image; And
And an object checking unit for classifying the detected object,
Wherein the object detecting unit comprises:
And performs object detection for at least one of the stereo images based on the segmented object.

The method according to claim 1,
The interface unit further receives map information,
The processor comprising:
And generates the side entry signal based on the map information, the stereo image, and the vehicle running information among the sensor information.

The method according to claim 1,
The processor comprising:
Detecting the lane based on the stereo image,
Performs vehicle motion estimation based on the vehicle running information among the sensor information,
Performing tracking of the traveling direction of the vehicle based on the detected lane information and the vehicle motion estimation,
Performing a traveling direction prediction of the vehicle based on the tracking of the traveling direction of the vehicle,
Calculates a lane crossing with an adjacent lane based on the predicted traveling direction of the vehicle, and generates the side entering signal when the lane crossing is predicted or generated.

11. The method of claim 10,
The interface unit further receives map information,
The processor comprising:
Map matching is performed based on the map information and the vehicle running information,
Performs tracking of the traveling direction of the vehicle based on the map information, the detected lane information, and the vehicle motion estimation,
Performing a traveling direction prediction of the vehicle based on the tracking of the traveling direction of the vehicle,
Calculates a lane crossing with an adjacent lane based on the predicted traveling direction of the vehicle, and generates the side entering signal when the lane crossing is predicted or generated.

Mono camera;
Radar;
An interface for exchanging data with at least one vehicle internal device;
A lane detection means for detecting a lane in front of the vehicle based on the mono image received from the mono camera and the distance information from the radar, and based on the mono image and sensor information received via the interface, And a processor for generating a side entry signal for controlling the lamp driving unit provided in the vehicle, the processor for generating a side entry signal indicating that the vehicle enters the adjacent lane based on the predicted traveling direction of the vehicle Wherein the vehicle driving assist device is a vehicle driving assist device.

A rider performing scanning with respect to an external object;
An interface for exchanging data with at least one vehicle internal device;
A lane in front of the vehicle is detected based on a scan image received from the rider, the traveling direction of the vehicle is predicted based on the vehicle running information among sensor information received through the scan image and the interface unit, And a processor for generating a side entry signal for controlling the lamp driving unit, which indicates that the vehicle enters an adjacent lane based on the predicted traveling direction of the vehicle, Auxiliary device.

A sensor unit for sensing a state of the vehicle;
A lamp driving unit for driving the lamp;
A controller for controlling the lamp driver; And
A stereo camera, and an interface for exchanging data with at least one vehicle interior device; and a control unit for detecting a lane in front of the vehicle based on the stereo image received from the stereo camera, Predicts the traveling direction of the vehicle based on the vehicle running information among the sensor information and indicates that the vehicle enters the adjacent lane based on the predicted traveling direction of the vehicle and controls the lamp driving unit provided in the vehicle And a processor for generating a side entry signal for driving the vehicle.

17. The method of claim 16,
The processor comprising:
And when the vehicle has completed entry into the adjacent lane, turns off the side entrance signal.

17. The method of claim 16,
The processor comprising:
Based on the detected angular velocity information in the vehicle angle information and the detected lane information, whether the vehicle enters the adjacent lane, whether the vehicle runs along a curved road, whether the vehicle rotates sideways And generates the side entrance signal only when the vehicle enters an adjacent lane.

17. The method of claim 16,
The processor comprising:
And generates the side entrance signal when the direction of the vehicle crosses the detected lane and the distance between the detected lane and the vehicle is less than a predetermined distance.

17. The method of claim 16,
The processor comprising:
And generates the side entrance signal when the angle between the detected lane and the vehicle is equal to or larger than a predetermined angle.