KR20140109011A - Apparatus and method for controlling vehicle by detection of tunnel - Google Patents

Apparatus and method for controlling vehicle by detection of tunnel Download PDF

Info

Publication number
KR20140109011A
KR20140109011A KR1020130023077A KR20130023077A KR20140109011A KR 20140109011 A KR20140109011 A KR 20140109011A KR 1020130023077 A KR1020130023077 A KR 1020130023077A KR 20130023077 A KR20130023077 A KR 20130023077A KR 20140109011 A KR20140109011 A KR 20140109011A
Authority
KR
South Korea
Prior art keywords
tunnel
vehicle
image
distance
parallax map
Prior art date
Application number
KR1020130023077A
Other languages
Korean (ko)
Other versions
KR101511586B1 (en
Inventor
배상진
김현우
신승환
조선영
최태림
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR20130023077A priority Critical patent/KR101511586B1/en
Publication of KR20140109011A publication Critical patent/KR20140109011A/en
Application granted granted Critical
Publication of KR101511586B1 publication Critical patent/KR101511586B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/30Auxiliary equipments

Abstract

The present invention relates to a method for controlling a vehicle by the detection of a tunnel, configured to comprise the steps of generating at least one image by which at least one camera photographs the front of the vehicle; determining whether the vehicle enters the tunnel by recognizing a shape of the tunnel based on the image; and performing a tunnel driving mode if the vehicle is determined to enter the tunnel.

Description

터널 인식에 의한 차량 제어장치 및 제어방법{APPARATUS AND METHOD FOR CONTROLLING VEHICLE BY DETECTION OF TUNNEL}[0001] DESCRIPTION [0002] APPARATUS AND METHOD FOR CONTROLLING VEHICLE BY DETECTION OF TUNNEL [

본 발명은 차량이 터널에 근접할 때 터널을 자동으로 인식하여 차량을 자동 제어할 수 있도록 하는 차량 제어장치 및 방법에 관한 것이다.
The present invention relates to a vehicle control apparatus and method for automatically recognizing a tunnel and automatically controlling a vehicle when the vehicle approaches a tunnel.

일반적인 도로 환경에서는 주행 중 미등 및 내외기 변환이 필요한 상황이 자주 발생한다. 특히, 우리나라와 같이 산악지형이 많은 곳에서는 터널을 만나는 경우가 빈번하게 발생하게 된다. 이러한 경우, 터널 진입 시마다 운전자가 내외기 모드를 변환한다거나 미등을 작동해야 하는 등의 불편함이 발생함은 물론이고, 차량 운전시의 안전에도 영향을 미칠 수 있게 된다.In a typical road environment, a situation in which a tail light and an in-and-out-of-road conversion are required frequently occurs during driving. Especially, in the mountainous terrain like Korea, the tunnel is frequently encountered. In such a case, not only inconvenience such that the driver changes the inside / outside mode or the taillight at the time of entry of the tunnel occurs, and also it can affect the safety when driving the vehicle.

따라서, 이러한 불편함을 해소하기 위하여 터널 진입시 터널 진입여부를 탐지하여 그에 따라 차량을 제어하는 기술이 적용되고 있다. 그러나, 종래의 터널 진입 탐지 및 자동제어 시스템은, 예를 들어 야간주행 모드시와 터널진입시를 효과적으로 구분하지 못하는 등, 터널진입여부를 효과적이고도 정확하게 탐지하지 못하여 동작오류를 유발하는 문제점이 있었다.
Therefore, in order to solve the inconvenience, a technology for detecting whether or not the tunnel enters the tunnel is controlled and the vehicle is controlled accordingly. However, the conventional tunnel entry detection and automatic control system has a problem that it can not effectively distinguish between a night driving mode and a tunnel entrance time, for example, and thus can not effectively or accurately detect entry of a tunnel, thereby causing an operation error.

본 발명의 배경기술은 대한민국 공개특허공보 제 2009-0059981호(2009. 6. 11 공개)에 개시되어 있다.
The background art of the present invention is disclosed in Korean Patent Laid-Open Publication No. 2009-0059981 (published on June 11, 2009).

따라서, 본 발명이 이루고자하는 기술적 과제는, 차량 주행 중 터널에 근접할 때 차량에 장착된 복수개의 카메라를 통하여 얻어지는 영상을 통하여 차량의 터널 진입을 자동으로 인식함으로써, 터널 내에서의 주행 환경에 적합한 차량 제어를 자동으로 실행할 수 있도록 하는 터널 인식에 의한 차량 제어장치 및 제어방법을 제공하는 데에 있다.
SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a method and apparatus for automatically recognizing entry of a vehicle into a tunnel through an image obtained through a plurality of cameras mounted on the vehicle, And to provide a vehicle control device and a control method by tunnel recognition that can automatically execute vehicle control.

본 발명의 일 측면에 따르면, 본 발명은 적어도 하나의 카메라가 차량 전방을 촬영하여 적어도 하나의 영상을 생성하는 단계; 상기 적어도 하나의 영상에 기초하여 터널의 형상을 인식하여 차량의 터널 진입을 판단하는 단계; 및 상기 차량이 터널에 진입하는 것으로 판단되는 경우, 터널 주행모드를 실행하는 단계를 포함하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어방법을 제공한다.According to an aspect of the present invention, there is provided a method for controlling a vehicle, comprising: at least one camera photographing a front of a vehicle to generate at least one image; Recognizing a shape of a tunnel based on the at least one image and determining entrance of a tunnel of the vehicle; And executing the tunnel driving mode when it is determined that the vehicle enters the tunnel.

본 발명에서, 상기 적어도 하나의 카메라는 제 1 및 제 2 카메라를 포함하고 상기 적어도 하나의 영상은 제 1 및 제 2영상을 포함하며, 상기 터널의 형상을 인식하여 차량의 터널 진입을 판단하는 단계는, 상기 제 1 및 제 2 영상에 기초하여 시차맵을 생성하는 단계; 및 상기 시차맵에 기초하여 차량의 터널 진입을 판단하는 단계를 포함하는 것을 특징으로 한다.In the present invention, the at least one camera includes a first camera and a second camera, the at least one image includes first and second images, and recognizing a shape of the tunnel to determine a tunnel entrance of the vehicle Generating a parallax map based on the first and second images; And determining a tunnel entry of the vehicle based on the parallax map.

본 발명에서, 상기 시차맵은 복수의 화소를 포함하고, 상기 제 1 및 제 2영상에 투영된 각 전방지점과 차량 간의 거리가 상기 복수의 화소에 맵핑되며, 상기 각 차량 전방지점들과 차량 간의 거리는 제 1 및 제 2영상의 시차에 기초하여 산출되는 것을 특징으로 한다.In the present invention, the parallax map includes a plurality of pixels, a distance between each forward point projected on the first and second images and the vehicle is mapped to the plurality of pixels, And the distance is calculated based on the parallax of the first and second images.

본 발명에서, 상기 각 차량 전방지점들과 차량 간의 거리는 카메라 초점거리, 상기 제 1 및 제 2 카메라 간의 거리, 및 상기 제 1 및 제 2 카메라에 각각 입력된 해당 전방지점의 이미지 중심으로부터의 거리에 기초하여 산출되는 것을 특징으로 한다.In the present invention, the distance between each of the vehicle front points and the vehicle is calculated based on the camera focal distance, the distance between the first and second cameras, and the distance from the center of the image of the corresponding forward point input to the first and second cameras, Is calculated on the basis of the following equation.

본 발명에서, 상기 시차맵에 기초하여 차량의 터널 진입을 판단하는 단계는, 상기 시차맵 내 각 화소에 맵핑된 거리를 제 1 영상 방향으로 미분한 미분값들을 이용하여 윤곽선 영상을 생성하는 단계; 및 상기 윤곽선 영상을 미리 저장된 터널 형상에 관한 기준 영상과 비교하여 차량의 터널 진입을 판단하는 단계를 포함하는 것을 특징으로 한다.In the present invention, the step of determining entry of a vehicle into a tunnel based on the parallax map may include generating a contour line image using differential values differentiated in the first image direction from a distance mapped to each pixel in the parallax map; And comparing the outline image with a reference image related to a previously stored tunnel shape to determine entry of the vehicle into a tunnel.

본 발명에서, 상기 윤곽선 영상의 생성시, 미리 설정된 임계값을 초과하는 미분값만을 반영하여 상기 윤곽선 영상을 생성하는 것을 특징으로 한다.In the present invention, at the time of generating the contour image, the contour image is generated by reflecting only the differential values exceeding a preset threshold value.

본 발명에서, 상기 적어도 하나의 영상에 기초하여 차량의 터널 진출여부를 판단하는 단계; 및 터널을 진출하는 것으로 판단되면, 상기 터널 주행모드를 해제하는 단계를 더 포함하는 것을 특징으로 한다.In the present invention, it may be determined whether or not the vehicle is in a tunnel based on the at least one image. And releasing the tunnel traveling mode if it is determined that the tunnel is to be advanced.

본 발명에서, 상기 차량의 터널 진출여부 판단시, 상기 적어도 하나의 영상으로부터 산출되는 밝기 강도를 임계범위와 비교함으로써 차량의 터널 진출여부를 판단하는 것을 특징으로 한다.In the present invention, it is determined whether or not the vehicle enters the tunnel by comparing the brightness intensity calculated from the at least one image with a threshold range when determining whether or not the vehicle is entering the tunnel.

본 발명에서, 상기 임계범위는 터널 진입 전에 취득된 밝기강도의 평균값과 미리 설정된 기준오차값 간의 차에 의해 설정되고, 상기 밝기 강도가 상기 임계범위를 벗어나면 차량이 터널을 진출하는 것으로 판단하는 것을 특징으로 한다.In the present invention, the threshold range is set by a difference between an average value of the brightness intensity obtained before entering the tunnel and a preset reference error value, and when the brightness intensity is out of the threshold range, it is determined that the vehicle advances the tunnel .

본 발명에서, 상기 적어도 하나의 카메라는 제 1 및 제 2 카메라를 포함하고 상기 적어도 하나의 영상은 제 1 및 제 2영상을 포함하며, 상기 차량의 터널 진출여부를 판단하는 단계는, 상기 제 1 및 제 2 영상에 기초하여 시차맵을 생성하는 단계; 및 상기 시차맵에 기초하여 차량의 터널 진출을 판단하는 단계를 포함하는 것을 특징으로 한다.In the present invention, the at least one camera includes first and second cameras, and the at least one image includes first and second images, and the step of determining whether or not the vehicle enters the tunnel includes: And generating a parallax map based on the second image; And a step of judging the entry of the vehicle into a tunnel based on the parallax map.

본 발명에서, 상기 터널 주행모드는 선루프 제어, 에어컨 제어, 전조등 점등제어, 테일 램프 점등제어 및 차량윈도우 차단제어 중 적어도 하나를 포함하는 것을 특징으로 한다.
In the present invention, the tunnel running mode includes at least one of a sunroof control, an air conditioner control, a headlight lighting control, a tail lamp lighting control, and a vehicle window shutoff control.

또한, 본 발명의 다른 측면에 따르면, 본 발명은 제 1 및 제 2 카메라가 차량 전방을 촬영하여 제 1 및 제 2 영상을 각각 생성하는 단계; 및 상기 제 1 및 제 2 영상에 기초하여 터널의 형상을 인식하여 차량의 터널 진입을 판단하는 단계를 포함하는 것을 특징으로 하는, 터널 진입 인식방법을 제공한다.According to another aspect of the present invention, there is provided a method of driving a vehicle, comprising: capturing a front side of a vehicle by a first camera and a second camera to generate first and second images, respectively; And recognizing a shape of the tunnel based on the first and second images to determine entry of the tunnel into the vehicle.

본 발명에서, 상기 터널의 형상을 인식하여 차량의 터널 진입을 판단하는 단계는, 상기 제 1 및 제 2 영상에 기초하여 시차맵을 생성하는 단계; 및 상기 시차맵에 기초하여 차량의 터널 진입을 판단하는 단계를 포함하는 것을 특징으로 한다.In the present invention, the step of recognizing the shape of the tunnel and judging the entrance of the tunnel of the vehicle may include: generating a parallax map based on the first and second images; And determining a tunnel entry of the vehicle based on the parallax map.

본 발명에서, 상기 시차맵은 복수의 화소를 포함하고, 상기 제 1 및 제 2영상에 투영된 각 전방지점과 차량 간의 거리가 상기 복수의 화소에 맵핑되며, 상기 각 차량 전방지점들과 차량 간의 거리는 제 1 및 제 2영상의 시차에 기초하여 산출되는 것을 특징으로 한다.
In the present invention, the parallax map includes a plurality of pixels, a distance between each forward point projected on the first and second images and the vehicle is mapped to the plurality of pixels, And the distance is calculated based on the parallax of the first and second images.

본 발명의 또 다른 측면에 따르면, 본 발명은 제 1 및 제 2 카메라가 차량 전방을 촬영하여 제 1 및 제 2 영상을 각각 생성하는 단계; 및 상기 제 1 및 제 2 영상에 기초하여 터널의 형상을 인식하여 차량의 터널 진출을 판단하는 단계를 포함하는 것을 특징으로 하는, 터널 진출 인식방법을 제공한다.According to another aspect of the present invention, there is provided a method of controlling a vehicle, comprising: capturing a front side of a vehicle by a first camera and a second camera to generate first and second images, respectively; And recognizing the shape of the tunnel based on the first and second images to determine the entry of the tunnel into the vehicle.

본 발명에서, 상기 터널의 형상을 인식하여 차량의 터널 진출을 판단하는 단계는, 상기 제 1 및 제 2 영상에 기초하여 시차맵을 생성하는 단계; 및 상기 시차맵에 기초하여 차량의 터널 진출을 판단하는 단계를 포함하는 것을 특징으로 한다.In the present invention, the step of recognizing the shape of the tunnel and judging the advancement of the tunnel of the vehicle may include: generating a parallax map based on the first and second images; And a step of judging the entry of the vehicle into a tunnel based on the parallax map.

본 발명에서, 상기 시차맵은 복수의 화소를 포함하고, 상기 제 1 및 제 2영상에 투영된 각 전방지점과 차량 간의 거리가 상기 복수의 화소에 맵핑되며, 상기 각 차량 전방지점들과 차량 간의 거리는 제 1 및 제 2영상의 시차에 기초하여 산출되는 것을 특징으로 한다.
In the present invention, the parallax map includes a plurality of pixels, a distance between each forward point projected on the first and second images and the vehicle is mapped to the plurality of pixels, And the distance is calculated based on the parallax of the first and second images.

본 발명의 또 다른 측면에 따르면, 본 발명은 차량 전방을 촬영하여 제 1 및 제 2 영상을 각각 생성하는 제 1 및 제 2 카메라를 포함하는 영상부; 상기 영상부로부터 제공되는 상기 제 1 및 제 2 영상에 기초하여 시차맵을 생성하는 시차맵생성부; 및 상기 시차맵생성부로부터 제공되는 시차맵에 기초하여 차량의 터널 진입을 판단하는 제어부를 포함하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어장치를 제공한다.According to another aspect of the present invention, there is provided an image processing apparatus comprising: an image unit including a first camera and a second camera for photographing the front of a vehicle and generating first and second images, respectively; A parallax map generation unit for generating a parallax map based on the first and second images provided from the image unit; And a controller for determining entrance of a tunnel of the vehicle based on the parallax map provided by the parallax map generator.

본 발명에서, 차량이 터널에 진입하는 것으로 판단되는 경우, 상기 제어부는 터널 주행모드를 실행하는 것을 특징으로 한다.In the present invention, when it is determined that the vehicle enters the tunnel, the control unit executes the tunnel running mode.

본 발명은 상기 제 1 및 제 2영상 중 적어도 하나에 기초하여 밝기 강도를 산출하는 밝기강도 연산부를 더 포함하되, 상기 제어부는 상기 터널 주행모드를 실행 중, 상기 밝기 강도를 임계범위와 비교하여 차량의 터널 진출여부를 판단하고, 터널을 진출하는 것으로 판단되면 상기 터널 주행모드를 해제하는 것을 특징으로 한다.
The present invention further includes a brightness intensity calculating unit for calculating a brightness intensity based on at least one of the first and second images, wherein the controller compares the brightness intensity with a threshold range during execution of the tunnel running mode, And the tunnel driving mode is canceled when it is determined that the tunnel is advanced.

본 발명에 따른 차량 제어장치 및 제어방법은 차량이 터널에 근접할 때 차량에 장착되어 있는 카메라를 통하여 얻어지는 영상을 통하여 차량의 터널 진입을 자동으로 인식하여 터널 내에서의 주행 환경에 적합한 차량 제어를 자동으로 실행함으로써, 차량 운전자에게 편의를 제공하고 운전자가 차량 운전에만 집중할 수 있도록 하며, 이를 통해 차량의 고부가 이미지를 구현할 수 있다.
A vehicle control apparatus and a control method according to the present invention automatically recognize a vehicle entering a tunnel through an image obtained through a camera mounted on the vehicle when the vehicle is approaching a tunnel and perform vehicle control suitable for the driving environment in the tunnel By automatically executing, it is possible to provide convenience to the driver of the vehicle and allow the driver to concentrate only on driving the vehicle, thereby realizing a high-value image of the vehicle.

도 1은 본 발명에 의한 일 실시예에 따른 터널 인식에 의한 차량 제어장치의 구성을 도시한 블럭도이다.
도 2는 본 실시예에 따른 터널 인식에 의한 차량 제어방법을 설명하기 위한 순서도이다.
도 3은 본 실시예에서 2대의 카메라에 의해 촬영된 영상을 이용하여 차량으로부터 전방 물체까지의 거리를 계산하는 것을 설명하기 위한 개념도이다.
도 4는 본 실시예에서 카메라에 의해 촬영된 영상과 차량 전방의 물체 간 3차원 위치관계를 도시한 것이다.
도 5는 본 실시예에서 카메라에 의해 촬영된 영상 내 한 화소에, 이에 대응하는 전방 물체까지의 거리를 맵핑하여 표시하는 예를 도시한 것이다.
도 6은 본 실시예에서 카메라에 의해 촬영된 영상 내 각 화소에, 이에 대응하는 전방 물체까지의 거리를 맵핑하여 생성한 시차맵을 도시한 것이다.
도 7은 도 6의 시차맵에서 영역 A 부분에 대하여, 수직 방향으로의 미분값의 분포를 나타낸 것이다.
도 8은 도 6의 시차맵 내 각 화소에 맵핑된 거리를 수직 방향으로 미분한 미분값들을 이용하여 생성한 윤곽선 영상을 도시한 것이다.
도 9는 차량 진입시 차량 진행 위치에 따른 밝기 강도의 추이를 도시한 것이다.
FIG. 1 is a block diagram showing the configuration of a vehicle control apparatus by tunnel recognition according to an embodiment of the present invention.
2 is a flowchart for explaining a vehicle control method by tunnel recognition according to the present embodiment.
3 is a conceptual diagram for explaining calculation of the distance from the vehicle to a forward object using an image photographed by two cameras in this embodiment.
Fig. 4 shows a three-dimensional positional relationship between an image photographed by a camera and an object in front of the vehicle in this embodiment.
Fig. 5 shows an example in which the distance to a corresponding forward object is mapped to one pixel in an image photographed by the camera in this embodiment.
Fig. 6 shows a parallax map generated by mapping the distance to the corresponding forward object to each pixel in the image photographed by the camera in this embodiment.
7 shows the distribution of the differential values in the vertical direction with respect to the area A in the parallax map of Fig.
FIG. 8 shows an outline image generated by using differential values obtained by differentiating the distance mapped to each pixel in the parallax map of FIG. 6 in the vertical direction.
Fig. 9 shows a change in brightness intensity according to the vehicle traveling position at the time of entering the vehicle.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

도 1은 본 발명에 의한 일 실시예에 따른 터널 인식에 의한 차량 제어장치의 구성을 도시한 블럭도이고, 도 2는 본 실시예에 따른 터널 인식에 의한 차량 제어방법을 설명하기 위한 순서도이며, 도 3은 본 실시예에서 2대의 카메라에 의해 촬영된 영상을 이용하여 차량으로부터 전방 물체까지의 거리를 계산하는 것을 설명하기 위한 개념도이다. 또한, 도 4 내지 도 9는 본 실시예에 따른 터널 인식 및 차량제어를 설명하기 위한 참고도이다. 도 1 내지 도 9를 참조하여 본 발명을 설명하면 다음과 같다. FIG. 1 is a block diagram showing a configuration of a vehicle control apparatus by tunnel recognition according to an embodiment of the present invention, FIG. 2 is a flowchart for explaining a vehicle control method by tunnel recognition according to the present embodiment, 3 is a conceptual diagram for explaining calculation of the distance from the vehicle to a forward object using an image photographed by two cameras in this embodiment. 4 to 9 are reference views for explaining tunnel recognition and vehicle control according to the present embodiment. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described with reference to FIGS.

도 1에 도시된 바와 같이, 본 실시예에 따른 터널 인식에 의한 차량 제어장치는 차량 전방을 촬영하여 제 1 및 제 2영상(10, 20)을 각각 생성하는 제 1 및 제 2 카메라(111, 112)를 포함하는 영상부(110); 영상부(110)로부터 제공되는 제 1 및 제 2 영상(10, 20)에 기초하여 시차맵(50)을 생성하는 시차맵생성부(130); 상기 시차맵생성부(130)로부터 제공되는 시차맵(50)에 기초하여 차량의 터널 진입을 판단하는 제어부(120); 및 제 1 및 제 2영상(10, 20) 중 적어도 하나에 기초하여 밝기 강도를 산출하는 밝기강도 연산부(140)를 포함한다. As shown in FIG. 1, the vehicle control apparatus based on the tunnel recognition according to the present embodiment includes first and second cameras 111 and 112 for photographing the front of the vehicle and generating the first and second images 10 and 20, respectively. 112); A parallax map generation unit 130 for generating a parallax map 50 based on the first and second images 10 and 20 provided from the video unit 110; A control unit 120 for determining entrance of a tunnel of a vehicle based on the parallax map 50 provided from the parallax map generation unit 130; And a brightness intensity calculator 140 for calculating a brightness intensity based on at least one of the first and second images 10 and 20.

제어부(120)는 차량이 터널에 진입하는 것으로 판단되는 경우 터널 주행모드를 실행한다. 또한, 제어부(120)는 상기 터널 주행모드의 실행 중 밝기 강도(I)를 임계범위와 비교하여 차량의 터널 진출여부를 판단하고, 터널을 진출하는 것으로 판단되면 터널 주행모드를 해제한다. 임계범위는 터널 진입 전에 취득된 밝기강도(I)의 평균값과 미리 설정된 기준오차값(ΔI) 간의 차에 의해 설정되고, 제어부(120)는 상기 밝기 강도(I)가 상기 임계범위를 벗어나면 차량이 터널을 진출하는 것으로 판단한다.The control unit 120 executes the tunnel running mode when it is determined that the vehicle enters the tunnel. In addition, the controller 120 compares the brightness intensity I during execution of the tunnel running mode with a threshold range to determine whether or not the vehicle has entered the tunnel, and releases the tunnel running mode if it is determined to advance the tunnel. The threshold range is set by a difference between an average value of the brightness intensity I obtained before entering the tunnel and a preset reference error value I, and the control unit 120 determines that the brightness intensity I is out of the threshold range It is judged that the tunnel is advanced.

시차맵(50)은 복수의 화소를 포함하고, 상기 제 1 및 제 2영상(10, 20)에 투영된 각 차량 전방지점들과 차량 간의 거리가 상기 복수의 화소에 맵핑되며, 상기 각 차량 전방지점들과 차량 간의 거리는 제 1 및 제 2영상(10, 20)의 시차(parallax)에 기초하여 산출되며, 자세한 산출방법은 후술한다.A time difference map (50) includes a plurality of pixels, and a distance between each vehicle front point and a vehicle projected on the first and second images (10, 20) is mapped to the plurality of pixels, The distance between the points and the vehicle is calculated based on the parallax of the first and second images 10 and 20, and detailed calculation methods will be described later.

제어부(120)는 시차맵 생성부(130)를 통하여 시차맵(50) 내 각 화소에 맵핑된 거리를 제 1 영상 방향(y방향)으로 미분한 미분값들을 이용하여 윤곽선 영상(55)을 생성하고, 차량의 터널 진입 판단시 제어부(120)는 윤곽선 영상(55)을 메모리부(150)에 미리 저장된 터널 형상에 관한 기준 영상과 비교하여 차량의 터널 진입을 판단한다. 시차맵 생성부(130)는 윤곽선 영상(50)의 생성시, 미리 설정된 임계값을 초과하는 미분값만을 반영하여 윤곽선 영상(55)을 생성하며, 이에 대한 자세한 설명은 후술한다.
The control unit 120 generates a contour line image 55 by using the differential values obtained by differentiating the distance mapped to each pixel in the disparity map 50 through the disparity map generating unit 130 in the first image direction (y direction) The control unit 120 compares the outline image 55 with the reference image related to the tunnel shape previously stored in the memory unit 150 to determine whether the vehicle enters the tunnel. The parallax map generation unit 130 generates the contour line image 55 by reflecting only the differential values exceeding the predetermined threshold value at the time of generating the contour line image 50, and a detailed description thereof will be described later.

이와 같이 구성된 본 실시예의 동작 및 작용을 도 1 내지 도 9를 참조하여 구체적으로 설명한다.The operation and operation of the present embodiment thus configured will be described in detail with reference to Figs. 1 to 9. Fig.

먼저, 영상부(110)는 제 1 카메라(111)와 제 2 카메라(112)를 통하여 차량 전방을 촬영하여 스테레오 영상 즉, 도 3에 도시된 바와 같은 제 1 및 제 2영상(10, 20)을 각각 생성한다(S201). 제 1 카메라(111)와 제 2 카메라(112)는 차량의 전방 좌측 및 우측에 각각 설치되어 차량 전방을 각각 촬영하며 도 3에 도시된 바와 같이 차량 전방을 바라보는 시차(parallax)에 따라 각각 제 1영상(10) 및 제 2영상(20)을 생성한다. 영상부(110)를 통한 차량 전방에 대한 영상 촬영은 차량 주행 중 계속적으로 이루어진다.First, the video unit 110 photographs the front of the vehicle through the first camera 111 and the second camera 112 and generates a stereo image, that is, the first and second images 10 and 20 as shown in FIG. 3, Respectively (S201). The first camera 111 and the second camera 112 are respectively installed on the front left and right sides of the vehicle and photograph the front of the vehicle respectively. As shown in FIG. 3, 1 image 10 and a second image 20 are generated. The image capturing for the front of the vehicle through the video unit 110 is continuously performed during the running of the vehicle.

이어서, 시차맵 생성부(130)는 제 1 및 제 2 영상(10, 20)에 기초하여 도 6에 도시된 바와 같은 시차맵(disparity map, 50)을 생성한다(S202). 이를 구체적으로 살펴 보면, 영상부(110)에 의해 생성되는 제 1 및 제 2 영상(10, 20)은 도 4에 도시된 바와 같이 가로축방향(x) 및 세로축방향(y)으로 이루어진 2차원 영상이다. 그리고, z는 차량, 좀더 구체적으로는 영상부(110)로부터 차량전방에 있는 어떤 물체까지의 거리를 나타낸다. 도 3은 2대의 카메라에 의해 촬영된 영상을 이용하여 차량으로부터 전방 물체까지의 거리를 계산하는 것을 설명하기 위한 개념도로서, 차량전방에 있는 물체를 바라보는 시차에 따라 제 1 및 제 2 카메라(111, 112)에 의해 도 3에 도시된 바와 같은 제 1 및 제 2 영상(10, 20)이 각각 생성되며, 이를 통해 차량으로부터 해당 물체까지의 거리(z)를 아래의 수학식 1, 2에 의해 계산할 수 있다.Next, the parallax map generator 130 generates a disparity map 50 as shown in FIG. 6 based on the first and second images 10 and 20 (S202). As shown in FIG. 4, the first and second images 10 and 20 generated by the image unit 110 are divided into a two-dimensional image having a horizontal axis x and a vertical axis y, to be. And z represents the distance from the vehicle, more specifically the image portion 110, to an object in front of the vehicle. 3 is a conceptual diagram for explaining calculation of the distance from the vehicle to the forward object using the images taken by the two cameras. The first and second cameras 111 The first and second images 10 and 20 as shown in FIG. 3 are generated by the cameras 112 and 112, respectively, and the distance z from the vehicle to the object is calculated by the following equations (1) and Can be calculated.

Figure pat00001
Figure pat00001

Figure pat00002
Figure pat00002

(단, f는 카메라 초점거리, b:제 1 및 제 2 카메라 간 거리, dl은 제 1 카메라에 입력된 해당 물체의 이미지 중심으로부터의 x축방향 거리, dr은 제 2 카메라에 입력된 해당 물체의 이미지 중심으로부터의 x축방향 거리, d는 dl과 dr의 합)(Where, f is the camera focal length, b: the first and second camera distance, d l is the x-axis direction distance from the center of the image of the object entered in the first camera, d r is input to the second camera Axis distance from the image center of the object, d is the sum of d l and d r )

시차맵 생성부(130)는 상기 수학식 1, 2를 통해 얻어지는 차량 전방 물체까지의 거리를 2차원 영상에 맵핑하여 도 6과 같은 시차맵(50)을 생성한다. 시차맵(50)은 복수의 화소를 포함하는데, 시차맵 생성부(130)는 도 5에 도시된 바와 같이 제 1 및 제 2영상(10, 20)에 투영된 차량 전방의 어떤 물체와 차량 간의 거리(z1)를 2차원 영상 내 대응 위치(1)에 맵핑하고, 이러한 작업을 차량 전방 영상에 전체에 대해 수행함으로써 도 6에 도시된 바와 같은 시차맵(50)을 생성한다. 도 6은 본 실시예에서 카메라에 의해 촬영된 영상 내 각 화소에, 이에 대응하는 전방 물체까지의 거리를 맵핑하여 생성한 시차맵을 도시한 것으로서, 특히 차량 전방에 터널이 나타났을 때의 모습을 나타낸 것이다. 이렇게 하여 생성된 시차맵(50) 상의 각 화소에는 차량으로부터 해당 전방 지점까지의 거리가 맵핑되며, 이를 영상으로 표시한다면 휘도나 RGB값으로 변환하여 표시하는 것이 가능할 것이다.The parallax map generation unit 130 generates a parallax map 50 as shown in FIG. 6 by mapping the distance to the vehicle ahead object obtained through Equations 1 and 2 to the two-dimensional image. The parallax map 50 includes a plurality of pixels. The parallax map generation unit 130 generates a parallax map of a certain object in front of the vehicle projected on the first and second images 10 and 20, as shown in FIG. 5, Maps the distance z 1 to the corresponding position 1 in the two-dimensional image, and performs this operation on the entire vehicle front image to generate the parallax map 50 as shown in Fig. Fig. 6 shows a parallax map generated by mapping the distance to the corresponding forward object to each pixel in the image photographed by the camera in this embodiment. In particular, Fig. 6 shows the parallax map when a tunnel appears in front of the vehicle . The distance from the vehicle to the corresponding forward point is mapped to each pixel on the generated parallax map 50. If it is displayed as an image, it can be converted into luminance and RGB values and displayed.

다음으로, 제어부(120)는 시차맵(50)에 기초하여 차량의 터널 진입을 판단한다(S203). 이를 좀 더 구체적으로 살펴 보면, 먼저 제어부(120)는 시차맵 생성부(130)를 통하여 시차맵(50) 내 각 화소에 맵핑된 거리(z)를 세로축방향(y방향)으로 미분한 미분값들을 이용하여 윤곽선 영상(55)을 생성한다(S203a). 도 7은 도 6의 시차맵(50)에서 영역 A 부분에 대하여, 수직 방향(세로축방향)으로의 미분값의 분포를 나타낸 것으로서, 이에 도시된 바와 같이 터널의 경계, 즉 터널 엣지부분에서는 차량에서 해당 지점까지의 거리의 변화가 급격하게 발생되기 때문에 그 미분값(dz/dy)이 급격하게 증가함을 알 수 있다. 따라서, 시차맵 생성부(130)는 시차맵(50) 내 각 화소 중에서 상기 미분값(dz/dy)이 미리 설정된 임계값을 초과하는 부분만 추출하여 이를 이차원 영상에 투영함으로써 도 8에 도시된 바와 같은 윤곽선 영상(55)을 생성할 수 있다. 물론, 실시예에 따라서는 시차맵(50)에서 수평 방향(가로축방향) 또는 그외 다른 일방향으로의 미분값의 분포를 추출하여 윤곽선 영상을 생성하는 것도 가능할 것이다.Next, the control unit 120 judges entry of the vehicle into the tunnel based on the time difference map 50 (S203). First, the controller 120 controls the parallax map generator 130 to calculate a distance z mapped to each pixel in the parallax map 50 as a derivative value obtained by differentiating the distance z in the vertical axis direction (y direction) To generate a contour line image 55 (S203a). 7 shows distribution of differential values in the vertical direction (vertical axis direction) with respect to the area A in the parallax map 50 of FIG. 6. As shown in FIG. 7, in the boundary of the tunnel, that is, at the tunnel edge, The variation of the distance to the corresponding point is abruptly generated, so that the differential value (dz / dy) thereof increases sharply. Therefore, the parallax map generation unit 130 extracts only the portion of the pixels in the parallax map 50 whose differential value (dz / dy) exceeds a preset threshold value and projects the extracted portion on the two-dimensional image, An outline image 55 such as a bar can be generated. Of course, depending on the embodiment, it is also possible to generate a contour image by extracting the distribution of differential values in the horizontal direction (horizontal axis direction) or other one direction in the parallax map 50.

이어서, 제어부(120)는 윤곽선 영상(55)을 메모리부(150)에 미리 저장되어 있는 터널 형상에 관한 기준 영상과 비교하여 차량의 터널 진입을 판단한다(S203b). 구체적으로, 제어부(120)는 Haar-like-feature방식에 의한 형상인식기술을 포함하여 공지 또는 공지되지 않은 다양한 형상인식기술을 이용하여 윤곽선 영상(55)과 상기 기준 영상을 비교하여 터널형상을 식별할 수 있다. 그리고, 터널 형상이 식별되면, 제어부(120)는 상기 생성된 윤곽선 영상(55) 내 윤곽선의 최저점과 해당 윤곽선 영상(55) 하단부 간의 거리(D)가 일정 기준값 이하가 되면 차량이 터널에 진입하는 것으로 판단한다. 이 때, 판단결과 차량이 터널에 진입하는 것으로 판단되면 이하의 단계로 진행하지만, 터널에 진입하는 것으로 판단되지 않으면 상기 단계(S201)로 회귀한다.Next, the control unit 120 compares the outline image 55 with the reference image related to the tunnel shape stored in advance in the memory unit 150, and determines whether the vehicle enters the tunnel (S203b). Specifically, the controller 120 compares the contour line image 55 with the reference image using known or unknown various shape recognition techniques including a shape recognition technique based on a Haar-like-feature method to identify a tunnel shape can do. When the distance D between the lowest point of the outline in the generated outline image 55 and the lower end of the outline image 55 is less than a predetermined reference value, the control unit 120 enters the tunnel . At this time, if it is determined that the vehicle enters the tunnel as a result of the determination, the process proceeds to the following step, but if it is not determined that the vehicle enters the tunnel, the process returns to step S201.

상기에서 차량이 터널에 진입하는 것으로 판단된 경우, 제어부(120)는 터널 주행모드를 실행한다(S204). 여기서, 터널 주행모드라 함은 차량이 터널에 진입할 때 차량에 설치되어 있는 각종 부가장치들(160)을 자동으로 제어하도록 미리 설정된 차량 주행모드를 의미하며, 예를 들어 선루프를 자동으로 차단하는 선루프 제어, 에어컨 구동을 자동을 제어하는 에어컨 제어, 전조등을 자동으로 점등하는 전조등 점등제어, 테일 램프를 자동으로 점등하는 테일램프 점등제어, 개방되어 있는 차량의 윈도우를 자동으로 차단하는 차량윈도우 차단제어 등이 있을 수 있으며, 이외에도 다양한 주행모드가 설정될 수 있다.If it is determined that the vehicle enters the tunnel, the control unit 120 executes the tunnel running mode (S204). Here, the tunnel running mode means a vehicle running mode preset to automatically control the various additional devices 160 installed in the vehicle when the vehicle enters a tunnel. For example, the tunnel running mode automatically blocks the sunroof , The air conditioner control that controls the air conditioner driving automatically, the headlight lighting control that automatically lights the headlights, the tail lamp which lights up the tail lamp automatically, the vehicle window that automatically blocks the window of the open vehicle Shut-off control, and the like. In addition, various traveling modes can be set.

다음으로, 제어부(120)는 제 1 및 제 2영상(10, 20) 중 적어도 하나에 기초하여 산출되는 밝기 강도(I)를 임계범위와 비교함으로써 차량의 터널 진출여부를 판단한다(S205). 구체적으로 제 1영상(10)을 사용하는 경우를 예로 들면, 일반적으로 영상 이미지는 RGB정보를 포함하고 있다. 이 RGB(Red, Green, Blue)정보는 통상적으로 각각 0 내지 255의 값을 갖는데 해당 영상이 밝을수록 255에 가까운 값을 갖고, 어두울수록 0에 가까운 값을 갖는다. 본 실시예에서는 해당 영상의 평균적인 R, G, B값을 추출하여 이 값들을 수학식 3과 같이 평균화하여 밝기강도(I)를 산출한다.Next, the control unit 120 determines whether or not the vehicle enters the tunnel by comparing the brightness intensity I calculated based on at least one of the first and second images 10 and 20 with the threshold range (S205). Specifically, when the first image 10 is used as an example, the image generally includes RGB information. The RGB (Red, Green, and Blue) information typically has values of 0 to 255, respectively. As the image becomes brighter, it has a value close to 255, and has a value closer to 0 as the image becomes darker. In this embodiment, the average R, G, and B values of the image are extracted, and the values are averaged as shown in Equation (3) to calculate the brightness intensity (I).

Figure pat00003
Figure pat00003

통상적으로, 밝기강도(I)는 도 9에 도시된 바와 같이 터널 진입 전에는 비교적 높은 값을 갖다가 터널에 진입하게 되면 하강하기 시작하여 터널에 완전히 진입하면 낮은 값이 되고, 이후 다시 터널을 진출하여 밖으로 나오게 되면 다시 상승하여 터널 진입 전의 값을 회복하게 된다. 본 실시예에서, 밝기 강도연산부(140)는 제 1 영상(10) 또는 제 2영상(20)을 이용하여 밝기강도(I)를 산출하여 제어부(120)에 제공하고, 제어부(120)는 터널 주행모드 실행 중 상기 산출된 밝기 강도(I)를 임계범위와 비교하여 차량의 터널 진출여부를 판단한다. 특히, 제어부(120)는 수학식 4에 나타나 있는 바와 같이 [터널 진입 전에 복수회 취득된 밝기강도의 평균값]과 미리 설정된 기준오차값(ΔI) 간의 차에 의해 설정되는 임계강도를 초과하는 경우 터널을 진출하는 것으로 판단할 수 있고, 또한 밝기값에 음의 값을 곱한 경우에는 음의 임계강도 미만이 되는 경우 터널을 진출하는 것으로 판단할 수 있다. 즉, 제어부(120)는 상기 밝기 강도(I)가 특정 임계범위를 벗어나는 시점, 예를 들어 도 9의 P 지점이 되면 차량이 터널을 진출하는 것으로 판단한다.As shown in FIG. 9, the brightness intensity I has a relatively high value before entry into the tunnel, and begins to descend when entering the tunnel, and becomes low when it completely enters the tunnel. When it comes out, it goes up again to recover the value before entering the tunnel. The brightness intensity calculating section 140 calculates the brightness intensity I using the first image 10 or the second image 20 and provides the brightness intensity I to the control section 120. The control section 120 controls the brightness The calculated brightness intensity I during running mode is compared with a threshold range to determine whether or not the vehicle is entering the tunnel. In particular, as shown in Equation (4), when the control unit 120 exceeds the threshold intensity set by the difference between the average value of the brightness intensity acquired a plurality of times before entering the tunnel and the preset reference error value I, If the brightness value is multiplied by a negative value, it can be determined that the tunnel is advanced if the brightness value is less than the negative threshold strength. That is, the controller 120 determines that the vehicle enters the tunnel when the brightness intensity I is out of a certain threshold range, for example, at point P in FIG.

Figure pat00004
Figure pat00004

또한, 단계(S205)에서는 밝기강도(I)를 이용하여 터널의 진출을 판단하는 것으로 기술하였으나, 실시예에 따라서는 차량의 터널 진출여부의 판단시 시차맵 생성부(130)에서 생성된 시차맵에 기초하여 제어부(120)가 터널 진출여부를 판단하도록 구성할 수도 있다. 즉, 상기 시차맵생성부(130)에서 생성된 시차맵 및 이에 따른 윤곽선 영상(55)을 메모리부(150)에 미리 저장되어 있는 터널 형상에 관한 기준 영상과 비교하여 차량의 터널 진출여부를 판단하도록 구성할 수도 있으며, 그 구체적인 실시방법은 상기 터널 진입방법에서의 터널형상 인식과 동일하므로, 그 이상의 상세한 설명은 생략한다.In addition, although it has been described in the step S205 that the advance of the tunnel is determined using the brightness intensity I, according to the embodiment, when determining whether or not the vehicle is entering the tunnel, the parallax map generated by the parallax map generator 130 The control unit 120 may determine whether or not the tunnel is advanced. That is, the parallax map generated by the parallax map generator 130 and the corresponding contour image 55 are compared with a reference image related to the tunnel shape stored in advance in the memory unit 150, And its concrete implementation method is the same as the tunnel shape recognition in the above-mentioned tunnel entry method, and thus a detailed description thereof will be omitted.

단계(S205)에서의 판단결과 터널을 진출하는 것으로 판단되면 다음 단계로 진행하지만, 터널을 아직 진출하지 않은 것으로 판단되면 단계(S204)로 회귀한다.As a result of the determination in step S205, if it is determined to advance the tunnel, the process proceeds to the next step. However, if it is determined that the tunnel has not yet been advanced, the process returns to step S204.

한편, 상기에서는 해당 영상의 R, G, B 정보를 이용하여 밝기강도(I)를 산출하였으나, 본 발명은 이에 한정되지 않고 차량 주변의 밝기를 반영할 수 있는 것이면 어떤 방법이라도 채용가능하다.In the above description, the brightness intensity I is calculated using the R, G, and B information of the image. However, the present invention is not limited thereto. Any method can be employed as long as it can reflect the brightness around the vehicle.

단계(S205)에서의 판단결과 터널을 진출하는 것으로 판단되면, 제어부(120)는 터널 주행모드를 해제한다(S206).
If it is determined in step S205 that the tunnel will advance, the control unit 120 cancels the tunnel running mode (S206).

이와 같이, 본 발명에 따른 차량 제어장치 및 제어방법은 차량이 터널에 근접할 때 차량에 장착되어 있는 복수개의 카메라를 통하여 얻어지는 영상을 통해 차량의 터널 진입을 자동으로 인식하여 터널 내에서의 주행 환경에 적합한 차량 제어를 자동으로 실행함으로써, 차량 운전자에게 편의를 제공하고 운전자가 차량 운전에만 집중할 수 있도록 하며, 이를 통해 차량의 고부가 이미지를 구현할 수 있다.
As described above, the vehicle control apparatus and the control method according to the present invention automatically recognize the entry of a vehicle into a tunnel through a video obtained through a plurality of cameras mounted on the vehicle when the vehicle approaches the tunnel, So as to provide convenience to the driver of the vehicle and enable the driver to focus on driving the vehicle, thereby realizing a high-value image of the vehicle.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

110 : 영상부
111 : 제 1 카메라 112 : 제 2 카메라
120 : 제어부 130 : 시차맵 생성부
140 : 밝기 강도 연산부 150 : 메모리부
160 : 차량 내 부가장치들
10 : 제 1 영상 20 : 제 2 영상
50 : 시차맵 55 : 윤곽선 영상
110:
111: first camera 112: second camera
120: control unit 130: parallax map generating unit
140: brightness intensity calculation unit 150: memory unit
160: In-vehicle additional devices
10: first image 20: second image
50: Time difference map 55: Outline image

Claims (33)

적어도 하나의 카메라가 차량 전방을 촬영하여 적어도 하나의 영상을 생성하는 단계;
상기 적어도 하나의 영상에 기초하여 터널의 형상을 인식하여 차량의 터널 진입을 판단하는 단계; 및
상기 차량이 터널에 진입하는 것으로 판단되는 경우, 터널 주행모드를 실행하는 단계를 포함하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어방법.
At least one camera photographing the front of the vehicle to generate at least one image;
Recognizing a shape of a tunnel based on the at least one image and determining entrance of a tunnel of the vehicle; And
And executing a tunnel running mode when it is determined that the vehicle enters the tunnel.
제 1항에 있어서,
상기 적어도 하나의 카메라는 제 1 및 제 2 카메라를 포함하고 상기 적어도 하나의 영상은 제 1 및 제 2영상을 포함하며,
상기 터널의 형상을 인식하여 차량의 터널 진입을 판단하는 단계는,
상기 제 1 및 제 2 영상에 기초하여 시차맵을 생성하는 단계; 및
상기 시차맵에 기초하여 차량의 터널 진입을 판단하는 단계를 포함하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어방법.
The method according to claim 1,
Wherein the at least one camera comprises a first and a second camera, the at least one image comprises a first and a second image,
The step of recognizing the shape of the tunnel and judging the entrance of the tunnel of the vehicle,
Generating a parallax map based on the first and second images; And
And judging entry of a vehicle into a tunnel based on the time difference map.
제 2항에 있어서,
상기 시차맵은 복수의 화소를 포함하고, 상기 제 1 및 제 2영상에 투영된 각 전방지점과 차량 간의 거리가 상기 복수의 화소에 맵핑되며,
상기 각 차량 전방지점들과 차량 간의 거리는 제 1 및 제 2영상의 시차에 기초하여 산출되는 것을 특징으로 하는, 터널 인식에 의한 차량 제어방법.
3. The method of claim 2,
Wherein the parallax map includes a plurality of pixels, a distance between each forward point projected on the first and second images and the vehicle is mapped to the plurality of pixels,
Wherein the distance between the vehicle front points and the vehicle is calculated based on the parallax of the first and second images.
제 3항에 있어서,
상기 각 차량 전방지점들과 차량 간의 거리는 카메라 초점거리, 상기 제 1 및 제 2 카메라 간의 거리, 및 상기 제 1 및 제 2 카메라에 각각 입력된 해당 전방지점의 이미지 중심으로부터의 거리에 기초하여 산출되는 것을 특징으로 하는, 터널 인식에 의한 차량 제어방법.
The method of claim 3,
The distance between each of the vehicle front points and the vehicle is calculated based on the camera focal distance, the distance between the first and second cameras, and the distance from the image center of the corresponding forward point input to the first and second cameras, respectively Wherein the vehicle is a tunnel.
제 3항에 있어서,
상기 시차맵에 기초하여 차량의 터널 진입을 판단하는 단계는,
상기 시차맵 내 각 화소에 맵핑된 거리를 제 1 영상 방향으로 미분한 미분값들을 이용하여 윤곽선 영상을 생성하는 단계; 및
상기 윤곽선 영상을 미리 저장된 터널 형상에 관한 기준 영상과 비교하여 차량의 터널 진입을 판단하는 단계를 포함하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어방법.
The method of claim 3,
Wherein the step of judging entry of a vehicle into a tunnel based on the parallax map comprises:
Generating a contour image using differential values obtained by differentiating a distance mapped to each pixel in the parallax map to a first image direction; And
And comparing the outline image with a reference image related to a previously stored tunnel shape to determine entry of a vehicle into a tunnel.
제 5항에 있어서,
상기 윤곽선 영상의 생성시, 미리 설정된 임계값을 초과하는 미분값만을 반영하여 상기 윤곽선 영상을 생성하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어방법.
6. The method of claim 5,
Wherein the contour line image is generated by reflecting only differential values exceeding a preset threshold value at the time of generating the contour line image.
제 1항에 있어서,
상기 적어도 하나의 영상에 기초하여 차량의 터널 진출여부를 판단하는 단계; 및
터널을 진출하는 것으로 판단되면, 상기 터널 주행모드를 해제하는 단계를 더 포함하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어방법.
The method according to claim 1,
Determining whether or not the vehicle is in a tunnel based on the at least one image; And
Further comprising the step of releasing the tunnel running mode when it is determined that the tunnel is to be advanced.
제 7항에 있어서,
상기 차량의 터널 진출여부 판단시,
상기 적어도 하나의 영상으로부터 산출되는 밝기 강도를 임계범위와 비교함으로써 차량의 터널 진출여부를 판단하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어방법.
8. The method of claim 7,
Upon determining whether or not the vehicle is in the tunnel,
And comparing the brightness intensity calculated from the at least one image with a threshold range to determine whether or not the vehicle has advanced into a tunnel.
제 8항에 있어서,
상기 임계범위는 터널 진입 전에 취득된 밝기강도의 평균값과 미리 설정된 기준오차값 간의 차에 의해 설정되고,
상기 밝기 강도가 상기 임계범위를 벗어나면 차량이 터널을 진출하는 것으로 판단하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어방법.
9. The method of claim 8,
The threshold range is set by a difference between an average value of the brightness intensity acquired before entering the tunnel and a preset reference error value,
And when the brightness intensity is out of the threshold range, it is determined that the vehicle advances the tunnel.
제 7항에 있어서,
상기 적어도 하나의 카메라는 제 1 및 제 2 카메라를 포함하고 상기 적어도 하나의 영상은 제 1 및 제 2영상을 포함하며,
상기 차량의 터널 진출여부를 판단하는 단계는,
상기 제 1 및 제 2 영상에 기초하여 시차맵을 생성하는 단계; 및
상기 시차맵에 기초하여 차량의 터널 진출을 판단하는 단계를 포함하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어방법.
8. The method of claim 7,
Wherein the at least one camera comprises a first and a second camera, the at least one image comprises a first and a second image,
The step of judging whether or not the vehicle enters the tunnel includes:
Generating a parallax map based on the first and second images; And
And determining that the vehicle is in a tunnel based on the parallax map.
제 1항에 있어서,
상기 터널 주행모드는 선루프 제어, 에어컨 제어, 전조등 점등제어, 테일 램프 점등제어 및 차량윈도우 차단제어 중 적어도 하나를 포함하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어방법.
The method according to claim 1,
Wherein the tunnel running mode includes at least one of a sunroof control, an air conditioner control, a headlight lighting control, a tail lamp lighting control, and a vehicle window shutoff control.
제 1 및 제 2 카메라가 차량 전방을 촬영하여 제 1 및 제 2 영상을 각각 생성하는 단계; 및
상기 제 1 및 제 2 영상에 기초하여 터널의 형상을 인식하여 차량의 터널 진입을 판단하는 단계를 포함하는 것을 특징으로 하는, 터널 진입 인식방법.
The first and second cameras photographing the front of the vehicle to generate first and second images, respectively; And
And recognizing the shape of the tunnel based on the first and second images to determine entry of the tunnel into the vehicle.
제 12항에 있어서,
상기 터널의 형상을 인식하여 차량의 터널 진입을 판단하는 단계는,
상기 제 1 및 제 2 영상에 기초하여 시차맵을 생성하는 단계; 및
상기 시차맵에 기초하여 차량의 터널 진입을 판단하는 단계를 포함하는 것을 특징으로 하는, 터널 진입 인식방법.
13. The method of claim 12,
The step of recognizing the shape of the tunnel and judging the entrance of the tunnel of the vehicle,
Generating a parallax map based on the first and second images; And
And determining a tunnel entrance of the vehicle based on the parallax map.
제 13항에 있어서,
상기 시차맵은 복수의 화소를 포함하고, 상기 제 1 및 제 2영상에 투영된 각 전방지점과 차량 간의 거리가 상기 복수의 화소에 맵핑되며,
상기 각 차량 전방지점들과 차량 간의 거리는 제 1 및 제 2영상의 시차에 기초하여 산출되는 것을 특징으로 하는, 터널 진입 인식방법.
14. The method of claim 13,
Wherein the parallax map includes a plurality of pixels, a distance between each forward point projected on the first and second images and the vehicle is mapped to the plurality of pixels,
Wherein the distance between each of the vehicle front points and the vehicle is calculated based on the parallax of the first and second images.
제 14항에 있어서,
상기 각 차량 전방지점들과 차량 간의 거리는 카메라 초점거리, 상기 제 1 및 제 2 카메라 간의 거리, 및 상기 제 1 및 제 2 카메라에 각각 입력된 해당 전방지점의 이미지 중심으로부터의 거리에 기초하여 산출되는 것을 특징으로 하는, 터널 진입 인식방법.
15. The method of claim 14,
The distance between each of the vehicle front points and the vehicle is calculated based on the camera focal distance, the distance between the first and second cameras, and the distance from the image center of the corresponding forward point input to the first and second cameras, respectively Wherein the tunnel entry recognition method comprises the steps of:
제 14항에 있어서,
상기 시차맵에 기초하여 차량의 터널 진입을 판단하는 단계는,
상기 시차맵 내 각 화소에 맵핑된 거리를 제 1 영상 방향으로 미분한 미분값들을 이용하여 윤곽선 영상을 생성하는 단계; 및
상기 윤곽선 영상을 미리 저장된 터널 형상에 관한 기준 영상과 비교하여 차량의 터널 진입을 판단하는 단계를 포함하는 것을 특징으로 하는, 터널 진입 인식방법.
15. The method of claim 14,
Wherein the step of judging entry of a vehicle into a tunnel based on the parallax map comprises:
Generating a contour image using differential values obtained by differentiating a distance mapped to each pixel in the parallax map to a first image direction; And
And comparing the contour image with a reference image related to a previously stored tunnel shape to judge entrance of a tunnel of a vehicle.
제 16항에 있어서,
상기 윤곽선 영상의 생성시, 미리 설정된 임계값을 초과하는 미분값만을 반영하여 상기 윤곽선 영상을 생성하는 것을 특징으로 하는, 터널 진입 인식방법.
17. The method of claim 16,
Wherein the contour line image is generated by reflecting only differential values exceeding a preset threshold value at the time of generating the contour line image.
제 1 및 제 2 카메라가 차량 전방을 촬영하여 제 1 및 제 2 영상을 각각 생성하는 단계; 및
상기 제 1 및 제 2 영상에 기초하여 터널의 형상을 인식하여 차량의 터널 진출을 판단하는 단계를 포함하는 것을 특징으로 하는, 터널 진출 인식방법.
The first and second cameras photographing the front of the vehicle to generate first and second images, respectively; And
And recognizing the shape of the tunnel based on the first and second images to judge the entry of the vehicle into the tunnel.
제 18항에 있어서,
상기 터널의 형상을 인식하여 차량의 터널 진출을 판단하는 단계는,
상기 제 1 및 제 2 영상에 기초하여 시차맵을 생성하는 단계; 및
상기 시차맵에 기초하여 차량의 터널 진출을 판단하는 단계를 포함하는 것을 특징으로 하는, 터널 진출 인식방법.
19. The method of claim 18,
The step of recognizing the shape of the tunnel and judging the advancement of the tunnel of the vehicle includes:
Generating a parallax map based on the first and second images; And
And determining a tunnel entry of the vehicle based on the parallax map.
제 19항에 있어서,
상기 시차맵은 복수의 화소를 포함하고, 상기 제 1 및 제 2영상에 투영된 각 전방지점과 차량 간의 거리가 상기 복수의 화소에 맵핑되며,
상기 각 차량 전방지점들과 차량 간의 거리는 제 1 및 제 2영상의 시차에 기초하여 산출되는 것을 특징으로 하는, 터널 진출 인식방법.
20. The method of claim 19,
Wherein the parallax map includes a plurality of pixels, a distance between each forward point projected on the first and second images and the vehicle is mapped to the plurality of pixels,
Wherein the distance between each of the vehicle front points and the vehicle is calculated based on a parallax of the first and second images.
제 20항에 있어서,
상기 각 차량 전방지점들과 차량 간의 거리는 카메라 초점거리, 상기 제 1 및 제 2 카메라 간의 거리, 및 상기 제 1 및 제 2 카메라에 각각 입력된 해당 전방지점의 이미지 중심으로부터의 거리에 기초하여 산출되는 것을 특징으로 하는, 터널 진출 인식방법.
21. The method of claim 20,
The distance between each of the vehicle front points and the vehicle is calculated based on the camera focal distance, the distance between the first and second cameras, and the distance from the image center of the corresponding forward point input to the first and second cameras, respectively Wherein the tunnel entry recognition method comprises the steps of:
제 20항에 있어서,
상기 시차맵에 기초하여 차량의 터널 진출을 판단하는 단계는,
상기 시차맵 내 각 화소에 맵핑된 거리를 제 1 영상 방향으로 미분한 미분값들을 이용하여 윤곽선 영상을 생성하는 단계; 및
상기 윤곽선 영상을 미리 저장된 터널 형상에 관한 기준 영상과 비교하여 차량의 터널 진출을 판단하는 단계를 포함하는 것을 특징으로 하는, 터널 진출 인식방법.
21. The method of claim 20,
Wherein the step of determining the entry of the vehicle into the tunnel based on the parallax map comprises:
Generating a contour image using differential values obtained by differentiating a distance mapped to each pixel in the parallax map to a first image direction; And
And comparing the outline image with a reference image related to a previously stored tunnel shape to determine whether the vehicle is entering the tunnel.
제 22항에 있어서,
상기 윤곽선 영상의 생성시, 미리 설정된 임계값을 초과하는 미분값만을 반영하여 상기 윤곽선 영상을 생성하는 것을 특징으로 하는, 터널 진출 인식방법.
23. The method of claim 22,
Wherein when generating the contour image, the contour image is generated by reflecting only a differential value exceeding a preset threshold value.
차량 전방을 촬영하여 제 1 및 제 2 영상을 각각 생성하는 제 1 및 제 2 카메라를 포함하는 영상부;
상기 영상부로부터 제공되는 상기 제 1 및 제 2 영상에 기초하여 시차맵을 생성하는 시차맵생성부; 및
상기 시차맵생성부로부터 제공되는 시차맵에 기초하여 차량의 터널 진입을 판단하는 제어부를 포함하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어장치.
1. An image display apparatus comprising: an image unit including a first camera and a second camera for photographing a front side of a vehicle and generating first and second images, respectively;
A parallax map generation unit for generating a parallax map based on the first and second images provided from the image unit; And
And a control unit for determining a tunnel entry of the vehicle based on the parallax map provided by the parallax map generation unit.
제 24항에 있어서,
차량이 터널에 진입하는 것으로 판단되는 경우, 상기 제어부는 터널 주행모드를 실행하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어장치.
25. The method of claim 24,
Wherein the control unit executes a tunnel running mode when it is determined that the vehicle enters the tunnel.
제 25항에 있어서,
상기 제 1 및 제 2영상 중 적어도 하나에 기초하여 밝기 강도를 산출하는 밝기강도 연산부를 더 포함하되,
상기 제어부는 상기 터널 주행모드를 실행 중, 상기 밝기 강도를 임계범위와 비교하여 차량의 터널 진출여부를 판단하고, 터널을 진출하는 것으로 판단되면 상기 터널 주행모드를 해제하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어장치.
26. The method of claim 25,
And a brightness intensity calculating unit for calculating a brightness intensity based on at least one of the first and second images,
Wherein the controller determines whether or not the vehicle is in a tunnel by comparing the brightness intensity with a threshold range during execution of the tunnel running mode, and releases the tunnel running mode when it is determined to advance the tunnel. The vehicle control apparatus comprising:
제 26항에 있어서,
상기 임계범위는 터널 진입 전에 취득된 밝기강도의 평균값과 미리 설정된 기준오차값 간의 차에 의해 설정되고,
상기 제어부는 상기 밝기 강도가 상기 임계범위를 벗어나면 차량이 터널을 진출하는 것으로 판단하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어장치.
27. The method of claim 26,
The threshold range is set by a difference between an average value of the brightness intensity acquired before entering the tunnel and a preset reference error value,
Wherein the control unit determines that the vehicle advances the tunnel if the brightness intensity is out of the threshold range.
제 25항에 있어서,
상기 제어부는 상기 시차맵생성부로부터 제공되는 시차맵에 기초하여 차량의 터널 진출여부를 판단하고, 터널을 진출하는 것으로 판단되면 상기 터널 주행모드를 해제하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어장치.
26. The method of claim 25,
Wherein the control unit judges whether or not the vehicle enters the tunnel based on the time difference map provided from the time difference map generating unit, and releases the tunnel running mode when it is determined to advance the tunnel. Device.
제 25항에 있어서,
상기 터널 주행모드는 선루프 제어, 에어컨 제어, 전조등 점등제어, 테일 램프 점등제어 및 차량윈도우 차단제어 중 적어도 하나를 포함하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어장치.
26. The method of claim 25,
Wherein the tunnel driving mode includes at least one of a sunroof control, an air conditioner control, a headlight lighting control, a tail lamp lighting control, and a vehicle window shutoff control.
제 24항에 있어서,
상기 시차맵은 복수의 화소를 포함하고, 상기 제 1 및 제 2영상에 투영된 각 차량 전방지점들과 차량 간의 거리가 상기 복수의 화소에 맵핑되며,
상기 각 차량 전방지점들과 차량 간의 거리는 제 1 및 제 2영상의 시차에 기초하여 산출되는 것을 특징으로 하는, 터널 인식에 의한 차량 제어장치.
25. The method of claim 24,
Wherein the parallax map includes a plurality of pixels, a distance between each vehicle front point projected on the first and second images and the vehicle is mapped to the plurality of pixels,
Wherein the distance between each of the vehicle front points and the vehicle is calculated based on the parallax of the first and second images.
제 30항에 있어서,
상기 각 차량 전방지점들과 차량 간의 거리는 카메라 초점거리, 상기 제 1 및 제 2 카메라 간의 거리, 및 상기 제 1 및 제 2 카메라에 각각 입력된 해당 전방지점의 이미지 중심으로부터의 거리에 기초하여 산출되는 것을 특징으로 하는, 터널 인식에 의한 차량 제어장치.
31. The method of claim 30,
The distance between each of the vehicle front points and the vehicle is calculated based on the camera focal distance, the distance between the first and second cameras, and the distance from the image center of the corresponding forward point input to the first and second cameras, respectively Wherein the vehicle is a tunnel.
제 31항에 있어서,
상기 시차맵 생성부는 상기 시차맵 내 각 화소에 맵핑된 거리를 제 1 영상 방향으로 미분한 미분값들을 이용하여 윤곽선 영상을 생성하고,
상기 차량의 터널 진입 판단시, 상기 제어부는 상기 윤곽선 영상을 메모리부에 미리 저장된 터널 형상에 관한 기준 영상과 비교하여 차량의 터널 진입을 판단하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어장치.
32. The method of claim 31,
Wherein the parallax map generator generates an outline image using differential values obtained by differentiating a distance mapped to each pixel in the parallax map to a first image direction,
Wherein the control unit compares the contour image with a reference image related to a tunnel shape previously stored in the memory unit to determine entry of the vehicle into the tunnel when the tunnel entrance of the vehicle is determined.
제 32항에 있어서,
상기 시차맵 생성부는 상기 윤곽선 영상의 생성시, 미리 설정된 임계값을 초과하는 미분값만을 반영하여 상기 윤곽선 영상을 생성하는 것을 특징으로 하는, 터널 인식에 의한 차량 제어장치.

33. The method of claim 32,
Wherein the parallax map generator generates the contour image by reflecting only differential values exceeding a predetermined threshold value at the time of generating the contour line image.

KR20130023077A 2013-03-04 2013-03-04 Apparatus and method for controlling vehicle by detection of tunnel KR101511586B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130023077A KR101511586B1 (en) 2013-03-04 2013-03-04 Apparatus and method for controlling vehicle by detection of tunnel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130023077A KR101511586B1 (en) 2013-03-04 2013-03-04 Apparatus and method for controlling vehicle by detection of tunnel

Publications (2)

Publication Number Publication Date
KR20140109011A true KR20140109011A (en) 2014-09-15
KR101511586B1 KR101511586B1 (en) 2015-04-13

Family

ID=51755824

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130023077A KR101511586B1 (en) 2013-03-04 2013-03-04 Apparatus and method for controlling vehicle by detection of tunnel

Country Status (1)

Country Link
KR (1) KR101511586B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160067506A (en) * 2014-12-04 2016-06-14 현대모비스 주식회사 Apparatus for control of vehicle window
KR20160080269A (en) * 2014-12-29 2016-07-07 주식회사 만도 System and method for detecting a tunnel using front camera
CN108593654A (en) * 2018-03-28 2018-09-28 北京交通大学 Tunnel image capturing system and method
US10657387B2 (en) 2016-09-01 2020-05-19 Samsung Electronics Co., Ltd. Method and apparatus for controlling vision sensor for autonomous vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004230963A (en) * 2003-01-29 2004-08-19 Calsonic Kansei Corp Tunnel detecting method for vehicle, tunnel detecting device for vehicle, and vehicle controller using tunnel detecting device
JP4757932B2 (en) * 2009-06-23 2011-08-24 アキュートロジック株式会社 Exposure control device and exposure control method for vehicle imaging device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160067506A (en) * 2014-12-04 2016-06-14 현대모비스 주식회사 Apparatus for control of vehicle window
KR20160080269A (en) * 2014-12-29 2016-07-07 주식회사 만도 System and method for detecting a tunnel using front camera
US10657387B2 (en) 2016-09-01 2020-05-19 Samsung Electronics Co., Ltd. Method and apparatus for controlling vision sensor for autonomous vehicle
CN108593654A (en) * 2018-03-28 2018-09-28 北京交通大学 Tunnel image capturing system and method

Also Published As

Publication number Publication date
KR101511586B1 (en) 2015-04-13

Similar Documents

Publication Publication Date Title
JP5863536B2 (en) Outside monitoring device
US10286834B2 (en) Vehicle exterior environment recognition apparatus
EP2919197B1 (en) Object detection device and object detection method
US20170144587A1 (en) Vehicle exterior environment recognition apparatus
US9336447B2 (en) Ambient environment determination apparatus
JP6132412B2 (en) Outside environment recognition device
CN106295494B (en) Vehicle exterior environment recognition device
JP6236039B2 (en) Outside environment recognition device
CN106218492B (en) A kind of night running light automatic switching control equipment and switching method
JP5065172B2 (en) Vehicle lighting determination device and program
JP6420650B2 (en) Outside environment recognition device
KR101511586B1 (en) Apparatus and method for controlling vehicle by detection of tunnel
CN110371016B (en) Distance estimation for vehicle headlights
JP6194245B2 (en) Traffic light recognition device
JP6620175B2 (en) Distance calculation device and vehicle control device
JP2020066246A (en) Road surface state estimation device
JP6259335B2 (en) Outside environment recognition device
JP6378547B2 (en) Outside environment recognition device
JP2022060118A (en) Section line recognition device
US20150104072A1 (en) Lane detection method and system using photographing unit
JP5452518B2 (en) Vehicle white line recognition device
WO2019013253A1 (en) Detection device
WO2017188245A1 (en) Image processing device, image processing method, and program
KR20170035194A (en) Apparatus and method for controlling high beam
JP2022161700A (en) Traffic light recognition device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 5