KR101768500B1 - 운전 보조 장치 및 그 제어방법 - Google Patents

운전 보조 장치 및 그 제어방법 Download PDF

Info

Publication number
KR101768500B1
KR101768500B1 KR1020160000330A KR20160000330A KR101768500B1 KR 101768500 B1 KR101768500 B1 KR 101768500B1 KR 1020160000330 A KR1020160000330 A KR 1020160000330A KR 20160000330 A KR20160000330 A KR 20160000330A KR 101768500 B1 KR101768500 B1 KR 101768500B1
Authority
KR
South Korea
Prior art keywords
vehicle
processor
visible light
camera
image
Prior art date
Application number
KR1020160000330A
Other languages
English (en)
Other versions
KR20170081375A (ko
Inventor
김철문
이상혁
이진교
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020160000330A priority Critical patent/KR101768500B1/ko
Priority to PCT/KR2016/006545 priority patent/WO2017119557A1/ko
Publication of KR20170081375A publication Critical patent/KR20170081375A/ko
Application granted granted Critical
Publication of KR101768500B1 publication Critical patent/KR101768500B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/30—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by reflectors
    • F21S41/32—Optical layout thereof
    • F21S41/36—Combinations of two or more separate reflectors
    • F21S41/365—Combinations of two or more separate reflectors successively reflecting the light
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/60—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by a variable light distribution
    • F21S41/67—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by a variable light distribution by acting on reflectors
    • F21S41/675—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by a variable light distribution by acting on reflectors by moving reflectors
    • F21S48/1388—
    • F21S48/1757—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05—Special features for controlling or switching of the light beam
    • B60Q2300/056—Special anti-blinding beams, e.g. a standard beam is chopped or moved in order not to blind
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/11—Linear movements of the vehicle
    • B60Q2300/112—Vehicle speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2101/00—Point-like light sources
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2115/00—Light-generating elements of semiconductor light sources
    • F21Y2115/30—Semiconductor lasers

Abstract

본 발명은 운전 보조 장치 및 그 제어 방법에 관한 것으로서, 본 발명의 일 실시예에 따른 운전 보조 장치는, 차량에 구비되는 조명 장치로부터 출력된 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역이 나타나는 이미지를 획득하는 카메라 및 상기 카메라 및 상기 조명 장치와 연결되는 프로세서를 포함한다. 이 경우, 상기 프로세서는, 상기 카메라로부터 제공되는 상기 이미지로부터 상기 복수의 마킹 영역을 검출하고, 상기 복수의 마킹 영역을 기초로, 상기 차량 주변에 위치하는 오브젝트를 검출한다.

Description

운전 보조 장치 및 그 제어방법{DRIVE ASSISTANCE APPARATUS AND METHOD FOR CONTROLLING THE SAME}
본 발명은 차량에 구비된 조명 장치와 연동하는 운전 보조 장치 및 그 제어 방법에 관한 것이다.
차량이란, 차륜을 구동시켜 사람이나 화물 등을 어느 장소로부터 다른 장소로 운송하는 장치를 말한다. 예컨대, 오토바이와 같은 2륜차, 세단과 같은 4륜차는 물론 기차 등이 차량에 속한다.
차량을 이용하는 사용자의 안전 및 편의를 증대하기 위해, 각종 센서와 전자 장치 등을 차량에 접목하기 위한 기술 개발이 가속화되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 개발된 다양한 기능(예, smart cruise control, lane keeping assistance)을 제공하는 시스템이 차량에 탑재되고 있다. 이에 따라, 운전자의 조작 없이도, 차량이 스스로 외부 환경을 고려하여, 도로를 주행하는 이른바 자율 주행(autonomous driving)이 가능하게 되었다.
특히, 자율 주행은 물론 수동 주행 시, 차량의 주변 상황을 식별하기 위한 카메라 등의 다양한 전자 장치가 차량에 장착되고 있다. 한편, 야간이나 악천후 상황에서는 운전자의 가시 거리는 짧아지게 되는바, 차량에 장착되는 헤드램프 등의 조명 장치는 차량의 외부의 밝기나 도로의 형상에 따라, 밝기나 각도가 조절되어 차량의 전방을 비춰줌으로써, 운전자에게 전방에 대한 넓고 밝은 시야를 제공할 수 있다.
하지만, 종래 기술에 따르면, 운전자는 조명 장치에 의해 비춰지는 영역만을 육안으로 확인할 수 밖에 없다는 한계가 있다.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 미리 정해진 상황에서, 일반적인 시야 확보용 가시광과는 구별되는 객체 검출용 가시광을 출력하도록 조명 장치를 제어함으로써, 운전자의 육안으로 확인 가능한 거리보다 멀리 떨어진 오브젝트를 검출할 수 있는 운전 보조 장치 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
또한, 검출된 오브젝트에 관한 정보를 기초로, 조명 장치에 의해 비춰지는 영역의 위치, 형상 또는 밝기 등을 조절함으로써, 운전자가 오브젝트를 용이하게 인지할 수 있도록 하는 운전 보조 장치 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
또한, 검출된 오브젝트에 관한 정보를 기초로, 차량의 조향, 가속 또는 제동을 제어함으로써, 주행 시의 안전성을 향상시킬 수 있는 운전 보조 장치 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 차량에 구비되는 조명 장치로부터 출력된 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역이 나타나는 이미지를 획득하는 카메라 및 상기 카메라 및 상기 조명 장치와 연결되는 프로세서를 포함하는 운전 보조 장치가 제공된다. 이 경우, 상기 프로세서는, 상기 카메라로부터 제공되는 상기 이미지로부터 상기 복수의 마킹 영역을 검출하고, 상기 복수의 마킹 영역을 기초로, 상기 차량 주변에 위치하는 오브젝트를 검출한다.
또한, 상기 프로세서는, 상기 제1 패턴의 가시광을 소정 시간 동안 출력하도록 상기 조명 장치를 제어할 수 있다.
또한, 상기 프로세서는, 상기 이미지의 획득 시점이 상기 제1 패턴의 가시광의 출력 시점에 동기화되도록 상기 카메라를 제어할 수 있다.
또한, 상기 카메라는, 서로 소정 간격 이격된 제1 이미지 센서와 제2 이미지 센서를 포함하는 스테레오 카메라일 수 있다.
또한, 상기 프로세서는, 상기 제1 이미지 센서에 의해 획득된 제1 이미지와 상기 제2 이미지 센서에 의해 획득된 제2 이미지를 비교하여, 상기 복수의 마킹 영역에 대한 디스페리티 정보를 산출하고, 상기 디스페리티 정보를 기초로, 상기 오브젝트를 검출할 수 있다.
또한, 상기 프로세서는, 상기 차량의 운전자의 요청이 있거나, 상기 차량 외부의 조도가 임계값 미만인 경우, 상기 제1 패턴의 가시광을 출력하도록 상기 조명 장치를 제어할 수 있다.
또한, 상기 프로세서는, 상기 제1 패턴의 가시광을 상기 차량의 주행 속도에 대응하는 광량으로 출력하도록 상기 조명 장치를 제어할 수 있다.
또한, 상기 프로세서는, 상기 복수의 마킹 영역의 크기를 기초로, 상기 차량와 상기 오브젝트 간의 거리를 산출할 수 있다.
또한, 상기 프로세서는, 상기 검출된 오브젝트가 복수인 경우, 상기 차량의 주행 속도 및 상기 차량과 각 오브젝트 간의 거리를 기초로, 각 오브젝트마다 동일한 크기의 마킹 영역을 형성하기 위한 가시광을 출력하도록 상기 조명 장치를 제어할 수 있다.
또한, 상기 프로세서는, 상기 검출된 오브젝트 중 서로 인접한 두 오브젝트 간의 거리가 기준 거리 이상인 경우, 상기 두 오브젝트 사이의 영역으로 상기 제1 패턴보다 조밀한 제2 패턴의 가시광을 출력하도록 상기 조명 장치를 제어할 수 있다.
또한, 상기 프로세서는, 상기 제2 패턴의 가시광에 의해 형성된 복수의 마킹 영역을 기초로, 상기 두 오브젝트 사이의 다른 오브젝트를 검출할 수 있다.
또한, 상기 프로세서는, 상기 오브젝트의 검출이 완료된 경우, 상기 제1 패턴의 가시광의 출력을 중단하도록 상기 조명 장치를 제어할 수 있다.
또한, 상기 프로세서는, 상기 오브젝트의 종류에 대응하는 광량의 가시광이, 상기 오브젝트로 투사되도록 상기 조명 장치를 제어할 수 있다.
또한, 상기 프로세서는, 상기 오브젝트가 타차량인 경우, 상기 타차량에 탑승한 운전자의 눈으로 투사되는 가시광을 차단하도록 상기 조명 장치를 제어할 수 있다.
또한, 상기 프로세서는, 상기 오브젝트가 보행자인 경우, 상기 보행자의 눈으로 투사되는 가시광을 차단하도록 상기 조명 장치를 제어할 수 있다.
또한, 상기 프로세서는, 상기 오브젝트가 교통 표지인 경우, 상기 교통 표지로 투사되는 가시광의 광량을 증가시키도록 상기 조명 장치를 제어할 수 있다.
또한, 상기 프로세서는, 상기 오브젝트가 낙하물인 경우, 상기 낙하물로 투사되는 가시광의 광량을 증가시키도록 상기 조명 장치를 제어할 수 있다.
또한, 상기 조명 장치는, 적어도 하나의 레이저 다이오드를 포함하는 발광 소자 및 상기 레이저 다이오드에 의해 출력되는 레이저 빔을 반사하도록 정렬된 복수의 마이크로 미러를 포함하는 리플렉터를 포함할 수 있다. 이 경우, 상기 프로세서는, 상기 복수의 마이크로 미러 중 적어도 일부의 틸팅각을 조절하여 상기 제1 패턴의 가시광을 출력하도록 상기 조명 장치를 제어할 수 있다.
또한, 상기 프로세서는, 상기 오브젝트의 크기 및 위치를 기초로, 상기 차량의 주행 경로를 산출하고, 상기 주행 경로를 가이드하기 위한 가시광을 출력하도록 상기 조명 장치를 제어할 수 있다.
본 발명의 다른 측면에 따르면, 차량 전방의 이미지를 획득하는 카메라; 및
상기 카메라와 연결되어 상기 이미지로부터 타차량의 헤드라이트 영역을 검출하는 프로세서;를 포함하는 운전 보조 장치가 제공된다. 이 경우, 상기 프로세서는, 상기 검출된 헤드라이트 영역의 밝기값을 기준값과 비교하여, 눈부심 상황의 발생 여부를 판단하고, 상기 눈부심 상황이 발생한 것으로 판단 시, 상기 눈부심 상황의 발생 전에 사용된 조리개값을 상기 카메라에 설정할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따른 운전 보조 장치 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시예들 중 적어도 하나에 의하면, 미리 정해진 상황에서, 일반적인 시야 확보용 가시광과는 구별되는 객체 검출용 가시광을 출력하도록 조명 장치를 제어함으로써, 운전자의 육안으로 확인 가능한 거리보다 멀리 떨어진 오브젝트를 검출할 수 있다. 이에 따라, 운전자가 오브젝트와의 충돌을 회피할 수 있도록 차량의 조작하는 데에 도움을 줄 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 검출된 오브젝트에 관한 정보를 기초로, 조명 장치에 의해 비춰지는 영역의 위치, 형상 또는 밝기 등을 조절함으로써, 오브젝트를 용이하게 인지할 수 있도록 운전자를 지원할 수 있다.
또한, 검출된 오브젝트에 관한 정보를 기초로, 차량의 조향, 가속 또는 제동을 제어함으로써, 주행 시의 안전성을 향상시킬 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명과 관련된 차량의 블록 다이어그램을 보여준다.
도 2는 도 1에 도시된 차량의 예시적인 외관을 도시한 것이다. 설명의 편의를 위해, 차량은 4륜 자동차인 것으로 가정한다.
도 3는 도 1을 참조하여 전술한 차량의 일 예를 보여준다.
도 4a는 차량의 서로 다른 위치에 복수개의 카메라가 장착된 상태를 예시한다. 설명의 편의를 위해, 4개의 카메라들이 장착되는 것으로 가정한다.
도 4b는 차량을 기준으로 360도 방향의 장면이 나타나는 예시적인 합성 영상을 보여준다.
도 5는 본 발명의 일 실시예에 따른 조명 장치의 예시적인 블록 다이어그램이다.
도 6a는 본 발명의 일 실시예에 따른 제1 발광 모듈의 구조를 보여주는 도면이다.
도 6b는 본 발명의 일 실시예에 따른 제2 발광 모듈의 구조를 보여주는 도면이다.
도 6c는 본 발명의 일 실시예에 따른 제3 발광 모듈의 구조를 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 운전 보조 장치의 블록 다이어그램을 보여준다.
도 8은 운전 보조 장치에 포함된 카메라가 스테레오 카메라인 경우를 예시한다.
도 9는 도 7에 도시된 프로세서의 내부 블록 다이어그램의 일 예를 보여준다.
도 10a 및 도 10b는 도 9에 도시된 프로세서의 동작 설명에 참조되는 도면이다.
도 11은 본 발명의 일 실시예에 따른 운전 보조 장치가 조명 장치를 제어하여 오브젝트를 검출하는 프로세스의 플로우 챠트를 보여준다.
도 12a 내지 도 12c는 본 발명의 일 실시예에 따른 운전 보조 장치가, 객체 검출용 가시광에 의해 형성된 복수의 마킹 영역을 촬영하는 동작을 설명하기 위한 도면이다.
도 13a 내지 도 13c는 본 발명의 일 실시예에 따른 운전 보조 장치가 제1 패턴의 가시광을 이용하여, 차량 전방의 거리 정보를 획득하는 동작을 설명하는 도면이다.
도 14a 및 도 14b는 본 발명의 일 실시예에 따른 운전 보조 장치가 제1 패턴의 가시광을 이용하여, 도 13b에 도시된 미검출 영역의 거리 정보를 획득하는 동작을 설명하는 도면이다.
도 15a 내지 도 15d는 본 발명의 일 실시예에 따른 운전 보조 장치가 오브젝트 정보를 기초로 수행하는 동작을 설명하기 위한 도면이다.
도 16a 및 도 16b는 본 발명의 일 실시예에 따른 운전 보조 장치가 오브젝트 정보를 기초로 수행하는 동작을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 운전 보조 장치가 도로의 상태를 기초로 수행하는 동작을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른 운전 보조 장치가 카메라를 이용하여 차선을 검출하는 프로세스의 플로우 챠트를 보여준다.
도 19a 내지 도 19c는 본 발명의 일 실시예에 따른 운전 보조 장치가 눈부심 상황 발생 시에 수행하는 동작을 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따른 운전 보조 장치가 차선 검출 실패 시, 지도 데이터를 기초로 차선을 추정하는 프로세스의 플로우 챠트를 보여준다.
도 21a 및 도 21b는 본 발명의 일 실시예에 따른 운전 보조 장치가 지도 데이터를 기초로 차선을 추정하는 동작을 설명하기 위한 도면이다.
도 22a 및 도 22b는 본 발명의 일 실시예에 따른 운전 보조 장치가 교차로 내에 유도 차선을 표시하는 동작의 일 예를 보여준다.
도 23a 및 도 23b는 본 발명의 일 실시예에 따른 운전 보조 장치가 교차로 내에 유도 차선을 표시하는 동작의 다른 예를 보여준다.
도 24a 및 도 24b는 본 발명의 일 실시예에 따른 운전 보조 장치가 차량의 차선 이탈을 방지하기 위해 수행하는 동작을 설명하기 위한 도면이다.
도 25a 및 도 25b는 본 발명의 일 실시예에 따른 운전 보조 장치가 차량의 정차를 유도하는 가시광을 출력하는 동작을 설명하기 위한 도면이다.
도 26a 내지 도 26e는 차량이 주행 중인 차로가 다른 차로와 합류되는 구간에서, 본 발명의 일 실시예에 따른 운전 보조 장치가 수행하는 동작을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 또한, 어떤 구성요소가 다른 구성요소를 "제어"한다는 것은, 어떤 구성요소가 다른 구성요소를 직접적으로 제어하는 것은 물론, 제3의 구성요소의 중개를 통해 제어하는 것까지 포괄하는 의미로 이해되어야 할 것이다. 또한, 어떤 구성요소가 다른 구성요소에 정보 내지 신호를 "제공"한다는 것은, 어떤 구성요소가 다른 구성요소에 직접 제공하는 것은 물론, 제3의 구성요소의 중개를 통해 제공하는 것까지 포괄하는 의미로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
도 1은 본 발명과 관련된 차량(100)의 블록 다이어그램을 보여준다.
차량(100)은 통신부(110), 입력부(120), 메모리(130), 출력부(140), 차량 구동부(150), 센싱부(160), 제어부(170), 인터페이스부(180) 및 전원부(190)를 포함할 수 있다.
통신부(110)는 차량(100)과 외부 기기(예, 휴대 단말, 외부 서버, 타차량)과의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 통신부(110)는 차량(100)을 하나 이상의 망(network)에 연결하는 하나 이상의 모듈을 포함할 수 있다.
통신부(110)는 방송 수신 모듈(111), 무선 인터넷 모듈(112), 근거리 통신 모듈(113), 위치 정보 모듈(114) 및 광통신 모듈(115)을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 또는 방송 관련된 정보를 수신한다. 여기서, 방송은 라디오 방송 또는 TV 방송을 포함한다.
무선 인터넷 모듈(112)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 차량(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(112)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는 예를 들면, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(112)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 예를 들면, 무선 인터넷 모듈(112)은 외부 서버와 무선으로 데이터를 교환할 수 있다. 무선 인터넷 모듈(112)은 외부 서버로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))정보를 수신할 수 있다.
근거리 통신 모듈(113)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
이러한, 근거리 통신 모듈(113)은 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다. 예를 들면, 근거리 통신 모듈(113)은 탑승자의 휴대 단말과 무선으로 데이터를 교환할 수 있다. 근거리 통신 모듈(113)은 휴대 단말이나 외부 서버로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))를 수신할 수 있다. 가령, 사용자가 차량(100)에 탑승한 경우, 사용자의 휴대 단말과 차량(100)은 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링을 수행할 수 있다.
위치 정보 모듈(114)은 차량(100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈이 있다. 예를 들면, 차량은 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 차량의 위치를 획득할 수 있다.
광통신 모듈(115)은 광발신부 및 광수신부를 포함할 수 있다.
광수신부는 광(light)신호를 전기 신호로 전환하여, 정보를 수신할 수 있다. 광수신부는 광을 수신하기 위한 포토 다이오드(PD, Photo Diode)를 포함할 수 있다. 포토 다이오드는 빛을 전기 신호로 전환할 수 있다. 예를 들면, 광수신부는 전방 차량에 포함된 발광 소자에서 방출되는 광을 통해, 전방 차량의 정보를 수신할 수 있다.
광발신부는 전기 신호를 광 신호로 전환하기 위한 발광 소자를 적어도 하나 포함할 수 있다. 여기서, 발광 소자는 LED(Light Emitting Diode)인 것이 바람직하다. 광발신부는 전기 신호를 광 신호로 전환하여, 외부에 발신한다. 예를 들면, 광 발신부는 소정 주파수에 대응하는 발광소자의 점멸을 통해, 광신호를 외부에 방출할 수 있다. 실시예에 따라, 광발신부는 복수의 발광 소자 어레이를 포함할 수 있다. 실시예에 따라, 광발신부는 차량(100)에 구비된 램프와 일체화될 수 있다. 예를 들면, 광발신부는 전조등, 후미등, 제동등, 방향 지시등 및 차폭등 중 적어도 어느 하나일 수 있다. 예를 들면, 광통신 모듈(115)은 광 통신을 통해 타차량과 데이터를 교환할 수 있다.
입력부(120)는 운전 조작 수단(121), 마이크로 폰(123) 및 사용자 입력부(124)를 포함할 수 있다.
운전 조작 수단(121)은 차량(100) 운전을 위한 사용자 입력을 수신한다. 운전 조작 수단(121)은 조향 입력 수단(121a), 쉬프트 입력 수단(121b), 가속 입력 수단(121c), 브레이크 입력 수단(121d)을 포함할 수 있다.
조향 입력 수단(121a)은 사용자로부터 차량(100)의 진행 방향 입력을 수신한다. 조향 입력 수단(121a)은 스티어링 휠을 포함할수 있다. 실시예에 따라, 조향 입력 수단(121a)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
쉬프트 입력 수단(121b)은 사용자로부터 차량(100)의 주차(P), 전진(D), 중립(N), 후진(R)의 입력을 수신한다. 쉬프트 입력 수단(121b)은 레버 형태로 형성되는 것이 바람직하다. 실시예에 따라, 쉬프트 입력 수단(121b)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
가속 입력 수단(121c)은 사용자로부터 차량(100)의 가속을 위한 입력을 수신한다. 브레이크 입력 수단(121d)은 사용자로부터 차량(100)의 감속을 위한 입력을 수신한다. 가속 입력 수단(121c) 및 브레이크 입력 수단(121d)은 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 수단(121c) 또는 브레이크 입력 수단(121d)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.
카메라(122)는 차량(100)의 실내 일측에 배치되어, 차량(100)의 실내 영상을 생성한다. 예컨대, 카메라(122)는 대쉬보드 표면, 루프 표면, 리어 뷰 미러 등 차량(100)의 다양한 위치에 배치되어, 차량(100)의 탑승자를 촬영할 수 있다. 이 경우, 카메라(122)는 차량(100)의 운전석을 포함하는 영역에 대한 실내 영상을 생성할 수 있다. 또한, 카메라(122)는 차량(100)의 운전석 및 보조석을 포함하는 영역에 대한 실내 영상을 생성할 수 있다. 카메라(122)에 의해 생성되는 실내 영상은 2차원 영상 및/또는 3차원 영상일 수 있다. 3차원 영상을 생성하기 위해, 카메라(122)는 스테레오 카메라, 깊이 카메라 및 3차원 레이저 스캐너 중 적어도 하나를 포함할 수 있다. 카메라(122)는 자신이 생성한 실내 영상을, 이와 기능적으로 결합된 제어부(170)로 제공할 수 있다.
제어부(170)는 카메라(122)로부터 제공되는 실내 영상을 분석하여, 각종 오브젝트를 검출할 수 있다. 예컨대, 제어부(170)는 실내 영상 중 운전석 영역에 대응하는 부분으로부터 운전자의 시선 및/또는 제스처를 검출할 수 있다. 다른 예로, 제어부(170)는 실내 영상 중 운전석 영역을 제외한 실내 영역에 대응하는 부분으로부터 동승자의 시선 및/또는 제스처를 검출할 수 있다. 물론, 운전자와 동승자의 시선 및/또는 제스처는 동시에 검출될 수도 있다.
마이크로 폰(123)은 외부의 음향 신호를 전기적인 데이터로 처리할 수 있다. 처리된 데이터는 차량(100)에서 수행 중인 기능에 따라 다양하게 활용될 수 있다. 마이크로폰(123)은 사용자의 음성 명령을 전기적인 데이터로 전환할 수 있다. 전환된 전기적인 데이터는 제어부(170)에 전달될 수 있다.
한편, 실시예에 따라, 카메라(122) 또는 마이크로폰(123)는 입력부(120)에 포함되는 구성요소가 아닌, 센싱부(160)에 포함되는 구성요소일 수도 있다.
사용자 입력부(124)는 사용자로부터 정보를 입력받기 위한 것이다. 사용자 입력부(124)를 통해, 정보가 입력되면, 제어부(170)는 입력된 정보에 대응되도록 차량(100)의 동작을 제어할 수 있다. 사용자 입력부(124)는 터치식 입력수단 또는 기계식 입력 수단을 포함할 수 있다. 실시예에 따라, 사용자 입력부(124)는 스티어링 휠의 일 영역에 배치될 수 있다. 이경우, 운전자는 스티어링 휠을 잡은 상태에서, 손가락으로 사용자 입력부(124)를 조작할 수 있다.
입력부(120)는 복수의 버튼 또는 터치 센서를 구비할 수 있다. 복수의 버튼 또는 터치 센서를 통해, 다양한 입력 동작을 수행하는 것도 가능하다.
센싱부(160)는 차량(100)의 주행 등과 관련한 신호를 센싱한다. 이를 위해, 센싱부(160)는 충돌 센서, 스티어링 센서(steering sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 적외선 센서, 레이더(162), 라이다(163), 초음파 센서(164) 등을 포함할 수 있다.
이에 의해, 센싱부(160)는 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도 등에 대한 센싱 신호를 획득할 수 있다. 또한, 제어부(170)는 차량(100)에 구비된 카메라, 초음파 센서, 적외선 센서, 레이더 및 라이다 중 적어도 어느 하나에 의해 획득된 외부 환경 정보를 기초로, 차량(100)의 가속, 감속, 방향 전환 등을 위한 제어신호를 생성할 수 있다. 여기서, 외부 환경 정보란, 주행 중인 차량(100)으로부터 소정 거리 범위 내에 위치하는 각종 오브젝트와 관련된 정보일 수 있다. 예를 들어, 외부 환경 정보에는, 차량(100)으로부터 100m 내의 거리에 위치하는 장애물의 수, 장애물까지의 거리, 장애물의 크기, 장애물의 유형 등에 관한 정보가 포함될 수 있다.
한편, 센싱부(160)는 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS) 등을 더 포함할 수 있다.
센싱부(160)는 생체 인식 정보 감지부를 포함할 수 있다. 생체 인식 정보 감지부는 탑승자의 생체 인식 정보를 감지하여 획득한다. 생체 인식 정보는 지문 인식(Fingerprint) 정보, 홍채 인식(Iris-scan) 정보, 망막 인식(Retina-scan) 정보, 손모양(Hand geo-metry) 정보, 안면 인식(Facial recognition) 정보, 음성 인식(Voice recognition) 정보를 포함할 수 있다. 생체 인식 정보 감지부는 탑승자의 생체 인식 정보를 센싱하는 센서를 포함할 수 있다. 여기서, 카메라(122) 및 마이크로 폰(123)이 센서로 동작할 수 있다. 생체 인식 정보 감지부는 카메라(122)를 통해, 손모양 정보, 안면 인식 정보를 획득할 수 있다.
센싱부(160)는 차량(100)의 외부를 촬영하는 적어도 하나 이상의 카메라(161)를 포함할 수 있다. 카메라(161)는 외부 카메라로 명명될 수 있다. 예를 들어, 센싱부(160)는 차량 외관의 서로 다른 위치에 배치되는 복수의 카메라(161)들을 포함할 수 있다. 이러한 카메라(161)는 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라(161)는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 제어부(170)에 전달할 수 있다.
카메라(161)는 이미지 센서(예를 들면, CMOS 또는 CCD)와 영상 처리 모듈을 포함할 수 있다. 또한, 카메라(161)는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공할 수 있다. 또한, 카메라(161)는 신호등, 교통 표지판, 보행자, 타차량 및 노면 중 적어도 하나를 포함하는 영상을 획득할 수 있다.
출력부(140)는 제어부(170)에서 처리된 정보를 출력하기 위한 것으로, 디스플레이부(141), 음향 출력부(142) 및 햅틱 출력부(143)를 포함할 수 있다.
디스플레이부(141)는 제어부(170)에서 처리되는 정보를 표시할 수 있다. 예를 들면, 디스플레이부(141)는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 차량에 대한 직접적인 제어를 위한 차량 제어 정보, 또는 차량 운전자에게 운전 가이드를 위한 운전 보조 정보를 포함할 수 있다. 또한, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다.
디스플레이부(141)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이부(141)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은 차량(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(124)로써 기능함과 동시에, 차량(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다. 이경우, 디스플레이부(141)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(141)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(141)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(170)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
한편, 디스플레이부(141)는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다. 클러스터는 대시보드 위에 위치할 수 있다. 이경우, 운전자는 시선을 차량 전방에 유지한채로 클러스터에 표시되는 정보를 확인할 수 있다.
한편, 실시예에 따라, 디스플레이부(141)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(141)가 HUD로 구현되는 경우, 윈드 쉴드에 구비되는 투명 디스플레이를 통해 정보를 출력할 수 있다. 또는, 디스플레이부(141)는 투사 모듈을 구비하여 윈드 쉴드에 투사되는 이미지를 통해 정보를 출력할 수 있다.
음향 출력부(142)는 제어부(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(142)는 스피커 등을 구비할 수 있다. 음향 출력부(142)는, 사용자 입력부(124) 동작에 대응하는 사운드를 출력하는 것도 가능하다.
햅틱 출력부(143)는 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(143)는 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
차량 구동부(150)는 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(150)는 동력원 구동부(151), 조향 구동부(152), 브레이크 구동부(153), 램프 구동부(154), 공조 구동부(155), 윈도우 구동부(156), 에어백 구동부(157), 썬루프 구동부(158) 및 와이퍼 구동부(159) 중 적어도 하나 이상을 포함할 수 있다.
동력원 구동부(151)는 차량(100) 내의 동력원에 대한 전자식 제어를 수행할 수 있다. 동력원 구동부(151)는 차량(100)의 속도를 증가시키는 가속 장치 및 차량(100)의 속도를 감소시키는 제동 장치를 포함할 수 있다.
예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부(151)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(151)가 엔진인 경우, 제어부(170)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 속도를 제한할 수 있다.
다른 예로, 전기 기반의 모터(미도시)가 동력원인 경우, 동력원 구동부(151)는 모터에 대한 제어를 수행할 수 있다. 이에 의해, 모터의 회전 속도, 토크 등을 제어할 수 있다.
조향 구동부(152)는 조향 장치(steering apparatus)를 포함할 수 있다. 이에, 조향 구동부(152)는 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들어, 조향 구동부(152)에는 조향토크센서, 조향각센서 및 조향모터가 구비될 수 있고, 운전자가 스티어링 휠에 가하는 조향토크는 조향토크센서에 의해 감지될 수 있다. 조향 구동부(152)는 차량(100)의 속도 및 조향토크 등을 기초로, 조향모터에 인가되는 전류의 크기와 방향을 변경함으로써, 조향력과 조향각을 제어할 수 있다. 또한, 조향 구동부(152)는 조향각센서에 의해 획득된 조향각 정보를 기초로, 차량(100)의 주행방향이 제대로 조절되고 있는 상태인지 판단할 수 있다. 이에 의해, 차량의 주행 방향을 변경할 수 있다. 또한, 조향 구동부(152)는 차량(100)이 저속 주행 시에는 조향모터의 조향력을 증가시켜 스티어링 휠의 무게감을 낮추고, 차량(100)이 고속 주행 시에는 조향모터의 조향력을 감소시켜 스티어링 휠의 무게감을 높일 수 있다. 또한, 차량(100)의 자율 주행 기능이 실행된 경우, 조향 구동부(152)는 운전자가 스티어링 휠을 조작하는 상황(예, 조향토크가 감지되지 않는 상황)에서도, 센싱부(160)가 출력하는 센싱 신호 또는 제어부(170)가 제공하는 제어신호 등을 기초로, 조향모터가 적절한 조향력을 발생시키도록 제어할 수도 있다.
브레이크 구동부(153)는 차량(100) 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량(100)의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.
램프 구동부(154)는 차량 내, 외부에 배치되는 적어도 하나 이상의 램프의 턴 온/턴 오프를 제어할 수 있다. 램프 구동부(154)는 조명 장치를 포함할 수 있다. 또한, 램프 구동부(154)는 조명 장치에 포함된 램프 각각이 출력하는 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 헤드램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.
공조 구동부(155)는 차량(100) 내의 공조 장치(air cinditioner)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
윈도우 구동부(156)는 차량(100) 내의 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량의 측면의 좌,우 윈도우들에 대한 개방 또는 폐쇄를 제어할 수 있다.
에어백 구동부(157)는 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 위험시, 에어백이 터지도록 제어할 수 있다.
썬루프 구동부(158)는 차량(100) 내의 썬루프 장치(sunroof apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 썬루프의 개방 또는 폐쇄를 제어할 수 있다.
와이퍼 구동부(159)는 차량(100)에 구비된 와이퍼(14a, 14b)에 대한 제어를 수행할 수 있다. 예를 들어, 와이퍼 구동부(159)는 사용자 입력부(124)를 통해 와이퍼를 구동할 것을 명령하는 사용자 입력을 수신 시, 사용자 입력에 따라 와이퍼(14a, 14b)의 구동 횟수, 구동 속도 등에 대한 전자식 제어를 수행할 수 있다. 다른 예를 들어, 와이퍼 구동부(159)는 센싱부(160)에 포함된 레인센서(rain sensor)의 센싱 신호를 기초로, 빗물의 양 또는 세기를 판단하여, 사용자 입력없이도 와이퍼(14a, 14b)를 자동적으로 구동할 수 있다.
한편, 차량 구동부(150)는 서스펜션 구동부(미도시)를 더 포함할 수 있다. 서스펜션 구동부는 차량(100) 내의 서스펜션 장치(suspension apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
메모리(130)는 제어부(170)와 전기적으로 연결된다. 메모리(170)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(190)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(130)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
인터페이스부(180)는 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(180)는 휴대 단말과 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 휴대 단말과 연결할 수 있다. 이경우, 인터페이스부(180)는 휴대 단말과 데이터를 교환할 수 있다.
인터페이스부(180)는 턴 시그널 정보를 수신할 수 있다. 여기서, 턴 시그널 정보는 사용자에 의해 입력된 좌회전 또는 우회전을 위한 방향 지시등의 턴 온(turn on) 시그널일 수 있다. 차량(100)의 사용자 입력부(도 1의 124)를 통해, 좌측 또는 우측 방향 지시등 턴 온 입력이 수신되는 경우, 인터페이스부(180)는 좌측 또는 우측 방향 턴 시그널 정보를 수신할 수 있다.
인터페이스부(180)는 차량 속도 정보, 스티어링 휠의 회전 각도 정보 또는 기어 쉬프트 정보를 수신할 수 있다. 인터페이스부(180)는 차량의 센싱부(160)를 통해 센싱된 차량 속도 정보, 스티어링 휠 회전 각도 정보, 또는 기어 쉬프트 정보를 수신할 수 있다. 또는, 인터페이스부(180)는 차량의 제어부(170)로부터 차량 속도 정보, 스티어링 휠 회전 각도 정보 또는 기어 쉬프트 정보를 수신할 수 있다. 한편, 여기서, 기어 쉬프트 정보는, 차량의 변속 레버가 어느 상태에 있는지에 대한 정보일 수 있다. 예를 들면, 기어 쉬프트 정보는 변속 레버가 주차(P), 후진(R), 중립(N), 주행(D), 1 내지 다단 기어 상태 중 어느 하나 중 어느 상태에 있는지에 대한 정보일 수 있다.
인터페이스부(180)는 차량(100)의 사용자 입력부(124)를 통해 수신되는 사용자 입력을 수신할 수 있다. 인터페이스부(180)는 사용자 입력을 차량(100)의 입력부(120)로부터 수신하거나, 제어부(170)를 거쳐 수신할 수 있다.
인터페이스부(180)는 외부 기기로부터 획득된 정보를 수신할 수 있다. 예를 들면, 차량(100)의 통신부(110)를 통해 외부 서버로부터 신호등 변경 정보가 수신되는 경우, 인터페이스부(180)는 상기 신호등 변경 정보를 제어부(170)로부터 수신할 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
제어부(170)는 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어부(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 제어부(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
전원부(190)는 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원부(170)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.
AVN(Audio Video Navigation) 장치(400)는 제어부(170)와 데이터를 교환할 수 있다. 제어부(170)는 AVN 장치 또는 별도의 내비게이션 장치(미도시)로부터 내비게이션 정보를 수신할 수 있다. 여기서, 여기서, 내비게이션 정보는 설정된 목적지 정보, 상기 목적지에 따른 경로 정보, 차량 주행과 관련한, 맵(map) 정보 또는 차량 위치 정보를 포함할 수 있다.
한편, 도 1에 도시된 구성요소들 중 일부는 차량(100)를 구현하는데 있어서 필수적인 것이 아닐 수 있다. 따라서, 본 명세서 상에서 설명되는 차량(100)은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
도 2는 도 1에 도시된 차량(100)의 예시적인 외관을 도시한 것이다. 설명의 편의를 위해, 차량(100)은 4륜 자동차인 것으로 가정한다.
도 2를 참조하면, 차량(100)은 동력원에 의해 회전하는 타이어(11a-11d), 차량(100)의 진행 방향을 조절하기 위한 스티어링 휠(12), 헤드램프(13a, 13b) 등을 포함할 수 있다.
차량(100)의 전고(H)는 접지면으로부터 차체의 가장 높은 곳까지의 길이로서, 차량(100)의 탑승자나 적재물의 무게나 위치 등에 따라, 소정 범위 내에서 변경될 수 있다. 또한, 차량(100)는 차체의 최저 지점과 노면 사이는 최저 지상고(G)만큼 이격될 수 있다. 이에 따라, 최저 지상고(G)보다 낮은 높이를 가지는 물체에 의한 차체 손상을 막을 수 있다.
차량(100)의 전방 좌우 타이어(11a, 11b) 간의 간격과 후방 좌우 타이어(11c, 11d) 간의 간격은 동일한 것으로 가정한다. 이하에서는, 전륜 좌측 타이어(11a)의 내측과 우측 타이어(11b)의 내측 사이의 거리와 후륜 좌측 타이어(11c)의 내측과 우측 타이어(11d)의 내측 사이의 거리는 동일한 값(T)인 것으로 가정한다.
차량(100)의 전폭(O)은 사이드 미러(예, 전동 접이식 사이드 미러)를 제외한 차량(100)의 차체 좌측 끝단부터 우측 끝단 간의 최대 거리로 정의될 수 있다.
한편, 차량(100)의 윈드 쉴드의 일측에는, 도 1에 도시된 카메라(161)와는 별개의 카메라(195)가 장착될 수 있다. 카메라(195)는 후술할 운전 보조 장치(700)에 포함되는 것일 수 있다. 카메라(195)는 차량(100)의 전방에 대한 3차원 데이터를 제공하는 스테레오 카메라일 수 있다.
차량(100)의 제어부(170) 또는 운전 보조 장치(700)의 프로세서(770)는 카메라(195)로부터 제공되는 전방의 영상을 기초로, 차량(100)의 외부 환경과 관련된 정보를 획득할 수 있다. 예컨대, 외부 환경과 관련된 정보는, 카메라(195)의 촬영 범위 내에 위치하는 각종 오브젝트(예, 보행자, 신호등, 대향 차량, 벽)에 관한 데이터를 포함할 수 있다.
이 경우, 차량(100)의 제어부(170) 또는 운전 보조 장치(700)의 프로세서(770)는, 획득된 외부 환경과 관련된 정보를 기초로, 기 설정된 적어도 하나의 동작을 실행하기 위한 제어 신호를 구동부(150)에 출력할 수 있다. 예컨대, 차량(100)의 제어부(170) 또는 운전 보조 장치(700)의 프로세서(770)는, 차량(100)의 조향, 가속, 제동 및 조명 중 적어도 하나를 제어할 수 있다.
도 3는 도 1을 참조하여 전술한 차량(100)의 일 예를 보여준다.
도 3를 참조하면, 도 1을 참조하여 전술한 바와 같이, 차량(100)은 적어도 하나 이상의 레이더(162), 라이다(163) 및 초음파 센서(164)를 포함할 수 있다.
레이더(162)는 차량(100)의 일측에 장착되어, 차량(100)의 주변을 향하여 전자기파를 송출하고, 차량(100)의 주변에 존재하는 각종 오브젝트에서 반사되는 전자기파를 수신할 수 있다. 예를 들어, 레이더(162)는 어느 한 오브젝트에 의해 반사되어 돌아온 전자기파의 시간을 측정하여, 해당 오브젝트의 거리, 방향, 고도 등과 관련된 정보를 획득할 수 있다.
라이다(163)는 차량(100)의 일측에 장착되어, 차량(100)의 주변을 향하여 레이저를 발사할 수 있다. 라이다(163)에 의해 발사된 레이저는 산란되거나 반사되어 차량(100)으로 되돌아올 수 있고, 라이다(163)는 레이저가 되돌아오는 시간, 강도, 주파수의 변화, 편광 상태의 변화를 기초로, 차량(100)의 주변에 위치하는 타겟의 거리, 속도, 형상 등의 물리적 특성에 대한 정보를 획득할 수 있다.
초음파 센서(164)는 차량(100)의 일측에 장착되어, 차량(100)의 주변을 향하여 초음파를 발생시킨다. 초음파 센서(164)에 의해 발생되는 초음파는 주파수(약, 20KHz 이상)가 높고 파장이 짧은 특성을 가진다. 이러한 초음파 센서(164)는 주로 차량(100)과 근접한 장애물 등을 인식하는 데에 이용될 수 있다.
한편, 실시예에 따라, 레이더(162), 라이다(163) 및 초음파 센서(164)는 도 3에 도시된 것과는 다른 위치에 다른 개수로 장착될 수 있다는 것은 당업자에게 자명하다. 또한, 레이더(162), 라이다(163) 및 초음파 센서(164) 중 적어도 하나는 차량(100)에 구비되지 않을 수 있다.
도 4a는 차량(100)의 서로 다른 위치에 복수개의 카메라가 장착된 상태를 예시한다. 설명의 편의를 위해, 4개의 카메라들(161a, 161b, 161c, 161d)이 장착되는 것으로 가정한다.
이 경우, 4개의 카메라들(161a, 161b, 161c, 161d) 각각은 전술한 카메라(161)와 동일할 수 있다.
도 4a를 참조하면, 복수의 카메라들(161a, 161b, 161c, 161d)는 각각 차량(100)의 전방, 좌측, 우측 및 후방에 배치될 수 있다. 복수의 카메라들(161a, 161b, 161c, 161d) 각각은 도 1에 도시된 카메라(161)에 포함되는 것일 수 있다.
전방 카메라(161a)는 윈드 쉴드 부근, 앰블럼 부근 또는 라디에이터 그릴 부근에 배치될 수 있다.
좌측 카메라(161b)는 좌측 사이드 미러를 둘러싸는 케이스 내에 배치될 수 있다. 또는, 좌측 카메라(161b)는 좌측 사이드 미러를 둘러싸는 케이스 외부에 배치될 수 있다. 또는, 좌측 카메라(161b)는 좌측 프런트 도어, 좌측 리어 도어 또는 좌측 휀더(fender) 외측 일 영역에 배치될 수 있다.
우측 카메라(161c)는 우측 사이드 미러를 둘러싸는 케이스 내에 배치될 수 있다. 또는 우측 카메라(161c)는, 우측 사이드 미러를 둘러싸는 케이스 외부에 배치될 수 있다. 또는, 우측 카메라(161c)는 우측 프런트 도어, 우측 리어 도어 또는 우측 펜더(fender) 외측 일 영역에 배치될 수 있다.
한편, 후방 카메라(161d)는 후방 번호판 또는 트렁크 스위치 부근에 배치될 수 있다.
복수의 카메라(161a, 161b, 161c, 161d)에서 촬영된 각각의 이미지는 제어부(170)에 전달되고, 제어부(170)는 상기 각각의 이미지를 합성하여, 차량 주변 영상을 생성할 수 있다.
또한, 도 4a에서는 차량(100) 외관에 4대의 카메라들이 장착되는 것으로 도시하였지만, 본 발명은 카메라의 개수에 한정되지 않으며, 더 적거나 많은 수의 카메라가 도 4a에 도시된 위치와는 다른 위치에 장착될 수도 있음을 명시한다.
도 4b는 차량(100)을 기준으로 360도 방향의 장면이 나타나는 예시적인 합성 영상(400)을 보여준다.
도 4b를 참조하면, 합성 영상(400)은 전방 카메라(161a)에 의해 촬영된 외부 영상에 대응하는 제1 이미지 영역(401), 좌측 카메라(161b)에 의해 촬영된 외부 영상에 대응하는 제2 이미지 영역(402), 우측 카메라(161c)에 의해 촬영된 외부 영상에 대응하는 제3 이미지 영역(403) 및 후방 카메라(161d)에 의해 촬영된 외부 영상에 대응하는 제4 이미지 영역(404)을 포함할 수 있다. 합성 영상(400)은 어라운드 뷰 모니터링(around view monitoring) 영상이라고 칭할 수 있다.
한편, 합성 영상(400) 생성 시, 합성 영상(400)에 포함된 어느 두 외부 영상 간에는 경계선(411, 412, 413, 414)이 발생한다. 제어부(170)는 외부 영상들 간의 경계 부분을 이미지 블렌딩(blending) 처리하여 자연스럽게 표시될 수 있다.
한편, 복수의 영상들 간의 경계에는 경계선(411, 412, 413, 414)이 표시될 수 있다. 또한, 합성 영상(400)의 중앙에는 차량(100)을 가리키는 것으로 기 설정된 이미지가 포함될 수 있다.
또한, 제어부(170)는 차량(100)의 실내에 장착된 디스플레이 장치에 합성 영상(400)을 표시할 수 있다.
도 5는 본 발명의 일 실시예에 따른 조명 장치(500)의 예시적인 블록 다이어그램이다.
도 5를 참조하면, 본 발명의 실시예에 따른 조명 장치(500)는 광원부(510), 메모리(520), 인터페이스부(530), 프로세서(540) 및 전원부(550)를 포함할 수 있다.
광원부(510)는 적어도 하나 이상의 발광 소자를 포함할 수 있다. 이때, 각각의 발광 소자는 전기 에너지를 빛로 변환할 수 있다. 예컨대, 발광 소자는, 백열전구(metal filament lamps), 할로겐전구(halogen bulb), 고전압방출(HID)램프, 네온 가스 방전등(Neon gas discharge lamp), 발광 다이오드(LED: Light Emitting lamp), 레이저 다이오드(Laser Diode) 중 어느 하나일 수 있다.
광원부(510)는 프로세서(540)의 제어에 따라, 오브젝트 검출용 가시광, 시야 확보용 가시광 및 주행 정보 안내용 가시광 중 적어도 하나를 출력할 수 있다. 여기서, 오브젝트 검출용 가시광은 차량(100)의 주변에 위치하는 각종 오브젝트를 검출하기 위해 출력되는 것일 수 있다. 시야 확보용 가시광은 일반적인 헤드레이트와 같이, 운전자가 전방 시야를 확보할 수 있도록 하기 위해 출력되는 것일 수 있다. 주행 정보 안내용 가시광은 운전자에게 차선 등과 같은 주행 정보를 안내하기 위해 지면을 향하여 출력되는 것일 수 있다.
일 실시예에서, 광원부(510)는 제1 광원 모듈, 제2 광원 모듈 및 제3 광원 모듈을 포함할 수 있다. 예컨대, 제1 광원 모듈은 레이저 다이오드를 발광 소자로 이용하여, 차량(100)의 전방을 향하여 오브젝트 검출용 가시광을 출력할 수 있다. 제2 광원 모듈은 매트릭스 형태로 배열된 LED들을 발광 소자로 이용하여, 차량(100)의 전방을 향하여 시선 확보용 가시광을 출력할 수 있다. 제3 광원 모듈은 레이저 다이오드나 LED를 발광 소자로 이용하여, 지면에 주행 정보를 안내하는 각종 표식을 형성하기 위한 주행 정보 안내용 가시광을 출력할 수 있다. 광원부(510)의 형태에 대한 구체적인 설명은, 이하 도 6을 참조하여 별도로 서술하기로 한다.
메모리(520)는 조명 장치(500)에 포함된 각 구성요소에 대한 기본 데이터, 각 구성요소의 동작 제어를 위한 명령어들 및 제어 데이터, 조명 장치(500)에 입출력되는 데이터를 저장할 수 있다.
메모리(520)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다.
메모리(520)는 프로세서(540)의 처리 또는 제어를 위한 프로그램 등, 조명 장치(500) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
프로세서(540)는 조명 장치(500) 내의 각 구성 요소의 전반적인 동작을 제어할 수 있다.
프로세서(540)는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(540)(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(540)(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
운전 보조 장치(700)는 제어부와 직간접적으로 연결될 수 있고, 프로세서(540)는 제어부(170)의 제어를 받을 수 있다.
프로세서(540)는 제1 패턴의 가시광을 출력하도록 광원부(510)를 제어할 수 있다. 제1 패턴의 가시광에 의해, 차량(100)의 전방에 복수의 마킹 영역이 형성될 수 있다. 제1 패턴의 가시광은 복수의 빔(beam)들을 포함할 수 있다. 이때, 서로 인접한 빔들 간에는 동일한 각도 차이가 형성될 수 있다. 이때, 각각의 빔은 미리 정해진 형상과 크기로 전방을 향하여 조사될 수 있다. 제1 패턴의 가시광에 포함된 복수의 빔들이 차량(100) 전방의 오브젝트에 비춰지는 경우, 상기 복수의 마킹 영역이 형성될 수 있다. 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역은 운전 보조 장치(700)의 카메라(710)에 의해 촬영될 수 있다.
프로세서(540)는 제2 패턴의 가시광을 출력하도록 광원부(510)를 제어할 수 있다. 이때, 제2 패턴의 가시광은 상기 제1 패턴의 가시광보다, 차량(100)의 전방을 향하여 조밀하게 출력될 수 있다.
구체적으로, 제2 패턴의 가시광은 복수의 빔들로 이루어질 수 있다. 제2 패턴의 가시광에 포함되는 서로 인접한 빔들이 이루는 각도는, 제1 패턴의 가시광에 포함되는 서로 인접한 빔들들이 이루는 각도보다 작을 수 있다. 이에 따라, 제2 패턴의 가시광은 제1 패턴의 가시광보다 차량(100)의 전방을 향하여 조밀하게 출력될 수 있다. 제2 패턴의 가시광에 의해 형성된 복수의 마킹 영역은 운전 보조 장치(700)의 카메라(710)에 의해 촬영될 수 있다.
후술할 운전 보조 장치(700)는 조명 장치(500)에 의해 형성된 복수의 마킹 영역을 기초로, 차량(100)의 주변에 위치하는 오브젝트를 검출할 수 있다.
프로세서(540)는 광원부(510)로부터 출력되는 가시광의 광량을 조절할 수 있다. 예컨대, 프로세서(540)는 광원부(510)로 공급되는 전기 에너지의 양을 조절하여, 광원부(510)로부터 출력되는 가시광의 광량을 조절할 수 있다. 전술한 바와 같이, 광원부(510)는 복수의 광원 모듈을 포함할 수 있는바, 이 경우 프로세서(540)는 광원 모듈별로 공급되는 전기 에너지의 양을 개별적으로 조절할 수 있다.
일 실시예에서, 프로세서(540)는 운전 보조 장치(700)의 요청에 응답하여, 운전 보조 장치(700)에 의해 검출된 오브젝트의 종류에 대응하는 광량의 가시광을 출력할 수 있다.
예를 들어, 운전 보조 장치(700)에 의해 검출된 오브젝트가 보행자인 경우, 프로세서(540)는 보행자의 적어도 일부분(예, 얼굴)을 향하는 가시광의 광량을 소정값 이하로 줄이거나 차단할 수 있다.
다른 예를 들어, 운전 보조 장치(700)에 의해 검출된 오브젝트가 대향 차량인 경우, 프로세서(540)는 대향 차량의 적어도 일부분(예, 앞유리)을 향하는 가시광의 광량을 소정값 이하로 줄이거나 차단할 수 있다.
다른 예를 들어, 운전 보조 장치(700)에 의해 검출된 오브젝트가 교통 표지인 경우, 프로세서(540)는 교통 표시를 향하는 가시광의 광량을 증가시킬 수 있다.
다른 예를 들어, 운전 보조 장치(700)에 의해 검출된 오브젝트가 차량(100)의 주행 경로 상에 있는 낙하물인 경우, 프로세서(540)는 낙하물를 향하는 가시광의 광량을 증가시킬 수 있다.
프로세서(540)는 차량(100)의 주행 속도를 기초로, 오브젝트를 향하는 가시광의 광량을 조절할 수 있다. 예컨대, 차량(100)의 주행 속도가 빠를수록, 오브젝트를 향하는 가시광의 광량을 증가시킬 수 있다. 이에 따라, 운전자는 빠른 주행 속도에서도 차량(100) 주변의 오브젝트를 용이하게 확인할 수 있다.
프로세서(540)는 차량(100)과 오브젝트 간의 거리를 기초로, 오브젝트를 향하는 가시광의 광량을 조절할 수 있다. 예컨대, 차량(100)과 오브젝트 간의 거리가 짧아 질수록, 충돌 위험이 커지므로, 해당 오브젝트를 향하는 가시광의 광량을 증가시킬 수 있다. 이에 따라, 운전자는 잠재적 충돌 위험이 있는 오브젝트를 신속히 확인할 수 있다.
한편, 전술한 오브젝트에 관한 정보는 인터페이스부(530)에 의해 수신된 후, 프로세서(540)에 제공되는 것일 수 있다. 이때, 오브젝트에 관한 정보에는, 오브젝트의 크기, 속도, 위치, 종류 등이 포함될 수 있다.
인터페이스부(530)는 차량(100)의 센싱부(160), 제어부(170) 및 운전 보조 장치(700) 중 적어도 하나와 유무선으로 연결되어, 상호 간에 데이터를 교환할 수 있다.
인터페이스부(530)는 차량 관련 데이터 또는 사용자 입력을 수신하거나, 프로세서(540)에서 처리 또는 생성된 신호를 외부로 전송할 수 있다. 이를 위해, 인터페이스부(530)는, 유선 통신 또는 무선 통신 방식에 의해, 제어부(170), 센싱부(160), 운전 보조 장치(700) 등과 데이터 통신을 수행할 수 있다.
한편, 인터페이스부(530)는, 제어부(170) 또는 센싱부(160)로부터, 센싱 데이터를 수신할 수 있다.
여기서, 센싱 데이터는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차속 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보 중 적어도 하나를 포함할 수 있다.
이러한 센싱 데이터는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서 등으로부터 획득될 수 있다. 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈을 포함할 수 있다.
한편, 센싱 데이터 중, 차량(100)의 방향 정보, 위치 정보, 각도 정보, 속도 정보, 기울기 정보 등 차량의 주행과 관련된 정보를 주행 정보라고 명명할 수 있다.
한편, 인터페이스부(530)는 운전 보조 장치(700)로부터 운전 보조 장치(700)에 의해 검출된 오브젝트 정보를 수신할 수 있다. 또는, 인터페이스부(530)는 운전 보조 장치(700)에 의해 검출된 오브젝트에 관한 정보를 제어부(170)를 거쳐 수신할 수 있다.
운전 보조 장치(700)는 카메라(710)로부터 제공되는 영상을 기초로 차선 검출(Lane Detection, LD), 주변 차량 검출(Vehicle Detection, VD), 보행자 검출(Pedestrian Detection, PD), 불빛 검출(Brightspot Detection, BD), 교통 표지 검출(Traffic Sign Recognition, TSR), 도로면 검출을 수행할 수 있다. 운전 보조 장치(700)는 검출된 오브젝트와의 거리 정보를 생성할 수 있다.
인터페이스부(530)는 운전 보조 장치(700)로부터 대향 차량의 윈드 쉴드에 대한 정보를 수신할 수 있다. 더 나아가, 인터페이스부(530)는 운전 보조 장치(700)로부터 대향 차량의 윈스 쉴드의 전체 영역 중, 대향차 운전자의 얼굴이 위치하는 부분에 대한 정보를 수신할 수 있다.
인터페이스부(530)는 운전 보조 장치(700)로부터 운전 보조 장치(700)에 의해 검출된 보행자에 대한 정보를 수신할 수 있다.
인터페이스부(530)는 차량이 현재 주행 중인 경로의 차선 정보를 수신할 수 있다. 여기서, 차선 정보는 운전 보조 장치(700)에 의해 검출된 차선을 컴퓨터 처리하여 획득될 수 있다.
인터페이스부(530)는 차량(100)이 현재 주행 중인 도로의 곡률 및/또는 기울기 정보를 수신할 수 있다. 예컨대, 운전 보조 장치(700)는 카메라(195)로부터 제공되는 이미지를 기초로, 차량(100)이 현재 주행 중인 도로의 곡률을 산출하고, 산출된 곡률을 인터페이스부(530)로 제공할 수 있다.
인터페이스부(530)는 운전 보조 장치(700)로부터 차량(100)의 전방에 위치하는 오브젝트에 관한 정보, 차량(100)의 후방에 위치하는 오브젝트에 관한 정보를 수신할 수 있다.
프로세서(540)는 인터페이스부(530)에 의해 수신된 오브젝트에 관한 정보를 기초로, 광원부(510)를 통해 출력할 가시광의 패턴을 변경할 수 있다.
전원부(550)는 프로세서(540)의 제어에 따라, 조명 장치(500)에 포함된 각 구성 요소의 동작에 필요한 전원을 공급할 수 있다. 이 경우, 전원 공급부는 차량(100)에 장착된 배터리로부터 전원을 공급받을 수 있다. 또는, 전원 공급부는 자체적으로 별도의 배터리를 포함할 수 있다.
조명 장치(500)는 도 2에 도시된 좌측 헤드램프(13a) 및 우측 헤드램프(13b) 중 적어도 하나에 포함될 수 있다.
도 6a는 본 발명의 일 실시예에 따른 제1 발광 모듈(511)의 구조를 보여주는 도면이다.
도 6a를 참조하면, 제1 발광 모듈(511)은 발광 소자(611), 광 변환 소자(612), 제1 렌즈(613), 리플렉터(614) 및 제2 렌즈(615)를 포함할 수 있다.
발광 소자(611)는 전기 에너지를 빛으로 변환할 수 있다. 예컨대, 발광 소자(611)는 LED(Light Emitting Diode) 또는 레이저 다이오드를 포함할 수 있다. 레이저 다이오드를 광원으로 이용할 경우, LED보다 큰 밝기를 구현할 수 있다. 예컨대, 발광 소자(611)의 레이저 빔은 청색의 파장(약, 450nm)을 가질 수 있다. 이하에서는, 레이저 다이오드를 발광 소자(611)로 이용하는 것으로 가정한다.
광 변환 소자(612)는 발광 소자(611)로부터 방출되는 레이저 빔을 소정 색상으로 변환한다. 즉, 발광 소자(611)로부터 방출되는 레이저 빔은 광 변환 소자(612)를 통과하면서, 다양한 파장대의 빛으로 변환될 수 있다. 이러한 다양한 파장대의 빛들이 합성되어 소정 색상(예, 백색)의 가시광으로 변환될 수 있다.
이러한 광 변환 소자(612)는 적어도 한 종류의 형광 물질을 포함할 수 있다. 예컨대, 광 변환 소자(612)는 포스퍼러스(phosphorous)를 포함할 수 있다.
제1 렌즈(613)는 광 변환 소자(612)로부터 방출되는 가시광을 굴절시켜 리플렉터(614)로 제공할 수 있다. 즉, 제1 렌즈(613)는 광 변환 소자(612)로부터 방출되는 가시광이 리플렉터(614)로 전달되도록, 광 변환 소자(612)로부터 방출되는 가시광을 굴절시킬 수 있다.
리플렉터(614)는 제1 렌즈(613)로부터 방출되는 가시광을 반사시킬 수 있다. 이 경우, 리플렉터(614)는, 도시된 바와 같이, DMD(Digital Micromirror Device)(614a)를 포함할 수 있다. DMD(614a)는 소정의 형태로 배열되는 복수개의 마이크로 미러들(M)을 포함할 수 있다. 예컨대, DMD(614a)에는 수십만개의 마이크로 미러들(M)이 포함될 수 있다. DMD(614a)의 구조 및 작동 원리에 관하여는 널리 공지된 바, 구체적인 설명은 생략하기로 한다.
프로세서(540)는 마이크로 미러(M) 각각의 틸트각을 개별적으로 제어함으로써, 제1 렌즈(613)로부터 방출되는 가시광의 투사각 및/또는 반사율을 픽셀 단위로 조절할 수 있다. 예를 들어, 각각의 마이크로 미러(M)는 자기장에 의해 초당 수천번 이상 틸트각을 변경할 수 있다. 틸트각의 변경에 의해, 제1 렌즈(613)로부터 리플렉터(614)로 방출된 가시광 중 적어도 일부분의 투사각이 변경될 수 있다. 이에 따라, 제1 렌즈(613)로부터 방출되는 가시광 중 일부분은 차량(100) 전방으로의 투사가 차단될 수 있다.
DMD(614a)에 의해, 제1 렌즈(613)로부터 방출되는 가시광의 적어도 일부만이 제2 렌즈(615)를 통과한 후, 차량(100)의 전방을 향하여 투사될 수 있다. 실시예에 따라, 제2 렌즈(615)는 생략될 수 있다.
프로세서(540)는 운전 보조 장치(700)로부터 제공되는 오브젝트 정보를 기초로, DMD(614a)에 포함된 적어도 일부의 마이크로 미러(M)의 틸트각을 제어함으로써, 차량(100) 전방으로 투사되는 다양한 패턴의 가시광을 구현할 수 있다.
한편, 도 6a에 도시된 제1 발광 모듈(511)은 객체 검출용 가시광 및 시야 확보용 가시광을 동시에 출력할 수 있다. 제1 발광 모듈(511)은 객체 검출용 가시광 및 시야 확보용 가시광을 시간차를 두고 출력할 수 있다. 예컨대, 제1 발광 모듈(511)이 객체 검출용 가시광을 출력 중인 경우, 시야 확보용 가시광의 출력은 중단될 수 있다. 이 경우, 후술할 제2 발광 모듈(512)은 생략될 수 있다. 다른 예로, 제1 발광 모듈(511)이 객체 검출용 가시광을 출력 중인 경우, 제2 발광 모듈(512) 또는 제3 발명 모듈(513)에 의해 시야 확보용 가시광이 출력될 수 있다. 이 경우, 객체 검출용 가시광은 시야 확보용 가시광보다 더 큰 광량 또는 세기로 출력될 수 있다. 이에 따라, 객체 검출용 가시광은 시야 확보용 가시광보다 차량(100)의 전방의 먼 곳까지 도달할 수 있다.
도 6b는 본 발명의 일 실시예에 따른 제2 발광 모듈(512)의 구조를 보여주는 도면이고, 도 6c는 본 발명의 일 실시예에 따른 제3 발광 모듈(513)의 구조를 보여주는 도면이다.
도 6b를 참조하면, 제2 발광 모듈(512)은 미리 정해진 형태로 정렬되는 복수개의 발광 소자(621)를 포함할 수 있다. 각각의 발광 소자(621)는 개별적으로 온오프되거나, 색상과 밝기가 조절되는 LED일 수 있다. 제2 발광 모듈(512)은 프로세서(540)의 제어에 따라, 복수개의 발광 소자(621)들을 개별적으로 제어함으로써, 다양한 패턴의 시야 확보용 가시광을 차량(100)의 전방을 향하여 출력할 수 있다.
도 6c를 참조하면, 제3 발광 모듈(513)은 발광 소자(631), 리플렉터(632), 투명 디스플레이(633) 및 렌즈(634)를 포함할 수 있다.
발광 소자(631)는 전기 에너지를 빛으로 변환하고, 리플렉터(632)는 발광 소자(631)로부터 출력되는 빛을 투명 디스플레이(633)를 향하여 반사시킨다. 이때, 리플렉터(632)는 알루미늄이나 은과 같이 소정값 이상의 반사율을 가지는 재질을 포함할 수 있다.
투명 디스플레이(633)는 발광 소자(631)로부터 출력되는 빛의 적어도 일부분을 차단하거나, 밝기 및 색상 중 적어도 하나를 변화시킬 수 있다. 구체적으로, 투명 디스플레이(633)는 프로세서(540)의 제어에 따라, 다양한 이미지를 표시할 수 있다. 발광 소자(631)로부터 출력되는 빛의 적어도 일부분은, 투명 디스플레이(633)에 표시되는 이미지에 의해, 차량(100) 전방으로의 투사가 차단되거나, 밝기 또는 색상이 변경될 수 있다. 예컨대, 투명 디스플레이(633)에 표시되는 이미지가 적색인 경우, 발광 소자(631)로부터 출력되는 빛은 투명 디스플레이(633)을 통과하면서 적색으로 변경될 수 있다. 다른 예로, 발광 소자(631)로부터 출력되는 빛은 투명 디스플레이(633)에 의해 표시된 이미지 영역의 투과율에 따라, 밝기 또는 광량이 변경될 수 있다.
투명 디스플레이(633)를 통과한 빛은 렌즈(634)에 의해 굴절되어, 차량(100) 전방의 지면을 향하여 투사될 수 있다. 실시예에 따라, 제3 발광 모듈(513)은 렌즈(634)를 포함하지 않을 수 있다.
도 7은 본 발명의 일 실시예에 따른 운전 보조 장치(700)의 블록 다이어그램을 보여준다.
도 7을 참조하면, 운전 보조 장치(700)는 카메라(710), 입력부(720), 메모리(730), 음향 출력부(740), 디스플레이부(750), 인터페이스부(760), 프로세서(770) 및 전원부(780)를 포함할 수 있다.
카메라(710)는 차량 전방을 촬영하여, 전방의 전경에 대응하는 이미지를 획득할 수 있다. 이때, 카메라(710)는 싱글뷰 카메라 또는 스테레오 카메라일 수 있다.
카메라(710)는 이미지 센서(예를 들면, CMOS 또는 CCD)와 영상 처리 모듈을 포함할 수 있다.
카메라(710)는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공할 수 있다. 실시예에 따라, 카메라(710)에 포함되는 영상 처리 모듈은 프로세서(770)와 별도로 구성되거나 일체화되어 구성될 수 있다.
카메라(710)는 프로세서(770)의 제어에 따라, 줌(Zoom)이 설정될 수 있다. 예를 들어, 프로세서(770)에 의해 검출된 복수의 오브젝트들 중, 차량과 가장 가까이 있는 오브젝트까지의 거리를 기초로, 카메라(710)의 줌(Zoom)이 설정될 수 있다.
카메라(710)는 프로세서(770)의 제어에 따라, 포커스(Focus)가 설정될 수 있다. 예를 들면, 프로세서(770)의 제어에 따라, 카메라(710)에 포함된 포커스배럴(미도시)이 이동하여, 포커스가 설정될 수 있다. 포커스는 줌 설정에 기초하여, 자동적으로 설정될 수 있다.
카메라(710)에 의해 생성된 이미지 내에 차량(100) 전방에 있는 적어도 하나의 오브젝트가 포함되는 경우, 프로세서(770)에 의해 이미지 내의 오브젝트가 검출되고, 검출된 오브젝트의 종류가 식별될 수 있다.
입력부(720)는 운전 보조 장치(700)에 대한 사용자의 입력을 수신하기 위한, 복수의 버튼 또는 터치 스크린을 구비할 수 있다. 복수의 버튼 또는 터치 스크린을 통해, 운전 보조 장치(700)의 전원을 온 시키는 것이 가능하다. 그 외, 다양한 입력 동작을 수행하는 것도 가능하다.
메모리(730)는 프로세서(770)의 처리 또는 제어를 위한 프로그램 등, 운전 보조 장치(700) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
메모리(730)는 오브젝트 확인을 위한 데이터를 저장할 수 있다. 구체적으로, 프로세서(770)가 카메라(710)로부터 제공되는 이미지를 기초로, 소정 오브젝트를 검출한 경우, 메모리(730)는 상기 검출된 오브젝트의 종류가 무엇인지 식별하기 위한 데이터를 저장할 수 있다. 예를 들어, 메모리(730)에는 미리 정해진 오브젝트의 종류별 템플릿 이미지(template image)가 저장될 수 있다. 프로세서(770)는 메모리(730)에 저장된 다양한 템플릿 이미지 중, 상기 검출된 오브젝트와 가장 유사도가 높은 템플릿 이미지를 결정함으로써, 상기 검출된 오브젝트의 종류를 식별할 수 있다.
메모리(730)는 교통 정보에 대한 데이터를 저장할 수 있다. 예를 들면, 메모리(730)는 카메라(710)로부터 제공되는 이미지를 기초로, 소정의 교통 정보가 검출되는 경우, 소정 알고리즘에 의해, 상기 교통 정보가 무엇에 해당하는지 확인하기 위한 데이터를 저장할 수 있다.
한편, 메모리(730)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 한편, 도 7에는 메모리(730)와 프로세서(770)가 구분되는 것으로 도시되어 있으나, 실시예에 따라 메모리(730)는 프로세서(770)에 포함될 수도 있다.
음향 출력부(740)는 프로세서(770)에서 처리된 오디오 신호에 기초하여, 소정의 사운드를 외부로 출력할 수 있다. 이를 위해, 음향 출력부(740)는 적어도 하나의 스피커를 구비할 수 있다.
디스플레이부(750)는 프로세서(770)에서 처리된 각종 정보를 표시할 수 있다. 디스플레이부(750)는 운전 보조 장치(700)의 동작과 관련된 각종 이미지를 표시할 수 있다. 이러한 이미지 표시를 위해, 디스플레이부(750)는 차량의 운전석의 전면에 장착되는 클러스터(cluster) 또는 HUD(Head Up Display)를 포함할 수 있다. HUD는 차량(100)의 윈드 쉴드 상에 이미지를 투사하는 투사 모듈을 포함할 수 있다.
전원 공급부(190)는, 프로세서(770)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
인터페이스부(760)는 외부 장치로부터 차량 관련 데이터를 수신하거나, 프로세서(770)에서 처리 또는 생성된 신호를 외부로 전송할 수 있다. 이를 위해, 인터페이스부(760)는, 유선 통신 또는 무선 통신 방식에 의해, 차량에 포함된 적어도 하나의 구성 요소 및/또는 조명 장치(500)와 데이터 통신을 수행할 수 있다.
인터페이스부(760)는 제어부(170) 및/또는 통신부(110)와의 데이터 통신에 의해, 내비게이션 정보를 수신할 수 있다. 여기서, 내비게이션 정보는 기 설정된 목적지 정보, 상기 목적지까지의 경로 정보, 지도 데이터, 차량(100)의 현재 위치 정보를 포함할 수 있다.
인터페이스부(760)는 센싱부(160)로부터 제공되는 센싱 데이터를 수신할 수 있다.
여기서, 센싱 데이터는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차속 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보 중 적어도 하나를 포함할 수 있다.
이러한 센싱 데이터는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서 등에 의해 획득되는 것일 수 있다. 한편, 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈을 포함할 수 있다.
인터페이스부(760)는 프로세서(770)에 의해 검출된 오브젝트에 대한 정보를 조명 장치(500)에 제공할 수 있다. 예컨대, 오브젝트는, 보행자, 대향 차량, 또는 교통 표지 등일 수 있다.
인터페이스부(760)는 오브젝트와의 거리 정보를 조명 장치(500)에 제공할 수 있다.
인터페이스부(760)는 차량(100)을 기준으로 오브젝트의 상대 위치 변화에 대한 정보를 조명 장치(500)에 제공할 수 있다.
인터페이스부(760)는, 검출된 오브젝트의 시간에 따른 속도, 위치 또는 크기 변화에 대한 정보를 조명 장치(500)에 제공할 수 있다.
인터페이스부(760)는 검출된 대향 차량의 윈드 쉴드에 대한 정보를 조명 장치(500)에 제공할 수 있다. 인터페이스부(760)는 대향 차량의 운전자의 얼굴이 위치하는 윈드 쉴드의 일부분에 대한 정보를 조명 장치(500)에 제공할 수 있다. 여기서, 대향 차량의 운전자의 얼굴이 위치하는 부분은 대향 차량의 운전석쪽의 윈드 쉴드 영역일 수 있다.
인터페이스부(760)는 보행자 얼굴에 대한 정보를 조명 장치(500)에 제공할 수 있다. 예컨대, 프로세서(770)는 검출된 보행자의 최상단 지점으로부터 아래로 1/7에 대응하는 영역이 보행자의 얼굴인 것으로 결정할 수 있다.
프로세서(770)는 운전 보조 장치(700)에 포함된 구성 요소들 각각의 전반적인 동작을 제어한다. 이러한 프로세서(770)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors) 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(770)는 카메라(710)로부터 제공되는 이미지를 처리할 수 있다. 프로세서(770)는 컴퓨터 비전(computer vision) 기반의 신호 처리를 수행할 수 있다. 이에 따라, 프로세서(770)는 카메라(710)로부터 제공되는 이미지에 기초하여, 오브젝트 검출하고, 검출된 오브젝트의 종류를 식별하며, 검출된 오브젝트를 트래킹할 수 있다. 프로세서(770)는, 오브젝트 검출시, 차선 검출(Lane Detection, LD), 주변 차량 검출(Vehicle Detection, VD), 보행자 검출(Pedestrian Detection,PD), 불빛 검출(Brightspot Detection, BD), 교통 표지 검출(Traffic Sign Recognition, TSR), 도로면 검출 등을 수행할 수 있다.
교통 표지(Traffic Sign)는 차량(100)의 운전자에게 전달 될 수 있는 소정의 정보를 의미할 수 있다. 교통 표지의 대표적인 예로는, 신호등, 교통 표지판, 차선을 들 수 있다.
예를 들면, 교통 표지는 신호등에서 출력되는 차량 또는 보행자의 고(Go) 또는 스탑(Stop) 신호일 수 있다.
다른 예로, 교통 표지는, 교통 표지판에 표시된 각종 도안 또는 텍스트일 수 있다.
다른 예로, 교통 표지는 지면에 그려진 각종 도안 또는 텍스트일 수 있다.
프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 오브젝트를 검출하고, 검출된 오브젝트에 관한 정보를 조명 장치(500)에 제공할 수 있다.
프로세서(770)는 카메라(710)의 줌(Zoom)을 제어할 수 있다. 예를 들면, 프로세서(770)는 오브젝트 검출 결과에 따라 카메라(710)의 줌을 제어할 수 있다. 가령, 교통 표지판은 검출되지만, 교통 표지판에 표시된 내용이 검출되지 않는 경우, 프로세서(770)는 카메라(710)가 줌인(Zoom-in)되도록 제어할 수 있다.
프로세서(770)는, 인터페이스부(760)를 통해, 센싱부로부터 제공되는 센싱 데이터를 수신할 수 있다. 여기서, 센싱 데이터는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 정보, 외부 조도 정보, 차량 외부 날씨 정보 중 적어도 하나를 포함할 수 있다.
프로세서(770)는 검출된 오브젝트의 크기 변화를 기초로, 차량을 기준으로 검출된 오브젝트의 상대적 위치를 산출할 수 있다. 프로세서(770)는 산출된 위치 및 차량의 주행 속도를 기초로, 검출된 오브젝트와의 상대 속도를 검출할 수 있다.
예를 들면, 카메라(710)가 차량(100) 전방 영상을 촬영하는 경우, 프로세서(770)는 전방 오브젝트를 검출할 수 있다. 프로세서(770)는 시간에 따른 검출된 전방 오브젝트의 크기 변화를 기초로 상기 전방 오브젝트와의 상대 거리를 검출할 수 있다. 여기서, 전방 오브젝트는 대향 차량일 수 있다.
프로세서(770)는 대향 차량의 윈드 쉴드를 검출할 수 있다. 프로세서(770)는, 특징점(예를 들면, 대향차에서 윈드 쉴드의 각 모서리) 검출을 통해, 대향 차량의 윈드 쉴드를 검출할 수 있다.
프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 차량(100)이 현재 주행 중인 도로의 곡률 및/또는 기울기를 산출할 수 있다.
예를 들면, 프로세서(770)는 스테레오 이미지에 나타나는 소실점을 기초로 도로 전방의 오르막 또는 내리막을 판단할 수 있다. 가령, 스테레오 영상에서 소실점이 기준선보다 위에 위치하는 경우, 오르막으로 판단할 수 있다. 또는 영상에서 소실점이 기준선보다 아래에 위치하는 경우, 내리막으로 판단할 수 있다.
다른 예를 들면, 프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 차선을 검출하고, 검출된 차선의 형상을 기초로, 차량(100)이 현재 주행 중인 도로의 곡률을 산출할 수 있다.
프로세서(770)는 스테레오 영상을 기초로, 차량(100)의 전방에 고정된 오브젝트를 검출할 수 있다. 여기서, 고정된 오브젝트는 가로등, 가로수, 가이드레일, 과속 방지턱, 벽, 전봇대 등일 수 있다.
프로세서(770)는 제어부(170)의 제어를 받거나, 제어부(170)로 특정 동작의 실행을 요청할 수 있다. 프로세서(770)는 조명 장치(500)의 프로세서(540)로 특정 동작의 실행을 요청할 수 있다.
한편, 도 5 및 도 7을 살펴보면, 조명 장치(500)와 운전 보조 장치(700)가 별개인 것으로 도시되어 있으나, 이에 한정되는 것은 아니다. 예컨대, 넓은 의미에서, 운전 보조 장치(700)는 조명 장치(500)까지 포함하는 것도 가능하다. 이 경우, 조명 장치(500)의 프로세서(540)은 운전 보조 장치(700)의 프로세서(770)에 포함되는 서브 프로세서(subprocessor)로 구현될 수 있다.
도 8은 운전 보조 장치(700)에 포함된 카메라(710)가 스테레오 카메라인 경우를 예시한다.
도 8을 참조하면, 카메라(710)는 제1 렌즈(311)를 구비하는 제1 카메라 모듈(310) 및 제2 렌즈(321)를 구비하는 제2 카메라 모듈(320)를 포함할 수 있다. 또한, 제1 렌즈(311)와 제2 렌즈(312)는 소정 간격만큼 이격되어, 공통의 시점(time point)에 동일한 피사체에 대한 서로 다른 두 장의 이미지를 획득할 수 있다.
또한, 카메라(710)는 제1 카메라 모듈(310)과 제2 카메라 모듈(321)에 입사되는 광을 차폐하기 위한, 제1 광 차폐부(light shield)(312) 및 제2 광 차폐부(322)를 더 포함할 수 있다. 제1 카메라 모듈(310)은 제1 렌즈(311)을 통해 입사되는 광을 전기적인 영상 신호로 변환함으로써, 이미지를 생성할 수 있다. 제2 카메라 모듈(320)은 제2 렌즈(321)을 통해 입사되는 광을 전기적인 영상 신호로 변환함으로써, 이미지를 생성할 수 있다.
카메라(710)는 윈드쉴드에 탈부착 가능한 구조일 수 있다.
이러한 카메라(710)는 제1 및 제2 카메라 모듈(310, 320)로부터, 차량 전방에 대한 스테레오 이미지를 획득할 수 있다. 이때, 제1 카메라 모듈(310)의 제1 이미지 센서에 의해 획득된 이미지를 우측 이미지라고 칭하고, 제2 카메라 모듈(320)의 제2 이미지 센서에 의해 획득된 이미지를 좌측 이미지라고 칭할 수 있다.
또한, 프로세서(770)는 카메라(710)로부터 제공되는 스테레오 이미지(즉, 좌측 이미지 및 우측 이미지)에 기초하여, 차량(100)의 주변에 대한 디스패러티(disparity) 정보를 산출할 수 있다. 프로세서(770)는 제1 이미지 센서에 의해 획득된 이미지와 제2 이미지 센서에 의해 획득된 제2 이미지를 비교하여, 복수의 마킹 영역에 대한 디스페리티 정보를 산출할 수 있다. 또한, 프로세서(770)는 디스패러티 정보에 기초하여, 적어도 하나의 스테레오 이미지에 나타나는 적어도 하나의 오브젝트(예, 보행자, 신호등, 도로, 차선, 타차량)에 대한 검출을 수행할 수 있다. 또한, 프로세서(770)는 기 검출된 오브젝트가 카메라(710)로부터 제공되는 스테레오 이미지 내에 더 이상 나타나지 않을 때까지, 주기적으로 해당 오브젝트의 움직임을 트래킹할 수 있다.
도 9는 도 7에 도시된 프로세서(770)의 내부 블록 다이어그램의 일 예를 보여준다.
도 9를 참조하면, 프로세서(770)는, 영상 전처리부(910), 디스패러티 연산부(920), 오브젝트 검출부(934), 오브젝트 트래킹부(940), 및 어플리케이션부(950)를 포함할 수 있다.
영상 전처리부(image preprocessor)(910)는 도 7에 도시된 카메라(710)로부터 제공되는 이미지를 수신하여, 전처리(preprocessing)를 수행할 수 있다. 이때, 카메라(710)로부터 제공되는 이미지는, 스테레오 이미지일 수 있다.
구체적으로, 영상 전처리부(910)는 수신된 이미지에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 카메라(710)에서 촬영된 스테레오 이미지 보다 선명한 이미지를 획득할 수 있다.
디스패러티 연산부(disparity calculator)(920)는 영상 전처리부(910)에서 신호 처리된 이미지를 수신할 수 있다. 디스패러티 연산부(920)는, 공통의 시점(time point)에서 제1 카메라 모듈(310) 및 제2 카메라 모듈(320)에 의해 생성된 두 이미지에 대한 스테레오 매칭(stereo matching)을 수행하며, 스테레오 매칭에 따른, 디스패러티 맵(dispartiy map)을 획득할 수 있다. 즉, 차량(100) 전방에 대한, 스테레오 이미지에 대한 디스패러티 정보를 획득할 수 있다.
이때, 스테레오 매칭은, 스테레오 이미지들의 픽셀 단위로 또는 소정 블록 단위로 수행될 수 있다. 한편, 디스패러티 맵은, 스테레오 이미지, 즉 좌측 이미지와 우측 이미지 간의 시차(時差) 정보(binocular parallax information)를 수치로 나타낸 맵을 의미할 수 있다.
세그멘테이션부(segmentation unit)(932)는 디스패러티 연산부(920)로부터의 디스페러티 정보에 기초하여, 이미지 중 적어도 하나에 대해, 세그먼트(segment) 및 클러스터링(clustering)을 수행할 수 있다.
구체적으로, 세그멘테이션부(932)는 디스페러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해, 배경(background)과 전경(foreground)을 분리할 수 있다. 예를 들면, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이하인 영역을, 배경으로 연산하고, 해당 부분을 제외시킬 수 있다. 이에 의해, 상대적으로 전경이 분리될 수 있다.
다른 예로, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이상인 영역을, 전경으로 연산하고, 해당 부분을 추출할 수 있다. 이에 의해, 전경이 분리될 수 있다.
이와 같이, 스테레오 이미지에 기반하여 추출된 디스페러티 정보 정보에 기초하여, 전경과 배경을 분리함으로써, 이후의, 오브젝트 검출시, 신호 처리 속도, 신호 처리 양 등을 단축할 수 있게 된다.
다음, 오브젝트 검출부(object detector)(934)는 세그멘테이션부(932)로부터의 이미지 세그먼트에 기초하여, 오브젝트를 검출할 수 있다.
즉, 오브젝트 검출부(934)는 디스페러티 정보 정보에 기초하여, 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다.
구체적으로, 오브젝트 검출부(934)는 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 예를 들면, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다.
다음, 오브젝트 확인부(object verification unit)(936)는 분리된 오브젝트를 분류하고(classify), 분류된 오브젝트의 타입을 확인할 수 있다(verify).
이를 위해, 오브젝트 확인부(936)는 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.
한편, 오브젝트 확인부(936)는 메모리(130)에 저장된 오브젝트들과, 검출된 오브젝트를 비교하여, 검출된 오브젝트의 타입을 확인할 수 있다.
예를 들면, 오브젝트 확인부(936)는 차량 주변에 위치하는 주변 차량, 차선, 도로면, 표지판, 위험 지역, 터널 등을 확인할 수 있다.
오브젝트 트래킹부(object tracking unit)(940)는 확인된 오브젝트에 대한 트래킹을 수행할 수 있다. 예를 들면, 카메라(710)로부터 순차적으로 제공되는 스테레오 이미지들에 내의, 오브젝트를 확인하고, 확인된 오브젝트의 움직임 또는 움직임 벡터를 연산하며, 연산된 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량(100)의 주변에 위치하는 보행자, 타차량, 차선, 도로면, 교통 표지판, 위험 지역, 터널 등을 트래킹할 수 있게 된다.
다음, 어플리케이션부(950)는 차량(100)의 주변에 위치하는 각 오브젝트와 관련된 데이터(예, 속도, 차량(100)과의 거리, 크기)에 기초하여, 차량(100)의 위험도 등을 연산할 수 있다. 예컨대, 어플리케이션부(950)는 차량(100)과 타차량 간의 추돌 가능성, 차량(100)의 슬립 여부 등을 연산할 수 있다.
그리고, 어플리케이션부(950)는 연산된 위험도, 추돌 가능성, 또는 슬립 여부 등에 기초하여, 운전자에게 임박한 위험를 알려주기 위한 신호를 운전 보조 장치(700)로 제공할 수 있다. 또는, 어플리케이션부(950)는 차량(100)의 자세 제어 또는 주행 제어를 위한 제어 신호를 생성할 수도 있다.
한편, 실시예에 따라, 프로세서(770)는 영상 전처리부(910), 디스페러티 연산부(920), 세그먼테이션부(932), 오브젝트 검출부(934), 오브젝트 확인부(936), 오브젝트 트래킹부(940) 및 어플리케이션부(950) 중 일부만을 포함할 수 있다. 가령, 카메라(710)가 2차원 영상만을 제공하는 카메라인 경우, 디스패러티 연산부(920)는 제외될 수 있다.
도 10a 및 도 10b는 도 9에 도시된 프로세서(770)의 동작 설명에 참조되는 도면이다.
도 10a와 도 10b는 제1 및 제2 프레임 구간에서 각각 획득된 스테레오 이미지를 기반으로 하여, 프로세서(770)의 동작 방법 설명을 위해 참조되는 도면이다.
먼저, 도 10a를 참조하면, 카메라(710)가 도 8과 같은 스테레오 카메라인 경우, 카메라(710)는 제1 프레임 구간 동안, 스테레오 이미지를 획득한다.
프로세서(770) 내의 디스패러티 연산부(920)는 영상 전처리부(910)에서 신호 처리된, 스테레오 이미지(FR1a, FR1b)를 수신하고, 수신된 스테레오 이미지(FR1a, FR1b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(1020)을 획득한다.
디스패러티 맵(dispartiy map)(1020)은 스테레오 이미지(FR1a, FR1b) 사이의 시차(disparity)를 레벨화한 것으로서, 디스패러티 레벨이 큰 지점일수록 차량(100)과의 거리가 가깝고, 디스패러티 레벨이 작은 지점일수록 차량(100)과의 거리가 먼 것으로 연산할 수 있다.
한편, 이러한 디스패러티 맵을 디스플레이 하는 경우, 디스패러티 레벨이 클수록, 높은 휘도를 가지고, 디스패러티 레벨이 작을수록 낮은 휘도를 가지도록 표시할 수도 있다. 물론, 그 반대로도 가능하다.
디스패러티 맵(1020) 내에서, 제1 차선 내지 제4 차선(1028a, 1028b, 1028c, 1028d), 공사 지역(1022), 제1 전방 차량(1024) 및 제2 전방 차량(1026)이 각각 서로 다른 디스패러티 레벨을 가지는 것을 예시한다.
세그멘테이션부(932)와, 오브젝트 검출부(934), 오브젝트 확인부(936)는 디스패러티 맵(1020)에 기초하여, 스테레오 이미지(FR1a, FR1b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.
디스패러티 맵(1020)를 기초로, 제2 스테레오 이미지(FR1b)에 나타나는 오브젝트별 검출 및 확인이 수행된 결과 이미지(1030)를 예시한다.
결과 이미지(1030) 내에, 제1 차선 내지 제4 차선(1038a, 1038b, 1038c, 1038d), 공사 지역(1032), 제1 전방 차량(1034) 및 제2 전방 차량(1036)이, 배경과 구분되도록 표시될 수 있다.
다음, 도 10b를 참조하면, 상기 제1 프레임 구간 이후의 제2 프레임 구간 동안, 스테레오 카메라(710)는, 스테레오 이미지를 획득한다.
프로세서(770) 내의 디스패러티 연산부(920)는 영상 전처리부(910)에서 신호 처리된, 스테레오 이미지(FR2a, FR2b)를 수신하고, 수신된 스테레오 이미지(FR2a, FR2b)에 대한 스테레오 매칭을 수행하여, 디스패러티 맵(dispartiy map)(1040)을 획득한다.
디스패러티 맵(1040) 내에서, 제1 차선 내지 제4 차선(1048a, 1048b, 1048c, 1048d), 공사 지역(1042), 제1 전방 차량(1044) 및 제2 전방 차량(1046)이 각각 서로 다른 디스패러티 레벨을 가지는 것을 예시한다.
세그멘테이션부(932)와 오브젝트 검출부(934), 오브젝트 확인부(936)는, 디스패러티 맵(1040)에 기초하여, 스테레오 이미지(FR2a, FR2b) 중 적어도 하나에 대한, 세그먼트, 오브젝트 검출, 및 오브젝트 확인을 수행한다.
디스패러티 맵(1040)을 기초로, 제2 스테레오 이미지(FR2b)에 나타나는 오브젝트 검출, 및 확인이 수행된 결과 이미지(1050)를 예시한다.
결과 이미지(1050) 내에 제1 차선 내지 제4 차선(1058a, 1058b, 1058c, 1058d), 공사 지역(1052), 제1 전방 차량(1054), 제2 전방 차량(1056)이, 배경과 구분되도록 표시될 수 있다.
한편, 오브젝트 트래킹부(940)는 순차적으로 생성되는 결과 이미지들(1030, 1050)을 비교하여, 각각의 오브젝트에 대한 트래킹을 수행할 수 있다.
구체적으로, 오브젝트 트래킹부(940)는 도 10a와 도 10b에서 확인된, 각 오브젝트들의 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 차량(100)의 주변에 위치하는, 차선, 공사 지역, 제1 전방 차량, 제2 전방 차량 등에 대한 트래킹을 수행할 수 있게 된다.
도 11은 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 조명 장치(500)를 제어하여 오브젝트를 검출하는 프로세스(S1100)의 플로우 챠트를 보여준다.
단계 S1110에서, 운전 보조 장치(700)는 기 설정된 이벤트의 발생 여부를 판단할 수 있다. 구체적으로, 프로세서(770)는 인터페이스부(760)에 의해 수신된 정보를 기초로, 객체 검출용 가시광의 출력을 위해 기 설정된 이벤트가 현재 발생하였는지 판단할 수 있다.
기 설정된 이벤트는, 객체 검출용 가시광의 출력을 명령하는 운전자의 요청을 수신하는 이벤트를 포함할 수 있다. 예컨대, 운전자가 입력부(720)에 포함된 특정 버튼을 클릭하는 경우, 프로세서(770)는 기 설정된 이벤트가 발생한 것으로 판단할 수 있다.
기 설정된 이벤트는, 외부의 조도가 임계만 미만으로 낮아지는 이벤트를 포함할 수 있다. 이때, 외부의 조도는 차량(100)의 센싱부(160)에 포함된 조도 센서에 의해 측정되는 것일 수 있다. 예컨대, 야간이나 터널 내부와 같이, 차량(100)이 어두운 도로를 주행하는 경우, 프로세서(770)는 기 설정된 이벤트가 발생한 것으로 판단할 수 있다.
기 설정된 이벤트는, 카메라(710)로부터 제공되는 스테레오 이미지를 기초로 검출되는 오브젝트까지의 최대 거리가 기준 거리 미만이 되는 이벤트를 포함할 수 있다. 전술한 바와 같이, 카메라(710)는 스테레오 이미지를 획득할 수 있는바, 프로세서(770)는 스테레오 이미지에서 기준 거리(예, 약 50m) 내의 오브젝트만이 검출되는 경우, 기 설정된 이벤트가 발생한 것으로 판단할 수 있다. 즉, 기준 거리보다 먼 곳에 있는 다른 오브젝트가 검출되지 않는 상태인 것으로 판단할 수 있다. 이때, 기준 거리는 차량(100)의 주행 속도에 비례하여 증가할 수 있다. 이에 따라, 차량(100)의 속도 증가에 따른 오브젝트와의 충돌 위험을 저감할 수 있다.
한편, 단계 S1110에서, 조명 장치(500)는 시야 확보용 가시광을 차량(100)의 전방을 향하여 투사하는 동작을 수행 중인 상태일 수 있다.
단계 S1120에서, 운전 보조 장치(700)는 조명 장치(500)를 통해, 제1 패턴의 가시광을 차량(100) 전방의 소정 범위를 향하여 출력할 수 있다. 여기서, 제1 패턴의 가시광은, 객체 검출용 가시광일 수 있다. 즉, 객체 검출용 가시광은, 다양한 패턴을 가질 수 있고, 이러한 다양한 패턴 중의 하나가 상기 제1 패턴일 수 있다. 이때, 전술한 바와 같이, 객체 검출용 가시광은 시선 확보용 가시광보다 먼 곳까지 비출 수 있다. 이에 따라, 객체 검출용 가시광은, 시선 확보용 가시광에 의해 비춰지지 않은 영역에 위치하는 오브젝트까지 도달할 수 있다.
제1 패턴의 가시광은 복수의 빔들을 포함할 수 있다. 제1 패턴의 가시광에 포함된 각각의 빔은 다른 빔과는 다른 방향으로 투사될 수 있다. 제1 패턴의 가시광에 포함된 각각의 빔은 동일한 형상 및 크기를 가지도록 투사될 수 있다. 이때, 서로 인접한 빔들은 일정한 간격 또는 일정한 각도를 가질 수 있다.
한편, 객체 검출용 가시광이 출력되는 시간 동안, 시선 확보용 가시광의 출력은 중단될 수 있다. 즉, 단계 S1120에서 제1 패턴의 가시광의 출력이 개시된 시점부터 종료된 시점까지, 조명 장치(500)는 시선 확보용 가시광의 출력을 일시적으로 중지할 수 있다. 제1 패턴의 가시광의 출력이 종료됨과 동시에 또는 그 이후에, 조명 장치(500)는 일시 중지되었던 시선 확보용 가시광의 출력을 재시작할 수 있다.
시선 확보용 가시광의 출력이 긴 시간 동안 중단되면, 운전자가 차량(100) 전방을 눈으로 확인하는 것이 곤란할 수 있다. 이러한 문제를 해결하기 위해, 프로세서(770)는 운전자가 인지할 수 있을 정도의 짧을 시간 동안만 제1 패턴의 가시광을 출력하도록 조명 장치(500)를 제어할 수 있다. 예컨대, 단계 S1120에서 제1 패턴의 가시광은 약 1/60초 동안만 출력될 수 있다.
한편, 제1 패턴의 가시광이 차량(100)의 전방에 있는 오브젝트에 반사되는 경우, 복수의 마킹 영역이 형성될 수 있다. 즉, 각각의 마킹 영역은, 차량(100) 전방의 오브젝트가 제1 패턴의 가시광에 포함된 빔에 의해 비춰지는 영역일 수 있다. 예컨대, 차량(100)을 기준으로 종방향으로 동일한 거리에 두 오브젝트가 있는 경우, 두 오브젝트를 비춰진 마킹 영역의 크기는 동일할 수 있다. 반면, 차량(100)을 기준으로 종방향으로 서로 다른 거리에 두 오브젝트가 있는 경우, 두 오브젝트 중 차량(100)으로부터 더 멀리 있는 오브젝트에 비춰진 마킹 영역의 크기는, 더 가까이 있는 오브젝트에 비춰진 마킹 영역의 크기보다 작을 수 있다.
단계 S1130에서, 운전 보조 장치(700)는 카메라(710)를 이용하여 이미지를 획득할 수 있다. 구체적으로, 프로세서(770)는 제1 패턴의 가시광의 출력에 응답하여, 카메라(710)를 활성할 수 있다. 이에 따라, 카메라(710)는 소정의 화각(angle of view)으로, 차량(100)의 전방의 전경에 대한 정지 영상 또는 동영상을 촬영할 수 있다.
이때, 운전 보조 장치(700)는 (i)카메라(710)의 영상 획득 시점과 (ii)제1 패턴의 가시광의 출력 시점이 상호 동기화되도록, 카메라(710) 및 조명 장치(500) 중 적어도 하나를 제어할수 있다.
프로세서(770)는 제1 패턴의 가시광의 출력 시점에 맞춰, 카메라(710)의 영상 획득 시점을 조절할 수 있다.
또는, 프로세서(770)는 카메라(710)의 영상 획득 시점에 맞춰, 제1 패턴의 가시광의 출력 시점을 조절할 수 있다.
(i)카메라(710)의 영상 획득 시점과 (ii)제1 패턴의 가시광의 출력 시점이 동기화되는 경우, 단계 S1130에서 획득된 이미지에는, 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역이 정확히 캡처될 수 있다.
단계 S1140에서, 운전 보조 장치(700)는 카메라(710)에 의해 획득된 이미지로부터 복수의 마킹 영역을 검출할 수 있다.
프로세서(770)는 (i)제1 패턴의 가시광이 출력되기 직전의 제1 프레임에 획득되어 메모리(730)에 저장된 제1 이미지를 (ii)제1 패턴의 가시광이 출력되는 중의 제2 프레임에 획득된 제2 이미지와 비교하여, 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역을 추출할 수 있다.
구체적으로, 제1 이미지에는 복수의 마킹 영역이 캡쳐되지 않은 상태인 반면, 제2 이미지에는 복수의 마킹 영역이 캡쳐된 상태이다. 따라서, 제2 이미지의 전체 영역 중, 제1 이미지와 유사도가 임계값 이상인 영역을 제거함으로써, 복수의 마킹 영역을 검출할 수 있다. 예컨대, 제1 이미지와 제2 이미지에 대한 차영상(difference image)을 획득하고, 획득된 차영상을 기초로 상기 복수의 마킹 영역을 검출할 수 있다.
또는, 프로세서(770)는 카메라(710)에 의해 획득된 이미지의 전체 영역 중, 기 설정된 형상을 가지는 일부의 영역들이 상기 복수의 마킹 영역인 것으로 검출할 수 있다. 즉, 프로세서(770)는 카메라(710)에 의해 획득된 이미지 중, 제1 패턴의 가시광에 포함된 빔들의 형상에 대응하는 영역들이 상기 복수의 마킹 영역인 것으로 검출할 수 있다. 예컨대, 제1 패턴의 가시광에 포함된 빔들의 형상이 삼각형인 경우, 프로세서(770)는 카메라(710)에 의해 획득된 이미지의 전체 영역 중, 상기 삼각형과 임계값 이상의 유사도를 가지는 영역들이 상기 복수의 마킹 영역인 것으로 인식할 수 있다.
단계 S1150에서, 운전 보조 장치(700)는 검출된 복수의 마킹 영역을 기초로, 차량(100) 전방의 오브젝트를 검출할 수 있다.
프로세서(770)는 검출된 마킹 영역을 기초로, 차량(100)의 주변의 오브젝트를 검출하고, 검출된 각각의 오브젝트의 크기, 거리, 위치 및 속도 중 적어도 하나를 산출할 수 있다.
일 실시예에서, 프로세서(770)는 검출된 마킹 영역 각각의 크기를 기초로, 차량(100)으로부터 오브젝트까지의 거리를 산출할 수 있다.
가령, 제1 오브젝트에 비춰진 제1 마킹 영역과 제2 오브젝트에 비춰진 제2 마킹 영역이 각각 검출된 것으로 가정하자. 이때, 제1 마킹 영역이 제1 사이즈인 경우, 프로세서(770)는 제1 사이즈에 대응하는 제1 거리에 제1 오브젝트가 위치하는 것으로 판단할 수 있다. 또한, 제2 마킹 영역이 제2 사이즈인 경우, 프로세서(770)는 제2 사이즈에 대응하는 제2 거리에 제2 오브젝트가 위치하는 것으로 판단할 수 있다. 만약, 제1 사이즈가 제2 사이즈보다 큰 경우, 제1 거리는 제2 거리보다 짧을 수 있다. 즉, 프로세서(770)는 제1 오브젝트가 제2 오브젝트보다 차량(100)에 더 가까운 것으로 판단할 수 있다.
일 실시예에서, 단계 S1130에서 획득된 이미지가 스테레오 이미지인 경우, 프로세서(770)는 검출된 마킹 영역 각각의 디스페리티 레벨을 기초로, 오브젝트를 검출하고, 차량(100)으로부터 검출된 오브젝트까지의 거리를 산출할 수 있다. 구체적으로, 프로세서(770)는 스테레오 이미지에 포함된 좌측 이미지 및 우측 이미지에 대한 스테레오 매칭을 수행하여, 좌측 이미지 및 우측 이미지에 공통된 복수의 마킹 영역 각각의 디스페리티 레벨을 산출하고, 산출된 디스페리티 레벨을 기초로, 오브젝트까지의 거리를 산출할 수 있다. 물론, 프로세서(770)는 오브젝트까지의 거리와 함께, 오브젝트의 위치, 속도, 형상 또는 크기 등을 더 산출할 수도 있다.
또한, 프로세서(770)는 검출된 오브젝트의 종류를 식별할 수도 있다. 예컨대, 프로세서(770)는 검출된 오브젝트가 타차량, 보행자, 낙하물, 교통 표지 중 무엇인지 식별할 수 있다. 프로세서(770)는 복수의 오브젝트가 검출된 경우, 각각의 오브젝트의 종류를 식별할 수 있다. 구체적으로, 프로세서(770)는 위치, 속도, 형상 및 크기와 같은 오브젝트의 특징들을 메모리(730)에 기 저장된 기준값들과 비교함으로써, 검출된 오브젝트가 종류를 식별할 수 있다. 이때, 메모리(730)에 기 저장된 각각의 기준값은 특정 오브젝트의 특징을 기초로 미리 정해진 것일 수 있다.
한편, 프로세서(770)는, 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역을 기초로한 오브젝트의 검출이 완료된 경우, 제1 패턴의 가시광의 출력을 중단하도록 조명 장치(500)를 제어할 수 있다. 조명 장치(500)는 프로세서(770)에 의한 오브젝트 검출이 완료될 때까지, 제1 패턴의 가시광을 소정 시간 간격마다 주기적으로 출력할 수 있다.
단계 S1160에서, 운전 보조 장치(700)는 카메라(710)의 화각에 대응하는 전방의 영역 중, 미검출 영역이 존재하는지 판단할 수 있다. 여기서, 미검출 영역은, 복수의 마킹 영역들 중 서로 인접한 두 마킹 영역 간의 거리가 기 설정된 임계 거리(예, 약 5m) 이상인 영역일 수 있다.
가령, 단계 S1150에서 복수의 마킹 영역을 기초로 검출된 제1 내지 제3 오브젝트에 있어서, 제1 오브젝트는 제2 오브젝트와 인접하고, 제2 오브젝트는 제3 오브젝트와 인접한 것으로 가정하자. 이 경우, 제1 오브젝트와 제2 오브젝트 간의 거리가 임계 거리 이상이고, 제2 오브젝트와 제3 오브젝트 간의 거리가 임계 거리 미만인 경우, 프로세서(770)는 제1 오브젝트와 제2 오브젝트 사이에 미검출 영역이 존재하는 것으로 판단할 수 있다.
한편, 상기 임계 거리는 사용자의 입력 또는 차량(100)의 주행 속도 등에 따라 조절될 수 있다. 예컨대, 프로세서(770)는 차량(100)의 주행 속도에 비례하여 임계 거리를 감소시킬 수 있다. 즉, 차량(100)의 주행 속도가 빠를수록 임계 거리를 감소시켜, 사고 위험을 저감할 수 있다.
프로세서(770)는 차량(100) 전방에 미검출 영역이 있는 것으로 판단 시, 단계 S1170을 수행하고, 미검출 영역이 없는 것으로 판단 시, 단계 S1180을 수행할 수 있다.
단계 S1170에서, 운전 보조 장치(700)는 미검출 영역을 향하여 제2 패턴의 가시광을 출력할 수 있다. 여기서, 제2 패턴의 가시광은 제1 패턴의 가시광보다 조밀하게 투사되는 복수의 빔들을 포함할 수 있다. 예컨대, 제2 패턴의 가시광에 포함된 빔들 간의 간격은, 제1 패턴의 가시광에 포함된 빔들 간의 간격보다 짧을 수 있다. 조명 장치(500)는 운전 보조 장치(700)의 제어에 따라, DMD(614a)에 포함된 복수개의 마아크로 미러들 중 적어도 일부의 틸트각을 변화시켜, 제2 패턴의 가시광을 구현할 수 있다.
제2 패턴의 가시광이 미검출 영역으로 투사됨에 따라, 미검출 영역에 복수의 마킹 영역이 형성될 수 있다. 제2 패턴의 가시광에 의해 형성된 마킹 영역은 카메라(710)에 의해 촬영될 수 있고, 프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 제2 패턴의 가시광에 의해 형성된 마킹 영역을 검출할 수 있다. 이에 따라, 미검출 영역에 있는 오브젝트가 새롭게 검출될 수 있다.
한편, 단계 S1130 내지 단계 S1170은 미검출 영역이 없는 것으로 판단될 때까지, 반복될 수 있다.
단계 S1180에서, 운전 보조 장치(700)는 검출된 오브젝트를 기초로, 기 설정된 동작을 실행할 수 있다. 여기서, 기 설정된 동작은 차량(100)의 조향, 가속, 제동 및 조명 중 적어도 하나를 제어하는 동작일 수 있다.
프로세서(770)는 검출된 오브젝트의 종류에 따라, 조명 장치(500)의 광량을 제어할 수 있다. 즉, 프로세서(770)는 검출된 오브젝트의 종류에 대응하는 광량의 가시광이, 검출된 오브젝트로 투사되도록 조명 장치(500)를 제어할 수 있다. 조명 장치(500)는 DMD(614a)에 포함된 마이크로 미러의 틸트각을 개별적으로 조절함으로써, 검출된 오브젝트를 향하는 가시광의 광량을 증가 또는 감소시킬 수 있다. 메모리(730)에는 오브젝트의 종류별로 이에 대응하는 광량의 출력을 지시하는 데이터가 미리 저장될 수 있다. 프로세서(770)는 검출된 오브젝트의 종류에 대응하는 데이터를 메모리(730)로부터 획득하고, 획득된 데이터를 이용하여 조명 장치(500)가 오브젝트의 종류별로 서로 다른 광량의 가시광을 출력하도록 제어할 수 있다.
예를 들어, 검출된 오브젝트가 신호등과 같은 교통 표지인 경우, 프로세서(770)는 교통 표지로 투사되는 가시광의 광량을 증가시킬 수 있다. 이에 따라, 차량(100)의 탑승자가 교통 표지를 용이하게 확인할 수 있다.
다른 예로, 검출된 오브젝트가 낙석과 같은 낙하물인 경우, 프로세서(770)는 낙하물로 투사되는 가시광의 광량을 증가시킬 수 있다. 이에 따라, 차량(100)의 탑승자가 낙하물을 회피할 수 있도록 도움을 줄 수 있다.
다른 예로, 검출된 오브젝트가 대향 차량인 경우, 프로세서(770)는 대향 차량의 적어도 일부로 투사되는 가시광의 광량을 감소시킬 수 있다. 특히, 프로세서(770)는 대향 차량에 탑승한 운전자의 눈으로 투사되는 가시광을 차단하도록 조명 장치(500)를 제어할 수 있다. 조명 장치(500)는 DMD(614a)에 포함된 복수의 마이크로 미러들 중, 대향 차량에 탑승한 운전자의 얼굴로 향하는 빔을 반사하는 마이크로 미러들을 오프 상태로 전환하거나 틸트각을 변경함으로써, 대향 차량에 탑승한 운전자의 얼굴을 향하는 가시광의 일부분을 선택적으로 차단할 수 있다. 이때, 프로세서(770)는 대향 차량의 위치, 형상 및 크기를 기초로, 대향 차량의 운전자의 얼굴 위치 또는 윈드 쉴드 위치를 추정하고, 추정된 위치를 향하는 가시광의 차단을 명령하는 제어신호를 조명 장치(500)에 제공할 수 있다. 이에 따라, 차량(100)의 가시광에 의해 대향 차량의 운전자가 운전에 방해를 받지 않도록 할 수 있다.
다른 예로, 검출된 오브젝트가 보행자인 경우, 프로세서(770)는 보행자의 얼굴로 투사되는 가시광의 광량을 감소시킬 수 있다. 특히, 프로세서(770)는 보행자의 눈으로 투사되는 가시광을 차단하도록 조명 장치(500)를 제어할 수 있다. 조명 장치(500)는 DMD(614a)에 포함된 복수의 마이크로 미러들 중, 보행자의 얼굴로 향하는 빔을 반사하는 마이크로 미러들을 오프 상태로 전환하거나 틸트각을 변경함으로써, 보행자의 얼굴을 향하는 가시광 성분만을 선택적으로 차단할 수 있다. 이때, 프로세서(770)는 보행자의 위치 및 크기를 기초로, 보행자의 얼굴 위치 또는 눈 위치를 추정하고, 추정된 위치를 향하는 가시광의 차단을 명령하는 제어신호를 조명 장치(500)에 제공할 수 있다.
프로세서(770)는 검출된 오브젝트의 위치, 크기, 속도 및 형상 중 적어도 하나를 기초로, 차량(100)의 전방에 차량(100)이 통과할 수 있는 공간이 있는지 판단할 수 있다. 만약, 차량(100)의 전방에 차량(100)이 통과할 수 있는 공간이 있는 경우, 상기 공간을 통과하기 위한 경로를 산출하고, 지면을 향하여 상기 산출된 경로를 안내하는 가시광을 출력하도록 조명 장치(500)를 제어할 수 있다.
도 12a 내지 도 12c는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가, 객체 검출용 가시광에 의해 형성된 복수의 마킹 영역을 촬영하는 동작을 설명하기 위한 도면이다.
도 12a를 참조하면, 조명 장치(500)는 운전 보조 장치(700)의 제어에 따라, 제1 내지 제3 빔(1a, 1b, 1c)을 포함하는 객체 검출용 가시광을 차량(100) 전방을 향하여 출력할 수 있다. 이때, 제1 내지 제3 빔(1a, 1b, 1c) 각각의 투사 방향, 크기, 형상에 따라, 객체 검출용 가시광의 패턴이 정해질 수 있다. 제1 내지 제3 빔(1a, 1b, 1c)은 동일한 형상 및 크기를 가지는 것으로 가정한다. 이 경우, 제1 내지 제3 빔(1a-c)은 인접한 것끼리 등간격 또는 등각도를 이루도록 출력될 수 있다.
도시된 바와 같이, 차량(100)의 전방에는 서로 동일한 형상 및 크기를 가지는 제1 내지 제3 오브젝트(1201a-1201c)가 있다고 가정하자. 이때, 제1 내지 제3 오브젝트(1201a-1201c)은, 차량(100)을 기준으로 종방향으로 동일 거리에 위치하는 것들일 수 있다.
제1 내지 제3 빔(1a-1c)이 순서대로 제1 내지 제3 오브젝트(1201a-1201c)에 의해 반사됨에 따라, 카메라(710)에 의해 촬영된 이미지(1210)에는 제1 내지 제3 마킹 영역(11a-11c)이 포함될 수 있다.
프로세서(770)는 이미지(1210)에서 제1 내지 제3 마킹 영역(11a-11c)을 검출하고, 검출된 제1 내지 제3 마킹 영역(11a-11c) 각각의 크기를 산출하고, 산출된 크기를 기초로, 제1 내지 제3 오브젝트(1201a-1201c)까지의 거리를 산출할 수 있다. 차량(100)을 기준으로 제1 내지 제3 오브젝트(1201a-1201c)까지의 종방향 거리는 모두 동일하므로, 제1 내지 제3 마킹 영역(11a-11c)의 크기는 서로 동일하거나 기 설정된 오차 범위 내의 차이만을 가질 수 있다. 이에 따라, 프로세서(770)는 제1 내지 제3 오브젝트(1201a-1201c)가 차량(100)을 기준으로 종방향으로 모두 같은 거리에 있는 것으로 판단할 수 있다.
또한, 프로세서(770)는 제1 내지 제3 마킹 영역(11a-11c) 각각의 이미지(1210) 내 좌표를 기초로, 차량(100)에 대한 제1 내지 제3 오브젝트(1201a-1201c)의 횡방향 거리를 산출할 수도 있다.
도 12b는 도 12a와 달리, 차량(100)에 대한 제1 내지 제3 오브젝트(1202a-1202c)까지의 종방향 거리가 모두 다른 상황을 예시한다. 제1 내지 제3 오브젝트(1202a-1202c)는 서로 동일한 형상 및 크기를 가지는 것으로 가정한다. 예컨대, 도시된 바와 같이, 제1 오브젝트(1202a)의 종방향 거리가 가장 짧고, 제3 오브젝트(1202c)의 종방향 거리가 가장 길 수 있다.
제1 내지 제3 빔(1a-1c)이 순서대로 제1 내지 제3 오브젝트(1202a-1202c)에 의해 반사됨에 따라, 카메라(710)에 의해 촬영된 이미지(1220)에는 제1 내지 제3 마킹 영역(12a-12c)이 포함될 수 있다.
차량(100)을 기준으로 제1 내지 제3 오브젝트(1202a-1202c)까지의 종방향 거리는 서로 다르므로, 이미지(1220) 내의 제1 내지 제3 마킹 영역(12a-12c)의 크기는 서로 다를 수 있다. 즉, 제1 마킹 영역(12a)의 크기가 가장 크고, 제3 마킹 영역(12c)의 크기가 가장 작을 수 있다. 이에 따라, 프로세서(770)는 차량(100)을 기준으로 제1 내지 제3 오브젝트(1202a-1202c)까지의 종방향 거리가 서로 다른 것으로 판단할 수 있다.
도 12c를 참조하면, 조명 장치(500)는 운전 보조 장치(700)의 제어에 따라, 도 12b에 도시된 것과 같은 제1 내지 제3 오브젝트(1202a-1202c)마다 동일한 크기의 마킹 영역을 형성하기 위한 제1 내지 제3 빔(2a-2c)을 포함하는 가시광을 출력할 수 있다.
구체적으로, 프로세서(770)는 (i)차량(100)의 주행 속도 및 (ii)차량(100)과 제1 내지 제3 오브젝트(1202a-1202c) 간의 거리 중 적어도 하나를 기초로, 제1 내지 제3 빔(2a-2c)을 포함하는 가시광을 출력하도록 조명 장치(500)를 제어할 수 있다. 이때, 제1 내지 제3 빔(2a-2c)의 형상은 동일한 반면, 제1 빔(2a)의 크기는 가장 작으며, 제3 빔(2c)의 크기는 가장 클 수 있다. 예컨대, 제1 내지 제3 빔(2a-2c) 각각의 크기는 제1 내지 제3 오브젝트(1202a-1202c)까지의 종방향 거리에 반비례할 수 있다.
제1 내지 제3 빔(2a-2c)이 순서대로 제1 내지 제3 오브젝트(1202a-1202c)에 의해 반사됨에 따라, 카메라(710)에 의해 촬영된 이미지(1230)에는 제1 내지 제3 마킹 영역(13a-13c)이 포함될 수 있다. 제1 내지 제3 오브젝트(1202a-1202c)의 종방향을 거리에 따라 제1 내지 제3 빔(2a-2c)의 크기가 개별적으로 조절되어 투사되었으므로, 이미지(1230) 내의 제1 내지 제3 마킹 영역(13a-13c)의 크기는 동일하거나, 기 설정된 오차 범위 내의 매우 작은 차이만을 가질 수 있다. 이에 따라, 프로세서(770)는 동일한 오브젝트에 대하여 시간차를 두고 객체 검출용 가시광을 출력함으로써, 검출된 오브젝트에 관한 정보의 신뢰성을 확보할 수 있다.
도 13a 내지 도 13c는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 제1 패턴의 가시광을 이용하여, 차량(100) 전방의 거리 정보를 획득하는 동작을 설명하는 도면이다.
도 13a는 차량(100)이 주행 중인 도로의 탑뷰를 보여준다. 도시된 바와 같이, 차량(100)의 좌측에는 제1 오브젝트(1311)가 있고, 우측에는 제2 오브젝트(1312)가 있으며, 전방에는 제3 오브젝트(1313)가 있을 수 있다. 예컨대, 제1 오브젝트(1311)와 제2 오브젝트(1312)는 가이드레일이고, 제3 오브젝트(1313)는 대향 차량일 수 있다.
운전 보조 장치(700)의 프로세서(770)는 기 설정된 이벤트가 발생한 경우, 복수의 빔(3a-3j)을 포함하는 제1 패턴의 가시광을 차량(100)의 전방을 향하여 소정 시간 동안 출력할 수 있다. 설명의 편의를 위해, 제1 패턴의 가시광에는 총 10개의 빔(3a-3j)이 포함되는 것으로 가정한다. 제1 패턴의 가시광은 인간이 인지할 수 없는 매우 짧은 시간(예컨대, 1/60초) 동안 출력될 수 있다. 이에 따라, 제1 패턴의 가시광은 매우 짧은 시간 동안만 전방으로 비춰지므로, 시선 확보용 가시광보다 광량 또는 세기가 큰 제1 패턴의 가시광에 의해 대향 차량의 운전자가 눈부심을 느끼는 것을 방지할 수 있다.
도 13b는 도 13a에 도시된 복수의 빔(3a-3j)에 의해 형성되는 복수의 마킹 영역(21a-21j)을 예시한다. 이때, 마킹 영역(21a-21j)의 개수는 제1 패턴의 가시광에 포함된 빔(3a-3j)의 개수와 동일할 수 있다.
도시된 바와 같이, 복수의 마킹 영역(21a-21j) 중 어느 하나는 나머지 마킹 영역과 서로 같거나 다른 오브젝트에 형성되는 영역일 수 있다. 예컨대, 제1 내지 제4 마킹 영역(21a-21d)은 제3 오브젝트(1313)에 형성되고, 제5 및 제6 마킹 영역(21e-21f)은 지면에 형성되며, 제7 내지 제10 마킹 영역(21g-21j)은 제2 오브젝트(1312)에 형성될 수 있다.
한편, 복수의 빔(3a-3j)에 의해 형성되는 복수의 마킹 영역(21a-21j)은 스테레오 카메라(710)에 의해 촬영될 수 있다.
도 13c는 프로세서(770)가 도 13b에 도시된 복수의 마킹 영역(21)을 기초로, 차량(100) 전방의 거리 정보를 산출한 것을 예시한다. 구체적으로, 프로세서(770)는 스테레오 카메라(710)로부터 제공되는 이미지를 기초로, 복수의 마킹 영역(21a-21j) 각각에 대한 디스패리티 레벨을 산출하고, 산출된 디스패리티 레벨을 기초로, 복수의 마킹 영역(21a-21j) 각각의 위치에 대응하는 지점의 좌표(Pa-Pj)를 산출할 수 있다. 각 좌표의 x축 성분은 차량(100)에 대한 횡방향 거리를 의미하고, y축 성분은 차량(100)에 대한 종방향 거리를 의미할 수 있다.
한편, 프로세서(770)는 스테레오 카메라(710)에 의해 촬영된 전체 영역 중 미검출 영역이 있는지 판단할 수 있다. 예컨대, 도시된 바와 같이, 제4 좌표(Pd)에 대응하는 지점과 제5 좌표(Pe)에 대응하는 지점 간의 거리가 기준 거리 이상인 경우, 프로세서(770)는 제4 마킹 영역(21d)과 제5 마킹 영역(21e) 사이의 영역(N)이 미검출 영역인 것으로 판단할 수 있다.
도 14a 및 도 14b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 제1 패턴의 가시광을 이용하여, 도 13b에 도시된 미검출 영역(N)의 거리 정보를 획득하는 동작을 설명하는 도면이다.
도 14a를 참조하면, 조명 장치(500)는 운전 보조 장치(700)의 제어에 따라, 미검출 영역(N)을 향하여 제2 패턴의 가시광을 출력할 수 있다. 제2 패턴의 가시광은 복수의 빔(4a, 4b)를 포함할 수 있다.
두 개의 빔(4a, 4b)에 의해 제2 오브젝트(1313)에 두 마킹 영역(31a, 31b)이 형성될 수 있다. 두 마킹 영역(31a, 31b)은 스테레오 카메라(710)에 의해 촬영되고, 프로세서(770)는 스테레오 카메라(710)로부터 제공되는 이미지를 기초로, 두 마킹 영역(31a, 31b)을 검출할 수 있다.
이어, 프로세서(770)는 검출된 두 마킹 영역(31a, 31b) 각각에 대한 디스패리티 레벨을 산출하고, 산출된 디스패리티 레벨을 기초로, 두 마킹 영역(31a, 31b) 각각의 위치에 대응하는 지점의 좌표(Na, Nb)를 산출할 수 있다.
즉, 프로세서(770)는 제2 패턴의 가시광을 출력하도록 조명 장치(500)를 제어함으로써, 제1 패턴의 가시광을 이용하여 기 검출된 오브젝트까지의 거리 정보를 업데이트할 수 있다. 이에 따라, 프로세서(7770)는 두 마킹 영역(31a, 31b)을 기초로, 제4 마킹 영역(21d)과 제5 마킹 영역(21e) 사이의 영역인 미검출 영역(N)에 위치하는 새로운 오브젝트를 추가적으로 검출할 수 있다.
도 15a 내지 도 15d는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 오브젝트 정보를 기초로 수행하는 동작을 설명하기 위한 도면이다.
도 15a는 차량(100)이 주행 중인 도로(1510)의 탑뷰를 보여준다. 도 15a를 참조하면, 차량(100)의 전방에는 제1 내지 제3 오브젝트(1511-1513)가 있을 수 있다. 이하에서는, 제1 내지 제3 오브젝트(1511-1513)는 순서대로 보행자, 교통 표지 및 대향 차량인 것으로 가정한다. 또한, 차량(100)의 양측에는 도로의 경계를 가이드하는 제1 연석(1514) 및 제2 연석(1515)이 있을 수 있다.
프로세서(770)는 도 12a 내지 도 14b를 참조하여 전술한 방법을 이용하여, 차량(100) 주변의 오브젝트를 검출하고, 검출된 각각의 오브젝트의 특징(예, 크기, 위치, 거리, 형상)을 산출하며, 검출된 각각의 오브젝트의 종류를 식별할 수 있다.
또한, 프로세서(770)는 검출된 오브젝트까지의 거리를 기초로, 오브젝트에 의해 가려지지 않은 도로(1510)의 일 영역(1520)을 검출할 수 있다. 프로세서(770)는 상기 영역(1520)의 폭이 기 설정된 값 이상인 경우, 상기 영역(1520)을 통과하기 위한 경로를 산출할 수 있다.
도 15b는 상기 영역(1520)의 폭이 기 설정된 값 이상인 경우에, 운전 보조 장치(700)의 동작을 예시한다. 구체적으로, 프로세서(770)는 상기 영역(1520)을 통과하기 위한 주행 경로를 산출하고, 산출된 주행 경로의 좌우측 경계를 가이드하기 위한 가시광(1531a, 1531b)을 상기 영역(1520)에 출력하도록 조명 장치(500)를 제어할 수 있다. 예컨대, 가시광(1531a, 1531b)은 제1 내지 제3 발광 모듈(511-513) 중 적어도 하나에 의해 출력되는 것일 수 있다.
가시광(1531a, 1531b)의 출력과 함께 또는 별개로, 프로세서(770)는 상기 영역(1520)을 통과할 수 있음을 안내하는 이미지(1541)를 디스플레이부(750)에 표시할 수 있다.
도 15c는 상기 영역(1520)의 폭이 기 설정된 값 미만인 경우에, 운전 보조 장치(700)의 동작을 예시한다. 구체적으로, 프로세서(770)는 상기 영역(1520)을 통과할 수 없음을 안내하기 위한 가시광(1532)을 상기 영역(1520)에 출력하도록 조명 장치(500)를 제어할 수 있다. 제1 내지 제3 발광 모듈(511-513) 중 적어도 하나에 의해 출력되는 것일 수 있다.
가시광(1532)의 출력과 함께 또는 별개로, 프로세서(770)는 상기 영역(1520)을 통과할 수 없음을 안내하는 인디케이터(1542)를 디스플레이부(750)에 표시할 수 있다.
도 15d는 조명 장치(500)가 오브젝트의 종류별로 서로 다른 광량의 가시광을 출력하는 동작을 설명하기 위한 도면이다.
도 15d를 참조하면, 프로세서(770)는 제1 오브젝트(1511)가 보행자이고, 제2 오브젝트(1512)가 교통 표지이며, 제3 오브젝트(1513)가 대향 차량인 것을 식별할 수 있다. 이 경우, 프로세서(770)는 제1 내지 제3 오브젝트(1511-1513) 각각의 위치, 크기, 형상 및 종류에 관한 데이터를 조명 장치(500)에 제공할 수 있다.
조명 장치(500)는 운전 보조 장치(700)로부터 제공되는 데이터를 기초로, DMD(614a)에 포함된 복수개의 마이크로 미러들의 틸트각을 개별적으로 조절할 수 있다. 이에 따라, 특정 종류의 오브젝트를 향하는 가시광의 광량이 증가 또는 감소될 수 있다.
구체적으로, 조명 장치(500)는 DMD(614a)의 제1 내지 제3 영역(1551-1553)을 제외한 나머지 영역(1554)에 장착된 마이크로 미러들의 틸트각은 제1 내지 제3 오브젝트(1511-1513)가 검출되기 전과 후로 일정하게 유지할 수 있다. 이에 따라, 차량(100)의 전방에는 DMD(614a)의 나머지 영역(1554)에서 반사된 시야 확보용 가시광이 비춰지는 조명 영역(A)이 형성될 수 있다.
조명 장치(500)는 DMD(614a)의 제1 영역 및 제3 영역(1551, 1553)에 장착된 마이크로 미러들의 틸트각을 조절하여, 대향 차량(1513)의 윈드 쉴드(1513a) 및 보행자(1511)의 얼굴(1511a)로 향하는 가시광의 광량을 줄이거나 차단할 수 있다. 이와 함께 또는 별개로, 조명 장치(500)는 DMD(614a)의 제2 영역(1552)에 장착된 마이크로 미러들의 틸트각을 조절하여, 교통 표지(1512)로 향하는 가시광의 광량을 증가시킬 수 있다. 이 경우, 상기 조명 영역(A)을 비추는 가시광의 광량보다 교통 표지(1512)로 향하는 가시광의 광량이 클 수 있다.
도 16a 및 도 16b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 오브젝트 정보를 기초로 수행하는 동작을 설명하기 위한 도면이다.
도 16a는 차량(100)이 주행 중인 도로의 탑뷰를 보여준다. 도로는 제1 차로(1611) 및 제2 차로(1611)가 있고, 차량(100)은 제2 차로(1611)에서 주행 중인 것으로 가정한다.
프로세서(770)는 도 12a 내지 도 14b를 참조하여 전술한 방법을 이용하여, 차량(100) 전방에 있는 오브젝트(1620)를 검출하고, 검출된 오브젝트(1620)의 특징을 기초로, 검출된 오브젝트(1620)가 낙하물인 것으로 판단할 수 있다.
이 경우, 프로세서(770)는 차량(100)과 낙하물(1620) 간의 거리 및 차량(100)의 주행 속도 중 적어도 하나를 기초로, 차량(100)과 낙하물(1620) 간의 충돌 위험 레벨을 산출하고, 산출된 위험 레벨이 소정값 이상인 경우, 낙하물(1620)과의 충돌 위험을 안내하는 정보(1631, 1632)를 낙하물(1620) 또는 도로의 일 영역(1630)에 표시하기 위한 가시광을 출력하도록 조명 장치(500)를 제어할 수 있다. 예컨대, 제3 발광 모듈(513)로부터 출력된 가시광에 의해, 제2 차로(1612)의 일 영역(1630)에 정보(1631, 1632)가 표시될 수 있다. 도시된 바와 같이, 제1 정보(1631)는 충돌 위험을 알리는 기호의 형태로 표시되고, 제2 정보(1632)는 낙하물(1620)까지의 남은 거리를 알리는 숫자나 텍스트 형태로 표시될 수 있다.
도 16b는 도 16a에 도시된 정보(1631, 1632)와는 다른 정보(1641a, 1641b)가 지면에 표시되는 것을 예시한다. 구체적으로, 프로세서(770)는 차량(100)에 대한 낙하물(1620)의 상대적 위치를 기초로, 차량(100)의 현 위치로부터 낙하물(1620)을 회피하기 위한 경로를 생성하고, 생성된 경로를 가이드하는 정보(1641a, 1641b)를 지면에 표시하기 위한 가시광을 출력하도록 조명 장치(500)를 제어할 수 있다. 예컨대, 제3 발광 모듈(513)로부터 출력된 가시광에 의해, 정보(1641a, 1641b)가 지면에 표시될 수 있다. 이때, 제1 정보(1641a)는 경로의 좌측 경계를 가이드하고, 제2 정보(1641b)는 경로의 우측 경계를 가이드할 수 있다. 차량(100)의 운전자는 정보(1641a, 1641b)를 따라 차량(100)의 스티어링 휠을 조작하여, 낙하물(1620)을 안전하게 회피할 수 있다.
도 17은 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 도로의 상태를 기초로 수행하는 동작을 설명하기 위한 도면이다.
도 17을 참조하면, 조명 장치(500)는 지면을 향하여 객체 검출용 가시광을 출력할 수 있다. 객체 검출용 가시광에 포함된 제1 내지 제4 빔(5a-5d)은 차량(100)을 기준으로 종방향으로 거리차를 두고 출력될 수 있다. 이에 따라, 제1 내지 제4 마킹 영역(1711a-1711d) 역시, 차량(100)을 기준으로 종방향으로 거리차를 두고 형성될 수 있다. 이때, 제1 내지 제4 마킹 영역(1711a-1711d)은 순서대로 제1 내지 제4 빔(5a-5d)에 의해 형성되는 것일 수 있다.
차량(100)의 전방에는 도로 표면으로부터 오목하게 들어간 포트홀(1720)이 있을 수 있다. 프로세서(770)는 제1 내지 제4 마킹 영역(1711a-1711d)의 거리 정보를 기초로, 포트홀(1720)을 검출할 수 있다. 예컨대, 프로세서(770)는 제1 내지 제4 마킹 영역(1711a-1711d) 중, 제3 마킹 영역(1711c)의 z축 좌표값이 나머지 마킹 영역(1711a, 1711b, 1711d)의 z축 좌표값보다 작은 것을 기초로, 제3 마킹 영역(1711c)의 위치에 포트홀(1720)이 있는 것으로 판단할 수 있다.
이 경우, 프로세서(770)는 포트홀(1720)에 대한 정보를 차량(100)의 사용자에게 제공할 수 있다. 예를 들어, 도시된 바와 같이, 프로세서(770)는 포트홀(1720)의 존재를 안내하는 인디케이터(1730)를 디스플레이부(750)에 표시할 수 있다. 물론, 포트홀(1720) 이외에 절벽이나 경사로가 검출되는 경우에도, 전술한 동작과 동일 또는 유사한 동작이 수행될 수 있다.
도 18은 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 카메라(710)를 이용하여 차선을 검출하는 프로세스(S1800)의 플로우 챠트를 보여준다.
단계 S1810에서, 운전 보조 장치(700)는 차량(100) 외부의 밝기를 기초로, 카메라(710)의 노출값을 설정할 수 있다. 구체적으로, 프로세서(770)는 외부의 밝기가 낮을수록(즉, 어두울수록) 카메라(710)의 노출값을 증가시킬 수 있다. 여기서 카메라(710)의 노출값은 조리개값 및 셔터스피드 중 어느 하나에 의해 정해지는 것이거나, 둘의 조합에 의해 정해지는 것일 수 있다. 예컨대, 조리개값이 낮아질수록 카메라(710)의 렌즈를 통과하는 빛의 양이 줄어들며, 이에 따라 카메라(710)의 노출값이 줄어들 수 있다. 다른 예로, 셔터스피드가 빠를수록 카메라(710)가 빛에 노출되는 시간이 짧아지며, 이에 따라 카메라(710)의 노출값이 줄어들 수 있다.
단계 S1820에서, 운전 보조 장치(700)의 카메라(710)는 단계 S1810에서 설정된 노출값을 이용하여 이미지를 획득할 수 있다. 이어, 단계 S1830에서, 프로세서(770)는 획득된 이미지를 기초로, 타차량의 헤드라이트 영역을 검출할 수 있다. 일 예로, 프로세서(770)는 카메라(710)로부터 제공되는 이미지를 그레이 영상으로 변환하고, 그레이 영상에서 타차량의 헤드라이트 영역을 검출할 수 있다. 이때, 타차량의 헤드라이트 영역은, 그레이 영상의 전체 영역 중 기준값 이상의 밝기값을 가지는 영역일 수 있다.
단계 S1840에서, 프로세서(770)는 타차량의 헤드라이트 영역을 기초로, 눈부심 상황이 발생하였는지 판단할 수 있다. 예컨대, 프로세서(770)는 타차량의 헤드라이트 영역의 크기가 소정 크기 이상이거나, 헤드라이트 영역의 밝기값이 기준값 이상인 경우, 눈부심 상황이 발생한 것으로 판단할 수 있다. 여기서 눈부심 상황이란, 타차량의 헤드라이트로 인해 차량(100)의 운전자의 시야가 방해를 받는 상황일 수 있다.
단계 S1850에서, 프로세서(770)는 메모리(730)에 기 저장된 노출값을 카메라(710)에 설정할 수 있다. 구체적으로, 프로세서(770)는 단계 S1810에서 설정된 노출값을 기 저장된 노출값으로 변경할 수 있다. 여기서, 기 저장된 노출값은 상기 눈부심 상황이 발생하기 이전의 특정 시점에 카메라(710)에 설정되었던 노출값일 수 있다. 즉, 프로세서(770)는 단계 S1810에서 설정된 노출값과 같거나 더 큰 노출값을 카메라(710)에 설정할 수 있다.
이에 따라, 차량(100) 외부의 밝기가 실제로는 낮음에도 불구하고, 타차량의 헤드라이트로 인해 외부의 밝기가 높은 것으로 잘못 인식됨에 따라 카메라(710)의 노출값이 감소하는 종래 기술의 문제를 해소할 수 있다. 단계 S1820 내지 단계 S1850은 눈부심 상황이 종료될 때까지 반복될 수 있다.
단계 S1860에서, 프로세서(770)는 획득된 이미지를 기초로 오브젝트를 검출하고, 검출된 오브젝트 중 차선이 있는지 판단할 수 있다. 만약, 차선이 검출되지 않은 경우, 프로세서(770)는 단계 S1870을 수행하고, 차선이 검출된 경우, 프로세서(770)는 단계 S1880을 수행할 수 있다.
단계 S1870에서, 프로세서(770)는 메모리(730)에 기 저장된 차선 정보를 기초로, 현재의 차선을 추정할 수 있다.
프로세서(770)는 상기 눈부심 상황이 발생하기 이전에 마지막으로 검출된 차선의 위치 및 형상을 기초로, 현재의 차선의 위치 및 형상을 추정할 수 있다. 또는, 프로세서(770)는 상기 눈부심 상황이 발생하기 이전의 소정 시간 동안 검출된 차선의 위치 및 형상의 평균값을 기초로, 현재의 차선의 위치 및 형상을 추정할 수 있다.
예를 들어, 프로세서(770)는 상기 눈부심 상황이 발생하기 이전에 마지막으로 검출된 차선의 기울기가 제1 값이었던 경우, 현재의 차선의 기울기도 제1 값인 것으로 추정할 수 있다. 다른 예를 들어, 프로세서(770)는 상기 눈부심 상황이 발생하기 이전의 소정 시간 동안 검출된 차선의 평균 곡률을 기초로, 현재의 차선의 곡률을 추정할 수 있다. 한편, 프로세서(770)는 상기 차량(100)의 속도 및 이동 방향 중 적어도 하나를 더 기초로, 현재의 차선의 위치 및 형상을 추정할 수 있다.
단계 S1870에서, 프로세서(770)는 조명 장치(500)를 이용하여, 차선 안내를 위한 가시광을 출력할 수 있다. 즉, 조명 장치(500)는 프로세서(770)의 제어에 따라, 차선 안내를 위한 가시광을 차량(100) 전방의 지면을 향하여 출력할 수 있다. 이때, 차선 안내를 위한 가시광은, 단계 S1860에서 검출된 실제 차선을 안내하는 것이거나, 단계 S1870에서 추정된 가상의 차선을 안내하는 것일 수 있다.
구체적으로, 차선 안내를 위한 가시광은 차량(100)을 기준으로 좌측 차선 또는 우측 차선이 그려진 적어도 일부의 영역을 비추는 가시광일 수 있다. 예컨대, 제3 발광 모듈(513)은 투명 디스플레이에 차선에 대응하는 형상 및 기 설정된 색상을 가지는 이미지를 디스플레이함으로써, 상기 차선 안내를 위한 가시광이 지면에 비춰지도록 할 수 있다.
예컨대, 프로세서(770)는 차량(100)의 좌측 차선과 우측 차선 중, 상기 대향 차량의 헤드라이트와 상대적으로 더 멀리 위치하는 어느 하나의 차선이 그려진 지면을 향하여 소정 색상(예, 녹색)의 가시광을 출력하도록 조명 장치(500)를 제어할 수 있다.
도 19a 내지 도 19c는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 눈부심 상황 발생 시에 수행하는 동작을 설명하기 위한 도면이다.
도 19a는 야간 주행 중, 타차량(1900)의 헤드라이트 영역(1910)으로 인해, 차량(100)의 운전자의 시야가 방해는 받는 눈부심 상황을 보여준다.
카메라(710)는 차량(100) 전방에 대한 이미지를 획득하고, 프로세서(770)는 카메라(710)로부터 제공되는 이미지로부터 헤드라이트 영역(1910)을 검출할 수 있다.
프로세서(770)는 검출된 헤드라이트 영역(1910)의 밝기값을 기초로, 눈부심 상황의 발생 여부를 판단할 수 있다. 구체적으로, 프로세서(770)는 검출된 헤드라이트 영역(1910)의 밝기값을 기준값과 비교할 수 있다. 예를 들어, 만약 헤드라이트 영역(1910)의 평균 밝기값이 기준값 이상이고, 헤드라이트 영역(1910)의 크기가 소정 크기 이상인 경우, 프로세서(770)는 현재 눈부심 상황이 발생한 것으로 판단할 수 있다.
한편, 외부의 밝기에 대응하는 노출값이 카메라(710)에 자동 설정되는 경우, 헤드라이트 영역(1910)으로 인해 차량(100)의 외부의 밝기가 실제로 밝아진 것으로 잘못 인식되어, 카메라(710)의 노출값이 작아질 수 있다. 차량(100)의 외부의 밝기가 실제로는 어두움에도 불구하고, 카메라(710)의 노출값이 작아지는 경우, 카메라(710)에 의해 촬영되는 영상에는 양측 차선(1920a, 1920b)이 선명하게 나타나지 않을 수 있다.
도 19b는 도 19a와 같은 눈부심 상황에서, 프로세서(770)가 카메라(710)의 노출값을 조절하는 동작을 보여준다. 도 19b에서 제1 시점(T1)은 눈부심 상황이 발생한 시점이고, 제2 시점(T2)은 눈부심 상황이 종료된 시점이며, 차량(100) 외부의 밝기는 일정한 것으로 가정한다.
도 19b를 참조하면, 제1 시점(T1) 이전에, 카메라(710)에는 제1 조리개값(V11) 및 제2 셔터스피드(V21)가 설정될 수 있다. 제1 조리개값(V11) 및 제2 셔터스피드(V21)는 차량(100) 외부의 실제 밝기에 대응하는 노출값일 수 있고, 메모리(730)에 저장될 수 있다.
외부 밝기만을 기초로 카메라(710)의 노출값을 설정하는 경우, 헤드라이트 영역(1910)의 영향으로 인해, 제1 시점(T1)부터 제2 시점(T2)까지는 카메라(710)에 제2 조리개값(V12) 및 제2 셔터스피드(V22)가 설정될 수 있다. 즉, 카메라(710)에 의해 촬영되는 이미지 내의 헤드라이트 영역(1910)으로 인해, 카메라(710)의 렌즈로 들어오는 빛이 충분한 것으로 잘못 인식되어, 제1 시점(T1)부터 조리개값은 감소하고, 셔터스피드는 증가질 수 있다. 즉, 카메라(710)의 노출값이 감소할 수 있다. 차량(100) 외부가 실제로는 어두움에도 불구하고, 카메라(710)의 노출값이 감소하는 경우, 카메라(710)에 의해 촬영되는 이미지에는 차선(1920a, 1920b)이 선명하게 나타나지 않아, 차선 검출에 실패할 가능성이 높아진다.
위와 같은 문제를 해소하기 위해, 본 발명의 일 실시예에 따른 운전 보조 장치(700)는, 도시된 바와 같이, 제1 시점(T1)부터 제2 시점(T2)까지 카메라(710)에 설정된 제1 조리개값(V11) 및 제1 셔터스피드(V21)를 계속 유지할 수 있다. 이에 따라, 헤드라이트 영역(1910)으로 인한 눈부심 상황에서도, 카메라(710)에 의해 촬영된 이미지를 기초로, 차량(100)을 기준으로 양측의 차선(1920a, 1920b)을 보다 정확히 검출할 수 있다. 이때, 헤드라이트 영역(1910)와 상대적으로 먼 우측 차선(1920b)이 좌측 차선(1920a)보다 용이하게 검출될 수 있다.
도 19c는 조명 장치(500)가 우측 차선(1920b)을 안내하는 가시광(1930)을 지면에 비추는 상황을 예시한다. 도 19c를 참조하면, 프로세서(770)는 눈부심 상황이 발생한 제1 시점(T1)부터 제2 시점(T2)까지, 제1 조리개값(V11) 및 제1 셔터스피드(V21)가 설정된 카메라(710)에 의해 촬영된 이미지에서 차량(100)을 기준으로 양측의 차선(1920a, 1920b) 중 적어도 우측 차선(1920b)을 검출하고, 검출된 우측 차선(1920b)이 그려진 영역을 향하여 가시광(1930)을 출력하도록 조명 장치(500)를 제어할 수 있다.
예컨대, 도시된 바와 같이, 차량(100)을 기준으로 좌측 전방에서 비춰지는 헤드라이트 영역(1910)으로 인해 눈부심 상황이 발생하더라도, 차량(100)을 기준으로 우측 전방에 가시광(1930)이 비춰짐으로써, 차량(100)의 운전자는 도로를 따라 안전하게 주행할 수 있다.
도 20은 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 차선 검출 실패 시, 지도 데이터를 기초로 차선을 추정하는 프로세스(S2000)의 플로우 챠트를 보여준다.
단계 S2010에서, 운전 보조 장치(700)는 카메라(710)를 이용하여, 차량(100) 주변의 이미지를 획득할 수 있다. 예를 들어, 카메라(710)는 소정의 화각으로 차량(100) 전방을 촬영하고, 촬영된 이미지를 프로세서(770)로 제공할 수 있다. 이때, 카메라(710)는 스테레오 카메라(710)로서, 프로세서(770)의 요청 시에 촬영된 스테레오 이미지를 프로세서(770)로 제공할 수 있다. 프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 차선 검출 동작을 수행할 수 있다.
단계 S2020에서, 운전 보조 장치(700)는 카메라(710)에 의해 촬영된 이미지를 기초로, 차선이 검출되었는지 판단할 수 있다. 만약, 차선이 미검출된 경우, 프로세서(770)는 단계 S2030을 수행하고, 차선이 검출된 경우, 프로세서(770)는 단계 S2030를 생략하고 단계 S2040을 수행할 수 있다.
예컨대, 도로에 그려진 차선이 눈, 비, 흙 등의 이물질에 의해 가려지거나 일부분이 지워진 상황에서, 프로세서(770)는 카메라(710)에 의해 촬영된 이미지로부터 차선을 검출하지 못할 수 있는바, 이 경우 프로세서(770)는 단계 S2030을 수행할 수 있다.
단계 S2030에서, 운전 보조 장치(700)는 상기 획득된 이미지 및 지도 데이터를 기초로, 차량(100)의 주행 경로 상의 차선을 추정할 수 있다. 이때, 지도 데이터는 메모리(730)에 미리 저장된 것이거나, 차량(100)의 통신부(110)에 의해 외부 서버로부터 수신된 것일 수 있다. 지도 데이터에는 도로의 특징에 대한 정보들이 포함될 수 있다. 예컨대, 지도 데이터에는, 도로의 형상, 도로에 그려진 차선의 위치와 개수, 및 도로에 인접한 구조물들의 위치를 지시하는 데이터들이 포함될 수 있다. 또한, 지도 데이터에는, 도로를 촬영한 영상 데이터들이 포함될 수 있다.
구체적으로, 프로세서(770)는 스테레오 이미지의 디스패리티 정보를 기초로, 차량(100) 외부의 3차원 공간 정보를 획득하고, 획득된 3차원 공간 정보를 차량(100)의 현 위치에 대응하는 지도 데이터와 매칭할 수 있다. 이때, 맵 매칭(map matching) 기법이 이용될 수 있고, 차량(100)의 현 위치는 위치 정보 모듈(114)에 의해 획득되는 것일 수 있다. 예컨대, 차량(100)의 현 위치는 DGPS(Differential GPS) 기반으로 획득되는 것일 수 있다.
프로세서(770)는 차량(100)이 현재 주행 중인 도로에 대한 차량(100)의 위치 및 주행 방향을 산출할 수 있다. 이어, 프로세서(770)는 지도 데이터에 포함된 차선 정보를 기초로, 차량(100)의 현재 위치 및 주행 방향에 대응하는 차선을 추정할 수 있다.
단계 S2040에서, 프로세서(770)는 조명 장치(500)를 이용하여, 상기 검출 또는 추정된 차선을 안내하기 위한 가시광을 출력할 수 있다. 즉, 조명 장치(500)는 프로세서(770)의 제어에 따라, 차선 안내를 위한 가시광을 차량(100) 전방의 지면을 향하여 출력할 수 있다. 구체적으로, 차선 안내를 위한 가시광은 차량(100)을 기준으로 좌측 차선 또는 우측 차선이 그려진 적어도 일부의 영역을 비추는 가시광일 수 있다. 예컨대, 제3 발광 모듈(513)은 투명 디스플레이에 차선에 대응하는 형상 및 기 설정된 색상을 가지는 이미지를 디스플레이함으로써, 상기 차선 안내를 위한 가시광이 지면에 비춰지도록 할 수 있다.
프로세서(770)는 지도 데이터에 포함된 차선 정보에 대응하는 조명 제어 신호를 조명 장치(500)로 제공하고, 조명 장치(500)는 상기 조명 제어 신호에 응답하여, 상기 검출 또는 추정된 차선의 영역을 비추기 위한 가시광을 출력할 수 있다.
도 21a 및 도 21b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 지도 데이터를 기초로 차선을 추정하는 동작을 설명하기 위한 도면이다.
도 21a를 참조하면, 제1 이미지(2110)는 카메라(710)에 의해 촬영된 것이고, 제2 이미지(2120)는 지도 데이터에 포함된 것일 수 있다. 이때, 제2 이미지(2120)는 메모리(730)에 기 저장된 지도 데이터에 포함된 이미지들 중, 차량(100)의 현 위치에 대응하는 것일 수 있다.
도시된 바와 같이, 제2 이미지(2120)에는 좌측 차선(2121a) 및 우측 차선(2121b)이 나타날 수 있다. 다만, 제1 이미지(2110)에서는 눈이나 흙과 같은 이물질(2111)에 의해 좌측 차선(2121a) 및 우측 차선(2121b)이 가려져, 프로세서(770)는 제1 이미지(2110)로부터 좌측 차선(2121a) 및 우측 차선(2121b)을 검출하지 못할 수 있다.
이 경우, 프로세서(770)는 제1 이미지(2110)와 제2 이미지(2120)를 비교하여, 차량(100)에 대한 좌측 차선(2121a) 및 우측 차선(2121b)의 위치 및 형상을 추정할 수 있다. 예컨대, 프로세서(770)는 제1 이미지(2110)와 제2 이미지(2120) 간의 차이를 기초로, 차량(100)의 현재 위치 및 방향을 산출할 수 있다. 이어, 프로세서(770)는 산출된 차량(100)의 현재 위치 및 방향을 기초로, 차량(100)에 대한 좌측 차선(2121a) 및 우측 차선(2121b)의 위치 및 형상을 추정할 수 있다.
도 21b는 조명 장치(500)가 도 21a을 참조하여 전술한 방법을 통해 추정된 차선을 안내하는 가시광(2131a, 2131b)을 지면에 비추는 상황을 예시한다. 도 21b를 참조하면, 좌측에 비춰지는 가시광(2131a)은 좌측 차선(2121a)의 추정된 위치를 안내하는 것이고, 우측에 비춰지는 가시광(2131b)은 우측 차선(2121b)의 추정된 위치를 안내하는 것일 수 있다.
도 21a 및 도 21b에 따르면, 지도 데이터를 기초로, 차선 중 끊기거나 가려진 부분을 추정할 수 있으므로, 차량(100)이 주행 중인 도로의 차선 일부가 갑자기 소실되더라도, 운전자가 차량(100)을 안전하게 조작할 수 있도록 도움을 줄 수 있다.
도 22a 및 도 22b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 교차로 내에 유도 차선을 표시하는 동작의 일 예를 보여준다.
도 22a는 교차로(2200)를 향하여 다가가는 중인 차량(100)의 탑뷰를 예시한다. 프로세서(770)는 교차로(2200)에서 어느 방향으로 이동할지 예측할 수 있다. 예를 들어, 좌측 방향 지시등이 켜지는 경우, 프로세서(770)는 차량(100)이 좌회전할 것으로 예측할 수 있다. 다른 예를 들어, 우측 방향 지시등이 켜지는 경우, 프로세서(770)는 차량(100)이 우회전할 것으로 예측할 수 있다. 다른 예를 들어, 좌측 및 우측 방향 지시등이 모두 켜지지 않는 경우, 프로세서(770)는 차량(100)이 직진할 것으로 예측할 수 있다.
도시된 바와 같이, 교차로(2200) 내에는 좌회전 시에 차량(100)의 위치를 가이드하는 유도 차선 및 우회전 시에 차량(100)의 위치를 가이드하는 유도 차선이 그려져 있지 않거나, 이물질에 의해 가려질 수 있다.
도 22b는 도 22a에 도시된 차량(100)이 좌회전할 것으로 예측된 경우, 운전 보조 장치(700)의 동작을 설명한다. 구체적으로, 차량(100)의 좌측 방향 지시등이 켜진 경우, 프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 교차로(2200) 내에 좌회전 시의 양측 경계를 안내하는 유도 차선이 그려져 있는지 판단할 수 있다.
도시된 바와 같이, 교차로(2200) 내에 좌회전을 위한 좌우측 유도 차선이 그려져 있지 않은 경우, 프로세서(770)는 메모리(730)에 기 저장된 지도 데이터를 기초로, 차량(100)을 기준으로 교차로(2200) 내의 유도 차선의 위치 및 형상을 추정할 수 있다. 이어, 프로세서(770)는 추정된 좌우측 유도 차선의 위치 및 형상에 대응하는 영역을 향하여 제1 및 제2 가시광(2210a, 2210b)을 비추도록 조명 장치(500)를 제어할 수 있다. 즉, 제1 가시광(2210a)은 좌측 유도 차선을 비추고, 제2 가시광(2210b)은 우측 유도 차선을 비출 수 있다.
이에 따라, 차량(100)의 운전자는 제1 및 제2 가시광(2210a, 2210b)에 의해 안내되는 좌우측 유도 차선을 따라, 차량(100)이 교차로(2200)를 안전하게 통과하도록 차량(100)의 좌회전을 조작할 수 있다.
도 23a 및 도 23b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 교차로 내에 유도 차선을 표시하는 동작의 다른 예를 보여준다.
도 23a는 교차로(2200)를 향하여 다가가는 중인 차량(100)의 탑뷰를 예시한다. 도 22a와 비교할 때, 타차량(2310)이 차량(100)과는 반대 방향에서 교차로(2200)를 향하여 다가오고 있다는 점에서 차이가 있다.
프로세서(770)는 차량(100)이 교차로(2200)에서 좌회전할 것으로 예측되는 경우, 차량(100)과 반대편의 타차량(2310)이 교차로(2200) 내로 진입 중인지 여부를 판단할 수 있다. 구체적으로, 프로세서(770)는 카메라(710)로부터 제공되는 스테레오 이미지를 기초로, 타차량(2310)을 검출하고, 검출된 타차량(2310)이 현재 교차로(2200) 내로 진입 중이거나 소정 시간 내에 진입할 것인지 여부를 판단할 수 있다.
도 23b는 도 23a에 도시된 타차량(2310)이 현재 교차로(2200)를 향하여 진입 중이거나 소정 시간 내에 진입할 것으로 판단된 경우, 운전 보조 장치(700)의 동작을 설명한다. 구체적으로, 프로세서(770)는 타차량(2310)이 검출된 경우, 제1 및 제2 가시광(2210a, 2210b) 중, 제2 가시광(2210b)을 출력하지 않도록 조명 장치(500)를 제어할 수 있다. 예컨대, 조명 장치(500)는 프로세서(770)의 제어에 따라, 차량(100)이 교차로(2310)를 완전히 통과할때까지, 제2 가시광(2210b)의 출력을 중단할 수 있다.
이에 따라, 조명 장치(500)에 의해 출력되는 제2 가시광(2210b)으로 인한, 타차량(2310)의 운전자의 혼란을 방지할 수 있다.
도 24a 및 도 24b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 차량(100)의 차선 이탈을 방지하기 위해 수행하는 동작을 설명하기 위한 도면이다.
도 24a는 중앙선(2400)에 의해 구분되는 제1 차로(2401) 및 제2 차로(2402) 중, 제2 차로(2402)에서 주행 중인 상황의 탑뷰를 보여준다. 도시된 바와 같이, 조명 장치(500)는 프로세서(770)의 제어에 따라, 제2 차로(2402)의 양측 경계를 안내하는 제1 및 제2 가시광(2410a, 2410b)을 출력하는 중일 수 있다. 예컨대, 제1 및 제2 가시광(2410a, 2410b)은, 도 15b에 도시된 가시광(1531a, 1531b)과 동일한 방법으로 조명 장치(500)에 의해 출력되는 것일 수 있다. 다른 예로, 제1 및 제2 가시광(2410a, 2410b)은, 도 21b에 도시된 가시광(2131a, 2131b)과 동일한 방법으로 조명 장치(500)에 의해 출력되는 것일 수 있다. 차량(100)이 제1 및 제2 가시광(2410a, 2410b)에 의해 안내되는 제2 차로(2402) 내에서 주행 중인 경우, 제1 및 제2 가시광(2410a, 2410b)은 소정 색상(예, 녹색)으로 출력될 수 있다.
제1 및 제2 가시광(2410a, 2410b)이 출력되는 동안, 프로세서(770)는 제1 차로(2401)에서 차량(100)과는 반대 방향으로 주행 중인 타차량(2420)을 검출할 수 있다. 예를 들어, 프로세서(770)는 카메라(710)를 이용하여 도 13a 내지 도 14b를 참조하여 전술한 객체 검출용 가시광에 의해 형성된 복수의 마킹 영역이 포함된 이미지를 촬영하고, 촬영된 이미지를 기초로, 타차량(2420)을 검출할 수 있다.
한편, 프로세서(770)는 차량(100)이 제1 및 제2 가시광(2410a, 2410b)에 의해 안내되는 제2 차로(2402)를 이탈하는지 여부를 판단할 수 있다.
도 24b는 차량(100)이 제1 및 제2 가시광(2410a, 2410b)에 의해 안내되는 제2 차로(2402)를 이탈한 경우, 운전 보조 장치(700)의 동작을 설명하기 위한 도면이다. 도 24b를 참조하면, 차량(100)은 운전자의 오조작 등으로 인해, 제2 차로(2402)를 이탈해 제1 차로(2401)를 향해 주행할 수 있다. 이 경우, 제1 차로(2401)에서 반대 방향으로 다가오는 타차량(2401)과 충돌 위험이 있다.
따라서, 프로세서(770)는 차량(100)이 제2 차로(2402)를 이탈하는 경우, 제1 가시광(2410a)을 제2 가시광(2410b)과는 다른 색상 또는 점멸 주기로 출력하도록 조명 장치(500)를 제어할 수 있다. 예컨대, 조명 장치(500)는 프로세서(770)의 제어에 따라, 제1 가시광(2410a)은 적색으로 출력하고 제2 가시광(2410b)은 청색으로 출력할 수 있다. 다른 예로, 조명 장치(500)는 프로세서(770)의 제어에 따라, 제1 가시광(2410a)을 제2 가시광(2410b)보다 더 빠르게 점멸 시킬 수 있다. 이에 따라, 차량(100)의 운전자는 제1 가시광(2410a)의 색상 변화 또는 깜빡임을 통해, 현재 차선 이탈 중임을 신속히 확인하고, 제2 차로(2402) 내에 위치하도록 차량(100)의 조향을 조작할 수 있다.
이와 함께 또는 별개로, 프로세서(770)는 차량(100)이 현재 제2 차로(2402)를 이탈하였음을 안내하는 인디케이터(2420)를 디스플레이부(750)에 표시할 수 있다.
도 25a 및 도 25b는 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 차량(100)의 정차를 유도하는 가시광을 출력하는 동작을 설명하기 위한 도면이다.
도 25a는 교차로(2500)에 진입 중인 차량(100)의 탑뷰를 보여준다. 도 25a를 참조하면, 프로세서(770)는 카메라(710)를 이용하여 차량(100)의 전방의 교차로를 촬영할 수 있다. 이어, 프로세서(770)는 카메라(710)로부터 제공되는 영상을 기초로, 교통 표지를 검출할 수 있다. 예컨대, 프로세서(770)는 지도 데이터를 기초로, 차량(100)의 현 위치로부터 소정 거리 내에 교차로(2500)가 있는지 확인하고, 카메라(710)에 의해 촬영된 영상에서 교차로(2500) 근방에 설치된 신호등(2510)을 검출할 수 있다.
만약, 신호등(2510)에 차량(100)의 정지를 지시하는 적색이 표시 중인 경우, 프로세서(770)는 차량(100)과 신호등(2510)의 사이의 도로면에 기 설정된 형상 및 색상의 가시광(2520)을 출력하도록 조명 장치(500)를 제어할 수 있다. 예컨대, 신호등(2510)에 적색이 표시되는 경우, 조명 장치(500)는 일반적인 정지선에 대응하는 형상을 가지는 적색의 가시광(2520)을 차량(100)과 신호등(2510)의 사이의 지면의 일부 영역으로 투사할 수 있다. 만약, 신호등(2510)이 적색에서 청색으로 전환되는 경우, 프로세서(770)는 가시광(2520)의 출력을 중단하도록 조명 장치(500)를 제어할 수 있다.
도 25b는 교차로(2500)에서 차량(100)과 반대편의 타차량(2530)이 좌회전 중인 상황의 탑뷰를 보여준다. 도 25b를 참조하면, 프로세서(770)는 카메라(710)를 이용하여 차량(100)의 전방의 교차로를 촬영할 수 있다. 이어, 프로세서(770)는 카메라(710)로부터 제공되는 영상을 기초로, 타차량(2530)을 검출할 수 있다. 예컨대, 프로세서(770)는 스테레오 이미지를 기초로, 타차량(2530)의 위치, 속도 및 주행 방향을 산출할 수 있다.
한편, 신호등(2510)이 정차를 지시하는 적색에서 주행을 지시하는 녹색으로 전환되었다고 하더라도, 타차량(2530)이 교차로(2500) 내에서 주행 중인 경우, 프로세서(770)는 적색의 가시광(2520)을 차량(100) 전방에 계속하여 투사하도록 조명 장치(500)를 제어할 수 있다. 이후, 타차량(2530)이 교차로(2500)를 완전히 통과하여, 스테레오 이미지에서 타차량(2530)이 더 이상 검출되지 않는 경우, 프로세서(770)는 가시광(2520)의 출력을 중단하도록 조명 장치(500)를 제어할 수 있다.
도 26a 내지 도 26e는 차량(100)이 주행 중인 차로가 다른 차로와 합류되는 구간에서, 본 발명의 일 실시예에 따른 운전 보조 장치(700)가 수행하는 동작을 설명하기 위한 도면이다.
도 26a는 합류 구간(2610)이 존재하는 도로의 탑뷰를 예시한다. 프로세서(770)는 카메라(710)로부터 제공되는 이미지를 기초로, 합류 구간(2610)을 검출할 수 있다.
구체적으로, 프로세서(770)는 차량(100)이 제1 차로(2601)를 주행 중인 경우, 제1 차로(2601)의 좌우측 경계를 가리키는 좌측 차선(2611a) 및 우측 차선(2611b)의 기울기 변화를 기초로, 합류 구간(2610)을 검출할 수 있다. 예컨대, 도시된 바와 같이, 좌측 차선(2611a)이 우측 차선(2611b)을 향하여 기울어지는 경우, 제1 차로(2601)의 전체 영역 중, 좌측 차선(2611a)의 기울기가 변화하는 제1 지점(P1)부터 좌우측 차선(2611a, 2011b)이 만나는 제2 지점(P2) 사이의 영역인 합류 구간(2610)을 검출할 수 있다.
또는, 프로세서(770)는 제1 차로(2601)에 그려진 화살표(2612)을 검출하고, 검출된 화살표(2612)의 위치 및 지시 방향을 기초로, 합류 구간(2610)을 검출할 수 있다.
도 26b는 도 26a에 도시된 합류 구간(2610)의 양측 경계를 안내하는 한 쌍의 가시광(2620a, 2620b)이 조명 장치(500)에 의해 출력되는 것을 보여준다. 프로세서(770)는 합류 구간(2610)의 좌측 차선(2611a)과 우측 차선(2611b)에 대한 정보를 조명 장치(500)로 제공하고, 조명 장치(500)는 프로세서(770)로부터 제공되는 좌측 차선(2611a)과 우측 차선(2611b)에 대한 정보를 기초로, 합류 구간(2610)의 양측 경계를 안내하는 한 쌍의 가시광(2620a, 2620b)을 차량(100)의 전방으로 투사할 수 있다. 일 예로, 도시된 바와 같이, 한 쌍의 가시광(2620a, 2620b)은 각각 좌측 차선(2611a)과 우측 차선(2611b) 상에 겹쳐지도록 투사될 수 있다.
한편, 차량(100)은 합류 구간(2610)의 종료되는 지점(P2)에 도달하기 전에, 제1 차로(2601)로부터 제2 차로(2602)로 이동해야 하므로, 프로세서(770)는 제1 가시광(2620a)을 제1 색상(예, 적색)으로 출력하고, 제2 가시광(2620b)을 제2 색상(예, 녹색)으로 출력하도록 조명 장치(500)를 제어할 수 있다. 이에 따라, 차량(100)의 운전자는 제2 가시광(2620b)에 의해 안내되는 제2 차로(2602)로의 이동이 필요한 상황임을 직관적으로 인지할 수 있다.
도 26c는 도 26b와 달리, 타차량(2630)이 합류 구간(2610)의 우측에 위치하는 상황을 예시한다. 예컨대, 타차량(2630)은 차량(100)의 주행 속도보다 매우 느리게 주행 중이거나 정차한 상태일 수 있다. 이와 같은 상황에서 차량(100)이 합류 구간(2610) 내에서 제2 차로(2602)로 이동하면, 타차량(2630)과의 충돌 위험이 있다. 따라서, 프로세서(770)는 타차량(2630)이 제2 지점(P2)을 통과할 때까지, 제2 가시광(2620b)을 소정 색상(예, 적색)으로 표시할 수 있다. 차량(100)의 운전자는 소정 색상으로 표시되는 제2 가시광(2620b)을 통해, 제2 차로(2602)로 이동하면 위험한 상황임을 신속히 파악할 수 있다. 이와 동시에, 프로세서(770)는 제2 차로(2602)로의 이동 전에 차량(100)의 주행 속도를 줄이도록 제동 장치를 제어할 수 있다. 이때, 차량(100)과 타차량(2630) 간의 종방향 거리가 짧을수록, 제동 장치에 의한 제동력은 증가할 수 있다.
도 26d는 도 26c와 달리, 타차량(2640)이 차량(100)의 우측 후방에 위치하는 상황을 예시한다. 프로세서(770)는 센싱부(160)로부터 타차량(2640)의 위치 및 주행 속도를 수신할 수 있다. 예컨대, 타차량(2640)의 주행 속도는 차량(100)의 주행 속도 이상일 수 있다. 이와 같은 상황에서 차량(100)이 합류 구간(2610)이 종료되는 제2 지점(P2)에 도달하기 전에 제1 차로(2601)로부터 제2 차로(2602)로 이동하면, 타차량(2640)과의 충돌 위험이 있다.
따라서, 프로세서(770)는 차량(100)과 타차량(2640) 간의 종방향 거리가 소정 거리 이하인 경우, 제2 가시광(2620b)을 제1 색상(예, 적색)으로 표시할 수 있다. 차량(100)의 운전자는 제1 색상으로 표시되는 제2 가시광(2620b)을 통해, 제2 차로(2602)로의 이동이 위험한 상황임을 신속히 파악할 수 있다.
도 26e는 도 26a 내지 도 26d와 달리, 차량(100)이 합류 구간(2610)이 있는 제1 차로(2601)가 아닌 제2 차로(2602)를 주행 중인 상황을 보여준다. 프로세서(770)는 도 21a를 참조하여 전술바와 같이, 카메라(710)로부터 제공되는 이미지를 기초로 합류 구간(2610)을 검출하고, 검출된 합류 구간(2610)이 제2 차로(2602) 내인지 판단할 수 있다. 만약, 도시된 바와 같이, 합류 구간(2610)이 제2 차로(2602)가 아닌 제1 차로(2601)에 존재하는 경우, 프로세서(770)는 합류 구간(2610)의 위치를 안내하는 적어도 하나의 가시광을 출력할 수 있다. 예를 들어, 조명 장치(500)는 프로세서(770)의 제어에 따라, 합류 구간(2610) 내에, 제1 가시광(2651a) 및 제2 가시광(2651b)을 투사할 수 있다. 이때, 제1 가시광(2651a) 및 제2 가시광(2651b)은 'X'와 같이 기 설정된 형상을 가질 수 있다.
한편, 프로세서(770)는 차량(100)의 주행 속도를 기초로, 제1 가시광(2651a)과 제2 가시광(2651b)의 간격이나 크기를 조절할 수 있다. 일 예로, 차량(100)의 주행 속도가 높을수록, 제1 가시광(2651a)과 제2 가시광(2651b) 간의 간격을 좁힐 수 있다. 다른 예로, 차량(100)의 주행 속도가 높을수록, 제1 가시광(2651a)과 제2 가시광(2651b)의 크기를 증가시킬 수 있다. 이에 따라, 차량(100)의 운전자는 빠른 속도에서도 제1 가시광(2651a)과 제2 가시광(2651b)을 용이하게 확인하고, 제1 차로(2601)로 이동하지 않도록 차량(100)의 조향을 조작할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
또한, 이상에서 설명한 본 발명은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.
100: 차량
500: 조명 장치
700: 운전 보조 장치

Claims (20)

  1. 조명 장치를 구비하는 차량에 사용되는 운전 보조 장치에 있어서,
    상기 조명 장치로부터 출력된 제1 패턴의 가시광에 의해 형성된 복수의 마킹 영역이 나타나는 이미지를 획득하는 카메라; 및
    상기 카메라 및 상기 조명 장치와 연결되는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 카메라로부터 제공되는 상기 이미지로부터 상기 복수의 마킹 영역을 검출하고, 상기 복수의 마킹 영역을 기초로, 상기 차량 주변에 위치하는 오브젝트를 검출하고,
    상기 검출된 오브젝트가 복수인 경우, 상기 차량의 주행 속도 및 상기 차량과 각 오브젝트 간의 거리를 기초로, 각 오브젝트마다 동일한 크기의 마킹 영역을 형성하기 위한 가시광을 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 패턴의 가시광을 소정 시간 동안 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지의 획득 시점이 상기 제1 패턴의 가시광의 출력 시점에 동기화되도록 상기 카메라를 제어하는, 운전 보조 장치.
  4. 제1항에 있어서,
    상기 카메라는,
    서로 소정 간격 이격된 제1 이미지 센서와 제2 이미지 센서를 포함하는 스테레오 카메라인, 운전 보조 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 제1 이미지 센서에 의해 획득된 제1 이미지와 상기 제2 이미지 센서에 의해 획득된 제2 이미지를 비교하여, 상기 복수의 마킹 영역에 대한 디스페리티 정보를 산출하고, 상기 디스페리티 정보를 기초로, 상기 오브젝트를 검출하는, 운전 보조 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 차량의 운전자의 요청이 있거나, 상기 차량 외부의 조도가 임계값 미만인 경우, 상기 제1 패턴의 가시광을 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 패턴의 가시광을 상기 차량의 주행 속도에 대응하는 광량으로 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 마킹 영역의 크기를 기초로, 상기 차량과 상기 오브젝트 간의 거리를 산출하는, 운전 보조 장치.
  9. 삭제
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 검출된 오브젝트 중 서로 인접한 두 오브젝트 간의 거리가 기준 거리 이상인 경우, 상기 두 오브젝트 사이의 영역으로 상기 제1 패턴보다 조밀한 제2 패턴의 가시광을 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 제2 패턴의 가시광에 의해 형성된 복수의 마킹 영역을 기초로, 상기 두 오브젝트 사이의 다른 오브젝트를 검출하는, 운전 보조 장치.
  12. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트의 검출이 완료된 경우, 상기 제1 패턴의 가시광의 출력을 중단하도록 상기 조명 장치를 제어하는, 운전 보조 장치.
  13. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트의 종류에 대응하는 광량의 가시광이, 상기 오브젝트로 투사되도록 상기 조명 장치를 제어하는, 운전 보조 장치.
  14. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트가 타차량인 경우, 상기 타차량에 탑승한 운전자의 눈으로 투사되는 가시광을 차단하도록 상기 조명 장치를 제어하는, 운전 보조 장치.
  15. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트가 보행자인 경우, 상기 보행자의 눈으로 투사되는 가시광을 차단하도록 상기 조명 장치를 제어하는, 운전 보조 장치.
  16. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트가 교통 표지인 경우, 상기 교통 표지로 투사되는 가시광의 광량을 증가시키도록 상기 조명 장치를 제어하는, 운전 보조 장치.
  17. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트가 낙하물인 경우, 상기 낙하물로 투사되는 가시광의 광량을 증가시키도록 상기 조명 장치를 제어하는, 운전 보조 장치.
  18. 제1항에 있어서,
    상기 조명 장치는, 적어도 하나의 레이저 다이오드를 포함하는 발광 소자; 및 상기 레이저 다이오드에 의해 출력되는 레이저 빔을 반사하도록 정렬된 복수의 마이크로 미러를 포함하는 리플렉터;를 포함하고,
    상기 프로세서는,
    상기 복수의 마이크로 미러 중 적어도 일부의 틸팅각을 조절하여 상기 제1 패턴의 가시광을 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.
  19. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트의 크기 및 위치를 기초로, 상기 차량의 주행 경로를 산출하고, 상기 주행 경로를 가이드하기 위한 가시광을 출력하도록 상기 조명 장치를 제어하는, 운전 보조 장치.
  20. 삭제
KR1020160000330A 2016-01-04 2016-01-04 운전 보조 장치 및 그 제어방법 KR101768500B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160000330A KR101768500B1 (ko) 2016-01-04 2016-01-04 운전 보조 장치 및 그 제어방법
PCT/KR2016/006545 WO2017119557A1 (ko) 2016-01-04 2016-06-20 운전 보조 장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160000330A KR101768500B1 (ko) 2016-01-04 2016-01-04 운전 보조 장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20170081375A KR20170081375A (ko) 2017-07-12
KR101768500B1 true KR101768500B1 (ko) 2017-08-17

Family

ID=59273729

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160000330A KR101768500B1 (ko) 2016-01-04 2016-01-04 운전 보조 장치 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR101768500B1 (ko)
WO (1) WO2017119557A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082980A1 (ja) * 2017-10-26 2019-05-02 株式会社小糸製作所 車両用前照灯システム、車両用ランプシステム
DE102017223434B4 (de) * 2017-12-20 2019-08-08 Audi Ag Verkürzung von Lichtführungsfunktionen
US11208085B2 (en) * 2018-02-09 2021-12-28 Mando Corporation Automotive braking control system, apparatus, and method considering weather condition
KR102601798B1 (ko) * 2018-09-04 2023-11-14 현대모비스 주식회사 차량용 헤드램프 제어 장치 및 방법
WO2020066837A1 (ja) * 2018-09-28 2020-04-02 株式会社小糸製作所 灯具システム
WO2020087352A1 (en) 2018-10-31 2020-05-07 SZ DJI Technology Co., Ltd. Method and apparatus for controlling a lighting system of a vehicle
EP3650271A1 (en) * 2018-11-09 2020-05-13 Valeo Vision Lane recognition for automotive vehicles
WO2020226138A1 (ja) * 2019-05-09 2020-11-12 株式会社小糸製作所 運転支援システム、車両、車両用灯具
KR102355592B1 (ko) * 2019-07-05 2022-01-27 울산과학기술원 불법주차 방지용 도로 조명장치
WO2021166814A1 (ja) * 2020-02-17 2021-08-26 株式会社小糸製作所 灯具システム
IL273288B2 (en) * 2020-03-12 2023-10-01 Elbit Systems Ltd A system and method for detecting relative motion between two or more bodies
US20220101022A1 (en) * 2020-09-29 2022-03-31 Rivian Ip Holdings, Llc Vehicle cliff and crevasse detection systems and methods
KR102309608B1 (ko) * 2020-10-21 2021-10-06 주식회사 노바테크 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311216A (ja) * 2005-04-28 2006-11-09 Aisin Seiki Co Ltd 車両周辺監視システム
KR101163042B1 (ko) * 2009-11-26 2012-07-05 재단법인대구경북과학기술원 차량 검출 장치 및 방법
KR101303758B1 (ko) * 2012-06-13 2013-09-06 주식회사 만도 카메라 시스템 및 그 제어방법
JP2015231816A (ja) * 2014-06-10 2015-12-24 トヨタ自動車株式会社 車両用前照灯制御装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101934750B1 (ko) * 2012-10-31 2019-01-03 현대모비스 주식회사 차량용 조명 시스템의 그 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006311216A (ja) * 2005-04-28 2006-11-09 Aisin Seiki Co Ltd 車両周辺監視システム
KR101163042B1 (ko) * 2009-11-26 2012-07-05 재단법인대구경북과학기술원 차량 검출 장치 및 방법
KR101303758B1 (ko) * 2012-06-13 2013-09-06 주식회사 만도 카메라 시스템 및 그 제어방법
JP2015231816A (ja) * 2014-06-10 2015-12-24 トヨタ自動車株式会社 車両用前照灯制御装置

Also Published As

Publication number Publication date
WO2017119557A1 (ko) 2017-07-13
KR20170081375A (ko) 2017-07-12

Similar Documents

Publication Publication Date Title
KR101768500B1 (ko) 운전 보조 장치 및 그 제어방법
US10479269B2 (en) Lighting apparatus for vehicle and vehicle having the same
US10737689B2 (en) Parking assistance apparatus and vehicle having the same
US10240937B2 (en) Display apparatus for vehicle and vehicle
KR101832466B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
US9952051B2 (en) Advanced driver assistance apparatus, display apparatus for vehicle and vehicle
US10127820B2 (en) Driver assistance apparatus and vehicle including the same
KR101916993B1 (ko) 차량용 디스플레이 장치 및 그 제어방법
CN106167045B (zh) 驾驶人员辅助装置及其控制方法
US10377309B2 (en) Driver assistance apparatus and control method for the same
KR101824982B1 (ko) 차량 및 그 제어방법
US20200361482A1 (en) Vehicle display device and vehicle
KR20180040235A (ko) 자동주차 보조장치 및 이를 포함하는 차량
KR102372566B1 (ko) 차량용 조명 장치 및 차량
KR101936629B1 (ko) 차량 및 그 제어방법
KR20170035238A (ko) 차량 및 그 제어방법
KR101850794B1 (ko) 주차 지원 장치 및 방법
KR101972352B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
KR101752798B1 (ko) 차량 및 그 제어방법
KR101850325B1 (ko) 차량용 조명 장치 및 차량

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant