KR102429490B1

KR102429490B1 - Bvm 영상 제공 기능을 가지는 svm 시스템 및 그 동작 방법

Info

Publication number: KR102429490B1
Application number: KR1020170113314A
Authority: KR
Inventors: 최재섭; 성갑제; 김준형; 이중렬; 안준식
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2017-09-05
Filing date: 2017-09-05
Publication date: 2022-08-05
Also published as: CN109429042A; US20190071029A1; KR20190026421A; CN109429042B; DE102018121559A1

Abstract

본 발명은 BVM 영상 제공 기능을 가지는 SVM 시스템 및 그 동작 방법에 관한 것으로, 차량의 주행상태에 따라 SVM(Surround View Monitoring) 모드 또는 BVM(Blind-spot View Monitoring) 모드로 동작함으로써, 각 모드에 최적화된 영상을 제공할 수 있는 SVM 시스템 및 그 동작 방법을 제공하고자 한다.
이를 위하여, 본 발명은 BVM 영상 제공 기능을 가지는 SVM 시스템에 있어서, SVM(Surround View Monitoring) 동작신호 또는 BVM(Blind-spot View Monitoring) 동작신호를 입력받는 신호 입력부; 전방카메라, 후방카메라, 좌측카메라, 우측카메라를 구비한 영상 촬영부; 상기 영상 촬영부에 의해 촬영된 영상을 이용하여 SVM 영상 또는 BVM 영상을 생성하는 뷰 변환부; SVM 영상을 디스플레이하는 제1 디스플레이; BVM 영상을 디스플레이하는 제2 디스플레이; 및 BVM 모드 시 좌측카메라 또는 우측카메라를 BVM 모드로 동작시키고, 좌측카메라 또는 우측카메라를 통해 촬영된 영상에 기초하여 BVM 영상을 생성하도록 상기 뷰 변환부를 제어하며, 상기 뷰 변환부에 의해 생성된 BVM 영상을 디스플레이하도록 상기 제2 디스플레이를 제어하는 제어부를 포함한다.

Description

BVM 영상 제공 기능을 가지는 SVM 시스템 및 그 동작 방법{SVM SYSTEM FOR PROVIDING BVM IMAGE AND OPERATION METHOD OF THE SAME}

본 발명은 BVM 영상 제공 기능을 가지는 SVM 시스템 및 그 동작 방법에 관한 것으로, 더욱 상세하게는 차량의 주행상태에 따라 SVM(Surround View Monitoring) 모드 또는 BVM(Blind-spot View Monitoring) 모드를 제공할 수 있는 SVM 시스템 및 그 동작 방법에 관한 것이다.

최근에는 운전의 안전성을 높이기 위해 지능형 운전자 보조 시스템(ADAS, Advanced Driver Assistance Systems)이 차량에 장착되고 있다.

이러한 ADAS은 차선이탈경고시스템(LDWS, Lane Departure Warning System), 전방추돌경보시스템(FCWS, Forward Collision Warning System), 운전자졸음방지(Driver Drowsiness Detection) 시스템, 보행자 감지(PD, Pedestrian Detection) 시스템, 교통표지인식(TSR, Traffic Sign Recognition) 시스템, 사각지대감시(BVM, Blind-spot View Monitoring) 시스템 등을 포함한다.

여기서, BVM 시스템은 운전자가 차선을 변경할 때 사이드미러를 통해 보이지 않는 사각지대에 대해서도 물체가 존재하는지를 알 수 있도록 해주는 보조 시스템으로서, 특수 제작된 BVM 전용 카메라를 통해서 사각지대를 감지하거나, 또는 물체 인식 센서 등을 통해서 감지하는 것이 일반적이다.

SVM 시스템이 적용된 차량에는 이미 SVM용 카메라가 설치되어 있음에도 불구하고, BVM 시스템을 위해 추가로 BVM용 카메라를 설치하는 것은 비용적으로 낭비를 초래한다.

이러한 SVM(Surround View Monitoring) 시스템에서 차량의 사각지대를 감시하는 종래의 기술은, SVM 카메라를 통해 촬영된 영상에 기초하여 BVM 영상을 생성한 후 디스플레이함에 있어, SVM 모드로 동작(SVM 촬영에 최적화된 AE(Auto Exposure) 튜닝 값이 적용된)하는 SVM 카메라를 이용하여 촬영한 영상으로부터 BVM 영상을 생성하기 때문에 최적의 BVM 영상을 생성할 수 없는 문제점이 있다.

즉, SVM 카메라는 영상의 전 영역을 측광하도록 튜닝 되어 있어 SVM 모드의 밝기에는 최적화되어 있지만, 차량의 사각지대 영상을 제공하는 BVM 모드에서는 후방 차량의 전조등에 의해 영상에서 포화현상이 발생하는 문제점이 있다.

결국, 종래의 기술은 야간 또는 터널 등에서 후방 차량의 전조등에 의해 발생하는 영상 내 포화현상(물체를 알아볼 수 없을 정도로 픽셀이 최대 밝기를 나타내는 현상)을 방지하지 못해 최적의 BVM 영상을 제공하지 못하는 문제점이 있다.

대한민국등록특허 제10-1729486호

상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 차량의 주행상태에 따라 SVM(Surround View Monitoring) 모드 또는 BVM(Blind-spot View Monitoring) 모드로 동작함으로써, 각 모드에 최적화된 영상을 제공할 수 있는 SVM 시스템 및 그 동작 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 장치는, BVM 영상 제공 기능을 가지는 SVM 시스템에 있어서, SVM(Surround View Monitoring) 동작신호 또는 BVM(Blind-spot View Monitoring) 동작신호를 입력받는 신호 입력부; 전방카메라, 후방카메라, 좌측카메라, 우측카메라를 구비한 영상 촬영부; 상기 영상 촬영부에 의해 촬영된 영상을 이용하여 SVM 영상 또는 BVM 영상을 생성하는 뷰 변환부; SVM 영상을 디스플레이하는 제1 디스플레이; BVM 영상을 디스플레이하는 제2 디스플레이; 및 BVM 모드 시 좌측카메라 또는 우측카메라를 BVM 모드로 동작시키고, 좌측카메라 또는 우측카메라를 통해 촬영된 영상에 기초하여 BVM 영상을 생성하도록 상기 뷰 변환부를 제어하며, 상기 뷰 변환부에 의해 생성된 BVM 영상을 디스플레이하도록 상기 제2 디스플레이를 제어하는 제어부를 포함한다.

여기서, 상기 좌측 카메라 및 상기 우측 카메라는 상기 제어부의 제어하에 SVM 모드 또는 BVM 모드로 동작할 수 있다. 또한, 상기 BVM 모드는 상기 좌측 카메라 또는 상기 우측 카메라에 의해 촬영된 영상 내에 포화영역이 발생하지 않도록 윈도우의 영역별 노출시간이 조절된 모드를 의미한다.

또한, 상기 신호 입력부는 SVM 모드 신호를 생성하는 SVM 버튼; 및 BVM 동작신호로서 좌회전신호 및 우회전신호를 생성하는 턴 시그널 입력기를 포함할 수 있다.

또한, 상기 제어부는 상기 좌회전신호가 입력되면 좌측카메라를 BVM 모드로 동작시키고, 상기 좌측카메라를 통해 촬영된 영상에 기초하여 BVM 영상을 생성하도록 상기 뷰 변환부를 제어할 수 있다. 이때, 상기 뷰 변환부는 상기 BVM 영상이 차량의 좌측 사각지대 영상임을 알리는 아이콘을 상기 BVM 영상에 합성할 수도 있다.

또한, 상기 제어부는 상기 우회전신호가 입력되면 우측카메라를 BVM 모드로 동작시키고, 상기 우측카메라를 통해 촬영된 영상에 기초하여 BVM 영상을 생성하도록 상기 뷰 변환부를 제어할 수 있다. 이때, 상기 뷰 변환부는 상기 BVM 영상이 차량의 우측 사각지대 영상임을 알리는 아이콘을 상기 BVM 영상에 합성할 수도 있다.

상기 목적을 달성하기 위한 본 발명의 방법은, SVM 시스템에서의 BVM 영상 제공 방법에 있어서, 신호 입력부가 BVM(Blind-spot View Monitoring) 동작신호를 입력받는 단계; 제어부가 카메라를 BVM 모드로 동작시키는 단계; 뷰 변환부가 카메라에 의해 촬영된 영상을 이용하여 BVM 영상을 생성하는 단계; 및 디스플레이가 상기 생성된 BVM 영상을 디스플레이하는 단계를 포함한다.

여기서, 상기 카메라는 상기 제어부의 제어하에 SVM 모드 또는 BVM 모드로 동작할 수 있다. 또한, 상기 BVM 모드는 상기 카메라에 의해 촬영된 영상 내에 포화영역이 발생하지 않도록 윈도우의 영역별 노출시간이 조절된 모드일 수 있다.

또한, 상기 BVM 동작신호는 차량의 좌회전신호 또는 우회전신호를 포함할 수 있다.

또한, 상기 BVM 모드로 동작시키는 단계는 상기 좌회전신호가 입력되면 좌측카메라를 BVM 모드로 동작시킬 수도 있다.

또한, 상기 BVM 영상을 생성하는 단계는 상기 좌측카메라를 통해 촬영된 영상에 기초하여 BVM 영상을 생성하는 단계; 및 상기 생성된 BVM 영상이 차량의 좌측 사각지대 영상임을 알리는 아이콘을 상기 BVM 영상에 합성하는 단계를 포함할 수도 있다.

또한, 상기 BVM 모드로 동작시키는 단계는 상기 우회전신호가 입력되면 우측카메라를 BVM 모드로 동작시킬 수도 있다.

또한, 상기 BVM 영상을 생성하는 단계는 상기 우측카메라를 통해 촬영된 영상에 기초하여 BVM 영상을 생성하는 단계; 및 상기 생성된 BVM 영상이 차량의 우측 사각지대 영상임을 알리는 아이콘을 상기 BVM 영상에 합성하는 단계를 포함할 수도 있다.

상기와 같은 본 발명은, 차량의 주행상태에 따라 SVM(Surround View Monitoring) 모드 또는 BVM(Blind-spot View Monitoring) 모드로 동작함으로써, 각 모드에 최적화된 영상을 제공할 수 있는 효과가 있다.

도 1 은 본 발명에 따른 BVM 영상 제공 기능을 가지는 SVM 시스템의 일실시예 구성도,
도 2 는 본 발명에 따른 신호 입력부의 일실시예 상세 구성도,
도 3 은 본 발명에 따른 뷰 변환부의 일실시예 상세 구성도,
도 4 는 본 발명에 따른 BVM 영상 생성 과정에 대한 일실시예 설명도,
도 5 는 본 발명에 따른 BVM 영상의 디스플레이 상태를 나타내는 일예시도,
도 6 은 본 발명에 따른 BVM 모드로 동작하기 위한 카메라의 튜닝 과정을 나타내는 일실시예 설명도,
도 7 은 본 발명에 따른 SVM 시스템에서 BVM 영상 제공 방법에 대한 일실시예 흐름도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1 은 본 발명에 따른 BVM 영상 제공 기능을 가지는 SVM 시스템의 일실시예 구성도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 BVM 영상 제공 기능을 가지는 SVM 시스템은, 신호 입력부(10), 카메라(20), 뷰 변환부(30), 제1 디스플레이(40), 제2 디스플레이(50), 및 제어부(60)를 포함한다.

상기 각 구성요소들에 대해 살펴보면, 먼저 신호 입력부(10)는 BVM 모드(BVM 화질 최적화 모드) 또는 SVM 모드(SVM 화질 최적화 모드)로의 동작 여부를 결정하는데 기준이 되는 신호를 입력받는 모듈로서, 제1신호가 입력되면 BVM 모드로 동작하고, 제2신호가 입력되면 SVM 모드로 동작할 수 있다.

이러한 신호 입력부(10)는 일례로, 도 2에 도시된 바와 같이 턴 시그널 입력기(11)와 SVM 버튼(12)을 포함할 수 있다.

턴 시그널 입력기(11)는 차량의 멀티 펑션 스위치(Multi-Function Switch)로 구현될 수 있으며, 운전자의 조작에 의해 상기 멀티 펑션 스위치는 BVM 활성화신호를 생성할 수 있다. 이때, BVM 활성화신호는 차량의 좌회전신호와 우회전신호를 포함한다.

SVM 버튼(12)은 SVM 모드로의 동작을 지시하는 신호를 입력받는 모듈로서 운전자에 의해 버튼이 눌리면 SVM 모드의 활성화신호를 생성할 수 있다.

추가로, 신호 입력부(10)는 차량의 후진 감지기(미도시)를 더 포함하여 차량의 기어가 R단에 위치하면 자동으로 SVM 모드의 활성화신호를 생성할 수도 있다.

또한, 신호 입력부(10)는 사용자 스위치를 통해 BVM 활성화신호를 입력받을 수도 있고, 차량 내 각종 시스템(BCW(Blind-spot Collision Warning), HDA(Highway Driving Assist) 등)과 연계하여 BVM 활성화신호를 입력받을 수도 있다.

다음으로, 카메라(20)는 차량 주변의 영상을 촬영하는 영상 촬영부로서, 전방 카메라(21), 후방 카메라(22), 좌측 카메라(23), 우측 카메라(24)를 포함할 수 있다. 이러한 카메라(21 내지 24)는 SVM 시스템에 구비되는 필수 구성요소로서 최적의 SVM 영상을 촬영할 수 있도록 튜닝 되어 있다. 특히, 좌측 카메라(23)와 우측 카메라(24)는 본 발명에서 BVM 영상을 제공하는데 이용되므로, 제어부(60)의 제어하에 제1 모드 또는 제2 모드로 동작할 수 있도록 세팅되어 있다. 여기서, 제1 모드는 SVM 영상 촬영에 최적화된 모드를 의미하고, 제2 모드는 BVM 영상 촬영에 최적화된 모드를 의미한다.

전방 카메라(21)는 차량의 전면에 위치하여, 차량의 전방 이미지를 획득하는데 이용될 수 있다. 특히, 전방 카메라(21)는 차량의 양쪽 헤드램프 사이의 중앙 부분에 위치할 수 있으나, 이에 한정되는 것은 아니다.

후방 카메라(22)는 차량의 후면에 위치하여, 차량의 후방 이미지를 획득하는데 이용될 수 있다. 특히, 후방 카메라(22)는 차량의 양쪽 후방 램프 사이의 중앙 부분에 위치할 수 있으나, 이에 한정되는 것은 아니다.

좌측 카메라(23)는 차량의 좌측면에 위치하여, 차량의 좌측 이미지를 획득하는데 이용될 수 있다. 특히, 좌측 카메라(23)는 차량의 좌측 사이드미러의 하부에 위치할 수 있으나, 이에 한정되는 것은 아니다.

우측 카메라(24)는 차량의 우측면에 위치하여, 차량의 우측 이미지를 획득하는데 이용될 수 있다. 특히, 우측 카메라(24)는 차량의 우측 사이드미러의 하부에 위치할 수 있으나, 이에 한정되는 것은 아니다.

다음으로, 뷰 변환부(30)는 제어부(60)의 제어하에 BVM 모드 또는 SVM 모드로 동작할 수 있다.

뷰 변환부(30)는 BVM 모드로 동작하는 경우, 카메라(20)에 의해 촬영된 영상을 이용하여 BVM 영상을 생성한다. 즉, 뷰 변환부(30)는 차량의 좌측 카메라(23)에 의해 촬영된 영상을 이용하여 BVM 영상을 생성할 수도 있고, 차량의 우측 카메라(24)에 의해 촬영된 영상을 이용하여 BVM 영상을 생성할 수도 있다. 이때, BVM 영상은 사이드미러보다 넓은 화각의 영상으로서 차체의 일부를 포함할 수 있다.

뷰 변환부(30)는 SVM 모드로 동작하는 경우, 카메라(21 내지 24)에 의해 촬영된 영상을 이용하여 SVM 영상을 생성한다.

이하, 도 3을 참조하여 뷰 변환부(30)의 상세 구성에 대해 살펴보기로 한다.

도 3에 도시된 바와 같이, 뷰 변환부(30)는 SVM 영상 생성기(31), BVM 영상 생성기(32), 및 아이콘 합성기(33)를 포함할 수 있다.

SVM 영상 생성기(31)는 전방 카메라(21)와 후방 카메라(22)와 좌측 카메라(23) 및 우측 카메라(24)에 의해 각각 촬영된 영상을 이용하여 SVM 영상을 생성한다.

이러한 SVM 영상 생성기(31)는 메모리, 영상 변환기, 검출기, 영상 합성기, 및 영상 보정기를 포함할 수 있다.

전방 카메라(21)와 후방 카메라(22)와 좌측 카메라(23) 및 우측 카메라(24)에 의해 각각 촬영된 차량의 전, 후, 좌, 우측의 영상은 SVM(Surround View Monitoring) 영상의 생성을 위해 영상 변환기로 전달된다.

메모리는 SVM 시스템의 동작을 위한 각종 설정값이 저장되며, 각 동작에 대한 상태 정보 및 결과 등이 저장될 수 있다. 일예로서, 메모리는 자차의 SVM 영상 및 주변차량의 SVM 영상을 저장할 수 있으며, 자차의 SVM 영상과 주변차량의 SVM 영상에 대한 합성 영상을 저장할 수 있다. 또한, 메모리는 SVM 영상의 합성을 위한 영상 합성 알고리즘을 저장할 수도 있다.

메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

영상 변환기는 카메라(20)에 의해 촬영된 자차 주변의 영상으로부터 자차의 SVM 영상을 생성한다. 이때, 영상 변환기는 SVM 영상의 생성을 위해 자차 주변에서 촬영된 영상을 탑 뷰(top view) 영상으로 뷰 변환할 수 있다.

영상 변환기는 외부로부터 입력받은 주변차량의 SVM 영상을 변환할 수 있다. 이때, 영상 변환기는 자차와 주변차량의 위치를 토대로 자차와 주변차량 간 상대위치를 파악하고, 자차의 위치를 기준으로 주변차량의 SVM 영상을 변환한다. 일예로서, 영상 변환기는 자차의 위치 및 방향과 주변차량의 위치 및 방향을 비교하여 주변차량의 SVM 영상을 자차의 위치를 기준으로 이동시키고, 자차 방향을 기준으로 주변차량의 SVM 영상을 회전시키도록 한다. 여기서, 주변차량의 방향이 자차의 방향과 동일한 경우에는 주변차량의 SVM 영상을 회전시키지 않을 수 있다.

검출기는 자차의 SVM 영상 및 주변차량의 SVM 영상을 비교하여, 자차의 SVM 영상과 주변차량의 SVM 영상 간 겹침 영역을 검출한다.

영상 합성기는 검출기에 의해 검출된 겹침 영역을 기준으로 자차의 SVM 영상과 주변차량의 SVM 영상을 합성한다. 이때, 영상 합성기는 자차의 SVM 영상 및 상기 주변차량의 SVM 영상 각각의 직선 성분, 거리값 및 화소값 중 적어도 하나를 기준으로 가중치를 부여할 수 있으며, 각 SVM 영상이 중첩되는 영역에 대해서는 부여된 가중치의 가중합을 산출하여 가중합을 토대로 자차의 SVM 영상 및 주변차량의 SVM 영상을 합성할 수 있다.

영상 합성기는 자차의 SVM 영상 및 주변차량의 SVM 영상을 합성함에 있어, 자차의 SVM 영상 상에 주변차량의 SVM 영상을 합성할 수 있다. 이 경우, 합성된 SVM 영상은 자차의 SVM 영상과 가시범위가 동일하게 된다.

영상 합성기는 자차의 SVM 영상과 주변차량의 SVM 영상의 각 영역을 모두 포함하도록 합성된 SVM 영상을 생성할 수 있다.

영상 합성기는 연속적인 SVM 영상을 합성하는 경우, 해당 차량의 궤적 정보를 기반으로 각 SVM 영상을 합성할 수 있으며, 겹침 영역 외에도 각 SVM 영상의 특징점을 기준으로 SVM 영상을 합성할 수 있다.

영상 보정기는 영상 합성기에 의해 합성된 SVM 영상의 경계 영역 및 빈 영역을 보정한다. 일 예로서, 영상 보정기는 각 SVM 영상을 합성함에 있어 영상 왜곡을 최소화하기 위하여 경계 영역을 블렌딩(blending) 처리할 수 있으며, 가중합의 크기가 작거나 정보가 없는 영역에 대해서는 해당 차량의 주변정보를 참고하여 보간하거나 빈공간으로 처리할 수 있다.

BVM 생성기(32)는 제어부(60)에 제어에 따라 차량의 좌측 카메라(23)에 의해 촬영된 영상을 이용하여 BVM 영상을 생성할 수도 있고, 차량의 우측 카메라(24)에 의해 촬영된 영상을 이용하여 BVM 영상을 생성할 수도 있다.

아이콘 합성기(33)는 제어부(60)의 제어하에, BVM 영상 생성기(32)에 의해 생성된 BVM 영상에 아이콘을 합성한다. 즉, 아이콘 합성기(33)는 BVM 영상 생성기(32)에 의해 차량의 좌측에 상응하는 BVM 영상이 생성된 경우, 상기 BVM 영상이 차량의 좌측임을 나타내는 아이콘을 상기 BVM 영상에 합성한다. 또한, 아이콘 합성기(33)는 BVM 영상 생성기(32)에 의해 차량의 우측에 상응하는 BVM 영상이 생성된 경우, 상기 BVM 영상이 차량의 우측임을 나타내는 아이콘을 상기 BVM 영상에 합성한다.

이하, 도 4를 참조하여 BVM 생성기(32)와 아이콘 합성기(33)의 동작에 대해 살펴보기로 한다.

도 4 는 본 발명에 따른 BVM 영상 생성 과정에 대한 일실시예 설명도로서, 좌측 카메라(23)를 통해 획득한 영상에 기초하여 BVM 영상을 생성하는 과정을 나타낸다.

도 4에 도시된 바와 같이, (a)는 우측 카메라(24)에 의해 촬영된 차량의 우측 영상을 나타낸다. 이때, 우측 카메라(24)뿐만 아니라 전방 카메라(21)와 후방 카메라(22) 및 좌측 카메라(23) 역시 SVM 시스템에 구비된 카메라이기 때문에 어안 렌즈가 장착되어 (a)와 같은 형태의 영상이 촬영된다. 또한, 카메라(21 내지 24)는 SVM 시스템에 적용된 카메라이기 때문에 최적의 SVM 영상을 촬영하기 위해 도로면을 향하도록 장착되어 촬영된 영상의 대부분은 도로면이 차지한다.

(b)는 (a)영상을 기초로 BVM 영상 생성기(32)에 의해 생성된 BVM 영상을 나타내고, (c)는 아이콘 이미지로서 (b)영상이 차량의 우측 사각지대 영상임을 나타낸다.

아이콘 합성기(33)는 (b)영상에 (c)영상을 합성하여 (d)영상을 생성한다. 이때, 아이콘 합성기(33)는 좌측 카메라(23)에 의해 촬영된 영상에 기초하여 BVM 영상이 생성된 경우, 상기 BVM 영상이 차량의 좌측 사각지대 영상임을 알리는 아이콘 이미지(미도시)를 합성한다.

다음으로, 제1 디스플레이(40)는 SVM 영상을 디스플레이하기 위한 모듈로서, 일례로 차량의 센터페시아(center fascia)에 위치하는 AVN(Audio Video Navigation) 디스플레이를 포함한다. 이때, 센터페시아는 대시보드 중앙에서 운전석과 조수석 사이에 위치하는 컨트롤 패널 보드를 의미한다.

다음으로, 제2 디스플레이(50)는 BVM 영상을 디스플레이하기 위한 모듈로서, 일례로 클러스터 및 HUD(Head Up Display)를 포함한다.

이러한 제1 디스플레이(40) 및 제2 디스플레이(50)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

제1 디스플레이(40) 및 제2 디스플레이(50)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.

다음으로, 제어부(60)는 상기 각 구성요소들이 제 기능을 정상적으로 수행할 수 있도록 전반적인 제어를 수행한다.

특히, 제어부(60)는 신호 입력부(10)를 통해 입력받은 신호에 따라 SVM 모드 또는 BVM 모드를 판단한 후 하기의 과정을 수행한다. 이때, 제어부(60)는 운전자에 의해 SVM 버튼이 눌려지거나 차량의 기어 단이 후진에 위치하면 SVM 모드로 판단하고, 턴 시그널이 입력되면 BVM 모드로 판단한다. 또한, BVM 모드 시 좌회전신호가 입력되면 좌측 카메라(23)를 활성화하고 우회전신호가 입력되면 우측 카메라(24)를 활성화하며, 이를 뷰 변환부(30)에 알린다.

SVM 모드로 동작하는 경우, 제어부(60)는 제1 디스플레이(40)를 활성화하고, 전방 카메라(21)와 후방 카메라(22)와 좌측 카메라(23) 및 우측 카메라(24)를 모두 활성화하며, SVM 영상을 생성하도록 뷰 변환부(30)를 제어한다.

BVM 모드로 동작하는 경우, 제어부(60)는 제2 디스플레이(50)를 활성화하고(이때, 제2 디스플레이(50)가 이미 활성화되어 있으면 수행하지 않음), 좌회전신호가 입력되면 좌측 카메라(23)를 활성화하고 우회전신호가 입력되면 우측 카메라(24)를 활성화하며, 좌측 카메라(23)가 활성화된 경우 차량의 좌측 사각지대 영상을 생성(좌측임을 알리는 아이콘 이미지 합성)하도록 뷰 변환부(30)를 제어하고, 우측 카메라(24)가 활성화된 경우 차량의 우측 사각지대 영상을 생성(우측임을 알리는 아이콘 이미지 합성)하도록 뷰 변환부(30)를 제어한다.

또한, 제어부(60)는 도 4에 도시된 바와 같이 뷰 변환부(30)에 의해 생성된 BVM 영상(d)을 디스플레이하도록 제2 디스플레이(50)를 제어한다. 이렇게 디스플레이된 BVM 영상은 일례로, 도 5에 도시된 바와 같다.

도 5에서 제2 디스플레이(50)는 클러스터를 나타내며, 디스플레이 화면의 일측 상단에 현재 디스플레이되고 있는 BVM 영상이 차량의 좌측인지 우측인지를 나타내는 아이콘 이미지가 표시된다. HUD의 경우에도 동일한 방식으로 BVM 영상을 표시할 수 있다.

한편, 제어부(60)는 좌측 카메라(23) 및 우측 카메라(24)가 BVM 모드로 동작하는 경우에 튜닝, 즉 AE(Auto Exposure)를 설정하는 과정에 대해 도 6을 참조하여 상세히 살펴보도록 한다. 이는 야간 시나 터널 주행시 후방 차량의 전조등에 의해 영상 내에 포화현상(영상 내 특정 영역의 밝기가 임계치를 초과하는 상태)이 발생하여 최적의 BVM 영상을 생성하지 못하게 하는 문제점을 해결하기 위한 방안이다.

도 6 은 본 발명에 따른 BVM 모드로 동작하기 위한 카메라의 튜닝 과정을 나타내는 일실시예 설명도이다.

일반적으로, SVM 시스템에 적용된 카메라(21 내지 24)는 어안렌즈를 구비하며 도로면을 향하도록 장착되기 때문에 촬영된 영상의 대부분은 도로영역이 차지한다. 카메라(21 내지 24)는 촬영 영상의 전체 밝기(전체 픽셀의 밝기)에 따라 자동 노출을 제어(영상의 밝기 조절)하는데, 촬영 영상 내에서 비교적 어둡게 나타나는 도로영역의 비율이 높아 촬영 영상이 어둡다고 판단하여 전체 밝기가 밝아지도록 자동 노출을 제어한다.

이렇게 촬영된 SVM 영상은 SVM 시스템에서는 최적이지만, 이러한 SVM 영상을 BVM 영상으로 변환하는 경우, BVM 영상으로 변환되는 SVM 영상 내 영역에서 포화현상이 발생하여 최적의 SVM 영상을 생성할 수 없다.

도 6은 이를 해결하기 위한 과정이다.

먼저, BVM 영상으로 변환되는 SVM 영상 내 영역을 검출하기 위해 제어부(60)는 도 4의 (a)영상의 윈도우(CCD 센서의 감지영역, CMOS 센서의 감지영역)를 소정 개수의 영역으로 균등 분할한 후 0부터 순차적으로 식별번호를 할당한다. 이렇게 식별번호가 할당된 영상은 도 6의 (a)에 도시된 바와 같다.

이후, 제어부(60)는 뷰 변환부(30)를 통해 도 6의 (a)영상을 BVM 영상으로 변환한다. 이렇게 변환된 영상은 도 6의 (b)와 같으며, 이때 분할된 영역 역시 변환 과정에서 그 영역의 위치 및 크기가 달라짐을 알 수 있다.

이후, 제어부(60)는 도 6의 (b)영상에서 각 영역의 픽셀 수를 카운팅한다. 그 결과는 도 6의 (c)에 도시된 바와 같다.

이후, 제어부(60)는 가장 큰 영역의 가중치를 100%(최대치)로 설정하고, 상기 가장 큰 영역의 면적을 기준으로 그 비율에 따라 나머지 영역의 가중치를 설정한다. 그 결과는 도 6의 (d)에 도시된 바와 같다. 일례로, 가장 큰 영역의 면적이 10인 경우(이때 가중치 100%), 다른 영역의 면적이 5라면 가중치는 50%가 된다.

이후, 제어부(60)는 도 6의 (d)에 도시된 바와 같은 윈도우의 영역별 가중치를 우측 카메라(24)에 설정한다. 이때, 좌측 카메라(23)의 경우도 동일한 방식으로 처리하면 된다.

그러면, 우측 카메라(24)는 가중치가 부여된 영역의 밝기(영역 내 픽셀의 밝기)에 기초하여 자동 노출을 조절한다. 이때, 각 영역의 가중치를 반영하여 해당 영역의 밝기를 조절한 후 각 영역의 밝기에 기초하여 자동 노출을 조절할 수도 있다.

예를 들어, 제1영역의 밝기는 10이고 가중치는 100%, 제2영역의 밝기는 10이고 가중치는 50%이며, 제3영역의 밝기는 10이고 가중치는 10%, 제4영역 내지 제10영역은 가중치를 부여받지 못한 경우, 제1영역 내지 제3영역의 밝기만을 고려하여 자동 노출을 제어하되, 제1영역의 밝기는 10, 제2영역의 밝기는 5, 제3영역의 밝기는 1을 반영하여 자동 노출을 제어할 수도 있다.

참고로, 노출 정도는 셔터 스피드, 조리개 개방 정도, 게인 값(아날로그 게인 값, 디지털 게인 값) 등의 조합에 의해 결정된다.

결국, 좌측 카메라(23) 및 우측 카메라(24)는 제어부(60)의 제어하에 제1 모드(SVM 모드) 또는 제2 모드(BVM 모드)로 설정될 수 있으며, 특히 제2 모드는 도 6에서 상술한 바와 같은 방식으로 튜닝된 상태에서 영상을 촬영하기 때문에 영상 내 포화현상을 방지할 수 있다.

도 7 은 본 발명에 따른 SVM 시스템에서 BVM 영상 제공 방법에 대한 일실시예 흐름도로서, SVM 영상을 제공하는 과정은 본 발명의 핵심 요지는 아닌 바, BVM 영상을 제공하는 과정에 대해서만 살펴보기로 한다.

먼저, 신호 입력부(10)가 BVM(Blind-spot View Monitoring) 동작신호를 입력받는다(701). 이때, SVM 동작신호를 입력받을 수도 있다.

이후, 제어부(60)가 좌측카메라(23) 또는 우측카메라(24)를 BVM 모드로 동작시킨다(702). 이때, 제어부(60)는 신호 입력부(10)로부터 BVM 동작신호로서 차량의 좌회전신호를 입력받으면 좌측카메라(23)를 BVM 모드로 동작시키고, 차량의 우회전신호를 입력받으면 우측카메라(24)를 BVM 모드로 동작시킨다.

이후, 뷰 변환부(30)가 좌측카메라(23) 또는 우측카메라(24)에 의해 촬영된 영상을 이용하여 BVM 영상을 생성한다(703). 이때, 뷰 변환부(30)는 제어부(60)의 제어하에 좌측카메라(23)에 의해 촬영된 영상을 이용하여 BVM 영상을 생성할 수도 있고, 우측카메라(24)에 의해 촬영된 영상을 이용하여 BVM 영상을 생성할 수도 있다.

이후, 제2 디스플레이(50)가 상기 생성된 BVM 영상을 디스플레이한다(704). SVM 영상은 제1 디스플레이(40)에 의해 디스플레이된다.

이러한 과정을 통해 SVM 시스템에서 최적의 BVM 영상을 제공할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10 : 신호 입력부
20 : 카메라
30 : 뷰 변환부
40 : 제1 디스플레이
50 : 제2 디스플레이
60 : 제어부

Claims

SVM(Surround View Monitoring) 동작신호 또는 BVM(Blind-spot View Monitoring) 동작신호를 입력받는 신호 입력부;
전방카메라, 후방카메라, 좌측카메라, 우측카메라를 구비한 영상 촬영부;
상기 영상 촬영부에 의해 촬영된 영상을 이용하여 SVM 영상 또는 BVM 영상을 생성하는 뷰 변환부;
SVM 영상을 디스플레이하는 제1 디스플레이;
BVM 영상을 디스플레이하는 제2 디스플레이; 및
BVM 모드 시 좌측카메라 또는 우측카메라를 BVM 모드로 동작시키고, 좌측카메라 또는 우측카메라를 통해 촬영된 영상에 기초하여 BVM 영상을 생성하도록 상기 뷰 변환부를 제어하며, 상기 뷰 변환부에 의해 생성된 BVM 영상을 디스플레이하도록 상기 제2 디스플레이를 제어하는 제어부를 포함하되,
상기 제어부는,
BVM 영상으로 변환되는 SVM 영상 내 각 영역을 대상으로, 변환 후의 각 영역의 크기 비율에 따라 가중치를 설정하고, 각 영역별 가중치를 상기 좌측 카메라 또는 상기 우측 카메라에 설정하며,
상기 좌측 카메라 또는 상기 우측 카메라는,
상기 각 영역별 가중치에 상응하는 밝기에 기초하여 자동 노출을 조절하는 것을 특징으로 하는 BVM 영상 제공 기능을 가지는 SVM 시스템.
제 1 항에 있어서,
상기 좌측 카메라 및 상기 우측 카메라는,
상기 제어부의 제어하에 SVM 모드 또는 BVM 모드로 동작하는 것을 특징으로 하는 BVM 영상 제공 기능을 가지는 SVM 시스템.
제 2 항에 있어서,
상기 좌측 카메라 및 상기 우측 카메라는,
BVM 영상으로 변환되는 SVM 영상 내 영역에 포화가 발생하지 않도록 자동 노출을 조절하는 것을 특징으로 하는 BVM 영상 제공 기능을 가지는 SVM 시스템.
제 1 항에 있어서,
상기 신호 입력부는,
SVM 모드 신호를 생성하는 SVM 버튼; 및
BVM 동작신호로서 좌회전신호 및 우회전신호를 생성하는 턴 시그널 입력기
를 포함하는 BVM 영상 제공 기능을 가지는 SVM 시스템.
제 4 항에 있어서,
상기 제어부는,
상기 좌회전신호가 입력되면 좌측카메라를 BVM 모드로 동작시키고, 상기 좌측카메라를 통해 촬영된 영상에 기초하여 BVM 영상을 생성하도록 상기 뷰 변환부를 제어하는 것을 특징으로 하는 BVM 영상 제공 기능을 가지는 SVM 시스템.
제 5 항에 있어서,
상기 뷰 변환부는,
상기 BVM 영상이 차량의 좌측 사각지대 영상임을 알리는 아이콘을 상기 BVM 영상에 합성하는 것을 특징으로 하는 BVM 영상 제공 기능을 가지는 SVM 시스템.
제 4 항에 있어서,
상기 제어부는,
상기 우회전신호가 입력되면 우측카메라를 BVM 모드로 동작시키고, 상기 우측카메라를 통해 촬영된 영상에 기초하여 BVM 영상을 생성하도록 상기 뷰 변환부를 제어하는 것을 특징으로 하는 BVM 영상 제공 기능을 가지는 SVM 시스템.
제 7 항에 있어서,
상기 뷰 변환부는,
상기 BVM 영상이 차량의 우측 사각지대 영상임을 알리는 아이콘을 상기 BVM 영상에 합성하는 것을 특징으로 하는 BVM 영상 제공 기능을 가지는 SVM 시스템.
제 1 항에 있어서,
상기 제2 디스플레이는,
클러스터 및 HUD(Head Up Display)를 포함하는 BVM 영상 제공 기능을 가지는 SVM 시스템.
신호 입력부가 BVM(Blind-spot View Monitoring) 동작신호를 입력받는 단계;
제어부가 카메라를 BVM 모드로 동작시키는 단계;
뷰 변환부가 상기 카메라에 의해 촬영된 영상을 이용하여 BVM 영상을 생성하는 단계; 및
디스플레이가 상기 생성된 BVM 영상을 디스플레이하는 단계를 포함하되,
상기 카메라를 BVM 모드로 동작시키는 단계는,
상기 제어부가 BVM 영상으로 변환되는 SVM 영상 내 각 영역을 대상으로, 변환 후의 크기 비율에 따라 가중치를 설정하고, 각 영역별 가중치를 카메라에 설정하는 단계; 및
상기 카메라가 상기 각 영역별 가중치에 상응하는 밝기에 기초하여 자동 노출을 조절하는 단계
를 포함하는 SVM 시스템에서의 BVM 영상 제공 방법.
제 10 항에 있어서,
상기 카메라는,
상기 제어부의 제어하에 SVM 모드 또는 BVM 모드로 동작하는 것을 특징으로 하는 SVM 시스템에서의 BVM 영상 제공 방법.
제 11 항에 있어서,
상기 카메라는,
BVM 영상으로 변환되는 SVM 영상 내 영역에 포화가 발생하지 않도록 자동 노출을 조절하는 것을 특징으로 하는 SVM 시스템에서의 BVM 영상 제공 방법.
제 10 항에 있어서,
상기 BVM 동작신호는,
차량의 좌회전신호 또는 우회전신호인 것을 특징으로 하는 SVM 시스템에서의 BVM 영상 제공 방법.
제 13 항에 있어서,
상기 BVM 모드로 동작시키는 단계는,
상기 좌회전신호가 입력되면 좌측카메라를 BVM 모드로 동작시키는 것을 특징으로 하는 SVM 시스템에서의 BVM 영상 제공 방법.
제 14 항에 있어서,
상기 BVM 영상을 생성하는 단계는,
상기 좌측카메라를 통해 촬영된 영상에 기초하여 BVM 영상을 생성하는 단계; 및
상기 생성된 BVM 영상이 차량의 좌측 사각지대 영상임을 알리는 아이콘을 상기 BVM 영상에 합성하는 단계
를 포함하는 SVM 시스템에서의 BVM 영상 제공 방법.
제 13 항에 있어서,
상기 BVM 모드로 동작시키는 단계는,
상기 우회전신호가 입력되면 우측카메라를 BVM 모드로 동작시키는 것을 특징으로 하는 SVM 시스템에서의 BVM 영상 제공 방법.
제 16 항에 있어서,
상기 BVM 영상을 생성하는 단계는,
상기 우측카메라를 통해 촬영된 영상에 기초하여 BVM 영상을 생성하는 단계; 및
상기 생성된 BVM 영상이 차량의 우측 사각지대 영상임을 알리는 아이콘을 상기 BVM 영상에 합성하는 단계
를 포함하는 SVM 시스템에서의 BVM 영상 제공 방법.
제 10 항에 있어서,
상기 디스플레이는,
클러스터 및 HUD(Head Up Display)를 포함하는 SVM 시스템에서의 BVM 영상 제공 방법.