KR20160030680A - 차량내 영상 시스템 및 영상처리 방법 - Google Patents

Abstract

차량내 영상 시스템 및 영상처리 방법이 개시된다. 본 발명의 일실시예는, 원영상으로부터 후방차량 인식을 위한 제1영상과 후방의 주차보조를 위한 제2영상을 분할하고, 제1영상으로부터 후방차량의 번호판의 크기를 결정하여 번호판의 크기로부터 차량과 후방차량의 거리를 결정하고, 차량의 후진모드에서 제2영상을 디스플레이부에 디스플레이한다.

Description

차량내 영상 시스템 및 영상처리 방법{IMAGE SYSTEM IN VEHICLE AND IMAGE PROCESSING METHOD THEREOF}

본 발명은 차량내 영상 시스템 및 영상처리 방법에 관한 것이다.

최근 운전자의 시야를 확장하기 위한 카메라 장치가 영상센서에 의해 다양한 영상이 촬영되면서, 차량의 기능과 결합하여 다양한 운전자 편의를 제공하고 있다.

예컨데, 후방의 차량의 거리를 인식하는 시스템이 개시되어 있으며, 후방의 차량의 거리를 인식함으로써 충돌을 방지하는 것으로서, 사전 충돌에 대한 위험을 인지하게 하여 충돌에 대한 사전 준비를 가능하게 한다.

또한, 주차시 후방을 촬영하여 사용자가 주차를 용이하게 하는 것도 가능한데, 후방 차량의 거리를 확보하는 영상과 후방 주차보조영상을 별도로 획득하여야 하므로, 카메라가 적어도 두개 요구되고, 이에 대응하는 이미지 센서 역시 적어도 두개가 요구되므로, 비용이 높아지는 문제점이 있다.

본 발명이 해결하고자 하는 기술적 과제는, 하나의 카메라와 이미지 센서를 사용하여 후방차량 인식영상 및 주차보조영상을 동시에 제공하는, 차량내 영상 시스템 및 영상처리 방법을 제공하는 것이다.

상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 일실시예의 차량내 영상 시스템은, 디스플레이부; 원영상으로부터 후방차량 인식을 위한 제1영상과 후방의 주차보조를 위한 제2영상을 분할하는 분할부; 상기 제1영상으로부터 후방차량의 번호판의 크기를 결정하고, 번호판의 크기로부터 차량과 후방차량의 거리를 결정하는 결정부; 및 차량의 후진모드에서 상기 제2영상을 상기 디스플레이부에 제공하는 제공부를 포함할 수 있다.

본 발명의 일실시예의 시스템은 음성출력부를 더 포함하고, 상기 결정부는 차량과 후방차량의 거리가 소정 임계거리 이하인 경우, 상기 음성출력부를 통해 경고 메시지가 출력되도록 할 수 있다.

본 발명의 일실시예에서, 상기 결정부는, 상기 디스플레이부를 통해 경고 메시지가 출력되도록 할 수 있다.

본 발명의 일실시예에서, 상기 분할부는, 사용자의 선택에 따라 상기 제2영상을 와이드 영상 또는 상기 와이드 영상보다 그 폭이 좁은 일반 영상으로 분할할 수 있다.

본 발명의 일실시예에서, 상기 디스플레이부는, 사용자의 선택을 수신할 수 있다.

본 발명의 일실시예의 시스템은, 번호판의 크기에 대응하는 거리의 관계를 저장하는 저장부를 더 포함할 수 있다.

본 발명의 일실시예에서, 상기 결정부는, 번호판의 크기를 결정하고, 상기 저장부에 저장된 관계에 따라 차량과 후방차량의 거리를 결정할 수 있다.

본 발명의 일실시예에서, 상기 제1영상은, 상기 원영상의 상부 영상이고, 상기 제2영상은, 상기 원영상의 하부 영상일 수 있다.

본 발명의 일실시예의 시스템은, 차량의 후방에 배치되는 카메라부; 및 상기 카메라부로부터 신호를 수신하여, 상기 원영상을 출력하는 이미지 센서부를 더 포함할 수 있다.

또한, 상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 일실시예의 영상처리 방법은, 원영상으로부터 후방차량 인식을 위한 제1영상과 후방의 주차보조를 위한 제2영상을 분할하는 단계; 상기 제1영상으로부터 후방차량의 번호판의 크기를 결정하는 단계; 번호판의 크기로부터 차량과 후방차량의 거리를 결정하는 단계; 및 차량의 후진모드에서 상기 제2영상을 디스플레이부에 디스플레이하는 단계를 포함할 수 있다.

본 발명의 일실시예에서, 상기 거리를 결정하는 단계는, 미리 저장된 번호판의 크기에 대응하는 거리의 관계에 따라 결정할 수 있다.

본 발명의 일실시예의 방법은, 상기 제2영상을 와이드 영상 또는 상기 와이드 영상보다 그 폭이 좁은 일반 영상 중 어느 하나로 분할할 것인지에 대한 선택을 수신하는 단계를 더 포함할 수 있다.

본 발명의 일실시예에서, 상기 제1영상은, 상기 원영상의 상부 영상이고, 상기 제2영상은, 상기 원영상의 하부 영상일 수 있다.

후방 차량과의 거리가 임계거리 이하인 경우 이를 운전자에게 사전에 음성 및/또는 시각적으로 제공하여 사고를 예방하게 하고, 다양한 뷰어 모드를 제공하여, 운전자의 편의성 및 안정성을 제공할 수 있다.

도 1은 본 발명의 일실시예에 의한 차량내 영상 시스템의 구성도이다.
도 2a 및 도 2b는 본 발명의 일실시예에 따라 분할부가 분할하는 영상신호를 개념적으로 설명하기 위한 일예시도이다.
도 3은 사용자의 영상모드 선택을 위한 인터페이스의 일예시도이다.
도 4a는 일반영상 모드에서 획득되는 제2영상의 일예시도이고, 도 4b는 와이드 영상 모드에서 획득되는 제2영상의 일예시도이다.
도 5는 본 발명의 일실시예에 따라 카메라부가 획득하는 영상을 개념적으로 설명하기 위한 일예시도이다.
도 6은 본 발명의 일실시예의 후방차량 인식부에서 번호판의 크기에 따라 결정되는 차량과 후방차량의 거리의 관계를 설명하기 위한 일예시도이다.
도 7은 본 발명의 일실시예의 영상처리 방법을 설명하기 위한 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 1은 본 발명의 일실시예에 의한 차량내 영상 시스템의 구성도이다.

도면에 도시된 바와 같이, 본 발명의 일실시예의 시스템은, 카메라부(10), 이미지 센서부(20), 분할부(30), 후방차량 인식부(40), 후방영상 제공부(50), 음성출력부(60), 구동제어부(70) 및 디스플레이부(80)를 포함할 수 있다.

카메라부(10)는 차량의 후방의 영상을 촬영할 수 있다. 카메라부(10)에 의해 촬영된 차량 후방의 영상은, 카메라부(10)의 하부에 배치되는 이미지 센서부(20)에 의해 전기신호로 변환될 수 있다.

이미지 센서부(20)는, 카메라부(10)의 내부의 렌즈에 대응하는 활성영역의 화소에서, 카메라부(10)의 렌즈를 통과하는 광신호를 영상신호로 변환할 수 있다. 이미지 센서부(20)는, 예를 들어 전하결합소자(Charge Coupled Device; CCD), 상보형 금속산화반도체(Complementary Metal-Oxide Semiconductor; CMOS) 등일 수 있으나, 이에 한정되는 것은 아니며, 그와 유사한 기능을 수행하는 다른 소자일 수도 있다.

분할부(30)는, 이미지 센서부(20)에 의해 출력된 영상신호에서, 사용할 영역을 분할할 수 있다.

도 2a 및 도 2b는 본 발명의 일실시예에 따라 분할부가 분할하는 영상신호를 개념적으로 설명하기 위한 일예시도이다.

도 2a에 도시된 바와 같이, 본 발명의 일실시예의 분할부(30)는, 이미지 센서부(20)로부터 입력되는 원영상(2A)을, 후방차량 인식을 위한 제1영상(2B)과, 후방의 주차보조를 위한 제2영상(2C)으로 분할할 수 있다. 도 2b는 도 2a와 제2영상(2C')의 크기가 다른 것을 나타낸 것이다. 즉, 도 2a의 제2영상(2C)을 일반영상이라 하면, 도 2b의 제2영상(2C')을 와이드영상이라 할 수 있을 것이다.

예를 들어, 원영상(2A)의 크기가 2592×1944인 경우, 제1영상(2B)은 2592×972일 수 있으며, 제2영상(2C, 2C')은 1280×720(일반 영상) 또는 2592×972(와이드 영상)일 수 있다. 다만, 이는 예시적인 것으로서 본 발명의 일실시예가 이 예에 한정되는 것은 아니며, 이미지 센서부(20)가 획득할 수 있는 영상의 크기에 따라 제1영상 및 제2영상의 크기가 변경될 수 있을 것이다.

제2영상의 크기는, 사용자의 선택에 따라 어느 하나로 선택될 수 있다. 즉, 사용자는, 입력부(도시되지 않음)를 이용하여 일반영상을 확인할 것인지, 또는 와이드 영상을 확인할 것인지를 선택할 수 있으며, 본 발명의 시스템에서는, 디스플레이부(80)와 일체로 형성되는 터치센서(도시되지 않음)를 이용하여, 터치스크린에 입력부를 제공할 수도 있으며, 이때 다양한 사용자 인터페이스(UI)의 제공이 가능할 것이다.

도 3은 사용자의 영상모드 선택을 위한 인터페이스의 일예시도이다.

도면에 도시된 바와 같이, 사용자는, 후방 주차보조 영상에 대한 모드를 선택할 수 있으며, 일반영상 모드(3A)를 선택하는 경우, 도 2a와 같이 제1영상(2B)보다 크기가 작은 제2영상(2C)이 획득되고, 와이드 영상 모드(3B)를 선택하는 경우, 도 2b와 같이 제1영상(2B)과 크기가 동일한 제2영상(2C')이 획득될 수 있다.

도 4a는 일반영상 모드에서 획득되는 제2영상의 일예시도이고, 도 4b는 와이드 영상 모드에서 획득되는 제2영상의 일예시도이다.

도면에 도시된 바와 같이, 일반모드 영상(도 4a)에서보다 와이드 영상 모드(도 4b)인 경우 그 영상의 크기가 더욱 커지게 됨을 알 수 있다.

도 5는 본 발명의 일실시예에 따라 카메라부가 획득하는 영상을 개념적으로 설명하기 위한 일예시도이다.

도면에 도시된 바와 같이, 본 발명의 카메라부(10)는 차량(1)의 후방에 배치되는 것으로서, 5A와 같은 영역을 촬영할 수 있다. 이중, 후방차량(2)의 번호판(3)의 크기의 인식을 위한 제1영상에 해당하는 영역은 5B이고, 후방의 주차보조를 위한 제2영상에 해당하는 영역은 5C이므로, 도 2와 같이 원영상(2A)의 상부는 후방차량 인식을 위한 영상으로 사용하고, 하부는 후방의 주차보조를 위한 영상을 사용할 수 있을 것이다.

후방차량 인식부(40)는 분할부(30)로부터 수신되는 제1영상(2B)을 수신하여, 후방차량(2)의 번호판(3)의 크기를 결정함으로써, 차량(1)과 후방차량(2)간 거리(d)를 결정할 수 있으며, 차량(1)과 후방차량(2)간 거리(d)가 소정 거리 이하인 경우에는 음성출력부(60)와 디스플레이부(80)를 통해 충돌 위험을 경고하는 메시지를 청각적으로 및 시각적으로 출력할 수 있다.

일반적으로 차량의 번호판은 그 크기가 규격으로 정하여져 있다. 따라서, 후방차량(2)의 번호판(3)의 크기가 결정되면, 차량(1)과 후방차량(2) 사이의 거리가 결정될 수 있을 것이다. 번호판의 크기에 대응하는 거리의 관계는 저장부(45)에 저장되어 있을 수 있으며, 후방차량 인식부(40)는 후방차량(2)의 번호판(3)의 크기를 결정하여, 저장부(45)에 저장된 번호판의 크기에 대응하는 거리의 관계에 따라 차량(1)과 후방차량(2)의 거리(d)를 결정할 수 있을 것이다.

도 6은 본 발명의 일실시예의 후방차량 인식부에서 번호판의 크기에 따라 결정되는 차량과 후방차량의 거리의 관계를 설명하기 위한 일예시도이다.

후방차량(2)의 번호판(3)의 규격이 335×170mm이고, 이미지 센서부(20)가 1메가픽셀 해상도인 경우, 후방차량(2)과의 거리가 50cm 되는 지점(6A)에서 번호판(3)은 198×118 픽셀에 해당하는 크기이고, 후방차량(2)과의 거리가 5.5m 되는 지점(6B)에서 번호판(3)은 16×9 픽셀에 해당하는 크기일 수 있다.

또, 이미지 센서부(20)의 해상도가 VGA(640×480) 해상도인 경우에는, 6A 지점에서 번호판(3)은 140×90 픽셀에 해당하는 크기이고, 6B 지점에서는 7×4 픽셀에 해당하는 크기일 수 있다.

이와 같이, 번호판(3)의 크기에 대응하는 거리가 저장부(45)에 미리 저장되며, 후방차량 인식부(40)는, 번호판(3)의 크기를 결정하여, 후방차량(2)과의 거리를 결정할 수 있을 것이다.

또한, 후방차량 인식부(40)는, 음성출력부(60)와 디스플레이부(80)를 통해 경고 메시지를 출력하는 것 외에, 구동제어부(70)를 제어하여, 차량(1)의 브레이크가 작동하도록 할 수 있다. 이때 구동제어부(70)는 예를 들어 차량(1)의 엔진제어장치(engine control unit, ECU)일 수 있다.

이때, 후방차량 인식부(40)는, 차량(1)과 후방차량(2)간의 거리가 소정 제1임계거리 이하인 경우 디스플레이부(80)와 음성출력부(60)를 통해 경고 메시지를 출력하고, 차량(1)과 후방차량(2)간의 거리가 제1임계거리보다 작은 제2임계거리 이하인 경우에 구동제어부(70)를 제어하여 차량(1)의 브레이크가 작동하게 할 수 있다. 다만, 이는 예시적인 것으로서, 디스플레이부(80)과 음성출력부(60)을 통해 경고 메시지가 출력되는 동시에 구동제어부(70)를 제어하여 차량(1)의 브레이크가 작동하게 할 수도 있을 것이며, 이는 차량(1)의 종류 또는 사용자의 설정에 따라 변경될 수 있을 것이다.

본 발명의 일실시예에서는, 후방차량 인식부(40)가 차량(1)과 후방차량(2)의 거리를, 미리 결정되어 있는 거리와 번호판의 크기의 관계에 따라 결정하는 예를 설명하였으나, 이에 한정되는 것은 아니다. 즉, 후방차량 인식부(40)가 빛을 투사하여 회전을 이용하여 거리측정하는 것이나, 또는 삼각측량을 통해 후방차량(2)과의 거리를 측정할 수도 있을 것이다. 이에 대해서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명한 사항이므로, 그 상세한 설명은 생략하기로 한다.

한편, 후방영상 제공부(50)는, 분할부(30)로부터 제공되는 일반 또는 와이드 영상에 해당하는 제2영상을 수신하여, 사용자가 차량(1)의 기어를 후진으로 배치하는 경우에, 디스플레이부(80)의 크기에 맞게 조절하여 디스플레이부(80)로 제공할 수 있다. 디스플레이부(80)에 의해 디스플레이되는 후방영상은, 도 4a 및 도 4b를 통해 설명한 바와 같다.

본 발명의 디스플레이부(80)는, 액정 디스플레이(liquid crystal display; LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display; TFT-LCD), 유기 발광 다이오드(organic light-emitting diode; OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있으며, 후방영상 제공부(50)의 제어에 따라 제2영상을 디스플레이할 수 있다.

디스플레이부(80)는, 위에서 설명한 바와 같이, 터치센서와 레이어된 경우 터치스크린을 구성하여, 사용자 입력부로서 기능할 수 있으며, 도 3과 같은 사용자 인터페이스를 제공하여 사용자의 선택을 수신할 수 있을 것이다.

예를 들어, 본 발명의 디스플레이부(80)는 네비게이션 시스템의 디스플레이부(80)일 수 있다.

도 7은 본 발명의 일실시예의 영상처리 방법을 설명하기 위한 흐름도이다.

도면에 도시된 바와 같이, 본 발명의 일실시예의 방법은, 카메라부(10)에 의해 획득된 광신호를 이미지 센서부(20)가 변환하여 원영상을 획득할 수 있다(S10).

분할부(30)는 원영상을 후방차량 인식을 위한 제1영상과, 후방의 주차보조를 위한 제2영상으로 분할하고(S15), 후방차량 인식부(40)는 제1영상을 수신하여 후방차량의 번호판의 크기를 결정하고(S20), 번호판의 크기로부터 후방차량(2)과 차량(1)간의 거리를 결정할 수 있다(S25).

이후, 후방차량 인식부(40)는 결정된 거리가 소정 제1임계거리 이하인 경우에(S30), 음성출력부(60)와 디스플레이부(80)를 통해 경고 메시지를 음성 및/또는 시각적으로 출력할 수 있다(S35).

만약, 결정된 거리가 제1임계거리보다 짧은 제2임계거리 이하인 경우(S40), 구동제어부(70)를 제어하여, 차량(1)이 제동하도록 제어할 수도 있다(S45).

S15에서 분할된 제2영상은, 후방영상 제공부(50)로 입력되어, 차량(1)이 후진인 경우(S50)에, 디스플레이부(80)에 분할부(50)로부터 제공된 제2영상을 디스플레이할 수 있을 것이다(S55).

이와 같이, 본 발명의 일실시예는, 후방 차량과의 거리가 임계거리 이하인 경우 이를 운전자에게 사전에 음성 및/또는 시각적으로 제공하여 사고를 예방하게 한다.

또한, 본 발명의 일실시예에 의하면, 다양한 뷰어 모드를 제공하여, 운전자의 편의성 및 안정성을 제공할 수 있다.

이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

1: 차량 2: 후방차량
3: 번호판 10: 카메라부
20: 이미지 센서부 30: 분할부
40: 후방차량 인식부 45: 저장부
50: 후방영상 제공부 60: 음성출력부
70: 구동제어부 80: 디스플레이부

Claims (15)

1. 디스플레이부;
   원영상으로부터 후방차량 인식을 위한 제1영상과 후방의 주차보조를 위한 제2영상을 분할하는 분할부;
   상기 제1영상으로부터 후방차량의 번호판의 크기를 결정하고, 번호판의 크기로부터 차량과 후방차량의 거리를 결정하는 결정부; 및
   차량의 후진모드에서 상기 제2영상을 상기 디스플레이부에 제공하는 제공부를 포함하는 차량내 영상 시스템.
   
2. 제1항에 있어서,
   음성출력부를 더 포함하고,
   상기 결정부는 차량과 후방차량의 거리가 소정 임계거리 이하인 경우, 상기 음성출력부를 통해 경고 메시지가 출력되도록 하는 차량내 영상 시스템.
   
3. 제2항에 있어서, 상기 결정부는, 상기 디스플레이부를 통해 경고 메시지가 출력되도록 하는 차량내 영상 시스템.
   
4. 제1항에 있어서, 상기 분할부는, 사용자의 선택에 따라 상기 제2영상을 와이드 영상 또는 상기 와이드 영상보다 그 폭이 좁은 일반 영상으로 분할하는 차량내 영상 시스템.
   
5. 제4항에 있어서, 상기 디스플레이부는, 사용자의 선택을 수신하는 차량내 영상 시스템.
   
6. 제1항에 있어서,
   번호판의 크기에 대응하는 거리의 관계를 저장하는 저장부를 더 포함하는 차량내 영상 시스템.
   
7. 제6항에 있어서, 상기 결정부는,
   번호판의 크기를 결정하고, 상기 저장부에 저장된 관계에 따라 차량과 후방차량의 거리를 결정하는 차량내 영상 시스템.
   
8. 제1항에 있어서, 상기 제1영상은, 상기 원영상의 상부 영상인 차량내 영상 시스템.
   
9. 제8항에 있어서, 상기 제2영상은, 상기 원영상의 하부 영상인 차량내 영상 시스템.
   
10. 제1항에 있어서,
    차량의 후방에 배치되는 카메라부; 및
    상기 카메라부로부터 신호를 수신하여, 상기 원영상을 출력하는 이미지 센서부를 더 포함하는 차량내 영상 시스템.
    
11. 원영상으로부터 후방차량 인식을 위한 제1영상과 후방의 주차보조를 위한 제2영상을 분할하는 단계;
    상기 제1영상으로부터 후방차량의 번호판의 크기를 결정하는 단계;
    번호판의 크기로부터 차량과 후방차량의 거리를 결정하는 단계; 및
    차량의 후진모드에서 상기 제2영상을 디스플레이부에 디스플레이하는 단계를 포함하는 영상처리 방법.
    
12. 제11항에 있어서, 상기 거리를 결정하는 단계는,
    미리 저장된 번호판의 크기에 대응하는 거리의 관계에 따라 결정하는 영상처리 방법.
    
13. 제11항에 있어서,
    상기 제2영상을 와이드 영상 또는 상기 와이드 영상보다 그 폭이 좁은 일반 영상 중 어느 하나로 분할할 것인지에 대한 선택을 수신하는 단계를 더 포함하는 영상처리 방법.
    
14. 제11항에 있어서, 상기 제1영상은, 상기 원영상의 상부 영상인 영상처리 방법.
    
15. 제14항에 있어서, 상기 제2영상은, 상기 원영상의 하부 영상인 영상처리 방법.

Images