KR20170006543A - 어라운드 뷰 노이즈 제거 시스템 및 방법 - Google Patents

어라운드 뷰 노이즈 제거 시스템 및 방법 Download PDF

Info

Publication number
KR20170006543A
KR20170006543A KR1020150097327A KR20150097327A KR20170006543A KR 20170006543 A KR20170006543 A KR 20170006543A KR 1020150097327 A KR1020150097327 A KR 1020150097327A KR 20150097327 A KR20150097327 A KR 20150097327A KR 20170006543 A KR20170006543 A KR 20170006543A
Authority
KR
South Korea
Prior art keywords
image
brake
unit
stored
brake operation
Prior art date
Application number
KR1020150097327A
Other languages
English (en)
Other versions
KR101750160B1 (ko
Inventor
김신현
박재홍
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Priority to KR1020150097327A priority Critical patent/KR101750160B1/ko
Publication of KR20170006543A publication Critical patent/KR20170006543A/ko
Application granted granted Critical
Publication of KR101750160B1 publication Critical patent/KR101750160B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/23216—
    • H04N5/23229—
    • H04N5/23296—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 브레이크 동작 비활성상태 시에 촬영한 이미지만을 추출하여 합성하는 구성을 통해 브레이크 등의 출력으로 디스플레이 화면에 발생하는 적색의 노이즈를 제거할 수 있는 어라운드 뷰 노이즈 제거 시스템 및 방법을 제공하는 것을 목적으로 한다. 이를 위해 본 발명은 차량에 적어도 하나 설치되어, 상기 차량의 전방 또는 후방 중 적어도 하나를 촬영한 이미지를 출력하는 카메라부; 상기 차량의 브레이크 ON/OFF 동작여부를 검출하는 브레이크 동작 검출부; 및 상기 브레이크 동작 검출부에서 검출된 브레이크 동작이 ON이면, 상기 카메라부가 출력하여 미리 저장된 다수개의 합성용 이미지 패치 중 브레이크 동작 OFF 시에 저장되었던 합성용 이미지 패치를 추출하고, 상기 추출된 합성용 이미지 패치를 합성하여 어라운드 뷰 이미지를 생성하는 제어모듈을 포함하여 구성한다. 따라서 본 발명에 따른 어라운드 뷰 노이즈 제거 시스템 및 방법은 브레이크 동작 비활성상태 시에 촬영한 이미지만을 추출하여 합성하는 구성을 통해 브레이크 등의 출력으로 디스플레이 화면에 발생하는 적색의 노이즈를 제거할 수 있는 장점이 있다.

Description

어라운드 뷰 노이즈 제거 시스템 및 방법{SYSTEM AND METHOD FOR ELIMINATING NOISE OF AROUND VIEW}
본 발명은 어라운드 뷰 노이즈 제거 시스템 및 방법에 관한 발명으로서, 더욱 상세하게는 브레이크 동작 비활성상태 시에 촬영한 이미지만을 추출하여 합성하는 구성을 통해 브레이크 등의 출력으로 디스플레이 화면에 발생하는 적색의 노이즈를 제거할 수 있는 어라운드 뷰 노이즈 제거 시스템 및 방법에 관한 것이다.
최근, 차량의 고급화 및 다기능화에 따라, 차량의 전방, 후방, 좌측 및 우측에 장착된 카메라를 이용하여 가상 시점에서 차량을 부감(상공으로부터 내려다 본 상태)시킨 화면을 제공하여 운전자가 볼 수 없는 시야를 확보할 수 있도록 하는 어라운드 뷰 모니터(AVM, Around View Monitor) 시스템이 탑재되고 있다.
이러한 어라운드 뷰 모니터 시스템은 차량의 사방에 장착된 카메라의 영상을 합성하여, 차량의 주차시 힘들게 뒤를 돌아보거나 주위를 살피지 않고도 실내에 장착된 정면의 모니터를 통해, 마치 위에서 보는 것과 같은 시점(Top View)으로 자동차의 사방을 주시하면서 안전하고 정확하게 주차를 하거나, 좁은 길을 지날 수 있도록 한 일종의 주차 편의장치를 말한다.
그러나, 상기 어라운드 뷰 모니터 시스템은 보통, 다수개의 카메라가 촬영한 4개의 영상이 합성되어 하나의 영상을 형성하므로, 각 영상의 밝기가 다른 경우, 화면 시인성이 저하될 수 있으며, 이에 따라 영상 간의 화면 이질감 제거가 요구된다.
상기와 같은 요구에 부응하여 하나의 후방 카메라를 통해 어라운드 뷰 영상을 생성하는 시스템이 등장하고 있는데, 이러한 하나의 후방 카메라를 이용한 어라운드 뷰 모니터 시스템은 적어도 하나의 카메라로 후방 이미지를 촬영하고, 상기 촬영되는 이미지의 시점을 변환하여 미리 설정된 영역을 갖는 합성용 이미지 패치를 형성하며, 상기 형성되는 다수개의 이미지 패치를 누적하여 합성함으로써, 일정 이미지 영역을 갖는 어라운드 뷰 영상을 생성한다.
즉, 앞서 촬영되었던 과거 이미지를 기반으로 하여 마치 현재의 이미지처럼 실시간 시뮬레이션함으로써, 차량 주변을 모니터링할 수 있게 되는 것이다.
그러나, 상기 종래기술은 일정 영역을 갖는 단위별 합성용 이미지 패치를 촬영되는 순서에 따라 합성하여 어라운드 뷰 영상을 생성하므로, 차량의 브레이크 동작이 활성상태시에, 브레이크 등(램프)의 광출력에 따라 후방이 적색으로 조명될 경우, 디스플레이 화면에 출력되는 어라운드 뷰 이미지가 적색의 선형 노이즈를 갖게 될 수 있는 문제점이 있다.
더 구체적으로 도 1을 참조하여 설명하자면, 도 1은 종래기술에 따른 어라운드 뷰 모니터 시스템의 노이즈를 나타낸 도면으로서, 운전자가 브레이크 페달을 간헐적으로 밟으면서 브레이크의 동작을 활성화시키게 될 경우, 임의의 디스플레이부에 일정 출력영역으로 출력되는 실시간 이미지(A)는 상기 브레이크 등의 광출력에 의해 적색으로 표시될 수 있고, 이러한 실시간 이미지(A)를 기반으로 형성되는 합성용 이미지 패치를 다수개 누적하여 합성함에 따라, 도면과 같이, 적색 선형 노이즈를 갖는 어라운드 뷰 이미지(B)가 생성될 수 있다.
즉, 상기 브레이크 등의 광출력으로 인해 상기 디스플레이 화면에는 적색의 선형 노이즈를 갖는 어라운드 뷰 이미지(B)가 출력되므로, 운전자는 깨끗하지 못한 이미지 화질로 시각적 불편함을 겪을 수 있고, 나아가, 상기 브레이크 등의 광출력에 대응하는 바닥 면의 반사광원에 의해 상기 합성용 이미지 패치의 합성시에 이질감을 발생시킬 수 있다는 단점이 있다.
따라서, 상기 브레이크 등의 광출력에도 불구하고, 깨끗한 어라운드 뷰 이미지를 제공할 수 있는 기술의 개발이 필요한 실정이다.
한국 등록특허번호 제10-1406073호(2014.06.03.)
이러한 문제점을 해결하기 위하여, 본 발명은 브레이크 동작 비활성상태 시에 촬영한 이미지만을 추출하여 합성하는 구성을 통해 브레이크 등의 출력으로 디스플레이 화면에 발생하는 적색의 노이즈를 제거할 수 있는 어라운드 뷰 노이즈 제거 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명은 차량에 적어도 하나 설치되어, 상기 차량의 전방 또는 후방 중 적어도 하나를 촬영한 이미지를 출력하는 카메라부; 상기 차량의 브레이크 ON/OFF 동작여부를 검출하는 브레이크 동작 검출부; 및 상기 브레이크 동작 검출부에서 검출된 브레이크 동작이 ON이면, 상기 카메라부가 출력하여 미리 저장된 다수개의 합성용 이미지 패치 중 브레이크 동작 OFF 시에 저장되었던 합성용 이미지 패치를 추출하고, 상기 추출된 합성용 이미지 패치를 합성하여 어라운드 뷰 이미지를 생성하는 제어모듈을 포함하여 구성한다.
또한, 본 발명에 따른 상기 추출된 합성용 이미지 패치는 브레이크의 동작으로 브레이크 등(Brake Lamp)에서 발광되는 적색의 빛을 포함하지 않는 이미지인 것을 특징으로 한다.
또한, 본 발명에 따른 상기 브레이크 동작 검출부는 차량의 CAN(Controller Area Network) 통신으로부터 브레이크의 동작제어신호를 센싱하거나 또는 브레이크 등(Brake Lamp) 스위칭 신호를 센싱하여 브레이크의 ON/OFF 동작을 검출하는 것을 특징으로 한다.
또한, 본 발명에 따른 상기 제어모듈은, 상기 카메라부로부터 출력되는 이미지의 시점을 변환하여 미리 설정된 영역을 갖는 합성용 이미지 패치를 형성하고, 상기 형성된 합성용 이미지 패치가 누적되도록 저장하는 이미지 저장부; 상기 브레이크 동작 검출부에서 검출된 브레이크 동작이 ON이면, 상기 이미지 저장부에 저장된 다수개의 합성용 이미지 패치 중 브레이크 동작 OFF 시에 저장되었던 합성용 이미지 패치를 추출하는 이미지 추출부; 및 상기 이미지 추출부에서 추출된 합성용 이미지 패치를 합성하여 브레이크 등(Brake Lamp)의 광출력 영향을 받지 않은 어라운드 뷰 이미지를 생성하는 이미지 생성부로 구성한다.
또한, 본 발명에 따른 상기 이미지 저장부에서 변환된 시점의 합성용 이미지 패치는 일정 영역을 갖는 탑 뷰(Top View) 이미지인 것을 특징으로 한다.
또한, 본 발명에 따른 상기 이미지 추출부는, 상기 카메라부의 촬영시간과 상기 브레이크 동작 검출부의 브레이크 동작 검출시간을 분석하여, 상기 브레이크의 ON 동작이 검출된 시간과 대응하는 촬영시간에 촬영되어 저장된 합성용 이미지 패치를 제거하거나, 상기 브레이크의 ON 동작이 검출된 시간을 기점으로 그 전에 촬영되어 저장되었던 합성용 이미지 패치들만을 추출하는 것을 특징으로 한다.
또한, 본 발명은 어라운드 뷰 노이즈를 제거하는 방법으로서, a) 브레이크 동작 검출부가 차량 브레이크의 ON/OFF 동작여부를 검출하는 단계; b) 상기 a)단계에서 검출된 브레이크 동작이 ON이면, 제어모듈이 카메라부가 출력하여 미리 저장된 다수개의 합성용 이미지 패치 중 상기 브레이크 동작 OFF 시에 저장되었던 합성용 이미지 패치를 추출하는 단계; 및 c) 상기 제어모듈이 b)단계를 통해 추출한 합성용 이미지 패치를 합성하여 어라운드 뷰 이미지를 생성하는 단계를 포함하여 구성한다.
또한, 본 발명에 따른 상기 b)단계를 통해 추출한 합성용 이미지 패치는 브레이크의 동작으로 브레이크 등(Brake Lamp)에서 발광되는 적색의 빛을 포함하지 않는 이미지인 것을 특징으로 한다.
또한, 본 발명에 따른 상기 b)단계는, 상기 카메라부의 촬영시간과 상기 브레이크 동작 검출부의 브레이크 동작 검출시간을 분석하여, 상기 브레이크의 ON 동작이 검출된 시간과 대응하는 촬영시간에 촬영되어 저장된 합성용 이미지 패치를 제거하거나, 상기 브레이크의 ON 동작이 검출된 시간을 기점으로 그 전에 촬영되어 저장되었던 합성용 이미지 패치들만을 추출하는 것을 특징으로 한다.
본 발명에 따른 어라운드 뷰 노이즈 제거 시스템 및 방법은 브레이크 동작 비활성상태 시에 촬영한 이미지만을 추출하여 합성하는 구성을 통해 브레이크 등의 출력으로 디스플레이 화면에 발생하는 적색의 노이즈를 제거할 수 있는 장점이 있다.
도 1 은 종래기술에 따른 어라운드 뷰 모니터 시스템의 노이즈를 나타낸 도면.
도 2 는 본 발명에 따른 어라운드 뷰 노이즈 제거 시스템의 개략적인 구성을 나타낸 블록도.
도 3 은 도 2에 따른 제어모듈의 구성을 나타낸 블록도.
도 4 는 본 발명에 따른 어라운드 뷰 노이즈 제거 시스템이 적용된 디스플레이 화면을 도면.
도 5 는 본 발명에 따른 어라운드 뷰 노이즈 제거 방법을 나타낸 흐름도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 어라운드 뷰 노이즈 제거 시스템 및 방법의 바람직한 실시예를 상세하게 설명한다.
(어라운드 뷰 노이즈 제거 시스템)
도 2는 본 발명에 따른 어라운드 뷰 노이즈 제거 시스템의 개략적인 구성을 나타낸 블록도이고, 도 3은 도 2에 따른 제어모듈의 구성을 나타낸 블록도이며, 도 4는 본 발명에 따른 어라운드 뷰 노이즈 제거 시스템이 적용된 디스플레이 화면을 나타낸 도면이다.
도 2 및 도 3에 도시된 바와 같이, 본 발명에 따른 어라운드 뷰 노이즈 제거 시스템(100)은 카메라부(110), 브레이크 동작 검출부(120), 제어모듈(130) 및 디스플레이부(140)를 포함하여 구성된다.
상기 카메라부(110)는 차량에 적어도 하나 설치되어, 일정 광각 특성에 따라 상기 차량의 후방을 촬영한 이미지를 후술되는 제어모듈(130)로 출력하는 것으로, 본 발명의 실시예에 따르면, 전방을 촬영한 이미지를 함께 출력하여 상기 제어모듈(130)에 의해 전방에 대한 어라운드 뷰 이미지 생성까지 가능하도록 차체의 전방 후드 위치에 미리 설정된 각도를 형성하여 설치되는 것이 바람직하나, 이에 한정되지는 않는다.
또한, 상기 카메라부(110)는 차체의 상측 중앙의 샤크 안테나 위치, 좌/우측 사이드 미러, 좌/우측 후미등, 후방에 배치된 엠블럼, 번호판, 윈도우 글래스 등에 다수개 설치될 수 있으며, 이러한 상기 카메라부(110)의 설치개수 및 설치위치는 후방을 촬영하여 이미지를 획득하는 본 발명의 기술적 범위내에서 해당관련분야의 통상지식을 가진 당업자에 의해 다양하게 변경설계될 수 있음은 물론이다.
이러한 상기 카메라부(110)는 CMOS형 카메라 또는 CCD 카메라가 바람직하나, 이에 한정되지 않고, 스피드돔 카메라, 핀홀 카메라, 팬틸트줌 카메라 등이 사용될 수도 있으며, 나아가, 야간에도 촬영이 가능하도록 적외선 카메라가 부가적으로 구비될 수도 있다.
상기 브레이크 동작 검출부(120)는 차량의 브레이크 ON/OFF 동작을 검출하여 상기 제어모듈(130)로 출력하는 구성으로, 운전자가 브레이크 페달을 간헐적 또는 지속적으로 밟을시에 검출될 수 있는 차량 브레이크의 ON 동작과, 브레이크 페달을 사용하지 않을시(평상 주행시)에 검출될 수 있는 차량 브레이크의 OFF 동작을 구분하여 출력한다.
차량의 CAN(Controller Area Network) 통신으로부터 브레이크의 동작제어신호를 센싱하는 ECU, TCU 등이 적용될 수 있으나, 브레이크 등(Brake Lamp) 스위칭 신호를 센싱하여 브레이크의 ON/OFF 동작상태를 검출하는 별도의 센서가 적용될 수도 있다.
또한, 상기 브레이크 동작 검출부(120)는 브레이크 페달의 움직임 및 상태를 감지하는 센서, 휠의 움직임을 계산하여 브레이크 동작상태를 유추할 수 있는 센서(예컨대, 휠 센서), 상기 브레이크 등의 광출력을 감지하는 센서(예컨대, 광 센서) 등 다양한 감지 센서가 적용될 수 있음은 물론이며, 이는 해당관련분야의 통상지식을 가진 당업자에 의해 다양하게 취급될 수 있다.
상기 제어모듈(130)은 브레이크 동작 검출부(120)가 검출한 브레이크 동작이 ON이면, 상기 카메라부(110)가 출력하여 미리 저장된 다수개의 합성용 이미지 패치 중 브레이크 동작 OFF 시에 저장되었던 합성용 이미지 패치를 추출하고, 상기 추출된 합성용 이미지 패치를 합성하여 어라운드 뷰 이미지(B')를 생성하는 구성으로서, 이미지 저장부(131), 이미지 추출부(132) 및 이미지 생성부(133)를 포함하여 구성된다.
여기서, 상기 노이즈 제거 시스템(100)은 제어모듈(130)로 상기 카메라부(110)가 촬영한 이미지가 입력되기 전에, 일정 광각으로 촬영하는 카메라부(110) 렌즈 왜곡에 의해 촬영된 이미지의 테두리 부분이 심하게 일그러지는 등 상기 카메라부(110)의 렌즈와 관련된 다양한 왜곡 현상을 보정하는 이미지 보정부(111)를 더 포함할 수도 있다.
이러한 상기 이미지 보정부(111)는 일반적인 공지의 기술로서, 더 구체적인 설명은 생략하기로 한다.
상기 이미지 저장부(131)는 카메라부(110)로부터 촬영되는 이미지들을 저장하는 저장소로서, 상기 카메라부(110)가 촬영하는 이미지의 시점을 변환하여 미리 설정된 영역을 갖는 합성용 이미지 패치를 형성하고, 상기 형성된 합성용 이미지 패치가 상기 카메라부(110)의 촬영 프레임 횟수 등에 비례하여 누적되도록 저장하는 기능을 수행한다.
상기 시점은 차량을 위에서 바라본 시점이며, 이에 따라, 상기 이미지 저장부(131)에서 변환된 시점의 합성용 이미지 패치는 일정 영역을 갖는 탑 뷰(Top View) 이미지인 것이 바람직하다.
또한, 상기 합성용 이미지 패치는 차량의 이동거리 정보 및 조향각 정보에 따라 실시간으로 변환될 수 있는 카메라부(110)의 좌표에 대응하도록 상기 카메라부(110)의 전체 촬영 이미지 중 일정 영역을 갖는 합성용 이미지를 의미하며, 이러한 상기 합성용 이미지 패치를 형성하는 기술은 일반적인 공지의 기술로서, 더 구체적인 설명은 생략하기로 한다.
이때, 상기 차량의 이동거리 정보 및 조향각 정보는 상기 브레이크 동작 검출부(120)에 ECU, TCU 등의 제어장치가 적용될 경우, 상기 브레이크 동작와 함께 검출될 수 있으며, 이에 한정되지 않고, 휠 센서, 스티어링 각도센서, 차속 감지센서 등 별도의 다양한 조향/이동감지센서(미도시)를 통해 검출될 수도 있다.
또한, 상기 좌표의 변환은 상기 차량의 이동거리 정보 및 조향각 정보를 연산분석하여, 차량의 위치를 계산하는 별도의 연산부(미도시)를 통해 상기 계산된 차량의 위치에 대응하도록 이루어질 수 있음은 자명하다.
즉, 상기 이미지 저장부(131)는 상기 차량의 이동거리 정보 및 조향각 정보에 따라 좌표가 변환되는 상기 합성용 이미지 패치가 누적되도록 저장하여 하나의 과거 이미지를 만들어낸다.
상기 이미지 추출부(132)는 브레이크 등 광출력의 영향을 받지 않은 이미지를 추출하는 것으로, 상기 브레이크 동작 검출부(120)가 검출한 브레이크 동작이 ON이면, 상기 이미지 저장부(131)에 저장된 다수개의 합성용 이미지 패치 중 브레이크 동작 OFF 시에 저장되었던 합성용 이미지 패치를 추출하는 기능을 수행한다.
여기서, 상기 추출된 합성용 이미지 패치는 본 발명에 따르면, 브레이크의 동작으로 브레이크 등에서 발광되는 적색의 빛을 포함하지 않는 이미지인 것이 바람직하다.
이러한 상기 이미지 추출부(132)의 추출은 상기 카메라부(110)의 촬영시간과 상기 브레이크 동작 검출부(120)의 브레이크 동작 검출시간을 분석하여, 상기 브레이크의 ON 동작이 검출된 시간과 대응하는 촬영시간에 촬영되어 저장된 합성용 이미지 패치를 제거하거나, 상기 브레이크의 ON 동작이 검출된 시간을 기점으로 그 전에 촬영되어 저장되었던 합성용 이미지 패치들만을 추출하는 시간분석기법에 따른 이미지 추출방법이 적용될 수 잇다.
또한, 상기 시간분석기법에 따른 이미지 추출방법에 한정되지 않고, 상기 이미지 저장부(131)에 저장된 다수개의 합성용 이미지 패치의 픽셀의 속성, 바람직하게는, 상기 픽셀의 색상을 미리 저장된 이미지 프로세싱 프로그램 등을 통해 분석함으로써, 적색의 픽셀을 포함한 합성용 이미지 패치를 제외하여 추출하는 이미지 분석기법에 따른 이미지 추출방법이 적용될 수 있다.
나아가, 본 발명의 바람직한 실시예에서 상기 이미지 추출부(132)는 상술한 바와 같이, 상기 브레이크 동작 검출부(120)에서 브레이크 동작이 ON으로 검출될 경우, 상기 브레이크 동작 OFF 시에 저장되었던 합성용 이미지 패치, 즉, 브레이크 등 광출력의 영향을 받지 않은 이미지만을 추출하도록 구성하고 있으나, 이에 한정되지 않고, 이와 반대로 브레이크 동작 ON 시에 저장되는 합성용 이미지 패치, 즉, 브레이크 등 광출력의 영향을 받은 이미지만을 추출하도록 구성할 수도 있다.
이에 따라, 상기 이미지 추출부(132)는 적색으로 통일된 합성용 이미지 패치들을 추출할 수 있고, 후술되는 이미지 생성부(133)에 의해 단일화된 적색의 어라운드 뷰 이미지를 생성하게 됨으로써, 선형 노이즈가 없는 이미지 환경을 제공할 수 있다.
이때, 상기 제어모듈(130)은 상기 단일화된 적색의 어라운드 뷰 이미지를 별도의 이미지 보정 프로그램을 통해 색상을 조절함으로써, 적색이 아닌 다른 색상으로 보정되도록 구성할 수 있으며, 이는 다양한 공지의 기술이 적용될 수 있음은 물론이다.
상기 이미지 생성부(133)는 상기 이미지 추출부(132)에서 추출된 합성용 이미지 패치를 합성하여 노이즈가 제거된, 즉, 브레이크 등의 광출력 영향을 받지 않은 어라운드 뷰 이미지(B')를 생성하는 것으로, 본 발명의 실시예에 따르면, 다수개로 추출된 합성용 이미지 패치를 미리 저장된 이미지 합성(정합) 프로그램을 활용하여 합성하도록 구성될 수 있다.
여기서, 상기 이미지 합성 프로그램은 상기 추출된 다수개의 합성용 이미지 패치로부터 왜곡 보정을 위한 파라미터 추출과 상기 합성용 이미지 패치 간의 호모그래피 등을 계산한 후 각 합성용 이미지 패치의 매핑을 통한 이미지 합성을 수행하여, 하나의 합성 이미지, 즉, 어라운드 뷰 이미지를 생성할 수 있다.
이러한 상기 이미지 합성 프로그램과 관련한 기술은 일반적인 공지의 기술로서, 본 발명의 기술적 범위내에서 다양한 변경설계가 가능함은 물론이다.
상기 디스플레이부(140)는 제어모듈(130)이 생성한 어라운드 뷰 이미지(B')를 임의의 화면 상에 출력하는 구성으로, 차량 내에 설치된 룸미러(Room Mirror), 내비게이션, 헨드 업 디스플레이(HUD, Head Up Display), 클러스터(Cluster) 중 적어도 어느 하나가 적용되는 것이 바람직하나, 이에 한정되지는 않는다.
또한, 상기 디스플레이부(140)는 차량 후방의 상황을 실시간으로 인식할 수 있도록 상기 카메라부(110)의 촬영에 의해 일정 출력영역으로 출력되는 실시간 이미지(A)가 함께 디스플레이되도록 구성할 수도 있다.
본 발명의 실시예에 따르면, 상기 브레이크 동작 검출부(120)가 검출한 브레이크 동작이 ON일 경우, 상기 디스플레이부(140)에는 도 4에 도시된 바와 같이, 상기 브레이크 등의 광출력에 의해 상기 실시간 이미지(A)가 적색으로 표시될 수 있고, 이러한 적색의 실시간 이미지(A)를 기반으로 형성되는 합성용 이미지 패치는 상기 이미지 추출부(132)가 추출할 수 없게 된다.
한편, 상기 이미지 추출부(132)는 상기 브레이크의 ON 동작이 검출되기 전, 즉, 상기 브레이크 동작 OFF 시에 상기 이미지 저장부(131)에 미리 저장되었던 합성용 이미지 패치를 추출하고, 상기 이미지 생성부(133)는 상기 추출된 합성용 이미지 패치만을 합성하여 상기 디스플레이부(140)에 적색 선형 노이즈가 제거된 깨끗한 어라운드 뷰 이미지(B')가 디스플레이되도록 한다.
(어라운드 뷰 노이즈 제거 방법)
도 5는 본 발명에 따른 어라운드 뷰 노이즈 제거 방법을 나타낸 흐름도이다.
도 5에 도시한 바와 같이, 본 발명에 따른 어라운드 뷰 노이즈 제거 시스템(100)을 이용한 제거 방법은 브레이크 동작 검출단계(S100), 브레이크 동작 분석단계(S200), 이미지 패치 추출단계(S300) 및 이미지 패치 합성단계(S400)를 포함하여 구성된다.
먼저, 상기 S100단계의 브레이크 동작 검출단계에서는, 브레이크 동작 검출부(120)가 차량 브레이크의 ON/OFF 동작여부를 검출한다.
이러한 상기 S100단계의 브레이크 ON/OFF 동작여부를 검출함에 있어서는, 상기 차량의 CAN(Controller Area Network) 통신으로부터 브레이크의 동작제어신호를 센싱하거나 또는 브레이크 등(Brake Lamp) 스위칭 신호를 센싱하여 브레이크의 ON/OFF 동작상태를 검출하도록 구성할 수 있다.
상기 S200단계의 브레이크 동작 분석단계에서는, 상기 제어모듈(130)의 이미지 추출부(132)가 상기 S100단계에서 검출된 브레이크 동작이 ON인지 그 여부를 분석한다.
여기서, 상기 S200단계는 상기 분석결과, 브레이크의 동작이 ON으로 판단되면, 후술되는 S300단계로 진행되도록 하고, 브레이크의 동작이 ON이 아닌, 즉, 브레이크의 OFF 동작으로 판단되면, 상기 S100단계를 다시 수행하도록 구성할 수 있다.
상기 S300단계의 이미지 패치 추출단계에서는, 상기 S200단계의 분석결과, 상기 브레이크의 동작이 ON으로 판단되면, 상기 이미지 추출부(132)가 카메라부(110)의 촬영에 의해 상기 제어모듈(130)의 이미지 저장부(131)에 미리 저장된 다수개의 합성용 이미지 패치 중 브레이크 동작 OFF 시에 저장되었던 합성용 이미지 패치만을 추출해낸다.
여기서, 상기 S300단계를 통해 추출한 합성용 이미지 패치는 브레이크의 동작으로 브레이크 등에서 발광되는 적색의 빛을 포함하지 않는 이미지인 것이 바람직하다.
또한, 상기 S300단계의 추출과정에 있어서, 좀 더 구체적으로는, 상기 이미지 추출부(132)가 카메라부(110)의 촬영시간과 상기 브레이크 동작 검출부(120)의 브레이크 동작 검출시간을 분석하여, 상기 브레이크의 ON 동작이 검출된 시간과 대응하는 촬영시간에 촬영되어 저장된 합성용 이미지 패치를 제거하거나, 상기 브레이크의 ON 동작이 검출된 시간을 기점으로 그 전에 촬영되어 저장되었던 합성용 이미지 패치들만을 추출한다.
상기 S400단계의 이미지 패치 합성단계에서는, 상기 제어모듈(130)의 이미지 생성부(133)가 상기 S300단계에서 추출된 합성용 이미지 패치를 미리 저장된 이미지 합성 프로그램을 통해 합성하여 노이즈가 제거된 어라운드 뷰 이미지(B')를 생성한다.
따라서, 본 발명은 브레이크 동작 비활성상태 시에 촬영한 이미지만을 추출하여 합성하는 구성을 통해 브레이크 등의 출력으로 디스플레이 화면에 발생하는 적색의 노이즈를 제거할 수 있게 되는 것은 물론, 상기 브레이크 등의 출력에 대응하는 바닥 면의 반사광원에 의해 상기 합성용 이미지 패치의 합성시에 이질감이 발생하는 것을 방지할 수 있게 되므로, 운전자에게 깨끗한 어라운드 뷰 이미지를 제공할 수 있다.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
또한, 본 발명의 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있으며, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
100 : 노이즈 제거 시스템 110 : 카메라부
120 : 브레이크 동작 검출부 130 : 제어모듈
131 : 이미지 저장부 132 : 이미지 추출부
133 : 이미지 생성부 140 : 디스플레이부
A : 실시간 이미지 B' : 어라운드 뷰 이미지

Claims (9)

  1. 차량에 적어도 하나 설치되어, 상기 차량의 전방 또는 후방 중 적어도 하나를 촬영한 이미지를 출력하는 카메라부(110);
    상기 차량의 브레이크 ON/OFF 동작여부를 검출하는 브레이크 동작 검출부(120); 및
    상기 브레이크 동작 검출부(120)에서 검출된 브레이크 동작이 ON이면, 상기 카메라부(110)가 출력하여 미리 저장된 다수개의 합성용 이미지 패치 중 브레이크 동작 OFF 시에 저장되었던 합성용 이미지 패치를 추출하고, 상기 추출된 합성용 이미지 패치를 합성하여 어라운드 뷰 이미지(B')를 생성하는 제어모듈(130)을 포함하는 어라운드 뷰 노이즈 제거 시스템.
  2. 제 1 항에 있어서,
    상기 추출된 합성용 이미지 패치는 브레이크의 동작으로 브레이크 등(Brake Lamp)에서 발광되는 적색의 빛을 포함하지 않는 이미지인 것을 특징으로 하는 어라운드 뷰 노이즈 제거 시스템.
  3. 제 1 항에 있어서,
    상기 브레이크 동작 검출부(120)는 차량의 CAN(Controller Area Network) 통신으로부터 브레이크의 동작제어신호를 센싱하거나 또는 브레이크 등(Brake Lamp) 스위칭 신호를 센싱하여 브레이크의 ON/OFF 동작을 검출하는 것을 특징으로 하는 어라운드 뷰 노이즈 제거 시스템.
  4. 제 1 항에 있어서,
    상기 제어모듈(130)은,
    상기 카메라부(110)로부터 출력되는 이미지의 시점을 변환하여 미리 설정된 영역을 갖는 합성용 이미지 패치를 형성하고, 상기 형성된 합성용 이미지 패치가 누적되도록 저장하는 이미지 저장부(131);
    상기 브레이크 동작 검출부(120)에서 검출된 브레이크 동작이 ON이면, 상기 이미지 저장부(131)에 저장된 다수개의 합성용 이미지 패치 중 브레이크 동작 OFF 시에 저장되었던 합성용 이미지 패치를 추출하는 이미지 추출부(132); 및
    상기 이미지 추출부(132)에서 추출된 합성용 이미지 패치를 합성하여 브레이크 등(Brake Lamp)의 광출력 영향을 받지 않은 어라운드 뷰 이미지(B')를 생성하는 이미지 생성부(133)를 포함하는 어라운드 뷰 노이즈 제거 시스템.
  5. 제 4 항에 있어서,
    상기 이미지 저장부(131)에서 변환된 시점의 합성용 이미지 패치는 일정 영역을 갖는 탑 뷰(Top View) 이미지인 것을 특징으로 하는 어라운드 뷰 노이즈 제거 시스템.
  6. 제 4 항에 있어서,
    상기 이미지 추출부(132)는,
    상기 카메라부(110)의 촬영시간과 상기 브레이크 동작 검출부(120)의 브레이크 동작 검출시간을 분석하여, 상기 브레이크의 ON 동작이 검출된 시간과 대응하는 촬영시간에 촬영되어 저장된 합성용 이미지 패치를 제거하거나, 상기 브레이크의 ON 동작이 검출된 시간을 기점으로 그 전에 촬영되어 저장되었던 합성용 이미지 패치들만을 추출하는 것을 특징으로 하는 어라운드 뷰 노이즈 제거 시스템.
  7. 어라운드 뷰 노이즈를 제거하는 방법으로서,
    a) 브레이크 동작 검출부(120)가 차량 브레이크의 ON/OFF 동작여부를 검출하는 단계;
    b) 상기 a)단계에서 검출된 브레이크 동작이 ON이면, 제어모듈(130)이 카메라부(110)가 출력하여 미리 저장된 다수개의 합성용 이미지 패치 중 상기 브레이크 동작 OFF 시에 저장되었던 합성용 이미지 패치를 추출하는 단계; 및
    c) 상기 제어모듈(130)이 b)단계를 통해 추출한 합성용 이미지 패치를 합성하여 어라운드 뷰 이미지(B')를 생성하는 단계를 포함하는 어라운드 뷰 노이즈 제거 방법.
  8. 제 7 항에 있어서,
    상기 b)단계를 통해 추출한 합성용 이미지 패치는 브레이크의 동작으로 브레이크 등(Brake Lamp)에서 발광되는 적색의 빛을 포함하지 않는 이미지인 것을 특징으로 하는 어라운드 뷰 노이즈 제거 방법.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 b)단계는,
    상기 카메라부(110)의 촬영시간과 상기 브레이크 동작 검출부(120)의 브레이크 동작 검출시간을 분석하여, 상기 브레이크의 ON 동작이 검출된 시간과 대응하는 촬영시간에 촬영되어 저장된 합성용 이미지 패치를 제거하거나, 상기 브레이크의 ON 동작이 검출된 시간을 기점으로 그 전에 촬영되어 저장되었던 합성용 이미지 패치들만을 추출하는 것을 특징으로 하는 어라운드 뷰 노이즈 제거 방법.
KR1020150097327A 2015-07-08 2015-07-08 어라운드 뷰 노이즈 제거 시스템 및 방법 KR101750160B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150097327A KR101750160B1 (ko) 2015-07-08 2015-07-08 어라운드 뷰 노이즈 제거 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150097327A KR101750160B1 (ko) 2015-07-08 2015-07-08 어라운드 뷰 노이즈 제거 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170006543A true KR20170006543A (ko) 2017-01-18
KR101750160B1 KR101750160B1 (ko) 2017-06-22

Family

ID=57992064

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150097327A KR101750160B1 (ko) 2015-07-08 2015-07-08 어라운드 뷰 노이즈 제거 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101750160B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102406513B1 (ko) * 2017-09-21 2022-06-15 현대자동차주식회사 영상 변환 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101406073B1 (ko) 2013-03-12 2014-06-11 현대오트론 주식회사 어라운드 뷰 영상을 생성하는 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4101167B2 (ja) 2003-12-19 2008-06-18 スタンレー電気株式会社 車両周辺監視装置
JP4232794B2 (ja) * 2006-05-31 2009-03-04 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101406073B1 (ko) 2013-03-12 2014-06-11 현대오트론 주식회사 어라운드 뷰 영상을 생성하는 방법 및 장치

Also Published As

Publication number Publication date
KR101750160B1 (ko) 2017-06-22

Similar Documents

Publication Publication Date Title
US10899277B2 (en) Vehicular vision system with reduced distortion display
US11472338B2 (en) Method for displaying reduced distortion video images via a vehicular vision system
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
US8330816B2 (en) Image processing device
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP5516998B2 (ja) 画像生成装置
JP2008230296A (ja) 車両用運転支援システム
US20120002052A1 (en) Obstacle detection apparatus, obstacle detection system having same, and obstacle detection method
JP2007129560A (ja) 物体検出装置
KR20120077309A (ko) 차량의 후방 영상 표시 장치 및 방법
WO2012014266A1 (ja) 障害物検知システム及び方法、障害物検知装置
JP4927647B2 (ja) 車両周辺監視装置
TWI533694B (zh) 車用障礙物偵測顯示系統
JP2012105090A (ja) 駐車支援装置
JP2012027773A (ja) 擬似濃淡画像生成装置及びプログラム
JP5516997B2 (ja) 画像生成装置
KR20200047257A (ko) 차량 주위 영상 표시 시스템 및 차량 주위 영상 표시 방법
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
KR101428094B1 (ko) 차선이 표시된 측방/후방 영상 제공 시스템
JP2008004989A (ja) 車両周囲表示装置
KR101750160B1 (ko) 어라운드 뷰 노이즈 제거 시스템 및 방법
JP2019001325A (ja) 車載用撮像装置
JP5166111B2 (ja) 車両周辺監視装置
KR101709009B1 (ko) 어라운드 뷰 왜곡 보정 시스템 및 방법
JP4704998B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant