KR102518535B1 - 차량의 영상 처리 장치 및 방법 - Google Patents

차량의 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102518535B1
KR102518535B1 KR1020160166816A KR20160166816A KR102518535B1 KR 102518535 B1 KR102518535 B1 KR 102518535B1 KR 1020160166816 A KR1020160166816 A KR 1020160166816A KR 20160166816 A KR20160166816 A KR 20160166816A KR 102518535 B1 KR102518535 B1 KR 102518535B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
proximity
image processing
processing device
Prior art date
Application number
KR1020160166816A
Other languages
English (en)
Other versions
KR20180065666A (ko
Inventor
가즈유키 하마다
Original Assignee
현대자동차주식회사
기아 주식회사
현대자동차일본기술연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사, 현대자동차일본기술연구소 filed Critical 현대자동차주식회사
Priority to KR1020160166816A priority Critical patent/KR102518535B1/ko
Publication of KR20180065666A publication Critical patent/KR20180065666A/ko
Application granted granted Critical
Publication of KR102518535B1 publication Critical patent/KR102518535B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량의 영상 처리 장치 및 방법에 관한 것이다. 본 발명에 따른 장치는, 차량의 후방 영상을 촬영하는 복수의 카메라, 상기 복수의 카메라에 의해 촬영된 영상들을 결합한 결합 영상 내에 존재하는 객체를 검출하는 객체 검출부, 상기 객체와 차량 간 상대 위치, 상대 속도 차이 및 진행 방향에 근거하여 상기 차량에 대한 상기 객체의 근접도를 판단하고, 상기 객체의 근접도에 따라 상기 객체 및 상기 객체의 주변 영역에 가중치를 부여하는 근접도 판단부, 및 상기 객체 및 상기 객체의 주변 영역에 부여된 가중치를 상기 결합 영상의 각 화소 값에 적용하고, 상기 각 화소 값에 근거하여 상기 결합 영상의 일부 영역을 제거하는 영상 보정부를 포함한다.

Description

차량의 영상 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE OF VEHICLE}
본 발명은 차량의 영상 처리 장치 및 방법에 관한 것이다.
차량 운전자는 차선 변경 시 미러를 통해 후방 및 측방의 장애물을 확인한 후에 차선 변경을 시도하였다.
하지만, 미러가 차량의 후방 및 측방의 모든 영역을 커버할 수는 없기 때문에 사각 영역이 발생하고, 그로 인해 차량 운전자는 후방 및/또는 측방의 사각 영역에 위치한 장애물을 확인하지 못한 채 차선 변경을 시도하는 경우가 발생하였다.
이를 위해, 카메라 모니터 시스템(camera monitor system, CMS)이 개발되고 있으며, 운전자는 카메라 모니터 시스템을 통해 사각 영역에 존재하는 장애물의 확인이 용이하여 차선 변경 시 안정성을 확보할 수 있었다.
다만, 종래의 카메라 모니터 시스템은 영상의 범위가 가로 방향으로 길기 때문에, 차량 운전자가 미러에 표시된 영상을 한눈에 확인하기가 쉽지 않았다.
본 발명의 목적은, 카메라 모니터 시스템에서 룸미러를 통해 제공하는 영상을 심 카빙(seam carving) 기술을 이용하여 중요도가 낮은 영역을 수직 방향으로 제거하고, 중요도가 높은 영역만을 결합하여 제공함으로써 운전자가 룸미러를 통해 제공된 영상으로부터 후방 상황을 한눈에 확인할 수 있도록 한 차량의 영상 처리 장치 및 방법을 제공함에 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 장치는, 차량의 후방 영상을 촬영하는 복수의 카메라, 상기 복수의 카메라에 의해 촬영된 영상들을 결합한 결합 영상 내에 존재하는 객체를 검출하는 객체 검출부, 상기 객체와 차량 간 상대 위치, 상대 속도 차이 및 진행 방향에 근거하여 상기 차량에 대한 상기 객체의 근접도를 판단하고, 상기 객체의 근접도에 따라 상기 객체 및 상기 객체의 주변 영역에 가중치를 부여하는 근접도 판단부, 및 상기 객체 및 상기 객체의 주변 영역에 부여된 가중치를 상기 결합 영상의 각 화소 값에 적용하고, 상기 각 화소 값에 근거하여 상기 결합 영상의 일부 영역을 제거하는 영상 보정부를 포함하는 것을 특징으로 한다.
또한, 상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 방법은, 복수의 카메라에 의해 차량의 후방 영상을 촬영하는 단계, 상기 복수의 카메라에 의해 촬영된 영상들을 결합한 결합 영상 내에 존재하는 객체를 검출하는 단계, 상기 객체와 차량 간 상대 위치, 상대 속도 차이 및 진행 방향에 근거하여 상기 차량에 대한 상기 객체의 근접도를 판단하는 단계, 상기 객체의 근접도에 따라 상기 객체 및 상기 객체의 주변 영역에 가중치를 부여하는 단계, 및 상기 객체 및 상기 객체의 주변 영역에 부여된 가중치를 상기 결합 영상의 각 화소 값에 적용하고, 상기 각 화소 값에 근거하여 상기 결합 영상의 일부 영역을 제거하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 카메라 감시 시스템에서 룸미러를 통해 제공하는 영상을 심 카빙(seam carving) 기술을 이용하여 중요도가 낮은 영역을 수직 방향으로 제거하고, 중요도가 높은 영역만을 결합함으로써 영상의 리사이징을 수행하지 않고도 영상의 수평 방향의 크기를 최소화할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 영상의 수평 방향의 크기를 최소화함으로써 운전자가 룸미러를 통해 제공된 영상으로부터 차량의 후방 상황을 한눈에 확인할 수 있으며, 그로 인해 사용자의 편이성이 증대되는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 영상 처리 장치가 적용된 차량을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량의 영상 처리 장치의 구성을 도시한 도면이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 차량의 영상 처리 장치의 동작을 설명하는데 참조되는 실시예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 차량의 영상 처리 방법에 대한 동작 흐름을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 방법이 실행되는 컴퓨팅 시스템을 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량의 영상 처리 장치가 적용된 차량을 도시한 도면이다.
도 1을 참조하면, 차량(10)은 후방 범퍼와, 좌측 및 우측의 사이드 미러에 각각 카메라(131, 133, 135)를 각각 구비할 수 있다. 이때, 차량의 영상 처리 장치(100)는 각 카메라(131, 133, 135)에 의해 촬영된 영상(I1~I3)을 차량(10) 내 룸미러(121)의 화면에 표시하여 운전자가 후방 및 측방의 영상(I1~I3)을 룸미러(121)의 화면을 통해 확인할 수 있도록 한다.
차량의 영상 처리 장치(100)는 각 카메라(131, 133, 135)에 의해 촬영된 영상(I1~I3)을 수평 방향으로 결합하여 룸미러(121)의 화면에 표시할 수 있다.
이때, 차량의 영상 처리 장치(100)는 룸미러(121)의 화면에 표시되는 영상(I1~I3)에 심 카빙(seam carving) 기술을 적용하여 결합 영상에서 물체가 존재하지 않는 배경 영역을 제거하고, 차량(10)으로의 근접도가 낮은 물체 주변의 영역을 제거하여 룸미러(121)의 화면에 표시되는 영상의 수평 방향의 크기를 최소화할 수 있다.
이 경우, 차량의 영상 처리 장치(100)는 룸미러(121)에 도시되는 영상의 수평 방향의 크기를 최소화함으로써 운전자가 영상 내 상황을 한 눈에 확인할 수 있도록 한다.
한편, 차량(10)에 별도의 카메라 모니터 시스템에 구비된 경우, 차량의 영상 처리 장치(100)는 수평 방향의 크기를 최소화한 최종 영상을 카메라 모니터 시스템으로 제공할 수도 있다.
이에, 차량의 영상 처리 장치(100)에 대한 세부 구성은 도 2를 참조하여 더욱 상세히 설명하도록 한다.
본 발명에 따른 차량의 영상 처리 장치(100)는 차량(10)의 내부에 구현될 수 있다. 이때, 차량의 영상 처리 장치(100)는 차량(10)의 내부 제어 유닛들과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량(10)의 제어 유닛들과 연결될 수도 있다. 여기서, 차량의 영상 처리 장치(100)는 카메라 모니터 시스템과 연계되어 동작할 수 있으며, 차량(10)에 구비된 카메라의 동작을 제어하는 제어 유닛과 연계되어 동작할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 차량의 영상 처리 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 차량의 영상 처리 장치(100)는 제어부(110), 인터페이스부(120), 카메라(130), 통신부(140), 저장부(150), 영상 보정부(160), 객체 검출부(170) 및 근접도 판단부(180)를 포함할 수 있다. 여기서, 제어부(110)는 차량의 영상 처리 장치(100)의 각 구성요소들 간에 전달되는 신호를 처리할 수 있다.
인터페이스부(120)는 사용자로부터의 제어 명령을 입력 받기 위한 입력수단과 차량의 영상 처리 장치(100)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다.
여기서, 입력수단은 키 버튼을 포함할 수 있으며, 마우스, 조이스틱, 조그 셔틀, 스타일러스 펜 등을 포함할 수도 있다. 또한, 입력수단은 디스플레이 상에 구현되는 소프트 키를 포함할 수도 있다.
출력수단은 디스플레이를 포함할 수 있으며, 스피커와 같은 음성출력수단을 포함할 수도 있다. 여기서, 출력수단은 차량에 구비된 룸미러를 포함할 수 있다.
터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다.
이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.
카메라(130)는 차량 주변의 영상을 촬영하는 장치로서, 차량의 후방 영상(이하에서는 '제1 영상'이라 칭한다.)을 촬영하는 제1 카메라(131), 차량의 좌측 후방의 영상(이하에서는 '제2 영상'이라 칭한다.)을 촬영하는 제2 카메라(133) 및 차량의 우측 후방의 영상(이하에서는 '제3 영상'이라 칭한다.)을 촬영하는 제3 카메라(135)를 포함할 수 있다. 여기서, 제1 카메라(131) 내지 제3 카메라(135)는 광각 카메라일 수 있다.
제1 카메라(131) 내지 제3 카메라(135)는 제1 영상, 제2 영상 및 제3 영상을 각각 제어부(110)로 전달한다. 이때, 제어부(110)는 제1 영상 내지 제3 영상을 저장부(150)에 저장하고, 저장된 각 영상을 객체 검출부(170) 및 영상 보정부(160)로 제공할 수 있다.
통신부(140)는 차량에 구비된 전장품 및/또는 제어유닛들과의 통신 인터페이스를 지원하는 통신모듈을 포함할 수 있다. 여기서, 통신모듈은 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 등의 차량 네트워크 통신을 지원하는 모듈을 포함할 수 있다.
또한, 통신모듈은 무선 인터넷 접속을 위한 모듈 또는 근거리 통신(Short Range Communication)을 위한 모듈을 포함할 수도 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이 파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access, Wimax) 등이 포함될 수 있으며, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association, IrDA) 등이 포함될 수 있다.
저장부(150)는 차량의 영상 처리 장치(100)가 동작하는데 필요한 데이터 및/또는 알고리즘 등을 저장할 수 있다.
즉, 저장부(150)는 제1 카메라(131) 내지 제3 카메라(135)에 의해 촬영된 각 영상이 저장될 수 있으며, 제1 카메라(131) 내지 제3 카메라(135)에 의해 촬영된 각 영상을 결합한 결합 영상이 저장될 수 있다. 또한, 저장부(150)는 객체 검출부(170), 영상 보정부(160) 및 영상 결합부에서 각 동작을 수행하기 위한 명령 및/또는 알고리즘이 저장될 수 있다. 또한, 저장부는 객체 검출부(170), 영상 보정부(160) 및 영상 결합부의 동작 결과가 저장될 수 있다.
여기서, 저장부(150)는 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory)와 같은 저장매체를 포함할 수 있다.
영상 보정부(160)는 제1 카메라(131) 내지 제3 카메라(135)에 의해 촬영된 각 영상, 예를 들어, 제1 영상 내지 제3 영상에 대해 기하학 보정을 수행할 수 있다. 또한, 영상 보정부(160)는 기하학 보정된 제1 영상 내지 제3 영상을 분석하여 특징점을 추출하고, 각 영상으로부터 추출된 특징점을 기준으로 제1 영상 내지 제3 영상을 결합하여 결합 영상을 생성할 수 있다.
물론, 영상 보정부(160)는 제1 영상 내지 제3 영상을 결합한 후에 기하학 보정을 수행할 수도 있다.
객체 검출부(170)는 영상 보정부(160)에 의해 생성된 결합 영상을 분석하여 결합 영상 내의 객체를 검출한다. 이때, 객체 검출부(170)는 결합 영상 내에서 검출된 객체와 차량 간 위치, 상대 속도 차이, 진행 방향 등을 검출할 수 있다.
근접도 판단부(180)는 검출된 객체와 차량 간 상대적 위치에 근거하여 해당 객체의 근접도를 판단하고, 판단된 근접도에 따라 가중치를 부여할 수 있다.
여기서, 근접도 판단부(180)는 도 3의 테이블에 도시된 항목을 기준으로 가중치를 부여할 수 있다.
도 3을 참조하면, 근접도 판단부(180)는 차량과 객체 간 상대 위치가 근접한지, 다소 근접한지 또는 멀어지는지로 구분할 수 있다. 여기서, 근접도 판단부(180)는 차량과 객체 간 상대 위치가 미리 정의된 제1 기준거리 이내이면 근접한 것으로 판단할 수 있다. 또한, 근접도 판단부(180)는 차량과 객체 간 상대 위치가 미리 정의된 제2 기준거리를 초과하면 멀어지는 것으로 판단할 수 있다. 한편, 근접도 판단부(180)는 차량과 객체 간 상대 위치가 미리 정의된 제1 기준거리를 초과하고 제2 기준거리 이내이면 다소 근접할 것으로 판단할 수 있다.
또한, 근접도 판단부(180)는 차량과 객체 간 상대 위치(근접, 다소 근접, 멀어진다)를 기준으로 상대 속도(예를 들어, 자차가 빠르다, 거의 같다, 자차가 늦다) 및 상대적인 진행 방향(멀어진다/가까워진다)에 따라 일정시간 경과 후의 차량과 객체 간 상대 위치를 예측하여 각 객체에 가중치를 부여할 수 있다.
일 예로, 근접도 판단부(180)는 차량과 객체 간 상대 위치가 멀어지는 경우, 상대 속도가 자차가 빠르면 상대적인 진행 방향에 상관없이 일정시간 결과 후 차량과 객체 간 상대 위치가 멀어지는 것으로 판단하여 가중치를 1(낮음)을 부여할 수 있다. 또한, 상대 속도가 거의 같거나 자차가 느린 경우, 상대적인 진행방향이 멀어지면 일정시간 경과 후 멀어지는 것으로 판단하여, 가중치를 1(낮음)로 부여할 수 있다. 한편, 상대적인 진행방향이 가까워지는 경우에는 일정시간 결과 후 다소 근접할 것으로 판단하여 가중치를 2 또는 3으로 부여할 수 있다.
차량과 객체 간 상대 위치가 근접한 경우, 근접도 판단부(180)는 상대 속도가 자차가 빠르면 상대적인 진행 방향에 상관없이 일정시간 결과 후 차량과 객체 간 상대 위치가 다소 근접한 것으로 판단하여 가중치를 3으로 부여할 수 있다. 또한, 상대 속도가 거의 같거나 자차가 느린 경우, 상대적인 진행방향이 멀어지면 일정시간 경과 후 다소 근접한 것으로 판단하여, 가중치를 3으로 부여할 수 있다. 한편, 상대 속도가 거의 같거나 자차가 느리고 상대적인 진행방향이 가까워지는 경우에는 일정시간 경과 후 상당히 근접할 것으로 판단하여 가중치를 4 또는 5(높음)로 부여할 수 있다.
이와 같이, 차량과 객체 간 상대 위치에 따라 가중치를 다르게 부여할 수 있으며, 또한, 상대 속도 및 상대적인 진행 방향에 따라 가중치를 다르게 부여할 수 있다.
다만, 도 3에 도시된 바와 같이, 차량과 객체 간 상대 위치가 근접하거나 다소 근접한 경우에, 멀어지는 경우보다 더 높은 가중치가 부여되는 것을 확인할 수 있다.
또한, 근접도 판단부(180)는 해당 객체의 주변 영역에도 가중치를 부여할 수 있다. 이 경우, 근접도 판단부(180)는 근접도가 높은 객체의 주변 영역에는 근접도가 낮은 객체의 주변 영역 보다 가중치를 높게 부여할 수 있다.
이와 같이, 근접도 판단부(180)는 결합 영상으로부터 검출한 객체 및 해당 객체의 주변 영역에 가중치를 부여하고, 객체 정보 및 가중치 정보를 영상 보정부(160)로 전달할 수 있다.
영상 보정부(160)는 근접도 판단부(180)로부터 전달된 객체 정보 및 각 객체 및 해당 객체의 주변 영역에 부여된 가중치 정보에 근거하여 결합 영상에서 배경 영역에 해당하는 일부 영역을 제거할 수 있다.
도 4의 실시예를 참조하면, 차량이 좌측 방향으로 차선을 변경하고자 하는 경우, 영상 보정부(160)는 진행 방향과 반대 방향인 우측의 영상에서 배경 영역을 제거할 수 있다. 이때, 차량의 우측 후방의 제1 차량은 차량의 차선 이동 방향과 반대 방향으로 차선 변경을 진행하고 있다. 따라서, 객체 검출부(170)는 도 3의 테이블에 근거하여 제1 차량의 근접도에 따라 가중치를 낮게 부여할 수 있다.
한편, 차량의 좌측 후방의 제2 차량은 차량의 차선 이동 방향으로 진행하고 있다. 따라서, 객체 검출부(170)는 도 3의 테이블에 근거하여 제2 차량의 근접도에 따라 가중치를 높게 부여할 수 있다.
이때, 제1 차량 및 제2 차량 사이와 제2 차량의 좌측 영역에는 다른 객체가 존재하지 않는 배경 영역이므로, 영상 보정부(160)는 배경 영역을 제거할 수 있다.
여기서, 영상 보정부(160)는 가중치가 높게 부여된 제2 차량 주변 영역을 정해진 범위만큼 확보하고 좌측 및 우측의 배경 영역을 제거할 수 있다. 한편, 제1 차량은 기준치가 낮게 부여되었으므로, 영상 보정부(160)는 제2 차량 보다 좁은 범위만을 확보하고 배경 영역을 제거할 수 있다.
영상 보정부(160)는 결합 영상에서 배경 영역을 제거하는 경우, 심 카빙 기술을 적용하여 제거할 수 있다.
도 5의 실시예는 심 카빙(seam carving) 기술을 이용하여 심 화소를 제거하는 실시예를 나타낸 것이다.
도 5를 참조하면, 영상 보정부(160)는 (a)에 도시된 바와 같이 결합 영상의 각 좌표의 화소 값을 에너지 맵으로 구성한다. 영상 보정부(160)는 각 객체 및 해당 객체의 주변 영역에 부여된 가중치를 결합 영상의 각 영역 내 화소 값에 반영하여 에너지 맵으로 구성할 수 있다.
이때, 영상 보정부(160)는 결합 영상 내 각 좌표의 그래디언트(gradient)를 에너지 함수 E(x, y)로 정의함으로써 에너지 맵을 구성할 수 있다.
여기서, 에너지 함수 E(x, y)는 아래 [수학식 1]과 같이 정의할 수 있다.
Figure 112016120529864-pat00001
[수학식 1]에서 I는 x, y를 좌표값으로 갖는 좌표의 화소 값을 의미한다.
영상 보정부(160)는 도 5의 (a)에 도시된 에너지 맵을 이용하여 (b)와 같은 에너지 맵의 합을 계산할 수 있다.
먼저, 영상 보정부(160)는 대상 좌표(521)를 기준으로 좌측 상부의 제1 좌표(511), 상부의 제2 좌표(513) 및 우측 상부의 제3 좌표(515)와 대상 좌표(521)의 합을 각각 계산한다.
예를 들어, 제1 좌표(511)와 대상 좌표(521)의 합은 5 + 2 = 7이고, 제2 좌표(513)와 대상 좌표(521)의 합은 3 + 2 = 5이고, 제3 좌표(515)와 대상 좌표(521)의 합은 1 + 2 = 3이 된다.
여기서, 영상 보정부(160)는 제1 좌표(511), 제2 좌표(513) 및 제3 좌표(515)와 대상 좌표(521)의 화소 값을 합한 값 중 가장 작은 값을 대상 좌표(521)의 화소 값으로 결정한다. 따라서, 대상 좌표(521)의 화소 값은 도 5의 (b)에 도시된 에너지 맵의 합에서 도면부호 525와 같이 '3'이 된다.
이와 같은 방식으로, 영상 보정부(160)는 도 5의 (a)에 도시된 25개 좌표에 대해 (b)와 같은 에너지 맵의 합으로 나타낼 수 있다.
영상 보정부(160)는 도 5의 (b)에 도시된 에너지 맵의 합 중 각 행에서 가장 작은 좌표를 심(seam)으로 결정할 수 있다.
따라서, 영상 보정부(160)는 도 5의 (b)에 도시된 에너지 맵의 합의 1 행에서는 '1'의 화소 값을 갖는 좌표를, 2 행에서는 '3'의 화소 값을 갖는 좌표를, 3 행에서는 '6'의 화소 값을 갖는 좌표를, 4 행에서는 '8'의 화소 값을 갖는 좌표를, 그리고 5 행에서는 '10'의 화소 값을 갖는 좌표를 각각 심(seam)으로 결정하고, 결정된 심을 제거할 수 있다.
이 경우, 결합 영상 중 수직 방향의 일부 영역에 해당하는 영상이 제거되기 때문에, 영상 보정부(160)는 결합 영상의 수평 방향의 크기가 축소 되도록 보정할 수 있다.
이와 같은 방식으로, 영상 보정부(160)는 도 6과 같이 영상을 보정할 수 있다. 여기서, 배경 영역은 가중치가 낮게 부여되므로 해당 영역의 좌표는 낮은 화소 값을 갖게 된다. 따라서, 배경 영역은 심 카빙 기술에 의해 제거될 수 있다.
도 6을 참조하면, (a)는 제1 영상 내지 제3 영상을 결합한 결합 영상의 원본 영상을 나타낸 것이다.
이때, 영상 보정부(160)는 도 (a)의 원본 영상에서 도 4 및 도 5의 실시예를 통해 객체를 포함하지 않는 배경 영역(611, 641)을 심 카빙을 통해 제거하고, (b)와 같이 나머지 영역(611, 631, 651)을 결합하여 룸미러의 화면을 통해 표시할 수 있다.
따라서, 운전자는 룸미러의 화면에 표시된 영상을 통해 각 영상에 포함된 객체(615, 633, 635)를 한눈에 파악할 수 있다.
상기와 같이 구성되는 본 발명에 따른 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 7은 본 발명의 일 실시예에 따른 차량의 영상 처리 방법에 대한 동작 흐름을 도시한 도면이다.
도 7에 도시된 바와 같이, 차량의 영상 처리 장치(100)는 제1 카메라(131) 내지 제3 카메라(135)에 의해 제1 영상 내지 제3 영상이 촬영되면(S110), 촬영된 제1 영상 내지 제3 영상에 대해 기하학 보정을 한다.
차량의 영상 처리 장치(100)는 보정된 제1 영상 내지 제3 영상을 분석하여 특징점을 추출하고, 특징점이 일치하는 영역을 기반으로 보정된 제1 영상 내지 제3 영상을 결합한다(S130).
이후, 차량의 영상 처리 장치(100)는 'S130' 과정에서 결합된 결합 영상을 분석하여 결합 영상 내 객체 정보를 검출한다(S140). 'S140' 과정에서, 차량의 영상 처리 장치(100)는 결합 영상 내에서 검출된 객체와 차량 간 위치, 상대 속도 차이, 진행 방향 등을 검출할 수 있다.
차량의 영상 처리 장치(100)는 'S140' 과정에서 검출된 객체 정보에 근거하여 차량에 대한 각 객체의 근접도를 판단하고(S150), 'S150' 과정의 판단 결과에 따라 각 객체 및 해당 객체의 주변 영역에 가중치를 부여한다(S160). 일 예로, 차량의 영상 처리 장치(100)는 근접도가 높은 객체에 대해서는 근접도가 낮은 객체 보다 가중치를 높게 부여할 수 있다. 또한, 차량의 영상 처리 장치(100)는 근접도가 높은 객체의 주변 영역에는 근접도가 낮은 객체의 주변 영역보다 가중치를 높게 부여할 수 있다.
차량의 영상 처리 장치(100)는 각 객체 및 해당 객체의 주변 영역에 부여된 가중치를 각 영역의 화소 값에 반영할 수 있다. 따라서, 차량의 영상 처리 장치(100)는 심 카빙 기술을 적용하여 결합 영상 내에서 화소 값이 낮은 영역의 영상을 제거할 수 있다(S170). 일 예로, 화소 값이 낮은 영역은 객체가 존재하지 않는 배경 영역일 수 있다.
이와 같이, 결합 영상 내에서 화소 값이 낮은 영역의 영상이 제거되면, 차량의 영상 처리 장치(100)는 나머지 영상을 결합하여 최종 영상을 생성하고, 생성된 최종 영상을 디스플레이 화면, 예를 들어, 룸미러 화면을 통해 표시하도록 한다(S180).
상기에서와 같이 동작하는 본 실시예에 따른 차량의 영상 처리 장치(100)는 독립적인 하드웨어 장치 형태로 구현될 수 있으며, 적어도 하나 이상의 프로세서(processor)로서 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
도 8은 본 발명의 일 실시예에 따른 방법이 실행되는 컴퓨팅 시스템을 도시한 도면이다.
도 8을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 차량 100: 차량의 영상 처리 장치
110: 제어부 120: 인터페이스부
130: 카메라 131: 제1 카메라
133: 제2 카메라 135: 제3 카메라
140: 통신부 150: 저장부
160: 영상 보정부 170: 객체 검출부
180: 근접도 판단부

Claims (18)

  1. 차량의 후방 영상을 촬영하는 복수의 카메라;
    상기 복수의 카메라에 의해 촬영된 영상들을 결합한 결합 영상 내에 존재하는 객체를 검출하는 객체 검출부;
    상기 객체와 차량 간 상대 위치, 상대 속도 차이 및 진행 방향에 근거하여 상기 차량에 대한 상기 객체의 근접도를 판단하고, 상기 객체의 근접도에 따라 상기 객체 및 상기 객체의 주변 영역에 가중치를 부여하는 근접도 판단부; 및
    상기 객체 및 상기 객체의 주변 영역에 부여된 가중치를 상기 결합 영상의 각 화소 값에 적용하고, 상기 각 화소 값에 근거하여 상기 결합 영상의 일부 영역을 제거하는 영상 보정부;를 포함하고,
    상기 영상 보정부는
    상기 차량이 차선을 변경할 경우, 상기 차량의 진행 방향과 반대 방향인 영상에서 객체를 포함하지 않는 배경 영역에서 가로 방향의 일정 폭에 대응하는 영상을 제거하는 것을 특징으로 하는 차량의 영상 처리 장치.
  2. 청구항 1에 있어서,
    상기 근접도 판단부는,
    근접도가 낮은 객체 보다 근접도가 높은 객체의 가중치를 높게 부여하는 것을 특징으로 하는 차량의 영상 처리 장치.
  3. 청구항 2에 있어서,
    상기 근접도 판단부는,
    상기 객체와 차량 간 상대 위치가 가까울수록 근접도가 높은 것으로 판단하는 것을 특징으로 하는 차량의 영상 처리 장치.
  4. 청구항 2에 있어서,
    상기 근접도 판단부는,
    상기 객체의 속도가 상기 차량 보다 빠를수록 근접도가 높은 것으로 판단하는 것을 특징으로 하는 차량의 영상 처리 장치.
  5. 청구항 2에 있어서,
    상기 근접도 판단부는,
    상기 객체와 차량의 진행 방향이 같으면 가중치를 높게 부여하는 것을 특징으로 하는 차량의 영상 처리 장치.
  6. 청구항 1에 있어서,
    상기 근접도 판단부는,
    상기 객체와 차량 간 상대 위치, 속도 차이 및 진행 방향에 따라 예측되는 근접도 및 상기 예측된 근접도에 대응하는 가중치를 정의한 테이블에 근거하여 상기 객체 및 상기 객체의 주변 영역의 가중치를 결정하는 것을 특징으로 하는 차량의 영상 처리 장치.
  7. 청구항 1에 있어서,
    상기 근접도 판단부는,
    근접도가 낮은 객체의 주변 영역 보다 근접도가 높은 객체의 주변 영역에 가중치를 높게 부여하는 것을 특징으로 하는 차량의 영상 처리 장치.
  8. 청구항 1에 있어서,
    상기 영상 보정부는,
    상기 결합 영상의 각 화소들 중 주변 영역보다 가중치가 낮게 부여된 각 화소의 화소 값을 추출하여 해당 영역의 영상을 제거하는 것을 특징으로 하는 차량의 영상 처리 장치.
  9. 삭제
  10. 삭제
  11. 청구항 1에 있어서,
    상기 영상 보정부는,
    상기 일부 영역의 영상이 제거되고 남은 영상을 결합하여 디스플레이 화면을 통해 표시하는 것을 특징으로 하는 차량의 영상 처리 장치.
  12. 청구항 11에 있어서,
    상기 디스플레이 화면은,
    상기 차량의 룸미러의 화면인 것을 특징으로 하는 차량의 영상 처리 장치.
  13. 청구항 1에 있어서,
    상기 영상 보정부는,
    상기 복수의 카메라에 의해 촬영된 영상들을 기하학 보정하여 특징점을 추출하고, 상기 추출된 특징점에 근거하여 상기 영상들을 결합하는 것을 특징으로 하는 차량의 영상 처리 장치.
  14. 청구항 1에 있어서,
    상기 복수의 카메라는,
    상기 차량의 후방 영상을 촬영하는 제1 카메라;
    상기 차량의 좌측 후방 영상을 촬영하는 제2 카메라; 및
    상기 차량의 우측 후방 영상을 촬영하는 제3 카메라를 포함하는 것을 특징으로 하는 차량의 영상 처리 장치.
  15. 복수의 카메라에 의해 차량의 후방 영상을 촬영하는 단계;
    상기 복수의 카메라에 의해 촬영된 영상들을 결합한 결합 영상 내에 존재하는 객체를 검출하는 단계;
    상기 객체와 차량 간 상대 위치, 상대 속도 차이 및 진행 방향에 근거하여 상기 차량에 대한 상기 객체의 근접도를 판단하는 단계;
    상기 객체의 근접도에 따라 상기 객체 및 상기 객체의 주변 영역에 가중치를 부여하는 단계; 및
    상기 객체 및 상기 객체의 주변 영역에 부여된 가중치를 상기 결합 영상의 각 화소 값에 적용하고, 상기 각 화소 값에 근거하여 상기 결합 영상의 일부 영역을 제거하는 단계;를 포함하고,
    상기 결합 영상의 일부 영역을 제거하는 단계는,
    상기 차량이 차선을 변경할 경우, 상기 차량의 진행 방향과 반대 방향인 영상에서 객체를 포함하지 않는 배경 영역에서 가로 방향의 일정 폭에 대응하는 영상을 제거하는 단계를 포함하는 것을 특징으로 하는 차량의 영상 처리 방법.
  16. 청구항 15에 있어서,
    상기 일부 영역의 영상이 제거되고 남은 영상을 결합하여 디스플레이 화면을 통해 표시하는 단계를 더 포함하는 것을 특징으로 하는 차량의 영상 처리 방법.
  17. 청구항 15에 있어서,
    상기 객체를 검출하는 단계 이전에,
    상기 복수의 카메라에 의해 촬영된 영상들을 기하학 보정하는 단계를 더 포함하는 것을 특징으로 하는 차량의 영상 처리 방법.
  18. 청구항 15에 있어서,
    상기 객체를 검출하는 단계 이전에,
    상기 복수의 카메라에 의해 촬영된 영상들을 분석하여 특징점을 추출하는 단계; 및
    상기 추출된 특징점에 근거하여 상기 영상들을 결합하고 상기 결합 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 차량의 영상 처리 방법.
KR1020160166816A 2016-12-08 2016-12-08 차량의 영상 처리 장치 및 방법 KR102518535B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160166816A KR102518535B1 (ko) 2016-12-08 2016-12-08 차량의 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160166816A KR102518535B1 (ko) 2016-12-08 2016-12-08 차량의 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180065666A KR20180065666A (ko) 2018-06-18
KR102518535B1 true KR102518535B1 (ko) 2023-04-07

Family

ID=62765596

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160166816A KR102518535B1 (ko) 2016-12-08 2016-12-08 차량의 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102518535B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564021B1 (ko) * 2018-09-14 2023-08-07 현대자동차주식회사 후방 영상 표시 제어 장치 및 방법, 그리고 차량 시스템
KR102514574B1 (ko) * 2020-12-30 2023-03-30 아진산업(주) 차량 내 승객 검출 장치 및 그 방법
KR102643149B1 (ko) * 2021-12-29 2024-03-05 오토아이티(주) 차량 내 승객 검출 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146133A (ja) * 2007-12-13 2009-07-02 Denso Corp 車載用画像処理装置及び車載用画像表示装置
JP2016189576A (ja) * 2015-03-30 2016-11-04 アイシン精機株式会社 画像表示制御装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361360B1 (ko) * 2011-12-26 2014-02-11 현대자동차주식회사 측후방 감지센서를 이용한 차간거리 제어 시스템 및 그 제어 방법
KR20150072942A (ko) * 2013-12-20 2015-06-30 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
KR102190892B1 (ko) * 2014-09-22 2020-12-14 에스엘 주식회사 차량의 주변 감시 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146133A (ja) * 2007-12-13 2009-07-02 Denso Corp 車載用画像処理装置及び車載用画像表示装置
JP2016189576A (ja) * 2015-03-30 2016-11-04 アイシン精機株式会社 画像表示制御装置

Also Published As

Publication number Publication date
KR20180065666A (ko) 2018-06-18

Similar Documents

Publication Publication Date Title
US10268201B2 (en) Vehicle automated parking system and method
KR102406502B1 (ko) 차량의 협로 주행 안내 장치 및 방법
JP6381807B2 (ja) 表示制御装置、表示装置および表示制御方法
US10091489B2 (en) Image capturing device, image processing method, and recording medium
US20180114067A1 (en) Apparatus and method for extracting objects in view point of moving vehicle
US20160093052A1 (en) Method and apparatus for detecting obstacle based on monocular camera
US20170269684A1 (en) Vehicle display device
US20140226011A1 (en) Traffic lane recognizing apparatus and method thereof
US20160378181A1 (en) Method for Image Stabilization
US20220166924A1 (en) Image display apparatus
KR102518535B1 (ko) 차량의 영상 처리 장치 및 방법
US10477155B2 (en) Driving assistance method, driving assistance device, and recording medium recording program using same
US10635278B2 (en) Apparatus and method for controlling display of vehicle, and vehicle system
JP6448804B2 (ja) 表示制御装置、表示装置および表示制御方法
US10620752B2 (en) System and method for predicting a touch position of a pointer on a touch-enabled unit or determining a pointing direction in 3D space
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
KR20180041524A (ko) 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
KR20160090677A (ko) 주차 가이드 시스템 및 그 제어방법
US20060115144A1 (en) Image information processing system, image information processing method, image information processing program, and automobile
KR101641251B1 (ko) 차선 인식 장치 및 그 방법
KR102441079B1 (ko) 차량의 디스플레이 제어 장치 및 방법
US20150078617A1 (en) Mobile terminal and method for generating control command using marker attached to finger
US20180186287A1 (en) Image processing device and image processing method
KR101470230B1 (ko) 주차 영역 추적 장치 및 그 방법
JPWO2019111305A1 (ja) 表示制御装置及び表示制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant