KR101610038B1 - Avm 장치 및 동작 방법 - Google Patents

Avm 장치 및 동작 방법 Download PDF

Info

Publication number
KR101610038B1
KR101610038B1 KR1020140072289A KR20140072289A KR101610038B1 KR 101610038 B1 KR101610038 B1 KR 101610038B1 KR 1020140072289 A KR1020140072289 A KR 1020140072289A KR 20140072289 A KR20140072289 A KR 20140072289A KR 101610038 B1 KR101610038 B1 KR 101610038B1
Authority
KR
South Korea
Prior art keywords
luminance
image
value
view image
vehicle
Prior art date
Application number
KR1020140072289A
Other languages
English (en)
Other versions
KR20150143144A (ko
Inventor
이성주
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140072289A priority Critical patent/KR101610038B1/ko
Priority to US14/515,583 priority patent/US9669761B2/en
Priority to CN201410641588.9A priority patent/CN105196917B/zh
Publication of KR20150143144A publication Critical patent/KR20150143144A/ko
Application granted granted Critical
Publication of KR101610038B1 publication Critical patent/KR101610038B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Abstract

본 발명은 차량에 장착되는 복수의 카메라 상기 복수의 카메라부터 각각 복수의 영상을 수신하고, 상기 복수의 영상을 합성하여 어라운드 뷰(arround view) 영상을 생성하는 영상합성부 상기 어라운드 뷰 영상을 수신하고, 상기 어라운드 뷰 영상에 포함된 각 영역별 휘도 평균값 및 휘도 분산값을 기반으로 상기 어라운드 뷰 영상의 휘도를 보정하여 출력하는 휘도 보정부 및 상기 휘도가 보정된 어라운드 뷰 영상을 표시하는 영상 표시부;를 포함하는 AVM(Arround View Monitoring) 장치에 관한 것이다.

Description

AVM 장치 및 동작 방법{Around view monitoring apparatus and Method of thereof}
본 발명은 차량 주변의 영상을 표시하는 차량 주변 모니터링 장치 및 그 방법에 관한 것이다. 보다 상세하게는 어라운드 뷰 영상에서 휘도 보정하는 AVM 장치 및 그 방법에 관한 것이다.
최근에는 차량의 고급화 및 다기능화에 따라, 차량에 어라운드 뷰 모니터링(이하, AVM, Around View Monitoring) 시스템이 탑재되고 있다.
AVM 시스템은 차량의 사방에 장착된 카메라를 통해 차량 주변의 영상을 획득하고, 차량의 주차시, 운전자가 힘들게 뒤를 돌아보거나 주위를 살피지 않고도 실내에 장착된 표시장치를 통해 차량의 주변을 확인할 수 있는 시스템이다. 또한, 어라운드 뷰 모니터링 시스템은 상기 주변의 영상을 합성하여 마치 차량의 위에서 보는 것과 같은 어라운드 뷰(around view)를 제공하기도 한다. 이러한 어라운드 뷰 모니터링 시스템을 이용하여, 운전자는 차량 주변의 상황을 한 눈에 파악하고 안전하게 주차를 하거나, 좁은 길을 지날 수 있다.
그러나, 종래의 AVM 시스템은 복수의 카메라로부터 수신된 복수의 이미지를 합성하여 어라운드 뷰(arround view)로 표시되므로, 각각의 이미지의 밝기의 차이에 따른 이질감이 있었다.
AVM 시스템에 관한 선행 문헌 : 공개번호 10-2013-0028230
본 발명은 상기한 문제점을 해결하기 위하여, 어라운드 뷰 영상에서 휘도 보정하는 AVM 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 AVM장치는 차량에 장착되는 복수의 카메라, 상기 복수의 카메라부터 각각 복수의 영상을 수신하고, 상기 복수의 영상을 합성하여 어라운드 뷰(around view) 영상을 생성하는 영상합성부, 상기 어라운드 뷰 영상을 수신하고, 상기 어라운드 뷰 영상에 포함된 각 영역별 휘도 평균값 및 휘도 분산값을 기반으로 상기 어라운드 뷰 영상의 휘도를 보정하여 출력하는 휘도 보정부 및 상기 휘도가 보정된 어라운드 뷰 영상을 표시하는 영상 표시부를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 어라운드 뷰 영상을 기반으로 휘도 보정을 하므로, 휘도 이질감을 고속으로 처리할 수 있는 장점이 있다.
둘째, 어라운드 뷰 영상내에 그림자 또는 장애물이 포함되어 있는 경우에도 휘도 이질감을 최소화할 수 있는 장점이 있다.
셋째, 카메라 장착 사용 변경시, 공통 촬상 범위에 대한 조정이 필요 없는 장점이 있다.
넷째, 합성 영상의 휘도 이질감을 최소화하여 감성 품질을 향상 시킬 수 있는 장점이 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 AVM장치를 포함하는 자동차를 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 AVM장치의 블럭도이다.
도 3은 본 발명의 실시예에 따라 측정부의 동작을 설명하는데 참조되는 도면이다.
도 4 내지 도 7은 본 발명의 실시예에 따라 산출부의 동작을 설명하는데 참조되는 도면이다.
도 8은 본 발명의 실시예에 따라 적용부의 동작을 설명하는데 참조되는 도면이다.
도 9는 본 발명의 실시예에 따른 AVM의 동작 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 명세서에서 구성의 명칭을 제1, 제2 등으로 구분한 것은 그 구성의 명칭이 동일한 관계로 이를 구분하기 위한 것으로, 하기의 설명에서 반드시 그 순서에 한정되는 것은 아니다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측, 즉, 운전석측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측, 즉, 보조석측을 의미한다.
도 1은 본 발명의 실시예에 따른 AVM장치를 포함하는 자동차를 개략적으로 도시한 도면이다.
도 1을 참조하면, 차량(10)에 장착되는 AVM 장치(100)는 복수의 카메라(110, 120, 130, 140)를 포함한다. 여기서, 복수의 카메라(110, 120, 130, 140)는 차량(10)의 전방, 후방, 좌측방, 우측방에 대한 영상을 획득할 수 있도록 4개인 것이 바람직하다. 복수의 카메라(110, 120, 130, 140)는 차량(10)의 외부에 장착되어 차량(10) 주변의 영상을 입력한다. 여기서, 복수의 카메라(110, 120, 130, 140)는 화각이 180deg 이상의 초광각 카메라인 것이 바람직하다.
한편, 본 명세서에서 복수의 카메라(110, 120, 130, 140)는 4개인 것으로 가정하여 설명하나, 이에 한정되지 아니한다.
예를 들면, 제1 카메라(110)는 차량(10)의 전방에 장착되어 차량(10)의 전방 영상을 입력할 수 있다. 제1 카메라(110)는 프론트 범퍼의 일 부분에 장착되는 것이 바람직하다.
제2 카메라(120)는 차량(10)의 후방에 장착되어 차량(10)의 후방 영상을 입력할 수 있다. 제4 카메라(110d)는 리어 범퍼의 일 부분, 번호판 위쪽 또는 아래쪽에 장착되는 것이 바람직하다.
제3 카메라(130)는 차량(10)의 좌측방에 장착되어 차량(10)의 좌측방 주변 영상을 입력할 수 있다. 제2 카메라(120)는 차량(10)의 좌측 사이드 미러의 일 부분이나 프런트 휀더의 일 부분에 장착되는 것이 바람직하다.
제4 카메라(140)는 차량(10)의 우측방에 장착되어 차량(10)의 우측방 주변 영상을 입력할 수 있다. 제3 카메라(130)는 차량(10)의 우측 사이드 미러의 일 부분이나 프런트 휀더의 일 부분에 장착되는 것이 바람직하다.
도 2는 본 발명의 실시예에 따른 AVM장치의 블럭도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 AVM장치(100)는 복수의 카메라(110, 120, 130, 140), 프로세서(180), 영상 표시부(170)를 포함한다.
여기서, 프로세서(180)는 영상 합성부(150), 휘도 보정부(160)를 포함한다.
제1 카메라(110)는 제1 영상을 획득한다. 제1 카메라(110)는 획득된 제1 영상을 영상 합성부(150)로 출력한다. 여기서, 제1 영상은 차량 전방 주변이 촬영된 영상이다. 제2 카메라(120)는 제2 영상을 획득한다.
제2 카메라(120)는 제2 영상을 획득한다. 제2 카메라(120)는 획득된 제2 영상을 영상 합성부(150)로 출력한다. 여기서, 제2 영상은 차량 후방 주변이 촬영된 영상이다.
제3 카메라(130)는 제3 영상을 획득한다. 제3 카메라(130)는 획득된 제3 영상을 영상 합성부(150)로 출력한다. 여기서, 제3 영상은 차량 좌측방 주변이 활영된 영상이다.
제4 카메라(140)는 제4 영상을 획득한다. 제4 카메라(140)는 획득된 제4 영상을 영상 합성부(150)로 출력한다. 여기서, 제4 영상은 차량 우측방 주변이 촬영된 영상이다.
영상 합성부(150)는 제1 영상, 제2 영상, 제3 영상 및 제4 영상을 수신한다. 영상 합성부(150)는 제1 영상, 제2 영상, 제3 영상 및 제4 영상을 합성하여 어라운드 뷰(arround view) 영상을 생성한다. 예를 들면, 어라운드 뷰 영상은 탑뷰(top view) 영상일 수 있다. 이때, 영상 합성부(150)는 룩업테이블(Look Up Table)을 이용할 수 있다. 룩업테이블은 합성 영상의 한 픽셀이 4개의 원래의 영상(제1 영상 내지 제4 영상)의 어떤 픽셀과 대응되는지 관계를 저장한 테이블이다.
한편, 어라운드 뷰 영상은 제1 채널, 제2 채널, 제3 채널 및 제4 채널을 포함할 수 있다. 여기서, 제1 채널은 제1 영상에 대응하는 영역으로, 어라운드 뷰 영상에서 차량의 전방 영역에 해당한다. 제2 채널은 제2 영상에 대응하는 영역으로, 어라운드 뷰 영상에서 차량의 후방 영역에 해당한다. 제3 채널은 제3 영상에 대응하는 영역으로, 어라운드 뷰 영상에서 차량의 좌측방 영역에 해당한다. 제4 채널은 제4 영상에 대응하는 영역으로, 어라운드 뷰 영상에서 차량의 우측방 영역에 해당한다.
영상 합성부(150)는 어라운드 뷰 영상을 휘도 보정부(160)로 출력한다.
휘도 보정부(160)는 어라운드 뷰 영상을 수신한다. 제1 영상 내지 제4 영상은 서로 다른 카메라로 서로 다른 빛을 받으면서 서로 다른 장면을 촬영했기때문에 서로 다른 휘도를 가진다. 따라서, 제1 영상 내지 제4 영상을 합성하여 생성된 어라운드 뷰 영상은 서로 다른 휘도를 가진다. 휘도 보정부(160)는 어라운드 뷰 영상에 포함된 각 영역별 휘도 평균값 및 휘도 분산값을 기반으로 휘도를 보정한다.
휘도 보정부(160)는 어라운드 뷰 영상을 입력받아 처리하므로, 처리 시간이 빠르다. 또한, 기존 AVM 장치와 같이 공통 촬성 범위를 가정하지 않으므로, 카메라 장착 오차 또는 장착 사양 변경에 따라, 복수의 카메라의 공통 촬상 범위를 별도로 조정할 필요가 없다.
휘도 보정부(160)는 측정부(162), 산출부(164) 및 적용부(166)를 포함한다.
측정부(162)는 어라운드 뷰 영상에서, 복수의 영상의 합성에 따른 각각의 경계선의 윗 영역과 경계선의 아래 영역의 휘도 평균값 및 휘도 분산값을 측정한다.
산출부(164)는 휘도 평균값 및 휘도 분산값을 이용하여, 제1 산출 방식 또는 제2 산출방식에 따라, 어라운드 뷰 영상의 보정치를 산출한다.
한편, 산출부(164)는 어라운드 뷰 영상에서 소정 프레임당 1번의 보정치를 연산할 수 있다. 산출부(164)는 어라운드 뷰 영상에서 6프레임당 1번 보정치를 연산하는 것이 바람직하다.
적용부(166)는 산출된 휘도 보정치를 어라운드 뷰 영상에 적용한다.
측정부(162), 산출부(164) 및 적용부(166)는 도 4 내지 도 8을 참조하여 상세하게 설명한다.
휘도 보정부(160)는 휘도가 보정된 어라운드 뷰 영상을 영상 표시부(170)로 출력한다.
영상 표시부(170)는 휘도가 보정된 어라운드 뷰 영상을 수신하여 표시한다. 영상 표시부(170)는 어라운드 뷰 영상을 표시한다. 기 위한 적어도 하나의 디스플레이를 구비할 수 있다. 한편, 어라운드 뷰 영상 표시시, 다양한 사용자 유저 인터페이스를 제공하는 것도 가능하며, 제공되는 유저 인터페이스에 대한 터치 입력이 가능한 터치 센서를 구비하는 것도 가능하다. 한편, 영상 표시부(170)는 차량에 장착된 AVN(Audio Visual Navigation)일 수도 있다.
프로세서(180)는 AVM 장치 각 모듈을 제어하고, 각종 연산을 수행한다. 프로세서(180)는 어라운드 뷰 영상이 제1 조건, 제2 조건 및 제3 조건에 해당하는지 판단할 수 있다.
도 3은 도 3은 본 발명의 실시예에 따라 측정부의 동작을 설명하는데 참조되는 도면이다.
도 3을 참조하면, 측정부(162)는 어라운드 뷰 영상의 휘도 평균값 및 휘도 분산값을 측정한다.
상술한 바와 같이, 어라운드 뷰 영상은 제1 채널(210), 제2 채널(220), 제3 채널(230) 및 제4 채널(240)을 포함한다. 제1 채널(210)은 제1 영상에 대응되는 차량 전방 영역이다. 제2 채널(220)은 제2 영상에 대응되는 차량 후방 영상이다. 제3 채널(230)는 제3 영상에 대응되는 차량 좌측방 영상이다. 제4 채널(340)은 제4 영상에 대응되는 차량 우측방 영상이다.
제1 채널(210) 및 제3 채널(230) 사이에는 제1 경계선(315)이 위치한다. 제1 채널(210) 및 제4 채널(240) 사이에는 제2 경계선(335)이 위치한다. 제2 채널(220) 및 제3 채널(230) 사이에는 제3 경계선(355)이 위치한다. 제2 채널(220) 및 제4 채널(240) 사이에는 제4 경계선(375)이 위치한다.
어라운드 뷰 영상이 제1 카메라(110)에서 수신된 제1 영상, 제2 카메라(120)에서 수신된 제2 영상, 제3 카메라(130)에서 수신된 제3 영상 및 제4 카메라(140)에서 수신된 제4 영상이 합성되어 생성되었기 때문에, 제1 경계선(315), 제2 경계선(335), 제3 경계선(355) 및 제4 경계선(375)이 불가피하게 생성된다.
측정부(162)는 상기 복수의 영상(제1 영상 내지 제4 영상)의 합성에 따른 경계선(제1 경계선 내지 제4 경계선)의 윗 영역과 경계선(제1 경계선 내지 제4 경계선)의 아래 영역의 휘도 평균값 및 휘도 분산값을 측정한다. 즉, 측정부(162)는 제1 경계선(315)의 윗 영역(310, 이하 A영역) 및 제1 경계선(315)의 아래 영역(320, 이하, B영역)의 휘도 평균값 및 휘도 분산값을 측정한다. 측정부(162)는 제2 경계선(335)의 윗 영역(330, 이하, C영역) 및 제2 경계선(335)의 아래 영역(340, 이하, D영역)의 휘도 평균값 및 휘도 분산값을 측정한다. 측정부(162)는 제3 경계선(355)의 윗 영역(350 이하, E영역) 및 제3 경계선(355)의 아래 영역(360, 이하, F영역)의 휘도 평균값 및 휘도 분산값을 측정한다. 측정부(162)는 제4 경계선(375)의 윗 영역(370, 이하, G영역) 및 제4 경계선(375)의 아래 영역(380, 이하, H영역)의 휘도 평균값 및 휘도 분산값을 측정한다.
예를 들어, 측정부(162)는 제1 경계선 윗 영역(310)의 휘도 평균값을 178nit, 휘도 분산값을 937으로 측정한다. 측정부(162)는 제1 경계선 아래 영역(320)의 휘도 평균값을 86nit, 휘도 분산값을 4018로 측정한다. 측정부(162)는 제2 경계선 윗 영역(330)의 휘도 평균값을 136nit, 휘도 분산값을 83으로 측정한다. 측정부(162)는 제2 경계선 아래 영역(340)의 휘도 평균값을 77nit, 휘도 분산값을 103으로 측정한다. 측정부(162)는 제3 경계선 윗 영역(350)의 휘도 평균값을 76nit, 휘도 분산값을 2327로 측정한다. 측정부(162)는 제3 경계선 아래 영역(360)의 휘도 평균값을 112nit, 휘도 분산값을 1851로 측정한다. 측정부(162)는 제4 경계선 윗 영역(370)의 휘도 평균값을 71nit, 휘도 분산값을 59로 측정한다. 측정부(162)는 제4 경계선 아래 영역의 휘도 평균값을 99nit, 휘도 분산값을 1355로 측정한다.
도 4 내지 도 7은 본 발명의 실시예에 따라 산출부의 동작을 설명하는데 참조되는 도면이다.
도 4는 제1 조건하에 제1 산출 방식에 의해 보정치를 산출하는 동작을 설명하는데 참조되는 도면이다.
도 4를 참조하면, 프로세서(180)는 어라운드 뷰 영상이 제1 조건에 해당되는지 판단한다. 여기서, 제1 조건은 어라운드 뷰 영상에 소정 크기의 그림자 또는 자기 차량을 제외한 소정 크기의 물체가 포함되지 않는 경우일 수 있다. 그리고, 제1 조건은 각 채널 간 인접 영역의 휘도 분산이 제1 임계값 이하이고, 휘도 평균값의 비율이 제2 임계값 이하인 경우일 수 있다. 여기서, 제1 임계값은 휘도 분산 임계치로, 실험에 의해 정하여질 수 있다. 예를 들면, 제1 임계값은 1600이다. 제2 임계값은 밝은 휘도 평균을 어두운 휘도 평균으로 나눈 비율로, 실험에 의해 정하여질 수 있다. 예를 들면, 제2 임계값은 2이다.
제1 조건에 해당되는 경우, 산출부(164)는 제1 산출 방식에 의해 보정치를 산출한다. 즉, 산출부(164)는 인접 영역의 휘도 평균값이 같아지도록 보정치를 계산한다. 제1 산출 방식은 경계선(315, 335, 355 또는 375)의 윗 영역(A영역, C영역, E영역 또는 G영역) 및 아래 영역(B영역, D영역, F영역 또는 H영역)간의 산술평균값을 구하고, 상기 산술 평균값에 상기 윗영역(A영역, C영역, E영역 또는 G영역) 또는 상기 아래 영역(B영역, D영역, F영역 또는 H영역)의 휘도 평균값을 빼서 보정치를 산출하는 방식이다.
예를 들면, 도 4의 어라운드 뷰 영상에서 제2 경계선(335)의 윗 영역(330, 이하, C영역)의 휘도 평균값은 136, 휘도 분산값은 83이다. 제2 경계선(335)의 아래 영역(340, 이하, D영역)의 휘도 평균값은 77, 휘도 분산값은 103이다.
프로세서(180)는 어라운드 뷰 영상이 제1 조건에 해당하는지 판단한다. 즉, 프로세서(180)는 어라운드 뷰 영상에 소정 크기의 그림자 또는 자기 차량을 제외한 소정 크기의 물체가 포함되지 않는지 판단한다.
그리고, 프로세서(180)는 C영역(330)의 휘도 분산 및 D영역의 휘도 분산이 제1 임계치값 1600 이하인지 판단한다. 본 실시예에서, C영역(330)의 휘도 분산은 83이고, D영역(340)의 휘도 분산은 103이므로, 제1 임계값 이하이다.
그리고, 프로세서(180)는 휘도 평균값의 비율이 제2 임계값인 2 이하인지 판단한다. 본 실시예에서, C영역(330)의 평균 휘도값인 136을 D영역(340)의 평균 휘도값인 77로 나눈 값이 2 이하이다. 따라서, 도 4의 어라운드 뷰 영상에서, C영역(330) 및 D영역(340)은 제1 조건에 해당하고, 제1 산출방식에 의해 보정치가 산출된다.
산출부(164)는 C영역(330) 및 D영역(340)의 휘도 평균값이 같아지도록 보정치를 계산한다. 즉, 산출부(164)는 C영역(330)의 휘도 평균값인 136 및 D영역(340)의 휘도 평균값인 77의 산술평균값을 산출한다. 산출부(164)는 산술평균값에서 C영역(330)의 휘도 평균값을 빼 C영역(330) 보정치를 산출한다. 산출부(164)는 산술평균값에서 D영역(340)의 휘도 평균값을 빼 D영역(340) 보정치를 산출한다.
C영역(330)의 보정치는 (136+77)/2-136=-29.5로 산출된다. D영역(340)의 보정치는 (136+77)/2-77=29.5로 산출된다.
도 5는 제2 조건하에서 제1 산출 방식에 의해 보정치를 산출하는 동작을 설명하는데 참조되는 도면이다.
도 5를 참조하면, 프로세서(180)는 어라운드 뷰 영상이 제2 조건에 해당되는지 판단한다. 여기서, 제2 조건은 제1 채널(210) 내지 제4 채널(240) 중 적어도 하나의 영역 전체에 걸쳐 그림자가 포함되고, 상기 그림자가 포함된 영역에 대응하는 카메라의 게인(Gain)이 높아져 해당 영역의 밝기가 밝아진 경우일 수 있다. 그리고, 각 채널의 외부 인접 영역의 휘도 분산이 제1 임계값 이하이고, 각 채널의 외부 인접 영역의 휘도 평균값의 차가 제3 임계값 이하인 경우일 수 있다. 여기서, 제1 임계값은 상술한 바와 같고, 제3 임계값은 소정 채널의 외부 인접 영역간 휘도 평균값의 차의 절대값이고, 실험에 의해 정해질 수 있다. 예를 들면, 제3 임계값은 60이다.
제2 조건에 해당되는 경우, 산출부(164)는 제1 산출 방식에 의해 보정치를 산출한다. 즉, 산출부(164)는 인접 영역의 휘도 평균값이 같아지도록 보정치를 계산한다.
예를 들면, 도 5의 어라운드 뷰 영상에서 제1 경계선(315)의 윗 영역(310, 이하, A영역)의 휘도 평균값은 24, 휘도 분산값은 83이다. 제1 경계선(315)의 아래 영역(320, 이하, B영역)의 휘도 평균값은 118, 휘도 분산값은 3270이다. 제3 경계선(355) 윗 영역(350, 이하, E영역)의 휘도 평균값은 72, 휘도 분산값은 1406이다. 제3 경계선(355) 아래 영역(360, 이하, F영역)의 휘도 평균값은 19, 휘도 분산값은 548이다.
프로세서(180)는 어라운드 뷰 영상이 제2 조건에 해당하는지 판단한다. 즉, 프로세서(180)는 어라운드 뷰 영상에 제1 채널(210) 내지 제4 채널(240) 중 적어도 하나의 영역 전체에 걸쳐 그림자가 포함되어, 카메라 게인(Gain)이 높아지는지 판단한다. 본 실시예에서, 제3 채널(230) 전체에 걸쳐 그림자가 포함되고, 카메라 게인(Gain)이 높아진다.
그리고, 프로세서(180)는 A영역(310)의 휘도 분산 및 F영역(360)의 휘도 분산이 제1 임계값인 1600 이하인지 판단한다. 본 실시예에서, A영역(310)의 휘도 분산은 83이고, F영역(360)의 휘도 분산은 548이므로, 제1 임계값 이하이다.
그리고, 프로세서(180)는 각 채널의 외부 인접 영역의 휘도 평균값의 차가 제3 임계값인 60 이하인지 판단한다. 본 실시예에서, A영역(310)의 휘도 평균값은 24이고, F영역(360)의 휘도 평균값은 19이므로, A영역(310)의 휘도 평균값 및 F영역(360)의 휘도 평균값의 차이의 절대값은 5로 제3 임계값인 60이하이다. 따라서, 도 5의 어라운드 뷰 영상에서, A영역(310) 및 F영역(360)은 제2 조건에 해당하고, 제1 산출 방식에 의해 보정치가 산출된다.
산출부(164)는 A영역(310)과 B영역(320)의 휘도 평균값이 같아지도록 B영역(320)의 보정치를 계산한다. 즉, A영역(310)의 휘도 평균값인 24 및 B영역(320)의 휘도 평균값인 118의 산술평균값을 산출한다. 산출부(164)는 산술평균값에 B영역(320)의 휘도 평균값을 빼, B영역(320)의 보정치를 계산한다. B영역(320)의 보정치는 (24+118)/2-118=-47로 산출된다.
또한, 산출부(164)는 E영역(350)과 F영역(360)의 휘도 평균값이 같아지도록 E영역(350)의 보정치를 계산한다. 즉, E영역(350)의 휘도 평균값인 72 및 F영역(360)의 휘도 평균값인 19의 산술평균값을 산출한다. 산출부(164)는 산술평균값에 E영역(350)의 휘도 평균값을 빼, E영역(350)의 보정치를 계산한다. E영역(350)의 보정치는 (72+19)/2-72=-26.5로 산출된다.
도 6은 제3 산출 방식에 의해 보정치를 산출하는 동작을 설명하는데 참조되는 도면이다.
도 6을 참조하면, 프로세서(180)는 어라운드 뷰 영상이 제3 조건에 해당되는지 판단한다. 여기서, 제3 조건은 제1 채널 내지(210) 제4 채널 중 둘 이상의 영역에 걸쳐 그림자 또는 자기 차량을 제외한 소정 크기의 물체가 포함되는 경우 일 수 있다. 어라운드 뷰 영상이 제3 조건에 해당되는 경우, 산출부(164)는 제2 산출 방식에 의해 보정치를 산출한다. 여기서, 제2 산출방식은 경계선(315, 335, 355 또는 375)의 윗 영역(A영역, C영역, E영역 또는 G영역) 및 아래 영역(B영역, D영역, F영역 또는 H영역)을 각각 복수의 영역으로 분할하고, 상기 경계선(315, 335, 355 또는 375)을 기준으로 대칭되는 분할된 영역간의 산술평균값을 구하고, 상기 산술 평균값에 상기 분할된 영역의 휘도 평균값을 빼서 보정치를 산출하는 방식이다.
프로세서(180)는 제3 조건에 해당되는 영역(ROI, Region Of Interest)을 복수의 서브 ROI로 나눈다. 산출부(164)는 서브 ROI간의 보정치를 산출한다.
예를 들면, 도 6의 어라운드 뷰 영상에서 A영역(310), B영역(320)에 그림자가 위치한다. 프로세서(180)는 A영역(310) 및 B영역(320)에 대해 제3 조건에 해당한다고 판단한다. 이경우, 프로세서(180)는 A영역(310) 및 B영역(320)을 복수의 서브 ROI로 나눈다. 즉, A영역(310)은 A1영역 및 A2영역으로 나누어진다. 또한, B영역(320)은 B1영역 및 B2영역으로 나누어진다. 이때, 프로세서(180)는 A1영역의 휘도 분산과 B1영역의 휘도 분산이 제1 임계값 이하인지 판단한다. 그리고, 프로세서(180)는 A1영역의 휘도 평균값 및 B1영역의 휘도 평균값의 비율이 제2 임계값 이하인지 판단한다. 만약, A1영역의 휘도 분산과 B1영역의 휘도 분산이 제1 임계값 이하이고, A1영역의 휘도 평균값 및 B1영역의 휘도 평균값의 비율이 제2 임계값 이하인 경우, A1영역 및 B1영역의 보정치를 산출한다. 여기서, 보정치를 산출하는 방식은 휘도 평균값의 산술평균을 이용하여 산출하는 제1 산출 방식과 동일하다. 마찬가지로, A2 및 B2의 보정치를 산출한다.
만약, A1영역의 휘도 분산과 B1영역의 휘도 분산이 제1 임계값 이하가 아니거나, A1영역의 휘도 평균값 및 B1영역의 휘도 평균값의 비율이 제2 임계값 이하가 아닌 경우, 제1 산출 방식에 의해 보정치를 산출한다. 즉, A1영역 및 B1 영역이 아닌, A 영역(310) 및 B 영역(320)에 대해, 도 4에서 설명한 바와 같이, 제1 산출 방식으로 보청치를 산출한다.
한편, 본 실시예에서는 서브 ROI를 2개로 가정하여 설명하였으나, 이에 한정되지 아니한다.
도 7은 본 발명의 실시예에 따라, 제2 산출 방식에 따라 보정치를 산출한 경우, 어라운드 뷰 영상을 설명하는데 참조되는 도면이다.
도 7의(a)는 제1 산출 방식으로만 휘도 보정을 한 경우의 어라운드 뷰 영상을 도시한다. 도 7(b)는 제1 산출 방식 및 제2 산출 방식으로 휘도 보정을 한 경우의 어라운드 뷰 영상을 도시한다.
도 7의(a)에 도시된 어라운드 뷰 영상은 차량 전방 좌측에서 보이는 바와 같이, 휘도 보정이 요구되지 않는 부분에도 휘도 보정되어 명확하지 않은 어라운드 뷰 영상을 출력한다. 반면, 도 7의 (b)에 도시된 어라운드 뷰 영상은 차량 전방 좌측에서 보이는 바와 같이, 휘도 보정이 요구되지 않는 부분은 휘도 보정이 수행되지 않아, 비교적 매끄러운 어라운드 뷰 영상을 출력한다.
도 8은 본 발명의 실시예에 따라 적용부의 동작을 설명하는데 참조되는 도면이다.
도 8을 참조하면, 적용부(166)는 어라운드 뷰 영상에 산출부(164)에서 산출된 보정치를 적용한다. 적용부(166)는 산출부(164)에서 산출된 복수의 보정치를 누적하여 평균값을 내고, 상기 누적 평균값을 어라운드 뷰 영상에 적용할 수 있다. 예를 들면, 적용부(166)는 산출부(164)에서 순서대로 산출된 10개의 보정치가 누적된 상태에서 상기 10개의 보정치의 누적평균을 구하고, 상기 누적평균을 어라운드 뷰 영상에 적용할 수 있다. 누적 평균값을 적용함으로써, 어라운드 뷰 영상에서 휘도 보정치가 급격하게 변할 경우, 화면이 깜빡이는 것처럼 보이는 것을 방지하는 효과가 있다.
적용부(166)는 제1 채널(210), 제2 채널(220), 제3 채널(230) 및 제4 채널(240) 각각에 산출부(164)에서 산출된 보정치를 각각 적용한다.
즉, 제1 채녈(210)에서, 적용부(166)는, 수학식1에서와 같이, 픽셀의 x위치에 따라, A영역(310) 보정치와 C영역(330) 보정치의 웨이티드 민(Weighted Mean)값을 보정치로 적용한다.
Figure 112014055497740-pat00001
제2 채널(220)에서, 적용부(166)는 수학식 2에서와 같이, 픽셀의 x위치에 따라, F영역(360) 보정치와 H영역(380) 보정치의 웨이티드 민(Weighted Mean)값을 보정치로 적용한다.
Figure 112014055497740-pat00002
제3 채널(230)에서, 적용부(166)는 수학식 3에서와 같이, 픽셀의 y위치에 따라, B영역(320) 보정치와 E영역(350) 보정치의 웨이티드 민(Weighted Mean)값을 보정치로 적용한다.
Figure 112014055497740-pat00003
제4 채널(240)에서, 적용부(166)는 수학식 4에서와 같이, 픽셀의 y위치에 따라, D영역(340) 보정치와 G영역(370) 보정치의 웨이티드 민(Weighted Mean)값을 보청치로 적용한다.
Figure 112014055497740-pat00004
도 9는 본 발명의 실시예에 따른 AVM의 동작 방법의 흐름도이다.
도 9를 참조하면, 영상 합성부(150)는 제1 카메라(110)로부터 제1 영상을 수신한다(S910). 여기서, 제1 영상은 차량 전방 주변이 촬영된 영상이다. 영상 합성부(150)는 제2 카메라(120)로부터 제2 영상을 수신한다(S910). 여기서, 제2 영상은 차량 후방 주변이 촬영된 영상이다. 영상 합성부(150)는 제3 카메라(130)로부터 제3 영상을 수신한다(S910). 여기서, 제3 영상은 차량 좌측방 주변이 활영된 영상이다. 영상 합성부(150)는 제4 카메라(140)로부터 제4 영상을 수신한다(S910). 여기서, 제4 영상은 차량 우측방 주변이 촬영된 영상이다.
제1 영상, 제2 영상, 제3 영상 및 제4 영상이 수신된 상태에서, 영상 합성부(150)는 제1 영상, 제2 영상, 제3 영상 및 제4 영상을 합성하여, 어라운드 뷰 영상을 생성한다(S920). 이때, 어라운드 뷰 영상은 탑뷰(Top view) 영상일 수 있다. 이때, 영상 합성부(150)는 룩업테이블(Look Up Table)을 이용할 수 있다. 룩업테이블은 합성 영상의 한 픽셀이 4개의 원래의 영상(제1 영상 내지 제4 영상)의 어떤 픽셀과 대응되는지 관계를 저장한 테이블이다.
어라운드 뷰 영상이 생성된 상태에서, 측정부(162)는 어라운드 뷰 영상에서, 복수의 영상의 합성에 따른 각각의 경계선의 윗 영역과 경계선의 아래 영역의 휘도 평균값 및 휘도 분산값을 측정한다(S930).
어라운드 뷰 영상은 제1 채널(210), 제2 채널(220), 제3 채널(230) 및 제4 채널(240)을 포함한다. 제1 채널(210)은 제1 영상에 대응되는 차량 전방 영역이다. 제2 채널(220)은 제2 영상에 대응되는 차량 후방 영상이다. 제3 채널(230)는 제3 영상에 대응되는 차량 좌측방 영상이다. 제4 채널(340)은 제4 영상에 대응되는 차량 우측방 영상이다.
제1 채널(210) 및 제3 채널(230) 사이에는 제1 경계선(315)이 위치한다. 제1 채널(210) 및 제4 채널(240) 사이에는 제2 경계선(335)이 위치한다. 제2 채널(220) 및 제3 채널(230) 사이에는 제3 경계선(355)이 위치한다. 제2 채널(220) 및 제4 채널(240) 사이에는 제4 경계선(375)이 위치한다.
어라운드 뷰 영상이 제1 카메라(110)에서 수신된 제1 영상, 제2 카메라(120)에서 수신된 제2 영상, 제3 카메라(130)에서 수신된 제3 영상 및 제4 카메라(140)에서 수신된 제4 영상이 합성되어 생성되었기 때문에, 제1 경계선(315), 제2 경계선(335), 제3 경계선(355) 및 제4 경계선(375)이 불가피하게 생성된다.
측정부(162)는 상기 복수의 영상(제1 영상 내지 제4 영상)의 합성에 따른 경계선(제1 경계선 내지 제4 경계선)의 윗 영역과 경계선(제1 경계선 내지 제4 경계선)의 아래 영역의 휘도 평균값 및 휘도 분산값을 측정한다. 즉, 측정부(162)는 제1 경계선(315)의 윗 영역(310, 이하 A영역) 및 제1 경계선(315)의 아래 영역(320, 이하, B영역)의 휘도 평균값 및 휘도 분산값을 측정한다. 측정부(162)는 제2 경계선(335)의 윗 영역(330, 이하, C영역) 및 제2 경계선(335)의 아래 영역(340, 이하, D영역)의 휘도 평균값 및 휘도 분산값을 측정한다. 측정부(162)는 제3 경계선(355)의 윗 영역(350 이하, E영역) 및 제3 경계선(355)의 아래 영역(360, 이하, F영역)의 휘도 평균값 및 휘도 분산값을 측정한다. 측정부(162)는 제4 경계선(375)의 윗 영역(370, 이하, G영역) 및 제4 경계선(375)의 아래 영역(380, 이하, H영역)의 휘도 평균값 및 휘도 분산값을 측정한다.
각각의 영역에 휘도 평균값 및 휘도 분산값이 측정된 상태에서, 프로세서(180)는 상기 각각의 영역(A영역 내지 H영역)이 제1 조건에 해당하는지 판단한다(S940). 여기서, 제1 조건은 어라운드 뷰 영상에 소정 크기의 그림자 또는 자기 차량을 제외한 소정 크기의 물체가 포함되지 않는 경우일 수 있다. 그리고, 제1 조건은 각 채널 간 인접 영역의 휘도 분산이 제1 임계값 이하이고, 휘도 평균값의 비율이 제2 임계값 이하인 경우일 수 있다. 여기서, 제1 임계값은 휘도 분산 임계치로, 실험에 의해 정하여질 수 있다. 제2 임계값은 밝은 휘도 평균을 어두운 휘도 평균으로 나눈 비율로, 실험에 의해 정하여질 수 있다.
만약, 소정의 영역이 제1 조건에 해당되는 경우, 프로세서(180)는 상기 각각의 영역(A영역 내지 H영역)이 제3 조건에 해당하는지 판단한다(S953). 여기서, 제3 조건은 제1 채널 내지(210) 제4 채널 중 둘 이상의 영역에 걸쳐 그림자 또는 자기 차량을 제외한 소정 크기의 물체가 포함되는 경우 일 수 있다.
만약, 소정의 영역이 제3 조건에 해당되는 경우, 산출부(164)는 제2 산출 방식에 의해 보정치를 산출한다. 제2 산출 방식에의한 보정치 산출에 대한 상세한 설명은 도 6을 참조하여 설명한 바와 같다.
만약, S953단계에서, 제3 조건에 해당되지 않는 경우, 산출부(164)는 제1 산출 방식에 의해 각 영역의 보정치를 산출한다(S950). 즉, 산출부(164)는 인접 영역의 휘도 평균값이 같아지도록 보정치를 계산한다. 제1 조건하에 제1 산출 방식에의한 보정치 산출에 대한 상세한 설명은 도 4를 참조하여 설명한 바와 같다.
만약, S940단계에서, 제1 조건에 해당되지 않는 경우, 프로세서(180)는 상기 각각의 영역(A영역 내지 H영역)이 제2 조건에 해당하는지 판단한다(S952). 여기서, 제2 조건은 제1 채널(210) 내지 제4 채널(240) 중 적어도 하나의 영역 전체에 걸쳐 그림자가 포함되고, 상기 그림자가 포함된 영역에 대응하는 카메라의 게인(Gain)이 높아져 해당 영역의 밝기가 밝아진 경우일 수 있다. 그리고, 각 채널의 외부 인접 영역의 휘도 분산이 제1 임계값 이하이고, 각 채널의 외부 인접 영역의 휘도 평균값의 차가 제3 임계값 이하인 경우일 수 있다. 여기서, 제1 임계값은 상술한 바와 같고, 제3 임계값은 소정 채널의 외부 인접 영역간 휘도 평균값의 차의 절대값이고, 실험에 의해 정해질 수 있다.
만약, 소정의 영역이 제2 조건에 해당되는 경우, 산출부(164)는 제1 산출 방식에 의해 각 영역의 보정치를 산출한다(S950). 제2 조건하에 제1 산출 방식에의한 보정치 산출에 대한 상세한 설명은 도 5를 참조하여 설명한 바와 같다.
제1 산출 방식 또는 제2 산출 방식에 의해 보정치가 산출된 상태에서, 적용부(166)는 보정치의 누적 평균값을 구한다(S970).
이후, 적용부(166)는 제1 채널(210), 제2 채널(220), 제3 채널(230) 및 제4 채널(240) 각각에 보정치를 적용한다(S980).
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100 : AVM 장치
110 : 제1 카메라
120 : 제2 카메라
130 : 제3 카메라
140 : 제4 카메라
150 : 영상 합성부
151 : LUT(Look Up Table)
160 : 휘도 보정부
170 : 영상 표시부

Claims (20)

  1. 차량에 장착되는 복수의 카메라;
    상기 복수의 카메라로부터 각각 복수의 영상을 수신하고, 상기 복수의 영상을 합성하여 어라운드 뷰(around view) 영상을 생성하는 영상합성부;
    상기 어라운드 뷰 영상을 수신하고, 상기 어라운드 뷰 영상에 포함된 각 영역별 휘도 평균값 및 휘도 분산값을 기반으로 상기 어라운드 뷰 영상의 휘도를 보정하여 출력하는 휘도 보정부; 및
    상기 휘도가 보정된 어라운드 뷰 영상을 표시하는 영상 표시부;를 포함하고,
    상기 휘도 보정부는,
    상기 어라운드 뷰 영상에서, 상기 복수의 영상의 합성에 따른 각각의 경계선의 윗 영역과 경계선의 아래 영역의 휘도 평균값 및 휘도 분산값을 측정하는 측정부;
    상기 휘도 평균값 및 휘도 분산값을 이용하여, 제1 산출 방식 또는 제2 산출 방식에 따라, 상기 어라운드 뷰 영상의 휘도 보정치를 산출하는 산출부; 및
    상기 산출된 휘도 보정치를 상기 어라운드 뷰 영상에 적용하는 적용부;를 포함하고,
    상기 산출부는,
    상기 어라운드 뷰 영상에 자기 차량을 제외한 물체가 포함되지 않는 제1 조건에 해당되는 경우, 상기 윗 영역과 상기 아래 영역간의 산술평균값을 구하고, 상기 산술 평균값에 상기 윗 영역 또는 상기 아래 영역의 휘도 평균값을 빼서 보정치를 산출하는 상기 제1 산출방식에 따라 상기 어라운드 뷰 영상의 휘도 보정치를 산출하고,
    상기 어라운드 뷰 영상 중, 상기 복수의 영상에 기초하여 구분되는 둘 이상의 영역에 걸쳐 자기 차량을 제외한 물체가 포함되는 제3 조건에 해당되는 경우, 상기 윗 영역 및 상기 아래 영역을 각각 복수의 영역으로 분할하고, 상기 경계선을 기준으로 대칭되는 분할된 영역간의 산술평균값을 구하고, 상기 산술 평균값에 상기 분할된 영역의 휘도 평균값을 빼서 보정치를 산출하는 상기 제2 산출방식에 따라, 상기 어라운드 뷰 영상의 휘도 보정치를 산출하는 AVM(Arround View Monitoring) 장치.
  2. 제 1항에 있어서,
    상기 복수의 카메라는,
    상기 차량의 전방에 장착되는 제1 카메라;
    상기 차량의 후방에 장착되는 제2 카메라;
    상기 차량의 좌측방에 장착되는 제3 카메라; 및
    상기 차량의 우측방에 장착되는 제4 카메라;를 포함하고,
    상기 복수의 영상은,
    상기 제1 카메라로부터 수신된 제1 영상;
    상기 제2 카메라로부터 수신된 제2 영상;
    상기 제3 카메라로부터 수신된 제3 영상;
    상기 제4 카메라로부터 수신된 제4 영상;을 포함하는 AVM 장치.
  3. 제 1항에 있어서,
    상기 영상 합성부는,
    룩업테이블(Look Up Table)을 이용하여, 상기 각각의 영상을 합성하고 어라운드 뷰 영상으로 출력하는 AVM 장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제 1항에 있어서,
    상기 산출부는,
    상기 어라운드 뷰 영상에서 6프레임당 1번의 보정치를 산출하는 AVM 장치.
  9. 제 1항에 있어서,
    상기 적용부는,
    상기 산출부에서 산출된 복수의 보정치의 누적 평균값을 상기 어라운드 뷰 영상에 적용하는 AVM 장치.
  10. 제 9항에 있어서,
    상기 누적 평균값은 상기 보정치가 10번 누적된 상태에서 구하여진 AVM 장치.
  11. 삭제
  12. 차량에 장착되는 복수의 카메라로부터 각각 복수의 영상을 수신하는 단계;
    상기 복수의 영상을 합성하여 어라운드 뷰(around view) 영상을 생성하는 단계;
    상기 어라운드 뷰 영상에서, 상기 복수의 영상의 합성에 따른 각각의 경계선의 윗 영역과 경계선의 아래 영역의 휘도 평균값 및 휘도 분산값을 측정하는 단계;
    상기 어라운드 뷰 영상에 자기 차량을 제외한 물체가 포함되지 않는 제1 조건에 해당되는 경우, 상기 윗 영역과 상기 아래 영역간의 산술평균값을 구하고, 상기 산술 평균값에 상기 윗 영역 또는 상기 아래 영역의 휘도 평균값을 빼서 보정치를 산출하는 제1 산출방식에 따라 상기 어라운드 뷰 영상의 휘도 보정치를 산출하는 단계;
    상기 어라운드 뷰 영상 중, 상기 복수의 영상에 기초하여 구분되는 둘 이상의 영역에 걸쳐 자기 차량을 제외한 물체가 포함되는 제3 조건에 해당되는 경우, 상기 윗 영역 및 상기 아래 영역을 각각 복수의 영역으로 분할하고, 상기 경계선을 기준으로 대칭되는 분할된 영역간의 산술평균값을 구하고, 상기 산술 평균값에 상기 분할된 영역의 휘도 평균값을 빼서 보정치를 산출하는 제2 산출방식에 따라, 상기 어라운드 뷰 영상의 휘도 보정치를 산출하는 단계; 및
    상기 휘도 보정치를 어라운드 뷰 영상에 적용하는 단계;를 포함하는 AVM 장치의 동작 방법.
  13. 제 12항에 있어서,
    상기 복수의 카메라는,
    상기 차량의 전방에 장착되는 제1 카메라;
    상기 차량의 후방에 장착되는 제2 카메라;
    상기 차량의 좌측방에 장착되는 제3 카메라; 및
    상기 차량의 우측방에 장착되는 제4 카메라;를 포함하고,
    상기 복수의 영상은,
    상기 제1 카메라로부터 수신된 제1 영상;
    상기 제2 카메라로부터 수신된 제2 영상;
    상기 제3 카메라로부터 수신된 제3 영상;
    상기 제4 카메라로부터 수신된 제4 영상;을 포함하는 AVM 장치의 동작 방법.
  14. 제 12항에 있어서,
    상기 생성하는 단계는,
    룩업테이블(Look Up Table)을 이용하여, 상기 각각의 영상을 합성하고 어라운드 뷰 영상을 생성하는 AVM 장치의 동작 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 제 12항에 있어서,
    상기 적용하는 단계는,
    상기 산출하는 단계에서 산출된 복수의 보정치의 누적 평균값을 상기 어라운드 뷰 영상에 적용하는 AVM 장치의 동작 방법.
  20. 제 19항에 있어서,
    상기 누적 평균값은 상기 보정치가 10번 누적된 상태에서 구하여진 AVM 장치의 동작 방법.

KR1020140072289A 2014-06-13 2014-06-13 Avm 장치 및 동작 방법 KR101610038B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140072289A KR101610038B1 (ko) 2014-06-13 2014-06-13 Avm 장치 및 동작 방법
US14/515,583 US9669761B2 (en) 2014-06-13 2014-10-16 Around view monitoring apparatus and method thereof
CN201410641588.9A CN105196917B (zh) 2014-06-13 2014-11-07 全景式监控影像装置及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140072289A KR101610038B1 (ko) 2014-06-13 2014-06-13 Avm 장치 및 동작 방법

Publications (2)

Publication Number Publication Date
KR20150143144A KR20150143144A (ko) 2015-12-23
KR101610038B1 true KR101610038B1 (ko) 2016-04-07

Family

ID=54835460

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140072289A KR101610038B1 (ko) 2014-06-13 2014-06-13 Avm 장치 및 동작 방법

Country Status (3)

Country Link
US (1) US9669761B2 (ko)
KR (1) KR101610038B1 (ko)
CN (1) CN105196917B (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
KR101692628B1 (ko) * 2014-12-24 2017-01-04 한동대학교 산학협력단 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
DE102015219496A1 (de) * 2015-10-08 2017-04-13 Robert Bosch Gmbh Verfahren zum Bestimmen der Funktionsfähigkeit eines Fahrerassistenzsystems eines Fahrzeugs, Vorrichtung, Fahrerassistenzsystem, Kraftfahrzeug
KR101693820B1 (ko) * 2016-01-13 2017-01-06 광운대학교 산학협력단 Avm 영상 보정 장치 및 방법
JP6565795B2 (ja) * 2016-05-31 2019-08-28 株式会社デンソー 表示装置
WO2018048167A1 (ko) * 2016-09-08 2018-03-15 엘지이노텍(주) 다중 뷰 모드에서의 영상 디스플레이 방법
CN109691091A (zh) * 2016-09-08 2019-04-26 Lg伊诺特有限公司 用于在多视图模式下显示图像的方法
KR20180040469A (ko) 2016-10-12 2018-04-20 엘지이노텍 주식회사 이미지 정합 방법 및 장치
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
KR102508984B1 (ko) * 2017-09-22 2023-03-13 엘지이노텍 주식회사 어라운드뷰 영상 제어장치 및 그 어라운드뷰 영상 처리방법
CN107745677A (zh) * 2017-09-30 2018-03-02 东南（福建）汽车工业有限公司 一种基于3d全景影像系统的4d车底透明系统的方法
FR3116351B1 (fr) * 2020-11-18 2023-06-16 Thales Sa Dispositif d'affichage tête haute porté et procédé d'affichage associé
FR3117256B1 (fr) * 2020-12-04 2022-12-16 Thales Sa Procédé de sécurisation d'un véhicule comprenant un afficheur, dispositif électronique de sécurisation et produit programme d'ordinateur associé
CN114007063A (zh) * 2021-10-29 2022-02-01 中汽院(重庆)汽车检测有限公司 一种用于车辆全景环视测试的测试系统及方法
CN114429761B (zh) * 2022-04-01 2022-06-03 南京有物信息科技有限公司 适用于多终端的显示控制方法、装置及系统
CN115297230A (zh) * 2022-07-01 2022-11-04 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法
CN117319805B (zh) * 2023-11-30 2024-03-01 广汽埃安新能源汽车股份有限公司 一种车辆全景图像的亮度补偿方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250376A (ja) * 2010-05-31 2011-12-08 Clarion Co Ltd 車両周辺映像表示装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0746938B1 (en) * 1994-12-22 2001-10-04 Koninklijke Philips Electronics N.V. Composing an image from sub-images
DE69612463T2 (de) * 1995-06-16 2001-11-08 Koninkl Philips Electronics Nv Erstellung eines bildes aus teilbildern
JP3233601B2 (ja) * 1997-09-25 2001-11-26 シャープ株式会社 画像処理装置
AU2003226047A1 (en) * 2002-04-10 2003-10-27 Pan-X Imaging, Inc. A digital imaging system
US20050025313A1 (en) * 2003-06-19 2005-02-03 Wachtel Robert A. Digital imaging system for creating a wide-angle image from multiple narrow angle images
JP4739122B2 (ja) * 2006-06-05 2011-08-03 パナソニック株式会社 車載カメラの画像合成装置および画像合成方法
JP4608509B2 (ja) * 2007-03-14 2011-01-12 セイコーエプソン株式会社 合成ルックアップテーブル作成装置、合成ルックアップテーブル作成方法および印刷装置
US20090179916A1 (en) * 2008-01-10 2009-07-16 Williams Steven A Method and apparatus for calibrating a video display overlay
CN100583125C (zh) 2008-02-28 2010-01-20 上海交通大学 车辆智能后视方法
US8054201B2 (en) * 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
JP5108840B2 (ja) * 2009-07-29 2012-12-26 クラリオン株式会社 車両用周辺監視装置および車両用周辺画像表示方法
KR20110088680A (ko) 2010-01-29 2011-08-04 (주) 에투시스템 복수개의 영상을 합성한 합성 영상에 대한 보정 기능을 구비하는 영상 처리 장치
KR101763775B1 (ko) 2011-09-09 2017-08-01 현대모비스 주식회사 Ａｖｍ시스템 정보와 ａｖｎ시스템 정보의 표시 방법
KR101683923B1 (ko) * 2011-10-14 2016-12-08 현대자동차주식회사 Ａｖｍ 영상 왜곡 자동 보정 방법
KR20130125111A (ko) 2012-05-08 2013-11-18 현대모비스 주식회사 어라운드뷰 시스템 및 그 영상 밝기 보정 방법
KR102062921B1 (ko) * 2013-05-14 2020-01-06 현대모비스 주식회사 다수 영상의 밝기 균일화 방법
KR101497933B1 (ko) * 2013-08-19 2015-03-03 현대모비스(주) 클러스터링 기법을 이용한 다수 영상의 합성 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250376A (ja) * 2010-05-31 2011-12-08 Clarion Co Ltd 車両周辺映像表示装置

Also Published As

Publication number Publication date
US9669761B2 (en) 2017-06-06
CN105196917B (zh) 2018-03-20
US20150360612A1 (en) 2015-12-17
KR20150143144A (ko) 2015-12-23
CN105196917A (zh) 2015-12-30

Similar Documents

Publication Publication Date Title
KR101610038B1 (ko) Avm 장치 및 동작 방법
US9479706B2 (en) Brightness adjustment system
EP2012271A2 (en) Image processing system and method
JP2009012652A (ja) 車両の周辺監視装置
KR20140134374A (ko) 다수 영상의 밝기 균일화 방법
US20180131877A1 (en) Image display device for vehicle and image display program for vehicle
US9214034B2 (en) System, device and method for displaying a harmonized combined image
JP5089783B2 (ja) 画像処理装置及びその制御方法
JP2011250376A (ja) 車両周辺映像表示装置
JP2018093427A (ja) 車載用投影装置
US20190135197A1 (en) Image generation device, image generation method, recording medium, and image display system
EP3076655B1 (en) Imaging settings changing device, imaging system, and imaging settings changing method
KR20130055967A (ko) 파노라마 영상 제공 시스템 및 그 방법
KR20150079004A (ko) 차량용 표시 장치 및 그 제어 방법
JP2008209212A (ja) 表示歪み測定装置及び表示歪み補正方法
JP2010288199A (ja) 車載モニタシステム、その車載モニタシステムを用いた駐車支援装置、および車載モニタシステムの色調整方法
KR101815840B1 (ko) 영상 추정 기반 어라운드 뷰 모니터링 장치
WO2011155228A1 (ja) 画像表示装置
JP2007323495A (ja) 画像合成装置
US10102436B2 (en) Image processing device, warning device and method for processing image
JP2011181019A (ja) 俯瞰画像生成装置
US20210287335A1 (en) Information processing device and program
JP2018113622A (ja) 画像処理装置、画像処理システム、及び、画像処理方法
US20220215668A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP2018101904A (ja) 車両用映像システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190312

Year of fee payment: 4