KR101672923B1 - 주변 영상 모니터링 장치 및 방법 - Google Patents

주변 영상 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR101672923B1
KR101672923B1 KR1020150184442A KR20150184442A KR101672923B1 KR 101672923 B1 KR101672923 B1 KR 101672923B1 KR 1020150184442 A KR1020150184442 A KR 1020150184442A KR 20150184442 A KR20150184442 A KR 20150184442A KR 101672923 B1 KR101672923 B1 KR 101672923B1
Authority
KR
South Korea
Prior art keywords
parameter data
identification information
unique identification
image
parameter
Prior art date
Application number
KR1020150184442A
Other languages
English (en)
Inventor
윤형식
Original Assignee
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엘 주식회사 filed Critical 에스엘 주식회사
Priority to KR1020150184442A priority Critical patent/KR101672923B1/ko
Application granted granted Critical
Publication of KR101672923B1 publication Critical patent/KR101672923B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H04N5/2257—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 주변 영상 모니터링 장치는 차량의 주변 영상을 촬영하는 복수의 카메라; 상기 촬영된 영상의 처리를 제어하고, 제1 상태 정보와 제1 파라미터 데이터를 저장하는 제1 저장부를 포함하는 전자 제어 유닛(ECU); 상기 전자 제어 유닛의 제어에 따라, 상기 복수의 카메라에 의해 촬영되어 인코딩된 복수의 압축 영상을 각각 수신하고, 상기 압축 영상을 디코딩하여 복수의 복원 영상을 출력하는 영상 처리부; 상기 출력된 복수의 복원 영상을 각각 탑 뷰로 변환하는 영상 변환부; 상기 변환된 복수의 탑 뷰를 회전 및 이동하여 합성함으로써 하나의 탑 뷰를 생성하는 영상 합성부; 및 상기 출력된 복원 영상 또는 상기 생성된 하나의 탑 뷰를 디스플레이하고, 제2 상태 정보와 제2 파라미터 데이터를 저장하는 제2 저장부를 포함하는 디스플레이 장치를 포함하되, 상기 제1 및 제2 상태 정보 상호간에 동기화를 하며, 상기 제1 및 제2 파라미터 데이터 상호간에 동기화를 한다.

Description

주변 영상 모니터링 장치 및 방법{The Apparatus And Method For Around View Monitoring}
본 발명은 주변 영상 모니터링 장치 및 방법에 관한 것으로써, 보다 상세하게는 전자 제어 유닛(ECU)이 새로운 부품으로 교체되더라도 차량을 지정된 장소로 이동시키지 않고 정상적인 탑 뷰(Top View)를 생성할 수 있는 주변 영상 모니터링 장치 및 방법에 관한 것이다.
일반적으로 주차공간에 차량을 주차하기 위해서는, 현재 차량의 위치, 주변의 장애물이나 다른 차량의 위치 및 거리, 조향 각도, 차량의 예상 진로 등을 운전자가 자신의 감각 및 경험에 의존하여 판단해야 한다. 그러나 초보 운전자들은 이러한 감각 및 경험이 부족하여 주차할 때 상당한 어려움을 겪는다. 특히, 좁은 공간 또는 사각지대가 많은 장소에서 차량을 주차할 경우에는, 운전자의 위치 판단 실수나 조작의 실수로 인해 다른 차량이나 장애물과 충돌을 일으킬 가능성이 매우 높다.
이러한 문제를 해결하기 위해 차량의 전방 및 후방에 카메라를 설치하여 해당 방향의 영상을 촬영하고, 차량 실내에 설치된 디스플레이 장치를 통해 상기 영상을 디스플레이 함으로써 운전자가 현재 진행 중인 주차과정을 용이하게 인지할 수 있도록 하는 기술들이 제시되었다. 나아가, 최근에는 차량의 전방, 후방, 좌측방, 우측방에 각각 카메라를 설치하여 영상을 촬영하고, 이를 변환 및 합성하여 탑 뷰(Top View)(Top View: 위에서 차량을 수직으로 내려다보는 영상)를 생성하는 AVM(Around View Monitoring) 기술이 소개되었다. 이러한 AVM 기술에 의해 운전자의 차량 운전에 편의가 증대되고 차량 주변 상황을 용이하게 인지할 수 있어 사고 예방에 큰 도움이 되었다. 이에 따라 현재 AVM 기술을 기반으로 하는 주차 보조 시스템이 더욱 활발히 개발되고 있다.
도 1은 일반적인 AVM 기술을 수행하기 위해 차량의 사방을 촬영한 복수의 영상을 합성하는 방법을 나타낸 개략도이다.
AVM(Around View Monitoring) 기술을 수행하기 위해서는, 차량의 사방을 촬영한 복수의 영상을 정확하게 변환 및 합성하는 것이 중요하다. 따라서 일반적으로 차량을 출시하기 전에 미리 공장에서 복수의 영상의 변환 및 합성을 수행한다. 도 1에 도시된 바와 같이 패턴 도면들이 평탄한 지면에 일정한 간격으로 위치되고, 상기 패턴 도면들이 차량의 사방에 설치된 복수의 카메라(10a, 10b, 10c, 10d)로 모두 촬영될 수 있도록 차량을 위치시킨다. 그리고 상기 복수의 카메라(10a, 10b, 10c, 10d)로 영상을 촬영하여 탑 뷰(Top View)를 생성하도록 영상을 자동으로 변환 및 합성한다.
변환 및 합성을 한 뒤에는 각 카메라의 영상들을 자연스럽게 합성하여 상기 패턴이 실제 위치된 간격 및 모양으로 영상에서 보여지도록, 영상들을 회전 및 이동시킨 값에 대한 정보를 포함하는 파라미터 데이터들이 생성된다. 이러한 파라미터 데이터들은 같은 차종이라 하더라도, 카메라 설치 등 제조 공정 도중에 발생할 수 있는 미미한 오차에 의해 차량마다 상이할 수 있다. 따라서 한번 생성된 파라미터에 대한 데이터는 해당 차량의 전자 제어 유닛(ECU)에 저장된다. 그리고 이후에 디스플레이 되는 탑 뷰(Top View)는 상기 저장된 파라미터에 대한 데이터 만을 읽음으로써 생성된다. 즉, 상기와 같은 영상의 위치를 보정하기 위한 과정을 반복할 필요가 없다. 그러나 만약 차량의 전자 제어 유닛(ECU)의 고장으로 인해 교체가 되는 경우에는 해당 파라미터 데이터도 함께 사라지므로, 상기 영상의 재합성 및 재보정 과정을 통해 다시 파라미터 데이터를 생성해야 한다.
그러나 이러한 합성 및 보정 방법은 정밀하게 진행되어야 하므로 정해진 공장 등의 장소 외에서는 수행되기가 용이하지 않아, 차량을 공장 또는 서비스 센터와 같이 지정된 장소로 이동시켜야 하는 불편함이 있었다. 특히, 산 속에서 공사 작업을 하던 굴삭기와 같은 중장비의 경우에는 해당 장소로 이동하는데 있어 과도한 비용과 시간이 소모된다는 문제가 있었다.
한국특허등록 제 1406230 호 한국공개공보 제 2015-0053323 호
본 발명이 해결하고자 하는 과제는, 전자 제어 유닛(ECU)이 새로운 부품으로 교체되더라도 차량을 지정된 장소로 이동시키지 않고 정상적인 탑 뷰(Top View)를 생성할 수 있는 주변 영상 모니터링 장치 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 주변 영상 모니터링 장치는 차량의 주변 영상을 촬영하는 복수의 카메라; 상기 촬영된 영상의 처리를 제어하고, 제1 상태 정보와 제1 파라미터 데이터를 저장하는 제1 저장부를 포함하는 전자 제어 유닛(ECU); 상기 전자 제어 유닛의 제어에 따라, 상기 복수의 카메라에 의해 촬영되어 인코딩된 복수의 압축 영상을 각각 수신하고, 상기 압축 영상을 디코딩하여 복수의 복원 영상을 출력하는 영상 처리부; 상기 출력된 복수의 복원 영상을 각각 탑 뷰로 변환하는 영상 변환부; 상기 변환된 복수의 탑 뷰를 회전 및 이동하여 합성함으로써 하나의 탑 뷰를 생성하는 영상 합성부; 및 상기 출력된 복원 영상 또는 상기 생성된 하나의 탑 뷰를 디스플레이하고, 제2 상태 정보와 제2 파라미터 데이터를 저장하는 제2 저장부를 포함하는 디스플레이 장치를 포함하되, 상기 제1 및 제2 상태 정보 상호간에 동기화를 하며, 상기 제1 및 제2 파라미터 데이터 상호간에 동기화를 한다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 주변 영상 모니터링 방법은 디스플레이 장치가 전자 제어 유닛(ECU)으로 제2 상태 정보를 전송하는 단계; 상기 전자 제어 유닛에서 상기 제2 상태 정보를 분석하여, 전자 제어 유닛 자신이 가지고 있는 제1 고유 식별 정보와 상기 제2 상태 정보에 포함된 제2 고유 식별 정보를 비교하는 단계; 상기 제1 및 제2 고유 식별 정보가 모두 존재한다면, 상기 제1 및 제2 고유 식별 정보 상호간에 일치하는지 판단하는 단계; 상기 제1 및 제2 고유 식별 정보가 상호간에 일치한다면 제1 및 제2 특정 패턴 값이 모두 존재하는지 판단하는 단계; 상기 제1 및 제2 특정 패턴 값이 모두 존재한다면, 제1 및 제2 파라미터 버전을 비교하는 단계; 상기 제1 파라미터 버전이 더 최신이면 제1 파라미터 데이터를 기준으로 동기화가 수행되고, 상기 제2 파라미터 버전이 더 최신이면 제2 파라미터 데이터를 기준으로 동기화가 수행되며, 제1 및 제2 파라미터 버전이 동일하면 상기 동기화는 실행되지 않는 단계를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
영상의 합성 및 보정 시 생성된 파라미터 데이터를 다른 저장부에 백업시킴으로써, 전자 제어 유닛(ECU)이 새로운 부품으로 교체되더라도 상기 파라미터 데이터를 동기화 할 수 있다. 이에 따라 차량을 공장 또는 서비스 센터에 이동시키지 않고도 곧바로 영상의 합성 및 보정을 통해 정상적인 탑 뷰(Top View)를 생성할 수 있는 주변 영상 모니터링 장치 및 방법을 제공할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 일반적인 AVM 기술을 수행하기 위해 차량의 사방을 촬영한 복수의 영상을 합성하는 방법을 나타낸 개략도이다.
도 2는 본 발명의 일 실시예에 따른 주변 영상 모니터링 장치(1)의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 전자 제어 유닛(ECU)(20) 및 디스플레이 장치(40) 상호간에 전송되는 데이터들의 정보를 나타낸 개념도이다.
도 4은 본 발명의 일 실시예에 따른 주변 영상 모니터링 방법을 수행하기 위한 흐름도의 일부이다.
도 5는 도 4에 도시된 본 발명의 일 실시예에 따른 주변 영상 모니터링 방법을 수행하기 위한 흐름도의 나머지 일부이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 주변 영상 모니터링 장치(1)의 블록도이다.
본 발명의 일 실시예에 따른 주변 영상 모니터링 장치(1)은 차량의 주변 영상을 촬영하는 복수의 카메라(10a, 10b, 10c, 10d), 차량의 구동을 전체적으로 제어하는 전자 제어 유닛(ECU)(20), 복수의 카메라(10a, 10b, 10c, 10d)로부터 촬영되어 인코딩된 압축 영상을 전송받아 영상 처리를 하는 영상 처리부(31), 상기 복수의 영상들을 각각 탑 뷰(Top View)로 변환시키는 영상 변환부(32), 상기 각각의 탑 뷰(Top View)를 합성을 하여 하나의 탑 뷰(Top View)를 생성하는 영상 합성부(33), 상기 탑 뷰(Top View)를 디스플레이 하는 디스플레이 장치(40)를 포함한다.
차량의 주변에는 복수의 카메라(10a, 10b, 10c, 10d)가 각각 설치되어 차량의 외부를 촬영한다. 일반적으로 차량의 전방, 후방, 좌측방, 우측방에 하나씩 4대의 카메라(10a, 10b, 10c, 10d)가 설치될 수 있으나, 이에 제한되지 않고 다양한 개수의 카메라(10)가 차량에 설치될 수 있다. 이러한 카메라(10)는 큰 화각을 갖는 광각렌즈가 주로 사용되며, 180° 이상의 화각을 갖는 초광각 렌즈인 어안 렌즈(Fish-Eye Lens)가 사용되기도 한다. 카메라(10)로부터 촬영된 영상은 차량 내부에 설치된 디스플레이 장치(40)를 통해 디스플레이 된다. 운전자는 상기 출력되는 영상을 통해 시야를 확보하여 외부의 상황을 용이하게 파악하고 장애물을 회피하는 등 안전성을 확보할 수 있다. 카메라(10)는 일반적으로 CCD(Charge Coupled Device)나 CIS(CMOS Image Sensor) 등의 촬상 소자를 이용한다. 본 발명의 일 실시예에 따른 카메라(10)는 매초 15~30프레임의 2차원 화상을 촬영하여 디지털 변환함으로써 동영상 데이터를 출력하는 디지털카메라인 것이 바람직하나, 이에 제한되지 않는다. 카메라(10)가 디지털카메라가 아니라면 촬영한 영상은 RGB 아날로그 영상 신호이므로 ADC컨버터가 별도로 구비되어야 하나, 본 발명의 일 실시예에 따른 카메라(10)가 디지털카메라라면 ADC컨버터가 필요하지 않다. 또한 카메라(10) 자체에서 영상을 인코딩하는 기능이 탑재되어 있으므로, 카메라(10)가 영상을 촬영하면 곧바로 인코딩되어 압축 영상 데이터가 생성된다.
최근에는 초고해상도 영상인 UHD(Ultra High Definition)의 관심으로 UHD 영상 인코딩을 위한 HEVC(High Efficiency Video Coding)의 표준화가 완료되며 H.264/MPEG-4 AVC보다 2배 이상의 인코딩 효율을 향상시켰다. 상기 영상을 인코딩하기 위한 코덱으로는, 최근 주로 사용되는 MPEG4 또는 H.264/MPEG-4 AVC, 상기 소개한 HEVC 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 종류의 코덱이 사용될 수 있다.
전자 제어 유닛(ECU)(20)은 차량에 탑재된 각종 센서의 입력을 수신하고, 차량의 구동을 전체적으로 제어한다. 복수의 카메라(10a, 10b, 10c, 10d)로부터 상기 복수의 압축 영상이 출력되면, 영상 처리부(31), 영상 변환부(32), 영상 합성부(33)를 거치며 디코딩 및 영성 처리와 하나의 탑 뷰(Top View)로 변환 및 합성하는 과정을 거친다. 이 때, 전자 제어 유닛(ECU)(20)에는 상기 압축 영상이 영상 처리부(31)로 입력된다는 신호가 인가된다. 본 발명의 일 실시예에 따른 전자 제어 유닛(ECU)(20)은 상기 신호가 인가되면, 영상 처리부(31)에서 디코딩 및 디코딩된 영상을 처리하여 해상도(Resolution), 프레임율(Frame-Rate) 또는 화질(Bit-Depth)을 변경하는 영상 처리 과정의 전반적인 제어를 수행한다. 예를 들면, 주야 판단을 하여 영상의 밝기를 조절할 수 있다. 구체적으로 설명하면, 별도로 차량에 탑재된 조도센서 등과 같은 센서가 전자 제어 유닛(ECU)(20)에 신호를 인가한다. 전자 제어 유닛(ECU)(20)은 센서의 신호를 받으면, 야외의 주간, 야간 여부를 판단하고 영상의 밝기 조절을 명령한다. 상기 밝기 조절 명령은 영상 처리부(31)에 영상의 디코딩을 비롯한 영상 처리 과정에서 화소의 밝기를 조절하도록 명령할 수 있다. 또는 전자 제어 유닛(ECU)(20)이 직접 디스플레이 패널(41)에 백라이트(Backlight)의 밝기를 조절하도록 명령할 수 있다. 야외가 주간이라면 출력되는 영상의 밝기를 대략 500cd/m2 이상으로 밝게 하고, 야외가 야간이라면 출력되는 영상의 밝기를 대략 100cd/m2 이하로 어둡게 할 수 있으나, 상기 수치는 예시적인 것으로 이에 제한되지 않고 다양한 범위로 설정될 수 있다. 뿐만 아니라 전자 제어 유닛(ECU)(20)은, 하기 기술할 바 영상 변환부(32) 및 영상 합성부(33)에서 영상을 합성하는 과정에 있어서도 전반적인 제어를 수행한다.
전자 제어 유닛(ECU)(20)은 차량에 설치된 카메라(10) 등을 제어할 수 있는 차체 제어 모듈(BCM; Body Control Module)이 사용되며, 최근에는 운전자 통합 정보 시스템 모듈(DIS; Driver Information System)도 사용되고 있다. 여기서 운전자 통합 정보 시스템이란, 멀티미디어, 내비게이션(Navigation), 차량 공조시스템, 차량의 각종 설정 등 차량의 모든 정보를 8인치 대형 모니터를 통해 운전자에게 알려주고 운전자는 터치스크린과 뒷좌석 햅틱(Haptic) 컨트롤러, 음성명령을 통해 쉽고 빠르게 차량의 각부를 통합 제어할 수 있는 시스템을 말한다.
상기의 기능 외에도 전자 제어 유닛(ECU)(20)은 각종 설정된 내용들을 구현하거나 내부의 신호들을 제어한다. 상기 설정된 내용은 사용자가 자신에게 적합하도록 인터페이스를 설정한 내용뿐만 아니라 자체 소프트웨어의 업데이트 등의 내용을 포함한다. 그리고 상기 인터페이스의 설정 내용은 화면의 줌, 해상도, 밝기, 색도, 채도를 포함하고, 회전, 흑백, 스타일, 뷰 모드 등 사용자가 원하는 영상이 출력될 수 있도록 설정할 수 있는 모든 내용들을 포함한다. 따라서, 사용자가 원하면 화면의 줌 인 및 줌 아웃을 하여 화면의 확대 및 축소가 가능하고, 화면의 밝기 또한 조절할 수 있다. 또한, 카메라(10)가 촬영한 영상 중에서 디스플레이 되지 않는 부분을 볼 수 있도록 뷰 모드를 조정할 수 있고, 카메라(10)를 회전 및 이동시켜 사용자가 원하는 부분을 촬영하도록 할 수 있다.
본 발명의 일 실시예에 따른 전자 제어 유닛(ECU)(20)은 제1 저장부(21)를 포함한다. 제1 저장부(21)는 상기 인코딩된 영상을 저장하거나, 상기 각종 설정된 최종 내용들을 저장한다. 특히, 본 발명의 일 실시예에 따른 제1 저장부(21)는 제1 상태 정보 및 제1 파라미터 데이터를 저장한다. 여기서 제1 파라미터 데이터는, 파라미터 데이터 가운데, 전자 제어 유닛(20)에 저장되는 파라미터 데이터를 지칭한다. 그리고 제1 상태 정보는 제1 파라미터 데이터가 변경되었는지 여부를 나타내는 제1 특정 패턴 값, 제1 파라미터 데이터의 업데이트 단계를 나타내는 제1 파라미터 버전, 해당 차량을 식별할 수 있는 제1 고유 식별 정보를 비롯한 다양한 정보를 포함한다. 전자 제어 유닛(ECU)(20)을 소형화 하기 위해 제1 저장부(21)는 부피가 크지 않은 비휘발성 메모리인 플래시 메모리를 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 메모리 장치가 사용될 수 있다.
카메라(10)로부터 촬영된 복수의 영상은 영상 처리부(31)로 전송된다. 영상 처리부(31)는 상기 복수의 압축 영상이 동시에 입력되면 디코딩 및 렌더링 등의 영상 처리를 각각 독립적으로 동시에 수행할 수 있다. 영상 처리부(31)는 상기 압축 영상을 전송받아 디코딩하는 디코더, 버퍼 저장부, 그래픽 렌더러를 포함할 수 있다.
디코더는 카메라(10)로부터 인코딩된 압축 영상을 전송받아 디코딩하여 복원 영상을 생성한다. 상기 인코딩된 영상을 디코딩하기 위한 코덱 또한 상기 기술한 인코딩에서와 마찬가지로 다양한 종류가 사용될 수 있으나, 인코딩에 사용된 코덱과 동일한 종류이어야 동일한 표준에 의한 것이므로 정확히 영상이 복원된다.
만약 디스플레이 패널(41)에서 영상의 디스플레이 지체 현상이 발생한다면, 카메라(10)에서 촬영하여 전송되는 영상의 프레임들이 내부에서 대기하여야 한다. 버퍼 저장부는 상기 대기하는 영상의 프레임 데이터를 임시로 저장한다. 영상이 디스플레이 패널(41)을 통해 디스플레이 되면 이어서 다음 프레임에 해당하는 영상 데이터를 보냄으로써 영상이 자연스럽게 재생될 수 있도록 한다. 그래픽 렌더러는 상기 영상의 렌더링(Rendering) 작업을 수행한다. 렌더링이란 2차원의 영상이 더욱 실감나고 현실감이 있도록, 광원, 위치, 색상 등의 외부 정보를 고려하여 3차원 영상을 만들어내는 방법이다. 렌더링의 방법으로는 물체의 모서리만을 그려주는 와이어프레임(Wireframe) 렌더링, 광선의 굴절 및 반사를 계산하여 발광부까지의 경로를 역추적함으로써 각 픽셀의 색상을 결정하는 레이트레이싱(Raytracing) 렌더링 등이 있다.
상기 영상 처리부(31)에서 디코딩 및 기타 영상 처리된 영상이 출력되어 탑뷰 생성부(미도시)로 입력된다. 상기 탑 뷰 생성부(미도시)는 상기 입력된 영상을 위에서 차량을 내려보는 영상인 하나의 탑 뷰(Top View)로 변환 및 합성을 하며, 영상 변환부(32)와 영상 합성부(33)을 포함할 수 있다. 영상 변환부(32)는 영상 처리된 복수의 영상을 전송받아 룩 업 테이블(Look Up Table)을 통해 영상을 변환하며, 상기 복수의 영상에 대한 각각의 탑 뷰(Top View)를 생성한다. 룩 업 테이블은 왜곡 보정 알고리즘, 아핀(Affine) 변환 알고리즘, 시점 변환 알고리즘을 적용하여 생성될 수 있다. 왜곡 보정 알고리즘은 카메라(10) 렌즈에 의하여 발생하는 기하학적 왜곡을 보정하는 알고리즘이다. 실제 렌즈는 일반적으로 비구면으로 형성되므로, 방사상 왜곡이나 접선 방향 왜곡이 발생할 수 있어 이를 보정하는 것이다. 여기서 왜곡 보정 알고리즘은 보정 파라미터와 왜곡 상수에 관한 함수로 나타낼 수 있다. 아핀(Affine) 변환은 2차원 공간이 1차식으로 나타나는 점 대응을 의미하며, 회전(R), 이동(T), 스케일(S) 변환을 거친다. 시점 변환 알고리즘은 복수의 카메라(10a, 10b, 10c, 10d)를 통해 촬영된 각각의 영상들을 위에서 내려다 보이는 탑 뷰(Top View) 영상으로 시점을 변환한다. 이러한 변환들은 이미 공지되어 있는 여러 가지 기술들을 사용함으로써 구현될 수 있다.
영상 합성부(33)는 상기 변환된 복수의 탑 뷰(Top View)을 겹치는 오버레이(Overlay) 방식으로 합성 처리한다. 여기서, 영상 합성부(33)는 마스크 영상을 이용하여 오버레이 합성 처리를 하는데, 마스크 영상은 각 카메라(10)에서 촬영되는 영상마다 보정 및 변환 영상을 구성하는 픽셀들에 대한 가중치(Weight) 정보를 가진다. 전자 제어 유닛(ECU)(20)은 보정 및 변환 영상들 사이에 중복되는 영역에 포함되는 픽셀들의 가중치를 조절하여 복수의 영상이 합성될 대 중복되는 영역을 더욱 자연스럽게 디스플레이 되도록 한다. 또한 각각의 영상은 영상 합성을 위해, 영상의 회전 및 이동을 한 정도를 나타내는 파라미터 데이터를 가진다. 이러한 파라미터 데이터는 전자 제어 유닛(ECU)(20)에 포함된 제1 저장부(21)와, 디스플레이 장치(40)에 포함된 제2 저장부(32)에 각각 저장되어 서로 동기화를 수행한다. 동기화의 방법에 대한 자세한 내용은 후술한다.
본 발명의 일 실시예에서는 영상 변환부(32)에서 복수의 영상에 대한 각각의 탑 뷰(Top View)를 생성한 후, 영상 합성부(33)에서 하나의 탑 뷰(Top View)를 합성하는 것으로 설명하였다. 그러나 이에 제한되지 않고, 복수의 영상을 먼저 합성한 후에 이를 하나의 탑 뷰(Top View)로 변환할 수도 있으며, 하나의 탑 뷰(Top View)를 생성하기 위한 다양한 방식이 사용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 전자 제어 유닛(ECU)(20) 및 디스플레이 장치(40) 상호간에 전송되는 데이터들의 정보를 나타낸 개념도이다.
각 카메라(10)가 촬영한 복수의 영상을 각각 탑 뷰(Top View)로 변환시킨 후, 하나의 탑 뷰(Top View)로 합성하기 위해 각 영상을 X축, Y축으로 이동하거나, 확대(Zoom In) 또는 축소(Zoon Out)를 하거나, X축, Y축, Z축을 기준으로 회전(팬(Pan), 틸트(Tilt), 로테이트(Rotate))을 해야 한다. 도 3에 도시된 바와 같이 이처럼 각 영상 마다 회전 및 이동을 하는 정도를 표현한 필요한 6가지의 파라미터들을 파라미터 데이터라고 한다. 하기 기술할 바, 이러한 파라미터 데이터가 전자 제어 유닛(ECU)(20)와 디스플레이 장치(40) 상호간에 전송이 된다. 본 발명의 일 실시예에 따른 주변 영상 모니터링 방법에는 상기 전송이 원활하게 진행되기 위해서 체크섬(Check Sum) 단계가 필요할 수도 있다. 체크섬(Check Sum)이란 전송된 데이터의 무결성을 확인하는 방법 중의 하나로, 수신자가 같은 수의 비트가 도착했는지를 확인할 수 있도록 전송 단위 내의 비트 수를 세는 것을 말한다. 같은 수의 비트로 확인이 되면 상기 데이터는 결손없이 전송된 것으로 간주한다. 다만, 이에 제한되지 않고 상기 전송의 결손 여부를 확인할 수 있다면 다양한 방법을 사용할 수 있다.
영상 변환부(32) 및 영상 합성부(33)는 상기 복원 영상을 상기와 같은 과정을 통해 보정 및 변환을 하고, 오버레이 방식으로 합성 처리하여 차량의 주변 360°를 한 눈에 볼 수 있는 하나의 탑 뷰(Top View) 영상을 생성한다.
디스플레이 장치(40)는 상기 복원 영상 및 상기 탑 뷰(Top View) 영상을 디스플레이 할 수 있는 디스플레이 패널(41) 및 제2 저장부(42)를 포함할 수 있다.
디스플레이 패널(41)은 전자 제어 유닛(ECU)(20)의 제어에 따라, 디코딩 및 영상 처리되어 복원된 영상과, 영상 변환 및 합성되어 생성된 탑 뷰(Top View)를 시각적으로 디스플레이함으로써 사용자가 감시할 수 있도록 한다. 디스플레이 패널(41)은 LCD, LED, OLED 등 다양한 방식이 사용될 수 있으며, 나아가 터치가 가능한 터치패널의 기능을 가질 수도 있다.
본 발명의 일 실시예에 따른 제2 저장부(42)는 제2 상태 정보 및 제2 파라미터 데이터를 저장한다. 여기서 제2 파라미터 데이터는, 파라미터 데이터 가운데, 디스플레이 장치(40)에 저장되는 파라미터 데이터를 지칭한다. 그리고 제2 상태 정보는 제2 파라미터 데이터가 변경되었는지 여부를 나타내는 제2 특정 패턴 값, 제2 파라미터 데이터의 업데이트 단계를 나타내는 제2 파라미터 버전, 해당 차량을 식별할 수 있는 제2 고유 식별 정보를 비롯한 다양한 정보를 포함한다. 디스플레이 장치(40)를 소형화 하기 위해 제2 저장부(42)는 부피가 크지 않은 비휘발성 메모리인 플래시 메모리를 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 메모리 장치가 사용될 수 있다.
제2 상태 정보 및 제2 파라미터 데이터는, 차량이 외부 네트워크가 가능하다면 중앙 서버에 자동으로 저장될 수 있고, 하기 기술할 동기화 방법은 중앙 서버와 전자 제어 유닛(ECU)(20) 간에도 동일하게 적용될 수 있다. 그러나, 차량이 내부 네트워크만이 가능하다면 전자 제어 유닛(ECU)(20)을 제외한 다른 위치에 제2 저장부(42)가 추가로 설치될 수 있다. 특히, 본 발명의 일 실시예에 따른 제2 저장부(42)는 디스플레이 장치(40) 내부에 설치되나, 이에 제한되지 않고 전자 제어 유닛(ECU)(20)이 교체되더라도 제2 파라미터 데이터를 백업할 수 있다면 제2 저장부(42)는 다양한 위치에 설치될 수 있다. 이하 실시예에서는 제2 저장부(42)는 디스플레이 장치(40) 내부에 설치되는 것으로 설명한다.
전자 제어 유닛(ECU)(20)은 네트워크 통신(50)을 통해 차량에 탑재된 센서 및 시스템과 연결될 수 있다. 상기 차량의 센서 및 시스템은 액셀레이터 센서(51), 브레이크 시스템(52), 휠 스피드 센서(53), 조도 센서(54), 램프 조절 시스템(55) 등을 포함한다.
액셀레이터 센서(51)는 엔진의 RPM을 조절하도록 액셀레이터 페달이 받는 압력을 측정하는 센서이며, 휠 스피드 센서(53)는 차량의 바퀴의 회전량 또는 단위시간 당 회전수를 검출하는 센서로써 홀(Hall) 소자 등을 사용하여 구성된다. 브레이크 센서(522)는 브레이크 페달의 조작량을 검출하는 센서이다. 브레이크 센서(522)는 브레이크 시스템(52)을 통해 네트워크 통신에 접속된다. 변속 레버 스위치(56)은 변속 레버의 위치를 검출하는 센서 또는 스위치이며, 변위 센서 등을 이용하여 구성된다. 조도 센서(54)는 차량의 외부에 탑재되어 수광량을 측정함으로써 주야를 판단하는 센서로, 광전지 또는 광전관을 사용하여 구성된다.
브레이크 시스템(52)은 구동부(521)를 이용하여 제동력을 증강시키는 브레이크 어시스트(Brake Assist), 브레이크의 락을 억제하는 ABS(Anti-lock Braking System) 등을 가진 전동 브레이크 시스템이다. 램프 조절 시스템(55)은 상기 조도 센서(54) 또는 사용자의 제어 입력에 따라 차량의 램프 발광량을 조절하는 시스템이다. 외부 시스템(58)은 차량의 생산, 점검 및 정비 시에 사용되는 검사 시스템이나 조정 시스템을 외부에서 접속 커넥터 등을 통해 접속하는 옵션 시스템으로, 차량에 항상 탑재되는 것이 아니라 탈부착이 가능하다.
파워 스티어링 시스템(57)은 토크 센서(Torque Sensor)(572)를 이용해 현재 스티어링 휠에 작용하는 토크를 측정하고, 스티어링 구동부(571)를 통해 스티어링 휠에 어시스트 토크(Assist Torque)를 부가하여 사용자의 편의를 제공하는 전동 파워 스티어링(Electric Power Steering, EPS) 시스템일 수 있다.
상기 기술한 센서 및 시스템은 예시적인 것이며, 그 연결 형태 또한 예시적인 것이다. 따라서 이에 제한되지 않고 다양한 구성 또는 연결 형태로 형성될 수 있다.
본 발명의 일 실시예에 따르면, 상기 네트워크 통신(50)의 연결 방식은 최근에 주로 사용되는 캔통신(Controller Area Network: CAN)을 사용하는 것이 바람직하나, 이에 제한되지 않고 린통신(Local Interconnect Network: LIN) 등 다양한 네트워크 방식을 사용할 수 있다.
도 4은 본 발명의 일 실시예에 따른 주변 영상 모니터링 방법을 수행하기 위한 흐름도의 일부이다.
본 발명의 일 실시예에 따른 주변 영상 모니터링 방법을 수행하기 위해, 도 4에 도시된 바와 같이 우선 디스플레이 장치(40)에 포함된 제2 상태 정보를 전자 제어 유닛(ECU)(20)으로 전송한다(S401). 상기 기술한 바, 제2 상태 정보는 제2 파라미터 데이터가 변경되었는지 여부를 나타내는 제2 특정 패턴 값, 제2 파라미터 데이터의 업데이트 단계를 나타내는 제2 파라미터 버전, 해당 차량을 식별할 수 있는 제2 고유 식별 정보를 비롯한 다양한 정보를 포함한다. 상태 정보를 나타내는 데이터의 헤더파일에는, 특정 패턴 값과 파라미터 버전에 대한 정보가 함께 포함된다. 따라서 특정 패턴 값이 전송되면 파라미터 버전 정보도 함께 전송된다. 전자 제어 유닛(ECU)(20)은 상기 제2 상태 정보를 전송받아 분석하여(S402), 전자 제어 유닛(ECU)(20) 자신이 가지고 있는 제1 고유 식별 정보와 제2 상태 정보에 포함된 제2 고유 식별 정보를 비교한다(S403). 만약 제1 고유 식별 정보가 존재하지 않는다면(S405), 전자 제어 유닛(ECU)(20)은 새로운 부품으로 교체된 것이다. 따라서 디스플레이 장치(40)로부터 제2 파라미터 데이터를 전송받아 제1 상태 정보 및 제1 파라미터 데이터를 제2 상태 정보 및 제2 파라미터 데이터와 동일하도록 각각 동기화 한다(S408). 만약 제2 고유 식별 정보가 존재하지 않는다면(S404), 디스플레이 장치(40)는 새로운 부품으로 교체된 것이다. 따라서 전자 제어 유닛(ECU)(20)으로부터 제1 상태 정보 및 제1 파라미터 데이터를 전송받아 제2 상태 정보 및 제2 파라미터 데이터를 제1 상태 정보 및 제1 파라미터 데이터와 동일하도록 각각 동기화 한다(S407). 만약 제1 및 제2 고유 식별 정보가 모두 존재하지 않는다면 모두 새로운 부품이므로 차량이 출시되기 전일 가능성이 높다. 따라서 최초로 공장에서 자동으로 복수의 영상의 합성 및 보정을 수행하여 파라미터 데이터를 생성할 것이다(S406). 만약 제1 및 제2 고유 식별 정보 모두 존재하더라도 그 값이 일치하지 않는다면(S409), 전자 제어 유닛(ECU)(20)과 디스플레이 장치(40) 중 어느 하나는 중고로 교체된 부품이며, 어느 부품이 교체된 것인지는 스스로 판단할 수 없다. 따라서 어느 고유 식별 정보가 해당 차량을 식별하는 정보인지 사용자가 선택할 수 있도록 디스플레이 패널(41)을 통해 경고 메시지를 표시한다(S410).
도 5는 도 4에 도시된 본 발명의 일 실시예에 따른 주변 영상 모니터링 방법을 수행하기 위한 흐름도의 나머지 일부이다.
만약 제1 고유 식별 정보와 제2 고유 식별 정보가 동일하다면 전자 제어 유닛(ECU)(20)과 디스플레이 장치(40)는 이전부터 동일한 차량에 설치되어 있었던 것이다. 따라서 전자 제어 유닛(ECU)(20)은 자신이 스스로 가지고 있는 제1 특정 패턴 값과 제2 상태 정보에 포함된 제2 특정 패턴 값을 비교한다(S411).
특정 패턴 값이란, 파라미터 데이터의 변경 여부를 나타내는 값이다. 즉, 특정 패턴 값이 존재한다면, 영상의 변환 및 합성 과정을 통해 파라미터 데이터가 적어도 한 번 생성되었던 것이다. 따라서, 제2 특정 패턴 값이 존재하지 않는다면 디스플레이 장치(40)가 차량에 설치된 이후로는 영상의 변환 및 합성이 이루어지지 않은 것이므로 제2 파라미터 데이터가 존재하지 않는다. 제1 특정 패턴 값이 존재하지 않는 경우에도 전자 제어 유닛(ECU)(20)이 차량에 설치된 이후로는 영상의 변환 및 합성이 이루어지지 않은 것이다. 다만, 이 경우에는 제1 파라미터 데이터가 디폴트(Default) 값으로 존재한다. 전자 제어 유닛(ECU)(20)은 처음 공장에서 출하될 때부터 제1 파라미터 데이터가 디폴트(Default) 값으로 존재하도록 설정되기 때문이다. 다만, 영상의 변환 및 합성하는 과정을 거치지 않았으므로, 그 값에 따라서 복수의 영상들이 회전 및 이동하면 이를 합성하여 생성된 탑 뷰(Top View)는 각 영상의 합성 영역이 자연스럽지 않고 운전자가 정상적으로 볼 수 없게 된다.
제1 특정 패턴 값이 존재하지 않고 제2 특정 패턴 값만이 존재한다면(S414), 제2 파라미터 데이터에 따라 영상은 변환 및 합성된다. 그리고 제1 파라미터 데이터는 제2 파라미터 데이터와 동일하도록 동기화 된다(S415). 이와 반대로 제2 특정 패턴 값이 존재하지 않고 제1 특정 패턴 값만이 존재한다면(S412), 제1 파라미터 데이터에 따라 영상은 변환 및 합성된다. 그리고 제2 파라미터 데이터는 제1 파라미터 데이터와 동일하도록 동기화 된다(S413). 제1 및 제2 특정 패턴 값이 모두 존재하지 않는다면, 디폴트(Default) 값이라도 존재하는 제1 파라미터 데이터에 따라 영상을 변환 및 합성할 것인지, 또는 영상의 변환 및 합성 과정을 생략하여 탑 뷰(Top View)를 생성하지 않을 지를 사용자가 판단하도록 경고 메시지를 표시한다(S416).
제1 및 제2 특정 패턴 값이 모두 존재한다면 제1 및 제2 파라미터 데이터가 영상의 변환 및 합성 과정을 통해 제1 및 제2 파라미터 데이터 모두 적어도 한 번 생성되었던 것이다. 따라서, 제1 및 제2 파라미터 데이터 중 어느 것이 최근 파라미터 데이터인지 판단하기 위해, 전자 제어 유닛(ECU)(20)는 제1 파라미터 버전과 제2 파라미터 버전을 비교한다(S417). 여기서 파라미터 버전이란 파라미터의 업데이트 단계 또는 순서를 번호나 기호 등으로 표시한 것을 말하며, 일반적으로 업데이트가 되고 나면 버전을 나타내는 숫자가 커진다. 따라서 파라미터 버전을 나타낸 숫자를 비교하면 업데이트 단계 정도를 알 수 있다. 다만 이에 제한되지 않고 다양한 방식으로 업데이트 단계를 나타낼 수 있다.
제1 파라미터 버전이 최신이라면(S418) 제1 파라미터 데이터가 최근에 업데이트한 것이므로 제1 파라미터 데이터에 따라 영상이 변환 및 합성되며, 디스플레이 장치(40)의 요청에 따라 전자 제어 유닛(ECU)(20)는 제1 파라미터 데이터를 디스플레이 장치(40)로 전송한다. 따라서 디스플레이 장치(40)는 제2 파라미터 데이터가 제1 파라미터 데이터와 동일하도록 동기화한다(S413). 제2 파라미터 버전이 최신이라면 제2 파라미터 데이터가 최근에 업데이트한 것이므로 제2 파라미터 데이터에 따라 영상이 변환 및 합성되며, 전자 제어 유닛(ECU)(20)의 요청에 따라 디스플레이 장치(40)는 제2 파라미터 데이터를 전자 제어 유닛(ECU)(20)으로 전송한다. 따라서 전자 제어 유닛(ECU)(20)은 제1 파라미터 데이터가 제2 파라미터 데이터와 동일하도록 동기화한다(S415). 제1 및 제2 파라미터 버전이 동일하다면 제1 및 제2 파라미터 데이터가 동일하므로 동기화를 실행하지 않고, 제1 파라미터 데이터에 따라 영상이 변환 및 합성된다(S419).
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 주변 영상 모니터링 장치 10: 카메라
20: 전자 제어 유닛(ECU) 21: 제1 저장부
31: 영상 처리부 32: 영상 변환부
33: 영상 합성부 40: 디스플레이 장치
41: 디스플레이 패널 42: 제2 저장부
50: 네트워크 통신

Claims (10)

  1. 차량의 주변을 촬영하는 복수의 카메라;
    상기 카메라에 의해 촬영된 영상의 처리를 제어하고, 제1 파라미터 데이터를 저장하는 제1 저장부를 포함하는 전자 제어 유닛(ECU);
    상기 복수의 카메라에 의해 촬영된 영상으로 상기 제1 파라미터 데이터에 기초하여 위에서 내려다본 영상인 탑 뷰를 생성하는 탑 뷰 생성부; 및
    상기 생성된 탑 뷰를 디스플레이하고, 제2 파라미터 데이터를 저장하는 제2 저장부를 포함하는 디스플레이 장치를 포함하되,
    상기 전자 제어 유닛(ECU) 또는 상기 디스플레이 장치의 교체시 기존의 파라미터 데이터를 보존할 수 있도록, 상기 제1 및 제2 파라미터 데이터 상호간에 동기화가 수행되는, 주변 영상 모니터링 장치.
  2. 제1항에 있어서,
    상기 제1 저장부는 ,
    상시 차량을 식별할 수 있는 제1 고유 식별 정보, 상기 파라미터 데이터의 업데이트 단계인 제1 파라미터 버전, 상기 제1 파라미터 데이터의 변경 여부를 나타내는 제1 특정 패턴 값을 포함한 제1 상태 정보를 더 저장하고,
    상기 제2 저장부는 ,
    상시 차량을 식별할 수 있는 제2 고유 식별 정보, 상기 파라미터 데이터의 업데이트 단계인 제2 파라미터 버전, 상기 제2 파라미터 데이터의 변경 여부를 나타내는 제2 특정 패턴 값을 포함한 제1 상태 정보를 더 저장하는, 주변 영상 모니터링 장치.
  3. 제2항에 있어서,
    상기 제1 및 제2 고유 식별 정보를 비교하여,
    상기 제1 및 제2 고유 식별 정보가 상호 동일하지 않으면, 상기 디스플레이 장치에서 경고 메시지가 표시되는, 주변 영상 모니터링 장치.
  4. 제2항에 있어서,
    상기 전자 제어 유닛은,
    상기 제1 및 제2 고유 식별 정보가 모두 존재한다면, 상기 제1 및 제2 고유 식별 정보가 일치하는지 판단하고,
    상기 제1 및 제2 고유 식별 정보가 일치한다면, 상기 제1 및 제2 특정 패턴 값이 모두 존재하는지 판단하는, 주변 영상 모니터링 장치.
  5. 제4항에 있어서,
    상기 제1 및 제2 파라미터 데이터의 동기화는,
    상기 제1 및 제2 특정 패턴 값이 모두 존재하는지 판단하여,
    상기 제1 특정 패턴 값이 존재하지 않으면 상기 제2 파라미터 데이터를 기준으로 수행되고,
    상기 제2 특정 패턴 값이 존재하지 않으면 상기 제1 파라미터 데이터를 기준으로 수행되는, 주변 영상 모니터링 장치.
  6. 제4항에 있어서,
    상기 제1 및 제2 파라미터 데이터의 동기화는,
    상기 제1 및 제2 특정 패턴 값이 모두 존재하면 제1 및 제2 파라미터 버전을 비교하여,
    상기 제1 파라미터 버전이 더 최신이면 제1 파라미터 데이터를 기준으로 수행되고,
    상기 제2 파라미터 버전이 더 최신이면 제2 파라미터 데이터를 기준으로 수행되며,
    제1 및 제2 파라미터 버전이 동일하면 상기 동기화는 수행되지 않는, 주변 영상 모니터링 장치.
  7. 차량의 주변을 모니터링하는 방법에 있어서
    디스플레이 장치가 전자 제어 유닛(ECU)으로 제2 상태 정보를 전송하는 단계;
    상기 전자 제어 유닛에서 상기 제2 상태 정보를 분석하여, 상기 전자 제어 유닛이 가지고 있는 제1 고유 식별 정보와 상기 제2 상태 정보에 포함된 제2 고유 식별 정보를 비교하는 단계;
    상기 제1 및 제2 고유 식별 정보가 모두 존재한다면, 상기 제1 및 제2 고유 식별 정보 상호간에 일치하는지 판단하는 단계;
    상기 제1 및 제2 고유 식별 정보가 상호간에 일치한다면 제1 및 제2 특정 패턴 값이 모두 존재하는지 판단하는 단계;
    상기 제1 및 제2 특정 패턴 값이 모두 존재한다면, 제1 및 제2 파라미터 버전을 비교하는 단계;
    상기 제1 파라미터 버전이 더 최신이면 제1 파라미터 데이터를 기준으로 동기화가 수행되고, 상기 제2 파라미터 버전이 더 최신이면 제2 파라미터 데이터를 기준으로 동기화가 수행되며, 제1 및 제2 파라미터 버전이 동일하면 상기 동기화는 실행되지 않는 단계를 포함하는 주변 영상 모니터링 방법.
  8. 제7항에 있어서,
    상기 제1 고유 식별 정보와 상기 제2 고유 식별 정보를 비교하는 단계에 있어서,
    상기 제1 고유 식별 정보가 존재하지 않으면 상기 제2 고유 식별 정보를 기준으로 상기 제1 및 제2 상태 정보와 상기 제1 및 제2 파라미터 데이터의 동기화가 수행되고,
    상기 제2 고유 식별 정보가 존재하지 않으면 상기 제1 고유 식별 정보를 기준으로 상기 제1 및 제2 상태 정보와 상기 제1 및 제2 파라미터 데이터의 동기화가 수행되는, 주변 영상 모니터링 방법.
  9. 제7항에 있어서,
    상기 제1 및 제2 고유 식별 정보 상호간에 일치하는지 판단하는 단계에 있어서,
    상기 제1 및 제2 고유 식별 정보가 상호간에 일치하지 않는다면 상기 차량은 어느 식별 정보의 차량에 해당되는 것인지 사용자가 선택할 수 있도록 디스플레이 장치에 경고 메시지를 표시하는, 주변 영상 모니터링 방법.
  10. 제7항에 있어서,
    상기 제1 및 제2 특정 패턴 값이 모두 존재하는지 판단하는 단계에 있어서,
    상기 제1 특정 패턴 값이 존재하지 않으면 상기 제2 파라미터 데이터를 기준으로 상기 제1 및 제2 파라미터 데이터의 동기화가 수행되고,
    상기 제2 특정 패턴 값이 존재하지 않으면 상기 제1 파라미터 데이터를 기준으로 상기 제1 및 제2 파라미터 데이터의 동기화가 수행되는, 주변 영상 모니터링 방법.
KR1020150184442A 2015-12-23 2015-12-23 주변 영상 모니터링 장치 및 방법 KR101672923B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150184442A KR101672923B1 (ko) 2015-12-23 2015-12-23 주변 영상 모니터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150184442A KR101672923B1 (ko) 2015-12-23 2015-12-23 주변 영상 모니터링 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101672923B1 true KR101672923B1 (ko) 2016-11-04

Family

ID=57530244

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150184442A KR101672923B1 (ko) 2015-12-23 2015-12-23 주변 영상 모니터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101672923B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190075034A (ko) * 2019-06-20 2019-06-28 주식회사 아이닉스 차량용 영상 생성 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056778A (ja) * 2002-05-31 2004-02-19 Matsushita Electric Ind Co Ltd 車両周辺監視装置、画像生成方法および画像生成プログラム
JP2007282060A (ja) * 2006-04-10 2007-10-25 Nissan Motor Co Ltd 車両周囲映像作成装置及び車両周囲映像作成方法
KR20140030755A (ko) * 2012-09-03 2014-03-12 현대모비스 주식회사 공차 보정 정보 제공 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
KR101406230B1 (ko) 2012-12-20 2014-06-12 현대오트론 주식회사 차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법
KR20150053323A (ko) 2013-11-08 2015-05-18 현대모비스 주식회사 영상 왜곡 보정 방법 및 이를 위한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056778A (ja) * 2002-05-31 2004-02-19 Matsushita Electric Ind Co Ltd 車両周辺監視装置、画像生成方法および画像生成プログラム
JP2007282060A (ja) * 2006-04-10 2007-10-25 Nissan Motor Co Ltd 車両周囲映像作成装置及び車両周囲映像作成方法
KR20140030755A (ko) * 2012-09-03 2014-03-12 현대모비스 주식회사 공차 보정 정보 제공 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템
KR101406230B1 (ko) 2012-12-20 2014-06-12 현대오트론 주식회사 차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법
KR20150053323A (ko) 2013-11-08 2015-05-18 현대모비스 주식회사 영상 왜곡 보정 방법 및 이를 위한 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190075034A (ko) * 2019-06-20 2019-06-28 주식회사 아이닉스 차량용 영상 생성 장치 및 방법
KR102235951B1 (ko) 2019-06-20 2021-04-05 주식회사 아이닉스 차량용 영상 생성 장치 및 방법

Similar Documents

Publication Publication Date Title
US11303806B2 (en) Three dimensional rendering for surround view using predetermined viewpoint lookup tables
JP4642723B2 (ja) 画像生成装置および画像生成方法
KR100939761B1 (ko) 차량 장착용 카메라 유닛, 차량 외부 디스플레이 방법 및 드라이빙 코리더 마커 생성 시스템
JP2006311272A (ja) 車両用映像表示装置
US20120050464A1 (en) Method and system for enhancing 3d effects for 3d video rendering
CN112637551A (zh) 多路4k准实时拼接视频的全景数据管理软件系统
US11341607B2 (en) Enhanced rendering of surround view images
US20180191960A1 (en) Image processing device and image processing method
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
KR101757201B1 (ko) 주변 영상 모니터링 장치 및 방법
JPWO2020090512A1 (ja) 撮影装置、制御方法、及び、プログラム
KR102153581B1 (ko) 주변 영상 모니터링 장치
KR101672923B1 (ko) 주변 영상 모니터링 장치 및 방법
US20150288949A1 (en) Image generating apparatus, imaging apparatus, and image generating method
CN106233717B (zh) 用于在无专用反向信道的情况下传输基于摄像机的参数的系统和方法
KR102235951B1 (ko) 차량용 영상 생성 장치 및 방법
WO2016157873A1 (ja) 撮像装置、撮像システム、および車両
KR20180097976A (ko) 주변 영상 모니터링 장치 및 방법
US10469726B1 (en) Reversing display system with wireless switching multi-view images and method thereof
JP6148896B2 (ja) 画像生成装置及び画像生成方法
KR20180097998A (ko) 주변 영상 모니터링 장치 및 방법
KR102439439B1 (ko) 전자 제어 유닛을 공유하는 차량용 영상 감시 장치
KR101853613B1 (ko) 통합 보드를 이용한 차량용 영상 디스플레이 장치 및 시스템
JP2020057981A (ja) 画像作成システム、画像作成装置、及び画像作成装置の制御方法
WO2021039257A1 (ja) ヘッドアップディスプレイ装置、表示システム、および表示方法

Legal Events

Date Code Title Description
A201 Request for examination
FPAY Annual fee payment

Payment date: 20190925

Year of fee payment: 4