KR101406212B1 - 차량용 후사경의 분할 뷰 제공 장치 및 방법 - Google Patents

차량용 후사경의 분할 뷰 제공 장치 및 방법 Download PDF

Info

Publication number
KR101406212B1
KR101406212B1 KR1020120149766A KR20120149766A KR101406212B1 KR 101406212 B1 KR101406212 B1 KR 101406212B1 KR 1020120149766 A KR1020120149766 A KR 1020120149766A KR 20120149766 A KR20120149766 A KR 20120149766A KR 101406212 B1 KR101406212 B1 KR 101406212B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
avm
divided
generating
Prior art date
Application number
KR1020120149766A
Other languages
English (en)
Inventor
김연호
서창형
박호성
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020120149766A priority Critical patent/KR101406212B1/ko
Application granted granted Critical
Publication of KR101406212B1 publication Critical patent/KR101406212B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

차량용 후사경의 분할 뷰 제공 장치 및 방법이 제공된다. 상기 차량용 후사경의 분할 뷰 제공 장치는 디스플레이 유닛이 내장된 후사경, 차량 주변에 관한 파노라마 이미지를 생성하는 파노라마 이미지 생성부, 상기 파노라마 이미지를 이용하여 분할 이미지를 생성하는 분할 이미지 생성부, 및 상기 파노라마 이미지 및 상기 분할 이미지를 기초로 하여 합성 이미지를 생성하는 AVM 이미지 생성부를 포함하되, 상기 후사경은 상기 합성 이미지를 디스플레이 한다.

Description

차량용 후사경의 분할 뷰 제공 장치 및 방법{Apparatus and method for providing split view of rear view mirror of vehicle}
본 발명은 차량용 후사경의 분할 뷰 제공 장치 및 방법에 관한 것이다.
AVM(Around View Monitoring)은 차량 주변의 360°를 표현하는 이미지를 운전자에게 제공하는 기능을 나타낸다. 2차원 AVM은 차량 탑뷰에서 차량 주변의 360˚ 이미지를 제공하고, 3차원 AVM은 차량 주변의 360˚ 이미지와 차량의 형상을 3차원 가상 공간에 배치하고, AVM 제어기에서 사전에 정의한 뷰모드에서의 영상을 운전자에게 제공한다. AVM 이미지는 일반적으로 차량의 길이 방향으로 생성되기 때문에, 상대적으로 대화면의 디스플레이가 요구되고, 대화면의 디스플레이는 차량 중앙의 대쉬보드에 모니터 타입 등으로 탑재되게 된다. 그러나, 이와 같이 탑재된 모니터는, AVM 이미지를 확인하는 순간에, 운전자의 전방 주시성을 크게 떨어뜨리게 된다.
한편, 이의 대안으로 운전자의 전방 주시성을 확보하면서, AVM 이미지를 확인할 수 있도록 디스플레이를 내장한 후사경이 대안으로 제시되고 있다. 그러나, 일반적인 후사경은 운전자의 전방 가시성을 확보하기 위해 세로 비율이 최소화되어 제작되기 때문에, AVM 이미지를 후사경의 비율에 맞춰 축소하여 출력하게 되면, AVM 이미지의 시인성이 떨어지게 된다.
한국등록특허 제1011507호에는 디스플레이를 포함하는 차량용 후사경에 관하여 개시되어 있다.
본 발명이 해결하려는 과제는, 차량의 기어 단수에 따라 주요 충돌 지점인 차량 모서리 부분의 분할 이미지를 제공하는 차량용 후사경의 분할 뷰 제공 장치를 제공하는 것이다.
본 발명이 해결하려는 다른 과제는, 차량의 기어 단수에 따라 주요 충돌 지점인 차량 모서리 부분의 분할 이미지를 제공하는 차량용 후사경의 분할 뷰 제공 방법을 제공하는 것이다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 차량용 후사경의 분할 뷰 제공 장치의 일 태양은 디스플레이 유닛이 내장된 후사경, 차량 주변에 관한 파노라마 이미지를 생성하는 파노라마 이미지 생성부, 상기 파노라마 이미지를 이용하여 분할 이미지를 생성하는 분할 이미지 생성부, 및 상기 파노라마 이미지 및 상기 분할 이미지를 기초로 하여 합성 이미지를 생성하는 AVM 이미지 생성부를 포함하되, 상기 후사경은 상기 합성 이미지를 디스플레이 한다.
상기 분할 이미지는, 상기 차량 모서리 주변에 관한 이미지일 수 있다.
상기 분할 이미지는, 상기 차량 전방 좌우의 모서리 주변에 관한 제1 분할 이미지이거나, 상기 차량 후방 좌우의 모서리 주변에 관한 제2 분할 이미지일 수 있다.
상기 차량의 기어 단수를 연산하는 변속기 제어부를 더 포함할 수 있다.
상기 분할 이미지는, 상기 차량 전방 좌우의 모서리 주변에 관한 제1 분할 이미지이거나, 상기 차량 후방 좌우의 모서리 주변에 관한 제2 분할 이미지이고, 상기 AVM 이미지 생성부는, 상기 기어 단수에 따라 상기 제1 또는 제2 분할 이미지를 선택하여, 상기 선택된 제1 또는 제2 분할 이미지를 기초로 하여 상기 합성 이미지를 생성할 수 있다.
상기 AVM 이미지 생성부는, 상기 파노라마 이미지를 3차원 공간의 가상의 원기둥에 매핑하고, 상기 매핑된 파노라마 이미지를 렌더링하여 3차원 AVM 이미지를 생성하고, 상기 3차원 AVM 이미지와 상기 분할 이미지를 합성하여 상기 합성 이미지를 생성할 수 있다.
상기 과제를 해결하기 위한 본 발명의 차량용 후사경의 분할 뷰 제공 방법의 일 태양은 차량 주변에 관한 파노라마 이미지를 생성하고, 상기 파노라마 이미지를 이용하여 분할 이미지를 생성하고, 상기 파노라마 이미지를 3차원 공간의 가상의 원기둥에 매핑하고, 상기 매핑된 파노라마 이미지를 렌더링하여 3차원 AVM 이미지를 생성하고, 상기 3차원 AVM 이미지와 상기 분할 이미지를 합성하여 합성 이미지를 생성하고, 상기 합성 이미지를 후사경에 디스플레이 한다.
상기 분할 이미지를 생성하는 것은, 상기 차량 모서리 주변에 관한 분할 이미지를 생성할 수 있다.
상기 분할 이미지를 생성하는 것은, 상기 차량 전방 좌우의 모서리 주변에 관한 제1 분할 이미지를 생성하거나, 상기 차량 후방 좌우의 모서리 주변에 관한 제2 분할 이미지를 생성할 수 있다.
상기 합성 이미지를 생성하는 것은, 상기 3차원 AVM 이미지와 상기 차량의 기어 단수에 따라 선택된 상기 제1 또는 제2 분할 이미지를 합성하여 생성할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 의하면, 3차원 AVM의 디스플레이 장치로 후사경을 사용시, 전방 시야 확보를 도모하면서 차량 모서리 부분의 충돌 정보를 미리 인지할 수 있어, 운전자가 차량을 주차할 때 편의성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 후사경의 분할 뷰 제공 장치의 구성을 설명하기 위한 개략적인 블록도이다.
도 2는 도 1의 3차원 AVM 제어부의 내부 구성을 설명하기 위한 개략적인 블록도이다.
도 3은 도 2의 AVM 이미지 생성부의 내부 구성을 설명하기 위한 개략적인 블록도이다.
도 4는 디스플레이 유닛이 내장된 후사경을 나타낸 그림이다.
도 5는 분할 이미지를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 차량용 후사경의 분할 뷰 제공 방법을 설명하기 위한 개략적인 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
하나의 소자(elements)가 다른 소자와 "접속된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 소자와 직접 연결 또는 커플링된 경우 또는 중간에 다른 소자를 개재한 경우를 모두 포함한다. 반면, 하나의 소자가 다른 소자와 "직접 접속된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 소자를 개재하지 않은 것을 나타낸다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
소자(elements) 또는 층이 다른 소자 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 소자 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 반면, 소자가 "직접 위(directly on)" 또는 "바로 위"로 지칭되는 것은 중간에 다른 소자 또는 층을 개재하지 않은 것을 나타낸다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 소자 또는 구성 요소들과 다른 소자 또는 구성 요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 소자의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 소자를 뒤집을 경우, 다른 소자의 "아래(below)" 또는 "아래(beneath)"로 기술된 소자는 다른 소자의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 소자는 다른 방향으로도 배향될 수 있고, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서 설명하는 차량용 후사경의 분할 뷰 제공 장치 및 방법은, 3차원 AVM 이미지를 후사경을 통하여 디스플레이 하는 것에 관한 것이다. 3차원 AVM 이미지는 차량 주변의 360°를 촬영한 이미지를 하나의 파노라마 이미지로 합성하고, 이를 3차원 가상의 원기둥에 매핑하여 3차원 영상으로 변환한 것이다. 이와 같은 3차원 AVM 이미지를 후사경을 통하여 디스플레이 하는 경우, 화면비에 관한 문제가 발생할 수 있다. 즉, 후사경은, 일반적으로 운전자의 전면 가시성 확보를 위하여 세로 길이를 최소화하여 제작되는데, 3차원 AVM 이미지를 후사경의 세로 길이에 맞추어 축소하여 디스플레이 하면, 후사경의 양측 부분에 빈 공간이 발생하게 된다. 이러한 빈 공간을 디스플레이 용도로 사용하여, 운전자의 편의성을 향상시키고 차량의 충돌을 방지하고자 한다.
종래의 2차원 AVM 영상은 차량의 전후좌우에 설치된 카메라를 이용하여 촬영한 이미지를 단순히 합성한 것이다. 종래의 2차원 AVM 영상 제공 장치는 일반적으로 차량의 시속이 20㎞ 이내인 경우 동작하며, 탑뷰 형태로 2차원 AVM 영상을 제공한다.
도 1은 본 발명의 일 실시예에 따른 차량용 AVM 영상 제공 장치의 구성을 설명하기 위한 개략적인 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량용 AVM 영상 제공 장치는, 전방 카메라(110), 변속기 제어부(120), 우측 카메라(210), 좌측 카메라(220), 3차원 AVM 제어부(230), 후사경(240), 후방 카메라(310) 등을 포함한다.
전방 IP 게이트 웨이(100), 중앙 IP 게이트 웨이(200), 후방 IP 게이트 웨이(300)는 이더넷(ethernet)으로 연결되어, 차량용 AVM 영상 제공 장치(1)의 각종 구성 요소들이 네트워크를 통해 서로 연결될 수 있도록 구성된다.
예시적으로, 변속기 제어부(120) 등은 CAN(Controller Area Network)으로 전방 IP 게이트 웨이(100)에 연결될 수 있다. 다른 구성 요소들도 이더넷을 통해 IP 게이트 웨이(100, 200, 또는 300)에 연결될 수 있다.
전방 카메라(110)는 차량의 전면에 위치할 수 있으며, 차량의 전방 이미지를 획득하는데 이용될 수 있다. 특히, 전방 카메라(110)는 차량의 양쪽 헤드 램프 사이의 중앙 부분에 위치할 수 있으나, 이에 한정되는 것은 아니다. 전방 카메라(110)는 상기 이미지 정보를 전송하기 전에 전송의 용이성을 위하여 압축된 이미지 데이터 형태로 변환할 수 있다.
우측 카메라(210)는 차량의 우측면에 위치할 수 있으며, 차량의 우측 이미지를 획득하는데 이용될 수 있다. 특히, 우측 카메라(210)는 차량의 우측 사이드 미러의 하부에 위치할 수 있으나, 이에 한정되는 것은 아니다. 우측 카메라(210)는 상기 이미지 정보를 전송하기 전에 전송의 용이성을 위하여 압축된 이미지 데이터 형태로 변환할 수 있다.
좌측 카메라(220)는 차량의 좌측면에 위치할 수 있으며, 차량의 좌측 이미지를 획득하는데 이용될 수 있다. 특히, 좌측 카메라(220)는 차량의 좌측 사이드 미러의 하부에 위치할 수 있으나, 이에 한정되는 것은 아니다. 좌측 카메라(220)는 상기 이미지 정보를 전송하기 전에 전송의 용이성을 위하여 압축된 이미지 데이터 형태로 변환할 수 있다.
후방 카메라(310)는 차량의 후면에 위치할 수 있으며, 차량의 후방 이미지를 획득하는데 이용될 수 있다. 특히, 후방 카메라(310)는 차량의 양쪽 후방 램프 사이의 중앙 부분에 위치할 수 있으나, 이에 한정되는 것은 아니다. 후방 카메라(310)는 상기 이미지 정보를 전송하기 전에 전송의 용이성을 위하여 압축된 이미지 데이터 형태로 변환할 수 있다.
변속기 제어부(120)는 차량의 기어 단수를 연산하도록 구성된다. 예시적으로, 기어 단수는 주차(P), 후진(R), 중립(N), 주행(D), 1, 2, 3 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 변속기 제어부(120)는 기어 단수 정보를 IP 게이트 웨이(100, 200)를 경유하여 3차원 AVM 제어부(230)에 전송할 수 있다.
3차원 AVM 제어부(230)는 차량용 3차원 AVM 영상을 제공하고, 이를 제어하는 장치로 구성된다. 본 발명의 일 실시예에서 3차원 AVM 제어부(230)는, 전방, 우측, 좌측, 및 후방 카메라(110, 210, 220, 310)에서 촬영한 이미지를 합성하여 생성된 차량 주변의 360°를 표현하는 이미지와 차량 모서리 주변에 관한 분할 이미지를 합성하여 합성 이미지를 생성한다. 이에 관하여는 도 2 내지 도 5를 참조하여, 상세하게 설명하기로 한다.
후사경(240)은 디스플레이 유닛이 내장되어 있다. 후사경(240)은 3차원 AVM 제어부(230)로부터 합성 이미지를 전송받고, 이를 출력할 수 있다.
도 2는 도 1의 3차원 AVM 제어부의 내부 구성을 설명하기 위한 개략적인 블록도이다. 도 3은 도 2의 AVM 이미지 생성부의 내부 구성을 설명하기 위한 개략적인 블록도이다. 도 4는 디스플레이 유닛이 내장된 후사경을 나타낸 그림이다. 도 5는 분할 이미지를 도시한 도면이다.
도 2를 참조하면, 3차원 AVM 제어부(230)는 이더넷 통신부(231), 메시지 처리부(232), 이미지 획득부(233), 파노라마 이미지 생성부(234), 분할 이미지 생성부(235), AVM 이미지 생성부(236)를 포함한다.
이더넷 통신부(231)는 이더넷 인터페이스를 제공하도록 구성된다. 이더넷 통신부(231)가 제공하는 이더넷 인터페이스를 통해, 3차원 AVM 제어부(230)는 중앙 IP 게이트 웨이(200)에 연결될 수 있다.
메시지 처리부(232)는 이더넷 통신부(231)와 데이터 패킷을 송수신하도록 구성된다. 메시지 처리부(232)는 이더넷 통신부(231)로부터 전송받은 데이터 패킷으로부터 이미지 데이터를 추출하여 이미지 획득부(233)에 전송하거나, 데이터 패킷으로부터 기어 단수 정보 등을 추출하여 AVM 이미지 생성부(236)에 전송할 수 있다.
이미지 획득부(233)는 메시지 처리부(232)로부터 이미지 데이터를 전송받고, 이미지 데이터로부터 전방 이미지, 후방 이미지, 좌측 이미지, 및 우측 이미지를 추출하여 파노라마 이미지 생성부(234)에 전송하도록 구성된다.
파노라마 이미지 생성부(234)는 전방 이미지, 후방 이미지, 좌측 이미지, 및 우측 이미지를 합성하여 차량 주변에 관한 파노라마 이미지(P1, P2)를 생성하도록 구성된다. 파노라마 이미지(P1, P2)는 차량의 정면을 기준으로 360°를 표현하는 이미지로 생성될 수 있다. 파노라마 이미지(P1, P2)는 시간의 흐름으로 생성되어, 각각 AVM 이미지 생성부(236) 또는 분할 이미지 생성부(235)에 전송될 수 있다.
분할 이미지 생성부(235)는 파노라마 이미지(P2)를 이용하여 분할 이미지(d)를 생성하도록 구성된다. 도 5를 참조하면, 분할 이미지(d)는 차량 모서리 주변에 관한 이미지일 수 있다. 특히, 분할 이미지(d)는 차량 전방 좌우의 모서리 주변에 관한 제1 분할 이미지 또는 차량 후방 좌우의 모서리 주변에 관한 제2 분할 이미지일 수 있다.
AVM 이미지 생성부(236)는 파노라마 이미지(P1) 및 분할 이미지(d)를 기초로 하여 합성 이미지(s)를 생성하도록 구성된다. AVM 이미지 생성부(236)는 메시지 처리부(232)로부터 기어 단수 정보를 받아 제1 분할 이미지(d1) 또는 제2 분할 이미지(d2)를 결정한다. 즉, 상기 기어 단수가 전진 또는 중립인 경우, 상기 제1 분할 이미지(d1)를 결정하고, 상기 기어 단수가 후진인 경우, 상기 제2 분할 이미지(d2)를 결정하여, 합성 이미지(s)를 생성한다.
구체적으로, 도 3을 참조하면, AVM 이미지 생성부(236)는 파노라마 이미지 매퍼(237), 렌더링부(238), 오버레이 합성부(239) 등으로 구성된다.
파노라마 이미지 매퍼(237)는 파노라마 이미지(P1)를 제공받아, 파노라마 이미지(P1)를 3차원 공간의 가상의 투영면(projected plane)에 매핑할 수 있다. 가상의 투영면은 예시적으로 원기둥, 원뿔, 반구 또는 상부 직경이 하부보다 넓은 그릇 등의 형태일 수 있으나, 이에 한정되는 것은 아니다. 이하에서는 본 발명의 이해와 설명의 편의를 위하여, 가상의 투영면으로 가상의 원기둥을 이용하는 것을 예로 들어 설명하기로 한다.
렌더링부(238)는 매핑된 파노라마 이미지(P1)를 기초로 하여, 미리 정의된 뷰모드로 렌더링하여 3차원 AVM 이미지를 생성한다.
오버레이 합성부(239)는 상기 3차원 AVM 이미지를 분할 이미지(d)와 합성하여 합성 이미지(s)를 생성한다. 특히, 합성 이미지(s)는 3차원 AVM 이미지와 제1 분할 이미지(d1) 또는 제2 분할 이미지(d2)를 합성하여 생성될 수 있다.
도 4를 참조하면, 후사경(240)의 중앙 부분에는 차량의 3차원 AVM 이미지가 디스플레이 되고, 후사경(240)의 양측 부분에는 제1 분할 이미지(d1) 또는 제2 분할 이미지(d2)가 디스플레이 될 수 있다. 이를 통해, 운전자는 충돌 발생 위험이 큰 부분인 차량 모서리 부분을 자세히 확인하면서 주차를 할 수 있다.
도 2에서는 3차원 AVM 제어부(230)가 복수의 구성 요소로 분리 구성되는 것으로 도시하였으나, 본 발명이 속하는 기술 분야의 통상의 기술자에게 이더넷 통신부(231), 메시지 처리부(232), 이미지 획득부(233), 파노라마 이미지 생성부(234), 분할 이미지 생성부(235), AVM 이미지 생성부(236)가 일체로 구성될 수 있음은 자명할 것이다.
이하에서는 도 1 내지 도 5를 참조하여 설명한 차량용 AVM 영상 제공 장치를 이용하는 차량용 AVM 영상 제공 방법을 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따른 차량용 후사경의 분할 뷰 제공 방법을 설명하기 위한 개략적인 흐름도이다. 위에서 설명한 내용과 중복되는 내용에 관하여는 상세한 설명을 생략하기로 한다.
도 6을 참조하면, 먼저 차량의 전방 카메라(110), 우측 카메라(210), 좌측 카메라(220), 및 후방 카메라(310)를 이용하여 전후좌우의 이미지를 촬영하고, 상기 전후좌우의 이미지 데이터를 이미지 획득부(233)에서 획득한다(S1000).
이어서, 파노라마 이미지 생성부(234)가 상기 전후좌우 이미지를 합성하여 차량의 주변에 관한 파노라마 이미지를 생성한다(S1100).
이어서, 분할 이미지 생성부(235)는 파노라마 이미지(P2)를 수신하여 제1 분할 이미지 또는 제2 분할 이미지를 생성한다(S1200). 분할 이미지(d)를 생성하는 것은, 파노라마 이미지(P2)를 이용하여, 미리 정해진 클리핑 영역의 이미지를 추출하여 생성한다. 특히, 분할 이미지(d)를 생성하는 것은, 차량 모서리 주변에 관한 이미지를 추출하여 생성할 수 있다. 구체적으로, 차량 전방 좌우의 모서리 주변에 관한 이미지를 추출하여 제1 분할 이미지(d1)를 생성하고, 차량 후방 좌우의 모서리 주변에 관한 이미지를 추출하여 제2 분할 이미지(d2)를 생성할 수 있다.
이어서, AVM 이미지 생성부(236)는 파노라마 이미지(P1)를 3차원 공간의 가상의 원기둥에 매핑한다(S1300). 또한, AVM 이미지 생성부(236)는 매핑된 파노라마 이미지(P1)를 기초로 하여, 미리 정의된 뷰모드로 렌더링하여 3차원 AVM 이미지를 생성한다(S1400).
이어서, AVM 이미지 생성부(236)는 메시지 처리부(232)로부터 기어 단수 정보를 수신하여(S1500), 이에 따라 제1 분할 이미지(d1)를 결정하거나(S1600), 제2 분할 이미지(d2)를 선택한다(S1700). 상기 3차원 AVM 이미지와 제1 분할 이미지 또는 제2 분할 이미지를 합성하여 합성 이미지를 생성한다(S1800).
이어서, 후사경(240)은 합성 이미지(s)를 디스플레이 한다(S1900).
도 6에서는 S1000 내지 S1900의 단계를 순차적으로 도시하였으나, 일부 단계들은 그 순서를 달리하거나 동시에 수행되더라도 무방함은, 본 발명이 속하는 기술 분야의 통상의 기술자에게 자명할 것이다.
본 발명의 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 알려진 임의의 다른 형태의 기록 매체에 상주할 수도 있다. 예시적인 기록 매체는 프로세서에 커플링되며, 그 프로세서는 기록 매체로부터 정보를 판독할 수 있고 기록 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 변속기 제어부(120), 3차원 AVM 제어부(230) 등의 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 기록 매체는 변속기 제어부(120), 3차원 AVM 제어부(230) 등의 내에 개별 컴포넌트로서 상주할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 전방 IP 게이트웨이
110: 전방 카메라
120: 변속기 제어부
200: 중앙 IP 게이트웨이
210: 우측 카메라
220: 좌측 카메라
230: 3차원 AVM 제어부
240: 후사경
300: 후방 IP 게이트웨이
310: 후방 카메라

Claims (10)

  1. 디스플레이 유닛이 내장된 후사경;
    차량 주변에 관한 파노라마 이미지를 생성하는 파노라마 이미지 생성부;
    상기 파노라마 이미지를 이용하여 분할 이미지를 생성하는 분할 이미지 생성부; 및
    상기 파노라마 이미지와 상기 분할 이미지를 기초로 하여, 합성 이미지를 생성하는 AVM 이미지 생성부를 포함하되,
    상기 AVM 이미지 생성부는, 상기 파노라마 이미지를 3차원 공간의 가상의 원기둥에 매핑하고, 상기 매핑된 파노라마 이미지를 렌더링하여 3차원 AVM 이미지를 생성하고, 상기 3차원 AVM 이미지와 상기 분할 이미지를 합성하여 상기 합성 이미지를 생성하고,
    상기 후사경은 상기 합성 이미지를 디스플레이 하는 차량용 후사경의 분할 뷰 제공 장치.
  2. 제 1항에 있어서,
    상기 분할 이미지는, 상기 차량 모서리 주변에 관한 이미지인 차량용 후사경의 분할 뷰 제공 장치.
  3. 제 2항에 있어서,
    상기 분할 이미지는, 상기 차량 전방 좌우의 모서리 주변에 관한 제1 분할 이미지이거나, 상기 차량 후방 좌우의 모서리 주변에 관한 제2 분할 이미지인 차량용 후사경의 분할 뷰 제공 장치.
  4. 제 1항에 있어서,
    상기 차량의 기어 단수를 연산하는 변속기 제어부를 더 포함하는 차량용 후사경의 분할 뷰 제공 장치.
  5. 제 4항에 있어서,
    상기 분할 이미지는, 상기 차량 전방 좌우의 모서리 주변에 관한 제1 분할 이미지이거나, 상기 차량 후방 좌우의 모서리 주변에 관한 제2 분할 이미지이고,
    상기 AVM 이미지 생성부는, 상기 기어 단수에 따라 상기 제1 또는 제2 분할 이미지를 선택하여, 상기 선택된 제1 또는 제2 분할 이미지를 기초로 하여 상기 합성 이미지를 생성하는 차량용 후사경의 분할 뷰 제공 장치.
  6. 삭제
  7. 차량 주변에 관한 파노라마 이미지를 생성하고,
    상기 파노라마 이미지를 이용하여 분할 이미지를 생성하고,
    상기 파노라마 이미지를 3차원 공간의 가상의 원기둥에 매핑하고,
    상기 매핑된 파노라마 이미지를 렌더링하여 3차원 AVM 이미지를 생성하고,
    상기 3차원 AVM 이미지와 상기 분할 이미지를 합성하여 합성 이미지를 생성하고,
    상기 합성 이미지를 후사경에 디스플레이 하는 차량용 후사경의 분할 뷰 제공 방법.
  8. 제 7항에 있어서,
    상기 분할 이미지를 생성하는 것은, 상기 차량 모서리 주변에 관한 분할 이미지를 생성하는 차량용 후사경의 분할 뷰 제공 방법.
  9. 제 8항에 있어서,
    상기 분할 이미지를 생성하는 것은, 상기 차량 전방 좌우의 모서리 주변에 관한 제1 분할 이미지를 생성하거나, 상기 차량 후방 좌우의 모서리 주변에 관한 제2 분할 이미지를 생성하는 차량용 후사경의 분할 뷰 제공 방법.
  10. 제 9항에 있어서,
    상기 합성 이미지를 생성하는 것은, 상기 3차원 AVM 이미지와 상기 차량의 기어 단수에 따라 선택된 상기 제1 또는 제2 분할 이미지를 합성하여 생성하는 차량용 후사경의 분할 뷰 제공 방법.
KR1020120149766A 2012-12-20 2012-12-20 차량용 후사경의 분할 뷰 제공 장치 및 방법 KR101406212B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120149766A KR101406212B1 (ko) 2012-12-20 2012-12-20 차량용 후사경의 분할 뷰 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120149766A KR101406212B1 (ko) 2012-12-20 2012-12-20 차량용 후사경의 분할 뷰 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101406212B1 true KR101406212B1 (ko) 2014-06-16

Family

ID=51132515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120149766A KR101406212B1 (ko) 2012-12-20 2012-12-20 차량용 후사경의 분할 뷰 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101406212B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200246996Y1 (ko) 2001-06-07 2001-10-22 김민희 차량의 시야 확보용 모니터링장치
JP2001331789A (ja) 2000-05-23 2001-11-30 Sharp Corp 移動体の周囲監視システム
KR100593594B1 (ko) 2005-05-18 2006-06-28 김배훈 파노라마 카메라를 포함하는 차량 주행 보조 장치
KR20070049109A (ko) * 2006-12-04 2007-05-10 실리콘 옵틱스 인코포레이션 파노라마 비전 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331789A (ja) 2000-05-23 2001-11-30 Sharp Corp 移動体の周囲監視システム
KR200246996Y1 (ko) 2001-06-07 2001-10-22 김민희 차량의 시야 확보용 모니터링장치
KR100593594B1 (ko) 2005-05-18 2006-06-28 김배훈 파노라마 카메라를 포함하는 차량 주행 보조 장치
KR20070049109A (ko) * 2006-12-04 2007-05-10 실리콘 옵틱스 인코포레이션 파노라마 비전 시스템 및 방법

Similar Documents

Publication Publication Date Title
US10523865B2 (en) Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US20170232896A1 (en) Vehicle vision system
JP3871614B2 (ja) 運転支援装置
JP3300334B2 (ja) 画像処理装置および監視システム
JP5292874B2 (ja) 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
JP5444338B2 (ja) 車両周囲監視装置
JP3286306B2 (ja) 画像生成装置、画像生成方法
JP4323377B2 (ja) 画像表示装置
WO2000064175A1 (fr) Dispositif de traitement d'images et systeme de surveillance
JP5715778B2 (ja) 車両用画像表示装置
US20170011267A1 (en) Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings
US11087438B2 (en) Merging of partial images to form an image of surroundings of a mode of transport
JP2010251939A (ja) 車両周囲画像表示システム
CN111095921B (zh) 显示控制装置
US11140364B2 (en) Sensor fusion based perceptually enhanced surround view
JP2011030078A (ja) 車両用画像表示装置
KR20130025005A (ko) 차량의 주변 영상 보정 장치 및 방법
JP2012214083A (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2016119526A (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
JP2012039341A (ja) 画像表示システム、画像生成装置、及び、画像表示方法
KR101771657B1 (ko) 차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 내비게이션 장치 및 그 방법
KR101406211B1 (ko) 차량용 avm 영상 제공 장치 및 방법
JP2003346189A (ja) 車両用映像表示装置
JP2008034964A (ja) 画像表示装置
JP2013100057A (ja) 運転支援装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 6