KR20220041467A - 서라운드뷰 생성 시스템 및 방법 - Google Patents

서라운드뷰 생성 시스템 및 방법 Download PDF

Info

Publication number
KR20220041467A
KR20220041467A KR1020200124703A KR20200124703A KR20220041467A KR 20220041467 A KR20220041467 A KR 20220041467A KR 1020200124703 A KR1020200124703 A KR 1020200124703A KR 20200124703 A KR20200124703 A KR 20200124703A KR 20220041467 A KR20220041467 A KR 20220041467A
Authority
KR
South Korea
Prior art keywords
vehicle
mesh
mapped
polygons
image
Prior art date
Application number
KR1020200124703A
Other languages
English (en)
Inventor
윤여민
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200124703A priority Critical patent/KR20220041467A/ko
Publication of KR20220041467A publication Critical patent/KR20220041467A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 카메라; 차량의 주행 상태 또는 서라운드뷰의 출력 모드를 기반으로 메쉬로 매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 메쉬설정부; 메쉬설정부에서 설정한 영상의 범위 또는 폴리곤의 개수를 기반으로 복수의 카메라에서 각각 촬영한 영상을 복수 개의 폴리곤으로 랜더링함으로써 메쉬로 매핑하는 매핑부; 및 매핑부에서 매핑한 영상들을 합성함으로써 서라운드뷰를 생성하는 영상생성부;를 포함하는 서라운드뷰 생성 시스템 및 방법이 소개된다.

Description

서라운드뷰 생성 시스템 및 방법 {SURROUND VIEW GENERATING SYSTEM AND METHOD}
본 발명은 서라운드뷰(SVM: Surround View Monitor) 생성 시스템 및 방법에 관한 것으로, 더 구체적으로는 카메라로 촬영한 복수의 영상을 이용하여 차량의 서라운드뷰를 형성하는 시스템 및 방법에 관한 것이다.
최근 운전자의 편의를 위하여 지능형 자동차의 개발 및 상용화가 진행되고 있다. 특히, 지능형 자동차에는 차량의 주위를 영상을 제공하는 서라운드뷰 모니터(SVM: Surround View Monitor) 시스템 및 차량의 후측방을 영상으로 표시하는 후측방 모니터(BVM, Blind-spot View Monitor) 시스템 등이 포함될 수 있다.
구체적으로, 서라운드뷰 모니터 시스템은 차량의 전, 후, 좌, 우측에 각각 구비된 카메라로 각각 촬영한 영상을 합성한 하나의 영상을 표시해주는 시스템이다.
종래 기술에 따르면, 정점(Vertex)를 모아 만든 메쉬(Mesh)의 최소 단위인 폴리곤(Polygon)을 이용하여 3차원 영상을 표현하였고, 폴리곤마다 색이나 질감을 적용하는 텍스쳐 매핑(Texture Mapping)을 적용하여 2차원 이미지를 3차원 영상으로 매핑하였다.
다만, 폴리곤의 크기를 작게 하면서 많은 개수를 사용할수록 3차원 영상의 화질이 향상되나, 칩의 계산량이 증대됨으로써 발열량이 증가하는 문제가 있다. 반대로, 폴리곤의 크기를 크게 하면서 적은 개수를 사용할수록 화질이 악화되는 문제가 있었다.
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
KR 10-1305316 B
본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로, 차량의 주행 상태 또는 서라운드뷰의 출력 모드에 따라 서라운드뷰 영상을 매핑하는 메쉬의 크기 또는 범위를 조절하는 서라운드뷰 생성 시스템 및 방법을 제공하고자 함이다.
상기의 목적을 달성하기 위한 본 발명에 따른 서라운드뷰 생성 시스템은 차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 카메라; 차량의 주행 상태 또는 서라운드뷰의 출력 모드를 기반으로 메쉬로 매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 메쉬설정부; 메쉬설정부에서 설정한 영상의 범위 또는 폴리곤의 개수를 기반으로 복수의 카메라에서 각각 촬영한 영상을 복수 개의 폴리곤으로 랜더링함으로써 메쉬로 매핑하는 매핑부; 및 매핑부에서 매핑한 영상들을 합성함으로써 서라운드뷰를 생성하는 영상생성부;를 포함한다.
복수의 카메라에는, 차량의 전방을 촬영하는 제1카메라; 차량의 후방을 촬용하는 제2카메라; 차량의 좌측방을 촬영하는 제3카메라; 및 차량의 우측방을 촬영하는 제4카메라;가 포함될 수 있다.
메쉬설정부는, 차량의 주행 속도를 기반으로 메쉬로 매핑할 폴리곤의 개수를 설정할 수 있다.
메쉬설정부는, 차량의 주행 속도가 증가될수록 메쉬로 매핑할 폴리곤의 개수를 감소시킬 수 있다.
메쉬설정부는, 차량의 주행 상태가 후진 모드 또는 주차 모드인 경우에 메쉬로 매핑할 폴리곤의 개수를 증가시킬 수 있다.
메쉬설정부는, 생성한 서라운드뷰의 출력 범위를 기반으로 메쉬로 매핑할 영상의 범위를 설정할 수 있다.
복수의 카메라는, 차량의 일부가 포함되도록 차량 주위의 영상을 촬영하고, 메쉬설정부는, 생성한 서라운드뷰의 출력 범위에 미표시되는 차량의 일부를 메쉬로 매핑할 영상의 범위에서 제외할 수 있다.
영상생성부는, 매핑부에서 매핑한 영상들을 기반으로 차량의 주위를 둘러싸는 반구 형상의 3차원 영상을 생성할 수 있다.
매핑부에서 매핑한 영상 또는 영상생성부에서 생성한 서라운드뷰에 텍스쳐 매핑(Texture Mapping)을 적용하는 텍스쳐적용부;를 더 포함할 수 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 서라운드뷰 생성 방법은 복수의 카메라로 차량 주위의 서로 상이한 영역을 각각 촬영하는 단계; 차량의 주행 상태 또는 서라운드뷰의 출력 모드를 기반으로 메쉬로 매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계; 설정한 영상의 범위 또는 폴리곤의 개수를 기반으로 복수의 카메라에서 각각 촬영한 영상을 복수 개의 폴리곤으로 랜더링함으로써 메쉬로 매핑하는 단계; 및 매핑한 영상들을 합성함으로써 서라운드뷰를 생성하는 단계;를 포함한다.
매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계에서, 차량의 주행 속도를 기반으로 메쉬로 매핑할 폴리곤의 개수를 설정할 수 있다.
매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계에서, 차량의 주행 속도가 증가될수록 메쉬로 매핑할 폴리곤의 개수를 감소시킬 수 있다.
매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계에서, 차량의 주행 상태가 후진 모드 또는 주차 모드인 경우에 메쉬로 매핑할 폴리곤의 개수를 증가시킬 수 있다.
매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계에서, 생성한 서라운드뷰의 출력 범위를 기반으로 메쉬로 매핑할 영상의 범위를 설정할 수 있다.
촬영하는 단계에서, 복수의 카메라는 차량의 일부가 포함되도록 차량 주위의 영상을 촬영하고, 매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계에서, 생성한 서라운드뷰의 출력 범위에 미표시되는 차량의 일부를 메쉬로 매핑할 영상의 범위에서 제외할 수 있다.
본 발명의 서라운드뷰 생성 시스템 및 방법에 따르면, 차량의 주행 속도가 증가되어 서라운드뷰의 화질 향상이 요구되지 않는 경우에는 불필요한 연산량을 감소시키는 효과를 갖는다.
또한, 서라운드뷰의 출력 범위에 표시되지 않는 영역을 메쉬로 매핑할 영상의 범위에서 제외함으로써 연산량을 감소시키는 효과를 갖는다.
도 1은 본 발명의 일 실시예에 따른 서라운드뷰 생성 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 메쉬로 매핑된 서라운드뷰를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 폴리곤의 개수를 감소시킨 메쉬로 매핑된 서라운드뷰를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 서라운드뷰의 출력 범위를 도시한 것이다.
도 5 내지 6은 본 발명의 일 실시예에 따른 메쉬로 매핑할 영상의 범위를 축소시킨 메쉬로 매핑된 서라운드뷰를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 서라운드뷰에 표시된 차량 및 이에 따라 매핑된 서라운드뷰를 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 서라운드뷰 생성 방법의 순서도이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명에 따른 실시 예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 서라운드뷰 생성 시스템의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 메쉬로 매핑된 서라운드뷰를 도시한 것이다.
도 1 내지 2를 참조하면, 본 발명의 일 실시예에 따른 서라운드뷰 생성 시스템은 차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 카메라(10); 차량의 주행 상태 또는 서라운드뷰의 출력 모드를 기반으로 메쉬로 매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 메쉬설정부(20); 메쉬설정부(20)에서 설정한 영상의 범위 또는 폴리곤의 개수를 기반으로 복수의 카메라(10)에서 각각 촬영한 영상을 복수 개의 폴리곤으로 랜더링함으로써 메쉬로 매핑하는 매핑부(30); 및 매핑부(30)에서 매핑한 영상들을 합성함으로써 서라운드뷰를 생성하는 영상생성부(40);를 포함한다.
본 발명의 예시적인 실시예에 따른 메쉬설정부(20), 매핑부(30) 및 영상생성부(40)는 차량의 다양한 구성 요소의 동작을 제어하도록 구성된 알고리즘 또는 상기 알고리즘을 재생하는 소프트웨어 명령어에 관한 데이터를 저장하도록 구성된 비휘발성 메모리(도시되지 않음) 및 해당 메모리에 저장된 데이터를 사용하여 이하에 설명되는 동작을 수행하도록 구성된 프로세서(도시되지 않음)를 통해 구현될 수 있다. 여기서, 메모리 및 프로세서는 개별 칩으로 구현될 수 있다. 대안적으로는, 메모리 및 프로세서는 서로 통합된 단일 칩으로 구현될 수 있다. 프로세서는 하나 이상의 프로세서의 형태를 취할 수 있다.
복수의 카메라(10)는 차량에 탑재되어 차량의 전방, 좌측방, 우측방 및 후방을 각각 촬영할 수 있다. 특히, 복수의 카메라(10)는 차량의 전단, 좌측단, 우측단 및 후단에 각각 위치되면서, 각각 차량의 전방, 좌측방, 우측방 및 후방을 각각 촬영할 수 있다. 서로 인접한 카메라에서 각각 촬영한 영상은 일부가 서로 중첩될 수 있다.
구체적으로, 폴리곤은 메쉬를 이루는 최소 단위로, 모델 표현 및 렌더링이 용이하도록 삼각형 또는 사변형이 주로 이용된다. 메쉬는 3차원 객체를 표현하기 위해 폴리곤들로 구성된 것으로, 폴리곤 메쉬라고도 한다.
매핑부(30)는 복수의 카메라(10)에서 각각 촬영한 복수 개의 영상을 각각 복수 개의 폴리곤으로 랜더링하고, 이에 따라 카메라로 촬영한 영상을 메쉬로 매핑할 수 있다. 즉, 2차원으로 촬영된 이미지를 3차원 모델로 매핑할 수 있다.
메쉬로 매핑할 폴리곤의 개수는 사용되는 하드웨어의 사양에 따라 상이하게 적용될 수 있다. 폴리곤의 개수가 증가됨에 따라 부드럽고 향상된 화질을 구현할 수 있으나, 계산량이 많아짐에 따라 발열이 크게 발생하는 문제가 있기 때문이다.
영상생성부(40)는 매핑부(30)에서 매핑한 영상들을 합성함으로써 서라운드뷰를 생성할 수 있다. 구체적으로, 복수의 카메라(10)로 각각 촬영한 영상을 메쉬로 매핑한 이후, 매핑한 복수의 영상을 합성함으로써 서라운드뷰를 생성할 수 있다.
영상생성부(40)는 복수의 카메라(10)에서 각각 촬영한 영상들을 생성하여 서라운드뷰를 생성할 수 있다. 특히, 복수의 카메라(10)에서 촬영한 영상들의 일부는 서로 중첩될 수 있고, 영상생성부(40)는 중첩된 영역에서 합성 경계에 따라 영상을 합성할 수 있다.
특히, 영상생성부(40)는 촬영한 영상들을 합성하여 바닥면 및 벽면으로 구성된 3차원 영상을 생성할 수 있다. 영상생성부(40)에서 생성한 3차원 영상은 디스플레이 장치(60)에 표시될 수 있다.
구체적으로, 3차원 영상의 바닥면은 차량이 접지된 지면과 나란한 방향으로 연장된 평면일 수 있고, 벽면은 지면과 교차되는 방향으로 연장된 평면으로 지면에서 상방으로 연장될 수 있다. 구체적으로, 바닥면은 차량에서 인접한 주위 영역을 표시하고, 벽면은 바닥면을 외측에서 둘러싸는 영역을 표시할 수 있다.
메쉬설정부(20)는 차량의 주행 상태 또는 서라운드뷰의 출력 모드를 기반으로 메쉬로 매핑할 영상의 범위 또는 폴리곤의 개수를 설정할 수 있다.
즉, 메쉬설정부(20)는 차량의 디스플레이 장치(60)로 표시되는 서라운드뷰의 출력 모드 또는 차량의 주행 상태에 의해 표시되는 매핑부(30)에서 메쉬로 매핑할 영상의 범위 또는 폴리곤의 개수를 설정할 수 있다.
따라서, 매핑부(30)가 불필요한 영상의 범위를 메쉬로 매핑하거나, 또는 불필요하게 많은 폴리곤을 갖는 메쉬로 매핑하지 않도록 방지함으로써 계산량을 축소시키고, 이에 따라 발열량을 크게 감소시키는 효과를 갖는다.
구체적으로, 복수의 카메라(10)에는, 차량의 전방을 촬영하는 제1카메라(11); 차량의 후방을 촬용하는 제2카메라(12); 차량의 좌측방을 촬영하는 제3카메라(13); 및 차량의 우측방을 촬영하는 제4카메라(14);가 포함될 수 있다.
제1카메라(11)는 차량의 전면에 위치되고, 제2카메라(12)는 차량의 후면에 위치되며, 제3카메라(13)는 차량의 좌측면에 위치되고, 제4카메라(14)는 차량의 우측면에 위치될 수 있다.
영상생성부(40)는, 바닥면을 외측에서 둘러싸는 반구 형상으로 3차원 영상의 벽면을 생성할 수 있다.
구체적으로, 영상생성부(40)는 반구 또는 밥그릇 형상인 3차원의 영상을 생성할 수 있다. 특히, 바닥면은 지면과 나란한 평면일 수 있고, 벽면은 바닥면의 외측 단부와 연결되면서 반구 형상을 갖도록 연장될 수 있다.
또한, 매핑부(30)에서 매핑한 영상 또는 영상생성부(40)에서 생성한 서라운드뷰에 텍스쳐 매핑(Texture Mapping)을 적용하는 텍스쳐적용부(50);를 더 포함할 수 있다.
텍스쳐적용부(50)는 메쉬로 매핑된 서라운드뷰에 텍스쳐를 적용하는 것으로, 2차원 이미지를 3차원 모델 좌표에 매핑할 수 있다. 특히, 텍스쳐적용부(50)는 메쉬로 매핑된 각각의 폴리곤에 3차원 물체의 색이나 질감을 적용할 수 있다.
도 3은 본 발명의 일 실시예에 따른 폴리곤의 개수를 감소시킨 메쉬로 매핑된 서라운드뷰를 도시한 것이다.
메쉬설정부(20)는, 차량의 주행 속도를 기반으로 메쉬로 매핑할 폴리곤의 개수를 설정할 수 있다.
차량의 주행 속도가 증가될수록 디스플레이 장치(60)에 출력되는 서라운드뷰 영상은 배경들이 빠르게 지나가면서 흐릿하게 표시된다. 이러한 경우, 운전자는 서라운드뷰 영상의 배경에 대한 화질에 둔감해지므로, 서라운드뷰 영상의 화질을 증가시킬 필요가 없다.
이에 대비하여, 차량의 주행 속도가 느리면 운전자는 서라운드뷰 영상의 배경에 대한 화질에 민감할 수 있다. 서라운드뷰 영상에서 서서히 지나가는 배경에 대한 화질의 향상이 필요하다.
메쉬설정부(20)는, 차량의 주행 속도가 증가될수록 메쉬로 매핑할 폴리곤의 개수를 감소시킬 수 있다. 반대로, 메쉬설정부(20)는 차량의 주행 속도가 감소될수록 메쉬로 매핑할 폴리곤의 개수를 증가시킬 수 있다.
즉, 메쉬설정부(20)는 차량의 주행 속도를 입력받고, 입력 받은 차량의 주행 속도를 기반으로 폴리곤의 개수를 감소시키거나 증가시킬 수 있다.
일 실시예로, 메쉬설정부(20)는 차량의 주행 속도가 기설정된 속도 미만이면 폴리곤의 개수를 도 2에 도시한 것과 같이 기설정된 제1개수로 설정하고, 주행 속도가 기설정된 속도 이상이면 폴리곤의 개수를 도 3에 도시한 것과 같이 기설정된 제1개수보다 작은 제2개수로 설정할 수 있다.
또한 메쉬설정부(20)는, 차량의 주행 상태가 후진 모드 또는 주차 모드인 경우에 메쉬로 매핑할 폴리곤의 개수를 증가시킬 수 있다.
구체적으로, 메쉬설정부(20)는 차량의 변속단을 입력 받거나, 차량의 GPS 위치 또는 차량의 주행 속도를 입력 받아, 차량의 주행 상태가 후진 모드 또는 주차 모드인지 여부를 판단할 수 있다.
특히, 메쉬설정부(20)는 차량의 변속단이 R단인 경우 차량의 주행 상태가 후진 모드인 것으로 판단하거나, 차량의 위치가 주차장 또는 주차공간인 경우이거나 또는 차량의 주행 속도가 기설정된 속도 미만인 경우에 주차 모드인 것으로 판단할 수 있다.
메쉬설정부(20)는 차량의 주행 상태가 후진 모드 또는 주차 모드인 경우, 서라운드뷰 영상의 화질을 향상할 필요가 있으므로, 메쉬로 매핑할 폴리곤의 개수를 증가시킬 수 있다.
이에 따라, 차량의 주행 속도가 증가되어 서라운드뷰의 화질 향상이 요구되지 않는 경우에는 불필요한 연산량을 감소시키는 효과를 갖는다.
도 4는 본 발명의 일 실시예에 따른 서라운드뷰의 출력 범위를 도시한 것이고, 도 5 내지 6은 본 발명의 일 실시예에 따른 메쉬로 매핑할 영상의 범위를 축소시킨 메쉬로 매핑된 서라운드뷰를 도시한 것이다.
도 4 내지 6을 더 참조하면, 메쉬설정부(20)는, 생성한 서라운드뷰의 출력 범위를 기반으로 메쉬로 매핑할 영상의 범위를 설정할 수 있다.
영상생성부(40)는 생성한 서라운드뷰의 출력 모드를 다양하게 포함할 수 있다.
일 실시예로, 영상생성부(40)는 생성한 서라운뷰의 일부만을 출력하는 출력 모드로 디스플레이 장치(60)에 서라운드뷰를 출력할 수 있다.
영상생성부(40)는 디스플레이 장치(60)에 전체 서라운드뷰가 아닌 서라운드뷰의 일부만을 출력할 수 있다. 특히 도 4에 도시한 것과 같이, 영상생성부(40)는 차량의 좌측방만을 확대하여 출력하는 좌측방뷰를 출력할 수 있다.
이러한 출력 모드에서는, 차량의 우측방 영상 및 전방 영상은 디스플레이 장치(60)에 출력되지 않을 수 있다. 이에 따라, 메쉬설정부(20)는 차량의 후방 영상 및 좌측방 영상만을 메쉬로 매핑하고, 차량의 우측방 영상 및 전방 영상은 메쉬로 매핑하는 범위에서 제외시킬 수 있다.
따라서, 카메라에서 촬영한 차량의 우측방 영상 및 전방 영상에 대하여 복수 개의 폴리곤으로 랜더링에 의한 메쉬로 매핑을 수행하지 않음으로써 매핑부(30)의 연산량을 감소시킬 수 있다.
도 7은 본 발명의 일 실시예에 따른 서라운드뷰에 표시된 차량 및 이에 따라 매핑된 서라운드뷰를 도시한 것이다.
도 7을 더 참조하면, 복수의 카메라(10)는, 차량의 일부가 포함되도록 차량 주위의 영상을 촬영하고, 메쉬설정부(20)는, 생성한 서라운드뷰의 출력 범위에 미표시되는 차량의 일부를 메쉬로 매핑할 영상의 범위에서 제외할 수 있다.
복수의 카메라(10)는 차량에 장착되어 차량의 주위를 촬영할 수 있다. 복수의 카메라(10)는 차량의 일부가 촬영하는 영상에 포함되도록 차량의 주위를 촬영할 수 있다. 특히, 차량의 범퍼, 램프, 사이드미러, 도어 등의 차체가 카메라에 의해 촬영될 수 있다.
메쉬설정부(20)는, 카메라에서 촬영한 영상을 기반으로 생성한 서라운드뷰의 출력 범위에 표시되지 않는 차량의 일부를 메쉬로 매핑할 영상의 범위에서 제외할 수 있다.
구체적으로, 메쉬설정부(20)는 서라운드뷰로 출력되지 않아 불필요한 차량의 부품들에 대한 폴리곤 및 메쉬를 제거할 수 있다. 특히, 영상생성부(40)가 도 4에 도시한 것과 같은 차량의 좌측방뷰를 출력하는 경우, 도 6에 도시한 것과 같이 차량의 일부 부품을 제거할 수 있다.
구체적으로, 메쉬설정부(20)는 차량의 우측 휠, 우측 사이드미러 및 우측 헤드램프 및 테일램프에 대한 폴리곤 및 메쉬를 제거할 수 있다.
다만, 메쉬설정부(20)는 투명한 창문을 통해 비추어지는 좌측방의 영상에 대한 폴리곤 및 메쉬는 제거하지 않고 매핑할 수 있다.
이에 따라, 서라운드뷰의 출력 범위에 표시되지 않는 영역을 메쉬로 매핑할 영상의 범위에서 제외함으로써 매핑부(30)의 연산량을 감소시키는 효과를 갖는다.
도 8은 본 발명의 일 실시예에 따른 서라운드뷰 생성 방법의 순서도이다.
도 8을 더 참조하면, 본 발명의 일 실시예에 따른 서라운드뷰 생성 방법은 복수의 카메라(10)로 차량 주위의 서로 상이한 영역을 각각 촬영하는 단계(S100); 차량의 주행 상태 또는 서라운드뷰의 출력 모드를 기반으로 메쉬로 매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계(S200,S300); 설정한 영상의 범위 또는 폴리곤의 개수를 기반으로 복수의 카메라(10)에서 각각 촬영한 영상을 복수 개의 폴리곤으로 랜더링함으로써 메쉬로 매핑하는 단계(S4100); 및 매핑한 영상들을 합성함으로써 서라운드뷰를 생성하는 단계(S500);를 포함한다.
매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계(S200,S300)에서, 차량의 주행 속도를 기반으로 메쉬로 매핑할 폴리곤의 개수를 설정할 수 있다(S300).
매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계(S200,S300)에서, 차량의 주행 속도가 증가될수록 메쉬로 매핑할 폴리곤의 개수를 감소시킬 수 있다.
매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계(S200,S300)에서, 차량의 주행 상태가 후진 모드 또는 주차 모드인 경우에 메쉬로 매핑할 폴리곤의 개수를 증가시킬 수 있다.
매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계(S200,S300)에서, 생성한 서라운드뷰의 출력 범위를 기반으로 메쉬로 매핑할 영상의 범위를 설정할 수 있다(S200).
촬영하는 단계(S100)에서, 복수의 카메라(10)는 차량의 일부가 포함되도록 차량 주위의 영상을 촬영하고, 매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계(S200,S300)에서, 생성한 서라운드뷰의 출력 범위에 미표시되는 차량의 일부를 메쉬로 매핑할 영상의 범위에서 제외할 수 있다.
본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.
10 : 복수의 카메라 20 : 메쉬설정부
30 : 매핑부 40 : 영상생성부
50 : 텍스쳐적용부 60 : 디스플레이 장치

Claims (15)

  1. 차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 카메라;
    차량의 주행 상태 또는 서라운드뷰의 출력 모드를 기반으로 메쉬로 매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 메쉬설정부;
    메쉬설정부에서 설정한 영상의 범위 또는 폴리곤의 개수를 기반으로 복수의 카메라에서 각각 촬영한 영상을 복수 개의 폴리곤으로 랜더링함으로써 메쉬로 매핑하는 매핑부; 및
    매핑부에서 매핑한 영상들을 합성함으로써 서라운드뷰를 생성하는 영상생성부;를 포함하는 서라운드뷰 생성 시스템.
  2. 청구항 1에 있어서,
    복수의 카메라에는, 차량의 전방을 촬영하는 제1카메라; 차량의 후방을 촬용하는 제2카메라; 차량의 좌측방을 촬영하는 제3카메라; 및 차량의 우측방을 촬영하는 제4카메라;가 포함된 것을 특징으로 하는 서라운드뷰 생성 시스템.
  3. 청구항 1에 있어서,
    메쉬설정부는, 차량의 주행 속도를 기반으로 메쉬로 매핑할 폴리곤의 개수를 설정하는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  4. 청구항 3에 있어서,
    메쉬설정부는, 차량의 주행 속도가 증가될수록 메쉬로 매핑할 폴리곤의 개수를 감소시키는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  5. 청구항 1에 있어서,
    메쉬설정부는, 차량의 주행 상태가 후진 모드 또는 주차 모드인 경우에 메쉬로 매핑할 폴리곤의 개수를 증가시키는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  6. 청구항 1에 있어서,
    메쉬설정부는, 생성한 서라운드뷰의 출력 범위를 기반으로 메쉬로 매핑할 영상의 범위를 설정하는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  7. 청구항 6에 있어서,
    복수의 카메라는, 차량의 일부가 포함되도록 차량 주위의 영상을 촬영하고,
    메쉬설정부는, 생성한 서라운드뷰의 출력 범위에 미표시되는 차량의 일부를 메쉬로 매핑할 영상의 범위에서 제외하는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  8. 청구항 1에 있어서,
    영상생성부는, 매핑부에서 매핑한 영상들을 기반으로 차량의 주위를 둘러싸는 반구 형상의 3차원 영상을 생성하는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  9. 청구항 1에 있어서,
    매핑부에서 매핑한 영상 또는 영상생성부에서 생성한 서라운드뷰에 텍스쳐 매핑(Texture Mapping)을 적용하는 텍스쳐적용부;를 더 포함하는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  10. 복수의 카메라로 차량 주위의 서로 상이한 영역을 각각 촬영하는 단계;
    차량의 주행 상태 또는 서라운드뷰의 출력 모드를 기반으로 메쉬로 매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계;
    설정한 영상의 범위 또는 폴리곤의 개수를 기반으로 복수의 카메라에서 각각 촬영한 영상을 복수 개의 폴리곤으로 랜더링함으로써 메쉬로 매핑하는 단계; 및
    매핑한 영상들을 합성함으로써 서라운드뷰를 생성하는 단계;를 포함하는 서라운드뷰 생성 방법.
  11. 청구항 10에 있어서,
    매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계에서, 차량의 주행 속도를 기반으로 메쉬로 매핑할 폴리곤의 개수를 설정하는 것을 특징으로 하는 서라운드뷰 생성 방법.
  12. 청구항 11에 있어서,
    매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계에서, 차량의 주행 속도가 증가될수록 메쉬로 매핑할 폴리곤의 개수를 감소시키는 것을 특징으로 하는
  13. 청구항 10에 있어서,
    매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계에서, 차량의 주행 상태가 후진 모드 또는 주차 모드인 경우에 메쉬로 매핑할 폴리곤의 개수를 증가시키는 것을 특징으로 하는 서라운드뷰 생성 방법.
  14. 청구항 10에 있어서,
    매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계에서, 생성한 서라운드뷰의 출력 범위를 기반으로 메쉬로 매핑할 영상의 범위를 설정하는 것을 특징으로 하는 서라운드뷰 생성 방법.
  15. 청구항 14에 있어서,
    촬영하는 단계에서, 복수의 카메라는 차량의 일부가 포함되도록 차량 주위의 영상을 촬영하고,
    매핑할 영상의 범위 또는 폴리곤의 개수를 설정하는 단계에서, 생성한 서라운드뷰의 출력 범위에 미표시되는 차량의 일부를 메쉬로 매핑할 영상의 범위에서 제외하는 것을 특징으로 하는 서라운드뷰 생성 방법.
KR1020200124703A 2020-09-25 2020-09-25 서라운드뷰 생성 시스템 및 방법 KR20220041467A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200124703A KR20220041467A (ko) 2020-09-25 2020-09-25 서라운드뷰 생성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200124703A KR20220041467A (ko) 2020-09-25 2020-09-25 서라운드뷰 생성 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20220041467A true KR20220041467A (ko) 2022-04-01

Family

ID=81183402

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200124703A KR20220041467A (ko) 2020-09-25 2020-09-25 서라운드뷰 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20220041467A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101305316B1 (ko) 2011-12-08 2013-09-06 아진산업(주) 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101305316B1 (ko) 2011-12-08 2013-09-06 아진산업(주) 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법

Similar Documents

Publication Publication Date Title
JP5369465B2 (ja) 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
JP6860348B2 (ja) 車両の車両周辺部の歪無い表示のための方法、並びに、装置
US5995111A (en) Image processing apparatus and method
US10535180B2 (en) Method and system for efficient rendering of cloud weather effect graphics in three-dimensional maps
JP4541786B2 (ja) ぼかしを発生させる方法およびぼかし発生装置
JP2004021307A (ja) 運転支援装置
JP6255928B2 (ja) 俯瞰画像生成装置
US11528453B2 (en) Sensor fusion based perceptually enhanced surround view
WO2020136929A1 (ja) 画像処理装置及び画像処理方法
CN112703527A (zh) 平视显示器（hud）内容控制系统和方法
JP3352982B2 (ja) レンダリング方法及び装置、ゲーム装置、並びに立体モデルをレンダリングするプログラムを格納するコンピュータ読み取り可能な記録媒体
US7808512B1 (en) Bounding region accumulation for graphics rendering
JP5861871B2 (ja) 俯瞰画像提示装置
JP5338374B2 (ja) 車両用表示装置及び車両用表示方法
KR20220041467A (ko) 서라운드뷰 생성 시스템 및 방법
JP7190574B2 (ja) 命令リストの生成
JP2003233836A (ja) モデリング時の距離成分を用いてレンダリング陰影処理を行う画像処理装置とその方法
US20210225060A1 (en) Hybrid binning
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
KR20220063844A (ko) 서라운드뷰 생성 시스템 및 방법
US11858420B2 (en) Below vehicle rendering for surround view systems
JP2020162089A (ja) 画像生成装置および画像生成方法
JP2014059723A (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US20240104685A1 (en) Device and method of implementing subpass interleaving of tiled image rendering
JP4419480B2 (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
A201 Request for examination