KR20220063844A - 서라운드뷰 생성 시스템 및 방법 - Google Patents

서라운드뷰 생성 시스템 및 방법 Download PDF

Info

Publication number
KR20220063844A
KR20220063844A KR1020200149412A KR20200149412A KR20220063844A KR 20220063844 A KR20220063844 A KR 20220063844A KR 1020200149412 A KR1020200149412 A KR 1020200149412A KR 20200149412 A KR20200149412 A KR 20200149412A KR 20220063844 A KR20220063844 A KR 20220063844A
Authority
KR
South Korea
Prior art keywords
image
floor
floor surface
vehicle
plane parallel
Prior art date
Application number
KR1020200149412A
Other languages
English (en)
Inventor
윤여민
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200149412A priority Critical patent/KR20220063844A/ko
Publication of KR20220063844A publication Critical patent/KR20220063844A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60K35/211—
    • B60K35/22—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/20—Optical features of instruments
    • B60K2370/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle

Abstract

차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 카메라; 및 복수의 카메라에서 촬영한 영상을 기반으로 지면과 나란한 방향으로 연장된 바닥면 및 지면과 교차되는 방향으로 연장된 벽면으로 구성된 3차원 영상을 생성하되, 생성한 3차원 영상에서 복수의 카메라로 촬영한 영상 중 일부는 바닥면 또는 바닥면과 나란한 평면으로 표시하는 영상생성부;를 포함하는 서라운드뷰 생성 시스템 및 방법이 소개된다.

Description

서라운드뷰 생성 시스템 및 방법 {SURROUND VIEW GENERATING SYSTEM AND METHOD}
본 발명은 서라운드뷰(SVM: Surround View Monitor) 생성 시스템 및 방법에 관한 것으로, 더 구체적으로는 카메라로 촬영한 복수의 영상을 이용하여 차량의 서라운드뷰를 생성하는 시스템 및 방법에 관한 것이다.
최근 운전자의 편의를 위하여 지능형 자동차의 개발 및 상용화가 진행되고 있다. 특히, 지능형 자동차에는 차량의 주위를 영상을 제공하는 서라운드뷰 모니터(SVM: Surround View Monitor) 시스템 및 차량의 후측방을 영상으로 표시하는 후측방 모니터(BVM, Blind-spot View Monitor) 시스템 등이 포함될 수 있다.
구체적으로, 서라운드뷰 모니터 시스템은 차량의 전, 후, 좌, 우측에 각각 구비된 카메라로 각각 촬영한 영상을 합성한 하나의 영상을 표시해주는 시스템이다.
특히, 서라운드뷰 모니터 시스템은 전, 후, 좌, 우측의 카메라를 통해 각각 취득한 영상을 합성한 합성 영상을 제공하면서, 차량의 조향각에 따른 예상 경로를 합성 영상에 표시하는 주차 가이드 라인을 표시한다.
다만, 바닥면과 차량 주위의 벽면을 입체적으로 동시에 표시하는 3차원 서라운드뷰는 바닥면과 벽면 사이의 경계가 왜곡되어 주차 가이드 라인을 표시하기 어려운 문제가 있었다. 또한, 3차원 서라운드뷰은 벽면에 의해 평면 방향의 범위가 제한됨으로써 주차 가이드 라인을 표시할 영역이 부족하였고, 시점을 변환함에 따른 영상 왜곡의 문제가 있었다.
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
KR 10-1729486 B1
본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로, 확장된 영역에 차량의 주차 가이드 라인을 표시할 수 있는 3차원 서라운드뷰를 형성하는 서라운드뷰 생성 시스템 및 방법을 제공하고자 함이다.
상기의 목적을 달성하기 위한 본 발명에 따른 서라운드뷰 생성 시스템은 차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 카메라; 및 복수의 카메라에서 촬영한 영상을 기반으로 지면과 나란한 방향으로 연장된 바닥면 및 지면과 교차되는 방향으로 연장된 벽면으로 구성된 3차원 영상을 생성하되, 생성한 3차원 영상에서 복수의 카메라로 촬영한 영상 중 일부는 바닥면 또는 바닥면과 나란한 평면으로 표시하는 영상생성부;를 포함한다.
복수의 카메라에는, 차량의 전방을 촬영하는 제1카메라; 차량의 후방을 촬용하는 제2카메라; 차량의 좌측방을 촬영하는 제3카메라; 및 차량의 우측방을 촬영하는 제4카메라;가 포함될 수 있다.
영상생성부는, 바닥면을 외측에서 둘러싸는 반구 형상으로 3차원 영상의 벽면을 생성할 수 있다.
영상생성부는, 복수의 카메라에서 촬영한 영상 중 차량의 후방을 촬영한 후방 영상을 바닥면 또는 바닥면과 나란한 평면으로 표시할 수 있다.
영상생성부는, 후방 영상의 벽면에 대하여 바닥면에 수직한 좌표축의 좌표값을 변경함으로써 바닥면 또는 바닥면과 나란한 평면에 부채꼴 형상으로 표시할 수 있다.
영상생성부는, 후방 영상의 벽면에 대하여 바닥면 또는 바닥면과 나란한 평면으로 좌표변환함으로써 사각형 형상으로 표시할 수 있다.
영상생성부에서 생성한 3차원 영상 중 바닥면 또는 바닥면과 나란한 평면으로 표시한 영상에 차량의 예상되는 이동 경로를 표시하는 경로표시부;를 더 포함할 수 있다.
경로표시부는 차량의 조향각을 입력받고, 입력 받은 조향각을 기반으로 복수의 카메라에서 촬영한 영상 중 차량의 후방을 촬영한 후방 영상에 차량의 예상되는 이동 경로를 표시할 수 있다.
영상생성부에서 생성한 3차원 영상의 시점을 바닥면 또는 바닥면과 나란한 평면으로 표시할 영상을 촬영하는 방향과 나란한 방향으로 설정하는 시점설정부;를 더 포함하고, 영상생성부는 시점설정부에서 설정한 3차원 영상의 시점을 기반으로 3차원 영상을 생성할 수 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 서라운드뷰 생성 방법은 복수의 카메라에서 차량 주위의 서로 상이한 영역을 각각 촬영하는 단계; 촬영한 영상을 기반으로 지면과 나란한 방향으로 연장된 바닥면 및 지면과 교차되는 방향으로 연장된 벽면으로 구성된 3차원 영상을 생성하는 단계; 및 생성한 3차원 영상에서 촬영한 영상 중 일부는 바닥면 또는 바닥면과 나란한 평면으로 표시하는 단계;를 포함한다.
3차원 영상을 생성하는 단계에서는, 바닥면을 외측에서 둘러싸는 반구 형상으로 3차원 영상의 벽면을 생성할 수 있다.
바닥면 또는 바닥면과 나란한 평면으로 표시하는 단계에서는, 복수의 카메라에서 촬영한 영상 중 차량의 후방을 촬영한 후방 영상을 바닥면 또는 바닥면과 나란한 평면으로 표시하며, 후방 영상의 벽면에 대하여 바닥면에 수직한 좌표축의 좌표값을 변경함으로써 바닥면 또는 바닥면과 나란한 평면에 부채꼴 형상으로 표시할 수 있다.
바닥면 또는 바닥면과 나란한 평면으로 표시하는 단계에서는, 복수의 카메라에서 촬영한 영상 중 차량의 후방을 촬영한 후방 영상을 바닥면 또는 바닥면과 나란한 평면으로 표시하며, 후방 영상의 벽면에 대하여 바닥면 또는 바닥면과 나란한 평면으로 좌표변환함으로써 사각형 형상으로 표시할 수 있다.
바닥면 또는 바닥면과 나란한 평면으로 표시하는 단계 이후에, 생성한 3차원 영상 중 바닥면 또는 바닥면과 나란한 평면으로 표시한 영상에 차량의 예상되는 이동 경로를 표시하는 단계;를 더 포함할 수 있다.
3차원 영상을 생성하는 단계 이전에, 3차원 영상의 시점을 바닥면 또는 바닥면과 나란한 평면으로 표시할 영상을 촬영하는 방향과 나란한 방향으로 설정하는 단계;를 더 포함할 수 있다.
본 발명의 서라운드뷰 생성 시스템 및 방법에 따르면, 3차원 영상 중의 일부를 바닥면 또는 바닥면과 나란한 평면으로 표시함으로써 사용자에게 필요한 더 넓은 영상 범위를 제공할 수 있는 효과를 갖는다.
특히, 후방 영상을 사각형 형상으로 바닥면에 넓게 표시할 수 있어 운전자의 후방 영상에 대한 가시성이 향상되는 효과를 갖는다.
도 1은 본 발명의 일 실시예에 따른 서라운드뷰 생성 시스템의 구성도를 도시한 것이다.
도 2 내지 4는 본 발명의 일 실시예에 따른 3차원 영상 모델을 도시한 것이다.
도 5 내지 6은 본 발명의 일 실시예에 따른 서라운드뷰 생성 시스템의 3차원 영상을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 서라운드뷰 생성 시스템의 시점에 따른 3차원 영상을 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 서라운드뷰 생성 방법의 순서도이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명에 따른 실시 예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 서라운드뷰 생성 시스템의 구성도를 도시한 것이고, 도 2 내지 4는 본 발명의 일 실시예에 따른 3차원 영상 모델을 도시한 것이다.
도 1 내지 4를 참조하면, 본 발명의 일 실시예에 따른 서라운드뷰 생성 시스템은 차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 카메라(10); 및 복수의 카메라(10)에서 촬영한 영상을 기반으로 지면과 나란한 방향으로 연장된 바닥면(F) 및 지면과 교차되는 방향으로 연장된 벽면(W)으로 구성된 3차원 영상을 생성하되, 생성한 3차원 영상에서 복수의 카메라(10)로 촬영한 영상 중 일부는 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시하는 영상생성부(20);를 포함한다.
본 발명의 예시적인 실시예에 따른 영상생성부(20), 경로표시부(30) 및 시점설정부(40)는 차량의 다양한 구성 요소의 동작을 제어하도록 구성된 알고리즘 또는 상기 알고리즘을 재생하는 소프트웨어 명령어에 관한 데이터를 저장하도록 구성된 비휘발성 메모리(도시되지 않음) 및 해당 메모리에 저장된 데이터를 사용하여 이하에 설명되는 동작을 수행하도록 구성된 프로세서(도시되지 않음)를 통해 구현될 수 있다. 여기서, 메모리 및 프로세서는 개별 칩으로 구현될 수 있다. 대안적으로는, 메모리 및 프로세서는 서로 통합된 단일 칩으로 구현될 수 있다. 프로세서는 하나 이상의 프로세서의 형태를 취할 수 있다.
복수의 카메라(10)는 차량에 탑재되어 차량의 전방(V1), 좌측방(V2), 우측방(V3) 및 후방(V4)을 각각 촬영할 수 있다. 특히, 복수의 카메라(10)는 차량의 전단, 좌측단, 우측단 및 후단에 각각 위치되면서, 각각 차량의 전방(V1), 좌측방(V2), 우측방(V3) 및 후방(V4)을 각각 촬영할 수 있다. 서로 인접한 카메라에서 각각 촬영한 영상은 일부가 서로 중첩될 수 있다.
영상생성부(20)는 복수의 카메라(10)에서 각각 촬영한 영상들을 생성하여 서라운드뷰를 생성할 수 있다. 특히, 복수의 카메라(10)에서 촬영한 영상들의 일부는 서로 중첩될 수 있고, 영상생성부(20)는 중첩된 영역에서 합성 경계에 따라 영상을 합성할 수 있다.
특히, 영상생성부(20)는 촬영한 영상(V1,V2,V3,V4)들을 합성하여 바닥면(F) 및 벽면(W)으로 구성된 3차원 영상을 생성할 수 있다. 영상생성부(20)에서 생성한 3차원 영상 및 후술하는 경로표시부(30)에서 표시한 이동 경로(L)는 디스플레이 장치(50)에 표시될 수 있다.
3차원 영상의 바닥면(F)은 차량이 접지된 지면과 나란한 방향으로 연장된 평면일 수 있고, 벽면(W)은 지면과 교차되는 방향으로 연장된 평면으로 지면에서 상방으로 연장될 수 있다. 구체적으로, 바닥면(F)은 차량에서 인접한 주위 영역을 표시하고, 벽면(W)은 바닥면(F)을 외측에서 둘러싸는 영역을 표시할 수 있다.
즉, 영상생성부(20)는 도 3 내지 4에 각각 도시한 것과 같이 복수의 카메라(10)에서 각각 촬영한 영상(V1,V2,V3,V4)들을 합성하여 평면 및 벽면(W)으로 형성된 3차원 영상을 형성할 수 있다.
특히, 영상생성부(20)는 복수 개의 카메라에서 촬영한 영상을 합성한 3차원 영상에서 일부 영상을 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시할 수 있다. 구체적으로, 3차원 영상 중에서 바닥면(F)과 교차되는 방향으로 연장된 벽면(W) 영상의 일부를 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시할 수 있다.
이에 따라, 3차원 영상 중의 일부가 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시되어 차량의 주위 영역을 3차원으로 표현함에 따라 가려지는 부분을 평면으로 표시하여 상대적으로 넓은 영역을 서라운드뷰로 표시할 수 있다.
더 구체적으로, 종래에 3차원 영상으로 표시된 서라운드뷰는 도 2에 도시한 것과 같이, 3차원 영상의 시점에 따른 후방 영상(V4)의 벽면(W)을 표시할 수 없었다. 이는, 3차원 영상의 시점에 따른 전방 영상과 중첩되어 표시해야할 영역을 표시할 수 없었기 때문이다.
이러한 종래의 3차원 서라운드뷰의 문제를 해결하기 위하여, 3차원 영상 중의 일부를 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시함으로써 사용자에게 필요한 더 넓은 영상 범위를 제공할 수 있는 효과를 갖는다.
구체적으로, 복수의 카메라(10)에는, 차량의 전방을 촬영하는 제1카메라(11); 차량의 후방을 촬용하는 제2카메라(12); 차량의 좌측방을 촬영하는 제3카메라(13); 및 차량의 우측방을 촬영하는 제4카메라(14);가 포함될 수 있다.
제1카메라(11)는 차량의 전면에 위치되고, 제2카메라(12)는 차량의 후면에 위치되며, 제3카메라(13)는 차량의 좌측면에 위치되고, 제4카메라(14)는 차량의 우측면에 위치될 수 있다.
영상생성부(20)는, 바닥면(F)을 외측에서 둘러싸는 반구 형상으로 3차원 영상의 벽면(W)을 생성할 수 있다.
구체적으로, 영상생성부(20)는 반구 또는 밥그릇 형상인 3차원의 영상을 생성할 수 있다. 특히, 바닥면(F)은 지면과 나란한 평면일 수 있고, 벽면(W)은 바닥면(F)의 외측 단부와 연결되면서 반구 형상을 갖도록 연장될 수 있다.
도 5 내지 6은 본 발명의 일 실시예에 따른 서라운드뷰 생성 시스템의 3차원 영상을 도시한 것이다.
도 5 내지 6을 더 참조하면, 영상생성부(20)는, 복수의 카메라(10)에서 촬영한 영상 중 차량의 후방을 촬영한 후방 영상(V4)을 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시할 수 있다.
영상생성부(20)는 서라운드뷰에서 운전자의 주의가 가장 요구되는 영역인 차량의 후방 영상(V4)이 바닥면(F)과 벽면(W) 사이의 경계에 의해 왜곡되거나, 중첩을 방지하기 위해 미출력되는 문제를 방지하기 위하여 후방 영상(V4)을 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시할 수 있다.
즉, 영상생성부(20)가 생성한 3차원 영상에서 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시한 복수의 카메라(10)로 촬영한 영상 중 일부는 차량의 후방 영상(V4)일 수 있다. 후방 영상(V4)은 차량의 후방을 촬영하는 제2카메라(12)에서 촬영한 영상일 수 있다.
추가로, 영상생성부(20)는 차량의 후진이 예상되는 상황, 예를 들면 차량의 변속단이 R단인 경우 등에 차량의 후방을 촬영한 후방 영상(V4)을 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시할 수 있다.
일 실시예로, 영상생성부(20)는, 후방 영상(V4)의 벽면(W)에 대하여 바닥면(F)에 수직한 좌표축의 좌표값을 변경함으로써 바닥면(F) 또는 바닥면(F)과 나란한 평면에 부채꼴 형상으로 표시할 수 있다.
도 5에 도시한 것과 같이, 카메라에서 촬영한 차량의 후방 영상(V4)은 바닥면(F)에 부채꼴 형상으로 표시될 수 있다. 이는, 생성한 3차원 영상에서 후방 영상(V4)의 좌표값 중 바닥면(F)에 수직한 좌표축(Z축)의 좌표값을 0으로 설정함으로써 바닥면(F)에 표시할 수 있다.
이에 따라, 간단하게 Z축의 좌표만을 변환함으로써 후방 영상(V4)을 바닥면(F)에 표시할 수 있는 효과를 갖는다.
다른 실시예로, 영상생성부(20)는, 후방 영상(V4)의 벽면(W)에 대하여 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 좌표변환함으로써 사각형 형상으로 표시할 수 있다.
도 6에 도시한 것과 같이, 카메라에서 촬영한 차량의 후방 영상(V4)은 바닥면(F)에 직사각형 형상으로 표시될 수 있다. 특히, 생성한 3차원 영상에서 후방 영상(V4)의 좌표값을 바닥면(F)으로 프로젝션(Projection)함에 따라 사각형 형상으로 표시할 수 있다.
이에 따라, 후방 영상(V4)을 사각형 형상으로 바닥면(F)에 넓게 표시할 수 있어 운전자의 후방 영상(V4)에 대한 가시성이 향상되는 효과를 갖는다.
영상생성부(20)에서 생성한 3차원 영상 중 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시한 영상에 차량의 예상되는 이동 경로(L)를 표시하는 경로표시부(30);를 더 포함할 수 있다.
도 5 내지 6에 도시한 것과 같이, 3차원 영상 중 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시한 후방 영상(V4)에 차량의 이동 경로(L)를 표시할 수 있다.
더 구체적으로, 경로표시부(30)는 차량의 조향각을 입력받고, 입력 받은 조향각을 기반으로 복수의 카메라(10)에서 촬영한 영상 중 차량의 후방을 촬영한 후방 영상(V4)에 차량의 예상되는 이동 경로(L)를 표시할 수 있다.
차량의 조향각은 차량의 스티어링휠이 회전된 각도에 따를 수 있고, 경로표시부(30)는 차량의 조향각 및 이에 따라 차량의 후진하는 경우 차량의 예상되는 경로를 3차원 영상 중 바닥면(F)으로 표시된 후방 영상(V4)에 표시할 수 있다.
도 7은 본 발명의 일 실시예에 따른 서라운드뷰 생성 시스템의 시점에 따른 3차원 영상을 도시한 것이다.
도 7을 더 참조하면, 영상생성부(20)에서 생성한 3차원 영상의 시점을 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시할 영상을 촬영하는 방향과 나란한 방향으로 설정하는 시점설정부(40);를 더 포함하고, 영상생성부(20)는 시점설정부(40)에서 설정한 3차원 영상의 시점을 기반으로 3차원 영상을 생성할 수 있다.
도 7에 도시한 것과 같이, 3차원 영상의 시점에 따라 3차원 영상의 왜곡 정도가 달라진다. 특히, 차량의 대각선에서 바라보는 시점에 따른 3차원 영상에서는 차량의 후방 영상(V4)에 대한 왜곡이 크게 발생한다.
따라서, 시점설정부(40)는 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시할 후방 영상(V4)을 촬영하는 방향인 전방에서 차량을 바라보는 방향으로 3차원 영상의 시점을 설정할 수 있다. 또한, 영상생성부(20)는 시점설정부(40)에서 설정한 전방에서 차량을 바라보는 시점에 따라 3차원 영상을 생성할 수 있다.
이에 따라, 운전자에게 주의가 요구되는 차량의 후방 영상(V4)에 대한 왜곡을 최소화하는 효과를 갖는다.
도 8은 본 발명의 일 실시예에 따른 서라운드뷰 생성 방법의 순서도이다.
도 8을 더 참조하면, 본 발명의 일 실시예에 따른 서라운드뷰 생성 방법은 복수의 카메라(10)에서 차량 주위의 서로 상이한 영역을 각각 촬영하는 단계(S100); 촬영한 영상을 기반으로 지면과 나란한 방향으로 연장된 바닥면(F) 및 지면과 교차되는 방향으로 연장된 벽면(W)으로 구성된 3차원 영상을 생성하는 단계(S400); 및 생성한 3차원 영상에서 촬영한 영상 중 일부는 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시하는 단계(S500);를 포함한다.
3차원 영상을 생성하는 단계(S400)에서는, 바닥면(F)을 외측에서 둘러싸는 반구 형상으로 3차원 영상의 벽면(W)을 생성할 수 있다.
바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시하는 단계(S500)에서는, 복수의 카메라(10)에서 촬영한 영상 중 차량의 후방을 촬영한 후방 영상(V4)을 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시하며, 후방 영상(V4)의 벽면(W)에 대하여 바닥면(F)에 수직한 좌표축의 좌표값을 변경함으로써 바닥면(F) 또는 바닥면(F)과 나란한 평면에 부채꼴 형상으로 표시할 수 있다.
바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시하는 단계(S500)에서는, 복수의 카메라(10)에서 촬영한 영상 중 차량의 후방을 촬영한 후방 영상(V4)을 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시하며, 후방 영상(V4)의 벽면(W)에 대하여 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 좌표변환함으로써 사각형 형상으로 표시할 수 있다.
추가로, 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시하는 단계(S500) 이전에, 차량의 후진이 예상되는지 여부를 판단하는 단계(S200);를 더 포함할 수 있다. 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시하는 단계(S500)에서는, 차량의 후진이 예상되는 경우에 차량의 후방을 촬영한 후방 영상(V4)을 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시할 수 있다.
바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시하는 단계(S500) 이후에, 생성한 3차원 영상 중 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시한 영상에 차량의 예상되는 이동 경로(L)를 표시하는 단계(S600);를 더 포함할 수 있다.
3차원 영상을 생성하는 단계(S400) 이전에, 3차원 영상의 시점을 바닥면(F) 또는 바닥면(F)과 나란한 평면으로 표시할 영상을 촬영하는 방향과 나란한 방향으로 설정하는 단계(S300);를 더 포함할 수 있다.
본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.
10 : 복수의 카메라 20 : 영상생성부
30 : 경로표시부 40 : 시점설정부
50 : 디스플레이 장치

Claims (15)

  1. 차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 카메라; 및
    복수의 카메라에서 촬영한 영상을 기반으로 지면과 나란한 방향으로 연장된 바닥면 및 지면과 교차되는 방향으로 연장된 벽면으로 구성된 3차원 영상을 생성하되, 생성한 3차원 영상에서 복수의 카메라로 촬영한 영상 중 일부는 바닥면 또는 바닥면과 나란한 평면으로 표시하는 영상생성부;를 포함하는 서라운드뷰 생성 시스템.
  2. 청구항 1에 있어서,
    복수의 카메라에는, 차량의 전방을 촬영하는 제1카메라; 차량의 후방을 촬용하는 제2카메라; 차량의 좌측방을 촬영하는 제3카메라; 및 차량의 우측방을 촬영하는 제4카메라;가 포함된 것을 특징으로 하는 서라운드뷰 생성 시스템.
  3. 청구항 1에 있어서,
    영상생성부는, 바닥면을 외측에서 둘러싸는 반구 형상으로 3차원 영상의 벽면을 생성하는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  4. 청구항 1에 있어서,
    영상생성부는, 복수의 카메라에서 촬영한 영상 중 차량의 후방을 촬영한 후방 영상을 바닥면 또는 바닥면과 나란한 평면으로 표시하는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  5. 청구항 4에 있어서,
    영상생성부는, 후방 영상의 벽면에 대하여 바닥면에 수직한 좌표축의 좌표값을 변경함으로써 바닥면 또는 바닥면과 나란한 평면에 부채꼴 형상으로 표시하는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  6. 청구항 4에 있어서,
    영상생성부는, 후방 영상의 벽면에 대하여 바닥면 또는 바닥면과 나란한 평면으로 좌표변환함으로써 사각형 형상으로 표시하는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  7. 청구항 1에 있어서,
    영상생성부에서 생성한 3차원 영상 중 바닥면 또는 바닥면과 나란한 평면으로 표시한 영상에 차량의 예상되는 이동 경로를 표시하는 경로표시부;를 더 포함하는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  8. 청구항 7에 있어서,
    경로표시부는 차량의 조향각을 입력받고, 입력 받은 조향각을 기반으로 복수의 카메라에서 촬영한 영상 중 차량의 후방을 촬영한 후방 영상에 차량의 예상되는 이동 경로를 표시하는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  9. 청구항 1에 있어서,
    영상생성부에서 생성한 3차원 영상의 시점을 바닥면 또는 바닥면과 나란한 평면으로 표시할 영상을 촬영하는 방향과 나란한 방향으로 설정하는 시점설정부;를 더 포함하고,
    영상생성부는 시점설정부에서 설정한 3차원 영상의 시점을 기반으로 3차원 영상을 생성하는 것을 특징으로 하는 서라운드뷰 생성 시스템.
  10. 복수의 카메라에서 차량 주위의 서로 상이한 영역을 각각 촬영하는 단계;
    촬영한 영상을 기반으로 지면과 나란한 방향으로 연장된 바닥면 및 지면과 교차되는 방향으로 연장된 벽면으로 구성된 3차원 영상을 생성하는 단계; 및
    생성한 3차원 영상에서 촬영한 영상 중 일부는 바닥면 또는 바닥면과 나란한 평면으로 표시하는 단계;를 포함하는 서라운드뷰 생성 방법.
  11. 청구항 10에 있어서,
    3차원 영상을 생성하는 단계에서는, 바닥면을 외측에서 둘러싸는 반구 형상으로 3차원 영상의 벽면을 생성하는 것을 특징으로 하는 서라운드뷰 생성 방법.
  12. 청구항 10에 있어서,
    바닥면 또는 바닥면과 나란한 평면으로 표시하는 단계에서는, 복수의 카메라에서 촬영한 영상 중 차량의 후방을 촬영한 후방 영상을 바닥면 또는 바닥면과 나란한 평면으로 표시하며, 후방 영상의 벽면에 대하여 바닥면에 수직한 좌표축의 좌표값을 변경함으로써 바닥면 또는 바닥면과 나란한 평면에 부채꼴 형상으로 표시하는 것을 특징으로 하는 서라운드뷰 생성 방법.
  13. 청구항 10에 있어서,
    바닥면 또는 바닥면과 나란한 평면으로 표시하는 단계에서는, 복수의 카메라에서 촬영한 영상 중 차량의 후방을 촬영한 후방 영상을 바닥면 또는 바닥면과 나란한 평면으로 표시하며, 후방 영상의 벽면에 대하여 바닥면 또는 바닥면과 나란한 평면으로 좌표변환함으로써 사각형 형상으로 표시하는 것을 특징으로 하는 서라운드뷰 생성 방법.
  14. 청구항 10에 있어서,
    바닥면 또는 바닥면과 나란한 평면으로 표시하는 단계 이후에, 생성한 3차원 영상 중 바닥면 또는 바닥면과 나란한 평면으로 표시한 영상에 차량의 예상되는 이동 경로를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 서라운드뷰 생성 방법.
  15. 청구항 10에 있어서,
    3차원 영상을 생성하는 단계 이전에, 3차원 영상의 시점을 바닥면 또는 바닥면과 나란한 평면으로 표시할 영상을 촬영하는 방향과 나란한 방향으로 설정하는 단계;를 더 포함하는 것을 특징으로 하는 서라운드뷰 생성 방법.
KR1020200149412A 2020-11-10 2020-11-10 서라운드뷰 생성 시스템 및 방법 KR20220063844A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200149412A KR20220063844A (ko) 2020-11-10 2020-11-10 서라운드뷰 생성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200149412A KR20220063844A (ko) 2020-11-10 2020-11-10 서라운드뷰 생성 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20220063844A true KR20220063844A (ko) 2022-05-18

Family

ID=81800918

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200149412A KR20220063844A (ko) 2020-11-10 2020-11-10 서라운드뷰 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20220063844A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729486B1 (ko) 2015-11-16 2017-04-25 (주)캠시스 Avm 시스템에서의 사각 지대 감시 방법 및 그 avm 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729486B1 (ko) 2015-11-16 2017-04-25 (주)캠시스 Avm 시스템에서의 사각 지대 감시 방법 및 그 avm 시스템

Similar Documents

Publication Publication Date Title
JP7397262B2 (ja) 事前定義されたビューポイントルックアップテーブルを用いるサラウンドビューのための３次元レンダリング
JP3300334B2 (ja) 画像処理装置および監視システム
US8817079B2 (en) Image processing apparatus and computer-readable recording medium
JP3871614B2 (ja) 運転支援装置
WO2015194501A1 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
TWI578271B (zh) 動態影像處理方法以及動態影像處理系統
WO2015002031A1 (ja) 映像表示システム、映像合成装置及び映像合成方法
JP7156937B2 (ja) 画像処理装置及び画像処理方法
JP6255928B2 (ja) 俯瞰画像生成装置
CN104581042A (zh) 图像处理装置和方法
JP6958163B2 (ja) 表示制御装置
EP3255604B1 (en) Image generation device, coordinate conversion table creation device and creation method
US11528453B2 (en) Sensor fusion based perceptually enhanced surround view
JP2010239596A (ja) 映像処理装置
JP5861871B2 (ja) 俯瞰画像提示装置
JP5338374B2 (ja) 車両用表示装置及び車両用表示方法
JP2003346189A (ja) 車両用映像表示装置
KR100489572B1 (ko) 화상 처리 방법
KR20220063844A (ko) 서라운드뷰 생성 시스템 및 방법
JP3154676B2 (ja) 車載カメラ映像合成透視装置
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP7467883B2 (ja) 回路装置、電子機器及び移動体
JP2012065228A (ja) 画像処理装置、画像表示システム及び画像表示方法
KR20220041467A (ko) 서라운드뷰 생성 시스템 및 방법
JP2020162089A (ja) 画像生成装置および画像生成方法

Legal Events

Date Code Title Description
A201 Request for examination