KR102281609B1 - 어라운드뷰 합성 시스템 및 방법 - Google Patents

어라운드뷰 합성 시스템 및 방법 Download PDF

Info

Publication number
KR102281609B1
KR102281609B1 KR1020200006190A KR20200006190A KR102281609B1 KR 102281609 B1 KR102281609 B1 KR 102281609B1 KR 1020200006190 A KR1020200006190 A KR 1020200006190A KR 20200006190 A KR20200006190 A KR 20200006190A KR 102281609 B1 KR102281609 B1 KR 102281609B1
Authority
KR
South Korea
Prior art keywords
boundary
image
vehicle
obstacle
cameras
Prior art date
Application number
KR1020200006190A
Other languages
English (en)
Other versions
KR20210092605A (ko
Inventor
윤여민
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200006190A priority Critical patent/KR102281609B1/ko
Priority to US17/000,345 priority patent/US11625847B2/en
Priority to DE102020127278.2A priority patent/DE102020127278B4/de
Priority to CN202011140120.3A priority patent/CN113139897A/zh
Publication of KR20210092605A publication Critical patent/KR20210092605A/ko
Application granted granted Critical
Publication of KR102281609B1 publication Critical patent/KR102281609B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G06K9/00805—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 카메라; 복수의 카메라에서 촬영한 영상들이 중첩되는 중첩 영역에서 촬영한 영상들의 합성 경계를 설정하는 경계설정부; 및 복수의 카메라에서 촬영한 영상들을 입력받고, 경계설정부에서 설정된 합성 경계에 따라 입력 받은 영상들을 합성하는 영상합성부;를 포함하는 어라운드뷰 합성 시스템이 소개된다.

Description

어라운드뷰 합성 시스템 및 방법 {AROUND VIEW COMPOSING SYSTEM AND METHOD}
본 발명은 어라운드뷰 합성 시스템 및 방법에 관한 것으로, 더 구체적으로는 복수의 영상을 합성하여 차량의 어라운드뷰를 형성하는 시스템 및 방법에 관한 것이다.
최근 운전자의 편의를 위하여 지능형 자동차의 개발 및 상용화가 진행되고 있다. 특히, 지능형 자동차에는 차량의 주위를 영상을 제공하는 어라운드 뷰 모니터(AVM, Around View Monitor) 시스템 및 차량의 후측방을 영상으로 표시하는 후측방 모니터(BVM, Blind-spot View Monitor) 시스템 등이 포함될 수 있다.
구체적으로, 어라운드 뷰 모니터 시스템은 차량의 전, 후, 좌, 우측에 각각 구비된 카메라로 촬영된 영상을 합성하여 하나의 영상으로 표시해주는 시스템이다.
다만, 어라운드 뷰 모니터 시스템은 전, 후, 좌, 우측의 카메라를 통해 각각 취득한 영상을 합성한 합성 영상을 제공하기 때문에, 각 카메라의 화각의 차이로 인해 합성 영상에서 각 영상 간의 경계영역에는 사각영역이 발생하게 된다. 사각영역에 장애물이 존재하는 경우 합성 영상에는 장애물이 나타나지 않게 되거나, 어느 한쪽 영상에만 나타날 수 있다.
즉, 어라운드 뷰 모니터 시스템은 각 영상의 합성 경계에서 장애물이 이중으로 나타나거나 사라지는 등의 문제가 발생하고, 이에 따라 어라운드 뷰 모니터 시스템의 신뢰도가 저하되며, 안정성의 문제로 후측방 모니터 시스템을 대체하기 어려운 문제가 있었다.
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
KR 10-1729486 B1
본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로, 합성하는 복수의 영상 사이의 경계선을 가변하여 차량의 어라운드뷰를 형성하는 시스템 및 방법을 제공하고자 함이다.
상기의 목적을 달성하기 위한 본 발명에 따른 어라운드뷰 합성 시스템은 차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 카메라; 복수의 카메라에서 촬영한 영상들이 중첩되는 중첩 영역에서 촬영한 영상들의 합성 경계를 설정하는 경계설정부; 및 복수의 카메라에서 촬영한 영상들을 입력받고, 경계설정부에서 설정된 합성 경계에 따라 입력 받은 영상들을 합성하는 영상합성부;를 포함한다.
복수의 카메라에는, 차량의 전방을 촬영하는 제1카메라; 차량의 후방을 촬용하는 제2카메라; 차량의 좌측방을 촬영하는 제3카메라; 및 차량의 우측방을 촬영하는 제4카메라;가 포함될 수 있다.
경계설정부에서는, 중첩 영역에서 장애물을 검출하고, 장애물의 검출 상태를 기반으로 합성 경계를 설정할 수 있다.
차량 주위의 장애물을 감지하는 감지센서;를 더 포함하고, 경계설정부에서는, 감지센서에서 센싱한 센싱 정보 또는 복수의 카메라에서 촬영한 영상을 이용하여 중첩 영역에서 장애물을 검출할 수 있다.
경계설정부에서는, 중첩 영역에서 장애물이 검출되는 경우 장애물의 위치를 감지하고, 감지한 장애물의 위치를 기반으로 합성 경계를 설정할 수 있다.
경계설정부에서는, 장애물의 검출 상태를 기반으로 중첩 영역에서 중첩된 복수의 카메라에서 촬영한 영상 중 상위 레이어를 설정하고, 상위 레이어로 설정한 영상의 합성 경계를 설정할 수 있다.
경계설정부에서는, 중첩 영역에서 중첩된 복수의 카메라에서 촬영한 영상 중 어느 하나에만 장애물이 검출된 경우 장애물이 검출된 영상을 상위 레이어로 설정하고, 상위 레이어로 설정한 영상의 합성 경계를 감지한 장애물의 외측에 위치되도록 설정하며, 영상합성부에서는, 복수의 카메라에서 촬영한 영상 중 상위 레이어와 하위 레이어를 알파 블렌딩 합성할 수 있다.
경계설정부에서는, 중첩 영역에서 중첩된 복수의 카메라에서 촬영한 영상 모두에 동일한 장애물이 검출된 경우 차량이 진행하는 방향과 교차하는 방향을 촬영한 영상을 상위 레이어로 설정하고, 상위 레이어로 설정한 영상의 합성 경계를 감지한 장애물의 외측에 위치되도록 설정하며, 영상합성부에서는, 복수의 카메라에서 촬영한 영상 중 상위 레이어와 하위 레이어를 알파 블렌딩 합성할 수 있다.
경계설정부에서는, 중첩 영역에서 중첩된 복수의 카메라에서 촬영한 영상 중 제1영상에 검출된 장애물 중 일부만이 제2영상에 검출된 경우 합성 경계를 제1영상에 검출된 장애물 중 가장 외측에 위치된 장애물의 외측에 위치되도록 설정할 수 있다.
경계설정부에서는, 중첩 영역에서 중첩된 복수의 카메라에서 촬영한 영상에 서로 다른 장애물이 검출된 경우 영상의 합성 경계를 서로 다른 장애물 사이에 위치되도록 설정할 수 있다.
영상합성부에서는, 차량의 차체보다 높은 위치의 시점에서 차량 측을 향하는 3차원 어라운드뷰 영상을 합성하고, 영상합성부에서 합성한 3차원 어라운드뷰 영상을 표시하는 영상표시부;를 더 포함할 수 있다.
영상표시부에서는, 3차원 어라운드뷰 영상에서 장애물이 차량과 중첩되어 가려진 경우 차량의 투명도를 증가시켜 표시할 수 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 어라운드뷰 합성 방법은 차량에 탑재된 복수의 카메라에서 차량 주위의 서로 상이한 영역을 각각 촬영하는 단계; 복수의 카메라에서 촬영한 영상들이 중첩되는 중첩 영역에서 촬영한 영상들의 합성 경계를 설정하는 단계; 및 설정한 합성 경계에 따라 복수의 카메라에서 촬영한 영상들을 합성하는 단계;를 포함한다.
합성 경계를 설정하는 단계 이전에, 차량 주위의 장애물을 감지하는 감지센서에서 센싱한 센싱 정보 또는 복수의 카메라에서 촬영한 영상을 이용하여 중첩 영역에서 장애물을 검출하는 단계;를 더 포함하고, 합성 경계를 설정하는 단계에서는, 장애물의 검출 상태를 기반으로 합성 경계를 설정할 수 있다.
합성 경계를 설정하는 단계에서는, 중첩 영역에서 장애물이 검출되는 경우 장애물의 위치를 감지하고, 감지한 장애물의 위치를 기반으로 합성 경계를 설정할 수 있다.
합성 경계를 설정하는 단계에서는, 장애물의 검출 상태를 기반으로 중첩 영역에서 중첩된 복수의 카메라에서 촬영한 영상 중 상위 레이어를 설정하고, 상위 레이어로 설정한 영상의 합성 경계를 설정할 수 있다.
영상들을 합성하는 단계에서는, 차량의 차체보다 높은 위치의 시점에서 차량 측을 향하는 3차원 어라운드뷰 영상을 합성하고, 영상들을 합성하는 단계 이후에, 합성한 3차원 어라운드뷰 영상을 표시하는 단계;를 더 포함할 수 있다.
영상을 표시하는 단계에서는, 3차원 어라운드뷰 영상에서 장애물이 차량과 중첩되어 가려진 경우 차량의 투명도를 증가시켜 표시할 수 있다.
본 발명의 어라운드뷰 합성 시스템 및 방법에 따르면, 차량 주위의 장애물이 이중으로 표시되거나 사라지는 현상을 방지하여 어라운드뷰의 신뢰도를 향상시키는 효과를 갖는다.
또한, 합성한 어라운드뷰를 이용하여 차량의 후측방 모니터(BVM) 시스템을 대체할 수 있으며, 동시에 후측방에 위치된 장애물의 시인성이 향상되는 효과를 갖는다.
도 1은 본 발명의 일 실시예에 따른 어라운드뷰 합성 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 합성 모델을 도시한 것이다.
도 3a 내지 3b는 본 발명의 일 실시예에 따른 합성 경계를 가변한 합성 모델을 도시한 것이다.
도 4 내지 7은 본 발명의 다양한 실시예에 따른 합성 경계의 설정을 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 3차원 어라운드뷰 영상을 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 어라운드뷰 합성 방법의 순서도를 도시한 것이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명에 따른 실시 예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 어라운드뷰 합성 시스템의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 합성 모델을 도시한 것이며, 도 3a 내지 3b는 본 발명의 일 실시예에 따른 합성 경계(B)를 가변한 합성 모델을 도시한 것이다.
도 1 내지 3을 참조하면, 본 발명의 일 실시예에 따른 어라운드뷰 합성 시스템은 차량(V)에 각각 탑재되고, 차량(V) 주위의 서로 상이한 영역을 각각 촬영하는 복수의 카메라(10); 복수의 카메라(10)에서 촬영한 영상들이 중첩되는 중첩 영역(S)에서 촬영한 영상들의 합성 경계(B)를 설정하는 경계설정부(30); 및 복수의 카메라(10)에서 촬영한 영상들을 입력받고, 경계설정부(30)에서 설정된 합성 경계(B)에 따라 입력 받은 영상들을 합성하는 영상합성부(40);를 포함한다.
복수의 카메라(10)는 차량(V)에 탑재되어 차량(V)의 전방, 좌측방, 우측방 및 후방을 각각 촬영할 수 있다. 특히, 복수의 카메라(10)는 차량(V)의 전방, 좌측방, 우측방 및 후방에 각각 위치되어 차량(V)의 주위를 각각 촬영할 수 있다. 서로 인접한 카메라(10)에서 각각 촬영한 영상은 일부가 서로 중첩될 수 있다.
영상합성부(40)는 복수의 카메라(10)에서 각각 촬영한 영상들을 합성하여 어라운드뷰를 합성할 수 있다. 다만, 복수의 카메라(10)에서 촬영한 영상들은 일부가 서로 중첩될 수 있고, 중첩된 영역에서 합성 경계(B)에 따라 영상을 합성할 수 있다.
이에 따라, 종래 기술에 따르면 중첩 영역(S)에 위치된 장애물(O)이 합성된 어라운드뷰에서 보이지 않거나 이중으로 보이는 등의 문제가 발생하였다.
경계설정부(30)는 복수의 카메라(10)에서 촬영한 영상들이 중첩되는 중첩 영역(S)의 내부에서 인접한 카메라(10)에서 촬영한 영상들 사이를 합성하는 합성 경계(B)를 설정할 수 있다.
본 발명의 예시적인 실시예에 따른 경계설정부(30) 및 영상합성부(40)는 차량(V)의 다양한 구성 요소의 동작을 제어하도록 구성된 알고리즘 또는 상기 알고리즘을 재생하는 소프트웨어 명령어에 관한 데이터를 저장하도록 구성된 비휘발성 메모리(도시되지 않음) 및 해당 메모리에 저장된 데이터를 사용하여 이하에 설명되는 동작을 수행하도록 구성된 프로세서(도시되지 않음)를 통해 구현될 수 있다. 여기서, 메모리 및 프로세서는 개별 칩으로 구현될 수 있다. 대안적으로는, 메모리 및 프로세서는 서로 통합된 단일 칩으로 구현될 수 있다. 프로세서는 하나 이상의 프로세서의 형태를 취할 수 있다.
구체적으로, 도 2 내지 3에 도시한 것과 같이, 본 발명의 일 실시예에 따른 합성 모델은 3차원의 반구 또는 밥그릇 형상일 수 있다. 도 2 내지 3은 합성 모델의 상면도(2차원)를 도시한 것이다.
3차원의 합성 모델에는 복수의 카메라(10)에서 촬영한 영상들이 중첩된 중첩 영역(S)이 형성될 수 있다. 합성 경계(B)는 중첩 영역(S) 이내에 형성되어 합성된 차량(V)의 주위의 하부 영상이 항상 어라운드뷰 영상에 표시될 수 있다.
합성 경계(B)는 중첩 영역(S) 이내에서 가변 가능할 수 있다. 특히 도 3a 내지 3b에 도시한 것과 같이, 합성 경계(B)는 중첩 영역(S) 이내에서 가변될 수 있다.
구체적으로 복수의 카메라(10)에는, 차량(V)의 전방을 촬영하는 제1카메라(11); 차량(V)의 후방을 촬용하는 제2카메라(12); 차량(V)의 좌측방을 촬영하는 제3카메라(13); 및 차량(V)의 우측방을 촬영하는 제4카메라(14);가 포함될 수 있다.
제1카메라(11)는 차량(V)의 전면에 위치되고, 제2카메라(12)는 차량(V)의 후면에 위치되며, 제3카메라(13)는 차량(V)의 좌측면에 위치되고, 제4카메라(14)는 차량(V)의 우측면에 위치될 수 있다.
경계설정부(30)에서는, 중첩 영역(S)에서 장애물(O)을 검출하고, 장애물(O)의 검출 상태를 기반으로 합성 경계(B)를 설정할 수 있다.
경계설정부(30)는 중첩 영역(S)을 관심영역(ROI: Region Of Interest)로 설정할 수 있고, 중첩 영역(S) 이내에 위치하는 장애물(O)을 검출할 수 있다.
또한, 경계설정부(30)는 중첩 영역(S) 이내에 위치된 장애물(O)의 종류 등을 인식할 수 있고, 복수의 장애물(O)이 검출되는 경우 동일한 장애물(O)인지 별개의 장애물(O)인지 검출할 수 있다.
차량(V) 주위의 장애물(O)을 감지하는 감지센서(20);를 더 포함하고, 경계설정부(30)에서는, 감지센서(20)에서 센싱한 센싱 정보 또는 복수의 카메라(10)에서 촬영한 영상을 이용하여 중첩 영역(S)에서 장애물(O)을 검출할 수 있다.
감지센서(20)는 일 실시예로 차량(V)의 범퍼에 장착된 초음파센서일 수 있고, 라이다 또는 레이더 센서일 수도 있다.
경계설정부(30)에서는, 먼저 3차원의 합성 모델의 중첩 영역(S)에 장애물(O)이 위치하는지 여부를 감지할 수 있다. 또한, 감지센서(20) 또는 복수의 카메라(10)에서 촬영한 영상을 이용하여 감지한 장애물(O)을 검출할 수 있다. 여기서, 딥러닝 또는 기계학습된 인공지능을 이용하여 장애물(O)의 종류(차량(V), 보행자, 구조물 등)를 검출할 수 있다.
또한, 경계설정부(30)에서는 검출한 장애물(O)의 2차원 합성 모델 위치를 3차원 합성 모델 위치로 좌표 변환할 수 있다. 경계설정부(30)는 장애물(O)의 3차원 합성 모델 위치를 기반으로 합성 경계(B)를 설정할 수 있다.
경계설정부(30)에서는 중첩 영역(S)에서 장애물(O)이 검출되지 않는 경우 기설정된 합성 경계(B)를 그대로 합성 경계(B)로 설정할 수 있다.
여기서, 기설정된 합성 경계(B)는 중첩 영역(S)의 일측 또는 타측 경계선으로 기설정될 수 있다. 또는, 기설정된 합성 경계(B)는 중첩 영역(S)의 중심으로 기설정될 수 있다.
경계설정부(30)에서는, 중첩 영역(S)에서 장애물(O)이 검출되는 경우 장애물(O)의 위치를 감지하고, 감지한 장애물(O)의 위치를 기반으로 합성 경계(B)를 설정할 수 있다. 특히, 경계설정부(30)에서는 중첩 영역(S) 이내에서 감지한 장애물(O)의 위치를 기반으로 기설정된 합성 경계(B)를 이동시킬 수 있다.
도 4 내지 7은 본 발명의 다양한 실시예에 따른 합성 경계(B)의 설정을 도시한 것이다.
도 4 내지 7을 더 참조하면, 경계설정부(30)에서는, 장애물(O)의 검출 상태를 기반으로 중첩 영역(S)에서 중첩된 복수의 카메라(10)에서 촬영한 영상 중 상위 레이어를 설정하고, 상위 레이어로 설정한 영상의 합성 경계(B)를 설정할 수 있다.
영상합성부(40)에서는, 경계설정부(30)에서 설정한 상위 레이어로 설정한 영상을 상위 레이어로, 중첩 영역(S)에서 상위 레이어와 중첩된 영상을 하위 레이어로 복수의 영상이 서로 중첩되도록 합성할 수 있다.
구체적으로 도 4에 도시한 것과 같이, 경계설정부(30)에서는, 중첩 영역(S)에서 중첩된 복수의 카메라(10)에서 촬영한 영상 중 어느 하나에만 장애물(O)이 검출된 경우 장애물(O)이 검출된 영상을 상위 레이어로 설정하고, 상위 레이어로 설정한 영상의 합성 경계(B)를 감지한 장애물(O)의 외측에 위치되도록 설정하며, 영상합성부(40)에서는, 복수의 카메라(10)에서 촬영한 영상 중 상위 레이어와 하위 레이어를 알파 블렌딩 합성할 수 있다.
여기서 알파 블렌딩이란, 일반 이미지 데이터에 투명도를 나타내는 변수 α를 추가하여 투과 이미지를 표현하는 기법으로, 반투명하게 렌더링하는 기능일 수 있다.
도시한 것과 같이 좌측방 영상에 장애물(O)이 검출되고, 전방 영상에 장애물(O)이 검출되지 않는 경우에 경계설정부(30)는 좌측방 영상을 상위 레이어로 설정할 수 있다. 또한, 경계설정부(30)는 상위 레이어로 설정된 좌측방 영상의 합성 경계(B)를 이동시킬 수 있다.
영상합성부(40)는 경계설정부(30)에서 설정한 좌측방 영상의 합성 경계(B)에 따라 좌측방 영상과 전방 영상을 합성하여 어라운드뷰를 형성할 수 있다.
또한 도 5에 도시한 것과 같이, 경계설정부(30)에서는, 중첩 영역(S)에서 중첩된 복수의 카메라(10)에서 촬영한 영상 모두에 동일한 장애물(O)이 검출된 경우 차량(V)이 진행하는 방향과 교차하는 방향을 촬영한 영상을 상위 레이어로 설정하고, 상위 레이어로 설정한 영상의 합성 경계(B)를 감지한 장애물(O)의 외측에 위치되도록 설정하며, 영상합성부(40)에서는, 복수의 카메라(10)에서 촬영한 영상 중 상위 레이어와 하위 레이어를 알파 블렌딩 합성할 수 있다.
도시한 것과 같이 좌측방 영상과 전방 영상에 동일한 장애물(O)이 검출되는 경우에 경계설정부(30)는 좌측방 영상을 상위 레이어로 설정할 수 있다. 또한, 경계설정부(30)는 상위 레이어로 설정된 좌측방 영상의 합성 경계(B)를 이동시킬 수 있다.
특히, 경계설정부(30)는 전방 영상 또는 후방 영상에 대비하여 좌측방 영상 또는 우측방 영상에 우선권을 부여할 수 있다. 이에 따라, 차량(V)이 진행 방향을 따라 이동하더라도 차량(V)의 진행 방향과 교차되는 방향을 촬영한 영상에 장애물(O)이 상대적으로 오랜 시간동안 검출될 수 있다.
영상합성부(40)는 경계설정부(30)에서 설정한 좌측방 영상의 합성 경계(B)에 따라 좌측방 영상과 전방 영상을 합성하여 어라운드뷰를 형성할 수 있다.
도 6에 도시한 것과 같이, 경계설정부(30)에서는, 중첩 영역(S)에서 중첩된 복수의 카메라(10)에서 촬영한 영상 중 제1영상에 검출된 장애물(O1,O2) 중 일부(O2)만이 제2영상에 검출된 경우 합성 경계(B)를 제1영상에 검출된 장애물(O) 중 가장 외측에 위치된 장애물(O2)의 외측에 위치되도록 설정할 수 있다.
도시한 것과 같이, 좌측방 영상에 검출된 장애물(O1,O2) 중 일부만이 전방 영상에서 검출된 경우에는 합성 경계(B)를 좌측방 영상에 검출된 장애물(O1,O2) 중 가장 외측에 위치된 장애물(O2)의 외측에 위치되도록 설정할 수 있다. 즉, 좌측방 영상에 사람(O1)과 차량(V)(O2)이 검출되면 최외측에 위치된 차량(V)(O2)의 외측에 합성 경계(B)를 설정할 수 있다.
여기서, 경계설정부(30)는 더 많은 장애물(O1,I2)이 검출된 촬영 영상을 상위 레이어로 설정할 수 있다. 즉, 경계설정부(30)는 좌측방 영상을 상위 레이어로 설정하고, 영상합성부(40)에서 좌측방 영상과 전방 영상을 합성하여 어라운드뷰를 형성할 수 있다.
다만, 이 경우에는 알파 블렌딩을 적용하지 않고 상위 레이어로 설정된 좌측방 영상(제1영상)이 위로 가도록 좌측방 영상과 전방 영상을 합성할 수 있다.
도 7에 도시한 것과 같이, 경계설정부(30)에서는, 중첩 영역(S)에서 중첩된 복수의 카메라(10)에서 촬영한 영상에 서로 다른 장애물(O1,O2)이 검출된 경우 영상의 합성 경계(B)를 서로 다른 장애물(O1,O2) 사이에 위치되도록 설정할 수 있다.
제1영상과 제2영상에 서로 다른 장애물(O1,O2)이 검출되는 경우에는 제1영상과 제2영상의 레이어 순서가 무관하게 적용될 수 있다. 경계설정부(30)에서는, 알파 블렌딩을 적용하지 않고, 합성 경계(B)를 기준으로 제1영상과 제2영상을 합성할 수 있다.
특히, 경계설정부(30)는 제1영상과 제2영상이 서로 중첩되지 않도록 제1영상 및 제2영상 모두에 합성 경계(B)를 설정할 수 있고, 제1영상과 제2영상을 합성 경계(B)에 따라 합성할 수 있다.
도 8은 본 발명의 일 실시예에 따른 3차원 어라운드뷰 영상을 도시한 것이다.
도 8을 더 참조하면, 영상합성부(40)에서는, 차량(V)의 차체보다 높은 위치의 시점(View Point)에서 차량(V) 측을 향하는 3차원 어라운드뷰 영상을 합성할 수 있다.
3차원 어라운드뷰는 차량(V)의 외측에서 차량(V) 측을 향하는 차량(V) 주위의 영상일 수 있고, 장애물(O)과 차량(V) 사이의 거리 감각을 향상시키기 위하여 차량(V)의 차체보다 높은 위치에 시점이 위치될 수 있다.
구체적으로, 종래 기술에 따른 후측방 모니터(BVM) 시스템의 경우 시점이 차체보다 낮은 높이에 위치된 것으로, 운전자가 차량(V)의 주위에 위치된 장애물(O)과 차량(V) 사이의 거리감을 느끼기 어려웠다. 이를 해결하기 위하여 3차원 어라운드뷰는 시점이 차체보다 높은 위치에 위치될 수 있다.
영상합성부(40)에서 합성한 3차원 어라운드뷰 영상을 표시하는 영상표시부(50);를 더 포함할 수 있다.
영상표시부(50)는 영상합성부(40)에서 합성한 3차원 어라운드뷰 영상을 운전자에게 표시하는 디스플레이 장치일 수 있다.
영상표시부(50)는 운전자의 조작에 의해 방향 지시등이 켜지거나, 복수의 카메라(10)에서 촬영한 영상 또는 감지센서(20)의 센싱정보에 따라 장애물(O)이 감지되는 경우에 자동으로 합성한 3차원 어라운드뷰 영상을 운전자에게 표시할 수 있다.
영상표시부(50)에서는, 3차원 어라운드뷰 영상에서 장애물(O)이 차량(V)과 중첩되어 가려진 경우 차량(V)의 투명도를 증가시켜 표시할 수 있다.
즉, 3차원 어라운드뷰 영상에서 바라본 시점에서 차량(V)보다 후방에 장애물(O)이 위치되어 차량(V)과 중첩된 장애물(O)이 가려지는 경우에는 차량(V)의 차체를 반투명하게 표시할 수 있다. 이에 따라, 3차원 어라운드뷰 영상에서 장애물(O)의 표시에 방해가 되지 않도록 방지될 수 있다.
도 9는 본 발명의 일 실시예에 따른 어라운드뷰 합성 방법의 순서도를 도시한 것이다.
도 9를 더 참조하면, 본 발명의 일 실시예에 따른 어라운드뷰 합성 방법은 차량(V)에 탑재된 복수의 카메라(10)에서 차량(V) 주위의 서로 상이한 영역을 각각 촬영하는 단계(S100); 복수의 카메라(10)에서 촬영한 영상들이 중첩되는 중첩 영역(S)에서 촬영한 영상들의 합성 경계(B)를 설정하는 단계(S500); 및 설정한 합성 경계(B)에 따라 복수의 카메라(10)에서 촬영한 영상들을 합성하는 단계(S600);를 포함한다.
합성 경계(B)를 설정하는 단계(S500) 이전에, 차량(V) 주위의 장애물(O)을 감지하는 감지센서(20)에서 센싱한 센싱 정보 또는 복수의 카메라(10)에서 촬영한 영상을 이용하여 중첩 영역(S)에서 장애물(O)을 검출하는 단계(S200);를 더 포함하고, 합성 경계(B)를 설정하는 단계(S500)에서는, 장애물(O)의 검출 상태를 기반으로 합성 경계(B)를 설정할 수 있다.
합성 경계(B)를 설정하는 단계(S500)에서는, 중첩 영역(S)에서 장애물(O)이 검출되는 경우 장애물(O)의 위치를 감지하고, 감지한 장애물(O)의 위치를 기반으로 합성 경계(B)를 설정할 수 있다.
구체적으로, 중첩 영역(S)에서 장애물(O)이 검출된 경우에는 장애물의 검출 좌표(2차원 모델)을 3차원 모델 좌표로 변환할 수 있다(S300). 또한, 변환한 장애물의 3차원 모델 좌표를 기반으로 합성 경계(B)를 설정할 수 있다(S500).
합성 경계(B)를 설정하는 단계(S500)에서는, 장애물(O)의 검출 상태를 기반으로 중첩 영역(S)에서 중첩된 복수의 카메라(10)에서 촬영한 영상 중 상위 레이어를 설정하고(S400), 상위 레이어로 설정한 영상의 합성 경계(B)를 설정할 수 있다(S500).
영상들을 합성하는 단계(S600)에서는, 차량(V)의 차체보다 높은 위치의 시점에서 차량(V) 측을 향하는 3차원 어라운드뷰 영상을 합성하고, 영상들을 합성하는 단계(S600) 이후에, 합성한 3차원 어라운드뷰 영상을 표시하는 단계(S800);를 더 포함할 수 있다.
영상을 표시하는 단계(S800)에서는, 3차원 어라운드뷰 영상에서 장애물(O)이 차량(V)과 중첩되어 가려진 경우 차량(V)의 투명도를 증가시켜 표시할 수 있다(S700).
본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.
10 : 복수의 카메라 20 : 감지센서
30 : 경계설정부 40 : 영상합성부
50 : 영상표시부 V : 차량
S : 중첩 영역 B : 합성 경계
O : 장애물

Claims (17)

  1. 차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 카메라;
    복수의 카메라에서 촬영한 영상들이 중첩되는 중첩 영역에서 촬영한 영상들의 합성 경계를 설정하는 경계설정부; 및
    복수의 카메라에서 촬영한 영상들을 입력받고, 경계설정부에서 설정된 합성 경계에 따라 입력 받은 영상들을 합성하는 영상합성부;를 포함하고,
    경계설정부에서는, 중첩 영역에서 검출된 장애물의 검출 상태를 기반으로 중첩 영역에서 중첩된 복수의 카메라에서 촬영한 영상 중 상위 레이어를 설정하고, 상위 레이어로 설정한 영상의 합성 경계를 설정하며, 중첩 영역에서 중첩된 복수의 카메라에서 촬영한 영상 모두에 동일한 장애물이 검출된 경우 차량이 진행하는 방향과 교차하는 방향을 촬영한 영상을 상위 레이어로 설정하고, 상위 레이어로 설정한 영상의 합성 경계를 감지한 장애물의 외측에 위치되도록 설정하고,
    영상합성부에서는, 복수의 카메라에서 촬영한 영상 중 상위 레이어와 하위 레이어를 합성하되, 상위 레이어의 합성 경계에 따라 상위 레이어와 하위 레이어를 합성함으로써, 상위 레이어에 존재하는 장애물만이 합성된 영상에 표현되는 것을 특징으로 하는 어라운드뷰 합성 시스템.
  2. 청구항 1에 있어서,
    복수의 카메라에는, 차량의 전방을 촬영하는 제1카메라; 차량의 후방을 촬용하는 제2카메라; 차량의 좌측방을 촬영하는 제3카메라; 및 차량의 우측방을 촬영하는 제4카메라;가 포함된 것을 특징으로 하는 어라운드뷰 합성 시스템.
  3. 청구항 1에 있어서,
    경계설정부에서는, 중첩 영역에서 장애물을 검출하고, 장애물의 검출 상태를 기반으로 합성 경계를 설정하는 것을 특징으로 하는 어라운드뷰 합성 시스템.
  4. 청구항 3에 있어서,
    차량 주위의 장애물을 감지하는 감지센서;를 더 포함하고,
    경계설정부에서는, 감지센서에서 센싱한 센싱 정보 또는 복수의 카메라에서 촬영한 영상을 이용하여 중첩 영역에서 장애물을 검출하는 것을 특징으로 하는 어라운드뷰 합성 시스템.
  5. 삭제
  6. 청구항 1에 있어서,
    경계설정부에서는, 중첩 영역에서 중첩된 복수의 카메라에서 촬영한 영상 중 어느 하나에만 장애물이 검출된 경우 장애물이 검출된 영상을 상위 레이어로 설정하고, 상위 레이어로 설정한 영상의 합성 경계를 감지한 장애물의 외측에 위치되도록 설정하며,
    영상합성부에서는, 복수의 카메라에서 촬영한 영상 중 상위 레이어와 하위 레이어를 합성하는 것을 특징으로 하는 어라운드뷰 합성 시스템.
  7. 삭제
  8. 청구항 1에 있어서,
    경계설정부에서는, 중첩 영역에서 중첩된 복수의 카메라에서 촬영한 영상 중 제1영상에 검출된 장애물 중 일부만이 제2영상에 검출된 경우 합성 경계를 제1영상에 검출된 장애물 중 가장 외측에 위치된 장애물의 외측에 위치되도록 설정하는 것을 특징으로 하는 어라운드뷰 합성 시스템.
  9. 청구항 3에 있어서,
    경계설정부에서는, 중첩 영역에서 중첩된 복수의 카메라에서 촬영한 영상에 서로 다른 장애물이 검출된 경우 영상의 합성 경계를 서로 다른 장애물 사이에 위치되도록 설정하는 것을 특징으로 하는 어라운드뷰 합성 시스템.
  10. 청구항 1에 있어서,
    영상합성부에서는, 차량의 차체보다 높은 위치의 시점에서 차량 측을 향하는 3차원 어라운드뷰 영상을 합성하고,
    영상합성부에서 합성한 3차원 어라운드뷰 영상을 표시하는 영상표시부;를 더 포함하는 것을 특징으로 하는 어라운드뷰 합성 시스템.
  11. 청구항 10에 있어서,
    영상표시부에서는, 3차원 어라운드뷰 영상에서 장애물이 차량과 중첩되어 가려진 경우 차량의 투명도를 증가시켜 표시하는 것을 특징으로 하는 어라운드뷰 합성 시스템.
  12. 차량에 탑재된 복수의 카메라에서 차량 주위의 서로 상이한 영역을 각각 촬영하는 단계;
    복수의 카메라에서 촬영한 영상들이 중첩되는 중첩 영역에서 촬영한 영상들의 합성 경계를 설정하는 단계; 및
    설정한 합성 경계에 따라 복수의 카메라에서 촬영한 영상들을 합성하는 단계;를 포함하고,
    합성 경계를 설정하는 단계에서는, 중첩 영역에서 검출된 장애물의 검출 상태를 기반으로 중첩 영역에서 중첩된 복수의 카메라에서 촬영한 영상 중 상위 레이어를 설정하고, 상위 레이어로 설정한 영상의 합성 경계를 설정하며, 중첩 영역에서 중첩된 복수의 카메라에서 촬영한 영상 모두에 동일한 장애물이 검출된 경우, 차량이 진행하는 방향과 교차하는 방향을 촬영한 영상을 상위 레이어로 설정하고, 상위 레이어로 설정한 영상의 합성 경계를 감지한 장애물의 외측에 위치되도록 설정하고,
    복수의 카메라에서 촬영한 영상들을 합성하는 단계에서는, 복수의 카메라에서 촬영한 영상 중 상위 레이어와 하위 레이어를 합성하되, 상위 레이어의 합성 경계에 따라 상위 레이어와 하위 레이어를 합성함으로써, 상위 레이어에 존재하는 장애물만이 합성된 영상에 표현되는 것을 특징으로 하는 어라운드뷰 합성 방법.
  13. 청구항 12에 있어서,
    합성 경계를 설정하는 단계 이전에, 차량 주위의 장애물을 감지하는 감지센서에서 센싱한 센싱 정보 또는 복수의 카메라에서 촬영한 영상을 이용하여 중첩 영역에서 장애물을 검출하는 단계;를 더 포함하고,
    합성 경계를 설정하는 단계에서는, 장애물의 검출 상태를 기반으로 합성 경계를 설정하는 것을 특징으로 하는 어라운드뷰 합성 방법.
  14. 청구항 13에 있어서,
    합성 경계를 설정하는 단계에서는, 중첩 영역에서 장애물이 검출되는 경우 장애물의 위치를 감지하고, 감지한 장애물의 위치를 기반으로 합성 경계를 설정하는 것을 특징으로 하는 어라운드뷰 합성 방법.
  15. 삭제
  16. 청구항 12에 있어서,
    영상들을 합성하는 단계에서는, 차량의 차체보다 높은 위치의 시점에서 차량 측을 향하는 3차원 어라운드뷰 영상을 합성하고,
    영상들을 합성하는 단계 이후에, 합성한 3차원 어라운드뷰 영상을 표시하는 단계;를 더 포함하는 것을 특징으로 하는 어라운드뷰 합성 방법.
  17. 청구항 16에 있어서,
    영상을 표시하는 단계에서는, 3차원 어라운드뷰 영상에서 장애물이 차량과 중첩되어 가려진 경우 차량의 투명도를 증가시켜 표시하는 것을 특징으로 하는 어라운드뷰 합성 방법.
KR1020200006190A 2020-01-16 2020-01-16 어라운드뷰 합성 시스템 및 방법 KR102281609B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200006190A KR102281609B1 (ko) 2020-01-16 2020-01-16 어라운드뷰 합성 시스템 및 방법
US17/000,345 US11625847B2 (en) 2020-01-16 2020-08-23 Around view synthesis system and method
DE102020127278.2A DE102020127278B4 (de) 2020-01-16 2020-10-16 Around-View-Synthese-System und -Verfahren
CN202011140120.3A CN113139897A (zh) 2020-01-16 2020-10-22 全景视图合成系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200006190A KR102281609B1 (ko) 2020-01-16 2020-01-16 어라운드뷰 합성 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210092605A KR20210092605A (ko) 2021-07-26
KR102281609B1 true KR102281609B1 (ko) 2021-07-29

Family

ID=76650411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200006190A KR102281609B1 (ko) 2020-01-16 2020-01-16 어라운드뷰 합성 시스템 및 방법

Country Status (4)

Country Link
US (1) US11625847B2 (ko)
KR (1) KR102281609B1 (ko)
CN (1) CN113139897A (ko)
DE (1) DE102020127278B4 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114228617A (zh) * 2021-12-28 2022-03-25 阿波罗智能技术(北京)有限公司 图像生成方法、装置、设备、存储介质和车辆
CN116912517B (zh) * 2023-06-06 2024-04-02 阿里巴巴（中国）有限公司 相机视野边界的检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231276A (ja) * 2009-03-25 2010-10-14 Fujitsu Ltd 画像処理方法及び画像処理装置
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP2014090349A (ja) * 2012-10-31 2014-05-15 Clarion Co Ltd 画像処理システム及び画像処理方法
JP2019140518A (ja) * 2018-02-09 2019-08-22 株式会社デンソー 画像生成装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3949674B2 (ja) * 2004-05-11 2007-07-25 株式会社コナミデジタルエンタテインメント 表示装置、表示方法、ならびに、プログラム
JP4899367B2 (ja) * 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP4662832B2 (ja) 2005-09-26 2011-03-30 アルパイン株式会社 車両用画像表示装置
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP2007235842A (ja) * 2006-03-03 2007-09-13 Denso Corp 車載画像表示システム
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
DE102009036200A1 (de) 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5699679B2 (ja) * 2011-02-24 2015-04-15 富士通セミコンダクター株式会社 画像処理装置、画像処理システム、及び画像処理方法
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
DE102011088332B4 (de) 2011-12-13 2021-09-02 Robert Bosch Gmbh Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
KR101567405B1 (ko) 2014-04-30 2015-11-20 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6411100B2 (ja) * 2014-07-08 2018-10-24 アルパイン株式会社 車両周囲画像生成装置および車両周囲画像生成方法
KR102352833B1 (ko) * 2015-08-12 2022-01-18 현대모비스 주식회사 어라운드뷰 제공 장치 및 방법
KR101729486B1 (ko) 2015-11-16 2017-04-25 (주)캠시스 Avm 시스템에서의 사각 지대 감시 방법 및 그 avm 시스템
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
US20180150703A1 (en) 2016-11-29 2018-05-31 Autoequips Tech Co., Ltd. Vehicle image processing method and system thereof
KR102551099B1 (ko) 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
JP2018117320A (ja) 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
JP6998360B2 (ja) * 2019-12-13 2022-01-18 本田技研工業株式会社 車両用表示装置及び駐車支援システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231276A (ja) * 2009-03-25 2010-10-14 Fujitsu Ltd 画像処理方法及び画像処理装置
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP2014090349A (ja) * 2012-10-31 2014-05-15 Clarion Co Ltd 画像処理システム及び画像処理方法
JP2019140518A (ja) * 2018-02-09 2019-08-22 株式会社デンソー 画像生成装置

Also Published As

Publication number Publication date
DE102020127278A1 (de) 2021-07-22
US11625847B2 (en) 2023-04-11
US20210225024A1 (en) 2021-07-22
CN113139897A (zh) 2021-07-20
DE102020127278B4 (de) 2022-02-10
KR20210092605A (ko) 2021-07-26

Similar Documents

Publication Publication Date Title
US7592928B2 (en) Image display device and method
WO2021197189A1 (zh) 基于增强现实的信息显示方法、系统、装置及投影设备
CN105073499B (zh) 图像显示控制装置、图像显示系统及显示单元
WO2018105417A1 (ja) 撮像装置、画像処理装置、表示システム、および車両
JP6241687B2 (ja) 運転支援装置
US10896335B2 (en) Adaptive transparency of virtual vehicle in simulated imaging system
EP2739050B1 (en) Vehicle surroundings monitoring system
CN103770706B (zh) 动态后视镜显示特征
US20160182823A1 (en) Image generation device, image display system, image generation method and image display method
CN104204847B (zh) 用于可视化车辆的周围环境的方法和装置
KR20190028667A (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
WO2009119110A1 (ja) 死角表示装置
KR20100113959A (ko) 차량 주위 화상 표시 시스템
KR102281609B1 (ko) 어라운드뷰 합성 시스템 및 방법
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
WO2005088970A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
JP5516998B2 (ja) 画像生成装置
WO2017162832A1 (en) Virtual overlay system and method for occluded objects
US7599546B2 (en) Image information processing system, image information processing method, image information processing program, and automobile
US11648888B2 (en) Surround view monitoring system and providing method of the same
KR20190067578A (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JP6781035B2 (ja) 撮像装置、画像処理装置、表示システム、および車両
US11938863B2 (en) Peripheral image generation device and display control method
JP7398637B2 (ja) 表示制御装置、車両及び表示制御方法

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant