KR20220052172A - 서라운드뷰 모니터링 시스템 및 그 제공 방법 - Google Patents

서라운드뷰 모니터링 시스템 및 그 제공 방법 Download PDF

Info

Publication number
KR20220052172A
KR20220052172A KR1020200136213A KR20200136213A KR20220052172A KR 20220052172 A KR20220052172 A KR 20220052172A KR 1020200136213 A KR1020200136213 A KR 1020200136213A KR 20200136213 A KR20200136213 A KR 20200136213A KR 20220052172 A KR20220052172 A KR 20220052172A
Authority
KR
South Korea
Prior art keywords
vehicle
image
obstacle
composite image
display device
Prior art date
Application number
KR1020200136213A
Other languages
English (en)
Inventor
강태훈
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200136213A priority Critical patent/KR20220052172A/ko
Priority to US17/497,869 priority patent/US11648888B2/en
Publication of KR20220052172A publication Critical patent/KR20220052172A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/188—Displaying information using colour changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/797—Instrument locations other than the dashboard at the vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 정합카메라; 차량의 주위에 존재하는 장애물과의 거리 정보를 취득하는 깊이카메라; 복수의 정합카메라에서 촬영한 영상을 합성한 합성영상을 생성하고, 합성영상에 존재하는 장애물에 깊이카메라에서 취득한 장애물과의 거리 정보를 표시하는 영상합성부; 및 합성한 합성영상을 디스플레이 장치로 표시하는 영상제어부;를 포함하는 서라운드뷰 모니터링 시스템 및 그 제공 방법이 소개된다.

Description

서라운드뷰 모니터링 시스템 및 그 제공 방법 {SURROUND VIEW MONITORING SYSTEM AND PROVIDING METHOD OF THE SAME}
본 발명은 서라운드뷰 모니터링 시스템 및 그 제공 방법에 관한 것으로, 더 구체적으로는 장애물과의 거리 정보를 표시하는 서라운드뷰를 제공하는 기술에 관한 것이다.
최근 차량은 전방 정합 카메라, 후방 정합 카메라, 사이드뷰 정합 카메라의 사용이 확산되어 왔다. 이들 정합 카메라는 종종 운전자를 돕기 위해 사용되며 차량의 안정성을 개선할 수 있다.
특히, 차량에 복수의 정합 카메라를 설치하여 차량 주변의 360도 전방향의 영상을 보여주는 서라운드뷰 모니터링(SVM: Surround View Monitoring) 시스템이 개발되어 상용화되고 있다.
SVM 시스템은 차량 각 위치에 구비된 정합 카메라들에 의해 촬영된 차량 주변의 영상을 조합하여, 운전자가 하늘에서 차량을 바라보는 듯한 탑뷰(Top View) 이미지 형식의 SVM 영상을 제공함으로써, 차량 주변 장애물을 표시하고 사각지대를 해소할 수 있는 장점이 있다.
다만, 종래의 SVM 시스템은 운전자에게 장애물과의 거리를 판단하도록 주변의 영상을 디스플레이 장치로 디스플레이하지만, 복수 개의 영상을 정합함에 따라 발생하는 왜곡에 의해 거리 판단이 어려운 문제가 있었다.
특히, 차량의 전방 및 후방의 경우 근거리 초음파 센서를 통한 보조가 가능하지만, 측방의 경우에는 장애물과의 거리 정보를 판단하기 어려운 문제가 있었다.
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
KR 10-2017-0124232 A
본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로, 디스플레이하는 서라운드뷰에 장애물의 거리 정보를 표시하는 서라운드뷰 모니터링(SVM) 시스템 및 그의 제공 방법을 제공하고자 함이다.
상기의 목적을 달성하기 위한 본 발명에 따른 서라운드뷰 모니터링 시스템은 차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 정합카메라; 차량의 주위에 존재하는 장애물과의 거리 정보를 취득하는 깊이카메라; 복수의 정합카메라에서 촬영한 영상을 합성한 합성영상을 생성하고, 합성영상에 존재하는 장애물에 깊이카메라에서 취득한 장애물과의 거리 정보를 표시하는 영상합성부; 및 합성한 합성영상을 디스플레이 장치로 표시하는 영상제어부;를 포함한다.
복수의 정합카메라에는, 차량의 전방을 촬영하는 제1카메라; 차량의 후방을 촬영하는 제2카메라; 차량의 좌측방을 촬영하는 제3카메라; 및 차량의 우측방을 촬영하는 제4카메라;가 포함될 수 있다.
깊이카메라는, 차량의 주위로 적외선을 송신 및 수신함으로써 차량의 주위에 존재하는 장애물과의 거리를 센싱할 수 있다.
깊이카메라는, 복수 개로 구비되며, 각각은 차량의 전방, 후방 및 양측방에 위치된 장애물과의 거리 정보를 취득할 수 있다.
깊이카메라는, 차량의 전단부 및 후단부에 복수 개가 좌우 방향으로 이격되게 배치되거나, 또는 차량의 측단부에 복수 개가 전후 방향으로 이격되게 배치될 수 있다.
영상합성부는, 합성영상에 장애물을 차량으로부터 이격된 거리마다 기설정된 색으로 도시함으로써 장애물에 대한 거리 정보를 표시할 수 있다.
영상제어부는, 합성영상에서 차량으로부터 이격된 거리가 기설정된 거리 이하인 장애물을 검출하고, 합성영상에서 검출한 장애물이 포함된 영역을 확대한 확대영상 및 합성영상을 디스플레이 장치로 동시에 표시할 수 있다.
영상제어부는, 합성영상에서 차량으로부터 이격된 거리가 기설정된 거리 이하인 장애물이 복수 개로 검출된 경우, 검출된 장애물이 각각 포함된 복수의 확대영상을 디스플레이 장치에 분할하여 표시할 수 있다.
영상제어부는, 합성영상에서 차량으로부터 기설정된 거리 이하인 장애물을 검출하고, 복수의 정합카메라에서 촬영한 영상 중 인접한 장애물이 포함된 영상 및 합성영상을 디스플레이 장치로 동시에 표시할 수 있다.
영상제어부는, 합성영상에서 차량으로부터 이격된 거리가 가장 짧은 장애물을 검출하고, 검출한 장애물이 포함된 영역을 확대한 확대영상 및 합성영상을 디스플레이 장치로 동시에 표시할 수 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 서라운드뷰 제공 방법은 복수의 정합카메라로 차량 주위의 서로 상이한 영역을 각각 촬영하는 단계; 깊이카메라로 차량의 주위에 존재하는 장애물과의 거리 정보를 취득하는 단계; 복수의 정합카메라에서 촬영한 영상을 합성한 합성영상을 생성하고, 합성영상에 존재하는 장애물에 깊이카메라에서 취득한 장애물과의 거리 정보를 표시하는 단계; 및 합성한 합성영상을 디스플레이 장치로 표시하는 단계;를 포함한다.
장애물과의 거리 정보를 취득하는 단계에서는, 차량의 주위로 적외선을 송신 및 수신함으로써 차량의 주위에 존재하는 장애물과의 거리를 센싱할 수 있다.
합성영상을 생성하고 거리 정보를 표시하는 단계에서는, 합성영상에 장애물을 차량으로부터 이격된 거리마다 기설정된 색으로 도시함으로써 장애물에 대한 거리 정보를 표시할 수 있다.
합성영상을 디스플레이 장치로 표시하는 단계 이전에, 합성영상에서 차량으로부터 이격된 거리가 기설정된 거리 이하인 장애물을 검출하는 단계;를 더 포함하고, 합성영상을 디스플레이 장치로 표시하는 단계에서는, 합성영상에서 검출한 장애물이 포함된 영역을 확대한 확대영상 및 합성영상을 디스플레이 장치로 동시에 표시할 수 있다.
합성영상을 디스플레이 장치로 표시하는 단계에서는, 장애물을 검출하는 단계에서 합성영상에 차량으로부터 이격된 거리가 기설정된 거리 이하인 장애물이 복수 개로 검출된 경우, 검출된 장애물이 각각 포함된 복수의 확대영상을 디스플레이 장치에 분할하여 표시할 수 있다.
합성영상을 디스플레이 장치로 표시하는 단계 이전에, 합성영상에서 차량으로부터 이격된 거리가 기설정된 거리 이하인 장애물을 검출하는 단계;를 더 포함하고, 합성영상을 디스플레이 장치로 표시하는 단계에서는, 복수의 정합카메라에서 촬영한 영상 중 인접한 장애물이 포함된 영상 및 합성영상을 디스플레이 장치로 동시에 표시할 수 있다.
합성영상을 디스플레이 장치로 표시하는 단계 이전에, 합성영상에서 차량으로부터 이격된 거리가 가장 짧은 장애물을 검출하는 단계;를 더 포함하고, 합성영상을 디스플레이 장치로 표시하는 단계에서는, 합성영상에서 검출한 장애물이 포함된 영역을 확대한 확대영상 및 합성영상을 디스플레이 장치로 동시에 표시할 수 있다.
본 발명의 서라운드뷰 모니터링 시스템 및 그 제공 방법에 따르면, 운전자에게 제공하는 서라운드뷰에 장애물의 거리 정보를 표시함으로써 운전자가 장애물에 대한 거리를 직관적으로 인지할 수 있는 효과를 갖는다.
도 1은 본 발명의 일 실시예에 따른 서라운드뷰 모니터링 시스템의 구성도이다.
도 2 내지 3은 본 발명의 일 실시예에 따른 복수의 정합카메라 및 깊이카메라가 설치된 차량의 측면도 및 상면도를 각각 도시한 것이다.
도 4 내지 7은 본 발명의 다양한 실시예에 따라 디스플레이 장치에 표시되는 화면을 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 서라운드뷰 제공 방법의 순서도이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명에 따른 실시 예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 서라운드뷰 모니터링 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 서라운드뷰 모니터링 시스템은 차량(V)에 각각 탑재되고, 차량(V) 주위의 서로 상이한 영역을 각각 촬영하는 복수의 정합카메라(10); 차량(V)의 주위에 존재하는 장애물과의 거리 정보를 취득하는 깊이카메라(20); 복수의 정합카메라(10)에서 촬영한 영상을 합성한 합성영상(S)을 생성하고, 합성영상(S)에 존재하는 장애물에 깊이카메라(20)에서 취득한 장애물과의 거리 정보를 표시하는 영상합성부(30); 및 합성한 합성영상(S)을 디스플레이 장치(50)로 표시하는 영상제어부(40);를 포함한다.
본 발명의 예시적인 실시예에 따른 영상합성부(30) 및 영상제어부(40)는 차량(V)의 다양한 구성 요소의 동작을 제어하도록 구성된 알고리즘 또는 상기 알고리즘을 재생하는 소프트웨어 명령어에 관한 데이터를 저장하도록 구성된 비휘발성 메모리(도시되지 않음) 및 해당 메모리에 저장된 데이터를 사용하여 이하에 설명되는 동작을 수행하도록 구성된 프로세서(도시되지 않음)를 통해 구현될 수 있다. 여기서, 메모리 및 프로세서는 개별 칩으로 구현될 수 있다. 대안적으로는, 메모리 및 프로세서는 서로 통합된 단일 칩으로 구현될 수 있다. 프로세서는 하나 이상의 프로세서의 형태를 취할 수 있다.
복수의 정합카메라(10)는 차량(V)의 주위를 각각 촬영하며, 영상합성부(30)는 복수의 정합카메라(10)에서 촬영한 각각의 영상을 합성한 합성영상(S)을 생성할 수 있다.
일 실시예로, 영상합성부(30)는 차량(V)을 상부에서 내려다보면서 차량(V)의 전방, 후방, 좌측방 및 우측방을 동시에 표시하는 합성영상(S)을 생성할 수 있다.
깊이카메라(20)는 TOF 카메라로, 차량(V)의 주위에 존재하는 장애물과의 거리 정보를 취득할 수 있다. 구체적으로, 깊이카메라(20)는 차량(V)의 주위로 신호를 송신 및 수신함으로써 신호의 TOF(Time Of Flight)를 취득할 수 있다. 깊이카메라(20)는 신호의 TOF로부터 장애물과의 거리 정보를 취득할 수 있다.
영상합성부(30)는 복수의 정합카메라(10)에서 각각 촬영한 영상을 합성한 합성영상(S)에 존재하는 장애물에 깊이카메라(20)에서 취득한 장애물과의 거리 정보를 표시할 수 있다.
특히, 영상합성부(30)는 깊이카메라(20)에서 취득한 장애물과의 거리 정보를 합성영상(S)에 시각화하여 표시할 수 있다.
영상제어부(40)는 영상합성부(30)에서 합성한 합성영상(S)을 디스플레이 장치(50)로 표시할 수 있다. 여기서, 디스플레이 장치(50)는 AVN(Audio, Vedio, Navigation) 화면, HUD(Head Up Display) 화면 또는 클러스터(Cluster) 화면 등일 수 있다.
본 발명에 따르면, 운전자에게 제공하는 서라운드뷰에 장애물의 거리 정보를 표시함으로써 운전자가 장애물에 대한 거리를 직관적으로 인지할 수 있는 효과를 갖는다.
구체적으로, 복수의 정합카메라(10)에는, 차량(V)의 전방을 촬영하는 제1카메라(11); 차량(V)의 후방을 촬영하는 제2카메라(12); 차량(V)의 좌측방을 촬영하는 제3카메라(13); 및 차량(V)의 우측방을 촬영하는 제4카메라(14);가 포함될 수 있다.
복수의 카메라는 차량(V)에 탑재되어 차량(V)의 전방, 좌측방, 우측방 및 후방을 각각 촬영할 수 있다. 특히, 복수의 카메라는 차량(V)의 전방, 좌측방, 우측방 및 후방에 각각 위치되어 차량(V)의 주위를 각각 촬영할 수 있다. 서로 인접한 카메라에서 각각 촬영한 영상은 일부가 서로 중첩될 수 있다.
영상합성부(30)는 복수의 카메라에서 각각 촬영한 영상들을 합성하여 서라운드뷰를 나타내는 합성영상(S)을 합성할 수 있다. 또한, 영상합성부(30)는 복수의 카메라에서 촬영한 영상들이 중첩되는 중첩 영역의 내부에서 인접한 카메라에서 촬영한 영상들 사이를 합성하는 합성 경계를 설정할 수 있고, 복수의 카메라에서 촬영한 영상들의 일부가 서로 중첩된 영역에서 합성 경계에 따라 합성영상(S)을 합성할 수 있다.
도 2 내지 3은 본 발명의 일 실시예에 따른 복수의 정합카메라(10) 및 깊이카메라(20)가 설치된 차량(V)의 측면도 및 상면도를 각각 도시한 것이다.
도 2 내지 3을 더 참조하면, 제1카메라(11)는 차량(V)의 전면에 위치되고, 제2카메라(12)는 차량(V)의 후면에 위치되며, 제3카메라(13)는 차량(V)의 좌측면에 위치되고, 제4카메라(14)는 차량(V)의 우측면에 위치될 수 있다.
깊이카메라(20)는, 차량(V)의 주위로 적외선(IR)을 송신 및 수신함으로써 차량(V)의 주위에 존재하는 장애물과의 거리를 센싱할 수 있다.
일 실시예로, 깊이카메라(20)는 구 좌표계의 원점에서 펄스 변조된 적외선(IR) 빔을 목표물에 발사시켜 수평(pan,
Figure pat00001
)과 상하(tilt, θ)로 스캐닝하는 것으로, 구 표면(sphere surface)의 각기 다른 불연속 점(г, θ,
Figure pat00002
)의 분포(point-wise)에서 일어나는 역방향 산란(back scattering)으로 반사되어 원점으로 되돌아오는 시간이 티오에프(TOF: Time Of Flight)이다.
깊이카메라(20)는 이러한 적외선 펄스를 전자 신호로 변환시키기 위해 화소(pixels) 수에 따라 적외선 탐지소자(IR detector) 수가 달라지는 격자 형태 배열(grid array) 전자 눈(electronic eyes')을 사용한 3차원(г, θ,
Figure pat00003
) 영상 기기일 수 있다.
본 발명의 일 실시예에 따른 깊이카메라(20)는, 복수 개로 구비되며, 각각은 차량(V)의 전방, 후방 및 양측방에 위치된 장애물과의 거리 정보를 취득할 수 있다.
일 실시예로, 깊이카메라(20)는 차량(V)의 전방, 후방, 좌측방 및 우측방에 위치된 장애물과의 거리 정보를 취득하도록 복수의 정합카메라(10)에 대응되는 위치에서 각각 위치될 수 있다.
다른 실시예로, 깊이카메라(20)는, 차량(V)의 전단부 및 후단부에 복수 개가 좌우 방향으로 이격되게 배치되거나, 또는 차량(V)의 측단부에 복수 개가 전후 방향으로 이격되게 배치될 수 있다.
즉, 깊이카메라(20)는 차량(V)의 좌우 방향 및 전후 방향으로 복수 개가 이격되어 배치될 수 있다.
더 구체적으로, 깊이카메라(20)는 A필러, B필러, C필러, 양측 사이드미러, 전후 범퍼, 그릴, 가니쉬, 백판넬, 리피터, 전후 윈드쉴드 또는 도어핸들 등에 설치될 수 있다.
도 4 내지 7은 본 발명의 다양한 실시예에 따라 디스플레이 장치(50)에 표시되는 화면을 도시한 것이다.
도 4 내지 7을 더 참조하면, 영상합성부(30)는, 합성영상(S)에 장애물을 차량(V)으로부터 이격된 거리마다 기설정된 색으로 도시함으로써 장애물에 대한 거리 정보를 표시할 수 있다.
일 실시예로, 차량(V)으로부터 이격된 거리마다 색상이 기설정될 수 있다. 예를 들어, 차량(V)으로부터 이격된 거리가 매우 근접한 범위(10 cm ~ 1 m)에는 빨간색, 상대적으로 적게 근접한 범위(1 m ~ 2 m)의 경우 노란색, 중간 범위(2 m ~ 3 m)의 경우 녹색, 상대적으로 멀리 이격된 범위(3 m ~ 4 m)에서는 하늘색 및 매우 이격된 범위(4 m ~ 10 m)에서는 파란색 등으로 기설정될 수 있다.
또한, 다른 실시예로 차량(V)으로부터 이격된 거리가 가변됨에 따라 색상, 명도, 채도 등이 연속적으로 가변되도록 설정될 수 있다.
이에 따라, 합성영상(S)에 위치된 장애물은 기설정된 색으로 도시됨으로써 차량(V)으로부터 이격된 거리가 운전자에게 직관적으로 표시될 수 있다.
일 실시예로, 영상제어부(40)는, 합성영상(S)에서 차량(V)으로부터 이격된 거리가 기설정된 거리 이하인 장애물을 검출하고, 합성영상(S)에서 검출한 장애물이 포함된 영역을 확대한 확대영상(E) 및 합성영상(S)을 디스플레이 장치(50)로 동시에 표시할 수 있다.
특히 도 4에 도시한 것과 같이, 디스플레이 장치(50)에는 확대영상(E)과 합성영상(S)이 분할되어 동시에 표시될 수 있다.
여기서, 확대영상(E)은 차량(V)으로부터 이격된 거리가 기설정된 거리 이하인 장애물이 포함된 영역을 확대한 영상으로, 차량(V)의 일부 영역 및 장애물을 동시에 확대하여 표시할 수 있다.
장애물이 차량(V)으로부터 이격된 거리는 깊이카메라(20)로부터 취득한 거리 정보로부터 검출할 수 있다. 또한 여기서, 기설정된 거리는 예를 들어 1 m 로 설정될 수 있다.
영상제어부(40)는, 합성영상(S)에서 차량(V)으로부터 이격된 거리가 기설정된 거리 이하인 장애물이 복수 개로 검출된 경우, 검출된 장애물이 각각 포함된 복수의 확대영상(E)을 디스플레이 장치(50)에 분할하여 표시할 수 있다.
특히 도 5에 도시한 것과 같이, 차량(V)으로부터 이격된 거리가 기설정된 거리 이하인 장애물이 복수 개인 경우에 복수 개의 확대영상(E)을 디스플레이 장치(50)에 분할하여 표시할 수 있다.
예를 들어, 차량(V)으로부터 이격된 거리가 기설정된 거리 이하인 장애물이 2개인 경우 디스플레이 장치(50)의 표시 영역을 상하 방향 또는 좌우 방향으로 분할하여 2개의 확대영상(E)을 표시할 수 있다. 또한, 장애물이 3개인 경우 확대영상(E)을 삼각형으로 배치하며, 장애물이 4개인 경우 디스플레이 장치(50)의 표시 영역을 4등분하여 확대영상(E)을 표시할 수 있다.
다른 실시예로 영상제어부(40)는, 합성영상(S)에서 차량(V)으로부터 기설정된 거리 이하인 장애물을 검출하고, 복수의 정합카메라(10)에서 촬영한 영상 중 인접한 장애물이 포함된 영상 및 합성영상(S)을 디스플레이 장치(50)로 동시에 표시할 수 있다.
특히 도 6에 도시한 것과 같이, 복수의 정합카메라(10)에서 촬영한 영상 중 검출된 장애물이 포함된 영상이 합성영상(S)과 동시에 표시될 수 있다.
예를 들어, 검출된 장애물이 차량(V)의 후방에 위치된 경우에는 차량(V)의 후방을 촬영하는 제2카메라(12)에서 촬영한 영상이 합성영상(S)과 동시에 표시될 수 있다.
추가로, 영상제어부(40)는 장애물이 복수의 정합카메라(10)의 촬영 영역이 서로 중첩된 영역에 존재하는 경우에는 장애물이 포함된 영상을 분할하여 표시할 수 있다.
다른 실시예로, 영상제어부(40)는 장애물이 전방 영상 또는 후방 영상과 좌측방 영상 또는 우측방 영상에 동시에 표시되는 경우에는 좌측방 영상 또는 우측방 영상을 표시할 수 있다. 이에 따라, 차량(V)의 전방 또는 후방으로 진행하더라도 지속적으로 디스플레이 장치(50)에 장애물을 표시할 수 있다.
다른 실시예로, 영상제어부(40)는, 합성영상(S)에서 차량(V)으로부터 이격된 거리가 가장 짧은 장애물을 검출하고, 검출한 장애물이 포함된 영역을 확대한 확대영상(E) 및 합성영상(S)을 디스플레이 장치(50)로 동시에 표시할 수 있다.
특히 도 7에 도시한 것과 같이, 합성영상(S)에서 차량(V)으로부터 이격된 거리가 가장 짧은 장애물을 확대한 확대영상(E)을 합성영상(S)과 동시에 디스플레이 장치(50)로 표시할 수 있다.
즉, 영상합성부(30)는 합성영상(S)에서 복수 개의 장애물을 검출하고, 복수 개의 장애물의 거리 정보로부터 이격된 거리가 가장 짧은 장애물을 검출할 수 있다. 영상제어부(40)는 검출한 이격된 거리가 가장 짧은 장애물 및 차량(V)의 일부가 확대되어 표시된 확대영상(E)을 디스플레이 장치(50)로 표시할 수 있다.
도 8은 본 발명의 일 실시예에 따른 서라운드뷰 제공 방법의 순서도이다.
도 8을 더 참조하면, 본 발명의 일 실시예에 따른 서라운드뷰 제공 방법은 복수의 정합카메라(10)로 차량(V) 주위의 서로 상이한 영역을 각각 촬영하는 단계(S100); 깊이카메라(20)로 차량(V)의 주위에 존재하는 장애물과의 거리 정보를 취득하는 단계(S200); 복수의 정합카메라(10)에서 촬영한 영상에 존재하는 장애물에 깊이카메라(20)에서 취득한 장애물과의 거리 정보를 표시하는 합성영상(S)을 생성하는 단계(S300); 및 합성한 합성영상(S)을 디스플레이 장치(50)로 표시하는 단계(S500);를 포함한다.
장애물과의 거리 정보를 취득하는 단계(S200)에서는, 차량(V)의 주위로 적외선을 송신 및 수신함으로써 차량(V)의 주위에 존재하는 장애물과의 거리를 센싱할 수 있다.
합성영상(S)을 생성하는 단계(S300)에서는, 합성영상(S)에 장애물을 차량(V)으로부터 이격된 거리마다 기설정된 색으로 도시함으로써 장애물에 대한 거리 정보를 표시할 수 있다.
합성영상(S)을 디스플레이 장치(50)로 표시하는 단계(S500) 이전에, 합성영상(S)에서 차량(V)으로부터 이격된 거리가 기설정된 거리 이하인 장애물을 검출하는 단계(S400);를 더 포함하고, 합성영상(S)을 디스플레이 장치(50)로 표시하는 단계(S500)에서는, 합성영상(S)에서 검출한 장애물이 포함된 영역을 확대한 확대영상(E) 및 합성영상(S)을 디스플레이 장치(50)로 동시에 표시할 수 있다.
합성영상(S)을 디스플레이 장치(50)로 표시하는 단계(S500)에서는, 장애물을 검출하는 단계에서 합성영상(S)에 차량(V)으로부터 이격된 거리가 기설정된 거리 이하인 장애물이 복수 개로 검출된 경우, 검출된 장애물이 각각 포함된 복수의 확대영상(E)을 디스플레이 장치(50)에 분할하여 표시할 수 있다.
합성영상(S)을 디스플레이 장치(50)로 표시하는 단계(S500) 이전에, 합성영상(S)에서 차량(V)으로부터 이격된 거리가 기설정된 거리 이하인 장애물을 검출하는 단계(S400);를 더 포함하고, 합성영상(S)을 디스플레이 장치(50)로 표시하는 단계(S500)에서는, 복수의 정합카메라(10)에서 촬영한 영상 중 인접한 장애물이 포함된 영상 및 합성영상(S)을 디스플레이 장치(50)로 동시에 표시할 수 있다.
합성영상(S)을 디스플레이 장치(50)로 표시하는 단계(S500) 이전에, 합성영상(S)에서 차량(V)으로부터 이격된 거리가 가장 짧은 장애물을 검출하는 단계(S400);를 더 포함하고, 합성영상(S)을 디스플레이 장치(50)로 표시하는 단계에서는, 합성영상(S)에서 검출한 장애물이 포함된 영역을 확대한 확대영상(E) 및 합성영상(S)을 디스플레이 장치(50)로 동시에 표시할 수 있다.
본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.
10 : 정합카메라 20 : 깊이카메라
30 : 영상합성부 40 : 영상제어부
50 : 디스플레이 장치

Claims (17)

  1. 차량에 각각 탑재되고, 차량 주위의 서로 상이한 영역을 각각 촬영하는 복수의 정합카메라;
    차량의 주위에 존재하는 장애물과의 거리 정보를 취득하는 깊이카메라;
    복수의 정합카메라에서 촬영한 영상을 합성한 합성영상을 생성하고, 합성영상에 존재하는 장애물에 깊이카메라에서 취득한 장애물과의 거리 정보를 표시하는 영상합성부; 및
    합성한 합성영상을 디스플레이 장치로 표시하는 영상제어부;를 포함하는 서라운드뷰 모니터링 시스템.
  2. 청구항 1에 있어서,
    복수의 정합카메라에는, 차량의 전방을 촬영하는 제1카메라; 차량의 후방을 촬영하는 제2카메라; 차량의 좌측방을 촬영하는 제3카메라; 및 차량의 우측방을 촬영하는 제4카메라;가 포함된 것을 특징으로 하는 서라운드뷰 모니터링 시스템.
  3. 청구항 1에 있어서,
    깊이카메라는, 차량의 주위로 적외선을 송신 및 수신함으로써 차량의 주위에 존재하는 장애물과의 거리를 센싱하는 것을 특징으로 하는 서라운드뷰 모니터링 시스템.
  4. 청구항 1에 있어서,
    깊이카메라는, 복수 개로 구비되며, 각각은 차량의 전방, 후방 및 양측방에 위치된 장애물과의 거리 정보를 취득하는 것을 특징으로 하는 서라운드뷰 모니터링 시스템.
  5. 청구항 4에 있어서,
    깊이카메라는, 차량의 전단부 및 후단부에 복수 개가 좌우 방향으로 이격되게 배치되거나, 또는 차량의 측단부에 복수 개가 전후 방향으로 이격되게 배치된 것을 특징으로 하는 서라운드뷰 모니터링 시스템.
  6. 청구항 1에 있어서,
    영상합성부는, 합성영상에 장애물을 차량으로부터 이격된 거리마다 기설정된 색으로 도시함으로써 장애물에 대한 거리 정보를 표시하는 것을 특징으로 하는 서라운드뷰 모니터링 시스템.
  7. 청구항 1에 있어서,
    영상제어부는, 합성영상에서 차량으로부터 이격된 거리가 기설정된 거리 이하인 장애물을 검출하고, 합성영상에서 검출한 장애물이 포함된 영역을 확대한 확대영상 및 합성영상을 디스플레이 장치로 동시에 표시하는 것을 특징으로 하는 서라운드뷰 모니터링 시스템.
  8. 청구항 7에 있어서,
    영상제어부는, 합성영상에서 차량으로부터 이격된 거리가 기설정된 거리 이하인 장애물이 복수 개로 검출된 경우, 검출된 장애물이 각각 포함된 복수의 확대영상을 디스플레이 장치에 분할하여 표시하는 것을 특징으로 하는 서라운드뷰 모니터링 시스템.
  9. 청구항 1에 있어서,
    영상제어부는, 합성영상에서 차량으로부터 기설정된 거리 이하인 장애물을 검출하고, 복수의 정합카메라에서 촬영한 영상 중 인접한 장애물이 포함된 영상 및 합성영상을 디스플레이 장치로 동시에 표시하는 것을 특징으로 하는 서라운드뷰 모니터링 시스템.
  10. 청구항 1에 있어서,
    영상제어부는, 합성영상에서 차량으로부터 이격된 거리가 가장 짧은 장애물을 검출하고, 검출한 장애물이 포함된 영역을 확대한 확대영상 및 합성영상을 디스플레이 장치로 동시에 표시하는 것을 특징으로 하는 서라운드뷰 모니터링 시스템.
  11. 복수의 정합카메라로 차량 주위의 서로 상이한 영역을 각각 촬영하는 단계;
    깊이카메라로 차량의 주위에 존재하는 장애물과의 거리 정보를 취득하는 단계;
    복수의 정합카메라에서 촬영한 영상을 합성한 합성영상을 생성하고, 합성영상에 존재하는 장애물에 깊이카메라에서 취득한 장애물과의 거리 정보를 표시하는 단계; 및
    합성한 합성영상을 디스플레이 장치로 표시하는 단계;를 포함하는 서라운드뷰 제공 방법.
  12. 청구항 11에 있어서,
    장애물과의 거리 정보를 취득하는 단계에서는, 차량의 주위로 적외선을 송신 및 수신함으로써 차량의 주위에 존재하는 장애물과의 거리를 센싱하는 것을 특징으로 하는 서라운드뷰 제공 방법.
  13. 청구항 11에 있어서,
    합성영상을 생성하고 거리 정보를 표시하는 단계에서는, 합성영상에 장애물을 차량으로부터 이격된 거리마다 기설정된 색으로 도시함으로써 장애물에 대한 거리 정보를 표시하는 것을 특징으로 하는 서라운드뷰 제공 방법.
  14. 청구항 11에 있어서,
    합성영상을 디스플레이 장치로 표시하는 단계 이전에, 합성영상에서 차량으로부터 이격된 거리가 기설정된 거리 이하인 장애물을 검출하는 단계;를 더 포함하고,
    합성영상을 디스플레이 장치로 표시하는 단계에서는, 합성영상에서 검출한 장애물이 포함된 영역을 확대한 확대영상 및 합성영상을 디스플레이 장치로 동시에 표시하는 것을 특징으로 하는 서라운드뷰 제공 방법.
  15. 청구항 14에 있어서,
    합성영상을 디스플레이 장치로 표시하는 단계에서는, 장애물을 검출하는 단계에서 합성영상에 차량으로부터 이격된 거리가 기설정된 거리 이하인 장애물이 복수 개로 검출된 경우, 검출된 장애물이 각각 포함된 복수의 확대영상을 디스플레이 장치에 분할하여 표시하는 것을 특징으로 하는 서라운드뷰 제공 방법.
  16. 청구항 11에 있어서,
    합성영상을 디스플레이 장치로 표시하는 단계 이전에, 합성영상에서 차량으로부터 이격된 거리가 기설정된 거리 이하인 장애물을 검출하는 단계;를 더 포함하고,
    합성영상을 디스플레이 장치로 표시하는 단계에서는, 복수의 정합카메라에서 촬영한 영상 중 인접한 장애물이 포함된 영상 및 합성영상을 디스플레이 장치로 동시에 표시하는 것을 특징으로 하는 서라운드뷰 제공 방법.
  17. 청구항 11에 있어서,
    합성영상을 디스플레이 장치로 표시하는 단계 이전에, 합성영상에서 차량으로부터 이격된 거리가 가장 짧은 장애물을 검출하는 단계;를 더 포함하고,
    합성영상을 디스플레이 장치로 표시하는 단계에서는, 합성영상에서 검출한 장애물이 포함된 영역을 확대한 확대영상 및 합성영상을 디스플레이 장치로 동시에 표시하는 것을 특징으로 하는 서라운드뷰 제공 방법.
KR1020200136213A 2020-10-20 2020-10-20 서라운드뷰 모니터링 시스템 및 그 제공 방법 KR20220052172A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200136213A KR20220052172A (ko) 2020-10-20 2020-10-20 서라운드뷰 모니터링 시스템 및 그 제공 방법
US17/497,869 US11648888B2 (en) 2020-10-20 2021-10-08 Surround view monitoring system and providing method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200136213A KR20220052172A (ko) 2020-10-20 2020-10-20 서라운드뷰 모니터링 시스템 및 그 제공 방법

Publications (1)

Publication Number Publication Date
KR20220052172A true KR20220052172A (ko) 2022-04-27

Family

ID=81184979

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200136213A KR20220052172A (ko) 2020-10-20 2020-10-20 서라운드뷰 모니터링 시스템 및 그 제공 방법

Country Status (2)

Country Link
US (1) US11648888B2 (ko)
KR (1) KR20220052172A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115503745A (zh) * 2021-06-04 2022-12-23 丰田自动车株式会社 车辆用显示装置、车辆用显示系统、车辆用显示方法以及存储有程序的非临时性存储介质
CN115131992A (zh) * 2022-06-29 2022-09-30 福建盛海智能科技有限公司 一种基于双目相机的车辆盲区障碍物示警方法及终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124232A (ko) 2016-05-02 2017-11-10 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6727971B2 (ja) * 2016-07-19 2020-07-22 株式会社クボタ 作業車
CN109076195B (zh) * 2016-09-20 2021-03-05 Jvc 建伍株式会社 俯瞰影像生成装置、系统、方法以及存储介质
DE102017218074A1 (de) * 2017-10-11 2019-04-11 Robert Bosch Gmbh Verfahren zum Darstellen einer Umgebung eines Fahrzeugs
KR20220002941A (ko) * 2019-04-26 2022-01-07 스미토모 겐키 가부시키가이샤 쇼벨
DE102019123778A1 (de) * 2019-09-05 2021-03-11 Valeo Schalter Und Sensoren Gmbh Darstellen einer Fahrzeugumgebung zum Bewegen des Fahrzeugs zu einer Zielposition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124232A (ko) 2016-05-02 2017-11-10 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법

Also Published As

Publication number Publication date
US11648888B2 (en) 2023-05-16
US20220118916A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
JP6937443B2 (ja) 撮像装置及び撮像装置の制御方法
JP7010221B2 (ja) 画像生成装置、画像生成方法、及び、プログラム
US8885045B2 (en) Device and method for monitoring vehicle surroundings
EP2763407B1 (en) Vehicle surroundings monitoring device
US9672432B2 (en) Image generation device
JP5999032B2 (ja) 車載表示装置およびプログラム
US7728879B2 (en) Image processor and visual field support device
US8044781B2 (en) System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
US11648888B2 (en) Surround view monitoring system and providing method of the same
JP5516998B2 (ja) 画像生成装置
JP5959264B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム
US11398050B2 (en) Apparatus, method and system for adjusting predefined calibration data for generating a perspective view
WO2010070920A1 (ja) 車両周囲画像生成装置
JP2002359838A (ja) 運転支援装置
JP5622986B2 (ja) 画像表示システム、画像処理装置及び画像表示方法
JP2009206747A (ja) 車両用周囲状況監視装置及び映像表示方法
US20200137322A1 (en) Image processing apparatus
CN112351242A (zh) 图像处理装置以及图像处理方法
KR20190067578A (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JP2020052671A (ja) 表示制御装置、車両、表示制御方法
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
KR20210092605A (ko) 어라운드뷰 합성 시스템 및 방법
US20230098424A1 (en) Image processing system, mobile object, image processing method, and storage medium
US20230113406A1 (en) Image processing system, mobile object, image processing method, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination