KR102554594B1 - 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법 - Google Patents

차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법 Download PDF

Info

Publication number
KR102554594B1
KR102554594B1 KR1020180079384A KR20180079384A KR102554594B1 KR 102554594 B1 KR102554594 B1 KR 102554594B1 KR 1020180079384 A KR1020180079384 A KR 1020180079384A KR 20180079384 A KR20180079384 A KR 20180079384A KR 102554594 B1 KR102554594 B1 KR 102554594B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
surrounding
camera
wide
Prior art date
Application number
KR1020180079384A
Other languages
English (en)
Other versions
KR20200005865A (ko
Inventor
조흥래
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020180079384A priority Critical patent/KR102554594B1/ko
Priority to CN201910610229.XA priority patent/CN110696743B/zh
Priority to US16/506,065 priority patent/US20200010017A1/en
Publication of KR20200005865A publication Critical patent/KR20200005865A/ko
Application granted granted Critical
Publication of KR102554594B1 publication Critical patent/KR102554594B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법이 개시된다. 본 발명의 차량의 광역 서라운드 뷰 모니터링 장치는, 자차량에 설치되어 주변 영상을 획득하여 무선으로 송신하고, 주변차량으로부터 카메라 영상을 무선으로 수신받아 수신신호강도를 측정하며, 자차량의 주변 영상 및 주변차량의 카메라 영상과 함께 수신신호강도를 차량 네트워크를 통해 전송하는 카메라 모듈; 및 카메라 모듈로부터 차량 네트워크를 통해 자차량의 주변 영상 및 주변차량의 카메라 영상과 수신신호강도를 수신하여 주변차량과의 충돌 가능성을 판단하여 출력하고, 자차량의 주변 영상과 주변차량의 카메라 영상을 합성하여 광역 SVM 뷰를 구성하며, 자차량의 주행 가능 공간을 계산하여 로컬 광역 영상 맵을 생성하는 제어부를 포함하는 것을 특징으로 한다.

Description

차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법{WIDE AREA SURROUND VIEW MONITORING APPARATUS FOR VEHICLE AND CONTROL METHOD THEREOF}
본 발명은 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 주변차량으로부터 카메라 영상을 입력받아 자차량의 서라운드 영상과 합성하여 광역 서라운드 뷰를 생성하고, 영상의 겹침 정도를 통해 충돌방지 기능을 제공할 뿐만 아니라 자차량 주변의 로컬 광역 영상 맵을 생성하는 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법에 관한 것이다.
일반적으로, 자동차 산업의 발달로 인하여 자동차의 보급은 상용화되었고, 차량의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자기술이 자동차에 적용되고 있다.
이러한 첨단 전자기술 중 자동차의 주변환경을 촬영하여 표시함으로써 운전자가 자동차의 주변환경을 육안을 통해 편리하게 확인할 수 있도록 운전자에게 탑뷰(top view) 또는 어라운드 뷰(around view) 영상을 디스플레이해주는 차량의 서라운드 뷰 모니터링 시스템이 장착되어 있다.
차량의 서라운드 뷰 모니터링 시스템은 차량의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변환경을 화면상에 표시한다. 이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드미러나 백 미러를 보지 않고도 편리하게 주차하거나 주행할 수 있다.
본 발명의 배경기술은 대한민국 등록특허공보 제1603609호(2016.03.28. 공고, 차량용 어라운드 뷰 모니터링 시스템 및 이의 방법)에 개시되어 있다.
이와 같이 서라운드 뷰 모니터링 시스템은 자차량에 장착된 다수의 카메라에서 취득된 제한된 영상을 기반으로 서라운드 뷰를 생성하기 때문에 주변차량의 영상 영역까지 서라운드 뷰의 영역을 확장하여 광역 서라운드 뷰를 생성하고자 할 경우에는 한계가 있는 문제점이 있다. 또한 서로 다른 시간의 영상 프레임을 영상 합성하고 있어 시간 흐름에 따른 영상 변화를 반영하지 못하는 문제점이 있다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 주변차량으로부터 카메라 영상을 입력받아 자차량의 서라운드 영상과 합성하여 광역 서라운드 뷰를 생성하고, 영상의 겹침 정도를 통해 충돌방지 기능을 제공할 뿐만 아니라 자차량 주변의 로컬 광역 영상 맵을 생성하는 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법을 제공하는 것이다.
본 발명의 일 측면에 따른 차량의 광역 서라운드 뷰 모니터링 장치는, 자차량에 설치되어 주변 영상을 획득하여 무선으로 송신하고, 주변차량으로부터 카메라 영상을 무선으로 수신받아 수신신호강도를 측정하며, 자차량의 주변 영상 및 주변차량의 카메라 영상과 함께 수신신호강도를 차량 네트워크를 통해 전송하는 카메라 모듈; 및 카메라 모듈로부터 차량 네트워크를 통해 자차량의 주변 영상 및 주변차량의 카메라 영상과 수신신호강도를 수신하여 주변차량과의 충돌 가능성을 판단하여 출력하고, 자차량의 주변 영상과 주변차량의 카메라 영상을 합성하여 광역 SVM 뷰를 구성하며, 자차량의 주행 가능 공간을 계산하여 로컬 광역 영상 맵을 생성하는 제어부를 포함하는 것을 특징으로 한다.
본 발명에서 제어부는, 자차량의 주변 영상과 주변차량의 카메라 영상 간 겹침 정도와 수신신호강도를 기반으로 주변차량과의 충돌 가능성을 판단하고, 판단 결과를 자율주행부로 출력하는 것을 특징으로 한다.
본 발명에서 제어부는, 주변차량의 카메라 영상이 수신되지 않은 방향에 대해, 카메라 모듈의 목표 시야방향을 넓혀 자차량의 주변 영상을 획득하여 광역 SVM 뷰를 구성하는 것을 특징으로 한다.
본 발명에서 카메라 모듈은, 복수의 렌즈가 포함된 멀티 레이어 렌즈 구조가 적용되어, 초점 거리 및 각 렌즈의 굴절률이 제어됨에 따라 화각(FOV: Field Of View)이 가변되는 가변 화각 카메라 모듈인 것을 특징으로 한다.
본 발명에서 제어부는, 주변차량의 카메라 영상이 수신되지 않는 방향에 대해, 카메라 모듈로 화각을 넓히기 위한 제어정보를 송신한 후 자차량의 주변 영상을 획득하여 광역 SVM 뷰를 구성하는 것을 특징으로 한다.
본 발명에서 제어부는, 주변차량과의 근접거리, 주변 근접물체의 인식상태 및 카메라 모듈로부터 입력되는 영상의 최대 영역을 기반으로 주행 가능 공간을 계산하고, 네이게이션과 연동하여 로컬 광역 영상 맵을 생성하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법은, 카메라 모듈이 자차량의 주변 영상을 획득하는 단계; 카메라 모듈이 주변차량으로부터 카메라 영상을 무선으로 수신받는 단계; 카메라 모듈이 무선으로 수신받은 카메라 영상의 수신신호강도를 측정하는 단계; 카메라 모듈이 자차량의 주변 영상 및 주변차량의 카메라 영상과 함께 수신신호강도를 차량 네트워크를 통해 전송하는 단계; 제어부가 카메라 모듈로부터 자차량의 주변 영상 및 주변차량의 카메라 영상과 함께 수신신호강도를 수신받아 주변차량과의 충돌가능성을 판단하는 단계; 제어부가 자차량의 주변 영상과 주변차량의 카메라 영상을 합성하여 광역 SVM 뷰를 구성하는 단계; 및 제어부가 자차량의 주행 가능 공간을 계산하여 로컬 광역 영상 맵을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서 주변차량과의 충돌가능성을 판단하는 단계는, 제어부가 자차량의 주변 영상과 주변차량의 카메라 영상 간 겹침정도를 판단하는 단계; 제어부가 수신신호강도를 기반으로 주변차량과의 차간거리를 판단하는 단계; 및 제어부가 겹침정도와 차간거리를 기반으로 주변차량과의 충돌가능성을 판단하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 제어부가 주변차량과의 충돌가능성을 자율주행부로 출력하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에서 광역 SVM 뷰를 구성하는 단계는, 제어부가 주변차량의 카메라 영상이 수신되지 않은 방향이 있는지 판단하는 단계; 제어부가 주변차량의 카메라 영상이 수신되지 않은 방향이 있는 경우, 수신되지 않은 방향의 자차량의 주변 영상을 확장하는 단계; 및 제어부가 자차량의 주변 영상과 주변차량의 카메라 영상을 합성하여 광역 SVM 뷰를 구성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서 자차량의 주변 영상을 확장하는 단계는, 제어부가 주변차량의 카메라 영상이 수신되지 않은 방향에 대해, 카메라 모듈의 목표 시야방향을 넓혀 자차량의 주변 영상을 획득하는 것을 특징으로 한다.
본 발명에서 자차량의 주변 영상을 확장하는 단계는, 제어부가 주변차량의 카메라 영상이 수신되지 않는 방향에 대해, 카메라 모듈로 화각을 넓히기 위한 제어정보를 송신한 후 자차량의 주변 영상을 획득하는 것을 특징으로 한다.
본 발명에서 로컬 광역 영상 맵을 생성하는 단계는, 제어부가 주변차량과의 근접거리를 계산하는 단계; 제어부가 주변 근접 물체를 인식하는 단계; 제어부가 주변차량과의 근접거리, 주변 근접 물체의 인식상태 및 카메라 모듈로부터 입력되는 영상의 최대 영역을 기반으로 주행 가능 공간을 계산하는 단계; 및 제어부가 주행 가능 공간에 따라 네비게이션과 연동하여 로컬 광역 영상 맵을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서 로컬 광역 영상 맵을 생성하는 단계는, 제어부가 주행 가능 공간에 따라 카메라 모듈의 영상을 확장시키기 위한 카메라 화각제어와 센싱 주파수를 제어하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법은 주변차량으로부터 카메라 영상을 입력받아 자차량의 서라운드 영상과 합성하여 광역 서라운드 뷰를 생성하고, 영상의 겹침 정도를 통해 충돌방지 기능을 제공할 뿐만 아니라 자차량 주변의 로컬 광역 영상 맵을 생성함으로써, 고속도로 주행, 도심 저속 주행 및 주차 모드에서 주변의 시야를 넓혀 운전자의 주행 편의성을 증대시킬 수 있을 뿐만 아니라 고해상도의 HD 맵 및 고성능의 GPS나 IMU(Inertial Measurement Unit) 장비의 추가 없이 로컬 광역 영상 맵을 기반으로 자율주행을 지원할 수 있으며, 주변차량과의 충돌을 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치에서 카메라 모듈의 배치상태를 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치에서 영상의 겹침상태를 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치에서 광역 SVM 뷰를 구성하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치에서 영상을 확장하여 광역 SVM 뷰를 구성하는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치에서 로컬 광역 영상 맵을 구성하는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치에서 로컬 광역 영상 맵을 생성하기 위한 영상의 확장 상태를 나타낸 예시도이다.
도 8은 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법에서 로컬 광역 영상 맵을 구성하는 과정을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치에서 카메라 모듈의 배치상태를 나타낸 예시도이며, 도 3은 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치에서 영상의 겹침상태를 나타낸 예시도이고, 도 4는 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치에서 광역 SVM 뷰를 구성하는 예시도이며, 도 5는 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치에서 영상을 확장하여 광역 SVM 뷰를 구성하는 예시도이고, 도 6은 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치에서 로컬 광역 영상 맵을 구성하는 예시도이며, 도 7은 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치에서 로컬 광역 영상 맵을 생성하기 위한 영상의 확장 상태를 나타낸 예시도이다.
도 1 내지 도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치는, 카메라 모듈(100) 및 제어부(200)를 포함할 수 있다.
카메라 모듈(100)은 도 2에 도시된 바와 같이 자차량의 전면, 후면, 좌측면, 우측면 및 중앙에 설치되어 주변 영상을 획득하여 무선으로 송신하고, 주변차량으로부터 카메라 영상을 무선으로 수신받아 수신신호강도(RSSI: Received Signal Strength Indication)를 계산하며, 자차량의 주변 영상 및 주변차량의 카메라 영상과 함께 수신신호강도를 차량 네트워크를 통해 전송할 수 있다.
또한, 본 실시예에서 카메라 모듈(100)은 복수의 렌즈가 포함된 멀티 레이어 렌즈 구조가 적용되어, 초점 거리(Focal Length) 및 상기 각 렌즈의 굴절률이 제어됨에 따라 화각(FOV: Field Of View)이 가변되는 가변 화각 카메라 모듈일 수 있다.
가변 화각 카메라 모듈은 인가되는 전기 신호에 의해 각 렌즈를 구성하는 결정 물질의 특성이 변경되어 각 렌즈의 굴절률이 제어될 수 있으며, 또한 주지된 바와 같이 초점 거리가 작아질수록 화각이 증가하고 해상도가 감소하며, 초점 거리가 증가할수록 화각이 감소하고 해상도가 증가하기 때문에, 가변 화각 카메라 모듈은 초점 거리 및 각 렌즈의 굴절률의 조합을 통해 다양한 화각을 가질 수 있다(즉, 화각이 가변될 수 있다).
카메라 모듈(100)의 구성에 대해 보다 구체적으로 설명하면, 카메라 모듈(100)은 CPU에서 카메라 모듈(100)을 작동을 제어하고, 메모리에는 이미지 센서를 통해 획득한 주변 영상을 임시 저장하거나 카메라 모듈(100)의 제어정보를 저장할 뿐만 아니라 카메라 모듈(100)의 작동을 위한 프로그램이 저장될 수 있다.
이와 같이 카메라 모듈(100)은 이미지 센서를 통해 주변을 센싱하여 주변 영상을 획득하고, 무선 송수신기를 통해 주변차량의 카메라와 통신하여 주변차량의 카메라 영상을 수신받으며, 주변차량과 무선 송수신할 때 암/복호화 모듈을 통해 보안을 유지하고, RSSI 측정모듈을 통해 주변 차량으로부터 수신되는 영상 신호의 수신신호강도를 측정한 후 위치판단 모듈에서 이를 기반으로 주변차량과의 차간거리를 판단할 수 있도록 한다.
또한, 가변 FOV 제어모듈을 통해 카메라 모듈(100)의 화각을 조절하여 확장된 영상을 획득하고 이미지 센서의 센싱 주파수를 제어할 수 있다.
그리고, 카메라 모듈(100)은 제어부(200)와 차량 네트워크 I/F를 통해 CAN이나 이더넷을 통해 자차량의 주변 영상 및 주변차량의 카메라 영상과 함께 수신신호강도를 제어부(200)에 전송할 수 있다.
제어부(200)는 카메라 모듈(100)로부터 차량 네트워크 I/F를 통해 자차량의 주변 영상 및 주변차량의 카메라 영상과 수신신호강도를 수신하여 메모리에 저장하고, 겹침영역 및 근접거리 판단모듈과, 충돌판단 모듈을 통해 주변차량과의 충돌 가능성을 판단하여 출력하고, 광역 SVM 구성 모듈을 통해 자차량의 주변 영상과 주변차량의 카메라 영상을 합성하여 광역 SVM 뷰를 구성하며, 주행 가능 공간 계산 모듈과 로컬 광역 영상 맵 생성 모듈을 통해 자차량의 주행 가능 공간을 계산하여 로컬 광역 영상 맵을 생성하여 표시부(300)와 자율주행부(400)로 출력할 수 있다.
보다 구체적으로 제어부(200)는 자차량의 주변 영상을 도 2에 도시된 바와 같이 자차량의 전면, 후면, 좌측면, 우측면 및 중앙에 각각 설치된 전면 카메라 모듈(110), 후면 카메라 모듈(120), 좌측면 카메라 모듈(130), 우측면 카메라 모듈(140) 및 중앙 카메라 모듈(150)로부터 각각 주변 영상을 입력받을 수 있다.
또한, 각각의 카메라 모듈(100)은 제어부(200)에서 가변 FOV 제어모듈을 통해 화각 제어와 센싱 주파수 제어에 따라 주변 영상을 획득할 수 있다.
또한, 제어부(200)는 도 3에 도시된 바와 같이 자차량의 주변 영상과 주변차량의 카메라 영상 간 겹침정도와 수신신호강도를 기반으로 주변차량과의 충돌 가능성을 판단할 수 있다.
즉, 도 3의 (가)에 도시된 바와 같이 자차량의 주변 영상과 주변차량의 카메라 영상 간 겹침이 없는 경우에는 충돌 가능성이 없다. 또한, 수신신호강도가 작을 경우에도 충돌 가능성은 낮게 된다.
그러나 도 3의 (나)에 도시된 경우에는 자차량의 주변 영상과 주변차량의 카메라 영상이 서로 겹치는 부분이 발생하게 되어 주변차량과의 근접상태를 판단할 수 있고, 수신신호강도를 통해서도 충돌 가능성을 높게 판단할 수 있다.
이와 같이 충돌 가능성의 판단결과는 제어부(200)가 자율주행부(400)로 출력하여 주변차량과의 충돌 가능성에 따라 조향 및 제동제어 및 충돌 경고를 수행하도록 할 수 있다.
또한, 제어부(200)는 광역 SVM 구성 모듈을 통해 도 4에 도시된 바와 같이 자차량의 주변 영상과 주변차량의 카메라 영상을 합성하여 광역 SVM 뷰를 구성할 수 있다.
즉, 도 4의 (가)와 같이 자차량의 사방으로 주변차량의 존재하여 모든 방향에서 주변차량의 카메라 영상이 수신되면, 도 4의 (나)와 같이 자차량의 주변 영상 외곽으로 주변차량의 카메라 영상이 배치되기 때문에 제어부(200)가 이를 합성할 경우 도 4의 (다)와 같은 광역 SVM 뷰가 구성되어 자차량의 가시 영역이 확대될 수 있다.
반면, 도 5와 같이 주변차량의 카메라 영상이 수신되지 않는 방향이 존재할 경우, 제어부(200)는 카메라 모듈(100)의 목표 시야방향을 넓혀 자차량의 주변 영상을 획득하여 광역 SVM 뷰를 구성할 수 있다.
또는, 제어부(200)의 가변 FOV 제어모듈을 통해 카메라 모듈(100)로 화각을 넓히기 위한 제어정보를 송신한 후 자차량의 주변 영상을 획득하여 광역 SVM 뷰를 구성할 수도 있다.
즉, 도 5의 (가)와 같이 자차량의 좌측에 주변차량이 존재하지 않는 경우 도 5의 (다)와 같이 자차량의 주변 영상 외곽에서 좌측에는 주변차량의 카메라 영상이 배치되지 않게 된다. 따라서 제어부(200)는 도 5의 (나)와 같이 자차량의 주변 영상을 확장하여 주변차량의 카메라 영상과 합성함으로써 도 5의 (라)와 같은 광역 SVM 뷰를 구성하여 자차량의 가시 영역을 확대할 수 있다.
또한, 제어부(200)는 주변차량과의 근접거리, 주변 근접물체의 인식상태 및 카메라 모듈로부터 입력되는 영상의 최대 영역을 기반으로 주행 가능 공간을 계산하고, 네이게이션과 연동하여 로컬 광역 영상 맵을 생성할 수 있다.
도 6의 (가)에 도시된 바와 같이 제어부(200)는 빠른 카메라 센싱 주파수로, 카메라 모듈(100)의 화각을 주기적으로 변화시켜 자차량 주변 영상을 확장하여 취득하고, 주변차량과의 근접거리 및 주변 근접물체를 인식한다.
이렇게 자차량 주변의 광역 공간에 대해 도 6의 (나)와 같이 주행 가능 공간을 계산하여 네비게이션과 연동하여 로컬 광역 영상 맵을 구성함으로써, 자율주행부(400)에서 고해상도 HD Map 및 고성능 GPS/IMU 센서의 도움 없이 네비게이션에서 제공하는 최소한의 GPS 정보만으로 자율주행을 위한 Global 및 Local Path Planing이 가능하다.
여기서 제어부(200)는 카메라 모듈(100)의 센싱 주파수 변경시, 차량 이동으로 인해 확보하지 못한 영상 영역 또는 저화질 영상영역은 카메라 모듈(100)의 다음 센싱 주기의 영상으로 보충하여 전체적인 광역 영상 데이터를 확보할 수 있다. 이와 같은 방식으로 확보된 로컬 광역 영상 맵은 차량 내 자체 저장 공간에 저장하거나 표시부(300) 및 자율주행부(400)로 출력할 수 있다.
또한, 제어부(200)는 카메라 센싱 주파수 증대 및 화각 변경을 통해 로컬 광역 영상 맵을 구성할 때, 광역 영상 데이터가 차량 이동거리를 충분히 커버하여 미확보 영상 영역이 없이 연속적이고 자연스러운 로컬 광역 영상 맵이 구성될 수 있도록 차속 및 시간 정보를 고려하여 카메라 모듈(100)의 센싱 주파수 및 화각을 능동적으로 변경 제어할 수 있다.
도 7의 (가), (나), (다)에 도시된 바와 같이 제어부(200)는 카메라 모듈(100)의 화각을 1단계, 2단계, 3단계로 가변시켜 (다)와 같이 영상을 통합/합성함으로써 광역 영상 데이터를 확보할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 의한 차량의 광역 서라운드 뷰 모니터링 장치에 따르면, 주변차량으로부터 카메라 영상을 입력받아 자차량의 서라운드 영상과 합성하여 광역 서라운드 뷰를 생성하고, 영상의 겹침 정도를 통해 충돌방지 기능을 제공할 뿐만 아니라 자차량 주변의 로컬 광역 영상 맵을 생성함으로써, 고속도로 주행, 도심 저속 주행 및 주차 모드에서 주변의 시야를 넓혀 운전자의 주행 편의성을 증대시킬 수 있을 뿐만 아니라 고해상도의 HD 맵 및 고성능의 GPS나 IMU 장비의 추가 없이 로컬 광역 영상 맵을 기반으로 자율주행을 지원할 수 있으며, 주변차량과의 충돌을 방지할 수 있다.
도 8은 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법을 설명하기 위한 흐름도이고, 도 9는 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법에서 로컬 광역 영상 맵을 구성하는 과정을 설명하기 위한 흐름도이다.
도 8에 도시된 바와 같이 본 발명의 일 실시예에 따른 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법에서는 먼저, 카메라 모듈(100)이 자차량의 주변 영상을 획득한다(S10).
S10 단계에서 자차량의 주변 영상을 획득한 후 카메라 모듈(100)은 주변차량으로부터 카메라 영상을 무선으로 수신받는다(S20).
S20 단계에서 주변차량으로부터 카메라 영상을 무선으로 수신받은 후 카메라 모듈(100)은 무선으로 카메라 영상의 수신신호강도를 측정한다(S30).
S30 단계에서 카메라 영상의 수신신호강도를 측정한 후 카메라 모듈(100)은 자차량의 주변 영상 및 주변차량의 카메라 영상과 함께 수신신호강도를 차량 네트워크를 통해 제어부(200)로 전송한다(S40).
S40 단계에서 차량 네트워크를 통해 전송된 자차량의 주변 영상, 주변차량의 카메라 영상과 수신신호강도를 제어부(200)가 수신한다(S50).
S50 단계에서 카메라 모듈(100)로부터 전송된 자차량의 주변 영상과 주변차량의 카메라 영상을 수신받은 후 제어부(200)는 자차량의 주변 영상과 주변차량의 카메라 영상과의 겹침영역을 판단하고, 수신신호강도를 기반으로 주변차량과의 근접거리를 판단한다(S60).
S60 단계에서 겹침영역과 근접거리를 판단한 후 제어부(200)는 이를 기반으로 주변차량과의 충돌 가능성을 판단하여 자율주행부(400)로 출력할 수 있다(S70).
여기서 제어부(200)는 도 3에 도시된 바와 같이 자차량의 주변 영상과 주변차량의 카메라 영상 간 겹침정도와 수신신호강도를 기반으로 주변차량과의 충돌 가능성을 판단할 수 있다.
즉, 도 3의 (가)에 도시된 바와 같이 자차량의 주변 영상과 주변차량의 카메라 영상 간 겹침이 없는 경우에는 충돌 가능성이 없다. 또한, 수신신호강도가 작을 경우에도 충돌 가능성은 낮게 된다.
그러나 도 3의 (나)에 도시된 경우에는 자차량의 주변 영상과 주변차량의 카메라 영상이 서로 겹치는 부분이 발생하게 되어 주변차량과의 근접상태를 판단할 수 있고, 수신신호강도를 통해서도 충돌 가능성을 높게 판단할 수 있다.
이와 같이 충돌 가능성의 판단결과는 제어부(200)가 자율주행부(400)로 출력하여 주변차량과의 충돌 가능성에 따라 조향 및 제동제어 및 충돌 경고를 수행하도록 할 수 있다.
S70 단계에서 주변차량과의 충돌 가능성을 판단한 후 제어부(200)는 자차량의 주변 영상과 주변차량의 카메라 영상을 합성하여 광역 SVM 뷰를 구성할 수 있다(S80).
여기서 제어부(200)는 도 4의 (가)와 같이 자차량의 사방으로 주변차량의 존재하여 모든 방향에서 주변차량의 카메라 영상이 수신되면, 도 4의 (나)와 같이 자차량의 주변 영상 외곽으로 주변차량의 카메라 영상이 배치되기 때문에 이를 합성하여 도 4의 (다)와 같은 광역 SVM 뷰를 구성하여 자차량의 가시 영역이 확대할 수 있다.
반면, 도 5와 같이 주변차량의 카메라 영상이 수신되지 않는 방향이 존재할 경우, 제어부(200)는 카메라 모듈(100)의 목표 시야방향을 넓혀 자차량의 주변 영상을 획득하여 광역 SVM 뷰를 구성할 수 있다.
또는, 제어부(200)는 카메라 모듈(100)로 화각을 넓히기 위한 카메라 제어정보를 카메라 모듈(100)로 송신한다(S85).
S85 단계에서 카메라 모듈의 화각을 가변하기 위한 카메라 제어정보를 송신하면 카메라 모듈(100)은 카메라 제어정보를 수신하여 주변 영상을 회득하는 과정을 반복하게 된다(S110).
이와 같이 제어부(200)는 S85 단계에서 카메라 모듈로 화각을 넓히기 위한 제어정보를 송신한 후 획득된 자차량의 주변 영상과 주변차량의 카메라 영상을 합성하여 광역 SVM 뷰를 구성할 수 있다.
즉, 도 5의 (가)와 같이 자차량의 좌측에 주변차량이 존재하지 않는 경우 도 5의 (다)와 같이 자차량의 주변 영상 외곽에서 좌측에는 주변차량의 카메라 영상이 배치되지 않게 된다. 따라서 제어부(200)는 도 5의 (나)와 같이 자차량의 주변 영상을 확장하여 주변차량의 카메라 영상과 합성함으로써 도 5의 (라)와 같은 광역 SVM 뷰를 구성하여 자차량의 가시 영역을 확대할 수 있다.
S80 단계에서 광역 SVM 뷰를 구성한 후 제어부(200)는 자차량의 주행 가능 공간을 계산한다(S90).
S90 단계에서 자차량의 주행 가능 공간을 계산한 후 제어부(100)는 카메라 모듈(200)로 화각제어 및 센싱 주파수 제어를 위한 카메라 제어정보를 송신한다(S105). 이후 제어부(200)는 카메라 모듈(100)로부터 수신되는 자차량의 주변 영상을 기반으로 로컬 광역 영상 맵을 생성한다(S100).
도 9를 참조하여 보다 구체적으로 설명하면, 제어부는 자차량의 주변 영상과 주변차량의 카메라 영상 및, 수신신호강도를 기반으로 주변차량과의 근접거리를 계산한다(S200).
또한, S200 단계에서 계산하는 근접거리를 기반으로 제어부(200)는 주변 근접 물체를 인식할 수 있다(S210).
S200 단계와 S210 단계에서 계산한 주변차량과의 근접거리와 주변 근접 물체의 인식상태 및 카메라 모듈(100)로부터 화각을 가변시켜 입력될 수 있는 영상의 최대 영역을 기반으로 제어부(200)는 자차량의 주행 가능 공간을 계산할 수 있다(S220).
또한, 제어부(200)는 네비게이션과 연동하여 GPS 정보를 수신받을 수 있다(S230).
S220 단계에서 자차량의 주행 가능 공간을 계산한 후 제어부는 주행 가능 공간에 따라 카메라 모듈의 영상을 확장시키기 위한 카메라 FOV 제어를 통해 화각을 가변시키고, 센싱 주파수를 제어한다(S240)(S250).
이후 제어부(200)는 카메라 모듈(100)로부터 수신되는 자차량의 주변 영상을 기반으로 로컬 광역 영상 맵을 생성할 수 있다(S260).
도 6의 (가)에 도시된 바와 같이 제어부(200)는 빠른 카메라 센싱 주파수로, 카메라 모듈(100)의 화각을 주기적으로 변화시켜 자차량 주변 영상을 확장하여 취득하고, 주변차량과의 근접거리 및 주변 근접물체를 인식한다.
이렇게 자차량 주변의 광역 공간에 대해 도 6의 (나)와 같이 주행 가능 공간을 계산하여 네비게이션과 연동하여 로컬 광역 영상 맵을 구성함으로써, 자율주행부(400)에서 고해상도 HD Map 및 고성능 GPS/IMU 센서의 도움 없이 네비게이션에서 제공하는 최소한의 GPS 정보만으로 자율주행을 위한 Global 및 Local Path Planing이 가능하다.
여기서 제어부(200)는 카메라 모듈(100)의 센싱 주파수 변경시, 차량 이동으로 인해 확보하지 못한 영상 영역 또는 저화질 영상영역은 카메라 모듈(100)의 다음 센싱 주기의 영상으로 보충하여 전체적인 광역 영상 데이터를 확보할 수 있다.
또한, 제어부(200)는 카메라 센싱 주파수 증대 및 화각 변경을 통해 로컬 광역 영상 맵을 구성할 때, 광역 영상 데이터가 차량 이동거리를 충분히 커버하여 미확보 영상 영역이 없이 연속적이고 자연스러운 로컬 광역 영상 맵이 구성될 수 있도록 차속 및 시간 정보를 고려하여 카메라 모듈(100)의 센싱 주파수 및 화각을 능동적으로 변경 제어할 수 있다.
S100 단계에서 생성된 로컬 광역 영상 맵은 차량 내 자체 저장 공간에 저장하거나 표시부(300) 및 자율주행부(400)로 출력할 수 있다(S120).
상술한 바와 같이, 본 발명의 실시예에 의한 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법에 따르면, 주변차량으로부터 카메라 영상을 입력받아 자차량의 서라운드 영상과 합성하여 광역 서라운드 뷰를 생성하고, 영상의 겹침 정도를 통해 충돌방지 기능을 제공할 뿐만 아니라 자차량 주변의 로컬 광역 영상 맵을 생성함으로써, 고속도로 주행, 도심 저속 주행 및 주차 모드에서 주변의 시야를 넓혀 운전자의 주행 편의성을 증대시킬 수 있을 뿐만 아니라 고해상도의 HD 맵 및 고성능의 GPS나 IMU 장비의 추가 없이 로컬 광역 영상 맵을 기반으로 자율주행을 지원할 수 있으며, 주변차량과의 충돌을 방지할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.
100 : 카메라 모듈
200 : 제어부
300 : 표시부
400 : 자율주행부

Claims (14)

  1. 자차량에 설치되어 주변 영상을 획득하여 무선으로 송신하고, 주변차량으로부터 카메라 영상을 무선으로 수신받아 수신신호강도를 측정하며, 상기 자차량의 주변 영상 및 상기 주변차량의 카메라 영상과 함께 수신신호강도를 차량 네트워크를 통해 전송하는 카메라 모듈; 및
    상기 카메라 모듈로부터 상기 차량 네트워크를 통해 상기 자차량의 주변 영상 및 상기 주변차량의 카메라 영상과 상기 수신신호강도를 수신하여 상기 주변차량과의 충돌 가능성을 판단하여 출력하고, 상기 자차량의 주변 영상과 상기 주변차량의 카메라 영상을 합성하여 광역 SVM 뷰를 구성하며, 상기 자차량의 주행 가능 공간을 계산하여 로컬 광역 영상 맵을 생성하는 제어부를 포함하는 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치.
  2. 제 1항에 있어서, 상기 제어부는, 상기 자차량의 주변 영상과 상기 주변차량의 카메라 영상 간 겹침 정도와 상기 수신신호강도를 기반으로 상기 주변차량과의 충돌 가능성을 판단하고, 판단 결과를 자율주행부로 출력하는 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치.
  3. 제 1항에 있어서, 상기 제어부는, 상기 주변차량의 카메라 영상이 수신되지 않은 방향에 대해, 상기 카메라 모듈의 목표 시야방향을 넓혀 상기 자차량의 주변 영상을 획득하여 상기 광역 SVM 뷰를 구성하는 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치.
  4. 제 1항에 있어서, 상기 카메라 모듈은, 복수의 렌즈가 포함된 멀티 레이어 렌즈 구조가 적용되어, 초점 거리 및 각 렌즈의 굴절률이 제어됨에 따라 화각(FOV: Field Of View)이 가변되는 가변 화각 카메라 모듈인 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치.
  5. 제 4항에 있어서, 상기 제어부는, 상기 주변차량의 카메라 영상이 수신되지 않는 방향에 대해, 상기 카메라 모듈로 상기 화각을 넓히기 위한 제어정보를 송신한 후 상기 자차량의 주변 영상을 획득하여 상기 광역 SVM 뷰를 구성하는 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치.
  6. 제 1항에 있어서, 상기 제어부는, 상기 주변차량과의 근접거리, 주변 근접물체의 인식상태 및 상기 카메라 모듈로부터 입력되는 영상의 최대 영역을 기반으로 주행 가능 공간을 계산하고, 네이게이션과 연동하여 상기 로컬 광역 영상 맵을 생성하는 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치.
  7. 카메라 모듈이 자차량의 주변 영상을 획득하는 단계;
    상기 카메라 모듈이 주변차량으로부터 카메라 영상을 무선으로 수신받는 단계;
    상기 카메라 모듈이 무선으로 수신받은 카메라 영상의 수신신호강도를 측정하는 단계;
    상기 카메라 모듈이 상기 자차량의 주변 영상 및 상기 주변차량의 카메라 영상과 함께 상기 수신신호강도를 차량 네트워크를 통해 전송하는 단계;
    제어부가 상기 카메라 모듈로부터 상기 자차량의 주변 영상 및 상기 주변차량의 카메라 영상과 함께 상기 수신신호강도를 수신받아 상기 주변차량과의 충돌가능성을 판단하는 단계;
    상기 제어부가 상기 자차량의 주변 영상과 상기 주변차량의 카메라 영상을 합성하여 광역 SVM 뷰를 구성하는 단계; 및
    상기 제어부가 상기 자차량의 주행 가능 공간을 계산하여 로컬 광역 영상 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법.
  8. 제 7항에 있어서, 상기 주변차량과의 충돌가능성을 판단하는 단계는, 상기 제어부가 상기 자차량의 주변 영상과 상기 주변차량의 카메라 영상 간 겹침정도를 판단하는 단계;
    상기 제어부가 상기 수신신호강도를 기반으로 상기 주변차량과의 차간거리를 판단하는 단계; 및
    상기 제어부가 겹침정도와 차간거리를 기반으로 상기 주변차량과의 충돌가능성을 판단하는 단계를 포함하는 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법.
  9. 제 8항에 있어서, 상기 제어부가 상기 주변차량과의 충돌가능성을 자율주행부로 출력하는 단계를 더 포함하는 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법.
  10. 제 7항에 있어서, 상기 광역 SVM 뷰를 구성하는 단계는,
    상기 제어부가 상기 주변차량의 카메라 영상이 수신되지 않은 방향이 있는지 판단하는 단계;
    상기 제어부가 상기 주변차량의 카메라 영상이 수신되지 않은 방향이 있는 경우, 수신되지 않은 방향의 상기 자차량의 주변 영상을 확장하는 단계; 및
    상기 제어부가 상기 자차량의 주변 영상과 상기 주변차량의 카메라 영상을 합성하여 상기 광역 SVM 뷰를 구성하는 단계를 포함하는 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법.
  11. 제 10항에 있어서, 상기 자차량의 주변 영상을 확장하는 단계는, 상기 제어부가 상기 주변차량의 카메라 영상이 수신되지 않은 방향에 대해, 상기 카메라 모듈의 목표 시야방향을 넓혀 상기 자차량의 주변 영상을 획득하는 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법.
  12. 제 10항에 있어서, 상기 자차량의 주변 영상을 확장하는 단계는, 상기 제어부가 상기 주변차량의 카메라 영상이 수신되지 않는 방향에 대해, 상기 카메라 모듈로 화각을 넓히기 위한 제어정보를 송신한 후 상기 자차량의 주변 영상을 획득하는 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법.
  13. 제 7항에 있어서, 상기 로컬 광역 영상 맵을 생성하는 단계는,
    상기 제어부가 상기 주변차량과의 근접거리를 계산하는 단계;
    상기 제어부가 주변 근접 물체를 인식하는 단계;
    상기 제어부가 상기 주변차량과의 근접거리, 상기 주변 근접 물체의 인식상태 및 상기 카메라 모듈로부터 입력되는 영상의 최대 영역을 기반으로 주행 가능 공간을 계산하는 단계; 및
    상기 제어부가 상기 주행 가능 공간에 따라 네비게이션과 연동하여 상기 로컬 광역 영상 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법.
  14. 제 13항에 있어서, 상기 로컬 광역 영상 맵을 생성하는 단계는, 상기 제어부가 상기 주행 가능 공간에 따라 상기 카메라 모듈의 영상을 확장시키기 위한 카메라 화각제어와 센싱 주파수를 제어하는 단계를 더 포함하는 것을 특징으로 하는 차량의 광역 서라운드 뷰 모니터링 장치의 제어방법.
KR1020180079384A 2018-07-09 2018-07-09 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법 KR102554594B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180079384A KR102554594B1 (ko) 2018-07-09 2018-07-09 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법
CN201910610229.XA CN110696743B (zh) 2018-07-09 2019-07-08 用于车辆的广域环视监控装置及其控制方法
US16/506,065 US20200010017A1 (en) 2018-07-09 2019-07-09 Wide area surround view monitoring apparatus for vehicle and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180079384A KR102554594B1 (ko) 2018-07-09 2018-07-09 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20200005865A KR20200005865A (ko) 2020-01-17
KR102554594B1 true KR102554594B1 (ko) 2023-07-12

Family

ID=69101801

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180079384A KR102554594B1 (ko) 2018-07-09 2018-07-09 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US20200010017A1 (ko)
KR (1) KR102554594B1 (ko)
CN (1) CN110696743B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078908B2 (en) * 2016-08-12 2018-09-18 Elite Robotics Determination of relative positions
US11410545B2 (en) * 2019-07-19 2022-08-09 Ford Global Technologies, Llc Dynamic vehicle perimeter definition and reporting
KR102131717B1 (ko) * 2020-02-26 2020-07-09 주식회사 아이오토 서라운드뷰 모니터링 시스템
KR102327734B1 (ko) * 2020-04-29 2021-11-17 삼성전기주식회사 차량용 카메라 시스템 및 그 동작 방법
CN113183878A (zh) * 2021-04-15 2021-07-30 杭州鸿泉物联网技术股份有限公司 360度环视方法、装置、车辆和电子设备
KR20230117685A (ko) 2022-02-02 2023-08-09 아주자동차대학 산학협력단 친환경 수소 자동차의 동력 제공 장치
CN114454832B (zh) * 2022-03-14 2023-07-07 陈潇潇 智能驾驶发生意外的独立证据和完整事实的记录方法
CN114779253A (zh) * 2022-04-18 2022-07-22 深圳市七洲电子有限公司 一种主动防止后车碰撞的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101395089B1 (ko) 2010-10-01 2014-05-16 안동대학교 산학협력단 장애물 감지 시스템 및 방법
KR101460570B1 (ko) 2013-10-14 2014-11-13 현대모비스(주) 카메라 위치 인식 시스템
US20180096600A1 (en) 2016-10-04 2018-04-05 International Business Machines Corporation Allowing drivers or driverless vehicles to see what is on the other side of an obstruction that they are driving near, using direct vehicle-to-vehicle sharing of environment data

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4893945B2 (ja) * 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
US8345098B2 (en) * 2008-03-17 2013-01-01 International Business Machines Corporation Displayed view modification in a vehicle-to-vehicle network
JP5910450B2 (ja) * 2012-10-03 2016-04-27 株式会社デンソー 車両用ナビゲーションシステム
KR101519209B1 (ko) * 2013-08-06 2015-05-11 현대자동차주식회사 Avm 영상 제공 장치 및 방법
FR3030974B1 (fr) * 2014-12-19 2018-03-23 Stereolabs Systeme pour la prise de vue en trois dimensions au cours d'un deplacement
KR102375411B1 (ko) * 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
US9594378B2 (en) * 2015-07-31 2017-03-14 Delphi Technologies, Inc. Variable object detection field-of-focus for automated vehicle control
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
KR101822895B1 (ko) * 2016-04-07 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량
US10310298B2 (en) * 2016-10-25 2019-06-04 GM Global Technology Operations LLC Smart sensor-cover apparatus and methods and computer products for implementing same
KR101949352B1 (ko) * 2016-11-22 2019-05-10 엘지전자 주식회사 자율 주행 차량 및 자율 주행 차량의 동작 방법
KR102441062B1 (ko) * 2016-12-16 2022-09-06 현대자동차주식회사 바운더리 기반 차량의 충돌 제어 장치 및 방법
CN108099783A (zh) * 2017-12-22 2018-06-01 戴姆勒股份公司 一种用于车辆的驾驶辅助系统及其操作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101395089B1 (ko) 2010-10-01 2014-05-16 안동대학교 산학협력단 장애물 감지 시스템 및 방법
KR101460570B1 (ko) 2013-10-14 2014-11-13 현대모비스(주) 카메라 위치 인식 시스템
US20180096600A1 (en) 2016-10-04 2018-04-05 International Business Machines Corporation Allowing drivers or driverless vehicles to see what is on the other side of an obstruction that they are driving near, using direct vehicle-to-vehicle sharing of environment data

Also Published As

Publication number Publication date
CN110696743A (zh) 2020-01-17
CN110696743B (zh) 2023-12-26
KR20200005865A (ko) 2020-01-17
US20200010017A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
KR102554594B1 (ko) 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법
CN108227703B (zh) 信息处理装置和方法、被操作车辆及记录程序的记录介质
JP7029910B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6325670B2 (ja) 車線選択装置、車両制御システム及び車線選択方法
US9435879B2 (en) Alert display device and alert display method
US9834212B2 (en) Apparatus and method for controlling vehicle using vehicle communication
US20230048230A1 (en) Method for displaying lane information and apparatus for executing the method
US10452930B2 (en) Information display device mounted in vehicle including detector
US9738223B2 (en) Dynamic guideline overlay with image cropping
US8094192B2 (en) Driving support method and driving support apparatus
JP6311646B2 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
US20110128136A1 (en) On-vehicle device and recognition support system
US10099617B2 (en) Driving assistance device and driving assistance method
US11256928B2 (en) Information providing apparatus and methods for a vehicle
JP7006235B2 (ja) 表示制御装置、表示制御方法および車両
JP2007102691A (ja) 車両用視界支援装置
JP6471522B2 (ja) カメラパラメータ調整装置
JP2013067303A (ja) 追従走行制御装置
JP2007210460A (ja) 車両用表示装置および車両用映像表示制御方法
US20190333252A1 (en) Display control device, display system, and display control method
JP2009074888A (ja) 車間距離計測装置
JP4475015B2 (ja) 車両周辺監視装置及び車両周辺監視方法
KR102023863B1 (ko) 이동체 주위 표시 방법 및 이동체 주위 표시 장치
JP2015220729A (ja) 車両周辺監視装置
US20230098314A1 (en) Localizing and updating a map using interpolated lane edge data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right