KR20200123513A - Method And Apparatus for Displaying 3D Obstacle by Combining Radar And Video - Google Patents

Method And Apparatus for Displaying 3D Obstacle by Combining Radar And Video Download PDF

Info

Publication number
KR20200123513A
KR20200123513A KR1020190046041A KR20190046041A KR20200123513A KR 20200123513 A KR20200123513 A KR 20200123513A KR 1020190046041 A KR1020190046041 A KR 1020190046041A KR 20190046041 A KR20190046041 A KR 20190046041A KR 20200123513 A KR20200123513 A KR 20200123513A
Authority
KR
South Korea
Prior art keywords
obstacle
vehicle
view image
around
unit
Prior art date
Application number
KR1020190046041A
Other languages
Korean (ko)
Other versions
KR102175947B1 (en
Inventor
최두헌
박원일
Original Assignee
주식회사 아이유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이유플러스 filed Critical 주식회사 아이유플러스
Priority to KR1020190046041A priority Critical patent/KR102175947B1/en
Publication of KR20200123513A publication Critical patent/KR20200123513A/en
Application granted granted Critical
Publication of KR102175947B1 publication Critical patent/KR102175947B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Disclosed are a method and apparatus for displaying a three-dimensional (3D) obstacle for a vehicle by combining a radar and an image. According to an embodiment of the present invention, provided are a method and apparatus for displaying a 3D obstacle for a vehicle by combining a radar and an image, which not only make it possible to recognize an obstacle even at night and rain, when the visibility is not good, by displaying a 3D obstacle with a camera image and phased array near-field radar data, but also make it possible to detect the side and output an alarm when there is an obstacle (object) exists in case of turning the corner by steering the vehicle by separating the vehicle′s going straight and turning.

Description

레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치{Method And Apparatus for Displaying 3D Obstacle by Combining Radar And Video}Method and Apparatus for Displaying 3D Obstacles for Vehicles by Combining Radar and Image {Method And Apparatus for Displaying 3D Obstacle by Combining Radar And Video}

본 실시예는 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치에 관한 것이다. The present embodiment relates to a method and apparatus for displaying a three-dimensional obstacle for a vehicle by combining a radar and an image.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The contents described below merely provide background information related to the present embodiment and do not constitute the prior art.

차량은 사람 또는 화물을 운송할 목적으로 차륜을 구동시켜 주행하는 모든 장치이다. 차량은 대표적으로 자동차를 예들 수 있다. A vehicle is any device that drives a wheel for the purpose of transporting people or cargo. As a vehicle, a representative example is a car.

최근 운전자와 보행자의 안전이나 편의를 위해 지능형 자동차의 개발 및 상용화가 활발히 진행되고 있다. 지능형 자동차는 정보통신기술을 융합한 최첨단 자동차로, 자동차 자체의 첨단 시스템 도입은 물론 지능형 교통 시스템과의 연동을 통해 최적의 교통 효율을 제공한다. In recent years, for the safety or convenience of drivers and pedestrians, the development and commercialization of intelligent vehicles are actively in progress. An intelligent vehicle is a cutting-edge vehicle that combines information and communication technology, and provides optimal transportation efficiency through the introduction of the vehicle's own high-tech system and interlocking with the intelligent transportation system.

지능형 자동차는 자동 주행 기능, 적응식 정속주행 제어, 장애물 감지, 충돌 감지, 정밀한 지도 제공, 목적지까지의 경로 설정 및 주요 장소에 대한 위치 제공 등을 수행함으로써, 운전자와 탑승자 및 보행자의 안전과 편의를 극대화한다.Intelligent vehicles provide automatic driving functions, adaptive cruise control, obstacle detection, collision detection, precise maps, route setting to destinations, and location provision of key locations, thereby enhancing the safety and convenience of drivers, passengers, and pedestrians. Maximize.

차량을 이용하는 사용자의 편의를 위해, 각종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위한 다양한 장치 등이 개발되고 있는데, 차량의 후진시, 또는 차량 주차시에 제공되는 후방 카메라로부터 촬영된 이미지 등이 제공되고 있다.Various sensors and electronic devices are being provided for the convenience of users using vehicles. In particular, various devices have been developed for the user's driving convenience, and an image taken from a rear camera provided when the vehicle is reversed or when the vehicle is parked is provided.

이와 같이 운전자와 탑승자 및 보행자의 안전과 편의를 위한 장치 중 하나로서 어라운드뷰 제공장치가 주목받고 있다. 어라운드뷰 제공장치는 카메라를 이용하여 차량을 중심으로 어라운드뷰 영상을 제공하는 것으로서, 운전자는 어라운드뷰 영상을 통해 차량 주변을 실시간으로 살펴볼 수 있다.As such, a device for providing an around view is attracting attention as one of devices for safety and convenience of drivers, occupants, and pedestrians. The around view providing device provides an around view image centering on the vehicle using a camera, and the driver can view the surroundings of the vehicle in real time through the around view image.

하지만, 종래의 어라운드뷰 제공장치는 이러한 경계에 보행자나 위험 물체 등이 위치되는 경우, 어라운드뷰 영상에서 보행자나 위험 물체 등이 중첩되거나 사라지게 되어, 운전자가 보행자가 위험 물체를 인지하지 못해 보행자 사고나 차량 사고가 발생되는 문제가 있다.However, when a pedestrian or a dangerous object is positioned at such a boundary, the conventional around-view providing device overlaps or disappears from a pedestrian or a dangerous object in the around-view image, so that the driver does not recognize the dangerous object, causing a pedestrian accident. There is a problem that a vehicle accident occurs.

본 실시예는 카메라 영상과 위상 배열 근거리 레이더 데이터를 3차원 장애물을 표시하여 시계 상황이 좋지 않은 야간, 우천시에도 장애물을 인지할 수 있도록 할 뿐만 아니라, 차량의 직진 및 회전을 구분하여 차량의 조향하여 코너를 회전하는 경우 측면을 감지하여 장애물(객체, 물체)이 존재하는 경우 알람을 출력하도록 하는 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치를 제공하는 데 목적이 있다.This embodiment displays a three-dimensional obstacle by displaying a camera image and a phased-array near-field radar data so that the obstacle can be recognized even at night and rain, when the visibility is not good, and the vehicle is steered by classifying the vehicle's straight forward and rotating. An object of the present invention is to provide a method and apparatus for displaying a three-dimensional obstacle for a vehicle by combining a radar and an image to detect a side surface when rotating a corner and output an alarm when an obstacle (object, object) exists.

본 실시예의 일 측면에 의하면, 차량의 전방, 후방, 측방에 설치되어 기 설정된 영역을 기 설정된 시점으로 각각 촬영하여 다시점 영상을 생성하는 카메라; 기 설정된 영역으로 전자파(Original Wave)를 송출하고, 기 설정된 영역 내에 존재하는 장애물로부터 상기 전자파에 대응하여 반사된 반사파(Reflected Wave)를 수신하는 레이더 센서; 상기 다시점 영상의 왜곡을 보정한 후 스티칭(Stitching)하여 탑뷰 시점을 갖는 하나의 어라운드뷰 영상으로 생성하는 이미지 프로세싱 로직부; 상기 어라운드뷰 영상을 기 설정된 3차원 좌표계를 이용하여 3차원 좌표로 변환하는 제1 공간 정규화부; 상기 반사파를 기반으로 상기 장애물에 대한 거리, 속도, 방위각을 산출하고, 상기 거리, 상기 속도, 상기 방위각을 이용하여 상기 장애물에 대한 2차원 좌표를 산출하는 좌표 산출 로직부; 상기 2차원 좌표를 상기 어라운드뷰 영상과 동일한 스케일(Scale)로 변환한 스케일 변환 좌표를 생성하는 제2 공간 정규화부; 상기 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 상기 스케일 변환 좌표를 결합하여, 상기 스케일 변환 좌표에 대응하는 상기 장애물이 상기 어라운드뷰 영상에 표시되도록 하는 블랜딩부; 및 상기 어라운드뷰 영상에 상기 장애물을 3차원 형태로 오버레이하여 출력하는 표시부를 포함하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치를 제공한다.According to an aspect of the present embodiment, there is provided a camera installed at the front, rear, and side of a vehicle to capture a preset area at a preset time point to generate a multi-view image; A radar sensor that transmits an original wave to a preset area and receives a reflected wave reflected in response to the electromagnetic wave from an obstacle existing in the preset area; An image processing logic unit that corrects the distortion of the multi-view image and then stitches it to generate one around-view image having a top view view; A first spatial normalization unit for converting the around view image into 3D coordinates using a preset 3D coordinate system; A coordinate calculation logic unit that calculates a distance, speed, and azimuth angle for the obstacle based on the reflected wave, and calculates a two-dimensional coordinate for the obstacle using the distance, the speed, and the azimuth angle; A second spatial normalization unit for generating scale transform coordinates obtained by converting the 2D coordinates into the same scale as the around view image; A blending unit configured to combine the scale-transformed coordinates on the 3D coordinates corresponding to the around-view image so that the obstacle corresponding to the scale-transformed coordinates is displayed on the around-view image; And a display unit that overlays and outputs the obstacle on the around view image in a 3D form.

본 실시예의 다른 측면에 의하면, 카메라에서 차량의 전방, 후방, 측방에 설치되어 기 설정된 영역을 기 설정된 시점으로 각각 촬영하여 다시점 영상을 생성하는 과정; 레이더 센서에서 기 설정된 영역으로 전자파(Original Wave)를 송출하고, 기 설정된 영역 내에 존재하는 장애물로부터 상기 전자파에 대응하여 반사된 반사파(Reflected Wave)를 수신하는 과정; 이미지 프로세싱 로직부에서 상기 다시점 영상의 왜곡을 보정한 후 스티칭(Stitching)하여 탑뷰 시점을 갖는 하나의 어라운드뷰 영상으로 생성하는 과정; 제1 공간 정규화부에서 상기 어라운드뷰 영상을 기 설정된 3차원 좌표계를 이용하여 3차원 좌표로 변환하는 과정; 좌표 산출 로직부에서 상기 반사파를 기반으로 상기 장애물에 대한 거리, 속도, 방위각을 산출하고, 상기 거리, 상기 속도, 상기 방위각을 이용하여 상기 장애물에 대한 2차원 좌표를 산출하는 과정; 제2 공간 정규화부에서 상기 2차원 좌표를 상기 어라운드뷰 영상과 동일한 스케일(Scale)로 변환한 스케일 변환 좌표를 생성하는 과정; 블랜딩부에서 상기 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 상기 스케일 변환 좌표를 결합하여, 상기 스케일 변환 좌표에 대응하는 상기 장애물이 상기 어라운드뷰 영상에 표시되도록 하는 과정; 및 표시부에서 상기 어라운드뷰 영상에 상기 장애물을 3차원 형태로 오버레이하여 출력하는 과정을 포함하는 것을 특징으로 하는 차량용 3차원 장애물 표시 방법을 제공한다.According to another aspect of the present embodiment, there is provided a process of generating a multi-view image by photographing a preset area at a preset point in time by a camera installed at the front, rear, and side of the vehicle; Transmitting an electromagnetic wave (Original Wave) from a radar sensor to a preset area, and receiving a reflected wave from an obstacle existing in the preset area in response to the electromagnetic wave; Generating a single around-view image having a top view by correcting distortion of the multi-view image in an image processing logic unit and then stitching; Converting the around view image into 3D coordinates using a preset 3D coordinate system in a first spatial normalization unit; Calculating a distance, speed, and azimuth angle for the obstacle based on the reflected wave in a coordinate calculation logic unit, and calculating a two-dimensional coordinate for the obstacle using the distance, the speed, and the azimuth angle; Generating scale transformed coordinates obtained by converting the 2D coordinates into the same scale as the around view image in a second spatial normalization unit; Combining the scale-transformed coordinates on the three-dimensional coordinates corresponding to the around-view image in a blending unit so that the obstacle corresponding to the scale-transformed coordinates is displayed on the around-view image; And a process of overlaying and outputting the obstacle in a 3D form on the around view image in a display unit.

이상에서 설명한 바와 같이 본 실시예에 의하면, 카메라 영상과 위상 배열 근거리 레이더 데이터를 3차원 장애물을 표시하여 시계 상황이 좋지 않은 야간, 우천시에도 장애물을 인지할 수 있도록 하는 효과가 있다.As described above, according to the present embodiment, there is an effect of displaying a three-dimensional obstacle by displaying a camera image and a phased-array short-range radar data so that an obstacle can be recognized even at night or in rain, when the visibility is not good.

본 실시예에 의하면, 차량의 직진 및 회전을 구분하여 차량의 조향하여 코너를 회전하는 경우 측면을 감지하여 장애물(객체, 물체)이 존재하는 경우 알람을 출력하도록 하는 효과가 있다.According to the present embodiment, when the vehicle is steered to rotate a corner by separating the vehicle's straight line and rotation, the side is sensed, and an alarm is output when an obstacle (object, object) exists.

본 실시예에 의하면, 차량용 3차원 장애물 표시장치는 자율주행 분야에 적용될 수 있는 효과가 있다.According to the present embodiment, the vehicle 3D obstacle display device has an effect that can be applied to the autonomous driving field.

도 1은 본 실시예에 따른 차량용 3차원 장애물 표시장치를 개략적으로 나타낸 도면이다.
도 2는 본 실시예에 따른 어라운드뷰 표시장치를 개략적으로 나타낸 도면이다.
도 3a,3b는 본 실시예에 따른 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 차량이 코너를 회전할 때 측방 장애물을 감지하여 알람을 출력하는 예시를 나타낸 도면이다.1 is a diagram schematically illustrating a three-dimensional obstacle display device for a vehicle according to the present embodiment.
2 is a schematic diagram of an around view display device according to the present exemplary embodiment.
3A and 3B are flowcharts illustrating a method of displaying a three-dimensional obstacle for a vehicle by combining a radar and an image according to the present embodiment.
4 is a view showing an example of outputting an alarm by detecting a side obstacle when the vehicle turns a corner according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 실시예에 따른 차량용 3차원 장애물 표시장치를 개략적으로 나타낸 도면이다.1 is a diagram schematically illustrating a three-dimensional obstacle display device for a vehicle according to the present embodiment.

본 실시예에 따른 차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)를 이용하여 수집된 다시점 영상을 결합한 차량의 어라운드뷰 영상 상에 레이더 센서(120_1,120_2)를 기반으로 식별한 장애물을 결합하여 디스플레이한다.The 3D obstacle display device 100 for a vehicle according to the present embodiment includes the radar sensors 120_1 and 120_2 on the around view image of the vehicle in which the multi-view images collected using the cameras 110_1, 110_2, 110_3, 110_4 are combined. The obstacles identified as the basis are combined and displayed.

차량용 3차원 장애물 표시장치(100)는 차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)로부터 획득한 영상 각각의 왜곡을 보정한 후 합쳐서 위에서 내려다 보는 탑뷰 시점(Top View)의 어라운드뷰 영상을 생성한다. 차량용 3차원 장애물 표시장치(100)는 레이더 센서(120_1,120_2)를 이용하여 식별한 장애물을 어라운드뷰 영상에 3차원 형태로 결합하여 보다 정확하게 장애물(객체, 물체)을 감지하고, 장애물(객체, 물체)의 위치를 파악할 수 있도록 한다.The vehicle 3D obstacle display device 100 corrects the distortion of each of the images acquired from the cameras 110_1,110_2,110_3,110_4 installed in the front, rear, and sides of the vehicle, and then combines them to create a top view. Create an around view video of The vehicle 3D obstacle display device 100 detects obstacles (objects, objects) more accurately by combining obstacles identified using radar sensors 120_1 and 120_2 in a three-dimensional form to an around view image, and detects obstacles (objects, objects). The location of the object).

차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)로부터 획득한 영상 정보와 레이더 센서(120_1,120_2)로부터 획득한 레이더 데이터를 중첩시키기 위해 동일한 스케일의 3D 좌표로 변환한다. 차량용 3차원 장애물 표시장치(100)는 영상 정보와 레이더 데이터를 한 공간에 중첩시켜 표시한다.The vehicle 3D obstacle display device 100 converts the image information acquired from the cameras 110_1,110_2,110_3,110_4 into 3D coordinates of the same scale in order to overlap the radar data acquired from the radar sensors 120_1 and 120_2. . The vehicle 3D obstacle display device 100 displays image information and radar data by overlapping them in one space.

차량용 3차원 장애물 표시장치(100)는 레이더 센서(120_1,120_2)의 좌표계와 카메라(110_1,110_2,110_3,110_4)의 좌표계를 일치시켜서 레이더에서 변환된 좌표를 이미지에서 변환된 3차원 공간에 결합하여 출력하는 프로젝션을 수행한다. 차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)에 이물질이 묻어서 일시적으로 화면이 보이지 않더라도 레이더 센서(120_1,120_2)의 좌표계를 이용하여 식별한 장애물(물체, 객체)을 표시할 수 있다. 차량용 3차원 장애물 표시장치(100)는 3차원 장애물 표시는 추후 자율주행에 적용될 수 있다.The vehicle 3D obstacle display device 100 matches the coordinate system of the radar sensors 120_1, 120_2 and the coordinate system of the cameras 110_1, 110_2, 110_3, 110_4, and combines the coordinates converted by the radar into the 3D space converted from the image. To perform the output projection. The vehicle 3D obstacle display device 100 is an obstacle (object, object) identified by using the coordinate system of the radar sensors 120_1 and 120_2 even if the screen is temporarily invisible due to the foreign matter in the cameras 110_1, 110_2, 110_3, 110_4. Can be displayed. In the vehicle 3D obstacle display device 100, the 3D obstacle display may be applied to autonomous driving in the future.

차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)를 이용한 어라운드뷰 영상 상에서 장애물에 대한 형체를 파악 수 있으나 환경요인(비, 눈)으로 장애물에 대한 정확한 식별이 불가능할 때, 레이더 센서(120_1,120_2)를 이용하여 장애물에 대해 정확하게 식별할 수 있다.The vehicle 3D obstacle display device 100 can identify the shape of the obstacle on the around-view image using the cameras 110_1,110_2,110_3,110_4, but when it is impossible to accurately identify the obstacle due to environmental factors (rain, snow) , It is possible to accurately identify obstacles using the radar sensors 120_1 and 120_2.

차량용 3차원 장애물 표시장치(100)는 카메라 렌즈에 이물질이 묻어도 레이더 센서(120_1,120_2)를 이용하여 장애물(물체, 객체)을 정확하게 식별할 수 있다. 차량용 3차원 장애물 표시장치(100)는 어라운드뷰 영상 상에 장애물이 정확하게 표시되지 않더라도 레이더 센서(120_1,120_2)를 단독으로 이용하여 장애물을 식별하고 표시부(140)에 표시할 수 있다.The vehicle 3D obstacle display device 100 may accurately identify an obstacle (object, object) using the radar sensors 120_1 and 120_2 even if a foreign substance is embedded in the camera lens. The vehicle 3D obstacle display device 100 may identify the obstacle by using the radar sensors 120_1 and 120_2 alone and display it on the display unit 140 even if the obstacle is not accurately displayed on the around view image.

차량용 3차원 장애물 표시장치(100)는 레이더 센서(120_1,120_2)를 이용하여 식별한 장애물에 대한 좌표계와 카메라(110_1,110_2,110_3,110_4)를 이용하여 생성한 어라운드뷰 영상의 좌표계를 일치시킨다. 차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)가 일시적으로 보이지 않더라도 레이더 센서(120_1,120_2) 이용하여 식별한 장애물을 표시부(140) 상에 출력한다.The vehicle 3D obstacle display device 100 matches the coordinate system of the obstacle identified using the radar sensors 120_1 and 120_2 with the coordinate system of the around view image generated using the cameras 110_1, 110_2, 110_3, 110_4. . The vehicle 3D obstacle display device 100 outputs an obstacle identified using the radar sensors 120_1 and 120_2 on the display unit 140 even if the cameras 110_1, 110_2, 110_3, and 110_4 are temporarily invisible.

본 실시예에 따른 차량용 3차원 장애물 표시장치(100)를 적용할 요구가 많다고 여겨지는 분야는 자율주행 분야이나 반드시 이에 한정되는 것은 아니다.The field where it is considered that there is a lot of demand to apply the 3D obstacle display device 100 for a vehicle according to the present embodiment is an autonomous driving field, but is not limited thereto.

차량용 3차원 장애물 표시장치(100)는 차량의 측면에서의 물체 감지 기능을 보강하여, 대형 차량의 측면에 위치하는 물체를 감지한다. 차량용 3차원 장애물 표시장치(100)는 대형 차량의 측면에 장애물(객체, 물체)이 존재할 때, 대형 차량이 회전하는 경우에는 회전 반경 내에 위치하는 장애물(객체, 물체)을 운전자에게 알리기 위한 알람을 출력한다.The vehicle 3D obstacle display device 100 detects an object located on the side of a large vehicle by reinforcing an object detection function on the side of the vehicle. When an obstacle (object, object) exists on the side of a large vehicle, the vehicle 3D obstacle display device 100 generates an alarm to notify the driver of the obstacle (object, object) located within the turning radius when the large vehicle rotates. Print.

차량용 3차원 장애물 표시장치(100)는 대형 차량이 직진과 회전 특성을 구분하여, 정면 주행 시 영상만을 제공하다가 회전 시, 측면 장애물(객체, 물체)을 탐지하여 알람을 출력한다.The vehicle 3D obstacle display device 100 divides the characteristics of a large vehicle traveling straight and rotating, and provides only an image when driving in the front, and then detects a side obstacle (object, object) when rotating, and outputs an alarm.

본 실시예에 따른 차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4), 레이더 센서(120_1,120_2), 어라운드뷰 표시장치(130), 표시부(140)를 포함한다. 차량용 3차원 장애물 표시장치(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The 3D obstacle display device 100 for a vehicle according to the present exemplary embodiment includes cameras 110_1, 110_2, 110_3, 110_4, radar sensors 120_1 and 120_2, an around view display device 130, and a display unit 140. Components included in the vehicle 3D obstacle display device 100 are not necessarily limited thereto.

차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)가 기 설정된 각각의 영역을 바라본다. 예컨대, 차량의 사이드 미러에 설치된 카메라(110_1,110_2,110_3,110_4)의 시점은 차량의 측방향의 특정 영역을 바라보게 된다. 차량의 룸미러 전면에 설치된 카메라(110_1,110_2,110_3,110_4)의 시점은 차량의 전방향의 특정 영역을 바라보게 된다. 차량의 후방에 설치된 카메라(110_1,110_2,110_3,110_4)의 시점은 차량의 후방향의 특정 영역을 바라보게 된다.Cameras 110_1, 110_2, 110_3, and 110_4 installed in the front, rear, and sides of the vehicle look at each of the preset areas. For example, the viewpoints of the cameras 110_1, 110_2, 110_3, and 110_4 installed on the side mirrors of the vehicle look at a specific area in the lateral direction of the vehicle. The viewpoints of the cameras 110_1, 110_2, 110_3, and 110_4 installed in the front of the rearview mirror of the vehicle look at a specific area in the front direction of the vehicle. The viewpoints of the cameras 110_1, 110_2, 110_3, 110_4 installed at the rear of the vehicle look at a specific area in the rear direction of the vehicle.

카메라(110_1,110_2,110_3,110_4)는 차량의 전방, 후방, 측방에 설치된다. 카메라(110_1,110_2,110_3,110_4)는 차량의 전방, 후방, 측방으로부터 촬영된 영상을 획득하여 연결된 표시부(140)(모니터, 출력부)에 출력한다. 카메라(110_1,110_2,110_3,110_4)는 차량의 전방, 후방, 측방으로부터 촬영된 영상을 어라운드뷰 표시장치(130)로 전송한다.The cameras 110_1, 110_2, 110_3, 110_4 are installed in the front, rear, and sides of the vehicle. The cameras 110_1, 110_2, 110_3, 110_4 acquire images captured from the front, rear, and sides of the vehicle and output them to the connected display unit 140 (monitor, output unit). The cameras 110_1, 110_2, 110_3, and 110_4 transmit images captured from the front, rear, and sides of the vehicle to the around-view display device 130.

카메라(110_1,110_2,110_3,110_4)는 기 설정된 영역을 기 설정된 시점으로 각각 촬영하여 다시점 영상을 생성한다.The cameras 110_1, 110_2, 110_3, and 110_4 each photograph a preset area at a preset viewpoint to generate a multi-view image.

레이더 센서(120_1,120_2)는 기 설정된 방향 또는 영역으로 전자파(Original Wave)를 송출하고, 기 설정된 영역 내에 존재하는 객체로부터 전자파에 대응하여 반사된 반사파(Reflected Wave)를 수신한다.The radar sensors 120_1 and 120_2 transmit an electromagnetic wave (Original Wave) in a preset direction or area, and receive a reflected wave corresponding to the electromagnetic wave from an object existing in a preset area.

레이더 센서(120_1,120_2)는 반사파를 기반으로 탐지된 객체에 대한 방향, 거리, 속도 등을 파악한다. 레이더 센서(120_1,120_2)는 차량의 종류에 따라 전방 및 후방에 설치되는 것이 바람직하나 반드시 이에 한정되는 것은 아니며 차량의 종류에 따라 차량의 전방, 후방, 측방에 설치될 수 있다.The radar sensors 120_1 and 120_2 determine the direction, distance, and speed of the detected object based on the reflected wave. The radar sensors 120_1 and 120_2 are preferably installed at the front and rear according to the type of vehicle, but are not necessarily limited thereto, and may be installed at the front, rear, or side of the vehicle according to the type of vehicle.

레이더 센서(120_1,120_2)는 수평 또는 수직으로 정렬된 위상 배열 안테나를 구비한다. 레이더 센서(120_1,120_2)는 수평 또는 수직으로 정렬된 위상 배열 안테나를 이용하여 전자파(Original Wave)를 송출하고, 기 설정된 영역 내에 존재하는 객체로부터 전자파(Original Wave)에 대응하여 반사된 반사파(Reflected Wave)를 수신한다.The radar sensors 120_1 and 120_2 include phased array antennas arranged horizontally or vertically. The radar sensors 120_1 and 120_2 transmit electromagnetic waves using phased array antennas aligned horizontally or vertically, and reflected waves reflected in response to the original waves from objects existing in a preset area. Wave).

레이더 센서(120_1,120_2)는 수직 또는 수평 방향으로 2개 이상으로 정렬된 수신용 안테나를 구비한다. 레이더 센서(120_1,120_2)는 마이크로파(Microwave) 또는 밀리미터파(mm-Wave)의 전자파를 발생하는 적어도 1개의 송신 안테나를 구비한다. 레이더 센서(120_1,120_2)는 구비된 적어도 1개의 송신 안테나를 이용하여 기 설정된 방향 또는 영역으로 전자파를 송신한다.The radar sensors 120_1 and 120_2 are provided with reception antennas arranged in two or more vertical or horizontal directions. The radar sensors 120_1 and 120_2 are provided with at least one transmission antenna that generates microwaves or millimeter waves (mm-Wave). The radar sensors 120_1 and 120_2 transmit electromagnetic waves in a preset direction or region using at least one transmitting antenna.

레이더 센서(120_1,120_2)는 구비된 적어도 2개 이상의 수신 안테나를 이용하여 기 설정된 영역 내에 존재하는 객체로부터 전자파에 대응하여 반사된 반사파를 수신한다. 레이더 센서(120_1,120_2)는 수신된 반사파를 어라운드뷰 표시장치(130)로 전송한다.The radar sensors 120_1 and 120_2 receive reflected waves reflected in response to electromagnetic waves from an object existing in a preset area using at least two receiving antennas provided. The radar sensors 120_1 and 120_2 transmit the received reflected waves to the around-view display device 130.

어라운드뷰 표시장치(130)는 레이더 센서(120_1,120_2)에 구비된 수신 안테나로부터 개별적으로 도착한 반사파의 시차를 이용하여 객체(물체, 장애물)의 수평방향 방위각을 계산한다.The around-view display device 130 calculates a horizontal azimuth angle of an object (object, obstacle) by using the parallax of reflected waves individually arriving from the reception antennas provided in the radar sensors 120_1 and 120_2.

어라운드뷰 표시장치(130)는 차량에 설치된 카메라(110_1,110_2,110_3,110_4)의 기하학적 위치정보를 이용해 각각의 픽셀에 대한 방위각을 계산한다. 어라운드뷰 표시장치(130)는 반사파를 이용한 장애물의 방위각, 카메라(110_1,110_2,110_3,110_4)로부터 취득된 픽셀의 방위각을 그룹으로 분류한다. 어라운드뷰 표시장치(130)는 카메라(110_1,110_2,110_3,110_4)로부터 취득된 실시간 영상을 연속된 방위각에 대한 영상으로 프로젝션하여 디스플레이한다.The around-view display device 130 calculates an azimuth angle for each pixel by using geometric position information of cameras 110_1, 110_2, 110_3, and 110_4 installed in the vehicle. The around-view display device 130 classifies an azimuth angle of an obstacle using a reflected wave and an azimuth angle of a pixel acquired from the cameras 110_1, 110_2, 110_3, and 110_4 into groups. The around-view display device 130 projects and displays a real-time image acquired from the cameras 110_1,110_2,110_3,110_4 as images for a continuous azimuth angle.

어라운드뷰 표시장치(130)는 연속된 방위각과 레이더에서 측정한 장애물의 방위각을 일치시킨다. 어라운드뷰 표시장치(130)는 연속된 방위각으로 표기된 실사 영상 위에 레이더 측정된 객체(물체, 장애물)의 방위각이 일치하도록 오버레이하여 영상을 표시한다.The around-view display device 130 matches the continuous azimuth angle with the azimuth angle of the obstacle measured by the radar. The around-view display device 130 displays the image by overlaying the azimuth angles of the radar-measured objects (objects, obstacles) on the live-action image marked with a continuous azimuth angle so that the azimuth angles of the objects (objects, obstacles) measured by the radar coincide.

어라운드뷰 표시장치(130)는 레이더 센서(120_1,120_2)로부터 수신한 반사파를 기반으로 탐지된 객체에 대한 거리, 방위각을 산출한다. 어라운드뷰 표시장치(130)는 거리와 방위각을 이용하여 탐지된 객체의 2차원 좌표를 산출한다. 어라운드뷰 표시장치(130)는 탐지된 객체의 2차원 좌표를 탑뷰 시점을 갖는 어라운드뷰 영상과 동일한 스케일로 변환한 후 3차원 공간상에 오버레이한다. The around-view display device 130 calculates a distance and an azimuth angle for the detected object based on the reflected wave received from the radar sensors 120_1 and 120_2. The around-view display device 130 calculates the two-dimensional coordinates of the detected object using the distance and the azimuth angle. The around-view display device 130 converts the 2D coordinates of the detected object into the same scale as the around-view image having a top-view viewpoint and then overlays it on the 3D space.

어라운드뷰 표시장치(130)는 카메라(110_1,110_2,110_3,110_4)로부터 획득한 영상을 변환한 좌표계와 레이더 센서(120_1,120_2)로부터 획득한 레이더 데이터를 변환한 좌표계를 일치시켜서 합친다. 어라운드뷰 표시장치(130)는 레이더 센서(120_1,120_2)의 설치 위치가 고정되어 있으므로, 절대값을 이용한다.The around-view display device 130 matches the coordinate system obtained by converting the image obtained from the cameras 110_1, 110_2, 110_3, 110_4 and the coordinate system obtained by converting the radar data obtained from the radar sensors 120_1 and 120_2 and combines it. Since the installation positions of the radar sensors 120_1 and 120_2 are fixed, the around-view display device 130 uses an absolute value.

어라운드뷰 표시장치(130)는 레이더 센서(120_1,120_2)로부터 수신된 레이더 센서(120_1,120_2)를 이용하여 기 설정된 영역 내에 존재하는 객체에 대한 방향, 거리, 속도 등을 파악한다. 어라운드뷰 표시장치(130)는 객체에 대한 방향, 거리, 속도를 3차원 공간에 표시한다. 어라운드뷰 표시장치(130)는 객체에 대한 방향, 거리, 속도를 3차원 공간에 표시하기 위한 절대좌표 변환 과정과 디지털 모니터에 3차원-2차원 변환 프로젝션 과정을 거친다.The around-view display device 130 detects a direction, distance, speed, etc. of an object existing in a preset area by using the radar sensors 120_1 and 120_2 received from the radar sensors 120_1 and 120_2. The around view display device 130 displays a direction, distance, and speed of an object in a three-dimensional space. The around-view display device 130 undergoes an absolute coordinate conversion process for displaying a direction, distance, and speed of an object in a 3D space and a 3D-2D conversion projection process on a digital monitor.

어라운드뷰 표시장치(130)는 카메라(110_1,110_2,110_3,110_4)로부터 수신한 다시점 영상의 왜곡을 보정한 후 스티칭(Stitching)하여 탑뷰 시점을 갖는 하나의 어라운드뷰 영상으로 생성한다. 어라운드뷰 표시장치(130)는 어라운드뷰 영상을 기 설정된 3차원 좌표계를 이용하여 3차원 좌표로 변환한다.The around-view display device 130 corrects the distortion of the multi-view image received from the cameras 110_1, 110_2, 110_3, and 110_4 and then stitches it to generate a single around-view image having a top view. The around view display device 130 converts the around view image into 3D coordinates using a preset 3D coordinate system.

어라운드뷰 표시장치(130)는 레이더 센서(120_1,120_2)로부터 수신한 반사파를 기반으로 장애물에 대한 거리, 속도, 방위각을 산출한다. 어라운드뷰 표시장치(130)는 거리, 속도, 방위각을 이용하여 장애물에 대한 2차원 좌표를 산출한다.The around-view display device 130 calculates a distance, a speed, and an azimuth angle for the obstacle based on the reflected wave received from the radar sensors 120_1 and 120_2. The around-view display device 130 calculates two-dimensional coordinates for an obstacle using distance, speed, and azimuth.

어라운드뷰 표시장치(130)는 2차원 좌표를 탑뷰 시점을 갖는 어라운드뷰 영상과 동일한 스케일(Scale)로 변환한 스케일 변환 좌표를 생성한다. 어라운드뷰 표시장치(130)는 어라운드뷰 영상에 대응하는 3차원 좌표 상에 스케일 변환 좌표를 결합하여, 스케일 변환 좌표에 대응하는 장애물이 어라운드뷰 영상에 표시되도록 한다.The around-view display device 130 generates scale-transformed coordinates obtained by converting the 2D coordinates into the same scale as the around-view image having a top-view viewpoint. The around-view display device 130 combines the scale-transformed coordinates on the 3D coordinates corresponding to the around-view image so that an obstacle corresponding to the scale-transformed coordinates is displayed on the around-view image.

표시부(140)는 어라운드뷰 영상에 장애물을 3차원 형태로 오버레이하여 출력한다.The display unit 140 overlays and outputs an obstacle in a 3D shape on the around view image.

도 2는 본 실시예에 따른 어라운드뷰 표시장치를 개략적으로 나타낸 도면이다.2 is a schematic diagram of an around view display device according to the present exemplary embodiment.

본 실시예에 따른 어라운드뷰 표시장치(130)는 ADC(210), 이미지 프로세싱 로직부(220), 제1 공간 정규화부(230), 좌표 산출 로직부(240), 제2 공간 정규화부(250), 블랜딩부(260), 회전 감지부(272), 측방 장애물 감지부(274), 알람 발생부(276)를 포함한다. 어라운드뷰 표시장치(130)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The around-view display device 130 according to the present embodiment includes an ADC 210, an image processing logic unit 220, a first spatial normalization unit 230, a coordinate calculation logic unit 240, and a second spatial normalization unit 250. ), a blending unit 260, a rotation detecting unit 272, a lateral obstacle detecting unit 274, and an alarm generating unit 276. Components included in the around-view display device 130 are not necessarily limited thereto.

어라운드뷰 표시장치(130)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Each component included in the around-view display device 130 is connected to a communication path connecting software modules or hardware modules inside the device, so that they can operate organically with each other. These components communicate using one or more communication buses or signal lines.

도 2에 도시된 어라운드뷰 표시장치(130)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.Each component of the around-view display device 130 shown in FIG. 2 refers to a unit that processes at least one function or operation, and may be implemented as a software module, a hardware module, or a combination of software and hardware.

카메라(110_1,110_2,110_3,110_4)는 차량의 전방, 후방, 측방에 설치되어 기 설정된 영역을 기 설정된 시점으로 각각 촬영하여 다시점 영상을 생성한다.The cameras 110_1, 110_2, 110_3, and 110_4 are installed at the front, rear, and sides of the vehicle to capture a preset area at a preset time point to generate a multi-view image.

레이더 센서(120_1,120_2)는 기 설정된 영역으로 전자파(Original Wave)를 송출한다. 레이더 센서(120_1,120_2)는 기 설정된 영역 내에 존재하는 장애물로부터 전자파에 대응하여 반사된 반사파(Reflected Wave)를 수신한다.The radar sensors 120_1 and 120_2 transmit an electromagnetic wave (Original Wave) to a preset area. The radar sensors 120_1 and 120_2 receive reflected waves reflected in response to electromagnetic waves from obstacles existing in a preset area.

레이더 센서(120_1,120_2)는 차량의 전방, 후방에 설치되거나 차량의 전방, 후방, 측방에 설치된다.The radar sensors 120_1 and 120_2 are installed at the front or rear of the vehicle, or at the front, rear and side of the vehicle.

레이더 센서(120_1,120_2)는 송신 안테나, 수신 안테나를 포함한다. 수신 안테나는 수직 또는 수평 방향으로 위상 배열된 2개 이상의 안테나를 포함한다. 송신 안테나는 마이크로파(Microwave) 또는 밀리미터파(mm-Wave)의 전자파를 발생하는 적어도 1개의 안테나를 포함한다. The radar sensors 120_1 and 120_2 include a transmitting antenna and a receiving antenna. The receiving antenna includes two or more antennas arranged in phase in a vertical or horizontal direction. The transmit antenna includes at least one antenna that generates microwaves or millimeter waves (mm-Wave).

적어도 1개의 송신 안테나는 기 설정된 영역으로 전자파를 송신한다. 적어도 2개 이상의 수신 안테나는 기 설정된 영역 내에 존재하는 장애물로부터 전자파에 대응하여 반사된 반사파를 수신하여 좌표 산출 로직부(240)를 경유하여 제2 공간 정규화부(250)로 전송한다.At least one transmission antenna transmits electromagnetic waves to a preset area. At least two receiving antennas receive reflected waves from an obstacle existing in a preset area in response to electromagnetic waves and transmit them to the second spatial normalization unit 250 via the coordinate calculation logic unit 240.

ADC(210)는 차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)로부터 수신된 다시점 영상을 수신하여 아날로그 데이터를 디지털 데이터로 변환한다. ADC(210)는 디지털로 변환한 다시점 영상을 이미지 프로세싱 로직부(220)로 전송한다.The ADC 210 converts analog data into digital data by receiving multi-view images received from cameras 110_1, 110_2, 110_3, 110_4 installed at the front, rear, and sides of the vehicle. The ADC 210 transmits the digitally converted multi-view image to the image processing logic unit 220.

이미지 프로세싱 로직부(220)는 ADC(210)로부터 디지털로 변환한 다시점 영상을 수신한다. 이미지 프로세싱 로직부(220)는 ADC(210)를 경유하여 카메라(110_1,110_2,110_3,110_4)로부터 수신된 다시점 영상의 왜곡을 보정한 후 스티칭(Stitching)하여 탑뷰 시점을 갖는 하나의 어라운드뷰 영상으로 생성한다.The image processing logic unit 220 receives a digitally converted multiview image from the ADC 210. The image processing logic unit 220 corrects the distortion of the multi-view image received from the cameras 110_1, 110_2, 110_3, 110_4 via the ADC 210, and then stitches to one around view having a top view. It is created as an image.

이미지 프로세싱 로직부(220)는 카메라(110_1,110_2,110_3,110_4)의 위치가 변경된 것으로 확인한 경우, 표시부(140)에 대한 캘리브레이션(Calibration)을 수행한다. 이미지 프로세싱 로직부(220)는 다시점 영상에 대한 왜곡 보정(Distortion Correction)을 수행한 왜곡 보정 영상을 생성한다. 이미지 프로세싱 로직부(220)는 왜곡 보정 영상에 호모그래피 매트릭스 연산(Homography Matrix Calculation)을 수행한 호모그래피 매트릭스 연산값을 산출한다. 이미지 프로세싱 로직부(220)는 캘리브레이션을 수행한 표시부 상에 왜곡 보정 영상과 호모그래피 매트릭스 연산값을 반영하여 어라운드뷰 영상으로 생성한다.When it is determined that the positions of the cameras 110_1, 110_2, 110_3, and 110_4 are changed, the image processing logic unit 220 performs calibration on the display unit 140. The image processing logic unit 220 generates a distortion correction image obtained by performing distortion correction on a multiview image. The image processing logic unit 220 calculates a homography matrix calculation value obtained by performing a homography matrix calculation on the distortion correction image. The image processing logic unit 220 generates an around-view image by reflecting the distortion correction image and the homography matrix operation value on the calibrated display unit.

제1 공간 정규화부(230)는 카메라(110_1,110_2,110_3,110_4)에 포함되는 렌즈마다 고유값을 가지고 있는데, 렌즈, CMOS 센서의 특성, 설치 위치가 모두 서로 상이하기 때문에, 일반적으로 카메라를 설치한 후 표준 패턴을 이용하여 보정하여 표준 좌표로 변환한다.The first spatial normalization unit 230 has an intrinsic value for each lens included in the cameras 110_1, 110_2, 110_3, and 110_4. Since the characteristics and installation positions of the lenses and CMOS sensors are all different from each other, the camera is generally After installation, it is corrected using a standard pattern and converted into standard coordinates.

제1 공간 정규화부(230)는 이미지 프로세싱 로직부(220)로부터 수신된 어라운드뷰 영상을 기 설정된 3차원 좌표계를 이용하여 3차원 좌표로 변환한다. 제1 공간 정규화부(230)는 차량에 설치된 카메라(110_1,110_2,110_3,110_4)의 기하학적 위치정보를 이용해 각각의 픽셀에 대한 방위각을 산출한다.The first spatial normalization unit 230 converts the around view image received from the image processing logic unit 220 into 3D coordinates using a preset 3D coordinate system. The first spatial normalization unit 230 calculates an azimuth angle for each pixel using geometric position information of the cameras 110_1, 110_2, 110_3, and 110_4 installed in the vehicle.

좌표 산출 로직부(240)는 레이더 센서(120_1,120_2)로부터 수신된 반사파를 기반으로 장애물에 대한 거리, 속도, 방위각을 산출한다. 좌표 산출 로직부(240)는 거리, 속도, 방위각을 이용하여 장애물에 대한 2차원 좌표를 산출한다. 좌표 산출 로직부(240)는 거리, 속도, 방위각을 이용하여 장애물에 대한 절대좌표 변환 과정을 거쳐서 스케일 변환 좌표로 변환한다.The coordinate calculation logic unit 240 calculates a distance, speed, and azimuth angle for the obstacle based on the reflected waves received from the radar sensors 120_1 and 120_2. The coordinate calculation logic unit 240 calculates two-dimensional coordinates for the obstacle using distance, speed, and azimuth angle. The coordinate calculation logic unit 240 converts the distance, speed, and azimuth angle into scale conversion coordinates through an absolute coordinate conversion process for an obstacle.

제2 공간 정규화부(250)는 2차원 좌표를 탑뷰 시점을 갖는 어라운드뷰 영상과 동일한 스케일(Scale)로 변환한 스케일 변환 좌표를 생성한다. 제2 공간 정규화부(250)는 레이더 센서(120_1,120_2) 내의 수신 안테나로부터 개별적으로 도착한 반사파의 시차를 이용하여 장애물의 수평방향 방위각을 산출한다.The second spatial normalization unit 250 generates scale-transformed coordinates obtained by converting the 2D coordinates into the same scale as the around-view image having a top view. The second spatial normalization unit 250 calculates a horizontal azimuth angle of the obstacle by using the parallax of reflected waves individually arriving from the receiving antennas in the radar sensors 120_1 and 120_2.

블랜딩부(260)는 어라운드뷰 영상에 대응하는 3차원 좌표 상에 스케일 변환 좌표를 결합하여, 스케일 변환 좌표에 대응하는 장애물이 어라운드뷰 영상에 표시되도록 한다. 블랜딩부(260)는 어라운드뷰 영상에 대응하는 3차원 좌표 상에 연속되는 장애물의 수평방향 방위각과 픽셀에 대한 방위각을 일치시켜서 스케일 변환 좌표에 대응하는 장애물을 프로젝션(Projection)한다.The blending unit 260 combines the scale-transformed coordinates on the 3D coordinates corresponding to the around-view image so that an obstacle corresponding to the scale-transformed coordinates is displayed on the around-view image. The blending unit 260 projects an obstacle corresponding to the scale-transformed coordinates by matching the horizontal azimuth angle of the continuous obstacle and the azimuth angle of the pixel on the 3D coordinate corresponding to the around view image.

블랜딩부(260)는 어라운드뷰 영상에 대응하는 3차원 좌표 상에 전방 및 후방에 존재하는 장애물에 대한 스케일 변환 좌표를 결합하여, 스케일 변환 좌표에 대응하는 장애물이 어라운드뷰 영상에 표시되도록 한다.The blending unit 260 combines the scale-transformed coordinates of the obstacles present in the front and the rear on the 3D coordinates corresponding to the around-view image, so that the obstacles corresponding to the scale-transformed coordinates are displayed on the around-view image.

블랜딩부(260)는 어라운드뷰 영상에 포함된 다시점 영상에 대한 화이트밸런스 동일한 값으로 조정한 화이트밸런스 조정 어라운드뷰 영상을 생성한다. 블랜딩부(260)는 화이트밸런스 조정 어라운드뷰 영상에 대응하는 3차원 좌표 상에 스케일 변환 좌표를 결합하여, 스케일 변환 좌표에 대응하는 장애물이 화이트밸런스 조정 어라운드뷰 영상에 표시되도록 한다. The blending unit 260 generates a white balance adjusted around view image obtained by adjusting to the same white balance value for the multi-view image included in the around view image. The blending unit 260 combines the scale-transformed coordinates on the 3D coordinates corresponding to the white balance-adjusted around-view image, so that an obstacle corresponding to the scale-transformed coordinates is displayed on the white balance-adjusted around-view image.

회전 감지부(272)는 차량의 전방에 설치된 카메라(110_1)로부터 수신된 전방 영상을 기반으로 차량이 조향하여 코너를 회전하는 지의 여부를 확인한다.The rotation detection unit 272 checks whether the vehicle is steering to rotate a corner based on the front image received from the camera 110_1 installed in front of the vehicle.

회전 감지부(272)는 차량의 전방에 설치된 카메라(110_1)로부터 수신된 전방 영상을 분석하여 기 설정된 임계치 이상으로 기울기, 히스토그램, 픽셀값 중 적어도 하나 이상의 정보가 변경되는 경우, 차량이 조향하여 코너를 회전하는 것으로 인지한다.The rotation detection unit 272 analyzes the front image received from the camera 110_1 installed in the front of the vehicle, and when at least one of the slope, histogram, and pixel values is changed beyond a preset threshold, the vehicle steers Is recognized as rotating.

회전 감지부(272)는 회전 감지부(272)의 확인 결과에 따라 차량이 직진 또는 후진하고 있다고 판단한다.The rotation detection unit 272 determines that the vehicle is moving straight forward or backward according to the confirmation result of the rotation detection unit 272.

측방 장애물 감지부(274)는 회전 감지부(272)의 확인 결과, 차량의 조향하여 코너를 회전하는 경우, 차량의 측방에 설치된 레이더 센서(120_1,120_2)로부터 수신된 반사파를 기반으로 차량이 회전하고자 하는 측방에 장애물이 존재하는 지의 여부를 확인한다.As a result of the rotation detection unit 272, the lateral obstacle detection unit 274 rotates the vehicle based on the reflected waves received from the radar sensors 120_1 and 120_2 installed at the side of the vehicle when rotating the corner by steering the vehicle. Check whether there are obstacles on the side you want to do.

측방 장애물 감지부(274)는 차량의 전방 및 후방에 설치된 레이더 센서(120_1,120_2)로부터 수신된 반사파를 기반으로 차량이 전방 및 후방에 장애물이 존재하는 지의 여부를 확인한다.The lateral obstacle detection unit 274 checks whether an obstacle exists in the front and rear of the vehicle based on the reflected waves received from the radar sensors 120_1 and 120_2 installed in the front and rear of the vehicle.

알람 발생부(276)는 차량의 조향하여 코너를 회전하며, 차량이 회전하고자 하는 측방에 장애물이 존재하는 경우, 표시부(140)로 알람이 출력되도록 한다.The alarm generator 276 rotates a corner by steering the vehicle, and when an obstacle exists on the side to which the vehicle is to rotate, an alarm is output to the display unit 140.

알람 발생부(276)는 차량이 조향하여 코너를 회전하는 것으로 인지하면, 차량의 앞바퀴 또는 뒷바퀴의 회전 반경을 예상한다. 알람 발생부(276)는 회전 반경 내에 차량이 회전하고자 하는 측방에 장애물이 존재하거나 장애물이 진입한 경우, 차량이 회전하고자 하는 측방에 존재하는 장애물의 속도와 현재 속도를 비교한다. 알람 발생부(276)는 장애물의 속도와 현재 속도를 비교하여 차량과 장애물의 충돌이 예상되는 경우, 표시부(140)로 사고 예측 문구 및 사운드를 나타내는 알람을 출력하도록 한다.The alarm generator 276 predicts a turning radius of the front wheel or rear wheel of the vehicle when it is recognized that the vehicle is steering and rotating a corner. The alarm generator 276 compares the current speed with the speed of the obstacle existing at the side of the vehicle to rotate when an obstacle exists or an obstacle enters the side of the vehicle to rotate within the turning radius. The alarm generator 276 compares the speed of the obstacle and the current speed to output an alarm indicating an accident prediction phrase and sound to the display unit 140 when a collision between the vehicle and the obstacle is expected.

도 3a,3b는 본 실시예에 따른 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법을 설명하기 위한 순서도이다.3A and 3B are flowcharts illustrating a method of displaying a three-dimensional obstacle for a vehicle by combining a radar and an image according to the present embodiment.

카메라(110_1,110_2,110_3,110_4)는 차량의 전방, 후방, 측방 각각으로부터 촬영된 다시점 영상을 실시간 스트림 비디오(Live Stream Video)로 전송한다(S310). 차량용 3차원 장애물 표시장치(100)는 차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)로부터 실시간으로 다시점 영상을 획득한다(S312). 차량용 3차원 장애물 표시장치(100)는 2D 어라운드뷰 모델을 위한 룩업 테이블(Look Up Table)을 로딩한다(S3214).The cameras 110_1, 110_2, 110_3, 110_4 transmit multi-view images captured from each of the front, rear, and sides of the vehicle as a live stream video (S310). The vehicle 3D obstacle display device 100 acquires a multi-view image in real time from cameras 110_1, 110_2, 110_3, 110_4 installed in the front, rear, and sides of the vehicle (S312). The vehicle 3D obstacle display device 100 loads a look up table for a 2D around view model (S3214).

차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)의 위치가 변경 되었는지의 여부를 확인한다(S316).The vehicle 3D obstacle display device 100 checks whether the positions of the cameras 110_1, 110_2, 110_3, and 110_4 have been changed (S316).

단계 S316의 확인 결과, 카메라(110_1,110_2,110_3,110_4)의 위치가 변경된 경우, 차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)로부터 획득한 다시점 영상을 표시하는 표시부(140)(모니터, 출력부)에 대한 캘리브레이션(Calibration)을 수행한다(S318).As a result of checking in step S316, when the position of the cameras 110_1,110_2,110_3,110_4 is changed, the vehicle 3D obstacle display device 100 displays the multi-view image acquired from the cameras 110_1,110_2,110_3,110_4. The display unit 140 (monitor, output unit) is calibrated (S318).

차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)로부터 획득한 영상에 대한 왜곡 보정(Distortion Correction)을 수행한 왜곡 보정 영상을 생성한다(S320). 차량용 3차원 장애물 표시장치(100)는 왜곡 보정 영상에 호모그래피 매트릭스 연산(Homography Matrix Calculation)을 수행한 호모그래피 매트릭스 연산값을 산출한다(S322).The vehicle 3D obstacle display device 100 generates a distortion correction image obtained by performing distortion correction on the images acquired from the cameras 110_1, 110_2, 110_3, and 110_4 (S320). The vehicle 3D obstacle display device 100 calculates a homography matrix calculation value obtained by performing a homography matrix calculation on the distortion correction image (S322).

차량용 3차원 장애물 표시장치(100)는 캘리브레이션을 수행한 표시부(140)(모니터, 출력부) 상에 왜곡 보정 영상과 호모그래피 매트릭스 연산값을 반영하여 룩업 테이블(Look Up Table)을 생성한다(S324).The vehicle 3D obstacle display device 100 generates a look up table by reflecting the distortion correction image and the homography matrix operation value on the calibration performed display unit 140 (monitor, output unit) (S324). ).

단계 S316의 확인 결과, 카메라(110_1,110_2,110_3,110_4)의 위치가 미변경된 경우, 차량용 3차원 장애물 표시장치(100)는 단계 S314에서 추출되거나 S324에서 생성된 룩업 테이블을 이용하여 차량의 전방, 후방, 측방으로부터 각각 촬영된 다시점 영상의 왜곡선 연결하는 이미지 스티칭(Image Stitching)을 수행한 이미지 스티칭 영상을 생성한다(326).As a result of checking in step S316, if the position of the cameras 110_1, 110_2, 110_3, 110_4 has not been changed, the vehicle 3D obstacle display device 100 uses the lookup table extracted in step S314 or generated in the front of the vehicle. An image stitching image obtained by image stitching connecting the distortion lines of the multi-view images captured from the rear and the side, respectively, is generated (326 ).

차량용 3차원 장애물 표시장치(100)는 차량의 전방, 후방, 측방으로부터 각각 촬영된 영상에 대한 화이트밸런스가 모두 다르기 때문에 이미지 스티칭 영상에 대한 화이트밸런스 조정한 화이트밸런스 조정 영상을 생성한다(S328).The vehicle 3D obstacle display device 100 generates a white balance adjustment image obtained by adjusting the white balance for the image stitching image because the white balance of the image captured from the front, rear, and side of the vehicle is all different (S328).

차량용 3차원 장애물 표시장치(100)는 화이트밸런스 조정 영상을 3차원 공간에 오버레이하는 알파 블랜딩(Alpha Blending)을 수행한다(330). 차량용 3차원 장애물 표시장치(100)는 3D 어라운드뷰 모델을 위한 룩업 테이블을 로딩한다(S332).The vehicle 3D obstacle display device 100 performs alpha blending in which a white balance adjustment image is overlaid on a 3D space (330). The vehicle 3D obstacle display device 100 loads a lookup table for a 3D around view model (S332).

차량용 3차원 장애물 표시장치(100)는 차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)의 기하학적 시점이 변경되었는지의 여부를 확인한다(S334).The vehicle 3D obstacle display device 100 checks whether the geometric viewpoint of the cameras 110_1, 110_2, 110_3, and 110_4 installed in the front, rear, and sides of the vehicle has changed (S334).

단계 S334의 확인 결과, 차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)의 기하학적 시점이 변경된 경우, 차량용 3차원 장애물 표시장치(100)는 3D 어라운드뷰 모델을 위한 룩업 테이블을 다시 생성한다(S336).As a result of checking in step S334, when the geometric viewpoint of the cameras 110_1, 110_2, 110_3, 110_4 installed in the front, rear, and sides of the vehicle is changed, the vehicle 3D obstacle display device 100 is a lookup table for a 3D around view model. It generates again (S336).

단계 S334의 확인 결과, 차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)의 기하학적 시점이 변경된 경우, 차량용 3차원 장애물 표시장치(100)는 3D 어라운드뷰 이미지를 완성한다(S338).As a result of checking in step S334, when the geometric viewpoint of the cameras 110_1, 110_2, 110_3, 110_4 installed in the front, rear, and sides of the vehicle is changed, the vehicle 3D obstacle display device 100 completes a 3D around view image ( S338).

도 3에서는 단계 S310 내지 단계 S338을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.In FIG. 3, it is described that steps S310 to S338 are sequentially executed, but are not limited thereto. In other words, since it is possible to change and execute the steps illustrated in FIG. 3 or execute one or more steps in parallel, FIG. 3 is not limited to a time series order.

전술한 바와 같이 도 3에 기재된 본 실시예에 따른 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. As described above, the method of displaying a three-dimensional obstacle for a vehicle by combining a radar and an image according to the present embodiment illustrated in FIG. 3 may be implemented as a program and recorded on a computer-readable recording medium. A program for implementing a method of displaying a three-dimensional obstacle for a vehicle by combining a radar and an image according to the present embodiment is recorded, and the computer-readable recording medium is all kinds of recording data that can be read by a computer system. Including the device.

도 4는 본 실시예에 따른 차량이 코너를 회전할 때 측방 장애물을 감지하여 알람을 출력하는 예시를 나타낸 도면이다.4 is a diagram illustrating an example in which an alarm is output by detecting a side obstacle when a vehicle turns a corner according to the present embodiment.

차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)를 이용한 다시점 영상을 결합한 어라운드뷰 영상에 레이더 센서(120_1,120_2)를 이용하여 식별한 장애물을 3차원 형태로 결합하여 출력하는데, 차량의 조향하여 회전하는 경우 측면을 감지하여 장애물(객체, 물체)이 존재하는 경우 알람을 출력한다.The vehicle 3D obstacle display device 100 combines the obstacles identified using the radar sensors 120_1 and 120_2 to the around-view image that combines the multi-view image using the cameras 110_1,110_2,110_3,110_4 in a 3D form. When the vehicle is steered and rotated, the side is sensed and an alarm is output when an obstacle (object, object) exists.

차량용 3차원 장애물 표시장치(100) 내에 포함되는 레이더 센서(120_1,120_2)는 절대값(레이더별로 차이가 없음)을 가진다. 차량용 3차원 장애물 표시장치(100) 내에 포함되는 카메라(110_1,110_2,110_3,110_4)는 고유값을 가진다.The radar sensors 120_1 and 120_2 included in the vehicle 3D obstacle display device 100 have absolute values (there is no difference for each radar). The cameras 110_1, 110_2, 110_3, 110_4 included in the vehicle 3D obstacle display device 100 have unique values.

차량용 3차원 장애물 표시장치(100)는 대형 차량이 직진과 회전 특성을 구분하여, 정면 주행 시 영상만을 제공하다가 회전 시, 측면 장애물(객체, 물체)을 탐지하여 알람을 출력한다. 레이더 센서(120_1,120_2)는 차량이 소형 또는 중형인 경우 차량의 전방 및 후방에 설치될 수 있으나, 차량이 대형인 경우 차량의 도 4에 도시된 바와 같이, 차량의 전방, 후방, 측방에 설치될 수 있다.The vehicle 3D obstacle display device 100 divides the characteristics of a large vehicle traveling straight and rotating, and provides only an image when driving in the front, and then detects a side obstacle (object, object) when rotating, and outputs an alarm. Radar sensors 120_1 and 120_2 can be installed in the front and rear of the vehicle when the vehicle is small or medium, but when the vehicle is large, as shown in FIG. 4 of the vehicle, it is installed in the front, rear, and side of the vehicle. Can be.

차량용 3차원 장애물 표시장치(100)는 차량의 전방에 설치된 카메라(110_1)로부터 수신된 전방 영상을 기반으로 차량이 조향하여 회전(좌회전 또는 우회전)하는 지의 여부를 확인한다. 차량용 3차원 장애물 표시장치(100)는 전방 영상을 분석하여 기 설정된 임계치 이상으로 기울기, 히스토그램, 픽셀값 중 적어도 하나 이상의 정보가 변경되는 경우, 차량이 조향하여 회전(좌회전 또는 우회전)하는 것으로 인지한다.The vehicle 3D obstacle display device 100 checks whether the vehicle steers and rotates (turns left or right) based on the front image received from the camera 110_1 installed in front of the vehicle. The vehicle 3D obstacle display device 100 analyzes the front image and recognizes that when at least one of the slope, histogram, and pixel values is changed beyond a preset threshold, the vehicle is steered and rotated (turn left or right). .

차량용 3차원 장애물 표시장치(100)는 차량의 조향하여 우회전하는 경우, 도 4에 도시된 바와 같이 차량의 측방에 설치된 레이더 센서로부터 수신된 반사파를 기반으로 차량이 우회전하고자 하는 측방에 장애물이 존재하는지의 여부를 확인한다.When the vehicle 3D obstacle display device 100 turns right by steering of the vehicle, as shown in FIG. 4, based on the reflected wave received from the radar sensor installed on the side of the vehicle, whether there is an obstacle in the side where the vehicle intends to turn right. Check whether or not.

차량용 3차원 장애물 표시장치(100)는 차량의 조향하여 우회전하며, 차량이 우회전하고자 하는 측방에 장애물이 존재하는 경우, 표시부(140)로 알람을 출력한다.The vehicle 3D obstacle display device 100 turns right by steering the vehicle, and outputs an alarm to the display unit 140 when an obstacle exists in the side where the vehicle is to turn right.

차량용 3차원 장애물 표시장치(100)는 도 4에 도시된 바와 같이, 차량이 조향하여 우회전하는 것으로 인지하면, 차량의 앞바퀴 또는 뒷바퀴의 회전 반경을 예상한다.As illustrated in FIG. 4, the vehicle 3D obstacle display device 100 predicts a turning radius of the front or rear wheels of the vehicle when it recognizes that the vehicle is steering and turning right.

차량용 3차원 장애물 표시장치(100)는 회전 반경 내에 차량이 우회전하고자 하는 측방에 장애물이 존재하거나 진입한 경우, 차량이 회전하고자 하는 우측방에 존재하는 장애물의 속도와 현재 속도를 비교한다.The vehicle 3D obstacle display device 100 compares the current speed with the speed of the obstacle present in the right side of the vehicle to rotate when an obstacle exists or enters the side in which the vehicle intends to turn right within the turning radius.

차량용 3차원 장애물 표시장치(100)는 차량이 회전하고자 하는 우측방에 존재하는 장애물의 속도와 현재 속도를 비교한 결과 충돌이 예상되는 경우, 표시부(140)로 사고 예측 문구 및 사운드를 나타내는 알람을 출력한다.When a collision is expected as a result of comparing the speed of the obstacle existing in the right side of the vehicle to rotate and the current speed, the vehicle 3D obstacle display device 100 displays an alarm indicating an accident prediction phrase and sound to the display unit 140. Print.

차량용 3차원 장애물 표시장치(100)는 차량이 직진 또는 후진하고 있다고 판단하면, 차량의 전방 및 후방에 설치된 레이더 센서(120_1, 120_2)로부터 수신된 반사파를 기반으로 차량이 전방 및 후방에 장애물이 존재하는 지의 여부를 확인한다.When the vehicle 3D obstacle display device 100 determines that the vehicle is moving straight forward or backward, obstacles exist in the front and rear of the vehicle based on the reflected waves received from the radar sensors 120_1 and 120_2 installed in the front and rear of the vehicle. Check whether or not.

차량용 3차원 장애물 표시장치(100)는 어라운드뷰 영상에 대응하는 3차원 좌표 상에 전방 및 후방에 존재하는 장애물에 대한 스케일 변환 좌표를 결합하여, 스케일 변환 좌표에 대응하는 장애물이 어라운드뷰 영상에 표시되도록 한다.The vehicle 3D obstacle display device 100 combines the scale-transformed coordinates of the obstacles present in the front and the rear on the 3D coordinates corresponding to the around-view image, and displays the obstacles corresponding to the scale-transformed coordinates on the around-view image. Make it possible.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present embodiment, and those of ordinary skill in the technical field to which the present embodiment belongs will be able to make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are not intended to limit the technical idea of the present embodiment, but to explain the technical idea, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of this embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present embodiment.

100: 차량용 3차원 장애물 표시장치
110_1, 110_2, 110_3, 110_4: 카메라
120_1, 120_2: 레이더 센서
130: 어라운드뷰 표시장치
140: 표시부
210: ADC 220: 이미지 프로세싱 로직부
230: 제1 공간 정규화부 240: 좌표 산출 로직부
250: 제2 공간 정규화부 260: 블랜딩부
232: 영상좌표 변환부 252: 제2 공간 정규화부
272: 회전 감지부 274: 측방장애물 감지부
276: 알람 발생부100: vehicle 3D obstacle display device
110_1, 110_2, 110_3, 110_4: camera
120_1, 120_2: radar sensor
130: around view display device
140: display
210: ADC 220: image processing logic unit
230: first spatial normalization unit 240: coordinate calculation logic unit
250: second spatial normalization unit 260: blending unit
232: image coordinate conversion unit 252: second spatial normalization unit
272: rotation detection unit 274: side obstacle detection unit
276: alarm generator

Claims (11)

차량의 전방, 후방, 측방에 설치되어 기 설정된 영역을 기 설정된 시점으로 각각 촬영하여 다시점 영상을 생성하는 카메라;
기 설정된 영역으로 전자파(Original Wave)를 송출하고, 기 설정된 영역 내에 존재하는 장애물로부터 상기 전자파에 대응하여 반사된 반사파(Reflected Wave)를 수신하는 레이더 센서;
상기 다시점 영상의 왜곡을 보정한 후 스티칭(Stitching)하여 탑뷰 시점을 갖는 하나의 어라운드뷰 영상으로 생성하는 이미지 프로세싱 로직부;
상기 어라운드뷰 영상을 기 설정된 3차원 좌표계를 이용하여 3차원 좌표로 변환하는 제1 공간 정규화부;
상기 반사파를 기반으로 상기 장애물에 대한 거리, 속도, 방위각을 산출하고, 상기 거리, 상기 속도, 상기 방위각을 이용하여 상기 장애물에 대한 2차원 좌표를 산출하는 좌표 산출 로직부;
상기 2차원 좌표를 상기 어라운드뷰 영상과 동일한 스케일(Scale)로 변환한 스케일 변환 좌표를 생성하는 제2 공간 정규화부;
상기 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 상기 스케일 변환 좌표를 결합하여, 상기 스케일 변환 좌표에 대응하는 상기 장애물이 상기 어라운드뷰 영상에 표시되도록 하는 블랜딩부; 및
상기 어라운드뷰 영상에 상기 장애물을 3차원 형태로 오버레이하여 출력하는 표시부
를 포함하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.A camera installed at the front, rear, and side of the vehicle to photograph a preset area at a preset time point to generate a multi-view image;
A radar sensor that transmits an original wave to a preset area and receives a reflected wave reflected in response to the electromagnetic wave from an obstacle existing in the preset area;
An image processing logic unit that corrects the distortion of the multi-view image and then stitches it to generate one around-view image having a top view view;
A first spatial normalization unit for converting the around view image into 3D coordinates using a preset 3D coordinate system;
A coordinate calculation logic unit that calculates a distance, speed, and azimuth angle for the obstacle based on the reflected wave, and calculates a two-dimensional coordinate for the obstacle using the distance, the speed, and the azimuth angle;
A second spatial normalization unit for generating scale transform coordinates obtained by converting the 2D coordinates into the same scale as the around view image;
A blending unit configured to combine the scale-transformed coordinates on the 3D coordinates corresponding to the around-view image so that the obstacle corresponding to the scale-transformed coordinates is displayed on the around-view image; And
A display unit that overlays and outputs the obstacle in a three-dimensional form on the around view image
3D obstacle display device for a vehicle comprising a. 제1항에 있어서,
상기 레이더 센서는,
상기 차량의 전방, 후방, 측방에 설치되며,
수직 또는 수평 방향으로 위상 배열된 2개 이상의 수신 안테나;
마이크로파(Microwave) 또는 밀리미터파(mm-Wave)의 상기 전자파를 발생하는 적어도 1개의 송신 안테나;
를 포함하며, 적어도 1개의 상기 송신 안테나를 이용하여 상기 기 설정된 영역으로 상기 전자파를 송신하고, 적어도 2개 이상의 상기 수신 안테나를 이용하여 기 설정된 영역 내에 존재하는 상기 장애물로부터 상기 전자파에 대응하여 반사된 상기 반사파를 수신하여 상기 제2 공간 정규화부로 전송하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.The method of claim 1,
The radar sensor,
It is installed in the front, rear, and sides of the vehicle,
Two or more receiving antennas phased in a vertical or horizontal direction;
At least one transmission antenna for generating the electromagnetic wave of microwave or millimeter wave (mm-Wave);
Including, the electromagnetic wave is transmitted to the preset area using at least one transmission antenna, and reflected in response to the electromagnetic wave from the obstacle existing in the preset area using at least two or more receiving antennas 3D obstacle display device for a vehicle, characterized in that receiving the reflected wave and transmitting it to the second space normalization unit. 제2항에 있어서,
상기 제2 공간 정규화부는 상기 수신 안테나로부터 개별적으로 도착한 상기 반사파의 시차를 이용하여 상기 장애물의 수평방향 방위각을 산출하고,
상기 제1 공간 정규화부는 차량에 설치된 상기 카메라의 기하학적 위치정보를 이용해 각각의 픽셀에 대한 방위각을 산출하고,
상기 블랜딩부는 상기 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 연속되는 상기 장애물의 수평방향 방위각과 상기 픽셀에 대한 방위각을 일치시켜서 상기 스케일 변환 좌표에 대응하는 장애물을 프로젝션(projection)하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.The method of claim 2,
The second spatial normalization unit calculates a horizontal azimuth angle of the obstacle using the parallax of the reflected waves individually arriving from the receiving antenna,
The first spatial normalization unit calculates an azimuth angle for each pixel using geometric location information of the camera installed in the vehicle,
The blending unit projects an obstacle corresponding to the scale-transformed coordinate by matching the horizontal azimuth angle of the obstacle in the horizontal direction and the azimuth angle of the pixel on the 3D coordinate corresponding to the around view image. 3D obstacle display device for vehicles. 제2항에 있어서,
상기 차량의 전방에 설치된 카메라로부터 수신된 전방 영상을 기반으로 상기 차량이 조향하여 코너를 회전하는 지의 여부를 확인하는 회전 감지부;
상기 회전 감지부의 확인 결과, 상기 차량의 조향하여 코너를 회전하는 경우, 상기 차량의 측방에 설치된 상기 레이더 센서로부터 수신된 반사파를 기반으로 상기 차량이 회전하고자 하는 측방에 장애물이 존재하는 지의 여부를 확인하는 측방 장애물 감지부;
상기 차량의 조향하여 코너를 회전하며, 상기 차량이 회전하고자 하는 측방에 장애물이 존재하는 경우, 상기 표시부로 알람을 출력하는 알람 발생부
를 포함하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.The method of claim 2,
A rotation detector configured to check whether the vehicle steers and rotates a corner based on a front image received from a camera installed in front of the vehicle;
As a result of checking the rotation detection unit, when the vehicle is steered to rotate a corner, it is checked whether or not an obstacle exists in the side where the vehicle is to rotate based on the reflected wave received from the radar sensor installed on the side of the vehicle. A side obstacle detection unit;
An alarm generator that rotates a corner by steering the vehicle, and outputs an alarm to the display when an obstacle exists in the side where the vehicle is to rotate
3D obstacle display device for a vehicle comprising a. 제4항에 있어서,
상기 회전감지부는,
상기 전방 영상을 분석하여 기 설정된 임계치 이상으로 기울기, 히스토그램, 픽셀값 중 적어도 하나 이상의 정보가 변경되는 경우, 상기 차량이 조향하여 코너를 회전하는 것으로 인지하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.The method of claim 4,
The rotation detection unit,
When at least one of a slope, a histogram, and a pixel value is changed by analyzing the front image and exceeding a preset threshold, it is recognized that the vehicle is steering to rotate a corner. 제4항에 있어서,
상기 알람 발생부는,
상기 차량이 조향하여 코너를 회전하는 것으로 인지하면, 상기 차량의 앞바퀴 또는 뒷바퀴의 회전 반경을 예상하고, 상기 회전 반경 내에 상기 차량이 회전하고자 하는 측방에 장애물이 존재하거나 장애물이 진입한 경우, 상기 차량이 회전하고자 하는 측방에 존재하는 장애물의 속도와 현재 속도를 비교하여 상기 차량과 상기 장애물의 충돌이 예상되는 경우, 상기 표시부로 사고 예측 문구 및 사운드를 나타내는 알람을 출력하도록 하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.The method of claim 4,
The alarm generating unit,
When it is recognized that the vehicle is steering and rotating a corner, the vehicle is expected to rotate a turning radius of the front or rear wheel of the vehicle, and if an obstacle exists or an obstacle enters a side to which the vehicle is to rotate within the turning radius, the vehicle 3 for a vehicle, characterized in that when a collision between the vehicle and the obstacle is predicted by comparing the speed of the obstacle existing on the side to be rotated and an alarm indicating an accident prediction phrase and sound to the display unit 3 Dimensional obstacle indicator. 제4항에 있어서,
상기 회전 감지부는 상기 회전 감지부의 확인 결과에 따라 상기 차량이 직진 또는 후진하고 있다고 판단하면,
상기 측방 장애물 감지부는 상기 차량의 전방 및 후방에 설치된 상기 레이더 센서로부터 수신된 반사파를 기반으로 상기 차량이 전방 및 후방에 장애물이 존재하는 지의 여부를 확인하고,
상기 블랜딩부는 상기 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 전방 및 후방에 존재하는 장애물에 대한 상기 스케일 변환 좌표를 결합하여, 상기 스케일 변환 좌표에 대응하는 상기 장애물이 상기 어라운드뷰 영상에 표시되도록 하는 것을 차량용 3차원 장애물 표시장치.The method of claim 4,
When the rotation detection unit determines that the vehicle is moving straight forward or backward according to the confirmation result of the rotation detection unit,
The lateral obstacle detection unit checks whether or not an obstacle exists in the front and rear of the vehicle based on the reflected wave received from the radar sensor installed in the front and rear of the vehicle,
The blending unit combines the scale-transformed coordinates of the obstacles present in the front and the rear on the 3D coordinates corresponding to the around-view image, so that the obstacle corresponding to the scale-transformed coordinates is displayed in the around-view image. 3D obstacle display device for vehicles. 제1항에 있어서,
상기 이미지 프로세싱 로직부는,
상기 카메라의 위치가 변경된 것으로 확인한 경우, 상기 표시부에 대한 캘리브레이션(Calibration)을 수행하고, 상기 다시점 영상에 대한 왜곡 보정(Distortion Correction)을 수행한 왜곡 보정 영상을 생성하고, 상기 왜곡 보정 영상에 호모그래피 매트릭스 연산(Homography Matrix Calculation)을 수행한 호모그래피 매트릭스 연산값을 산출하고, 상기 캘리브레이션을 수행한 상기 표시부 상에 상기 왜곡 보정 영상과 상기 호모그래피 매트릭스 연산값을 반영하여 상기 어라운드뷰 영상으로 생성하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.The method of claim 1,
The image processing logic unit,
When it is confirmed that the position of the camera has changed, calibration is performed on the display unit, a distortion correction image obtained by performing distortion correction on the multi-view image is generated, and the distortion correction image is homogeneous. Calculates a homography matrix calculation value that has performed Homography Matrix Calculation, and generates the around-view image by reflecting the distortion correction image and the homography matrix calculation value on the display unit where the calibration has been performed. 3D obstacle display device for a vehicle, characterized in that. 제8항에 있어서,
상기 블랜딩부는,
상기 어라운드뷰 영상에 포함된 상기 다시점 영상에 대한 화이트밸런스 동일한 값으로 조정한 화이트밸런스 조정 어라운드뷰 영상을 생성하고, 상기 화이트밸런스 조정 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 상기 스케일 변환 좌표를 결합하여, 상기 스케일 변환 좌표에 대응하는 상기 장애물이 상기 화이트밸런스 조정 어라운드뷰 영상에 표시되도록 하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.The method of claim 8,
The blending unit,
A white balance adjusted around view image adjusted to the same white balance value for the multi-view image included in the around view image is generated, and the scale transformed coordinates on the 3D coordinates corresponding to the white balance adjusted around view image By combining, the three-dimensional obstacle display device for a vehicle, characterized in that the obstacle corresponding to the scale conversion coordinate is displayed in the white balance adjustment around view image. 제1항에 있어서,
상기 좌표 산출 로직부는,
상기 거리, 상기 속도, 상기 방위각을 이용하여 상기 장애물에 대한 절대좌표 변환 과정을 거쳐서 상기 스케일 변환 좌표로 변환하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.The method of claim 1,
The coordinate calculation logic unit,
The 3D obstacle display device for a vehicle, characterized in that the distance, the speed, and the azimuth are converted into the scale-transformed coordinates through an absolute coordinate conversion process for the obstacle. 카메라에서 차량의 전방, 후방, 측방에 설치되어 기 설정된 영역을 기 설정된 시점으로 각각 촬영하여 다시점 영상을 생성하는 과정;
레이더 센서에서 기 설정된 영역으로 전자파(Original Wave)를 송출하고, 기 설정된 영역 내에 존재하는 장애물로부터 상기 전자파에 대응하여 반사된 반사파(Reflected Wave)를 수신하는 과정;
이미지 프로세싱 로직부에서 상기 다시점 영상의 왜곡을 보정한 후 스티칭(Stitching)하여 탑뷰 시점을 갖는 하나의 어라운드뷰 영상으로 생성하는 과정;
제1 공간 정규화부에서 상기 어라운드뷰 영상을 기 설정된 3차원 좌표계를 이용하여 3차원 좌표로 변환하는 과정;
좌표 산출 로직부에서 상기 반사파를 기반으로 상기 장애물에 대한 거리, 속도, 방위각을 산출하고, 상기 거리, 상기 속도, 상기 방위각을 이용하여 상기 장애물에 대한 2차원 좌표를 산출하는 과정;
제2 공간 정규화부에서 상기 2차원 좌표를 상기 어라운드뷰 영상과 동일한 스케일(Scale)로 변환한 스케일 변환 좌표를 생성하는 과정;
블랜딩부에서 상기 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 상기 스케일 변환 좌표를 결합하여, 상기 스케일 변환 좌표에 대응하는 상기 장애물이 상기 어라운드뷰 영상에 표시되도록 하는 과정; 및
표시부에서 상기 어라운드뷰 영상에 상기 장애물을 3차원 형태로 오버레이하여 출력하는 과정
을 포함하는 것을 특징으로 하는 차량용 3차원 장애물 표시 방법.
A process of generating a multi-view image by photographing a preset area at a preset time point, which is installed in the front, rear, and side of the vehicle by the camera;
Transmitting an electromagnetic wave (Original Wave) from a radar sensor to a preset area, and receiving a reflected wave from an obstacle existing in the preset area in response to the electromagnetic wave;
Generating a single around-view image having a top view by correcting distortion of the multi-view image in an image processing logic unit and then stitching;
Converting the around view image into 3D coordinates using a preset 3D coordinate system in a first spatial normalization unit;
Calculating a distance, speed, and azimuth angle for the obstacle based on the reflected wave in a coordinate calculation logic unit, and calculating a two-dimensional coordinate for the obstacle using the distance, the speed, and the azimuth angle;
Generating scale transformed coordinates obtained by converting the 2D coordinates into the same scale as the around view image in a second spatial normalization unit;
Combining the scale-transformed coordinates on the three-dimensional coordinates corresponding to the around-view image in a blending unit so that the obstacle corresponding to the scale-transformed coordinates is displayed on the around-view image; And
Process of overlaying and outputting the obstacle in a 3D form on the around view image in the display unit
3D obstacle display method for a vehicle comprising a.
KR1020190046041A 2019-04-19 2019-04-19 Method And Apparatus for Displaying 3D Obstacle by Combining Radar And Video KR102175947B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190046041A KR102175947B1 (en) 2019-04-19 2019-04-19 Method And Apparatus for Displaying 3D Obstacle by Combining Radar And Video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190046041A KR102175947B1 (en) 2019-04-19 2019-04-19 Method And Apparatus for Displaying 3D Obstacle by Combining Radar And Video

Publications (2)

Publication Number Publication Date
KR20200123513A true KR20200123513A (en) 2020-10-30
KR102175947B1 KR102175947B1 (en) 2020-11-11

Family

ID=73048211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190046041A KR102175947B1 (en) 2019-04-19 2019-04-19 Method And Apparatus for Displaying 3D Obstacle by Combining Radar And Video

Country Status (1)

Country Link
KR (1) KR102175947B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114312812A (en) * 2022-03-04 2022-04-12 国汽智控(北京)科技有限公司 Vehicle control method and device based on dynamic perception and electronic equipment
CN116563817A (en) * 2023-04-14 2023-08-08 禾多科技（北京）有限公司 Obstacle information generation method, obstacle information generation device, electronic device, and computer-readable medium
KR20240031569A (en) * 2022-08-31 2024-03-08 오토아이티(주) System and method for road hazard detection using AVM device
WO2024143642A1 (en) * 2022-12-29 2024-07-04 주식회사 비트센싱 Apparatus, method and computer program for detecting object by using radar sensor and image sensor

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187566A (en) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd Camera calibration apparatus and method and vehicle
JP2012105090A (en) * 2010-11-10 2012-05-31 Aisin Seiki Co Ltd Parking support apparatus
KR20160131579A (en) * 2015-05-08 2016-11-16 엘지전자 주식회사 Autonomous drive apparatus and vehicle including the same
JP2018110328A (en) * 2017-01-04 2018-07-12 株式会社デンソーテン Image processing apparatus and image processing method
KR20180082000A (en) * 2017-01-09 2018-07-18 주식회사 엠씨넥스 Apparatus and Method for AVM Calibration using Tire Press Monitoring Information
JP2019018743A (en) * 2017-07-19 2019-02-07 日産自動車株式会社 Locus estimation method and locus estimation device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187566A (en) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd Camera calibration apparatus and method and vehicle
JP2012105090A (en) * 2010-11-10 2012-05-31 Aisin Seiki Co Ltd Parking support apparatus
KR20160131579A (en) * 2015-05-08 2016-11-16 엘지전자 주식회사 Autonomous drive apparatus and vehicle including the same
JP2018110328A (en) * 2017-01-04 2018-07-12 株式会社デンソーテン Image processing apparatus and image processing method
KR20180082000A (en) * 2017-01-09 2018-07-18 주식회사 엠씨넥스 Apparatus and Method for AVM Calibration using Tire Press Monitoring Information
JP2019018743A (en) * 2017-07-19 2019-02-07 日産自動車株式会社 Locus estimation method and locus estimation device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114312812A (en) * 2022-03-04 2022-04-12 国汽智控(北京)科技有限公司 Vehicle control method and device based on dynamic perception and electronic equipment
KR20240031569A (en) * 2022-08-31 2024-03-08 오토아이티(주) System and method for road hazard detection using AVM device
WO2024143642A1 (en) * 2022-12-29 2024-07-04 주식회사 비트센싱 Apparatus, method and computer program for detecting object by using radar sensor and image sensor
CN116563817A (en) * 2023-04-14 2023-08-08 禾多科技（北京）有限公司 Obstacle information generation method, obstacle information generation device, electronic device, and computer-readable medium
CN116563817B (en) * 2023-04-14 2024-02-20 禾多科技（北京）有限公司 Obstacle information generation method, obstacle information generation device, electronic device, and computer-readable medium

Also Published As

Publication number Publication date
KR102175947B1 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
US11719808B2 (en) Vehicle sensor with integrated radar and image sensors
US11805228B2 (en) Vehicular control system with forward viewing camera and forward sensing sensor
US10962638B2 (en) Vehicle radar sensing system with surface modeling
US11417116B2 (en) Vehicular trailer angle detection system
KR102175947B1 (en) Method And Apparatus for Displaying 3D Obstacle by Combining Radar And Video
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
US10504241B2 (en) Vehicle camera calibration system
JP4809019B2 (en) Obstacle detection device for vehicle
US10474898B2 (en) Image processing apparatus for vehicle
US8576285B2 (en) In-vehicle image processing method and image processing apparatus
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
WO2018180579A1 (en) Imaging control device, control method for imaging control device, and mobile object
KR20090031997A (en) Perimeter monitoring apparatus and image display method for vehicle
EP3089136A1 (en) Apparatus and method for detecting an object in a surveillance area of a vehicle
JP3822417B2 (en) Vehicle periphery monitoring device
JP3988551B2 (en) Vehicle perimeter monitoring device
CN103377372A (en) Looking-around composite graph overlapping region dividing method and looking-around composite graph representing method
US20220176960A1 (en) Vehicular control system with vehicle control based on stored target object position and heading information
US20240336197A1 (en) Driving assistance system and vehicle
KR20220097656A (en) Driver asistance apparatus, vehicle and control method thereof
CN112208438B (en) Driving auxiliary image generation method and system
JP3231104U (en) Imaging equipment for mobile vehicles compatible with radar equipment
JP2005018548A (en) Display device for peripheral vehicle

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant