KR102175947B1 - 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치 - Google Patents

레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치 Download PDF

Info

Publication number
KR102175947B1
KR102175947B1 KR1020190046041A KR20190046041A KR102175947B1 KR 102175947 B1 KR102175947 B1 KR 102175947B1 KR 1020190046041 A KR1020190046041 A KR 1020190046041A KR 20190046041 A KR20190046041 A KR 20190046041A KR 102175947 B1 KR102175947 B1 KR 102175947B1
Authority
KR
South Korea
Prior art keywords
obstacle
vehicle
view image
around
unit
Prior art date
Application number
KR1020190046041A
Other languages
English (en)
Other versions
KR20200123513A (ko
Inventor
최두헌
박원일
Original Assignee
주식회사 아이유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이유플러스 filed Critical 주식회사 아이유플러스
Priority to KR1020190046041A priority Critical patent/KR102175947B1/ko
Publication of KR20200123513A publication Critical patent/KR20200123513A/ko
Application granted granted Critical
Publication of KR102175947B1 publication Critical patent/KR102175947B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치를 개시한다.
본 실시예는 카메라 영상과 위상 배열 근거리 레이더 데이터를 3차원 장애물을 표시하여 시계 상황이 좋지 않은 야간, 우천시에도 장애물을 인지할 수 있도록 할 뿐만 아니라, 차량의 직진 및 회전을 구분하여 차량의 조향하여 코너를 회전하는 경우 측면을 감지하여 장애물(객체, 물체)이 존재하는 경우 알람을 출력하도록 하는 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치를 제공한다.

Description

레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치{Method And Apparatus for Displaying 3D Obstacle by Combining Radar And Video}
본 실시예는 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
차량은 사람 또는 화물을 운송할 목적으로 차륜을 구동시켜 주행하는 모든 장치이다. 차량은 대표적으로 자동차를 예들 수 있다.
최근 운전자와 보행자의 안전이나 편의를 위해 지능형 자동차의 개발 및 상용화가 활발히 진행되고 있다. 지능형 자동차는 정보통신기술을 융합한 최첨단 자동차로, 자동차 자체의 첨단 시스템 도입은 물론 지능형 교통 시스템과의 연동을 통해 최적의 교통 효율을 제공한다.
지능형 자동차는 자동 주행 기능, 적응식 정속주행 제어, 장애물 감지, 충돌 감지, 정밀한 지도 제공, 목적지까지의 경로 설정 및 주요 장소에 대한 위치 제공 등을 수행함으로써, 운전자와 탑승자 및 보행자의 안전과 편의를 극대화한다.
차량을 이용하는 사용자의 편의를 위해, 각종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위한 다양한 장치 등이 개발되고 있는데, 차량의 후진시, 또는 차량 주차시에 제공되는 후방 카메라로부터 촬영된 이미지 등이 제공되고 있다.
이와 같이 운전자와 탑승자 및 보행자의 안전과 편의를 위한 장치 중 하나로서 어라운드뷰 제공장치가 주목받고 있다. 어라운드뷰 제공장치는 카메라를 이용하여 차량을 중심으로 어라운드뷰 영상을 제공하는 것으로서, 운전자는 어라운드뷰 영상을 통해 차량 주변을 실시간으로 살펴볼 수 있다.
하지만, 종래의 어라운드뷰 제공장치는 이러한 경계에 보행자나 위험 물체 등이 위치되는 경우, 어라운드뷰 영상에서 보행자나 위험 물체 등이 중첩되거나 사라지게 되어, 운전자가 보행자가 위험 물체를 인지하지 못해 보행자 사고나 차량 사고가 발생되는 문제가 있다.
본 실시예는 카메라 영상과 위상 배열 근거리 레이더 데이터를 3차원 장애물을 표시하여 시계 상황이 좋지 않은 야간, 우천시에도 장애물을 인지할 수 있도록 할 뿐만 아니라, 차량의 직진 및 회전을 구분하여 차량의 조향하여 코너를 회전하는 경우 측면을 감지하여 장애물(객체, 물체)이 존재하는 경우 알람을 출력하도록 하는 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치를 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 차량의 전방, 후방, 측방에 설치되어 기 설정된 영역을 기 설정된 시점으로 각각 촬영하여 다시점 영상을 생성하는 카메라; 기 설정된 영역으로 전자파(Original Wave)를 송출하고, 기 설정된 영역 내에 존재하는 장애물로부터 상기 전자파에 대응하여 반사된 반사파(Reflected Wave)를 수신하는 레이더 센서; 상기 다시점 영상의 왜곡을 보정한 후 스티칭(Stitching)하여 탑뷰 시점을 갖는 하나의 어라운드뷰 영상으로 생성하는 이미지 프로세싱 로직부; 상기 어라운드뷰 영상을 기 설정된 3차원 좌표계를 이용하여 3차원 좌표로 변환하는 제1 공간 정규화부; 상기 반사파를 기반으로 상기 장애물에 대한 거리, 속도, 방위각을 산출하고, 상기 거리, 상기 속도, 상기 방위각을 이용하여 상기 장애물에 대한 2차원 좌표를 산출하는 좌표 산출 로직부; 상기 2차원 좌표를 상기 어라운드뷰 영상과 동일한 스케일(Scale)로 변환한 스케일 변환 좌표를 생성하는 제2 공간 정규화부; 상기 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 상기 스케일 변환 좌표를 결합하여, 상기 스케일 변환 좌표에 대응하는 상기 장애물이 상기 어라운드뷰 영상에 표시되도록 하는 블랜딩부; 및 상기 어라운드뷰 영상에 상기 장애물을 3차원 형태로 오버레이하여 출력하는 표시부를 포함하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치를 제공한다.
본 실시예의 다른 측면에 의하면, 카메라에서 차량의 전방, 후방, 측방에 설치되어 기 설정된 영역을 기 설정된 시점으로 각각 촬영하여 다시점 영상을 생성하는 과정; 레이더 센서에서 기 설정된 영역으로 전자파(Original Wave)를 송출하고, 기 설정된 영역 내에 존재하는 장애물로부터 상기 전자파에 대응하여 반사된 반사파(Reflected Wave)를 수신하는 과정; 이미지 프로세싱 로직부에서 상기 다시점 영상의 왜곡을 보정한 후 스티칭(Stitching)하여 탑뷰 시점을 갖는 하나의 어라운드뷰 영상으로 생성하는 과정; 제1 공간 정규화부에서 상기 어라운드뷰 영상을 기 설정된 3차원 좌표계를 이용하여 3차원 좌표로 변환하는 과정; 좌표 산출 로직부에서 상기 반사파를 기반으로 상기 장애물에 대한 거리, 속도, 방위각을 산출하고, 상기 거리, 상기 속도, 상기 방위각을 이용하여 상기 장애물에 대한 2차원 좌표를 산출하는 과정; 제2 공간 정규화부에서 상기 2차원 좌표를 상기 어라운드뷰 영상과 동일한 스케일(Scale)로 변환한 스케일 변환 좌표를 생성하는 과정; 블랜딩부에서 상기 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 상기 스케일 변환 좌표를 결합하여, 상기 스케일 변환 좌표에 대응하는 상기 장애물이 상기 어라운드뷰 영상에 표시되도록 하는 과정; 및 표시부에서 상기 어라운드뷰 영상에 상기 장애물을 3차원 형태로 오버레이하여 출력하는 과정을 포함하는 것을 특징으로 하는 차량용 3차원 장애물 표시 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 카메라 영상과 위상 배열 근거리 레이더 데이터를 3차원 장애물을 표시하여 시계 상황이 좋지 않은 야간, 우천시에도 장애물을 인지할 수 있도록 하는 효과가 있다.
본 실시예에 의하면, 차량의 직진 및 회전을 구분하여 차량의 조향하여 코너를 회전하는 경우 측면을 감지하여 장애물(객체, 물체)이 존재하는 경우 알람을 출력하도록 하는 효과가 있다.
본 실시예에 의하면, 차량용 3차원 장애물 표시장치는 자율주행 분야에 적용될 수 있는 효과가 있다.
도 1은 본 실시예에 따른 차량용 3차원 장애물 표시장치를 개략적으로 나타낸 도면이다.
도 2는 본 실시예에 따른 어라운드뷰 표시장치를 개략적으로 나타낸 도면이다.
도 3a,3b는 본 실시예에 따른 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 차량이 코너를 회전할 때 측방 장애물을 감지하여 알람을 출력하는 예시를 나타낸 도면이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 차량용 3차원 장애물 표시장치를 개략적으로 나타낸 도면이다.
본 실시예에 따른 차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)를 이용하여 수집된 다시점 영상을 결합한 차량의 어라운드뷰 영상 상에 레이더 센서(120_1,120_2)를 기반으로 식별한 장애물을 결합하여 디스플레이한다.
차량용 3차원 장애물 표시장치(100)는 차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)로부터 획득한 영상 각각의 왜곡을 보정한 후 합쳐서 위에서 내려다 보는 탑뷰 시점(Top View)의 어라운드뷰 영상을 생성한다. 차량용 3차원 장애물 표시장치(100)는 레이더 센서(120_1,120_2)를 이용하여 식별한 장애물을 어라운드뷰 영상에 3차원 형태로 결합하여 보다 정확하게 장애물(객체, 물체)을 감지하고, 장애물(객체, 물체)의 위치를 파악할 수 있도록 한다.
차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)로부터 획득한 영상 정보와 레이더 센서(120_1,120_2)로부터 획득한 레이더 데이터를 중첩시키기 위해 동일한 스케일의 3D 좌표로 변환한다. 차량용 3차원 장애물 표시장치(100)는 영상 정보와 레이더 데이터를 한 공간에 중첩시켜 표시한다.
차량용 3차원 장애물 표시장치(100)는 레이더 센서(120_1,120_2)의 좌표계와 카메라(110_1,110_2,110_3,110_4)의 좌표계를 일치시켜서 레이더에서 변환된 좌표를 이미지에서 변환된 3차원 공간에 결합하여 출력하는 프로젝션을 수행한다. 차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)에 이물질이 묻어서 일시적으로 화면이 보이지 않더라도 레이더 센서(120_1,120_2)의 좌표계를 이용하여 식별한 장애물(물체, 객체)을 표시할 수 있다. 차량용 3차원 장애물 표시장치(100)는 3차원 장애물 표시는 추후 자율주행에 적용될 수 있다.
차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)를 이용한 어라운드뷰 영상 상에서 장애물에 대한 형체를 파악 수 있으나 환경요인(비, 눈)으로 장애물에 대한 정확한 식별이 불가능할 때, 레이더 센서(120_1,120_2)를 이용하여 장애물에 대해 정확하게 식별할 수 있다.
차량용 3차원 장애물 표시장치(100)는 카메라 렌즈에 이물질이 묻어도 레이더 센서(120_1,120_2)를 이용하여 장애물(물체, 객체)을 정확하게 식별할 수 있다. 차량용 3차원 장애물 표시장치(100)는 어라운드뷰 영상 상에 장애물이 정확하게 표시되지 않더라도 레이더 센서(120_1,120_2)를 단독으로 이용하여 장애물을 식별하고 표시부(140)에 표시할 수 있다.
차량용 3차원 장애물 표시장치(100)는 레이더 센서(120_1,120_2)를 이용하여 식별한 장애물에 대한 좌표계와 카메라(110_1,110_2,110_3,110_4)를 이용하여 생성한 어라운드뷰 영상의 좌표계를 일치시킨다. 차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)가 일시적으로 보이지 않더라도 레이더 센서(120_1,120_2) 이용하여 식별한 장애물을 표시부(140) 상에 출력한다.
본 실시예에 따른 차량용 3차원 장애물 표시장치(100)를 적용할 요구가 많다고 여겨지는 분야는 자율주행 분야이나 반드시 이에 한정되는 것은 아니다.
차량용 3차원 장애물 표시장치(100)는 차량의 측면에서의 물체 감지 기능을 보강하여, 대형 차량의 측면에 위치하는 물체를 감지한다. 차량용 3차원 장애물 표시장치(100)는 대형 차량의 측면에 장애물(객체, 물체)이 존재할 때, 대형 차량이 회전하는 경우에는 회전 반경 내에 위치하는 장애물(객체, 물체)을 운전자에게 알리기 위한 알람을 출력한다.
차량용 3차원 장애물 표시장치(100)는 대형 차량이 직진과 회전 특성을 구분하여, 정면 주행 시 영상만을 제공하다가 회전 시, 측면 장애물(객체, 물체)을 탐지하여 알람을 출력한다.
본 실시예에 따른 차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4), 레이더 센서(120_1,120_2), 어라운드뷰 표시장치(130), 표시부(140)를 포함한다. 차량용 3차원 장애물 표시장치(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)가 기 설정된 각각의 영역을 바라본다. 예컨대, 차량의 사이드 미러에 설치된 카메라(110_1,110_2,110_3,110_4)의 시점은 차량의 측방향의 특정 영역을 바라보게 된다. 차량의 룸미러 전면에 설치된 카메라(110_1,110_2,110_3,110_4)의 시점은 차량의 전방향의 특정 영역을 바라보게 된다. 차량의 후방에 설치된 카메라(110_1,110_2,110_3,110_4)의 시점은 차량의 후방향의 특정 영역을 바라보게 된다.
카메라(110_1,110_2,110_3,110_4)는 차량의 전방, 후방, 측방에 설치된다. 카메라(110_1,110_2,110_3,110_4)는 차량의 전방, 후방, 측방으로부터 촬영된 영상을 획득하여 연결된 표시부(140)(모니터, 출력부)에 출력한다. 카메라(110_1,110_2,110_3,110_4)는 차량의 전방, 후방, 측방으로부터 촬영된 영상을 어라운드뷰 표시장치(130)로 전송한다.
카메라(110_1,110_2,110_3,110_4)는 기 설정된 영역을 기 설정된 시점으로 각각 촬영하여 다시점 영상을 생성한다.
레이더 센서(120_1,120_2)는 기 설정된 방향 또는 영역으로 전자파(Original Wave)를 송출하고, 기 설정된 영역 내에 존재하는 객체로부터 전자파에 대응하여 반사된 반사파(Reflected Wave)를 수신한다.
레이더 센서(120_1,120_2)는 반사파를 기반으로 탐지된 객체에 대한 방향, 거리, 속도 등을 파악한다. 레이더 센서(120_1,120_2)는 차량의 종류에 따라 전방 및 후방에 설치되는 것이 바람직하나 반드시 이에 한정되는 것은 아니며 차량의 종류에 따라 차량의 전방, 후방, 측방에 설치될 수 있다.
레이더 센서(120_1,120_2)는 수평 또는 수직으로 정렬된 위상 배열 안테나를 구비한다. 레이더 센서(120_1,120_2)는 수평 또는 수직으로 정렬된 위상 배열 안테나를 이용하여 전자파(Original Wave)를 송출하고, 기 설정된 영역 내에 존재하는 객체로부터 전자파(Original Wave)에 대응하여 반사된 반사파(Reflected Wave)를 수신한다.
레이더 센서(120_1,120_2)는 수직 또는 수평 방향으로 2개 이상으로 정렬된 수신용 안테나를 구비한다. 레이더 센서(120_1,120_2)는 마이크로파(Microwave) 또는 밀리미터파(mm-Wave)의 전자파를 발생하는 적어도 1개의 송신 안테나를 구비한다. 레이더 센서(120_1,120_2)는 구비된 적어도 1개의 송신 안테나를 이용하여 기 설정된 방향 또는 영역으로 전자파를 송신한다.
레이더 센서(120_1,120_2)는 구비된 적어도 2개 이상의 수신 안테나를 이용하여 기 설정된 영역 내에 존재하는 객체로부터 전자파에 대응하여 반사된 반사파를 수신한다. 레이더 센서(120_1,120_2)는 수신된 반사파를 어라운드뷰 표시장치(130)로 전송한다.
어라운드뷰 표시장치(130)는 레이더 센서(120_1,120_2)에 구비된 수신 안테나로부터 개별적으로 도착한 반사파의 시차를 이용하여 객체(물체, 장애물)의 수평방향 방위각을 계산한다.
어라운드뷰 표시장치(130)는 차량에 설치된 카메라(110_1,110_2,110_3,110_4)의 기하학적 위치정보를 이용해 각각의 픽셀에 대한 방위각을 계산한다. 어라운드뷰 표시장치(130)는 반사파를 이용한 장애물의 방위각, 카메라(110_1,110_2,110_3,110_4)로부터 취득된 픽셀의 방위각을 그룹으로 분류한다. 어라운드뷰 표시장치(130)는 카메라(110_1,110_2,110_3,110_4)로부터 취득된 실시간 영상을 연속된 방위각에 대한 영상으로 프로젝션하여 디스플레이한다.
어라운드뷰 표시장치(130)는 연속된 방위각과 레이더에서 측정한 장애물의 방위각을 일치시킨다. 어라운드뷰 표시장치(130)는 연속된 방위각으로 표기된 실사 영상 위에 레이더 측정된 객체(물체, 장애물)의 방위각이 일치하도록 오버레이하여 영상을 표시한다.
어라운드뷰 표시장치(130)는 레이더 센서(120_1,120_2)로부터 수신한 반사파를 기반으로 탐지된 객체에 대한 거리, 방위각을 산출한다. 어라운드뷰 표시장치(130)는 거리와 방위각을 이용하여 탐지된 객체의 2차원 좌표를 산출한다. 어라운드뷰 표시장치(130)는 탐지된 객체의 2차원 좌표를 탑뷰 시점을 갖는 어라운드뷰 영상과 동일한 스케일로 변환한 후 3차원 공간상에 오버레이한다.
어라운드뷰 표시장치(130)는 카메라(110_1,110_2,110_3,110_4)로부터 획득한 영상을 변환한 좌표계와 레이더 센서(120_1,120_2)로부터 획득한 레이더 데이터를 변환한 좌표계를 일치시켜서 합친다. 어라운드뷰 표시장치(130)는 레이더 센서(120_1,120_2)의 설치 위치가 고정되어 있으므로, 절대값을 이용한다.
어라운드뷰 표시장치(130)는 레이더 센서(120_1,120_2)로부터 수신된 레이더 센서(120_1,120_2)를 이용하여 기 설정된 영역 내에 존재하는 객체에 대한 방향, 거리, 속도 등을 파악한다. 어라운드뷰 표시장치(130)는 객체에 대한 방향, 거리, 속도를 3차원 공간에 표시한다. 어라운드뷰 표시장치(130)는 객체에 대한 방향, 거리, 속도를 3차원 공간에 표시하기 위한 절대좌표 변환 과정과 디지털 모니터에 3차원-2차원 변환 프로젝션 과정을 거친다.
어라운드뷰 표시장치(130)는 카메라(110_1,110_2,110_3,110_4)로부터 수신한 다시점 영상의 왜곡을 보정한 후 스티칭(Stitching)하여 탑뷰 시점을 갖는 하나의 어라운드뷰 영상으로 생성한다. 어라운드뷰 표시장치(130)는 어라운드뷰 영상을 기 설정된 3차원 좌표계를 이용하여 3차원 좌표로 변환한다.
어라운드뷰 표시장치(130)는 레이더 센서(120_1,120_2)로부터 수신한 반사파를 기반으로 장애물에 대한 거리, 속도, 방위각을 산출한다. 어라운드뷰 표시장치(130)는 거리, 속도, 방위각을 이용하여 장애물에 대한 2차원 좌표를 산출한다.
어라운드뷰 표시장치(130)는 2차원 좌표를 탑뷰 시점을 갖는 어라운드뷰 영상과 동일한 스케일(Scale)로 변환한 스케일 변환 좌표를 생성한다. 어라운드뷰 표시장치(130)는 어라운드뷰 영상에 대응하는 3차원 좌표 상에 스케일 변환 좌표를 결합하여, 스케일 변환 좌표에 대응하는 장애물이 어라운드뷰 영상에 표시되도록 한다.
표시부(140)는 어라운드뷰 영상에 장애물을 3차원 형태로 오버레이하여 출력한다.
도 2는 본 실시예에 따른 어라운드뷰 표시장치를 개략적으로 나타낸 도면이다.
본 실시예에 따른 어라운드뷰 표시장치(130)는 ADC(210), 이미지 프로세싱 로직부(220), 제1 공간 정규화부(230), 좌표 산출 로직부(240), 제2 공간 정규화부(250), 블랜딩부(260), 회전 감지부(272), 측방 장애물 감지부(274), 알람 발생부(276)를 포함한다. 어라운드뷰 표시장치(130)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
어라운드뷰 표시장치(130)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 2에 도시된 어라운드뷰 표시장치(130)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
카메라(110_1,110_2,110_3,110_4)는 차량의 전방, 후방, 측방에 설치되어 기 설정된 영역을 기 설정된 시점으로 각각 촬영하여 다시점 영상을 생성한다.
레이더 센서(120_1,120_2)는 기 설정된 영역으로 전자파(Original Wave)를 송출한다. 레이더 센서(120_1,120_2)는 기 설정된 영역 내에 존재하는 장애물로부터 전자파에 대응하여 반사된 반사파(Reflected Wave)를 수신한다.
레이더 센서(120_1,120_2)는 차량의 전방, 후방에 설치되거나 차량의 전방, 후방, 측방에 설치된다.
레이더 센서(120_1,120_2)는 송신 안테나, 수신 안테나를 포함한다. 수신 안테나는 수직 또는 수평 방향으로 위상 배열된 2개 이상의 안테나를 포함한다. 송신 안테나는 마이크로파(Microwave) 또는 밀리미터파(mm-Wave)의 전자파를 발생하는 적어도 1개의 안테나를 포함한다.
적어도 1개의 송신 안테나는 기 설정된 영역으로 전자파를 송신한다. 적어도 2개 이상의 수신 안테나는 기 설정된 영역 내에 존재하는 장애물로부터 전자파에 대응하여 반사된 반사파를 수신하여 좌표 산출 로직부(240)를 경유하여 제2 공간 정규화부(250)로 전송한다.
ADC(210)는 차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)로부터 수신된 다시점 영상을 수신하여 아날로그 데이터를 디지털 데이터로 변환한다. ADC(210)는 디지털로 변환한 다시점 영상을 이미지 프로세싱 로직부(220)로 전송한다.
이미지 프로세싱 로직부(220)는 ADC(210)로부터 디지털로 변환한 다시점 영상을 수신한다. 이미지 프로세싱 로직부(220)는 ADC(210)를 경유하여 카메라(110_1,110_2,110_3,110_4)로부터 수신된 다시점 영상의 왜곡을 보정한 후 스티칭(Stitching)하여 탑뷰 시점을 갖는 하나의 어라운드뷰 영상으로 생성한다.
이미지 프로세싱 로직부(220)는 카메라(110_1,110_2,110_3,110_4)의 위치가 변경된 것으로 확인한 경우, 표시부(140)에 대한 캘리브레이션(Calibration)을 수행한다. 이미지 프로세싱 로직부(220)는 다시점 영상에 대한 왜곡 보정(Distortion Correction)을 수행한 왜곡 보정 영상을 생성한다. 이미지 프로세싱 로직부(220)는 왜곡 보정 영상에 호모그래피 매트릭스 연산(Homography Matrix Calculation)을 수행한 호모그래피 매트릭스 연산값을 산출한다. 이미지 프로세싱 로직부(220)는 캘리브레이션을 수행한 표시부 상에 왜곡 보정 영상과 호모그래피 매트릭스 연산값을 반영하여 어라운드뷰 영상으로 생성한다.
제1 공간 정규화부(230)는 카메라(110_1,110_2,110_3,110_4)에 포함되는 렌즈마다 고유값을 가지고 있는데, 렌즈, CMOS 센서의 특성, 설치 위치가 모두 서로 상이하기 때문에, 일반적으로 카메라를 설치한 후 표준 패턴을 이용하여 보정하여 표준 좌표로 변환한다.
제1 공간 정규화부(230)는 이미지 프로세싱 로직부(220)로부터 수신된 어라운드뷰 영상을 기 설정된 3차원 좌표계를 이용하여 3차원 좌표로 변환한다. 제1 공간 정규화부(230)는 차량에 설치된 카메라(110_1,110_2,110_3,110_4)의 기하학적 위치정보를 이용해 각각의 픽셀에 대한 방위각을 산출한다.
좌표 산출 로직부(240)는 레이더 센서(120_1,120_2)로부터 수신된 반사파를 기반으로 장애물에 대한 거리, 속도, 방위각을 산출한다. 좌표 산출 로직부(240)는 거리, 속도, 방위각을 이용하여 장애물에 대한 2차원 좌표를 산출한다. 좌표 산출 로직부(240)는 거리, 속도, 방위각을 이용하여 장애물에 대한 절대좌표 변환 과정을 거쳐서 스케일 변환 좌표로 변환한다.
제2 공간 정규화부(250)는 2차원 좌표를 탑뷰 시점을 갖는 어라운드뷰 영상과 동일한 스케일(Scale)로 변환한 스케일 변환 좌표를 생성한다. 제2 공간 정규화부(250)는 레이더 센서(120_1,120_2) 내의 수신 안테나로부터 개별적으로 도착한 반사파의 시차를 이용하여 장애물의 수평방향 방위각을 산출한다.
블랜딩부(260)는 어라운드뷰 영상에 대응하는 3차원 좌표 상에 스케일 변환 좌표를 결합하여, 스케일 변환 좌표에 대응하는 장애물이 어라운드뷰 영상에 표시되도록 한다. 블랜딩부(260)는 어라운드뷰 영상에 대응하는 3차원 좌표 상에 연속되는 장애물의 수평방향 방위각과 픽셀에 대한 방위각을 일치시켜서 스케일 변환 좌표에 대응하는 장애물을 프로젝션(Projection)한다.
블랜딩부(260)는 어라운드뷰 영상에 대응하는 3차원 좌표 상에 전방 및 후방에 존재하는 장애물에 대한 스케일 변환 좌표를 결합하여, 스케일 변환 좌표에 대응하는 장애물이 어라운드뷰 영상에 표시되도록 한다.
블랜딩부(260)는 어라운드뷰 영상에 포함된 다시점 영상에 대한 화이트밸런스 동일한 값으로 조정한 화이트밸런스 조정 어라운드뷰 영상을 생성한다. 블랜딩부(260)는 화이트밸런스 조정 어라운드뷰 영상에 대응하는 3차원 좌표 상에 스케일 변환 좌표를 결합하여, 스케일 변환 좌표에 대응하는 장애물이 화이트밸런스 조정 어라운드뷰 영상에 표시되도록 한다.
회전 감지부(272)는 차량의 전방에 설치된 카메라(110_1)로부터 수신된 전방 영상을 기반으로 차량이 조향하여 코너를 회전하는 지의 여부를 확인한다.
회전 감지부(272)는 차량의 전방에 설치된 카메라(110_1)로부터 수신된 전방 영상을 분석하여 기 설정된 임계치 이상으로 기울기, 히스토그램, 픽셀값 중 적어도 하나 이상의 정보가 변경되는 경우, 차량이 조향하여 코너를 회전하는 것으로 인지한다.
회전 감지부(272)는 회전 감지부(272)의 확인 결과에 따라 차량이 직진 또는 후진하고 있다고 판단한다.
측방 장애물 감지부(274)는 회전 감지부(272)의 확인 결과, 차량의 조향하여 코너를 회전하는 경우, 차량의 측방에 설치된 레이더 센서(120_1,120_2)로부터 수신된 반사파를 기반으로 차량이 회전하고자 하는 측방에 장애물이 존재하는 지의 여부를 확인한다.
측방 장애물 감지부(274)는 차량의 전방 및 후방에 설치된 레이더 센서(120_1,120_2)로부터 수신된 반사파를 기반으로 차량이 전방 및 후방에 장애물이 존재하는 지의 여부를 확인한다.
알람 발생부(276)는 차량의 조향하여 코너를 회전하며, 차량이 회전하고자 하는 측방에 장애물이 존재하는 경우, 표시부(140)로 알람이 출력되도록 한다.
알람 발생부(276)는 차량이 조향하여 코너를 회전하는 것으로 인지하면, 차량의 앞바퀴 또는 뒷바퀴의 회전 반경을 예상한다. 알람 발생부(276)는 회전 반경 내에 차량이 회전하고자 하는 측방에 장애물이 존재하거나 장애물이 진입한 경우, 차량이 회전하고자 하는 측방에 존재하는 장애물의 속도와 현재 속도를 비교한다. 알람 발생부(276)는 장애물의 속도와 현재 속도를 비교하여 차량과 장애물의 충돌이 예상되는 경우, 표시부(140)로 사고 예측 문구 및 사운드를 나타내는 알람을 출력하도록 한다.
도 3a,3b는 본 실시예에 따른 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법을 설명하기 위한 순서도이다.
카메라(110_1,110_2,110_3,110_4)는 차량의 전방, 후방, 측방 각각으로부터 촬영된 다시점 영상을 실시간 스트림 비디오(Live Stream Video)로 전송한다(S310). 차량용 3차원 장애물 표시장치(100)는 차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)로부터 실시간으로 다시점 영상을 획득한다(S312). 차량용 3차원 장애물 표시장치(100)는 2D 어라운드뷰 모델을 위한 룩업 테이블(Look Up Table)을 로딩한다(S3214).
차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)의 위치가 변경 되었는지의 여부를 확인한다(S316).
단계 S316의 확인 결과, 카메라(110_1,110_2,110_3,110_4)의 위치가 변경된 경우, 차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)로부터 획득한 다시점 영상을 표시하는 표시부(140)(모니터, 출력부)에 대한 캘리브레이션(Calibration)을 수행한다(S318).
차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)로부터 획득한 영상에 대한 왜곡 보정(Distortion Correction)을 수행한 왜곡 보정 영상을 생성한다(S320). 차량용 3차원 장애물 표시장치(100)는 왜곡 보정 영상에 호모그래피 매트릭스 연산(Homography Matrix Calculation)을 수행한 호모그래피 매트릭스 연산값을 산출한다(S322).
차량용 3차원 장애물 표시장치(100)는 캘리브레이션을 수행한 표시부(140)(모니터, 출력부) 상에 왜곡 보정 영상과 호모그래피 매트릭스 연산값을 반영하여 룩업 테이블(Look Up Table)을 생성한다(S324).
단계 S316의 확인 결과, 카메라(110_1,110_2,110_3,110_4)의 위치가 미변경된 경우, 차량용 3차원 장애물 표시장치(100)는 단계 S314에서 추출되거나 S324에서 생성된 룩업 테이블을 이용하여 차량의 전방, 후방, 측방으로부터 각각 촬영된 다시점 영상의 왜곡선 연결하는 이미지 스티칭(Image Stitching)을 수행한 이미지 스티칭 영상을 생성한다(326).
차량용 3차원 장애물 표시장치(100)는 차량의 전방, 후방, 측방으로부터 각각 촬영된 영상에 대한 화이트밸런스가 모두 다르기 때문에 이미지 스티칭 영상에 대한 화이트밸런스 조정한 화이트밸런스 조정 영상을 생성한다(S328).
차량용 3차원 장애물 표시장치(100)는 화이트밸런스 조정 영상을 3차원 공간에 오버레이하는 알파 블랜딩(Alpha Blending)을 수행한다(330). 차량용 3차원 장애물 표시장치(100)는 3D 어라운드뷰 모델을 위한 룩업 테이블을 로딩한다(S332).
차량용 3차원 장애물 표시장치(100)는 차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)의 기하학적 시점이 변경되었는지의 여부를 확인한다(S334).
단계 S334의 확인 결과, 차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)의 기하학적 시점이 변경된 경우, 차량용 3차원 장애물 표시장치(100)는 3D 어라운드뷰 모델을 위한 룩업 테이블을 다시 생성한다(S336).
단계 S334의 확인 결과, 차량의 전방, 후방, 측방에 설치된 카메라(110_1,110_2,110_3,110_4)의 기하학적 시점이 변경된 경우, 차량용 3차원 장애물 표시장치(100)는 3D 어라운드뷰 이미지를 완성한다(S338).
도 3에서는 단계 S310 내지 단계 S338을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 3에 기재된 본 실시예에 따른 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 4는 본 실시예에 따른 차량이 코너를 회전할 때 측방 장애물을 감지하여 알람을 출력하는 예시를 나타낸 도면이다.
차량용 3차원 장애물 표시장치(100)는 카메라(110_1,110_2,110_3,110_4)를 이용한 다시점 영상을 결합한 어라운드뷰 영상에 레이더 센서(120_1,120_2)를 이용하여 식별한 장애물을 3차원 형태로 결합하여 출력하는데, 차량의 조향하여 회전하는 경우 측면을 감지하여 장애물(객체, 물체)이 존재하는 경우 알람을 출력한다.
차량용 3차원 장애물 표시장치(100) 내에 포함되는 레이더 센서(120_1,120_2)는 절대값(레이더별로 차이가 없음)을 가진다. 차량용 3차원 장애물 표시장치(100) 내에 포함되는 카메라(110_1,110_2,110_3,110_4)는 고유값을 가진다.
차량용 3차원 장애물 표시장치(100)는 대형 차량이 직진과 회전 특성을 구분하여, 정면 주행 시 영상만을 제공하다가 회전 시, 측면 장애물(객체, 물체)을 탐지하여 알람을 출력한다. 레이더 센서(120_1,120_2)는 차량이 소형 또는 중형인 경우 차량의 전방 및 후방에 설치될 수 있으나, 차량이 대형인 경우 차량의 도 4에 도시된 바와 같이, 차량의 전방, 후방, 측방에 설치될 수 있다.
차량용 3차원 장애물 표시장치(100)는 차량의 전방에 설치된 카메라(110_1)로부터 수신된 전방 영상을 기반으로 차량이 조향하여 회전(좌회전 또는 우회전)하는 지의 여부를 확인한다. 차량용 3차원 장애물 표시장치(100)는 전방 영상을 분석하여 기 설정된 임계치 이상으로 기울기, 히스토그램, 픽셀값 중 적어도 하나 이상의 정보가 변경되는 경우, 차량이 조향하여 회전(좌회전 또는 우회전)하는 것으로 인지한다.
차량용 3차원 장애물 표시장치(100)는 차량의 조향하여 우회전하는 경우, 도 4에 도시된 바와 같이 차량의 측방에 설치된 레이더 센서로부터 수신된 반사파를 기반으로 차량이 우회전하고자 하는 측방에 장애물이 존재하는지의 여부를 확인한다.
차량용 3차원 장애물 표시장치(100)는 차량의 조향하여 우회전하며, 차량이 우회전하고자 하는 측방에 장애물이 존재하는 경우, 표시부(140)로 알람을 출력한다.
차량용 3차원 장애물 표시장치(100)는 도 4에 도시된 바와 같이, 차량이 조향하여 우회전하는 것으로 인지하면, 차량의 앞바퀴 또는 뒷바퀴의 회전 반경을 예상한다.
차량용 3차원 장애물 표시장치(100)는 회전 반경 내에 차량이 우회전하고자 하는 측방에 장애물이 존재하거나 진입한 경우, 차량이 회전하고자 하는 우측방에 존재하는 장애물의 속도와 현재 속도를 비교한다.
차량용 3차원 장애물 표시장치(100)는 차량이 회전하고자 하는 우측방에 존재하는 장애물의 속도와 현재 속도를 비교한 결과 충돌이 예상되는 경우, 표시부(140)로 사고 예측 문구 및 사운드를 나타내는 알람을 출력한다.
차량용 3차원 장애물 표시장치(100)는 차량이 직진 또는 후진하고 있다고 판단하면, 차량의 전방 및 후방에 설치된 레이더 센서(120_1, 120_2)로부터 수신된 반사파를 기반으로 차량이 전방 및 후방에 장애물이 존재하는 지의 여부를 확인한다.
차량용 3차원 장애물 표시장치(100)는 어라운드뷰 영상에 대응하는 3차원 좌표 상에 전방 및 후방에 존재하는 장애물에 대한 스케일 변환 좌표를 결합하여, 스케일 변환 좌표에 대응하는 장애물이 어라운드뷰 영상에 표시되도록 한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차량용 3차원 장애물 표시장치
110_1, 110_2, 110_3, 110_4: 카메라
120_1, 120_2: 레이더 센서
130: 어라운드뷰 표시장치
140: 표시부
210: ADC 220: 이미지 프로세싱 로직부
230: 제1 공간 정규화부 240: 좌표 산출 로직부
250: 제2 공간 정규화부 260: 블랜딩부
232: 영상좌표 변환부 252: 제2 공간 정규화부
272: 회전 감지부 274: 측방장애물 감지부
276: 알람 발생부

Claims (11)

  1. 차량의 전방, 후방, 측방에 설치되어 기 설정된 영역을 기 설정된 시점으로 각각 촬영하여 다시점 영상을 생성하는 카메라;
    기 설정된 영역으로 전자파(Original Wave)를 송출하고, 기 설정된 영역 내에 존재하는 장애물로부터 상기 전자파에 대응하여 반사된 반사파(Reflected Wave)를 수신하는 레이더 센서;
    상기 다시점 영상의 왜곡을 보정한 후 스티칭(Stitching)하여 탑뷰 시점을 갖는 하나의 어라운드뷰 영상으로 생성하는 이미지 프로세싱 로직부;
    상기 어라운드뷰 영상을 기 설정된 3차원 좌표계를 이용하여 3차원 좌표로 변환하는 제1 공간 정규화부;
    상기 반사파를 기반으로 상기 장애물에 대한 거리, 속도, 방위각을 산출하고, 상기 거리, 상기 속도, 상기 방위각을 이용하여 상기 장애물에 대한 2차원 좌표를 산출하는 좌표 산출 로직부;
    상기 2차원 좌표를 상기 어라운드뷰 영상과 동일한 스케일(Scale)로 변환한 스케일 변환 좌표를 생성하는 제2 공간 정규화부;
    상기 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 상기 스케일 변환 좌표를 결합하여, 상기 스케일 변환 좌표에 대응하는 상기 장애물이 상기 어라운드뷰 영상에 표시되도록 하는 블랜딩부; 및
    상기 어라운드뷰 영상에 상기 장애물을 3차원 형태로 오버레이하여 출력하는 표시부를 포함하고,
    상기 제1 공간 정규화부는 차량에 설치된 상기 카메라의 기하학적 위치정보를 이용해 각각의 픽셀에 대한 방위각을 산출하고,
    상기 제2 공간 정규화부는 2개 이상의 수신 안테나로부터 개별적으로 도착한 상기 반사파의 시차를 이용하여 상기 장애물의 수평방향 방위각을 산출하고,
    상기 블랜딩부는 상기 반사파를 이용한 상기 장애물의 수평방향 방위각, 상기 카메라로부터 취득된 상기 각각의 픽셀에 대한 방위각을 그룹으로 분류하고,
    상기 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 상기 그룹으로 분류된 상기 장애물의 수평방향 방위각과 상기 각각의 픽셀에 대한 방위각을 일치시켜서 상기 스케일 변환 좌표에 대응하는 장애물을 프로젝션(projection)하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.
  2. 제1항에 있어서,
    상기 레이더 센서는,
    상기 차량의 전방, 후방, 측방에 설치되며,
    수직 또는 수평 방향으로 위상 배열된 2개 이상의 수신 안테나;
    마이크로파(Microwave) 또는 밀리미터파(mm-Wave)의 상기 전자파를 발생하는 적어도 1개의 송신 안테나;
    를 포함하며, 적어도 1개의 상기 송신 안테나를 이용하여 상기 기 설정된 영역으로 상기 전자파를 송신하고, 적어도 2개 이상의 상기 수신 안테나를 이용하여 기 설정된 영역 내에 존재하는 상기 장애물로부터 상기 전자파에 대응하여 반사된 상기 반사파를 수신하여 상기 제2 공간 정규화부로 전송하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.
  3. 제1항에 있어서,
    상기 차량용 3차원 장애물 표시장치는,
    3D 어라운드뷰 모델을 위한 룩업 테이블을 로딩하고,
    상기 카메라의 기하학적 시점이 변경된 경우 상기 룩업 테이블을 다시 생성하고, 상기 다시 생성된 룩업 테이블을 통해 상기 어라운드뷰 영상을 완성하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.
  4. 제2항에 있어서,
    상기 차량의 전방에 설치된 카메라로부터 수신된 전방 영상을 기반으로 상기 차량이 조향하여 코너를 회전하는 지의 여부를 확인하는 회전 감지부;
    상기 회전 감지부의 확인 결과, 상기 차량의 조향하여 코너를 회전하는 경우, 상기 차량의 측방에 설치된 상기 레이더 센서로부터 수신된 반사파를 기반으로 상기 차량이 회전하고자 하는 측방에 장애물이 존재하는 지의 여부를 확인하는 측방 장애물 감지부;
    상기 차량의 조향하여 코너를 회전하며, 상기 차량이 회전하고자 하는 측방에 장애물이 존재하는 경우, 상기 표시부로 알람을 출력하는 알람 발생부
    를 포함하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.
  5. 제4항에 있어서,
    상기 회전 감지부는,
    상기 전방 영상을 분석하여 기 설정된 임계치 이상으로 기울기, 히스토그램, 픽셀값 중 적어도 하나 이상의 정보가 변경되는 경우, 상기 차량이 조향하여 코너를 회전하는 것으로 인지하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.
  6. 제4항에 있어서,
    상기 알람 발생부는,
    상기 차량이 조향하여 코너를 회전하는 것으로 인지하면, 상기 차량의 앞바퀴 또는 뒷바퀴의 회전 반경을 예상하고, 상기 회전 반경 내에 상기 차량이 회전하고자 하는 측방에 장애물이 존재하거나 장애물이 진입한 경우, 상기 차량이 회전하고자 하는 측방에 존재하는 장애물의 속도와 현재 속도를 비교하여 상기 차량과 상기 장애물의 충돌이 예상되는 경우, 상기 표시부로 사고 예측 문구 및 사운드를 나타내는 알람을 출력하도록 하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.
  7. 제4항에 있어서,
    상기 회전 감지부는 상기 회전 감지부의 확인 결과에 따라 상기 차량이 직진 또는 후진하고 있다고 판단하면,
    상기 측방 장애물 감지부는 상기 차량의 전방 및 후방에 설치된 상기 레이더 센서로부터 수신된 반사파를 기반으로 상기 차량이 전방 및 후방에 장애물이 존재하는 지의 여부를 확인하고,
    상기 블랜딩부는 상기 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 전방 및 후방에 존재하는 장애물에 대한 상기 스케일 변환 좌표를 결합하여, 상기 스케일 변환 좌표에 대응하는 상기 장애물이 상기 어라운드뷰 영상에 표시되도록 하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.
  8. 제1항에 있어서,
    상기 이미지 프로세싱 로직부는,
    상기 카메라의 위치가 변경된 것으로 확인한 경우, 상기 표시부에 대한 캘리브레이션(Calibration)을 수행하고, 상기 다시점 영상에 대한 왜곡 보정(Distortion Correction)을 수행한 왜곡 보정 영상을 생성하고, 상기 왜곡 보정 영상에 호모그래피 매트릭스 연산(Homography Matrix Calculation)을 수행한 호모그래피 매트릭스 연산값을 산출하고, 상기 캘리브레이션을 수행한 상기 표시부 상에 상기 왜곡 보정 영상과 상기 호모그래피 매트릭스 연산값을 반영하여 상기 어라운드뷰 영상으로 생성하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.
  9. 제8항에 있어서,
    상기 블랜딩부는,
    상기 어라운드뷰 영상에 포함된 상기 다시점 영상에 대한 화이트밸런스 동일한 값으로 조정한 화이트밸런스 조정 어라운드뷰 영상을 생성하고, 상기 화이트밸런스 조정 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 상기 스케일 변환 좌표를 결합하여, 상기 스케일 변환 좌표에 대응하는 상기 장애물이 상기 화이트밸런스 조정 어라운드뷰 영상에 표시되도록 하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.
  10. 제1항에 있어서,
    상기 좌표 산출 로직부는,
    상기 거리, 상기 속도, 상기 방위각을 이용하여 상기 장애물에 대한 절대좌표 변환 과정을 거쳐서 상기 스케일 변환 좌표로 변환하는 것을 특징으로 하는 차량용 3차원 장애물 표시장치.
  11. 카메라에서 차량의 전방, 후방, 측방에 설치되어 기 설정된 영역을 기 설정된 시점으로 각각 촬영하여 다시점 영상을 생성하는 과정;
    레이더 센서에서 기 설정된 영역으로 전자파(Original Wave)를 송출하고, 기 설정된 영역 내에 존재하는 장애물로부터 상기 전자파에 대응하여 반사된 반사파(Reflected Wave)를 수신하는 과정;
    이미지 프로세싱 로직부에서 상기 다시점 영상의 왜곡을 보정한 후 스티칭(Stitching)하여 탑뷰 시점을 갖는 하나의 어라운드뷰 영상으로 생성하는 과정;
    제1 공간 정규화부에서 상기 어라운드뷰 영상을 기 설정된 3차원 좌표계를 이용하여 3차원 좌표로 변환하는 과정;
    좌표 산출 로직부에서 상기 반사파를 기반으로 상기 장애물에 대한 거리, 속도, 방위각을 산출하고, 상기 거리, 상기 속도, 상기 방위각을 이용하여 상기 장애물에 대한 2차원 좌표를 산출하는 과정;
    제2 공간 정규화부에서 상기 2차원 좌표를 상기 어라운드뷰 영상과 동일한 스케일(Scale)로 변환한 스케일 변환 좌표를 생성하는 과정;
    블랜딩부에서 상기 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 상기 스케일 변환 좌표를 결합하여, 상기 스케일 변환 좌표에 대응하는 상기 장애물이 상기 어라운드뷰 영상에 표시되도록 하는 과정; 및
    표시부에서 상기 어라운드뷰 영상에 상기 장애물을 3차원 형태로 오버레이하여 출력하는 과정을 포함하고,
    상기 제1 공간 정규화부에서 차량에 설치된 상기 카메라의 기하학적 위치정보를 이용해 각각의 픽셀에 대한 방위각을 산출하고,
    상기 제2 공간 정규화부에서 2개 이상의 수신 안테나로부터 개별적으로 도착한 상기 반사파의 시차를 이용하여 상기 장애물의 수평방향 방위각을 산출하고,
    상기 장애물이 상기 어라운드뷰 영상에 표시되도록 하는 과정에서,
    상기 블랜딩부는 상기 반사파를 이용한 상기 장애물의 수평방향 방위각, 상기 카메라로부터 취득된 상기 각각의 픽셀에 대한 방위각을 그룹으로 분류하고,
    상기 어라운드뷰 영상에 대응하는 상기 3차원 좌표 상에 상기 그룹으로 분류된 상기 장애물의 수평방향 방위각과 상기 각각의 픽셀에 대한 방위각을 일치시켜서 상기 스케일 변환 좌표에 대응하는 장애물을 프로젝션(projection)하는 것을 특징으로 하는 차량용 3차원 장애물 표시 방법.
KR1020190046041A 2019-04-19 2019-04-19 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치 KR102175947B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190046041A KR102175947B1 (ko) 2019-04-19 2019-04-19 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190046041A KR102175947B1 (ko) 2019-04-19 2019-04-19 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200123513A KR20200123513A (ko) 2020-10-30
KR102175947B1 true KR102175947B1 (ko) 2020-11-11

Family

ID=73048211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190046041A KR102175947B1 (ko) 2019-04-19 2019-04-19 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102175947B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114312812B (zh) * 2022-03-04 2022-06-10 国汽智控(北京)科技有限公司 基于动态感知的车辆控制方法、装置及电子设备
CN116563817B (zh) * 2023-04-14 2024-02-20 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2012105090A (ja) * 2010-11-10 2012-05-31 Aisin Seiki Co Ltd 駐車支援装置
JP2018110328A (ja) * 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法
JP2019018743A (ja) * 2017-07-19 2019-02-07 日産自動車株式会社 軌跡推定方法及び軌跡推定装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102043060B1 (ko) * 2015-05-08 2019-11-11 엘지전자 주식회사 자율 주행 장치 및 이를 구비한 차량
KR101923899B1 (ko) * 2017-01-09 2019-02-22 주식회사 엠씨넥스 타이어 압력 모니터링 정보를 이용한 차량용 어라운드뷰 캘리브레이션 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2012105090A (ja) * 2010-11-10 2012-05-31 Aisin Seiki Co Ltd 駐車支援装置
JP2018110328A (ja) * 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法
JP2019018743A (ja) * 2017-07-19 2019-02-07 日産自動車株式会社 軌跡推定方法及び軌跡推定装置

Also Published As

Publication number Publication date
KR20200123513A (ko) 2020-10-30

Similar Documents

Publication Publication Date Title
US11719808B2 (en) Vehicle sensor with integrated radar and image sensors
US11533454B2 (en) Vehicular control system with forward viewing camera and forward sensing sensor
US10962638B2 (en) Vehicle radar sensing system with surface modeling
US20200334475A1 (en) Vehicular trailer angle detection system
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
US10504241B2 (en) Vehicle camera calibration system
US10474898B2 (en) Image processing apparatus for vehicle
JP4809019B2 (ja) 車両用障害物検出装置
US8576285B2 (en) In-vehicle image processing method and image processing apparatus
US8633810B2 (en) Rear-view multi-functional camera system
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
KR20090031997A (ko) 차량용 주변 감시 장치 및 영상 표시 방법
WO2018180579A1 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
KR102175947B1 (ko) 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치
EP3089136A1 (en) Apparatus and method for detecting an object in a surveillance area of a vehicle
CN103377372A (zh) 一种环视合成图重叠区域划分方法和环视合成图表示方法
JP3988551B2 (ja) 車両周囲監視装置
JP3822417B2 (ja) 車両周辺監視装置
KR102650306B1 (ko) 차량 제어 시스템, 차량 제어 방법
US20220176960A1 (en) Vehicular control system with vehicle control based on stored target object position and heading information
CN112208438B (zh) 行车辅助影像产生方法及系统
JP3231104U (ja) レーダー装置に対応する移動車両用画像撮影装置
US20230331161A1 (en) Vehicle sensing system with enhanced obstacle detection forward and sideward of the vehicle
JP2005018548A (ja) 周辺車両表示装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant