KR102140526B1 - 어라운드 뷰 장치 - Google Patents

어라운드 뷰 장치 Download PDF

Info

Publication number
KR102140526B1
KR102140526B1 KR1020190048852A KR20190048852A KR102140526B1 KR 102140526 B1 KR102140526 B1 KR 102140526B1 KR 1020190048852 A KR1020190048852 A KR 1020190048852A KR 20190048852 A KR20190048852 A KR 20190048852A KR 102140526 B1 KR102140526 B1 KR 102140526B1
Authority
KR
South Korea
Prior art keywords
image data
vehicle
unit
camera unit
image
Prior art date
Application number
KR1020190048852A
Other languages
English (en)
Inventor
이정준
김시욱
Original Assignee
주식회사 켐트로닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 켐트로닉스 filed Critical 주식회사 켐트로닉스
Priority to KR1020190048852A priority Critical patent/KR102140526B1/ko
Priority to PCT/KR2020/000938 priority patent/WO2020218717A1/ko
Application granted granted Critical
Publication of KR102140526B1 publication Critical patent/KR102140526B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따르면, 차량의 운행에 대한 정보를 추출하는 차량 운행 정보부; 상기 차량의 일 측에 제공되어 상기 차량의 운행 방향을 기준으로 제1 방향을 촬영하여 제1 영상 데이터를 생성하는 제1 카메라부; 상기 차량의 타 측에 제공되어 상기 제1 방향과 반대되는 제2 방향을 촬영하여 제2 영상 데이터를 생성하는 제2 카메라부; 상기 제1 카메라부 및 상기 제2 카메라부로부터 각각 상기 제1 영상 데이터와 상기 제2 영상 데이터를 수신하여 합성 영상 데이터를 생성하는 영상 합성부를 포함하고, 상기 영상 합성부는 상기 차량의 운행 방향에 대한 정보에 기초하여 서로 다른 시점에서 생성된 상기 제1 영상 데이터와 상기 제2 영상 데이터를 상기 차량을 중심으로 형성된 그리드에 매칭하여 상기 합성 영상 데이터를 생성하는, 어라운드 뷰 장치가 제공된다.

Description

어라운드 뷰 장치{DEVICE FOR AROUND VIEW}
본 발명은 자동차의 어라운드 뷰 장치에 관한 것이다.
미래 자동차 산업을 이끌 자율 주행 자동차에 대한 관심이 높아짐에 따라, 최근 다수의 연구기관과 자동차 업계에서는 자율 주행 자동차에 관한 활발한 연구를 수행하고 있다.
그 중에서도 차량을 운행함에 있어서 사용자들이 가장 불편을 호소하는 부분은 주차공간이 협소하여 주차 시 곤란을 겪는 경우에 대한 것이다.
이와 같이, 자동주차 기술의 개발은 자율 주행 자동차 제작을 위한 첫걸음으로 인식되고 있으며, 자동주차 시스템에 대한 다양한 연구가 진행되고 있다.
본 발명은 적은 수의 카메라만으로 어라운드 뷰를 구현하는데 그 목적이 있다.
본 발명의 일 실시예에 따르면, 차량의 운행에 대한 정보를 추출하는 차량 운행 정보부; 상기 차량의 일 측에 제공되어 상기 차량의 운행 방향을 기준으로 제1 방향을 촬영하여 제1 영상 데이터를 생성하는 제1 카메라부; 상기 차량의 타 측에 제공되어 상기 제1 방향과 반대되는 제2 방향을 촬영하여 제2 영상 데이터를 생성하는 제2 카메라부; 상기 제1 카메라부 및 상기 제2 카메라부로부터 각각 상기 제1 영상 데이터와 상기 제2 영상 데이터를 수신하여 합성 영상 데이터를 생성하는 영상 합성부를 포함하고, 상기 영상 합성부는 상기 차량의 운행 방향에 대한 정보에 기초하여 서로 다른 시점에서 생성된 상기 제1 영상 데이터와 상기 제2 영상 데이터를 상기 차량을 중심으로 형성된 그리드에 매칭하여 상기 합성 영상 데이터를 생성하는, 어라운드 뷰 장치가 제공된다.
본 발명의 일 실시예에 따르면, 상기 제1 카메라부는 상기 차량의 전방에 제공되고, 상기 제2 카메라부는 상기 차량의 후방에 제공되는, 어라운드 뷰 장치가 제공된다.
본 발명의 일 실시예에 따르면, 상기 그리드는 위도 및 경도 축으로 구성되고, 상기 영상 합성부는 상기 차량의 속도 및 조향 방향 정보를 포함하는 상기 차량의 운행 방향에 대한 정보를 기반으로 상기 그리드 상의 위도 좌표 및 경도 좌표를 결정하고, 결정된 상기 위도 좌표 및 상기 경도 좌표에 상기 제1 영상 데이터 또는 상기 제2 영상 데이터를 매칭하는, 어라운드 뷰 장치가 제공된다.
본 발명의 일 실시예에 따르면, 상기 그리드는 반구형 또는 반타원구형 좌표계인, 어라운드 뷰 장치가 제공된다.
본 발명의 일 실시예에 따르면, 상기 영상 합성부는 상기 제1 영상 데이터 및 상기 제2 영상 데이터로부터 폴리곤(Polygon)을 추출하고,
상기 폴리곤을 기준으로 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 합성하여 상기 합성 영상 데이터를 생성하는, 어라운드 뷰 장치가 제공된다.
본 발명의 일 실시예에 따르면, 상기 차량 주변의 장애물을 감지하기 위한 장애물 감지부를 더 포함하고, 상기 장애물 감지부는 상기 차량의 움직임에 따라 변하는 상기 차량에 대한 상기 장애물의 상대적 위치를 산출하고, 상기 영상 합성부는 상기 장애물 감지부로부터 수신한 상기 장애물의 상기 차량에 대한 상대적 위치를 이용하여 상기 제1 영상 데이터와 상기 제2 영상 데이터를 합성하는, 어라운드 뷰 장치가 제공된다.
본 발명의 일 실시예에 따르면, 상기 합성 영상 데이터를 저장하는 데이터 저장부; 및 상기 합성 영상 데이터를 출력하는 표시부를 더 포함하는, 어라운드 뷰 장치가 제공된다.
본 발명의 일 실시예에 따르면, 상기 표시부는 상기 차량이 주차 중일 때 상기 합성 영상 데이터를 출력하고, 상기 데이터 저장부는 상기 차량의 주차가 완료되었을 때, 저장된 상기 합성 영상 데이터를 삭제하는, 어라운드 뷰 장치가 제공된다.
본 발명의 일 실시예에 따르면, 상기 차량 운행 정보부는 상기 차량의 크기 정보를 상기 영상 합성부로 송신하고, 상기 영상 합성부는 상기 차량 크기 정보를 바탕으로 상기 합성 영상 데이터에 상기 차량의 형태를 오버레이하는, 어라운드 뷰 장치가 제공된다.
본 발명의 일 실시예에 따르면, 상기 영상 합성부는 상기 제1 카메라부 및 상기 제2 카메라부로 프레임 싱크를 송신하고, 상기 제1 카메라부 및 상기 제2 카메라부는 상기 프레임 싱크를 기준으로 동기화되어 각각 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 생성하는, 어라운드 뷰 장치가 제공된다.
본 발명의 일 실시예에 따르면, 적은 수의 카메라만으로도 어라운드 뷰를 구현 가능하다. 이에 따라, 장비 설치에 따른 비용이 줄어들고, 어라운드 뷰를 구현하기 위한 배선 설계가 간단하다.
도 1은 본 발명의 일 실시예에 따른 차량에 카메라부가 설치된 모습을 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 어라운드 뷰 장치를 나타낸 블록도이다.
도 3a와 도 3b는 본 발명의 일 실시예에 따른 어라운드 뷰 생성 방법을 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 어라운드 뷰 장치를 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 어라운드 뷰 생성 방법을 나타낸 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.
본 발명의 일 실시예에 따르면, 제1 카메라부 및 제2 카메라부를 이용하여 어라운드 뷰 생성이 가능하고, 적은 수의 카메라만으로 어라운드 뷰 생성이 가능하기 때문에 배선이 간단해지고 설비 및 제작 비용을 절감할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량에 카메라부가 설치된 모습을 나타낸 것이다.
도 1에 따르면 본 발명의 일 실시예에 따른 차량(10)은 어라운드 뷰 장치를 포함하고, 어라운드 뷰 장치는 차량(10)의 외면에 제공되는 제1 카메라부(110) 및 제2 카메라부(120)를 포함할 수 있다.
제1 카메라부(110)와 제2 카메라부(120)는 이미지를 촬영하여 영상 데이터를 생성하는 장치이다. 제1 카메라부(110)와 제2 카메라부(120)는 이미지를 촬영하기 위한 카메라 모듈을 포함할 수 있다. 제1 카메라부(110) 및 제2 카메라부(120)에 포함되는 카메라 모듈의 종류에는 제한이 없다.
제1 카메라부(110)와 제2 카메라부(120)는 각각 한 개 또는 복수 개의 카메라를 포함할 수 있다. 그러나, 제1 카메라부(110)와 제2 카메라부(120)가 복수 개의 카메라를 포함하는 때에도 복수 개의 카메라들은 소정의 구역에 모여있는 형태로 제공될 수 있다.
제1 카메라부(110)와 제2 카메라부(120)는 각각 차량(10)의 서로 다른 면에 하나씩 제공될 수 있다. 예를 들어, 차량(10)의 후방에 제공된 제1 카메라부(110)와 차량(10)의 전방에 제공된 제2 카메라부(120)만으로 차량(10)을 둘러싸는 네 면에 대한 어라운드 뷰를 형성할 수 있다.
이하에서는 상술한 어라운드 뷰를 구현하기 위한 어라운드 뷰 장치에 대하여 더 자세히 살펴보고자 한다.
도 2는 본 발명의 일 실시예에 따른 어라운드 뷰 장치를 나타낸 블록도이다.
도 2에 따르면 본 발명의 일 실시예에 따른 어라운드 뷰 장치는 제1 카메라부(110), 제2 카메라부(120), 차량 운행 정보부(200), 및 영상 합성부(300)를 포함한다.
제1 카메라부(110)와 제2 카메라부(120)는 상술한 것과 같이 차량의 서로 다른 면에 제공될 수 있다. 구체적으로, 제1 카메라부(110)는 차량의 운행 방향을 기준으로 제1 방향을 촬영할 수 있도록 제공되고, 제2 카메라부(120)는 제1 방향과 반대되는 제2 방향을 촬영할 수 있도록 제공될 수 있다. 예를 들어, 차량의 운행 방향을 기준으로 차량의 후방에는 제1 카메라부(110)가 제공되고, 차량의 전방에는 제2 카메라부(120)가 제공될 수 있다.
제1 카메라부(110)는 차량의 운행 방향을 기준으로 제1 방향을 촬영하여 제1 영상 데이터를 생성할 수 있다. 제1 방향이 차량의 후방인 경우, 제1 영상 데이터는 차량의 후방을 촬영한 데이터일 수 있다.
제2 카메라부(120)는 제1 방향과 반대되는 제2 방향을 촬영하여 제2 영상 데이터를 생성할 수 있다. 제1 방향이 상술한 것과 같이 차량의 후방인 경우, 제2 방향은 차량의 전방이고, 제2 영상 데이터는 차량의 전방을 촬영한 데이터일 수 있다.
제1 카메라부(110)와 제2 카메라부(120)가 촬영하는 제1 방향과 제2 방향은 차량의 운행 방향을 기준으로 설정되는 것이기 때문에, 운전자가 차량의 운행 방향을 바꿈에 따라, 제1 방향 및 제2 방향 역시 달라질 수 있다.
제1 카메라부(110)와 제2 카메라부(120)는 이미지를 촬영하기 위한 카메라 모듈 외에도 촬영된 이미지를 코덱을 활용하여 압축하기 위한 카메라 이미지 처리모듈, 처리된 이미지를 영상 합성부로 전달하기 위한 카메라 이미지 전송모듈 등을 더 포함할 수 있다.
제1 카메라부(110)와 제2 카메라부(120)에서 생성되는 제1 영상 데이터 및 제2 영상 데이터는 다양한 종류의 코덱과 컨테이너로 제공될 수 있다. 예를 들어, 제1 영상 데이터와 제2 영상 데이터는 FFMpeg, DivX, XviD, x264 등 다양한 코덱으로 제공될 수 있고, AVI(Audio Video Interleave), FLV(Flash Video Format), WMV(Windows Media Video), MOV, MP4 등 다양한 형태의 컨테이너로 제공될 수 있다. 상술한 코덱과 컨테이너 외에도 다양한 형태로 제1 영상 데이터 및 제2 영상 데이터를 제공할 수 있다.
제1 카메라부(110)와 제2 카메라부(120)는 영상 합성부(300)로부터 송신되는 프레임 싱크에 의해 동기화될 수 있다. 예를 들어, 영상 합성부(300)로부터 수신한 프레임 싱크를 제1 카메라부(110) 및 제2 카메라부(120)의 카메라 모듈에 프레임 싱크 입력으로 연결하고, 이를 영상 출력의 기준 신호로 사용하여 V-Sync 및/또는 H-Sync를 동시화시킴으로써 제1 카메라부(110) 및 제2 카메라부(120)로부터 출력되는 제1 영상 데이터와 제2 영상 데이터는 동시점에서 생성될 수 있다. 동시점에서 제1 영상 데이터와 제2 영상 데이터를 생성함으로써 차량 운행 데이터 등과 제1 영상 데이터, 제2 영상 데이터를 보다 쉽게 매칭할 수 있다.
제1 카메라부(110)와 제2 카메라부(120)에서 생성되는 제1 영상 데이터와 제2 영상 데이터는 영상 합성부(300)에서 합성 영상 데이터를 생성하는데 이용될 수 있다. 이때, 영상 합성부(300)에서 합성 영상 데이터를 생성하기 위하여 제1 영상 데이터와 제2 영상 데이터가 생성되는 시점에서의 차량 정보가 필요하다.
차량 운행 정보부(200)는 제1 영상 데이터와 제2 영상 데이터가 생성되는 시점에서의 차량 운행 정보를 추출하고 전달한다. 차량 운행 정보는 차량의 속도 정보 및 운행 방향 정보를 포함할 수 있다.
차량 운행 정보부(200)는 다양한 버스 시스템(bus system)을 이용하여 차량 운행 정보를 추출할 수 있다. 예를 들어, 차량 운행 정보부(200)는 CAN(Controller Area Network), LIN(Local Interconnect Network), MOST(Media Oriented System Transport), FlexRay, K-Line 등 다양한 버스 시스템을 이용할 수 있다.
차량 운행 정보부(200)에서 추출되는 차량 운행 정보는 차량의 속도 정보 및 차량의 운행 방향 정보를 포함한다. 차량의 속도 정보는 현재 차량의 속도를 의미할 수 있다. 차량의 운행 방향 정보는 차량의 전동 파워 스티어링(EPS), 휠 데이터(Wheel Data) 등으로부터 취득될 수 있다.
차량 운행 정보부(200)는 차량 운행 정보를 취득할 때, 취득 시점에 대한 타임 스탬프(Time Stamp)를 차량 운행 정보에 붙일 수 있다. 타임 스탬프는 이후 영상 합성부(300)에서 제1 영상 데이터 및 제2 영상 데이터를 합성하는데 이용할 수 있다.
차량 운행 정보부(200)는 영상 합성부(300)로 차량 운행 정보를 송신하여, 합성 영상 데이터가 생성될 수 있도록 한다.
영상 합성부(300)는 제1 영상 데이터와 제2 영상 데이터, 및 차량 운행 정보를 수신하여 합성 영상 데이터를 생성한다.
영상 합성부(300)는 구체적으로 차량 운행 정보에 기초하여 서로 다른 시점에서 생성된 제1 영상 데이터와 제2 영상 데이터를 차량을 중심으로 형성된 그리드에 매칭하여 합성 영상 데이터를 생성한다. 그리드를 이용한 합성 영상 데이터 생성 방법에 관해서는 이하에서 더 자세히 서술하고자 한다.
영상 합성부(300)는 영상 합성에 앞서, 영상을 보정할 수 있다. 예를 들어, 영상 합성부(300)는 제1 카메라부(110) 및 제2 카메라부(120)에 광각 렌즈가 사용됨에 따라 영상의 외곽부에 발생할 수 있는 왜곡을 보정하기 위해, 수신되는 영상 데이터 혹은 합성 영상 데이터들에 기준점을 설정하고, 이를 왜곡되지 않은 영상으로 픽셀단위로 이동시킴으로써 보정할 수 있다. 예를 들면, 영상 합성부(300)에서 기하왜곡 보정(Radial Distortion Correction), 역투영변환(Inverse Perspective Transform), 및 영상정합(Image Stitching) 과정이 수행될 수 있다.
영상 합성부(300)에서 합성된 합성 영상 데이터는 SVM(Surround View Monitor) 혹은 AVM(Automatic Vehicle Monitoring) 시스템에 사용되는 3D 영상으로 제공될 수 있으며, 버드아이뷰(Bird Eye-view)의 형태로 제공될 수 있다. 이에 따라, 차량의 주변 이미지를 3차원 형태로 시각화함으로써, 주차 영역 혹은 차량 주변 물체에 대한 시인성이 향상될 수 있다.
영상 합성부(300)는 제1 영상 데이터, 제2 영상 데이터, 및 차량 운행 정보를 임시적으로 저장하기 위한 메모리를 포함할 수 있다. 메모리에 저장된 제1 영상 데이터, 제2 영상 데이터, 및 차량 운행 정보는 필요에 따라 로드되어 합성 영상 데이터를 생성하는데 이용될 수 있다.
영상 합성부(300)는 또한 차량 운행 정보를 제1 영상 데이터 및 제2 영상 데이터에 매칭하기 위한 프로세서를 더 포함할 수 있다. 영상 합성부(300)의 프로세서는 차량 운행 정보에 포함된 타임 스탬프를 이용하여 특정 시각에 촬영된 제1 영상 데이터 및 제2 영상 데이터 각각에 차량 운행 정보를 매칭할 수 있다. 이에 따라, 제1 영상 데이터와 제2 영상 데이터가 촬영되는 시점에서 차량의 운행 방향, 속도 등이 제1 영상 데이터 및 제2 영상 데이터에 매칭될 수 있다. 제1 영상 데이터 및 제2 영상 데이터에 매칭된 차량 운행 정보를 이용하여 이하에서 살펴볼 것과 같이 그리드 상의 좌표를 파악하고 영상을 합성할 수 있다.
도 3a와 도 3b는 본 발명의 일 실시예에 따른 어라운드 뷰 생성 방법을 나타낸 것이다.
도 3a는 제1 시점(T1)과 제1 시점(T1) 이후의 제2 시점(T2)에서 차량의 위치 및 제1 카메라부(110)와 제2 카메라부(120)의 촬영 영역을 나타낸 것이며, 도 3b는 도 3a에서 촬영된 영상 데이터가 그리드 상에서 매칭되는 방법을 나타낸 것이다.
먼저 도 3a에 따르면, 제1 시점의 차량(10_T1)은 약간 기울어진 형태로 제공되어 있다. 이때 제1 시점의 차량(10_T1)에 제공된 제1 카메라부(110)는 제1-1 영역(A1_T1)을 촬영하고, 제2 카메라부(120)는 제2-1 영역(A2_T1)을 촬영하여 제1 영상 데이터 및 제2 영상 데이터를 생성할 수 있다.
다음으로, 제1 시점(T1) 이후의 제2 시점(T2)에서, 제2 시점의 차량(10_T2)은 제1 시점의 차량(10_T1)이 제공된 위치에서 뒤쪽으로 이동한 상태로 제공될 수 있다. 이때 제2 시점의 차량(10_T2)의 조향 각도가 변하면서 제2 시점의 차량(10_T2)은 주차선 중 일부와 평행한 상태로 제공될 수 있다. 제2 시점의 차량(10_T2)은 제1-2 영역(A1_T2)와 제2-2 영역(A2_T2)을 촬영하여 제1 영상 데이터 및 제2 영상 데이터를 생성할 수 있다.
제1 시점(T1)과 제2 시점(T2)에서 촬영된 제1-1 영역(A1_T1), 제1-2 영역(A1_T2), 제2-1 영역(A2_T1), 제2-2 영역(A2_T2)는 그리드 상에서 합성될 수 있다.
도 3b에서 볼 수 있듯이, 그리드는 반구형 또는 반타원구형 좌표계일 수 있으며, 차량은 그리드의 한 극점 상에 제공될 수 있다.
그리드는 위도 및 경도 축으로 구성될 수 있다. 위도 및 경도 축으로 구성된 그리드는 복수 개의 영역으로 나누어 제공될 수 있다. 예를 들어, 도 3b에 도시된 것과 같은 형태로 반구형 또는 반타원구형 좌표계는 복수 개의 구역으로 나누어질 수 있다. 그리드의 각 영역은 위도 좌표 및 경도 좌표로 나타날 수 있다.
그리드의 각 영역에는 제1 영상 데이터 또는 제2 영상 데이터가 매칭될 수 있다. 이때 그리드의 각 영역과 제1 영상 데이터 또는 제2 영상 데이터를 매칭하기 위하여 룩업 테이블(Look-Up Table; LUT)을 이용할 수 있다.
그리드의 각 영역에 제1 영상 데이터 또는 제2 영상 데이터를 매칭하기 위하여 차량 운행 정보를 이용할 수 있다. 구체적으로, 차량 운행 정보 중 속도 정보와 운행 방향 정보를 이용할 수 있다. 속도 정보와 운행 방향 정보를 이용하여 제1 영상 데이터 및 제2 영상 데이터가 취득된 영역이 어디인지, 또한 그리드 상에서의 위도 좌표 및 경도 좌표를 특정할 수 있다.
예를 들어, 서로 다른 시점에서 촬영된 제2-1 영역(A2_T1)에 대한 제2 영상 데이터와 제2-2 영역(A2_T2)에 대한 제2 영상 데이터를 매칭함에 있어서, 제2-1 영역(A2_T1)이 촬영되는 시점이 더 앞섰다는 정보, 제2-1 영역(A2_T1)을 촬영할 때 차량이 왼쪽으로 기울어져 있었고, 따라서 제2-1 영역(A2_T1)은 제2-2 영역(A2_T2)에 비하여 왼쪽에 위치한다는 정보를 이용하여 그리드의 서로 다른 영역에 제2 영상 데이터를 매칭할 수 있다.
따라서, 그리드를 통하여 합성된 합성 영상 데이터는 서로 다른 시점에서 촬영된 제1 영상 데이터 및 제2 영상 데이터를 포함할 수 있다.
아울러, 그리드는 현재 차량의 위치를 기준으로 설정되는 좌표계이기 때문에 차량이 이동하는 경우, 그리드 역시 이동할 수 있다. 이때 그리드의 위도 좌표 및 경도 좌표는 차량의 위치와 관계없는 절대 좌표일 수 있다. 따라서, 그리드 상에 한번 제1 영상 데이터 및 제2 영상 데이터가 매칭되면, 제1 영상 데이터 및 제2 영상 데이터에 그리드의 위도 좌표 및 경도 좌표가 매칭되고, 차량이 이동하여 그리드가 특정 위도 좌표 및 경도 좌표를 포함할 때, 먼저 매칭되었던 제1 영상 데이터 및 제2 영상 데이터를 그리드 상으로 불러올 수 있다. 이에 따라, 한 번 어라운드 뷰가 합성된 이후에는 먼저 매칭된 영상 데이터를 불러올 수 있기 때문에 차량이 이동해도 신속하고 연속적으로 어라운드 뷰를 합성, 제공할 수 있다.
합성 영상 데이터를 생성하기 위하여, 영상 합성부에는 상술한 것과 같이 제1 영상 데이터, 제2 영상 데이터, 및 차량 운행 정보가 임시 저장될 수 있다. 임시 저장된 제1 영상 데이터, 제2 영상 데이터는 상술한 것과 같이 타임 스탬프를 이용하여 차량 운행 정보와 매칭될 수 있다.
임지 저장된 제1 영상 데이터와 제2 영상 데이터는 합성 영상 데이터를 제작하기 위하여 필요에 따라 여러 번 로드될 수 있다. 이에 따라, 합성 영상 데이터는 복수 개의 시점에서 촬영된 이미지를 포함할 수 있다. 아울러, 그리드의 복수 개의 영역에 매칭된 제1 영상 데이터 및 제2 영상 데이터가 반드시 시계열적으로 배치되는 것은 아닐 수 있다.
임시 저장된 제1 영상 데이터와 제2 영상 데이터는 기 설정된 프로토콜에 따라 삭제될 수 있다. 예를 들어, 임시 저장된 제1 영상 데이터와 제2 영상 데이터는 기 설정된 시간이 지난 후 일괄 삭제될 수 있다. 제1 영상 데이터 및 제2 영상 데이터가 생성된 시점으로부터 지나치게 많은 시간이 지난 경우, 데이터의 신뢰성에 문제가 생길 수 있으므로 일정 시간이 경과된 영상 데이터를 삭제할 수 있다.
서로 다른 시점에서 촬영된 제1 영상 데이터 및 제2 영상 데이터를 합성함에 있어서, 서로 다른 시점에서 촬영된 영역은 일부 중복되는 이미지를 가질 수 있다. 예를 들어, 제1 시점에서 촬영된 영상 데이터와 제2 시점에서 촬영된 영상 데이터 중 일부는 동일한 영역을 촬영한 것일 수 있다. 이 경우, 동일한 영역을 촬영한 두 영상 데이터는 그리드 상에서 오버레이될 수 있다.
영상 합성부는 동일한 영역을 촬영한 두 영상 데이터를 합성하기 위하여, 동일한 영역에 존재하는 특징물을 합성의 기준으로 설정할 수 있다. 예를 들어, 영상 합성부는 상술한 특징물을 특정 폴리곤으로 인식하고, 폴리곤의 방향 등을 기초로 서로 다른 영상 데이터를 보정한 후 그리드 상에서 합성할 수 있다.
이 때 어라운드 뷰 장치는 특징물을 검출하고 특징물로부터 폴리곤을 인식하기 위하여 장애물 감지부를 더 포함할 수 있다. 장애물 감지부는 차량의 움직임에 따라 변하는 상기 차량에 대한 상기 장애물의 상대적 위치를 산출할 수 있다. 또한, 이 때 영상 합성부는 장애물 감지부로부터 수신한 장애물의 차량에 대한 상대적 위치를 이용하여 제1 영상 데이터와 제2 영상 데이터를 합성할 수 있다. 장애물 감지부가 제공됨에 따라 제1 영상 데이터와 제2 영상 데이터의 합성의 정확성이 높아질 수 있다.
본 발명의 일 실시예에 따르면, 제1 카메라부 및 제2 카메라부로부터 생성된 제1 영상 데이터 및 제2 영상 데이터를 차량 운행 정보를 이용하여 그리드 상에 매칭할 수 있다. 복수의 시점에서 촬영된 복수의 제1 영상 데이터 및 제2 영상 데이터를 그리드에 매칭함으로써, 두 개의 카메라만으로도 어라운드 뷰 구현이 가능하다.
도 4는 본 발명의 일 실시예에 따른 어라운드 뷰 장치를 나타낸 블록도이다.
도 4에 따르면, 어라운드 뷰 장치는 데이터 저장부(500) 및 표시부(600)를 더 포함한다.
데이터 저장부(500)는 합성 영상 데이터를 저장한다. 아울러, 경우에 따라서는 임시 저장된 제1 영상 데이터, 제2 영상 데이터, 및 차량 운행 정보 중 적어도 일부가 데이터 저장부(500)에 저장될 수 있다.
데이터 저장부(500)는 아울러, 차량의 주차가 완료되었을 때, 저장된 합성 영상 데이터를 삭제할 수 있다. 이에 따라, 합성 영상 데이터가 과도하게 축적되어 메모리 부족 및 프로세서 부하를 야기하는 일이 방지될 수 있다. 데이터 저장부(500)는 예를 들어, 차량의 주차가 완료되고 차량 시동이 꺼졌을 때 저장된 메모리를 삭제하는 휘발성 메모리일 수 있다.
표시부(600)는 차량이 주차 중일 때 합성 영상 데이터를 출력하여 운전자에게 제공할 수 있다. 표시부(600)의 종류에는 제한이 없으며 다양한 전자 디스플레이 장치일 수 있다.
표시부(600)는 운전자에게 시인될 수 있도록 차량의 센터페시아, 대시보드, 계기판 등 다양한 영역에 제공될 수 있다. 표시부(600)의 제공 위치에는 제한이 없다.
본 발명의 일 실시예에 따르면 데이터 저장부(500)를 제공함으로써 영상 합성부(300)에 과도한 메모리가 축적되고 데이터 처리 부하가 생기는 것을 막을 수 있다. 또한 표시부(600)를 제공함으로써 사용자에게 합성 영상 데이터를 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 어라운드 뷰 생성 방법을 나타낸 순서도이다.
도 5에 따르면 어라운드 뷰 생성을 위하여 먼저 제1 시점에서 제1 영상 데이터, 제2 영상 데이터, 및 차량 운행 정보를 수신한다(S100). 수신된 차량 운행 정보는 타임 스탬프를 포함할 수 있으며, 타임 스탬프를 이용하여 동 시점에서 취득한 제1 영상 데이터 및 제2 영상 데이터에 매칭될 수 있다.
다음으로, 제2 시점에서 제1 영상 데이터, 제2 영상 데이터, 및 차량 운행 정보를 수신한다(S200). 마찬가지로 제2 시점에서도 차량 운행 정보는 타임 스탬프를 포함할 수 있으며, 타임 스탬프를 이용하여 동 시점에서 취득한 제1 영상 데이터 및 제2 영상 데이터에 매칭될 수 있다.
다음으로, 제1 시점 및 제2 시점에서 수집된 제1 영상 데이터와 제2 영상 데이터는 합성될 수 있다(S300). 이때 영상 데이터 합성을 위하여, 영상 데이터와 매칭된 차량 운행 정보를 이용할 수 있다. 구체적으로, 차량 운행 정보에 포함된 차량 속도 정보 및 차량 운행 방향 정보를 기초로 그리드 상의 위도 및 경도 좌표를 산출하고, 이를 제1 영상 데이터 및 제2 영상 데이터에 매칭할 수 있다. 매칭된 위도 좌표 및 경도 좌표에 따라, 그리드 상에 제1 영상 데이터 및 제2 영상 데이터가 매칭되고, 제1 영상 데이터 및 제2 영상 데이터의 이음새를 매끄럽게 합성함으로써 합성 영상 데이터를 생성할 수 있다.
이때 추가적으로 차량의 형태가 합성 영상 데이터에 오버레이될 수 있다. 구체적으로 영상 합성부는 차량 운행 정보부로부터 차량의 크기 정보를 받아 합성 영상 데이터에 오버레이할 수 있다. 이에 따라, 합성이 완료된 합성 영상 데이터는 SVM(Surround View Monitor) 혹은 AVM(Automatic Vehicle Monitoring) 시스템에 사용되는 3D 영상으로 제공될 수 있으며, 버드아이뷰(Bird Eye-view)의 형태로 제공될 수 있다. 이에 따라, 차량의 주변 이미지를 3차원 형태로 시각화함으로써, 주차 영역 혹은 차량 주변 물체에 대한 시인성을 향상시켜 더욱 용이하고 정교한 주차가 가능해진다.
다음으로, 합성 영상 데이터는 출력되어 운전자에게 시인될 수 있다.
이상에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면, 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
10: 차량 110: 제1 카메라부
120: 제2 카메라부 200: 차량 운행 정보부
300: 영상 합성부

Claims (10)

  1. 차량의 속도 정보 및 운행 방향 정보를 포함하는 차량 운행 정보를 추출하는 차량 운행 정보부;
    상기 차량의 일 측에 제공되어 상기 차량의 운행 방향을 기준으로 제1 방향을 촬영하여 제1 영상 데이터를 생성하는 제1 카메라부;
    상기 차량의 타 측에 제공되어 상기 제1 방향과 반대되는 제2 방향을 촬영하여 제2 영상 데이터를 생성하는 제2 카메라부;
    상기 제1 영상 데이터와 상기 제2 영상 데이터, 및 상기 차량 운행 정보를 수신하여 합성 영상 데이터를 생성하는 영상 합성부를 포함하고,
    상기 영상 합성부는 상기 차량 운행 정보에 기초하여 서로 다른 시점에서 생성된 상기 제1 영상 데이터와 상기 제2 영상 데이터를 상기 차량을 중심으로 형성된 그리드에 매칭하여 상기 합성 영상 데이터를 생성하고,
    상기 영상 합성부는 상기 제1 영상 데이터 및 상기 제2 영상 데이터로부터 폴리곤(Polygon)을 추출하고, 상기 폴리곤을 기준으로 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 합성하여 상기 합성 영상데이터를 생성하는, 어라운드 뷰 장치.
  2. 제1항에 있어서,
    상기 제1 카메라부는 상기 차량의 전방에 제공되고, 상기 제2 카메라부는 상기 차량의 후방에 제공되는, 어라운드 뷰 장치.
  3. 제1항에 있어서,
    상기 그리드는 위도 및 경도 축으로 구성되고,
    상기 영상 합성부는 상기 차량 운행 정보를 기반으로 상기 그리드 상의 위도 좌표 및 경도 좌표를 결정하고,
    결정된 상기 위도 좌표 및 상기 경도 좌표에 상기 제1 영상 데이터 또는 상기 제2 영상 데이터를 매칭하는, 어라운드 뷰 장치.
  4. 제1항에 있어서,
    상기 그리드는 반구형 또는 반타원구형 좌표계인, 어라운드 뷰 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 차량 주변의 장애물을 감지하기 위한 장애물 감지부를 더 포함하고,
    상기 장애물 감지부는 상기 차량의 움직임에 따라 변하는 상기 차량에 대한 상기 장애물의 상대적 위치를 산출하고,
    상기 영상 합성부는 상기 장애물 감지부로부터 수신한 상기 장애물의 상기 차량에 대한 상대적 위치를 이용하여 상기 제1 영상 데이터와 상기 제2 영상 데이터를 합성하는, 어라운드 뷰 장치.
  7. 제1항에 있어서,
    상기 합성 영상 데이터를 저장하는 데이터 저장부; 및
    상기 합성 영상 데이터를 출력하는 표시부를 더 포함하는, 어라운드 뷰 장치.
  8. 제7항에 있어서,
    상기 표시부는 상기 차량이 주차 중일 때 상기 합성 영상 데이터를 출력하고,
    상기 데이터 저장부는 상기 차량의 주차가 완료되었을 때, 저장된 상기 합성 영상 데이터를 삭제하는, 어라운드 뷰 장치.
  9. 제1항에 있어서,
    상기 차량 운행 정보부는 상기 차량의 크기 정보를 상기 영상 합성부로 송신하고,
    상기 영상 합성부는 상기 차량의 상기 크기 정보를 바탕으로 상기 합성 영상 데이터에 상기 차량의 형태를 오버레이하는, 어라운드 뷰 장치.
  10. 제1항에 있어서,
    상기 영상 합성부는 상기 제1 카메라부 및 상기 제2 카메라부로 프레임 싱크를 송신하고,
    상기 제1 카메라부 및 상기 제2 카메라부는 상기 프레임 싱크를 기준으로 동기화되어 각각 상기 제1 영상 데이터 및 상기 제2 영상 데이터를 생성하는, 어라운드 뷰 장치.
KR1020190048852A 2019-04-26 2019-04-26 어라운드 뷰 장치 KR102140526B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190048852A KR102140526B1 (ko) 2019-04-26 2019-04-26 어라운드 뷰 장치
PCT/KR2020/000938 WO2020218717A1 (ko) 2019-04-26 2020-01-20 어라운드 뷰 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190048852A KR102140526B1 (ko) 2019-04-26 2019-04-26 어라운드 뷰 장치

Publications (1)

Publication Number Publication Date
KR102140526B1 true KR102140526B1 (ko) 2020-08-04

Family

ID=72048795

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190048852A KR102140526B1 (ko) 2019-04-26 2019-04-26 어라운드 뷰 장치

Country Status (2)

Country Link
KR (1) KR102140526B1 (ko)
WO (1) WO2020218717A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770147A (zh) * 2021-01-21 2021-05-07 日照职业技术学院 基于云安全认证的无人驾驶透视盒子及其实现方法
KR102355998B1 (ko) * 2020-09-21 2022-02-07 제이씨현오토 주식회사 Svm 탑뷰 기반 시청각적 인체 및 장애물 감지 통합 표시시스템
KR20240025323A (ko) * 2022-08-18 2024-02-27 주식회사 켐트로닉스 후방 파노라마 뷰 생성 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230082984A1 (en) * 2021-09-16 2023-03-16 Apple Inc. Canopy coverage determination for improved wireless connectivity

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010236891A (ja) * 2009-03-30 2010-10-21 Nec Corp カメラ座標系と世界座標系との位置座標変換方法、車載装置、路側撮影装置及び位置座標変換システム
KR101413231B1 (ko) * 2013-02-18 2014-06-30 인하대학교 산학협력단 증강현실 기반 차량 주변 모니터링 장치 및 방법, 그리고 차량
JP2018050119A (ja) * 2016-09-20 2018-03-29 国立大学法人 東京大学 作業車両の表示システム
KR20180126899A (ko) * 2017-05-19 2018-11-28 주식회사 에스더블유엠 전방 카메라와 후방 카메라를 이용하여 어라운드 뷰 영상을 생성하는 방법 및 장치
KR101964864B1 (ko) * 2017-12-14 2019-04-02 공주대학교 산학협력단 차량의 어라운드 뷰 영상의 왜곡 보정 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
KR101949358B1 (ko) * 2016-04-04 2019-02-18 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010236891A (ja) * 2009-03-30 2010-10-21 Nec Corp カメラ座標系と世界座標系との位置座標変換方法、車載装置、路側撮影装置及び位置座標変換システム
KR101413231B1 (ko) * 2013-02-18 2014-06-30 인하대학교 산학협력단 증강현실 기반 차량 주변 모니터링 장치 및 방법, 그리고 차량
JP2018050119A (ja) * 2016-09-20 2018-03-29 国立大学法人 東京大学 作業車両の表示システム
KR20180126899A (ko) * 2017-05-19 2018-11-28 주식회사 에스더블유엠 전방 카메라와 후방 카메라를 이용하여 어라운드 뷰 영상을 생성하는 방법 및 장치
KR101964864B1 (ko) * 2017-12-14 2019-04-02 공주대학교 산학협력단 차량의 어라운드 뷰 영상의 왜곡 보정 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102355998B1 (ko) * 2020-09-21 2022-02-07 제이씨현오토 주식회사 Svm 탑뷰 기반 시청각적 인체 및 장애물 감지 통합 표시시스템
CN112770147A (zh) * 2021-01-21 2021-05-07 日照职业技术学院 基于云安全认证的无人驾驶透视盒子及其实现方法
KR20240025323A (ko) * 2022-08-18 2024-02-27 주식회사 켐트로닉스 후방 파노라마 뷰 생성 장치 및 방법
KR102656128B1 (ko) 2022-08-18 2024-04-09 주식회사 켐트로닉스 후방 파노라마 뷰 생성 장치 및 방법

Also Published As

Publication number Publication date
WO2020218717A1 (ko) 2020-10-29

Similar Documents

Publication Publication Date Title
KR102140526B1 (ko) 어라운드 뷰 장치
US11303806B2 (en) Three dimensional rendering for surround view using predetermined viewpoint lookup tables
JP6633216B2 (ja) 撮像装置、及び、電子機器
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
US8553081B2 (en) Apparatus and method for displaying an image of vehicle surroundings
CN110874817A (zh) 图像拼接方法和装置、车载图像处理装置、电子设备、存储介质
US20150042800A1 (en) Apparatus and method for providing avm image
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
US11055541B2 (en) Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
US20100002078A1 (en) Periphery monitoring apparatus
JP5064201B2 (ja) 画像表示システム及びカメラ出力制御方法
CN103895573A (zh) 汽车泊车辅助系统及方法
CN103879353A (zh) 泊车辅助系统及方法
JP6778620B2 (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
WO2014166449A1 (zh) 一种基于全景视频的车载导航方法及系统、存储介质
JP2021013072A (ja) 画像処理装置および画像処理方法
KR20100057253A (ko) 차량 주위의 이미지를 기록하는 장치 및 방법
JPWO2020090512A1 (ja) 撮影装置、制御方法、及び、プログラム
WO2016047037A1 (ja) 車両用画像処理装置
US20220408062A1 (en) Display control apparatus, display control method, and program
JP4857159B2 (ja) 車両運転支援装置
JP2005182305A (ja) 車両走行支援装置
KR101677653B1 (ko) 차량 내 영상표시장치 및 그것의 제어 방법
JP4685050B2 (ja) 表示装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant