KR101789294B1 - 차량용 어라운드 뷰 시스템 및 그 동작 방법 - Google Patents

차량용 어라운드 뷰 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR101789294B1
KR101789294B1 KR1020150188312A KR20150188312A KR101789294B1 KR 101789294 B1 KR101789294 B1 KR 101789294B1 KR 1020150188312 A KR1020150188312 A KR 1020150188312A KR 20150188312 A KR20150188312 A KR 20150188312A KR 101789294 B1 KR101789294 B1 KR 101789294B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
light source
pattern
image sensor
Prior art date
Application number
KR1020150188312A
Other languages
English (en)
Other versions
KR20170078914A (ko
Inventor
권순
정우영
김영덕
박재형
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020150188312A priority Critical patent/KR101789294B1/ko
Publication of KR20170078914A publication Critical patent/KR20170078914A/ko
Application granted granted Critical
Publication of KR101789294B1 publication Critical patent/KR101789294B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 구조광 방식을 이용한 차량용 어라운드 뷰 시스템 및 그 동작 방법에 관한 것으로서, 본 발명의 실시예에 따른 구조광 방식을 이용한 차량용 어라운드 뷰 시스템은 기설정된 일정 주기 마다 차량의 주변 환경에 대한 영상을 획득하는 이미지 센서, 상기 이미지 센서에 대응하여 적외선 대역의 배경광원을 발생시키는 제1 광원 모듈, 상기 이미지 센서에 대응하여 적외선(IR) 대역의 기설정된 구조광 패턴을 발생시키는 제2 광원 모듈을 포함하는 복수의 영상 센서부, 및 상기 이미지 센서들과 상기 제1 광원 모듈들이 함께 동작 시 획득되는 IR 배경 영상들과 상기 이미지 센서들과 상기 제2 광원 모듈들이 함께 동작 시 획득되는 IR 구조광 패턴 영상들을 이용하여 상기 차량 주변의 객체를 검출하며, 상기 IR 배경 영상들을 이용하여 어라운드 뷰 영상을 생성하는 영상 처리부를 포함한다.

Description

차량용 어라운드 뷰 시스템 및 그 동작 방법{Around view system of vehicle and method thereof}
본 발명은 차량용 어라운드 뷰 시스템 및 그 동작 방법에 관한 것으로, 특히 구조광 방식을 이용한 차량용 어라운드 뷰 시스템 및 그 동작 방법에 관한 것이다.
오늘날, 자동차, 로봇 등의 시스템에서 주행, 이동 시에 주변 장애물과의 거리를 인식하는 기술이 널리 활용되고 있다. 이때, 사용되는 센서로는 능동(Active) 방식의 센서와 수동(Passive) 방식의 센서가 있다.
주로 사용되는 Active 방식의 센서로는 초음파, Lidar 등이 있다. 이러한 Active 방식의 센서는 인접한 장애물로부터 반사되는 신호정보를 수신하여 거리를 추정하는 방식에 이용된다. 여기서, 특히 초음파 센서는 저렴한 가격으로 구성할 수 있어 자동차용 주변장애물 감지용 센서로 널리 활용된다.
Passive 방식의 센서로 널리 사용되는 이미지 센서(카메라)가 있다. 이미지 센서를 이용하는 경우, 영상정보를 획득할 수 있으므로 획득된 영상에서의 객체검출뿐만 아니라 인식, 분류 등의 고차원적인 데이터분석이 가능하다. 그러나, 이미지 센서를 이용하는 경우에는 복잡한 알고리즘이 요구되며, Active 방식의 센서에 비해 인식결과의 정확도가 낮은 편이다.
한편, 자동차용 첨단운전자보조시스템(Advanced Driving Assistant System, ADAS)에서는 자차량의 근접상황을 인식하기 위해서, 상기의 초음파 센서 또는 카메라를 도 1a에 도시된 바와 같이 차량의 전후측방에 다수 배치하여 어라운드 방식의 센싱(감지) 시스템을 구축할 수 있다.
그러나, 초음파 센서를 사용한 경우, 고차원의 상황인식은 어렵고 단지 장착된 초음파 센서 위치를 기준으로 거리 정보만을 추측할 수 있다. 또한, 카메라 기반의 어라운드 뷰 시스템은 도 1b에 도시된 바와 같이 각 방향에서 획득한 영상정보를 합성하여 하나의 전(around) 방향의 영상으로 복원하여, 운전자가 자차량의 주변상황을 보다 시각적으로 확인할 수 있도록 한다. 하지만, 카메라 기반의 어라운드 뷰 시스템에서는 실제 주변의 객체와 자차량 간의 거리를 추정하기에는 어려운 단점이 있다.
이를 해결하기 위해, 카메라를 활용한 어라운드 뷰 시스템에서 거리를 추정할 수 있는 방법을 고안하기 위해 카메라 기반의 삼차원정보 획득 방법이 있다.
삼차원 깊이 영상을 획득하는 방법으로는 크게 스테레오 비전 기반 또는 구조광(Structured Light) 패턴인식과 같은 컴퓨터비전 기술을 사용한 접근방법과 TOF(Time-of-Flight) 기술과 같은 센서수준의 접근방법들이 존재한다.
스테레오비전 기반 방법은 두 개 이상의 카메라로부터 획득된 영상으로부터 스테레오정합과정을 거쳐 삼차원 깊이지도를 계산하는 방법이다. 이는 야간과 같은 어두운 상황에서 정확한 깊이지도를 생성하기 어려우므로 자동차용 ADAS시스템에서 신뢰성을 확보하기가 어려운 단점이 있다.
본 발명의 목적은 적외선(IR) 구조광 패턴 기술을 이용하여 차량 주변의 객체를 검출하는 차량용 어라운드 뷰 시스템 및 그 동작 방법을 제공함에 있다.
전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 구조광 방식을 이용한 차량용 어라운드 뷰 시스템은 기설정된 일정 주기 마다 차량의 주변 환경에 대한 영상을 획득하는 이미지 센서, 상기 이미지 센서에 대응하여 적외선 대역의 배경광원을 발생시키는 제1 광원 모듈, 상기 이미지 센서에 대응하여 적외선(IR) 대역의 기설정된 구조광 패턴을 발생시키는 제2 광원 모듈을 포함하는 복수의 영상 센서부, 및 상기 이미지 센서와 상기 제1 광원 모듈이 함께 동작 시 획득되는 IR 배경 영상과, 상기 이미지 센서들과 상기 제2 광원 모듈이 함께 동작 시 획득되는 IR 구조광 패턴 영상을 이용하여 상기 차량 주변의 객체를 검출하며, 상기 IR 배경 영상을 이용하여 어라운드 뷰 영상을 생성하는 영상 처리부를 포함한다.
상기 구조광 방식을 이용한 차량용 어라운드 뷰 시스템은 상기 이미지 센서 동작 시, 상기 이미지 센서에 대응하는 상기 제1 광원 모듈과 상기 제2 광원 모듈을 번갈아 가며 동작시키는 센서 제어부를 더 포함한다.
상기 영상 처리부는 상기 IR 구조광 패턴 영상들의 패턴을 분석하고, 상기 패턴 분석 결과에 기초하여 객체를 검출한다.
상기 영상 처리부는 상기 패턴 분석 결과를 이용하여 상기 IR 구조광 패턴 영상에 대응하는 3차원 깊이 영상을 획득하고, 획득된 상기 3차원 깊이 영상 정보와 상기 IR 배경 영상을 이용하여 상기 차량 주변의 객체를 검출한다.
상기 영상 처리부는 검출된 상기 객체와 상기 차량 간의 거리를 산출한다.
상기 구조광 방식을 이용한 차량용 어라운드 뷰 시스템은 검출된 상기 객체를 표시하는 영상과 상기 상기 어라운드 뷰 영상을 오버랩 하여 출력한다.
한편, 전술한 과제를 달성하기 위한 본 발명의 다른 양상에 따른 구조광 방식을 이용한 차량용 어라운드 뷰 시스템의 동작 방법은 차량의 주변 환경에 대한 IR(적외선) 배경 영상과 IR 구조광 패턴 영상을 한프레임마다 번갈아 가며 획득하는 단계, 상기 IR 구조광 패턴 영상을 이용하여 상기 차량 주변의 객체를 검출하는 단계, 및 상기 IR 배경 영상을 이용하여 상기 검출된 객체의 정보를 포함하는 어라운드 뷰 영상을 생성하는 단계를 포함한다.
상기 획득하는 단계는 일정 주기마다 이미지 센서를 통해 상기 차량의 주변 환경에 대한 영상을 획득시, 상기 이미지 센서와 적외선(IR) 대역의 배경광원을 발생시키는 제1 광원 모듈이 함께 동작시켜 상기 IR 배경 영상을 획득하며, 상기 이미지 센서와 적외선(IR) 대역의 기설정된 구조광 패턴을 발생시키는 제2 광원 모듈이 함께 동작시켜 상기 IR 구조광 패턴 영상을 획득한다.
상기 검출하는 단계는 상기 IR 구조광 패턴 영상의 패턴을 분석하고, 상기 패턴 분석 결과에 기초하여 객체를 검출한다.
상기 검출하는 단계는 상기 패턴 분석 결과를 이용하여 상기 IR 구조광 패턴 영상에 대응하는 3차원 깊이 영상을 획득하고, 획득된 상기 3차원 깊이 영상 정보와 상기 IR 배경 영상을 이용하여 상기 차량 주변의 객체를 검출한다.
상기 검출하는 단계는 검출된 상기 객체와 상기 차량 간의 거리를 산출한다.
상기 구조광 방식을 이용한 차량용 어라운드 뷰 시스템의 동작 방법은 검출된 상기 객체를 표시하는 영상과 상기 상기 어라운드 뷰 영상을 오버랩 하여 출력하는 단계를 더 포함한다.
본 발명의 실시예에 따르면 적외선(IR)을 이용함으로써, 초음파를 이용하는 기존의 어라운드 뷰 시스템에 비해 차량의 인접 환경을 보다 고차원적으로 인식할 수 있어 단순한 모니터링뿐만 아니라 지능형 장애물 탐지 및 경고 등에 효과적으로 활용할 수 있다.
도 1a 및 도 1b는 일반적인 차량용 어라운드 뷰 시스템을 설명하기 위한 도면.
도 2는 본 발명의 실시예에 따른 구조광 방식을 이용한 차량용 어라운드 뷰 시스템 구성도.
도 3a, 도 3b 및 도 3c는 본 발명의 실시예에 따른 영상 센서부의 구조를 설명하기 위한 참조도.
도 4는 본 발명의 실시예에 따라 영상 센서부를 통해 획득되는 영상을 설명하기 위한 참조도.
도 5a, 도 5b 및 도 5c는 본 발명의 실시예에 따른 일반 배경 방식 및 구조광 방식을 이용하여 획득되는 영상을 설명하기 위한 참조도.
도 6은 본 발명의 실시예에 따라 차량 주변의 배경 영상과 깊이 영상을 설명하기 위한 참조도.
도 7은 본 발명의 실시예에 따른 구조광 방식을 이용한 차량용 어라운드 뷰 시스템의 동작 방법 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고, 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
도 2는 본 발명의 실시예에 따른 구조광 방식을 이용한 차량용 어라운드 뷰 시스템 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 구조광(Structured light) 방식을 이용한 차량용 어라운드 뷰 시스템(100)은 영상 센서부(110), 센서 제어부(120), 영상 처리부(130), 영상 출력부(140)를 포함한다.
영상 센서부(110)는 차량 외부의 소정 위치에 장착되어, 차량의 주변 영상을 획득한다. 예컨대, 영상 센서부(110)는 CCD(Charge Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등과 같은 이미지 센서(image sensor)를 이용하여 차량의 주변 영상을 획득할 수 있다.
이때, 영상 센서부(110)는 이미지 센서(111)와 함께 제1 광원과 제2 광원을 조사(irradiation)(출력)하는 제1 및 제2 광원 모듈(113, 115)을 포함할 수 있다. 여기서, 제1 광원은 적외선(Infrared Ray, IR) 대역의 배경광원일 수 있으며, 제2 광원은 IR 대역의 구조광원일 수 있다. 예컨대, 영상 센서부(110)는 도 3a에 도시된 바와 같이, IR-LED 배경광원(제1 광원) 모듈(113)과, IR 구조광원(제2 광원) 모듈(115) 및 이미지 센서(111)을 포함할 수 있다. 여기서, 제1 및 제2 광원 모듈(113, 115)는 컨트롤러에 의해 동작이 제어될 수 있다. 이때, 컨트롤러는 센서 제어부(120)일 수 있으며, 이에 대한 구체적인 설명은 후술하도록 한다.
영상 센서부(110)는 도 3b에 도시된 바와 같이 이미지 센서(111), 제1 및 제2 광원 모듈(113, 115)이 배치될 수 있다. 도 3b에 도시된 바와 같이, 제1 광원 모듈(113)은 통상 복수개의 IR 대역 LED(Light-Emitting Diode)가 일정한 간격으로 나열되는 형태로 구성될 수 있다. 제2 광원 모듈(115)은 사전에 구조화된 코드방식의 적외선 패턴(구조광 패턴)을 생성한다. 도 3c와 같이, 제2 광원 모듈(115)은 구조광 패턴을 생성하기 위해 광학회절소자(Diffractive Optical Element, DOE)와 IR 대역의 레이저 다이오드(Laser Diode, LD)로 구성될 수 있다.
이러한, 제1 및 제2 광원 모듈(113, 115)은 이미지 센서(111)가 동작할 시 이미지 센서(111)와 함께 동시에 동작될 수 있다. 예컨대, 이미지 센서(111) 동작 시, 제1 및 제2 광원 모듈(113, 115) 모두는 이미지 센서(111)와 함께 동일한 시점(timing)에 함께 동작할 수 있다. 또는, 이미지 센서(111) 동작 시, 제1 및 제2 광원 모듈(113, 115) 중 어느 하나의 광원 모듈만 이미지 센서(111)와 동시에 동작할 수도 있다. 바람직하게, 이미지 센서(111)가 동작할 때마다, 제1 및 제2 광원 모듈(113, 115)은 번갈아 가면서 동작할 수 있으며, 이에 따라 두 종류의 주변 영상을 획득할 수 있다. 이때, 이미지 센서(111)를 비롯한 제1 및 제2 광원 모듈(113, 115)의 동작은 센서 제어부(120)에 의해 제어될 수 있다.
영상 센서부(110)는 복수 개로 구현될 수 있으며, 복수의 영상 센서부(110_1~110_n) 각각은 차량의 전방위에 대한 주변 영상을 획득하기 위해 차량의 전단, 후단, 좌측단, 우측단 4곳에 장착될 수 있다. 이에 따라, 복수의 영상 센서부(110_1~110_n)는 차량의 전방 주변 영상, 후방 주변 영상, 좌측 주변 영상, 및 우측 주변 영상을 획득할 수 있다. 이때, 동시에(동일한 시점에) 전방, 후방, 좌측방, 및 우측방 주변 영상을 획득하기 위해, 복수의 영상 센서부(110_1~110_n) 각각의 동작 시점은 동기화될 수 있다.
아울러, 영상 센서부(110)는 4개 이상일 수도 있다. 예컨대, 영상 센서부(110)는 차량의 전방우측, 전방좌측, 후방우측, 및 후방좌측에 더 장착될 수 있다. 이하에서는, 설명의 편의를 위해, 영상 센서부(110)는 전측, 후측, 좌측단 및 우측단 4곳에 장착된 것으로 가정한다. 또한, 이하에서는, 복수의 영상 센서부(110_1~110_n) 중 어느 하나의 영상 센서부(110)를 예를 들어 설명한다. 별도의 언급이 없는 한 이하의 영상 센서부(110)의 동작은 영상 센서부(110)에 포함된 모든 카메라 모듈에도 동일하게 적용될 수 있다.
센서 제어부(120)는 영상 센서부(110)의 동작을 제어한다. 구체적으로, 센서 제어부(120)는 복수의 영상 센서부(110_1~110_n)에 포함된 센서 및 모듈의 동작 시점이 동기화되도록 제어할 수 있다. 예컨대, 일정 주기마다 동일한 시점의 전방, 후방, 좌측방 및 우측방의 주변 영상을 획득하기 위해, 센서 제어부(120)는 일정 주기마다 복수의 영상 센서부(110_1~110_n)가 동시에 동작하도록 제어한다. 특히, 센서 제어부(120)는 복수의 영상 센서부(110_1~110_n)에 포함된 복수의 이미지 센서(110_1~110_n) 간의 동작 시점을 동기화한다. 또한, 센서 제어부(120)는 복수의 영상 센서부(110_1~110_n)에 포함된 복수의 제1 광원 모듈(113_1~113_n) 간의 동작 시점과 복수의 제2 광원 모듈(115_1~115_n) 간의 동작 시점 각각을 동기화한다.
또한, 영상 센서부(110)에 포함된 이미지 센서(111)와 제1 및 제2 광원 모듈(113, 115)의 동작을 제어할 수 있다. 센서 제어부(120)는 일정주기마다 이미지 센서(111)가 동작할 수 있도록 영상 센서부(110)를 제어한다. 이때, 센서 제어부(120)는 1초에 60 프레임(frame)(60FPS, Frame Per Second)이 획득될 수 있도록, 이미지 센서(111)의 동작을 제어할 수 있다.
이때, 센서 제어부(120)는 이미지 센서(111)가 동작할 시, 제1 및 제2 광원 모듈(113, 115)이 번갈아 가면서(트리거되어) 동작할 수 있도록 제어할 수 있다. 가령, 이미지 센서(111)를 통해 60FPS의 영상을 획득할 시, 영상 센서부(110)는 제1 및 제2 광원 모듈(113, 115)의 트리거 속도를 60FPS로 제어할 수 있다.
구체적으로, 센서 제어부(120)는 이미지 센서(111)가 홀수번째 동작 시 제1 광원 모듈(113)은 오프(OFF)되고 제2 광원 모듈(115)은 온(ON)되도록 제어하며, 이미지 센서(111)가 짝수번째 동작 시 제1 광원 모듈(113)은 온되고 제2 광원 모듈(115)은 오프되도록 제어한다.
이에 따라, 영상 센서부(110)에서는 홀수번째에 차량의 주변환경에 대한 패턴이 나타나는 주변 패턴 영상(IR 구조광 패턴 영상)을 획득할 수 있으며, 짝수번째에는 차량의 주변환경에 대한 일반 영상인 주변 일반 영상(IR 배경 영상)이 획득될 수 있다.
또는 제1 및 제2 광원 모듈(113, 115)이 온 또는 오프 되는 순서가 변경되어, 이미지 센서(111)가 홀수번째 동작 시 제1 광원 모듈(113)만 온 되고, 짝수번째 동작 시 제2 광원 모듈(115)만 온 되도록 할 수 있다. 이에 따라, 도 4에 도시된 바와 같이 홀수번째(T, T+2, T+4, …)에 차량의 주변환경에 대한 일반 영상인 주변 일반 영상(IR 배경 영상)을 획득할 수 있으며, 짝수번째(T+1, T+3, T+5, …)에는 차량의 주변환경에 대한 패턴이 나타나는 주변 패턴 영상(IR 구조광 패턴 영상)이 획득될 수 있다.
즉, 1초에 n개(n은 2 이상의 자연수)의 프레임 영상이 획득되는 경우, n/2 개의 IR 배경 영상과 n/2개의 IR 구조광 패턴 영상이 획득될 수 있다. 예컨대, 영상 센서부(110)의 이미지 센서(111)를 통해 1초에 60개의 프레임 영상이 획득되는 경우, 60개의 프레임 영상 중 홀수번째의 30개의 프레임 영상은 IR 배경 영상일 수 있으며, 짝수번째의 30개의 프레임 영상은 IR 구조광 패턴 영상일 수 있다.
이와 같은 과정을 통해, 동일한 사물 또는 주변 환경 등에 대해, 제1 광원 모듈(113)이 오프되고 제2 광원 모듈(115)이 온되는 경우 영상 센서부(110)를 통해 도 5a와 같이 IR 구조광 패턴 영상이 획득될 수 있으며, 제1 광원 모듈(113)이 온 되고 제2 광원 모듈(115)이 오프되는 경우 도 5b와 같이 IR 배경 영상이 획득될 수 있다.
획득된 영상 중 IR 배경 영상은 어라운드 뷰 영상을 합성하거나 객체를 인식하기 위한 입력 영상으로 사용되며, IR 구조광 패턴 영상은 깊이 영상을 추정한 후 편평한 노면 위에 특정 높이 이상의 객체를 검출하는데 사용된다.
영상 처리부(130)는 영상 센서부(110)를 통해 획득되는 영상들을 이용하여 차량 주변의 객체를 인식하고, 어라운드 뷰 영상을 생성한다. 이때, 영상 처리부(130)는 한 프레임씩 일정 주기(예컨대, 30FPS)마다 번갈아 가면서 획득되는 IR 배경 영상과 IR 구조광 패턴 영상을 이용하여 깊이 영상을 추정하고, 객체를 인식하며, 차량과 인식된 객체와의 거리를 계산한다.
이때, IR 구조광 패턴 영상을 이용하여 깊이 영상을 생성하는 영상 처리 프로세서가 사전에 설정되어 저장되어 있을 수 있으며, 영상 처리부(130)는 이러한 영상 처리 프로세서(영상 검출 알고리즘)를 이용하여 깊이 영상을 생성할 수 있다. 예컨대, 도 5a의 IR 구조광 패턴 영상을 이용하여 도 5c와 같은 깊이 영상이 획득될 수 있다.
구체적으로, 영상 처리부(130)는 획득된 IR 구조광 패턴 영상에서의 패턴과 사전에 입력된 패턴을 비교하여 패턴의 변화(왜곡, 이동)를 확인하여 영상 내 화소의 깊이 정보를 계산하며, 영상 검출 알고리즘을 적용하여 깊이 영상(3차원 고집적 깊이 지도)을 생성한다. 아울러, 영상 처리부(130)는 생성된 깊이 영상과 영상 센서부(110)를 통해 획득된 IR 배경 영상을 정합하여 차량 주변부의 바닥에서 튀어나온 객체를 검출(추출)할 수 있다.
예컨대, 도 6에 도시된 바와 같이, 영상 처리부(130)는 도 6의 상단의 IR 배경 영상과 도 6의 하단의 깊이 영상을 정합하여 차량 주변의 객체가 추출될 수 있다. 또한, 영상 처리부(130)는 추출된 객체와 차량과의 거리를 산출할 수 있다. 이때, 산출되는 거리는 영상 센서부(110)의 이미지 센서(111)로부터 객체까지의 거리일 수 있다.
아울러, 영상 처리부(130)는 복수의 영상 센서부(110_1~110_n) 각각에서 획득된 영상도 동일한 과정을 통해 차량을 기준으로 복수의 방향의 영상으로부터 차량 주변의 객체를 추출한다. 또한, 영상 처리부(130)는 복수의 영상 센서부(110_1~110_n) 각각에서 획득된 복수의 IR 배경 영상을 합성하여 어라운드 뷰 영상을 생성한다.
영상 출력부(140)는 영상 처리부(130)에서 생성된 어라운드 뷰 영상에 추출된 객체를 표시하는(나타내는) 영상을 오버랩(합성)하여 출력한다.
이와 같이 본 발명의 실시예에 따르면 적외선(IR)을 이용함으로써, 초음파를 이용하는 기존의 어라운드 뷰 시스템에 비해 차량의 인접 환경을 보다 고차원적으로 인식할 수 있어 단순한 모니터링뿐만 아니라 지능형 장애물 탐지 및 경고 등에 효과적으로 활용할 수 있다.
도 7은 본 발명의 실시예에 따른 구조광 방식을 이용한 차량용 어라운드 뷰 시스템의 동작 방법 흐름도이다.
차량용 어라운드 뷰 시스템(100)은 차량 주변에 대한 IR 배경 영상 및 IR 구조광 패턴 영상을 획득한다(S701). 구체적으로, 차량용 어라운드 뷰 시스템(100)은 이미지 센서(111)와 함께 차량 주변으로 제1 광원 과 제2 광원을 조사(출력)하여, 차량 주변에 대한 두 종류의 영상(IR 배경 영상 및 IR 구조광 패턴 영상)을 획득할 수 있다. 여기서, 제1 광원은 적외선(Infrared Ray, IR) 대역의 배경광원일 수 있으며, 제2 광원은 IR 대역의 구조광원(사전에 구조화된 코드방식의 적외선 패턴)일 수 있다.
예컨대, 차량용 어라운드 뷰 시스템(100)은 CCD, CMOS 등과 같이 차량의 주변 영상을 획득하는 이미지 센서(111)가 동작할 때마다, IR 대역의 배경광원을 조사하는 제1 광원 모듈(113) 및 IR 대역의 구조광원을 조사하는 제2 광원 모듈(115)를 번갈아 가면서 동작시켜, 반복적으로 두 종류의 주변 영상을 획득할 수 있다. 가령, 이미지 센서(111)를 통해 60FPS의 영상을 획득할 시, 제1 및 제2 광원 모듈(113, 115)의 트리거 속도는 60FPS로 제어될 수 있다.
구체적으로, 차량용 어라운드 뷰 시스템(100)은 이미지 센서(111)가 홀수번째 동작 시 제1 광원 모듈(113)는 오프(OFF)되고 제2 광원 모듈(115)은 온(ON)되도록 제어하며, 이미지 센서(111)가 짝수번째 동작 시 제1 광원 모듈(113)은 온되고 제2 광원 모듈(115)은 오프되도록 제어한다.
이에 따라, 차량용 어라운드 뷰 시스템(100)은 홀수번째에 차량의 주변환경에 대한 패턴이 나타나는 주변 패턴 영상(IR 구조광 패턴 영상)을 획득할 수 있으며, 짝수번째에는 차량의 주변환경에 대한 일반 영상인 주변 일반 영상(IR 배경 영상)이 획득될 수 있다.
또는, 제1 및 제2 광원 모듈(113, 115)이 온 또는 오프 되는 순서가 변경되어, 이미지 센서(111)가 홀수번째 동작 시 제1 광원 모듈(113)만 온 되고, 짝수번째 동작 시 제2 광원 모듈(115)만 온 될 수 있다. 이에 따라, 도 4에 도시된 바와 같이 홀수번째(T, T+2, T+4, …)에 차량의 주변환경에 대한 일반 영상인 주변 일반 영상(IR 배경 영상)을 획득할 수 있으며, 짝수번째(T+1, T+3, T+5, …)에는 차량의 주변환경에 대한 패턴이 나타나는 주변 패턴 영상(IR 구조광 패턴 영상)이 획득될 수 있다.
즉, 1초에 n개(n은 2 이상의 자연수)의 프레임 영상이 획득되는 경우, n/2 개의 IR 배경 영상과 n/2개의 IR 구조광 패턴 영상이 획득될 수 있다. 예컨대, 영상 센서부(110)의 이미지 센서(111)를 통해 1초에 60개의 프레임 영상이 획득되는 경우, 60개의 프레임 영상 중 홀수번째의 30개의 프레임 영상은 IR 배경 영상일 수 있으며, 짝수번째의 30개의 프레임 영상은 IR 구조광 패턴 영상일 수 있다.
이와 같은 과정을 통해, 동일한 사물 또는 주변 환경 등에 대해, 제1 광원 모듈(113)이 오프되고 제2 광원 모듈(115)이 온되는 경우, 도 5a와 같이 IR 구조광 패턴 영상이 획득될 수 있으며, 제1 광원 모듈(113)이 온 되고 제2 광원 모듈(115)이 오프되는 경우 도 5b와 같이 IR 배경 영상이 획득될 수 있다.
아울러, 차량의 전방위에 대한 주변 영상을 획득하기 위해 이미지 센서(111)는 차량에 다수 장착될 수 있으며, 복수의 이미지 센서(111_1~111_n)는 동일한 시점에 동작하도록 동기화될 수 있다. 예컨대, 복수의 이미지 센서(111_1~111_n)는 차량의 전단, 후단, 좌측단, 우측단의 소정 위치에 장착될 수 있다. 또한, 복수의 이미지 센서(111_1~111_n) 각각에 대응하여 복수의 제1 광원 모듈(113_1~113_n) 및 복수의 제2 광원 모듈(115_1~115_n)이 차량에 장착될 수 있으며, 복수의 제1 광원 모듈(113_1~113_n) 및 복수의 제2 광원 모듈(115_1~115_n) 각각 또한 동일한 시점에 동작하도록 동기화될 수 있다.
이하에서는 설명의 편의를 위해, 어느 복수의 이미지 센서(111_1~111_n), 복수의 제1 광원 모듈(113_1~113_n) 및 복수의 제2 광원 모듈(115_1~115_n) 중 어느 하나의 이미지 센서(111) 및 제1 및 제2 광원 모듈(113, 115)을 예를 들어 설명한다. 이는, 복수의 이미지 센서(111_1~111_n), 복수의 제1 광원 모듈(113_1~113_n) 및 복수의 제2 광원 모듈(115_1~115_n)의 다른 이미지 센서(111) 및 제1 및 제2 광원 모듈(113, 115) 또한 동일하게 동작할 수 있다.
차량용 어라운드 뷰 시스템(100)은 한 프레임씩 번갈아 가면서 획득되는 IR 구조광 패턴 영상을 이용하여 깊이 영상을 생성한다(S702). 예컨대, 도 5a의 IR 구조광 패턴 영상을 이용하여 도 5c와 같은 깊이 영상이 획득될 수 있다. 이때, IR 구조광 패턴 영상을 이용하여 깊이 영상을 생성하는 영상 처리 프로세서가 사전에 설정되어 저장되어 있을 수 있으며, 영상 처리부(130)는 이러한 영상 처리 프로세서를 이용하여 깊이 영상을 생성할 수 있다.
차량용 어라운드 뷰 시스템(100)은 획득된 IR 구조광 패턴 영상에서의 패턴과 사전에 입력된 패턴을 비교하여 패턴의 변화(왜곡, 이동)를 확인하여 영상 내 화소의 깊이 정보를 계산하며, 영상 검출 알고리즘을 적용하여 3차원 고집적 깊이 영상을 생성한다.
아울러, 차량용 어라운드 뷰 시스템(100)은 생성된 깊이 영상과 IR 배경 영상을 이용하여 차량 주변의 객체를 검출한다(S703). 예컨대, 차량용 어라운드 뷰 시스템(100)은 생성된 깊이 영상과 IR 배경 영상을 정합하여 차량 주변부의 바닥에서 튀어나온 객체를 검출(추출)할 수 있다. 이러한 과정은 복수의 이미지 센서(111_1~111_n), 복수의 제1 광원 모듈(113_1~113_n) 및 복수의 제2 광원 모듈(115_1~115_n)을 이용하여 획득된 복수의 주변 영상 각각에서 객체를 검출할 수 있다. 또한, 차량용 어라운드 뷰 시스템(100)은 추출된 객체와 차량과의 거리를 계산할 수 있다. 이때, 산출되는 거리는 영상 센서부(110)의 이미지 센서(111)로부터 객체까지의 거리일 수 있다.
아울러, 차량용 어라운드 뷰 시스템(100)은 복수의 이미지 센서(111_1~111_n)를 통해 획득된 복수의 IR 배경 영상을 합성하여 어라운드 뷰 영상을 생성하며(S704), 생성된 어라운드 뷰 영상에 검출된 객체를 표시하는(나타내는) 영상(기호)을 오버랩(합성)하여 출력한다(S705). 만약, 차량을 기준으로 기설정된 소정 거리 이내에 객체가 존재하는 것으로 판단되면, 경고음 및 경고 화면 등을 출력하기 위한 경고 신호를 생성하여 차량에 인접하게 객체(장애물)이 있음을 운전자에게 알릴 수 있다.
이와 같이 본 발명의 실시예에 따르면 적외선(IR)을 이용함으로써, 초음파를 이용하는 기존의 어라운드 뷰 시스템에 비해 차량의 인접 환경을 보다 고차원적으로 인식할 수 있어 단순한 모니터링뿐만 아니라 지능형 장애물 탐지 및 경고 등에 효과적으로 활용할 수 있다.
이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110 : 영상 센서부 111 : 이미지 센서
113 : 제1 광원 모듈 115 : 제2 광원 모듈
120 : 센서 제어부 130 : 영상 처리부
140 : 영상 출력부

Claims (12)

  1. 기설정된 주기마다 차량의 주변 환경에 대한 영상을 획득하는 이미지 센서, 상기 차량 주변 환경에 조사할 적외선 대역의 배경광원을 발생시키는 제1 광원 모듈, 상기 차량 주변 환경에 조사할 적외선 대역의 기설정된 구조화된 광패턴을 발생시키는 제2 광원 모듈을 포함하여, 상기 차량 주변 환경으로 제1 광원과 제2 광원을 조사해서 상기 차량 주변 환경에 대한 IR 배경 영상 및 IR 구조광 패턴 영상의 두 종류의 영상을 획득하는 복수의 영상 센서부; 및
    상기 이미지 센서와 상기 제1 광원 모듈이 함께 동작시 획득되는 IR 배경 영상과 상기 이미지 센서들과 상기 제2 광원 모듈이 함께 동작시 획득되는 IR 구조광 패턴 영상을 이용하여 상기 차량 주변의 객체를 검출하고, 상기 IR 배경 영상을 이용하여 어라운드 뷰 영상을 생성하는 영상 처리부;
    상기 영상 센서부의 이미지 센서의 주기적 영상 획득시, 상기 제1 및 제2 광원 모듈이 상기 이미지 센서의 주기적 영상 획득 동작에 동기화되어 동작하도록 상기 영상 센서부를 제어하는 센서 제어부를 포함하는 구조광 방식을 이용한 차량용 어라운드 뷰 시스템.
  2. 제1항에 있어서, 상기 센서 제어부는
    상기 이미지 센서 동작시, 상기 이미지 센서의 영상 획득 동작에 대응하여 상기 제1 광원 모듈과 상기 제2 광원 모듈을 번갈아 가며 동작시키는 것인
    구조광 방식을 이용한 차량용 어라운드 뷰 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 영상 처리부는,
    상기 IR 구조광 패턴 영상들의 패턴을 분석하고, 상기 패턴 분석 결과에 기초하여 객체를 검출하는 것
    인 구조광 방식을 이용한 차량용 어라운드 뷰 시스템.
  4. 제3항에 있어서, 상기 영상 처리부는,
    상기 패턴 분석 결과를 이용하여 상기 IR 구조광 패턴 영상에 대응하는 3차원 깊이 영상을 획득하고, 획득된 상기 3차원 깊이 영상 정보와 상기 IR 배경 영상을 이용하여 상기 차량 주변의 객체를 검출하는 것
    인 구조광 방식을 이용한 차량용 어라운드 뷰 시스템.
  5. 제4항에 있어서, 상기 영상 처리부는,
    검출된 상기 객체와 상기 차량 간의 거리를 산출하는 것
    인 구조광 방식을 이용한 차량용 어라운드 뷰 시스템.
  6. 제1항에 있어서,
    검출된 상기 객체를 표시하는 영상과 상기 어라운드 뷰 영상을 오버랩 하여 출력하는 영상 출력부;
    를 더 포함하는 구조광 방식을 이용한 차량용 어라운드 뷰 시스템.
  7. 기설정된 주기마다 차량의 주변 환경에 대한 영상을 획득하되, 상기 차량 주변 환경에 대한 적외선대역의 IR 배경 영상 및 적외선대역의 IR 구조광 패턴 영상의 두 종류의 영상을 한 프레임마다 번갈아 가면서 획득하는 단계;
    상기 IR 구조광 패턴 영상의 패턴을 분석하여 패턴 분석 결과에 기초하여 상기 차량 주변 환경에 있는 객체를 검출하는 단계; 및
    상기 IR 배경 영상을 이용하여 상기 검출된 객체의 정보를 포함하는 어라운드 뷰 영상을 생성하는 단계;
    를 포함하는 구조광 방식을 이용한 차량용 어라운드 뷰 시스템의 동작 방법.
  8. 제7항에 있어서, 상기 획득하는 단계는,
    기설정된 주기마다 차량의 주변 환경에 대한 영상을 획득할 때에 이미지 센서를 이용하며, 이 이미지 센서와 적외선 대역의 배경광원을 발생시키는 제1 광원 모듈을 함께 동작시켜 상기 IR 배경 영상을 획득하고, 상기 이미지 센서와 적외선 대역의 구조광 패턴을 발생시키는 제2 광원 모듈을 함께 동작시켜 상기 IR 구조광 패턴 영상을 획득하는 것인, 구조광 방식을 이용한 차량용 어라운드 뷰 시스템의 동작 방법.
  9. 삭제
  10. 제7항에 있어서, 상기 검출하는 단계는,
    상기 패턴 분석 결과를 이용하여 상기 IR 구조광 패턴 영상에 대응하는 3차원 깊이 영상을 획득하고, 획득된 상기 3차원 깊이 영상 정보와 상기 IR 배경 영상을 이용하여 상기 차량 주변의 객체를 검출하는 것
    인 구조광 방식을 이용한 차량용 어라운드 뷰 시스템의 동작 방법.
  11. 제10항에 있어서, 상기 검출하는 단계는,
    검출된 상기 객체와 상기 차량 간의 거리를 산출하는 것
    인 구조광 방식을 이용한 차량용 어라운드 뷰 시스템의 동작 방법.
  12. 제11항에 있어서,
    검출된 상기 객체를 표시하는 영상과 상기 어라운드 뷰 영상을 오버랩 하여 출력하는 단계;
    를 더 포함하는 구조광 방식을 이용한 차량용 어라운드 뷰 시스템의 동작 방법.
KR1020150188312A 2015-12-29 2015-12-29 차량용 어라운드 뷰 시스템 및 그 동작 방법 KR101789294B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150188312A KR101789294B1 (ko) 2015-12-29 2015-12-29 차량용 어라운드 뷰 시스템 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150188312A KR101789294B1 (ko) 2015-12-29 2015-12-29 차량용 어라운드 뷰 시스템 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20170078914A KR20170078914A (ko) 2017-07-10
KR101789294B1 true KR101789294B1 (ko) 2017-11-21

Family

ID=59355891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150188312A KR101789294B1 (ko) 2015-12-29 2015-12-29 차량용 어라운드 뷰 시스템 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR101789294B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11640715B2 (en) 2021-06-21 2023-05-02 Caterpillar Paving Products Inc. Birds eye view camera for an asphalt paver

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102458664B1 (ko) * 2018-03-08 2022-10-25 삼성전자주식회사 차량의 주행을 보조하는 전자 장치 및 방법
KR102448214B1 (ko) * 2021-08-10 2022-09-30 주식회사 이엘일렉트릭 전동 운송 장치 및 그의 제어 방법, 및 자율 주행 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101568745B1 (ko) * 2015-04-10 2015-11-12 주식회사 피엘케이 테크놀로지 적외선 영상 기반의 차량 보조 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101568745B1 (ko) * 2015-04-10 2015-11-12 주식회사 피엘케이 테크놀로지 적외선 영상 기반의 차량 보조 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11640715B2 (en) 2021-06-21 2023-05-02 Caterpillar Paving Products Inc. Birds eye view camera for an asphalt paver

Also Published As

Publication number Publication date
KR20170078914A (ko) 2017-07-10

Similar Documents

Publication Publication Date Title
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
US9352690B2 (en) Apparatus and method for detecting obstacle adaptively to vehicle speed
JP4420002B2 (ja) 視線先推定装置
US9823340B2 (en) Method for time of flight modulation frequency detection and illumination modulation frequency adjustment
US20140055569A1 (en) Apparatus and method for sensing drowsy driving
CN110832346B (zh) 电子装置和电子装置的控制方法
EP3865911B1 (en) Sensor fusion system, synchronization control device, and synchronization control method
JP2009067368A (ja) 表示装置
KR20160013736A (ko) 자동차의 통합센서 시스템
US11454723B2 (en) Distance measuring device and distance measuring device control method
KR101789294B1 (ko) 차량용 어라운드 뷰 시스템 및 그 동작 방법
KR20150091779A (ko) 다중 센서를 이용한 영상 처리 시스템
EP3279691B1 (en) Rangefinder based on parallax calculation
KR20140137577A (ko) 차량의 주변환경 정보를 제공하는 장치 및 그 방법
KR102177879B1 (ko) 차량의 객체 검출 장치 및 방법
WO2020175252A1 (ja) 測定装置、測距装置および測定方法
KR101300350B1 (ko) 영상 처리 장치 및 영상 처리 방법
KR101613849B1 (ko) 자동차 주행보조 시스템
CN114424022A (zh) 测距设备，测距方法，程序，电子装置，学习模型生成方法，制造方法和深度图生成方法
CN107924570B (zh) 用于机动车辆的视觉系统和控制视觉系统的方法
EP2674893A2 (en) Travelable area recognition system, travelable area recognition method, travelable area recognition program executed on the travelable area recognition system, and recording medium storing travelable area recognition program
KR101428403B1 (ko) 전방 장애물 검출 장치 및 방법
KR20080054094A (ko) 물체 인식 및 거리 계측 방법
EP2698743A1 (en) Driver assisting system and method for a motor vehicle
KR102420954B1 (ko) 패턴 레이저 기반 3d 정보 센서

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant