KR20180065048A - 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치 - Google Patents

카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치 Download PDF

Info

Publication number
KR20180065048A
KR20180065048A KR1020160165005A KR20160165005A KR20180065048A KR 20180065048 A KR20180065048 A KR 20180065048A KR 1020160165005 A KR1020160165005 A KR 1020160165005A KR 20160165005 A KR20160165005 A KR 20160165005A KR 20180065048 A KR20180065048 A KR 20180065048A
Authority
KR
South Korea
Prior art keywords
image
information
obstacle
unit
vehicle
Prior art date
Application number
KR1020160165005A
Other languages
English (en)
Inventor
강영만
조휘택
전종찬
Original Assignee
(주)엠아이웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엠아이웨어 filed Critical (주)엠아이웨어
Priority to KR1020160165005A priority Critical patent/KR20180065048A/ko
Publication of KR20180065048A publication Critical patent/KR20180065048A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B60W2550/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/304—Acceleration sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 전방에 장착되어 있는 영상 카메라의 영상을 수신하는 영상 입력부와, 상기 영상 입력부로부터 전송되는 카메라 영상을 저장하는 정보 저장부와, 상기 영상 입력부로부터 전송되는 적어도 두 장 이상의 연속된 영상을 처리하여 뎁쓰-맵을 생성하고, 상기 뎁쓰-맵을 이용하여 일정한 높이 이상의 장애물을 검출하는 영상 처리부와, 상기 영상 처리부와 연결되며, 시각적 경고 정보와 청각적 경고 정보를 수신하는 정보 융합 제어부와, 상기 정보 융합 제어부로부터 전송되는 경고 영상을 포함하는 영상 신호를 출력하는 시각 정보 출력부 및 상기 정보 융합 제어부로부터 전송되는 경고음을 포함하는 신호에 대한 청각적 정보를 출력하는 청각 정보 출력부를 포함하는 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치를 개시한다.

Description

카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치{Object Detection method of Moving Vehicle using Depth-Map of Camera Image}
본 발명은 이동하는 차량에 장착되는 1 개의 카메라로부터 전송되는 영상을 이용하여 뎁쓰-맵(Depth-Map)을 생성하고 이로부터 이동 차량의 이동 경로에 있는 일정 높이 이상의 장애물을 검출하는 이동 차량의 장애물 검출 장치에 관한 것이다.
일반적으로 차량용 블랙박스로 통칭되는 영상 저장 장치는 차선 검출(Line detection), 차량 검출(Vehicle Detection) 기능이 추가되어 그 본연의 차량 사고 감지 기능외에 안전 운전을 위한 ADAS (Advanced Driver Assistant System: 운전자 보조 기능)을 갖는 기기로 확장되고 있다.
일반적으로 상기 차량용 블랙박스는 차선 검출을 위하여 카메라의 영상을 마치 하늘에서 내려다 보는(Top View 혹은 bird eye view) 방식으로 전환하는 (예를 들면 Perspective Projection과 같은) 기법을 사용하여 차량 및 카메라 좌/우에 위치하는 차선의 후보를 검출하여 확정하는 알고리즘을 사용하고, 카메라의 영상을 이용하여 카메라 전방의 차량 후보를 검출 (Detection)하고 확정하는 방식의 알고리즘의 일부를 채용하고 있다. 최근에는 보행자(Pedestrian)를 검출하는 기능을 추가로 갖는 차량용 블랙박스도 개발되고 있다.
상기 차선 검출, 차량 검출 또는 보행자 검출의 기능을 갖는 차량용 블랙박스는 카메라의 영상을 전처리한 후, 관심 영역에서 검출하고자 하는 특정 대상의 일부 또는 전부를 검출하여 운전자에게 경고를 하거나 장치의 저장시 영상과 함께 관련 검출 내용을 저장하는 방식의 장치들이다.
통상적으로 상기 차선 검출에는 허프(Hough) 변환, 차량 및 보행자의 검출에는 Haar-like 특성, 적분 영상 또는 이미지 피라미드기법, MCP(Modified Census Transform), LBP(Local Binary Pattern), Boosting 및 Cascade 기법의 일부 또는 전부를 사용하여 분류기(Classifier)를 학습하고 검출기(Detector)와 연동하여 검출 성능을 향상하는 기법들을 사용한다. 상기와 같은 기능을 갖는 차량용 블랙박스는 한국등록특허공보 제10-1455847호에 개시되어 있다.
본 발명은 차량용 블랙박스에 들어오는 카메라 영상을 이용하여, 이동 차량의 이동 경로에 있는 일정 높이 이상의 장애물을 실시간으로 검출하여 시각적 또는 청각적 경보를 함으로써 안전 운전 및 사고 예방을 위한 이동 차량의 장애물 검출 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치는 차량의 전방에 장착되어 있는 영상 카메라의 영상을 수신하는 영상 입력부와, 상기 영상 입력부로부터 전송되는 카메라 영상을 저장하는 정보 저장부와, 상기 영상 입력부로부터 전송되는 적어도 두 장 이상의 연속된 영상을 처리하여 뎁쓰-맵을 생성하고, 상기 뎁쓰-맵을 이용하여 일정한 높이 이상의 장애물을 검출하는 영상 처리부와, 상기 영상 처리부와 연결되며, 시각적 경고 정보와 청각적 경고 정보를 수신하는 정보 융합 제어부와, 상기 정보 융합 제어부로부터 전송되는 경고 영상을 포함하는 영상 신호를 출력하는 시각 정보 출력부 및 상기 정보 융합 제어부로부터 전송되는 경고음을 포함하는 신호에 대한 청각적 정보를 출력하는 청각 정보 출력부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치는 상기 차량의 가속도를 측정하여 상기 차량의 급출발 또는 급정차 여부를 판단하는 가속도 센서 및 GPS를 이용하여 상기 차량의 위치 정보를 수신하는 지피에스 수신부를 더 포함하여 형성될 수 있다.
또한, 상기 영상 처리부는 영상을 안정화하는 전처리 과정과, 상기 장애물을 검출하는 주처리 과정 및 충돌등의 위험을 경고하는 후처리 과정을 통하여 장애물을 검출하도록 형성될 수 있다.
이때, 상기 전처리 과정은 입력된 영상을 흑백의 영상으로 전환하는 영상 전환 단계와, 전환된 영상을 상기 영상 처리부의 연산 자원내에서 연산할 수 있도록 축소 또는 확대하는 영상 크기 변경 단계와, 변경된 크기의 영상을 적어도 2개 이상의 다양한 크기로 변경하는 다중 크기 영상 확장 단계를 포함하여 이루어질 수 있다. 또한, 상기 전처리 과정은 오검출을 보완하기 위하여 영상내의 사물을 외곽선 기준(Edge image) 영상으로 재조합하는 영상 변환 단계 및 오검출을 보완하기 위해 외곽선 기준 적분 영상(Edge Integral Image) 생성 단계를 더 포함하여 이루어질 수 있다.
또한, 상기 주처리 과정은 상기 전처리 과정을 거친 영상으로부터 각 외곽선의 코너를 검출하는 특성 검출 기능과, 광학 영상 흐름 및 전후 방향 추적을 수행하는 특성 추적 기능 및 추적 결과에 따라 오차가 큰 특성을 제거하거나 인접한 특성들을 걸러내는 특성 필터(Feature Filtering) 기능이 순차적으로 진행되는 특성 관리 단계 및 바닥면을 기준한 연속되는 적어도 두 프레임간의 차량 이동 동작 상태의 산출 및 누적과, 차량 이동 동작 상태를 통한 일정 거리의 움직임 발생시 해당 프레임을 주요 영상으로 지정하는 동작 예측 기능과, 적어도 2개 이상의 주요 영상간 예측된 차량 이동 동작 상태를 기반으로 삼각화 기법 적용을 통한 에피폴라 특성 추출과 에피폴라 제한을 통한 뎁쓰 추정 오류 보완 및 각 특성별 뎁쓰 추정을 하는 삼각화기법 기능과, 추정된 뎁쓰에 따라 특성들의 분별 집합 및 분별 집합의 개수와 크기에 따라 장애물 여부를 결정하는 장애물 검출 기능이 순차적으로 진행되는 주요 영상 관리 단계를 포함하여 이루어질 수 있다.
또한, 상기 후처리 과정은 상기 주처리 과정에서 장애물로 분류된 분별 집합들의 바닥면 기반의 분포 거리를 추정하는 거리 추정 단계와, 거리별로 경로 레벨을 산출하고 시각적 또는 청각적 경보를 출력하는 경고 로직 단계를 포함하여 이루어질 수 있다.
본 발명에 따른 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치는 차량에 장착된 차량용 블랙박스를 통해서 카메라가 지향한 방향의 영상을 상시적으로 저장할 수 있을 뿐만 아니라, 이동 차량의 이동 경로에 위치하여 이동 차량과 접촉시 사고 위험을 내포하는 장애물의 존재 여부를 예상충돌 3초전, 1초전등과 같은 시간 간격으로 시각적/청각적 경고를 함으로써 운전자의 사고를 예방하고 사고를 경감시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 구성도이다.
도 2는 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상 처리 알고리즘의 개략도이다.
도 3은 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상 처리 알고리즘 중 전처리 과정의 상세도이다.
도 4는 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상 처리 알고리즘 중 주처리 과정 상세도이다.
도 5는 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상처리 알고리즘 중 후처리 과정 상세도이다.
이하에서, 첨부된 도면을 참조하여, 본 발명의 일 실시예에 따른 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치에 대하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 구성도이다. 도 2는 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상 처리 알고리즘의 개략도이다. 도 3은 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상 처리 알고리즘 중 전처리 과정의 상세도이다. 도 4는 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상 처리 알고리즘 중 주처리 과정 상세도이다. 도 5는 본 발명의 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치의 영상처리 알고리즘 중 후처리 과정 상세도이다.
본 발명의 일 실시예에 따른 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치는, 도 1 내지 도 5를 참조하면, 영상 입력부(100)와 정보 저장부(200)와 지피에스 수신부(300)와 가속도 센서(400)와 영상 처리부(500)와 정보 융합 제어부(600)와 시각 정보 출력부(700)와 청각 정보 출력부(800)를 포함하여 형성된다. 또한, 상기 이동 차량의 장애물 검출 장치는 음성 입력부(900)와 전원 공급부(1000)를 더 포함하여 형성될 수 있다. 상기 이동 차량의 장애물 감지 장치는 차량의 전방에 설치되는 카메라 모듈(10)과 음성을 입력받는 마이크 모듈(20)을 더 포함하여 형성될 수 있다. 한편, 상기 영상 처리부(500)는 정보 융합 제어부(600)와 일체로 형성될 수 있다.
상기 영상 입력부(100)는 차량의 전방에 장착되어 있는 영상 카메라의 영상을 수신한다. 상기 영상 입력부(100)는 카메라 모듈(10)과 전기적으로 연결되며 영상 신호를 수신한다.
상기 정보 저장부(200)는 영상 처리부(500) 또는 영상 입력부(100)와 전기적으로 연결되며, 영상 처리부(500) 또는 영상 입력부(100)로부터 전송되는 카메라 영상을 저장한다. 또한, 상기 정보 저장부(200)는 음성 입력부(900)와 전기적으로 연결되며, 음성 입력부(900)에서 전송되는 음성 신호를 저장할 수 있다.
상기 지피에스 수신부(300)는 지피에스(GPS)를 이용하여 차량의 위치 정보를 수신한다. 상기 지피에스 수신부(300)는 차량에 대한 위치 정보를 정보 융합 제어부(600)로 전송한다.
상기 가속도 센서(400)는 차량의 급출발 또는 급정차 여부를 판단한다. 즉, 상기 가속도 센서(400)는 차량의 가속도를 측정하여 차량의 급출발 또는 급정차와 같은 이벤트를 감지한다. 상기 가속도 센서(400)는 차량의 가속도 정보를 정보 융합 제어부(600)로 전송한다.
상기 영상 처리부(500)는 영상 입력부(100)로부터 전송되는 적어도 두 장 이상의 연속된 영상을 처리하여 뎁쓰-맵을 생성하고, 뎁쓰-맵을 이용하여 일정한 높이 이상의 장애물을 검출한다. 상기 영상 처리부(500)는 바람직하게는 차량의 이동 경로에 있는 20cm 이상의 높이를 가져 차량과 접촉시 사고 위험이 있는 장애물을 검출한다. 상기 영상 처리부(500)는 장애물과의 충돌전 일정 시간동안 지속적으로 시각적 또는/및 청각적 경고를 한다. 예를 들면, 상기 영상 처리부(500)는 장애물과의 충돌전 10초전, 5초전, 3초전 및 1초전과 같은 시각적 또는/및 청각적 경고를 할 수 있다. 이때, 상기 영상 처리부(500)는 정보 융합 제어부(600)를 통하여 시각 정보 출력부(700)와 청각 정보 출력부(800)로 시각적 및 청각적 경고 정보를 전송할 수 있다.
상기 영상 처리부(500)는 영상 입력부(100)와 연결되며 영상 입력부(100)로부터 카메라 영상을 수신한다. 또한, 상기 영상 처리부(500)는 정보 저장부(200)와 연결되며, 영상 입력부(100)로부터 전송되는 카메라 영상을 정보 저장부(200)로 전송한다.
상기 영상 처리부(500)가 장애물을 검출하는 과정은 이하에서 구체적으로 설명한다.
상기 정보 융합 제어부(600)는 영상 처리부(500)와 시각 정보 출력부(700) 및 청각 정보 출력부(800)와 연결된다. 또한, 상기 정보 융합 제어부(600)는 이동 차량 이동 경로상에 존재하는 적어도 20cm의 높이를 갖는 물체 및 사물을 장애물로 판단하고, 이에 대한 경고 정보를 시각 정보 출력부(700)와 청각 정보 출력부(800)로 전송한다. 상기 정보 융합 제어부(600)는 경고 정보를 영상 처리부(500)로부터 전송받는다. 상기 정보 융합 제어부(600)는 장애물에 대한 정보를 수신하면 미리 설정되어 있는 경고 정보를 시각 정보 출력부(700)와 청각 정보 출력부(800)로 전송한다.
상기 시각 정보 출력부(700)는 정보 융합 제어부(600)로부터 전송되는 경고 영상을 포함하는 영상 신호를 출력한다. 상기 시각 정보 출력부(700)는 아날로그 또는 디지털 형식의 디스플레이 모듈로 형성되며, 영상 처리부(500)를 거친 영상 입력부(100)의 원 영상뿐만 아니라 정보 융합 제어부(600)로부터 전송되는 정보를 문자, 그림, 영상등의 시각 정보를 함께 표시한다.
상기 청각 정보 출력부(800)는 정보 융합 제어부(600)로부터 전송되는 경고음을 포함하는 신호에 대한 청각적 정보를 출력한다. 상기 청각 정보 출력부(800)는 스피커 모듈과 같은 모듈로 형성된다. 상기 청각 정보 출력부(800)는 정보 융합 제어부(600)의 제어 정보에 따라 가청 주파수에 해당하는 음성 또는 음향의 종류 및 크기를 변경하여 출력한다. 또한, 상기 청각 정보 출력부(800)는 GPS 정보, 가속도 정보 또는 기타 정보를 청각적으로 출력할 수 있다.
상기 음성 입력부(900)는 차량에 장착되어 있는 마이크 모듈로부터 음성을 수신한다. 상기 음성 입력부(900)는 마이크 모듈(20)과 전기적으로 연결되며 음성 신호를 수신한다.
상기 전원 공급부(1000)는 이동 차량의 장애물 검출 장치의 작동에 필요한 전원을 공급한다.
이하에서는 영상 처리부에 의하여 장애물을 검출하는 과정에 대하여 설명한다.
상기 영상 처리부(500)는 영상을 안정화하는 전처리(Pre-Processing) 과정과, 장애물을 검출하는 주처리(Main-Processing) 과정 및 충돌등의 위험을 경고하는 후처리 (Post-processing) 과정을 통하여 장애물을 검출하는 작용을 수행한다.
상기 전처리 과정은 이미지 프로세싱 과정을 통하여 진행된다. 상기 전처리 과정은 입력된 영상을 흑백의 영상으로 전환하는 영상 전환 단계와, 전환된 영상을 영상 처리부(500)의 연산 자원내에서 연산할 수 있도록 축소 또는 확대하는 영상 크기 변경 단계와, 변경된 크기의 영상을 적어도 2개 이상의 다양한 크기로 변경하는 다중 크기 영상 확장 단계로 이루어진다. 상기 전처리 과정은 오검출을 보완하기 위하여 영상내의 사물을 외곽선 기준(Edge image) 영상으로 재조합하는 영상 변환 단계를 포함할 수 있다. 또한, 상기 전처리 과정은 오검출을 보완하기 위해 외곽선 기준 적분 영상(Edge Integral Image) 생성 단계를 포함할 수 있다.
상기 주처리 과정은 전처리 과정을 거친 적어도 2 개의 영상들을 이용하여 진행되며, 바람직하게는 특성 관리(Feature Management) 단계 및 주요 영상 관리(Key Frame Management) 단계를 포함하여 이루어진다.
상기 특성 관리 단계는 전처리 과정을 거친 영상으로부터 각 외곽선의 코너를 검출하는 특성 검출(Feature Detection) 기능과 광학 영상 흐름(Optical Flow) 및 전후방향 추적(Forward & Backward tracking)을 수행하는 특성 추적(Feature tracking) 기능 및 추적 결과에 따라 오차가 큰 특성을 제거하거나 너무 인접한 특성들을 걸러내는 특성 필터(Feature Filtering) 기능이 순차적으로 진행되어 이루어질 수 있다.
또한, 상기 주요 영상 관리(Key Frame Management) 단계는 바닥면을 기준한 연속되는 적어도 두 프레임간의 차량 이동 동작 상태(Ego-motion)의 산출 및 누적과, 차량 이동 동작 상태를 통한 일정 거리의 움직임 발생시 해당 프레임을 주요 영상으로 지정하는 동작 예측(Motion Estimation) 기능과, 적어도 2개 이상의 주요 영상간 예측된 차량 이동 동작 상태를 기반으로 삼각화 기법(Tri-angulation) 적용을 통한 에피폴라 특성 추출과 에피폴라 제한을 통한 뎁쓰(Depth) 추정 오류 보완 및 각 특성별 뎁쓰 추정을 하는 삼각화기법(Tri-angulation) 기능과, 추정된 뎁쓰에 따라 특성들의 분별 집합(Feature Clustering) 및 분별 집합(Clustered Feature)의 개수와 크기에 따라 장애물 여부를 결정하는 장애물 검출(Obstacle Detection) 기능이 순차적으로 진행되어 이루어질 수 있다.
상기 후처리 과정은 주처리 과정에서 장애물로 분류된 분별 집합(Clustered Featrue)들의 바닥면(ground plane) 기반의 분포 거리를 추정하는 거리추정(Distance Estimation) 단계와, 거리별로 경로 레벨을 산출하고 시각적 또는/및 청각적 경보를 출력하는 경고 로직(Warning Logic) 단계를 포함하여 이루어진다.
이상에서 설명한 것은 본 발명에 의한 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치를 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
100; 영상 입력부 200: 정보 저장부
300: 지피에스 수신부 400: 가속도 센서
500: 영상 처리부 600: 정보 융합 제어부
700: 시각 정보 출력부 800: 청각 정부 출력부
900: 음성 입력부 1000: 전원 공급부

Claims (7)

  1. 차량의 전방에 장착되어 있는 영상 카메라의 영상을 수신하는 영상 입력부와,
    상기 영상 입력부로부터 전송되는 카메라 영상을 저장하는 정보 저장부와,
    상기 영상 입력부로부터 전송되는 적어도 두 장 이상의 연속된 영상을 처리하여 뎁쓰-맵을 생성하고, 상기 뎁쓰-맵을 이용하여 일정한 높이 이상의 장애물을 검출하는 영상 처리부와,
    상기 영상 처리부와 연결되며, 시각적 경고 정보와 청각적 경고 정보를 수신하는 정보 융합 제어부와,
    상기 정보 융합 제어부로부터 전송되는 경고 영상을 포함하는 영상 신호를 출력하는 시각 정보 출력부 및
    상기 정보 융합 제어부로부터 전송되는 경고음을 포함하는 신호에 대한 청각적 정보를 출력하는 청각 정보 출력부를 포함하는 것을 특징으로 하는 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치.
  2. 제 1 항에 있어서,
    상기 차량의 가속도를 측정하여 상기 차량의 급출발 또는 급정차 여부를 판단하는 가속도 센서 및
    지피에스를 이용하여 상기 차량의 위치 정보를 수신하는 지피에스 수신부를 더 포함하는 것을 특징으로 하는 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치.
  3. 제 1 항에 있어서,
    상기 영상 처리부는 영상을 안정화하는 전처리 과정과, 상기 장애물을 검출하는 주처리 과정 및 충돌의 위험을 경고하는 후처리 과정을 통하여 장애물을 검출하도록 형성되는 것을 특징으로 하는 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치.
  4. 제 3 항에 있어서,
    상기 전처리 과정은 입력된 영상을 흑백의 영상으로 전환하는 영상 전환 단계와, 전환된 영상을 상기 영상 처리부의 연산 자원내에서 연산할 수 있도록 축소 또는 확대하는 영상 크기 변경 단계와, 변경된 크기의 영상을 적어도 2개 이상의 다양한 크기로 변경하는 다중 크기 영상 확장 단계를 포함하여 이루어지는 것을 특징으로 하는 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치.
  5. 제 4 항에 있어서,
    상기 전처리 과정은 오검출을 보완하기 위하여 영상내의 사물을 외곽선 기준 영상으로 재조합하는 영상 변환 단계 및 오검출을 보완하기 위해 외곽선 기준 적분 영상 생성 단계를 더 포함하여 이루어지는 것을 특징으로 하는 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치.
  6. 제 4 항에 있어서,
    상기 주처리 과정은
    상기 전처리 과정을 거친 영상으로부터 각 외곽선의 코너를 검출하는 특성 검출 기능과, 광학 영상 흐름 및 전후 방향 추적을 수행하는 특성 추적 기능 및 추적 결과에 따라 오차가 큰 특성을 제거하거나 인접한 특성들을 걸러내는 특성 필터 기능이 순차적으로 진행되는 특성 관리 단계 및
    바닥면을 기준한 연속되는 적어도 두 프레임간의 차량 이동 동작 상태의 산출 및 누적과, 차량 이동 동작 상태를 통한 일정 거리의 움직임 발생시 해당 프레임을 주요 영상으로 지정하는 동작 예측 기능과, 적어도 2개 이상의 주요 영상간 예측된 차량 이동 동작 상태를 기반으로 삼각화 기법 적용을 통한 에피폴라 특성 추출과 에피폴라 제한을 통한 뎁쓰 추정 오류 보완 및 각 특성별 뎁쓰 추정을 하는 삼각화기법 기능과, 추정된 뎁쓰에 따라 특성들의 분별 집합 및 분별 집합의 개수와 크기에 따라 장애물 여부를 결정하는 장애물 검출 기능이 순차적으로 진행되는 주요 영상 관리 단계를 포함하여 이루어지는 것을 특징으로 하는 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치.
  7. 제 6 항에 있어서,
    상기 후처리 과정은 상기 주처리 과정에서 장애물로 분류된 분별 집합들의 바닥면 기반의 분포 거리를 추정하는 거리 추정 단계와, 거리별로 경로 레벨을 산출하고 시각적 또는 청각적 경보를 출력하는 경고 로직 단계를 포함하여 이루어지는 것을 특징으로 하는 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치.
KR1020160165005A 2016-12-06 2016-12-06 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치 KR20180065048A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160165005A KR20180065048A (ko) 2016-12-06 2016-12-06 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160165005A KR20180065048A (ko) 2016-12-06 2016-12-06 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치

Publications (1)

Publication Number Publication Date
KR20180065048A true KR20180065048A (ko) 2018-06-18

Family

ID=62767846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160165005A KR20180065048A (ko) 2016-12-06 2016-12-06 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치

Country Status (1)

Country Link
KR (1) KR20180065048A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109353336A (zh) * 2018-09-17 2019-02-19 钟祥博谦信息科技有限公司 车辆控制方法、装置与智能车
CN110723072A (zh) * 2019-10-09 2020-01-24 卓尔智联(武汉)研究院有限公司 辅助驾驶方法、装置、计算机设备和存储介质
CN111615825A (zh) * 2018-12-26 2020-09-01 Jvc建伍株式会社 车辆用记录控制装置、车辆用记录装置、车辆用记录控制方法以及程序
CN112818932A (zh) * 2021-02-26 2021-05-18 北京车和家信息技术有限公司 图像处理方法、障碍物检测方法、装置、介质及车辆
US20220041177A1 (en) * 2019-04-26 2022-02-10 Tusimple, Inc. Auditory assistant module for autonomous vehicles
WO2023216555A1 (zh) * 2022-05-10 2023-11-16 丰疆智能(深圳)有限公司 基于双目视觉的避障方法、装置、机器人及介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109353336A (zh) * 2018-09-17 2019-02-19 钟祥博谦信息科技有限公司 车辆控制方法、装置与智能车
CN111615825A (zh) * 2018-12-26 2020-09-01 Jvc建伍株式会社 车辆用记录控制装置、车辆用记录装置、车辆用记录控制方法以及程序
CN111615825B (zh) * 2018-12-26 2021-10-26 Jvc建伍株式会社 车辆用记录控制装置、车辆用记录装置和方法以及存储介质
US20220041177A1 (en) * 2019-04-26 2022-02-10 Tusimple, Inc. Auditory assistant module for autonomous vehicles
US11718312B2 (en) * 2019-04-26 2023-08-08 Tusimple, Inc. Auditory assistant module for autonomous vehicles
CN110723072A (zh) * 2019-10-09 2020-01-24 卓尔智联(武汉)研究院有限公司 辅助驾驶方法、装置、计算机设备和存储介质
CN110723072B (zh) * 2019-10-09 2021-06-01 卓尔智联(武汉)研究院有限公司 辅助驾驶方法、装置、计算机设备和存储介质
CN112818932A (zh) * 2021-02-26 2021-05-18 北京车和家信息技术有限公司 图像处理方法、障碍物检测方法、装置、介质及车辆
WO2023216555A1 (zh) * 2022-05-10 2023-11-16 丰疆智能(深圳)有限公司 基于双目视觉的避障方法、装置、机器人及介质

Similar Documents

Publication Publication Date Title
KR20180065048A (ko) 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치
US10495753B2 (en) Video to radar
EP2860664B1 (en) Face detection apparatus
KR101362324B1 (ko) 차선 이탈 경보 시스템 및 방법
JP5401344B2 (ja) 車両用外界認識装置
US20160019429A1 (en) Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
JP6459659B2 (ja) 画像処理装置、画像処理方法、運転支援システム、プログラム
KR20200132468A (ko) 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
Aytekin et al. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information
KR20110067359A (ko) 차량 충돌 방지 장치 및 방법
EP2557550A1 (en) Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle device
JP2007249841A (ja) 画像認識装置
KR102635265B1 (ko) 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법
KR20090109437A (ko) 차량주행중 영상정합 방법 및 그 시스템
KR101427032B1 (ko) 차량의 보행자 인식 장치 및 방법, 이를 이용한 차량의 보행자 충돌 경고 및 예방 장치 및 방법
KR20160088099A (ko) 차량의 충돌 회피 경로 설정 방법
CN111971682A (zh) 路面检测装置、利用了路面检测装置的图像显示装置、利用了路面检测装置的障碍物检测装置、路面检测方法、利用了路面检测方法的图像显示方法以及利用了路面检测方法的障碍物检测方法
KR20180065049A (ko) 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치
JP2016530639A (ja) 奥行分解された画像データからのオブジェクトを認識するための方法ならびに装置
KR20180063524A (ko) 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치
JP2019185105A (ja) 車両システム、空間領域推測方法及び空間領域推測装置
WO2017208601A1 (ja) 画像処理装置、外界認識装置
JP2011103058A (ja) 誤認識防止装置
KR20170040955A (ko) 차량 제어 시스템 및 차량 제어 방법
KR101744196B1 (ko) 후방 감지 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal