KR102027405B1 - 이동 물체 인식기 - Google Patents

이동 물체 인식기 Download PDF

Info

Publication number
KR102027405B1
KR102027405B1 KR1020157013866A KR20157013866A KR102027405B1 KR 102027405 B1 KR102027405 B1 KR 102027405B1 KR 1020157013866 A KR1020157013866 A KR 1020157013866A KR 20157013866 A KR20157013866 A KR 20157013866A KR 102027405 B1 KR102027405 B1 KR 102027405B1
Authority
KR
South Korea
Prior art keywords
image frame
image
disparity
luminance
luminance image
Prior art date
Application number
KR1020157013866A
Other languages
English (en)
Other versions
KR20150080569A (ko
Inventor
하이케 구안
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20150080569A publication Critical patent/KR20150080569A/ko
Application granted granted Critical
Publication of KR102027405B1 publication Critical patent/KR102027405B1/ko

Links

Images

Classifications

    • G06K9/00805—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K9/6256—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Signal Processing (AREA)

Abstract

이동 물체 인식기는 입체 카메라로부터 입체 영상 신호들을 연속 수신하고 입체 영상을 출력하는 영상 입력부, 출력된 입체 영상의 영상들 중 적어도 하나의 영상의 프레임들을 연속 저장하고, 휘도 영상 프레임을 발생시키는 휘도 영상 발생기, 휘도 영상 발생기에 출력된 입체 영상의 영상들 사이의 디스패리티를 계산하고, 디스패리티 영상 프레임을 발생시키는 디스패리티 영상 발생기, 적어도 휘도 영상 프레임으로부터 물체를 인식하는 물체 인식기, 특정 시간에 인식된 영상 프레임 다음의 영상 프레임들로부터 획득된 휘도 영상 프레임들을 통해 영상 프레임으로부터 특정 시간에 인식된 물체를 추적하는 추적 프로세서, 및 휘도 영상 프레임과 동기화된 디스패리티 영상 프레임으로부터 추적된 물체의 상태 변화를 검출하는 변화 검출기를 포함한다.

Description

이동 물체 인식기{MOVING OBJECT RECOGNIZER}
본 출원은 2012년 11월 19일에 출원된 일본 특허 출원 제2012-252932호 및 2013년 7월 29일에 출원된 일본 특허 출원 제2013-156774호에 기초하고 이에 대한 우선권을 주장하며, 그 내용은 전체적으로 여기에 참조로서 통합되어 있다.
본 발명은 이동 물체 인식기, 이동 물체 인식기용 프로그램, 이동 물체 인식기를 탑재한 차량에 관한 것이다.
이동 물체 인식기는 전방의 보행자, 차량과 같은 물체의 속도 및 움직임의 변화를 인식하여 보행자의 갑작스런 뛰어 들기(jumping-in), 다른 차량의 끼어 들기(cutting-in)와 같은 위험한 상황을 탐지하여 이러한 위험을 방지하기 위해 운전자에게 경고하기 위해 개발되었다.
예를 들어, 2차원 영상 프레임들 사이의 이동 물체의 사이즈 변화 및 카메라의 초점 거리(focal length)에 따라 전방의 이동 물체까지의 거리의 변화를 탐지하기 위한 이동 물체 인식 기법이 있다. 그러나, 이 기법은 이동 물체까지의 거리를 정확하게 측정하거나 물체의 움직임 변화를 정확하게 검출할 수 없다.
전술한 내용의 관점에서, 일본 특허 출원공보 제2000-266539호는 예를 들어, 입체 카메라(stereo camera)를 이용하여 획득된 입체 영상으로부터의 디스패리티(disparity)를 계산하여 디스패리티 영상(disparity image) 또는 레인지 영상(range image)을 발생시키기 위한 차량간 거리 측정 유닛을 개시한다. 디스패리티 영상은 픽셀 값이 디스패리티 값인 영상을 지칭한다.
이러한 측정 유닛은 디스패리티 영상으로부터 전방 차량을 검출하고, 차량의 에지의 이동 벡터(moving vector)를 발견하고, 이동 벡터의 크기 및 방향에 따라 차량간 거리 및 거리 변화를 계산하도록 구성된다.
이러한 측정 유닛은 디스패리티 영상만으로부터 이동 물체를 인식하고, 블록 또는 윈도우 단위의 영상 매칭(image matching)에 의해 디스패리티 영상을 획득한다. 이 때문에, 디스패리티 영상의 공간 해상도(spatial resolution)가 낮다는 단점을 갖는다. 예를 들어, 비-평면 후면부를 갖는 전방 차량까지의 거리를 정확히 검출할 수 없다.
본 발명은 이동 물체가 인식되고 물체의 움직임 변화가 검출되는 정확도를 개선할 수 있는 이동 물체 인식기, 이동 물체 인식용 프로그램, 및 이러한 이동 물체 인식기를 탑재한 차량을 제공하기 위한 것이다.
본 발명의 일 양태에 따르면, 이동 물체 인식기는 입체 카메라로부터 입체 영상 신호들을 연속 수신하고 입체 영상을 출력하는 영상 입력부, 영상 입력부로부터 출력된 입체 영상의 영상들 중 적어도 하나의 영상의 프레임들을 연속 저장하고, 휘도 영상 프레임을 발생시키도록 구성된 휘도 영상 발생기, 영상 입력부로부터 휘도 영상 발생기에 출력된 입체 영상의 영상들 사이의 디스패리티를 계산하고, 디스패리티 영상 프레임을 발생시키도록 구성된 디스패리티 영상 발생기, 적어도 휘도 영상 프레임으로부터 물체를 인식하도록 구성된 물체 인식기, 특정 시간에 인식된 영상 프레임 다음의 영상 프레임들로부터 획득된 휘도 영상 프레임들을 통해 물체 인식기에 의해 영상 프레임으로부터 특정 시간에 인식된 물체를 추적하도록 구성된 추적 프로세서, 및 휘도 영상 프레임과 동기화된 디스패리티 영상 프레임으로부터 추적된 물체의 상태 변화를 검출하는 변화 검출기를 포함한다.
본 발명의 특징, 실시예, 및 이점들은 첨부 도면을 참조하여 다음의 상세한 설명으로부터 명확해질 것이다.
도 1은 본 발명의 일 실시예에 따른 이동 물체 인식기를 탑재한 차량을 개략적으로 도시한다.
도 2는 도 1에 도시된 입체 카메라 및 이동 물체 인식기의 하드웨어 구성을 도시한다.
도 3은 도 2에서의 이동 물체 인식기의 기능들을 위한 블록도이다.
도 4는 입체 카메라의 구조와 디스패리티 사이의 관계를 도시한다.
도 5a 내지 도 5c는 좌측 렌즈 시스템에 의해 캡쳐된 입체 영상의 하나의 영상, 우측 렌즈 시스템에 의해 캡쳐된 입체 영상의 다른 영상, 및 입체 영상으로부터 발생된 디스패리티 영상을 각각 일례로서 도시한다.
도 6은 디스패리티 영상 프레임으로부터 생성된 디스패리티의 수평 히스토그램의 일례를 도시한다.
도 7은 도로 영역과 이동 물체 사이의 관계를 개략적으로 도시한다.
도 8은 휘도 영상(brightness image) 위의 직사각형 블록을 개략적으로 도시한다.
도 9a 내지 도 9f는 일례로서 직사각형 블록의 분할 패턴들 및 분할 패턴을 이용하여 직사각형 블록의 특징적 양을 탐지하는 방법을 도시한다.
도 10은 물체 인식기의 멀티 계층 구조를 도시한다.
도 11은 인식된 후보 영역들을 도시한다.
도 12는 인식된 후보 영역들과 도로 영역 사이의 관계를 도시한다.
도 13은 추적하고자 하는 물체들을 포함하는 영상을 도시한다.
도 14는 물체들을 포함하는 도 13의 영상의 다음 프레임을 도시한다.
도 15는 물체 인식을 위한 휘도 영상 프레임에 대응하는 디스패리티 영상을 도시한다.
도 16은 물체 인식을 위한 휘도 영상 프레임에 대응하는 디스패리티 영상을 도시한다.
도 17은 이동 물체 인식기의 동작을 위한 흐름도이다.
이하, 첨부 도면을 참조하여 이동 물체 인식기의 일 실시예가 상세히 설명될 것이다. 가능한 한, 동일한 참조부호는 도면 전체에 걸쳐 동일하거나 유사한 부분을 지칭하는데 사용될 것이다. 도 1은 본 실시예에 따른 이동 물체 인식기를 탑재한 차량(1)의 외관을 개략적으로 도시한다.
도 1에서, 차량(1)은 목표 이동 물체(S)를 추적하기 위한 이동 물체 인식기(2) 및 차량 본체에 있는 경고 유닛(3)을 포함한다.
도 2는 차량 내 입체 카메라 및 이동 물체 인식기(2)의 하드웨어 구성의 블록도이다. 이동 물체 인식기(2)는 도 2에 도시된 바와 같이 입체 카메라로부터의 신호들을 프로세싱하기 위한 회로들을 포함하고, 입체 카메라에 포함될 수 있다. 입체 카메라는 2개의 좌우 렌즈 시스템(1a, 1b), 영상 센서들로서의 2개의 좌우 CMOS(complementary metal oxide semiconductor; 2a, 2b), CDS 회로들(3a, 3b), 및 A/D 컨버터들(4a, 4b)을 포함한다.
대상체로부터의 광은 렌즈 시스템들(1a, 1b)을 통해 CMOS들(2a, 2b)에 촬영된다. CMOS들(2a, 2b)은 광학 영상을 전기 신호로 변환하여 아날로그 영상 데이터로서 좌우 CDS(correlated double sampling) 회로들(3a, 3b)에 출력한다.
CDS 회로들(3a, 3b)은 CMOS(2a, 2b)로부터 출력된 아날로그 영상 데이터로부터 잡음 성분들을 제거하고 영상 데이터를 A/D 컨버터들(4a, 4b)에 출력한다. A/D 컨버터들(4a, 4b)은 아날로그 영상 데이터를 디지털 영상 데이터로 변환하여 영상 프로세싱 회로들(5a, 5b)에 출력한다.
CMOS(2a, 2b), CDS 회로들(3a, 3b), A/D 컨버터들(4a, 4b)은 CPU(7)에 의해 제어되는 타이밍 신호 발생기(6)로부터 출력된 타이밍 신호에 의해 제어된다. CPU(7)는 또한 영상 프로세싱 회로들(5a, 5b), 후술되는 압축/해제 회로, 및 메모리 카드를 제어한다.
영상 프로세싱 회로들(5a, 5b)은 SDRAM(synchronous DRAM)에 일시적으로 저장된 영상 데이터에 대해 Y, Cr, Cb 변환, 화이트 밸런스 보정(white balance correction), 콘트라스트 보정(contrast correction), 에지 강조(edge enhancement), 및 색변환(color conversion)과 같은 다양한 종류의 영상 프로세싱을 수행한다.
화이트 밸런스 보정은 영상 정보의 색농도(color density)를 조정하는 것인 반면에, 콘트라스트 보정은 영상 정보의 콘트라스트를 조정하는 것이다. 에지 강조는 영상 정보의 선예도(sharpness)를 조정하는 것이고, 색변환은 영상 정보의 색 음영(color shade)을 조정하는 것이다.
영상 정보는 신호 프로세싱 및 영상 프로세싱의 대상으로서 압축/해제 회로(9)를 통해 메모리 카드(10)에 저장된다. 압축/해제 회로(9)는 영상 프로세싱 회로들(5a, 5b)로부터의 디지털 영상 데이터를 압축하여 메모리 카드(10)에 출력하고, 메모리 카드(10)로부터 판독된 영상 정보를 압축 해제하여 영상 프로세싱 회로들(5a, 5b)에 출력한다.
CPU(7)는 이동 물체 인식을 위한 컴퓨터 판독가능 프로그램에 의해 다양한 종류의 데이터를 계산한다. CPU(7)는 프로그램을 저장한 ROM(read only memory; 11), 작업 영역, 및 데이터 저장 영역들을 갖는 RAM(random access memory; 12)을 탑재하고, 버스 타입을 통해 이들과 연결된다. 동작 유닛(13)의 조작에 의해, 이동 물체 인식기(2)는 자신의 기능들을 실행한다.
도 3을 참조하면, 이동 물체 인식기의 CPU(7)의 프로세싱이 설명된다. 입체 카메라 기능의 CMOS들(2a, 2b), CDS 회로들(3a, 3b), 및 A/D 컨버터들(4a, 4b)은 입체 영상 신호들이 연속 출력되는 영상 출력부로서 기능한다.
영상 프로세싱 회로들(5a, 5b)은 영상 출력부로부터 출력된 입체 영상 신호들을 수신하여 입체 영상을 출력하는 영상 입력부(20) 및 영상 입력부로부터 출력된 입체 영상의 영상들 중 적어도 하나의 영상의 프레임들을 연속적으로 저장하고 입체 영상의 영상들 중 하나의 각 프레임에 기반하여 휘도 영상 프레임을 발생시키는 휘도 영상 발생기(21)로서 기능한다.
ROM(11)에 저장된 프로그램이 CPU(7)에 로드된다. CPU(7)는 영상 입력부(20)로부터 휘도 영상 발생기(21)로 출력된 입체 영상의 영상들 사이의 디스패리티를 계산하고 디스패리티 영상 프레임을 발생시키는 디스패리티 영상 발생기(22)로서 기능한다.
또한, CPU(7)는 휘도 영상 발생기(21)로부터의 휘도 영상 프레임 및 디스패리티 영상 발생기(22)로부터의 디스패리티 영상 프레임으로부터 영상을 인식하는 물체 인식기(23), 인식된 물체를 영상 프레임들을 통해 추적하는 추적 프로세서(24), 및 디스패리티 영상 프레임으로부터 물체의 움직임 변화를 계산하는 변화 검출기(25)로서 기능한다.
변화 검출기(25)의 검출 결과들은 경고 유닛(3)의 스크린에 연속 출력된다. 경고 유닛(3)은 예를 들어, 다른 차량의 끼어 들기(cutting-in), 사람의 뛰어들기의 경고로서 마크 또는 텍스트를 스크린에 디스플레이함으로써 물체의 상태에 따라 운전자에게 경고를 발행하도록 구성된다. 경고는 오디오를 이용하여 발행될 수 있다.
물체 인식기(23)는 디스패리티 영상 프레임으로부터 물체의 후보 영역을 인식하기 위한 후보 영역 인식기(23a) 및 디스패리티 영상 프레임 및 휘도 영상 프레임에 따라 추적될 목표 물체를 결정하기 위한 물체 결정기(23b)를 포함한다.
추적 프로세서(24)는 현재 휘도 영상 프레임에서, 이전 영상 프레임의 디스패리티 영상 프레임 및 휘도 영상 프레임으로부터 물체 인식기에 의해 결정된 목표 물체를 추적한다. 대안으로서, 특정 시간 이후 획득된 휘도 영상 프레임들을 통해 특정 시간에 획득된 영상 프레임의 디스패리티 영상 프레임 및 휘도 영상 프레임으로부터 결정된 목표 물체를 추적하도록 구성될 수 있다.
변화 검출기(25)는 전후 방향으로 차량(1)에 대한 물체의 변화량을 계산하기 위한 거리 계산기(25a) 및 가로 방향으로 차량(1)에 관한 물체의 변화량을 계산하기 위한 움직임 계산기(25b)를 포함한다. 전후 방향의 변화량은 전후 방향의 거리 변화 및 속도 또는 가속도 변화를 포함한다. 반면, 가로 방향의 변화량은 가로 방향의 거리 변화 및 속도 또는 가속도 변화를 포함한다. 전후 방향의 속도 변화는 예를 들어, 차량(1)이 일정한 속도로 운행하는 동안 전방 차량이 급속히 가속하는 상황에 대응한다. 가로 방향의 속도 변화는 예를 들어, 전방의 차량이 차선들을 변경하는 상황에 대응한다.
이하, 도 4는 입체 카메라를 이용하여 캡쳐된 영상과 물체(S) 사이의 관계를 도시한다. 도면에 도시된 바와 같이, 물체(S)의 촬영 지점(imaging point)(O)은 렌즈 시스템들(1a, 1b)에 의해 CMOS들(2a, 2b)의 촬영 평면 상에 촬영된다.
디스패리티(Δ)는 Δ = Δ1 + Δ2에 의해 획득되는데, 여기서 Δ1 및 Δ2는 촬영 중심으로부터의 시프트 양들이다. 도 4에서, f는 렌즈 시스템(1a, 1b)의 초점 거리이고, D는 렌즈 시스템들(1a, 1b)의 광학 축들 사이의 거리, 또는 기선 길이(base length)이고, Z는 입체 카메라로부터 이동 물체(S)까지의 거리이다. 시프트 양들(Δ1, Δ2)은 촬영 지점(O)의 촬영 위치에 의해 결정된다. 여기에서, 심볼(Δ)은 또한 디스패리티 값 및 평균 디스패리티 값을 지칭한다.
이동 물체(S)까지의 거리(Z)는 수학식(Z = D * (f/Δ))에 의해 획득될 수 있다. 디스패리티 영상 발생기(22)는 Δ = Δ1 + Δ2에 의해 픽셀마다 디스패리티(Δ)를 계산하지만, 거리 계산기(25a)는 수학식(Z = D * (f/Δ))에 의해 물체(S)의 촬영 지점까지의 거리(Z)를 계산한다.
도 4의 CMOS들(2a, 2b)에 물체(S)의 영상(S')이 형성된다. 렌즈 시스템들(1a, 1b)의 광학 축들은 수평 또는 가로 방향으로 평행하고, 좌우 영상들의 픽셀 라인들이 수평 광학 축들에 대해 세로로 시프트되지 않는다고 가정한다. 대안으로서, 렌즈 시스템들(1a, 1b)의 광학 축들은 세로 방향으로 평행할 수 있다.
도 5a 및 도 5b는 CMOS들(2a, 2b)에 형성된 물체(S)의 입체 영상의 좌측 영상(G1) 및 우측 영상(G2)을 각각 도시하고, 도 5c는 입체 영상으로부터 획득된 디스패리티 영상을 도시한다. 디스패리티 때문에, 예를 들어, 영상들(G1 및 G2)은 CMOS들(2a, 2b) 상의 상이한 위치들에 형성되고, RAM(12)의 메모리 영역에 일시적으로 저장된다.
휘도 영상 프레임 및 디스패리티 영상 프레임은 영상들(G1, G2)로부터 발생되고, 동시에 캡쳐된 휘도 영상 및 디스패리티 영상, 즉 연속 영상 프레임들, 디스패리티 영상 프레임들과 동기화된 휘도 영상 프레임들이 발생된다. 휘도 영상 프레임에서의 영상 위의 좌표들은 디스패리티 영상 프레임에서의 영상 위의 좌표들에 1대1 대응한다.
디스패리티 영상은 예를 들어, 다음의 방식으로 획득된다.
우선, 높이들(y1, y2)에서의 가로 라인들이 도 5a에서의 물체(S'; S1')와 도로 영역(R0)을 가로지를 때의 디스패리티가 설명된다. 높이(y1)에서의 가로 라인 상의 픽셀들의 디스패리티 값들은 예를 들어, "..., 5, 4, ..., 12, ..., 4, ..., 1, 1, ..."로 설정된다. 디스패리티 값들("12, 12, ...,")은 물체(S'; S1')를 의미하고, 디스패리티 값들("1, 1, ...")은 도로 영역(R0)를 의미한다.
구체적으로, y1에서의 가로 라인 상의 픽셀에서의 12인 디스패리티 값은 도 1의 차량(1)의 약 10m 전방에서 물체(S)로서 차량을 표현하고, 1인 디스패리티 값은 전방의 차량보다 차량(1)로부터 더 멀리 있는 차량 영역을 표현한다.
또한, 높이(y2)에서의 가로 라인에서의 픽셀들의 디스패리티 값들은 예를 들어, "..., 25, 25, ..., 24, ..., 24, 25, ...,"로 설정된다. 이들 값은 전방 차량보다 차량(1)에 더 가까운 도로 영역(R0)을 의미한다. 디스패리티 영상을 생성하기 위해, 도 5a 및 도 5b에 도시된 바와 같이, 2개의 영상(G1, G2)은 각각 블록들(Ir)로 분할된다. 디스패리티 값을 탐지하기 위해, 이들 각자 블록들(Ir)은 이들 간의 차이가 최소인 경우 서로 일치한다고 가정된다. 블록들(Ir)의 사이즈의 최적 값은 실험적으로 탐지되고, 설정 전에 조정된다.
예를 들어, 1,280×960 픽셀들을 갖는 영상들(G1, G2)은 5×5 블록들(Ir)로 분할되고, 좌측 영상(G1) 및 우측 영상(G2)의 블록들(Ir)은 블록 매칭(block matching)의 대상이다. y1 라인 상의 좌측 영상(G1)의 블록(Ir)은 원래 좌표(0, 0)에 대한 좌표(x1, y1), 즉 물체(S)의 영상(S1')의 좌측 흰 부위 및 좌측 상의 전방 풍경의 경계에 있다. 이러한 블록(Ir)의 휘도 값들의 총합은 예를 들어, Ir(x1, y1)로 설정된다. 반면, 우측 영상(G2)의 블록(Ir)은 위치((0, y1))로부터 위치((x1+Δ, y1))로 이동된다. (0, y1)에서의 블록(Ir)의 휘도 값들의 총합은 Ir(0, y1)이고, (x1+Δ, y1)에서의 휘도 값들의 총합은 Ir(x1+Δ, y1)이다. 좌측 영상(G1)의 블록(Ir)은 물체 영상(S1')의 경계에 위치하고, 좌측 절반은 어둡고, 우측 절반은 밝다. 반면에, 우측 영상(G2)의 블록(Ir)은 (0, y1)에 위치하고, 전체적으로 어둡다. 그러므로, 영상들(G1, G2)의 블록들(Ir)의 총합들(Ir(x1, y1) 및 Ir(0, y1))에서의 차이가 크며, 이로써 2개의 블록이 서로 일치한다고 결정되지 않는다.
영상(G2)의 블록(Ir)이 (0, y1)로부터 (x1+Δ, y1)로 이동되고 있는 동안, 블록들(Ir)의 총합들(Ir(x1, y1) 및 Ir(0, y1))의 차이는 순서대로 계산된다. 영상(G2)의 블록(Ir)이 위치((x1+Δ, y1))에 위치하고 블록들(Ir)이 일치(match)한다고 결정되는 경우 차이가 가장 작아진다고 밝혀졌다. 그 후, 디스패리티(Δ)는 블록들로부터 탐지된다. 예를 들어, 디스패리티(Δ)가 12인데, 그 이유는 블록들(Ir)이 물체 영상(S1')의 경계에 있기 때문이다.
그 후, 블록들(Ir)이 y1 가로 라인으로부터 y2 가로 라인으로 이동되고, 블록 매칭을 위해 가로 라인들 모두에서 X 방향으로 이동된다. 디스패리티(Δ)는 물체 영상(S1')의 경계에서 순차 획득된다. 또한, 블록(Ir)이 좌측 영상(G1) 상의 흰색 라인 마킹의 경계에 위치하는 경우, 우측 영상(G2)의 블록(Ir)은 y2 가로 라인에서 (0, y2)로부터 (x1+Δ, y2)로 이동한다. (0, y2)에서의 블록(Ir)의 휘도 값들의 총합은 Ir(0, y2)이고, (x1+Δ, y2)에서의 블록(Ir)의 휘도 값들의 총합은 Ιr(x1+Δ, y2)이다. 좌측 영상(G1)의 블록(Ir)은 흰색 라인 마킹의 경계에 위치하는데, 그 좌측 절반은 어둡고, 우측 절반은 밝다. 한편, 우측 영상(G2)의 블록(Ir)은 (0, y2)에 위치하고, 전체적으로 어둡다. 그러므로, 영상들(G1, G2)의 블록들(Ir)의 총합들(Ir(x1, y1) 및 Ir(0, y2))에서의 차이가 크며 이로써 2개의 블록은 서로 일치한다고 결정되지 않는다.
영상(G2)의 블록(Ir)이 (0, y2)로부터 (x1+Δ, y2)로 이동하면서, 블록들(Ir)의 총합들(Ir(x1, y2) 및 Ir(0, y2))에서의 차이가 계산된다. 영상(G2)의 블록(Ir)이 위치((x1+Δ, y2))에 위치할 때 차이가 가장 작아지고, 2개의 블록은 일치한다고 결정된다. 그 후, 디스패리티(Δ)가 블록들로부터 탐지된다. 예를 들어, 블록들(Ir)이 흰색 라인 마킹의 경계에 있는 경우, 디스패리티(Δ)는 24 또는 25이다. 블록들(Ir)은 흰색 라인 마킹 이외의 y2 가로 라인 상의 위치들에서 일치할 수 있다. 이로써, 도 5c에 도시된 바와 같은 디스패리티 영상이 획득된다. 디스패리티 영상에서, 디스패리티 값이 큰 부분은 큰 휘도 값으로 표현되고, 디스패리티 값이 작은 부분은 작은 휘도 값으로 표현된다. 밝은 지점들의 개수가 경계에서 많도록, 블록들(Ir)이 일치하는 높은 콘트라스트를 갖는 영상 부위에 다수의 지점들이 존재한다.
후보 영역 인식기(23a)는 디스패리티 영역 프레임으로부터 이동 물체(S')의 후보 영역을 인식한다. 이동 물체로서 차량 또는 사람이 도로에 존재하며, 이로써 그 후보 영역은 영상의 도로 영역(R0)을 인식함으로써 인식될 수 있다.
이로써, 후보 영역 인식기(23a)는 도 6에 도시된 바와 같이, 디스패리티 영상 발생기(22)에 의해 획득된 디스패리티 영상에 따라 수평 디스패리티 히스토그램을 생성한다. 도 6은 디스패리티 값(Δ)을 갖는 픽셀들의 개수의 빈도 분포를 도시한다. 가로 축(abscissa axis)은 디스패리티(Δ)의 크기를 보여주고, 세로 축은 디스패리티 영상의 높이(y)를 보여준다. 그래프에서, 픽셀들의 개수는 높이(y)(예를 들어, y2 가로 라인)에서의 디스패리티 영상의 단일 라인의 디스패리티 값들의 히스토그램 높이(H(Δ, y))에 대응한다. 히스토그램 값들(H(Δ, y))이 도 6에서의 수직 방향으로 그려지고, 픽셀들의 개수를 나타낸다.
도로 영역(R0)에서의 높이(y)에서의 하나의 가로 라인의 디스패리티 히스토그램이 디스패리티 값(Δy)에서 피크를 갖는데, 그 이유는 라인 상의 픽셀들이 동일한 디스패리티 값(Δy)을 갖기 때문이다. 다시 말하면, 도로 영역(R0)에서, 높이(y)에서의 가로 길이의 디스패리티 값(Δy)은 일정하며, 이 라인 상의 픽셀 개수는 가장 많다.
도로 영역(R0)의 디스패리티 값(Δy)은 차량(1)로부터의 거리가 짧을 때 크고, 길 때 작다. 도로 영역(R0)에서, 디스패리티 값(Δy)은 y2 가로 라인으로부터 y1 가로 라인으로 점차 감소한다. 그러므로, 픽셀들의 개수의 피크들을 연결하는 것은 일반적으로 도로 영역(R0)에 대응하는 도 6의 수평 디스패리티 히스토그램의 부위에 직선(St)을 형성한다. 이로써, 도로 영역(R0)은 직선(St)의 검출에 의해 특정될 수 있다. 더구나, 디스패리티 값(Δy)의 감소와 함께, 도로 영역(R0) 이외의 영역들에서의 픽셀들의 개수는 증가한다. 이로 인해, 다른 영역들의 히스토그램 값들(Η(Δ, y))은 또한 도 6에 표시되어 있다. 예를 들어, 도 5a 및 도 5b의 도로 영역(R0)의 y1 라인의 디스패리티 값(Δy1)은 1이다. 그 픽셀들의 개수는 도로 영역(R0) 이외의 배경 영역의 픽셀 개수보다 적다. 이 때문에, 도로 영역(R0)과 무관한 히스토그램 값들(Η(Δ, y))이 표시되어 있다.
직선(St)은 공지의 허프 변환(Hough transformation)에 의해 탐지될 수 있다. 직선(St) 상의 픽셀들은 수평 디스패리티 히스토그램에서 검출되어 디스패리티 영상 프레임에 매핑된다. 즉, 도 6의 직선(St) 상의 픽셀들은 디스패리티 영상 프레임의 도로 영역의 픽셀들과 관련되어 있다.
도로 영역(R0)은 도로 영역(R0)에 대응하고 픽셀 사이의 각 지점을 보간하는 픽셀들을 탐지함으로써 생성될 수 있다. 도 7은 영상 내의 도로 영역(R0)을 도시한다. 도로 영역은 도로 견부(road shoulder) 또는 흰색 라인 마킹을 인식함으로써 디스패리티 영상 프레임 대신 휘도 영상 프레임으로부터 인식될 수 있다.
도로 영역(R0)은 물체의 후보 영역을 탐지하는데 사용된다. 차량 또는 사람으로서 추적될 물체(S)는 도로 영역(R0)과 중첩된다. 도 7에서, 물체들(S; S1', S2', S3')로서 차량들은 도로 영역(R0)과 중첩된다. 물체들(S; SS, SS', SS")은 비-목표 물체(S)로서 결정되도록 도로 영역(R0)과 중첩되지 않는다.
물체 결정기(23b)는 휘도 영상 발생기(21)에 의해 발생된 휘도 영상 프레임에 기반하여 추적될 물체(S)를 결정한다. 기계 학습에 의해, 목표 물체(S)에 대한 학습 데이터로부터 물체 인식 딕셔너리(object recognition dictionary)가 미리 생성된다. 목표 물체(S)의 타입들에 따라, 상이한 물체 인식 딕셔너리가 생성될 필요가 있다.
예를 들어, 차량을 인식하기 위해, 목표로서 차량들을 인식하기 위한 딕셔너리는 생성될 필요가 있고, 반면에 보행자들을 인식하기 위해, 보행자들을 인식하기 위한 딕셔너리가 생성될 필요가 있다. 이로써, 각각의 목표 물체에 대한 딕셔너리가 생성된다.
목표 물체(S)를 인식하기 위해, 도 8에 도시된 바와 같이, 직사각형 블록(BR1)이 휘도 영상(G; G1 또는 G2)에서 설정된다. 블록(BR1)의 좌상 코어 및 하단 코너의 좌표들((Xs, Ys), (Xe, Ye))은 휘도 영상(G)에서의 블록(BR1)의 크기 및 위치에 의해 결정된다. 블록(BR1)의 크기는 큰 순서부터 작은 순서로 선택된다.
본 실시예에 따르면, 대형 블록(BR1)을 소형 블록(BR2)으로 발생시키기 위한 프로세스 시간이 변하지 않도록 직사각형 블록(BR1)은 정규화된다. 차량(1)의 바로 앞에 존재하는 이동 물체는 거의 없을 확률이 높으며, 이에 따라 대형 블록(BR1)을 필요로 하는 후보들의 개수는 적지만, 소형 블록(BR1)을 필요로 하는 후보들의 개수는 많다. 직사각형 블록(BR2)이 도 5a 및 도 5b의 물체(S1')에 대응한다는 점에 유의한다.
휘도 영상에서는 대형 블록(BR1)의 개수가 적다. 이로 인해, 대형 블록(BR1)으로부터 소형 블록(BR2)으로 사용하는 순서대로 목표 물체를 검색함으로써 더 짧은 시간 내에 목표 물체를 검출하는 것이 가능해진다. 또한, 검출된 대형 물체(S)가 출력될 때 감지 가능한 속도가 증가한다.
예를 들어, 대형 블록(BR1')은 휘도 영상들(G; G1, G2)에서 화살표들(Arx, Ary)에 의해 지시된 방향으로 스캔되고, 그 다음 블록(BR1')보다 작은 블록(BR1)이 스캔되어 추적될 물체를 검색한다.
후보 영역 인식기(23a)는 예를 들어, 후보 영역으로서 블록(BR2)에서 특징적 양의 검고 흰 직사각형 영역들을 계산한다. 도 9a 내지 도 9d는 차량의 특징적 양을 획득하기 위한 통상적인 분할 패턴들의 4개의 예를 도시한다. 도 9a에서, 블록(BR2)은 직사각형 영역들, 흰색 영역(BR3)과 검은색 영역(BR4)으로 수평 분할된다. 도 9b에서, 블록(BR2)은 흰색 영역(BR3)과 검은색 영역(BR4)으로 수직 분할된다. 도 9c에서, 블록(BR2)은 3개의 직사각형 영역들로 분할되는데, 2개의 흰색 영역들(BR3) 사이에 검은색 영역(BR4)을 배치한다. 도 9d에서, 블록(BR2)은 4개의 직사각형 영역들로 분할되는데, 흰색 영역들(BR3)과 검은색 영역들(BR4)을 대각 배열한다.
흰색 영역(BR3) 및 검은색 영역(BR4)은 블록(BR2) 위에 겹쳐 놓아 영역들(BR3, BR4)에서 픽셀들의 휘도 값들의 총합을 탐지한다. 그 다음, 흰색 영역(BR3)에 대응하는 블록(BR2)과 검은색 영역(BR4)에 대응하는 블록(BR2) 사이의 휘도 값의 총합의 차이는 특징적 양(ht(x))으로서 탐지된다.
다음에서, 블록(BR2)의 특징적 양의 계산이 일례로서 설명된다. 예를 들어, 블록(BR2)은 도 5a에서 물체(S1')에 대응한다. 물체(S1')는 대략적으로 직사각형이고, 하단 차량 본체는 흰색이고, 상단 부분의 윈도우는 검게 보인다. 블록(BR2)의 특징적 양은 도 9b에서 분할 패턴을 이용하여 계산된다. 도 9e에서, 블록(BR2)의 상측 절반에서 픽셀들의 휘도 값들은 Br = 0(검은색)이고, 블록(BR2)의 하측 절반에서 픽셀들의 휘도 값들은 Wa = 255(흰색)이다. 이 경우, 검은색 영역(BR4)에 대응하는 블록(BR2)의 일부에서의 휘도 값들의 총합은 ∑Br이고, 흰색 영역(BR3)에 대응하는 블록(BR2)의 일부에서의 휘도 값들의 총합은 ∑Wa이다. ∑Br는 휘도 값들(Br)을 갖는 픽셀들의 개수와 휘도 값들의 곱으로서 ∑Br = 0이다. 마찬가지로, ∑wa는 휘도 값들(Wa)을 갖는 픽셀들의 개수와 휘도 값들(Wa = 255)의 곱이다. 이로 인해, 특징적 양(ht(x) =∑Wa -∑Br)은 0보다 훨씬 더 크다.
또한, 도 5a에서의 물체(S1')의 특징적 양은 도 9a에서의 분할 패턴을 이용하여 계산된다. 도 9f에 도시된 바와 같이, 흰색 영역(BR3)에 대응하는 블록(BR2)의 좌측 절반의 휘도 값들의 총합은, 예를 들어 ∑(Wa+Br)이다. 마찬가지로, 검은색 영역(BR4)에 대응하는 블록(BR2)의 우측 절반의 휘도 값들의 총합은 ∑(Br+Wa)이다. 도 9f에서, 블록(BR2)의 휘도 값들은 대칭적이며, 특징적 양(ht(x)) = 0이다. 전술된 바와 같이, 도 9a 내지 도 9d에서 흰색 영역(BR3) 및 검은색 영역(BR4)의 사이즈 및 패턴을 이용하면, 특징적 양(ht(x))이 계산되고, 평가 값(ft(x))이 특징적 양(ht(x))으로부터 계산된다.
평가 값(ft(x))는 가중치 계수(αt)가 고려된 다음의 수학식에 의해 계산된다.
[수학식 1]
Figure 112015050412642-pct00001
여기서 t는 특정적 양의 번호이고, T는 특징적 양들의 총 개수이다.
평가 함수는 특징적 양(ht(x)) 및 가중치 계수(αt)를 포함한다. 가중치 계수는 기계 학습에 의해 미리 계산된다. 즉, 특징적 양 및 가중치 계수를 탐지하기 위해 목표 물체에 대한 학습 데이터가 수집 및 학습된다.
도 10에 도시된 바와 같이, 목표 물체의 인식은 각 계층에서 평가 함수(1) 및 계층들을 갖는 물체 인식기에 의해 실행된다. 평가 함수의 값이 소정의 임계치보다 작으면 블록은 물체가 아니라고 결정하고, 블록(BR1)의 평가를 폐기한다. 계층(11 내지 n1, n은 양의 정수)마다 평가 값이 계산된다. 마지막 계층에서 비-물체가 아니라고 결정된 블록(BR1)은 후보 영역으로서 결정된다.
각 계층에서의 특징적 양(ht(x)), 가중치 계수(αt), 및 평가 값(ft(x))은 물체 및 비-물체에 대한 기계 학습에 의해 미리 획득된다. 미도시된 인식 딕셔너리가 특징적 양(ht(x)), 가중치 계수(αt), 블록의 양 측면이 교차하는 4개의 코너들 중 좌상측 코너에 있는 교차점의 좌표 값, 블록의 수직 및 수평 폭 또는 사이즈, 흰색 또는 검은 색 영역의 2개의 측면이 교차하는 4개의 코너들 중 좌상측 코너에 있는 교차점의 좌표 값, 흰색 및 검은색 영역들의 사이즈, 및 평가 값의 임계치들을 저장한다. 예를 들어, 블록이 차량의 특징들을 갖는지 여부를 대략적으로 결정하기 위해, 도 9a 내지 도 9d에서의 분할 패턴을 이용하여 평가 값(ft(x))이 계산되고, 계산된 평가 값과 임계치가 비교된다. 가중치 계수(αt)는 계층이 높아지면 가중치 계수(αt)가 작아지도록 설정된다.
도 9a에서의 분할 패턴을 이용하면, 도 5a에서의 물체(S1')를 위한 평가 값(ft(x))은 0이다. 따라서, 계층(11)에서, 물체(S1')는 비-물체라고 결정되고, 그에 대한 평가는 폐기된다. 다음으로, 도 9b에서의 분할 패턴이 사용된다. 도 5a에서의 물체(S1')를 위한 평가 값(ft(x))은 후보 영역 인식기(23a)가 계층(21)으로 진행하도록 임계치보다 크다. 계층(21)에서, 평가 값(ft(x))을 평가하기 위해 더 많은 분할 패턴들이 사용된다. 평가 값(ft(x))이 임계치 이상인 경우, 블록은 후보 영역으로 결정되고, 인식기(23a)는 다른 계층(31)으로 진행한다. 이러한 동작을 반복함으로써, 후보 영역이 추출된다. 마지막 계층(n1)에서, 비-물체라고 결정되지 않은 블록(BR2)는 후보 영역으로서 결정된다.
결정된 후보 영역이 도로 영역(R0)과 중첩되지 않는 경우가 존재할 수 있다. 이러한 관점에서, 도로 영역(R0)을 위한 가중치는 1로 설정되고, 다른 영역들을 위한 가중치는 0으로 설정된다. 후보 영역을 위한 가중치들이 모두 0일 때, 물체(S)가 도로 영역(R0)과 중첩되지 않기 때문에 물체 인식은 실행되지 않는다. 후보 영역들에서 가중치들 중 어느 하나가 1일 때, 물체 인식이 실행된다. 여기에서, 후보 영역이 우선 결정된 후, 후보 영역이 도로 영역(R0)과 중첩되는지 여부가 결정되지만, 동작 순서는 반대일 수 있다.
도 11 및 도 12는 프레임들(FR1 내지 FR6)에 의해 표시되는 인식된 후보 영역들의 일례를 도시한다. 도 12에서, 프레임들(FR1, FR3, FR6)은 도로 영역(R0)과 중첩되며, 그러므로 물체 인식의 대상이 된다. 프레임들(FR2, FR4, FR5)은 도로 영역(R0)과 중첩되지 않고, 가중치들은 모두 0이며, 그러므로 물체 인식의 대상이 아니다. 비-중첩 블록들에서 물체 인식을 실행하지 않는 것은 인식에서 오류들을 감소시킬 수 있고, 프로세싱 시간을 단축시킬 수 있다.
물체 인식의 정확도가 보장되는 동안, 후보 영역들을 획득하는 것이 불필요하며, 전체 영상 프레임이 물체 인식이 대상이 된다. 이로써, 추적될 목표 물체들은 도 13에 도시된 바와 같이 결정된다. 이들 물체는 프레임들과 동일한 코드들(FR1, FR3, FR6)을 부여 받는다.
그 다음, 추적 프로세서(24)는 물체 인식기(23)에 의해 인식된 물체들(FR1, FR3, FR6)을 추적하고, 도 14에서 다음 프레임에서 추적될 물체들(FR1', FR3', FR6')을 탐지한다.
예를 들어, 물체들(FR1, FR3, FR6)을 초기 목표 물체의 템플릿으로서 사용하여, 물체들(FR1, FR3, FR6)과 가장 유사한 후보 영역들(FR1', FR3', FR6')이 휘도 영상(G)의 다음 프레임에서 추출 및 추적된다.
구체적으로, 물체들(FR1, FR3, FR6)과 가장 유사한 물체들(FR1', FR3', FR6')이 검색되는데, 그 동안 후보 영역들(FR1', FR3', FR6')은 좌상 코너로부터 휘도 영상(G)의 픽셀마다 스캔된다.
물체들의 사이즈들은 영상 프레임들에 사이에서 변경될 수 있다. 즉, 목표 물체들은 차량(1)에 접근하거나 이로부터 멀어지거나, 영상 프레임에서 회전하고, 그 사이즈들은 시간에 따라 변한다. 그러므로, 후보 영역들(FR1', FR3', FR6')의 사이즈들은 목표 물체들이 검색되는 동안 계수(M)만큼 변경된다.
물체들(FR1, FR3, FR6)과 후보 영역들(FR1', FR3', FR6') 사이의 유사성이 물체들(FR1, FR3, FR6)과 후보 영역들(FR1', FR3', FR6')의 휘도 히스토그램들을 이용하여, 영상의 특징적 양에 따라 계산된다.
예를 들어, 물체(FR1)의 휘도 히스토그램은 q = [q1, q2, …, qn]라고 가정된다. q1, q2, …, qn는 휘도 레벨(1 내지 n)의 픽셀들의 개수이다. 또한, 영역(FR1')의 휘도 히스토그램은 p = [p1, p2, …, pn]라고 가정된다. 영역(FR1')의 모든 픽셀들은 히스토그램을 획득하여 사이즈 변화로부터의 영향을 최소화하기 위해 정규화된다. p1, p2, …, pn는 휘도 레벨(1 내지 n)의 픽셀들의 개수이다.
물체(FR1)와 후보 영역(FR1') 사이의 유사도(Sim)는 예를 들어, 다음 수학식에 의해 계산된다.
[수학식 2]
Figure 112015050412642-pct00002
도 14에서 가장 큰 유사도를 갖는 후보 영역들(FR1', FR3', FR6')은 추적의 결과들이다.
거리 계산기(25a)는 추적 프로세서(24)로부터의 추적 결과들에 따라 영상 프레임마다 물체들에 대한 거리 정보 및 위치 정보를 탐지한다. 디스패리티 영상 프레임에서 물체들까지의 평균 거리들은 휘도 영상 프레임에서의 추적된 위치들에 기반하여 계산된다.
도 15 및 도 16은 각각 물체 인식과 추적을 위한 휘도 영상 프레임들에 대응하는 디스패리티 영상 프레임들을 도시한다.
디스패리티 영상 프레임에서의 물체들의 위치들은 프레임들(FRA1, FRA3, FRA6, FRA 1', FRA3', FRA6')에 의해 표시된다. 프레임들(FRA1, FRA3, FRA6)은 디스패리티 영상 프레임에서 추적될 물체들이고, 프레임들(FRA1', FRA3', FRA6')은 다음 휘도 영상 프레임에서의 추적 결과들이다.
그 후, 프레임들 또는 휘도 영상 프레임으로부터 인식된 후보 영역들(FRA1, FRA3, FRA6)의 평균 디스패리티 값들(Δ)은 목표 물체들로부터 입체 카메라까지의 거리들을 탐지하기 위해 계산된다. 도 4로부터 명확해지는 바와 같이, 물체로부터 입체 카메라까지의 거리(Z)와 디스패리티 사이의 관계는 다음 수학식에 의해 표현된다.
[수학식 3]
Δ: f = D: Z
평균 디스패리티 값(Δ)은 총합을 계산하기 위해 사용되는 디스패리티 값들의 개수에 의해 물체의 디스패리티 값들의 총합들 분할함으로써 획득된다.
거리(Z)는 다음 수학식들에 의해 계산된다.
[수학식 4]
Z = D * f/Δ
이와 유사하게, 입체 카메라로부터 후보 영역들(FRA1', FRA3', FRA6')까지의 거리들이 획득된다.
즉, 추적 전후의 영상 프레임들에서 물체들까지의 거리들(ZA, ZC, ZE, ZA', ZC', ZE')이 탐지된다. 움직임 계산기(25b)는 물체들까지의 거리들의 변화들 및 물체들의 가로 변화들을 계산한다. 거리 계산기(25a)는 추적될 물체들(ZA, ZC, ZE 및 ZA', ZC', ZE')까지의 거리들에서의 차이들(ΔZA, ΔZC, ΔZE)을 획득한다.
ΔZA = ZA' - ZA
ΔZC = ZC' - ZC
ΔZE = ZE' - ZE
도 4로부터 명확해지는 바와 같이, 영상의 픽셀의 측면 좌표들(x) 및 실제 공간에서의 측면 좌표들(X)은 다음의 수학식에 의해 표현된다.
[수학식 5]
X: Z = x: f
다음 수학식은 전술된 수학식 5로부터 획득된다.
[수학식 6]
X = x * Z/f
수학식 6에 의해, 추적 전후의 이동 물체들의 중심의 가로 위치들(XA, XC, XE, XA', XC', XE')이 획득된다. 이전 영상 프레임과 현재 영상 프레임 사이의 차량의 가로 위치의 변화는 차량이 가로로 이동하고 있다는 것을 의미한다.
이동 물체들의 중심의 이동량들(ΔXA, ΔXC, ΔXE)은 다음 수학식들에 의해 계산된다.
ΔXA = XA' - XA
ΔXC = XC' - XC
ΔXE = XE' - XE
그 후, 이동 물체들의 상태 변화들은 물체들까지의 거리의 변화 및 그 가로 변화들로부터 탐지된다. 거리들의 변화(ΔZA, ΔZC, ΔZE)가 양의 값인 경우, 전방의 차량들이 가속되거나 차량(1)이 감속된다. 이 값이 0인 경우, 거리 변화가 없다. 변화들이 음의 값인 경우, 전방의 차량들은 제동된다.
차량(1)에 대한 목표 이동 물체들의 속도(V)의 가속도들(VZA, VZC, VZE)은 다음 수학식에 의해 영상 프레임들 사이의 거리들의 변화들에 기반하여 계산된다.
VZA = ΔZA/Δt
VZC = ΔZC/Δt
VZE = ΔZE/Δt
여기서 ΔZA, ΔZC, 및 ΔZE는 추적 전후에 목표 물체들(S1', S2', S3')까지의 거리의 차이들이다.
큰 값의 가속도는 전방 차량이 갑자기 제동되거나 가속되고 있는 것을 의미한다. 영상 프레임들 사이의 목표 물체들(S1', S2', S3')의 가로 위치들의 가속도들(VXA, VXC, VXE)은 다음의 수학식들에 의해 계산된다.
VXA = ΔXA/Δt
VXC = ΔXC/Δt
VXE = ΔXE/Δt
여기서 ΔXA, ΔXC, ΔXE는 추적 전후에 목표 물체들(S1', S2', S3')의 원 가로 지점들(original transverse points)로부터의 차이점들이다.
가속도가 큰 값인 경우, 전방 차량 또는 보행자의 움직임 변화는 예리해진다(sharp). 예를 들어, 차량의 차선 변화 또는 끼어 들기 또는 사람의 뛰어 들기가 일어날 수 있다. 이러한 경우에, 차량(1)의 운전자는 경고를 받을 필요가 있다. 이러한 관점에서, 인식 결과 출력부(26)는 물체들의 거리들 및 속도들의 변화들의 결과들을 경고 유닛(3)에게 출력한다.
다음으로, 이동 물체 인식기(2)의 동작이 도 17의 흐름도를 참조하여 설명된다. 단계(S1)에서, CPUI(7)는 입체 카메라로부터 입체 영상 신호들을 연속 수신하고, 입체 영상을 출력한다.
단계(S2)에서, CPU(7)는 휘도 영상으로서 입체 영상의 영상들 중 적어도 하나의 영상의 프레임들을 연속 저장하고 휘도 영상 프레임을 발생시킨다.
단계(S3)에서, CPU(7)는 휘도 영상 프레임의 출력과 동기화되어 출력된 입체 영상의 영상들 사이의 디스패리티를 계산하고 디스패리티 영상 프레임을 발생시킨다.
단계(S4)에서, CPU(7)는 단계(S2)에서 획득된 휘도 영상 프레임 및 단계(S3)에서 획득된 디스패리티 영상으로부터 물체를 인식한다. 단계(S4)는 물체의 후보 영역이 디스패리티 영상 프레임으로부터 인식되는 단계(S41) 및 추적될 목표 물체가 결정되는 단계(S42)를 포함한다.
단계(S5)에서, CPU(7)는 현재 영상 프레임 및 후속 영상 프레임으로부터 획득된 휘도 영상 프레임들을 통해 이전 영상 프레임에서 인식된 물체를 추적한다.
단계(S6)에서, CPU(7)는 휘도 영상 프레임과 동기화된 디스패리티 영상 프레임에서 추적된 물체의 상태의 변화를 계산한다.
단계(S6)는 목표 물체까지의 거리가 계산되는 단계(S61) 및 전후 방향으로 물체까지의 거리 변화의 속도 및 물체의 가로 움직임의 변화의 속도가 계산되는 단계(S62)를 포함한다.
단계(S7)에서, CPU(7)는 단계(S6)에 검출된 물체의 움직임의 결과를 인식 결과 출력부(26)로부터 경고 유닛(3)에 출력하고, 단계(S8)에서 경고 유닛(3)의 스크린에 디스플레이한다. 전술된 동작을 실행하기 위한 CPU(7)의 회로는 모듈화된다.
본 실시예에 따르면, 이동 물체 인식기는 디스패리티 영상 프레임 및 휘도 영상 프레임을 이용함으로써 더 높은 정확도로 차량으로서 목표 물체를 인식할 수 있다. 또한, 디스패리티 영상 프레임으로부터 물체의 움직임 변화를 검출함으로써 문제의(in question) 차량으로부터 목표 물체까지의 거리, 거리 변화, 및 목표 물체의 상태 변화를 더 정확하게 계산할 수 있다.
요약하면, 이동 물체 인식기(2)는 우선 휘도 영상(G)으로부터 차량 또는 사람으로서 이동 물체를 인식하고, 휘도 영상 프레임들을 이용하여 다음 휘도 영상들(G)을 통해 추적한다.
그 다음, 휘도 영상 프레임과 동기화된 디스패리티 영상 프레임으로부터 추적된 물체의 영역에서의 평균 디스패리티 값(Δ)을 계산한다. 이동 물체까지의 거리는 평균 디스패리티 값(Δ)으로부터 계산된다.
목표 물체까지의 거리의 변화량은 각 영상 프레임에서 물체까지의 거리로부터 계산된다. 물체 거리에서의 변화의 속도는 영상 프레임들 사이의 시간 간격 및 영상 프레임들 사이의 물체 거리의 변화로부터 계산된다. 이로써, 이동 물체의 상태의 변화가 인식될 수 있다.
또한, 휘도 영상에서의 물체의 가로 움직임 양은 추적 경과로부터 탐지된다. 이로써, 실제 공간에서의 움직임 양은 입체 카메라의 촬영 위치에 기반하여 계산될 수 있다.
또한, 전술된 실시예에서, 차량으로서 이동 물체들이 도로 상에 있기 때문에, 추적될 목표 물체들은 도로 영역 내의 물체(S)로 한정되어 물체들이 인식되는 정확도를 개선한다. 물체들이 적어도 휘도 영상 프레임으로부터 인식될 수 있다.
전술된 실시예는 이동 물체 인식기가 자동차에 통합되는 일례를 설명하였다. 그러나, 본 발명은 이러한 예로 한정되지 않아야 한다. 배, 항공기, 로봇과 같은 다른 타입의 차량에 실장될 수 있다. 또한, 전술된 실시예는 경고 유닛을 위해 이동 물체 인식기의 사용을 설명하였다. 대안으로서, 제동 제어 또는 자동 조종(automatic steering)과 같은 이동 물체에 관한 차량의 구동을 제어하기 위해 차량 제어기에 적용될 수 있다.
비록 본 발명은 예시적인 실시예 측면에서 설명되었지만, 이로 한정되지 않는다. 다음의 청구항에 의해 정의되는 본 발명의 범위로부터 벗어나지 않고 당업자에 의해 설명되는 실시예들에서 다양한 변형들이 행해질 수 있음은 물론이다.
3: 경고 유닛 3a, 3b: CDS 회로
4a, 4b: A/D 컨버터 5a, 5b: 영상 처리 회로
6: 타이밍 신호 발생기 9: 압축/해제 회로
10: 메모리 카드 13: 동작 유닛
20: 입체 영상 입력부 21: 휘도 영상 발생기
22: 디스패리티 영상 발생기 23a: 후보 영역 인식기
23b: 물체 결정기 24: 추적 프로세서
25a: 거리 계산기 25b: 움직임 계산기
26: 인식 결과 출력부

Claims (16)

  1. 이동 물체 인식기에 있어서,
    입체 카메라로부터 입체 영상 신호들을 연속해서 수신하고 입체 영상을 출력하는 영상 입력부;
    상기 영상 입력부로부터 출력된 입체 영상의 영상들 중 적어도 하나의 영상의 프레임들을 연속해서 저장하고, 휘도 영상 프레임을 발생시키도록 구성된 휘도 영상 발생기;
    상기 영상 입력부로부터 상기 휘도 영상 발생기에 출력된 입체 영상의 영상들 사이의 디스패리티(disparity)를 계산하고, 디스패리티 영상 프레임을 발생시키도록 구성된 디스패리티 영상 발생기;
    적어도 상기 휘도 영상 프레임으로부터 물체를 인식하도록 구성된 물체 인식기;
    특정 시간에 인식된 영상 프레임 다음의 영상 프레임들로부터 획득된 휘도 영상 프레임들을 통해 상기 물체 인식기에 의해 상기 영상 프레임으로부터 상기 특정 시간에 인식된 물체를 추적하도록 구성된 추적 프로세서; 및
    2개의 상이한 시간에서 상기 디스패리티 영상 프레임 및 대응하는 상기 휘도 영상 프레임으로부터 상기 추적된 물체의 상태 변화를 검출하도록 구성된 변화 검출기
    를 포함하고,
    상기 검출은, 각 시간에 있어서, 상기 휘도 영상 프레임에서 상기 추적된 물체의 영역을 결정하고, 상기 디스패리티 영상 프레임을 사용하여 상기 추적된 물체의 영역의 평균 디스패리티에 기초하여 상기 추적된 물체까지의 거리를 계산하는 것을 포함하는, 이동 물체 인식기.
  2. 제1항에 있어서, 상기 추적 프로세서는, 현재 휘도 영상 프레임에서, 상기 물체 인식기에 의해 이전 휘도 영상 프레임에서 인식된 물체를 추적하고, 상기 이전 휘도 영상 프레임에서 결정된 상기 물체의 사이즈를 변경하면서 추적될 물체를 상기 현재 휘도 영상 프레임에서 검색하도록 구성되는, 이동 물체 인식기.
  3. 제2항에 있어서, 상기 추적 프로세서는 상기 현재 휘도 영상 프레임에서, 상기 이전 휘도 영상 프레임에서 결정된 상기 물체에 대응하는 영역의 사이즈를 변경하고, 상기 추적될 물체를 검색하기 위한 상기 영역의 사이즈에 따라 상기 영역 내의 픽셀의 휘도를 정규화하도록 구성되는 것인, 이동 물체 인식기.
  4. 제3항에 있어서, 상기 변화 검출기는 전후 방향으로 상기 물체까지의 거리 변화의 속도 및 상기 물체에 대응하는 영역의 평균 디스패리티 값으로부터 상기 물체의 가로 움직임 변화의 속도를 계산하도록 구성되는 것인, 이동 물체 인식기.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 변화 검출기는 상기 이전 및 현재 휘도 영상 프레임들에서 상기 물체의 중심 위치들의 변화에 기반하여 상기 추적된 물체의 상태 변화를 검출하도록 구성되는 것인, 이동 물체 인식기.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 차량으로서,
    제1항에 따른 이동 물체 인식기를 포함하는 차량 본체;
    변화 검출기에 의한 검출 결과를 출력하는 인식 결과 출력부; 및
    상기 검출의 결과를 수신하고 상기 물체에 관한 상기 차량 본체의 움직임을 제어하는 제어기
    를 포함하는, 차량.
  11. 차량으로서,
    제1항에 따른 이동 물체 인식기;
    변화 검출기에 의한 검출 결과를 출력하는 인식 결과 출력부; 및
    상기 검출의 결과의 수신 시에 경고를 발행하는 경고 유닛
    을 포함하는, 차량.
  12. 이동 물체를 인식하는 방법에 있어서,
    입체 카메라로부터 입체 영상 신호들을 연속해서 수신하고 입체 영상을 출력하는 단계;
    출력된 입체 영상의 영상들 중 적어도 하나의 영상의 영상 프레임들을 연속해서 저장하고 휘도 영상 프레임을 발생시키는 단계;
    출력된 입체 영상의 영상들 사이의 디스패리티를 계산하고 디스패리티 영상 프레임을 발생시키는 단계;
    적어도 상기 휘도 영상 프레임으로부터 물체를 인식하는 단계;
    특정 시간에 상기 영상 프레임 이후의 영상 프레임들로부터 획득된 휘도 영상 프레임들을 통해 영상 프레임으로부터 상기 특정 시간에 인식된 물체를 추적하는 단계; 및
    2개의 상이한 시간에서 상기 디스패리티 영상 프레임 및 대응하는 상기 휘도 영상 프레임으로부터 상기 추적된 물체의 상태 변화를 검출하는 단계
    를 포함하고,
    상기 검출은, 각 시간에 있어서, 상기 휘도 영상 프레임에서 상기 추적된 물체의 영역을 결정하고, 상기 디스패리티 영상 프레임을 사용하여 상기 추적된 물체의 영역의 평균 디스패리티에 기초하여 상기 추적된 물체까지의 거리를 계산하는 것을 포함하는, 이동 물체 인식 방법.
  13. 제12항에 있어서, 현재 휘도 영상 프레임에서, 이전 휘도 영상 프레임에서 인식된 물체를 추적하고, 상기 이전 휘도 영상 프레임에서 결정된 상기 물체의 사이즈를 변경하면서 추적될 물체를 상기 현재 휘도 영상 프레임에서 검색하는 단계를 더 포함하는, 이동 물체 인식 방법.
  14. 제13항에 있어서, 상기 현재 휘도 영상 프레임에서, 상기 이전 휘도 영상 프레임에서 결정된 상기 물체에 대응하는 영역의 사이즈를 변경하고, 상기 추적될 물체를 검색하기 위한 상기 영역의 사이즈에 따라 상기 영역 내의 픽셀의 휘도를 정규화하는 단계를 더 포함하는, 이동 물체 인식 방법.
  15. 제14항에 있어서, 전후 방향으로 상기 물체까지의 거리 변화의 속도 및 상기 물체에 대응하는 영역의 평균 디스패리티 값으로부터 상기 물체의 가로 움직임 변화의 속도를 계산하는 단계를 더 포함하는, 이동 물체 인식 방법.
  16. 제13항 내지 제15항 중 어느 한 항에 있어서, 상기 이전 및 현재 휘도 영상 프레임들에서 상기 물체의 중심 위치들의 변화에 기반하여 상기 추적된 물체의 상태 변화를 검출하는 단계를 더 포함하는, 이동 물체 인식 방법.
KR1020157013866A 2012-11-19 2013-10-30 이동 물체 인식기 KR102027405B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2012-252932 2012-11-19
JP2012252932 2012-11-19
JP2013156774A JP2014115978A (ja) 2012-11-19 2013-07-29 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体
JPJP-P-2013-156774 2013-07-29
PCT/JP2013/080057 WO2014077170A1 (en) 2012-11-19 2013-10-30 Moving object recognizer

Publications (2)

Publication Number Publication Date
KR20150080569A KR20150080569A (ko) 2015-07-09
KR102027405B1 true KR102027405B1 (ko) 2019-10-02

Family

ID=50731084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157013866A KR102027405B1 (ko) 2012-11-19 2013-10-30 이동 물체 인식기

Country Status (6)

Country Link
US (1) US9607400B2 (ko)
EP (1) EP2920761A4 (ko)
JP (1) JP2014115978A (ko)
KR (1) KR102027405B1 (ko)
CN (1) CN104956400B (ko)
WO (1) WO2014077170A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6417886B2 (ja) 2013-12-12 2018-11-07 株式会社リコー 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
JP6589313B2 (ja) * 2014-04-11 2019-10-16 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
KR101579098B1 (ko) * 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
CN105335955B (zh) * 2014-07-17 2018-04-10 株式会社理光 对象检测方法和对象检测装置
KR102310286B1 (ko) * 2014-11-07 2021-10-07 현대모비스 주식회사 특정물체 감지 장치 및 특정물체 감지 방법
JP6156400B2 (ja) * 2015-02-09 2017-07-05 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
US10318798B2 (en) * 2015-07-10 2019-06-11 Booz Allen Hamilton Inc. Device and method for detecting non-visible content in a non-contact manner
JP2017134612A (ja) * 2016-01-27 2017-08-03 富士通株式会社 映像生成装置、映像表示方法、及びプログラム
JP6587000B2 (ja) 2016-01-28 2019-10-09 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
WO2017130640A1 (ja) 2016-01-28 2017-08-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
WO2017158958A1 (ja) 2016-03-15 2017-09-21 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
KR101966655B1 (ko) * 2016-09-30 2019-04-09 주식회사 피엘케이 테크놀로지 광학 흐름 분석을 이용한 차량 충돌 경보 금지 방법
KR102380216B1 (ko) * 2016-11-29 2022-03-28 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템
EP3548841A4 (en) 2016-11-30 2020-06-10 Blackmore Sensors And Analytics Inc. METHOD AND SYSTEM FOR DOPPLER DETECTION AND DOPPLER CORRECTION OF THE OPTICAL DETECTION OF THE CHIRPED AREA
CN117310731A (zh) 2016-11-30 2023-12-29 布莱克莫尔传感器和分析有限责任公司 利用光学测距系统进行自动实时自适应扫描的方法和系统
JP6811862B2 (ja) 2016-11-30 2021-01-13 ブラックモア センサーズ アンド アナリティクス エルエルシー 光学測距システムによる適応走査の方法およびシステム
EP3590763A1 (en) * 2017-01-20 2020-01-08 Koito Manufacturing Co., Ltd. Vehicle lamp control system
US10422880B2 (en) 2017-02-03 2019-09-24 Blackmore Sensors and Analytics Inc. Method and system for doppler detection and doppler correction of optical phase-encoded range detection
CN107240118B (zh) * 2017-05-19 2020-10-09 成都信息工程大学 一种基于rgb颜色直方图的判别式跟踪方法
US10401495B2 (en) 2017-07-10 2019-09-03 Blackmore Sensors and Analytics Inc. Method and system for time separated quadrature detection of doppler effects in optical range measurements
US20190278273A1 (en) * 2018-03-07 2019-09-12 Robert Bosch Gmbh Odometry system and method for tracking traffic lights
CN108401140A (zh) * 2018-04-07 2018-08-14 深圳供电局有限公司 一种基于多层视觉处理的智能视频监控系统和方法
WO2019209727A1 (en) 2018-04-23 2019-10-31 Blackmore Sensors and Analytics Inc. Method and system for controlling autonomous vehicle using coherent range doppler optical sensors
JP7115180B2 (ja) * 2018-09-21 2022-08-09 トヨタ自動車株式会社 画像処理システムおよび画像処理方法
CN111415520A (zh) * 2018-12-18 2020-07-14 北京航迹科技有限公司 处理交通目标的系统和方法
JP7148384B2 (ja) * 2018-12-21 2022-10-05 ルネサスエレクトロニクス株式会社 半導体装置、画像処理方法およびプログラム
US11822010B2 (en) 2019-01-04 2023-11-21 Blackmore Sensors & Analytics, Llc LIDAR system
JP7176478B2 (ja) * 2019-06-14 2022-11-22 トヨタ自動車株式会社 画像認識装置
CN110244772B (zh) * 2019-06-18 2021-12-03 中国科学院上海微系统与信息技术研究所 移动机器人的领航跟随系统和领航跟随控制方法
WO2021008712A1 (en) * 2019-07-18 2021-01-21 Toyota Motor Europe Method for calculating information relative to a relative speed between an object and a camera
JP7418177B2 (ja) * 2019-10-11 2024-01-19 株式会社Subaru 画像処理装置
EP3961480B1 (en) * 2020-08-28 2022-06-29 Axis AB Method and device for determining authenticity of a video
KR102401480B1 (ko) * 2021-04-27 2022-05-25 주식회사 실리콘큐브 카메라 각도 변경을 자동 보정하는 무인 주차 관리 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168838A (ja) * 2011-02-16 2012-09-06 Fuji Heavy Ind Ltd 車両検出装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091793A (ja) * 1996-09-13 1998-04-10 Oki Electric Ind Co Ltd オプティカルフロー算出方法及び装置
JPH10255071A (ja) * 1997-03-10 1998-09-25 Iwane Kenkyusho:Kk 画像処理システム
JP3596339B2 (ja) * 1999-03-15 2004-12-02 日産自動車株式会社 車間距離計測装置
JP3904988B2 (ja) 2002-06-27 2007-04-11 株式会社東芝 画像処理装置およびその方法
JP4239834B2 (ja) * 2004-01-27 2009-03-18 株式会社デンソー 物体検出装置
US7248968B2 (en) 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
JP2006134035A (ja) * 2004-11-05 2006-05-25 Fuji Heavy Ind Ltd 移動物体検出装置および移動物体検出方法
CN101179710B (zh) * 2007-11-30 2010-12-08 浙江工业大学 铁路道口智能视频监控装置
JP2009140023A (ja) * 2007-12-03 2009-06-25 Mazda Motor Corp 車両用障害物検出装置
CN101216885A (zh) 2008-01-04 2008-07-09 中山大学 一种基于视频的行人人脸检测与跟踪算法
JP5012718B2 (ja) 2008-08-01 2012-08-29 トヨタ自動車株式会社 画像処理装置
ATE527620T1 (de) * 2009-02-17 2011-10-15 Autoliv Dev Verfahren und system zur automatischen detektion von objekten vor einem kraftfahrzeug
EP2246806B1 (en) * 2009-04-29 2014-04-02 Autoliv Development AB Vision method and system for automatically detecting objects in front of a motor vehicle
JP5353455B2 (ja) * 2009-06-09 2013-11-27 コニカミノルタ株式会社 周辺監視装置
JP2011221613A (ja) * 2010-04-05 2011-11-04 Toyota Motor Corp 物体認識装置
KR20120119144A (ko) * 2011-04-20 2012-10-30 주식회사 레이스전자 카메라 기반 지능형 관리 장치 및 방법
JP2013093013A (ja) * 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
EP2669845A3 (en) 2012-06-01 2014-11-19 Ricoh Company, Ltd. Target recognition system, target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
JP2014026396A (ja) 2012-07-25 2014-02-06 Ricoh Co Ltd 移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラム
JP6270102B2 (ja) 2012-10-10 2018-01-31 株式会社リコー 移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168838A (ja) * 2011-02-16 2012-09-06 Fuji Heavy Ind Ltd 車両検出装置

Also Published As

Publication number Publication date
CN104956400A (zh) 2015-09-30
EP2920761A1 (en) 2015-09-23
KR20150080569A (ko) 2015-07-09
EP2920761A4 (en) 2016-04-27
US9607400B2 (en) 2017-03-28
WO2014077170A1 (en) 2014-05-22
CN104956400B (zh) 2018-02-06
JP2014115978A (ja) 2014-06-26
US20150243043A1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
KR102027405B1 (ko) 이동 물체 인식기
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
EP2924653B1 (en) Image processing apparatus and image processing method
US9064418B2 (en) Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system
JP5999127B2 (ja) 画像処理装置
EP2669846B1 (en) Target recognition system and target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
EP2546779B1 (en) Environment recognizing device for a vehicle and vehicle control system using the same
JP5776795B2 (ja) 立体物検出装置
JP2011069626A (ja) 障害物検知装置
KR101551026B1 (ko) 차량 검출 방법
EP2879115B1 (en) Three-dimensional object detection device
US10013618B2 (en) Method and apparatus for detecting side of object using ground boundary information of obstacle
JP6315308B2 (ja) 制御用対象物識別装置、移動体機器制御システム及び制御用対象物認識用プログラム
JP2010079582A (ja) 物体を検出する装置、方法及びプログラム
US20240193957A1 (en) Advanced driver assist system and method of detecting object in the same
JP2022152922A (ja) 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体
JP5020920B2 (ja) 歩行者検出装置及びプログラム
JP6812701B2 (ja) 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6299103B2 (ja) オブジェクト認識装置及びそのオブジェクト認識装置に用いるオブジェクト認識用プログラム及び移動体制御システム
JP2017058890A (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム
KR102681321B1 (ko) 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법
CN112651283A (zh) 图像处理装置
JP2023110374A (ja) 動体検出装置、動体検出方法、システム、およびプログラム
CN116524453A (zh) 运动物体检测装置、方法及系统、以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant