KR101507507B1 - 스테레오 카메라를 이용한 객체 처리 시스템 및 방법 - Google Patents

스테레오 카메라를 이용한 객체 처리 시스템 및 방법 Download PDF

Info

Publication number
KR101507507B1
KR101507507B1 KR1020130062526A KR20130062526A KR101507507B1 KR 101507507 B1 KR101507507 B1 KR 101507507B1 KR 1020130062526 A KR1020130062526 A KR 1020130062526A KR 20130062526 A KR20130062526 A KR 20130062526A KR 101507507 B1 KR101507507 B1 KR 101507507B1
Authority
KR
South Korea
Prior art keywords
unit
camera
image
distance
orientation
Prior art date
Application number
KR1020130062526A
Other languages
English (en)
Other versions
KR20140141140A (ko
Inventor
정광훈
Original Assignee
(주) 세인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 세인 filed Critical (주) 세인
Priority to KR1020130062526A priority Critical patent/KR101507507B1/ko
Publication of KR20140141140A publication Critical patent/KR20140141140A/ko
Application granted granted Critical
Publication of KR101507507B1 publication Critical patent/KR101507507B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 스테레오 카메라를 이용한 객체 처리 시스템 및 방법에 관한 것으로서, 좌측 카메라 및 우측 카메라를 포함하는 스테레오 카메라로부터 전달된 좌측영상과 우측영상 각각으로부터 객체처리부에서 객체를 분리하고, 미리 저장된 비교대상정보와의 비교를 통해 객체의 종류를 판단하고, 가속도 센서로부터의 산출된 스테레오 카메라가 부착된 이동체의 가속도에 근거하여 객체의 속도 및 방위를 산출하고, 객체처리부로 객체의 속도 및 방위를 전달하고, 객체처리부에서 객체와 카메라간 거리 및 방위를 산출하며, 거리, 이동체의 속도 및 방위에 대응하여 위험상황을 판단하고, 위험상황을 판단한 경우에 객체처리부에서 경보 및 기록 제어를 위한 신호를 출력시키도록 구성함으로써, 운전운행이 가능하며, 위험상황에서만 영상과 음향 등을 기록하도록 제어함으로써 저장소를 효율적으로 이용할 수 있고, 소프트웨어적인 처리기법을 통해 기록여부가 결정되므로 기록의 정확성을 기대할 수 있다.

Description

스테레오 카메라를 이용한 객체 처리 시스템 및 방법{SYSTEM AND METHOD FOR PROCESSING OBJECT USING STEREO CAMERA}
본 발명은 스테레오 카메라를 이용한 객체 처리 시스템 및 방법에 관한 것으로, 더욱 상세하게는 스테레오 카메라를 통해 촬영된 좌측영상 및 우측영상을 이용하여 객체의 종류 및 거리를 판단하고 경보 및 기록 등을 선택적으로 수행할 수 있도록 하는 스테레오 카메라를 이용한 객체 처리 시스템 및 방법에 관한 것이다.
블랙박스는 비행기, 차량 등의 운행기록을 저장하는 장비로서, 사고 순간 등을 기록할 수 있으므로 사고의 원인을 파악하는 자료로서 이용되고 있다. 즉, 블랙박스를 이용하여 비행기 또는 차량 등의 속도, 가속도, 조향각도, 조작상태 등의 정보를 분석함으로써 사고의 원인을 파악할 수 있다.
차량용 블랙박스의 경우에는, 차량 주변을 촬영하는 카메라와, 차량 주변의 음향을 수집하는 마이크를 기본 구성으로 하고 있으며, 카메라 및 마이크로부터 전달된 영상 및 음향을 저장소에 기록하고, 이의 재생을 통해 사고를 분석할 수 있도록 구성하고 있다.
차량용 블랙박스는 상시녹화, 이벤트녹화, 주차녹화 등의 다양한 방식으로 운행기록을 저장할 수 있으며, 이는 차량용 블랙박스에 내장된 다양한 센서들을 운용함으로써 다양한 방식으로의 녹화가 가능한 것이다.
그런데, 이러한 차량용 블랙박스에 포함되는 카메라는 단순히 영상을 촬영하는 기능만을 제공할 뿐이며, 이후 처리 프로세스에서도 해상도에 따라 설정된 프레임으로 영상을 저장하는 기능만을 제공할 뿐이다. 즉, 기존 차량용 블랙박스는 기록의 용도로만 이용되고 있는 실정이다.
대한민국 공개특허공보 제10-2011-0087736호(공개일 2011.08.03.)
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 스테레오 카메라를 통해 촬영된 좌측영상 및 우측영상을 이용하여 객체의 종류 및 거리를 판단하고, 객체와 카메라간 거리, 차량의 속도 등을 고려하여 위험상황을 예측하고, 위험상황이라고 판단될 경우에 운전자에게 경보함과 아울러 영상 및 음향을 기록할 수 있도록 하는 스테레오 카메라를 이용한 객체 처리 시스템 및 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 스테레오 카메라를 이용한 객체 처리 시스템은, 좌측 카메라 및 우측 카메라를 포함하는 스테레오 카메라; 상기 좌측 카메라와 상기 우측 카메라로부터 전달된 좌측영상과 우측영상 각각으로부터 객체를 분리하고, 미리 저장된 비교대상정보와의 비교를 통해 상기 객체의 종류를 판단하고, 상기 객체와 카메라간 거리 및 방위를 산출하며, 상기 거리, 상기 스테레오 카메라가 부착된 이동체의 속도 및 상기 방위에 대응하여 위험상황을 판단하는 객체처리부; 상기 이동체의 가속도를 감지하는 가속도 센서; 상기 가속도 센서로부터의 산출된 가속도에 근거하여 상기 객체의 속도 및 방위를 산출하고, 상기 객체처리부로 상기 객체의 속도 및 방위를 전달하는 속도/방위 산출부; 상기 객체처리부에서 위험상황을 판단한 경우에 상기 스테레오 카메라로부터 전달된 영상을 기록 제어하는 제어부; 및 상기 제어부를 통해 전달된 영상데이터를 저장하는 저장부를 포함하는 것을 특징으로 한다.
여기에, 음향을 수집하는 마이크와, 상기 마이크로부터 출력된 음향신호를 디지털 음향데이터로 변환 처리하는 음향처리부를 더 포함하는 것이 바람직하며, 상기 제어부는 상기 객체처리부에서 위험상황을 판단한 경우에 상기 음향처리부로부터 전달된 음향을 기록 제어한다. 그리고, 상기 이동체의 위치를 감지하는 GPS 센서를 더 포함하는 것도 바람직하다.
상기 객체처리부는, 상기 스테레오 카메라로부터 전달된 좌측영상 및 우측영상 각각으로부터 영상 보정을 수행하고, 상기 객체를 추출하는 영상처리부; 상기 좌측영상과 상기 우측영상으로부터 상기 객체와 카메라간 거리 및 방위를 산출하는 거리/방위 산출부; 상기 거리/방위 산출부로부터 산출된 거리 및 방위와, 상기 속도/방위 산출부로부터 산출된 속도 및 방위에 근거하여 위험상황을 판단하는 위험상황 판단부; 및 위험상황을 경보하는 경보부를 포함한다.
상기 영상처리부는, 상기 좌측영상을 보정함과 아울러, 영상 보정에 근거하여 좌측 카메라의 렌즈조절신호를 출력하는 좌측영상 보정부; 상기 우측영상을 보정함과 아울러, 영상 보정에 근거하여 우측 카메라의 렌즈조절신호를 출력하는 우측영상 보정부; 상기 좌측영상 보정부와 상기 우측영상 보정부를 동기화시키는 동기화부; 보정된 영상으로부터 상기 객체를 분리하는 객체분리부; 및 상기 저장부에 미리 저장된 비교대상정보와의 비교를 통해 상기 객체의 종류를 인식하는 객체종류 인식부를 포함한다.
상기 거리/방위 산출부는, 상기 객체 중에서 이동객체를 추출하는 이동객체 추출부; 상기 객체의 최외곽선을 평활화시키는 최외곽선 평활화부; 및 상기 최외곽선의 코너포인트(Corner point)를 추출하는 코너포인트 추출부를 좌측영상 및 우측영상에 대해 처리할 수 있도록 각각 구성하고, 추출된 좌측 코너포인트와 우측 코너포인트를 정합시키는 스테레오 코너포인트 정합부; 정합된 코너포인트를 이용하여 상기 객체의 거리 및 방위를 계산하는 거리/방위 계산부; 및 계산된 객체와 카메라간 거리 및 방위에 근거하여 해당 객체의 영상을 합성하는 영상합성부를 포함한다.
한편, 본 발명의 스테레오 카메라를 이용한 객체 처리 방법은, 좌측 카메라 및 우측 카메라를 포함하는 스테레오 카메라로부터 전달된 좌측영상과 우측영상 각각으로부터 객체처리부에서 객체를 분리하고, 미리 저장된 비교대상정보와의 비교를 통해 상기 객체의 종류를 판단하는 단계; 가속도 센서로부터의 산출된 상기 스테레오 카메라가 부착된 이동체의 가속도에 근거하여 상기 객체의 속도 및 방위를 산출하고, 상기 객체처리부로 상기 객체의 속도 및 방위를 전달하는 단계; 상기 객체처리부에서 상기 객체와 카메라간 거리 및 방위를 산출하며, 상기 거리, 상기 이동체의 속도 및 상기 방위에 대응하여 위험상황을 판단하는 단계; 및 상기 위험상황을 판단한 경우에 상기 객체처리부에서 경보 및 기록 제어를 위한 신호를 출력시키는 단계를 포함하는 것을 특징으로 한다.
상기 객체와 카메라간 거리 및 방위의 산출은, 상기 객체의 최외곽선을 생성하는 단계; 상기 최외곽선을 평활화하여 특징 코너포인트만을 생성하는 단계; 및 상기 특징 코너포인트를 이용하여 상기 객체와 카메라간 거리 및 방위를 산출하는 단계를 포함한다.
상기 객체의 종류는, 약한 분류기(Weak Classifier) 집합의 수를 점차 증가시킨 캐스케이드(cascade)로 구성된 스테이지(stage)를 반복 수행하는 리얼 부스트 분류기를 하나의 캐스케이드 분류기로 만들고, 상기 캐스케이드 분류기를 순차 결합하여 상기 객체의 종류를 판단한다.
상기 객체는 이동하는 객체이며, 상기 이동하는 객체는, 연속하는 3개의 에지 영상으로부터 각각 이웃하는 영상 사이의 절대값과 상기 절대값의 논리적 AND 값을 구하여 이동하는 객체의 영역을 추출한다.
상술한 바와 같이, 본 발명에 의한 스테레오 카메라를 이용한 객체 처리 시스템 및 방법에 따르면, 객체에 대한 위험상황을 운전자에게 경보하므로 안전운행이 가능할 것이다.
또한, 본 발명은 위험상황에서만 영상과 음향 등을 기록하도록 제어함으로써 저장소를 효율적으로 이용할 수 있다.
그리고, 본 발명은 소프트웨어적인 처리기법을 통해 기록여부가 결정되므로 기록의 정확성을 기대할 수 있다. 즉, 물리적인 센싱기법을 이용하지 않으므로 센서의 고장에 따른 미작동 등을 방지할 수 있으며, 이러한 센서를 대체할 수도 있을 것이다.
도 1은 본 발명의 일실시예에 의한 스테레오 카메라를 이용한 객체 처리 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 의한 객체처리부의 구성도이다.
도 3은 본 발명의 일실시예에 의한 객체처리부에 포함된 영상처리부의 구성도이다.
도 4는 본 발명의 일실시예에 의한 객체처리부에 포함된 거리/방위 산출부의 구성도이다.
도 5는 본 발명의 일실시예에 의한 객체와 카메라간 거리를 구하는 개념도이다.
도 6은 본 발명의 일실시예에 의한 스테레오 카메라를 이용한 객체 처리 방법의 흐름도이다.
도 7은 본 발명의 일실시예에 의한 리얼 부스트를 이용하여 객체 인식 기법의 개념도이다.
이하, 본 발명의 스테레오 카메라를 이용한 객체 처리 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 의한 스테레오 카메라를 이용한 객체 처리 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 스테레오 카메라를 이용한 객체 처리 시스템은, 음향을 수집하는 마이크(11)와, 마이크(11)로부터 출력된 음향신호를 디지털 음향데이터로 변환 처리하는 음향처리부(12)와, 좌측 카메라(13L) 및 우측 카메라(13R)를 포함하는 스테레오 카메라(13)와, 좌측 카메라(13L)와 우측 카메라(13R)로부터 전달된 좌측영상과 우측영상 각각으로부터 객체(Object;물체)를 분리하고, 미리 저장된 비교대상정보와의 비교를 통해 객체의 종류를 판단하고, 객체와 카메라간 거리 및 방위를 산출하며, 거리, 차량의 속도 및 방위에 대응하여 위험상황을 판단하는 객체처리부(14)와, 차량의 가속도를 감지하는 가속도 센서(15)와, 객체처리부(14)에서 산출된 거리 및 방위와 가속도 센서(15)로부터의 산출된 가속도에 근거하여 객체의 속도 및 방위를 산출하는 속도/방위 산출부(16)와, 차량의 위치를 감지하는 GPS 센서(17)와, 객체처리부(14)에서 위험상황을 판단한 경우에 음향처리부(12) 및 스테레오 카메라(13)로부터 전달된 신호들을 기록 제어하는 제어부(18)와, 제어부(18)를 통해 전달된 데이터를 저장하는 저장부(19)를 포함한다.
한편, 본 발명에서 마이크(11), 음향처리부(12), GPS 센서(17)는 선택적으로 부가될 수 있다.
제어부(18)는 영상의 인코딩 및 변환 압축의 기능을 포함하고 있으며, 또한 제어부(18)는 좌측 카메라(13L) 및 우측 카메라(13R)의 동기제어를 수행한다.
도 2는 본 발명의 일실시예에 의한 객체처리부의 구성도이다.
도 2를 참조하면, 본 발명의 객체처리부(14)는, 스테레오 카메라(13)로부터 전달된 좌측영상 및 우측영상 각각으로부터 영상 보정을 수행하고, 객체를 추출하는 영상처리부(21)와, 좌측영상과 우측영상으로부터 객체와 카메라간 거리 및 방위를 산출하는 거리/방위 산출부(22)와, 거리/방위 산출부(22)로부터 산출된 거리 및 방위와, 속도/방위 산출부(16)로부터 산출된 속도 및 방위에 근거하여 위험상황을 판단하는 위험상황 판단부(23)와, 위험상황을 경보하는 경보부(24)를 포함한다.
도 3은 본 발명의 일실시예에 의한 객체처리부에 포함된 영상처리부의 구성도이다.
도 3을 참조하면, 본 발명의 영상처리부(21)는, 좌측영상을 보정함과 아울러, 영상 보정에 근거하여 좌측 카메라(13L)의 렌즈조절신호를 출력하는 좌측영상 보정부(31)와, 우측영상을 보정함과 아울러, 영상 보정에 근거하여 우측 카메라(13R)의 렌즈조절신호를 출력하는 우측영상 보정부(32)와, 좌측영상 보정부(31)와 우측영상 보정부(32)를 동기화시키는 동기화부(33)와, 보정된 영상으로부터 객체를 분리하는 객체분리부(34)와, 분리된 객체의 종류를 인식하는 객체종류 인식부(35)를 포함한다.
여기서, 객체종류 인식부(35)는 제어부(18)를 경유하여 저장부(19)에 미리 저장된 비교대상정보와의 비교를 통해 객체의 종류를 판단한다.
도 4는 본 발명의 일실시예에 의한 객체처리부에 포함된 거리/방위 산출부의 구성도이다.
도 4를 참조하면, 본 발명의 거리/방위 산출부(22)는, 객체 중에서 이동객체를 추출하는 이동객체 추출부(41L, 41R)와, 객체의 최외곽선을 평활화시키는 최외곽선 평활화부(42L, 42R)와, 최외곽선의 코너포인트(Corner point)를 추출하는 코너포인트 추출부(43L, 43R)를 좌측영상 및 우측영상에 대해 처리할 수 있도록 각각 구성하고, 여기에, 추출된 좌측 코너포인트와 우측 코너포인트를 정합시키는 스테레오 코너포인트 정합부(44)와, 정합된 코너포인트를 이용하여 객체의 거리 및 방위를 계산하는 거리/방위 계산부(45)와, 계산된 객체와 카메라간 거리 및 방위에 근거하여 해당 객체의 영상을 합성하는 영상합성부(46)를 포함한다.
이동객체 추출부(41L, 41R)는, 좌우 카메라(13L, 13R)의 영상 내에서 이동하는 객체를 추출하며, 연속 촬영된 좌우 각 영상 내에서 이동하는 물체의 영역을 추출한다. 이동객체 추출부(41L, 41R)는 차량 주변의 객체 영역을 추출하기 위한 목적을 가지고 있다. 이에 이동객체 추출부(41L, 41R)는 연속하는 3개의 에지 영상으로부터 각각 이웃하는 영상 사이의 절대값과 그 값 사이의 논리적 AND 값을 구하여 움직이는 객체만의 에지 영상을 생성하고 클러스터링하여 이동객체의 영역을 추출한다.
최외곽선 평활화부(42L, 42R)와 코너포인트 추출부(43L, 43R)는, 좌우 카메라(13L, 13R)에서 각각 추출된 객체의 거리를 산출하기 위한 전처리를 수행하는 구성으로써, 각 객체의 최외곽을 산출한다. 좌우 카메라(13L, 13R)와 객체와의 거리를 산출하려면, 좌우 각 영상 내 픽셀 간의 상관도를 산출해야 한다. 기존 방법은 모든 영상 내의 각 픽셀 주변에 대한 좌우 상관도를 산출하기 때문에 그 처리속도가 현저히 느린 단점이 있다. 이에, 본 발명에서는 좌우 영상 내 객체의 거리를 구하기 위한 상관도 산출 대상 픽셀을 좌우 영상에서 기 추출된 객체의 최외곽의 코너포인트로 제한하여 처리하도록 한다. 좌우 각 영상의 객체 최외곽 코너포인트 산출은 객체의 최외곽선을 최대로 평활화하여 산출한다. 좌우 영상의 상관도 산출 과정에서 각 객체의 대표 코너포인트만을 사용하므로 그 계산량과 복잡도를 최대한 줄일 수 있다.
스테레오 코너포인트 정합부(44)는 좌우 코너포인트와의 상호 상관도를 측정하는 구성으로써, 반전역 정합 방법을 활용한다. 즉, 전역 에너지를 최소화시키는 반전역의 좌우 코너포인트 정합을 수행하여 좌측 코너포인트와 우측 코너포인트와의 상관도를 측정한다. 상관도가 높은 좌우의 코너포인트 쌍은 객체의 거리 및 방위를 측정하기 위해 선택된다.
정합된 코너포인트를 이용하여 상기 객체의 거리 및 방위를 계산하는 거리/방위 계산부(45)는 실제 객체와 카메라 사이의 거리를 산출하는 방법으로써, 도 5와 같은 방법을 이용한다.
도 5에 도시된 바와 같이, 3차원 공간상 정합된 코너포인트 P(x,y,z)가 좌우 영상 면에 투영될 때 이들 사이의 관계는 Pl(Pr), Cl(Cr), P로 삼각형의 비례관계를 이용하여 다음과 같은 식 (1)로 나타낼 수 있다.
Figure 112013048664725-pat00001
--- 식 (1)
여기서, z는 점 P와의 거리, f는 카메라의 초점 거리, b는 카메라 렌즈 사이의 거리, d는 정합된 두 코너포인트 간의 시차를 각각 나타낸다. d의 물리적 의미는 인간 시각에서 두 눈의 시차와 같다.
본 발명은 정합된 코너포인트와의 거리 z를 식 (1)에 의해 산출하며, 정합된 코너포인트 P와 좌우 카메라(13L, 13R)와의 시차거리 중앙으로부터의 방위를 산출한다.
그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 스테레오 카메라를 이용한 객체 처리 방법에 대해 설명하기로 한다.
도 6은 본 발명의 일실시예에 의한 스테레오 카메라를 이용한 객체 처리 방법의 흐름도이다.
도 6을 참조하면, 먼저, 좌측 카메라(13L) 및 우측 카메라(13R) 각각의 촬영을 통해 좌측영상 및 우측영상을 생성한다(S1).
이에 좌측영상 보정부(31) 및 우측영상 보정부(32)에서 좌측영상 및 우측영상에 대한 보정이 이루어진다. 이어서, 영상 보정을 근거로 하여 좌측 카메라(13L) 및 우측 카메라(13R)의 렌즈보정도 이루어지게 된다. 이때, 좌측영상 및 우측영상 각각의 보정은 동기화부(33)의 제어에 의해 좌측영상 보정부(31) 및 우측영상 보정부(32)가 동기된 상태에서 보정이 이루어지게 된다.
이후, 보정이 이루어진 좌측영상 및 우측영상에 대해 객체를 검출하는 과정을 진행한다(S2). 먼저, 객체분리부(34)에서는 배경으로부터 객체를 분리하고, 이어서 객체종류 인식부(35)에서 객체의 종류를 인식한다. 객체 분리 및 객체종류 인식에 대해서는 후술하기로 한다. 한편, 객체를 인식하는데 있어, 본 실시예에서는 보행자, 차량후방, 낙하물 등을 구분 대상으로 한다. 물론, 다양한 객체에 대한 인식이 가능하며, 이를 위해서는 저장부(19)에 다양한 객체에 대한 데이터를 미리 학습 및 저장시켜야 할 것이다.
객체가 추출되면, 추출된 객체의 평활 최외곽선에 대한 코너포인트를 이용하여 객체와 카메라간 거리 및 방위를 측정한다(S3). 즉, 좌측영상 및 우측영상은 최외곽 평활화부 및 코너포인트 추출부(43L, 43R)를 경유하여 스테레오 코너포인트 정합부(44)에서 정합이 이루어지게 되고, 이 정합된 코너포인트를 이용하여 객체와 카메라간 거리 및 방위를 측정한다. 여기서, 객체와 카메라간 거리 및 방위를 측정하는 기법은 후술하기로 한다.
한편, 위험상황 판단부(23)에서는 거리/방위 산출부(22)로부터 거리 및 방위를 전달받고(S4), 또한 속도/방위 산출부(16)로부터 산출된 속도 및 방위 데이터를 전달받아 객체와 카메라간 거리 및 속도에 근거하여 위험상황 여부를 판단하게 된다(S5). 위험상황이라고 판단되면(S6), 경보부(24)를 통해 경보신호가 출력되고, 이에 제어부(18)에서 영상 및/또는 음성을 통해 경보를 실행하도록 제어한다(S7).
그리고, 경보를 실행할 때, 위험상황 이전과 이후에 대한 스테레오 비디오 영상, 오디오, 가속도, GPS 데이터 등의 차량 운행정보 모두 기록한다(S7).
물론, 위험상황이 아닐 경우에도, 설정에 따라, 스테레오 비디오 영상, 오디오, 가속도, GPS 데이터 등의 차량 운행정보 모두 기록할 수 있다.
상기한 코너포인트를 이용한 거리 산출 방법에 있어, 기존의 코너포인트 추출 기법을 이용할 경우에 외곽이 복잡한 객체는 코너포인트 추출 계산량이 많아지게 된다. 이와 같이, 객체의 특성상 영상에 존재하는 객체의 외곽이 비교적 복잡할 경우가 있으므로, 이에 본 발명에서는 코너포인트 추출시 외곽이 복잡한 객체에 대해서는 이동하는 객체의 최외곽선을 생성한 후, 해당 최외곽선을 최대로 평활화하여 복잡한 외곽에 대한 대표 코너포인트만을 생성하도록 한다. 이는 복잡한 외곽에 대한 코너포인트 수를 현저하게 줄일 수 있으므로 신속한 영상처리가 가능하며, 객체의 최외곽선을 최대한 유지할 수 있으므로 객체의 거리 및 방위의 산출 오류를 방지할 수 있다.
한편, 본 발명에서 객체 종류를 인식하는데 있어, 리얼-부스트(Real-Boost) 분류 알고리즘을 이용한다. 리얼-부스트 분류 알고리즘은 최소의 학습으로 인식 오류율을 현저히 줄일 수 있음과 아울러 고속의 처리 결과를 얻을 수 있다. 본 발명에 적용한 리얼 부스트 분류 알고리즘은 최소 24회에서 최대 72회의 스테이지(stage) 수를 제한하여 인식 오류율을 최소화하면서 빠르고 강인한 인식을 수행할 수 있도록 한다.
본 발명에서는, 일례로서 도 7에 도시된 바와 같이, "보행자 인식", "차량후면 인식", "낙하물 인식"의 카테고리를 분류하는 형태로 구성된다. 즉, 약한 분류기(Weak Classifier) 집합의 수를 점차 증가시킨 캐스케이드(cascade)로 구성된 스테이지를 반복 수행하는 리얼 부스트 분류기를 하나의 캐스케이드 분류기로 만들고, 순차적으로 인식하는 3개의 각각의 카테고리 분류기를 순차 결합하여 최종적으로 강인한 분류기를 설계한다.
여기서 객체의 종류는, 상기 검출된 객체 영상을 "보행자" 검지용 리얼 부스트 분류기에 입력하여 이동객체가 보행자인지 아닌지 판별하며, 각각의 캐스케이드 구성의 리얼 부스트 분류기에서의 스테이지에서는 판별 에러 허용 문턱치와 약한 분류기 집합의 수를 단계별로 증가시키면서 판별을 시도하도록 한다.
첫 번째 보행자 검지의 스테이지에서 거짓으로 판별되면 다음의 "차량후면" 검지용 리얼 부스트 분류, 그 다음의 "낙하물"검지용 리얼 부스트 분류로 단계별로 이동하며 분류한다. 각 단계의 첫 번째 스테이지에서 목표 객체를 분류하지 못하면, 해당 객체는 목표 객체가 존재하지 않는 것으로 판별하고, 다음 분류기로 이동하는 방식이다. 다중 캐스케이드로 구성하여도 객체 검지의 처리 속도에는 전혀 영향을 미치지 않는 이유는 결과적으로 각각의 분류기에 약한 분류기의 수가 가장 적은 첫 번째 스테이지만 하나씩 더 추가되는 구조가 되기 때문에 하나의 분류기와 똑같은 고속의 처리속도를 유도할 수 있다.
이와 같이, 본 발명은, 차량 주행시 좌우 양안(카메라)의 영상을 취득하여 객체와 카메라간 거리와 방위를 정밀 측정하여 차량의 충돌을 예측하여 경보함과 아울러 기록하도록 함으로써 차량운행의 안전성 및 사고상황에 대한 기록을 효율적으로 수행할 수 있다.
한편, 본 실시예에서는 차량의 경우에 대해 설명하고 있으나, 본 발명은 보안장치 등에도 이용할 수 있다. 즉, 설정거리 이내에 객체가 들어오는 경우에 관리자에게 경보하거나 기록을 수행하는 등의 적용이 가능할 것이다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
21 : 영상처리부
22 : 거리/방위 산출부
23 : 위험상황 판단부
24 : 경보부
34 : 객체분리부
35 : 객체종류 인식부
41L, 41R : 이동객체 추출부
42L, 42R : 최외곽선 평활화부
43L, 43R : 코너 포인트 추출부

Claims (10)

  1. 좌측 카메라 및 우측 카메라를 포함하는 스테레오 카메라;
    상기 좌측 카메라와 상기 우측 카메라로부터 전달된 좌측영상과 우측영상 각각으로부터 객체를 분리하고, 미리 저장된 비교대상정보와의 비교를 통해 상기 객체의 종류를 판단하고, 상기 객체와 카메라간 거리 및 방위를 산출하며, 상기 거리, 상기 스테레오 카메라가 부착된 이동체의 속도 및 상기 방위에 대응하여 위험상황을 판단하는 객체처리부;
    상기 이동체의 가속도를 감지하는 가속도 센서;
    상기 가속도 센서로부터의 산출된 가속도에 근거하여 상기 객체의 속도 및 방위를 산출하고, 상기 객체처리부로 상기 객체의 속도 및 방위를 전달하는 속도/방위 산출부;
    상기 객체처리부에서 위험상황을 판단한 경우에 상기 스테레오 카메라로부터 전달된 영상을 기록 제어하는 제어부; 및
    상기 제어부를 통해 전달된 영상데이터를 저장하는 저장부를 포함하며,
    상기 객체처리부에서는,
    약한 분류기(Weak Classifier) 집합의 수를 점차 증가시킨 캐스케이드(cascade)로 구성된 스테이지를 반복 수행하는 리얼 부스트 분류기를 하나의 캐스케이드 분류기로 만들고,
    각각의 캐스케이드 구성의 리얼 부스트 분류기에서의 스테이지에서 판별 에러 허용 문턱치와 약한 분류기 집합의 수를 단계별로 증가시키면서 객체를 판별하고,
    다수의 목표 객체에 대하여, 첫 번째 스테이지에서 목표 객체를 분류하지 못하면, 순차적으로 다른 목표 객체를 분류하는 과정으로 진행하는 스테레오 카메라를 이용한 객체 처리 시스템.
  2. 제1항에 있어서,
    음향을 수집하는 마이크와,
    상기 마이크로부터 출력된 음향신호를 디지털 음향데이터로 변환 처리하는 음향처리부를 더 포함하며,
    상기 제어부는 상기 객체처리부에서 위험상황을 판단한 경우에 상기 음향처리부로부터 전달된 음향을 기록 제어하는 스테레오 카메라를 이용한 객체 처리 시스템.
  3. 제1항에 있어서,
    상기 이동체의 위치를 감지하는 GPS 센서를 더 포함하는 스테레오 카메라를 이용한 객체 처리 시스템.
  4. 제1항에 있어서,
    상기 객체처리부는,
    상기 스테레오 카메라로부터 전달된 좌측영상 및 우측영상 각각으로부터 영상 보정을 수행하고, 상기 객체를 추출하는 영상처리부;
    상기 좌측영상과 상기 우측영상으로부터 상기 객체와 카메라간 거리 및 방위를 산출하는 거리/방위 산출부;
    상기 거리/방위 산출부로부터 산출된 거리 및 방위와, 상기 속도/방위 산출부로부터 산출된 속도 및 방위에 근거하여 위험상황을 판단하는 위험상황 판단부; 및
    위험상황을 경보하는 경보부를 포함하는 스테레오 카메라를 이용한 객체 처리 시스템.
  5. 제4항에 있어서,
    상기 영상처리부는,
    상기 좌측영상을 보정함과 아울러, 영상 보정에 근거하여 좌측 카메라의 렌즈조절신호를 출력하는 좌측영상 보정부;
    상기 우측영상을 보정함과 아울러, 영상 보정에 근거하여 우측 카메라의 렌즈조절신호를 출력하는 우측영상 보정부;
    상기 좌측영상 보정부와 상기 우측영상 보정부를 동기화시키는 동기화부;
    보정된 영상으로부터 상기 객체를 분리하는 객체분리부; 및
    상기 저장부에 미리 저장된 비교대상정보와의 비교를 통해 상기 객체의 종류를 인식하는 객체종류 인식부를 포함하는 스테레오 카메라를 이용한 객체 처리 시스템.
  6. 제4항에 있어서,
    상기 거리/방위 산출부는,
    상기 객체 중에서 이동객체를 추출하는 이동객체 추출부;
    상기 객체의 최외곽선을 평활화시키는 최외곽선 평활화부; 및
    상기 최외곽선의 코너포인트(Corner point)를 추출하는 코너포인트 추출부를 좌측영상 및 우측영상에 대해 처리할 수 있도록 각각 구성하고,
    추출된 좌측 코너포인트와 우측 코너포인트를 정합시키는 스테레오 코너포인트 정합부;
    정합된 코너포인트를 이용하여 상기 객체의 거리 및 방위를 계산하는 거리/방위 계산부; 및
    계산된 객체와 카메라간 거리 및 방위에 근거하여 해당 객체의 영상을 합성하는 영상합성부를 포함하는 스테레오 카메라를 이용한 객체 처리 시스템.
  7. 좌측 카메라 및 우측 카메라를 포함하는 스테레오 카메라로부터 전달된 좌측영상과 우측영상 각각으로부터 객체처리부에서 객체를 분리하고, 미리 저장된 비교대상정보와의 비교를 통해 상기 객체의 종류를 판단하는 단계;
    가속도 센서로부터의 산출된 상기 스테레오 카메라가 부착된 이동체의 가속도에 근거하여 상기 객체의 속도 및 방위를 산출하고, 상기 객체처리부로 상기 객체의 속도 및 방위를 전달하는 단계;
    상기 객체처리부에서 상기 객체와 카메라간 거리 및 방위를 산출하며, 상기 거리, 상기 이동체의 속도 및 상기 방위에 대응하여 위험상황을 판단하는 단계; 및
    상기 위험상황을 판단한 경우에 상기 객체처리부에서 경보 및 기록 제어를 위한 신호를 출력시키는 단계를 포함하며,
    상기 객체의 종류를 판단하는 단계는,
    약한 분류기(Weak Classifier) 집합의 수를 점차 증가시킨 캐스케이드(cascade)로 구성된 스테이지를 반복 수행하는 리얼 부스트 분류기를 하나의 캐스케이드 분류기로 만들고,
    각각의 캐스케이드 구성의 리얼 부스트 분류기에서의 스테이지에서 판별 에러 허용 문턱치와 약한 분류기 집합의 수를 단계별로 증가시키면서 객체를 판별하고,
    다수의 목표 객체에 대하여, 첫 번째 스테이지에서 목표 객체를 분류하지 못하면, 순차적으로 다른 목표 객체를 분류하는 과정으로 진행하는 단계를 더 포함하는 스테레오 카메라를 이용한 객체 처리 방법.
  8. 제7항에 있어서,
    상기 객체와 카메라간 거리 및 방위의 산출은,
    상기 객체의 최외곽선을 생성하는 단계;
    상기 최외곽선을 평활화하여 특징 코너포인트만을 생성하는 단계; 및
    상기 특징 코너포인트를 이용하여 상기 객체와 카메라간 거리 및 방위를 산출하는 단계를 포함하는 스테레오 카메라를 이용한 객체 처리 방법.
  9. 삭제
  10. 제7항에 있어서,
    상기 객체는 이동하는 객체이며,
    상기 이동하는 객체는, 연속하는 3개의 에지 영상으로부터 각각 이웃하는 영상 사이의 절대값과 상기 절대값의 논리적 AND 값을 구하여 이동하는 객체의 영역을 추출하는 스테레오 카메라를 이용한 객체 처리 방법.
KR1020130062526A 2013-05-31 2013-05-31 스테레오 카메라를 이용한 객체 처리 시스템 및 방법 KR101507507B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130062526A KR101507507B1 (ko) 2013-05-31 2013-05-31 스테레오 카메라를 이용한 객체 처리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130062526A KR101507507B1 (ko) 2013-05-31 2013-05-31 스테레오 카메라를 이용한 객체 처리 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20140141140A KR20140141140A (ko) 2014-12-10
KR101507507B1 true KR101507507B1 (ko) 2015-03-31

Family

ID=52458736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130062526A KR101507507B1 (ko) 2013-05-31 2013-05-31 스테레오 카메라를 이용한 객체 처리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101507507B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102492161B1 (ko) * 2021-06-16 2023-01-26 주식회사 에스에프에이 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085285A (ja) * 2004-09-14 2006-03-30 Matsushita Electric Ind Co Ltd 危険車両予測装置
JP2008021177A (ja) * 2006-07-13 2008-01-31 Toyota Central Res & Dev Lab Inc 危険状況判断装置及び危険状況記録装置
KR20100057253A (ko) * 2008-11-21 2010-05-31 현대자동차일본기술연구소 차량 주위의 이미지를 기록하는 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085285A (ja) * 2004-09-14 2006-03-30 Matsushita Electric Ind Co Ltd 危険車両予測装置
JP2008021177A (ja) * 2006-07-13 2008-01-31 Toyota Central Res & Dev Lab Inc 危険状況判断装置及び危険状況記録装置
KR20100057253A (ko) * 2008-11-21 2010-05-31 현대자동차일본기술연구소 차량 주위의 이미지를 기록하는 장치 및 방법

Also Published As

Publication number Publication date
KR20140141140A (ko) 2014-12-10

Similar Documents

Publication Publication Date Title
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
CN108021933B (zh) 神经网络识别装置及识别方法
Charfi et al. Definition and performance evaluation of a robust SVM based fall detection solution
WO2018101247A1 (ja) 画像認識撮像装置
JP4177826B2 (ja) 画像処理装置および画像処理方法
KR101243108B1 (ko) 차량의 후방 영상 표시 장치 및 방법
WO2016199244A1 (ja) 物体認識装置及び物体認識システム
KR101573744B1 (ko) 입력 사운드 신호에 기반한 영상 저장장치 및 방법
KR101116273B1 (ko) 교통사고 인식장치 및 그 방법
KR101967305B1 (ko) 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
KR101382873B1 (ko) 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법
KR20200132468A (ko) 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
KR20200133863A (ko) 첨단 운전자 지원 장치, 이의 캘리브레이션 방법 및 이의 객체를 검출하는 방법
JP4425642B2 (ja) 歩行者抽出装置
KR101326943B1 (ko) 추월차량 경고 시스템 및 추월차량 경고 방법
US9870513B2 (en) Method and device for detecting objects from depth-resolved image data
JP2018156408A (ja) 画像認識撮像装置
JP2009237897A (ja) 画像認識装置
KR20180065048A (ko) 카메라 영상의 뎁쓰-맵을 이용한 이동 차량의 장애물 검출 장치
JP6572696B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
WO2017208601A1 (ja) 画像処理装置、外界認識装置
KR101995466B1 (ko) 특징점을 이용한 스테레오 카메라의 이미지 매칭 방법 및 장치
JP2003028635A (ja) 画像測距装置
JP2008174028A (ja) 対象物検出システム、及び対象物検出方法
KR101507507B1 (ko) 스테레오 카메라를 이용한 객체 처리 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
LAPS Lapse due to unpaid annual fee