KR101756698B1 - 도로 상의 객체를 검출하기 위한 장치 및 그 방법 - Google Patents

도로 상의 객체를 검출하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR101756698B1
KR101756698B1 KR1020150189849A KR20150189849A KR101756698B1 KR 101756698 B1 KR101756698 B1 KR 101756698B1 KR 1020150189849 A KR1020150189849 A KR 1020150189849A KR 20150189849 A KR20150189849 A KR 20150189849A KR 101756698 B1 KR101756698 B1 KR 101756698B1
Authority
KR
South Korea
Prior art keywords
road
road information
estimated
detecting
roi
Prior art date
Application number
KR1020150189849A
Other languages
English (en)
Other versions
KR20170079373A (ko
Inventor
임영철
강민성
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020150189849A priority Critical patent/KR101756698B1/ko
Publication of KR20170079373A publication Critical patent/KR20170079373A/ko
Application granted granted Critical
Publication of KR101756698B1 publication Critical patent/KR101756698B1/ko

Links

Images

Classifications

    • G06K9/00805—
    • G06K9/3233—
    • G06K9/4633—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 도로 상의 객체를 검출하기 위한 장치 및 그 방법에 대한 것이다.
본 발명에 따른 도로 상의 객체를 검출하기 위한 장치는 스테레오 카메라로부터 촬영된 도로의 좌우 영상으로부터 상기 도로의 깊이 영상을 생성하는 깊이 영상 생성부; 상기 생성된 도로의 깊이 영상을 이용하여 도로 정보를 추정하되, 상기 도로 정보 추정 도중 에러가 발생한 것으로 판단한 경우, 이전에 추정된 도로 정보를 반영하여 상기 도로 정보를 추정하는 도로 정보 추정부; 상기 추정된 도로 정보를 이용하여 탐색하고자 하는 관심 영역을 추출하는 관심 영역 추출부; 및 상기 추출된 관심 영역을 탐색하여 상기 도로 위에 존재하는 객체를 검출하는 객체 검출부를 포함한다.
이와 같이 본 발명에 따르면, 도로 상의 객체를 검출하기 위한 도로 정보를 추정하는 도중 현재 영상에 오류가 발생한 경우, 이전 영상에서 추정된 도로 정보와 현재 영상에서 추정된 도로 정보를 이용하여 사후 확률이 가장 높은 것으로 추정된 도로 정보로부터 정확하게 추출된 관심 영역 내에서 보행자나 차량과 같은 특정 객체를 탐색함으로써, 탐색 영역이 감소됨에 따라 객체 검출 속도와 검출 성능이 향상되는 효과가 있다.

Description

도로 상의 객체를 검출하기 위한 장치 및 그 방법{APPARATUS FOR OBJECT DETECTION ON THE ROAD AND METHOD THEREOF}
본 발명은 도로 상의 객체를 검출하기 위한 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 현재 영상에서 추정된 도로 정보에 손실이 발생한 경우 이전 영상에서 추정된 도로 정보가 반영되어 추정된 도로 정보로부터 객체를 검출하는 도로 상의 객체를 검출하기 위한 장치 및 그 방법에 관한 것이다.
도로 위의 객체를 검출하기 위하여 종래에는 단일 카메라를 이용하는 방법이 주로 사용되었다. 도 1은 종래의 단일 카메라를 이용한 객체 검출 과정을 설명하기 위한 도면이다. 단일 카메라를 이용하여 객체를 검출하기 위해서는 도 1에서와 같이, 다중 스케일 슬라이딩 윈도우 기법을 사용하여 영상 내의 모든 영역을 탐색하여 객체를 검출하는 방법을 사용한다. 이러한 방법은 탐색 영역이 많기 때문에 이로 인해 연산 시간이 많이 소요되고, 미 검출률 또한 증가되어 검출 성능 저하의 문제가 발생된다.
이를 해결하기 위해, 최근에는 지능형 자동차, 로봇 등의 분야에서 스테레오 카메라를 이용하여 도로 위의 객체를 검출하는 방법에 대하여 많은 연구가 진행되고 있다.
스테레오 카메라를 이용한 객체 검출 방법은 깊이 영상을 추출하고, 도로 정보를 추정하여, 도로 위의 관심 영역에서만 객체를 탐색함으로써, 탐색 영역을 급격하게 줄일 수 있는 장점이 있다. 이로 인해, 객체 검출 속도와 검출 성능을 동시에 향상시킬 수 있다.
이러한 스테레오 카메라를 이용한 객체 검출 방법이 빠른 탐색 속도를 유지하면서 우수한 성능을 제공하기 위해서는 다양한 외부 환경에서도 도로 정보를 강건하게 추정하여 관심 영역을 정확하게 추출하는 것이 가장 중요하다. 그러나, 일반적으로 스테레오 영상으로부터 계산된 깊이 영상(depth image)은 좌우 화소의 밝기 차이와, 좌우 카메라의 시점 차이 및 차폐 등에 의해 스테레오 영상 정합 오류가 발생하게 되는데, 이로 인해 도로 정보를 추정할 때 역시 추정 오류가 발생된다.
도 2는 종래의 스테레오 카메라를 이용한 객체 검출 과정에서 차폐에 의한 스테레오 정합 오류를 나타낸 도면이고, 도 3은 종래의 스테레오 카메라를 이용한 객체 검출 과정에서 전방 장애 물체에 의한 도로 정보 손실의 예를 도시한 도면이다.
즉, 도 2에서와 같은 부분 차폐에 의해 스테레오 정합 오류가 발생함에 따라 도로 정보를 추정할 때도 추정 오류가 발생될 수 있다. 또한, 도 3에서와 같이 전방에 장애 물체가 많이 존재할 때에는 도로 정보가 손실되어 거의 없기 때문에 깊이 영상으로부터 도로 정보를 정확하게 추정하는 것이 용이하지 않고, 이로 인해 잘못 추정된 도로 정보는 부 정확한 관심 영역(ROI : region of interest)을 제공하게 되어, 전체적으로 객체 검출의 오류를 증가시키는 문제가 발생될 수 있다.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-0959246호(2010.05.20. 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 도로 상의 객체를 검출하기 위한 도로 정보를 추정하는 도중 현재 영상에 오류가 발생한 경우, 이전 영상에서 추정된 도로 정보와 현재 영상에서 추정된 도로 정보를 이용하여 사후 확률이 가장 높은 것으로 추정된 도로 정보로부터 정확하게 추출된 관심 영역 내에서 탐색하여 보행자나 차량과 같은 특정 객체를 검출하는 도로 상의 객체를 검출하기 위한 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 장치는, 스테레오 카메라로부터 촬영된 도로의 좌우 영상으로부터 상기 도로의 깊이 영상을 생성하는 깊이 영상 생성부; 상기 생성된 도로의 깊이 영상을 이용하여 도로 정보를 추정하되, 상기 도로 정보 추정 도중 에러가 발생한 것으로 판단한 경우, 이전에 추정된 도로 정보를 반영하여 상기 도로 정보를 추정하는 도로 정보 추정부; 상기 추정된 도로 정보를 이용하여 탐색하고자 하는 관심 영역을 추출하는 관심 영역 추출부; 및 상기 추출된 관심 영역을 탐색하여 상기 도로 위에 존재하는 객체를 검출하는 객체 검출부를 포함한다.
상기 도로 정보 추정부는, 상기 생성된 깊이 영상을 이용하여 y축으로 축적시켜 v-disparity 맵을 생성하고, 상기 생성된 v-disparity 맵에서 기울기에 해당하는 부분에 대해 허프(Hough) 변환 알고리즘을 이용하여 변환하여 상기 도로 정보를 추정할 수 있다.
상기 도로 정보 추정부는, 상기 도로 정보 추정 도중 에러가 발생한 것으로 판단한 경우, 상기 생성된 도로의 깊이 영상 이전에 생성된 도로의 깊이 영상에 의해 추정된 도로 정보를 반영하여 상기 도로 정보를 추정하되 관측지에 대한 유사도에 따라 가중치를 할당하여 상기 도로 정보를 갱신하여 추정할 수 있다.
상기 관심 영역 추출부는, 상기 추정된 도로 정보와, 일정 폭의 그룹으로 영상을 표현하는 스틱셀(stixel) 기법을 이용하여 상기 관심 영역을 추출할 수 있다.
상기 객체 검출부는, 상기 관심 영역을 탐색하여 상기 도로 위에 존재하는 객체의 존재 유무를 판단하고 상기 객체가 존재하는 것으로 판단된 경우, 객체의 종류별로 기 저장된 데이터베이스를 이용하여 상기 판단된 객체에 대응하는 객체의 종류를 검출할 수 있다.
또한, 본 발명의 실시예에 따른 객체 검출 장치를 이용한 도로 상의 객체를 검출하기 위한 방법은, 스테레오 카메라로부터 촬영된 도로의 좌우 영상으로부터 상기 도로의 깊이 영상을 생성하는 단계; 상기 생성된 도로의 깊이 영상을 이용하여 도로 정보를 추정하되, 상기 도로 정보 추정 도중 에러가 발생한 것으로 판단한 경우, 이전에 추정된 도로 정보를 반영하여 상기 도로 정보를 추정하는 단계; 상기 추정된 도로 정보를 이용하여 탐색하고자 하는 관심 영역을 추출하는 단계; 및 상기 추출된 관심 영역을 탐색하여 상기 도로 위에 존재하는 객체를 검출하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 도로 상의 객체를 검출하기 위한 도로 정보를 추정하는 도중 현재 영상에 오류가 발생한 경우, 이전 영상에서 추정된 도로 정보와 현재 영상에서 추정된 도로 정보를 이용하여 사후 확률이 가장 높은 것으로 추정된 도로 정보로부터 정확하게 추출된 관심 영역 내에서 보행자나 차량과 같은 특정 객체를 탐색함으로써, 탐색 영역이 감소됨에 따라 객체 검출 속도와 검출 성능이 향상되는 효과가 있다.
또한, 본 발명은 스테레오 비전 카메라를 이용하여 촬영된 좌우 영상을 가공할 때 스테레오 정합 오류가 발생하거나, 전방 장애 물체로 인해 도로 정보의 손실이 많을 때에도 관심 영역을 정확하게 추출할 수 있으며 추출된 관심 영역에 대하여 사전에 학습된 분류기를 이용하여 객체 유무를 판단함으로써, 특정 객체를 정확하게 검출할 수 있다.
또한, 본 발명은 전방 보행자 또는 차량 등의 객체를 검출하고, 장애 물체가 없는 도로 영역을 추정함으로써 자율 주행이 가능한 무인 자동차, 로봇등의 분야에 활용될 수 있다.
도 1은 종래의 단일 카메라를 이용한 객체 검출 과정을 설명하기 위한 도면이다.
도 2는 종래의 스테레오 카메라를 이용한 객체 검출 과정에서 차폐에 의한 스테레오 정합 오류를 나타낸 도면이다.
도 3은 종래의 스테레오 카메라를 이용한 객체 검출 과정에서 전방 장애 물체에 의한 도로 정보 손실의 예를 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 장치를 나타낸 블록구성도이다.
도 5는 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 방법의 동작 흐름을 도시한 순서도이다.
도 6은 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 방법의 도로 정보 추정 단계의 세부 동작 흐름을 도시한 순서도이다.
도 7은 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 방법에서 스테레오 기반의 도로 정보를 추정하는 과정을 설명하기 위한 도면이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저, 도 4를 통해 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 장치에 대하여 설명한다.
도 4는 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 장치를 나타낸 블록구성도이다.
도 4에서와 같이 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 장치(100)는, 깊이 영상 생성부(110), 도로 정보 추정부(120), 관심 영역 추출부(130) 및 객체 검출부(140)를 포함한다.
깊이 영상 생성부(110)는 스테레오 카메라(미도시)로부터 촬영된 도로의 좌우 영상으로부터 도로의 깊이(depth) 영상을 생성한다.
자세히는, 스테레오 카메라로부터 촬영된 도로의 좌우 영상을 이용하여 도로 기울기 추출하고, 스테레오 정합 알고리즘을 이용하여 깊이 영상을 생성한다.
도로 정보 추정부(120)는 깊이 영상 생성부(110)에서 생성된 도로의 깊이 영상을 이용하여 도로 정보를 추정하되, 도로 정보 추정 도중 에러가 발생한 것으로 판단한 경우, 이전에 추정된 도로 정보를 반영하여 도로 정보를 추정한다.
자세히는, 깊이 영상 생성부(110)에서 생성된 깊이 영상을 이용하여 y축으로 축적(accumulation)시켜 v-disparity 맵을 생성한다. 이때, 생성된 v-disparity 맵에서 기울기에 해당하는 부분에 대해 허프(Hough) 변환 알고리즘이나 RANSAC 알고리즘을 이용하여 도로 정보를 추정한다.
이때, 도로 정보 추정부(120)는 도로 정보 추정 도중 에러가 발생한 것으로 판단한 경우, 생성된 도로의 깊이 영상 이전에 생성된 도로의 깊이 영상에 의해 추정된 도로 정보를 반영하여 도로 정보를 추정하되 관측지에 대한 유사도에 따라 가중치를 할당하여 도로 정보를 갱신하고 추정한다.
이때, 부분 차폐에 의해 스테레오 정합시 오류가 발생하거나 전방에 장애 물체가 다수 존재함에 따라 도로 정보가 손실되는 등 도로 정보를 추정할 수 없는 경우를 에러 발생 판단 요소로 정의할 수 있다.
관심 영역 추출부(130)는 도로 정보 추정부(120)에서 추정된 도로 정보를 이용하여 탐색하고자 하는 관심 영역(ROI : region of interest)을 추출한다.
즉, 본 발명은 탐색하고자 하는 관심 영역을 추출하여 탐색 영역이 감소됨에 따라 객체 검출 속도와 검출 성능이 향상되는 효과가 있다.
이때, 관심 영역 추출부(130)는, 도로 정보 추정부(120)에서 추정된 도로 정보와, 스틱셀(stixel) 기법을 이용하여 관심 영역을 추출할 수도 있다.
여기서, 스틱셀 기법은 도로 위에 직립하여 있는 장애 물체들은 동일한 시차 정보를 갖는다는 가정에서 화소 대신에 일정 폭의 스틱(stick)과 같은 그룹으로 영상을 표현하는 방법을 의미하며, 이것을 그룹핑하여 관심 영역을 추출할 수도 있다.
객체 검출부(140)는 관심 영역 추출부(130)에서 추출된 관심 영역을 탐색하여 도로 위에 존재하는 객체를 검출한다.
자세히는, 관심 영역을 탐색하여 도로 위에 존재하는 객체의 존재 유무를 판단하고 객체가 존재하는 것으로 판단되면, 객체의 종류별로 기 저장된 데이터베이스(150)를 이용하여 판단된 객체에 대응하는 객체의 종류를 검출한다.
이때, 객체의 존재 유무 판단은 기계 학습으로 학습된 모델(예를 들면 SVM(support vector machine), boosting, neural network 등과 같은 분류기)를 이용하여 판단할 수도 있다.
예를 들어, 기계 학습으로 학습된 모델을 이용하여 객체가 존재하는지를 판단하고, 객체가 존재하는 경우 사람 및 자동차와 같이 객체의 종류를 검출할 수도 있다.
이하에서는 도 5 및 도 6을 통해 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 방법에 대하여 설명한다.
도 5는 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.
본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 방법에 따르면, 먼저, 객체 검출 장치(100)의 깊이 영상 생성부(110)는 스테레오 카메라로부터 촬영된 도로의 좌우 영상으로부터 도로의 깊이 영상을 생성한다(S510).
도 6은 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 방법에서 스테레오 기반의 도로 정보를 추정하는 과정을 설명하기 위한 도면이다.
자세히는, S510 단계에서는 도 6에서와 같이 스테레오 카메라로부터 촬영된 도로의 좌우 영상을 이용하여 도로의 기울기(a)를 추출하고, 스테레오 정합 알고리즘을 이용하여 해당 도로의 깊이 영상을 생성한다.
그 다음, 도로 정보 추정부(120)는 S510 단계에서 생성된 도로의 깊이 영상을 이용하여 도로 정보를 추정한다(S520).
도 6은 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 방법의 도로 정보 추정 단계의 세부 동작 흐름을 도시한 순서도이다.
자세히는, 도 6에서와 같이 S510 단계에서 생성된 깊이 영상을 이용하여 y축으로 축적(accumulation)시켜 v-disparity 맵을 생성한다(S521). 이때, 생성된 v-disparity 맵에서 기울기에 해당하는 부분에 대해 허프(Hough) 변환 알고리즘이나 RANSAC 알고리즘을 이용하여 도로 정보를 추정한다(S522).
만약, 도로 정보 추정부(120)는 도로 정보 추정 도중 에러가 발생한 것으로 판단한 경우, S510 단계에서 생성된 도로의 깊이 영상 이전에 생성된 도로의 깊이 영상에 의해 추정된 도로 정보를 반영하여 도로 정보를 추정하되 관측지에 대한 유사도에 따라 가중치를 할당하여 도로 정보를 갱신하고 추정한다.
여기서, 부분 차폐에 의해 스테레오 정합시 오류가 발생하거나 전방에 장애 물체가 다수 존재함에 따라 도로 정보가 손실되는 등 도로 정보를 추정할 수 없는 경우를 에러 발생 판단 요소로 정의할 수 있다.
또한, 도로 정보 추정부(120)는 도로 정보를 강건하게 추정하기 위하여, 두 개의 관측 변수인
Figure 112015128882807-pat00001
에 대하여, 통계적으로 빈도 수가 높은 N 개를 선택한다(S523). N 개의 선택된 변수
Figure 112015128882807-pat00002
와 이전 상태 변수
Figure 112015128882807-pat00003
에 의하여 사후 확률 즉, 갱신되는 도로 정보
Figure 112015128882807-pat00004
을 아래의 수학식 1에서와 같이 계산하여, 현재의 상태 변수
Figure 112015128882807-pat00005
를 결정한다(S524).
Figure 112015128882807-pat00006
여기서,
Figure 112015128882807-pat00007
는 정규화 상수를 나타내고,
Figure 112015128882807-pat00008
는 N개의 변수
Figure 112015128882807-pat00009
와 현재 상태 변수
Figure 112015128882807-pat00010
에 대한 사전 관측치인
Figure 112015128882807-pat00011
와의 거리에 따른 가중치를 나타낸다.
즉, 이전 상태 변수에 대한 사전 관측치와 가까운 거리에 있는 관측 변수에 좀 더 많은 가중치를 할당하여 현재의 도로 정보를 갱신한다(S525).
이때, 우도
Figure 112015128882807-pat00012
는 허프 변환에서 voting되는 빈도수
Figure 112015128882807-pat00013
에 의하여 아래의 수학식 2와 같이 상대적 확률에 의해 계산된다.
Figure 112015128882807-pat00014
즉, 빈도수가 높은 기울기(a)를 기울기(a)에 대한 신뢰도가 높은 것으로 판단하여 해당 기울기를 이용하여 도로 정보를 갱신하고 추정한다.
이때, 갱신된 도로 정보는 도로 경사가 급격하게 변하지 않는다는 가정하에, 가우시안 확률로 모델링할 수 있다.
그 다음, 관심 영역 추출부(130)는 S520 단계에서 추정된 도로 정보를 이용하여 탐색하고자 하는 관심 영역(ROI : region of interest)을 추출한다(S530).
즉, 본 발명은 탐색하고자 하는 관심 영역을 추출하여 탐색 영역이 감소됨에 따라 객체 검출 속도와 검출 성능이 향상되는 효과가 있다.
이때, 관심 영역 추출부(130)는, 도로 정보 추정부(120)에서 추정된 도로 정보와, 스틱셀(stixel) 기법을 이용하여 관심 영역을 추출할 수도 있다.
여기서, 스틱셀 기법은 도로 위에 직립해 있는 장애 물체들은 동일한 시차 정보를 갖는다는 가정에서 화소 대신에 일정 폭의 스틱(stick)과 같은 그룹으로 영상을 표현하는 방법을 의미하며, 이것을 그룹핑하여 관심 영역을 추출할 수도 있다.
마지막으로 객체 검출부(140)는 관심 영역 추출부(130)에서 추출된 관심 영역을 탐색하여 도로 위에 존재하는 객체를 검출한다(S540).
자세히는, 관심 영역을 탐색하여 도로 위에 존재하는 객체의 존재 유무를 판단하고 객체가 존재하는 것으로 판단되면, 객체의 종류별로 기 저장된 데이터베이스(150)를 이용하여 판단된 객체에 대응하는 객체의 종류를 검출한다.
이때, 객체의 존재 유무 판단은 기계 학습으로 학습된 모델(예를 들면 SVM(support vector machine), boosting, neural network 등과 같은 분류기)를 이용하여 판단할 수도 있다.
예를 들어, 기계 학습으로 학습된 모델을 이용하여 객체가 존재하는지를 판단하고, 객체가 존재하는 경우 사람 및 자동차와 같이 객체의 종류를 검출할 수도 있다.
상술한 바와 같이, 본 발명의 실시예에 따른 도로 상의 객체를 검출하기 위한 장치 및 그 방법은 도로 상의 객체를 검출하기 위한 도로 정보를 추정하는 도중 현재 영상에 오류가 발생한 경우, 이전 영상에서 추정된 도로 정보와 현재 영상에서 추정된 도로 정보를 이용하여 사후 확률이 가장 높은 것으로 추정된 도로 정보로부터 정확하게 추출된 관심 영역 내에서 보행자나 차량과 같은 특정 객체를 탐색함으로써, 탐색 영역이 감소됨에 따라 객체 검출 속도와 검출 성능이 향상되는 효과가 있다.
또한, 스테레오 비전 카메라를 이용하여 촬영된 좌우 영상을 가공할 때 스테레오 정합 오류가 발생하거나, 전방 장애 물체로 인해 도로 정보의 손실이 많을 때에도 관심 영역을 정확하게 추출할 수 있으며 추출된 관심 영역에 대하여 사전에 학습된 분류기를 이용하여 객체 유무를 판단함으로써, 특정 객체를 정확하게 검출할 수 있다.
또한, 전방 보행자 또는 차량 등의 객체를 검출하고, 장애 물체가 없는 도로 영역을 추정함으로써 자율 주행이 가능한 무인 자동차, 로봇등의 분야에 활용될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100 : 객체 검출 장치 110 : 깊이 영상 생성부
120 : 도로 정보 추정부 130 : 관심 영역 추출부
140 : 객체 검출부 150 : 데이터베이스

Claims (10)

  1. 스테레오 카메라로부터 촬영된 도로의 좌우 영상으로부터 상기 도로의 깊이 영상을 생성하는 깊이 영상 생성부;
    상기 생성된 깊이 영상을 이용하여 y축으로 축적시켜 v-disparity 맵을 생성하고, 상기 생성된 v-disparity 맵에서 기울기에 해당하는 부분에 대해 허프(Hough) 변환 알고리즘을 이용하여 변환하여 도로 정보를 추정하되, 상기 도로 정보 추정 도중 에러가 발생한 것으로 판단한 경우, 상기 생성된 도로의 깊이 영상 이전에 생성된 도로의 깊이 영상에 의해 추정된 도로 정보를 반영하여 상기 도로 정보를 추정하고, 관측지에 대한 유사도에 따라 가중치를 할당하여 상기 도로 정보를 갱신하여 추정하는 도로 정보 추정부;
    상기 추정된 도로 정보를 이용하여 탐색하고자 하는 관심 영역을 추출하는 관심 영역 추출부; 및
    상기 추출된 관심 영역을 탐색하여 상기 도로 위에 존재하는 객체를 검출하는 객체 검출부를 포함하는 객체 검출 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 관심 영역 추출부는,
    상기 추정된 도로 정보와, 일정 폭의 그룹으로 영상을 표현하는 스틱셀(stixel) 기법을 이용하여 상기 관심 영역을 추출하는 객체 검출 장치.
  5. 제1항에 있어서,
    상기 객체 검출부는,
    상기 관심 영역을 탐색하여 상기 도로 위에 존재하는 객체의 존재 유무를 판단하고 상기 객체가 존재하는 것으로 판단된 경우, 객체의 종류별로 기 저장된 데이터베이스를 이용하여 상기 판단된 객체에 대응하는 객체의 종류를 검출하는 객체 검출 장치.
  6. 객체 검출 장치를 이용한 도로 상의 객체 검출 방법에 있어서,
    스테레오 카메라로부터 촬영된 도로의 좌우 영상으로부터 상기 도로의 깊이 영상을 생성하는 단계;
    상기 생성된 깊이 영상을 이용하여 y축으로 축적시켜 v-disparity 맵을 생성하고, 상기 생성된 v-disparity 맵에서 기울기에 해당하는 부분에 대해 허프(Hough) 변환 알고리즘을 이용하여 변환하여 도로 정보를 추정하되, 상기 도로 정보 추정 도중 에러가 발생한 것으로 판단한 경우, 상기 생성된 도로의 깊이 영상 이전에 생성된 도로의 깊이 영상에 의해 추정된 도로 정보를 반영하여 상기 도로 정보를 추정하고, 관측지에 대한 유사도에 따라 가중치를 할당하여 상기 도로 정보를 갱신하여 추정하는 단계;
    상기 추정된 도로 정보를 이용하여 탐색하고자 하는 관심 영역을 추출하는 단계; 및
    상기 추출된 관심 영역을 탐색하여 상기 도로 위에 존재하는 객체를 검출하는 단계를 포함하는 객체 검출 방법.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 관심 영역을 추출하는 단계는,
    상기 추정된 도로 정보와, 일정 폭의 그룹으로 영상을 표현하는 스틱셀(stixel) 기법을 이용하여 상기 관심 영역을 추출하는 객체 검출 방법.
  10. 제6항에 있어서,
    상기 객체를 검출하는 단계는,
    상기 관심 영역을 탐색하여 상기 도로 위에 존재하는 객체의 존재 유무를 판단하고 상기 객체가 존재하는 것으로 판단된 경우, 객체의 종류별로 기 저장된 데이터베이스를 이용하여 상기 판단된 객체에 대응하는 객체의 종류를 검출하는 객체 검출 방법.
KR1020150189849A 2015-12-30 2015-12-30 도로 상의 객체를 검출하기 위한 장치 및 그 방법 KR101756698B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150189849A KR101756698B1 (ko) 2015-12-30 2015-12-30 도로 상의 객체를 검출하기 위한 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150189849A KR101756698B1 (ko) 2015-12-30 2015-12-30 도로 상의 객체를 검출하기 위한 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170079373A KR20170079373A (ko) 2017-07-10
KR101756698B1 true KR101756698B1 (ko) 2017-07-12

Family

ID=59352753

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150189849A KR101756698B1 (ko) 2015-12-30 2015-12-30 도로 상의 객체를 검출하기 위한 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101756698B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101977503B1 (ko) * 2017-12-11 2019-08-28 재단법인대구경북과학기술원 도로 성분의 분포에 기초하여 객체를 검출하는 방법 및 장치
US10503966B1 (en) * 2018-10-11 2019-12-10 Tindei Network Technology (Shanghai) Co., Ltd. Binocular pedestrian detection system having dual-stream deep learning neural network and the methods of using the same
KR20200075053A (ko) * 2018-12-07 2020-06-26 현대자동차주식회사 사물 인식 기반 주행 패턴 관리 서버, 그를 이용한 차량의 주행 제어 장치 및 그 방법
KR102476374B1 (ko) * 2021-07-16 2022-12-08 세종대학교산학협력단 무인 비행체의 원격 제어를 위한 시스템 및 이에 의해 수행되는 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101371275B1 (ko) * 2012-11-05 2014-03-26 재단법인대구경북과학기술원 스테레오 영상 기반 다중 객체 추적 방법 및 이의 프로그램을 기록한 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101371275B1 (ko) * 2012-11-05 2014-03-26 재단법인대구경북과학기술원 스테레오 영상 기반 다중 객체 추적 방법 및 이의 프로그램을 기록한 기록매체

Also Published As

Publication number Publication date
KR20170079373A (ko) 2017-07-10

Similar Documents

Publication Publication Date Title
CN111693972B (zh) 一种基于双目序列图像的车辆位置与速度估计方法
US10217229B2 (en) Method and system for tracking moving objects based on optical flow method
CN107851318B (zh) 用于对象跟踪的系统和方法
Wu et al. Lane-mark extraction for automobiles under complex conditions
KR102462278B1 (ko) 어떤 대상의 자기 동작 추정을 위한 방법
US20180158193A1 (en) Systems and methods for non-obstacle area detection
KR101756698B1 (ko) 도로 상의 객체를 검출하기 위한 장치 및 그 방법
JP2016081525A (ja) 車両用画像認識システム、及び対応法
EP2840528B1 (en) Method and apparatus for tracking object
CN111322993B (zh) 一种视觉定位方法和装置
EP2960829A2 (en) Lane boundary estimation device and lane boundary estimation method
CN103077521A (zh) 一种用于视频监控的感兴趣区域提取方法
KR101988551B1 (ko) 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법
Lin et al. Detecting moving objects using a camera on a moving platform
KR101901487B1 (ko) 저사양 영상 기기에서의 실시간 객체 추적 시스템 및 방법
JP5228148B2 (ja) 画像データから位置を推定する位置推定方法、位置推定装置及び位置推定プログラム
Long et al. A real-time dense stereo matching method for critical environment sensing in autonomous driving
Ozgunalp Robust lane‐detection algorithm based on improved symmetrical local threshold for feature extraction and inverse perspective mapping
Keller et al. Dense stereo-based roi generation for pedestrian detection
KR101603293B1 (ko) 차선인식방법
KR102172849B1 (ko) 동영상에서 근접해오는 차량 검출 시스템 및 그 방법
Agunbiade et al. Enhancement optimization of drivable terrain detection system for autonomous robots in light intensity scenario
Ramirez et al. Go with the flow: Improving Multi-View vehicle detection with motion cues
Karthiprem et al. Recognizing the moving vehicle while driving on Indian roads
Manoharan et al. Detection of unstructured roads from a single image for autonomous navigation applications

Legal Events

Date Code Title Description
GRNT Written decision to grant