KR101282742B1 - 3차원 영상을 이용한 객체 검출 장치 및 그 방법 - Google Patents

3차원 영상을 이용한 객체 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR101282742B1
KR101282742B1 KR1020110117802A KR20110117802A KR101282742B1 KR 101282742 B1 KR101282742 B1 KR 101282742B1 KR 1020110117802 A KR1020110117802 A KR 1020110117802A KR 20110117802 A KR20110117802 A KR 20110117802A KR 101282742 B1 KR101282742 B1 KR 101282742B1
Authority
KR
South Korea
Prior art keywords
image
detection mask
pyramid
size
detection
Prior art date
Application number
KR1020110117802A
Other languages
English (en)
Other versions
KR20130052393A (ko
Inventor
김종환
이충희
임영철
박지호
권순
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020110117802A priority Critical patent/KR101282742B1/ko
Publication of KR20130052393A publication Critical patent/KR20130052393A/ko
Application granted granted Critical
Publication of KR101282742B1 publication Critical patent/KR101282742B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 3차원 영상을 이용한 객체 검출 장치 및 그 방법에 관한 것으로, 본 발명의 일 실시예에 따른 3차원 영상을 이용한 객체 검출 장치는, 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득부와, 상기 2차원 영상에 대한 영상 피라미드를 생성하고, 상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리부와, 상기 영상 피라미드에서 상기 객체 크기에 대응하는 2차원 영상 레벨을 선택하고, 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 상기 객체를 검출하는 객체 검출부를 포함한다.
이와 같이, 본 발명에 따르면 영상에 포함된 객체를 검출함에 있어서, 3차원 영상을 이용하여 객체의 거리 정보를 이용하여 객체의 크기 변화에 따라 객체를 검출함으로써, 객체 검출의 시간의 단축시킬 수 있으며, 객체 검출의 정확도를 향상시킬 수 있다.

Description

3차원 영상을 이용한 객체 검출 장치 및 그 방법{APPARATUS AND METHOD FOR DETECTING OBJECT USING 3D IMAGE}
본 발명은 3차원 영상을 이용한 객체 검출 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 객체에 대한 3차원 영상의 거리 정보를 이용하여 객체를 검출하는 기술이 개시된다.
컴퓨터 비전 분야에서는 컴퓨터가 영상에 포함되어 있는 다양한 객체들을 사람의 눈으로 인식하는 것처럼 할 수 있도록 하기 위해서 많은 연구가 진행되고 있다. 컴퓨터 비전 분야의 기술들은 복잡한 수학을 기반으로 하는 방법들이 발표되고 있다. 하지만 개발되어진 방법들은 현재까지도 인간이 눈으로 객체를 인식하는 만큼의 정확성이나 객체 인식 속도 측면에서의 성능이 만족스럽지 못한 상태이다. 영상에 포함되어 있는 객체를 인식하는데 있어서 이를 어렵게 만드는 원인은 주로 영상에 있는 객체의 형태가 변화하는 것에 있다. 객체는 그 위치 또는 촬영 시점에 따라 확대, 축소(이상 크기변화), 회전하며 포즈도 변화하게 된다.
특히 객체의 크기변화에 강인한 인식을 하기 위해서 많은 연구자들은 영상 피라미드(스케일-스페이스 : Scale-Space)기법을 사용하고 있다. 객체의 가능한 모든 크기의 모습에 대해 대응하기 위해서 이것을 영상 피라미드로 구성하는 방법이다. 영상피라미드를 적용하는 객체 검출 기법은 크기 두 가지 방법으로 분류할 수 있다. 첫 번째로 입력 영상을 피라미드로 구성하여 일정한 크기의 검출 마스크를 이용하여 검출하는 방법이 있다. 두 번째로 입력되는 영상의 크기는 고정되어 있고 검출하는 마스크를 피라미드로 구성하여 객체의 크기변화에 대응하는 방법이 있다.
하지만 이러한 영상 피라미드를 이용하는 방법은 영상에서 나타날 수 있는 객체의 모든 크기에 대하여 적용 할 수 있다는 장점을 가지고 있지만, 영상 피라미드 전체 영역을 탐색해야 함으로써 탐색시간이 오래 걸리게 되고, 탐색이 필요하지 않은 부분까지 탐색하게 되어 오 검출의 결과가 나타날 수 있는 문제점을 가지고 있다.
이에 본 발명자는 이러한 문제점에 대하여 3차원 영상을 이용하여 객체를 검출함으로써, 보다 신속하고 정확하게 객체를 탐색하는 기술을 연구하게 되었다. 본 발명의 배경이 되는 기술은 대한민국 특허공개공보 제10-2005-0063991호(2005. 06. 29)에 개시되어 있다.
본 발명이 이루고자 하는 기술적인 과제는, 영상에 포함된 객체를 검출함에 있어서, 3차원 영상을 이용하여 객체의 거리 정보를 이용하여 객체의 크기 변화에 따라 객체를 검출하는 기술이 개시된다.
본 발명의 일 실시예에 따른 3차원 영상을 이용한 객체 검출 장치는, 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득부와, 상기 2차원 영상에 대한 영상 피라미드를 생성하고, 상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리부와, 상기 영상 피라미드에서 상기 객체 크기에 대응하는 2차원 영상 레벨을 선택하고, 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 상기 객체를 검출하는 객체 검출부를 포함한다.
또한, 상기 영상 획득부는, 하나 이상의 객체를 포함하는 2차원 영상을 획득하는 2차원 영상 획득부와, 상기 객체의 거리 정보를 포함하는 3차원 영상을 획득하는 3차원 영상 획득부를 포함할 수 있다.
상기 영상 처리부는, 상기 2차원 영상에 대한 영상 피라미드를 생성하는 영상 피라미드 생성부와, 상기 3차원 영상을 상기 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하는 영역 분할부와, 상기 객체 후보 영역에 해당하는 객체의 크기를 추정하는 객체 크기 추정부를 포함할 수 있다.
상기 객체 검출부는, 상기 영상 피라미드에서 상기 객체 크기에 대응하는 2차원 영상 레벨을 선택하는 영상 레벨 선택부와, 상기 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 상기 객체를 추출하는 객체 추출부를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 3차원 영상을 이용한 객체 검출 장치는, 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득부와, 상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리부와, 검출 마스크에 대해 검출 마스크 피라미드를 생성하는 검출 마스크 피라미드 생성부와, 상기 검출 마스크 피라미드에서 상기 객체 크기에 대응하는 검출 마스크 레벨을 선택하고, 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 상기 2차원 영상으로부터 상기 객체를 검출하는 객체 검출부를 포함한다.
또한, 상기 영상 획득부는, 하나 이상의 객체를 포함하는 2차원 영상을 획득하는 2차원 영상 획득부와, 상기 객체의 거리 정보를 포함하는 3차원 영상을 획득하는 3차원 영상 획득부를 포함할 수 있다.
또한, 상기 영상 처리부는, 상기 3차원 영상을 상기 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하는 영역 분할부와, 상기 객체 후보 영역에 해당하는 객체의 크기를 추정하는 객체 크기 추정부를 포함할 수 있다.
또한, 상기 객체 검출부는, 상기 검출 마스크 피라미드에서 상기 객체 크기에 대응하는 검출 마스크 레벨을 선택하는 검출 마스크 레벨 선택부와, 상기 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 상기 2차원 영상으로부터 상기 객체를 추출하는 객체 추출부를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 3차원 영상을 이용한 객체 검출 방법은, 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득 단계와, 상기 2차원 영상에 대한 영상 피라미드를 생성하고, 상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리 단계와, 상기 영상 피라미드에서 상기 객체 크기에 대응하는 2차원 영상 레벨을 선택하고, 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 상기 객체를 검출하는 객체 검출 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 3차원 영상을 이용한 객체 검출 방법은, 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득 단계와, 상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리 단계와, 검출 마스크에 대해 검출 마스크 피라미드를 생성하는 검출 마스크 피라미드 생성 단계와, 상기 검출 마스크 피라미드에서 상기 객체 크기에 대응하는 검출 마스크 레벨을 선택하고, 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 상기 2차원 영상으로부터 상기 객체를 검출하는 객체 검출 단계를 포함한다.
이와 같이, 본 발명에 따르면 영상에 포함된 객체를 검출함에 있어서, 3차원 영상을 이용하여 객체의 거리 정보를 이용하여 객체의 크기 변화에 따라 객체를 검출함으로써, 객체 검출의 시간의 단축시킬 수 있으며, 객체 검출의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상을 이용한 객체 검출 장치의 구성도,
도 2는 도 1에 따른 객체 검출 장치의 객체 검출 방법의 흐름도,
도 3은 본 발명의 또 다른 실시예에 따른 3차원 영상을 이용한 객체 검출 장치의 구성도,
도 4는 도 3에 따른 객체 검출 장치의 객체 검출 방법의 흐름도,
도 5는 도 1에 따른 객체 검출 장치를 이용하여 2차원 영상의 영상 피라미드를 생성하는 것을 설명하기 위한 예시도,
도 6은 도 1에 따른 객체 검출 장치를 이용하여 3차원 영상으로부터 객체 후보 영역을 설정하는 것을 설명하기 위한 예시도,
도 7은 도 1에 따른 객체 검출 장치를 이용하여 객체의 크기에 따른 검출 마스크를 선택하는 것을 설명하기 위한 예시도,
도 8은 도 1에 따른 객체 검출 장치를 이용하여 2차원 영상 내에 포함되는 객체를 검출하는 것을 설명하기 위한 예시도,
도 9는 도 3에 따른 객체 검출 장치를 이용하여 검출 마스크 피라미드를 생성하는 것을 설명하기 위한 예시도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 사용되는 용어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있다. 그러므로 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상을 이용한 객체 검출 장치의 구성도이고, 도 2는 도 1에 따른 객체 검출 장치의 객체 검출 방법의 흐름도이다.
도 1을 참조하면, 객체 검출 장치(100)는 영상 획득부(110), 영상 처리부(120), 객체 검출부(130)를 포함한다. 영상 획득부(110)는 2차원 영상 획득부(111)와3차원 영상 획득부(112)를 포함하며, 객체에 대한 2차원 영상과 3차원 영상을 획득한다. 예를 들어, 수동 방식의 센서인 경우 같은 방식의 두 가지 센서(CCD, IR, etc.)를 스테레오 구조를 이용하고, 능동 방식의 센서인 경우 키넥트(Kinect)나 TOF(Time of Flight)를 이용하여 거리 정보를 포함하는 3차원 영상을 생성한다.
한편, 영상 처리부(120)는 영상 피라미드 생성부(121), 영역 분할부(122), 객체크기 추정부(123)를 포함한다. 영상 피라미드 생성부(121)는 영상 획득부(110)의 2차원 영상 획득부(111)로부터 2차원 영상을 입력받아 영상 피라미드를 생성한다. 영역 분할부(122)는 3차원 영상 획득부(112)로부터 3차원 영상을 입력받아 거리 정보를 이용하여 영역을 분할하고, 하나 이상의 객체 후보 영역을 생성한다. 여기서, 객체 후보 영역은 영상 내에 포함되는 객체로 인식되는 영역을 의미한다. 객체 크기 추정부(123)는 객체 후보 영역에 따른 객체 크기를 추정한다.
한편, 객체 검출부(130)는 영상 레벨 선택부(131), 객체 추출부(132)를 포함한다. 영상 레벨 선택부(131)는 영상 처리부(120)의 영상 피라미드 생성부(121)로부터 생성된 2차원 영상 피라미드에 포함되는 복수의 2차원 영상 중에 객체 후보 영역에 포함되는 객체 크기에 대응하는 2차원 영상 레벨을 선택한다. 또한, 객체 추출부(132)는 영상 레벨 선택부(131)에서 선택된 2차원 영상 레벨에서 객체 크기에 대응하는 검출 마스크를 이용하여 객체를 추출한다.
이하, 도 2를 참조하여 3차원 영상을 이용한 객체 검출 방법을 설명하며, 도 1의 객체 검출 장치의 구성을 이용하여 설명하도록 한다.
도 2를 참조하면, 먼저 영상 획득부(110)는 객체에 대한 2차원 영상 및 3차원 영상을 입력받는다(S200). 이 경우, 2차원 영상 획득부(111)와 3차원 영상 획득부(112)는 하나로 구성될 수 있으며, 2차원 영상으로부터 3차원 영상을 구현하는 것도 가능하다. 3차원 영상 획득부(112)가 획득한 3차원 영상은 객체에 대한 깊이 정보 또는 거리 정보로 불리우는 3차원 정보가 포함된다. 영상 획득부(110)는 획득된 2차원 영상 및 3차원 영상을 영상 처리부(120)로 출력한다.
다음으로, 영상 처리부(120)는 영상 피라미드 생성부(121)에서 2차원 영상에 대한 영상 피라미드를 생성하고, 영역 분할부(122)에서3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 객체 크기 추정부(123)에서 각 객체 후보 영역에 대한 객체 크기를 추정한다(S210).
이하, 도 5 또는 도6을 참조하여 S210 단계에 대해 구체적으로 설명하도록 한다.
도 5는 도 1에 따른 객체 검출 장치를 이용하여 2차원 영상의 영상 피라미드를 생성하는 것을 설명하기 위한 예시도이다.
도 5를 참조하면, 영상 피라미드 생성부(121)는 2차원 영상 획득부(111)가 획득한 2차원 영상(500)에 대하여 크기를 달리 설정하여 영상 피라미드(510)를 생성한다. 영상 피라미드(510)에는 복수의 2차원 영상(500)들이 크기를 달리하여 생성된다. 영상 피라미드(510) 내에 포함된 2차원 영상(500)에 대하여 특징을 추출할 수 있다. 예를 들어, 영상 피라미드 생성부(121)는 Hessian 행렬 기반의 필터를 이용하여 특징을 추출할 수 있다. 이 방법은 스케일 스페이스 상에서 특징을 추출하여 영상 내에 존재하는 객체의 크기변화에 대하여 대응하기 위해 크기변화가 발생하였을 때 객체에서 추출되는 특징을 미리 추출할 수 있다.
도 6은 도 1에 따른 객체 검출 장치를 이용하여 3차원 영상으로부터 객체 후보 영역을 설정하는 것을 설명하기 위한 예시도이다.
도 6을 참조하면, 영역 분할부(122)는 3차원 영상 획득부(112)에서 획득한 3차원 영상(600)에서 거리 정보를 이용하여 3차원 분할 영상(610)을 생성한다. 이 경우, 3차원 분할 영상(610)은 3차원 영상(600)에서 동일한 명암값을 가지거나 거리 정보가 일치하는 영역을 동일 영역으로 판단하여 복수의 영역으로 분할된 영상을 의미한다.
또한, 영역 분할부(122)는 3차원 분할 영상(610)에서 객체로 추정되는 영역인 객체 후보 영역(611)을 설정한다. 예를 들어, 영상 내에 자동차, 사람, 나무 등과 같은 객체가 포함되는 경우에는 해당 객체에 대한 거리 정보를 이용하여 영역 분할이 이뤄지고, 이를 기초로 객체 후보 영역(611)으로 설정한다.
또한, 객체 크기 추정부(123)는 영역 분할부(122)로부터 입력된 3차원 분할 영상(610) 내에 존재하는 객체 후보 영역(611)을 분석하여 객체 크기를 추정한다. 예를 들어, 객체 후보 영역(611)의 넓이 등을 기초로 객체의 크기를 추정하는 것이 가능하다.
다시 도 2를 참조하면, 다음으로 객체 검출부(130)는 영상 피라미드에서 객체 크기에 대응하는 2차원 영상 레벨을 선택하고, 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 객체를 검출한다(S220). 객체 검출부(130)는 영상 레벨 선택부(131)와 객체 추출부(132)를 포함한다. 영상 레벨 선택부(131)는 영상 피라미드에서 3차원 분할 영상의 객체 크기에 대응하는 2차원 영상 레벨을 선택한다. 이 경우, 선택되는 2차원 영상은 복수 개의 영상이 선택될 수 있으며, 사용자의 설정에 따라 선택되는 2차원 영상의 레벨이 달라질 수 있다. 객체 추출부(132)는 영상 레벨 선택부(131)에서 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 객체를 추출한다.
이하, 도 7 및 도 8을 참조하여 S220 단계에 대해 구체적으로 설명하도록 한다.
도 7은 도 1에 따른 객체 검출 장치를 이용하여 객체의 크기에 따른 검출 마스크를 선택하는 것을 설명하기 위한 예시도이고, 도 8은 도 1에 따른 객체 검출 장치를 이용하여 2차원 영상 내에 포함되는 객체를 검출하는 것을 설명하기 위한 예시도이다.
도 7을 참조하면, 객체 DB(700)에는 복수의 객체에 대한 검출 마스크(710) 자료가 저장된다. 객체 추출부(332)는 객체 후보 영역의 객체 크기를 추정하고, 그 크기에 대응하는 검출 마스크(710)를 추출하게 된다. 이러한 추출과정은 기계학습 알고리즘을 이용하여 이뤄질 수 있다. 검출 마스크(710)는 복수의 객체에 따라 추출된다.
도 8을 참조하면, 객체 추출부(332)는 2차원 영상(800)에 검출 마스크를 적용하여 객체 후보 영역에 해당하는 객체(810)가 무엇인지 분석하게 된다. 예를 들어, 사용자가 도로를 주행하는 자동차를 인식하도록 설정한 경우, 자동차에 대응하는 검출 마스크를 추출하여 2차원 영상(800)에 맵핑을 하게 된다. 이 경우, 선택된 2차원 영상 레벨내에서만 검출 마스크 맵핑 과정이 이뤄지기 때문에 객체 인식 시간이 단축되고, 정확도가 향상될 수 있다.
도 3은 본 발명의 또 다른 실시예에 따른 3차원 영상을 이용한 객체 검출 장치의 구성도이고, 도 4는 도 3에 따른 객체 검출 장치의 객체 검출 방법의 흐름도이다.
도 3 및도 4를 참조하면, 객체 검출 장치(300)는 영상 획득부(310), 영상 처리부(320), 검출 마스크 피라미드 생성부(325), 객체 검출부(330)를 포함한다. 먼저, 영상 획득부(310)는 하나 이상의 객체를 포함하는 2차원 영상을 획득하는 2차원 영상 획득부(311)와, 객체의 거리 정보를 포함하는 3차원 영상을 획득하는 3차원 영상 획득부(312)를 포함하며, 객체에 대한 2차원 영상과 3차원 영상을 획득한다(S400). 영상 획득부(310)는 도 1의 영상 획득부(110)와 같은 기능을 가지므로 이에 대한 설명은 생략하기로 한다.
다음으로, 영상 처리부(320)는 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하는 영역 분할부(122)와, 객체 후보 영역에 해당하는 객체의 크기를 추정하는 객체 크기 추정부(322)를 포함하며, 3차원 영상에 포함되는 객체 후보 영역에 대한 객체의 크기를 추정한다(S410). 3차원 영상에 대해 영역을 분할하고, 객체 후보 영역을 설정하여 객체의 크기를 추정하는 것은 앞서 도 6을 참조하여 설명한 것과 동일하므로 이에 대한 설명은 생략하기로 한다.
다음으로, 검출 마스크 피라미드 생성부(325)는 검출 마스크에 대해 검출 마스크 피라미드를 생성한다(S420). 검출 마스크 피라미드는 2차원 영상의 객체를 인식하기 위한 검출 마스크를 크기에 따라 분류한 모델을 의미한다. 검출 마스크는 앞서 도 7의 객체 DB로부터 학습된 객체에 대한 검출 식별자를 의미한다.
다음으로, 객체 검출부(330)는 검출 마스크 피라미드에서 객체 크기에 대응하는 검출 마스크 레벨을 선택하는 검출 마스크 레벨 선택부(331)와, 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 2차원 영상으로부터 객체를 추출하는 객체 추출부(332)를 포함하며, 검출 마스크 피라미드에서 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 2차원 영상으로부터 객체를 검출한다(S430).
이하, 도 9를 참조하여 S430 단계에 대해 구체적으로 설명하도록 한다.
도 9는 도 3에 따른 객체 검출 장치를 이용하여 검출 마스크 피라미드를 생성하는 것을 설명하기 위한 예시도이다.
도 9를 참조하면, 검출 마스크 피라미드 생성부(325)는 복수의 검출 마스크(910)를 크기를 달리 설정하여 생성한다. 이 후, 생성된 복수의 검출 마스크(910) 중 객체 크기 추정부(322)로부터 객체 후보 영역에 대한 객체 크기 정보를 입력받고, 검출 마스크 피라미드(900) 중 객체 크기에 대응하는 검출 마스크(910) 레벨을 선택한다. 이 경우, 선택되는 검출 마스크(910) 레벨은 사용자 설정에 따라 달리 설정될 수 있다. 검출 마스크(910)가 선택되면 해당 검출 마스크를 2차원 영상에 맵핑하여 영상에 포함된 객체를 인식하게 된다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서 본 발명은 도면을 참조하면서 기술되는 바람직한 실시예를 중심으로 설명되었지만 이에 한정되는 것은 아니다. 따라서 본 발명은 기재된 실시예로부터 도출 가능한 자명한 변형예를 포괄하도록 의도된 특허청구범위의 기재에 의해 해석되어져야 한다.
이와 같이, 본 발명에 따르면 영상에 포함된 객체를 검출함에 있어서, 3차원 영상을 이용하여 객체의 거리 정보를 이용하여 객체의 크기 변화에 따라 객체를 검출함으로써, 객체 검출의 시간의 단축시킬 수 있으며, 객체 검출의 정확도를 향상시킬 수 있다.
100, 300 : 객체 검출 장치 110, 310 : 영상 획득부
111, 311 : 2차원 영상 획득부 112, 312 : 3차원 영상 획득부
120, 320 : 영상 처리부 121 : 영상 피라미드 생성부
122, 321 : 영역 분할부 123, 322 : 객체 크기 추정부
130, 330 : 객체 검출부 131 : 영상 레벨 선택부
132, 332 : 객체 추출부 325 : 검출 마스크 피라미드 생성부
331 : 검출 마스크 레벨 선택부 500, 800 : 2차원 영상
510 : 영상 피라미드 600 : 3차원 영상
610 : 3차원 분할 영상 611 : 객체 후보 영역
700 : 객체 DB 710, 910 : 검출 마스크
810 : 객체 900 : 검출 마스크 피라미드

Claims (10)

  1. 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득부;
    상기 2차원 영상에 대한 영상 피라미드를 생성하고, 상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리부; 및
    상기 영상 피라미드에서 상기 객체 크기에 대응하는 2차원 영상을 선택하고, 선택된 2차원 영상으로부터 검출 마스크를 이용하여 상기 객체를 검출하는 객체 검출부를 포함하는 3차원 영상을 이용한 객체 검출 장치.
  2. 제1항에 있어서, 상기 영상 획득부는,
    하나 이상의 객체를 포함하는 2차원 영상을 획득하는 2차원 영상 획득부; 및
    상기 객체의 거리 정보를 포함하는 3차원 영상을 획득하는 3차원 영상 획득부를 포함하는 3차원 영상을 이용한 객체 검출 장치.
  3. 제1항에 있어서, 상기 영상 처리부는,
    상기 2차원 영상에 대한 영상 피라미드를 생성하는 영상 피라미드 생성부;
    상기 3차원 영상을 상기 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하는 영역 분할부; 및
    상기 객체 후보 영역에 해당하는 객체의 크기를 추정하는 객체 크기 추정부를 포함하는 3차원 영상을 이용한 객체 검출 장치.
  4. 제1항에 있어서, 상기 객체 검출부는,
    상기 영상 피라미드에서 상기 객체 크기에 대응하는 2차원 영상을 선택하는 영상 레벨 선택부; 및
    상기 선택된 2차원 영상으로부터 검출 마스크를 이용하여 상기 객체를 추출하는 객체 추출부를 포함하는 3차원 영상을 이용한 객체 검출 장치.
  5. 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득부;
    상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리부;
    검출 마스크에 대해 검출 마스크 피라미드를 생성하는 검출 마스크 피라미드 생성부; 및
    상기 검출 마스크 피라미드에서 상기 객체 크기에 대응하는 검출 마스크 레벨을 선택하고, 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 상기 2차원 영상으로부터 상기 객체를 검출하는 객체 검출부를 포함하는 3차원 영상을 이용한 객체 검출 장치.
  6. 제5항에 있어서, 상기 영상 획득부는,
    하나 이상의 객체를 포함하는 2차원 영상을 획득하는 2차원 영상 획득부; 및
    상기 객체의 거리 정보를 포함하는 3차원 영상을 획득하는 3차원 영상 획득부를 포함하는 3차원 영상을 이용한 객체 검출 장치.
  7. 제5항에 있어서, 상기 영상 처리부는,
    상기 3차원 영상을 상기 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하는 영역 분할부; 및
    상기 객체 후보 영역에 해당하는 객체의 크기를 추정하는 객체 크기 추정부를 포함하는 3차원 영상을 이용한 객체 검출 장치.
  8. 제5항에 있어서, 상기 객체 검출부는,
    상기 검출 마스크 피라미드에서 상기 객체 크기에 대응하는 검출 마스크 레벨을 선택하는 검출 마스크 레벨 선택부; 및
    상기 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 상기 2차원 영상으로부터 상기 객체를 추출하는 객체 추출부를 포함하는 3차원 영상을 이용한 객체 검출 장치.
  9. 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득 단계;
    상기 2차원 영상에 대한 영상 피라미드를 생성하고, 상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리 단계; 및
    상기 영상 피라미드에서 상기 객체 크기에 대응하는 2차원 영상 레벨을 선택하고, 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 상기 객체를 검출하는 객체 검출 단계를 포함하는 3차원 영상을 이용한 객체 검출 방법.
  10. 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득 단계;
    상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리 단계;
    검출 마스크에 대해 검출 마스크 피라미드를 생성하는 검출 마스크 피라미드 생성 단계; 및
    상기 검출 마스크 피라미드에서 상기 객체 크기에 대응하는 검출 마스크 레벨을 선택하고, 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 상기 2차원 영상으로부터 상기 객체를 검출하는 객체 검출 단계를 포함하는 3차원 영상을 이용한 객체 검출 방법.
KR1020110117802A 2011-11-11 2011-11-11 3차원 영상을 이용한 객체 검출 장치 및 그 방법 KR101282742B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110117802A KR101282742B1 (ko) 2011-11-11 2011-11-11 3차원 영상을 이용한 객체 검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110117802A KR101282742B1 (ko) 2011-11-11 2011-11-11 3차원 영상을 이용한 객체 검출 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130052393A KR20130052393A (ko) 2013-05-22
KR101282742B1 true KR101282742B1 (ko) 2013-07-05

Family

ID=48662020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110117802A KR101282742B1 (ko) 2011-11-11 2011-11-11 3차원 영상을 이용한 객체 검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101282742B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824462B2 (en) 2014-09-19 2017-11-21 Samsung Electronics Co., Ltd. Method for detecting object and object detecting apparatus

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101537174B1 (ko) 2013-12-17 2015-07-15 가톨릭대학교 산학협력단 스테레오스코픽 영상에서의 주요 객체 검출 방법
KR101652485B1 (ko) * 2015-02-27 2016-08-31 삼성중공업(주) 3차원 소나 영상 생성 장치 및 방법
KR101721655B1 (ko) * 2015-12-28 2017-03-30 재단법인대구경북과학기술원 객체 검출 시스템 및 방법
WO2022034295A1 (en) 2020-08-10 2022-02-17 Johnson Matthey Public Limited Company Exhaust gas treatment system
WO2023135405A1 (en) 2022-01-14 2023-07-20 Johnson Matthey Public Limited Company Treatment system for exhaust gas comprising ammonia

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202184A (ja) 2005-01-24 2006-08-03 Konica Minolta Holdings Inc 検出装置、検出方法及び検出プログラム
KR20110129158A (ko) * 2010-05-25 2011-12-01 경북대학교 산학협력단 영상 처리 시스템에서의 객체 후보 영역 검출 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202184A (ja) 2005-01-24 2006-08-03 Konica Minolta Holdings Inc 検出装置、検出方法及び検出プログラム
KR20110129158A (ko) * 2010-05-25 2011-12-01 경북대학교 산학협력단 영상 처리 시스템에서의 객체 후보 영역 검출 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824462B2 (en) 2014-09-19 2017-11-21 Samsung Electronics Co., Ltd. Method for detecting object and object detecting apparatus

Also Published As

Publication number Publication date
KR20130052393A (ko) 2013-05-22

Similar Documents

Publication Publication Date Title
KR101282742B1 (ko) 3차원 영상을 이용한 객체 검출 장치 및 그 방법
KR101856401B1 (ko) 차선 데이터의 처리 방법, 장치, 저장매체 및 기기
US9165211B2 (en) Image processing apparatus and method
US9679384B2 (en) Method of detecting and describing features from an intensity image
KR101789071B1 (ko) 깊이 영상의 특징 추출 방법 및 장치
US9020251B2 (en) Image processing apparatus and method
KR101822185B1 (ko) 3d 포인트 클라우드 poi 검출 방법 및 장치
US9443137B2 (en) Apparatus and method for detecting body parts
US10650535B2 (en) Measurement device and measurement method
KR20200060194A (ko) 차선들의 깊이값을 예측하는 방법, 3차원 차선들을 출력하는 방법 및 그 장치
JP6119409B2 (ja) 対象物領域分割方法及び対象物領域分割装置
KR20110021500A (ko) 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치
EP3223035B1 (en) Estimation apparatus, estimation method and computer-readable medium
KR102068489B1 (ko) 3차원 객체 생성 장치
EP3410345A1 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
JP6127958B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
EP2887261B1 (en) Information processing device, information processing method, and program
JP6393495B2 (ja) 画像処理装置および物体認識方法
KR101339616B1 (ko) 객체 검출 및 추적 방법과 장치
JP5679456B2 (ja) 人検出装置、人検出方法及び人検出プログラム
JP6668740B2 (ja) 道路面推定装置
KR20160052256A (ko) 가상 특징점을 이용하는 3차원 공간 매핑장치 및 그 방법
KR20180082739A (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
KR101437228B1 (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170628

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 7