KR101825459B1 - 다중 클래스 객체 검출 장치 및 그 방법 - Google Patents

다중 클래스 객체 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR101825459B1
KR101825459B1 KR1020160099984A KR20160099984A KR101825459B1 KR 101825459 B1 KR101825459 B1 KR 101825459B1 KR 1020160099984 A KR1020160099984 A KR 1020160099984A KR 20160099984 A KR20160099984 A KR 20160099984A KR 101825459 B1 KR101825459 B1 KR 101825459B1
Authority
KR
South Korea
Prior art keywords
region
class
interest
detecting
technique
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160099984A
Other languages
English (en)
Inventor
임영철
강민성
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020160099984A priority Critical patent/KR101825459B1/ko
Application granted granted Critical
Publication of KR101825459B1 publication Critical patent/KR101825459B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 다중 클래스 객체 검출 장치 및 그 방법에 대한 것이다.
본 발명에 따른 다중 클래스 객체 검출 장치는 카메라로부터 촬영된 영상을 수신하여 객체로 추정되는 하나 이상의 관심 영역을 추출하는 관심 영역 추출부; 상기 추출된 관심 영역별로 해당 관심 영역 내에 존재하는 객체의 클래스를 각각 인식하는 다중 클래스 객체 인식부; 상기 인식된 클래스에 대응하는 객체 검출기를 이용하여, 영상 내 상기 객체의 위치 및 크기를 검출하는 특정 객체 검출부; 및 각각의 관심 영역에서 검출된 객체별로 그룹핑하여 각각의 객체 영역을 추정하는 객체 추정부를 포함한다.
이와 같이 본 발명에 따르면, 관심 영역 내에 존재하는 특정 객체를 미리 추정하고, 사전에 학습된 객체 분류 모델을 이용하여 관심 영역을 탐색하며, 특정 객체의 위치와 크기를 추정함으로써 객체 검출 정확도가 향상되고, 비교적 복잡도가 더 높은 딥러닝과 같은 다중 객체 분류기를 먼저 수행함에 따라 연산 속도를 동시에 향상시킬 수 있는 효과가 있다.

Description

다중 클래스 객체 검출 장치 및 그 방법{MULTI-CLASS OBJECTS DETECTION APPARATUS AND METHOD THEREOF}
본 발명은 다중 클래스 객체 검출 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 관심 영역에 존재하는 객체의 검출 정확도와 검출 속도가 향상되도록 하는 다중 클래스 객체 검출 장치 및 그 방법에 관한 것이다.
최근 지능형 자동차, 로봇, 영상 보안등의 분야에서 영상을 이용하여 사람, 차량, 이륜차등과 같은 특정 객체를 검출하는 방법에 대하여 많은 연구가 진행되고 있다. 일반적인 객체 검출 방법은 다중 스케일 슬라이딩 윈도우 방식으로 영상 내의 모든 가능한 영역에 대하여 미리 학습된 분류기를 이용하여 객체의 유무를 판단하는데, 실시간성이 요구되는 응용 분야에서는 연산 속도를 향상시키기 위하여 전체 영상에서 특정 객체를 탐색하지 않고, 관심 영역 내에서만 특정 객체의 유무를 판단하는 방법을 많이 사용하고 있다.
자세하게는 고정 카메라를 이용한 경우에는 전경과 배경을 분리하는 기법을 이용하여 관심 영역을 생성하는 기법을 사용하고, 스테레오 카메라를 이용한 경우에는 깊이 영상을 이용하여 도로 면을 추출하고, 도로 위에 직립해 있는 장애 물체에 대하여 관심 영역을 생성하는 기법 또는 사전 정보 없이 주어진 영상에서 전경과 배경을 분리하여 관심 영역을 생성하는 기법등을 사용한다. 하지만, 이러한 기법들은 객체의 정밀한 영역을 추출할 수 없기 때문에 대략적인 관심 영역만을 추출하게 된다.
도 1은 종래의 다중 클래스 객체 검출 과정을 설명하기 위한 도면이다.
종래에는 도 1에서와 같이, 관심 영역이 추출되면 특정 객체에 대하여 학습된 분류 모델을 이용하여 특정 객체의 수만큼 탐색하고, 인식함으로써 특정 객체의 유무를 판단한다. 이러한 종래의 방법은 주어진 관심 영역에 대하여 검출하고자 하는 객체의 클래스 개수만큼 분류 모델이 필요하고, 객체의 클래스 개수만큼의 탐색 시간이 소요되므로 연산 시간이 길어지는 문제점이 있었다.
이를 해결하기 위해, 최근에는 다중 객체 분류에서 월등한 성능을 보여주고 있는 딥러닝(Deep learning) 기법이 제안되었으나, 이러한 기법은 특정 객체에 대한 영역을 추정하기에는 정밀도가 떨어지고 이로 인한 오검출이 증가되는 문제점이 있다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2016-0064931호(2016. 06. 08. 공개)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 관심 영역에 존재하는 객체의 검출 정확도와 검출 속도가 향상되도록 하는 다중 클래스 객체 검출 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 다중 클래스 객체 검출 장치는, 카메라로부터 촬영된 영상을 수신하여 객체로 추정되는 하나 이상의 관심 영역을 추출하는 관심 영역 추출부; 상기 추출된 관심 영역별로 해당 관심 영역 내에 존재하는 객체의 클래스를 각각 인식하는 다중 클래스 객체 인식부; 상기 인식된 클래스에 대응하는 객체 검출기를 이용하여, 상기 관심 영역 내 상기 객체의 위치 및 크기를 검출하는 특정 객체 검출부; 및 각각의 관심 영역에서 검출된 객체별로 그룹핑하여 각각의 객체 영역을 추정하는 객체 추정부를 포함한다.
상기 관심 영역 추출부는, 전경-배경 분리 기법 및 스테레오 기반의 장애 물체 검출 기법 중 어느 하나의 관심 영역 추정 기법을 이용하여, 객체로 추정되는 관심 영역을 추출할 수 있다.
상기 다중 클래스 객체 인식부는, 랜덤 포레스트(Random forest) 및 딥러닝(Deep learning) 중 어느 하나의 다중 객체 분류 기법을 이용하여 상기 객체의 클래스를 인식할 수 있다.
상기 다중 클래스 객체 인식부는, 클래스별로 기 설정된 확률 값을 이용하여 하나의 관심 영역 내에 존재하는 객체의 클래스를 인식하되, 상기 확률 값을 만족하는 객체가 복수인 경우 해당 객체에 대응하는 클래스를 각각 인식할 수 있다.
상기 특정 객체 검출부는, 특정 객체를 인식하기 위해 영상에서 추출된 특징 벡터를 이용하여 기계 학습 알고리즘으로 생성된 분류기를 기반으로 한 상기 객체 검출기로부터 상기 관심 영역 내 해당 객체의 위치 및 크기를 검출하되, 상기 객체 검출기는 상기 관심 영역 내 존재하는 객체의 클래스 개수에 대응하여 구비될 수 있다.
상기 객체 추정부는, 각각의 관심 영역에서 검출된 객체별로 복수의 바운딩 박스(bounding box)를 생성하고, 비 최대치 억제(NMS) 기법을 이용하여 상기 복수의 바운딩 박스 중 상기 객체 검출기의 출력 스코어가 가장 큰 바운딩 박스는 남기고, 상기 가장 큰 바운딩 박스에 이웃하는 바운딩 박스들은 제거하여 상기 객체 영역을 추정할 수 있다.
또한, 본 발명의 실시예에 따른 다중 클래스 객체 검출 장치를 이용한 객체 검출 방법은, 카메라로부터 촬영된 영상을 입력받아 객체로 추정되는 하나 이상의 관심 영역을 추출하는 단계; 상기 추출된 관심 영역별로 해당 관심 영역 내에 존재하는 객체의 클래스를 각각 인식하는 단계; 상기 인식된 클래스에 대응하는 객체 검출기를 이용하여, 상기 관심 영역 내 상기 객체의 위치 및 크기를 검출하는 단계; 및 각각의 관심 영역에서 검출된 객체별로 그룹핑하여 각각의 객체 영역을 추정하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 관심 영역 내에 존재하는 특정 객체를 미리 추정하고, 사전에 학습된 객체 분류 모델을 이용하여 관심 영역을 탐색하며, 특정 객체의 위치와 크기를 추정함으로써 객체 검출 정확도가 향상되고, 비교적 복잡도가 더 높은 딥러닝과 같은 다중 객체 분류기를 먼저 수행함에 따라 연산 속도를 동시에 향상시킬 수 있는 효과가 있다.
또한 본 발명에 따르면, 다중 클래스 객체를 검출하기 위하여 소요되는 시간이 다중 클래스의 개수와 상관 관계가 매우 낮기 때문에, 실시간성이 요구되는 지능형 자동차 분야, 영상 보안, 로봇 등과 같은 다양한 응용 분야에서 다양한 다중 클래스 객체들을 인식하고 검출하는 기술에 활용될 수 있는 효과가 있다.
도 1은 종래의 다중 클래스 객체 검출 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 다중 클래스 객체 검출 장치를 나타낸 블록구성도이다.
도 3은 본 발명의 실시예에 따른 다중 클래스 객체 검출 방법의 동작 흐름을 도시한 순서도이다.
도 4는 본 발명의 실시예에 따른 다중 클래스 객체 검출 과정을 설명하기 위한 도면이다.
도 5는 도 4에서 관심 영역 내에 두 개의 클래스가 동시에 존재하는 경우를 설명하기 위한 예시 도면이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 다중 클래스 객체 검출 장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저, 도 2를 통해 본 발명의 실시예에 따른 다중 클래스 객체 검출 장치에 대하여 설명한다.
도 2는 본 발명의 실시예에 따른 다중 클래스 객체 검출 장치를 나타낸 블록구성도이다.
도 2에서와 같이 본 발명의 실시예에 따른 다중 클래스 객체 검출 장치(100)는, 관심 영역 추출부(110), 다중 클래스 객체 인식부(120), 특정 객체 검출부(130) 및 객체 추정부(140)를 포함한다.
먼저, 관심 영역 추출부(110)는 카메라(200)로부터 촬영된 영상을 수신하여 객체로 추정되는 하나 이상의 관심 영역(ROI: region of interest)을 추출한다.
자세히는, 전경-배경 분리 기법 및 스테레오 기반의 장애 물체 검출 기법 중 어느 하나의 관심 영역 추정 기법을 이용하여, 객체로 추정되는 관심 영역을 추출한다.
이때, 전경은 시야에서 중요한 대상이고, 배경은 그 나머지 부분으로 중요성이 덜한 대상이다. 즉, 전경은 분명한 형태를 지닌 것으로 배경 앞에 있는 것처럼 느껴지고, 배경은 형태가 결여되어 있는 것처럼 느껴지며 전경의 뒤에 있는 것처럼 느껴진다.
또한, 관심 영역 추출부(110)는 스틱셀(stixel) 기법을 이용하여 관심 영역을 추출할 수도 있다.
여기서, 스틱셀 기법은 도로 위에 직립하여 있는 장애 물체들은 동일한 시차 정보를 갖는다는 가정에서 화소 대신에 일정 폭의 스틱(stick)과 같은 그룹으로 영상을 표현하는 방법을 의미하며, 이것을 그룹핑하여 관심 영역을 추출할 수도 있다.
그리고, 다중 클래스 객체 인식부(120)는 관심 영역 추출부(110)에서 추출된 관심 영역별로 해당 관심 영역 내에 존재하는 객체의 클래스를 각각 인식한다.
이때, 다중 클래스 객체 인식부(120)는, 랜덤 포레스트(Random forest) 및 딥러닝(Deep learning) 중 어느 하나의 다중 객체 분류 기법을 이용하여 객체의 클래스를 인식한다.
여기서, 랜덤 포레스트는 기계 학습(Machine Learning)에서 여러 개의 결정 트리들을 임의적으로 학습하는 방식의 앙상블 방법이다. 랜덤 포레스트 방법은 크게 복수의 결정 트리를 구성하는 학습 단계와 입력 벡터가 들어왔을 때, 분류하거나 예측하는 테스트 단계로 구성되어 있다. 랜덤 포레스트는 검출, 분류, 그리고 회귀 등 다양한 어플리케이션으로 활용되고 있다.
또한, 딥러닝은 사물이나 데이터를 군집화하거나 분류하는 데 사용하는 기술이다. 예를 들어 컴퓨터는 사진만으로 개와 고양이를 구분하지 못하지만 사람은 아주 쉽게 구분할 수 있다. 이를 위해 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기계 학습 기술이다. 즉, 딥러닝은 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 한 것이다.
이때, 다중 클래스 객체 인식부(120)는 클래스별로 기 설정된 확률 값을 이용하여 하나의 관심 영역 내에 존재하는 객체의 클래스를 인식하되, 확률 값을 만족하는 객체가 복수인 경우 해당 객체에 대응하는 클래스를 각각 인식한다.
예를 들어, 관심 영역 내에 존재하는 객체 중 기 설정된 확률 값을 만족하는 객체가 보행자와 차량으로 판단된 경우, 다중 클래스 객체 인식부(120)는 해당 관심 영역 내에 두개의 클래스가 존재하는 것으로 인식한다.
그리고, 특정 객체 검출부(130)는 다중 클래스 객체 인식부(120)에서 인식된 클래스에 대응하는 객체 검출기를 이용하여, 카메라(200)로부터 촬영된 영상에서 관심 영역 내 특정 객체의 위치와 크기를 검출한다.
자세히는, 특정 객체 검출부(130)는 특정 객체를 인식하기 위해 영상에서 추출된 특징 벡터를 이용하여 기계 학습 알고리즘으로 생성된 분류기를 기반으로 한 객체 검출기로부터 관심 영역 내 해당 객체의 위치 및 크기를 검출하되, 객체 검출기는 관심 영역 내 존재하는 객체의 클래스 개수에 대응하여 구비되는 것이 바람직하다.
이때, 객체 검출기는 SVM(support vector machine), Adaboost, Random forest, neural network 등과 같이 기계 학습 알고리즘을 이용하여 생성된 분류 보델을 사용한다.
즉, 다중 클래스 객체 인식부(120)에서 인식된 클래스가 보행자인 경우, 보행자를 인식하기 위한 객체 검출기로부터 관심 영역 내 보행자의 위치와 크기를 검출하고, 다중 클래스 객체 인식부(120)에서 인식된 클래스가 차량인 경우, 차량을 인식하기 위한 객체 검출기로부터 관심 영역 내 차량의 위치와 크기를 검출한다.
마지막으로 객체 추정부(140)는 각각의 관심 영역에서 검출된 객체별로 그룹핑하여 각각의 객체 영역을 추정한다.
자세히는, 각각의 관심 영역에서 검출된 객체별로 복수의 바운딩 박스(bounding box)를 생성하고, 비 최대치 억제(Non - maximum suppression, 이하 NMS) 기법을 이용하여 복수의 바운딩 박스 중 객체 검출기의 출력 스코어가 가장 큰 바운딩 박스는 남기고, 가장 큰 바운딩 박스에 이웃하는 바운딩 박스들은 제거하여 객체 영역을 추정한다.
여기서, NMS 기법이란 신뢰도가 높은 바운딩 박스만을 남기고, 이웃하는 나머지 바운딩 박스는 제거하는 기법이다.
자세히는, 생성된 바운딩 박스들을 분류기 출력 스코어가 가장 높은 순으로 정렬하고, 탐욕(greedy) 알고리즘을 이용하여, 스코어가 상대적으로 낮은 다른 이웃하는 바운딩 박스들을 제거함으로써, 객체에 해당되는 가장 신뢰도가 높은 바운딩 박스들을 선택한다.
즉, 객체 추정부(140)는 각각의 관심 영역에서 검출된 다중 클래스 객체들에 대한 복수의 바운딩 박스를 NMS 기법을 이용하여 그룹핑하여 최적의 객체 영역을 추정한다.
다시 말해, 다중 스케일 슬라이딩 윈도우 방식으로 객체 유무를 탐색하게 되면, 객체 주변의 영역에서는 많은 바운딩 박스(bounding box)가 생성되는데 이 때, 객체 검출기의 출력 스코어가 가장 큰 즉, 신뢰도가 가장 높은 바운딩 박스만을 남기고, 신뢰도가 상대적으로 낮은 유사한 바운딩 박스들은 모두 제거하여 최적의 객체 영역을 추정한다.
이하에서는 도 3 내지 도 5를 통해 본 발명의 실시예에 따른 다중 클래스 객체 검출 방법에 대하여 설명한다.
도 3은 본 발명의 실시예에 따른 다중 클래스 객체 검출 방법의 동작 흐름을 도시한 순서도이고, 도 4는 본 발명의 실시예에 따른 다중 클래스 객체 검출 과정을 설명하기 위한 도면으로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.
도 3 및 도 4에서와 같이 본 발명의 실시예에 따르면, 먼저, 관심 영역 추출부(110)는 카메라(200)로부터 촬영된 영상을 입력받아 객체로 추정되는 하나 이상의 관심 영역(ROI: region of interest)을 추출한다(S310).
자세히는 전경-배경 분리 기법 및 스테레오 기반의 장애 물체 검출 기법 중 어느 하나의 관심 영역 추정 기법을 이용하여, 객체로 추정되는 하나 이상의 관심 영역들을 추출한다.
그리고, 다중 클래스 객체 인식부(120)는 S310 단계에서 추출된 관심 영역별로 해당 관심 영역 내에 존재하는 객체의 클래스를 인식한다(S320).
이때, 다중 클래스 객체 인식부(120)는, 랜덤 포레스트(Random forest) 및 딥러닝(Deep learning) 중 어느 하나의 다중 객체 분류 기법을 이용하여 객체의 클래스를 각각 인식한다.
이때, S320 단계에서는 클래스별로 기 설정된 확률 값을 이용하여 하나의 관심 영역 내에 존재하는 객체의 클래스를 인식하되, 확률 값을 만족하는 객체가 복수인 경우 해당 객체에 대응하는 클래스를 각각 인식한다.
도 5는 도 4에서 관심 영역 내에 두 개의 클래스가 동시에 존재하는 경우를 설명하기 위한 예시 도면이다.
도 5를 참고하여 설명하자면, 관심 영역 내에 존재하는 객체 중 클래스별로 기 설정된 확률 값을 만족하는 객체가 보행자와 트럭으로 판단된 경우, 다중 클래스 객체 인식부(120)는 해당 관심 영역 내에 두개의 클래스(보행자, 트럭)가 존재하는 것으로 인식한다.
그리고, 특정 객체 검출부(130)는 S320 단계에서 인식된 클래스에 대응하는 객체 검출기를 이용하여, 카메라(200)로부터 촬영된 영상에서 관심 영역 내 객체의 위치 및 크기를 검출한다(S330).
자세히는, S330 단계는 특정 객체를 인식하기 위해 영상에서 추출된 특징 벡터를 이용하여 기계 학습 알고리즘으로 생성된 분류기를 기반으로 한 객체 검출기로부터 관심 영역 내 해당 객체의 위치와 크기를 검출하되, 객체 검출기는 관심 영역 내 존재하는 객체의 클래스 개수에 대응하여 구비되는 것이 바람직하다.
즉, 다중 클래스 객체 인식부(120)에서 인식된 클래스가 보행자인 경우, 보행자를 인식하기 위한 객체 검출기로부터 관심 영역 내 보행자의 위치와 크기를 검출하고, 다중 클래스 객체 인식부(120)에서 인식된 클래스가 트럭인 경우, 트럭을 인식하기 위한 객체 검출기로부터 관심 영역 내 트럭의 위치와 크기를 검출한다.
마지막으로 객체 추정부(140)는 각각의 관심 영역에서 검출된 객체별로 그룹핑하여 각각의 객체 영역을 추정한다(S340).
자세히는, 각각의 관심 영역에서 검출된 객체별로 복수의 바운딩 박스(bounding box)를 생성하고, 비 최대치 억제(Non - maximum suppression, 이하 NMS) 기법을 이용하여 복수의 바운딩 박스 중 객체 검출기의 출력 스코어가 가장 큰 바운딩 박스는 남기고, 가장 큰 바운딩 박스에 이웃하는 바운딩 박스들은 제거하여 객체 영역을 추정한다.
즉, 다중 스케일 슬라이딩 윈도우 방식으로 객체 유무를 탐색하게 되면, 객체 주변의 영역에서는 많은 바운딩 박스(bounding box)가 생성되는데 이 때, 객체 분류기의 출력 스코어가 가장 큰 즉, 신뢰도가 가장 높은 바운딩 박스만을 남기고, 신뢰도가 상대적으로 낮은 유사한 바운딩 박스들은 모두 제거하여 최적의 객체 영역을 추정한다.
상술한 바와 같이, 본 발명의 실시예에 따른 다중 클래스 객체 검출 장치 및 그 방법은 관심 영역 내에 존재하는 특정 객체를 미리 추정하고, 사전에 학습된 객체 분류 모델을 이용하여 관심 영역을 탐색하며, 특정 객체의 위치와 크기를 추정함으로써 객체 검출 정확도가 향상되고, 비교적 복잡도가 더 높은 딥러닝과 같은 다중 객체 분류기를 먼저 수행함에 따라 연산 속도를 동시에 향상시킬 수 있는 효과가 있다.
또한 본 발명의 실시예에 따르면, 다중 클래스 객체를 검출하기 위하여 소요되는 시간이 다중 클래스의 개수와 상관 관계가 매우 낮기 때문에, 실시간성이 요구되는 지능형 자동차 분야, 영상 보안, 로봇 등과 같은 다양한 응용 분야에서 다양한 다중 클래스 객체들을 인식하고 검출하는 기술에 활용될 수 있는 효과가 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100 : 객체 검출 장치 110 : 관심 영역 추출부
120 : 다중 클래스 객체 인식부 130 : 특정 객체 검출부
140 : 객체 추정부 200 : 카메라

Claims (12)

  1. 카메라로부터 촬영된 영상을 수신하여 객체로 추정되는 하나 이상의 관심 영역을 전경-배경 분리 기법, 스테레오 기반의 장애 물체 검출 기법 및 스틱셀(stixel) 기법을 이용하여 추출하는 관심 영역 추출부;
    랜덤 포레스트(Random forest) 및 딥러닝(Deep learning) 중 어느 하나의 다중 객체 분류 기법을 이용하여 상기 추출된 관심 영역별로 해당 관심 영역 내에 존재하는 객체의 클래스를 각각 인식하는 다중 클래스 객체 인식부;
    상기 인식된 클래스에 대응하는 객체 검출기를 이용하여, 상기 관심 영역 내 상기 객체의 위치 및 크기를 검출하는 특정 객체 검출부; 및
    각각의 관심 영역에서 검출된 객체별로 그룹핑하여 각각의 객체 영역을 추정하는 객체 추정부를 포함하고,
    상기 다중 클래스 객체 인식부는,
    클래스별로 기 설정된 확률 값을 이용하여 하나의 관심 영역 내에 존재하는 객체의 클래스를 인식하되, 상기 확률 값을 만족하는 객체가 복수인 경우 해당 객체에 대응하는 클래스를 각각 인식하고,
    상기 특정 객체 검출부는,
    특정 객체를 인식하기 위해 영상에서 추출된 특징 벡터를 이용하여 기계 학습 알고리즘으로 생성된 분류기를 기반으로 한 상기 객체 검출기로부터 상기 관심 영역 내 해당 객체의 위치 및 크기를 검출하되, 상기 객체 검출기는 상기 관심 영역 내 존재하는 객체의 클래스 개수에 대응하여 구비되는 다중 클래스 객체 검출 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 객체 추정부는,
    각각의 관심 영역에서 검출된 객체별로 복수의 바운딩 박스(bounding box)를 생성하고, 비 최대치 억제(NMS) 기법을 이용하여 상기 복수의 바운딩 박스 중 상기 객체 검출기의 출력 스코어가 가장 큰 바운딩 박스는 남기고, 상기 가장 큰 바운딩 박스에 이웃하는 바운딩 박스들은 제거하여 상기 객체 영역을 추정하는 다중 클래스 객체 검출 장치.
  7. 다중 클래스 객체 검출 장치를 이용한 객체 검출 방법에 있어서,
    카메라로부터 촬영된 영상을 입력받아 객체로 추정되는 하나 이상의 관심 영역을 전경-배경 분리 기법, 스테레오 기반의 장애 물체 검출 기법 및 스틱셀(stixel) 기법을 이용하여 추출하는 단계;
    랜덤 포레스트(Random forest) 및 딥러닝(Deep learning) 중 어느 하나의 다중 객체 분류 기법을 이용하여 상기 추출된 관심 영역별로 해당 관심 영역 내에 존재하는 객체의 클래스를 각각 인식하는 단계;
    상기 인식된 클래스에 대응하는 객체 검출기를 이용하여, 상기 관심 영역 내 상기 객체의 위치 및 크기를 검출하는 단계; 및
    각각의 관심 영역에서 검출된 객체별로 그룹핑하여 각각의 객체 영역을 추정하는 단계를 포함하고,
    상기 객체의 클래스를 각각 인식하는 단계는,
    클래스별로 기 설정된 확률 값을 이용하여 하나의 관심 영역 내에 존재하는 객체의 클래스를 인식하되, 상기 확률 값을 만족하는 객체가 복수인 경우 해당 객체에 대응하는 클래스를 각각 인식하고,
    상기 객체의 위치 및 크기를 검출하는 단계는,
    특정 객체를 인식하기 위해 영상에서 추출된 특징 벡터를 이용하여 기계 학습 알고리즘으로 생성된 분류기를 기반으로 한 상기 객체 검출기로부터 상기 관심 영역 내 해당 객체의 위치 및 크기를 검출하되, 상기 객체 검출기는 상기 관심 영역 내 존재하는 객체의 클래스 개수에 대응하여 구비되는 객체 검출 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제7항에 있어서,
    상기 각각의 객체 영역을 추정하는 단계는,
    각각의 관심 영역에서 검출된 객체별로 복수의 바운딩 박스(bounding box)를 생성하고, 비 최대치 억제(NMS) 기법을 이용하여 상기 복수의 바운딩 박스 중 상기 객체 검출기의 출력 스코어가 가장 큰 바운딩 박스는 남기고, 상기 가장 큰 바운딩 박스에 이웃하는 바운딩 박스들은 제거하여 상기 객체 영역을 추정하는 객체 검출 방법.
KR1020160099984A 2016-08-05 2016-08-05 다중 클래스 객체 검출 장치 및 그 방법 Active KR101825459B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160099984A KR101825459B1 (ko) 2016-08-05 2016-08-05 다중 클래스 객체 검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160099984A KR101825459B1 (ko) 2016-08-05 2016-08-05 다중 클래스 객체 검출 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101825459B1 true KR101825459B1 (ko) 2018-03-22

Family

ID=61901053

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160099984A Active KR101825459B1 (ko) 2016-08-05 2016-08-05 다중 클래스 객체 검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101825459B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102053940B1 (ko) * 2019-05-07 2019-12-11 주식회사 두잉랩 다중 객체 간 연관도 분석을 이용한 객체 추정 시스템 및 방법
KR102120812B1 (ko) * 2018-12-17 2020-06-09 재단법인대구경북과학기술원 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법
KR20200067072A (ko) * 2018-12-03 2020-06-11 중앙대학교 산학협력단 시설물 결함 검측 방법 및 그 장치
KR102186751B1 (ko) * 2019-09-05 2020-12-04 주식회사 아이에스피디 객체 검출을 이용한 클래시피케이션의 다중 인식 및 인식률 개선 장치 및 방법
CN112308011A (zh) * 2020-11-12 2021-02-02 湖北九感科技有限公司 多特征联合目标检测方法及装置
KR20210056050A (ko) * 2019-11-08 2021-05-18 재단법인대구경북과학기술원 멀티 클래스 객체 식별 장치 및 방법
CN113283307A (zh) * 2021-04-30 2021-08-20 北京雷石天地电子技术有限公司 一种视频中物体识别方法、系统及计算机存储介质
CN114049629A (zh) * 2021-10-22 2022-02-15 国际竹藤中心 竹材维管束识别方法、装置以及电子设备
KR20220064846A (ko) * 2020-11-12 2022-05-19 주식회사 에이직스 딥러닝 객체 검출 비율 및 필터링 기술을 활용한 다차원 시각화 시스템 및 방법
WO2022108044A1 (ko) * 2020-11-17 2022-05-27 주식회사 메딜리티 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템
KR20220086128A (ko) * 2020-12-16 2022-06-23 가천대학교 산학협력단 의료 영상 기반 질환 중증도 결정 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086261A (ja) * 2009-10-19 2011-04-28 Canon Inc 情報処理装置及び情報処理方法
JP2015215877A (ja) * 2014-05-08 2015-12-03 三菱電機株式会社 ステレオ画像の対において物体を検出する方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086261A (ja) * 2009-10-19 2011-04-28 Canon Inc 情報処理装置及び情報処理方法
JP2015215877A (ja) * 2014-05-08 2015-12-03 三菱電機株式会社 ステレオ画像の対において物体を検出する方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200067072A (ko) * 2018-12-03 2020-06-11 중앙대학교 산학협력단 시설물 결함 검측 방법 및 그 장치
KR102231356B1 (ko) * 2018-12-03 2021-03-24 중앙대학교 산학협력단 시설물 결함 검측 방법 및 그 장치
KR102120812B1 (ko) * 2018-12-17 2020-06-09 재단법인대구경북과학기술원 카메라와 레이더의 확률 융합에 기반한 타겟 인지 및 분류 시스템 및 그 방법
KR102053940B1 (ko) * 2019-05-07 2019-12-11 주식회사 두잉랩 다중 객체 간 연관도 분석을 이용한 객체 추정 시스템 및 방법
KR102186751B1 (ko) * 2019-09-05 2020-12-04 주식회사 아이에스피디 객체 검출을 이용한 클래시피케이션의 다중 인식 및 인식률 개선 장치 및 방법
KR102811953B1 (ko) * 2019-11-08 2025-05-23 재단법인대구경북과학기술원 멀티 클래스 객체 식별 장치 및 방법
KR20210056050A (ko) * 2019-11-08 2021-05-18 재단법인대구경북과학기술원 멀티 클래스 객체 식별 장치 및 방법
KR102504607B1 (ko) * 2020-11-12 2023-03-02 주식회사 에이직스 딥러닝 객체 검출 비율 및 필터링 기술을 활용한 다차원 시각화 시스템 및 방법
KR20220064846A (ko) * 2020-11-12 2022-05-19 주식회사 에이직스 딥러닝 객체 검출 비율 및 필터링 기술을 활용한 다차원 시각화 시스템 및 방법
CN112308011B (zh) * 2020-11-12 2024-03-19 湖北九感科技有限公司 多特征联合目标检测方法及装置
CN112308011A (zh) * 2020-11-12 2021-02-02 湖北九感科技有限公司 多特征联合目标检测方法及装置
WO2022108044A1 (ko) * 2020-11-17 2022-05-27 주식회사 메딜리티 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템
KR20220086128A (ko) * 2020-12-16 2022-06-23 가천대학교 산학협력단 의료 영상 기반 질환 중증도 결정 장치 및 방법
KR102530010B1 (ko) 2020-12-16 2023-05-08 가천대학교 산학협력단 의료 영상 기반 질환 중증도 결정 장치 및 방법
CN113283307A (zh) * 2021-04-30 2021-08-20 北京雷石天地电子技术有限公司 一种视频中物体识别方法、系统及计算机存储介质
CN114049629A (zh) * 2021-10-22 2022-02-15 国际竹藤中心 竹材维管束识别方法、装置以及电子设备

Similar Documents

Publication Publication Date Title
KR101825459B1 (ko) 다중 클래스 객체 검출 장치 및 그 방법
Masmoudi et al. Object detection learning techniques for autonomous vehicle applications
Silva et al. Automatic detection of motorcyclists without helmet
Bougharriou et al. Linear SVM classifier based HOG car detection
US20170032676A1 (en) System for detecting pedestrians by fusing color and depth information
Wali et al. Comparative survey on traffic sign detection and recognition: a review
Peng et al. Vehicle type classification using PCA with self-clustering
Zhou et al. Detecting humans in RGB-D data with CNNs
JP2019061505A (ja) 情報処理システム、制御システム、及び学習方法
Zhong et al. Learning to tell brake lights with convolutional features
Yang et al. An extreme learning machine-based pedestrian detection method
Beaupré et al. Improving multiple object tracking with optical flow and edge preprocessing
Wohlhart et al. Discriminative Hough Forests for Object Detection.
Huynh et al. Convolutional neural network for motorbike detection in dense traffic
Gaikwad et al. Vision based pedestrian detection for advanced driver assistance
Zheng et al. Character segmentation for license plate recognition by K-means algorithm
Gou et al. License plate recognition using MSER and HOG based on ELM
Yang et al. Bicyclist detection in large scale naturalistic driving video
Saghafi et al. Appearance-based methods in re-identification: a brief review
Yu et al. Pedestrian counting based on spatial and temporal analysis
Hsu et al. Human head detection using histograms of oriented optical flow in low quality videos with occlusion
Cosma et al. Part-based pedestrian detection using HoG features and vertical symmetry
Rao et al. Object Sub-Categorization and Common Framework Method using Iterative AdaBoost for Rapid Detection of Multiple Objects
Renganathan et al. Detection and classification of vehicles from heterogeneous traffic video data collected using a probe vehicle
Prioletti et al. Design and implementation of a high performance pedestrian detection

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160805

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170718

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180129

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180130

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180131

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201222

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20211206

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20231226

Start annual number: 7

End annual number: 7