KR101476799B1 - 깊이 정보를 이용한 객체 검출 시스템 및 방법 - Google Patents

깊이 정보를 이용한 객체 검출 시스템 및 방법 Download PDF

Info

Publication number
KR101476799B1
KR101476799B1 KR20130081087A KR20130081087A KR101476799B1 KR 101476799 B1 KR101476799 B1 KR 101476799B1 KR 20130081087 A KR20130081087 A KR 20130081087A KR 20130081087 A KR20130081087 A KR 20130081087A KR 101476799 B1 KR101476799 B1 KR 101476799B1
Authority
KR
South Korea
Prior art keywords
image
depth
depth image
learning
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR20130081087A
Other languages
English (en)
Inventor
최형일
주성일
원선희
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR20130081087A priority Critical patent/KR101476799B1/ko
Priority to US14/326,812 priority patent/US9152857B2/en
Application granted granted Critical
Publication of KR101476799B1 publication Critical patent/KR101476799B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명인 깊이 정보를 이용한 객체 검출 시스템은 깊이 카메라로부터 깊이 영상을 수신하는 깊이 영상 수신부, 상기 깊이 영상에서 객체 영역 및 비객체 영역을 분류하는 복수의 약분류기를 포함하는 강분류기 및 상기 분류된 객체 영역을 검출하는 객체 검출부를 포함하되, 상기 강분류기는 상기 깊이 영상을 객체의 특징에 기초하여 케스케이드로 접속된 각 약분류기에 통과시켜 분류하고, 상기 객체의 특징은 상기 깊이 영상의 중심 깊이값에 기초하여 추출되며, 상기 복수의 약분류기는 복수의 포지티브 학습 영상 및 네거티브 학습 영상 중 포지티브 학습 영상을 분류하는 학습 과정을 통해 생성된다.

Description

깊이 정보를 이용한 객체 검출 시스템 및 방법{SYSTEM AND METHOD FOR DETECTING OBJECT USING DEPTH INFORMATION}
본 발명은 깊이 정보를 이용한 객체 검출 시스템 및 방법에 관한 것이다.
최근 스마트 기기의 급속한 발전과 보급화로 인하여 기기 조작을 위한 인터페이스에 대해 대중들의 관심이 급증하고 있다. 그리고 이러한 심리를 반영하기 위해 각 산업분야에서는 지능형 사용자 인터페이스 분야를 집중적으로 연구 및 투자하고 있다.
지능형 사용자 인터페이스에 대한 연구는 상당히 오랜 시간 동안 진행되어 왔으나, 최근 스마트 기기 시장이 활발해지면서 이에 따라 기술적 요구도 증가하고 있는 실정이다.
지능형 인터페이스 기술 중에서도 사용자들의 편의성과 직관성을 최대로 반영할 수 있는 기술이 제스처 인터페이스 기술이다. 가장 대표적인 예로 마이크로소프트사에서 개발한 키넥트(Kinect) 센서는 RGB 카메라와 적외선 카메라 센서를 결합하여 사용자들의 제스처 및 동작을 인식한 실시간 체감형 게임이 가능한 기술이다. 키넥트 센서의 저가형 하드웨어 공급과 공개된 라이브러리의 제공으로 인해 수많은 응용 가능한 제스처 인식 기술들이 개발 가능하게 되었다.
한편, 제스처 인식 기술은 크게 손을 검출하여 손 포즈와 같은 정적(static)인 제스처를 인식하는 기술과, 손의 이동 궤적을 이용한 동적(dynamic)인 제스처를 인식하는 기술로 구분될 수 있다. 그러나 이와 같은 제스처 인식 기술은 영상으로부터 손 영역을 분할하고 검출하는 단계가 선행되어야 한다. 이를 위해 주로 컬러 영상 정보를 이용하는 방법과 깊이 영상 정보를 이용하는 방법, 그리고 컬러와 깊이 정보를 혼합한 방법이 연구되고 있다.
이 중 컬러 영상 정보를 이용한 제스처 인식 방법은 가장 쉽게 영상으로부터 획득 가능한 컬러 정보를 다루고 있기 때문에 다양한 연구가 선행되었다. 컬러 영상 정보를 이용한 방법은 빠르게 손을 검출할 수 있다는 장점이 있지만, 조명과 같은 환경 변화에 매우 취약하다는 가장 큰 문제점이 있다.
이와 같은 문제점을 해결하기 위해 깊이 영상 정보와 결합하는 연구들이 진행되어 왔으나, 손을 검출하기 위한 전처리 단계에서 컬러 영상에 의존하기 때문에 조명 조건에 매우 민감하다는 문제점이 있다.
이와 더불어, 깊이 영상만을 이용한 연구들도 수행되고 있으나, 손이 카메라로부터 가장 앞쪽에 위치해야 하는 사전 조건이 필요하거나 팔 영역과 손을 분리하기 위한 거리 정보가 구분되기 힘들다는 문제점이 있다.
이와 관련하여, 한국공개특허공보 제2013-0043394호(발명의 명칭: 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치)는 스테레오 카메라 등으로부터 획득한 영상의 깊이 정보만을 이용하여 목표물을 추출할 수 있는 내용을 개시하고 있다.
또한, 한국공개특허공보 제2013-0050672호(발명의 명칭: 3차원 카메라를 이용한 가상 터치 방법 및 장치)는 스크린부 주변 영역과 구분되는 스크린 영역을 검출하고, 스크린 영역 상에 터치 수행자의 형상이 감지되면, 신체 일부 영역을 검출하며, 3차원 카메라에 대한 스크린 영역의 깊이값과 신체 일부 영역의 깊이값을 비교하여 터치 여부를 판단하는 내용을 개시하고 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 일부 실시예는 케스케이드 기반 부스팅 분류기와 깊이 차 특징을 이용하여 입력된 깊이 영상으로부터 실시간으로 객체의 영역을 분류하고 검출하기 위한 객체 검출 시스템 및 방법을 제공하는 것을 그 목적으로 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 깊이 정보를 이용한 객체 검출 시스템은 깊이 카메라로부터 깊이 영상을 수신하는 깊이 영상 수신부, 상기 깊이 영상에서 객체 영역 및 비객체 영역을 분류하는 복수의 약분류기를 포함하는 강분류기 및 상기 분류된 객체 영역을 검출하는 객체 검출부를 포함하되, 상기 강분류기는 상기 깊이 영상을 객체의 특징에 기초하여 케스케이드로 접속된 각 약분류기에 통과시켜 분류하고, 상기 객체의 특징은 상기 깊이 영상의 중심 깊이값에 기초하여 추출되며, 상기 복수의 약분류기는 복수의 포지티브 학습 영상 및 네거티브 학습 영상 중 포지티브 학습 영상을 분류하는 학습 과정을 통해 생성된다.
또한, 본 발명의 제 2 측면에 따른 깊이 정보를 이용한 객체 검출 시스템에서의 객체 검출 방법은 깊이 카메라로부터 깊이 영상을 수신하는 단계, 복수의 약분류기를 포함하는 강분류기를 이용하여 상기 수신한 깊이 영상에서 객체 영역 및 비객체 영역을 분류하는 단계 및 상기 분류된 객체 영역을 검출하는 단계를 포함하되, 상기 강분류기는 상기 깊이 영상을 객체의 특징에 기초하여 케스케이드로 접속된 각 약분류기에 통과시켜 분류하고, 상기 객체의 특징은 상기 깊이 영상의 중심 깊이값에 기초하여 추출되며, 상기 복수의 약분류기는 복수의 포지티브 학습 영상 및 네거티브 학습 영상 중 포지티브 학습 영상을 분류하는 학습 과정을 통해 생성된다.
전술한 본 발명의 과제 해결 수단에 의하면, 입력된 깊이 영상으로부터 실시간으로 객체 영역을 빠르게 검출할 수 있으며, 정확성이 높은 객체 검출이 가능하여 사용자들과 자연스러운 제스처 인터랙션이 가능하다.
또한, 실내 조명 및 환경변화에 영향을 받지 않고 실시간으로 객체를 검출 및 추적할 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 시스템의 블록도이다.
도 2는 객체의 특징을 추출하는 방법의 일 예시를 도시한 도면이다.
도 3은 수집된 포지티브 학습 영상 및 네거티브 학습 영상을 도시한 도면이다.
도 4는 깊이 영상으로부터 추출된 객체의 특징을 도시한 도면이다.
도 5는 케스케이드로 접속된 약분류기를 도시한 도면이다.
도 6은 약분류기에서의 임계값 결정 방법을 도시한 도면이다.
도 7은 객체 검출 시스템에서의 객체 검출 과정을 도시한 도면이다.
도 8은 객체 검출 결과를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 객체 검출 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 시스템(100)의 블록도이다.
본 발명에 따른 객체 검출 시스템(100)은 깊이 영상 수신부(110), 강분류기(140) 및 객체 검출부(150)를 포함한다.
참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
깊이 영상 수신부(110)는 깊이 카메라로부터 깊이 영상을 수신한다. 이와 같이 수신한 깊이 영상은 객체를 검출하기 위하여 사용될 수 있으며, 이와 더불어 하기에서 설명할 강분류기(140)를 학습하기 위한 과정에도 사용될 수 있다.
강분류기(140)는 깊이 영상에서 객체 영역 및 비객체 영역을 분류하는 복수의 약분류기를 포함하고 있다. 강분류기(140)는 깊이 영상을 객체의 특징에 기초하여 케스케이드로 접속된 각 약분류기에 통과시켜 분류한다. 이때, 객체의 특징은 깊이 영상의 중심 깊이값에 기초하여 추출된다.
강분류기(140)에는 임계값 이상의 검출율 및 최소 오류율을 만족하는 약분류기가 추가될 수 있다. 이때, 약분류기는 복수의 포지티브 학습 영상 및 네거티브 학습 영상 중 포지티브 학습 영상을 분류하는 학습 과정을 통해 생성된다.
이하에서는 도 2 내지 도 6을 참조하여 강분류기(140) 및 약분류기의 학습 과정에 대하여 설명하면 다음과 같다.
도 2는 객체의 특징을 추출하는 방법의 일 예시를 도시한 도면이다.
본 발명에 따른 객체 검출 시스템(100)은 객체의 간단한 특징을 추출한 후 이를 이용하여 부스팅과 케스케이드 방식이 적용된 약분류기를 학습시켜 객체 영역을 검출한다. 먼저, 2차 선형모델을 이용하여 결정된 영역으로부터 중심 깊이값과 주변 화소들의 깊이값의 차이를 구한다. 이때, 해당 영역을 Nx, Ny 만큼 서브블록으로 분할하여 특징을 추출할 수 있다.
도 2는 Nx 및 Ny가 각각 2로 설정된 것으로서 중심점은 중심 깊이값을 의미하며, 사각 영역은 중심 깊이값과의 차이를 계산하기 위한 영역을 의미한다. Nx 및 Ny가 각각 2로 설정되었기 때문에, 추출할 수 있는 특징의 수는 9개가 된다. 이와 같은 방법으로 약분류기를 학습할 경우 약분류기는 Nx={1,…,n}, Ny={1,…,m}인 모든 경우의 특징값을 사용하게 된다.
도 3은 수집된 포지티브 학습 영상 및 네거티브 학습 영상을 도시한 도면이다.
객체의 특징을 추출하여 케스케이드를 학습시키기 위해서는 학습 데이터가 필요하다. 이와 같은 학습 영상은 영상 수집부(160)에 의해 수집될 수 있다. 영상 수집부(160)는 깊이 영상으로부터 복수의 포지티브 학습 영상 및 복수의 네거티브 학습 영상을 수집할 수 있다. 이때, 포지티브 학습 영상은 깊이 카메라와 객체의 거리에 기초하여 수집될 수 있고, 네거티브 학습 영상은 랜덤하게 수집될 수 있다.
영상 수집부(160)에 의해 수집된 포지티브 학습 영상 및 네거티브 학습 영상을 도 3에 도시하였으며, 도 3은 객체를 손으로 설정한 예시로서, 손 영역 중심의 깊이값에 따라 특징 추출을 위한 영역의 크기가 동적으로 결정되어 수집된 것이다.
도 4는 깊이 영상으로부터 추출된 객체의 특징을 도시한 도면이다.
학습 영상 및 학습하고자 하는 영역이 주어지면, 영역으로부터 특징을 추출해야 한다. 특징은 도 2에서 설명한 바와 같이 서브블록으로 분할하여 특징을 추출할 수 있다. 이때, 특징 추출은 주어진 영역을 Nx=1, Ny=1 부터 Nx=n, Ny=m이 될 때까지 서브블록으로 분할하여 특징을 추출한다. 이와 같이 추출된 특징의 예시를 도 4에 도시하였으며, 손 영역을 점점 작은 서브블록으로 분할하여 특징을 추출하게 된다.
도 5는 케스케이드로 접속된 약분류기를 도시한 도면이며, 도 6은 약분류기에서의 임계값 결정 방법을 도시한 도면이다.
포지티브 학습 영상 및 네거티브 학습 영상과 객체의 특징을 추출하면, 아다부스트를 이용하여 학습 과정을 수행할 수 있으며, 아다부스트를 이용할 경우 특징의 임계값 선택 시 학습 집합에 대해 오류율이 가장 낮은 임계값을 설정하게 된다. 그러나 본 발명에 따른 객체 검출 시스템(100)은 아다부스트 방법과 달리 임계값 이상의 검출율 및 최소 오류율을 만족하는 약분류기를 선택하여 학습 과정을 수행한다. 이는 검출하고자 하는 영역이 단순한 패턴을 가지고 있는 경우에도 검출하기 위해서이며, 이에 따라 검출 속도를 빠르게 하기 위하여 각 선택된 약분류기를 케스케이드 방법으로 접속시키고 각 스테이지를 하나의 약분류기로 구성하여 임계값 이상의 검출율을 유지하면서 연산 속도 또한 빠르게 할 수 있다.
한편, 약분류기에 적용되는 검출율(dr) 및 오류율(er)은 아래의 [수식 1] 및 [수식 2]에 따라 산출될 수 있다.
[수식 1]
dr=max((T+-S+)/T+, S+/T+)
[수식 2]
er=min(S++(T-+S-), S-+(T+-S+))
이때, S+와 S-는 임계값 이하의 각 포지티브 학습 영상과 네거티브 학습 영상의 가중치의 합이며, T+와 T-는 포지티브 학습 영상과 네거티브 학습 영상의 전체 가중치의 합을 의미한다. 이와 같은 포지티브 학습 영상 및 네거티브 학습 영상의 가중치에 기초하여 약분류기의 검출율 및 오류율을 산출할 수 있다.
한편, 각 스테이지는 하나의 약분류기로 구성되며, 강분류기(140)에 포함되는 약분류기는 약분류기 선택부(170)에 의해 선택될 수 있다. 이하에서는 약분류기 선택부(170)에 대하여 설명하도록 한다.
강분류기(140)가 생성되기 전에 약분류기는 복수개(예를 들어 약 1만여 개)가 생성되며, 복수개의 약분류기 중 강분류기(140)에 추가할 약분류기를 선택하기 위해서는 각 약분류기에 대한 검출율 및 오류율을 산출해야 한다. 이때, 검출율 및 오류율은 위에서 설명한 바와 같이 가중치에 기초하여 산출될 수 있다.
복수개의 약분류기에 대한 검출율 및 오류율이 결정되면, 약분류기 선택부(170)는 복수개의 약분류기 중 임계값 이상의 검출율을 만족함과 동시에 최소 오류율을 만족하는 약분류기를 선택하여 강분류기(140)에 추가할 수 있다. 이때, 선택된 약분류기는 도 6에 도시된 바와 같이 포지티브 학습 영상을 모두 포함하면서, 최소 오류율을 만족하게 된다.
이와 같이 강분류기(140)에 약분류기가 추가되면, 강분류기(140)에 포지티브 학습 영상 및 네거티브 학습 영상을 통과시키는 검증 과정을 수행한다. 이와 같은 검증 과정을 거쳐, 네거티브 학습 영상으로 인식된 것들은 제거하고, 남은 학습 영상으로 가중치를 산출하고 각 약분류기의 검출율 및 오류율을 산출하는 과정을 반복하여 수행한다. 이와 같은 반복 과정은 사용자가 설정한 오긍정률과 현재 강분류기의 오긍정률을 비교하여, 현재 오긍정률이 사용자가 설정한 오긍정률보다 작을 때까지 계속적으로 수행되며, 이를 통해 선택된 약분류기를 추가하여 강분류기(140)를 생성할 수 있다.
도 5는 본 발명에서 적용된 강분류기(140)를 도시한 도면이다. 본 발명에 따른 객체 검출 시스템(100)은 검출하고자 하는 객체가 예를 들어 손과 같이 비교적 단순한 패턴을 가지고 있는 경우도 검출할 수 있다. 손 영역의 형태는 손바닥을 편 상태의 정면 영상이므로 크기에 따른 변화를 제외하면 대부분 유사한 형태를 가지게 된다. 따라서 분류기를 과적합시키기 위해 모든 스테이지에 하나의 약분류기를 할당한다. 선택된 약분류기는 임계값 결정 규칙에 따라 검출율을 만족시키기 때문에 대부분의 포지티브 학습 영상을 통과시키면서 네거티브 학습 영상을 분류하게 된다. 이에 따라, 여러 단계의 약분류기를 통과하더라도 검출율은 유지될 수 있다.
다시 도 1을 참조하면 객체 검출부(150)는 강분류기(140)에서 분류된 객체 영역을 검출한다. 객체 검출부(150)와 관련하여 도 7 및 도 8을 참조하여 설명하면 다음과 같다.
도 7은 객체 검출 시스템(100)에서의 객체 검출 과정을 도시한 도면이며, 도 8은 객체 검출 결과를 도시한 도면이다.
학습 과정을 통해 생성된 강분류기(140)는 어떤 영역이 주어졌을 경우 검출하고자 하는 객체 영역이 맞는지 여부를 확인한다. 이와 같은 분류기를 이용하여 크기에 불변한 손 영역을 검출해야 하며, 크기 불변을 만족시키기 위하여 2차 선형 모델을 생성해야 한다.
도 7은 2차 선형 모델과 케스케이드로 접속된 분류기를 이용하여 객체 영역을 검출하는 과정이 도시되었다. 먼저, 분류하고자 하는 위치가 설정되면, 관심영역을 생성해야 한다.
관심 영역은 관심 영역 생성부(120)에 의해 생성될 수 있다. 관심 영역 생성부(120)는 깊이 영상의 중심값을 산출하고, 이에 기초하여 객체의 관심 영역을 생성할 수 있다. 이때, 관심 영역은 2차 선형 모델에 기초하여 생성될 수 있다.
관심 영역이 생성되면 영역 검사부(130)에 의해 생성된 관심 영역이 깊이 영상의 범위 내에 포함되는지 여부를 검사할 수 있다. 영역 검사까지 통과된 화소는 분류기로 보내지며, 생성된 분류기를 모두 통과할 경우 객체 영역으로 분류된다.
도 8의 (A)는 분류된 객체 영역을 병합하기 전의 상태를 도시한 것이고, (B)는 병합한 후를 도시한 것이다. 병합하기 전에는 객체 영역의 근처에 매우 많은 사각형이 겹쳐 있는 것을 확인할 수 있다. 이와 같은 사각형들이 하나의 객체일 경우 하나의 영역으로 병합함으로써 객체를 검출할 수 있다.
한편, 본 발명에 따른 객체 검출 시스템(100)은 피드백부(미도시)를 더 포함할 수 있다. 피드백부는 객체 검출부(150)가 검출한 객체 영역을 강분류기(140)에 전달하고, 강분류기(140) 내의 각 약분류기에서 검출한 객체 영역에 대해 학습과정을 수행할 수 있다. 이에 따라, 향후 새로운 깊이 영상 수신 시 더욱 빠르고 정확하게 객체 영역을 분류할 수 있다.
도 9는 본 발명의 일 실시예에 따른 객체 검출 방법의 순서도이다.
깊이 정보를 이용한 객체 시스템에서의 객체 검출 방법은 먼저, 깊이 카메라로부터 깊이 영상을 수신한다(S110). 이와 같이 수신한 깊이 영상은 객체를 검출하기 위하여 사용될 수 있으며, 이와 더불어 하기에서 설명할 강분류기(140)를 학습하기 위한 과정에도 사용될 수 있다.
깊이 영상을 수신하면, 깊이 영상의 중심값을 산출하고, 이에 기초하여 객체의 관심 영역을 생성할 수 있으며(S120), 생성된 관심 영역이 깊이 영상 범위 내에 포함되는지 여부를 검사할 수 있다(S130).
다음으로, 복수의 약분류기를 포함하는 강분류기(140)를 이용하여 수신한 깊이 영상에서 객체 영역 및 비객체 영역을 분류한다(S140). 강분류기(140)는 깊이 영상을 객체의 특징에 기초하여 케스케이드로 접속된 약분류기에 통과시켜 분류하며, 이때 객체의 특징은 깊이 영상의 중심값에 기초하여 추출된다. 강분류기(140)는 임계값 이상의 검출율 및 최소 오류율을 만족하는 약분류기를 포함하고 있으며, 이때 각 약분류기는 복수의 포지티브 학습 영상 및 네거티브 학습 영상 중 포지티브 학습 영상을 분류하는 학습 과정을 통해 생성된다. 이하에서는 약분류기의 학습 과정에 대하여 설명하도록 한다.
약분류기를 학습하는 과정은 먼저, 깊이 영상을 수신하면(S210), 수신된 깊이 영상으로부터 복수의 포지티브 학습 영상 및 복수의 네거티브 학습 영상을 수집한다(S220). 이때, 포지티브 학습 영상은 깊이 카메라와 객체의 거리에 기초하여 수집될 수 있으며, 네거티브 학습 영상은 랜덤하게 수집될 수 있다.
이와 같이 수집된 포지티브 학습 영상 및 네거티브 학습 영상 중 포지티브 학습 영상을 분류하는 학습 과정을 통해 약분류기를 선택한다(S230). 이때, 강분류기(140)에 케스케이드로 접속된 각 약분류기는 임계값 이상의 검출율 및 최소 오류율을 만족하고 있으며, 이때 검출율 및 오류율은 포지티브 학습 영상의 가중치 및 네거티브 학습 영상의 가중치에 기초하여 산출될 수 있다.
한편, 강분류기(140)에 추가될 약분류기를 선택하기 위해서는 복수개의 약분류기를 생성하고, 생성된 모든 약분류기에 대하여 검출율 및 오류율을 계산한다. 계산된 약분류기의 오류율을 정렬하여 가장 작은 오류율을 갖는 약분류기를 선택한다. 선택된 약분류기를 케스케이드 형태로 구성하고, 모든 네거티브 학습 영상을 분류할 때까지 반복하여 수행함으로써 강분류기(140)를 생성할 수 있다(S240). 이와 같은 학습 과정을 통해 생성된 강분류기(140)을 이용하여 수신한 깊이 영상에서 객체 영역 및 비객체 영역을 분류할 수 있다.
객체 검출 방법은 마지막으로, 강분류기(140)에 의해 분류된 객체 영역을 검출한다(S150). 객체 영역을 검출하는 단계에 대해서는 도 7 및 도 8에서 구체적으로 설명하였으므로 생략하도록 한다.
한편, 본 발명에 따른 객체 검출 방법은 검출된 객체 영역에 기초하여 피드백하는 단계를 더 포함할 수 있다. 즉, 검출한 객체영역을 강분류기(140)에 전달하고, 강분류기(140) 내의 각 약분류기에서 검출한 객체 영역에 대해 학습과정을 수행할 수 있다. 이에 따라, 향후 새로운 깊이 영상 수신 시 더욱 빠르고 정확하게 객체 영역을 분류할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 객체 검출 시스템 110:깊이 영상 수신부
120: 관심 영역 생성부 130: 영역 검사부
140: 강분류기 150: 객체 검출부
160: 영상 수집부 170: 약분류기 선택부

Claims (11)

  1. 깊이 정보를 이용한 객체 검출 시스템에 있어서,
    깊이 카메라로부터 깊이 영상을 수신하는 깊이 영상 수신부,
    상기 깊이 영상의 중심 깊이값을 산출하고, 이에 기초하여 상기 객체의 관심 영역을 생성하는 관심 영역 생성부,
    상기 생성된 관심 영역이 상기 깊이 영상의 범위 내에 포함되는지 여부를 검사하는 영역 검사부,
    상기 관심 영역이 상기 깊이 영상의 범위 내에 포함되는 것으로 검사된 깊이 영상에서 객체 영역 및 비객체 영역을 분류하는 복수의 약분류기를 포함하는 강분류기 및
    상기 분류된 객체 영역을 검출하는 객체 검출부를 포함하되,
    상기 강분류기는 상기 깊이 영상을 객체의 특징에 기초하여 케스케이드로 접속된 각 약분류기에 통과시켜 분류하고,
    상기 객체의 특징은 상기 깊이 영상의 중심 깊이값에 기초하여 추출되며,
    상기 복수의 약분류기는 복수의 포지티브 학습 영상 및 네거티브 학습 영상 중 포지티브 학습 영상을 분류하는 학습 과정을 통해 생성된 것인 객체 검출 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 관심 영역 생성부는 2차 선형 모델에 기초하여 상기 객체의 관심 영역을 생성하는 것인 객체 검출 시스템.
  4. 제 1 항에 있어서,
    상기 깊이 영상으로부터 상기 복수의 포지티브 학습 영상 및 복수의 네거티브 학습 영상을 수집하는 영상 수집부를 더 포함하는 객체 검출 시스템.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제 4 항에 있어서,
    임계값 이상의 검출율 및 최소 오류율을 만족하는 약분류기를 선택하여 상기 강분류기에 추가하는 약분류기 선택부를 더 포함하되,
    상기 검출율 및 상기 오류율은 상기 포지티브 학습 영상의 가중치 및 상기 네거티브 학습 영상의 가중치에 기초하여 산출되는 것인 객체 검출 시스템.
  6. 청구항 6은(는) 설정등록료 납부시 포기되었습니다.
    제 4 항에 있어서,
    상기 포지티브 학습 영상은 상기 깊이 카메라와 상기 객체의 거리에 기초하여 수집되고,
    상기 네거티브 학습 영상은 랜덤하게 수집되는 것인 객체 검출 시스템.
  7. 깊이 정보를 이용한 객체 검출 시스템에서의 객체 검출 방법에 있어서,
    깊이 카메라로부터 깊이 영상을 수신하는 단계,
    상기 깊이 영상의 중심 깊이값을 산출하고, 이에 기초하여 상기 객체의 관심 영역을 생성하는 단계,
    상기 생성된 관심 영역이 상기 깊이 영상의 범위 내에 포함되는지 여부를 검사하는 단계,
    복수의 약분류기를 포함하는 강분류기를 이용하여 상기 관심 영역이 상기 깊이 영상의 범위 내에 포함되는 것으로 검사된 깊이 영상에서 객체 영역 및 비객체 영역을 분류하는 단계 및
    상기 분류된 객체 영역을 검출하는 단계를 포함하되,
    상기 강분류기는 상기 깊이 영상을 객체의 특징에 기초하여 케스케이드로 접속된 각 약분류기에 통과시켜 분류하고,
    상기 객체의 특징은 상기 깊이 영상의 중심 깊이값에 기초하여 추출되며,
    상기 복수의 약분류기는 복수의 포지티브 학습 영상 및 네거티브 학습 영상 중 포지티브 학습 영상을 분류하는 학습 과정을 통해 생성된 것인 객체 검출 방법.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 깊이 영상으로부터 복수의 포지티브 학습 영상 및 복수의 네거티브 학습 영상을 수집하는 단계를 더 포함하는 객체 검출 방법.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제 9 항에 있어서,
    임계값 이상의 검출율 및 최소 오류율을 만족하는 약분류기를 선택하여 상기 강분류기에 추가하는 단계를 더 포함하되,
    상기 검출율 및 상기 오류율은 상기 포지티브 학습 영상의 가중치 및 상기 네거티브 학습 영상의 가중치에 기초하여 산출되는 것인 객체 검출 방법.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제 9 항에 있어서,
    상기 포지티브 학습 영상은 상기 깊이 카메라와 상기 객체의 거리에 기초하여 수집되고,
    상기 네거티브 학습 영상은 랜덤하게 수집되는 것인 객체 검출 방법.
KR20130081087A 2013-07-10 2013-07-10 깊이 정보를 이용한 객체 검출 시스템 및 방법 Active KR101476799B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130081087A KR101476799B1 (ko) 2013-07-10 2013-07-10 깊이 정보를 이용한 객체 검출 시스템 및 방법
US14/326,812 US9152857B2 (en) 2013-07-10 2014-07-09 System and method for detecting object using depth information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130081087A KR101476799B1 (ko) 2013-07-10 2013-07-10 깊이 정보를 이용한 객체 검출 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101476799B1 true KR101476799B1 (ko) 2014-12-26

Family

ID=52277149

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130081087A Active KR101476799B1 (ko) 2013-07-10 2013-07-10 깊이 정보를 이용한 객체 검출 시스템 및 방법

Country Status (2)

Country Link
US (1) US9152857B2 (ko)
KR (1) KR101476799B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170022625A (ko) * 2015-08-21 2017-03-02 삼성전자주식회사 분류기 학습 방법 및 객체 검출 방법
KR20170028591A (ko) * 2015-09-04 2017-03-14 한국전자통신연구원 컨볼루션 신경망을 이용한 객체 인식 장치 및 방법
KR101825689B1 (ko) 2016-11-03 2018-02-05 재단법인대구경북과학기술원 객체 인식 장치, 이의 학습 방법 및 이를 이용한 객체 인식 방법
KR20200115723A (ko) * 2019-03-14 2020-10-08 에스케이텔레콤 주식회사 영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017080451A1 (en) * 2015-11-11 2017-05-18 Zhejiang Dahua Technology Co., Ltd. Methods and systems for binocular stereo vision
US10963676B2 (en) 2016-12-23 2021-03-30 Samsung Electronics Co., Ltd. Image processing method and apparatus
US10572743B1 (en) * 2017-08-28 2020-02-25 Ambarella, Inc. Real-time color classification for street vehicles
CN109948439B (zh) * 2019-02-13 2023-10-31 平安科技（深圳）有限公司 一种活体检测方法、系统及终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
JP2009251962A (ja) * 2008-04-07 2009-10-29 Toshiba Corp 強識別器の学習装置及びその方法並びに強識別器の学習プログラム
JP2013033331A (ja) * 2011-08-01 2013-02-14 Universal Entertainment Corp 識別装置及び識別プログラム
KR101279561B1 (ko) * 2012-01-19 2013-06-28 광운대학교 산학협력단 깊이정보 기반 고속 고정밀 얼굴 검출 및 추적 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
KR101305694B1 (ko) 2011-10-20 2013-09-09 엘지이노텍 주식회사 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치
US9148637B2 (en) * 2011-11-04 2015-09-29 Microsoft Technology Licensing, Llc Face detection and tracking
KR101330531B1 (ko) 2011-11-08 2013-11-18 재단법인대구경북과학기술원 ３차원 카메라를 이용한 가상 터치 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
JP2009251962A (ja) * 2008-04-07 2009-10-29 Toshiba Corp 強識別器の学習装置及びその方法並びに強識別器の学習プログラム
JP2013033331A (ja) * 2011-08-01 2013-02-14 Universal Entertainment Corp 識別装置及び識別プログラム
KR101279561B1 (ko) * 2012-01-19 2013-06-28 광운대학교 산학협력단 깊이정보 기반 고속 고정밀 얼굴 검출 및 추적 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170022625A (ko) * 2015-08-21 2017-03-02 삼성전자주식회사 분류기 학습 방법 및 객체 검출 방법
KR102415503B1 (ko) * 2015-08-21 2022-07-01 삼성전자주식회사 분류기 학습 방법 및 객체 검출 방법
US11416763B2 (en) 2015-08-21 2022-08-16 Samsung Electronics Co., Ltd. Method of training classifier and detecting object
KR20170028591A (ko) * 2015-09-04 2017-03-14 한국전자통신연구원 컨볼루션 신경망을 이용한 객체 인식 장치 및 방법
KR101980360B1 (ko) 2015-09-04 2019-08-28 한국전자통신연구원 컨볼루션 신경망을 이용한 객체 인식 장치 및 방법
KR101825689B1 (ko) 2016-11-03 2018-02-05 재단법인대구경북과학기술원 객체 인식 장치, 이의 학습 방법 및 이를 이용한 객체 인식 방법
KR20200115723A (ko) * 2019-03-14 2020-10-08 에스케이텔레콤 주식회사 영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들
KR102658563B1 (ko) * 2019-03-14 2024-04-17 에스케이텔레콤 주식회사 영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들

Also Published As

Publication number Publication date
US20150016676A1 (en) 2015-01-15
US9152857B2 (en) 2015-10-06

Similar Documents

Publication Publication Date Title
KR101476799B1 (ko) 깊이 정보를 이용한 객체 검출 시스템 및 방법
Bao et al. Tiny hand gesture recognition without localization via a deep convolutional network
CN111160379B (zh) 图像检测模型的训练方法及装置、目标检测方法及装置
US8792722B2 (en) Hand gesture detection
US8750573B2 (en) Hand gesture detection
US9811721B2 (en) Three-dimensional hand tracking using depth sequences
KR101364571B1 (ko) 영상 기반의 손 검출 장치 및 그 방법
Nazir et al. A bag of expression framework for improved human action recognition
Joshi et al. Comparing random forest approaches to segmenting and classifying gestures
CN108009466B (zh) 行人检测方法和装置
Kaâniche et al. Recognizing gestures by learning local motion signatures of HOG descriptors
CN106648078B (zh) 应用于智能机器人的多模态交互方法及系统
Potdar et al. A convolutional neural network based live object recognition system as blind aid
Liu et al. Hand Gesture Recognition Based on Single‐Shot Multibox Detector Deep Learning
CN104268514A (zh) 一种基于多特征融合的手势检测方法
KR20190018274A (ko) 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
Misra et al. Development of a hierarchical dynamic keyboard character recognition system using trajectory features and scale-invariant holistic modeling of characters
Pujol-Miro et al. Correspondence matching in unorganized 3D point clouds using Convolutional Neural Networks
Fung et al. Robots autonomously detecting people: A multimodal deep contrastive learning method robust to intraclass variations
Wang et al. Accurate playground localisation based on multi-feature extraction and cascade classifier in optical remote sensing images
Hoque et al. Computer vision based gesture recognition for desktop object manipulation
Brun et al. HAck: A system for the recognition of human actions by kernels of visual strings
Garzón et al. A fast action recognition strategy based on motion trajectory occurrences
Chahyati et al. Multiple human tracking using retina net features, siamese neural network, and Hungarian algorithm
Bhardwaj et al. Modified Neural Network-based Object Classification in Video Surveillance System.

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130710

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140725

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20141212

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20141219

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20141222

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20181022

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20181022

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20191112

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20191112

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20201215

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20211213

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20221208

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20231204

Start annual number: 10

End annual number: 10