KR20140119900A - 깊이 이미지를 이용하여 동작을 인식하는 장치 및 방법 - Google Patents

깊이 이미지를 이용하여 동작을 인식하는 장치 및 방법 Download PDF

Info

Publication number
KR20140119900A
KR20140119900A KR1020130033970A KR20130033970A KR20140119900A KR 20140119900 A KR20140119900 A KR 20140119900A KR 1020130033970 A KR1020130033970 A KR 1020130033970A KR 20130033970 A KR20130033970 A KR 20130033970A KR 20140119900 A KR20140119900 A KR 20140119900A
Authority
KR
South Korea
Prior art keywords
depth image
object detection
depth
hand
detection area
Prior art date
Application number
KR1020130033970A
Other languages
English (en)
Inventor
이상윤
황진규
김재성
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020130033970A priority Critical patent/KR20140119900A/ko
Publication of KR20140119900A publication Critical patent/KR20140119900A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

동작 인식 장치는 시간적으로 연속하는 제 1 깊이 이미지, 제 2 깊이 이미지 및 제 3 깊이 이미지를 획득하는 이미지 획득부, 상기 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손(hand) 영역을 이용하여 상기 제 3 깊이 이미지 상의 객체 검출 영역을 설정하는 객체 검출 영역 설정부, 상기 제 1 내지 제 3 깊이 이미지에 포함된 손 영역을 검출하되, 상기 제 3 깊이 이미지에 포함된 손 영역은 상기 설정된 객체 검출 영역에 기초하여 검출하는 객체 검출부, 및 상기 검출된 제 1 내지 제 3 깊이 이미지 중 적어도 하나 이상의 깊이 이미지에 포함된 손 영역이 동작 인식의 대상인지 여부를 판단하는 인식 대상 판단부를 포함한다.

Description

깊이 이미지를 이용하여 동작을 인식하는 장치 및 방법{APPARATUS FOR RECOGNIZING MOTION BY USING DEPTH IMAGE AND METHOD THEREOF}
깊이 이미지를 이용하여 사용자의 동작을 인식하는 장치 및 방법에 관한 것이다.
통상적으로 종래 컴퓨터, 노트북, 셋탑박스, 스마트폰 등의 전자 기기의 사용자 입력 수단으로는 키보드, 마우스, 터치 스크린, 리모콘 등이 이용되었다. 하지만, 최근에는 다양한 종류의 사용자 입력 수단을 이용하고 있다. 예를 들어, 사용자의 홍채 또는 지문은 전자 기기의 보안용 사용자 입력으로 이용된다. 즉, 전자 기기는 사용자의 홍채 또는 지문을 인식함으로써, 해당 전자 기기의 사용 권한을 해당 사용자에게 제공할 수 있다. 나아가 전자 기기와 연결된 또는 내장된 이미지 센서를 사용자 입력 수단으로 이용함으로써 사용자의 동작을 입력 값으로 받을 수 있다. 다만, 이러한 동작 인식을 위해서는 움직이는 인식의 대상, 예를 들어, 사용자의 손을 놓치지 않고 추적하며 인식해야만 한다.
깊이 이미지를 이용하여 사용자의 동작을 인식하는 장치 및 방법을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 동작 인식 장치는 시간적으로 연속하는 제 1 깊이 이미지, 제 2 깊이 이미지 및 제 3 깊이 이미지를 획득하는 이미지 획득부, 상기 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손(hand) 영역을 이용하여 상기 제 3 깊이 이미지 상의 객체 검출 영역을 설정하는 객체 검출 영역 설정부, 상기 제 1 내지 제 3 깊이 이미지에 포함된 손 영역을 검출하되, 상기 제 3 깊이 이미지에 포함된 손 영역은 상기 설정된 객체 검출 영역에 기초하여 검출하는 객체 검출부, 및 상기 검출된 제 3 깊이 이미지에 포함된 손 영역이 동작 인식의 대상인지 여부를 판단하는 인식 대상 판단부를 포함하는 것을 특징으로 한다.
한편, 본 발명의 다른 측면에 따른 동작 인식 방법은 시간적으로 연속하는 제 1 깊이 이미지, 제 2 깊이 이미지 및 제 3 깊이 이미지를 획득하는 단계, 상기 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손 영역을 검출하는 단계, 상기 검출된 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손 영역을 이용하여 상기 제 3 깊이 이미지 상의 객체 검출 영역을 설정하는 단계, 상기 설정된 객체 검출 영역에 기초하여 상기 제 3 깊이 이미지에 포함된 손 영역은 검출하는 단계, 및 상기 검출된 제 3 깊이 이미지에 포함된 손 영역이 동작 인식의 대상인지 여부를 판단하는 인식 대상 판단부를 포함하는 것을 특징으로 한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 동작 인식 장치는 깊이 이미지를 이용함으로써, 컬러 이미지 상에서 객체 인식 대상과 배경과의 색상, 명암 등으로부터 발생하는 문제점과 관계 없이, 동작을 인식할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 동작 인식 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른, 깊이 이미지에 포함된 3차원 객체 검출 영역을 도시한 도면이다.
도 3a 및 3b는 본 발명의 일 실시예에 따른, 동작 인식 장치로부터의 거리에 따른 손 영역의 크기에 대한 그래프들이다.
도 4a 및 4b는 본 발명의 일 실시예에 따른, 사용자의 손 동작을 도시한 도면들이다.
도 5는 본 발명의 일 실시예에 따른, 손가락을 인식하는 방법을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른, 동작 인식 장치가 동작을 인식하는 방법을 나타낸 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 동작 인식 장치의 구성도이다. 도 1을 참조하면, 동작 인식 장치(100)는 이미지 획득부(110), 객체 검출 영역 설정부(120), 객체 검출부(130), 인식 대상 판단부(140) 및 DB(190)을 포함할 수 있다. 다만, 도 1에 도시된 동작 인식 장치(100)는 본 발명의 하나의 구현 예에 불과하며, 도 1에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다. 예를 들어, 동작 인식 장치(100)는 사용자로부터 어떤 명령 내지 정보를 입력받기 위한 유저 인터페이스를 더 포함할 수 있다. 이 경우, 유저 인터페이스는 일반적으로 키보드, 마우스 등과 같은 입력 장치가 될 수도 있으나, 영상 표시 장치에 표현되는 그래픽 유저 인터페이스(GUI, Graphical User interface)가 될 수도 있다.
이미지 획득부(110)는 동작 인식 장치(100)에 내장되거나 연결된 이미지 센서를 이용하여 시간적으로 연속하는 제 1 깊이 이미지, 제 2 깊이 이미지 및 제 3 깊이 이미지를 획득할 수 있다. 즉, 이미지 센서에 의해 획득된 제 1 내지 제 3 깊이 이미지는 기설정된 시간 주기로 촬영된 깊이 이미지의 세트일 수 있고, 해당하는 시간 주기는 이미지 센서 또는 동작 인식 장치(100) 자체에서 기본적으로 셋팅된 것이거나, 사용자에 의해 셋팅된 것일 수 있다. 나아가, 깊이 이미지를 획득하는 이미지 센서로는 마이크로소프트(Microsoft) 사의 키넥트(Kinect) 또는 여러 제조사의 TOF(Time of Flight) 이미지 센서 등을 이용할 수 있다. 또한, 이후 이용될 이미지 간의 차이를 이용한 객체 검출을 위해서는 제 1 내지 제 3 깊이 이미지는 하나의 시점에 대한 깊이 이미지여야 하고, 만일 아니라면, 시점을 일치시키는 캘리브레이션 과정을 필요로 한다.
객체 검출 영역 설정부(120)는 이미지 획득부(110)에서 획득한 제 1 깊이 이미지와 제 2 깊이 이미지 각각에 포함된 피사체의 손(hand) 영역을 이용하여 제 3 깊이 이미지 상의 객체 검출 영역을 설정할 수 있다. 제 3 깊이 이미지 상의 객체 검출 영역은 이후에 설명할 객체 검출부(130)에서 피사체의 손 영역을 검출하는데 이용될 수 있다. 즉, 객체 검출 영역은, 제 1 깊이 이미지에 나타난 손의 위치와 제 2 깊이 이미지에 나타난 손의 위치를 고려하여 제 3 깊이 이미지에서 손이 위치할만한 장소의 범위를 예측하여 설정된 것이다. 또한, 객체 검출 영역을 설정에 이용되는 제 1 깊이 이미지에 포함된 피사체의 손 영역과 제 2 깊이 이미지 각각에 포함된 피사체의 손 영역 각각 역시 이후에 설명할 객체 검출부(130)에서 검출된 것일 수 있다.
구체적으로, 객체 검출 영역 설정부(120)는 제 1 깊이 이미지에 포함된 손 영역으로부터 제 2 깊이 이미지에 포함된 손 영역까지의 프레임간 이동 거리를 산출하고, 산출된 프레임간 이동 거리 기초하여 제 3 깊이 이미지 상의 객체 검출 영역을 설정할 수 있다. 이 때, 객체 검출 영역은 2차원적으로 가로축(X축) 및 세로축(Y축) 상에서의 프레임간 이동 거리를 이용하여 설정될 수 있다. X, Y 좌표를 기준으로, 제 1 깊이 이미지에 포함된 손의 중심의 위치가 (a, b)이고, 제 1 깊이 이미지에 포함된 손의 중심의 위치가 (c, d)인 경우를 예로 들어보겠다. 프레임간 X축 상에서의 손의 이동거리는 |c-a| 이고, Y축 상에서의 손의 이동거리는 |d-b|임을 알 수 있다. 따라서, 동일한 이동 방향으로 손이 움직이는 경우, 제 3 깊이 이미지에 포함된 손의 중심의 위치는 (c+|c-a|, d+|d-b|)일 수 있고, 이동 방향과 반대 방향으로 손이 움직이는 경우, 제 3 깊이 이미지에 포함된 손의 중심의 위치는 다시 (a, b)가 될 수 있다. 따라서, 이 때의 객체 검출 영역은 (a, b), (a, d+|d-b|), (c+|c-a|, d+|d-b|), (c+|c-a|, b)를 꼭지점으로 갖는 사각형일 수 있다. 다른 실시예로, 프레임간 X축 상에서의 손의 이동거리는 |c-a| 이고, Y축 상에서의 손의 이동거리는 |d-b|이므로, 피타고라스 정리를 이용하여 √((c-a)2+(d-b)2)를 평면상 이동 거리로 구할 수 있다. 이 때, 제 2 프레임에서의 손의 중심 좌표인 (c, d)를 원의 중심으로 하고, 평면상 이동 거리인 √((c-a)2+(d-b)2)를 원의 반지름으로 하여 생성되는 원을 객체 검출 영역으로 설정할 수도 있다. 위의 두 가지 일 예에서는 손 영역의 프레임간 이동 거리를 그대로 사용하였지만, 여기에 가중치를 부여할 수도 있다. 또한, 복수의 누적 프레임이 있는 경우, 즉, 객체 검출 영역 설정부(120)에서 제 10 깊이 이미지 상의 객체 검출 영역을 설정하는 경우, 제 1 및 제 2 깊이 이미지간 손 영역의 이동거리, 제 2 및 제 3 깊이 이미지간 손 영역의 이동거리, … , 제 8 및 제 9 깊이 이미지간 손 영역의 이동거리 모두를 고려할 수 있으므로, 좀 더 정형화된 객체 검출 영역이 설정될 수 있다.
다만, 앞서 설명한 평면상에서 설정된 원의 형태를 갖는 객체 검출 영역을 3차원 상에서 생각해보면, 객체 검출 영역은 중심 좌표인 (c, d)이고 반지름이 √((c-a)2+(d-b)2)인 원을 윗면과 밑면으로 갖는 무수히 긴(이미지 센서가 촬영할 수 있는 최대 깊이 값) 원기둥의 형태를 갖는다. 이 경우, 필요 이상으로 넓은 객체 검출 영역을 분석의 대상으로 해야 하므로, 많은 리소스를 소비할 수도 있고, 부정확한 결과가 나올 수 있다. 즉, 제 2 깊이 이미지에서의 사용자의 손의 깊이 정보값은 5m 였는데, 지나가던 제 3자의 손이 이미지 센서에 노출되고, 제 3 깊이 이미지에 제 3자의 손이 표시되고, 이 때의 깊이 정보값이 1m인 경우, 이러한 제 3자의 손은 사용자의 손이 아니므로 객체로서 검출되면 안된다. 따라서, 객체 검출 영역 설정부(120)는 정밀한 손 영역 검출을 위해 가로축(X축) 및 세로축(Y축) 상에서의 프레임간 이동 거리뿐만 아니라, 제 1 깊이 이미지 및 제 2 깊이 이미지 각각의 깊이 정보값을 깊이축(Z축) 값으로 이용하여 3차원적인 객체 검출 영역을 설정할 수 있다.
도 2는 본 발명의 일 실시예에 따른, 깊이 이미지에 포함된 3차원 객체 검출 영역을 도시한 도면이다. 다만, 도 2에 도시된 3차원 객체 검출 영역의 모양은 육면체로 한정되지 않는다. 예를 들어, 3차원 객체 검출 영역의 모양은 원기둥, 구체 등 다양한 모양으로 설정될 수 있다.
하지만, 제 1 깊이 이미지에서 제 2 깊이 이미지에 걸친 손 영역의 이동 거리가 짧다면, 제 3 깊이 이미지 상의 객체 검출 영역은 작을 수 밖에 없고, 이 때, 제 2 깊이 이미지에서 제 3 깊이 이미지에 걸친 손 영역의 이동 거리가 긴 경우에는 상기 설정된 객체 검출 영역 내에서 손 영역을 검출할 수 없게 된다. 이와 같은 문제점을 보완하기 위해서, 앞서 언급한, 손 영역의 이동 거리에 가중치를 두는 방법 이외에도, 객체 검출 영역 설정부(120)는 설정된 객체 검출 영역을 보완하기 위하여 제 2 깊이 이미지에 포함된 손 영역의 깊이 정보를 더 이용할 수 있다. 이하 구체적으로 설명하겠다.
3차원적으로 생각해보면, 동작 인식 장치(100)로부터 제 2 깊이 이미지에 포함된 피사체의 손 영역이 멀어지면 멀어질 수록 손 영역은 더 작게 표시되고, 이에 따라서 제 3 깊이 이미지상에서 손 영역이 이동할 수 있는 범위 또한 줄어들게 된다. 객체 검출 영역 설정부(120)는 이와 같은 특성을 이용하여 깊이 정보값에 따른 손영역 크기 실험값에 기초하거나 다항 회귀 함수(polynomial regression function)에 기초하여 객체 검출 영역을 설정할 수 있고, 상기 실험값과 다항 회귀 함수는 도 3a 및 3b에 일 예를 도시하였다.
도 3a 및 3b는 본 발명의 일 실시예에 따른, 동작 인식 장치로부터의 거리에 따른 손 영역의 크기에 대한 그래프들이다. 해당 그래프들은 손 영역이 동작 인식 장치(100)로부터 10cm 간격마다 손 영역의 크기의 픽셀 값을 나타낸다. 도 3a의 그래프에 표시된 'X'는 손 영역의 크기를 실제 측정한 실험값을 나타내고, 도 3b의 그래프에 표시된 'O'는 다항 회귀 함수에 의한 손 영역의 크기를 추정한 값을 나타낸다. 이 때의 추정값을 나타내는 다항 회귀 함수는 5차 회귀 함수이다. 다만, 실제 이용되는 다항 회귀 함수는 5차 회귀 함수에 한정되지 않고, 3차 또는 7차 회귀 함수 등이 될 수 있다.
그래프에 표시된 값들은 깊이 정보값에 따른 손 영역의 크기를 나타내고, 손 영역의 크기보다 객체 검출 영역의 크기가 더 커야 하므로, 객체 검출 영역 설정부(120)는 새당 손 영역의 크기에 가중치를 둘 수 있다. 예를 들어, 객체 검출 영역 설정부(120)는 객체 검출 영역의 크기를 제 2 깊이 이미지에 포함된 손 영역의 깊이 정보값에 대응하는 손 영역 크기의 3배로 설정할 수 있다. 이 때, 수치로서의 3배는 예시일 뿐이고, 이 값에 한정되지는 않는다.
다시 도 1을 참조하면, 앞서 설명했듯이, 객체 검출부(130)는 이미지 획득부(110)에서 획득한 제 1 깊이 이미지, 제 2 깊이 이미지 및 제 3 깊이 이미지 각각에 포함된 피사체의 손 영역을 검출할 수 있다.
동작 인식 장치(100)의 구동 시에 사용자는 동작 인식 장치(100)의 제어권을 획득하기 위해, 즉, 사용자의 초기 손 영역의 위치를 동작 인식 장치(100)에게 인식시키기 위해, 사용자의 손을 동작 인식 장치(100) 쪽으로 가져갈 수 있다. 이 경우, 객체 검출부(130)는 제 1 깊이 이미지와 제 2 깊이 이미지간의 차이에 기초하여 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손 영역을 검출할 수 있다. 즉, 객체 검출부(130)는 제 1 깊이 이미지를 기준으로 제 2 깊이 이미지에서 픽셀 값의 변화가 생긴 영역, 즉, 깊이 정보값의 크기가 작아지고, 깊이 정보값의 크기가 작아지는 영역이 좌우로 넓어지는 영역을 움직이는 손 영역으로 인식하고 검출할 수 있다. 이 방식은 제 3 깊이 이미지에 포함된 손 영역을 검출하는 경우에도 이용될 수 있다.
또한, 객체 검출부(130)는 객체 검출 영역 설정부(120)에서 설정된 객체 검출 영역에 기초하여 제 3 깊이 이미지에 포함된 손 영역을 검출할 수 있다. 앞서 언급했듯이, 제 2 깊이 이미지와의 차이를 이용해서 제 3 깊이 이미지에 포함된 손 영역을 검출할 수도 있고, 템플릿을 이용하여 제 3 깊이 이미지에 포함된 손 영역을 검출할 수도 있다.
이상에서는 제 1 내지 제 3 깊이 이미지에 한하여 설명했지만, 제 3 깊이 이미지 이후에 획득한 깊이 이미지에도 유사한 방식이 적용될 수 있다. 예를 들어, 이미지 획득부(110)에서 획득된 제 3 깊이 이미지와 시간적으로 연속하는 제 4 깊이 이미지에 있어서, 객체 검출 영역 설정부(120)는 제 1 내지 제 3 깊이 이미지에 포함된 손 영역을 이용하거나 제 2 및 제 3 깊이 이미지에 포함된 손 영역을 이용하여 제 4 깊이 이미지 상의 객체 검출 영역을 설정할 수 있다. 그리고 나서, 객체 검출부(130)는 설정된 객체 검출 영역에 기초하여 제 4 깊이 이미지에 포함된 손 영역을 검출할 수 있다. 또한, 제 1 깊이 이미지 및 제 2 깊이 이미지에 걸쳐 초기 사용자의 손 영역을 동작 인식 장치(100)에게 인식시킨다고 설명하였지만, 더 많은 깊이 이미지가 필요할 수 있다.
앞서 설명한 방법을 통해 동작 인식 장치(100)는 사용자의 움직이는 손을 지속적으로 검출함으로써 추적할 수 있다. 다만, 검출되는 모든 시점의 손 영역을 인식의 대상으로 삼을지 여부는 또 다른 문제가 될 수 있다. 이는 도 4A 및 4B를 참조하여 설명하겠다.
도 4a 및 4b는 본 발명의 일 실시예에 따른, 사용자의 손 동작을 도시한 도면이다. 도 4a와 도 4b는 (b) 단계와 (e) 단계만 다르고, (a) 및 (d) 단계와 (c) 및 (f) 단계는 동일하다.
사용자가 문자 'X'를 입력하기 위하여, 도 4a의 (a) 내지 (c) 단계처럼 손을 움직이는 경우를 예를 들어 보자. 사용자는 (a) 단계와 (c) 단계만을 의미 있는 동작으로서 'X'를 표시한 것이었으나, 동작 인식 장치(100)에서는 (a) 내지 (c)단계 모두를 인식의 대상으로 삼을 것이다. 즉, 동작 인식 장치(100)는 사용자의 의도와는 달리 사용자의 손 동작을 'α(알파)'로 인식할 것이다.
따라서 이와 같은 문제점을 해결하기 위하여, 인식 대상 판단부(140)는 객체 검출부(130)에서 검출된 깊이 이미지에 포함된 손 영역이 동작 인식의 대상인지 여부를 판단할 수 있다. 인식 대상 판단부(140)는 인식 대상의 판단 기준으로서, 깊이 이미지로부터 검출된 손 영역에 손가락이 검출되는지 여부를 들 수 있다. 예를 들어, 인식 대상 판단부(140)는 도 4b의 (d) 내지 (f) 단계에서 사용자가 손가락을 펴고 있는 (d) 및 (f) 단계만을 인식의 대상으로 하고, 손가락을 접고 있는 (e) 단계는 인식의 대상에서 제외시킬 수 있다. 즉, 사용자는 인식의 대상이 되기를 원하는 동작에 한하여 손가락을 펴고 움직임으로써, 위와 같은 문제점을 해결할 수 있다. 따라서, 동작 인식 장치(100)는 도 4b의 (d) 내지 (f) 단계를 통해 사용자의 동작이 'X'임을 알 수 있다.
다만, 도 4a 및 4b와 같이 검지 손가락이 펴져있는 경우만을 인식의 대상으로 하는 것은 아니다. 또한, 손가락이 한 개 펴져있을 때뿐만 아니라, 손가락이 여러 개 펼쳐져 있을 때를 인식의 대상으로 할 수도 있다. 나아가, 엄지, 검지, 중지, 약지, 소지 중 어떠한 손가락이 펼쳐져 있는지, 또는 몇 개의 손가락이 펼쳐져 있는지에 따라서 동작 인식 장치(100)는 각각의 경우를 서로 다르게 인식할 수도 있다. 예를 들어, 문서 작성 프로그램과 연동되는 동작 인식 장치(100)는, 주먹을 쥐고 있을 때는 손 영역을 객체로서 인식하지 않고, 검지를 펴고 있을 때는 통상의 문자 입력, 엄지를 펴고 있을 때는 볼드(bold) 형식으로 문자 입력, 검지를 펴고 있을 때는 밑줄(underline) 형식으로 문자 입력, 약지를 펴고 있을 때는 기울임 형식으로 문자 입력, 소지를 펴고 있을 때는 기설정된 색상으로 문자를 입력하는 것으로 인식하는 것일 수 있다.
이와는 달리, 손가락을 검출하는 방법 외에도 다양한 방법으로 특정한 조건에 의해 손 영역을 인식의 대상으로 결정할 수 있다.
이와 같은 목적을 달성하기 위해서, 인식 대상 판단부(140)는 손 영역으로부터 손가락을 검출할 수 있어야 한다. 인식 대상 판단부(140)는 손 영역에 경계선 필터를 적용하고 필터링된 손 영역에 기설정된 특정한 패턴을 매칭시킴으로써 손가락을 검출할 수 있다. 이는 도 5를 통해 구체적으로 설명하겠다.
도 5는 본 발명의 일 실시예에 따른, 손가락을 인식하는 방법을 도시한 도면이다. 왼쪽 도면에는 경계선 필터를 통해 필터링된 손 영역을 도시하였고, 오른쪽 도면은 사용자의 중지에 8방향성 패턴을 매칭시키는 과정을 도시하였다. 인식 대상 판단부(140)는 8방향성 패턴을 매칭시킨 결과, 아래쪽 방향을 제외한 나머지가 경계선에 닿으면 이를 손가락으로 인식할 수 있다. 다만, 손가락을 검출할 때, 고려하는 (경계선에 닿지 않는) 방향은 아래쪽 방향으로 한정되지 않는다. 예를 들어, 엄지 손가락을 검출할 때 고려하는 방향은 오른쪽 아래 방향일 수 있고, 새끼 손가락을 검출할 때 고려하는 방향은 왼쪽 아래 방향일 수 있다. 또한, 도 5에서 이용한 8방향성 패턴은 일 실시예일뿐이고, 더 많은 방향성을 갖는 패턴을 매칭시킴으로써 손가락을 검출할 수 있다.
나아가, 손가락을 검출하는 방법으로 기설정된 방향성 패턴을 매칭시키는 방법 이외에도 여러 가지 방법이 있을 수 있다. 예를 들어, 검출된 손 영역에 손가락 템플릿을 매칭시키는 방법이 있을 수 있다. 뿐만 아니라, 검출된 손 영역의 중심을 원의 중심으로 하고, 지름의 길이는 손바닥 길이보다 다소 긴 원을 매칭시키고, 매칭 결과로서 교차 점의 개수를 판단하여 손가락을 검출하는 방법도 있을 수 있다.
다시 도 1을 참조하면, DB(190)는 데이터를 저장한다. 이 때, 데이터는 동작 인식 장치(100) 내부의 각 구성요소들 간에 입력 및 출력되는 데이터를 포함하고, 동작 인식 장치(100)와 동작 인식 장치(100) 외부의 구성요소들간에 입력 및 출력되는 데이터를 포함한다. 예를 들어, DB(190)는 이미지 획득부(110)에서 획득한 제 1 깊이 이미지 내지 제 3 깊이 이미지를 저장할 수 있고, 객체 검출 영역 설정부(120)에서 설정한 객체 검출 영역을 저장할 수 있다. 이러한 DB(190)의 일 예에는 동작 인식 장치(100) 내부 또는 외부에 존재하는 하드디스크드라이브, ROM(Read Only Memory), RAM(Random Access Memory), 플래쉬메모리 및 메모리카드 등이 포함된다.
당업자라면, 이미지 획득부(110), 객체 검출 영역 설정부(120), 객체 검출부 (130), 인식 대상 판단부(140) 및 DB(190) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다. 나아가, 각 구성의 명칭은 이에 한정되지 않는다.
도 6은 본 발명의 일 실시예에 따른, 동작 인식 장치가 동작을 인식하는 방법을 나타낸 동작 흐름도이다. 도 6에 도시된 실시예에 따른 동작 인식 장치(100)가 동작을 인식하는 방법은 도 1 내지 도 5에 도시된 실시예에 따른 동작 인식 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 5의 동작 인식 장치(100)에 관하여 기술된 내용은 도 6에 도시된 실시예에 따른 동작 인식 장치(100)가 동작을 인식하는 방법에도 적용된다.
단계 S601에서 동작 인식 장치(100)는 시간적으로 연속하는 제 1 깊이 이미지, 제 2 깊이 이미지 및 제 3 깊이 이미지를 획득할 수 있다. 이 때 각각의 깊이 이미지는 하나의 시점에 대응하는 깊이 이미지일 수 있다. 나아가, 제 3 깊이 이미지와 시간적으로 연속하는 제 4 깊이 이미지, 제 5 깊이 이미지 등 복수의 깊이 이미지를 추가적으로 획득할 수도 있다.
단계 S602에서 동작 인식 장치(100)는 단계 S601에서 획득된 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손 영역을 검출할 수 있다. 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손 영역은 제 1 깊이 이미지 및 제 2 깊이 이미지간의 차이에 기초하여 검출될 수 있다. 구체적으로, 사용자는 동작 인식 장치(100)에게 사용자의 초기 손 영역의 위치를 인식시키기 위해, 사용자의 손을 동작 인식 장치(100) 쪽으로 가져갈 수 있다. 이 경우, 동작 인식 장치(100)는 제 1 깊이 이미지를 기준으로 제 2 깊이 이미지에서 픽셀 값의 변화가 생긴 영역, 즉, 깊이 정보값의 크기가 작아지고, 깊이 정보값의 크기가 작아지는 영역이 좌우로 넓어지는 영역을 움직이는 손 영역으로 인식하고 검출할 수 있다.
단계 S603에서 동작 인식 장치(100)는 단계 S602에서 검출된 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손 영역을 이용하여 제 3 깊이 이미지 상의 객체 검출 영역을 설정할 수 있다. 구체적으로 제 1 깊이 이미지로부터 제 2 깊이 이미지로의 손 영역의 프레임별 이동 거리에 기초하여 제 3 깊이 이미지 상에서의 손 영역의 움직임 예상 범위를 객체 검출 영역으로서 설정할 수 있다. 나아가, 직전 깊이 이미지로서 제 2 깊이 이미지에 포함된 손 영역의 거리 정보 값을 이용하여 단계 S603에서 설정된 객체 검출 영역을 보완할 수 있다. 또한, 객체 검출 영역은 정밀한 영역을 얻기 위해, 제 1 깊이 이미지 및 제 2 깊이 이미지를 이용하여 3차원상에서 설정될 수 있다.
단계 S604에서 동작 인식 장치(100)는 단계 S603에서 설정된 객체 검출 영역에 기초하여 제 3 깊이 이미지에 포함된 손 영역을 검출할 수 있다. 구체적으로, 제 2 깊이 이미지와 제 3 깊이 이미지간의 차이를 이용해서 제 3 깊이 이미지에 포함된 손 영역을 검출할 수도 있고, 손바닥 템플릿을 이용하여 제 3 깊이 이미지에 포함된 손 영역을 검출할 수도 있다.
단계 S605에서 동작 인식 장치(100)는 단계 S604에서 검출된 제 3 깊이 이미지에 포함된 손 영역이 동작 인식의 대상인지 여부를 판단할 수 있다. 구체적으로 검출된 손 영역으로부터 손가락이 검출되는지를 판단함으로서 동작 인식의 대상인지 여부를 결정할 수 있다. 이 때, 손가락을 검출하기 위하여, 검출된 손 영역에 경계선 필터를 적용하고, 필터링된 손 영역에 기설정된 패턴을 매칭시킬 수 있다.
이상에서는 제 1 내지 제 3 깊이 이미지에 한하여 설명했지만, 제 3 깊이 이미지 이후에 획득한 깊이 이미지에도 유사한 방식이 적용될 수 있다. 예를 들어, 동작 인식 장치(100)는 제 3 깊이 이미지와 시간적으로 연속하는 제 4 깊이 이미지를 획득할 수 있고, 나아가 제 1 내지 제 3 깊이 이미지에 포함된 손 영역을 이용하거나 제 2 및 제 3 깊이 이미지에 포함된 손 영역을 이용하여 제 4 깊이 이미지 상의 객체 검출 영역을 설정할 수 있다. 그리고 나서, 동작 인식 장치(100)는 설정된 객체 검출 영역에 기초하여 제 4 깊이 이미지에 포함된 손 영역을 검출할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 동작 인식 장치
110: 이미지 획득부
120: 객체 검출 영역 설정부
130: 객체 검출부
140: 인식 대상 판단부

Claims (13)

  1. 동작 인식 장치에 있어서,
    시간적으로 연속하는 제 1 깊이 이미지, 제 2 깊이 이미지 및 제 3 깊이 이미지를 획득하는 이미지 획득부;
    상기 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손(hand) 영역을 이용하여 상기 제 3 깊이 이미지 상의 객체 검출 영역을 설정하는 객체 검출 영역 설정부;
    상기 제 1 내지 제 3 깊이 이미지에 포함된 손 영역을 검출하되, 상기 설정된 객체 검출 영역에 기초하여 상기 제 3 깊이 이미지에 포함된 손 영역을 검출하는 객체 검출부; 및
    상기 검출된 제 1 내지 제 3 깊이 이미지 중 적어도 하나 이상의 깊이 이미지에 포함된 손 영역이 동작 인식의 대상인지 여부를 판단하는 인식 대상 판단부를 포함하는 동작 인식 장치.
  2. 제 1 항에 있어서,
    상기 객체 검출 영역은 상기 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손 영역간의 프레임간 이동 거리에 기초하여 설정되는 것인, 동작 인식 장치.
  3. 제 1 항에 있어서,
    상기 객체 검출 영역은 상기 제 2 깊이 이미지에 포함된 손 영역의 깊이 정보를 이용하여 설정되는 것인, 동작 인식 장치.
  4. 제 3 항에 있어서,
    상기 객체 검출 영역은 다항 회귀 함수(polynomial regression function)에 기초하여 설정되는 것인, 동작 인식 장치.
  5. 제 1 항에 있어서,
    상기 객체 검출 영역은 상기 제 1 깊이 이미지 및 제 2 깊이 이미지의 깊이 정보를 이용하여 3차원적으로 설정되는 것인, 동작 인식 장치.
  6. 제 1 항에 있어서,
    상기 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손 영역은 상기 제 1 깊이 이미지 및 제 2 깊이 이미지간의 차이에 기초하여 검출되는 것인, 동작 인식 장치.
  7. 제 1 항에 있어서,
    상기 인식 대상 판단부는 상기 검출된 손 영역으로부터 손가락 검출 여부에 기초하여 동작 인식의 대상인지 여부를 판단하는 것인, 동작 인식 장치.
  8. 제 7 항에 있어서,
    상기 손가락은 경계선 필터를 통해 필터링된 상기 손 영역에 기설정된 패턴을 매칭시켜 검출되는 것인, 동작 인식 장치.
  9. 제 1 항에 있어서,
    상기 제 1 내지 제 3 깊이 이미지는 하나의 시점에 대한 것인, 동작 인식 장치.
  10. 동작 인식 방법에 있어서,
    시간적으로 연속하는 제 1 깊이 이미지, 제 2 깊이 이미지 및 제 3 깊이 이미지를 획득하는 단계;
    상기 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손 영역을 검출하는 단계;
    상기 검출된 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손 영역을 이용하여 상기 제 3 깊이 이미지 상의 객체 검출 영역을 설정하는 단계;
    상기 설정된 객체 검출 영역에 기초하여 상기 제 3 깊이 이미지에 포함된 손 영역을 검출하는 단계; 및
    상기 검출된 제 3 깊이 이미지에 포함된 손 영역이 동작 인식의 대상인지 여부를 판단하는 인식 대상 판단부를 포함하는 동작 인식 방법.
  11. 제 10 항에 있어서,
    상기 객체 검출 영역은 상기 제 1 깊이 이미지 및 제 2 깊이 이미지에 포함된 손 영역간의 프레임간 이동 거리에 기초하여 설정되는 것인, 동작 인식 방법.
  12. 제 10 항에 있어서,
    상기 객체 검출 영역은 상기 제 2 깊이 이미지에 포함된 손 영역의 깊이 정보를 이용하여 설정되는 것인, 동작 인식 방법.
  13. 제 10 항에 있어서,
    상기 객체 검출 영역은 상기 제 1 깊이 이미지 및 제 2 깊이 이미지의 깊이 정보를 이용하여 3차원적으로 설정되는 것인, 동작 인식 방법.
KR1020130033970A 2013-03-28 2013-03-28 깊이 이미지를 이용하여 동작을 인식하는 장치 및 방법 KR20140119900A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130033970A KR20140119900A (ko) 2013-03-28 2013-03-28 깊이 이미지를 이용하여 동작을 인식하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130033970A KR20140119900A (ko) 2013-03-28 2013-03-28 깊이 이미지를 이용하여 동작을 인식하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140119900A true KR20140119900A (ko) 2014-10-13

Family

ID=51991959

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130033970A KR20140119900A (ko) 2013-03-28 2013-03-28 깊이 이미지를 이용하여 동작을 인식하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20140119900A (ko)

Similar Documents

Publication Publication Date Title
KR101821729B1 (ko) 의사랜덤 가이드되는 지문등록
US11294470B2 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
US9448635B2 (en) Rapid gesture re-engagement
CN106095262B (zh) 根据基于事件的传感器的输出提取静态图案的方法和设备
US10091489B2 (en) Image capturing device, image processing method, and recording medium
US9092089B2 (en) Method for detecting an arbitrary number of touches from a multi-touch device
US9405182B2 (en) Image processing device and image processing method
US9619042B2 (en) Systems and methods for remapping three-dimensional gestures onto a finite-size two-dimensional surface
US20120243733A1 (en) Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
WO2017112073A1 (en) Auto range control for active illumination depth camera
KR20170084099A (ko) 터치센서 데이터를 이용한 지문등록
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR20210069491A (ko) 전자 장치 및 이의 제어 방법
KR102057531B1 (ko) 제스처를 이용하여 데이터를 송수신하는 모바일 기기들
US9285885B2 (en) Gesture recognition module and gesture recognition method
TW201539254A (zh) 用於智慧終端機的截取螢幕方法和裝置
US9582127B2 (en) Large feature biometrics using capacitive touchscreens
US11422660B2 (en) Input device, input method and program
US10146375B2 (en) Feature characterization from infrared radiation
KR20150106824A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
WO2018076720A1 (zh) 单手操控方法及操控系统
KR101281461B1 (ko) 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
JP6447521B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101216833B1 (ko) 비접촉식 스크린 제어 시스템 및 그 시스템에서의 비접촉식 스크린 제어 방법
KR101542671B1 (ko) 공간 터치 방법 및 공간 터치 장치

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid