KR101515845B1

KR101515845B1 - 동작 인식 방법 및 동작 인식 장치

Info

Publication number: KR101515845B1
Application number: KR1020140101620A
Authority: KR
Inventors: 권지용
Original assignee: 스타십벤딩머신 주식회사
Priority date: 2014-08-07
Filing date: 2014-08-07
Publication date: 2015-05-04
Also published as: CN106662927A; WO2016021829A1; US10713479B2; JP2017531226A; US20170147873A1

Abstract

본 발명은 동작 인식 방법 및 동작 인식 장치에 관한 것으로 사용자의 동작정보를 획득하고 상기 동작정보 및 기설정된 비교대상정보 간의 동적 타임 와핑 을 수행함으로써 사용자의 실제동작을 인식할 수 있는 방법을 제공한다. 그에 따라 정확하면서도 빠르게 사용자의 동작을 인식할 수 있다.

Description

동작 인식 방법 및 동작 인식 장치{METHOD AND DEVICE FOR GESTURE RECOGNITION}

본 발명은 동작 인식 방법 및 동작 인식 장치에 관한 것으로, 보다 상세하게는, 사용자의 동작과 대응되는 비교대상정보를 빠르게 결정함으로써 사용자의 동작을 정확하면서 효율적으로 인식하는 방법 및 그 장치에 관한 것이다.

최근 들어, 텍스트 등의 입력 방식이 아닌 사용자의 음성이나 동작 등으로 컴퓨터에게 명령을 입력하는 NUI 장치가 개발, 보급되고 있다.

다만 현재 보급되고 있는 NUI장치는, 사용자의 동작에 따른 관절 위치를 추적함으로써 사용자의 동작을 식별하는데 그칠 뿐이어서, 추가로, NUI장치를 통해 입력된 사용자의 음성 또는 사용자의 움직임을 해석하려는 노력이 있다.

이러한 노력의 일환으로, 동적 타임 와핑(Dynamic Time-Warping) 기법이 제안되고 있다. 즉, 임의의 동작이 어떠한 명령을 뜻하는지를 알기 위해서는 해당 명령을 위해 미리 정의되어 있는 동작과 사용자가 취한 현재 동작이 일치하는지를 검증하는 기술이 필요한데, 이를 위한 기술로서 동적 타임 와핑 기법이 제안되고 있다.

동적 타임 와핑 기법에 따르면, 두 시퀀스가 M 및 N으로 주어졌을 때 통상적으로 O(MN) 만큼의 연산을 수행해야 한다. 추가적으로, J 가 전체 관절의 개수라고 한다면, O(MNJ) 만큼의 연산을 수행해야 하며, 현재 사용자가 취한 동작과 비교해야 할 정의된 동작이 K개 있다고 가정한다면, O(MNJK)만큼의 연산을 수행해야 하는데, 이와 같은 높은 계산 복잡도는 많은 컴퓨팅 자원과 시간을 요구하는 문제점을 갖는다.

또한, 동적 타임 와핑 기법에 따르면, 입력된 사용자의 동작을, 미리 정의된 동작과 비교하기 위해 스케일링을 해야 하는데, 사용자 별로 신체 크기가 다르거나, 동작의 세밀함의 정도가 다를 수밖에 없으므로, 사용자의 동작이 전혀 다른 동작으로 인식되는 문제점도 있다.

관련하여 선행기술문헌인 한국특허공개공보 제10-2012-0000807호(공개일자: 2012년 1월 4일)에서는, 복수개의 모션을 인식하는 모션 인식부, 및 상기 모션 인식부에서 인식된 모션에 따라 상기 디지털 디바이스를 제어하는 제어부를 포함하며, 상기 제어부는 상기 모션 인식부가 상기 복수개의 모션들 중 제1 모션을 인식하는 경우 상기 모션 인식부에서 인식된 모션에 따른 상기 디지털 디바이스의 제어를 중지하고, 이후 상기 복수개의 모션들 중 제2 모션이 인식된 경우 상기 모션 인식부에서 인식된 모션에 따른 상기 디지털 디바이스의 제어를 수행하는 것을 특징으로 하는 제어 장치에 대해 기재하고 있다. 즉, 선행기술문헌에서는 모션을 인식하여 인식된 모션에 따른 제어를 결정하는 내용에 대해 설명하고 있으나, 상기 모션을 효과적으로 인식하는 방법에 대해서는 언급하고 있지 않는바, 여전히 상술된 문제점을 해결하고 있지 못하다.

따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 발명의 일실시예는 사용자의 동작을 정확하게 인식하는 데에 목적이 있다.

또한 본 발명의 일실시예는 NUI기기를 통해 입력된 사용자의 동작을 바이너리 벡터로 표현함으로써 사용자 동작의 의미를 결정하기 위한 연산시간을 최소화시키는 데에 목적이 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따르면, 사용자의 동작을 인식하기 위한 방법에 있어서, 사용자의 동작정보를 획득하는 단계, 상기 동작정보 및 기설정된 비교대상정보 간의 동적 타임 와핑(dynamic time warping)을 수행하는 단계를 포함할 수 있다.

본 발명의 제 2 측면에 따르면, NUI장치를 통하여 수신되는 사용자의 동작을 인식하기 위한 동작 인식 장치로서, 사용자의 동작정보를 획득하도록 구성되는 동작정보획득부 및 상기 동작정보 및 기설정된 비교대상정보 간의 동적 타임 와핑(dynamic time warping)을 수행하도록 구성되는 동작결정부를 포함할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 3 측면에 따르면, 사용자의 동작정보를 획득하는 단계, 상기 동작정보 및 기설정된 비교대상정보 간의 동적 타임 와핑(dynamic time warping)을 수행하는 단계를 포함하는 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한 기록 매체가 제공될 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 4 측면에 따르면, 컴퓨터로 하여금, 사용자의 동작정보를 획득하는 단계, 상기 동작정보 및 기설정된 비교대상정보 간의 동적 타임 와핑(dynamic time warping)을 수행하는 단계를 포함하는 방법을 수행시키는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 프로그램이 제공될 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일실시예는 사용자의 동작을 정확하게 인식할 수 있다. 특히, 사용자 별로 상이할 수밖에 없는 신체 크기나 동작의 미세한 차이점이 사용자가 의도한 바에 따른 동작을 정확하게 결정하는데 장애가 되지 않는다.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, NUI기기를 통해 입력된 사용자의 동작을 바이너리 벡터로 표현함으로써 사용자 동작의 의미를 결정하기 위한 연산시간을 최소화시킬 수 있다. 아울러 사용자의 동작을 바이너리 벡터로 표현하게 되면, 연속된 두 개의 포즈에 대해, 바이너리 벡터의 시퀀스는 같은 값을 가질 수 있기 때문에, 같은 길이의 애니메이션을 보다 적은 포즈로 변환할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시예에 따른 NUI장치를 통하여 사용자의 동작을 인식하기 위한 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 동작 인식 장치를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 동작정보획득부를 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 동작인식방법을 설명하기 위한 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1을 참조하면, 본 발명의 일실시예에 따른 시스템(10)은, NUI장치(100) 및 동작 인식 장치(200)를 포함한다.

본 발명에서 NUI장치(100)는 이미지 센서, 깊이감지 센서, 동작인식센서 및 음성인식 센서 중 적어도 하나를 이용하여 사용자의 동작 또는 음성을 인식할 수 있는 소프트웨어 프로그램이나 애플리케이션의 명령에 이용할 수 있는 모든 장치를 의미한다. NUI 장치(100)는 예를 들어, 터치 스크린이 탑재된 태블릿 PC, 스마트폰, 컬러 카메라(RGB camera) 또는 깊이 카메라(depth camera), Kinect 등으로 구현될 수 있다. 본 발명에 따른 NUI장치(100)는 예를 들어 깊이 카메라로 구현된다면, 사용자의 동작을 촬영하고, 촬영된 이미지 프레임을 전송하거나, 촬영된 이미지 프레임으로부터 상기 사용자의 관절의 3차원 위치들로 구성되는 포즈정보를 추출하여 추출된 포즈정보를 전송할 수 있다.

즉 NUI장치(100)는 사용자의 신체 전체 또는 일부분을 촬영하여, 사용자의 신체 부위를 판별하거나, 관절의 3차원 위치, 또는 상기 관절의 움직임 등을 추적함으로써, 사용자의 관절의 3차원 위치들로 구성되는 포즈정보를 포함하는 프레임을 획득할 수 있다. 또한 NUI장치(100)는 상기와 같이 획득된 포즈정보 또는 프레임을 동작 인식 장치(200)로 유/무선 통신 수단을 통해 전송할 수 있다.

한편 동작 인식 장치(200)는 NUI 장치(100)로부터 수신한 포즈정보를 분석(또는 수신한 이미지 프레임으로부터 포즈정보를 추출하고 상기 추출된 포즈정보를 분석)하여 사용자의 동작정보를 획득하고, 상기 동작정보와 기설정된 비교대상정보를 비교하여, 현실세계에서의 사용자의 동작을 정확하게 인식하고 더 나아가 사용자의 동작에 대응되는 명령을 결정할 수 있다.

여기서, ‘동작정보’란, 사용자의 포즈를 시간의 순서대로 나열했을 때의 시퀀스 정보를 의미하며, ‘비교대상정보’는 사용자의 동작의 의미(또는 명령)를 정의한 정보로서, 동작 인식 장치(200)에 기저장될 수 있다.

이와 같은 동작 인식 장치(200)는 NUI 장치(100)가 수행하는 기능의 일부를 수행할 수 있다. 예를 들어, NUI장치(100)가 동작 인식 장치(200)에 포함되거나, 또는 동작 인식 장치(200)에 NUI장치(100)가 포함됨으로써 동작 인식 장치(200)가 NUI장치(100) 기능의 적어도 일부를 수행할 수 있다. 이하에서는 설명의 편의를 위해 NUI 장치(100)가 수행하는 기능의 적어도 일부를 동작 인식 장치(200)가 수행하는 것으로 설명하며, 이와 같은 동작 인식 장치(200)의 보다 자세한 구성은 도 2를 참조하여 후술한다.

한편 본 발명의 일실시예에 따른 시스템(10)은 명령 처리 장치(300)를 더 포함할 수 있다.

따라서, 동작 인식 장치(200)에 의해 현실 세계에서의 사용자 동작의 의미가 결정되고 상기 의미에 대응되는 명령이 존재한다면, 상기 명령은 유/무선 통신 수단을 통해 명령 처리 장치(300)로 전송되어 상기 명령에 부합되는 프로세스를 진행할 수 있다.

따라서 예를 들어, 명령 처리 장치(300)가 전자기기의 화면 상의 커서를 표시해주는 장치이고, 비교대상정보로서 특정 관절의 동작이 상기 커서의 움직임으로 정의되었다면, 사용자가 상기 특정 관절을 움직였을 때 상기 움직임을 포즈정보로서 NUI장치(100)가 획득할 수 있으며, 동작 인식 장치(200)가 상기 포즈정보에 기초하여 획득한 동작정보와 비교대상정보 간의 동적 타임 와핑을 수행하여 그 결과 사용자의 동작에 대응되는 명령을 결정할 수 있으며, 명령 처리 장치(300)가 상기 명령에 대응되는 프로세스, 즉, 화면 상의 커서를 화면 상에서 이동시킬 수 있다.

이와 같은 명령 처리 장치(300)는, 설명의 편의상 도 1에서 동작 인식 장치(200)와 별개로 존재하는 것으로 도시되었으나, 동작 인식 장치(200)에 포함되거나, 또는 동작 인식 장치(200)를 포함할 수 있다.

이하, 도 2를 참조하여, 본 발명의 일실시예에 따르는 동작 인식 장치(200)의 구성에 대해 구체적으로 설명한다.

도 2에서 도시된 바와 같이, 동작 인식 장치(200)는 정보수신부(210), 동작정보획득부(220) 및 동작결정부(230)를 포함한다.

정보수신부(210)는 NUI장치(100)에 의해 촬영된 이미지 프레임을 수신하거나, 또는 이미지 프레임으로부터 추출된 포즈정보를 수신할 수 있다.

관련하여, 사용자가 NUI장치(100)에 대해 현실 세계에서 일련의 동작을 수행하였을 때, 설명의 편의상 상기 일련의 동작을 사용자의 ‘실제동작’이라 정의한다. NUI장치(100)는 사용자의 실제동작을 매초마다 촬영하여 실제동작을 구성하는 포즈정보를 포함하는 이미지 프레임을 획득하여 동작 인식 장치(200)로 전송할 수 있으며, 또는 이미지 프레임으로부터 포즈정보를 추출하여 상기 포즈정보를 동작 인식 장치(200)로 전송할 수 있다.

따라서 정보수신부(210)는 이미지 프레임 또는 포즈정보를 수신할 수 있으며, 정보수신부(210)가 이미지 프레임을 수신하면, 상기 이미지 프레임으로부터 포즈정보를 추출할 수 있다. 상술된 바에 따른 포즈정보는 사용자 관절의 3차원 위치들로 구성될 수 있으며 보다 자세하게는 다음과 같이 정의할 수 있다.

위 수식에서

는 관절 번호를,

는 관절들의 집합을,

는 포즈가 기록된 프레임을,

는 해당 관절의 3 차원 위치를,

는 해당 관절의 선 속도를 나타낸다. 일련의 시퀀스로 사용자의 동작이 입력되므로,

는 이산 미분

형태로 계산이 가능하며, 이때 h는 두 프레임 사이의 시간을 의미한다.

한편, 동작정보획득부(220)는, 사용자의 동작정보를 획득한다.

즉, 동작정보획득부(220)는 상기 사용자의 실제동작에 대응되는 일련의 포즈정보 각각을 바이너리 벡터로 변환하고, 상기 변환된 바이너리 벡터를 상기 사용자의 동작정보로서 설정할 수 있다.

이러한 동작정보획득부(220)는, 조건설정부(221) 및 벡터변환부(222)를 포함할 수 있다.

조건설정부(221)는, 사용자의 실제동작에 대응되는 일련의 포즈정보 각각을 인자로 하는 조건식을 생성한다.

이를 위해, 조건설정부(221)는 하나 이상의 메타조건함수를 설정할 수 있으며, 메타조건함수를 구성하는 요소들 중 적어도 하나를 결정함에 따라 조건식을 생성할 수 있다. 즉, 상기 메타조건함수는 하나 이상의 변수 및 상수로 구성될 수 있으며 조건설정부(221)는, 상기 상수 중 적어도 하나의 상수를 결정함에 따라 조건식을 생성할 수 있다.

관련하여 조건설정부(221)는 소정 관절의 위치를, 2개 이상의 관절에 기초하여 생성되는 평면을 기준으로 판단하는 함수인 평면 조건 함수를 메타조건함수로서 설정할 수 있으며, 평면 조건 함수는 다음의 수학식 2또는 수학식 3과 같이 표현될 수 있다.

이때

는 조건 대상이 되는 관절 번호를 의미하며,

은 조건의 기준이 되는 관절 번호를,

는 평면 전후를 따지는 오프셋값을 의미한다. 또한, 평면은, 3개의 관절을 제공하는 방법에 따라 정의되거나 2개의 관절로 만들어지는 벡터를 법선 벡터로 하면서 다른 관절 1 개의 위치를 지나도록 하는 방법에 따라 정의될 수 있다. 이에 위의

은

에 따라 도출할 수 있으며,

는

에 따라 도출할 수 있다.

수학식 2 및 수학식 3에 따르면, 왼손 혹은 오른손이 오른쪽 어깨, 왼쪽 어깨 및 골반으로 표현되는 몸통 평면 앞에 있는지의 여부, 왼손이 오른쪽 어깨에서 왼쪽 어깨로 나가는 벡터를 법선으로 하면서 왼쪽 어깨를 지나는 평면을 기준으로 하여 몸의 안쪽에 있는지 혹은 바깥에 있는지 여부 등을 알 수 있는 조건식을 생성할 수 있다.

또한, 조건설정부(221)는, 다음의 수학식 4와 같은 함수, 즉, 4개의 관절이 만들어내는 각도가 특정 범위에 있는지를 판단하는 조건식을 생성할 수 있는 각도 조건 함수를, 메타조건함수로서 설정할 수 있다.

이때, 지정된 관절

가 연결된 벡터, 및

가 연결된 벡터가 만들어내는 각도인

가

와

사이에 있으면 수학식4는 양의 값을 그렇지 않으면 음의 값을 생성할 수 있다. 즉,

는

이며, 상기

가 소정의 범위 이내인지 여부에 따라 양의 값 또는 음의 값을 결정할 수 있다. 즉, 각도 조건 함수를 이용하면 팔꿈치의 각도가 펴졌는지 혹은 구부러졌는지, 양쪽 어깨에서부터 손으로 이어지는 벡터간의 각도를 조사하여 양팔이 펼쳐졌는지 혹은 나란히 있는지 등 다양한 조건식을 생성할 수 있다.

또한 조건설정부(221)는 메타조건함수로서, 수학식 5와 같은 접근 조건 함수를 설정할 수 있으며, 접근 조건 함수는, 2 개 관절 간의 거리가 특정 범위에 있는지 판단하는 조건식을 생성할 수 있다. 즉 조건설정부(221)는 조건의 대상이 되는 관절 2개와 함께 조건의 기준이 되는 관절 2개 및 배율 상수값을 입력으로 하는 조건식을 생성할 수 있으며, 접근 조건 함수는 다음과 같이 수학식5로 표현될 수 있다.

이때, 수학식 5에 따르면, 지정된

및

간의 거리가, 기준 관절 거리에

를 곱한 것보다 작으면 음의 값을, 크다면 양의 값을 생성하는 조건식을 만들 수 있다. 따라서 이와 같은 접근 조건 함수를 이용하면 두 손이 서로 근접한지, 오른손이 머리를 붙잡고 있는지 등 다양한 조건식을 만들어낼 수 있다.

한편 조건설정부(221)는 속도 조건에 관한 조건식을 생성할 수 있는 메타조건함수를 설정할 수 있다. 즉, 조건설정부(221)는, 다음의 수학식 6과 같은 속도 방향 조건 함수, 및 수학식 7과 같은 속도 크기 조건 함수 각각을 메타조건함수로서 설정할 수 있다.

수학식 6은, 임의의 관절의 속도와 지정한 2개의 기준 관절을 연결한 벡터가 만들어내는 각도가 지정한 범위에 있는지 판단할 수 있는 조건식을 생성할 수 있는 속도 방향 조건 함수를 나타내는 수학식이다.

이때,

는

이다.

수학식 6의 속도 방향 조건 함수에 따라, 조건설정부(221)는 오른손이 상하 혹은 좌우로 움직이고 있는지, 발이 수직 혹은 방향으로 움직이고 있는지 등 다양한 조건식을 생성할 수 있다.

한편 수학식 7은, 임의의 관절의 속도의 크기가 지정한 2 개의 기준 관절을 연결한 벡터의 크기와 비교했을 때 얼마나 큰지를 알아내는 조건식을 생성할 수 있는 속도 크기 조건 함수이다.

수학식 6에 따른 함수는 속도의 크기와 관계 없이 작동하기 때문에 오류를 만들어낼 가능성이 있으나, 수학식 7에 따른 속도 크기 조건 함수와 함께 사용하면 기준치 이상의 속도에 대해서만 조건식이 의미를 갖도록 설정할 수 있다.

이와 같이, 메타조건함수를 이용함으로써, 조건설정부(221)는 다양한 조건식을 생성할 수 있다.

벡터변환부(222)는 조건설정부(221)에 의해 생성된 조건식에 따라 사용자의 동작을 바이너리 벡터로 변환함으로써 동작정보를 획득할 수 있다.

즉, 벡터변환부(222)는 상기 사용자의 동작정보에 대응되는 포즈 집합에 포함되는 포즈정보 각각을 상기 조건식의 인자로서 입력하여, 각 포즈정보에 대응되는 바이너리 값을 획득할 수 있고, 이에 상기 일련의 포즈정보로 구성되는 동작에 대한 바이너리 벡터를 생성할 수 있으며 상기 바이너리 벡터를 동작정보로서 획득할 수 있다.

한편, 동작결정부(230)는 동작정보 및 비교대상정보를 비교함으로써, 사용자의 실제동작과 매칭되는 비교대상정보를 결정할 수 있다.

이러한 비교대상정보를 저장하기 위한 저장부(미도시)를 동작결정부(230)는 포함할 수 있으며, 또는 외부에 위치하는 저장장치(미도시), 예를 들어, 데이터베이스와 통신할 수 있다.

즉, 비교대상정보는 하나 이상 존재하며, 상기 비교대상정보 각각과, 동작정보 간에 동적 타임 와핑(dynamic time warping)을 수행함으로써, 상기 하나 이상의 비교대상정보 중 사용자의 실제동작과 가장 가까운 비교대상정보를 결정할 수 있다.

또한, 상기 결정된 비교대상정보에 대응되는 명령이 존재한다면, 동작결정부(230)는 사용자의 실제동작에 대응되는 명령이 입력되었음을 감지할 수 있다.

한편, 도 4에 도시된 실시예에 따른 동작 인식 방법은 도 2 및 도 3에 도시된 동작 인식 장치(200)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 2 및 도 3 각각에서 도시된 동작 인식 장치(200)에 관하여 이상에서 기술한 내용은 도 4에 도시된 실시예에 따른 동작 인식 방법에도 적용될 수 있다.

먼저, 동작 인식 장치(200)는 사용자의 실제동작을 수신할 수 있다 (S4000). 이때, 동작 인식 장치(200)는 NUI장치(100)를 통해, 사용자의 실제동작에 대응되는 일련의 이미지 프레임을 수신할 수 있으며, 이미지 프레임을 수신하였다면 동작 인식 장치(200)는 상기 이미지 프레임 각각으로부터 포즈정보를 추출함으로써, 동작 인식 장치(200)는 사용자의 동작을 수신할 수도 있다. 또한, 상기와 같은 포즈정보 추출 프로세스가 NUI장치(100)에 의해 수행되어 동작 인식 장치(200)는 상기 포즈정보를 수신함으로써 사용자의 동작을 수신할 수도 있다.

또한, 사용자 관절의 3차원 위치들로 구성되는 포즈정보에 기초하여, 동작 인식 장치(200)는 사용자의 동작을 바이너리 벡터로 변환함으로써 동작정보를 획득할 수 있다 (S4001).

이를 위해 동작 인식 장치(200)는, 메타조건함수를 이용하여, 사용자의 동작에 대응되는 바이너리 벡터를 생성하기 위한 다양한 조건식을 생성할 수 있다.

예를 들어, 동작 인식 장치(200)는, 수학식 2에 따라 “왼손이 몸 앞에 있는지”, 또는 “오른손이 몸 앞에 있는지”를 결정할 수 있는 조건식을 생성할 수 있다.

또한, 예를 들어, 동작 인식 장치(200)는, 수학식 3에 따라 “왼손이 몸 바깥에 있는지”, “오른손이 몸 바깥에 있는지”, “왼손이 몸 안쪽에 있는지”, “오른손이 몸 안쪽에 있는지”, “왼손이 몸통보다 높이 있는지”, “오른손이 몸통보다 높이 있는지”, “왼손이 머리보다 높이 있는지” 또는 “오른손이 머리보다 높이 있는지”를 결정할 수 있는 조건식을 생성할 수 있다.

또한, 예를 들어, 동작 인식 장치(200)는, 수학식 4에 따라, “왼팔 팔꿈치가 만드는 각이 (0°, 60°) 사이에 있는지”, “왼팔 팔꿈치가 만드는 각이 (60°, 120°) 사이에 있는지”, “왼팔 팔꿈치가 만드는 각이 (120°, 180°) 사이에 있는지”, “오른팔 팔꿈치가 만드는 각이 (0°, 60°) 사이에 있는지”, “오른팔 팔꿈치가 만드는 각이 (60°, 120°) 사이에 있는지”, “오른팔 팔꿈치가 만드는 각이 (120°, 180°) 사이에 있는지”, “왼무릎이 만드는 각이 (0°, 60°) 사이에 있는지”, “왼무릎이 만드는 각이 (60°, 120°) 사이에 있는지”, “왼무릎이 만드는 각이 (120°, 180°) 사이에 있는지”, “오른무릎이 만드는 각이 (0°, 60°) 사이에 있는지”, “오른무릎이 만드는 각이 (60°, 120°) 사이에 있는지”, “오른무릎이 만드는 각이 (120°, 180°) 사이에 있는지”, “두팔이 만드는 각이 (0°, 60°) 사이에 있는지”, “두팔이 만드는 각이 (60°, 120°) 사이에 있는지” 또는 “두팔이 만드는 각이 (120°, 180°) 사이에 있는지”를 결정할 수 있는 조건식을 생성할 수 있다.

또한, 예를 들어, 동작 인식 장치(200)는, 수학식 5에 따라, “두 손이 서로 가까이에 있는지”, “왼손이 머리 근처에 있는지” 또는 “오른손이 머리 근처에 있는지”를 결정할 수 있는 조건식을 생성할 수 있다.

또한, 예를 들어, 동작 인식 장치(200)는, 수학식 6에 따라, “왼손의 속도 방향이 수직방향인지”, “오른손의 속도 방향이 수직방향인지”, “왼손의 속도 방향이 수평방향인지” 또는 “오른손의 속도 방향이 수평방향인지”를 결정할 수 있는 조건식을 생성할 수 있다.

아울러, 예를 들어, 동작 인식 장치(200)는, 수학식 7에 따라, “왼손의 속도가 1초 만에 양 어깨를 지나는 수준인지”, 또는 “오른손의 속도가 1초 만에 양 어깨를 지나는 수준인지”를 결정할 수 있는 조건식을 생성할 수 있다.

상술된 바에 따른 조건식은, 도 4의 각 단계인 S4000 내지 S4002이 수행되기 이전 또는 이후에 생성될 수 있으며, 또는 상기 각 단계가 진행되는 도중에도 생성될 수 있다.

이와 같이 생성된 다양한 조건식에 사용자의 동작에 따른 포즈정보를 대입할 수 있으며, 이에 따라 사용자의 동작에 대응되는 바이너리 벡터를 생성할 수 있다. 예를 들어, 동작 인식 장치(200)는 30개 이상의 조건식을 설정해두어, 사용자 동작에 대응되는 30차원 이상의 바이너리 벡터를 생성할 수 있다.

그리고 상기와 같이 생성된 바이너리 벡터는 동작정보로서 설정될 수 있으며, 동작 인식 장치(200)는 상기와 같은 동작정보 및 비교대상정보 간의 동작 타임 와핑을 수행할 수 있다 (S4002). 동적 타임 와핑을 수행할 때,바이너리 벡터로 변환된 동작정보 및 비교대상정보 간의 차이 계산은 양 바이너리 벡터 간의 논리연산으로 간단하게 수행될 수 있다.

동적 타임 와핑에 따라 결정된 동작에 대응하는 명령이 존재한다면, 동작 인식 장치(200)는 명령 처리 장치(300)로 하여금 상기 명령을 처리하도록 할 수 있다.

도 4를 통해 설명된 실시예에 따른 동작 인식 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

또한 본 발명의 일실시예에 따르는 동작 인식 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.

따라서 본 발명의 일실시예에 따르는 동작 인식 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : NUI 장치 200 : 동작 인식 장치
210 : 정보수신부 220 : 동작정보획득부
230 : 동작결정부
300 : 명령 처리 장치

Claims

동작 인식 장치에 의해 수행되는, NUI장치를 통하여 수신되는 사용자의 동작을 인식하기 위한 방법에 있어서,
(a) 사용자의 동작정보를 획득하는 단계; 및
(b) 상기 동작정보 및 기설정된 비교대상정보 간의 동적 타임 와핑(dynamic time warping)을 수행하는 단계를 포함하고,
상기 (a) 단계는,
(a-1) 상기 사용자의 동작을 구성하되 상기 사용자 관절의 3차원 위치들로 구성되는 하나 이상의 포즈정보에 기초하여 상기 사용자의 동작을 바이너리 벡터로 변환하는 단계; 및
(a-2) 상기 변환된 바이너리 벡터를 상기 사용자의 동작정보로서 설정하는 단계를 포함하는, 동작인식방법.
삭제
삭제
제 1 항에 있어서,
상기 (a-1) 단계는,
메타조건함수를 설정하는 단계;
상기 메타조건함수를 구성하는 하나 이상의 요소 중 적어도 하나를 결정함으로써 조건식을 생성하는 단계; 및
상기 조건식에 따라 상기 사용자의 동작을 바이너리 벡터로 변환하는 단계를 포함하는, 동작인식방법.
제 4 항에 있어서,
상기 조건식에 따라 바이너리 벡터로 변환하는 단계는,
상기 사용자의 동작을 구성하는 하나 이상의 포즈정보 각각을 상기 조건식에 따라 바이너리 벡터로 변환하되, 상기 변환된 바이너리 벡터의 집합을 동작정보로서 설정하는 단계를 포함하는, 동작인식방법.
제 4 항에 있어서,
상기 메타조건함수를 설정하는 단계는,
상기 메타조건함수로서 평면 조건 함수를 설정하는 단계를 포함하고,
상기 평면 조건 함수는 소정 관절의 위치를, 2개 이상의 관절에 기초하여 생성되는 평면을 기준으로 판단하는 함수인, 동작인식방법.
제 4 항에 있어서,
상기 메타조건함수를 설정하는 단계는,
상기 메타조건함수로서 각도 조건 함수를 설정하는 단계를 포함하고,
상기 각도 조건 함수는 2개 이상의 관절이 연결된 벡터가 복수 개 존재하면, 상기 복수 개의 벡터의 각도가 소정의 범위 이내인지 여부를 판단하는 함수인, 동작인식방법.
제 4 항에 있어서,
상기 메타조건함수를 설정하는 단계는,
상기 메타조건함수로서 접근 조건 함수를 설정하는 단계를 포함하고,
상기 접근 조건 함수는 2개 이상의 관절 간의 거리가 소정의 범위 이내인지 여부를 판단하는 함수인, 동작인식방법.
제 4 항에 있어서,
상기 메타조건함수를 설정하는 단계는,
상기 메타조건함수로서 속도 방향 조건 함수를 설정하는 단계를 포함하고,
상기 속도 방향 조건 함수는 소정 관절의 속도 및 2개 이상의 관절이 연결된 벡터가 소정의 범위 이내인지 여부를 판단하는 함수인, 동작인식방법.
제 4 항에 있어서,
상기 메타조건함수를 설정하는 단계는,
상기 메타조건함수로서 속도 크기 조건 함수를 설정하는 단계를 포함하고,
상기 속도 크기 조건 함수는 2개 이상의 관절이 연결된 벡터의 속도 및 소정 관절의 속도 간의 차이가 소정의 범위 이내인지 여부를 판단하는 함수인, 동작인식방법.
NUI장치를 통하여 수신되는 사용자의 동작을 인식하기 위한 동작 인식 장치로서,
사용자의 동작정보를 획득하도록 구성되는 동작정보획득부; 및
상기 동작정보 및 기설정된 비교대상정보 간의 동적 타임 와핑(dynamic time warping)을 수행하도록 구성되는 동작결정부를 포함하고,
상기 동작정보획득부는,
상기 사용자의 동작을 구성하되 상기 사용자 관절의 3차원 위치들로 구성되는 하나 이상의 포즈정보에 기초하여 상기 사용자의 동작을 바이너리 벡터로 변환하여, 상기 변환된 바이너리 벡터를 상기 사용자의 동작정보로서 설정하도록 구성되는 벡터변환부를 포함하는, 동작 인식 장치.
삭제
삭제
제 11 항에 있어서,
상기 동작정보획득부는,
메타조건함수를 설정하여 상기 메타조건함수를 구성하는 하나 이상의 요소들 중 적어도 하나를 결정함으로써 조건식을 생성하도록 구성되는 조건설정부를 더 포함하고,
상기 벡터변환부는,
상기 조건설정부에 의해 생성된 조건식에 따라 상기 사용자의 동작을 바이너리 벡터로 변환하는, 동작 인식 장치.
제 14 항에 있어서,
상기 벡터변환부는 추가적으로,
상기 사용자의 동작을 구성하는 하나 이상의 포즈정보 각각을 상기 조건식에 따라 바이너리 벡터로 변환하되, 상기 변환된 바이너리 벡터의 집합을 동작정보로서 설정하도록 구성되는, 동작 인식 장치.
제 14 항에 있어서,
상기 조건설정부는 추가적으로,
상기 메타조건함수로서 평면 조건 함수를 설정하도록 구성되며,
상기 평면 조건 함수는 소정 관절의 위치를, 2개 이상의 관절에 기초하여 생성되는 평면을 기준으로 판단하는 함수인, 동작 인식 장치.
제 14 항에 있어서,
상기 조건설정부는 추가적으로,
상기 메타조건함수로서 각도 조건 함수를 설정하도록 구성되며,
상기 각도 조건 함수는 2개 이상의 관절이 연결된 벡터가 복수 개 존재하면, 상기 복수 개의 벡터의 각도가 소정의 범위 이내인지 여부를 판단하는 함수인, 동작 인식 장치.
제 14 항에 있어서,
상기 조건설정부는 추가적으로,
상기 메타조건함수로서 접근 조건 함수를 설정하도록 구성되며,
상기 접근 조건 함수는 2개 이상의 관절 간의 거리가 소정의 범위 이내인지 여부를 판단하는 함수인, 동작 인식 장치.
제 14 항에 있어서,
상기 조건설정부는 추가적으로,
상기 메타조건함수로서 속도 방향 조건 함수를 설정하도록 구성되며,
상기 속도 방향 조건 함수는 소정 관절의 속도 및 2개 이상의 관절이 연결된 벡터가 소정의 범위 이내인지 여부를 판단하는 함수인, 동작 인식 장치.
제 14 항에 있어서,
상기 조건설정부는 추가적으로,
상기 메타조건함수로서 속도 크기 조건 함수를 설정하도록 구성되며,
상기 속도 크기 조건 함수는 2개 이상의 관절이 연결된 벡터의 속도 및 임의의 관절의 속도 간의 차이가 소정의 범위 이내인지 여부를 판단하는 함수인, 동작 인식 장치.
제 1 항 및 제 4 항 내지 제 10 항 중 어느 한 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한 기록매체.
컴퓨터 장치와 결합되어,
제 1 항 및 제 4 항 내지 제 10 항 중 어느 한 항에 기재된 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.