KR101450586B1 - 동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101450586B1
KR101450586B1 KR1020130026927A KR20130026927A KR101450586B1 KR 101450586 B1 KR101450586 B1 KR 101450586B1 KR 1020130026927 A KR1020130026927 A KR 1020130026927A KR 20130026927 A KR20130026927 A KR 20130026927A KR 101450586 B1 KR101450586 B1 KR 101450586B1
Authority
KR
South Korea
Prior art keywords
user
user gesture
information
gesture
angle
Prior art date
Application number
KR1020130026927A
Other languages
English (en)
Other versions
KR20140068746A (ko
Inventor
임창주
김연진
정윤근
이남희
김병철
Original Assignee
(주) 미디어인터랙티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 미디어인터랙티브 filed Critical (주) 미디어인터랙티브
Publication of KR20140068746A publication Critical patent/KR20140068746A/ko
Application granted granted Critical
Publication of KR101450586B1 publication Critical patent/KR101450586B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/20—Adaptations for transmission via a GHz frequency band, e.g. via satellite
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

본 발명은 동작 인식 방법에 관한 것이다. 본 발명에 따른 동작 인식 방법은, (a) 사용자의 동작 패턴 정보 - 상기 사용자의 동작 패턴 정보는 (i) 사용자 제스처가 진행하는 각도의 변화 정보를 통해 획득한 도형 또는 직선 정보, (ii) 상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간에서의 속도의 변화 정보를 통해 획득한 가속 정보, (iii) 상기 사용자 제스처에 해당되는 도형 또는 직선을 그리는 순서에 대한 정보 또는 상기 도형 또는 직선의 크기에 대한 정보 중 적어도 하나를 통하여 학습된 정보를 포함함- 를 획득하는 단계, (b) 카메라 또는 초음파 센서 중 적어도 어느 하나를 통해 새롭게 입력되는 사용자 제스처를 획득하는 단계 및 (c) 상기 사용자의 동작 패턴 정보를 참조로 하여, 상기 새롭게 입력되는 사용자 제스처의 종류 또는 상기 사용자 제스처가 완성되는 시간을 예측하는 단계를 포함할 수 있다.

Description

동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체{METHOD, SYSTEM AND COMPUTER-READABLE RECORDING MEDIA FOR MOTION RECOGNITION}
본 발명은 동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는, 사용자의 동작 패턴 정보를 획득하고, 획득한 사용자의 동작 패턴 정보를 참조하여 새롭게 입력되는 사용자 제스처의 종류 또는 사용자 제스처가 완성되는 시간을 예측하는 동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
동작 인식 시스템에 있어서, 사용자의 양손의 위치를 2차원 평면 좌표로 인식하여, 기설정된 영역에 사용자의 양손이 진입하는 경우 이벤트(예를 들어, 드럼 소리)를 발생시키는 구성을 포함하는 게임 콘텐츠 관련 기술이 있으며, 한국공개특허공보 10-2012-0051208호는 촬영된 영상에 존재하는 사물을 인식하고, 인식된 사물을 이용한 제스처에 대하여 멀티미디어 장치의 동작을 맵핑하는 구성을 포함한다.
다만, 상술한 바와 같은 동작 인식 시스템에 있어서 사용자의 동작을 실시간으로 처리하는 경우, 개략적으로 ① 카메라나 초음파 센서를 통해 사용자의 동작을 인식하는 단계, ② 카메라나 초음파 센서로부터 획득한 영상 정보를 전송하는 단계, ③ 영상 정보를 연산 및 처리하는 단계 및 ④ 디스플레이 단말로 출력하는 단계를 거치게 된다. 이러한 프로세스로 인하여 사용자의 동작과 콘텐츠 상에서 사용자에 대응하는 객체의 동작이 완벽하게 일치할 수 없으며, 반응 지연속도에 따라 콘텐츠를 이용하는 사용자의 만족감이 저하될 수 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 사용자 동작 패턴을 획득하여 획득한 사용자 동작 패턴을 참고로 하여 새롭게 입력되는 사용자 제스처의 종류 또는 사용자 제스처가 완성되는 시간을 예측하여 보정함으로써, 새롭게 입력되는 사용자의 제스처와 콘텐츠 상 객체의 제스처를 가능한 정확하게 실시간으로 일치시켜 사용자에게 최적의 콘텐츠 사용성을 제공하는 것을 그 목적으로 한다.
본 발명의 제1 기술적인 측면에 따르면, (a) 사용자의 동작 패턴 정보 - 상기 사용자의 동작 패턴 정보는 (i) 사용자 제스처가 진행하는 각도의 변화 정보를 통해 획득한 도형 또는 직선 정보, (ii) 상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간에서의 속도의 변화 정보를 통해 획득한 가속 정보, (iii) 상기 사용자 제스처에 해당되는 도형 또는 직선을 그리는 순서에 대한 정보 또는 상기 도형 또는 직선의 크기에 대한 정보 중 적어도 하나를 통하여 학습된 정보를 포함함- 를 획득하는 단계 (b) 카메라 또는 초음파 센서 중 적어도 어느 하나를 통해 새롭게 입력되는 사용자 제스처를 획득하는 단계 및 (c) 상기 사용자의 동작 패턴 정보를 참조로 하여, 상기 새롭게 입력되는 사용자 제스처의 종류 또는 상기 사용자 제스처가 완성되는 시간을 예측하는 단계를 포함하는 동작 인식 방법을 제안한다.
본 발명의 제2 기술적인 측면에 따르면, 사용자의 동작 패턴 정보 - 상기 사용자의 동작 패턴 정보는 (i) 사용자 제스처가 진행하는 각도의 변화 정보를 통해 획득한 도형 또는 직선 정보, (ii) 상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간에서의 속도의 변화 정보를 통해 획득한 가속 정보, (iii) 상기 사용자 제스처에 해당되는 도형 또는 직선을 그리는 순서에 대한 정보 또는 상기 도형 또는 직선의 크기에 대한 정보 중 적어도 하나를 통하여 학습된 정보를 포함함- 를 획득하는 사용자 동작 패턴 획득부, 카메라 또는 초음파 센서 중 적어도 어느 하나를 통해 새롭게 입력되는 사용자 제스처를 획득하는 검출부 및 상기 사용자의 동작 패턴 정보를 참조로 하여, 상기 새롭게 입력되는 사용자 제스처의 종류 또는 상기 사용자 제스처가 완성되는 시간을 예측하는 제스처 예측부를 포함하는 동작 인식 시스템을 제안한다.
본 발명에 따르면, 새롭게 입력되는 사용자 제스처의 종류 또는 사용자 제스처가 완성되는 시간을 예측하여 반응 속도를 향상시킬 수 있다.
또한, 사용자의 제스처와 콘텐츠 상 객체의 제스처를 가능한 정확하게 실시간으로 일치시켜 사용자에게 최적의 콘텐츠 사용성을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2a 내지 2c는 본 발명의 일 실시예에 따른 동작 패턴 정보 중 사용자 제스처가 진행하는 각도의 변화 정보를 예시적으로 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 동작 패턴 정보 중 사용자 제스처의 진행 각도가 일정하게 유지되는 구간에서의 속도의 변화 정보를 통해 획득한 가속 정보를 예시적으로 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 가속 정보 유형을 적용하여 사용자 제스처가 완성되는 시간을 예측하는 것을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 동작 패턴 정보 중 사용자 제스처에 해당되는 도형 또는 직선을 그리는 순서에 대한 정보 또는 도형 또는 직선의 크기에 대한 정보를 예시적으로 설명하기 위한 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 동작 인식 시스템은 사용자 동작 패턴 획득부(110), 사용자 제스처 검출부(120), 제스처 예측부(130), 데이터베이스(140) 및 제어부(150)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 사용자 동작 패턴 획득부(110), 사용자 제스처 검출부(120), 제스처 예측부(130), 데이터베이스(140) 및 제어부(150)는 그 중 적어도 일부가 외부와 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 서버에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 서버와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
사용자 동작 패턴 획득부(110)는 사용자의 동작 패턴 정보를 획득하는 기능을 수행한다. 사용자의 동작 패턴 정보는 (i) 사용자 제스처가 진행하는 각도의 변화 정보를 통해 획득한 도형 또는 직선 정보, (ii) 상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간에서의 속도의 변화 정보를 통해 획득한 가속 정보, (iii) 상기 사용자 제스처에 해당되는 도형 또는 직선을 그리는 순서에 대한 정보 또는 상기 도형 또는 직선의 크기에 대한 정보 중 적어도 하나를 통하여 학습된 정보 중 적어도 하나를 포함하는 정보일 수 있다. 소정의 데이터베이스(140)는 사용자 동작 패턴 획득부(110)에서 획득한 사용자 동작 패턴 정보를 저장하여 관리할 수 있다. 사용자 동작 패턴 획득부(110)는 사용자가 기존에 등록된 사용자로 인식된 경우에는 사용자의 동작 패턴 정보를 데이터베이스(140)로부터 획득하며, 새로운 사용자로 인식된 경우에는 사용자로부터 기설정된 시간 동안 입력되는 사용자 제스처를 분석하여 사용자 동작 패턴 정보를 새롭게 획득할 수 있다. 사용자 동작 패턴 획득부(110)가 기존에 등록된 사용자인지 새로운 사용자인지 인식하는 것에 있어서, 사용자는 자신의 계정을 등록할 수 있으며, 등록된 계정으로 인증한 경우 데이터베이스(140)로부터 해당 계정에 대응하는 사용자의 동작 패턴 정보를 획득할 수 있다. 또한, 사용자 동작 패턴 획득부(110)가 기설정된 시간 동안 입력되는 사용자 제스처를 분석하여 사용자 동작 패턴 정보를 획득하였더라도 새롭게 입력되는 사용자 제스처를 참조로 하여 사용자 동작 패턴 정보를 실시간으로 업데이트할 수 있다. 동작 패턴 정보는 사용자별 제스처 행위에 대한 개인화된 동작 패턴을 분석하여 최적화된 예측 데이터를 산출하기 위한 것으로, 이는 칼만 필터(kalman filter) 알고리즘 또는 파티클 필터(particle filter) 알고리즘을 적용하여 구현될 수 있다.
사용자 제스처 검출부(120)는 카메라 또는 초음파 센서(미도시) 중 적어도 어느 하나를 통해 사용자 제스처를 획득하는 기능을 수행한다. 사용자 제스처의 영상을 촬영하는 카메라는 RGB 카메라 또는 물체의 깊이 정보를 획득하는 깊이 카메라 중 적어도 하나 이상일 수 있으며, 사용자 제스처 검출부(120)는 카메라로부터 획득한 영상을 디지털 신호로 변환하여 제스처 예측부(130)로 전달할 수 있다. 또한, 초음파 센서는 초음파 에미터(emitter)와 초음파 리시버(receiver)를 포함하며, 초음파 에미터와 초음파 리시버는 디스플레이의 상단 또는 전체에 내장된 형태일 수 있다. 사용자 제스처 검출부(120)는 사용자로부터 반사된 초음파 신호로부터 채널 임펄스 응답을 획득하고, 획득한 채널 임펄스 응답의 시간 특징과 데이터베이스에 저장된 채널 임펄스 응답의 시간 특징과 비교하여 사용자 제스처를 획득할 수 있다.
사용자 제스처 검출부(120)는 카메라 또는 초음파 센서 중 어느 하나로부터 사용자 제스처를 획득할 수 있으며, 카메라와 초음파 센서의 조합으로부터 사용자 제스처를 획득하거나 카메라와 초음파 센서 각각으로부터 획득한 사용자 제스처 중 오차율이 적은 것을 선택할 수도 있고 디폴트로 선택된 방법을 통해서만 사용자 제스처를 획득할 수도 있다. 초음파 센서는 카메라를 통해 사용자 제스처를 획득하는 것에 비하여 검출 가능 영역이 넓고, 밝기와 같은 주변 환경의 영향을 적게 받으므로 카메라와 함께 사용하는 경우 다양한 각도에서 보다 정확한 사용자 제스처를 획득할 수도 있다.
사용자 제스처 검출부(120)로부터 검출된 사용자 제스처를 사용자 동작 패턴 획득부(110)에서 사용자 동작 패턴 정보로서 저장하거나, 제스처 예측부(130)를 통하여 사용자 제스처 검출부(120)로부터 검출된 사용자 제스처의 종류 또는 완성되는 시간을 예측할 수 있다.
제스처 예측부(130)는 사용자 동작 패턴을 참조하여 사용자 제스처 검출부(120)로부터 획득한 새롭게 입력되는 사용자 제스처의 종류 또는 사용자 제스처가 완성되는 시간을 예측하는 기능을 수행한다. 즉, (i) 사용자 제스처가 진행하는 각도의 변화 정보를 통해 획득한 도형 또는 직선 정보, (ii) 상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간에서의 속도의 변화 정보를 통해 획득한 가속 정보, 및 (iii) 상기 사용자 제스처에 해당되는 도형 또는 직선을 그리는 순서에 대한 정보 또는 상기 도형 또는 직선의 크기에 대한 정보 중 적어도 하나 또는 이들의 조합으로부터, 새롭게 입력되는 사용자 제스처의 종류 또는 사용자 제스처가 완성되는 시간을 예측할 수 있다. 동작 패턴 정보를 참조하여 새롭게 입력되는 사용자 제스처의 종류 또는 사용자 제스처가 완성되는 시간을 예측함에 있어서, 가령 가중이동평균을 사용한 보간법을 적용할 수 있다. 이때, 가중이동평균을 사용한 보간법에서의 가중치 분배 방법은 사용자의 특성을 고려하여 시스템 상에서 유동적으로 변할 수도 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(150)는 사용자 동작 패턴 획득부(110), 사용자 제스처 검출부(120), 제스처 예측부(130) 및 데이터베이스(140) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(150)는 서버의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 사용자 동작 패턴 획득부(110), 사용자 제스처 검출부(120), 제스처 예측부(130) 및 데이터베이스(140)에서 각각 고유 기능을 수행하도록 제어한다.
이하, 사용자 동작 패턴 획득부(110)가 사용자의 동작 패턴 정보를 획득하고 이를 참조로 하여 제스처 예측부(130)에서 새롭게 입력되는 사용자 제스처의 종류 또는 사용자 제스처가 완성되는 시간을 예측하는 방법에 관하여는 도 2 내지 도 5를 참조로 하여 구체적으로 설명한다.
도 2a 내지 2c는 본 발명의 일 실시예에 따른 동작 패턴 정보 중 사용자 제스처가 진행하는 각도의 변화 정보를 예시적으로 설명하기 위한 도면이다.
사용자 동작 패턴 획득부(110)는 사용자의 습관에 따라 사용자 제스처가 진행하는 각도의 변화 정보를 통해 획득한 도형 또는 직선 정보를 학습하여 사용자의 습관에 따른 동작 패턴 정보로 획득할 수 있으며, 이를 참조로 하여 새롭게 입력되는 사용자 제스처의 종류 또는 사용자 제스처가 완성되는 시간을 제스처 예측부(130)가 예측하도록 지원할 수 있다.
도 2a에 도시된 바와 같이, 사용자 제스처가 진행하는 각도의 변화가 0도 또는 180도의 변화 또는 0도 또는 180도와 기설정된 각도 미만의 각도 변화를 나타내는 경우 사용자 제스처가 직선인 것으로 예측할 수 있다. 즉, 사용자 제스처의 진행 방향에 변화가 없거나 기설정된 각도(0도와 기설정된 각도) 미만의 변화가 있는 경우, 가령 사용자 제스처가 일 방향으로 직진하는 경우 사용자 제스처가 직선인 것으로 예측할 수 있다. 또한, 도 2a에는 사용자 제스처가 일 방향으로 진행하는 것이 도시되어 있으나, 사용자 제스처의 진행 방향이 180도 변하거나 기설정된 각도(180도와 기설정된 각도) 미만으로 변하는 경우와 같이 사용자 제스처가 좌우로 움직이는 경우도 포함할 수 있다.
사용자 제스처가 진행하는 각도의 변화가 기설정된 각도 이상의 변화를 나타내는 경우 사용자 제스처는 도형인 것으로 예측할 수 있다. 도 2b에 도시된 바와 같이, 사용자 제스처가 각도의 변화 없이 진행하던 중 θ1만큼의 각도 변화를 나타내는 경우 사용자 제스처가 도형인 것으로 예측할 수 있다. 이때, θ1은 사용자가 도형을 그리는 순서에 따라 0도를 기준으로 기설정된 각도 이상이거나, 180도를 기준으로 기설정된 각도 이상일 수 있다. 이후, 도 2c에 도시된 바와 같이, 사용자 제스처가 θ1만큼의 각도가 변한 후 다시 기설정된 각도 이상의 변화를 나타내는 경우 도형의 종류를 예측할 수 있다. 이때, 각각의 도형에 대응하도록 사용자 제스처가 진행하는 각도의 변화 범위를 설정할 수 있으며, θ2가 소정의 범위를 만족하는 경우 도형의 종류를 예측할 수 있다.
또한, 사용자 제스처가 진행하는 각도가 지속적으로 변하는 경우(가령, 어떠한 소정의 시간 단위마다 관찰하더라도 각도가 항상 변하가 있는 경우) 사용자 제스처는 원인 것으로 예측할 수 있다. 이때 소정의 시간 단위는 사용자 동작 패턴 정보에 따른 원의 크기를 고려하여 사용자별로 다르게 적용될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 동작 패턴 정보 중 사용자 제스처의 진행 각도가 일정하게 유지되는 구간에서의 속도의 변화 정보를 통해 획득한 가속 정보를 예시적으로 설명하기 위한 도면이다.
사용자 제스처의 진행 각도가 일정하게 유지되는 구간에서의 속도의 변화 정보로부터 획득한 가속 정보로부터 사용자 습관에 따른 동작 패턴 정보를 획득할 수 있으며, 속도의 변화 정보 별로 유형을 결정할 수 있다. 구체적으로, 사용자 제스처의 진행 각도가 일정하게 유지되는 구간을 n 개의 소구간으로 분할했을 때 각 소구간에서의 속도의 변화 정도를 속도의 감소, 속도의 증가, 속도의 유지 중 적어도 하나로 분류하고 각 소구간에서의 속도의 변화 정도의 분류값들을 시간 순서대로 나열한 집합을 참조로 하여 상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간의 유형을 결정할 수 있다. 예를 들어 도 3에 도시된 바와 같이, 가령 n이 3일 때 각 구간에서의 속도의 변화가 순차적으로 속도의 감소, 속도의 증가, 속도의 감소인 경우를 Type. 1, n이 3일 때 각 구간에서의 속도의 변화가 순차적으로 속도의 증가, 속도의 감소, 속도의 증가인 경우 Type. 2, n이 2일 때 각 구간에서의 속도의 변화가 순차적으로 속도의 증가, 속도의 감소인 경우 Type. 3, n이 2일 때 각 구간에서의 속도의 변화가 순차적으로 속도의 감소, 속도의 증가인 경우 Type. 4, n이 1일 때 속도가 계속 증가하는 경우 Type. 5, n이 1일 때 속도가 계속 감소하는 경우 Type. 6으로 각각 유형을 결정할 수 있다(도 3에서는 편의상 속도의 증가 및 감소에 해당되는 경우만 상정하여 설명하였다). 사용자 제스처를 분석하여 가속 정보의 유형을 결정함으로써 새롭게 입력되는 사용자 제스처가 완성되는 시간을 보다 정확하게 예측할 수 있다. 본 명세서에서는 가속 정보의 유형을 도 3에 도시된 바와 같이 Type. 1 내지 Type. 6인 것으로 설명하였으나 이에 제한되는 것은 아니며, 사용자 제스처로부터 획득한 동작 패턴에 따라 가속 정보의 유형은 변경될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 가속 정보 유형을 적용하여 사용자 제스처가 완성되는 시간을 예측하는 것을 설명하기 위한 도면이다.
새롭게 입력되는 사용자 제스처의 종류가 도형인 경우 도형의 각각의 변마다 가속 정보의 유형을 결정할 수 있다. 사용자 제스처를 분석하여 도형의 각각의 변, 즉 사용자 제스처의 진행 각도가 일정하게 유지되는 직선 구간마다 사용자에 적합한 가속 정보의 유형을 적용함으로써 사용자 제스처가 완성되는 시간을 예측할 수 있다. 사용자 제스처가 삼각형인 경우를 예로 들어, 사용자가 삼각형을 그릴 때의 동작 패턴을 분석한 후, 도 4에 도시된 바와 같이 삼각형의 각 변에 도 3에서 정의한 유형이 대응되도록 결정할 수 있다. 즉, 사용자가 삼각형을 그리는 제스처를 취할 때 가속 정보 유형 중 Type. 3과 같은 속도 변화로 삼각형의 첫 번째 변을 그리고, 가속 정보 유형 중 Type. 4와 같은 속도 변화로 삼각형의 두 번째 변을 그리고, 마지막으로 가속 정보 유형 중 Type. 2와 같은 속도 변화로 삼각형의 마지막 변을 그리는 것으로 분석된 경우, 이를 바탕으로 사용자 제스처가 삼각형인 경우 사용자 제스처가 완성되는 시간을 예측할 수 있다. 본 명세서에서는 사용자 제스처가 삼각형인 경우를 예로 들어 설명하였으나, 이에 제한되는 것은 아니며 각 도형 별로 사용자 제스처를 분석하여 각각의 변마다 가속 정보 유형을 결정할 수 있다.
도 5는 본 발명의 일 실시예에 따른 동작 패턴 정보 중 사용자 제스처에 해당되는 도형 또는 직선을 그리는 순서에 대한 정보 또는 도형 또는 직선의 크기에 대한 정보를 예시적으로 설명하기 위한 도면이다.
사용자가 도형 또는 직선을 그리는 순서에 대한 정보 또는 사용자가 그리는 도형 또는 직선의 크기에 대한 정보를 학습 및 분석함으로써 새롭게 입력되는 사용자 제스처의 종류 또는 사용자 제스처가 완성되는 시간을 예측할 수 있다. 도 5에 도시된 바와 같이, 도 5의 (a) 또는 (b)와 같이 사용자가 사각형을 시계 방향으로 그리는지 (c)와 같이 반시계 방향으로 그리는지 등을 학습 및 분석하여 사용자 제스처가 사각형일 때 사용자 별로 사각형을 그리는 순서를 동작 패턴 정보로 저장하며, 사각형의 네 변 또는 네 꼭지점 중 제스처의 시작점 등을 동작 패턴 정보로 저장할 수도 있다. 또한, 사용자가 사각형을 그릴 때 (a)와 같이 정사각형으로 그리는지, (b)와 같이 세로의 길이가 긴 직사각형으로 그리는지 또는 (c)와 같이 가로의 길이가 긴 직사각형으로 그리는지 등을 학습 및 분석하여 사용자 습관에 따른 사각형의 크기에 대한 정보를 동작 패턴 정보로 저장할 수 있다. 사용자 제스처가 원인 경우도 상술한 바와 마찬가지로 원을 그리는 순서에 대한 정보 또는 사용자가 원을 그릴 때 원의 크기에 대한 정보를 학습 및 분석하여 동작 패턴 정보로 저장할 수 있다. 즉, 도 5의 (d) 또는 (e)와 같이 원을 시계방향으로 그리는지 (f)와 같이 반시계 방향으로 그리는지 또는 사용자가 원을 그릴 때 제스처의 시작점은 어디인지 등을 학습 및 분석하여 사용자 습관에 따른 동작 패턴 정보를 획득할 수 있다. 본 명세서에서는 사용자 제스처가 사각형 및 원인 경우를 예로 들어서 설명하였으나 이에 제한되는 것은 아니며, 사용자 별로 개인화된 도형 또는 직선을 그리는 순서 또는 도형 또는 직선의 크기에 대한 정보를 동작 패턴 정보로 획득하여 새롭게 입력되는 사용자 제스처의 종류 또는 사용자 제스처가 완성되는 시간을 예측할 수 있다. 또한, 본 명세서에서는 각각의 동작 패턴 정보를 참조하여 새롭게 입력되는 사용자 제스처의 종류 또는 사용자 제스처가 완성되는 시간을 예측하는 것을 설명하였으나, 동작 패턴 정보 각각으로부터 예측하는 것뿐만 아니라 복수의 동작 패턴 정보를 조합하여 예측할 수도 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
110: 사용자 동작 패턴 획득부
120: 사용자 제스처 검출부
130: 제스처 예측부
140: 데이터베이스
150: 제어부

Claims (19)

  1. (a) 사용자의 동작 패턴 정보 - 상기 사용자의 동작 패턴 정보는 (i) 사용자 제스처가 진행하는 각도의 변화 정보를 통해 획득한 도형 또는 직선 정보, (ii) 상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간에서의 속도의 변화 정보를 통해 획득한 가속 정보, (iii) 상기 사용자 제스처에 해당되는 도형 또는 직선을 그리는 순서에 대한 정보 또는 상기 도형 또는 직선의 크기에 대한 정보 중 적어도 하나를 통하여 학습된 정보를 포함함- 를 획득하는 단계;
    (b) 카메라 또는 초음파 센서 중 적어도 어느 하나를 통해 새롭게 입력되는 사용자 제스처를 획득하는 단계; 및
    (c) 상기 사용자의 동작 패턴 정보를 참조로 하여, 상기 새롭게 입력되는 사용자 제스처의 종류 또는 상기 사용자 제스처가 완성되는 시간을 예측하는 단계;
    를 포함하고,
    상기 가속 정보는 상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간에서의 속도의 변화 정보에 따라 각각 다른 유형으로 결정되며,
    상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간을 n 개의 소구간으로 분할했을 때 각 소구간에서의 속도의 변화 정도를 속도의 감소, 속도의 증가, 속도의 유지 중 적어도 하나로 분류하고 각 소구간에서의 속도의 변화 정도의 분류값들을 시간 순서대로 나열한 집합을 참조로 하여 상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간의 유형을 결정하는 것을 특징으로 하는 동작 인식 방법.
  2. 제1항에 있어서,
    상기 사용자가 기존에 등록된 사용자로 인식된 경우에는 상기 사용자의 동작 패턴 정보를 소정의 데이터베이스로부터 획득하고, 상기 사용자가 새로운 사용자로 인식된 경우에는 상기 사용자로부터 기설정된 시간 동안 입력되는 사용자 제스처를 분석하여 상기 사용자의 동작 패턴 정보를 새롭게 획득하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 사용자의 동작 패턴 정보는 상기 새롭게 입력되는 사용자 제스처를 참조로 하여 실시간으로 업데이트되는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 사용자 제스처가 진행하는 각도의 변화가 0도 또는 180도의 변화 또는 0도 또는 180도와 기설정된 각도 미만의 각도 변화를 나타내는 경우 상기 사용자 제스처는 직선인 것으로 예측하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 사용자 제스처가 진행하는 각도의 변화가 0도 또는 180도와 기설정된 각도 이상의 각도 변화를 나타내는 경우 상기 사용자 제스처는 소정의 도형인 것으로 예측하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 사용자 제스처가 진행하는 각도가 소정의 시간 단위마다 지속적으로 변하는 경우 상기 사용자 제스처는 원인 것으로 예측하는 것을 특징으로 하는 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 새롭게 입력되는 사용자 제스처의 종류가 도형인 경우, 상기 도형의 각각의 변마다 상기 유형을 결정하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    상기 사용자의 동작 패턴 정보에 보간법을 적용하여 상기 새롭게 입력되는 사용자 제스처의 종류 또는 상기 사용자 제스처가 완성되는 시간을 예측하는 것을 특징으로 하는 방법.
  10. 사용자의 동작 패턴 정보 - 상기 사용자의 동작 패턴 정보는 (i) 사용자 제스처가 진행하는 각도의 변화 정보를 통해 획득한 도형 또는 직선 정보, (ii) 상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간에서의 속도의 변화 정보를 통해 획득한 가속 정보, (iii) 상기 사용자 제스처에 해당되는 도형 또는 직선을 그리는 순서에 대한 정보 또는 상기 도형 또는 직선의 크기에 대한 정보 중 적어도 하나를 통하여 학습된 정보를 포함함- 를 획득하는 사용자 동작 패턴 획득부;
    카메라 또는 초음파 센서 중 적어도 어느 하나를 통해 새롭게 입력되는 사용자 제스처를 획득하는 사용자 제스처 검출부; 및
    상기 사용자의 동작 패턴 정보를 참조로 하여, 상기 새롭게 입력되는 사용자 제스처의 종류 또는 상기 사용자 제스처가 완성되는 시간을 예측하는 제스처 예측부;
    를 포함하고,
    상기 가속 정보는 상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간에서의 속도의 변화 정보에 따라 각각 다른 유형으로 결정되며,
    상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간을 n 개의 소구간으로 분할했을 때 각 소구간에서의 속도의 변화 정도를 속도의 감소, 속도의 증가, 속도의 유지 중 적어도 하나로 분류하고 각 소구간에서의 속도의 변화 정도의 분류값들을 시간 순서대로 나열한 집합을 참조로 하여 상기 사용자 제스처의 진행 각도가 일정하게 유지되는 구간의 유형을 결정하는 것을 특징으로 하는 동작 인식 시스템.
  11. 제10항에 있어서,
    상기 동작 패턴 획득부는,
    상기 사용자가 기존에 등록된 사용자로 인식된 경우에는 상기 사용자의 동작 패턴 정보를 소정의 데이터베이스로부터 획득하고, 상기 사용자가 새로운 사용자로 인식된 경우에는 상기 사용자로부터 기설정된 시간 동안 입력되는 사용자 제스처를 분석하여 상기 사용자의 동작 패턴 정보를 새롭게 획득하는 것을 특징으로 하는 동작 인식 시스템.
  12. 제10항에 있어서,
    상기 동작 패턴 획득부는,
    상기 사용자의 동작 패턴 정보를 상기 새롭게 입력되는 사용자 제스처를 참조로 하여 실시간으로 업데이트하는 것을 특징으로 하는 동작 인식 시스템.
  13. 제10항에 있어서,
    상기 사용자 제스처가 진행하는 각도의 변화가 0도 또는 180도의 변화 또는 0도 또는 180도와 기설정된 각도 미만의 각도 변화를 나타내는 경우 상기 사용자 제스처는 직선인 것으로 예측하는 것을 특징으로 하는 동작 인식 시스템.
  14. 제10항에 있어서,
    상기 사용자 제스처가 진행하는 각도의 변화가 0도 또는 180도와 기설정된 각도 이상의 각도 변화를 나타내는 경우 상기 사용자 제스처는 소정의 도형인 것으로 예측하는 것을 특징으로 하는 동작 인식 시스템.
  15. 제10항에 있어서,
    상기 사용자 제스처가 진행하는 각도가 소정의 시간 단위마다 지속적으로 변하는 경우 상기 사용자 제스처는 원인 것으로 예측하는 것을 특징으로 하는 동작 인식 시스템.
  16. 삭제
  17. 제10항에 있어서,
    상기 제스처 예측부는,
    상기 새롭게 입력되는 사용자 제스처의 종류가 도형인 경우, 상기 도형의 각각의 변마다 상기 유형을 결정하는 것을 특징으로 하는 동작 인식 시스템.
  18. 제10항에 있어서,
    상기 제스처 예측부는,
    상기 사용자의 동작 패턴 정보에 보간법을 적용하여 상기 새롭게 입력되는 사용자 제스처의 종류 또는 상기 사용자 제스처가 완성되는 시간을 예측하는 것을 특징으로 하는 동작 인식 시스템.
  19. 제1항 내지 제6항, 제8항 및 제9항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020130026927A 2012-11-28 2013-03-13 동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 KR101450586B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120135850 2012-11-28
KR20120135850 2012-11-28

Publications (2)

Publication Number Publication Date
KR20140068746A KR20140068746A (ko) 2014-06-09
KR101450586B1 true KR101450586B1 (ko) 2014-10-15

Family

ID=50828176

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130026927A KR101450586B1 (ko) 2012-11-28 2013-03-13 동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Country Status (3)

Country Link
US (1) US20150309583A1 (ko)
KR (1) KR101450586B1 (ko)
WO (1) WO2014084622A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10083233B2 (en) * 2014-09-09 2018-09-25 Microsoft Technology Licensing, Llc Video processing for motor task analysis
US9814982B2 (en) * 2015-02-25 2017-11-14 Globalfoundries Inc. Mitigating collisions in a physical space during gaming
WO2016199967A1 (ko) * 2015-06-12 2016-12-15 (주)블루와이즈 패턴 및 센서기반의 사용자 의사입력 시스템
US10120455B2 (en) * 2016-12-28 2018-11-06 Industrial Technology Research Institute Control device and control method
US11256342B2 (en) * 2019-04-03 2022-02-22 Facebook Technologies, Llc Multimodal kinematic template matching and regression modeling for ray pointing prediction in virtual reality
KR20210046242A (ko) * 2019-10-18 2021-04-28 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100912511B1 (ko) * 2007-12-03 2009-08-17 한국전자통신연구원 사용자 적응형 제스처 인식 방법 및 그 시스템
KR20100136649A (ko) * 2009-06-19 2010-12-29 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치
KR20110041757A (ko) * 2009-10-16 2011-04-22 에스케이텔레콤 주식회사 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법
KR20110069505A (ko) * 2009-12-17 2011-06-23 한국전자통신연구원 다중 단계 데이터 융합 기반 인식 시스템 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20070064004A1 (en) * 2005-09-21 2007-03-22 Hewlett-Packard Development Company, L.P. Moving a graphic element
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
IL204436A (en) * 2010-03-11 2016-03-31 Deutsche Telekom Ag A system and method for remote control of online TV by waving hands
JP5569062B2 (ja) * 2010-03-15 2014-08-13 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
KR101758271B1 (ko) * 2010-11-12 2017-07-14 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
EP2474950B1 (en) * 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US9619036B2 (en) * 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100912511B1 (ko) * 2007-12-03 2009-08-17 한국전자통신연구원 사용자 적응형 제스처 인식 방법 및 그 시스템
KR20100136649A (ko) * 2009-06-19 2010-12-29 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치
KR20110041757A (ko) * 2009-10-16 2011-04-22 에스케이텔레콤 주식회사 제스처를 이용한 사용자 인터페이스 제공 단말기 및 방법
KR20110069505A (ko) * 2009-12-17 2011-06-23 한국전자통신연구원 다중 단계 데이터 융합 기반 인식 시스템 및 방법

Also Published As

Publication number Publication date
KR20140068746A (ko) 2014-06-09
US20150309583A1 (en) 2015-10-29
WO2014084622A1 (ko) 2014-06-05

Similar Documents

Publication Publication Date Title
KR101450586B1 (ko) 동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US11720181B2 (en) Cursor mode switching
KR102364993B1 (ko) 제스처 인식 방법, 장치 및 디바이스
US10394318B2 (en) Scene analysis for improved eye tracking
US8606735B2 (en) Apparatus and method for predicting user's intention based on multimodal information
KR101811909B1 (ko) 제스처 인식을 위한 장치 및 방법
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
US8166421B2 (en) Three-dimensional user interface
US20140157209A1 (en) System and method for detecting gestures
US20130271397A1 (en) Rapid gesture re-engagement
KR20190034021A (ko) 객체를 인식하는 방법 및 장치
WO2014113507A1 (en) Dynamic user interactions for display control and customized gesture interpretation
KR102057531B1 (ko) 제스처를 이용하여 데이터를 송수신하는 모바일 기기들
KR20180074568A (ko) 차선 정보를 추정하는 방법 및 전자 장치
KR101631015B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR20150038877A (ko) 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법
KR20200056905A (ko) 3d 모델 정렬 방법 및 장치
KR20180075224A (ko) 객체의 인식 결과를 제공하는 방법 및 전자 장치
US9761009B2 (en) Motion tracking device control systems and methods
KR101517932B1 (ko) 손 제스처 인식용 초광각 스테레오 카메라 시스템 장치 및 방법
KR102593866B1 (ko) 스마트 디바이스 사용 과정에서 시각 장애인의 객체 탐지를 돕기 위한 태스크 기반의 음향 가이드 방법 및 장치
KR101489247B1 (ko) 사용자 인터페이스 장치 및 방법
KR101107352B1 (ko) 이동 통신 단말기 및 상기 이동 통신 단말기를 제어하는 방법
KR20140097907A (ko) 카메라 기반 명령 입력 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170807

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180731

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190903

Year of fee payment: 6