KR20150050038A - 동작 인식 장치, 그것의 동작 방법 및 그것을 포함하는 동작 인식 시스템 - Google Patents

동작 인식 장치, 그것의 동작 방법 및 그것을 포함하는 동작 인식 시스템 Download PDF

Info

Publication number
KR20150050038A
KR20150050038A KR1020130131365A KR20130131365A KR20150050038A KR 20150050038 A KR20150050038 A KR 20150050038A KR 1020130131365 A KR1020130131365 A KR 1020130131365A KR 20130131365 A KR20130131365 A KR 20130131365A KR 20150050038 A KR20150050038 A KR 20150050038A
Authority
KR
South Korea
Prior art keywords
motion
signal
motion signal
unit
motion recognition
Prior art date
Application number
KR1020130131365A
Other languages
English (en)
Inventor
여준기
석정희
전영득
노태문
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130131365A priority Critical patent/KR20150050038A/ko
Publication of KR20150050038A publication Critical patent/KR20150050038A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Abstract

본 발명은 사용자의 손동작을 인식하는 동작 인식 장치에 관한 것이다. 본 발명에 따른 동작 인식 장치는 대상의 움직임을 기반으로 복수의 센서 신호들을 생성하는 센서부; 생성된 복수의 센서 신호들을 기반으로 특징점을 추출하는 특징점 추출부; 추출된 특징점을 기반으로 학습 동작을 수행하는 학습부; 추출된 특징점 및 학습부의 학습 동작의 결과 정보를 저장하는 저장부; 학습부의 학습 동작의 결과 정보를 기반으로 기준 움직임을 설정하는 움직임 선택부; 및 설정된 기준 움직임 및 생성된 복수의 센서 신호들을 비교하고, 비교 결과를 기반으로 미리 설정된 동작을 수행하는 제어부를 포함한다.

Description

동작 인식 장치, 그것의 동작 방법 및 그것을 포함하는 동작 인식 시스템{MOTION RECOGNITION DEVICE AND OPERATING METHOD THEREOF AND MOTION RECOGNITION SYSTEM INCLUDING THE SAME}
본 발명은 동작 인식에 관한 것으로, 더욱 상세하게는 학습 동작을 통해 향상된 인식률을 갖는 동작 인식 장치, 그것의 동작 방법, 및 그것을 포함하는 동작 인식 시스템에 관한 것이다.
전자 기술이 발달함에 따라 최근에는 다양한 기능을 수행할 수 있는 휴대 단말기들이 사용되고 있다. 휴대 단말기는 블랙 박스, 내비게이션, 휴대 전화, PDA, PMP, MP3P, 디지털 카메라, 스마트폰, 태블릿 PC, UMPC 등과 같은 소형 컴퓨팅 장치들을 포함한다.
종래에는 직접적인 터치 또는 버튼 조작을 통해 휴대 단말기를 제어했다. 그러나, 최근에는 사용자 편의를 위하여 음성 인식, 모션 인식, 비접촉 인식 등과 같은 새로운 사용자 인터페이스가 제공되고 있다. 이러한 새로운 사용자 인터페이스가 휴대 단말기에 적용되어 사용자(User)에게 편의성을 제공하고 있다.
다양한 사용자 인터페이스들 중 음성 인식, 모션 인식과 같은 사용자 인터페이스들은 음성 또는 손동작 등과 같은 입력 수단을 사용하기 때문에, 다수의 사용자들의 특성에 따라 인식률이 서로 상이하다. 예를 들어, 손동작 인식의 사용자 인터페이스를 사용하는 경우, 디바이스에 명령 또는 요청을 입력하기 위하여 동일한 기준 인식 정보가 사용된다. 이 경우, 복수의 사용자들 각각은 서로 다른 손동작 특성(예를 들어, 왼손 잡이와 오른손 잡이의 손동작의 차이)을 갖기 때문에, 동일한 기준 인식 정보를 사용하는 사용자 인터페이스는 사용자마다 서로 다른 인식률을 갖는 단점이 있다.
본 발명의 목적은 복수의 센서들을 통해 사용자의 움직임을 감지하고, 이를 학습하여 움직임 인식률을 향상시키는 동작 인식 장치, 그것의 동작 방법, 및 그것을 포함하는 동작 인식 시스템을 제공하는데 있다.
본 발명의 실시 예에 따른 동작 인식 장치는 대상의 움직임을 기반으로 복수의 센서 신호들을 각각 생성하는 복수의 이종 센서들을 포함하는 센서부; 상기 생성된 복수의 센서 신호들을 기반으로 움직임 신호를 생성하는 특징점 추출부; 상기 생성된 움직임 신호 및 기준 움직임 신호를 기반으로 학습 동작을 수행하여 학습된 움직임 신호를 생성하는 학습부; 상기 학습된 움직임 신호 및 상기 움직임 신호를 저장하는 저장부; 상기 학습된 움직임 신호를 기반으로 상기 기준 움직임 신호를 설정하는 움직임 선택부; 및 상기 설정된 기준 움직임 신호 및 상기 움직임 신호를 비교하고, 상기 비교 결과를 기반으로 미리 설정된 동작을 수행하는 제어부를 포함한다.
실시 예로서, 상기 센서부는 적외선 센서, 카메라 센서, 초음파 센서, 및 동적 비전 센서 중 적어도 둘 이상을 포함한다.
실시 예로서, 상기 제어부는 상기 설정된 기준 움직임 신호 및 상기 움직임 신호가 서로 대응되는 경우, 상기 미리 설정된 동작을 수행한다.
실시 예로서, 상기 학습부는 학습 모드인 경우 상기 움직임 신호 및 상기 기준 움직임 신호를 기반으로 학습 동작을 수행한다.
실시 예로서, 상기 움직임 선택부는 학습 모드인 경우 상기 저장부에 저장된 상기 학습된 움직임 신호를 기반으로 상기 기준 움직임 신호를 설정한다.
실시 예로서, 상기 저장부에 저장된 상기 움직임 신호 및 상기 학습된 움직임 신호를 외부 장치로 전송하는 통신부를 더 포함한다.
실시 예로서, 상기 설정된 기준 움직임 신호 또는 상기 학습된 움직임 신호를 표시하는 표시부를 더 포함한다.
실시 예로서, 상기 표시부는 터치 디스플레이를 포함한다.
본 발명의 다른 실시 예에 따른 동작 인식 장치의 동작 방법은 외부 대상의 움직임을 감지하여 복수의 이종 센서 신호들을 생성하는 단계; 상기 생성된 복수의 센서 신호들을 기반으로 움직임 신호를 생성하는 단계; 상기 생성된 움직임 신호 및 기준 움직임 신호를 기반으로 학습 동작을 수행하여 학습된 움직임 신호를 생성하는 단계; 및 상기 학습된 움직임 신호를 기반으로 상기 기준 움직임 신호를 재설정하는 단계를 포함한다.
실시 예로서, 상기 이종 센서 신호들을 생성하는 단계는 상기 외부 대상의 움직임을 감지하여 복수의 이종 센서들 각각으로부터 복수의 이종 센서 신호들을 생성하는 단계를 포함한다.
실시 예로서, 상기 생성된 움직임 신호 및 기준 움직임 신호를 기반으로 학습 동작을 수행하여 학습된 움직임 신호를 생성하는 단계는 상기 학습된 움직임 신호를 저장부에 저장하는 단계를 포함한다.
실시 예로서, 상기 저장부는 복수의 학습된 움직임 신호들을 포함하고, 상기 학습된 움직임 신호를 기반으로 상기 기준 움직임 신호를 재설정하는 단계는 상기 복수의 학습된 움직임 신호들 중 어느 하나를 상기 기준 움직임 신호로 재설정하는 단계를 포함한다.
실시 예로서, 상기 움직임 신호 및 상기 재설정된 기준 움직임 신호를 비교하는 단계; 및 상기 비교 결과를 기반으로 미리 설정된 동작을 수행하는 단계를 더 포함한다.
실시 예로서, 상기 비교 결과를 기반으로 미리 설정된 동작을 수행하는 단계는, 상기 생성된 움직임 신호 및 상기 재설정된 기준 움직임 신호가 서로 대응되는 경우 상기 미리 설정된 동작을 수행하는 단계를 포함한다.
본 발명의 또 다른 실시 예에 따른 동작 인식 시스템은 동작 인식 서버; 및 복수의 사용자들의 움직임들을 각각 획득하여 움직임 신호를 생성하고, 상기 움직임 신호 각각에 응답하여 미리 정해진 동작을 수행하며, 상기 움직임 신호를 상기 동작 인식 서버로 전송하는 복수의 동작 인식 장치들을 포함하고, 상기 동작 인식 서버는 상기 복수의 동작 인식 장치들로 부터 수신된 움직임 신호들을 기반으로 학습 동작을 수행하여 대표 기준 움직임 신호를 설정한다.
실시 예로서, 상기 동작 인식 서버는 상기 설정된 대표 기준 움직임 신호의 정보를 상기 복수의 동작 인식 장치들로 전송하고, 상기 복수의 동작 인식 장치들 각각은 상기 수신된 대표 기준 움직임 신호의 정보를 기반으로 동작한다.
본 발명에 따르면, 동작 인식 장치는 복수의 센서들을 사용하여 사용자의 움직임을 감지할 수 있다. 또한, 감지된 움직임을 학습하여 사용자별 특성에 따라 기준 움직임을 재설정하기 때문에 움직임 인식률이 향상된다. 따라서, 향상된 성능을 갖는 동작 인식 장치, 그것의 동작 방법, 및 동작 인식 시스템이 제공된다.
도 1은 본 발명의 실시 예에 따른 동작 인식 시스템을 보여주는 도면이다.
도 2는 도 1 에 도시된 동작 인식 장치를 상세하게 보여주는 블록도이다.
도 3은 도 2에 도시된 동작 인식 장치의 동작 방법을 보여주는 블록도이다.
도 4는 도 2에 도시된 동작 인식 장치의 다른 동작 방법을 보여주는 블록도이다.
도 5 및 도 6은 도 4의 다른 동작 방법을 설명하기 위한 도면들이다.
도 7은 본 발명의 다른 실시 예에 따른 동작 인식 시스템을 보여주는 도면이다.
도 8은 도 7에 도시된 서버의 동작 방법을 보여주는 순서도이다.
이하에서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세하게 설명하기 위하여 본 발명의 실시 예들을 첨부된 도면들을 참조하여 설명하기로 한다.
본 발명의 실시 예에 따르면, 동작 인식 장치는 대상의 움직임을 감지하고, 감지된 움직임을 기반으로 센서 신호들을 생성한다. 생성된 센서 신호들을 기반으로 반복적인 학습 동작을 수행하여 대상의 움직임에 대한 인식률을 향상시킬 수 있다.
또한, 학습 동작의 결과를 외부 장치(예를 들어, 데이터 베이스, 서버 등)로 전송하여 다양한 대상들의 움직임에 대한 인식률을 향상시킬 수 있다.
도 1은 본 발명에 따른 동작 인식 시스템을 보여주는 도면이다. 도 1을 참조하면, 동작 인식 시스템(100)은 동작 인식 장치(110) 및 대상(120)을 포함한다. 동작 인식 장치(110)는 UMPC (Ultra Mobile PC), 워크스테이션, 넷북(net-book), PDA (Personal Digital Assistants), 포터블(portable) 컴퓨터, 웹 타블렛(web tablet), 무선 전화기(wireless phone), 모바일 폰(mobile phone), 스마트폰(smart phone), e-북(e-book), PMP (portable multimedia player), 휴대용 게임기, 내비게이션(navigation) 장치, 블랙박스(black box), 디지털 카메라(digital camera), DMB (Digital Multimedia Broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 영상 녹화기(digital picture recorder), 디지털 영상 재생기(digital picture player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player) 등과 같은 컴퓨팅 시스템들 중 하나로 제공될 수 있다.
동작 인식 장치(110)는 대상(120)의 움직임을 기반으로 움직임 신호를 생성할 수 있다. 동작 인식 장치(110)는 생성된 움직임 신호를 기반으로 대상(120)의 움직임을 판별할 수 있다. 예시적으로, 움직임 신호는 복수의 센서들로부터 출력된 복수의 센서 신호들 또는 복수의 센서 신호들이 가공된 신호들일 수 있다.
동작 인식 장치(110)는 생성된 움직임 신호를 기반으로 학습 동작(training)을 수행할 수 있다. 예를 들어, 대상(120)은 사용자(user)에 따라 서로 다른 움직임을 가질 수 있다. 동작 인식 장치(110)는 대상(120)의 움직임을 반복적으로 학습하여 대상(120)의 움직임에 대한 인식률을 향상시킬 수 있다. 예를 들어, 동작 인식 장치(110)는 대상(120)의 제 1 움직임을 감지하고, 이에 응답하여 제 1 동작을 수행할 수 있다. 그러나, 사용자(user)의 특성에 따라 동작 인식 장치(110)는 대상(120)의 움직임을 제 1 움직임과 다른 제 2 움직임으로 감지하고, 제 1 동작을 수행하지 않을 수 있다. 이 경우, 동작 인식 장치(110)는 제 2 움직임에 응답하여 제 1 동작을 수행할 수 있도록 학습 동작을 수행할 수 있다. 예시적으로, 학습 동작은 사용자(user)의 제어 또는 요청에 따라 수행될 수 있다.
예시적으로, 대상(120)은 사용자(user)의 손을 가리킬 수 있다. 이 경우, 동작 인식 장치(110)는 대상(120)의 이동, 대상(120)의 접근, 대상의(120)의 형태 변화 등과 같은 특정 동작을 인식하고, 이를 기반으로 미리 정해진 동작을 수행할 수 있다. 예를 들어, 대상(120)이 동작 인식 장치(110)로 접근하는 경우, 동작 인식 장치(110)의 화면이 켜지도록 설정될 수 있다. 또는, 대상(120)이 동작 인식 장치(120)에서 멀어지는 경우, 동작 인식 장치(110)의 화면이 꺼지도록 설정될 수 있다. 그러나, 본 발명의 범위가 이에 한정되는 것은 아니며, 대상(120)의 움직임에 대응하는 한 동작 인식 장치(110)의 동작은 다양하게 설정될 수 있다.
도 2는 도 1에 도시된 동작 인식 장치를 상세하게 보여주는 블록도이다. 도 1 및 도 2를 참조하면, 동작 인식 장치(110)는 센서부(111), 특징점 추출부(112), 동작 인식 학습부(113), 저장부(114), 동작 선택부(115), 제어부(116), 통신부(117), 및 표시부(118)를 포함한다.
센서부(111)는 복수의 센서들을 포함한다. 센서부(111)는 복수의 센서들을 사용하여 대상(120)의 움직임에 따라 복수의 센서 신호들을 생성한다. 예를 들어, 센서부(111)는 대상(120)의 움직임을 감지할 수 있다. 센서부(111)는 감지된 움직임을 기반으로 복수의 센서 신호들을 생성할 수 있다. 예시적으로, 복수의 센서들은 카메라, 초음파 센서, 적외선 센서, 동적 비전 센서(DVS) 등과 같이 대상(120)의 움직임을 감지할 수 있는 센서들을 포함할 수 있다.
특징점 추출부(112)는 대상(120)의 움직임 신호를 생성할 수 있다. 예를 들어, 특징점 추출부(112)는 센서부(111)로부터 생성된 복수의 센서 신호들을 기반으로 특징점을 추출할 수 있다. 센서부(111)에 포함된 적외선 센서로부터 출력되는 센서 신호의 강도가 변화하는 경우, 특징점 추출부(112)는 센서 신호의 강도가 변화하는 위치를 특징점으로 추출할 수 있다. 그러나, 본 발명의 범위가 이에 한정되는 것은 아니며, 특징점 추출은 다양한 방법으로 변형되거나 적용될 수 있다.
학습부(113)는 특징점 추출부(112)로부터 생성된 움직임 신호를 기반으로 학습 동작(training)을 수행할 수 있다. 예를 들어, 학습부(113)는 생성된 움직임 신호 및 미리 설정된 기준 움직임 신호들의 평균치를 연산할 수 있다. 예시적으로, 학습부(113)는 상술된 학습 동작을 반복 수행하여 기준 움직임 신호를 보정할 수 있다. 예시적으로, 학습 동작은 움직임 신호 및 기준 움직임 신호를 기반으로 학습된 움직임 신호를 생성하는 동작을 가리킨다. 예시적으로, 기준 움직임 신호는 미리 정해진 움직임과 대응되는 복수의 센서 신호들 또는 복수의 센서 신호들이 가공된 신호들을 가리킨다.
저장부(114)는 생성된 움직임 신호 및 학습부(113)로부터 생성된 보정된 움직임 신호를 저장할 수 있다. 저장부(114)에 저장된 움직임 신호는 학습부(113)에 의해 학습 동작이 수행될 때 사용될 수 있다. 저장부(114)는 학습부(113)로부터 생성된 학습된 움직임 신호를 저장할 수 있다.
움직임 선택부(115)는 저장부(114)에 저장된 학습된 움직임 신호들 중 적어도 하나를 기준 움직임 신호로 설정할 수 있다. 예를 들어, 저장부(114)는 학습부(113)의 반복적인 학습 동작에 의해 생성된 복수의 학습된 움직임 신호를 포함할 것이다. 움직임 선택부(115)는 복수의 학습된 움직임 신호들 중 적어도 하나를 기준 움직임 신호로 설정할 수 있다.
제어부(116)는 설정된 기준 움직임 신호 및 특징점 추출부(112)에 의해 생성된 대상(120)의 움직임 신호 특징점을 비교하고, 비교 결과를 기반으로 미리 정해진 동작을 수행할 수 있다. 예를 들어, 제어부(116)는 움직임 선택부(115)에 의해 설정된 기준 움직임 신호 및 대상(120)의 움직임 신호가 서로 대응되는지 판별할 수 있다. 판별 결과에 따라 설정된 기준 움직임 신호 및 대상(120)의 움직임 신호가 서로 대응되는 경우, 제어부(116)는 이와 대응되는 미리 정해진 동작을 수행할 수 있다.
통신부(117)는 저장부(114)에 저장된 학습된 움직임 신호를 외부 장치(예를 들어, 데이터 베이스 또는 서버)로 전송할 수 있다. 예시적으로, 외부 장치는 수신된 정보들을 기반으로 학습 동작을 수행할 수 있다. 외부 장치의 학습 동작은 도 7 및 도 8을 참조하여 상세하게 설명된다.
표시부(118)는 움직임 선택부(115)의 설정 결과를 표시할 수 있다. 예를 들어, 표시부(118)는 움직임 선택부(115)에 의해 선택된 기준 움직임 신호를 사용자(user)가 확인할 수 있도록 디스플레이할 수 있다. 또는 표시부(118)는 사용자(user)가 움직임 선택부(115)를 제어하여 기준 움직임 신호를 설정할 수 있도록 저장부(114)에 저장된 특징점 또는 학습 결과를 표시할 수 있다. 예시적으로, 표시부(118)는 사용자(user)가 동작 인식 장치(110)를 제어할 수 있도록 터치 스크린으로 구성된 입력 장치를 포함할 수 있다.
예시적으로, 움직임 선택부(115)의 기준 움직임 설정 동작은 사용자(user)의 요청에 따라 수행될 수 있다. 예를 들어, 사용자(user)의 요청에 따라 동작 인식 장치(110)는 선택 모드로 설정될 수 있다. 동작 인식 장치(110)가 선택 모드로 설정된 경우, 동작 인식 장치(110)는 대상(120)의 움직임을 감지하고 이를 기반으로 상술된 학습 동작 및 움직임 선택 동작을 수행할 수 있다.
예시적으로, 동작 인식 장치(110)의 움직임 선택 동작이 완료된 경우, 동작 인식 장치(110)는 노멀 모드로 설정될 수 있다. 동작 인식 장치(110)가 노멀 모드로 설정된 경우, 동작 인식 장치(110)는 대상(120)의 움직임을 감지할 수 있다. 동작 인식 장치(110)는 감지된 대상(120)의 움직임 및 설정된 기준 움직임을 비교하고, 비교 결과를 기반으로 미리 설정된 동작을 수행할 수 있다. 즉, 동작 인식 장치(110)의 학습 동작 또는 기준 움직임 설정 동작은 사용자(user)의 요청에 의해 수행될 수 있다.
상술된 본 발명의 실시 예에 따르면, 동작 인식 장치(110)는 복수의 센서들을 사용하여 대상(120)의 움직임을 감지할 수 있다. 동작 인식 장치(110)는 대상(120)의 움직임을 반복적으로 학습하여 대상(120)의 움직임에 대한 인식률을 향상시킬 수 있다. 따라서, 향상된 성능을 갖는 동작 인식 장치가 제공된다.
도 3은 도 2에 도시된 동작 인식 장치의 동작을 보여주는 순서도이다. 예시적으로, 도 3을 참조하여 노멀 모드의 동작 인식 장치의 동작 방법이 설명된다.
도 3을 참조하면, S110 단계에서, 동작 인식 장치(110)는 대상(120)의 움직임을 감지하여 복수의 센서 신호들을 생성할 수 있다. 예를 들어, 센서부(111)에 포함된 복수의 센서들은 대상(120)의 움직임을 감지할 수 있다. 센서부(111)에 포함된 복수의 센서들은 감지된 움직임을 기반을 복수의 센서 신호들을 생성할 수 있다.`
S120 단계에서, 동작 인식 장치(110)는 생성된 복수의 센서 신호들을 기반으로 움직임 신호를 생성할 수 있다. 예를 들어, 특징점 추출부(112)는 복수의 센서 신호들의 강도 변화를 기반으로 특징점들을 추출하고, 추출된 특징점들을 기반으로 움직임 신호를 생성할 수 있다. 예시적으로, 움직임 신호는 복수의 센서들로부터 출력된 복수의 센서 신호들이거나 또는 복수의 센서 신호들이 가공된 신호일 수 있다.
S130 단계에서, 동작 인식 장치(110)는 생성된 움직임 신호 및 기준 움직임 신호를 비교할 수 있다. 예시적으로, 기준 움직임 신호는 동작 인식 학습부(113)에 의해 생성된 복수의 학습된 움직임 신호들 중 어느 하나일 수 있다. 다시 말해서, 기준 움직임 신호는 학습 동작에 의해 보정된 움직임을 가리키는 신호일 수 있다. 학습 동작은 도 4 내지 도 6을 참조하여 더욱 상세하게 설명된다.
S140 단계에서, 동작 인식 장치(110)는 비교 결과를 기반으로 미리 정해진 동작을 수행할 수 있다. 예를 들어, 생성된 움직임 신호 및 기준 움직임 신호가 서로 대응되는 경우, 제어부(116)는 미리 정해진 동작을 수행할 수 있다. 예시적으로, 기준 움직임 신호에 대응되는 미리 정해진 동작은 다양하게 설정될 수 있다.
상술된 본 발명의 실시 예에 따르면, 동작 인식 장치(110)는 대상(120)의 움직임 신호를 생성하고, 이를 기준 움직임 신호와 비교하여 미리 정해진 동작을 수행한다. 이 때, 기준 움직임 신호는 동작 인식 학습부(113)에 의해 생성된 복수의 학습된 움직임 신호들 중 어느 하나로 설정될 수 있다. 따라서, 동작 인식률이 향상되므로 향상된 성능을 갖는 동작 인식 시스템이 제공된다.
도 4는 도 2에 도시된 동작 인식 장치의 다른 동작을 보여주는 순서도이다. 예시적으로, 도 4를 참조하여 동작 인식 장치(110)의 학습 동작이 설명된다. 도 4를 참조하면, S210 단계 및 S220 단계는 도 3의 S110 단계 및 S120 단계와 동일하므로 이에 대한 설명은 생략된다.
S230 단계에서, 동작 인식 장치(110)는 생성된 움직임 신호를 저장부(114)에 저장한다.
S240 단계에서, 동작 인식 장치(110)는 저장부(114)에 저장된 움직임 신호를 기반으로 학습 동작을 수행한다. 예를 들어, 동작 인식 학습부(113)는 저장부(114)에 저장된 움직임 신호 및 기준 움직임 신호를 기반으로 학습된 움직임 신호를 생성할 수 있다. 예시적으로, S240 단계의 동작은 도 5 및 도 6을 참조하여 상세하게 설명된다.
S250 단계에서, 동작 인식 장치(110)는 생성된 학습된 움직임 신호를 저장부(114)에 저장한다.
S260 단계에서, 동작 인식 장치(110)는 저장부(114)에 저장된 학습된 움직임 신호를 기반으로 기준 움직임 신호를 설정할 수 있다. 예를 들어, 저장부(114)는 특정 동작에 대한 복수의 학습된 움직임 신호들을 저장할 수 있다. 동작 선택부(116)는 복수의 학습된 움직임 신호들 중 적어도 하나를 기준 움직임 신호로 설정할 수 있다. 예시적으로, 동작 선택부(116)는 사용자(user)의 제어에 따라 기준 움직임 신호를 설정하거나, 또는 미리 정해진 알고리즘을 기반으로 기준 움직임 신호를 설정할 수 있다.
도 5 및 도 6은 도 4의 동작 인식 장치의 학습 동작을 설명하기 위한 도면들이다. 예시적으로, 도 5는 학습 동작 이전의 기준 움직임(이하에서, "최초 기준 움직임"이라 칭한다.)을 보여주고, 도 6은 학습 동작 이후의 재설정된 기준 움직임(이하에서, "재설정된 기준 움직임"이라 칭한다.)을 보여준다.
먼저 도 5를 참조하면, 동작 인식 단말기(110)는 최초 기준 움직임의 정보를 포함할 수 있다. 예를 들어, 대상(120)이 제 1 방향(D01)을 따라 이동하는 동작은 최초 기준 움직임일 수 있다. 동작 인식 단말기(110)는 최초 기준 움직임과 동일한 대상(120)의 움직임이 감지된 경우, 미리 정해진 동작을 수행할 수 있다.
그러나, 사용자(user)의 특성에 따라 동작 인식 장치(110)는 최초 기준 움직임과 다른 동작으로 감지할 수 있다. 예를 들어, 사용자(user)의 특성(예를 들어, 사용자의 손 길이, 손 모양, 팔의 각도 등)에 따라 사용자(user)는 최초 기준 움직임과 다른 대상(120)의 움직임을 취할 수 있다. 이 경우, 동작 인식 장치(110)는 대상(120)의 움직임이 최초 기준 움직임과 다르게 때문에, 이와 대응되는 동작을 수행하지 않을 것이다. 이 경우, 사용자(user)는 기준 움직임을 동작 인식 장치(110)로 인식하기 위하여 대상(120)을 움직였으나 동작 인식 장치(110)는 기준 움직임과 다른 대상(120)의 움직임으로 인식하기 때문에, 동작 인식 장치(110)의 동작 인식률이 떨어질 수 있다.
본 발명에 따른 동작 인식 장치(110)는 학습 동작을 수행하여 사용자(user)의 특성에 따라 기준 움직임 신호를 재설정할 수 있다. 예를 들어, 도 6을 참조하면, 사용자(user)는 제 2 방향(D02)을 따라 대상(120)을 움직일 수 있다. 이 경우, 동작 인식 장치(110)는 제 2 방향(D02)을 따라 움직이는 대상(120)의 움직임을 감지하고, 이를 기반으로 학습 동작을 수행한다. 학습 동작이 수행된 이 후, 최초 기준 움직임(도 5에 도시된 대상(120)의 움직임)은 재설정된 기준 움직임(예를 들어, 도 6에 도시된 대상(120)의 움직임)으로 재설정될 수 있다. 즉, 최초 기준 움직임이 재설정된 기준 움직임으로 변경됨으로써 동작 인식 장치(110)는 보정 기준 움직임을 감지하더라도 최초 기준 움직임과 대응하는 미리 정해진 동작을 수행할 수 있다.
예시적으로, 동작 인식 장치(110)의 학습 동작 및 기준 움직임 재설정 동작은 동작 인식 장치(110)가 선택 모드일 때 수행될 수 있다. 동작 인식 장치(110)의 모드는 사용자(user)에 의해 결정될 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 동작 인식 시스템을 보여주는 블록도이다. 도 7을 참조하면, 동작 인식 시스템(1000)은 복수의 동작 인식 장치들(1110~11n0) 및 서버(1200)를 포함한다. 복수의 동작 인식 장치들(1110~11n0)은 도 1 내지 도 6을 참조하여 설명된 동작 방법을 기반으로 동작할 수 있다. 복수의 동작 인식 장치들(1110~11n0) 각각은 학습된 움직임 신호를 서버(1200)로 전송할 수 있다.
서버(1200)는 복수의 동작 인식 장치들(1110~11n0)로부터 학습 기준 움직임신호를 수신할 수 있다. 예시적으로, 서버(1200)는 제조사(vendor user) 또는 서비스 사업자에 의해 제공될 수 있다. 서버(1200)는 복수의 동작 인식 장치들(1110~11n0)로부터 수신된 학습된 움직임 신호를 기반으로 대표 기준 움직임 신호를 재설정할 수 있다. 예를 들어, 복수의 동작 인식 장치들(1110~11n0)로부터 수신된 학습된 움직임 신호들의 평균치를 연산하고 이를 기반으로 대표 기준 움직임 신호를 재설정할 수 있다.
서버(1200)는 재설정된 대표 기준 움직임 신호 및 미리 정해진 동작의 정보를 복수의 동작 인식 장치들(1110~11n0)로 전송할 수 있다. 또는 복수의 동작 인식 장치들(1110~11n0)은 서버(1200)로부터 수신된 정보를 기반으로 업데이트 동작을 수행할 수 있다. 업데이트 동작은 복수의 동작 인식 장치들(1110~11n0) 각각이 서버(1200)로부터 재설정된 대표 기준 움직임 신호 및 미리 정해진 동작의 정보를 갱신하는 동작을 가리킨다. 예시적으로, 업데이트된 복수의 동작 인식 장치들(1110~11n0)은 대표 기준 움직임 정보를 기반으로 동작할 수 있다.
예시적으로, 복수의 동작 인식 장치들(1110~11n0)은 각각 서로 다른 사용자들(users)에 의해 동작할 것이다. 이 때, 서로 다른 사용자들은 사용자별 특성에 따라 동일한 기준 움직임에 대하여 서로 다른 동작을 취할 수 있다. 즉, 서버(1200)는 복수의 동작 인식 장치들(1110~11n0)로부터 수신된 학습 결과 정보를 기반으로 기준 움직임을 설정함으로써 복수의 사용자들 각각에 대하여 인식률이 향상될 수 있다.
도 8은 도 7에 도시된 동작 인식 시스템의 동작을 보여주는 순서도이다. 도 7 및 도 8을 참조하면, S310 단계에서, 서버(1200)는 복수의 동작 인식 장치들(1110~11n0)로부터 학습된 움직임 신호들을 수신할 수 있다. 예를 들어, 복수의 동작 인식 장치들(1110~11n0) 각각은 도 1 내지 도 6을 참조하여 설명된 방법을 기반으로 대상(120)의 움직임을 감지하고, 이를 기반으로 학습 동작을 수행하여 학습된 움직임 신호를 생성할 수 있다. 복수의 동작 인식 장치들(1110~11n0) 각각은 학습된 움직임 신호들을 서버(1200)로 전송할 수 있다.
S320 단계에서, 서버(1200)는 수신된 학습된 움직임 신호들을 기반으로 대표 기준 움직임 신호를 재설정할 수 있다. 예를 들어, 서버(1200)는 수신된 학습된 움직임 신호들의 평균치를 연산하고 이를 기반으로 대표 기준 움직임을 재설정할 수 있다.
S340 단계에서, 서버(1200)는 재설정된 대표 기준 움직임 신호의 정보를 복수의 동작 인식 장치들(1110~11n0)로 전송할 수 있다. 예시적으로, 복수의 동작 인식 장치들(1110~11n0)은 재설정된 대표 기준 움직임 신호를 기준 움직임 신호로 재설정하여 동작할 것이다. 즉, 복수의 동작 인식 장치들(1110~11n0)은 복수의 사용자들의 특성에 대한 인식률이 향상된다.
상술된 본 발명의 실시 예들에 따르면, 동작 인식 장치는 외부의 대상의 움직임을 감지하고, 감지된 움직임 및 기준 움직임을 비교하여 미리 정해진 동작을 수행한다. 이 때, 동작 인식 장치는 감지된 움직임을 기반으로 학습 동작을 수행하여 기준 움직임을 보정할 수 있다.
또한, 복수의 동작 인식 장치들은 서버로 동작 인식 정보를 전송하고, 서버는 복수의 동작 인식 장치들로부터 수신된 동작 인식 정보를 기반으로 기준 움직임을 재설정할 수 있다. 즉, 복수의 사용자들의 특성에 따른 움직임을 조합하여 기준 움직임을 재설정함으로써 복수의 사용자들에 대한 복수의 동작 인식 장치들의 인식률이 향상된다. 따라서, 향상된 성능을 갖는 동작 인식 장치, 그것의 동작 방법 및 그것을 포함하는 동작 인식 시스템이 제공된다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러가지 변형이 가능하다. 그러므로, 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.
100 : 동작 인식 시스템 110 : 동작 인식 장치
111 : 센서부 112 : 특징점 추출부
113 : 학습부 114 : 저장부
115 : 움직임 선택부 116 : 제어부
117 : 통신부 118 : 표시부
120 : 대상 1000 : 동작 인식 시스템
1110~11n0 : 동작 인식 장치들 1200 : 서버

Claims (1)

  1. 대상의 움직임을 기반으로 복수의 센서 신호들을 각각 생성하는 복수의 이종센서들을 포함하는 센서부;
    상기 생성된 복수의 센서 신호들을 기반으로 움직임 신호를 생성하는 특징점 추출부;
    상기 생성된 움직임 신호 및 기준 움직임 신호를 기반으로 학습 동작을 수행하여 학습된 움직임 신호를 생성하는 학습부;
    상기 학습된 움직임 신호 및 상기 움직임 신호를 저장하는 저장부;
    상기 학습된 움직임 신호를 기반으로 상기 기준 움직임 신호를 설정하는 움직임 선택부; 및
    상기 설정된 기준 움직임 신호 및 상기 움직임 신호를 비교하고, 상기 비교 결과를 기반으로 미리 설정된 동작을 수행하는 제어부를 포함하는 동작 인식 장치.
KR1020130131365A 2013-10-31 2013-10-31 동작 인식 장치, 그것의 동작 방법 및 그것을 포함하는 동작 인식 시스템 KR20150050038A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130131365A KR20150050038A (ko) 2013-10-31 2013-10-31 동작 인식 장치, 그것의 동작 방법 및 그것을 포함하는 동작 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130131365A KR20150050038A (ko) 2013-10-31 2013-10-31 동작 인식 장치, 그것의 동작 방법 및 그것을 포함하는 동작 인식 시스템

Publications (1)

Publication Number Publication Date
KR20150050038A true KR20150050038A (ko) 2015-05-08

Family

ID=53388002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130131365A KR20150050038A (ko) 2013-10-31 2013-10-31 동작 인식 장치, 그것의 동작 방법 및 그것을 포함하는 동작 인식 시스템

Country Status (1)

Country Link
KR (1) KR20150050038A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200086935A (ko) * 2019-01-10 2020-07-20 세종대학교산학협력단 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200086935A (ko) * 2019-01-10 2020-07-20 세종대학교산학협력단 미러 패딩을 이용한 손 동작 인식 장치 및 그 방법

Similar Documents

Publication Publication Date Title
CN109785368B (zh) 一种目标跟踪方法和装置
CN102906671B (zh) 手势输入装置及手势输入方法
US11003753B2 (en) Method for recognizing fingerprint, and electronic device and storage medium therefor
US11383166B2 (en) Interaction method of application scene, mobile terminal, and storage medium
US8938124B2 (en) Computer vision based tracking of a hand
US20150062032A1 (en) Mobile communication terminal, screen adjusting method and storage medium thereof
US9557821B2 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
CN104115099A (zh) 取决于参与的手势辨识
CN103379274A (zh) 相机装置及其控制方法
CN109558000B (zh) 一种人机交互方法及电子设备
US10326928B2 (en) Image processing apparatus for determining whether section of target area matches section of person area and control method thereof
US20160048214A1 (en) Using distance between objects in touchless gestural interfaces
KR20200028771A (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
JP2021531589A (ja) 目標対象の動作認識方法、装置及び電子機器
US8493413B2 (en) Apparatus and method for controlling terminal through motion recognition
US9525906B2 (en) Display device and method of controlling the display device
KR20160060385A (ko) 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
CN107862852B (zh) 基于位置匹配的适配多种设备的智能遥控装置及控制方法
CN113342157B (zh) 眼球追踪处理方法及相关装置
US20140301603A1 (en) System and method for computer vision control based on a combined shape
KR101596600B1 (ko) 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법
CN108304744B (zh) 一种扫描框位置确定方法及移动终端
CN108550182B (zh) 一种三维建模方法和终端
CN110955377A (zh) 一种虚拟对象的控制方法以及相关装置
KR20150050038A (ko) 동작 인식 장치, 그것의 동작 방법 및 그것을 포함하는 동작 인식 시스템

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination