KR101615661B1 - 실시간 동작인식시스템 및 그의 방법 - Google Patents

실시간 동작인식시스템 및 그의 방법 Download PDF

Info

Publication number
KR101615661B1
KR101615661B1 KR1020090089810A KR20090089810A KR101615661B1 KR 101615661 B1 KR101615661 B1 KR 101615661B1 KR 1020090089810 A KR1020090089810 A KR 1020090089810A KR 20090089810 A KR20090089810 A KR 20090089810A KR 101615661 B1 KR101615661 B1 KR 101615661B1
Authority
KR
South Korea
Prior art keywords
control device
remote control
user
calculating
curvature
Prior art date
Application number
KR1020090089810A
Other languages
English (en)
Other versions
KR20110032367A (ko
Inventor
한승주
김정배
박치연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090089810A priority Critical patent/KR101615661B1/ko
Priority to US12/805,096 priority patent/US8666695B2/en
Publication of KR20110032367A publication Critical patent/KR20110032367A/ko
Priority to US14/150,209 priority patent/US8990042B2/en
Application granted granted Critical
Publication of KR101615661B1 publication Critical patent/KR101615661B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 동작을 감지하여 인식하기 위한 시스템 및 방법을 개시한다. 원격제어장치로부터 수신된 센싱 데이터를 바탕으로 다양한 사용자 동작을 인식하는 시스템 및 방법을 제공한다.
동작, 움직임 인식, 가상, 게임

Description

실시간 동작인식시스템 및 그의 방법{REAL-TIME MOTION RECOGNIZING SYSTEM AND METHOD THEREOF}
본 발명의 실시예들은 센싱 데이터를 이용하여 사용자의 동작을 인식하는 동작인식시스템 및 그의 방법에 관한 것이다.
최근 들어 체감형 게임에 관한 관심이 증가하고 있다. 이러한 체감형 게임을 제공하기 위해 센서를 이용하여 사용자의 동작을 인식하는 방법이 존재한다.
더욱이, 체감형 게임에서는 인식된 사용자의 동작이 디스플레이되는 객체들에 반영되므로, 사용자 동작의 인식 정도에 따라 체감형 게임을 즐기는 사용자의 만족도가 달라진다. 이에 따라, 사용자의 만족도를 높이기 위한 연구가 활발히 진행되고 있다.
센싱 데이터를 이용하여 사용자 동작을 인식할 수 있는 동작인식시스템 및 그의 방법을 제공한다.
본 발명의 실시예에 따른 실시간 동작인식시스템은 원격제어장치로부터 수신된 센싱 데이터를 기초로 원격제어장치의 곡률을 산출하는 산출부, 및 산출된 곡률을 이용하여 사용자 동작을 인식하는 인식부를 포함한다.
여기서, 센싱 데이터는 원격제어장치의 가속도, 각속도, 포인팅벡터, 및 위치데이터 중 적어도 하나를 포함할 수 있다.
이때, 인식부는, 산출된 곡률을 이용하여 사용자 동작의 빠르기, 사용자 동작의 크기, 및 사용자 동작의 종류 중 적어도 하나를 인식할 수 있다.
또한, 산출부는, 센싱 데이터를 기초로 원격제어장치의 속도, 포인팅 위치좌표, 및 방향벡터 중 적어도 하나를 산출할 수 있다. 이때, 인식부는, 산출된 원격제어장치의 속도, 포인팅 위치좌표, 및 방향벡터 중 적어도 하나를 이용하여 사용자 동작의 빠르기, 사용자 동작의 크기, 사용자 동작의 종류, 및 사용자 동작의 방향 중 적어도 하나를 인식할 수 있다.
본 발명의 실시예에 따른 실시간 동작인식방법은 센싱 데이터를 수신하는 단계, 수신된 센싱 데이터를 기초로 곡률을 산출하는 단계, 및 산출된 곡률을 이용하여 사용자 동작을 인식하는 단계를 포함한다.
센싱 데이터를 이용하여 사용자 동작의 빠르기, 사용자 동작의 크기, 사용자 동작의 방향, 및 사용자 동작의 종류 등을 인식할 수 있다.
실시 예로 사용자가 가상 오케스트라를 지휘하는 음악 공연을 수행하는 방법을 들 수 있다. 이때 사용자의 동작으로부터 종류, 빠르기, 크기, 방향을 인식하고 음악 공연을 위한 박자, 템포, 음량, 포인팅 동작을 조절하여 연주 비디오와 오디오의 스트림을 제어해 가상 오케스트라를 지휘하게 된다.
이하 첨부된 도면을 참조하여 본 발명에 따른 다양한 실시예를 상세히 설명하기로 한다. 다만, 본 명세서에서는, 관련된 공기 기술 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
도 1은 본 발명의 일 실시예에 따른 동작인식시스템과 연동되는 기기들 간의 동작을 설명하기 위해 제공되는 도면이다.
도 1에 도시된 바와 같이, 동작인식시스템(100)은 원격제어장치(300)로부터 무선으로 센싱 데이터를 수신하고, 수신된 센싱 데이터를 이용하여 사용자 동작을 인식한다. 이때, 원격제어장치(300)는 초음파센서 및 관성센서를 구비하여 원격제어장치(300)의 움직임을 감지하고, 감지된 움직임에 대응되는 센싱 데이터를 동작인식시스템(100)으로 전송한다. 여기서, 관성센서의 일 예로는 가속센서, 자이로센서 등을 들 수 있다.
그리고, 동작인식시스템(100)은 인식된 사용자 동작을 기반으로 디스플레이(200) 상에 표시되는 가상 세계에서의 객체(object)들을 제어한다. 여기서, 디스플레이(200)는 원격제어장치(300)와 무선으로 통신한다. 이때, 도 1에서는 동작인식시스템(100)과 디스플레이(200)는 유선으로 연결되는 것으로 도시하였으나, 이에 한정되는 것이 아니라 동작인식시스템(100)과 디스플레이(200)는 무선으로 통신할 수 있다.
도 2는 본 발명의 일 실시예에 따른 동작인식시스템의 구성을 나타낸 블록도이다. 도 2에 따르면, 동작인식시스템(100)은 저장부(110), 로더부(120), 신호처리부(130), 오디오 출력부(140), GUI 생성부(150), 제1 인터페이스(160), 산출부(170), 인식부(180), 제어부(190), 및 제2 인터페이스(195)를 포함한다.
먼저, 저장부(110)에는 동작인식시스템(100)의 전반적인 동작을 제어하기 위한 각종 프로그램과 디스플레이(200)에 표시될 영상, 게임 등의 멀티미디어 콘텐츠가 저장된다.
로더부(120)는 기록매체로부터 멀티미디어 콘텐츠를 리드하여 신호처리부(130)로 출력한다. 여기서, 기록매체의 일 예로는 CD(Compact Disc), DVD(Digital Versatile Disc), BD(Blue-ray Disc) 등을 들 수 있다.
신호처리부(130)는 저장부(110) 및 로더부(120)로부터 수신된 멀티미디어 콘텐츠에 대해 비디오 디코딩, 비디오 스케일링, 오디오 디코딩 등의 신호처리를 수행한다. 그리고, 신호처리부(130)는 신호처리된 오디오 신호를 오디오 출력부(140)로, 영상 신호를 GUI 생성부(150)로 각각 출력한다.
오디오 출력부(140)는 신호처리부(130)에서 출력되는 오디오신호를 스피커(미도시)를 통해 출력시키거나, 외부 출력단자(미도시)를 통해 연결된 외부기기(미도시)로 출력한다.
GUI 생성부(150)는 사용자에게 제공하기 위한 GUI(Graphic User Interface)를 생성하고, 생성된 GUI를 신호처리부(130)에서 출력된 영상에 부가한다.
제1 인터페이스(160)는 원격제어장치(300)로부터 센싱 데이터를 수신한다. 여기서, 센싱 데이터는 원격제어장치의 가속도, 각속도, 포인팅벡터, 조작명령, 및 위치데이터 중 적어도 하나를 포함한다. 이때, 제1 인터페이스(160)의 일 예로는 RF 통신모듈, 블루투스 모듈 등을 들 수 있다. 여기서, 포인팅벡터는, 자이로센서에서 출력된 포인팅 방향과, 초음파 센서로부터 출력된 포인팅 위치로 이루어진 벡터를 나타낸다.
산출부(170)는 제1 인터페이스(160)로부터 수신된 센싱 데이터를 기초로 원격제어장치의 속도, 곡률, 포인팅 위치좌표, 및 방향벡터를 산출한다.
구체적으로, 산출부(170)는 제1 인터페이스(160)를 통해 수신된 원격제어장치의 가속도를 이용하여 원격제어장치의 속도를 산출한다. 여기서, 가속도로부터 속도를 산출하는 내용은 이미 잘 알려진 기술이므로 자세한 설명은 생략하기로 한다.
그리고, 산출부(170)는 산출된 원격제어장치의 속도와 제1 인터페이스(160)를 통해 수신된 원격제어장치의 가속도를 이용하여 원격제어장치의 곡률을 산출한다. 여기서, 원격제어장치의 곡률은, 원격제어장치가 산출된 원격제어장치의 속도 로 움직일 때, 움직임 방향이 움직인 거리에 따라 변화하는 변화율을 나타낸다. 이때, 산출부(170)에서 산출되는 3차원 공간에서 곡률의 일 예는 아래의 수학식1과 같다.
Figure 112009058290849-pat00001
여기서, F[x,y,z]는 곡률,
Figure 112009058290849-pat00002
은 각 축의 속도,
Figure 112009058290849-pat00003
은 각 축의 가속도를 나타낸다.
그리고, 산출부(170)는 원격제어장치의 속도, 가속도, 각속도 및 곡률의 크기를 각각 산출하고, 산출된 속도, 가속도 각속도의 크기 각각의 최대값과, 곡률의 최소값 중 적어도 2개가 기설정된 오차범위 내에서 일치하는 현재시점 t1과 이전시점 t2 간의 차인 시간 간격을 산출한다.
즉, 도 3에 도시된 바와 같이, 산출부(170)는 가속도, 속도, 각속도, 및 곡률의 크기가 모두 일치하거나 혹은 이들 중 2개 이상이 일치하는 시점 t1, t2의 차를 시간 간격으로 산출한다. 여기서, 산출되는 시간 간격은
Figure 112009058290849-pat00004
가 된다. 이때, 현재시점은 원격제어장치의 동작이 변경된 시점을 나타내고, 이전시점은 현재시점 이전에 원격제어장치의 동작이 변경된 시점을 나타낸다.
또한, 산출부(170)는 시간 축을 기준으로 산출된 현재시점과 이전시점 간의 차인 시간간격을 거리 축을 기준으로 변환하여 거리값을 산출한다. 즉, 산출된 거리값은 아래의 수학식 2와 같다.
Figure 112009058290849-pat00005
여기서, dist는 거리값, t1은 현재시점, t2는 이전시점, (x, y, z)는 3차원 공간에서 원격제어장치의 좌표값을 나타낸다.
또한, 산출부(170)는 제1 인터페이스(160)를 통해 수신된 원격제어장치의 위치데이터, 즉, 위치좌표를 이용하여 원격제어장치의 방향벡터를 산출한다.
구체적으로, 산출부(170)는 3차원 공간에서 원격제어장치(300)가 이동되기 이전의 위치좌표와 이동된 지점의 현재 위치좌표를 각각 2차원 공간에서의 위치좌표로 변환하고, 2차원 공간에서의 현재 및 이전 위치좌표를 이용하여 원격제어장치의 이동거리 및 이동각도를 산출한다. 여기서, 이동 전 및 이동 후의 위치좌표를 기초로 원격제어장치의 이동거리 및 이동각도를 산출하는 움직임 추정 알고리즘은 이미 잘 알려진 내용이므로 자세한 설명은 생략하기로 한다.
그리고, 도 4에 도시된 바와 같이, 산출부(170)는 이동거리 및 이동각도를 이용하여 기설정된 방향의 방향벡터 중 어느 하나를 원격제어장치의 방향벡터로 산출한다. 여기서, 방향은 4방향, 8방향, 16방향, 32방향 등으로 기설정될 수 있으며, 도 4는 8개 방향의 방향벡터가 기설정된 경우이다.
또한, 산출부(170)는 제1 인터페이스(160)를 통해 수신된 원격제어장치의 포인팅벡터를 기초로 포인팅 위치좌표를 산출한다.
구체적으로, 가상 세계에서의 오케스트라 연주 시에, 원격제어장치(300)가 특정 연주파트의 포인팅을 위해 이용되는 경우를 예로 들면, 산출부(170)는 3차원 공간에서 원격제어장치의 이동좌표를 2차원 공간으로 변환함으로써, 디스플레이(200) 상에서 원격제어장치가 가리키는 포인팅 위치를 산출한다.
인식부(180)는 산출부(170)에서 산출된 시간간격, 거리값, 방향벡터 및 포인팅 위치좌표, 원격제어장치의 각속도, 가속도, 속도, 및 곡률의 크기, 제1 인터페이스(160)를 통해 수신된 조작명령을 이용하여 사용자 동작의 빠르기, 사용자 동작의 크기, 사용자 동작의 종류, 및 사용자 동작의 방향을 인식한다.
구체적으로, 인식부(180)는 산출부(170)에서 산출된 시간간격을 사용자 동작의 빠르기로 인식한다. 이때, 인식부(180)는 시간간격이 좁을수록 사용자 동작의 빠르기를 빠르게 인식하고, 시간간격이 넓을수록 사용자 동작의 빠르기를 느리게 인식한다. 여기서, 사용자 동작의 빠르기의 일 예로는 음악연주에서의 템포(tempo)를 들 수 있다.
또한, 인식부(180)는 산출부(170)에서 산출된 거리값을 사용자 동작의 크기로 인식한다. 이때, 인식부(180)는 거리값이 작을수록 사용자 동작의 크기를 작게 인식하고, 거리값이 클수록 사용자 동작의 크기를 크게 인식한다. 여기서, 사용자 동작의 크기의 일 예로는 음악연주에서의 음량(volume)을 들 수 있다. 이러한 경우, 인식부(180)는 사용자 동작의 크기가 점점 커지면, 음량을 점점 크게 인식하 고, 사용자 동작의 크기가 점점 작아지면, 음량을 점점 작게 인식할 수 있다.
또한, 인식부(180)는 산출부(170)에서 산출된 원격제어장치의 방향벡터, 가속도, 속도, 각속도 각각의 크기, 및 원격제어장치의 곡률을 HMM(Hidden Markov Model)등의 인식 알고리즘에 적용하여 사용자 동작의 종류를 인식한다. 여기서, 사용자 동작의 종류의 일 예로는 음악연주에서의 박자(beat)를 들 수 있으며, 인식 알고리즘을 이용하여 사용자 동작의 종류를 인식하는 것은 잘 알려진 기술이므로 자세한 설명은 생략하기로 한다.
구체적으로, 사용자가 원격제어장치를 이용하여 지휘동작을 행하는 경우를 예로 들면, 인식부(180)는 원격제어장치의 방향벡터, 가속도, 속도, 각속도 각각의 크기, 및 원격제어장치의 곡률을 HMM(Hidden Markov Model) 등의 인식 알고리즘에 적용하여 원격제어장치의 움직임 패턴을 분석함으로써, 사용자 동작의 종류가 기설정된 박자들 중 어느 하나인지를 인식한다. 여기서, 박자는 2박, 3박, 4박, 6박, 및 미상(unknown)을 포함한다.
또한, 인식부(180)는 산출부(170)에서 산출된 원격제어장치의 방향벡터와 제1 인터페이스(160)를 통해 수신된 원격제어장치의 포인팅벡터를 기초로 사용자 동작의 방향을 인식한다.
구체적으로, 사용자가 원격제어장치를 이용하여 지휘동작을 행하는 경우를 예로 들면, 인식부(180)는 원격제어장치의 방향벡터와 포인팅벡터의 방향이 일치하면, 사용자 동작의 방향을 방향벡터가 나타내는 방향으로 인식한다. 그리고, 인식부(180)는 원격제어장치의 방향벡터와 포인팅벡터의 방향이 일치하지 않으면, 방향 벡터가 나타내는 방향의 법선 방향을 사용자 동작의 방향으로 인식한다.
제어부(190)는 인식부(180)에서 인식된 사용자 동작의 빠르기, 크기, 종류, 및 방향이 디스플레이 상에 표시되는 가상 세계에서의 객체(Object)들에 반영되도록 GUI 생성부(140), 오디오 출력부(140), 및 제2 인터페이스(195)를 제어한다. 즉, GUI생성부(140)에서 출력되는 영상이 제2 인터페이스(195)를 통해 디스플레이(200)에 표시된다. 이때, 디스플레이(200)에 표시되는 객체의 일 예로는 아바타를 들 수 있다.
또한, 제어부(190)는 산출부(170)에서 산출된 원격제어장치의 포인팅 위치좌표와 제1 인터페이스(160)를 통해 수신된 조작명령을 기초로 디스플레이(200) 상에 포인팅된 위치에 해당되는 객체들의 동작을 제어한다.
구체적으로, 산출된 포인팅 위치좌표가 타악기 파트를 나타내고, 조작명령이 연주시작을 나타내면, 제어부(190)는 디스플레이(200) 상에 표시되는 오케스트라 파트들 중 타악기 파트에서 연주를 시작하도록 GUI생성부(150) 및 오디오 출력부(140)를 제어한다. 여기서, 조작명령은 연주의 시작, 종료를 포함하고, 조작명령은 원격제어장치(300)에 마련된 조작부(미도시)로부터 수신된다. 이때, 조작부의 일 예로는 조작버튼, 터치패널 등을 들 수 있다.
도 5는 본 발명의 일 실시예에 따른 동작인식시스템에서 제공되는 사용자 동작의 빠르기를 인식하는 방법을 설명하기 위해 제공되는 흐름도이다.
먼저, 제1 인터페이스(160)는 원격제어장치로부터 센싱 데이터를 수신한다(S510). 여기서, 센싱 데이터는 원격제어장치의 가속도, 각속도, 포인팅벡터, 조 작명령, 및 위치데이터 중 적어도 하나를 포함한다.
이어, 산출부(170)는 원격제어장치의 가속도를 기초로 원격제어장치의 속도를 산출한다(S520).
그리고, 산출부(170)는 산출된 속도와 가속도를 이용하여 곡률을 산출한다(S530). 여기서, 곡률은 앞에서 설명한 수학식 1에 산출됨을 이미 설명하였으므로 자세한 설명은 생략하기로 한다
이어, 산출부(170)는 원격제어장치의 속도, 가속도, 각속도의 크기를 산출하고, 산출된 원격제어장치의 속도, 가속도, 각속도의 크기와 곡률을 기초로 사용자 동작이 변경된 현재시점과 이전 시점 간의 차인 시간 간격을 산출한다(S540).
구체적으로, 산출부(170)는 산출된 속도, 가속도 각속도의 크기 각각의 최대값과, 곡률의 최소값 중 적어도 2개가 기설정된 오차범위 내에서 일치하는 현재시점 t1과 이전시점 t2 간의 차를 시간 간격으로 산출한다.
그리고, 인식부(180)는 산출된 시간 간격을 사용자 동작의 빠르기로 인식한다(S550). 이때, 인식부(180)는 시간 간격이 좁을수록 사용자 동작의 빠르기를 빠르게 인식하고, 시간 간격이 넓을수록 사용자 동작의 빠르기를 느리게 인식한다.
도 6은 본 발명의 일 실시예에 따른 동작인식시스템에서 제공되는 사용자 동작의 크기를 인식하는 방법을 설명하기 위해 제공되는 흐름도이다.
먼저, 산출부(170)는 시간 축을 기준으로 산출된 현재시점과 이전시점 간의 차인 시간 간격을 거리 축을 기준으로 변환하여 거리값을 산출한다(S610). 즉, 사 용자 동작의 빠르기가 템포인 경우를 예로 들면, 산출부(170)는 한 템포 간의 거리값을 산출한다. 여기서, 거리값은 앞에서 설명한 수학식 2에 의해 산출됨을 이미 설명하였으므로 자세한 설명은 생략하기로 한다
이어, 인식부(180)는 산출된 거리값을 사용자 동작의 크기로 인식한다(S630). 여기서, 인식부(180)는 거리값이 작을수록 사용자 동작의 크기를 작게 인식하고, 거리값이 클수록 사용자 동작의 크기를 크게 인식한다. 즉, 사용자 동작의 크기가 음량인 경우를 예로 들면, 인식부(180)는 한 템포 간의 거리값을 음량으로 인식하여, 사용자 동작의 크기가 작을수록 음량을 점점 작게, 사용자 동작의 크기가 클수록 음량을 점점 크게 인식한다.
한편, S630단계에서는 S610단계에서 산출된 거리값을 사용자 동작의 크기로 인식하는 것으로 설명하였지만, 반드시 이에 한정되는 것이 아니라 원격제어장치의 각속도 및 방향벡터를 이용하여 사용자 동작의 크기를 인식할 수 있다.
구체적으로, 사용자 동작의 크기가 음량을 나타내는 경우를 예로 들면, 산출부(170)에서 산출된 원격제어장치의 기설정된 기준면이 상향방향이면, 인식부(180)는 음량을 '크게'로 인식하고, 원격제어장치의 기준면이 하향방향이면, 음량을 '작게'로 인식할 수 있다. 이때, 각속도를 이용하여 기준면이 상향방향으로 속도가 더해지면, 인식부(180)는 음량을 '점점 크게'로 인식하고, 기준면이 상향방향으로 속도가 더해지면, 인식부(180)는 음량을 '점점 작게'로 인식할 수 있다.
도 7은 본 발명의 일 실시예에 따른 동작인식시스템에서 제공되는 사용자 동작의 종류를 인식하는 방법을 설명하기 위해 제공되는 흐름도이다.
먼저, 산출부(170)는 센싱 데이터에 포함된 원격제어장치의 위치데이터를 이용하여 원격제어장치의 방향벡터를 산출한다(S710). 여기서, 위치데이터는 3차원 공간제어 원격제어장치의 위치좌표를 나타낸다.
구체적으로, 산출부(170)는 3차원 공간에서 원격제어장치(300)가 이동되기 이전의 위치좌표와 이동된 지점의 현재 위치좌표를 각각 2차원 공간에서의 위치좌표로 변환하고, 변환된 현재 및 이전 위치좌표를 이용하여 원격제어장치의 이동거리 및 이동각도를 산출한다. 그리고, 산출부(170)는 이동거리 및 이동각도를 이용하여 기설정된 8개 방향의 방향벡터 중 어느 하나를 원격제어장치의 방향벡터로 산출한다. 여기서, 8개 방향의 방향벡터는 도 4와 같다.
이어, 인식부(180)는 산출된 원격제어장치의 방향벡터와, 가속도, 속도, 각속도 각각의 크기, 및 원격제어장치의 곡률을 인식 알고리즘에 적용하여 사용자 동작의 종류를 인식한다. 여기서, 인식 알고리즘을 이용하여 사용자 동작의 종류를 인식하는 것은 잘 알려진 기술이므로 자세한 설명은 생략하기로 한다.
도 8은 본 발명의 일 실시예에 따른 동작인식시스템에서 제공되는 사용자 동작의 방향을 인식하는 방법을 설명하기 위해 제공되는 흐름도이다.
인식부(180)는 산출된 원격제어장치의 방향벡터와 포인팅벡터를 기초로 사용자 동작의 방향을 인식한다(S810).
구체적으로, 인식부(180)는 원격제어장치의 방향벡터와 포인팅벡터의 방향이 일치하면, 사용자 동작의 방향을 방향벡터가 나타내는 방향으로 인식한다. 그리고, 인식부(180)는 원격제어장치의 방향벡터와 포인팅벡터의 방향이 일치하지 않으면, 방향벡터가 나타내는 방향의 법선 방향을 사용자 동작의 방향으로 인식한다.
이때, 도 8에서는 원격제어장치의 움직임 동작 방향을 인식하는 것으로 설명하였지만 반드시 이에 한정되는 것이 아니라, 본 동작인식시스템에서는 제어하고자 하는 부분에 해당되는 포인팅 방향을 인식할 수 있다.
즉, 디스플레이(200)에 오케스트라 악단이 표시되는 경우를 예로 들면, 산출부(170)는 센싱 데이터에 포함된 원격제어장치의 포인팅벡터를 기초로 포인팅 위치좌표를 산출하고, 인식부(180)는 산출된 포인팅 위치좌표가 나타내는 오케스트라 파트를 인식할 수 있다. 여기서, 포인팅 위치좌표는 원격제어장치가 디스플레이(200) 상에 가리키는 부분을 나타낸다.
지금까지는, 동작인식시스템에서 원격제어장치로부터 수신된 센싱 데이터가 가속도, 각속도, 포인팅벡터, 위치데이터를 포함하는 것으로 설명하였지만, 반드시 이에 한정되는 것이 아니라, 센싱 데이터는 가속도, 각속도, 포인팅벡터, 위치데이터 각각을 산출하기 위한 비트스트림 형태일 수 있다. 즉, 동작인식시스템의 산출부(170)에서 비트스트림 형태의 센싱 데이터를 수신하여 원격제어장치의 가속도, 각속도, 포인팅벡터, 및 위치데이터를 산출할 수 있다.
또한, 이상에서는 원격제어장치에서 초음파센서 및 관성센서를 이용하여 센싱 데이터를 동작인식시스템으로 전송하는 것으로 설명하였으나, 반드시 이에 한정되는 것이 아니라, 원격제어장치에서는 카메라를 이용하여 원격제어장치의 움직임을 감지하여 생성된 센싱 데이터를 동작인식시스템으로 전송할 수 있다.
또한, 이상에서는 동작인식시스템에서 하나의 원격제어장치로부터 수신된 센싱 데이터를 이용하여 사용자 동작의 빠르기, 크기, 종류, 및 방향을 인식하는 것으로 설명하였으나, 반드시 이에 한정되는 것이 아니라 복수의 원격제어장치로부터 수신된 센싱 데이터를 이용하여 복수의 원격제어장치 각각에 대한 사용자 동작의 빠르기, 크기, 종류, 및 방향을 인식할 수 있다.
또한, 본 동작인식시스템은, 복수의 원격제어장치의 기능을 사용자 동작의 빠르기, 크기, 및 종류를 인식하기 위해 이용되는 장치와 사용자 동작의 방향을 인식하기 위해 이용되는 장치로 각각 구분되어 있는 경우에는, 복수의 원격제어장치 각각에 대응되는 사용자 동작을 구분하여 인식할 수 있다. 이때, 복수의 원격제어장치의 기능은 4개의 사용자 동작 중 적어도 2개의 서로 다른 카테고리의 사용자 동작이 중첩되도록 구분될 수 있다.
즉, 2개의 원격제어장치 중 제1 원격제어장치는 사용자 동작의 빠르기, 크기, 및 종류를 인식하기 위해 이용되고, 제2 원격제어장치는 사용자 동작의 크기 및 방향을 인식하기 이해 이용되도록 제1 및 제2 원격제어장치의 기능이 구분되어 기설정될 수 있다. 이를 통해, 동작인식시스템은 제1 및 제2 원격제어장치로부터 수신된 각각의 센싱데이터를 기초로 제1 및 제2 원격제어장치를 조정하는 사용자의 동작을 각각 구분하여 인식할 수 있다.
또한, 본 발명의 실시예들에 따른 동작인식시스템 및 그의 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기 설명된 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 동작인식시스템과 연동되는 기기들 간의 동작을 설명하기 위해 제공되는 도면이다.
도 2는 본 발명의 일 실시예에 따른 동작인식시스템의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 다른 동작인식시스템에서 시간 축을 기준으로 센싱 데이터의 크기를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 다른 동작인식시스템에서 제공되는 8개의 방향벡터를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 동작인식시스템에서 제공되는 사용자 동작의 빠르기를 인식하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 동작인식시스템에서 제공되는 사용자 동작의 크기를 인식하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 동작인식시스템에서 제공되는 사용자 동작의 종류를 인식하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 동작인식시스템에서 제공되는 사용자 동작의 방향을 인식하는 방법을 설명하기 위해 제공되는 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
110: 저장부
120: 로더부
130: 신호처리부
140: 오디오 출력부
150: GUI생성부
160: 제1 인터페이스
170: 산출부
180: 인식부
190: 제어부
195: 제2 인터페이스

Claims (19)

  1. 원격제어장치로부터 수신된 센싱 데이터를 기초로 상기 원격제어장치의 움직임에 따른 곡률을 산출하는 산출부; 및
    상기 산출된 곡률을 이용하여 사용자 동작을 인식하는 인식부
    를 포함하고,
    상기 산출부는, 상기 원격제어장치의 속도 및 상기 원격제어장치의 가속도에 기초하여 상기 곡률을 산출하는, 실시간 동작인식시스템.
  2. 제1항에 있어서,
    상기 인식부는,
    상기 산출된 곡률을 이용하여 상기 사용자 동작의 빠르기, 상기 사용자 동작의 크기, 및 상기 사용자 동작의 종류 중 적어도 하나를 인식하는 실시간 동작인식시스템.
  3. 제1항에 있어서,
    상기 센싱 데이터는 상기 원격제어장치의 가속도, 각속도, 포인팅벡터, 및 위치데이터 중 적어도 하나를 포함하고,
    상기 산출부는,
    상기 센싱 데이터를 기초로 상기 원격제어장치의 속도, 포인팅 위치좌표, 및 방향벡터 중 적어도 하나를 산출하고,
    상기 인식부는,
    상기 산출된 원격제어장치의 속도, 포인팅 위치좌표, 및 방향벡터 중 적어도 하나를 이용하여 상기 사용자 동작의 빠르기, 상기 사용자 동작의 크기, 상기 사용자 동작의 종류, 및 상기 사용자 동작의 방향 중 적어도 하나를 인식하는 실시간 동작인식시스템.
  4. 원격제어장치로부터 수신된 센싱 데이터를 기초로 상기 원격제어장치의 움직임에 따른 곡률을 산출하는 산출부; 및
    상기 산출된 곡률을 이용하여 사용자 동작을 인식하는 인식부
    를 포함하고,
    상기 산출부는
    상기 원격제어장치의 속도, 가속도, 및 각속도의 크기를 산출하고,
    상기 인식부는,
    상기 원격제어장치의 속도, 가속도, 및 각속도의 크기와 상기 곡률 중 적어도 하나를 이용하여 상기 사용자 동작의 빠르기를 인식하는 실시간 동작인식시스템.
  5. 제1항에 있어서,
    상기 산출부는,
    상기 원격제어장치의 동작이 변경된 현재시점과 상기 현재시점 이전에 상기 원격제어장치의 동작이 변경된 시점인 이전시점 간의 차인 시간간격을 산출하고,
    상기 인식부는,
    상기 산출된 시간 간격으로 상기 사용자 동작의 빠르기를 인식하는 실시간 동작인식시스템.
  6. 제5항에 있어서,
    상기 인식부는,
    상기 산출된 시간 간격이 좁을수록 상기 사용자 동작의 빠르기를 빠르게 인식하고, 상기 시간 간격이 넓을수록 상기 사용자 동작의 빠르기를 느리게 인식하는 실시간 동작인식시스템.
  7. 제3항에 있어서,
    상기 산출부는
    상기 원격제어장치의 속도, 가속도, 및 각속도의 크기를 산출하고,
    상기 인식부는,
    상기 원격제어장치의 속도, 가속도, 및 각속도의 크기와 상기 곡률 중 적어도 하나를 이용하여 상기 사용자 동작의 크기를 인식하는 실시간 동작인식시스템.
  8. 제7항에 있어서,
    상기 사용자 동작의 크기는 음량을 나타내는 실시간 동작인식시스템.
  9. 원격제어장치로부터 수신된 센싱 데이터를 기초로 상기 원격제어장치의 움직임에 따른 곡률을 산출하는 산출부; 및
    상기 산출된 곡률을 이용하여 사용자 동작을 인식하는 인식부
    를 포함하고,
    상기 산출부는,
    상기 원격제어장치의 동작이 변경된 현재시점과 상기 원격제어장치의 동작이 변경되기 전의 이전시점에서의 상기 원격제어장치의 거리값을 산출하고,
    상기 인식부는,
    상기 거리값으로 상기 사용자 동작의 크기를 인식하는 실시간 동작인식시스템.
  10. 제9항에 있어서,
    상기 인식부는,
    상기 거리값이 클수록 상기 사용자 동작의 크기를 크게 인식하고, 상기 거리값이 작을수록 상기 사용자 동작의 크기를 작게 인식하는 실시간 동작인식시스템.
  11. 제3항에 있어서,
    상기 인식부는,
    상기 원격제어장치의 속도, 가속도, 및 방향벡터 중 적어도 하나와 상기 원격제어장치의 곡률을 이용하여 상기 사용자 동작의 종류를 인식하는 실시간 동작인식시스템.
  12. 제11항에 있어서,
    상기 사용자 동작의 종류는 박자를 나타내는 실시간 동작인식시스템.
  13. 제3항에 있어서,
    상기 인식부는,
    상기 원격제어장치의 포인팅벡터와 방향벡터를 이용하여 상기 사용자 동작의 방향을 인식하는 실시간 동작인식시스템.
  14. 제13항에 있어서,
    상기 인식부는,
    상기 포인팅벡터와 상기 방향벡터의 방향이 일치하면, 상기 사용자 동작의 방향을 방향벡터가 나타내는 방향으로 인식하고, 상기 포인팅벡터와 상기 방향벡터의 방향이 일치하지 않으면, 상기 방향벡터가 나타내는 방향의 법선 방향을 상기 사용자 동작의 방향으로 인식하는 실시간 동작인식시스템.
  15. 원격제어장치로부터 센싱 데이터를 수신하는 단계;
    상기 수신된 센싱 데이터를 기초로 상기 원격제어장치의 움직임에 따른 곡률을 산출하는 단계; 및
    상기 산출된 곡률을 이용하여 사용자 동작을 인식하는 단계
    를 포함하고,
    상기 산출하는 단계는,
    상기 원격제어장치의 속도 및 상기 원격제어장치의 가속도에 기초하여 상기 곡률을 산출하는, 실시간 동작인식방법.
  16. 제15항에 있어서,
    상기 인식하는 단계는,
    상기 산출된 곡률을 이용하여 상기 사용자 동작의 빠르기, 상기 사용자 동작의 크기, 및 상기 사용자 동작의 종류 중 적어도 하나를 인식하는 실시간 동작인식 방법.
  17. 제15항에 있어서,
    상기 센싱 데이터는,
    상기 원격제어장치의 가속도, 각속도, 포인팅벡터, 및 위치데이터 중 적어도 하나를 포함하는 실시간 동작인식방법.
  18. 제15항에 있어서,
    상기 산출하는 단계는,
    상기 센싱 데이터를 기초로 상기 원격제어장치의 속도, 포인팅 위치좌표, 및 방향벡터 중 적어도 하나를 산출하고,
    상기 인식하는 단계는,
    상기 산출된 원격제어장치의 속도, 포인팅 위치좌표, 및 방향벡터 중 적어도 하나를 이용하여 상기 사용자 동작의 빠르기, 상기 사용자 동작의 크기, 상기 사용자 동작의 종류, 및 상기 사용자 동작의 방향 중 적어도 하나를 인식하는 실시간 동작인식방법.
  19. 제15항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록 된 컴퓨터로 판독 가능한 기록 매체.
KR1020090089810A 2009-09-22 2009-09-22 실시간 동작인식시스템 및 그의 방법 KR101615661B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090089810A KR101615661B1 (ko) 2009-09-22 2009-09-22 실시간 동작인식시스템 및 그의 방법
US12/805,096 US8666695B2 (en) 2009-09-22 2010-07-12 Real-time motion recognition system and method
US14/150,209 US8990042B2 (en) 2009-09-22 2014-01-08 Real-time motion recognition system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090089810A KR101615661B1 (ko) 2009-09-22 2009-09-22 실시간 동작인식시스템 및 그의 방법

Publications (2)

Publication Number Publication Date
KR20110032367A KR20110032367A (ko) 2011-03-30
KR101615661B1 true KR101615661B1 (ko) 2016-04-27

Family

ID=43757377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090089810A KR101615661B1 (ko) 2009-09-22 2009-09-22 실시간 동작인식시스템 및 그의 방법

Country Status (2)

Country Link
US (2) US8666695B2 (ko)
KR (1) KR101615661B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101615661B1 (ko) * 2009-09-22 2016-04-27 삼성전자주식회사 실시간 동작인식시스템 및 그의 방법
GB2502087A (en) * 2012-05-16 2013-11-20 St Microelectronics Res & Dev Gesture recognition
CN103076884B (zh) * 2013-02-07 2015-03-25 泽普互动（天津）科技有限公司 用于动作识别的数据采集方法和装置以及动作识别系统
US10496177B2 (en) * 2013-02-11 2019-12-03 DISH Technologies L.L.C. Simulated touch input
JP2014151149A (ja) * 2013-02-14 2014-08-25 Seiko Epson Corp 運動解析装置及び運動解析方法
US10879975B2 (en) 2015-07-08 2020-12-29 Qualcomm Incorporated Beamforming based on adjacent beams systems and methods
US20190120954A1 (en) 2015-07-29 2019-04-25 Qualcomm Incorporated Angle and position sensing using arrays of antennas
US10418012B2 (en) 2015-12-24 2019-09-17 Symphonova, Ltd. Techniques for dynamic music performance and related systems and methods
FI20176052A1 (en) * 2017-11-24 2019-05-25 Novatron Oy Control of earthmoving machinery
US11886182B2 (en) 2018-12-31 2024-01-30 Tomahawk Robotics, Inc. Systems and methods of detecting intent of spatial control

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3152104B2 (ja) 1995-05-02 2001-04-03 ヤマハ株式会社 テンポ制御装置
JP3799190B2 (ja) 1999-05-10 2006-07-19 株式会社タイトー 音楽指揮者ゲーム装置
KR100312750B1 (ko) 2000-01-26 2001-11-03 정명식 센서를 이용한 가상 연주장치 및 그 방법
KR20030009577A (ko) * 2001-06-27 2003-02-05 (주)이에스비컨 자이로스코프를 이용한 3차원 공간상의 입력 장치
KR100833225B1 (ko) * 2001-12-05 2008-05-28 삼성전자주식회사 움직임 인식을 기반으로 하는 리모트 컨트롤 장치 및 방법
JP2004177686A (ja) 2002-11-27 2004-06-24 Toyota Motor Corp 指揮棒の動きを認識する装置と楽器演奏ロボット
KR101615661B1 (ko) * 2009-09-22 2016-04-27 삼성전자주식회사 실시간 동작인식시스템 및 그의 방법

Also Published As

Publication number Publication date
KR20110032367A (ko) 2011-03-30
US20110071789A1 (en) 2011-03-24
US8990042B2 (en) 2015-03-24
US20140118248A1 (en) 2014-05-01
US8666695B2 (en) 2014-03-04

Similar Documents

Publication Publication Date Title
KR101615661B1 (ko) 실시간 동작인식시스템 및 그의 방법
US10960298B2 (en) Boolean/float controller and gesture recognition system
US10542369B2 (en) Sound control apparatus, program, and control method
US7782297B2 (en) Method and apparatus for use in determining an activity level of a user in relation to a system
US7854655B2 (en) Obtaining input for controlling execution of a game program
JP4553917B2 (ja) ゲームプログラムの実行を制御するための入力を取得する方法
US20070015559A1 (en) Method and apparatus for use in determining lack of user activity in relation to a system
JP2005292829A (ja) 動き基盤の音声発生方法および装置
JP5714695B2 (ja) 仮想世界処理装置及び方法
JP2012531658A (ja) 仮想世界処理装置および方法
JP6243595B2 (ja) 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
JP2012160199A (ja) ジェスチャカタログ生成および認識
JP5763384B2 (ja) 移動予測装置、ロボット制御装置、移動予測プログラムおよび移動予測方法
JP6386331B2 (ja) 動作検出システム、動作検出装置、移動通信端末及びプログラム
KR20160106691A (ko) 제스처를 사용하여 미디어의 재생을 제어하기 위한 시스템 및 방법
WO2007130872A2 (en) Method and apparatus for use in determining lack of user activity, determining an activity level of a user, and/or adding a new player in relation to a system
CN111421557A (zh) 电子装置及其控制方法
EP2012891B1 (en) Method and apparatus for use in determining lack of user activity, determining an activity level of a user, and/or adding a new player in relation to a system
US20100313133A1 (en) Audio and position control of user interface
KR101517001B1 (ko) 입력 장치 및 방법
JP2007241304A (ja) 音声認識装置および音声認識方法、並びにプログラムおよび記録媒体
KR101020510B1 (ko) 다중 입력 게임 제어 믹서
KR101020509B1 (ko) 프로그램의 실행을 제어하기 위한 입력을 획득하는 방법
Han et al. Follow-Me! Conducting a virtual concert
CN116113909A (zh) 电子设备和用于控制电子设备的方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 4