KR20150057803A - 멀티 센서 착용형 디바이스 기반의 인터페이스 시스템 및 그 방법 - Google Patents

멀티 센서 착용형 디바이스 기반의 인터페이스 시스템 및 그 방법 Download PDF

Info

Publication number
KR20150057803A
KR20150057803A KR1020130141601A KR20130141601A KR20150057803A KR 20150057803 A KR20150057803 A KR 20150057803A KR 1020130141601 A KR1020130141601 A KR 1020130141601A KR 20130141601 A KR20130141601 A KR 20130141601A KR 20150057803 A KR20150057803 A KR 20150057803A
Authority
KR
South Korea
Prior art keywords
sensor
user
information
motion
wearable device
Prior art date
Application number
KR1020130141601A
Other languages
English (en)
Inventor
이기석
김용완
김항기
조동식
조현우
김용선
김기홍
김진호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130141601A priority Critical patent/KR20150057803A/ko
Publication of KR20150057803A publication Critical patent/KR20150057803A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/60—Subscription-based services using application servers or record carriers, e.g. SIM application toolkits

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 멀티 센서 착용형 디바이스 기반 인터페이스 방법으로, 움직임 센서를 통하여 적어도 한 명의 사용자의 움직임 정보를 획득하고 위치 센서를 통하여 사용자의 위치 정보를 획득하며, 획득한 움직임 정보와 위치 정보를 토대로 사용자의 행동과 현재 위치를 계산한 후, 계산된 행동과 현재 위치를 전송하되, 사용자의 행동과 현재 위치를 계산시 움직임 센서를 통해 사용자의 움직임을 추정하고 다중 클래스 SVM 및 랜덤 포래스트 중 적어도 하나를 통하여 사용자의 움직임을 분류한 후, 이를 토대로 사용자의 위치 정보를 추출하는 것을 그 요지로 한다.

Description

멀티 센서 착용형 디바이스 기반의 인터페이스 시스템 및 그 방법 {Interface system based on Multi-sensor wearable device, and the method there of}
본 발명은 인터페이스 시스템 및 방법에 관한 것으로, 구체적으로 다양한 센서를 이용한 멀티 센서 착용형 디바이스 기반의 인터페이스 방법에 관한 것이다.
최근 들어 스마트폰의 일반화와 더불어 구글 안경과 같은 착용형 디스플레이들의 상용화 가능성을 시험하는 단계에 이르렀는데, 이동 중에 이러한 장치들을 이용함에 있어, 기존의 음성 인식 인터페이스 만으로는 상당한 어려움이 있다.
또한, 스마트 시계와 같이 착용형 장치들도 상용화되고 있는 추세이며 이를 연계한 효과적인 사용자 인터페이스 제공이 가능해질 것으로 보여진다.
대부분의 최신형 스마트 디바이스들에는 MEMS (Microelectriomechanical Systems) 기술의 발전으로 자이로 센서, 지자기 센서, 가속 센서, 광센서 등이 내장되어 있으며, 정밀도도 상당한 수준에 이르고 있다.
종래의 발명은 이동체의 위치 추정 장치 및 방법(한국 출원번호 10-2011-0030348)으로, 이동체의 좌표를 수집하고, 이동체의 가속도를 측정하고, 이동체의 회전각을 측정하고, 가속도 측정부의 출력 신호를 적어도 하나 이상의 주파수 대역별로 이산 웨이블릿 변환하여, 각 주파수 대역별로 변환 신호를 생성한 후, 변환 신호에 있어서, 이산 웨이블릿 변환에 따른 웨이블릿 계수를 기설정된 임계값과 비교하여 가변 임계치를 설정하고, 가변 임계치를 이용하여 변환 신호에 포함된 잡음을 제거하며, 각 주파수 대역별로 생성된 변환 신호들을 통합하여 잡음이 제거된 가속도 신호를 출력하고, 잡음 제거부로부터 제공받은 가속도 신호로부터 획득한 이동체의 가속도와 이동체의 회전각 및 GPS부로부터 제공받은 이동체의 좌표를 결합하여, 결합 결과에 따라 이동체의 위치를 추정하는 것을 그 요지로 한다.
그런데 종래 발명에 따르면, 단순히 이동체의 위치 추적에 집중되어 있어, 사용자의 행동과 위치 추정이 어렵고, 음영 지역이 있어 복수의 사용자가 동시에 하나의 콘텐츠를 공유하여 즐길 수 없는 문제점이 있었다.
본 발명은 착용형 디바이스에 장착된 다수의 센서 정보로부터 사용자의 위치 및 동작, 이것의 시간적 변화를 통하여 콘텐츠와 연계된 문맥을 이해하여 공간적 제약을 감소시켜 다양한 용도로 활용할 수 있고 음영 지역이 생기지 않는 착용형 디바이스에 기반한 인터페이스 시스템을 제공하는 것을 목적으로 한다.
본 발명의 일면에 따른, 멀티 센서 착용형 디바이스 기반 인터페이스 시스템은 복수의 사용자가 착용한 멀티 센서 착용형 디바이스 기반 인터페이스 시스템으로서, 복수의 사용자의 움직임 정보를 획득하는 움직임 센서부; 상기 사용자의 위치 정보를 획득하는 위치 센서부; 획득한 상기 움직임 정보와 상기 위치 정보를 토대로 상기 사용자의 행동과 현재 위치를 계산하는 제어부; 및 계산된 상기 행동과 상기 현재 위치를 외부 서버로 전송하는 통신부를 포함하되, 상기 제어부는 상기 위치 센서부에서 음영 조건이 발생하면, 상기 움직임 센서부를 통해 상기 사용자의 움직임 정보를 추정하고 상기 사용자의 움직임 정보를 분류한 후, 이를 토대로 상기 사용자의 위치 정보를 추출한다.
본 발명의 다른 면에 따른, 멀티 센서 착용형 디바이스 기반 인터페이스 방법은 적어도 한 명의 사용자가 착용한 멀티 센서 착용형 디바이스 기반 인터페이스 방법으로서, 움직임 센서를 통하여 적어도 한 명의 사용자의 움직임 정보를 획득하는 단계; 위치 센서를 통하여 상기 사용자의 위치 정보를 획득하는 단계; 획득한 상기 움직임 정보와 상기 위치 정보를 토대로 상기 사용자의 행동과 현재 위치를 계산하는 단계; 및 계산된 상기 행동과 상기 현재 위치를 전송하는 단계를 포함한다.
본 발명에 따르면, 움직임 센서를 통하여 적어도 한 명의 사용자의 움직임 정보를 획득하고 위치 센서를 통하여 사용자의 위치 정보를 획득하며, 획득한 움직임 정보와 위치 정보를 토대로 사용자의 행동과 현재 위치를 계산한 후, 계산된 행동과 현재 위치를 전송하되, 사용자의 행동과 현재 위치를 계산시 움직임 센서를 통해 사용자의 움직임을 추정하고 다중 클래스 SVM 또는 랜덤 포래스트 중 적어도 하나를 통하여 사용자의 움직임을 분류한 후, 이를 토대로 사용자의 위치 정보를 추출한다.
따라서, 기존의 비전 기반 인터페이스들과 달리 공간적 제약이 적어 다양한 콘텐츠 활용이 가능하고 다양한 센서 정보를 연계하여 공간을 활용할 수 있으며, 다양한 사용자의 입력을 받아들여 콘텐츠를 풍부하게 즐길 수 있는 인터페이스를 제공할 수 있다.
이어, 기존의 비전 기반 인터페이스의 약점인 음영 지역이 없어 복수의 사용자가 동시에 하나의 콘텐츠를 공유하여 즐길 수 있다. 또한, 착용형 디스플레이 기반의 콘텐츠 체험을 위해 효과적인 사용이 가능하다.
끝으로, 내장형 디바이스를 활용하여 사용자들이 추가 비용 없이 콘텐츠를 쉽게 즐길 수 있어 콘텐츠 활용 가능성을 극대화할 수 있다.
도 1은 종래 발명의 실시 예에 따른 이동체의 위치 추정 방법의 순서도.
도 2는 본 발명의 실시 예에 따른 멀티 센서 착용형 디바이스 기반 인터페이스 시스템의 구성도.
도 3은 본 발명의 실시 예에 따른 움직임 센서부의 구성도.
도 4는 본 발명의 실시 예에 따른 위치 센서부의 구성도.
도 5는 본 발명의 실시 예에 따른 멀티 센서 착용형 디바이스 기반 인터페이스 방법.
본 발명의 이 점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가함을 배제하지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.
도 2는 본 발명의 실시 예에 따른 멀티 센서 착용형 디바이스 기반 인터페이스 시스템의 구성도이다.
도 2에 도시한 바와 같이, 멀티 센서 착용형 디바이스 기반 인터페이스 시스템은 움직임 센서부(110), 위치 센서부(120), 제어부(130), 통신부(140) 및 칼만 필터부(150)를 포함한다.
도 3은 본 발명의 실시 예에 따른 움직임 센서부의 구성도이다. 도 3에 도시한 바와 같이, 움직임 센서부(110)는 자이로 센서(112), 지자기 센서(114) 및 가속도 센서(116)을 포함한다.
자이로 센서(112)는 사용자의 부착 지점과 관련된 관절의 회전각 정보를 획득한다. 예컨대, 자이로 센서(112)는 사용자의 어깨 관절, 손목 관절, 허리, 무릎 관절 및 발목 관절의 회전각 정보를 획득할 수 있다.
지자기 센서(114)는 사용자의 움직임 방향 정보를 획득한다. 예컨대, 지자기 센서(114)는 사용자의 좌측, 우측, 앞쪽, 뒤쪽과 같은 움직임 방향 정보를 획득한다.
가속도 센서(116)는 사용자의 움직임 정보를 획득한다.
도 4는 본 발명의 실시 예에 따른 위치 센서부(120)의 구성도이다. 도 4에 도시한 바와 같이, 위치 센서부(120)는 초음파 센서(122), 적외선 발광 센서(124) 및 적외선 수광 센서(126)를 포함한다.
움직임 센서부(110)는 복수의 사용자의 움직임 정보를 획득한다. 예컨대, 테니스 게임을 실시할 때, 복식 입력을 획득하면 움직임 센서부(110)는 4명의 사용자의 움직임 정보를 획득할 수 있다.
위치 센서부(120)는 사용자의 위치 정보를 획득한다. 자이로 센서(112), 지자기 센서(114), 가속도 센서(116) 등으로는 사용자의 위치 정보를 추정하기 힘들기 때문에, 직진성이 높은 초음파 센서(122)를 이용하여 도달 시간을 계산하거나, 적외선 발광 센서(124), 적외선 수광 센서(126)를 통하여 외부 환경과 연계하여 사용자 위치를 획득할 수 있다.
제어부(130)는 획득한 움직임 정보와 위치 정보를 토대로 사용자의 행동과 현재 위치를 계산한다. 구체적으로, 제어부(130)는 움직임 센서부(110)를 통해 사용자의 움직임을 추정하고 다중 클래스 SVM 및 랜덤 포래스트 중 적어도 하나를 통하여 사용자의 움직임을 분류한 후, 이를 토대로 위치 센서부(120)에서 획득한 사용자의 위치 정보를 보다 정확하게 보정하여 사용자의 현재 위치를 추출한다.
또한, 제어부(130)는 위치 센서부(120)에서 음영 조건이 발생하면, 움직임 센서부(110)를 통해 사용자의 움직임을 추정하고 다중 클래스 SVM 또는 랜덤 포래스트 중 적어도 하나를 통하여 사용자의 움직임을 분류한 후, 이를 토대로 사용자의 위치 정보를 추출한다.
통신부(140)는 제어부(130)의 지시에 따라 계산된 행동과 현재 위치를 외부 서버(160)로 전송한다. 제어부(130)는 착용형 디바이스에 내장되거나 콘텐츠 구동 서버(외부 서버를 포함)에 내장시킬 수 있다.
구체적으로, 통신부(140)는 무선 통신의 수신강도를 수신하고 제어부(130)는 수신된 수신강도를 토대로 사용자의 단말을 포함한 무선 통신 AP 각 노드들 간의 통신을 통해 위치 정보를 획득한다.
칼만 필터부(150)는 제어부(130)과 연동하여 동작하며, 제어부(130)는 자이로 센서(112), 지자기 센서(114) 및 가속도 센서(116)로부터의 정보를 조합한 후, 칼만 필터부(150)를 통해 노이즈가 감소된 사용자의 관절의 회전각을 획득한다.
도 5는 본 발명의 실시 예에 따른 멀티 센서 착용형 디바이스 기반 인터페이스 방법이다. 여기서, 이해를 돕기 위하여 적어도 한 명의 사용자가 착용형 디바이스를 장착한 상태에서 테니스 게임 콘텐츠를 실행하는 것을 예로 들어본다.
도 5에 도시한 바와 같이, 먼저, 움직임 센서를 통하여 적어도 한 명의 사용자의 움직임 정보를 획득한다(S210).
구체적으로, 자이로 센서(112), 지자기 센서(114) 및 가속도 센서(116) 중 적어도 하나를 포함하는 움직임 센서부(110)를 통해 사용자의 움직임 정보를 획득한다.
보다 구체적으로 자이로 센서(112), 지자기 센서(114) 및 가속도 센서(116) 중 적어도 하나로부터의 센서 정보를 조합하여 사용자의 관련 관절의 회전 상태를 획득할 수 있다. 예를 들어, 사용자의 어깨 관절, 손목 관절, 허리 관절, 무릎 관절 및 발목 관절의 회전 상태 등을 획득할 수 있다.
이어, 칼만 필터를 통하여 노이즈 성분이 감소된 각 관절의 회전각을 획득한다. 칼만 필터는 물체의 측정값에 확률적인 오차가 포함되고, 또한 물체의 특정 시점에서의 상태는 이전 시점의 상태와 선형적인 관계를 갖는 경우 적용이 가능하다.
조합된 센서 정보와 획득된 회전각을 토대로 착용한 사용자의 관절의 회전 상태를 획득한다.
다음으로, 위치 센서를 통하여 사용자의 위치 정보를 획득한다(S220). 구체적으로, 초음파 센서(122), 적외선 발광 센서(124), 적외선 수광 센서(126) 중 적어도 하나를 통하여 사용자의 위치 정보를 획득한다. 여기서, 사용자의 위치 정보는 3차원 좌표로 표시될 수 있다.
사용자의 단말을 포함한 복수의 무선 통신 AP 노드에서 각 노드 간의 통신을 통해 위치 정보를 획득한다. 구체적으로 통신부(140)는 무선 통신의 수신 강도(RSSI) 정보를 센서 정보로 활용하는데 사용자들의 단말을 포함한 무선 통신 AP 노드에서 각 노드 간의 통신을 통해 위치 정보를 획득한다.
예컨대, 복수의 사용자가 자신의 단말을 소지하고 테니스 게임을 실행하면, 사용자의 단말은 AP 노드로서 기능하고, 통신부(140)는 무선 통신 수신 강도 정보를 센서 정보로 활용하여 각 노드 간의 통신을 통해 사용자의 위치 정보를 획득한다.
계속하여, 단계(S210)에서 획득한 움직임 정보와 단계(S220)에서 획득한 위치 정보를 토대로 사용자의 행동과 현재 위치를 계산한다(S230). 구체적으로 제어부(130)를 통하여 획득한 움직임 정보와 위치 정보를 토대로 사용자의 행동과 현재 위치를 계산한다.
움직임 센서부(110)를 통해 사용자의 움직임을 추정하고 다중 클래스 SVM 또는 랜덤 포래스트 중 적어도 하나를 통하여 사용자의 움직임을 분류한 후, 이를 토대로 사용자의 위치 정보를 추출한다.
예를 들어 테니스 게임에서, 제어부(130)는 복수의 사용자의 어깨 관절, 무릎 관절, 손목 관절, 허리 관절 등의 회전각으로부터 획득한 움직임 정보를 토대로 사용자의 행동이 포핸드 자세, 백핸드 자세, 발리, 서비스 중 어느 것인지 계산한다. 그리고 위치 센서를 통하여 단계(S220)에서 획득한 사용자의 위치 정보와 현재 행동을 고려하여 현재 위치를 추정하는 방법을 통하여 현재 위치를 계산한다.
한편, 사용자가 음영 지역에 진입하여 단계(S210)에서의 위치 정보 획득이 불가능한 경우, 움직임 센서부(110)를 통해 사용자의 움직임을 추정하고 다중 클래스 SVM 또는 랜덤 포래스트 중 적어도 하나를 통하여 사용자의 움직임을 분류한 후, 이를 토대로 사용자의 위치 정보를 추출한다.
구체적으로, 적외선, 초음파, 무선 센서들은 다른 사용자나 공간적 특성에 의해 음영 조건이 발생하면 그 입력 값이 변화하는데 그 외에 센서들(예컨대, 자이로 센서, 지자기 센서, 가속도 센서 등)을 이용하여 사용자의 움직임을 추정할 수 있다. 이러한 다양한 센서 값의 변화를 다중 클래스 SVM 및 랜덤 포래스트 등의 기계 학습을 활용하여 다양한 사용자 행동 형태 및 주변 환경과 연계하여 학습을 수행하여 각 사용자의 움직임을 분류할 수 있고, 이를 토대로 사용자의 이전 위치와 현재 행동을 고려하여 높은 정확도로 현재 위치를 추출할 수 있다. 학습을 위한 정답 데이터는 기존의 움직임 센서부(110)를 통하여 추출할 수 있다.
본 발명의 실시 예에 따르면, 사용자 A의 이전 위치가 제1위치에 있었고 위치 변화가 생긴 후, 현재 위치(제2위치)에서 사용자 A가 포핸드 자세를 하고 있고 현재 위치(제2위치)를 추정해야 경우, 학습을 통해 분류된 사용자 A의 움직임을 분석해보면, 이전 위치에서 위치 변화가 생긴 후 현재 위치(제2위치)에서 포핸드 자세를 취할 때 사용자 A 행동 형태 (전방으로 2발자국, 우측으로 2발자국 / 사용자 A의 보폭은 65 cm) 및 주변 환경(장소, 조도 등)과 연계하여 사용자 A의 현재 위치(제2위치)를 보다 정확하게 추출할 수 있다. 백핸드 자세를 취할 때 사용자 A의 행동 형태는 전방으로 2발자국, 우측으로 2발자국이 될 수 있다.
따라서, 본 발명에 따르면 기존의 비전 기반 인터페이스들의 약점인 음영 지역이 없어 다수의 사용자가 동시에 하나의 콘텐츠를 공유하여 즐길 수 있는 인터페이스 수단을 제공할 수 있다.
끝으로, 계산된 행동과 현재 위치를 전송한다(S240). 구체적으로 통신부(140)를 통하여 계산된 행동과 현재 위치를 외부 서버(200)로 전송한다. 외부 서버(200)는 콘텐츠 구동 서버의 역할을 수행할 수 있다.
본 발명에 따르면, 움직임 센서를 통하여 적어도 한 명의 사용자의 움직임 정보를 획득하고 위치 센서를 통하여 사용자의 위치 정보를 획득하며, 획득한 움직임 정보와 위치 정보를 토대로 사용자의 행동과 현재 위치를 계산한 후, 계산된 행동과 현재 위치를 전송하되, 사용자의 행동과 현재 위치를 계산시 움직임 센서를 통해 사용자의 움직임을 추정하고 다중 클래스 SVM 및 랜덤 포래스트 중 적어도 하나를 통하여 사용자의 움직임을 분류한 후, 이를 토대로 사용자의 위치 정보를 추출한다.
따라서, 기존의 비전 기반 인터페이스들과 달리 공간적 제약이 적어 다양한 콘텐츠 활용이 가능하고 다양한 센서 정보를 연계하여 공간을 활용할 수 있으며, 다양한 사용자의 입력을 받아들여 콘텐츠를 풍부하게 즐길 수 있는 인터페이스를 제공할 수 있다.
이어, 기존의 비전 기반 인터페이스의 약점인 음영 지역이 없어 복수의 사용자가 동시에 하나의 콘텐츠를 공유하여 즐길 수 있다. 또한, 착용형 디스플레이 기반의 콘텐츠 체험을 위해 효과적인 사용이 가능하다.
끝으로, 내장형 디바이스를 활용하여 사용자들이 추가 비용 없이 콘텐츠를 쉽게 즐길 수 있어 콘텐츠 활용 가능성을 극대화할 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시 예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110 : 움직임 센서부
112 : 자이로 센서 114 : 지자기 센서
116 : 가속도 센서
120 : 위치 센서부
122 : 초음파 센서 124 : 적외선 발광 센서
126 : 적외선 수광 센서
130 : 제어부 140 : 통신부
150 : 칼만 필터부
200 : 외부 서버

Claims (10)

  1. 복수의 사용자가 착용한 멀티 센서 착용형 디바이스 기반 인터페이스 시스템으로서,
    복수의 사용자의 움직임 정보를 획득하는 움직임 센서부;
    상기 사용자의 위치 정보를 획득하는 위치 센서부;
    획득한 상기 움직임 정보와 상기 위치 정보를 토대로 상기 사용자의 행동과 현재 위치를 계산하는 제어부; 및
    상기 제어부의 지시에 따라 계산된 상기 행동과 상기 현재 위치를 외부 서버로 전송하는 통신부를 포함하되,
    상기 제어부는 상기 위치 센서부에 의해 상기 위치 정보가 획득된 경우, 상기 움직임 센서부를 통해 상기 사용자의 움직임을 추정하고 상기 사용자의 움직임을 분류한 후, 이를 토대로 상기 사용자의 위치 정보를 보정하여 상기 현재 위치를 계산하는 것
    인 멀티 센서 착용형 디바이스 기반 인터페이스 시스템.
  2. 제1항에 있어서, 상기 움직임 센서부는
    상기 사용자의 부착 지점과 관련된 관절의 회전각 정보를 획득하는 자이로 센서;
    상기 사용자의 움직임 방향 정보를 획득하는 지자기 센서; 및
    상기 사용자의 움직임 정보를 획득하는 가속도 센서를 포함하는 것
    인 멀티 센서 착용형 디바이스 기반 인터페이스 시스템.
  3. 제2항에 있어서, 칼만 필터부를 더 포함하고,
    상기 제어부는 상기 자이로 센서, 상기 지자기 센서 및 상기 가속도 센서로부터의 정보를 조합한 후, 상기 칼만 필터부를 통해 노이즈가 감소된 상기 사용자의 관절의 회전각을 획득하는 것
    인 멀티 센서 착용형 디바이스 기반 인터페이스 시스템.
  4. 제1항에 있어서, 상기 제어부는
    상기 위치 센서부에서 음영 조건이 발생하면, 상기 움직임 센서부를 통해 상기 사용자의 움직임을 추정하고 다중 클래스 SVM 및 랜덤 포래스트 중 적어도 하나를 통하여 상기 사용자의 움직임을 분류한 후, 이를 토대로 상기 사용자의 위치 정보를 추출하는 것
    인 멀티 센서 착용형 디바이스 기반 인터페이스 시스템.
  5. 제1항에 있어서, 상기 통신부는 무선 통신의 수신강도를 수신하고
    상기 제어부는 수신된 상기 수신강도를 토대로 상기 사용자의 단말을 포함한 무선 통신 AP 각 노드들 간의 통신을 통해 위치 정보를 획득하는 것
    인 멀티 센서 착용형 디바이스 기반 인터페이스 시스템.
  6. 적어도 한 명의 사용자가 착용한 멀티 센서 착용형 디바이스 기반 인터페이스 방법으로서,
    움직임 센서를 통하여 적어도 한 명의 사용자의 움직임 정보를 획득하는 단계;
    위치 센서를 통하여 상기 사용자의 위치 정보를 획득하는 단계;
    획득한 상기 움직임 정보와 상기 위치 정보를 토대로 상기 사용자의 행동과 현재 위치를 계산하는 단계; 및
    계산된 상기 행동과 상기 현재 위치를 전송하는 단계
    를 포함하는 멀티 센서 착용형 디바이스 기반 인터페이스 방법.
  7. 제6항에 있어서, 상기 움직임 정보를 획득하는 단계는
    자이로 센서, 지자기 센서 및 가속도 센서 중 적어도 하나를 통해 사용자의 움직임 정보를 획득하는 것
    인 멀티 센서 착용형 디바이스 기반 인터페이스 방법.
  8. 제6항에 있어서, 상기 사용자의 행동과 현재 위치를 계산하는 단계는
    음영 조건이 발생하여 상기 위치 센서로부터 입력이 안되는 경우 상기 움직임 센서를 통해 상기 사용자의 움직임을 추정하고 다중 클래스 SVM 및 랜덤 포래스트 중 적어도 하나를 통하여 상기 사용자의 움직임을 분류한 후, 이를 토대로 상기 사용자의 위치 정보를 추출하는 것
    인 멀티 센서 착용형 디바이스 기반 인터페이스 방법.
  9. 제6항에 있어서, 상기 움직임 정보를 획득하는 단계는
    상기 자이로 센서, 상기 지자기 센서 및 상기 가속도 센서 중 적어도 하나로부터의 센서 정보를 조합하는 단계;
    칼만 필터를 통하여 노이즈 성분이 감소된 회전각을 획득하는 단계; 및
    조합된 상기 센서 정보와 획득된 상기 회전각을 토대로 착용한 상기 사용자의 관절의 회전 상태를 획득하는 단계를 더 포함하는 것
    인 멀티 센서 착용형 디바이스 기반 인터페이스 방법.
  10. 제6항에 있어서, 상기 위치 정보를 획득하는 단계는
    상기 사용자의 단말을 포함한 복수의 무선 통신 AP 노드에서 각 노드 간의 통신을 통해 위치 정보를 획득하는 것
    인 멀티 센서 착용형 디바이스 기반 인터페이스 방법.
KR1020130141601A 2013-11-20 2013-11-20 멀티 센서 착용형 디바이스 기반의 인터페이스 시스템 및 그 방법 KR20150057803A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130141601A KR20150057803A (ko) 2013-11-20 2013-11-20 멀티 센서 착용형 디바이스 기반의 인터페이스 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130141601A KR20150057803A (ko) 2013-11-20 2013-11-20 멀티 센서 착용형 디바이스 기반의 인터페이스 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20150057803A true KR20150057803A (ko) 2015-05-28

Family

ID=53392586

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130141601A KR20150057803A (ko) 2013-11-20 2013-11-20 멀티 센서 착용형 디바이스 기반의 인터페이스 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20150057803A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170027627A (ko) * 2015-09-02 2017-03-10 삼성전자주식회사 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법
CN107015646A (zh) * 2017-03-28 2017-08-04 北京犀牛数字互动科技有限公司 运动状态的识别方法及装置
CN108872790A (zh) * 2018-07-10 2018-11-23 武汉科技大学 一种基于卡尔曼滤波和支持向量机的mmc故障诊断方法
KR102585403B1 (ko) * 2022-12-20 2023-10-06 주식회사 지에스지 Gps 음영 지역 위치 정보 추정 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170027627A (ko) * 2015-09-02 2017-03-10 삼성전자주식회사 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법
CN107015646A (zh) * 2017-03-28 2017-08-04 北京犀牛数字互动科技有限公司 运动状态的识别方法及装置
CN108872790A (zh) * 2018-07-10 2018-11-23 武汉科技大学 一种基于卡尔曼滤波和支持向量机的mmc故障诊断方法
KR102585403B1 (ko) * 2022-12-20 2023-10-06 주식회사 지에스지 Gps 음영 지역 위치 정보 추정 시스템

Similar Documents

Publication Publication Date Title
CN112513711B (zh) 用于使用位置向量解析半球模糊度的方法和系统
CN111684293B (zh) 用于跟踪电子装置的移动的设备和方法
US9497592B2 (en) Techniques for determining movements based on sensor measurements from a plurality of mobile devices co-located with a person
US9595181B2 (en) Wearable device assisting smart media application and vice versa
AU2017365223B2 (en) Wearable motion tracking system
US10169880B2 (en) Information processing apparatus, information processing method, and program
WO2016054773A1 (zh) 目标设备的定位方法和移动终端
TW201425878A (zh) 多姿態步距校正定位系統與方法
JP2017534838A (ja) 複数のコロケートされたモバイルデバイスの間で測位信号捕捉タスクを割り振るための技法
KR20150057803A (ko) 멀티 센서 착용형 디바이스 기반의 인터페이스 시스템 및 그 방법
CN114022532A (zh) 身高测量方法、身高测量装置和终端
KR20190050791A (ko) 모바일 디바이스에서 개선된 보행자 모션 모델링을 위한 사용자-특정 학습
CN105628028A (zh) 一种基于手机内置传感器的室内三维定位系统及定位方法
US10362620B2 (en) Electronic device, method for controlling same and computer-readable storage medium storing control program
US20150177832A1 (en) Electronic Device, Display Control Method, and Recording Medium
CN109997014B (zh) 用于确定轨迹的系统和方法
US9900746B2 (en) Techniques for determining a position fix of an object using one or more mobile devices co-located with the object
Jayasvasti et al. Indoor Positioning System on Identification of Neurodegenerative Disease: A Comparative Study of BLE versus RFID
US20230096949A1 (en) Posture and motion monitoring using mobile devices
US20230101617A1 (en) Full body pose estimation through feature extraction from multiple wearable devices
Zhong et al. UI-MoCap: An Integrated UWB-IMU Circuit Enables 3D Positioning and Enhances IMU Data Transmission
CN115153520A (zh) 一种基于穿戴设备的增强运动识别方法及装置
CN117043634A (zh) 用于用户设备的角和线性移动检测和补偿

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination