KR20110044391A - 입력 장치 및 방법 - Google Patents

입력 장치 및 방법 Download PDF

Info

Publication number
KR20110044391A
KR20110044391A KR1020090101028A KR20090101028A KR20110044391A KR 20110044391 A KR20110044391 A KR 20110044391A KR 1020090101028 A KR1020090101028 A KR 1020090101028A KR 20090101028 A KR20090101028 A KR 20090101028A KR 20110044391 A KR20110044391 A KR 20110044391A
Authority
KR
South Korea
Prior art keywords
information
motion
present
input device
sensor
Prior art date
Application number
KR1020090101028A
Other languages
English (en)
Inventor
이보람
이현정
방원철
박준아
장욱
김경환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090101028A priority Critical patent/KR20110044391A/ko
Publication of KR20110044391A publication Critical patent/KR20110044391A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

하나 이상의 모션(motion) 정보 및 하나 이상의 접촉 정보를 센싱하여 상기 센싱된 하나 이상의 모션 정보를 기반으로 제1 명령 정보를 생성하고, 상기 하나 이상의 모션 정보 및 상기 하나 이상의 접촉 정보 중 어느 하나 이상을 기반으로 제2 명령 정보를 생성하는 입력 장치를 제공한다.
모션, 움직임 감지, 센서, 아바타, 가상 공간

Description

입력 장치 및 방법{APPARATUS AND METHOD FOR INPUT}
본 발명의 실시예들은 가상 공간의 물체를 움직이거나 아바타의 움직임을 제어할 수 있는 입력 장치 및 방법에 관한 것이다.
급속한 컴퓨터 기술의 발전과 고속 인터넷 선로의 대중화에 따라 실제 생활 공간의 3차원 구현과 이를 통한 가상 현실 체험을 위한 새로운 개념의 가상화 기술이 개발되고 있는 실정이다.
이러한 가상화 기술은 가상 공간(사이버 공간)의로 대표되는 컴퓨터 또는 인터넷 등으로 만들어진 가상의 공간에 가상의 배경을 배치하고, 아바타 또는 물체 등을 사용자가 조작할 수 있도록 하는 기술이다.
가상 현실화 기술은 지리적 위치 또는 시간의 제한을 받지 않고 누구에게나 실시간 또는 비실시간으로 정보의 선택 및 송수신이 가능하다. 또한, 가상 공간에서는 다양한 활동이 이루어질 수 있는데, 예를 들어 사이버 교육은 이러한 사이버 공간 내에서 이루어지는 교육이며, 사이버 게임은 가상 현실 공간에서 다수의 플레이어들이 각자의 케릭터를 조작하여 하는 게임을 의미한다.
이렇듯, 가상화 기술은 다양한 공간을 컴퓨터 또는 이에 준하는 단말기를 이 용하여 가상의 공간을 형성하고, 가상 공간 안에 사용자가 조작할 수 있는 물체 또는 아바타 등을 배치하여 사용자가 실제로 가상 공간에서 생활하는 것처럼 느끼게 한다.
따라서, 이러한 가상 공간에서 물체나 아바타 등을 조작할 수 있는 입력 장치의 개발이 이루어져야 할 것이다.
본 발명의 일실시예에 따른 입력 장치는 하나 이상의 모션(motion) 정보 및 하나 이상의 접촉 정보를 센싱하는 하나 이상의 움직임 감지부, 상기 센싱된 하나 이상의 모션 정보를 기반으로 제1 명령 정보를 생성하는 제1 명령 정보 처리부 및 상기 하나 이상의 모션 정보 및 상기 하나 이상의 접촉 정보 중 어느 하나 이상을 기반으로 제2 명령 정보를 생성하는 제2 명령 정보 처리부를 포함한다.
이때, 본 발명의 일실시예에 따른 상기 움직임 감지부는, 하나 이상의 움직임 측정 센서의 출력 신호를 감지하는 모션 센서부, 상기 출력 신호를 기반으로 모션(motion) 정보를 센싱하는 모션 정보 처리부, 하나 이상의 접촉 정보를 감지하는 접촉 센서부 및 상기 접촉 정보가 수신되는지 여부를 판단하는 접촉 정보 처리부를 포함한다.
또한, 본 발명의 일실시예에 따른 입력 방법은 하나 이상의 모션(motion) 정보 및 하나 이상의 접촉 정보를 센싱하는 단계, 상기 센싱된 하나 이상의 모션 정보를 기반으로 제1 명령 정보를 생성하는 단계 및 상기 하나 이상의 모션 정보 및 상기 하나 이상의 접촉 정보 중 어느 하나 이상을 기반으로 제2 명령 정보를 생성하는 단계를 포함한다.
이때, 본 발명의 일실시예에 따른 상기 하나 이상의 모션(motion) 정보 및 하나 이상의 접촉 정보를 센싱하는 단계는, 하나 이상의 움직임 측정 센서의 출력 신호를 감지하는 단계, 상기 출력 신호를 기반으로 모션(motion) 정보를 센싱하는 단계, 하나 이상의 접촉 정보를 감지하는 단계 및 상기 접촉 정보가 수신되는지 여부를 판단하는 단계를 포함한다.
본 발명의 일실시예에 따르면 사용자가 쉽게 사용하기 위해서는 3차원 가상 공간의 물체 또는 아바타를 직관적으로 조작 할 수 있다.
또한, 본 발명의 일실시예에 따르면 다수의 멀티 포인터 장치를 입력 장치로 사용할 수 있다.
또한, 본 발명의 일실시예에 따르면 가상 공간의 객체를 선택하여 조작하는데 있어서 간단하게 입력 모드의 변환할 수 있다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 일실시예에 따른 입력 장치는 3차원 가상 공간(3D virtual world) 시스템은 아바타(avatar)의 행동(navigation 등) 및 오브젝트(object), 공간 표시(camera) 등의 멀티 조작(manipulation)이 가능하다.
본 발명의 일실시예에 따른 입력 장치는 이러한 조작을 쉽고 직관적으로 하기 위해서 사용자의 움직임(body motion)을 감지하여 아바타(avatar)의 행동을 조작하거나, 리모트 멀티 포인터(remote multi pointer)의 기능을 수행하여 오브젝트(object)와 공간 표시(camera)의 멀티 조작 기능을 수행할 수도 있다.
이때, 전술한 아바타라 함은 가상 공간 시스템에서 사용자를 대신한 존재로 사람과 유사한 외형을 지니며, 만약 아바타의 겉 모습이 사람이 아닐 경우, 이동이나 행동 표현력은 사람과 같은 등급으로 적용될 수 있다.
상기 아바타의 이동이나 행동은 사용자의 이동이나 행동을 바로 반영하여 전달하는 방법이 가장 직관적이라 할 수 있다.
도 1은 본 발명의 일실시예에 따라 사용자의 움직임을 인식하여 3차원 아바타 네비게이션을 수행하는 예를 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 입력 장치는 사용자의 움직임을 인식하여 이를 아바타의 행동으로 바로 적용하면 사용자는 좀더 생생한 느낌은 받으면서 3차원 가상 시스템을 경험 할 수 있다.
본 발명의 일실시예에 따른 입력 장치는 아바타의 기본적인 행동들 또는 걷기, 점프, 좌회전 등의 네비게이션(navigation) 기능을 직관적으로 조작하는 방법을 수행할 수 있으며, 사용자가 신체의 특정 위치에 몇 개의 센서 장치를 들거나 부착하여, 혹은 초음파 발신/수신 장치나 영상 센서 등을 통하여 사용자의 모션을 센싱하고 인식하는 방식을 사용할 수 있다.
예를 들어, 본 발명의 일실시예에 따른 입력 장치는 분리형 핸드 헬드 움직임 감지 센서(hand-held motion sensing) 또는 포인팅 장치(pointing device) 등이 부가될 수 있으며, 상기 입력 장치를 사용자가 한 손 또는 양 손을 이용하여 조작하도록 한다.
또 다른 예로, 본 발명의 일실시예에 따른 입력 장치는 사용자의 머리의 움직임(head motion)을 인식하기 위해 귀에 걸어 장착하는 형태로도 구성 될 수 있다.
또한, 본 발명의 일실시예에 따른 입력 장치는 가상 공간 시스템에서 아바타의 행동 외에도 오브젝트 또는 공간 표시(camera)와 같은 다른 가상 공간 요소들을 조작 할 수 있으며, 기존의 메뉴 그래픽 유저 인터페이스(GUI: Graphical User Interface)에 대한 조작도 할 수 있다.
도 2는 본 발명의 일실시예에 따른 움직임 감지 센서 및 멀티 포인터 기능을 수행하는 입력 장치의 예를 도시한 도면이다.
본 발명의 일실시예에 따른 입력 장치를 포인터로 이용하는 경우, 하나의 본체를 사용할 수도 있지만, 둘 이상의 본체로 분리하여 멀티 포인터로도 사용할 수 있다. 본 발명의 일실시예에 따르면 이러한 멀티 포인터 기능을 이용하여 터치 스크린에서 멀티 터치 동작을 수행하여 화면 위에서 손쉽게 화면을 줌밍(zooming) 하거나 오브젝트를 조작할 수 있다.
도 3은 본 발명의 일실시예에 따른 입력 장치를 사용자 신체의 다양한 부위에 착용한 예를 도시한 도면이다.
도 3에 도시된 바와 같이, 사용자는 본 발명의 일실시예에 따른 입력 장치를 모션 정보를 감지할 수 있는 장치로써 신체의 특정 부위에 장착하고, 접촉 정보를 감지하는 포인터의 기능을 가진 장치로써, 양손에 잡고 가상 공간 시스템을 조작할 수 있다.
또한, 본 발명의 일실시예에 따른 입력 장치를 착용한 사용자는 자연스럽게 움직임으로써, 아바타의 행동을 지시하다가 포인팅 입력모드로 전환 할 수도 있다. 예를 들어, 사용자는 본 발명의 일실시예에 따른 입력 장치를 양손목 및 양 발목을 기본 위치로 하여 추가적으로 이어링, 허리 등의 신체 부위에 부착이 가능하다.
이때, 본 발명의 일실시예에 따른 입력 장치는 가속도 센서, 각속도 센서, 지자기 센서, 초음파 센서, 적외선 센서 등의 다양한 센서를 탑재한 모션 센서부와 센서 신호를 처리하거나 무선으로 송신해주는 송신부를 포함할 수 있다. 이때, 상기 모션 센서부에서 취득된 신호를 처리하여 입력 장치가 부착되어 있는 신체 위치의 3차원 위치 및 방향을 인식할 수 있다.
도 4a 내지 도 4b는 본 발명의 일실시예에 따른 입력 장치의 구조를 도시한 도면이다.
본 발명의 일실시예에 따른 입력 장치는 손목 위치의 핸드 헬드(hand-held) 형태의 장치로 모션 센싱이 가능한 포인터로 구성할 수 있다.
예를 들어, 도 4a에 도시된 바와 같이 본 발명의 일실시예에 따른 입력 장치 는 한 손 혹은 분리되어 양손으로 들 수 있게 멀티 포인터로 사용될 수 있으며, 멀티 포인터의 기능을 수행하는 경우, 모션 센싱을 바탕으로 손목의 모션을 인식할 뿐만 아니라 포인터의 위치(position) 및 방향(orientation)을 인식할 수 있다.
이때, 본 발명의 일실시예에 따른 입력 장치는 도 4a 및 도 4b에 도시된 바와 같이 모션 센서(420)를 이용하여 모션 정보를 감지하여 이에 대응하는 명령 정보를 생성한 후, 초음파 센서(410)를 통하여 상기 명령 정보를 가상 공간 시스템 측으로 전송함으로써, 아바타 또는 오브젝트를 조작할 수 있다.
또한, 본 발명의 일실시예에 따른 입력 장치는 포인터 자체의 접촉센서(430)를 통해서 사용자의 그립(grip)의 접촉 혹은 압력을 인식하거나 버튼(430)을 추가하여 포인터를 구성할 수도 있다.
이러한 본 발명의 일실시예에 따른 입력 장치를 도 5a 및 도 5b를 참조하여 아래에서 상세히 설명하도록 한다.
도 5a 및 도5b는 본 발명의 일실시예에 따른 입력 장치의 구성을 도시한 블록도이다.
본 발명의 일실시예에 따른 입력 장치는 크게 움직임 감지부(510), 제1 명령 정보 처리부(520) 및 제2 명령 정보 처리부(530)로 구성된다.
본 발명의 일실시예에 따른 움직임 감지부(510)는 하나 이상의 모션(motion) 정보 및 하나 이상의 접촉 정보를 센싱하는 바, 전술한 바와 같이 하나 이상의 신체 부위에 착용된 하나 이상의 단말기에 의하여 감지되는 상기 하나 이상의 모션 정보 및 상기 하나 이상의 접촉 정보를 센싱한다.
본 발명의 일실시예에 따른 제1 명령 정보 처리부(520)는 상기 센싱된 하나 이상의 모션 정보를 기반으로 제1 명령 정보를 생성하고, 본 발명의 일실시예에 따른 제2 명령 정보 처리부(530)는 상기 하나 이상의 모션 정보 및 상기 하나 이상의 접촉 정보 중 어느 하나 이상을 기반으로 제2 명령 정보를 생성한다.
또한, 본 발명의 일실시예에 따른 움직임 감지부(510)는 하나 이상의 움직임 측정 센서의 출력 신호를 감지하는 모션 센서부(511), 상기 출력 신호를 기반으로 모션(motion) 정보를 센싱하는 모션 정보 처리부(512), 하나 이상의 접촉 정보를 감지하는 접촉 센서부(513) 및 상기 접촉 정보가 수신되는지 여부를 판단하는 접촉 정보 처리부(514)로 구성된다.
본 발명의 일실시예에 다른 모션 센서부(511)는 사용자의 동작에 따라 움직임을 감지하는 움직임 측정 센서가 구성되어 있어 사용자의 움직임에 따른 출력 신호를 발생한다.
예를 들어, 본 발명의 일실시예에 따른 움직임 측정 센서는 상기 움직임 측정 센서는 가속도 센서, 각속도 센서, 적외선 센서(IR 센서: Infrared Sensor), 초음파 센서, 지자기 센서, 카메라 또는 GPS 등의 다양한 센서를 사용하며, 단일 센서로 사용할 수도 있으나, 상기 센서들을 조합하여 사용할 수도 있다.
본 발명의 일실시예에 따른 모션 정보 처리부(512)는 모션 센서부(511)에서 수신한 출력 신호로부터 3차원(3D) 위치 및 자세를 계산하는 등의 센싱 과정을 수행한다.
예를 들어, 본 발명의 일실시예에 따른 모션 정보 처리부(512)는 신호 처리 (센싱) 과정으로써, 가속도 센서의 출력을 적분하는 계산, 가속도 센서의 중력 성분을 이용한 기울임 계산, 각속도 센서 출력을 적분하는 계산, 지자기 센서의 출력을 이용한 방위각 계산, 초음파 또는 적외선 센서 출력을 이용한 거리 및 위치 계산을 하거나, 센서부의 출력을 전체 또는 부분적으로 융합하여 위치나 자세를 구하는 과정을 수행할 수 있다.
또한, 본 발명의 일실시예에 따른 모션 정보 처리부(512)는 상기 센싱된 모션 정보가 둘 이상인 경우, 모션 정보 추정 알고리즘을 이용하여 하나의 명령 정보를 추정할 수도 있는 바, 예를 들어, 칼만 필터를 구성하여 모션 정보 중 최적의 정보를 추정할 수도 있다.
본 발명의 일실시예에 따른 제1 명령 정보 처리부(520)는 모션 센싱 장치가 부착된 모든 신체 부위에 대하여 모션 정보 처리부(512)로부터 수신한 모션 정보로써, 3차원 위치 및 방향 등의 정보를 수신하여 아바타의 행동 및 이동 조작 명령인 제1 명령 정보를 생성한다.
본 발명의 일실시예에 따른 제1 명령 정보 처리부(520)는, 하나 이상의 단말기가 부착된 하나 이상의 신체 부위의 위치 또는 위치 관계에 대응하는 하나 이상의 모션 정보를 분석하여 상기 제1 명령 정보를 생성할 수 있다.
예를 들어, 본 발명의 일실시예에 따른 제1 명령 정보 처리부(520)는 손목, 발목, 머리 등 입력 장치가 부착된 신체 부위의 위치 및 방향(orientation) 정보를 취합하여, 필요에 따라 인체 운동학 이론(human kinematics)에 기반한 자연스러운 인체 운동으로 보정하고, 각 부위의 위치 관계를 인식하여 어떤 의미를 지니는 동 작인지를 판별한다.
구체적인 예를 들면, 본 발명의 일실시예에 따른 제1 명령 정보 처리부(520)는 오른손(팔) 또는 왼손(팔)을 어깨 높이로(머리 위로, 가슴 아래로 등) 들거나 내리는 동작, 오른(왼)쪽 발을 내미는 동작, 고개를 기울이거나 돌리는 동작 등의 다양한 인체 움직임에 따른 모션 정보를 인식하여 사용자가 지시하고자 하는 행동 및 이동 조작 명령어인 제1 명령 정보를 생성하며, 생성된 제1 명령 정보를 컨텐츠 제어부(가상 엔진: virtual engine)에 제공한다.
본 발명의 일실시예에 따른 접촉 센서부(513)는 입력 장치가 포인터의 기능을 수행하는 경우 사용자가 잡거나 버튼을 누르는 등의 입력 의도가 있음을 판별한다.
본 발명의 일실시예에 따른 접촉 센서부(513)는 버튼 스위치 등으로 구성될 수도 있고, 압력 센서 혹은 터치 센서 등으로 구성할 수도 있다. 이때, 본 발명의 일실시예에 따르면, 터치 센서나 압력 센서는 1 포인트를 인식하는 사양에서 면적의 여러 포인터를 인식하는 사양의 센서, 예를 들어, 멀티 터치, 멀티 포인트 압력 센서를 사용할 수 있다.
또한, 본 발명의 일실시예에 따른 입력 장치는 입력 장치를 2개로 나누어 멀티 포인터의 기능을 수행하는 경우, 각각의 포인터에서 접촉 센서부(513)가 장착되어 사용자의 입력 의도를 파악할 수 있도록 각각의 접촉 정보를 수집하도록 한다.
즉, 본 발명의 일실시에에 따라 둘로 분리된 입력 장치는 각각 1개 이상의 버튼, 터치 센서 혹은 압력 센서가 구성될 수 있으며, 사용자가 포인터의 입력을 위해 버튼을 누르거나, 포인터를 잡는 자세에서 손에 힘을 가하면 포인터는 접촉 정보를 감지한 것으로 인식한다.
본 발명의 일실시예에 따른 접촉 정보 처리부(514)는 접촉 센서부(513)에 접촉 정보가 감지 되었는지 여부를 판단하여 접촉 정보의 신호를 처리한다. 예를 들어, 본 발명의 일실시예에 따른 접촉 정보 처리부(514)는 멀티 터치 혹은 멀티 포인트 인식용 압력 센서인 경우, 사용자의 그립(grip) 손 자세에 해당하는 신호도 처리할 수 있다.
또한, 본 발명의 일실시예에 따른 접촉 정보 처리부(514)는 접촉 센서부로부터 나오는 접촉 정보를 바탕으로 사용자의 입력 신호의 유효성을 판별할 수 있다. 예를 들어, 본 발명의 일실시예에 따른 접촉 정보 처리부(514)는 버튼이 클릭 되었는지 여부, 터치 또는 압력 센서의 신호 강도가 강해지면 사용자가 의도를 갖고 사용하는 중으로 판단하는 등의 입력 신호의 유효성을 판단한다.
본 발명의 일실시예에 따른 제2 명령 정보 처리부(530)는 모션 센서부(512)로부터 수신된 모션 정보, 예를 들어, 입력 장치의 3차원 위치 및 방향 정보와 접촉 센서부로부터 수신된 접촉 정보, 예를 들어, 사용자의 포인터 사용 유무 정보를 종합하여 입력 장치의 제2 명령 정보를 연산한다.
예를 들어, 본 발명의 일실시예에 따른 제2 명령 정보 처리부(530)는 입력 장치1개 혹은 2개에 대한 모션 정보에 대응하는 이동 정보를 제2 명령 정보로 생성할 수 있으며, 입력 장치를 멀티 포인터로 사용하여 특정 제스처를 취하는 경우, 해당 제스쳐 패턴을 인식하여 어떤 의미를 지니는 동작 입력인지를 판별하여 컨텐 츠 제어부(540)에 해당 제2 명령 정보를 제공한다.
본 발명의 일실시예에 따른 상기 제스처 패턴은, 상기 제2 명령 정보에 따른 모드 전환, 상하좌우 이동, 정지, 회전, 크기 변화, 화면 확대(zoom in), 화면 축소(zoom out), 화면 패닝(panning) 또는 화면 틸팅(tilting) 등의 다양한 패턴일 수 있는 바, 추후 상세히 설명하도록 한다.
또한, 본 발명의 일실시예에 따른 입력 장치는 상기 제1 명령 정보 및 상기 제2 명령 정보를 수신하여 상기 제1 명령 정보 및 상기 제2 명령 정보를 기반으로 컨텐츠의 디스플레이를 제어하는 컨텐츠 제어부(540)를 더 포함할 수 있다.
이때, 본 발명의 일실시예에 따른 상기 컨텐츠는 전술한 바와 같이 3차원 가상 공간에 디스플레이 되는 3차원 방식의 아바타(avatar) 또는 오브젝트(object) 중 어느 하나 이상일 수 있다.
또한, 본 발명의 일실시예에 따른 입력 장치는 컨텐츠 제어부(540)의 제어에 따라 상기 3차원 가상 공간에 상기 컨텐츠를 상기 제1 명령 정보 및 상기 제2 명령 정보를 기반으로 디스플레이 하는 디스플레이부(550)를 더 포함할 수 있다.
아래에서는 본 발명의 일실시예에 따른 입력 장치를 이용하여 3차원 공간의 아바타 또는 오브젝트 등을 조작하는 방법을 설명하도록 한다.
도 6은 본 발명의 일실시예에 따른 입력 방법을 도시한 흐름도이다.
먼저, 본 발명의 일실시예에 따른 입력 장치는 하나 이상의 모션(motion) 정보 및 하나 이상의 접촉 정보를 센싱한다(610).
이때, 본 발명의 일실시예에 따른 입력 장치는 모션 정보만이 감지 되었는 지(620), 모션 정보와 접촉 정보 모두 감지 되었는지(630) 여부를 판단한다.
본 발명의 일실시예에 따른 입력 장치는 모션 정보만이 감지된 경우, 상기 센싱된 하나 이상의 모션 정보를 기반으로 제1 명령 정보를 생성하고(640), 제1 명령 정보를 기반으로 컨텐츠의 디스플레이를 제어하도록 한다(660).
또한, 본 발명의 일실시예에 따른 입력 장치는 모션 정보 및 접촉 정보 모두 감지된 경우, 상기 하나 이상의 모션 정보 및 상기 하나 이상의 접촉 정보 중 어느 하나 이상을 기반으로 제2 명령 정보를 생성하고(650), 제2 명령 정보를 기반으로 컨텐츠의 디스플레이를 제어하도록 한다(660).
본 발명의 일실시예에 따른 모션 정보 입력과 접촉 정보 입력은 입력 장치가 화면을 향한 상태에서 사용자의 접촉 입력의 유무(버튼을 누른 상태 혹은 포인터의 터치/압력부를 강하게 누른 상태)에 따라 구별할 수 있다.
즉, 본 발명의 일실시예에 따른 입력 장치는 화면을 향한 상태에서 접촉 센서부에 접촉 정보 입력을 가하면서 접촉 정보에 대한 입력이 활성이 활성화 되고, 이런 입력 없이 사용자가 모션의 변화를 가하면 사용자의 모션 인식을 통해 모션 정보 입력이 이루어진다.
본 발명의 일실시예에 따른 입력 장치는 접촉 정보 입력이 활성화 되는 상태와 사용자의 모션 정보 입력이 활성화 되는 상태를 구별해 주는 특정 입력이 필요할 수 있다.
본 발명의 일실시예에 따른 입력 장치는 이런 모드 변환을 특정 접촉 정보를 인식한다거나 특정 모션 정보를 인식하는 것으로 가능하다.
도 7은 본 발명의 일실시예에 따른 모드 변환의 예를 도시한 도면이다.
예를 들어, 본 발명의 일실시예에 따른 입력 장치는 도 7에 도시된 바와 같이, 입력 장치의 모션 센서부(511)를 이용하여 입력 장치가 화면을 향한 자세인지를 인식하고, 상기 상태에서 접촉 센서부(513)의 입력(버튼 클릭 혹은 강한 grip 입력)이 들어오면 포인터 모드를 활성화 한다.
또 다른 예로, 본 발명의 일실시예에 따른 입력 장치는 사용자의 모션 정보 입력을 활성화 하기 위해서, 입력 장치를 화면 밖의 영역을 향한 상태에서 접촉 센서부에 입력을 가하는 경우, 포인터 모드를 비활성화하고 아바타 모드를 활성화 시킬 수도 있다.
아래에서는 본 발명의 일실시예에 따른 입력 장치를 이용하여 아바타 또는 오브젝트를 조작하는 다양한 예를 설명하도록 한다.
도 8은 본 발명의 일실시예에 따른 아바타의 손 동작을 조작하는 예를 도시한 도면이다.
도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 입력 장치는 모션 정보 또는 접촉 정보 등의 동작 신호를 모니터링하는 과정(810)에서 사용자가 한 손을 올림으로써, 그에 대응하는 모션 정보가 감지되는지 여부를 판단한다(820). 이때, 본 발명의 일실시예에 따른 입력 장치는 사용자가 한 손을 올린 모션 정보가 감지된 경우, 아바타의 손을 들도록 제어한다(830).
같은 방법으로, 본 발명의 일실시예에 따른 입력 장치는 사용자가 올려진 손을 흔드는 모션 정보가 감지되었는지 여부를 판단(840)하여 사용자가 올려진 손을 흔드는 모션 정보가 감지된 경우, 아바타의 손을 흔들도록 제어한다(850).
도 9는 본 발명의 일실시예에 따른 아바타의 비행 동작을 조작하는 예를 도시한 도면이다.
도 9에 도시된 바와 같이 본 발명의 일실시예에 따른 입력 장치는 모션 정보 또는 접촉 정보 등의 동작 신호를 모니터링하는 과정(910)에서 사용자의 양팔이 좌우로 펼쳐져 있음을 인식하는 모션 정보가 감지되는지 여부를 판단하여(920), 사용자의 양팔이 좌우로 펼쳐져 있음을 인식하는 모션 정보가 감지된 경우, 아바타의 상승 또는 하강 모드로 전환하도록 제어한다(930).
이때, 본 발명의 일실시예에 따른 입력 장치는 사용자의 양팔이 어깨 높이 위로 올라가 있음을 인식하는 모션 정보가 감지되는지 여부를 판단하여(940), 사용자의 양팔이 어깨 높이 위로 올라가 있음을 인식하는 모션 정보가 감지된 경우 사용자의 팔 각도에 따라 상승 속도를 계산하고(950), 상승 속도에 대응하는 속도로 아바타를 상승시키도록 제어한다(960).
또한, 본 발명의 일실시예에 따른 입력 장치는 사용자의 양팔이 어깨 높이 아래로 내려가 있음을 인식하는 모션 정보가 감지되는지 여부를 판단하여(970), 사용자의 양팔이 어깨 높이 아래로 내려가 있음을 인식하는 모션 정보가 감지된 경우 사용자의 팔 각도에 따라 하강 속도를 계산하고(980), 하강 속도에 대응하는 속도로 아바타를 하강시키도록 제어한다(990).
도 10은 본 발명의 일실시예에 따른 아바타의 이동 또는 정지 동작을 조작하는 예를 도시한 도면이다.
도 10에 도시된 바와 같이 본 발명의 일실시예에 따른 입력 장치는 모션 정보 또는 접촉 정보 등의 동작 신호를 모니터링하는 과정(1010)에서 사용자의 양 발이 붙어있음을 인식하는 모션 정보가 감지되는지 여부를 판단하여(1020), 사용자의 양 발이 붙어 있음을 인식하는 모션 정보가 감지된 경우, 아바타의 이동을 정지시키도록 제어한다(1030).
또한, 본 발명의 일실시예에 따른 입력 장치는 사용자의 임의의 한 발이 앞으로 나와 있음을 인식하는 모션 정보가 감지되는지 여부를 판단하여(1040), 사용자의 한 발이 앞으로 나와 있음을 인식하는 모션 정보가 감지된 경우, 양 발의 거리 차이(D 값)를 계산하고(1050), 아바타를 D값에 비례하게 가속시키도록 제어한다(1060).
또한, 본 발명의 일실시예에 따른 입력 장치는 사용자의 임의의 한 발이 뒤로 나와 있음을 인식하는 모션 정보가 감지되는지 여부를 판단하여(1070), 사용자의 한 발이 뒤로 나와 있음을 인식하는 모션 정보가 감지된 경우, 양 발의 거리 차이(D 값)를 계산하고(1080), 아바타를 D값에 비례하게 감속시키도록 제어한다(1090).
또한, 본 발명의 일실시예에 따른 입력 장치는 사용자의 양 발이 평행한 상태에서 벌어져 있음을 인식하는 모션 정보가 감지된 경우, 아바타를 등속 운동 하도록 제어한다(1100).
도 11은 본 발명의 일실시예에 따른 아바타의 회전 동작을 조작하는 예를 도시한 도면이다.
도 11에 도시된 바와 같이 본 발명의 일실시예에 따른 입력 장치는 모션 정보 또는 접촉 정보 등의 동작 신호를 모니터링하는 과정(1110)에서 사용자의 양 팔이 양쪽으로 펼쳐져 있음을 인식하는 모션 정보가 감지되는지 여부를 판단하여(1120), 사용자의 양 팔이 양쪽으로 펼쳐져 있음을 인식하는 모션 정보가 감지된 경우, 아바타 회전 모드로 전환한다 (1130).
또한, 본 발명의 일실시예에 따른 입력 장치는 사용자의 오른팔은 어깨 높이 위(아래)로 왼 팔은 어깨 높이 아래(위)로 함을 인식하는 모션 정보가 감지되는지 여부를 판단하여(1140), 상기 모션 정보 모션 정보가 감지된 경우, 사용자의 어깨 높이 위(아래)로 올라간(내려간) 팔의 각도(Θ)를 기준으로 회전 방향 및 회전각을 계산하고(1150), 상기 회전 방향 및 회전각을 기반으로 아바타를 회전하도록 제어한다(1160).
또한, 본 발명의 일실시예에 다른 입력 장치는 사용자의 양팔을 좌(우)로 돌림을 인식하는 모션 정보가 감지되었는지 여부를 판단하여(1170), 상기 모션 정보가 감지된 경우, 상기 단계(1150), 단계(1160)을 수행할 수도 있다.
도 12는 본 발명의 일실시예에 따른 오브젝트 선택 방법의 예를 도시한 도면이다.
도 12에 도시된 바와 같이, 본 발명의 일실시예에 따른 입력 장치는 사용자에 의하여 오브젝트 영역에서 버튼 다운(button down) 및 일정 시간 후 버튼 업(button up)을 하거나 버튼을 누르는 동작을 수행하는 접촉 정보가 수신된 경우, 해당 오브젝트가 활성화되도록 제어한다.
상기와 같은 과정을 다른 입력 장치를 이용하여 수행하여도 동일한 실행 결과를 얻을 수 있으며, 활성화 된 오브젝트를 선택 방법과 동일한 방법으로 상기 영역에서 접촉 정보를 발생하면 비활성화 상태로 변경된다.
도 13은 본 발명의 일실시예에 따른 다중 오브젝트 선택 방법의 예를 도시한 도면이다.
도 13에 도시된 바와 같이, 본 발명의 일실시예에 따른 입력 장치는 2개 이상의 오브젝트를 선택 할 경우, 첫번째 입력 장치로 첫 오브젝트 영역을 버튼 다운 한 상태에서 두번째 입력 장치로 다른 오브젝트를 클릭함으로써, 다른 오브젝트를 선택할 수 있다.
이때, 본 발명의 일실시예에 따르면 첫번째 포인터의 버튼 업이 발생할 때까지 두번째 입력 장치의 클릭 영역에 있는 오브젝트의 활성화가 순차적으로 이루어 질 수 있다. 상기와 같은 방식으로 2개 이상의 오브젝트를 멀티 포인터를 사용하여 선택할 수 있다.
도 14는 본 발명의 일실시예에 따른 오브젝트 이동 방법의 예를 도시한 도면이다.
도 14에 도시된 바와 같이, 본 발명의 일실시예에 따르면 상기 오브젝트를 선택 방법과 마찬가지로 첫번째 입력 장치를 사용하여 오브젝트를 선택한 상태에서 드래그(drag) 하는 방식으로 오브젝트의 이동을 조작할 수 있다.
또한, 본 발명의 일실시예에 따른 입력 장치가 3차원 위치 및 좌표 정보를 지니고 있으므로 입력 장치의 공간 이동에 따라 오브젝트가 이동하도록 제어할 수 도 있다. 예를 들어, 사용자가 좌우로 입력 장치를 움직이는 경우, 오브젝트도 좌우로 사용자의 입력 장치의 이동에 따라 동일하게 움직인다.
도 15는 본 발명의 일실시예에 따른 오브젝트 크기 변경 방법의 예를 도시한 도면이다.
도 15에 도시된 바와 같이, 본 발명의 일실시예에 따르면 오브젝트의 활성화 상태와 상관 없이 오브젝트 영역에 2개의 입력 장치가 위치하고 이 상태에서 두 입력 장치의 버튼 다운을 유지하면서 입력 장치를 수직 또는 수평 방향으로 벌리거나 좁히는 방식으로 이동하면 오브젝트의 크기를 변경할 수도 있다.
예를 들어, 본 발명의 일실시예에 따른 두 개의 입력 장치의 거리에 비례하여 오브젝트의 크기가 확대 또는 축소 되며, 두 입력 장치 중 어느 하나의 입력 장치의 버튼 업이 발생하면 오브젝트 크기 변경 실행은 종료된다.
도 16은 본 발명의 일실시예에 따른 오브젝트의 회전 방법의 예를 도시한 도면이다.
도 16에 도시된 바와 같이, 본 발명의 일실시예에 따른 두 개의 입력 장치를 이용하여 오브젝트의 회전을 실행할 수 있는데, 두 개의 입력 장치가 오브젝트 영역 내 존재할 때 버튼을 누르고(혹은 강하게 grip) 이중 하나의 입력 장치로 회전 동작을 실시함으로써, 그 회전 방향으로 오브젝트를 동일하게 회전시킬 수 있다.
또한, 본 발명의 일실시예에 따른 입력 장치 하나로 오브젝트를 활성화 시킨 상태에서 회전 동작을 가하여 오브젝트를 회전 시킬 수도 있다.
도 17은 본 발명의 일실시예에 따른 화면의 크기를 조작하거나 패닝하는 방 법을 도시한 도면이고, 도 18은 본 발명의 일실시예에 따른 화면을 틸팅하는 방법을 도시한 도면이다.
도 17에 도시된 바와 같이, 본 발명의 일실시예에 따른 두 개의 입력 장치를 이용하여 줌밍(zooming) 할 수 있는데, 줌인(zooming in) 동작으로 화면을 확대 축소 하기 위해서는, 두 개의 입력 장치를 양손에 각각 잡고 화면을 향해 입력 장치의 버튼을 누른 상태(혹은 강하게 grip 상태)에서 양손을 벌렸다 오므렸다 하는 동작으로 수행할 수 있다.
또한, 본 발명의 일실시예에 따른 두 개의 입력 장치를 줌밍(zooming)과 동일하게 버튼을 누른 상태에서 두 개의 입력 장치를 같은 방향으로 이동하면 패닝(pannign)동작을 실행할 수 있다. 예를 들어, 본 발명의 일실시예에 따른 입력 장치는 XY 평면 상에서 두 개의 입력 장치를 같은 방향으로 이동하면 그 이동 방향에 맞추어서 카메라의 패닝(panning)이 이루어진다.
또한, 본 발명의 일실시예에 따른 두 개의 입력 장치는 틸팅(tilting) 동작을 오브젝트 의 회전 방식과 유사하게 동작하여 수행할 수 있는데, 두 개의 입력 장치를 오브젝트 외 영역에서 버튼 다운한 상태로 하나의 입력 장치를 회전하면 그 회전 방향 및 회전량에 따라 카메라의 회전이 이루어진다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따라 사용자의 움직임을 인식하여 3차원 아바타 네비게이션을 수행하는 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 움직임 감지 센서 및 멀티 포인터 기능을 수행하는 입력 장치의 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 입력 장치를 사용자 신체의 다양한 부위에 착용한 예를 도시한 도면이다.
도 4a 내지 도 4b는 본 발명의 일실시예에 따른 입력 장치의 구조를 도시한 도면이다.
도 5a 및 도5b는 본 발명의 일실시예에 따른 입력 장치의 구성을 도시한 블록도이다.
도 6은 본 발명의 일실시예에 따른 입력 방법을 도시한 흐름도이다.
도 7은 본 발명의 일실시예에 따른 모드 변환의 예를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 아바타의 손 동작을 조작하는 예를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 아바타의 비행 동작을 조작하는 예를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 아바타의 이동 또는 정지 동작을 조작하는 예를 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 아바타의 회전 동작을 조작하는 예를 도 시한 도면이다.
도 12는 본 발명의 일실시예에 따른 오브젝트 선택 방법의 예를 도시한 도면이다.
도 13은 본 발명의 일실시예에 따른 다중 오브젝트 선택 방법의 예를 도시한 도면이다.
도 14는 본 발명의 일실시예에 따른 오브젝트 이동 방법의 예를 도시한 도면이다.
도 15는 본 발명의 일실시예에 따른 오브젝트 크기 변경 방법의 예를 도시한 도면이다.
도 16은 본 발명의 일실시예에 따른 오브젝트의 회전 방법의 예를 도시한 도면이다.
도 17은 본 발명의 일실시예에 따른 화면의 크기를 조작하거나 패닝하는 방법을 도시한 도면이다.
도 18은 본 발명의 일실시예에 따른 화면을 틸팅하는 방법을 도시한 도면이다.

Claims (11)

  1. 하나 이상의 모션(motion) 정보 및 하나 이상의 접촉 정보를 센싱하는 하나 이상의 움직임 감지부;
    상기 센싱된 하나 이상의 모션 정보를 기반으로 제1 명령 정보를 생성하는 제1 명령 정보 처리부; 및
    상기 하나 이상의 모션 정보 및 상기 하나 이상의 접촉 정보 중 어느 하나 이상을 기반으로 제2 명령 정보를 생성하는 제2 명령 정보 처리부
    를 포함하는 입력 장치.
  2. 제1항에 있어서,
    상기 움직임 감지부는,
    하나 이상의 움직임 측정 센서의 출력 신호를 감지하는 모션 센서부;
    상기 출력 신호를 기반으로 모션(motion) 정보를 센싱하는 모션 정보 처리부;
    하나 이상의 접촉 정보를 감지하는 접촉 센서부; 및
    상기 접촉 정보가 수신되는지 여부를 판단하는 접촉 정보 처리부
    를 포함하는 입력 장치.
  3. 제2항에 있어서,
    상기 움직임 측정 센서는 가속도 센서, 각속도 센서, 적외선 센서(IR 센서: Infrared Sensor), 초음파 센서, 지자기 센서, 카메라 또는 GPS 중 어느 하나 이상이며,
    상기 접촉 센서부는 압력 센서 또는 터치 센서 중 어느 하나인 입력 장치.
  4. 제1항에 있어서,
    상기 하나 이상의 움직임 감지부는,
    하나 이상의 신체 부위에 착용된 하나 이상의 단말기에 의하여 감지되는 상기 하나 이상의 모션 정보 및 상기 하나 이상의 접촉 정보를 센싱하는 입력 장치.
  5. 제5항에 있어서,
    상기 제1 명령 정보 처리부는,
    상기 하나 이상의 단말기가 부착된 상기 하나 이상의 신체 부위의 위치 또는 위치 관계에 대응하는 상기 하나 이상의 모션 정보를 분석하여 상기 제1 명령 정보를 생성하는 입력 장치.
  6. 제1항에 있어서,
    상기 제2 명령 정보 처리부는 상기 제2 명령 정보에 대응하는 제스처 패턴을 인식하고,
    상기 제스처 패턴은 상기 제2 명령 정보에 따른 모드 전환, 상하좌우 이동, 정지, 회전, 크기 변화, 화면 확대(zoom in), 화면 축소(zoom out), 화면 패닝(panning) 또는 화면 틸팅(tilting) 중 어느 하나 이상을 포함하는 입력 장치.
  7. 제1항에 있어서,
    상기 제1 명령 정보 및 상기 제2 명령 정보를 수신하여 상기 제1 명령 정보 및 상기 제2 명령 정보를 기반으로 컨텐츠의 디스플레이를 제어하는 컨텐츠 제어부
    를 더 포함하는 입력 장치.
  8. 제7항에 있어서,
    상기 컨텐츠는 3차원 가상 공간에 디스플레이 되는 3차원 방식의 아바타(avatar) 또는 오브젝트(object) 중 어느 하나 이상이며,
    상기 컨텐츠 제어부의 제어에 따라 상기 3차원 가상 공간에 상기 컨텐츠를 상기 제1 명령 정보 및 상기 제2 명령 정보를 기반으로 디스플레이 하는 디스플레이부
    를 더 포함하는 입력 장치.
  9. 하나 이상의 모션(motion) 정보 및 하나 이상의 접촉 정보를 센싱하는 단계;
    상기 센싱된 하나 이상의 모션 정보를 기반으로 제1 명령 정보를 생성하는 단계; 및
    상기 하나 이상의 모션 정보 및 상기 하나 이상의 접촉 정보 중 어느 하나 이상을 기반으로 제2 명령 정보를 생성하는 단계
    를 포함하는 입력 방법.
  10. 제9항에 있어서,
    상기 하나 이상의 모션(motion) 정보 및 하나 이상의 접촉 정보를 센싱하는 단계는,
    하나 이상의 움직임 측정 센서의 출력 신호를 감지하는 단계;
    상기 출력 신호를 기반으로 모션(motion) 정보를 센싱하는 단계;
    하나 이상의 접촉 정보를 감지하는 단계; 및
    상기 접촉 정보가 수신되는지 여부를 판단하는 단계
    를 포함하는 입력 방법.
  11. 제9항 내지 제10항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020090101028A 2009-10-23 2009-10-23 입력 장치 및 방법 KR20110044391A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090101028A KR20110044391A (ko) 2009-10-23 2009-10-23 입력 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090101028A KR20110044391A (ko) 2009-10-23 2009-10-23 입력 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20110044391A true KR20110044391A (ko) 2011-04-29

Family

ID=44049127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090101028A KR20110044391A (ko) 2009-10-23 2009-10-23 입력 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20110044391A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130068191A (ko) * 2011-12-14 2013-06-26 한국전자통신연구원 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
WO2014123261A1 (ko) * 2013-02-07 2014-08-14 엘지전자 주식회사 이동 단말기 및 그 동작 방법
KR20150106781A (ko) * 2014-03-12 2015-09-22 삼성메디슨 주식회사 사용자의 발 모션에 따른 초음파 기기의 기능 제어 방법 및 장치
KR20150129093A (ko) * 2012-06-28 2015-11-19 삼성전자주식회사 사용자 입력 장치 및 방법
WO2016080593A1 (ko) * 2014-11-21 2016-05-26 (주)유즈브레인넷 모션 인식에 의해 화면상의 3차원 가상 공간을 제어하는 방법 및 그 제어장치
KR101656025B1 (ko) * 2016-05-03 2016-09-08 (주) 올림플래닛 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법 및 이를 위한 컴퓨터 프로그램
KR101696607B1 (ko) * 2016-08-17 2017-02-03 (주) 올림플래닛 가상현실 인터페이스 시스템 내 오브젝트의 실시간 제어를 위한 기록매체에 저장된 컴퓨터 프로그램
EP3734420A1 (en) * 2019-04-30 2020-11-04 InterDigital CE Patent Holdings Method for user interaction with an at least partially virtual environment, and corresponding device, electronic assembly, system, computer readable program product and computer readable storage medium

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130068191A (ko) * 2011-12-14 2013-06-26 한국전자통신연구원 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
KR20150129093A (ko) * 2012-06-28 2015-11-19 삼성전자주식회사 사용자 입력 장치 및 방법
WO2014123261A1 (ko) * 2013-02-07 2014-08-14 엘지전자 주식회사 이동 단말기 및 그 동작 방법
US9874999B2 (en) 2013-02-07 2018-01-23 Lg Electronics Inc. Mobile terminal and method for operating same
KR20150106781A (ko) * 2014-03-12 2015-09-22 삼성메디슨 주식회사 사용자의 발 모션에 따른 초음파 기기의 기능 제어 방법 및 장치
WO2016080593A1 (ko) * 2014-11-21 2016-05-26 (주)유즈브레인넷 모션 인식에 의해 화면상의 3차원 가상 공간을 제어하는 방법 및 그 제어장치
CN106062675A (zh) * 2014-11-21 2016-10-26 Uz睿脑公司 基于动作识别而控制画面上的三维虚拟空间的方法及其控制装置
KR101656025B1 (ko) * 2016-05-03 2016-09-08 (주) 올림플래닛 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법 및 이를 위한 컴퓨터 프로그램
KR101696607B1 (ko) * 2016-08-17 2017-02-03 (주) 올림플래닛 가상현실 인터페이스 시스템 내 오브젝트의 실시간 제어를 위한 기록매체에 저장된 컴퓨터 프로그램
EP3734420A1 (en) * 2019-04-30 2020-11-04 InterDigital CE Patent Holdings Method for user interaction with an at least partially virtual environment, and corresponding device, electronic assembly, system, computer readable program product and computer readable storage medium

Similar Documents

Publication Publication Date Title
US9360944B2 (en) System and method for enhanced gesture-based interaction
KR20110044391A (ko) 입력 장치 및 방법
TWI546725B (zh) 於手勢和使用者介面元件間之延續虛擬連結技術
KR101620777B1 (ko) 증강된 가상 터치패드 및 터치스크린
JP2023515525A (ja) ウェアラブルシステムのための手のジェスチャ入力
EP3234742A2 (en) Methods and apparatus for high intuitive human-computer interface
WO2016189372A2 (en) Methods and apparatus for human centric "hyper ui for devices"architecture that could serve as an integration point with multiple target/endpoints (devices) and related methods/system with dynamic context aware gesture input towards a "modular" universal controller platform and input device virtualization
KR20160080109A (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
JP2012521594A (ja) マルチテレポインタ、仮想客体表示装置、及び仮想客体制御方法
US10025975B2 (en) Information processing device, storage medium storing information processing program, information processing system, and information processing method
WO2018038136A1 (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
US9864905B2 (en) Information processing device, storage medium storing information processing program, information processing system, and information processing method
KR20190073281A (ko) 2-차원 및 3-차원 추적을 위해 사용가능한 햅틱방식-인에이블형 주변기기
CN112783318A (zh) 人机交互系统和人机交互方法
JP6561400B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
CN117784926A (zh) 控制装置、控制方法和计算机可读存储介质
KR102322968B1 (ko) 사용자의 손동작에 따른 명령 입력 장치 및 이를 이용한 명령 입력 방법
EP3057035B1 (en) Information processing program, information processing device, information processing system, and information processing method
KR20090085821A (ko) 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법
JP6289655B2 (ja) 画面操作装置及び画面操作方法
KR101588021B1 (ko) 헤드 마우스
JP6523509B1 (ja) ゲームプログラム、方法、および情報処理装置
JP2019150137A (ja) ゲームプログラム、方法、および情報処理装置
Wang et al. VirtualTouch: A finger glove to simulate touch screen commands

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment