KR101871359B1 - 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 - Google Patents
감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 Download PDFInfo
- Publication number
- KR101871359B1 KR101871359B1 KR1020100131661A KR20100131661A KR101871359B1 KR 101871359 B1 KR101871359 B1 KR 101871359B1 KR 1020100131661 A KR1020100131661 A KR 1020100131661A KR 20100131661 A KR20100131661 A KR 20100131661A KR 101871359 B1 KR101871359 B1 KR 101871359B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensory
- information
- providing apparatus
- providing
- motion
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Burglar Alarm Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
감각 제공 장치의 움직임 정보를 수신하고, 움직임 정보에 기초하여, 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하여 검출된 객체에 대한 감각 정보를 감각 제공 장치로 제공하는 감각 정보 제공 방법과 감각 제공 방법을 수행하는 장치의 움직임에 따른 움직임 정보를 생성하고, 생성된 움직임 정보를 송신하고, 움직임 정보에 기초한 감각 제공 방법을 수행하는 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신하여 객체에 대한 감각 정보에 대응되는 감각을 출력하는 감각 제공 방법이 개시되어 있다.
Description
본 발명의 일 실시예는 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템에 관한 것으로, 더욱 상세하게는 4D 기술에서 감각 제공 장치의 움직임 정보를 이용하여 객체를 파악한 후, 객체에 대한 감각을 사용자에게 제공하는 방법, 그 장치 및 그 시스템에 관한 것이다.
종래에는 텔레비전에 다수 개의 카메라를 설치하고, 시청자의 손가락에 설치된 촉각을 제공할 수 있는 장치를 카메라로 추적하여, 텔레비전 화면 상의 어떤 객체를 사용자가 만지는지를 계산하였다. 그 후, 텔레비전 상의 객체의 촉각 정보를 사용자의 손가락에 설치된 촉각 제공 장치에 전송하여, 사용자가 객체의 촉감을 느끼도록 하였다.
본 발명이 해결하고자 하는 기술적 과제는 다수의 카메라를 요구하지 않고, 감각 제공 장치에 포함된 센서를 이용하여, 감각 제공 장치의 움직임을 파악하고, 이를 이용하여 객체를 검출하여 감각 정보를 제공하는 방법, 그 장치 및 시스템을 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 감각 제공 장치에 감각 정보를 제공하는 방법은 상기 감각 제공 장치의 움직임 정보를 수신하는 단계; 상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계; 및 상기 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 단계를 포함한다.
상기 감각 정보 제공 방법은 사용자의 시각 방향 정보를 검출하는 단계를 더 포함하고, 상기 객체를 검출하는 단계는 상기 움직임 정보 및 시각 방향 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계를 포함할 수 있다.
상기 사용자의 시각 방향 정보를 검출하는 단계는 상기 감각 정보 제공 방법을 수행하는 장치에 포함된 촬상 장치로부터 상기 사용자의 시각 방향 정보를 검출하는 단계를 포함할 수 있다.
상기 감각 제공 장치의 움직임 정보를 수신하는 단계는 상기 감각 제공 장치의 움직임 시작 위치 정보를 수신하는 단계; 및 상기 움직임 시작 위치에서부터의 움직임 정보를 수신하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따라, 감각을 제공하는 방법은 상기 감각 제공 방법을 수행하는 장치의 움직임에 따른 움직임 정보를 생성하는 단계; 상기 생성된 움직임 정보를 송신하는 단계; 상기 움직임 정보에 기초한 상기 감각 제공 방법을 수행하는 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신하는 단계; 및 상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 단계를 포함한다.
상기 움직임 정보는 지자기 센서 및 가속도 센서 중 적어도 하나의 센서에 의하여 생성될 수 있다.
상기 감각 제공 방법을 수행하는 장치는 폴리머 장갑으로 형성될 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따라, 감각 제공 장치에 감각 정보를 제공하는 장치는 상기 감각 제공 장치의 움직임 정보를 수신하는 수신부; 상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 객체 검출부; 상기 객체에 대한 감각 정보를 저장하고 있는 저장부; 및 상기 저장부에 저장된 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 감각 정보 제공부를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따라, 감각 제공 장치는 상기 감각 제공 장치의 움직임에 따른 움직임 정보를 생성하는 정보 생성부; 상기 생성된 움직임 정보를 송신하는 송신부; 상기 움직임 정보에 기초한 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신하는 수신부; 및 상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 감각 출력부를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따라, 감각 정보 제공 장치로부터 감각 정보를 제공받아 감각 제공 장치가 감각을 제공하는 방법은 상기 감각 제공 장치가 움직임에 따른 움직임 정보를 생성하는 단계; 상기 감각 제공 장치가 움직임 정보를 상기 감각 정보 제공 장치로 송신하는 단계; 상기 감각 정보 제공 장치가 수신한 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계; 상기 감각 정보 제공 장치가 상기 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 송신하는 단계; 및 상기 감각 제공 장치가 상기 수신한 객체에 대한 감각 정보에 대응되는 감각을 출력하는 단계를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따라, 감각 제공 시스템은 감각 제공 장치의 움직임 정보를 수신하는 수신부; 상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 객체 검출부; 상기 객체에 대한 감각 정보를 저장하고 있는 저장부; 및 상기 저장부에 저장된 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 감각 정보 제공부를 포함하는 것을 특징으로 하는 감각 정보 제공 장치와, 상기 감각 제공 장치의 움직임에 따른 움직임 정보를 생성하는 정보 생성부; 상기 생성된 움직임 정보를 송신하는 송신부; 상기 움직임 정보에 기초한 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신하는 수신부; 및 상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 감각 출력부를 포함하는 것을 특징으로 하는 감각 제공 장치를 포함한다.
도 1a 및 도 1b은 본 발명의 일 실시예에 따른 감각 제공 시스템에 관한 예를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 감각 제공 시스템에 관한 블록 다이어그램을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 감각 정보 제공 방법을 나타내는 흐름도를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 감각 제공 방법에 관한 흐름도를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 감각 정보 제공 장치로부터 감각 정보를 제공받아 감각 제공 장치가 감각을 제공하고 방법에 관한 흐름도를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 감각 제공 시스템에 관한 블록 다이어그램을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 감각 정보 제공 방법을 나타내는 흐름도를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 감각 제공 방법에 관한 흐름도를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 감각 정보 제공 장치로부터 감각 정보를 제공받아 감각 제공 장치가 감각을 제공하고 방법에 관한 흐름도를 나타내는 도면이다.
본 발명은 영상 및 음향 외에 사용자에게 물리적 효과(physical effects)인 감각까지 제공하는 4D 기술에 관한 것이다. 4D 기술이란 3D 입체영상(Stereoscopic 3D)과 함께 물리적 효과를 제공함으로써 사용자에게 실감을 더해주는 기술을 의미한다. 여기에서, 4D 기술은 물리적 효과를 제공함으로써 구현되는 것으로, 반드시 3D 입체영상을 동반해야 하는 것은 아니며, 2D 일반영상에 물리적 효과를 제공함으로써 구현될 수도 있다. 물리적 효과의 예로는 바람(Air), 진동(Vibration), 좌석 움직임(Motion Control), 물(Water), 냄새(Smell), 빛(Light) 등과 같은 범주로 나눠볼 수 있으며 매우 다양하다. 본 발명의 일 실시예에서는, 3D 입체 영상을 제공하는 디스플레이 장치와 촉각을 감지할 수 있는 장치를 예로 들어서 설명하기로 한다. 그러나, 이에 제한되는 것은 아니다.
첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1a 및 도 1b은 본 발명의 일 실시예에 따른 감각 제공 시스템에 관한 예를 나타내는 도면이다.
도 1a를 참조하면, 감각 정보 제공 장치 및 사용자(100)가 착용한 감각 제공 장치가 도시되어 있다. 도 1a에서는, 감각 정보 제공 장치의 예로, 디스플레이 화면(111), 감각 제공 장치와 통신이 가능한 통신 모듈(112) 및 사용자의 시각 방향을 인식할 수 있는 카메라(113)를 구비한 디스플레이 장치(110)가 도시되어 있으며, 감각 제공 장치의 예로는, 사용자(100)에게 촉각을 제공하는 촉각 장치(120)가 도시되어 있다. 촉각 장치(120) 또한 디스플레이 장치(110)와 통신이 가능한 통신 모듈(미도시)를 구비하고 있다.
촉각 장치(120)는 촉각 장치(120)에 구비된 센서를 통하여 촉각 장치의 움직임으로 인한 움직임 정보를 생성할 수 있다. 그 후, 촉각 장치(120)는 움직임 정보를 디스플레이 장치(110)로 송신한다. 디스플레이 장치(110)는 움직임 정보에 기초하여, 촉각 장치(120)의 위치에 대응되는 디스플레이 화면(111) 상에서의 객체를 검출한다. 그 후, 디스플레이 장치(110)는 검출된 객체에 대응하는 촉각 정보를 추출하여, 통신 모듈(112)을 통하여 촉각 장치(120)로 송신한다. 그러면, 촉각 장치(120)는 촉각 정보에 대응되는 촉각을 사용자에게 출력한다.
도 1b를 참조하면, 디스플레이 장치(110)의 카메라(113)는 사용자(100)의 눈의 시각 방향 정보를 검출한다. 이 경우, 도 1a와는 달리 디스플레이 장치(110)는 시각 방향 정보 및 움직임 정보에 기초하여 객체를 검출할 수 있다. 이 경우, 더욱 정확하게 위치하는 객체를 검출할 수가 있다.
도 1은 본 발명의 개략적인 설명으로 도 2 내지 도 5에서 더욱 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 감각 제공 시스템에 관한 블록 다이어그램을 나타내는 도면이다.
감각 제공 시스템(200)은 감각 정보 제공 장치(210) 및 감각 제공 장치(220)를 포함한다. 감각 정보 제공 장치(210)는 시각 방향 정보 검출부(211), 수신부(212), 객체 검출부(213), 저장부(214) 및 감각 정보 제공부(215)를 포함하고, 감각 제공 장치(220)는 움직임 정보 생성부(221), 송신부(222), 수신부(223) 및 감각 출력부(224)를 포함한다. 감각 정보 제공 장치(210)는 텔리비전과 같은 디스플레이 장치(미도시)에 포함될 수 있으나, 이로 제한되는 것은 아니다. 감각 제공 장치(220)는 사용자의 손에 장착되어 압력, 온도, 진동과 같은 다양한 촉각을 제공하는 장치를 예로 들 수 있다. 감각 제공 장치(220)는 폴리머 장갑으로 형성될 수 있다. 감각 정보 제공 장치(210)의 수신부(212)및 감각 정보 제공부(215)는 도 1에서의 감각 정보 제공 장치인 텔레비전에서의 통신 모듈에 대응되고, 감각 제공 장치(220)의 송신부(222), 수신부(223)는 촉각 제공 장치의 통신 모듈에 대응된다.
시각 방향 정보 검출부(211)는 사용자의 시각 방향 정보를 검출한다. 시각 방향 정보 검출부(211)는 감각 정보 제공 장치(210)를 구비한 디스플레이 장치의 시청자의 눈을 촬영하여, 시청자의 눈동자가 디스플레이 장치 화면의 어느 부분을 보고 있는지를 감지하여, 시청자 눈동자의 시청 방향을 검출한다. 시각 방향 정보 검출부(211)는 카메라 또는 시각 방향 정보를 검출할 수 있는 센서일 수 있다.
움직임 정보 생성부(221)는 감각 제공 장치(220)의 움직임 정보를 생성한다. 예를 들어, 시청자가 감각 제공 장치(220)를 손에 착용한 채로 디스플레이 장치의 화면 상의 만져보고 싶은 객체를 향하여 감각 제공 장치(220)를 뻗는 경우, 움직임 정보 생성부(221)는 감각 제공 장치(220)의 움직인 방향, 거리 등과 같은 움직임 정보를 생성한다. 움직임 정보 생성부(221)는 지구에서 발생하는 자기장의 흐름을 파악해 나침반처럼 방위를 탐지 할 수 있는 센서인 지자기 센서 및 이동하는 물체의 가속도를 측정하는 센서인 가속도 센서를 포함할 수 있다. 또한, 움직임 정보 생성부(221)는 움직임 측정의 기준이 되는 움직임 시작 신호에 따라 움직임 측정을 한다. 움직임 시작 신호는 감각 정보 제공 장치(210)로부터 수신할 수도 있고, 감각 제공 장치(220)가 스스로 생성할 수도 있다. 움직임 시작 신호를 수신하거나, 생성하는 경우, 그 때 움직임 정보 생성부(221)는 감각 제공 장치(220)의 위치를 움직임 시작 위치로 설정하고 움직임을 측정하여 움직임 정보를 생성할 수 있다.
감각 제공 장치(220)의 송신부(222)는 생성된 감각 제공 장치(220)의 움직임 정보를 감각 정보 제공 장치(210)의 수신부(212)로 송신한다.
객체 검출부(213)는 감각 정보 제공 장치(210)의 수신부(212)가 수신한 움직임 정보에 기초하여, 감각 제공 장치(220)의 위치에 대응되는 영상에서의 객체를 검출한다. 객체 검출부(213)는 3D 영상에서 객체의 깊이 정보를 이용하여 디스플레이 장치로부터 얼만큼 떨어진 곳에서 시청자에게 보여지는 것을 파악할 수가 있다. 즉, 객체 검출부(213)는 움직임 정보에 따라, 감각 제공 장치(220)가 현재 어느 위치에 있는지 확인할 수 있으며, 그 위치에 대응되는 객체를 검출할 수 있다. 또한, 시각 방향 정보 검출부(211)에서 사용자의 시각 방향 정보를 검출한 경우에는, 객체 검출부(213)는 시각 방향 정보 및 움직임 정보에 기초하여 객체를 검출할 수가 있다. 사용자 시각의 방향으로 인하여 더욱 더 감각 제공 장치(220)의 위치를 정확하게 인식할 수 있다.
저장부(214)는 객체에 대응되는 감각 정보(예를 들어, 촉각 정보)를 저장하고 있다. 예를 들어, 객체가 얼음인 경우, 온도의 촉각 정보를 주로 하여 각종 촉각 정보가 저장되어 있다.
감각 정보 제공부(215)는 검출된 객체에 대응되는 감각 정보를 저장부(214)에서 독출하여, 감각 제공 장치(220)의 수신부(223)로 송신한다.
감각 출력부(224)는 감각 제공 장치(220)의 수신부(223)가 수신한 객체의 감각 정보에 따라 각각 제공 장치(220)를 착용한 사용자에게 감각을 제공한다.
도 3은 본 발명의 일 실시예에 따른 감각 정보 제공 방법을 나타내는 흐름도를 나타내는 도면이다.
도 3을 참조하면, 단계 310에서, 감각 정보 제공 장치는 사용자의 시각 방향 정보를 검출한다. 감각 정보 제공 장치는 감각 정보 제공 장치를 구비한 디스플레이 장치를 시청하는 시청자의 눈을 촬영하여, 시청자의 눈동자가 디스플레이 장치 화면의 어느 부분을 보고 있는지를 감지하여, 시청자 눈동자의 시청 방향을 검출한다. 감각 정보 제공 장치는 카메라 또는 시각 방향 정보를 검출할 수 있는 센서에 의하여 사용자의 시각 방향 정보를 검출할 수 있다. 단계 310은 발명의 실시에 있어서 생략 가능한 단계이다.
단계 320에서, 감각 정보 제공 장치는 감각 제공 장치의 움직임 정보를 수신한다. 구체적으로, 감각 정보 제공 장치는 감각 제공 장치의 움직임 시작 위치 정보를 수신한 후, 움직임 시작 위치에서부터의 움직임 정보를 수신한다. 감각 제공 장치의 움직임 정보는 감각 제공 장치가 디스플레이 장치 화면으로부터 어디에 얼마나 떨어진 위치에 존재하는지 파악할 수 있는 정보이다. 움직임 정보에 관한 자세한 사항은 도 4에서 설명하기로 한다.
단계 330에서, 감각 정보 제공 장치는 시각 방향 정보 및 움직임 정보에 기초하여, 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출한다. 감각 정보 제공 장치는 3D 영상에서 객체의 깊이 정보를 이용하여 디스플레이 장치로부터 얼만큼 떨어진 곳에서 시청자에게 보여지는 것을 파악할 수가 있다. 즉, 감각 정보 제공 장치는 시각 방향 정보 및 움직임 정보에 따라, 감각 제공 장치가 현재 어느 위치에 있는지 확인할 수 있으며, 그 위치에 대응되는 객체를 검출할 수 있다. 만약, 단계 310이 생략된 경우에는, 감각 정보 제공 장치는 움직임 정보에 기초하여서만 객체를 검출할 수가 있다.
감각 정보 제공 장치는 감각 정보 제공 장치에 기저장된 검출된 객체에 대응되는 감각 정보를 감각 제공 장치로 송신한다.
도 4는 본 발명의 일 실시예에 따른 감각 제공 방법에 관한 흐름도를 나타내는 도면이다.
도 4를 참조하면, 단계 410에서 감각 제공 장치는 감각 제공 장치의 움직임에 따른 움직임 정보를 생성한다. 예를 들어, 시청자가 감각 제공 장치를 손에 착용한 채로 디스플레이 장치의 화면 상의 만져보고 싶은 객체를 향하여 감각 제공 장치를 뻗는 경우, 감각 제공 장치는 감각 제공 장치의 움직인 방향, 거리 등과 같은 움직임 정보를 생성한다. 감각 제공 장치는 지구에서 발생하는 자기장의 흐름을 파악해 나침반처럼 방위를 탐지 할 수 있는 센서인 지자기 센서 및 이동하는 물체의 가속도를 측정하는 센서인 가속도 센서를 포함할 수 있다. 또한, 감각 제공 장치는 움직임 측정의 기준이 되는 움직임 시작 신호에 따라 움직임 측정을 한다. 움직임 시작 신호는 감각 정보 제공 장치로부터 수신할 수도 있고, 감각 제공 장치가 스스로 생성할 수도 있다. 움직임 시작 신호를 수신하거나, 생성하는 경우, 그 때 감각 제공 장치는 감각 제공 장치의 위치를 움직임 시작 위치로 설정하고 움직임을 측정하여 움직임 정보를 생성할 수 있다.
단계 420에서, 감각 제공 장치는 생성된 감각 제공 장치의 움직임 정보를 감각 정보 제공 장치로 송신한다.
단계 430에서, 감각 제공 장치는 움직임 정보에 기초한 감각 제공 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신한다. 객체와 객체에 대한 감각 정보는 도 3에서 설명하였으므로, 중복을 피하기 위하여 그 설명을 생략하기로 한다.
단계 440에서, 감각 제공 장치는 객체에 대한 감각 정보에 대응되는 감각(예를 들어, 압력, 온도, 진동 등과 같은 촉각)을 사용자에 대하여 출력한다.
도 5는 본 발명의 일 실시예에 따른 감각 정보 제공 장치로부터 감각 정보를 제공받아 감각 제공 장치가 감각을 제공하고 방법에 관한 흐름도를 나타내는 도면이다. 도 5는 도 3과 도 4의 방법을 시스템적인 측면에서 기술한 흐름도이다. 각각의 용어 및 단계에 대한 구체적인 절차에 대한 설명은 도 3 및 도 4에서 이미 설명하였으므로, 중복을 위하여 그 설명을 생략하고, 절차만을 기술하기로 한다.
단계 501에서, 감각 정보 제공 장치는 사용자의 시각 방향 정보를 검출한다.
단계 502에서, 감각 제공 장치는 움직임에 따른 움직임 정보를 생성한다. 움직임 정보는 감각 제공 장치에 포함된 지자기 센서 및 가속도 센서 중 적어도 하나의 센서에 의하여 생성될 수 있다. 또한, 감각 제공 장치는 폴리머 장갑으로 구현될 수도 있다.
단계 503에서, 감각 제공 장치는 움직임 정보를 감각 정보 제공 장치로 송신한다.
단계 504에서, 감각 정보 제공 장치는 감각 제공 장치의 움직임 정보 및 시각 방향 정보에 기초하여, 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출한다. 만약, 단계 501이 생략된 경우에는 감각 정보 제공 장치는 움직임 정보만으로 객체를 검출한다.
단계 505에서, 감각 정보 제공 장치는 검출된 객체에 대한 감각 정보를 감각 제공 장치로 송신한다.
단계 506에서, 감각 제공 장치는 수신한 객체에 대한 감각 정보에 대응되는 감각을 사용자에게 출력한다.
이상 설명한 바와 같은 감각 정보 제공 방법, 감각 제공 방법 및 감각 정보 제공 장치로부터 감각 정보를 제공받아 감각 제공 장치가 감각을 제공하고 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 매체를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 디스크 관리 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (29)
- 감각 정보 제공 장치가 감각 제공 장치에 감각 정보를 제공하는 방법에 있어서,
상기 감각 정보 제공 장치가 상기 감각 제공 장치의 움직임정보를 수신하는 단계;
상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는, 상기 감각 정보 제공 장치의 화면 상 디스플레이되는 영상에서의 객체를 검출하는 단계; 및
상기 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 단계를 포함하는 것을 특징으로 하는 감각 정보 제공 방법. - 제 1 항에 있어서,
상기 감각 정보 제공 장치가 사용자의 시각 방향 정보를 검출하는 단계를 더 포함하고,
상기 객체를 검출하는 단계는 상기 움직임 정보 및 시각 방향 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계를 포함하는 것을 특징으로 하는 감각 정보 제공 방법. - 제 2 항에 있어서,
상기 사용자의 시각 방향 정보를 검출하는 단계는 상기 감각 정보 제공 방법을 수행하는 장치에 포함된 촬상 장치로부터 상기 사용자의 시각 방향 정보를 검출하는 단계를 포함하는 것을 특징으로 하는 감각 정보 제공 방법. - 제 1 항에 있어서,
상기 감각 제공 장치의 움직임 정보를 수신하는 단계는 상기 감각 제공 장치의 움직임 시작 위치 정보를 수신하는 단계; 및 상기 움직임 시작 위치에서부터의 움직임 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 감각 정보 제공 방법. - 감각 제공 장치가 감각을 제공하는 방법에 있어서,
상기 감각 제공 장치의 움직임에 따른 움직임 정보를 생성하는 단계;
상기 생성된 움직임 정보를 송신하는 단계;
상기 움직임 정보에 기초한 상기 감각 제공 방법을 수행하는 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신하는 단계; 및
상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법. - 제 5 항에 있어서,
상기 움직임 정보는 지자기 센서 및 가속도 센서 중 적어도 하나의 센서에 의하여 생성되는 것을 특징으로 하는 감각 제공 방법. - 제 5 항에 있어서,
상기 감각 제공 방법을 수행하는 장치는 폴리머 장갑으로 형성되는 것을 특징으로 하는 감각 제공 방법. - 감각 제공 장치에 감각 정보를 제공하는 장치에 있어서,
상기 감각 제공 장치의 움직임 정보를 수신하는 수신부;
상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 객체 검출부;
상기 객체에 대한 감각 정보를 저장하고 있는 저장부; 및
상기 저장부에 저장된 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 감각 정보 제공부를 포함하는 것을 특징으로 하는 감각 정보 제공 장치. - 제 8 항에 있어서,
사용자의 시각 방향 정보를 검출하는 시각 방향 정보 검출부를 더 포함하고,
상기 객체 검출부는 상기 움직임 정보 및 시각 방향 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 것을 특징으로 하는 감각 정보 제공 장치. - 제 9 항에 있어서,
상기 시각 방향 정보 검출부는 촬상 장치로 구현되는 것을 특징으로 하는 감각 정보 제공 장치. - 제 8 항에 있어서,
상기 수신부는 상기 감각 제공 장치의 움직임 시작 위치 정보를 수신하고, 상기 움직임 시작 위치에서부터의 움직임 정보를 수신하는 것을 특징으로 하는 감각 정보 제공 장치. - 감각 제공 장치에 있어서,
상기 감각 제공 장치의 움직임에 따른 움직임 정보를 생성하는 정보 생성부;
상기 생성된 움직임 정보를 송신하는 송신부;
상기 움직임 정보에 기초하여 결정되는 상기 감각 제공 장치의 위치에 대응되는, 감각 정보 제공 장치에서 디스플레이되는 영상에서의 객체에 대한 감각 정보를 수신하는 수신부; 및
상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 감각 출력부를 포함하는 것을 특징으로 하는 감각 제공 장치. - 제 12 항에 있어서,
상기 움직임 정보 생성부는 지자기 센서 및 가속도 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 감각 제공 장치. - 제 12 항에 있어서,
상기 감각 출력부는 폴리머 장갑으로 형성되는 것을 특징으로 하는 감각 제공 장치. - 감각 정보 제공 장치로부터 감각 정보를 제공받아 감각 제공 장치가 감각을 제공하는 방법에 있어서,
상기 감각 제공 장치가 움직임에 따른 움직임 정보를 생성하는 단계;
상기 감각 제공 장치가 움직임 정보를 상기 감각 정보 제공 장치로 송신하는 단계;
상기 감각 정보 제공 장치가 수신한 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계;
상기 감각 정보 제공 장치가 상기 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 송신하는 단계; 및
상기 감각 제공 장치가 상기 수신한 객체에 대한 감각 정보에 대응되는 감각을 출력하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법. - 제 15 항에 있어서,
상기 감각 정보 제공 장치가 사용자의 시각 방향 정보를 검출하는 단계를 더 포함하고,
상기 감각 정보 제공 장치가 상기 객체를 검출하는 단계는 상기 감각 정보 제공 장치가 상기 움직임 정보 및 시각 방향 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법. - 제 16 항에 있어서,
상기 감각 정보 제공 장치가 상기 사용자의 시각 방향 정보를 검출하는 단계는 상기 감각 정보 제공 장치가 촬상 장치로부터 상기 사용자의 시각 방향 정보를 검출하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법. - 제 15 항에 있어서,
상기 감각 정보 제공 장치가 상기 감각 제공 장치의 움직임 정보를 수신하는 단계는 상기 감각 정보 제공 장치가 상기 감각 제공 장치의 움직임 시작 위치 정보를 수신하는 단계; 및 상기 감각 정보 제공 장치가 상기 움직임 시작 위치에서부터의 움직임 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법. - 제 15 항에 있어서,
상기 움직임 정보는 지자기 센서 및 가속도 센서 중 적어도 하나의 센서에 의하여 생성되는 것을 특징으로 하는 감각 제공 방법. - 제 15 항에 있어서,
상기 감각 제공 장치는 폴리머 장갑으로 형성되는 것을 특징으로 하는 감각 제공 방법. - 감각 제공 시스템에 있어서,
감각 제공 장치의 움직임 정보를 수신하는 수신부;
상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 객체 검출부;
상기 객체에 대한 감각 정보를 저장하고 있는 저장부; 및
상기 저장부에 저장된 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 감각 정보 제공부를 포함하는 것을 특징으로 하는 감각 정보 제공 장치와,
상기 감각 제공 장치의 움직임에 따른 움직임 정보를 생성하는 정보 생성부;
상기 생성된 움직임 정보를 송신하는 송신부;
상기 움직임 정보에 기초한 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신하는 수신부; 및
상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 감각 출력부를 포함하는 것을 특징으로 하는 감각 제공 장치를 포함하는 것을 특징으로 하는 감각 제공 시스템. - 제 21 항에 있어서,
상기 감각 정보 제공 장치는 사용자의 시각 방향 정보를 검출하는 시각 방향 정보 검출부를 더 포함하고,
상기 객체 검출부는 상기 움직임 정보 및 시각 방향 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 것을 특징으로 하는 감각 제공 시스템. - 제 22 항에 있어서,
상기 시각 방향 정보 검출부는 촬상 장치로 구현되는 것을 특징으로 하는 감각 제공 시스템. - 제 21 항에 있어서,
상기 감각 정보 제공 장치의 수신부는 상기 감각 제공 장치의 움직임 시작 위치 정보를 수신하고, 상기 움직임 시작 위치에서부터의 움직임 정보를 수신하는 것을 특징으로 하는 감각 제공 시스템. - 제 21 항에 있어서,
상기 움직임 정보 생성부는 지자기 센서 및 가속도 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 감각 제공 시스템. - 제 21 항에 있어서,
상기 감각 출력부는 폴리머 장갑으로 형성되는 것을 특징으로 하는 감각 제공 시스템. - 감각 정보 제공 장치가 감각 제공 장치에 감각 정보를 제공하는 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
상기 감각 정보 제공 장치가 상기 감각 제공 장치의 움직임 정보를 수신하는 단계;
상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는, 상기 감각 정보 제공 장치의 화면 상 디스플레이된 영상에서의 객체를 검출하는 단계; 및
상기 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 단계를 포함하는 것을 특징으로 하는 감각 정보 제공 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체. - 감각 제공 장치가 감각을 제공하는 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
상기 감각 제공 장치의 움직임에 따른 움직임 정보를 생성하는 단계;
상기 생성된 움직임 정보를 송신하는 단계;
상기 움직임 정보에 기초하여 결정되는 상기 감각 제공 장치의 위치에 대응되는, 감각 제공 정보 장치에서 디스플레이되는 영상에서의 객체에 대한 감각 정보를 수신하는 단계; 및
상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체. - 감각 정보 제공 장치로부터 감각 정보를 제공받아 감각 제공 장치가 감각을 제공하고 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
상기 감각 제공 장치가 움직임에 따른 움직임 정보를 생성하는 단계;
상기 감각 제공 장치가 움직임 정보를 상기 감각 정보 제공 장치로 송신하는 단계;
상기 감각 정보 제공 장치가 수신한 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계;
상기 감각 정보 제공 장치가 상기 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 송신하는 단계; 및
상기 감각 제공 장치가 상기 수신한 객체에 대한 감각 정보에 대응되는 감각을 출력하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100131661A KR101871359B1 (ko) | 2010-12-21 | 2010-12-21 | 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 |
PCT/KR2011/009793 WO2012086984A2 (en) | 2010-12-21 | 2011-12-19 | Method, device, and system for providing sensory information and sense |
US13/329,962 US8766785B2 (en) | 2010-12-21 | 2011-12-19 | Method, device, and system for providing sensory information and sense |
EP11851008.0A EP2656308B1 (en) | 2010-12-21 | 2011-12-19 | Method, device, and system for providing sensory information and sense |
US14/319,912 US9483116B2 (en) | 2010-12-21 | 2014-06-30 | Method, device, and system for providing sensory information and sense |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100131661A KR101871359B1 (ko) | 2010-12-21 | 2010-12-21 | 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120070209A KR20120070209A (ko) | 2012-06-29 |
KR101871359B1 true KR101871359B1 (ko) | 2018-08-02 |
Family
ID=46233641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100131661A KR101871359B1 (ko) | 2010-12-21 | 2010-12-21 | 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8766785B2 (ko) |
EP (1) | EP2656308B1 (ko) |
KR (1) | KR101871359B1 (ko) |
WO (1) | WO2012086984A2 (ko) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101871359B1 (ko) * | 2010-12-21 | 2018-08-02 | 삼성전자주식회사 | 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 |
US9225969B2 (en) | 2013-02-11 | 2015-12-29 | EchoPixel, Inc. | Graphical system with enhanced stereopsis |
US9395816B2 (en) * | 2013-02-28 | 2016-07-19 | Lg Electronics Inc. | Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same |
US10338678B2 (en) | 2014-01-07 | 2019-07-02 | Nod, Inc. | Methods and apparatus for recognition of start and/or stop portions of a gesture using an auxiliary sensor |
US10338685B2 (en) * | 2014-01-07 | 2019-07-02 | Nod, Inc. | Methods and apparatus recognition of start and/or stop portions of a gesture using relative coordinate system boundaries |
US10976819B2 (en) * | 2015-12-28 | 2021-04-13 | Microsoft Technology Licensing, Llc | Haptic feedback for non-touch surface interaction |
US11073902B1 (en) * | 2019-12-30 | 2021-07-27 | Facebook Technologies, Llc | Using skeletal position to predict virtual boundary activation |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366271A (ja) | 2001-06-13 | 2002-12-20 | Sharp Corp | 画像表示システムおよび画像表示方法 |
JP2005537596A (ja) | 2002-07-18 | 2005-12-08 | 株式会社ソニー・コンピュータエンタテインメント | 把持式コンピュータインタラクティブデバイス |
US20050285853A1 (en) | 2004-06-29 | 2005-12-29 | Ge Medical Systems Information Technologies, Inc. | 3D display system and method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020036617A1 (en) * | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
JP2003337963A (ja) * | 2002-05-17 | 2003-11-28 | Seiko Epson Corp | 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体 |
JP4111278B2 (ja) * | 2003-11-20 | 2008-07-02 | 独立行政法人産業技術総合研究所 | 触力覚情報提示システム |
KR100571428B1 (ko) * | 2003-12-24 | 2006-04-17 | 한국전자통신연구원 | 착용형 인터페이스 장치 |
US20050285844A1 (en) * | 2004-06-29 | 2005-12-29 | Ge Medical Systems Information Technologies, Inc. | 3D display system and method |
KR100855471B1 (ko) | 2006-09-19 | 2008-09-01 | 삼성전자주식회사 | 입력 장치 및 상기 입력 장치의 이동 정보를 제공하는 방법 |
US9383823B2 (en) * | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
KR101871359B1 (ko) * | 2010-12-21 | 2018-08-02 | 삼성전자주식회사 | 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 |
-
2010
- 2010-12-21 KR KR1020100131661A patent/KR101871359B1/ko active IP Right Grant
-
2011
- 2011-12-19 US US13/329,962 patent/US8766785B2/en active Active
- 2011-12-19 WO PCT/KR2011/009793 patent/WO2012086984A2/en active Application Filing
- 2011-12-19 EP EP11851008.0A patent/EP2656308B1/en active Active
-
2014
- 2014-06-30 US US14/319,912 patent/US9483116B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366271A (ja) | 2001-06-13 | 2002-12-20 | Sharp Corp | 画像表示システムおよび画像表示方法 |
JP2005537596A (ja) | 2002-07-18 | 2005-12-08 | 株式会社ソニー・コンピュータエンタテインメント | 把持式コンピュータインタラクティブデバイス |
US20050285853A1 (en) | 2004-06-29 | 2005-12-29 | Ge Medical Systems Information Technologies, Inc. | 3D display system and method |
Also Published As
Publication number | Publication date |
---|---|
WO2012086984A3 (en) | 2012-10-04 |
KR20120070209A (ko) | 2012-06-29 |
US8766785B2 (en) | 2014-07-01 |
US9483116B2 (en) | 2016-11-01 |
EP2656308A4 (en) | 2016-09-28 |
WO2012086984A2 (en) | 2012-06-28 |
EP2656308B1 (en) | 2020-03-25 |
US20120154132A1 (en) | 2012-06-21 |
US20140359437A1 (en) | 2014-12-04 |
EP2656308A2 (en) | 2013-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101871359B1 (ko) | 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 | |
CN110647237B (zh) | 在人工现实环境中基于手势的内容共享 | |
US20220107687A1 (en) | Touch free interface for augmented reality systems | |
CN110646938B (zh) | 近眼显示器系统 | |
US10635895B2 (en) | Gesture-based casting and manipulation of virtual content in artificial-reality environments | |
EP3179292B1 (en) | Head-mounted display device and control method therefor | |
TWI722280B (zh) | 用於多個自由度之控制器追蹤 | |
US9613262B2 (en) | Object detection and tracking for providing a virtual device experience | |
KR100911376B1 (ko) | 투명 디스플레이를 이용한 증강 현실 구현 방법 및 장치 | |
CN106796452B (zh) | 头戴式显示装置及其控制方法、计算机可读介质 | |
US20130278503A1 (en) | Gesture operation input processing apparatus and gesture operation input processing method | |
TWI508525B (zh) | 行動終端機及控制該行動終端機操作的方法 | |
KR101341727B1 (ko) | 3d gui 제어 장치 및 방법 | |
KR20110063075A (ko) | 제스처 입력 장치 및 이를 이용한 제스처 인식 방법 및 장치 | |
JP5013398B2 (ja) | 複合現実感システムとそのイベント入力方法 | |
CN102508562A (zh) | 一种立体交互系统 | |
KR101811809B1 (ko) | 3d hmd를 활용한 아케이드 게임시스템 | |
CN107077199A (zh) | 用于在三维显示器上呈现虚拟对象的装置及用于控制装置的方法 | |
US20200103959A1 (en) | Drift Cancelation for Portable Object Detection and Tracking | |
KR101522842B1 (ko) | 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법 | |
CN102508561A (zh) | 一种操作棒 | |
KR20100075282A (ko) | 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리방법 및 스크린장치 | |
KR101043638B1 (ko) | 원격 입력기능을 갖는 입체 영상장치 | |
CN116204060A (zh) | 鼠标指针基于手势的移动和操纵 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |