KR101871359B1 - 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 - Google Patents

감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 Download PDF

Info

Publication number
KR101871359B1
KR101871359B1 KR1020100131661A KR20100131661A KR101871359B1 KR 101871359 B1 KR101871359 B1 KR 101871359B1 KR 1020100131661 A KR1020100131661 A KR 1020100131661A KR 20100131661 A KR20100131661 A KR 20100131661A KR 101871359 B1 KR101871359 B1 KR 101871359B1
Authority
KR
South Korea
Prior art keywords
sensory
information
providing apparatus
providing
motion
Prior art date
Application number
KR1020100131661A
Other languages
English (en)
Other versions
KR20120070209A (ko
Inventor
이문주
고준호
이양운
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100131661A priority Critical patent/KR101871359B1/ko
Priority to PCT/KR2011/009793 priority patent/WO2012086984A2/en
Priority to US13/329,962 priority patent/US8766785B2/en
Priority to EP11851008.0A priority patent/EP2656308B1/en
Publication of KR20120070209A publication Critical patent/KR20120070209A/ko
Priority to US14/319,912 priority patent/US9483116B2/en
Application granted granted Critical
Publication of KR101871359B1 publication Critical patent/KR101871359B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Burglar Alarm Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

감각 제공 장치의 움직임 정보를 수신하고, 움직임 정보에 기초하여, 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하여 검출된 객체에 대한 감각 정보를 감각 제공 장치로 제공하는 감각 정보 제공 방법과 감각 제공 방법을 수행하는 장치의 움직임에 따른 움직임 정보를 생성하고, 생성된 움직임 정보를 송신하고, 움직임 정보에 기초한 감각 제공 방법을 수행하는 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신하여 객체에 대한 감각 정보에 대응되는 감각을 출력하는 감각 제공 방법이 개시되어 있다.

Description

감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템{Method, apparatus, and system for providing sensitivity information and sensitivity}
본 발명의 일 실시예는 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템에 관한 것으로, 더욱 상세하게는 4D 기술에서 감각 제공 장치의 움직임 정보를 이용하여 객체를 파악한 후, 객체에 대한 감각을 사용자에게 제공하는 방법, 그 장치 및 그 시스템에 관한 것이다.
종래에는 텔레비전에 다수 개의 카메라를 설치하고, 시청자의 손가락에 설치된 촉각을 제공할 수 있는 장치를 카메라로 추적하여, 텔레비전 화면 상의 어떤 객체를 사용자가 만지는지를 계산하였다. 그 후, 텔레비전 상의 객체의 촉각 정보를 사용자의 손가락에 설치된 촉각 제공 장치에 전송하여, 사용자가 객체의 촉감을 느끼도록 하였다.
본 발명이 해결하고자 하는 기술적 과제는 다수의 카메라를 요구하지 않고, 감각 제공 장치에 포함된 센서를 이용하여, 감각 제공 장치의 움직임을 파악하고, 이를 이용하여 객체를 검출하여 감각 정보를 제공하는 방법, 그 장치 및 시스템을 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 감각 제공 장치에 감각 정보를 제공하는 방법은 상기 감각 제공 장치의 움직임 정보를 수신하는 단계; 상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계; 및 상기 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 단계를 포함한다.
상기 감각 정보 제공 방법은 사용자의 시각 방향 정보를 검출하는 단계를 더 포함하고, 상기 객체를 검출하는 단계는 상기 움직임 정보 및 시각 방향 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계를 포함할 수 있다.
상기 사용자의 시각 방향 정보를 검출하는 단계는 상기 감각 정보 제공 방법을 수행하는 장치에 포함된 촬상 장치로부터 상기 사용자의 시각 방향 정보를 검출하는 단계를 포함할 수 있다.
상기 감각 제공 장치의 움직임 정보를 수신하는 단계는 상기 감각 제공 장치의 움직임 시작 위치 정보를 수신하는 단계; 및 상기 움직임 시작 위치에서부터의 움직임 정보를 수신하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따라, 감각을 제공하는 방법은 상기 감각 제공 방법을 수행하는 장치의 움직임에 따른 움직임 정보를 생성하는 단계; 상기 생성된 움직임 정보를 송신하는 단계; 상기 움직임 정보에 기초한 상기 감각 제공 방법을 수행하는 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신하는 단계; 및 상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 단계를 포함한다.
상기 움직임 정보는 지자기 센서 및 가속도 센서 중 적어도 하나의 센서에 의하여 생성될 수 있다.
상기 감각 제공 방법을 수행하는 장치는 폴리머 장갑으로 형성될 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따라, 감각 제공 장치에 감각 정보를 제공하는 장치는 상기 감각 제공 장치의 움직임 정보를 수신하는 수신부; 상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 객체 검출부; 상기 객체에 대한 감각 정보를 저장하고 있는 저장부; 및 상기 저장부에 저장된 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 감각 정보 제공부를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따라, 감각 제공 장치는 상기 감각 제공 장치의 움직임에 따른 움직임 정보를 생성하는 정보 생성부; 상기 생성된 움직임 정보를 송신하는 송신부; 상기 움직임 정보에 기초한 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신하는 수신부; 및 상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 감각 출력부를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따라, 감각 정보 제공 장치로부터 감각 정보를 제공받아 감각 제공 장치가 감각을 제공하는 방법은 상기 감각 제공 장치가 움직임에 따른 움직임 정보를 생성하는 단계; 상기 감각 제공 장치가 움직임 정보를 상기 감각 정보 제공 장치로 송신하는 단계; 상기 감각 정보 제공 장치가 수신한 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계; 상기 감각 정보 제공 장치가 상기 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 송신하는 단계; 및 상기 감각 제공 장치가 상기 수신한 객체에 대한 감각 정보에 대응되는 감각을 출력하는 단계를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따라, 감각 제공 시스템은 감각 제공 장치의 움직임 정보를 수신하는 수신부; 상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 객체 검출부; 상기 객체에 대한 감각 정보를 저장하고 있는 저장부; 및 상기 저장부에 저장된 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 감각 정보 제공부를 포함하는 것을 특징으로 하는 감각 정보 제공 장치와, 상기 감각 제공 장치의 움직임에 따른 움직임 정보를 생성하는 정보 생성부; 상기 생성된 움직임 정보를 송신하는 송신부; 상기 움직임 정보에 기초한 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신하는 수신부; 및 상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 감각 출력부를 포함하는 것을 특징으로 하는 감각 제공 장치를 포함한다.
도 1a 및 도 1b은 본 발명의 일 실시예에 따른 감각 제공 시스템에 관한 예를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 감각 제공 시스템에 관한 블록 다이어그램을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 감각 정보 제공 방법을 나타내는 흐름도를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 감각 제공 방법에 관한 흐름도를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 감각 정보 제공 장치로부터 감각 정보를 제공받아 감각 제공 장치가 감각을 제공하고 방법에 관한 흐름도를 나타내는 도면이다.
본 발명은 영상 및 음향 외에 사용자에게 물리적 효과(physical effects)인 감각까지 제공하는 4D 기술에 관한 것이다. 4D 기술이란 3D 입체영상(Stereoscopic 3D)과 함께 물리적 효과를 제공함으로써 사용자에게 실감을 더해주는 기술을 의미한다. 여기에서, 4D 기술은 물리적 효과를 제공함으로써 구현되는 것으로, 반드시 3D 입체영상을 동반해야 하는 것은 아니며, 2D 일반영상에 물리적 효과를 제공함으로써 구현될 수도 있다. 물리적 효과의 예로는 바람(Air), 진동(Vibration), 좌석 움직임(Motion Control), 물(Water), 냄새(Smell), 빛(Light) 등과 같은 범주로 나눠볼 수 있으며 매우 다양하다. 본 발명의 일 실시예에서는, 3D 입체 영상을 제공하는 디스플레이 장치와 촉각을 감지할 수 있는 장치를 예로 들어서 설명하기로 한다. 그러나, 이에 제한되는 것은 아니다.
첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1a 및 도 1b은 본 발명의 일 실시예에 따른 감각 제공 시스템에 관한 예를 나타내는 도면이다.
도 1a를 참조하면, 감각 정보 제공 장치 및 사용자(100)가 착용한 감각 제공 장치가 도시되어 있다. 도 1a에서는, 감각 정보 제공 장치의 예로, 디스플레이 화면(111), 감각 제공 장치와 통신이 가능한 통신 모듈(112) 및 사용자의 시각 방향을 인식할 수 있는 카메라(113)를 구비한 디스플레이 장치(110)가 도시되어 있으며, 감각 제공 장치의 예로는, 사용자(100)에게 촉각을 제공하는 촉각 장치(120)가 도시되어 있다. 촉각 장치(120) 또한 디스플레이 장치(110)와 통신이 가능한 통신 모듈(미도시)를 구비하고 있다.
촉각 장치(120)는 촉각 장치(120)에 구비된 센서를 통하여 촉각 장치의 움직임으로 인한 움직임 정보를 생성할 수 있다. 그 후, 촉각 장치(120)는 움직임 정보를 디스플레이 장치(110)로 송신한다. 디스플레이 장치(110)는 움직임 정보에 기초하여, 촉각 장치(120)의 위치에 대응되는 디스플레이 화면(111) 상에서의 객체를 검출한다. 그 후, 디스플레이 장치(110)는 검출된 객체에 대응하는 촉각 정보를 추출하여, 통신 모듈(112)을 통하여 촉각 장치(120)로 송신한다. 그러면, 촉각 장치(120)는 촉각 정보에 대응되는 촉각을 사용자에게 출력한다.
도 1b를 참조하면, 디스플레이 장치(110)의 카메라(113)는 사용자(100)의 눈의 시각 방향 정보를 검출한다. 이 경우, 도 1a와는 달리 디스플레이 장치(110)는 시각 방향 정보 및 움직임 정보에 기초하여 객체를 검출할 수 있다. 이 경우, 더욱 정확하게 위치하는 객체를 검출할 수가 있다.
도 1은 본 발명의 개략적인 설명으로 도 2 내지 도 5에서 더욱 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 감각 제공 시스템에 관한 블록 다이어그램을 나타내는 도면이다.
감각 제공 시스템(200)은 감각 정보 제공 장치(210) 및 감각 제공 장치(220)를 포함한다. 감각 정보 제공 장치(210)는 시각 방향 정보 검출부(211), 수신부(212), 객체 검출부(213), 저장부(214) 및 감각 정보 제공부(215)를 포함하고, 감각 제공 장치(220)는 움직임 정보 생성부(221), 송신부(222), 수신부(223) 및 감각 출력부(224)를 포함한다. 감각 정보 제공 장치(210)는 텔리비전과 같은 디스플레이 장치(미도시)에 포함될 수 있으나, 이로 제한되는 것은 아니다. 감각 제공 장치(220)는 사용자의 손에 장착되어 압력, 온도, 진동과 같은 다양한 촉각을 제공하는 장치를 예로 들 수 있다. 감각 제공 장치(220)는 폴리머 장갑으로 형성될 수 있다. 감각 정보 제공 장치(210)의 수신부(212)및 감각 정보 제공부(215)는 도 1에서의 감각 정보 제공 장치인 텔레비전에서의 통신 모듈에 대응되고, 감각 제공 장치(220)의 송신부(222), 수신부(223)는 촉각 제공 장치의 통신 모듈에 대응된다.
시각 방향 정보 검출부(211)는 사용자의 시각 방향 정보를 검출한다. 시각 방향 정보 검출부(211)는 감각 정보 제공 장치(210)를 구비한 디스플레이 장치의 시청자의 눈을 촬영하여, 시청자의 눈동자가 디스플레이 장치 화면의 어느 부분을 보고 있는지를 감지하여, 시청자 눈동자의 시청 방향을 검출한다. 시각 방향 정보 검출부(211)는 카메라 또는 시각 방향 정보를 검출할 수 있는 센서일 수 있다.
움직임 정보 생성부(221)는 감각 제공 장치(220)의 움직임 정보를 생성한다. 예를 들어, 시청자가 감각 제공 장치(220)를 손에 착용한 채로 디스플레이 장치의 화면 상의 만져보고 싶은 객체를 향하여 감각 제공 장치(220)를 뻗는 경우, 움직임 정보 생성부(221)는 감각 제공 장치(220)의 움직인 방향, 거리 등과 같은 움직임 정보를 생성한다. 움직임 정보 생성부(221)는 지구에서 발생하는 자기장의 흐름을 파악해 나침반처럼 방위를 탐지 할 수 있는 센서인 지자기 센서 및 이동하는 물체의 가속도를 측정하는 센서인 가속도 센서를 포함할 수 있다. 또한, 움직임 정보 생성부(221)는 움직임 측정의 기준이 되는 움직임 시작 신호에 따라 움직임 측정을 한다. 움직임 시작 신호는 감각 정보 제공 장치(210)로부터 수신할 수도 있고, 감각 제공 장치(220)가 스스로 생성할 수도 있다. 움직임 시작 신호를 수신하거나, 생성하는 경우, 그 때 움직임 정보 생성부(221)는 감각 제공 장치(220)의 위치를 움직임 시작 위치로 설정하고 움직임을 측정하여 움직임 정보를 생성할 수 있다.
감각 제공 장치(220)의 송신부(222)는 생성된 감각 제공 장치(220)의 움직임 정보를 감각 정보 제공 장치(210)의 수신부(212)로 송신한다.
객체 검출부(213)는 감각 정보 제공 장치(210)의 수신부(212)가 수신한 움직임 정보에 기초하여, 감각 제공 장치(220)의 위치에 대응되는 영상에서의 객체를 검출한다. 객체 검출부(213)는 3D 영상에서 객체의 깊이 정보를 이용하여 디스플레이 장치로부터 얼만큼 떨어진 곳에서 시청자에게 보여지는 것을 파악할 수가 있다. 즉, 객체 검출부(213)는 움직임 정보에 따라, 감각 제공 장치(220)가 현재 어느 위치에 있는지 확인할 수 있으며, 그 위치에 대응되는 객체를 검출할 수 있다. 또한, 시각 방향 정보 검출부(211)에서 사용자의 시각 방향 정보를 검출한 경우에는, 객체 검출부(213)는 시각 방향 정보 및 움직임 정보에 기초하여 객체를 검출할 수가 있다. 사용자 시각의 방향으로 인하여 더욱 더 감각 제공 장치(220)의 위치를 정확하게 인식할 수 있다.
저장부(214)는 객체에 대응되는 감각 정보(예를 들어, 촉각 정보)를 저장하고 있다. 예를 들어, 객체가 얼음인 경우, 온도의 촉각 정보를 주로 하여 각종 촉각 정보가 저장되어 있다.
감각 정보 제공부(215)는 검출된 객체에 대응되는 감각 정보를 저장부(214)에서 독출하여, 감각 제공 장치(220)의 수신부(223)로 송신한다.
감각 출력부(224)는 감각 제공 장치(220)의 수신부(223)가 수신한 객체의 감각 정보에 따라 각각 제공 장치(220)를 착용한 사용자에게 감각을 제공한다.
도 3은 본 발명의 일 실시예에 따른 감각 정보 제공 방법을 나타내는 흐름도를 나타내는 도면이다.
도 3을 참조하면, 단계 310에서, 감각 정보 제공 장치는 사용자의 시각 방향 정보를 검출한다. 감각 정보 제공 장치는 감각 정보 제공 장치를 구비한 디스플레이 장치를 시청하는 시청자의 눈을 촬영하여, 시청자의 눈동자가 디스플레이 장치 화면의 어느 부분을 보고 있는지를 감지하여, 시청자 눈동자의 시청 방향을 검출한다. 감각 정보 제공 장치는 카메라 또는 시각 방향 정보를 검출할 수 있는 센서에 의하여 사용자의 시각 방향 정보를 검출할 수 있다. 단계 310은 발명의 실시에 있어서 생략 가능한 단계이다.
단계 320에서, 감각 정보 제공 장치는 감각 제공 장치의 움직임 정보를 수신한다. 구체적으로, 감각 정보 제공 장치는 감각 제공 장치의 움직임 시작 위치 정보를 수신한 후, 움직임 시작 위치에서부터의 움직임 정보를 수신한다. 감각 제공 장치의 움직임 정보는 감각 제공 장치가 디스플레이 장치 화면으로부터 어디에 얼마나 떨어진 위치에 존재하는지 파악할 수 있는 정보이다. 움직임 정보에 관한 자세한 사항은 도 4에서 설명하기로 한다.
단계 330에서, 감각 정보 제공 장치는 시각 방향 정보 및 움직임 정보에 기초하여, 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출한다. 감각 정보 제공 장치는 3D 영상에서 객체의 깊이 정보를 이용하여 디스플레이 장치로부터 얼만큼 떨어진 곳에서 시청자에게 보여지는 것을 파악할 수가 있다. 즉, 감각 정보 제공 장치는 시각 방향 정보 및 움직임 정보에 따라, 감각 제공 장치가 현재 어느 위치에 있는지 확인할 수 있으며, 그 위치에 대응되는 객체를 검출할 수 있다. 만약, 단계 310이 생략된 경우에는, 감각 정보 제공 장치는 움직임 정보에 기초하여서만 객체를 검출할 수가 있다.
감각 정보 제공 장치는 감각 정보 제공 장치에 기저장된 검출된 객체에 대응되는 감각 정보를 감각 제공 장치로 송신한다.
도 4는 본 발명의 일 실시예에 따른 감각 제공 방법에 관한 흐름도를 나타내는 도면이다.
도 4를 참조하면, 단계 410에서 감각 제공 장치는 감각 제공 장치의 움직임에 따른 움직임 정보를 생성한다. 예를 들어, 시청자가 감각 제공 장치를 손에 착용한 채로 디스플레이 장치의 화면 상의 만져보고 싶은 객체를 향하여 감각 제공 장치를 뻗는 경우, 감각 제공 장치는 감각 제공 장치의 움직인 방향, 거리 등과 같은 움직임 정보를 생성한다. 감각 제공 장치는 지구에서 발생하는 자기장의 흐름을 파악해 나침반처럼 방위를 탐지 할 수 있는 센서인 지자기 센서 및 이동하는 물체의 가속도를 측정하는 센서인 가속도 센서를 포함할 수 있다. 또한, 감각 제공 장치는 움직임 측정의 기준이 되는 움직임 시작 신호에 따라 움직임 측정을 한다. 움직임 시작 신호는 감각 정보 제공 장치로부터 수신할 수도 있고, 감각 제공 장치가 스스로 생성할 수도 있다. 움직임 시작 신호를 수신하거나, 생성하는 경우, 그 때 감각 제공 장치는 감각 제공 장치의 위치를 움직임 시작 위치로 설정하고 움직임을 측정하여 움직임 정보를 생성할 수 있다.
단계 420에서, 감각 제공 장치는 생성된 감각 제공 장치의 움직임 정보를 감각 정보 제공 장치로 송신한다.
단계 430에서, 감각 제공 장치는 움직임 정보에 기초한 감각 제공 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신한다. 객체와 객체에 대한 감각 정보는 도 3에서 설명하였으므로, 중복을 피하기 위하여 그 설명을 생략하기로 한다.
단계 440에서, 감각 제공 장치는 객체에 대한 감각 정보에 대응되는 감각(예를 들어, 압력, 온도, 진동 등과 같은 촉각)을 사용자에 대하여 출력한다.
도 5는 본 발명의 일 실시예에 따른 감각 정보 제공 장치로부터 감각 정보를 제공받아 감각 제공 장치가 감각을 제공하고 방법에 관한 흐름도를 나타내는 도면이다. 도 5는 도 3과 도 4의 방법을 시스템적인 측면에서 기술한 흐름도이다. 각각의 용어 및 단계에 대한 구체적인 절차에 대한 설명은 도 3 및 도 4에서 이미 설명하였으므로, 중복을 위하여 그 설명을 생략하고, 절차만을 기술하기로 한다.
단계 501에서, 감각 정보 제공 장치는 사용자의 시각 방향 정보를 검출한다.
단계 502에서, 감각 제공 장치는 움직임에 따른 움직임 정보를 생성한다. 움직임 정보는 감각 제공 장치에 포함된 지자기 센서 및 가속도 센서 중 적어도 하나의 센서에 의하여 생성될 수 있다. 또한, 감각 제공 장치는 폴리머 장갑으로 구현될 수도 있다.
단계 503에서, 감각 제공 장치는 움직임 정보를 감각 정보 제공 장치로 송신한다.
단계 504에서, 감각 정보 제공 장치는 감각 제공 장치의 움직임 정보 및 시각 방향 정보에 기초하여, 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출한다. 만약, 단계 501이 생략된 경우에는 감각 정보 제공 장치는 움직임 정보만으로 객체를 검출한다.
단계 505에서, 감각 정보 제공 장치는 검출된 객체에 대한 감각 정보를 감각 제공 장치로 송신한다.
단계 506에서, 감각 제공 장치는 수신한 객체에 대한 감각 정보에 대응되는 감각을 사용자에게 출력한다.
이상 설명한 바와 같은 감각 정보 제공 방법, 감각 제공 방법 및 감각 정보 제공 장치로부터 감각 정보를 제공받아 감각 제공 장치가 감각을 제공하고 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 매체를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 디스크 관리 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (29)

  1. 감각 정보 제공 장치가 감각 제공 장치에 감각 정보를 제공하는 방법에 있어서,
    상기 감각 정보 제공 장치가 상기 감각 제공 장치의 움직임정보를 수신하는 단계;
    상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는, 상기 감각 정보 제공 장치의 화면 상 디스플레이되는 영상에서의 객체를 검출하는 단계; 및
    상기 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 단계를 포함하는 것을 특징으로 하는 감각 정보 제공 방법.
  2. 제 1 항에 있어서,
    상기 감각 정보 제공 장치가 사용자의 시각 방향 정보를 검출하는 단계를 더 포함하고,
    상기 객체를 검출하는 단계는 상기 움직임 정보 및 시각 방향 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계를 포함하는 것을 특징으로 하는 감각 정보 제공 방법.
  3. 제 2 항에 있어서,
    상기 사용자의 시각 방향 정보를 검출하는 단계는 상기 감각 정보 제공 방법을 수행하는 장치에 포함된 촬상 장치로부터 상기 사용자의 시각 방향 정보를 검출하는 단계를 포함하는 것을 특징으로 하는 감각 정보 제공 방법.
  4. 제 1 항에 있어서,
    상기 감각 제공 장치의 움직임 정보를 수신하는 단계는 상기 감각 제공 장치의 움직임 시작 위치 정보를 수신하는 단계; 및 상기 움직임 시작 위치에서부터의 움직임 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 감각 정보 제공 방법.
  5. 감각 제공 장치가 감각을 제공하는 방법에 있어서,
    상기 감각 제공 장치의 움직임에 따른 움직임 정보를 생성하는 단계;
    상기 생성된 움직임 정보를 송신하는 단계;
    상기 움직임 정보에 기초한 상기 감각 제공 방법을 수행하는 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신하는 단계; 및
    상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법.
  6. 제 5 항에 있어서,
    상기 움직임 정보는 지자기 센서 및 가속도 센서 중 적어도 하나의 센서에 의하여 생성되는 것을 특징으로 하는 감각 제공 방법.
  7. 제 5 항에 있어서,
    상기 감각 제공 방법을 수행하는 장치는 폴리머 장갑으로 형성되는 것을 특징으로 하는 감각 제공 방법.
  8. 감각 제공 장치에 감각 정보를 제공하는 장치에 있어서,
    상기 감각 제공 장치의 움직임 정보를 수신하는 수신부;
    상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 객체 검출부;
    상기 객체에 대한 감각 정보를 저장하고 있는 저장부; 및
    상기 저장부에 저장된 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 감각 정보 제공부를 포함하는 것을 특징으로 하는 감각 정보 제공 장치.
  9. 제 8 항에 있어서,
    사용자의 시각 방향 정보를 검출하는 시각 방향 정보 검출부를 더 포함하고,
    상기 객체 검출부는 상기 움직임 정보 및 시각 방향 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 것을 특징으로 하는 감각 정보 제공 장치.
  10. 제 9 항에 있어서,
    상기 시각 방향 정보 검출부는 촬상 장치로 구현되는 것을 특징으로 하는 감각 정보 제공 장치.
  11. 제 8 항에 있어서,
    상기 수신부는 상기 감각 제공 장치의 움직임 시작 위치 정보를 수신하고, 상기 움직임 시작 위치에서부터의 움직임 정보를 수신하는 것을 특징으로 하는 감각 정보 제공 장치.
  12. 감각 제공 장치에 있어서,
    상기 감각 제공 장치의 움직임에 따른 움직임 정보를 생성하는 정보 생성부;
    상기 생성된 움직임 정보를 송신하는 송신부;
    상기 움직임 정보에 기초하여 결정되는 상기 감각 제공 장치의 위치에 대응되는, 감각 정보 제공 장치에서 디스플레이되는 영상에서의 객체에 대한 감각 정보를 수신하는 수신부; 및
    상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 감각 출력부를 포함하는 것을 특징으로 하는 감각 제공 장치.
  13. 제 12 항에 있어서,
    상기 움직임 정보 생성부는 지자기 센서 및 가속도 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 감각 제공 장치.
  14. 제 12 항에 있어서,
    상기 감각 출력부는 폴리머 장갑으로 형성되는 것을 특징으로 하는 감각 제공 장치.
  15. 감각 정보 제공 장치로부터 감각 정보를 제공받아 감각 제공 장치가 감각을 제공하는 방법에 있어서,
    상기 감각 제공 장치가 움직임에 따른 움직임 정보를 생성하는 단계;
    상기 감각 제공 장치가 움직임 정보를 상기 감각 정보 제공 장치로 송신하는 단계;
    상기 감각 정보 제공 장치가 수신한 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계;
    상기 감각 정보 제공 장치가 상기 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 송신하는 단계; 및
    상기 감각 제공 장치가 상기 수신한 객체에 대한 감각 정보에 대응되는 감각을 출력하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법.
  16. 제 15 항에 있어서,
    상기 감각 정보 제공 장치가 사용자의 시각 방향 정보를 검출하는 단계를 더 포함하고,
    상기 감각 정보 제공 장치가 상기 객체를 검출하는 단계는 상기 감각 정보 제공 장치가 상기 움직임 정보 및 시각 방향 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법.
  17. 제 16 항에 있어서,
    상기 감각 정보 제공 장치가 상기 사용자의 시각 방향 정보를 검출하는 단계는 상기 감각 정보 제공 장치가 촬상 장치로부터 상기 사용자의 시각 방향 정보를 검출하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법.
  18. 제 15 항에 있어서,
    상기 감각 정보 제공 장치가 상기 감각 제공 장치의 움직임 정보를 수신하는 단계는 상기 감각 정보 제공 장치가 상기 감각 제공 장치의 움직임 시작 위치 정보를 수신하는 단계; 및 상기 감각 정보 제공 장치가 상기 움직임 시작 위치에서부터의 움직임 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법.
  19. 제 15 항에 있어서,
    상기 움직임 정보는 지자기 센서 및 가속도 센서 중 적어도 하나의 센서에 의하여 생성되는 것을 특징으로 하는 감각 제공 방법.
  20. 제 15 항에 있어서,
    상기 감각 제공 장치는 폴리머 장갑으로 형성되는 것을 특징으로 하는 감각 제공 방법.
  21. 감각 제공 시스템에 있어서,
    감각 제공 장치의 움직임 정보를 수신하는 수신부;
    상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 객체 검출부;
    상기 객체에 대한 감각 정보를 저장하고 있는 저장부; 및
    상기 저장부에 저장된 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 감각 정보 제공부를 포함하는 것을 특징으로 하는 감각 정보 제공 장치와,
    상기 감각 제공 장치의 움직임에 따른 움직임 정보를 생성하는 정보 생성부;
    상기 생성된 움직임 정보를 송신하는 송신부;
    상기 움직임 정보에 기초한 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체에 대한 감각 정보를 수신하는 수신부; 및
    상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 감각 출력부를 포함하는 것을 특징으로 하는 감각 제공 장치를 포함하는 것을 특징으로 하는 감각 제공 시스템.
  22. 제 21 항에 있어서,
    상기 감각 정보 제공 장치는 사용자의 시각 방향 정보를 검출하는 시각 방향 정보 검출부를 더 포함하고,
    상기 객체 검출부는 상기 움직임 정보 및 시각 방향 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 것을 특징으로 하는 감각 제공 시스템.
  23. 제 22 항에 있어서,
    상기 시각 방향 정보 검출부는 촬상 장치로 구현되는 것을 특징으로 하는 감각 제공 시스템.
  24. 제 21 항에 있어서,
    상기 감각 정보 제공 장치의 수신부는 상기 감각 제공 장치의 움직임 시작 위치 정보를 수신하고, 상기 움직임 시작 위치에서부터의 움직임 정보를 수신하는 것을 특징으로 하는 감각 제공 시스템.
  25. 제 21 항에 있어서,
    상기 움직임 정보 생성부는 지자기 센서 및 가속도 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 감각 제공 시스템.
  26. 제 21 항에 있어서,
    상기 감각 출력부는 폴리머 장갑으로 형성되는 것을 특징으로 하는 감각 제공 시스템.
  27. 감각 정보 제공 장치가 감각 제공 장치에 감각 정보를 제공하는 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 감각 정보 제공 장치가 상기 감각 제공 장치의 움직임 정보를 수신하는 단계;
    상기 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는, 상기 감각 정보 제공 장치의 화면 상 디스플레이된 영상에서의 객체를 검출하는 단계; 및
    상기 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 제공하는 단계를 포함하는 것을 특징으로 하는 감각 정보 제공 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  28. 감각 제공 장치가 감각을 제공하는 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 감각 제공 장치의 움직임에 따른 움직임 정보를 생성하는 단계;
    상기 생성된 움직임 정보를 송신하는 단계;
    상기 움직임 정보에 기초하여 결정되는 상기 감각 제공 장치의 위치에 대응되는, 감각 제공 정보 장치에서 디스플레이되는 영상에서의 객체에 대한 감각 정보를 수신하는 단계; 및
    상기 객체에 대한 감각 정보에 대응되는 감각을 출력하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  29. 감각 정보 제공 장치로부터 감각 정보를 제공받아 감각 제공 장치가 감각을 제공하고 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 감각 제공 장치가 움직임에 따른 움직임 정보를 생성하는 단계;
    상기 감각 제공 장치가 움직임 정보를 상기 감각 정보 제공 장치로 송신하는 단계;
    상기 감각 정보 제공 장치가 수신한 움직임 정보에 기초하여, 상기 감각 제공 장치의 위치에 대응되는 영상에서의 객체를 검출하는 단계;
    상기 감각 정보 제공 장치가 상기 검출된 객체에 대한 감각 정보를 상기 감각 제공 장치로 송신하는 단계; 및
    상기 감각 제공 장치가 상기 수신한 객체에 대한 감각 정보에 대응되는 감각을 출력하는 단계를 포함하는 것을 특징으로 하는 감각 제공 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100131661A 2010-12-21 2010-12-21 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 KR101871359B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020100131661A KR101871359B1 (ko) 2010-12-21 2010-12-21 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템
PCT/KR2011/009793 WO2012086984A2 (en) 2010-12-21 2011-12-19 Method, device, and system for providing sensory information and sense
US13/329,962 US8766785B2 (en) 2010-12-21 2011-12-19 Method, device, and system for providing sensory information and sense
EP11851008.0A EP2656308B1 (en) 2010-12-21 2011-12-19 Method, device, and system for providing sensory information and sense
US14/319,912 US9483116B2 (en) 2010-12-21 2014-06-30 Method, device, and system for providing sensory information and sense

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100131661A KR101871359B1 (ko) 2010-12-21 2010-12-21 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20120070209A KR20120070209A (ko) 2012-06-29
KR101871359B1 true KR101871359B1 (ko) 2018-08-02

Family

ID=46233641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100131661A KR101871359B1 (ko) 2010-12-21 2010-12-21 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템

Country Status (4)

Country Link
US (2) US8766785B2 (ko)
EP (1) EP2656308B1 (ko)
KR (1) KR101871359B1 (ko)
WO (1) WO2012086984A2 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101871359B1 (ko) * 2010-12-21 2018-08-02 삼성전자주식회사 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템
US9225969B2 (en) 2013-02-11 2015-12-29 EchoPixel, Inc. Graphical system with enhanced stereopsis
US9395816B2 (en) * 2013-02-28 2016-07-19 Lg Electronics Inc. Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same
US10338678B2 (en) 2014-01-07 2019-07-02 Nod, Inc. Methods and apparatus for recognition of start and/or stop portions of a gesture using an auxiliary sensor
US10338685B2 (en) * 2014-01-07 2019-07-02 Nod, Inc. Methods and apparatus recognition of start and/or stop portions of a gesture using relative coordinate system boundaries
US10976819B2 (en) * 2015-12-28 2021-04-13 Microsoft Technology Licensing, Llc Haptic feedback for non-touch surface interaction
US11073902B1 (en) * 2019-12-30 2021-07-27 Facebook Technologies, Llc Using skeletal position to predict virtual boundary activation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366271A (ja) 2001-06-13 2002-12-20 Sharp Corp 画像表示システムおよび画像表示方法
JP2005537596A (ja) 2002-07-18 2005-12-08 株式会社ソニー・コンピュータエンタテインメント 把持式コンピュータインタラクティブデバイス
US20050285853A1 (en) 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
JP2003337963A (ja) 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
JP4111278B2 (ja) * 2003-11-20 2008-07-02 独立行政法人産業技術総合研究所 触力覚情報提示システム
KR100571428B1 (ko) * 2003-12-24 2006-04-17 한국전자통신연구원 착용형 인터페이스 장치
US20050285844A1 (en) * 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method
KR100855471B1 (ko) 2006-09-19 2008-09-01 삼성전자주식회사 입력 장치 및 상기 입력 장치의 이동 정보를 제공하는 방법
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
KR101871359B1 (ko) * 2010-12-21 2018-08-02 삼성전자주식회사 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002366271A (ja) 2001-06-13 2002-12-20 Sharp Corp 画像表示システムおよび画像表示方法
JP2005537596A (ja) 2002-07-18 2005-12-08 株式会社ソニー・コンピュータエンタテインメント 把持式コンピュータインタラクティブデバイス
US20050285853A1 (en) 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method

Also Published As

Publication number Publication date
KR20120070209A (ko) 2012-06-29
WO2012086984A3 (en) 2012-10-04
US20120154132A1 (en) 2012-06-21
US20140359437A1 (en) 2014-12-04
US8766785B2 (en) 2014-07-01
EP2656308A4 (en) 2016-09-28
EP2656308A2 (en) 2013-10-30
EP2656308B1 (en) 2020-03-25
WO2012086984A2 (en) 2012-06-28
US9483116B2 (en) 2016-11-01

Similar Documents

Publication Publication Date Title
KR101871359B1 (ko) 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
CN110646938B (zh) 近眼显示器系统
US10635895B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
EP3179292B1 (en) Head-mounted display device and control method therefor
TWI722280B (zh) 用於多個自由度之控制器追蹤
US10401967B2 (en) Touch free interface for augmented reality systems
US9613262B2 (en) Object detection and tracking for providing a virtual device experience
CN110018736B (zh) 人工现实中的经由近眼显示器界面的对象增强
KR100911376B1 (ko) 투명 디스플레이를 이용한 증강 현실 구현 방법 및 장치
CN106796452B (zh) 头戴式显示装置及其控制方法、计算机可读介质
US20130278503A1 (en) Gesture operation input processing apparatus and gesture operation input processing method
JP5013398B2 (ja) 複合現実感システムとそのイベント入力方法
KR20130023623A (ko) 3ｄ ｇｕｉ 제어 장치 및 방법
CN102508562A (zh) 一种立体交互系统
CN107077199A (zh) 用于在三维显示器上呈现虚拟对象的装置及用于控制装置的方法
US20200103959A1 (en) Drift Cancelation for Portable Object Detection and Tracking
KR101522842B1 (ko) 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법
CN102508561A (zh) 一种操作棒
KR20100075282A (ko) 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리방법 및 스크린장치
US20230353860A1 (en) System, imaging apparatus, information processing apparatus, information processing method, and information processing program
KR101043638B1 (ko) 원격 입력기능을 갖는 입체 영상장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant