KR101370090B1 - 가상 영상에 대한 촉감 제공 장치 및 방법 - Google Patents

가상 영상에 대한 촉감 제공 장치 및 방법 Download PDF

Info

Publication number
KR101370090B1
KR101370090B1 KR1020120146039A KR20120146039A KR101370090B1 KR 101370090 B1 KR101370090 B1 KR 101370090B1 KR 1020120146039 A KR1020120146039 A KR 1020120146039A KR 20120146039 A KR20120146039 A KR 20120146039A KR 101370090 B1 KR101370090 B1 KR 101370090B1
Authority
KR
South Korea
Prior art keywords
virtual image
image
unit
user
tactile
Prior art date
Application number
KR1020120146039A
Other languages
English (en)
Other versions
KR20130069485A (ko
Inventor
박종일
박정식
서병국
이대선
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20130069485A publication Critical patent/KR20130069485A/ko
Application granted granted Critical
Publication of KR101370090B1 publication Critical patent/KR101370090B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8583—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by creating hot-spots

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가상 영상에 대한 촉감 제공 장치 및 방법이 개시된다. 개시된 장치는, 가상 영상을 포함하는 영상을 디스플레이하는 디스플레이부; 사용자 신체에 대한 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득하는 영상 및 상기 디스플레이부에서 상기 가상 영상이 표시되는지 여부에 대한 정보를 이용하여 사용자가 상기 가상 영상에 대한 인터랙션을 시도하는지 여부를 판단하는 판단부; 디스플레이되는 컨텐츠로부터 가상 영상이 표시되는 시간 및 표시되는 가상 영상의 위치 정보를 획득하는 컨텐츠 분석부; 상기 판단부의 판단 결과에 기초하여 사용자의 미리 설정된 신체 부위에 촉감을 제공하는 촉감 제공부; 및 상기 컨텐츠 분석부의 획득하는 가상 영상 표시 시간 및 위치에 기초하여 상기 촉감 제공부의 분사 노즐의 위치를 조절하는 촉감 제공 컨트롤러를 포함한다. 개시된 장치에 의하면, 가상 영상에 대해 사용자에게 사용자에게 실재감 있는 인터랙션을 제공할 수 있는 장점이 있다.

Description

가상 영상에 대한 촉감 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING HAPTIC ON VITRUAL VIDEO}
본 발명의 실시예들은 가상 영상에 대한 촉감 제공 장치 및 방법에 관한 것으로서, 더욱 상세하게는 입체 영상 및 증강 현실과 같은 가상 영상과 사용자가 인터랙션이 가능한 촉감 제공 장치 및 방법에 관한 것이다.
입체 영상 및 증강 현실 영상과 같은 가상 영상은 사용자로 하여금 현실감 및 실재감을 제공할 수 있어 이에 대한 다양한 연구가 이루어지고 있다.
특히, 근래에 들어 3차원 티브이가 급속히 상용화되고 있어 전용 극장이 아니더라도 3차원 영상의 시청이 가능하고 이에 따라 입체 영상을 지원하는 컨텐츠 역시 증가하고 있다.
통산적인 디스플레이 스크린에 표시되는 2차원 영상은 터치 방식을 통해 사용자와의 인터랙션을 제공하고 있다. 공개특허(20010-0138193)에서는 터치 스크린을 기반으로 하여 사용자에게 인터랙션을 제공하는 방식에 대해 개시하고 있다. 하지만 이와 같은 방식은 사용자에게 영상 정보와의 시각적인 인터랙션만 제공하고 있기 때문에 실재감 있는 인터랙션을 제공하기는 어렵다.
가상 영상에 현실감을 부가하기 위해서는 해당 가상 영상에 대한 촉감을 제공하는 것이 필요하나 한정된 사이즈의 단말기를 통해 이러한 가상 영상에 대한 촉감을 제공하는 것이 필요하나 이러한 기능은 제공되지 않고 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 사용자에게 실재감 있는 인터랙션을 제공하가 위한 촉감 제공 장치 및 방법을 제안한다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 가상 영상을 포함하는 영상을 디스플레이하는 디스플레이부; 사용자 신체에 대한 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득하는 영상을 이용하여 사용자가 상기 가상 영상에 대한 인터랙션을 시도하는지 여부를 판단하는 판단부; 및 상기 판단부의 판단 결과에 기초하여 사용자의 미리 설정된 신체 부위에 촉감을 제공하는 촉감 제공부를 포함하는 촉감 제공 장치가 제공된다.
상기 영상 획득부는 둘 이상의 카메라를 포함한다.
상기 판단부는, 상기 영상 획득부가 획득한 영상으로부터 상기 미리 설정된 신체부위를 인식하는 인식부; 상기 인식부에서 인식된 신체부위를 추적하여 상기 인식된 신체부위의 위치를 판단하는 추적부; 및 상기 추적부에서 추적하는 상기 미리 설정된 신체부위의 위치 정보 및 상기 가상 영상이 제공되는지 여부에 대한 정보에 기초하여 사용자가 상기 가상 영상에 대한 인터랙션을 시도하는지 여부를 판단하는 인터랙션 판단부를 포함한다.
상기 가상 영상은 입체 영상 및 증강 현실 객체를 포함한다.
상기 가상 영상이 입체 영상일 경우 상기 인터랙션 판단부는 상기 추적되는 신체 부위가 디스플레이로부터 미리 설정된 임계치 이하로 근접하는 경우 인터랙션을 시도한다고 판단한다.
상기 가상 영상이 증강 현실 객체일 경우 상기 인터랙션 판단부는 상기 추적되는 신체 부위가 증강 현실 마커로부터 미리 설정된 임계치 이하로 근접하는 경우 인터랙션을 시도한다고 판단한다.
상기 촉감 제공부는 압축 공기를 분사하여 촉감을 제공한다.
본 발명의 다른 측면에 따르면, 가상 영상을 포함하는 영상을 디스플레이하는 디스플레이부; 사용자 신체에 대한 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득하는 영상을 이용하여 사용자가 상기 가상 영상에 대한 인터랙션을 시도하는지 여부를 판단하는 판단부; 디스플레이되는 컨텐츠로부터 가상 영상이 표시되는 시간 및 표시되는 가상 영상의 위치 정보를 획득하는 컨텐츠 분석부; 상기 판단부의 판단 결과에 기초하여 사용자의 미리 설정된 신체 부위에 촉감을 제공하는 촉감 제공부; 및 상기 컨텐츠 분석부의 획득하는 가상 영상 표시 시간 및 위치에 기초하여 상기 촉감 제공부의 분사 노즐의 위치를 조절하는 촉감 제공 컨트롤러를 포함하는 촉감 제공 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 디스플레이부를 통해 제공되는 가상 영상에 대한 촉감을 제공하는 방법으로서, 사용자 신체에 대한 영상을 획득하는 단계(a); 상기 단계(a)에서 획득하는 영상을 이용하여 사용자가 상기 가상 영상에 대한 인터랙션을 시도하는지 여부를 판단하는 단계(b); 및 상기 단계(b)의 판단 결과에 기초하여 사용자의 미리 설정된 신체 부위에 촉감을 제공하는 단계(c) 포함하는 촉감 제공 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 디스플레이부를 통해 제공되는 가상 영상에 대한 촉감을 제공하는 방법으로서, 사용자 신체에 대한 영상을 획득하는 단계(a); 디스플레이되는 컨텐츠로부터 상기 가상 영상이 표시되는 시간 및 표시되는 가상 영상의 위치 정보를 획득하는 단계(b); 상기 단계(b)의 획득 정보에 기초하여 상기 가상 영상의 표시가 예측될 경우 상기 가상 영상의 위치에 상응하여 촉감 제공을 위한 분사 노즐의 위치를 조절하는 단계(c); 상기 단계(a)에서 획득하는 영상 및 상기 가상 영상이 표시되는지 여부에 대한 정보를 이용하여 사용자가 상기 가상 영상에 대한 인터랙션을 시도하는지 여부를 판단하는 단계(d); 및 상기 판단부의 판단 결과에 기초하여 사용자의 미리 설정된 신체 부위에 촉감을 제공하는 단계(e)를 포함하는 촉감 제공 방법이 제공된다.
본 발명에 따르면, 가상 영상에 대해 사용자에게 사용자에게 실재감 있는 인터랙션을 제공할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 촉감 제공장치의 일례를 도시한 도면.
도 2는 본 발명의 제1 실시예에 따른 촉감 제공 장치의 모듈 구성을 도시한 블록도.
도 3은 본 발명의 제2 실시예에 따른 촉감 제공 장치의 모듈 구성을 도시한 블록도.
도 4는 본 발명의 제2 실시예에서 촉감 제공부의 분사 노즐의 위치를 미리 설정할 필요성을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 촉감 제공 장치의 동작을 도시한 순서도.
도 6은 본 발명의 다른 실시예에 따른 촉감 제공 장치의 동작을 도시한 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 발명은 입체 영상을 사용자가 터치 하는 경우 사용자에게 실재감 있는 인터랙션을 제공하기 위해 촉감을 제공하는 촉감 제공 장치 및 방법을 제안한다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 촉감 제공장치의 일례를 도시한 도면이다.
도 1을 참조하면, 디스플레이부(110)에 디스플레이 되는 가상 영상(101)에 사용자의 신체 중 디스플레이부(110)에 사용자의 손과 같은 미리 설정된 신체 부위(103)가 접근하는 경우 촉감 제공부(140)는 해당 신체 부위에 촉감을 제공한다.
도 1에는 가상 영상(101)의 일례로 디스플레이로부터 돌출되어 표시되는 입체 영상이 도시되어 있다. 본 발명이 적용되는 가상 영상(101)은 입체 영상 이외에도 증강 현실 영상도 포함할 수 있다. 즉, 현실 배경에 표시되는 증강 현실 객체 역시 본 발명의 가상 영상의 범주에 포함될 수 있는 것이다.
본 발명의 촉감 제공 장치는 사용자가 가상 영상과의 인터랙션을 시도할 경우 사용자에게 촉감 정보를 제공한다. 예를 들어, 사용자가 신체 부위 중 손을 이용하여 가상 영상과의 인터랙션을 시도할 경우 본 발명의 촉감 제공 장치는 사용자의 손에 촉감을 제공한다.
예를 들어, 도 1과 같은 입체 영상에 손을 가까이 하여 인터액션을 시도하는 경우 촉감 제공부(140)는 사용자의 손에 촉감 정보를 제공하게 된다.
본 발명의 일 실시예에 따르면, 촉감 제공부(140)는 압축 공기를 사용자 손에 분사하여 촉감 정보를 제공할 수 있다.
입체 영상(101)과의 인터랙션을 시도하는지 여부에 대한 판단은 사용자 손의 위치에 기초하여 이루어진다. 일례로, 사용자의 손이 디스플레이에 근접하는 경우 사용자가 표시된 입체 영상에 대한 인터랙션을 시도한다고 판단한다.
또는 입체 영상에 대한 깊이 정보를 이용하여, 입체 영상의 깊이 정보에 대응되는 위치 또는 입체 영상의 깊이 정보에 대응되는 위치 로부터 기 설정된 거리 내에 사용자의 손이 위치하는 경우 인터랙션이 시도되는 것으로 판단될 수 있다. 즉 입체 영상에 이용된 깊이 정보가 기 설정된 값이라면, 사용자의 손이 기 설정된 범위 내의 위치에 존재할 경우 인터랙션이 시도되는 것으로 판단될 수 있다.
사용자 손의 위치는 영상 획득부(120)를 통해 획득되는 영상을 분석하여 추정된다.
가상 영상이 도 1과 같은 입체 영상이 아닌 증강현실 객체일 경우 증강 현실 객체를 표시하기 위한 마커에 사용자의 손이 근접하는 경우 사용자가 증강현실 객체에 대한 인터랙션을 시도한다고 판단한다.
디스플레이에 표시되는 영상은 디스플레이 평면에 표시되는 일반 영상과 입체 영상 또는 증강 현실 객체와 같은 가상 영상으로 구분될 수 있으며, 본 발명에서 사용하는 가상 영상이란 용어는 디스플레이에 표시되는 일반 영상과는 구분되며 디스플레이로부터 돌출되어 표시되는 입체 영상 객체 또는 마커 등에 의해 가상적으로 증강 현실 객체 등을 지칭한다.
따라서, 도 1에서 돌출되어 표시된 영상(101)이 가상 영상에 해당되며 가상 영상과는 구분되어 디스플레이 평면에 표시되는 영상은 가상 영상의 범주에 포함되지 않는다.
도 2는 본 발명의 제1 실시예에 따른 촉감 제공 장치의 모듈 구성을 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 촉감 제공 장치는, 영상 획득부(200), 촉감 제공부(202), 판단부(204), 영상 변환부(206), 디스플레이부(208) 및 제어부(210)를 포함할 수 있다.
제어부(210)는 촉감 제공장치의 구성 요소들의 동작을 전반적으로 제어한다.
디스플레이부(208)는 영상을 디스플레이하며 디스플레이에서 표시하는 영상에는 입체 영상 및 증강현실 객체와 같은 가상 영상이 포함된다.
디스플레이부(208)에서 디스플레이 되는 입체 영상을 인식하기 위해 사용자에게 3D 안경이 요구 될 수 있을 것이다.
영상 획득부(200)는 디스플레이부(208)의 전면에 위치하는 사용자 신체에 대한 영상을 획득한다. 영상 획득부는 사용자 신체에 대한 영상을 촬영하는 카메라로 구성될 수 있으나 이에 한정되는 것은 아니다.
본 발명의 바람직한 실시예에 따르면, 영상 획득부(200)는 사용자 신체에 대한 3차원 영상 정보를 획득할 수 있는 둘 이상의 카메라로 이루어지는 것이 바람직하다.
판단부(204)는 영상 획득부(200)에서 획득한 영상 및 디스플레부(208)를 통해 디스플레이되는 영상 정보를 이용하여 사용자의 미리 설정된 신체 부위(예를 들어, 손)에 촉감을 제공할 지 여부를 판단한다.
또한, 판단부(204)는 사용자에게 인터랙션이 가능한 가상 영상이 제공되는지 여부 및 사용자가 해당 가상 영상에 인터랙션을 시도하는지 여부에 의해 촉감을 제공할지 여부를 판단할 수 있다. 즉, 판단부(204)는 가상 영상이 제공되면서 사용자가 해당 가상 영상에 대한 인터랙션을 시도할 때 촉감 제공이 필요하다고 판단할 수 있다.
본 발명의 일 실시예에 따르면, 판단부(204)는 인식부(250), 추적부(252) 및 인터랙션 판단부(254)를 포함한다.
인식부(250)는 영상 획득부(200)를 통해 획득되는 영상으로부터 미리 설정된 사용자의 신체 부위를 인식하는 기능을 한다. 예를 들어, 인식부(250)는 영상 획득부(200)로부터 획득되는 사용자 신체 영상으로부터 사용자의 손 부위를 인식하는 기능을 한다. 사용자의 특정 신체 부위를 영상으로부터 인식하는 방법에 대해서는 알려진 다수의 방법이 존재하므로 이에 대한 상세한 설명은 생략한다.
추적부(252)는 인식된 사용자 신체 부위(예를 들어, 손)에 대한 움직임을 추적한다. 사용자 손의 위치를 더욱 명확히 알기 위해 별도의 센서가 사용될 수도 있다.
인터랙션 판단부(254)는 추적부(252)에서 추적되는 정보를 통해 사용자가 가상 영상에 대한 인터랙션을 시도하는지 여부를 판단하고 이를 기초로 하여 촉감을 제공할지 여부를 판단한다.
전술한 바와 같이, 사용자가 손을 입체 영상 방향(디스플레이 방향)으로 근접시키거나 증강 현실 표시를 위한 마커에 근접시킬 경우 사용자가 가상 영상에 대한 인터랙션을 시도한다고 판단할 수 있다.
촉감 제공부(202)는 판단부(204)에서 촉감 제공이 필요하다고 판단한 경우 미리 설정된 신체 부위(손)에 촉감을 제공한다. 본 발명의 바람직한 실시예에 따르면, 촉감 제공부(202)는 압축 공기를 분사하는 분사기일 수 있다.
도 1에 도시된 바와 같이, 촉감 제공부(202)는 디스플레이 장치의 전면에 설치되어 사용자의 손이 근접할 때 압축 공기를 분사할 수 있다. 압축 공기 분사 시 판단부(204)의 추적부(252)에어 추적하는 위치 정보에 기초하여 압축 공기를 분사할 수 있다.
증강 현실에 본 발명이 적용될 경우, 촉감 제공부(202)는 디스플레이 장치의 후면에 설치되어 사용자의 손이 마커에 근접할 때 압축 공기를 분사할 수도 있을 것이다.
영상 변환부(206)는 사용자가 가상 영상과의 인터랙션을 수행할 경우 가상 영상을 미리 설정된 방식으로 변환시키는 기능을 한다. 예를 들어, 영상 변환부(206)는 사용자가 가상 영상과의 인터랙션을 시도할 때 해당 가상 영상이 흔들리도록 영상을 변환시킬 수 있다.
도 3은 본 발명의 제2 실시예에 따른 촉감 제공 장치의 모듈 구성을 도시한 블록도이다.
도 3을 참조하면, 본 발명의 제2 실시예에 따른 촉감 제공 장치는 영상 획득부(300), 촉감 제공부(302), 판단부(304), 영상 변환부(306), 디스플레이부(308), 제어부(310), 촉감 제공 컨트롤러(312) 및 컨텐츠 분석부(314)를 포함할 수 있다.
도 3에 도시된 블록도에서, 영상 획득부(300), 촉감 제공부(302), 판단부(304), 영상 변환부(306), 디스플레이부(308), 제어부(310)의 기능은 도 2에 도시된 촉감 제공 장치의 구성 요소와 동일하다.
영상 획득부(300)에서 사용자의 신체에 대한 영상이 획득되고, 판단부(304)는 영상 획득부(300)에서 획득한 영상으로부터 미리 설정된 신체 부위를 인식하고 해당 신체 부위를 추적하여 사용자가 가상 영상과의 인터랙션을 시도하는지 여부를 판단한다.
판단부(304)에서 사용자가 가상 영상과의 인터랙션을 시도한다고 판단된 경우, 촉감 제공부(302)는 압축 공기를 분사하여 촉감을 제공하게 된다.
도 3에 도시된 본 발명의 제2 실시예에 따른 촉감 제공 장치는 사용자에게 촉감 제공 시 지연 현상이 발생하지 않도록 컨텐츠를 미리 분석하여 촉감 제공부의 압축 공기 분사 노즐이 미리 가상 영상을 향하도록 노즐의 위치를 미리 조절한다는 점에서 제1 실시예의 발명과 차이가 있다.
도 4는 본 발명의 제2 실시예에서 촉감 제공부의 분사 노즐의 위치를 미리 설정할 필요성을 설명하기 위한 도면이다.
도 4의 (a)를 참조하면, 가상 영상은 디스플레이 장치의 오른쪽에 표시되고 있으며, 이때 분사 노즐은 디스플레이 장치의 왼쪽으로 압축 공기를 분사하도록 노즐의 위치가 설정되어 있다.
도 4의 (a)와 같이 가상 영상이 제공되고 사용자가 해당 가상 영상에 대한 인터랙션을 시도한다고 판단될 경우, 분사 노즐이 해당 가상 영상의 위치로 이동된 후 압축 공기를 분사하게 된다.
이와 같이, 분사 노즐이 해당 가상 영상의 위치로 이동된 후 압축 공기를 분사하게 될 경우, 분사 노즐이 이동된 후 압축 공기가 분사되기 때문에 촉감 제공 시 지연 현상이 발생할 수 있다.
본 발명의 제2 실시예에 따른 촉감 제공 장치는 이러한 지연 현상이 발생하지 않도록 촉감 제공 장치의 노즐의 위치를 도 4의 (b)와 같이 미리 조절하도록 한다. 가상 영상이 디스플레이 장치의 오른쪽에 디스플레이된다는 점이 예측될 경우 제2 실시예에 따른 촉감 제공 장치는 노즐의 위치를 미리 오른쪽으로 조절시킨다.
이와 같은 동작에 의해 사용자가 표시된 가상 영상에 대해 인터랙션을 시도할 때 지연 없이 즉시 촉감을 제공하는 동작이 가능하게 된다.
위에서 설명한 바와 같은 동작을 수행하기 위해, 제2 실시예의 촉감 제공 장치는 촉감 제공 컨트롤러(312) 및 컨텐츠 분석부(314)를 추가적으로 구비한다.
컨텐츠 분석부(314)는 디스플레이 장치를 통해 재생되는 컨텐츠로부터 표시될 가상 영상의 위치 정보를 획득한다.
본 발명의 일 실시예에 따르면, 컨텐츠 분석부(314)는 가상 영상이 표시되는 시간 정보 및 위치 정보를 획득하여, 촉감 제공 컨트롤러(312)에 획득한 정보를 제공한다.
일례로, 컨텐츠 분석부(314)는 컨텐츠 데이터를 분석하여 시간 정보 및 위치 정보를 추출할 수 있다. 또 다른 예로, 컨텐츠 분석부(314)는 가상 영상의 재생 시간 및 위치 정보를 미리 제공받을 수 있으며, 해당 정보를 통해 가상 영상의 시간 정보 및 위치 정보를 촉감 제공 컨트롤러(312)에 제공할 수도 있다.
컨텐츠 분석부(314)에서 가상 영상의 시간 정보 및 위치 정보의 획득은 앞서 설명한 방식 이외에도 다양한 방식으로 이루어질 수 있을 것이며, 획득 방식의 변경이 본 발명의 범주에 영향을 미치지 않는다는 점은 당업자에게 있어 자명할 것이다.
촉감 제공 컨트롤러(312)는 컨텐츠 분석부(314)에서 제공받은 가상 영상의 시간 정보 및 위치 정보를 이용하여 촉감 제공부(302)의 분사 노즐의 위치를 조절하기 위한 제어 정보를 제공한다.
촉감 제공 컨트롤러(312)는 가상 영상이 표시되기 전에 가상 영상의 위치에 상응하여 분사 노즐이 위치하도록 분사 노즐의 위치를 조절하도록 제어 정보를 제공한다. 예를 들어, 재생 시간 1분 20초에 가상 영상이 디스플레이 화면의 중앙에 표시될 것이 컨텐츠 분석부(314)의 분석 정보로부터 예측될 경우, 촉감 제공 컨트롤러(312)는 재생 시간 1분 20초 전에 분사 노즐이 화면의 중앙을 향하도록 제어 정보를 제공하는 것이다.
촉감 제공 컨트롤러(312)의 제어에 따라 촉감 제공부(302)의 분사 노즐의 위치가 미리 설정된 후, 판단부(304)에서 사용자가 가상 영상과의 인터랙션을 시도한다고 판단되면, 촉감 제공부는 추적된 사용자의 손에 압축 공기를 분사한다.
사용자가 가상 영상과 인터랙션을 시도할 경우 사용자의 손은 가상 영상의 위치로 이동될 수 밖에 없으며, 미리 분사 노즐이 가상 영상을 향하도록 설정되어 있기에 사용자에게는 별다른 지연 없이 촉감이 제공될 수 있다.
도 5는 본 발명의 일 실시예에 따른 촉감 제공 장치의 동작을 도시한 순서도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 촉감 제공 장치는 카메라와 같은 영상 획득 수단을 이용하여 사용자 신체에 대한 영상을 획득한다(단계 500). 사용자 신체에 대한 3차원 위치 정보를 획득하기 위해 둘 이상의 카메라가 영상 획득을 위해 사용되는 것이 바람직하다.
사용자 신체에 대한 영상이 획득되면, 획득한 영상으로부터 미리 설정된 신체 부위를 인식한다(단계 502). 전술한 바와 같이, 주로 사용자의 손을 통해 인터랙션이 이루어지기에 사용자의 손을 획득한 영상으로부터 인식할 수 있다.
특정 신체 부위가 획득한 영상으로부터 인식되면, 인식된 신체 부위를 추적한다(단계 504). 구체적으로 인식된 신체 부위(손)의 위치 정보가 추적되며, 가상 영상이 입체 영상일 경우 디스플레이로부터의 거리 정보가 추적될 수 있고, 가상 영상이 증강 현실 객체일 경우 마커로부터의 거리 정보가 추적될 수 있다.
인식된 신체 부위를 추적하면서 사용자가 가상 영상에 대한 인터랙션을 시도하는지 여부를 판단한다(단계 506). 앞서 설명한 바와 같이, 사용자가 가상 영상에 추적된 신체부위(손)를 근접시킬 때 인터랙션을 시도한다고 판단할 수 있다.
사용자가 가상 영상과의 인터랙션을 시도한다고 판단되는 경우, 추적되는 신체 부위에 촉감을 제공한다(단계 508). 촉감 제공부는 추적되는 신체 부위의 위치 정보에 기초하여 촉감을 제공하며, 전술한 바와 같이 압축 공기를 해당 신체 부위에 분사하는 방식으로 촉감을 제공할 수 있다.
도 5에는 도시되어 있지 않으나, 사용자가 가상 영상과의 인터랙션을 시도할 경우 사용자의 인터랙션에 응답하여 가상 영상이 변형될 수도 있다.
도 6은 본 발명의 다른 실시예에 따른 촉감 제공 장치의 동작을 도시한 순서도이다.
도 6을 참조하면, 사용자 신체에 대한 영상을 획득하고(단계 600), 미리 설정된 신체 부위를 인식하며(단계 602), 인식된 신체 부위를 추적하는 과정(단계 604)이 도 5와 동일하게 수행된다.
한편, 컨텐츠 분석부의 분석 결과에 기초하여 가상 영상이 표시될 시간인지 여부가 판단된다(단계 606).
가상 영상이 표시될 시간일 경우, 컨텐츠 분석부에서 획득하는 가상 영상의 위치 정보에 기초하여 촉감 제공 장치의 노즐 위치를 조절한다(단계 608).
사용자의 신체 부위 추적을 통해 사용자가 가상 영상에 인터랙션을 시도하는지 여부를 판단한다(단계 610).
사용자가 가상 영상에 대한 인터랙션을 시도할 경우, 추적 신체 부위에 촉감을 제공한다(단계 612).
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 가상 영상을 포함하는 영상을 디스플레이하는 디스플레이부;
    사용자 신체에 대한 영상을 획득하는 영상 획득부;
    상기 영상 획득부에서 획득하는 영상을 이용하여 사용자가 상기 가상 영상에 대한 인터랙션을 시도하는지 여부를 판단하는 판단부;
    디스플레이되는 컨텐츠로부터 가상 영상이 표시되는 시간 및 표시되는 가상 영상의 위치 정보를 획득하는 컨텐츠 분석부;
    상기 판단부의 판단 결과에 기초하여 사용자의 미리 설정된 신체 부위에 촉감을 제공하는 촉감 제공부; 및
    상기 컨텐츠 분석부의 획득하는 가상 영상 표시 시간 및 위치에 기초하여 상기 촉감 제공부의 분사 노즐의 위치를 조절하는 촉감 제공 컨트롤러를 포함하는 것을 특징으로 하는 촉감 제공 장치.
  9. 제8항에 있어서,
    상기 판단부는,
    상기 영상 획득부가 획득한 영상으로부터 상기 미리 설정된 신체부위를 인식하는 인식부;
    상기 인식부에서 인식된 신체부위를 추적하여 상기 인식된 신체부위의 위치를 판단하는 추적부; 및
    상기 추적부에서 추적하는 상기 미리 설정된 신체부위의 위치 정보에 기초하여 사용자가 상기 가상 영상에 대한 인터랙션을 시도하는지 여부를 판단하는 인터랙션 판단부를 포함하는 것을 특징으로 하는 촉감 제공 장치.
  10. 제8항에 있어서,
    상기 촉감 제공 컨트롤러는 상기 가상 영상 표시 시간에 기초하여 가상 영상의 표시가 예측되는 경우 상기 분사 노즐의 위치를 상기 가상 영상의 위치에 상응하여 조절하는 것을 특징으로 하는 촉감 제공 장치.
  11. 제8항에 있어서,
    상기 가상 영상은 입체 영상 및 증강 현실 객체를 포함하는 것을 특징으로 하는 촉감 제공 장치.
  12. 제9항에 있어서,
    상기 가상 영상이 입체 영상일 경우 상기 인터랙션 판단부는 상기 추적되는 신체 부위가 디스플레이로부터 미리 설정된 임계치 이하로 근접하는 경우 인터랙션을 시도한다고 판단하는 것을 특징으로 하는 촉감 제공 장치.
  13. 제9항에 있어서,
    상기 가상 영상이 증강 현실 객체일 경우 상기 인터랙션 판단부는 상기 추적되는 신체 부위가 증강 현실 마커로부터 미리 설정된 임계치 이하로 근접하는 경우 인터랙션을 시도한다고 판단하는 것을 특징으로 하는 촉감 제공 장치.
  14. 삭제
  15. 디스플레이부를 통해 제공되는 가상 영상에 대한 촉감을 제공하는 방법으로서,
    사용자 신체에 대한 영상을 획득하는 단계(a);
    디스플레이되는 컨텐츠로부터 상기 가상 영상이 표시되는 시간 및 표시되는 가상 영상의 위치 정보를 획득하는 단계(b);
    상기 단계(b)의 획득 정보에 기초하여 상기 가상 영상의 표시가 예측될 경우 상기 가상 영상의 위치에 상응하여 촉감 제공을 위한 분사 노즐의 위치를 조절하는 단계(c);
    상기 단계(a)에서 획득하는 영상 및 상기 가상 영상이 표시되는지 여부에 대한 정보를 이용하여 사용자가 상기 가상 영상에 대한 인터랙션을 시도하는지 여부를 판단하는 단계(d); 및
    상기 단계(d)의 판단 결과에 기초하여 사용자의 미리 설정된 신체 부위에 촉감을 제공하는 단계(e)를 포함하는 것을 특징으로 하는 촉감 제공 방법.




KR1020120146039A 2011-12-15 2012-12-14 가상 영상에 대한 촉감 제공 장치 및 방법 KR101370090B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20110135408 2011-12-15
KR1020110135408 2011-12-15
KR20120120737 2012-10-29
KR1020120120737 2012-10-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020140016009A Division KR101906633B1 (ko) 2011-12-15 2014-02-12 가상 영상에 대한 촉감 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130069485A KR20130069485A (ko) 2013-06-26
KR101370090B1 true KR101370090B1 (ko) 2014-03-06

Family

ID=48612848

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020120146039A KR101370090B1 (ko) 2011-12-15 2012-12-14 가상 영상에 대한 촉감 제공 장치 및 방법
KR1020120146046A KR101428880B1 (ko) 2011-12-15 2012-12-14 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법
KR1020140016009A KR101906633B1 (ko) 2011-12-15 2014-02-12 가상 영상에 대한 촉감 제공 장치 및 방법
KR1020140021614A KR101906634B1 (ko) 2011-12-15 2014-02-24 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020120146046A KR101428880B1 (ko) 2011-12-15 2012-12-14 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법
KR1020140016009A KR101906633B1 (ko) 2011-12-15 2014-02-12 가상 영상에 대한 촉감 제공 장치 및 방법
KR1020140021614A KR101906634B1 (ko) 2011-12-15 2014-02-24 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법

Country Status (3)

Country Link
US (2) US9323330B2 (ko)
KR (4) KR101370090B1 (ko)
WO (2) WO2013089490A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2999741B1 (fr) * 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
KR101481996B1 (ko) * 2013-07-03 2015-01-22 동국대학교 경주캠퍼스 산학협력단 행동기반 실감영상환경 제어 시스템
US9690370B2 (en) 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US9851805B2 (en) * 2014-12-24 2017-12-26 Immersion Corporation Systems and methods for haptically-enabled holders
JP6676294B2 (ja) * 2015-06-30 2020-04-08 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US10095311B2 (en) 2016-06-15 2018-10-09 Immersion Corporation Systems and methods for providing haptic feedback via a case
KR102427212B1 (ko) * 2016-07-07 2022-07-29 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
KR102518400B1 (ko) * 2017-11-22 2023-04-06 삼성전자주식회사 진동을 제공하는 방법 및 이를 지원하는 전자 장치
WO2020072034A1 (en) * 2018-10-01 2020-04-09 Leia Inc. Holographic reality system, multiview display, and method
KR20240062067A (ko) * 2022-11-01 2024-05-08 김태원 촉감을 제공하는 성인 콘텐츠용 vr 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273503A (ja) * 2000-03-23 2001-10-05 Eiji Kawamura モーション認識システム
KR20110088969A (ko) * 2010-01-29 2011-08-04 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6113395A (en) * 1998-08-18 2000-09-05 Hon; David C. Selectable instruments with homing devices for haptic virtual reality medical simulation
US20040210933A1 (en) * 2003-01-07 2004-10-21 Universal Electronics Inc. User interface for a remote control application
JP4237799B2 (ja) * 2004-12-13 2009-03-11 日本電信電話株式会社 力覚提示方法、装置およびプログラム
JP2008129835A (ja) 2006-11-21 2008-06-05 Matsushita Electric Ind Co Ltd 立体画像表示システム
EP2144448B1 (en) * 2007-03-30 2019-01-09 National Institute of Information and Communications Technology Floating Image Interaction Device
US10235827B2 (en) * 2007-11-09 2019-03-19 Ball Gaming, Inc. Interaction with 3D space in a gaming system
EP2104024B1 (en) * 2008-03-20 2018-05-02 LG Electronics Inc. Portable terminal capable of sensing proximity touch and method for controlling screen using the same
KR100980202B1 (ko) * 2008-10-30 2010-09-07 한양대학교 산학협력단 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법
KR101651568B1 (ko) 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
WO2011093873A1 (en) * 2010-01-29 2011-08-04 Hewlett-Packard Development Company, L.P. Tactile display using distributed fluid ejection
KR20110089969A (ko) 2010-02-02 2011-08-10 진흥전기 주식회사 바나나플러그 접속용 기능성 콘센트
KR101128628B1 (ko) * 2010-02-02 2012-03-28 주식회사 팬택 사용자 입력에 대한 감각 피드백을 발생하는 인터페이스 장치 및 방법
WO2012061121A2 (en) * 2010-10-25 2012-05-10 Openpeak Inc. Display system
JP2012119738A (ja) * 2010-11-29 2012-06-21 Sony Corp 情報処理装置、情報処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273503A (ja) * 2000-03-23 2001-10-05 Eiji Kawamura モーション認識システム
KR20110088969A (ko) * 2010-01-29 2011-08-04 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치

Also Published As

Publication number Publication date
KR101906633B1 (ko) 2018-10-10
KR101428880B1 (ko) 2014-08-13
KR20140045965A (ko) 2014-04-17
KR20130069486A (ko) 2013-06-26
US9323330B2 (en) 2016-04-26
KR20130069485A (ko) 2013-06-26
KR101906634B1 (ko) 2018-10-10
US20140160082A1 (en) 2014-06-12
US20140176432A1 (en) 2014-06-26
US9317121B2 (en) 2016-04-19
WO2013089494A1 (ko) 2013-06-20
WO2013089490A1 (ko) 2013-06-20
KR20140028096A (ko) 2014-03-07

Similar Documents

Publication Publication Date Title
KR101370090B1 (ko) 가상 영상에 대한 촉감 제공 장치 및 방법
KR102110811B1 (ko) Hci 시스템 및 방법
US8166421B2 (en) Three-dimensional user interface
US20180224948A1 (en) Controlling a computing-based device using gestures
CN103858074B (zh) 经由3d显示器与装置交互的系统和方法
US9465443B2 (en) Gesture operation input processing apparatus and gesture operation input processing method
US10045007B2 (en) Method and apparatus for presenting 3D scene
JP5081964B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
US20110107216A1 (en) Gesture-based user interface
CN110944727A (zh) 控制虚拟照相机的系统和方法
EP3275514A1 (en) Virtuality-and-reality-combined interactive method and system for merging real environment
US20140118255A1 (en) Graphical user interface adjusting to a change of user's disposition
KR101364133B1 (ko) 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
CN107562186B (zh) 基于注意力辨识进行情感运算的3d校园导览方法
CN103793060A (zh) 一种用户交互系统和方法
US10474342B2 (en) Scrollable user interface control
US20120119991A1 (en) 3d gesture control method and apparatus
US20150033157A1 (en) 3d displaying apparatus and the method thereof
KR20130068191A (ko) 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
JP2017510922A (ja) ビデオデータのための軌道データの生成
CN103870146B (zh) 一种信息处理方法及电子设备
CN106125927B (zh) 图像处理系统及方法
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
CN113741695A (zh) 对象显示方法和装置
CN117032463A (zh) 沉浸式实时交互方法、介质及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 7