KR20160135552A - 가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법 - Google Patents

가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20160135552A
KR20160135552A KR1020150069025A KR20150069025A KR20160135552A KR 20160135552 A KR20160135552 A KR 20160135552A KR 1020150069025 A KR1020150069025 A KR 1020150069025A KR 20150069025 A KR20150069025 A KR 20150069025A KR 20160135552 A KR20160135552 A KR 20160135552A
Authority
KR
South Korea
Prior art keywords
feedback
image
sensible
virtual reality
feedback device
Prior art date
Application number
KR1020150069025A
Other languages
English (en)
Inventor
강재민
권용주
김선권
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150069025A priority Critical patent/KR20160135552A/ko
Priority to US15/079,288 priority patent/US20160342202A1/en
Publication of KR20160135552A publication Critical patent/KR20160135552A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G06T7/0022—
    • H04N13/0022—
    • H04N13/0497—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)

Abstract

가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법이 개시된다. 일 양상에 따른, 적어도 하나의 피드백 장치와 연계하여 실감형 서비스를 제공하는 가상 현실 장치는, 재생 중인 영상을 분석하는 영상 분석부와, 영상 분석 결과를 기반으로 실감형 피드백 정보를 생성하는 영상 피드백 정보 생성부와, 생성된 실감형 피드백 정보를 적어도 하나의 피드백 장치에 전송하는 피드백 정보 전송부를 포함한다.

Description

가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법{Virtual reality device, Feedback device, System and Method for providing realistic service}
실감형 서비스 제공 기술에 관한 것으로, 특히, 가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법과 관련된다.
실제 상황과 동일한 3차원 가상 현실에서 사용자가 실제로 생활하는 것처럼 체험하는 시뮬레이터의 필요성 증가에 따라 가상 현실 장치가 개발되었다. 이러한 가상 현실 장치는 가상 현실 게임이나 3D 게임 등과 같이 전자적으로 형성된 환경에서 높은 현실감을 제공하기 위해 사용될 수 있다.
이와 같은 가상 현실 장치는 시야각을 최대한 확보하여 기존의 디스플레이 장치에 비하여 현장감과 생동감을 더욱 잘 제공해줄 수 있다. 그러나, 영상 및 사운드 피드백 만을 제공하는 가상 현실 장치 만으로는 생생한 현장감과 생동감을 제공해 주는 데에 한계가 있다.
재생 중인 영상을 실시간으로 분석하여 실감형 피드백을 사용자에게 제공할 수 있는 가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법을 제공하는 것을 목적으로 한다.
일 양상에 따른, 적어도 하나의 피드백 장치와 연계하여 실감형 서비스를 제공하는 가상 현실 장치는, 재생 중인 영상을 분석하는 영상 분석부와, 영상 분석 결과를 기반으로 실감형 피드백 정보를 생성하는 영상 피드백 정보 생성부와, 생성된 실감형 피드백 정보를 적어도 하나의 피드백 장치에 전송하는 피드백 정보 전송부를 포함할 수 있다.
영상 분석부는, 재생 중인 영상을 실시간으로 분석할 수 있다.
영상 분석부는, 재생 중인 영상으로부터 영상 내의 객체를 판별 및 분류하고, 객체의 움직임(activity) 또는 상태(status)를 분석할 수 있다.
실감형 피드백 정보는, 적어도 하나의 피드백 장치를 통해 제공될 실감형 피드백의 종류, 실감형 피드백 제공 시작 시간, 실감형 피드백 제공 종료 시간, 실감형 피드백 제공 강도 중 적어도 하나를 포함할 수 있다.
적어도 하나의 피드백 장치는 후각형 피드백 장치 및 촉각형 피드백 장치를 포함할 수 있다.
가상 현실 장치는, 입력된 영상을 가상 현실 상에서 재생하는 영상 재생부를 더 포함할 수 있다.
다른 양상에 따른, 적어도 하나의 피드백 장치와 연계하여 실감형 서비스를 제공하는 방법은, 재생 중인 영상을 분석하는 단계와, 영상 분석 결과를 기반으로 실감형 피드백 정보를 생성하는 단계와, 생성된 실감형 피드백 정보를 적어도 하나의 피드백 장치에 전송하는 단계를 포함할 수 있다.
분석하는 단계는, 재생 중인 영상을 실시간으로 분석할 수 있다.
분석하는 단계는, 재생 중인 영상으로부터 영상 내의 객체를 판별 및 분류하고, 객체의 움직임(activity) 또는 상태(status)를 분석할 수 있다.
실감형 피드백 정보는, 적어도 하나의 피드백 장치를 통해 제공될 실감형 피드백의 종류, 실감형 피드백 제공 시작 시간, 실감형 피드백 제공 종료 시간, 실감형 피드백 제공 강도 중 적어도 하나를 포함할 수 있다.
적어도 하나의 피드백 장치는 후각형 피드백 장치 및 촉각형 피드백 장치를 포함할 수 있다.
실감형 서비스를 제공하는 방법은, 입력된 영상을 가상 현실 상에서 재생하는 단계를 더 포함할 수 있다.
또 다른 양상에 따른 실감형 서비스 제공 시스템은, 재생 중인 영상을 분석하고, 영상 분석 결과를 기반으로 실감형 피드백 정보를 생성하고, 생성된 실감형 피드백 정보를 피드백 장치에 전송하는 가상 현실 장치와, 가상 현실 장치로부터 실감형 피드백 정보를 수신하고, 수신된 실감형 피드백 정보를 기반으로 실감형 피드백을 제공하는 피드백 장치를 포함할 수 있다.
가상 현실 장치는, 재생 중인 영상을 실시간으로 분석할 수 있다.
가상 현실 장치는, 재생 중인 영상으로부터 영상 내의 객체를 판별 및 분류하고, 객체의 움직임(activity) 또는 상태(status)를 분석할 수 있다.
실감형 피드백 정보는, 피드백 장치를 통해 제공될 실감형 피드백의 종류, 실감형 피드백 제공 시작 시간, 실감형 피드백 제공 종료 시간, 실감형 피드백 제공 강도 중 적어도 하나를 포함할 수 있다.
피드백 장치는 후각형 피드백 장치 및 촉각형 피드백 장치를 포함할 수 있다.
가상 현실 장치는 입력된 영상을 가상 현실 상에서 재생할 수 있다.
재생 중인 영상을 실시간으로 분석하여 실감형 피드백을 제공함으로써, 생생한 현장감과 생동감을 제공하는 실감형 서비스를 제공할 수 있다.
도 1은 실감형 서비스 제공 시스템의 일 실시예를 도시한 블록도이다.
도 2는 도 1의 가상 현실 장치(110)의 일 실시예를 도시한 블록도이다.
도 3은 도 1의 피드백 장치(120)의 일 실시예를 도시한 블록도이다.
도 4는 도 1의 실감형 서비스 제공 시스템(100)이 적용된 예를 도시한 도면이다.
도 5는 실감형 서비스 제공 방법의 일 실시예를 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 실감형 서비스 제공 시스템의 일 실시예를 도시한 블록도이다.
도 1을 참조하면, 실감형 서비스 제공 시스템(100)은 가상 현실 장치(110) 및 피드백 장치(120)를 포함할 수 있다. 도 1의 예에서 피드백 장치(120)는 1개인 것으로 도시되어 있으나, 이에 한정되는 것은 아니며, 시스템의 성능 및 용도에 따라 2개 이상일 수 있다.
가상 현실 장치(110)는 입력된 영상을 가상 현실(Virtual Reality: VR) 상에서 재생할 수 있다.
예컨대, 가상 현실 장치(110)는 입력된 영상 및 사운드에 대응하여, 실물과 같은 영상을 표시하고 실제 같은 사운드를 출력할 수 있다. 실물 같은 영상 및 사운드는 시청자 및/또는 청취자에게 현실의 위치 대신에 실물 같은 가상 위치에 있는 것 같은 인상을 준다. 예를 들면, 농구장에서의 농구 게임 영상이 입력되면, 가상 현실 장치(110)는 농구장의 실제 같은 영상과 농구 게임의 실제 같은 사운드를 출력할 수 있다. 이 경우, 시청자 및/또는 청취자는 그들이 집에 있는 것 보다는 농구 경기를 하고 있는 것 같은 느낌을 갖게 된다.
한편, 입력된 영상 및 사운드는 과거에 촬영된 영상 및 사운드일 수 있다. 사용자는 가상 현실 장치(110)를 이용하여 과거에 촬영된 영상 및 사운드로부터 과거의 공간 및 장소에 있는 것으로 인식할 수 있다.
가상 현실 장치(110)는 재생 중인 영상을 실시간으로 분석하고, 영상 분석 결과를 기반으로 실감형 서비스 제공을 위한 피드백(이하, 실감형 피드백) 정보(이하, 실감형 피드백 정보)를 생성하여 피드백 장치(120)에 전송할 수 있다. 이때, 실감형 피드백은 실제로 체험하는 느낌을 사용자가 느낄 수 있도록 하는 다양한 자극(시각, 청각, 촉각, 미각, 후각)을 의미할 수 있다. 실감형 피드백 정보는 제공될 실감형 피드백의 종류, 실감형 피드백 제공 시작 시간 및 종료 시간, 실감형 피드백 제공 강도 등과 같이 피드백 장치(120)를 통해 실감형 피드백을 제공하기 위한 다양한 정보를 포함할 수 있다.
피드백 장치(120)는 가상 현실 장치(110)로부터 실감형 피드백 정보를 수신하고, 수신된 실감형 피드백 정보에 따라 실감형 피드백(예컨대, 촉각 피드백, 후각 피드백 등)을 재생 중인 영상의 싱크(sync)에 맞춰 제공할 수 있다.
이때, 피드백 장치(120)는 착용, 탑승 또는 거치 여부에 따라 착용형 피드백 장치(예컨대, 장갑형, 의복형, 목걸이형, 시계형 등), 탑승형 피드백 장치(예컨대, 의자형 등) 및 거치형 피드백 장치 등으로 구분될 수 있다. 또한, 피드백 장치(120)는 제공되는 실감형 피드백의 종류에 따라 후각형 피드백 장치(예컨대, 향기 또는 냄새를 발생하는 피드백 장치 등) 및 촉각형 피드백 장치(예컨대, 진동 또는 압력 등과 같은 기계적인 자극을 발생시키는 피드백 장치, 열 자극을 발생시키는 피드백 장치, 바람 등을 생성하는 피드백 장치 등) 등으로 구분될 수 있다.
예컨대, 피드백 장치(120)가 후각형 피드백 장치인 경우 가상 현실 장치(110)로부터 수신된 실감형 피드백 정보에 따라 특정 향기 또는 냄새를 발생시킬 수 있다. 또한, 피드백 장치(120)가 촉각형 피드백 장치인 경우 가상 현실 장치(110)로부터 수신된 실감형 피드백 정보에 따라 특정 형태의 압력, 진동, 바람, 열 등을 발생시킬 수 있다.
이하, 도 2를 참조하여 도 1의 가상 현실 장치(110)를 상세히 설명한다.
도 2는 도 1의 가상 현실 장치(110)의 일 실시예를 도시한 블록도이다. 도 2를 참조하면, 가상 현실 장치(110)는 영상 재생부(210), 영상 분석부(220), 피드백 정보 생성부(230) 및 피드백 정보 전송부(240)를 포함할 수 있다.
영상 재생부(210)는 입력된 영상을 가상 현실(Virtual Reality: VR) 상에서 재생할 수 있다. 예를 들면, 영상 재생부(210)는 입력된 영상 및 사운드에 대응하여, 실물과 같은 영상을 표시하고 실제 같은 사운드를 출력할 수 있다.
이를 위해, 영상 재생부(210)는 디스플레이(211) 및 사운드 출력부(212)를 포함할 수 있다.
디스플레이(211)는 입력된 영상을 가상 현실 상에서 디스플레이할 수 있다. 일 실시예에 따르면, 디스플레이(211)는 안경형 디스플레이 장치(예컨대, HMD(Head Mounted Display))일 수 있다.
사운드 출력부(212)는 입력된 사운드를 출력할 수 있다. 예컨대, 사운드 출력부(212)는 입력된 사운드를 다양한 신호 처리를 통하여 실제와 같은 사운드로 변환하여 출력할 수 있다.
영상 분석부(220)는 영상 재생부(210)에서 재생 중인 영상을 실시간으로 분석할 수 있다. 예컨대, 영상 분석부(220)는 재생 중인 영상을 분석하여 영상 내의 객체를 판별 및 분류하고, 객체의 움직임(activity) 및/또는 상태(status)를 분석할 수 있다. 여기서, 객체란 영상을 구성하는 배경을 제외한 구성 요소로서 모양을 나타내는 특징점들을 가지는 구성 요소를 나타낸다.
피드백 정보 생성부(230)는 영상 분석 결과를 기반으로 실감형 피드백 정보를 생성할 수 있다. 이때, 실감형 피드백 정보는 제공될 실감형 피드백의 종류, 실감형 피드백 제공 시작 시간 및 종료 시간, 실감형 피드백 제공 강도 등과 같이 피드백 장치(120)를 통해 실감형 피드백을 제공하기 위한 다양한 정보를 포함할 수 있다.
예컨대, 피드백 장치(120)가 장갑형/촉각형 피드백 장치이고, 영상 분석 결과 글러브로 야구공을 잡고 있는 상황인 경우, 피드백 정보 생성부(230)는 "피드백 장치(120)를 통하여 특정 강도의 진동 또는 압력을(제공될 실감형 피드백의 종류 및 실감형 피드백 제공 강도) 글러브에 야구공이 들어오는 순간부터 특정 시간 동안(피드백 제공 시작 시간 및 종료 시간) 제공"이라는 정보를 포함하는 실감형 피드백 정보를 생성할 수 있다.
피드백 정보 전송부(240)는 피드백 정보 생성부(230)에서 생성된 실감형 피드백 정보를 피드백 장치(120)에 전송할 수 있다.
피드백 정보 전송부(240)는 무선 인터넷, 무선 인트라넷, 무선 전화 네트워크, 무선 랜(LAN), 와이파이(Wi-Fi) 네트워크, 와이파이 다이렉트(Wi-Fi Direct) 네트워크, 3G(Generation) 네트워크, 4G(Generation) LTE(Long Term Evolution) 네트워크, 블루투스(Bluetooth) 네트워크, 적외선 통신(Infrared Data Association: IrDA) 네트워크, RFID(Radio Frequency Identification) 네트워크, UWB(Ultra WideBand) 네트워크, 지그비(Zigbee) 네트워크, NFC(Near Field Communication) 네트워크 등과 같은 유선 또는 무선 네트워크를 통해 피드백 장치(120)에 실감형 피드백 정보를 송신할 수 있다. 이를 위해, 피드백 정보 전송부(240)는 이동 통신 모듈, 무선 인터넷 모듈, 유선 인터넷 모듈, 블루투스 모듈, NFC 모듈 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이하, 도 3을 참조하여, 도 1의 피드백 장치(120)를 상세히 설명한다.
도 3은 도 1의 피드백 장치(120)의 일 실시예를 도시한 블록도이다. 도 3을 참조하면, 피드백 장치(120)는 피드백 정보 수신부(310) 및 피드백 제공부(320)를 포함할 수 있다.
피드백 정보 수신부(310)는 가상 현실 장치(110)로부터 실감형 피드백 정보를 수신할 수 있다. 이때, 실감형 피드백 정보는 제공될 실감형 피드백의 종류, 실감형 피드백 제공 시작 시간 및 종료 시간, 실감형 피드백 제공 강도 등과 같이 피드백 장치(120)를 통해 실감형 피드백을 제공하기 위한 다양한 정보를 포함할 수 있다.
피드백 정보 수신부(340)는 무선 인터넷, 무선 인트라넷, 무선 전화 네트워크, 무선 랜(LAN), 와이파이(Wi-Fi) 네트워크, 와이파이 다이렉트(Wi-Fi Direct) 네트워크, 3G(Generation) 네트워크, 4G(Generation) LTE(Long Term Evolution) 네트워크, 블루투스(Bluetooth) 네트워크, 적외선 통신(Infrared Data Association: IrDA) 네트워크, RFID(Radio Frequency Identification) 네트워크, UWB(Ultra WideBand) 네트워크, 지그비(Zigbee) 네트워크, NFC(Near Field Communication) 네트워크 등과 같은 유선 또는 무선 네트워크를 통해 가상 현실 장치(110)로부터 실감형 피드백 정보를 수신할 수 있다. 이를 위해, 피드백 정보 수신부(310)는 이동 통신 모듈, 무선 인터넷 모듈, 유선 인터넷 모듈, 블루투스 모듈, NFC 모듈 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
피드백 제공부(320)는 수신된 실감형 피드백 정보를 기반으로 해당 실감형 피드백을 사용자에게 제공한다. 예컨대, 피드백 제공부(320)는 수신된 실감형 피드백 정보를 기반으로 피드백 구동 신호를 생성하고, 생성된 피드백 구동 신호에 따라 가상 현실 장치(110)에서 재생 중인 영상의 싱크(sync)에 맞춰 피드백 장치(120)가 제공하는 실감형 피드백, 예컨대, 후각형 피드백(예컨대, 냄새 또는 향기 등), 촉각형 피드백(예컨대, 진동, 압력, 열, 바람 등) 등을 제공할 수 있다.
이때, 피드백 장치(120)는 착용, 탑승 또는 거치 여부에 따라 착용형 피드백 장치(예컨대, 장갑형, 의복형, 목걸이형, 시계형 등), 탑승형 피드백 장치(예컨대, 의자형 등) 및 거치형 피드백 장치 등으로 구분될 수 있다. 또한, 피드백 장치(120)는 제공되는 피드백의 종류에 따라 후각형 피드백 장치(예컨대, 향기 또는 냄새를 발생하는 피드백 장치 등) 및 촉각형 피드백 장치(예컨대, 진동 또는 압력 등과 같은 기계적인 자극을 발생시키는 피드백 장치, 열 자극을 발생시키는 피드백 장치, 바람 등을 생성하는 피드백 장치 등) 등으로 구분될 수 있다.
도 4는 도 1의 실감형 서비스 제공 시스템(100)이 적용된 예를 도시한 도면이다. 이때, 가상 현실 장치(110)는 제1 피드백 장치 및 제2 피드백 장치와 연계하여 실감형 서비스를 제공하며, 제1 피드백 장치는 거치형/후각형 피드백 장치로서 향기 또는 냄새를 발생하는 피드백 장치이고, 제2 피드백 장치는 장갑형/촉각형 피드백 장치로서 진동 또는 압력 등과 같은 기계적인 자극을 발생시키는 피드백 장치라고 가정한다.
도 4를 참조하면, 가상 현실 장치(110)는 현재 재생 중인 영상(410)을 실시간으로 분석하여, 사람(421), 술병(422), 술잔(423) 및 손(424)을 검출하고, 사람(421), 술병(422), 술잔(423) 및 손(424)의 움직임(activity) 및/또는 상태(status)를 분석한다. 이때, 손(424)은 가상 현실 상에 표현된 사용자의 손일 수 있다.
영상 분석 결과, 사람(421)이 술병(422)을 기울여 손(424)이 잡고 있는 술잔(423)에 술을 따른다고 판단되면, 가상 현실 장치(110)는 실감형 피드백 정보로서, 제1 피드백 장치를 통해 술냄새에 대응하는 향기 또는 냄새를 특정 시간 동안 제공하기 위한 제1 실감형 피드백 정보, 및 제2 피드백 장치를 통해 술잔(423)의 떨림에 대응하는 진동 또는 압력을 특정 시간 동안 제공하기 위한 제2 실감형 피드백 정보를 생성한다.
가상 현실 장치(110)는 제1 실감형 피드백 정보를 제1 피드백 장치에 전송하고, 제2 실감형 피드백 정보를 제2 피드백 장치에 전송한다.
제1 피드백 장치는 제1 실감형 피드백 정보를 수신하고 수신된 제1 실감형 피드백 정보를 기반으로 술냄새에 대응하는 향기 또는 냄새를 영상(410)의 싱크(sync)에 맞춰 특정 시간 동안 제공한다. 제2 피드백 장치는 제2 실감형 피드백 정보를 수신하고 수신된 제2 실감형 피드백 정보를 기반으로 술잔의 떨림에 대응하는 진동 또는 압력을 영상(410)의 싱크(sync)에 맞춰 특정 시간 동안 제공한다.
이를 통해, 실감형 서비스 제공 시스템(100)은 실감형 영상 및 실감형 사운드와 함께 다양한 실감형 피드백(후각형 피드백, 촉각형 피드백 등)을 제공함으로써, 더욱 현장감있고 생동감이 있는 실감형 서비스를 제공할 수 있다.
도 5는 실감형 서비스 제공 방법의 일 실시예를 도시한 흐름도이다.
도 5를 참조하면, 가상 현실 장치(110)가 입력된 영상을 가상 현실 상에서 재생한다(510). 예를 들면, 가상 현실 장치(110)는 입력된 영상 및 사운드에 대응하여, 실물과 같은 영상을 표시하고 실제 같은 사운드를 출력할 수 있다.
그 후, 가상 현실 장치(110)는 재생 중인 영상을 실시간으로 분석한다(520). 예컨대, 가상 현실 장치(110)는 재생 중인 영상을 분석하여 영상 내의 객체를 판별 및 분류하고, 객체의 움직임(activity) 및/또는 상태(status)를 분석할 수 있다. 여기서, 객체란 영상을 구성하는 배경을 제외한 구성 요소로서 모양을 나타내는 특징점들을 가지는 구성 요소를 나타낸다.
그 후, 가상 현실 장치(110)는 단계 520의 영상 분석 결과를 기반으로 실감형 피드백 정보를 생성한다. 이때, 실감형 피드백 정보는 제공될 실감형 피드백의 종류, 실감형 피드백 제공 시작 시간 및 종료 시간, 실감형 피드백 제공 강도 등과 같이 피드백 장치(120)를 통해 실감형 피드백을 제공하기 위한 다양한 정보를 포함할 수 있다.
예컨대, 피드백 장치(120)가 장갑형/촉각형 피드백 장치이고, 영상 분석 결과 야구공을 글러브로 잡고 있는 상황인 경우, 가상 현실 장치(110)는 "피드백 장치(120)를 통하여 특정 강도의 진동 또는 압력을 글러브에 야구공이 들어오는 순간부터 특정 시간 동안 제공"이라는 정보를 포함하는 실감형 피드백 정보를 생성할 수 있다.
그 후, 가상 현실 장치(110)는 단계 530에서 생성된 실감형 피드백 정보를 피드백 장치(120)에 전송한다(540). 이때, 가상 현실 장치(110)는 무선 인터넷, 무선 인트라넷, 무선 전화 네트워크, 무선 랜(LAN), 와이파이(Wi-Fi) 네트워크, 와이파이 다이렉트(Wi-Fi Direct) 네트워크, 3G(Generation) 네트워크, 4G(Generation) LTE(Long Term Evolution) 네트워크, 블루투스(Bluetooth) 네트워크, 적외선 통신(Infrared Data Association: IrDA) 네트워크, RFID(Radio Frequency Identification) 네트워크, UWB(Ultra WideBand) 네트워크, 지그비(Zigbee) 네트워크, NFC(Near Field Communication) 네트워크 등과 같은 유선 또는 무선 네트워크를 통해 피드백 장치(120)에 실감형 피드백 정보를 송신할 수 있다.
피드백 장치(120)는 가상 현실 장치(110)로부터 실감형 피드백 정보를 수신하여, 수신된 실감형 피드백 정보를 기반으로 피드백 구동 신호를 생성한다(550). 그 후, 피드백 장치(120)는 단계 550에서 생성된 피드백 구동 신호에 따라 가상 현실 장치(110)에서 재생 중인 영상의 싱크(sync)에 맞춰 실감형 피드백을 제공한다(560).
예컨대, 피드백 장치(120)가 장갑형/촉각형 피드백 장치이고, 가상 현실 장치(110)로부터 피드백 장치(120)를 통하여 특정 강도의 진동 또는 압력을 글러브에 야구공이 들어오는 순간부터 특정 시간 동안 제공하기 위한 실감형 피드백 정보를 수신한 경우라고 가정한다. 이 경우, 피드백 장치(120)는 수신된 실감형 피드백 정보를 기반으로 피드백 구동 신호를 생성하고, 생성된 피드백 구동 신호에 따라, 영상 내에서 글러브에 야구공이 들어오는 순간부터 특정 시간 동안 특정 강도의 진동 또는 압력을 생성하여 사용자에게 제공한다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
100: 실감형 서비스 제공 시스템
110: 가상 현실 장치
120: 피드백 장치
210: 영상 재생부
211: 디스플레이
212: 사운드 출력부
220: 영상 분석부
230: 피드백 정보 생성부
240: 피드백 정보 전송부
310: 피드백 정보 수신부
320: 피드백 제공부

Claims (18)

  1. 적어도 하나의 피드백 장치와 연계하여 실감형 서비스를 제공하는 가상 현실 장치에 있어서,
    재생 중인 영상을 분석하는 영상 분석부;
    영상 분석 결과를 기반으로 실감형 피드백 정보를 생성하는 영상 피드백 정보 생성부; 및
    상기 생성된 실감형 피드백 정보를 상기 적어도 하나의 피드백 장치에 전송하는 피드백 정보 전송부; 를 포함하는 가상 현실 장치.
  2. 제1항에 있어서,
    상기 영상 분석부는, 상기 재생 중인 영상을 실시간으로 분석하는 가상 현실 장치.
  3. 제1항에 있어서,
    상기 영상 분석부는, 상기 재생 중인 영상으로부터 영상 내의 객체를 판별 및 분류하고, 객체의 움직임(activity) 또는 상태(status)를 분석하는 가상 현실 장치.
  4. 제1항에 있어서,
    상기 실감형 피드백 정보는, 상기 적어도 하나의 피드백 장치를 통해 제공될 실감형 피드백의 종류, 실감형 피드백 제공 시작 시간, 실감형 피드백 제공 종료 시간, 실감형 피드백 제공 강도 중 적어도 하나를 포함하는 가상 현실 장치.
  5. 제1항에 있어서,
    상기 적어도 하나의 피드백 장치는 후각형 피드백 장치 및 촉각형 피드백 장치를 포함하는 가상 현실 장치.
  6. 제1항에 있어서,
    입력된 영상을 가상 현실 상에서 재생하는 영상 재생부; 를 더 포함하는 가상 현실 장치.
  7. 적어도 하나의 피드백 장치와 연계하여 실감형 서비스를 제공하는 방법에 있어서,
    재생 중인 영상을 분석하는 단계;
    영상 분석 결과를 기반으로 실감형 피드백 정보를 생성하는 단계; 및
    상기 생성된 실감형 피드백 정보를 상기 적어도 하나의 피드백 장치에 전송하는 단계; 를 포함하는 실감형 서비스를 제공하는 방법.
  8. 제7항에 있어서,
    상기 분석하는 단계는, 상기 재생 중인 영상을 실시간으로 분석하는 실감형 서비스를 제공하는 방법.
  9. 제7항에 있어서,
    상기 분석하는 단계는, 상기 재생 중인 영상으로부터 영상 내의 객체를 판별 및 분류하고, 객체의 움직임(activity) 또는 상태(status)를 분석하는 실감형 서비스를 제공하는 방법.
  10. 제7항에 있어서,
    상기 실감형 피드백 정보는, 상기 적어도 하나의 피드백 장치를 통해 제공될 실감형 피드백의 종류, 실감형 피드백 제공 시작 시간, 실감형 피드백 제공 종료 시간, 실감형 피드백 제공 강도 중 적어도 하나를 포함하는 실감형 서비스를 제공하는 방법.
  11. 제7항에 있어서,
    상기 적어도 하나의 피드백 장치는 후각형 피드백 장치 및 촉각형 피드백 장치를 포함하는 실감형 서비스를 제공하는 방법.
  12. 제7항에 있어서,
    입력된 영상을 가상 현실 상에서 재생하는 단계; 를 더 포함하는 실감형 서비스를 제공하는 방법.
  13. 실감형 서비스 제공 시스템에 있어서,
    재생 중인 영상을 분석하고, 영상 분석 결과를 기반으로 실감형 피드백 정보를 생성하고, 생성된 실감형 피드백 정보를 피드백 장치에 전송하는 가상 현실 장치; 및
    상기 가상 현실 장치로부터 실감형 피드백 정보를 수신하고, 수신된 실감형 피드백 정보를 기반으로 실감형 피드백을 제공하는 피드백 장치; 를 포함하는 실감형 서비스 제공 시스템.
  14. 제13항에 있어서,
    상기 가상 현실 장치는, 상기 재생 중인 영상을 실시간으로 분석하는 실감형 서비스 제공 시스템.
  15. 제13항에 있어서,
    상기 가상 현실 장치는, 상기 재생 중인 영상으로부터 영상 내의 객체를 판별 및 분류하고, 객체의 움직임(activity) 또는 상태(status)를 분석하는 실감형 서비스 제공 시스템.
  16. 제13항에 있어서,
    상기 실감형 피드백 정보는, 상기 피드백 장치를 통해 제공될 실감형 피드백의 종류, 실감형 피드백 제공 시작 시간, 실감형 피드백 제공 종료 시간, 실감형 피드백 제공 강도 중 적어도 하나를 포함하는 실감형 서비스 제공 시스템.
  17. 제13항에 있어서,
    상기 피드백 장치는 후각형 피드백 장치 및 촉각형 피드백 장치를 포함하는 실감형 서비스 제공 시스템.
  18. 제13항에 있어서,
    상기 가상 현실 장치는 입력된 영상을 가상 현실 상에서 재생하는 실감형 서비스 제공 시스템.
KR1020150069025A 2015-05-18 2015-05-18 가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법 KR20160135552A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150069025A KR20160135552A (ko) 2015-05-18 2015-05-18 가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법
US15/079,288 US20160342202A1 (en) 2015-05-18 2016-03-24 Virtual reality apparatus, feedback apparatus, and system and method for providing realistic service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150069025A KR20160135552A (ko) 2015-05-18 2015-05-18 가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20160135552A true KR20160135552A (ko) 2016-11-28

Family

ID=57325419

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150069025A KR20160135552A (ko) 2015-05-18 2015-05-18 가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법

Country Status (2)

Country Link
US (1) US20160342202A1 (ko)
KR (1) KR20160135552A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190036811A (ko) 2017-09-28 2019-04-05 주식회사 더슛미디어 가상현실 콘텐츠의 음성 트랙 통해 진동 신호를 전달받는 모션 체어 구동 장치 및 그 방법
KR20200053149A (ko) 2018-11-08 2020-05-18 주식회사 더슛미디어 가상현실 콘텐츠의 음성 트랙 통해 진동 신호를 전달받는 모션 체어 구동 장치 및 그 방법
KR20220053945A (ko) * 2020-10-23 2022-05-02 주식회사 비트센싱 가상 촉각 서비스를 제공하는 서버, 사용자 단말 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017183826A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ
US10194128B2 (en) * 2017-06-12 2019-01-29 Amazon Technologies, Inc. Systems and processes for generating a digital content item
RU2708949C2 (ru) * 2017-07-26 2019-12-12 Фёдор Валентинович Беломоев Устройство и способ имитации и передачи контактных экстероцептивных ощущений
NL2020040B1 (en) * 2017-12-07 2019-06-19 Feel Robotics B V Method and system for generating an augmented reality signal and a control signal for an auxiliary device for performing sexually arousing actions to a spectator
JP6778227B2 (ja) * 2018-03-05 2020-10-28 株式会社スクウェア・エニックス 映像表示システム、映像表示方法及び映像表示プログラム
US10852827B1 (en) 2019-03-25 2020-12-01 Facebook Technologies, Llc Tactile simulation of initial contact with virtual objects
CN111935551A (zh) * 2020-06-30 2020-11-13 百度在线网络技术（北京）有限公司 视频处理方法、装置、电子设备和存储介质
CN113438523B (zh) * 2021-07-06 2021-12-21 江西大江传媒网络股份有限公司 一种基于移动互联网的视频展播智能化分析反馈系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9891435B2 (en) * 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US20080162261A1 (en) * 2006-12-30 2008-07-03 Velazquez Herb F Virtual reality system including personalized virtual environments
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9064385B2 (en) * 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
CN104811814B (zh) * 2015-04-28 2019-01-29 腾讯科技（北京）有限公司 基于视频播放的信息处理方法和系统、客户端和服务器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190036811A (ko) 2017-09-28 2019-04-05 주식회사 더슛미디어 가상현실 콘텐츠의 음성 트랙 통해 진동 신호를 전달받는 모션 체어 구동 장치 및 그 방법
KR20200053149A (ko) 2018-11-08 2020-05-18 주식회사 더슛미디어 가상현실 콘텐츠의 음성 트랙 통해 진동 신호를 전달받는 모션 체어 구동 장치 및 그 방법
KR20220053945A (ko) * 2020-10-23 2022-05-02 주식회사 비트센싱 가상 촉각 서비스를 제공하는 서버, 사용자 단말 및 방법

Also Published As

Publication number Publication date
US20160342202A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
KR20160135552A (ko) 가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법
US8990842B2 (en) Presenting content and augmenting a broadcast
US10445941B2 (en) Interactive mixed reality system for a real-world event
KR101618590B1 (ko) 몰입 효과들을 제공하기 위한 방법 및 시스템
EP2840463A1 (en) Haptically enabled viewing of sporting events
CN106303555A (zh) 一种基于混合现实的直播方法、装置和系统
JP2017005709A (ja) ブロードキャスト用ハプティクスアーキテクチャ
CN102129636A (zh) 用于提供基于识别的广告给观众的系统和方法
US10101804B1 (en) Content interaction system and method
US20220404620A1 (en) Methods and devices related to extended reality
JP2016045814A (ja) 仮想現実サービス提供システム、仮想現実サービス提供方法
US20210038989A1 (en) Gaming with earpiece 3d audio
CN105894571B (zh) 一种处理多媒体信息的方法及装置
WO2016072238A1 (ja) 画像処理装置、画像表示装置、画像処理方法及び画像表示方法
KR102071606B1 (ko) 가상 현실을 기반으로 하는 간호 중 오류상황 인지 여부 평가 시스템
JP2017126355A (ja) イベントに関連付けられる情報を人に供給するための方法
JP2020102782A (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
WO2018135057A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN105893452B (zh) 一种呈现多媒体信息的方法及装置
KR20140057219A (ko) 단말기 기반의 교육 콘텐츠 제공 방법, 그리고 단말기 기반의 교육 콘텐츠 제공 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
EP4080907A1 (en) Information processing device and information processing method
CN111225233A (zh) 一种多维环境渲染系统及渲染方法
US20230031160A1 (en) Information processing apparatus, information processing method, and computer program
JP6523038B2 (ja) 感覚提示装置
WO2015119507A1 (en) Device, system and method for improved visually impaired spectator experience