KR20200133127A - 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법 - Google Patents

실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법 Download PDF

Info

Publication number
KR20200133127A
KR20200133127A KR1020190058126A KR20190058126A KR20200133127A KR 20200133127 A KR20200133127 A KR 20200133127A KR 1020190058126 A KR1020190058126 A KR 1020190058126A KR 20190058126 A KR20190058126 A KR 20190058126A KR 20200133127 A KR20200133127 A KR 20200133127A
Authority
KR
South Korea
Prior art keywords
content
haptic
client terminal
video
motion information
Prior art date
Application number
KR1020190058126A
Other languages
English (en)
Inventor
박우출
장준환
김용화
양진욱
윤상필
김현욱
조은경
최민수
이준석
양재영
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190058126A priority Critical patent/KR20200133127A/ko
Priority to US17/595,491 priority patent/US20220214749A1/en
Priority to PCT/KR2019/012011 priority patent/WO2020235749A1/ko
Publication of KR20200133127A publication Critical patent/KR20200133127A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 실시간 몰입형 콘텐츠 제공을 위한 햅틱 효과 전송 방법은 하나 이상의 유저들이 참여하는 참여형 콘텐츠를 실행시키는 단계; 상기 참여형 콘텐츠에 참여하는 유저들의 동작 정보를 햅틱 장치를 통해 수집하는 단계; 상기 동작 정보를 상기 참여형 콘텐츠의 영상 및 음성 파일과 먹싱하는 단계; 및 상기 먹싱된 파일을 디먹싱하여 클라이언트 단말의 디스플레이 장치 및 햅틱 장치로 제공하는 단계를 포함한다.

Description

실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법{SYSTEM FOR PROVIDING REAL-TIM IMMERSIVE CONTENT AND METHOD FOR TRANSMITTING HAPTIC EFFECT THEREOF}
본 발명은 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법에 관한 것이다.
햅틱 기술이란 조이스틱, 마우스, 키보드, 터치스크린 등과 같은 각종 게임기나 컴퓨터의 입력장치를 조작하면서 사용자가 진동, 운동감, 힘 등을 느낄 수 있게 조작되어 사용자에게 컴퓨터 가상체험 등과 같이 보다 실감나는 정보를 전달하는 기술을 의미한다.
기존의 컴퓨터 기술에서는 인간과 컴퓨터가 시각, 청각 정보를 이용하여 정보를 주고 받았으나, 사용자가 보다 구체적이고 실감나는 정보를 원하게 됨으로써, 이를 충족시키기 위해 촉각 정보를 전달하는 햅틱 기술이 개발되었다.
최근에 햅틱 기술은 컴퓨터 촉각 기술을 일컫는 용어로 사용되고 있는데, 노트북, 스마트폰, 태블릿 PC 등의 정보통신 단말기나 비디오 게임 콘솔, 리모트 컨트롤 등의 전자기기가 발달함에 따라 이들 기기를 이용하여 사용자에게 시각, 청각 정보 외에 촉감을 느낄 수 있게 하는 햅틱 기술이 주목받고 있다. 특히 최근에는 스마트폰의 광범위한 보급과 함께 스마트폰 내에 햅틱 효과를 재생할 수 있는 장치와 이를 제어하는 소프트웨어가 제공되어 스마트폰을 손에 쥐고 있을 때 사용자에게 다양한 햅틱 효과를 제공할 수 있게 되었다.
또한, 햅틱 기술은 게임 등을 할 때 시각 정보나 청각 정보와 관련된 효과를 사용자에게 진동으로 전달하는 기능을 벗어나 음원의 재생과 연계하여 스마트폰을 손에 쥐고 사운드를 듣고 있는 사용자에게 사운드와 연계된 진동 효과를 손으로 전달하는 기능으로의 확장을 꾀하고 있다.
한편, 최근 e-스포츠가 활성화됨에 따라 수많은 플레이어와 이를 관람하는 시청자들이 생겨났으며, 시청자들은 유명 플레이어들의 플레이를 직관하거나 댁내에서 시청하는 것을 통해 유명 플레이어들의 플레이를 간접적으로 체험할 수 있게 되었다.
하지만 종래 기술의 경우 시청자들은 단순히 영상과 음성을 통해서만 플레이어들의 플레이를 체감할 수 있어, 보다 직접적인 플레이 체감이 가능한 기술이 필요한 실정이다.
본 발명의 실시예는 참여형 콘텐츠에서 시청자의 몰입감을 위해 제작된 햅틱 콘텐츠에 대한 데이터를 실시간으로 영상 및 음성과 함께 제공할 수 있는 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 실시간 몰입형 콘텐츠 제공을 위한 햅틱 효과 전송 방법은 하나 이상의 유저들이 참여하는 참여형 콘텐츠를 실행시키는 단계; 상기 참여형 콘텐츠에 참여하는 유저들의 동작 정보를 햅틱 장치를 통해 수집하는 단계; 상기 동작 정보를 상기 참여형 콘텐츠의 영상 및 음성 파일과 먹싱하는 단계; 및 상기 먹싱된 파일을 디먹싱하여 클라이언트 단말의 디스플레이 장치 및 햅틱 장치로 제공하는 단계를 포함한다.
일 실시예로, 상기 먹싱된 파일은 동기화 및 인코딩된 후 상기 클라이언트 단말로 제공될 수 있다.
일 실시예로, 상기 동작 정보는 상기 참여형 콘텐츠의 사물 및 인물의 움직임, 스피드, 흔들림, 액션 강도 및 감정 표현에 기초하여 생성될 수 있다.
일 실시예로, 상기 유저는 복수이되, 상기 클라이언트 단말은 상기 복수의 유저 중 상기 클라이언트 단말로부터 선택된 유저에 대응하는 영상 및 음성 파일과 먹싱된 햅틱 정보를 제공받을 수 있다.
또한, 본 발명의 제 2 측면에 따른 햅틱 효과 전송이 가능한 실시간 몰입형 콘텐츠 제공 시스템은 참여형 콘텐츠가 실행되는 디스플레이 장치 및 유저의 동작 정보를 수집하는 햅틱 장치를 포함하는 하나 이상의 유저 단말, 상기 하나 이상의 유저 단말로부터 수신한 참여형 콘텐츠의 영상 및 음성 파일과 상기 동작 정보를 먹싱하는 서버 및 상기 먹싱된 파일을 디먹싱하여 제공받아 상기 영상 및 음성을 디스플레이 장치에 출력하고, 상기 동작 정보를 햅틱 장치에 출력하는 클라이언트 단말을 포함한다.
일 실시예로, 상기 먹싱된 파일은 동기화 및 인코딩된 후 상기 클라이언트 단말로 제공될 수 있다.
일 실시예로, 상기 동작 정보는 상기 참여형 콘텐츠의 사물 및 인물의 움직임, 스피드, 흔들림, 액션 강도 및 감정 표현에 기초하여 생성될 수 있다.
일 실시예로, 상기 유저는 복수이되, 상기 클라이언트 단말은 상기 복수의 유저 중 상기 클라이언트 단말로부터 선택된 유저에 대응하는 영상 및 음성 파일과 먹싱된 햅틱 정보를 제공받을 수 있다.
기존 미디어 콘텐츠 이용에 있어서는 영상과 음성에 의존적인 체험만 할 수 있는 반면, 전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면 영상, 오디오 뿐만 아니라 햅틱 데이터를 실시간으로 시청자에게 제공할 수 있다.
특히, 햅틱 디바이스를 가지고 있는 경우, 실제 화면에서 피사체에게 전해지는 촉감의 감정을 영상 및 음성과 함께 실시간으로 제공할 수 있어 시청자로 하여금 더욱 큰 몰입감을 갖도록 할 수 있다.
이와 더불어, 본 발명은 기존 미디어 콘텐츠 처리 방식을 일부 이용함으로써 시스템 변경 및 자원 소모가 적다는 장점이 있으며, 저품질 콘텐츠뿐만 아니라 고품질 콘텐츠에도 적용이 가능하다는 장점이 있다.
도 1은 본 발명의 일 실시예를 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 실시간 몰입형 콘텐츠 제공 시스템을 설명하기 위한 도면이다.
도 3은 실시간 몰입형 콘텐츠 제공 시스템의 블록도이다.
도 4는 먹싱과 디먹싱되는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 햅틱 효과 전송 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예를 개략적으로 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 실시간 몰입형 콘텐츠 제공 시스템(1) 및 이의 햅틱 효과 전송 방법은 게임과 같은 참여형 콘텐츠에 참여하고 있는 유저의 동작을 햅틱 장치를 통해 수집하면, 방송 중계를 위해 실제 플레이 영상과 동시 제공을 위한 방법으로 스트리밍 믹서를 통해 특정한 포맷으로 먹싱을 수행한 후, 참여형 콘텐츠 영상에서 실제 유저의 플레이 영상과 착용 햅틱 장치의 햅틱 반응이 동시에 클라이언트 단말(300)로 제공됨으로써, 시청자에게 몰입감을 제공할 수 있다.
또한, 본 발명의 일 실시예는 대용량 고품질 콘텐츠부터 저품질 콘텐츠까지 클라이언트 단말(300)에게 미디어 콘텐츠와 햅틱 콘텐츠를 실시간으로 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 실시간 몰입형 콘텐츠 제공 시스템(1)을 설명하기 위한 도면이다. 도 3은 실시간 몰입형 콘텐츠 제공 시스템(1)의 블록도이다. 도 4는 먹싱과 디먹싱되는 과정을 설명하기 위한 도면이다.
한편, 이하의 본 발명의 명세서에서 사용하는 용어 중 "단말"란 통상의 이동통신 단말기, 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 디지털 카메라, 휴대용 게임기, MP3 플레이어, 스마트 TV에 유무선으로 연결되는 리모콘, 퍼스널 컴퓨터나 노트북 컴퓨터에 유무선으로 연결되는 마우스 또는 비디오 게임 콘솔 등을 모두 포함하는 의미이다.
또한, 본 발명의 명세서에서 사용하는 용어 중 "콘텐츠"란 움직이는 사물이나 인물을 영상 촬영 장비로 촬영한 후 다수의 프레임을 빠른 속도로 연속적으로 재생함으로써 사람이 시각적으로 이를 연속적인 영상으로 인식하는 영상자료로서, 사물 및 인물의 움직임, 스피드, 흔들림, 액션 강도, 감정 표현 등이 모여 하나의 스토리를 형성하고 후술하는 햅틱 효과 데이터 생성의 기초가 되는 영상자료를 의미한다. 그리고 "파일"이란 이러한 영상자료를 디지털화하여 저장, 판독 및 재생할 수 있는 파일로서, MPEG, MOV, RealVideo, AVI, FLV, MKV 등의 형식의 파일이 있다.
다음으로, 본 발명의 명세서에서 사용하는 용어 중 "동작 정보"란 동영상 콘텐츠의 사물 및 인물의 움직임, 스피드, 흔들림, 액션 강도, 감정 표현 등을 기초로 생성되어 단말 장치 사용자에게 다양한 진통 패턴을 제공할 수 있는 데이터로서, 전기 에너지를 진동 형태의 역학 에너지로 전환할 수 있는 진동 소자를 구동시켜 동영상 컨텐츠의 생동감 및 박진감 등이 반영된 다양한 진통 패턴을 시간의 경과에 따라 단말 장치 사용자에게 제공할 수 있는 데이터를 의미한다.
본 발명의 일 실시예에 따른 실시간 몰입형 콘텐츠 제공 시스템(1)은 유저 단말(100), 서버(200) 및 클라이언트 단말(300)을 포함한다.
유저 단말(100)은 예를 들어 e-스포츠를 플레이하는 플레이어 또는 기타 일반 플레이어인 유저가 사용하는 단말로 하나 이상이 구비될 수 있으며, 디스플레이 장치 및 햅틱 장치를 포함한다.
이러한 유저 단말(100)은 참여형 콘텐츠를 디스플레이 단말을 통해 실행시켜 해당 콘텐츠에 참여하게 되며, 이 과정에서 발생되는 유저의 동작 정보는 햅틱 장치를 통해 수집되게 된다.
한편, 본 발명의 일 실시예에서 동작 정보는 참여형 콘텐츠의 사물 및 인물의 움직임, 스피드, 흔들림, 액션 강도 및 감정 표현에 기초하여 생성되는 것으로서, 일 예로 유저가 참여형 콘텐츠에서 타격을 하거나 부딪히는 등의 이벤트에 대응되는 햅틱 반응일 수 있다.
또한, 본 발명의 일 실시예에서 참여형 콘텐츠는 일정한 목적을 가진 프로그램에 의해 실행되는 콘텐츠로서 예를 들어 게임이 이에 해당할 수 있다.
서버(200)는 유저 단말(100)에서 수신한 참여형 콘텐츠의 영상 및 음성 파일과 햅틱 장치로부터 수집된 동작 정보를 수신하여 먹싱하고, 먹싱된 파일을 클라이언트 단말(300)로 제공한다. 예를 들어, 서버(200)는 도 4와 같이 '.mp4' 타입의 포맷으로 먹싱을 수행할 수 있다.
이때, 서버(200)는 먹싱된 파일에 대하여 영상 및 음성 파일과 동작 정보를 동기화하고 인코딩시킨 후 클라이언트 단말(300)로 제공할 수 있다.
예를 들어, 도 3과 같이 서버(200)는 스트림 믹서를 통해 영상 및 음성 파일과 동작 정보를 동기화시킬 수 있다. 이때, 스트림 믹서는 영상 및 음성 파일과 햅틱 파일의 PTS(Presentation Time Stamp)와 DTS(Decoding Time Stamp)를 기반으로 동기화시킬 수 있다.
또한, 서버(200)는 트랜스 코더를 통해 동기화된 먹싱 파일을 대상으로 HEVC 기반의 분산 인코딩을 수행할 수 있다.
클라이언트 단말(300)은 e-스포츠를 시청하는 시청자의 단말로 하나 이상이 구비될 수 있으며, 디스플레이 장치 및 햅틱 장치를 포함한다.
서버(200)는 클라이언트 단말(300)로 먹싱된 파일을 제공함에 따라, 클라이언트 단말(300)을 먹싱된 파일을 디먹싱하여 영상 및 음성을 디스플레이 장치에 출력시키고, 동작 정보를 햅틱 장치에 출력시킬 수 있다. 이때, 클라이언트 단말(300)은 동기화된 PTS와 DTS 정보를 기반으로 디스플레이 장치와 햅틱 장치에 각각 영상 및 음성과 동작 정보를 동기화되도록 하여 출력시킬 수 있다.
이에 따라, 시청자는 유저가 실제 플레이하는 과정에서 보이는 영상 및 음성과 더불어 특정 이벤트에 대응하는 햅틱 반응을 유저와 동일하게 체감할 수 있게 된다.
한편, 본 발명의 일 실시예에서 유저 단말(100)이 복수인 경우, 클라이언트 단말(300)은 복수의 유저 중 어느 하나의 유저를 선택할 수 있다.
이에 따라, 클라이언트 단말(300)은 선택된 유저에 대응하는 영상 및 음성 파일과 먹싱된 햅틱 정보를 제공받아 실시간 몰입형 콘텐츠를 체감할 수 있다.
참고로, 본 발명의 실시예에 따른 도 1 내지 도 4에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
도 5는 본 발명의 일 실시예에 따른 햅틱 효과 전송 방법의 순서도이다.
본 발명의 일 실시예에 따른 실시간 몰입형 콘텐츠 제공을 위한 햅틱 효과 전송 방법은 먼저, 하나 이상의 유저들이 참여하는 참여형 콘텐츠를 실행시킨다.
이때, 본 발명의 일 실시예는 영상 콘텐츠, 음성 콘텐츠 및 햅틱 콘텐츠가 각각 존재하는지 여부를 판단하여, 모두 존재하는 경우 이를 각각 먹싱하는 단계를 수행할 수 있다. 이 과정을 통해 예를 들어, 비디오 콘텐츠는 '.mp4 video' 포맷으로, 오디오 콘텐츠는 '.mp4 audio' 포맷으로, 햅틱 콘텐츠는 '.mp4 haptic' 포맷으로 생성될 수 있다.
다음으로, 스트림 믹서는 영상, 오디오 및 햅틱 콘텐츠에 대하여 믹싱을 수행하고, 트랜스 코더에서는 믹싱된 데이터에 대하여 인코딩을 수행한다.
이후, 스트리밍 서버에서는 영상 스트림 파일과, 오디오 스트림 파일, 그리고 햅틱 스트림 파일이 각각 존재하는지 여부를 판단하고, 판단결과 모두 존재하는 경우 이를 클라이언트 단말(300)의 디스플레이 장치와 햅틱 장치를 통해 출력되도록 한다.
이 과정에서 클라이언트 단말(300)은 서버(200)에서의 동기화 정보를 이용하여 영상, 오디오 및 햅틱 스트림 파일을 동기화하여 출력되도록 할 수 있다.
본 발명의 일 실시예는 영상 스트림 파일과, 오디오 스트림 파일, 그리고 햅틱 스트림 파일 중 일부만이 존재하는 경우, 존재하는 일부 스트림 파일에 대해서만 디스플레이 장치 및/또는 햅틱 장치를 통해 출력되도록 할 수 있다.
마지막으로 추가적인 스트림 파일 요청이 필요한 경우 스트리밍 서버로부터 스트림 파일을 수신하여 전술한 과정을 반복 수행하게 되며, 추가적인 요청이 필요 없는 경우 해당 콘텐츠 출력을 종료하게 된다.
한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 실시간 몰입형 콘텐츠 제공 시스템
100: 유저 단말
200: 서버
300: 클라이언트 단말

Claims (8)

  1. 실시간 몰입형 콘텐츠 제공을 위한 햅틱 효과 전송 방법에 있어서,
    하나 이상의 유저들이 참여하는 참여형 콘텐츠를 실행시키는 단계;
    상기 참여형 콘텐츠에 참여하는 유저들의 동작 정보를 햅틱 장치를 통해 수집하는 단계;
    상기 동작 정보를 상기 참여형 콘텐츠의 영상 및 음성 파일과 먹싱하는 단계; 및
    상기 먹싱된 파일을 디먹싱하여 클라이언트 단말의 디스플레이 장치 및 햅틱 장치로 제공하는 단계를 포함하는 햅틱 효과 전송 방법.
  2. 제 1 항에 있어서,
    상기 먹싱된 파일은 동기화 및 인코딩된 후 상기 클라이언트 단말로 제공되는 것인 햅틱 효과 전송 방법.
  3. 제 1 항에 있어서,
    상기 동작 정보는 상기 참여형 콘텐츠의 사물 및 인물의 움직임, 스피드, 흔들림, 액션 강도 및 감정 표현에 기초하여 생성되는 것인 햅틱 효과 전송 방법.
  4. 제 1 항에 있어서,
    상기 유저는 복수이되, 상기 클라이언트 단말은 상기 복수의 유저 중 상기 클라이언트 단말로부터 선택된 유저에 대응하는 영상 및 음성 파일과 먹싱된 햅틱 정보를 제공받는 것인 햅틱 효과 전송 방법.
  5. 햅틱 효과 전송이 가능한 실시간 몰입형 콘텐츠 제공 시스템에 있어서,
    참여형 콘텐츠가 실행되는 디스플레이 장치 및 유저의 동작 정보를 수집하는 햅틱 장치를 포함하는 하나 이상의 유저 단말,
    상기 하나 이상의 유저 단말로부터 수신한 참여형 콘텐츠의 영상 및 음성 파일과 상기 동작 정보를 먹싱하는 서버 및
    상기 먹싱된 파일을 디먹싱하여 제공받아 상기 영상 및 음성을 디스플레이 장치에 출력하고, 상기 동작 정보를 햅틱 장치에 출력하는 클라이언트 단말을 포함하는 실시간 몰입형 콘텐츠 제공 시스템.
  6. 제 5 항에 있어서,
    상기 먹싱된 파일은 동기화 및 인코딩된 후 상기 클라이언트 단말로 제공되는 것인 실시간 몰입형 콘텐츠 제공 시스템.
  7. 제 5 항에 있어서,
    상기 동작 정보는 상기 참여형 콘텐츠의 사물 및 인물의 움직임, 스피드, 흔들림, 액션 강도 및 감정 표현에 기초하여 생성되는 것인 실시간 몰입형 콘텐츠 제공 시스템.
  8. 제 5 항에 있어서,
    상기 유저는 복수이되, 상기 클라이언트 단말은 상기 복수의 유저 중 상기 클라이언트 단말로부터 선택된 유저에 대응하는 영상 및 음성 파일과 먹싱된 햅틱 정보를 제공받는 것인 실시간 몰입형 콘텐츠 제공 시스템.
KR1020190058126A 2019-05-17 2019-05-17 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법 KR20200133127A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190058126A KR20200133127A (ko) 2019-05-17 2019-05-17 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
US17/595,491 US20220214749A1 (en) 2019-05-17 2019-09-18 Real-time immersive content providing system, and haptic effect transmission method thereof
PCT/KR2019/012011 WO2020235749A1 (ko) 2019-05-17 2019-09-18 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190058126A KR20200133127A (ko) 2019-05-17 2019-05-17 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법

Publications (1)

Publication Number Publication Date
KR20200133127A true KR20200133127A (ko) 2020-11-26

Family

ID=73458216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190058126A KR20200133127A (ko) 2019-05-17 2019-05-17 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법

Country Status (3)

Country Link
US (1) US20220214749A1 (ko)
KR (1) KR20200133127A (ko)
WO (1) WO2020235749A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102617115B1 (ko) * 2023-06-12 2023-12-21 광운대학교 산학협력단 감정 표현 시스템 및 감정 표현 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220305379A1 (en) * 2021-03-24 2022-09-29 D-Box Technologies Inc. Motion track generation for motion platform
KR102575318B1 (ko) * 2021-05-07 2023-09-07 포항공과대학교 산학협력단 모션효과제공장치 및 방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020035725A1 (en) * 2000-09-08 2002-03-21 Tsutomu Ando Multimedia data transmitting apparatus and method, multimedia data receiving apparatus and method, multimedia data transmission system, and storage medium
JP4366102B2 (ja) * 2002-05-01 2009-11-18 キヤノン株式会社 メディアデータ処理装置及びその方法
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
KR101773464B1 (ko) * 2009-06-30 2017-08-31 엘지전자 주식회사 멀티플레이어 게임을 제공하는 휴대 단말기 및 그 동작방법
KR20110040128A (ko) * 2009-10-13 2011-04-20 (주)조이넷 헵틱 콘텐츠 스트리밍 시스템
US11314344B2 (en) * 2010-12-03 2022-04-26 Razer (Asia-Pacific) Pte. Ltd. Haptic ecosystem
US9114838B2 (en) * 2011-01-05 2015-08-25 Sphero, Inc. Self-propelled device for interpreting input from a controller device
US20150077234A1 (en) * 2011-07-12 2015-03-19 Aliphcom System of wearable devices with sensors for synchronization of body motions based on haptic prompts
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US20150046828A1 (en) * 2013-08-08 2015-02-12 Samsung Electronics Co., Ltd. Contextualizing sensor, service and device data with mobile devices
US9317120B2 (en) * 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
KR101575677B1 (ko) * 2014-04-07 2015-12-08 택추얼센스 주식회사 디지털 음원 데이터를 기반으로 하는 햅틱 효과를 온라인 네트워크를 통해 클라이언트의 단말장치에 제공하는 방법 및 시스템
US20170098350A1 (en) * 2015-05-15 2017-04-06 Mick Ebeling Vibrotactile control software systems and methods
KR101633676B1 (ko) * 2014-07-22 2016-06-27 택추얼센스 주식회사 온라인 네트워크를 통해 재생되는 동영상 컨텐츠를 기반으로 하는 햅틱 효과를 클라이언트의 단말장치에 제공하는 방법 및 시스템
US9919208B2 (en) * 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US10232272B2 (en) * 2015-10-21 2019-03-19 Activision Publishing, Inc. System and method for replaying video game streams
US10376781B2 (en) * 2015-10-21 2019-08-13 Activision Publishing, Inc. System and method of generating and distributing video game streams
US10200434B1 (en) * 2016-09-12 2019-02-05 Amazon Technologies, Inc. Encoding markers in transport streams
US10075251B2 (en) * 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
US20180284894A1 (en) * 2017-03-31 2018-10-04 Intel Corporation Directional haptics for immersive virtual reality
US10943503B2 (en) * 2017-04-17 2021-03-09 Facebook, Inc. Envelope encoding of speech signals for transmission to cutaneous actuators
US10541005B2 (en) * 2017-05-17 2020-01-21 Cypress Semiconductor Corporation Distributed and synchronized control system for environmental signals in multimedia playback
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US11094346B2 (en) * 2018-11-12 2021-08-17 Netflix, Inc. Systems and methods for adaptive streaming of multimedia content
US20220044480A1 (en) * 2020-08-06 2022-02-10 At&T Intellectual Property I, L.P. System for three dimensional extension with multiscreen extended reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102617115B1 (ko) * 2023-06-12 2023-12-21 광운대학교 산학협력단 감정 표현 시스템 및 감정 표현 방법

Also Published As

Publication number Publication date
US20220214749A1 (en) 2022-07-07
WO2020235749A1 (ko) 2020-11-26

Similar Documents

Publication Publication Date Title
US11172012B2 (en) Co-streaming within a live interactive video game streaming service
CN112351302B (zh) 基于云游戏的直播交互方法、装置及存储介质
US11260295B2 (en) Cloud-based game streaming
CN105430455B (zh) 信息呈现方法及系统
JP6602393B2 (ja) ヘッドマウントディスプレイ上の視覚的作用を制限するためのフィルタリング及びペアレンタルコントロール法
US10388071B2 (en) Virtual reality (VR) cadence profile adjustments for navigating VR users in VR environments
US20180316939A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US20180316948A1 (en) Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources
CN106237614B (zh) 采撷对预先记录的游戏玩法的异步评论
US8571956B2 (en) System architecture and methods for composing and directing participant experiences
US20180316947A1 (en) Video processing systems and methods for the combination, blending and display of heterogeneous sources
US20180316942A1 (en) Systems and methods and interfaces for video processing, combination and display of heterogeneous sources
US20180316944A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
CN113209632B (zh) 一种云游戏的处理方法、装置、设备及存储介质
US20180316943A1 (en) Fpga systems and methods for video processing, combination and display of heterogeneous sources
US20180316946A1 (en) Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
Prins et al. TogetherVR: A framework for photorealistic shared media experiences in 360-degree VR
KR20200133127A (ko) 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
WO2018071781A2 (en) Systems and methods for video processing and display
WO2021204139A1 (zh) 视频显示方法、装置、设备和存储介质
WO2018128166A1 (ja) 情報処理装置およびアプリケーション画像配信方法
WO2022267701A1 (zh) 虚拟对象的控制方法、装置、设备、系统及可读存储介质
CN112423013B (zh) 在线互动方法、客户端、服务器、计算设备和存储介质
WO2021131343A1 (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
WO2020253452A1 (zh) 直播间状态消息的推送方法、交互内容的切换方法、装置及设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application