KR102159816B1 - 실감형 멀티미디어 컨텐츠 재생 방법 및 장치 - Google Patents
실감형 멀티미디어 컨텐츠 재생 방법 및 장치 Download PDFInfo
- Publication number
- KR102159816B1 KR102159816B1 KR1020140003755A KR20140003755A KR102159816B1 KR 102159816 B1 KR102159816 B1 KR 102159816B1 KR 1020140003755 A KR1020140003755 A KR 1020140003755A KR 20140003755 A KR20140003755 A KR 20140003755A KR 102159816 B1 KR102159816 B1 KR 102159816B1
- Authority
- KR
- South Korea
- Prior art keywords
- effect data
- multimedia content
- peripheral device
- peripheral
- peripheral devices
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000002093 peripheral effect Effects 0.000 claims abstract description 234
- 230000000694 effects Effects 0.000 claims abstract description 142
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 3
- 238000004891 communication Methods 0.000 claims description 49
- 238000000605 extraction Methods 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 230000001953 sensory effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005406 washing Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- A—HUMAN NECESSITIES
- A46—BRUSHWARE
- A46B—BRUSHES
- A46B15/00—Other brushes; Brushes with additional arrangements
- A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
- A46B15/0053—Brushes fitted with ventilation suction, e.g. for removing dust
-
- A—HUMAN NECESSITIES
- A46—BRUSHWARE
- A46B—BRUSHES
- A46B11/00—Brushes with reservoir or other means for applying substances, e.g. paints, pastes, water
- A46B11/06—Brushes with reservoir or other means for applying substances, e.g. paints, pastes, water connected to supply pipe or to other external supply means
- A46B11/063—Brushes with reservoir or other means for applying substances, e.g. paints, pastes, water connected to supply pipe or to other external supply means by means of a supply pipe
-
- A—HUMAN NECESSITIES
- A46—BRUSHWARE
- A46B—BRUSHES
- A46B7/00—Bristle carriers arranged in the brush body
- A46B7/04—Bristle carriers arranged in the brush body interchangeably removable bristle carriers
- A46B7/042—Clip or snap connection for bristle carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- A—HUMAN NECESSITIES
- A46—BRUSHWARE
- A46B—BRUSHES
- A46B2200/00—Brushes characterized by their functions, uses or applications
- A46B2200/10—For human or animal care
- A46B2200/1066—Toothbrush for cleaning the teeth or dentures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명은 멀티미디어 컨텐츠로부터 효과 데이터를 추출하는 과정, 상기 추출된 효과 데이터를 상기 멀티미디어 컨텐츠의 타임라인과 매핑하는 과정, 상기 멀티미디어 컨텐츠의 재생 시, 상기 효과 데이터와 관련된 하나 이상의 주변기기들과 통신 연결하는 과정; 및 상기 타임라인에 맞춰 상기 효과 데이터와 관련된 주변기기들을 제어하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법을 제공한다.
Description
본 발명은 효율적으로 멀티미디어 컨텐츠를 재생하기 위한 방안에 관한 것이다.
텔레비전이나 컴퓨터를 이용하여 재생하던 TV 방송, 영화, 동영상 등의 멀티미디어 컨텐츠는 기술 발전으로 인하여, 휴대 단말기, 태블릿(Tablet) PC에서도 재생할 수 있게 되었다. 또한, 4D(Dimention) 영화관은 영화의 장면과 유사한 환경을 실제 영화관 환경으로 조성함으로써, 사용자가 영화의 주인공이 된 듯한 경험을 할 수 있도록 하고 있다. 예컨대, 4D 영화관은 의자의 움직임, 다수의 스피커, 조명기기를 이용하여 비, 바람, 섬광, 떨림 등의 환경을 조성할 수 있다.
그러나, 사용자는 영화관으로 가서 영화를 보는 것보다, 집에서 텔레비전이나 컴퓨터를 통해, 또는 자신의 휴대 단말기를 이용하여 영상을 보는 일이 더 많다.
사용자는 4D 영화관에 직접 가서 영화를 보는 것보다, 집에서 편하게 텔레비전이나 컴퓨터로 영상을 즐기는 경우가 더 많다. 또한, 휴대 단말기의 발전으로 인해 사용자는 이동하면서 자신의 휴대 단말기를 이용하여 영상을 보는 일이 많다.
그러나, 텔레비전, 컴퓨터, 휴대 단말기로는 4D 영화관과 같은 주변 환경을 조성하기 어렵기 때문에, 사용자는 시각적으로 영상을 보는 것에 만족해야 했다.
본 발명의 일실시예는 멀티미디어 컨텐츠의 효과 데이터를 제공하는 주변기기를 제어함으로써, 언제 어디서나 4D 영화관과 같은 영상 내 환경을 조성할 수 있는 실감형 멀티미디어 컨텐츠 재생 방법 및 장치를 제공함을 목적으로 한다.
본 발명의 일실시예에 따른 실감형 멀티미디어 컨텐츠 재생 방법은 멀티미디어 컨텐츠로부터 효과 데이터를 추출하는 과정, 상기 추출된 효과 데이터를 상기 멀티미디어 컨텐츠의 타임라인과 매핑하는 과정, 상기 멀티미디어 컨텐츠의 재생 시, 상기 효과 데이터와 관련된 하나 이상의 주변기기들과 통신 연결하는 과정, 및 상기 타임라인에 맞춰 상기 효과 데이터와 관련된 주변기기들을 제어하는 과정을 포함한다.
본 발명의 일실시예에 따른 실감형 멀티미디어 컨텐츠 재생 장치는 멀티미디어 컨텐츠를 선택받는 입력부, 상기 선택된 멀티미디어 컨텐츠에 매핑된 효과 데이터를 제공하는 주변기기와 통신 연결하는 통신부, 및 상기 주변기기들 간에 상호 통신 연결하도록 제어하고, 상기 멀티미디어 컨텐츠의 재생 시, 타임라인에 맞춰 상기 효과 데이터에 대응하는 주변기기를 제어하는 제어부를 포함한다.
본 발명의 일실시예에 따르면, 멀티미디어 컨텐츠의 효과 데이터를 제공하는 주변기기를 제어함으로써, 언제 어디서나 4D 영화관과 같은 영상 내 환경을 조성할 수 있다.
도 1은 본 발명의 일실시예에 따른 실감형 멀티미디어 컨텐츠 재생 방법을 도시한 흐름도이다.
도 2a 및 도 2b는 본 발명의 일실시예에 따른 효과 데이터를 추출하는 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 주변기기에서 제공하는 효과 데이터의 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 주변기기들과 통신 연결하는 일례를 도시한 흐름도이다.
도 5는 본 발명의 일실시예에 따른 효과 데이터와 관련된 주변기기들을 제어하는 일례를 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 효과 데이터와 관련된 주변기기들을 제어하는 일례를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 사용자 참여 여부에 따라 멀티미디어 컨텐츠의 재생을 제어하는 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 실감형 멀티미디어 컨텐츠 재생 장치를 도시한 블록도이다.
도 2a 및 도 2b는 본 발명의 일실시예에 따른 효과 데이터를 추출하는 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 주변기기에서 제공하는 효과 데이터의 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 주변기기들과 통신 연결하는 일례를 도시한 흐름도이다.
도 5는 본 발명의 일실시예에 따른 효과 데이터와 관련된 주변기기들을 제어하는 일례를 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 효과 데이터와 관련된 주변기기들을 제어하는 일례를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 사용자 참여 여부에 따라 멀티미디어 컨텐츠의 재생을 제어하는 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 실감형 멀티미디어 컨텐츠 재생 장치를 도시한 블록도이다.
이하, 첨부된 도면들을 참조하여 다양한 실시예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 하기의 설명에서는 본 발명의 다양한 실시 예들에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명에 따른 실감형 멀티미디어 컨텐츠 재생 장치는 전자장치에 포함되어 수행될 수 있다. 본 발명에 따른 전자 장치는 통신 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 또는 산업용 또는 가정용 로봇 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 1은 본 발명의 일실시예에 따른 실감형 멀티미디어 컨텐츠 재생 방법을 도시한 흐름도이다. 본 발명의 실감형 멀티미디어 컨텐츠 재생 방법은 실감형 멀티미디어 컨텐츠 재생 장치(이하, "재생 장치"라 함)에 의해 수행될 수 있다.
도 1을 참고하면, 과정(110)에서, 재생 장치의 제어부는 멀티미디어 컨텐츠로부터 효과 데이터를 추출한다. 상기 멀티미디어 컨텐츠는 이미지, 음성, 텍스트, 동영상, 영화 및 방송 중 적어도 하나를 포함하는 데이터 또는 내용물을 일컫는 개념이다. 상기 재생 장치는 스트리밍 방식 또는 다운로드 방식으로 수신한 멀티미디어 컨텐츠로부터 효과 데이터를 추출할 수 있다. 상기 효과 데이터는 상기 멀티미디어 컨텐츠에 포함된 장면(scene)과 유사한 환경을 제공하기 위한 데이터이다. 예를 들어, 상기 효과 데이터는 시각, 청각, 후각, 미각, 촉각 등의 오감을 느끼게 할 수 있는 데이터라 할 수 있다.
과정(120)에서, 상기 제어부는 상기 추출된 효과 데이터를 상기 멀티미디어 컨텐츠의 타임라인(Timeline)과 매핑한다. 상기 멀티미디어 컨텐츠는 장면이 재생되는 시점인 타임라인(시간정보)이 포함되어 있다. 따라서, 상기 효과 데이터를 재생되는 장면에 맞게 제공하기 위하여, 상기 제어부는 상기 효과 데이터를 타임라인과 매칭시킬 수 있다. 상기 제어부는 상기 타임라인에 매칭된 효과 데이터를 상기 멀티미디어 컨텐츠에 연관시켜 저장부에 저장하거나, 효과 데이터만 별도로 저장부에 저장할 수도 있다.
과정(130)에서, 상기 제어부는 상기 멀티미디어 컨텐츠가 재생되는지 여부를 판단할 수 있다. 예컨대, 상기 멀티미디어 컨텐츠가 사용자로부터 선택된 경우, 상기 제어부는 상기 멀티미디어 컨텐츠가 재생된 것으로 판단할 수 있다.
과정(140)에서, 상기 실감형 멀티미디어 컨텐츠 재생 장치의 통신부는 상기 효과 데이터와 관련된 하나 이상의 주변기기들과 통신 연결한다. 상기 주변기기는 상기 효과 데이터와 연관된 환경을 조성할 수 있는 기기를 모두 포함할 수 있다. 예컨대, 상기 주변기기(Peripheral Device)는 선풍기, 에어컨, 온풍기(Heater), 라디오, 스피커, 휴대 단말기, 조명기기, 텔레비전, 태블릿 PC 및 컴퓨터 중 어느 하나를 포함할 수 있다. 또는, 상기 주변기기는 냉장고, 세탁기, 프린터, 시계, 진공청소기, 셋탑박스, 버스, 자동차 및 도어락 장치 중 어느 하나를 포함할 수도 있다.
상기 통신부가 상기 주변기기들과 통신 연결하는 시점은 상기 멀티미디어 컨텐츠의 재생 전, 상기 멀티미디어 컨텐츠의 재생 후 및 상기 효과 데이터를 제공하기 전 중 어느 하나일 수 있다. 상기 통신부는 상기 주변기기들로부터 기기정보를 수신하고, 상기 수신된 기기정보를 기반으로 상기 주변기기들과의 통신방식을 설정할 수 있다. 상기 통신방식은 상기 주변기기들과 동일한 방식으로 설정될 수도 있고, 각 주변기기와 각각 다른 방식으로 설정될 수도 있다.
과정(150)에서, 상기 제어부는 상기 타임라인에 맞춰 상기 효과 데이터와 관련된 주변기기들을 제어한다. 예를 들어, 상기 제어부는 상기 효과 데이터가 '바람'인 경우, 주변기기인 '선풍기'로 제어명령을 전송하여 바람을 일으킬 수 있다. 또는 상기 제어부는 상기 효과 데이터가 '온도 10도'인 경우, 주변기기인 '에어컨'으로 제어명령을 전송하여 온도를 10도로 낮출 수 있다.
따라서, 본 발명에 따르면, 멀티미디어 컨텐츠에 대한 현실감을 재현할 수 있다.
도 2a 및 도 2b는 본 발명의 일실시예에 따른 효과 데이터를 추출하는 일례를 도시한 도면이다.
도 2a를 참고하면, 재생 장치는 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나로부터 효과 데이터를 추출할 수 있다. 예컨대, 효과 데이터는 온도(Icy cold(210), warm(250)), 비, 바람(windy(260)), 섬광(Lighting(220)), 떨림(Vibrate(230)) 및 빛의 밝기(Pitch dark(240)) 중 어느 하나와 관련된 것일 수 있다.
상기 재생 장치는 상기 추출된 효과 데이터를 상기 멀티미디어 컨텐츠의 타임라인과 매핑할 수 있다. 예컨대, Icy cold(210)는 타임라인 "00:13:20"과 매핑되고, Lighting(220)은 타임라인 "00:23:45"와 매핑되며, Vibrate(230)은 타임라인 "00:55:31"과 매핑되며, Pitch dark(240)은 타임라인 "01:06:35"와 매핑되며, warm(250)은 타임라인 "01:45:55"와 매핑되며, windy(260)는 타임라인 "01: 50:56"과 매핑될 수 있다.
만약, 상기 재생 장치는 상기 멀티미디어 컨텐츠로부터 효과 데이터를 추출할 수 없는 경우, 상기 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나를 이용하여 효과 데이터를 생성할 수도 있다. 또는, 재생 장치는 상기 멀티미디어 컨텐츠로부터 효과 장면을 추천하고, 상기 추천된 효과 장면과 연관된 효과 데이터를 사용자로부터 직접 입력받을 수도 있다.
도 2b를 참고하면, 상기 효과 데이터는 XML(eXtensible markup language) 형식으로 작성될 수 있다. 또는 상기 효과 데이터는 Name-Value Pair로 작성되거나, W3C의 RDF/XML 형식으로 작성될 수도 있다. 또한, 재생 장치는 상기 멀티미디어 컨텐츠의 포맷에 따라 상기 효과 데이터를 상기 멀티미디어 컨텐츠에 직접 포함시키거나, 상기 효과 데이터를 상기 멀티미디어 컨텐츠와 별도의 파일로 저장할 수도 있다. 예컨대, 상기 효과 데이터를 상기 멀티미디어 컨텐츠와 별도의 파일로 저장될 경우, 재생 장치는 상기 효과 데이터가 적용될 멀티미디어 컨텐츠의 파일명이나 멀티미디어 컨텐츠의 제목 등의 내용을 상기 효과 데이터에 추가로 포함시킬 수 있다.
상기 효과 데이터 내 "stream"은 상기 효과 데이터를 적용할 스트림을 나타낸 것이다. 예컨대, 재생 장치는 "식별자 속성(ID attribute)"을 이용하여 상기 멀티미디어 컨텐츠에 포함된 복수의 스트림 중에서 상기 효과 데이터를 적용할 스트림을 구분할 수 있다. 재생 장치는 상기 효과 데이터를 별도의 파일로 생성할 경우, 식별자(ID)가 아닌 제목(title)으로 상기 효과 데이터를 표기할 수 있다.
상기 효과 데이터 내 "effect"는 어떤(what) 효과를 언제(when) 어떻게(how) 적용할지 정의한다. "effect"는 상호작용 타입(Interactive type) 또는 단방향 타입(uni-directional type) 일 수 있다. 상호작용 타입의 경우, 효과를 구현하기 위해 전송신호(sending_signal)와 수신신호(receiving signal)를 정의할 수 있다. 단방향 타입의 경우, 단방향 전송신호만 정의할 수 있다. 또는, 상호작용 타입의 경우, 주변기기들간의 상호 통신 연결하고, 단방향 타입의 경우, 상기 재생 장치와 상기 주변기기들 간의 통신 연결만 수행할 수 있다.
상기 효과 데이터 내 "start_time", "end_time"은 정의된 효과를 스트림 진행 어느 시점에 수행해야 하는지를 정의한 것으로, "타임라인"일 수 있다. 상기 타임라인은 멀티미디어 컨텐츠와 효과 데이터 간의 동기화를 위해 사용된다.
상기 효과 데이터 내 "service"는 효과를 위해 사용할 서비스를 정의한다. 예를 들어, 재생 장치는 UPnP Forum의 표준 서비스인 Telephony 서비스를 사용하여 주변기기의 하나인 휴대 단말기로 문자 메시지를 전송하고, 사용자가 읽었는지를 확인하도록 상기 효과 데이터 내 "service"를 정의할 수 있다. 상기 재생 장치는 정의된 서비스를 제공하기 위해 네트워크를 연결하고, 해당 서비스를 제공하는 주변기기를 검색하고, 검색된 주변기기로 메시지를 송수신하여 상기 주변기기를 제어함으로써, 상기 주변기기에서 제공하는 효과를 구현할 수 있다. 상기 재생장치는 상기 주변기기로부터 응답신호를 최대 대기 시간(max_waiting_time) 동안 기다리고, 최대 대기 시간 동안 응답신호를 전송한 주변기기와 통신 연결할 수 있다.
상기 효과 데이터 내 "av_control"은 "service"를 제어함과 동시에 영상/음성 재생 제어에 관한 것을 정의한다. 예를 들어, 재생 장치는 서비스 제어하는 동안 "PAUSE" 상태로 변환하고, "PAUSE" 상태 동안 특정 오디오와 캡션 스트림을 재생하도록 상기 효과 데이터 내 "av_control"를 정의할 수 있다. 재생 장치는서비스 효과가 완료되었거나, 최대 대기 시간이 경과한 경우 다은 상태(next_state)에서 지정한 상태로 변경할 수 있다.
도 3은 본 발명의 일실시예에 따른 주변기기에서 제공하는 효과 데이터의 일례를 도시한 도면이다.
도 3을 참고하면, 재생 장치(300)는 효과 데이터와 연관된 환경을 조성할 수 있는 주변기기를 모두 포함할 수 있다. 예컨대, 상기 주변기기는 에어컨(310), 스피커(320), 라디오(330), 온풍기(340), 조명기구(350), 선풍기(360), 휴대 단말기(370)를 포함할 수 있다. 이외에도 상기 주변기기는 텔레비전, 태블릿 PC 및 컴퓨터, 냉장고, 세탁기, 프린터, 시계, 진공청소기, 셋탑박스, 버스, 자동차 및 도어락 장치 중 어느 하나를 포함할 수도 있다.
도 4는 본 발명의 일실시예에 따른 주변기기들과 통신 연결하는 일례를 도시한 흐름도이다.
도 4를 참고하면, 재생 장치는 효과 데이터와 관련된 하나 이상의 주변기기들을 검색하고, 검색된 주변기기들로 요청신호를 전송할 수 있다. 예컨대, 과정(410) 내지 과정(430)에서, 상기 재생 장치는 제1 주변기기 내지 제3 주변기기로 요청신호를 전송할 수 있다. 도면에서는 시간적 순서대로 요청신호를 각 주변기기로 전송하는 것으로 도시하고 있지만, 상기 재생 장치는 동일한 시점, 검색된 시점, 실시간으로 및 개별적으로 중 어느 한 시점에 상기 요청신호를 주변기기들로 전송할 수 있다.
과정(440)에서, 상기 요청신호를 수신한 제1 주변기기는 자신의 제1 기기정보를 상기 재생장치로 전송할 수 있다. 과정(450)에서, 상기 제1 기기정보를 수신한 상기 재생 장치는 상기 제1 주변기기와 통신 연결할 수 있다.
과정(460)에서, 상기 요청신호를 수신한 제2 주변기기는 자신의 제2 기기정보를 상기 재생장치로 전송할 수 있다. 과정(470)에서, 상기 제2 기기정보를 수신한 상기 재생 장치는 상기 제2 주변기기와 통신 연결할 수 있다.
과정(480)에서, 상기 요청신호를 수신한 제3 주변기기는 자신의 제3 기기정보를 상기 재생장치로 전송할 수 있다. 과정(490)에서, 상기 제3 기기정보를 수신한 상기 재생 장치는 상기 제3 주변기기와 통신 연결할 수 있다.
여기서, 기기정보는 주변기기에 대한 상태를 나타내는 정보로서, 예컨대, 연결 가능한 통신방식, 전력상태, 위치, 기기 식별번호 및 이름 중 적어도 하나를 포함할 수 있다. 따라서, 상기 재생 장치는 상기 기기정보를 기반으로 각 주변기기와 통신 연결할 수 있다.
실시예로, 상기 재생 장치는 각 주변기기와 동일한 통신방식으로 통신 연결할 수 있다. 예를 들어, 상기 재생 장치는 상기 제1 주변기기 내지 상기 제3 주변기기와 와이파이(Wi-Fi), 블루투스(bluetooth), 근거리 통신(Near Field Communication; NFC) 중 어느 하나의 통신방식으로 통신 연결할 수 있다. 또는, 상기 재생 장치는 각 주변기기마다 상이한 통신방식으로 통신 연결할 수도 있다. 예를 들어, 상기 재생 장치는 상기 제1 주변기기와 Wi-Fi 통신방식으로 통신 연결하고, 상기 제2 주변기기와 Bluetooth 통신방식으로 통신 연결하며, 상기 제3 주변기기와 근거리 통신(Near Field Communication; NFC) 통신방식으로 통신 연결할 수 있다.
도 4에서는 상기 제1 주변기기 내지 상기 제3 주변기기가 기기정보를 전송하는 시점이나, 상기 재생장치와 상기 제1 주변기기 내지 상기 제3 주변기기가 통신 연결하는 시점이 상이한 것으로 도시하고 있으나, 상기 재생 장치는 동일한 시점, 상기 기기정보를 수신한 시점, 실시간으로 및 개별적으로 중 어느 한 시점에 상기 제1 주변기기 내지 상기 제3 주변기기와 통신 연결할 수 있다.
실시예로, 상기 재생 장치는 상기 통신 연결된 주변기기들간에 기기정보를 상호 교환하도록 제어함으로써, 상기 기기정보를 기반으로 상기 주변기기들 간에 상호 통신 연결하도록 제어할 수 있다. 예컨대, 상기 재생 장치는 상기 제1 주변기기의 제1 기기정보를 상기 제2 주변기기 및 상기 제3 주변기기로 전송하고, 상기 제2 주변기기의 제2 기기정보를 상기 제1 주변기기 및 상기 제3 주변기기로 전송하며, 상기 제3 주변기기의 제3 기기정보를 상기 제1 주변기기 및 상기 제2 주변기기로 전송함으로써, 상기 제1 주변기기 내지 상기 제3 주변기기 간에 상호 통신 연결하도록 제어할 수 있다.
또는 각 주변기기가 직접 다른 주변기기에게 기기정보를 전송함으로써, 상호 통신 연결할 수 있다. 예컨대, 상기 제1 주변기기는 제1 기기정보를 상기 제2 주변기기 및 상기 제3 주변기기로 전송하고, 상기 제2 주변기기는 제2 기기정보를 상기 제1 주변기기 및 상기 제3 주변기기로 전송하며, 상기 제3 주변기기는 제3 기기정보를 상기 제1 주변기기 및 상기 제2 주변기기로 전송함으로써, 상기 제1 주변기기 내지 상기 제3 주변기기 간에 상호 통신 연결하도록 제어할 수 있다.
도 5는 본 발명의 일실시예에 따른 효과 데이터와 관련된 주변기기들을 제어하는 일례를 도시한 흐름도이다.
도 5를 참고하면, 재생 장치는 멀티미디어 컨텐츠의 타임라인에 맞춰 효과 데이터와 관련된 주변기기들을 제어할 수 있다. 예컨대, 효과 데이터 "Icy cold"를 제공하기 위해, 타임라인 "00:13:20"에, 과정(510)에서, 상기 재생 장치는 제어명령#1을 제2 주변기기로 전송할 수 있다. 이때, 상기 제2 주변기기는 "에어컨"일 수 있다. 만약, 상기 제2 주변기기가 상기 제1 주변기기와 상기 제3 주변기기와 상호 통신 연결된 경우, 과정(510a) 내지 과정(510b)에서, 상기 제2 주변기기는 'Icy cold'와 관련된 제어명령을 상기 제1 주변기기 및 상기 제3 주변기기로 전송할 수 있다. 또는, 상기 재생 장치는 상기 제1 주변기기와 상기 제3 주변기기가 "Icy cold"와 관련된 효과 데이터를 제공할 수 있는 경우, 상기 제2 주변기기를 제어하여, 상기 제2 주변기기를 통해 상기 제1 주변기기와 상기 제3 주변기기로 "Icy cold"와 관련된 제어명령을 전송할 수 있다.
또한, 과정(520)에서, 상기 재생 장치는 효과 데이터, "Lighting"을 제공하기 위해, 타임라인 "00:23:45"에 제어명령#2를 제1 주변기기로 전송할 수 있다. 여기서, 상기 제1 주변기기는 "조명기구"일 수 있다. 만약, 상기 제1 주변기기가 상기 제2 주변기기와 상기 제3 주변기기와 상호 통신 연결된 경우, 과정(520a) 내지 과정(520b)에서, 상기 제1 주변기기는 "Lighting"과 관련된 제어명령을 상기 제2 주변기기 및 상기 제3 주변기기로 전송할 수 있다. 또는, 상기 재생 장치는 상기 제2 주변기기와 상기 제3 주변기기가 "Lighting"과 관련된 효과 데이터를 제공할 수 있는 경우, 상기 제1 주변기기를 제어하여, 상기 제1 주변기기를 통해 상기 제2 주변기기와 상기 제3 주변기기로 "Lighting"와 관련된 제어명령을 전송할 수 있다.
과정(530)에서, 상기 재생 장치는 효과 데이터 "Vibrate"을 제공하기 위해, 타임라인 "00:55:31"에 제어명령#3를 제3 주변기기로 전송할 수 있다. 여기서, 상기 제3 주변기기는 "휴대 단말기"일 수 있다. 만약, 상기 제3 주변기기가 상기 제1 주변기기와 상기 제2 주변기기와 상호 통신 연결된 경우, 과정(530a) 내지 과정(530b)에서, 상기 제3 주변기기는 "Vibrate"과 관련된 제어명령을 상기 제1 주변기기 및 상기 제2 주변기기로 전송할 수 있다. 또는, 상기 재생 장치는 상기 제1 주변기기와 상기 제2 주변기기가 "Vibrate"과 관련된 효과 데이터를 제공할 수 있는 경우, 상기 제3 주변기기를 제어하여, 상기 제3 주변기기를 통해 상기 제1 주변기기와 상기 제2 주변기기로 "Vibrate"과 관련된 제어명령을 전송할 수 있다.
과정(540)에서, 상기 재생 장치는 효과 데이터 "Pitch dark"를 제공하기 위하여, 타임라인 "01:06:35"에, 제어명령#4를 상기 제1 주변기기로 전송할 수 있다. 여기서, 상기 제1 주변기기는 "조명기구"일 수 있다. 과정(540a) 내지 과정(540b)에서, 상기 제1 주변기기는 "Pitch dark"과 관련된 제어명령을 상기 제2 주변기기 및 상기 제3 주변기기로 전송할 수 있다.
과정(550)에서, 상기 재생 장치는 효과 데이터 "warm"을 제공하기 위해, 타임라인 "01:45:55"에 제어명령#5를 제3 주변기기로 전송할 수 있다. 여기서, 제3 주변기기는 "온풍기"일 수 있다. 과정(550a) 내지 과정(550b)에서, 상기 제3 주변기기는 "warm"과 관련된 제어명령을 상기 제1 주변기기 및 상기 제2 주변기기로 전송할 수 있다.
과정(560)에서, 상기 재생 장치는 효과 데이터 "windy"를 제공하기 위하여, 타임라인 "01: 50:56"에, 제어명령#6을 제2 주변기기로 전송할 수 있다. 이때, 상기 제2 주변기기는 "온풍기" 또는 "에어컨"일 수 있다. 과정(560a) 내지 과정(560b)에서, 상기 제2 주변기기는 "windy"과 관련된 제어명령을 상기 제1 주변기기 및 상기 제3 주변기기로 전송할 수 있다.
다른 실시예로, 재생 장치는 효과 데이터의 특성 또는 주변기기의 위치에 기초하여 우선순위를 설정하고, 상기 효과 데이터에 대응하는 제어명령에 상기 우선순위를 포함시켜 상기 주변기기들로 전송할 수 있다. 이 경우, 최우선 순위의 제1 주변기기는 제2 주변기기와 상호 협력하여 상기 효과 데이터에 대응하는 환경을 조성할 수 있다.
도 6은 본 발명의 일실시예에 따른 효과 데이터와 관련된 주변기기들을 제어하는 일례를 도시한 도면이다.
도 6을 참고하면, 멀티미디어 컨텐츠를 재생하는 텔레비전에 재생 장치(620)가 포함되어 수행될 수 있다. 재생 장치(620)는 효과 데이터의 특성 또는 주변기기들(610, 630, 650)의 위치에 기초하여 우선순위를 설정하고, 상기 효과 데이터에 대응하는 제어명령에 상기 우선순위를 포함시켜 상기 주변기기들(610, 630, 650)로 전송할 수 있다. 예컨대, 재생 장치(620)는 휴대 단말기(620), 에어컨(610), 조명기구(630) 순으로 우선순위를 설정할 수 있다. 이 경우, 최우선 순위의 휴대 단말기(620)가 에어컨(610) 및 조명기구(630)와 상호 협력하여 상기 효과 데이터에 대응하는 환경을 조성할 수 있다.
상기 효과 데이터의 특성은 감각(sense)과 관련된 것으로, 재생 장치(620)는 사람의 오감(시각, 청각, 후각, 미각, 촉각) 중, 가장 민감한 감각을 제공하는 주변기기를 우선순위가 높도록 설정할 수 있다. 또는, 상기 주변기기의 위치는 사용자로부터 상기 주변기기까지의 거리로서, 재생 장치(620)는 사용자와 상기 주변기기 간의 거리가 가까운 순서대로 우선순위가 높도록 설정할 수 있다.
또 다른 실시예로, 상기 재생 장치는 상기 효과 데이터의 특성 또는 상기 주변기기의 위치에 기초하여 제어순서를 설정하고, 상기 설정된 제어순서에 맞춰 상기 효과 데이터에 대응하는 제어명령을 상기 주변기기들로 전송할 수 있다. 즉, 상기 재생 장치는 주변기기들간의 상호 통신 연결이 되지 않는 경우 또는 하나의 제어명령을 둘 이상의 주변기기들로 전송해야 하는 경우, 제어순서에 따라 제어명령을 각 주변기기로 전송할 수 있다. 예컨대, 재생 장치(620)는 휴대 단말기(620), 에어컨(610) 및 조명기구(630) 순으로 제어순서를 설정하고, 설정된 제어순서에 맞춰 제어명령을 전송할 수 있다.
따라서, 본 발명에 따르면, 멀티미디어 컨텐츠에 대한 사용자 경험을 극대화할 수 있다.
또 다른 실시예로, 상기 재생 장치는 기설정된 이벤트, 사용자 시선, 상기 주변기기의 기기정보 및 표시부의 특성 중 적어도 하나에 기초하여 상기 멀티미디어 컨텐츠의 재생을 제어할 수 있다.
예컨대, 상기 재생 장치는 주변기기인 휴대 단말기로 전화가 걸려온 경우, 또는 사용자가 상기 휴대 단말기로 전화를 건 경우, 상기 멀티미디어 컨텐츠의 재생을 멈추거나(pause), 주변기기인 스피커의 볼륨을 "mute"로 제어할 수 있다. 또는, 상기 재생 장치는 상기 멀티미디어 컨텐츠가 재생되는 표시부의 사용자 시선이 벗어난 경우, 상기 표시부를 볼 수 있는 각도에서 벗어난 경우, 사용자 시선이 주변기기인 휴대 단말기의 화면에 있는 경우, 상기 멀티미디어 컨텐츠의 재생을 중단할 수 있다. 상기 재생 장치는 블루투스 모듈, GPS 모듈, Wi-Fi 모듈, 센서모듈 및 카메라 모듈 중 적어도 하나를 이용하여 발생하는 이벤트가 기설정된 이벤트에 포함되는지 여부를 판단할 수 있다.
상기 재생 장치는 멀티미디어 컨텐츠를 복수의 표시부를 통해 재생하는 경우, 표시부의 특성에 따라 멀티미디어 컨텐츠 내 자막 표기, 번역 여부를 제어할 수 있다. 예컨대, 복수의 사용자가 복수의 표시부를 통해 멀티미디어 컨텐츠를 시청하는 경우, 일부의 사용자만 자막이 필요하고, 일부의 사용자만 번역이 필요할 수 있다. 또한, 번역의 경우, 각 사용자마다 번역하는 언어가 다를 수 있다. 따라서, 상기 재생 장치는 복수의 번역된 언어를 하나의 화면에 모두 표기하지 않고, 사용자의 표시부에 따라 각각 다른 번역된 언어를 제공할 수 있다. 예컨대, 제1 사용가 헤드업 디스플레이(headup display; HUD)를 착용한 경우, 헤드업 디스플레이에만 상기 제1 사용자에게 맞는 자막을 표기하거나, 또는 번역된 언어를 제공할 수 있다. 이 경우, 자막이 필요없는 다른 제2 사용자들은 멀티미디어 컨텐츠에 더욱 더 집중할 수 있다.
또 다른 실시예로, 상기 재생 장치는 상기 멀티미디어 컨텐츠에 포함된 캐릭터, 장면 및 이벤트 중 적어도 하나에 기초하여 기설정된 주변기기로 메시지를 전송하고, 상기 전송된 메시지의 확인 여부에 따라 상기 멀티미디어 컨텐츠의 재생을 제어할 수 있다.
도 7은 본 발명의 일실시예에 따른 사용자 참여 여부에 따라 멀티미디어 컨텐츠의 재생을 제어하는 일례를 도시한 도면이다.
도 7을 참고하면, 멀티미디어 컨텐츠는 1인칭 시점으로 만들어질 수도 있다. 이 경우, 1인칭 시점의 인물은 영상 안의 다른 인물들(캐릭터), 장면 및 이벤트와 상호 작용할 수 있다. 예컨대, 멀티미디어 컨텐츠 중 선장이 "휴대폰을 확인해 보아라"라는 말을 한 장면(710)이 포함되어 있을 수 있다. 이 경우, 재생 장치는 주변기기인 휴대 단말기로 메시지(720)를 전송할 수 있다. 따라서, 사용자가 메시지(720)를 확인하지 않는 경우, 상기 재생 장치는 장면(710)을 반복하여 재생할 수 있다. 만약, 상기 사용자가 메시지(720)를 확인한 경우, 상기 재생 장치는 반복 재생을 중단하고, 장면(710)의 다음 장면을 재생하도록 할 수 있다.
도 8은 본 발명의 일실시예에 따른 실감형 멀티미디어 컨텐츠 재생 장치를 도시한 블록도이다.
도 8을 참고하면, 재생 장치(800)는 입력부(810), 제어부(820) 및 통신부(830)를 포함할 수 있다.
제어부(820)는 멀티미디어 컨텐츠로부터 효과 데이터를 추출할 수 있다. 예컨대, 제어부(820)는 상기 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나로부터 효과 데이터를 추출할 수 있다. 또는, 제어부(820)는 상기 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나를 이용하여 효과 데이터를 생성할 수도 있다.
입력부(810)는 멀티미디어 컨텐츠를 선택받는다. 상기 선택받는다는 것은 사용자로부터 재생하기를 원하는 멀티미디어 컨텐츠를 선택받는다는 의미이다. 입력부(810)는 상기 멀티미디어 컨텐츠로부터 효과 장면을 추천하고, 상기 효과 장면과 연관된 효과 데이터를 상기 사용자로부터 직접 입력받을 수도 있다.
통신부(830)는 상기 선택된 멀티미디어 컨텐츠에 매핑된 효과 데이터를 제공하는 주변기기와 통신 연결한다. 상기 주변기기는 상기 효과 데이터와 연관된 환경을 조성할 수 있는 기기를 모두 포함할 수 있다. 예컨대, 상기 주변기기(Peripheral Device)는 선풍기, 에어컨, 온풍기(Heater), 라디오, 스피커, 휴대 단말기, 조명기기, 텔레비전, 태블릿 PC 및 컴퓨터 중 어느 하나를 포함할 수 있다. 또는, 상기 주변기기는 냉장고, 세탁기, 프린터, 시계, 진공청소기, 셋탑박스, 버스, 자동차 및 도어락 장치 중 어느 하나를 포함할 수도 있다.
실시예로, 통신부(830)는 상기 주변기기들로부터 기기정보를 수신하고, 상기 수신된 기기정보를 기반으로 상기 주변기기들과의 통신방식을 설정할 수 있다. 즉, 통신부(830)는 상기 기기정보를 표시부(840)에 표시하고, 입력부(810)를 통해 사용자로부터 선택된 통신방식으로 상기 주변기기들과 통신 연결할 수 있다. 즉, 통신부(830)는 상기 주변기기들과 동일한 통신방식으로 통신 연결될 수도 있고, 각 주변기기와 각각 다른 통신방식으로 통신 연결될 수도 있다.
제어부(820)는 멀티미디어 컨텐츠의 타임라인에 맞춰 효과 데이터를 매칭할 수 있다. 제어부(820)는 상기 주변기기들 간에 상호 통신 연결하도록 제어하고, 상기 멀티미디어 컨텐츠의 재생 시, 타임라인에 맞춰 상기 효과 데이터에 대응하는 주변기기를 제어할 수 있다. 예를 들어, 제어부(820)는 상기 효과 데이터가 '바람'인 경우, 주변기기인 '선풍기'로 제어명령을 전송하여 바람을 일으킬 수 있다. 또는 제어부(820)는 상기 효과 데이터가 '온도 10도'인 경우, 주변기기인 '에어컨'으로 제어명령을 전송하여 온도를 10도로 낮출 수 있다.
실시예로, 제어부(820)는 상기 통신 연결된 주변기기들간에 기기정보를 상호 교환하도록 제어함으로써, 상기 기기정보를 기반으로 상기 주변기기들 간에 상호 통신 연결하도록 제어할 수 있다. 예컨대, 제어부(820)는 상기 제1 주변기기의 제1 기기정보를 상기 제2 주변기기 및 상기 제3 주변기기로 전송하고, 상기 제2 주변기기의 제2 기기정보를 상기 제1 주변기기 및 상기 제3 주변기기로 전송하며, 상기 제3 주변기기의 제3 기기정보를 상기 제1 주변기기 및 상기 제2 주변기기로 전송함으로써, 상기 제1 주변기기 내지 상기 제3 주변기기 간에 상호 통신 연결하도록 제어할 수 있다.
다른 실시예로, 제어부(820)는 효과 데이터의 특성 또는 상기 사용자와 주변기기 간의 위치에 기초하여 우선순위를 설정하고, 상기 효과 데이터에 대응하는 제어명령에 상기 우선순위를 포함시켜 상기 주변기기들로 전송할 수 있다. 이 경우, 최우선 순위의 제1 주변기기는 제2 주변기기와 상호 협력하여 상기 효과 데이터에 대응하는 환경을 조성할 수 있다.
재생 장치(800)는 표시부(840), 블루투스 모듈, GPS 모듈, Wi-Fi 모듈, 센서모듈 및 카메라 모듈 중 적어도 하나를 더 포함할 수 있다. 제어부(820)는 상기 블루투스 모듈, 상기 GPS 모듈, 상기 Wi-Fi 모듈, 상기 센서모듈 및 상기 카메라 모듈 중 적어도 하나를 이용하여 상기 사용자와 주변기기 간의 위치를 검출할 수 있다.
또 다른 실시예로, 제어부(820)는 상기 효과 데이터의 특성 또는 사용자와 상기 주변기기 간의 거리에 기초하여 제어순서를 설정하고, 상기 설정된 제어순서에 맞춰 상기 효과 데이터에 대응하는 제어명령을 통신부(830)를 통해 상기 주변기기들로 전송할 수 있다.
또 다른 실시예로, 제어부(820)는 기설정된 이벤트, 사용자 시선, 상기 주변기기의 기기정보 및 표시부의 특성 중 적어도 하나에 기초하여 상기 멀티미디어 컨텐츠의 재생을 제어할 수 있다. 제어부(820)는 상기 블루투스 모듈, 상기 GPS 모듈, 상기 Wi-Fi 모듈, 상기 센서모듈 및 상기 카메라 모듈 중 적어도 하나를 이용하여 발생하는 이벤트가 기설정된 이벤트에 해당하는지, 사용자 시선이 표시부(840)를 벗어났는지 여부를 검출할 수 있다.
또 다른 실시예로, 제어부(820)는 상기 멀티미디어 컨텐츠에 포함된 캐릭터, 장면 및 이벤트 중 적어도 하나에 기초하여 기설정된 주변기기로 메시지를 전송하고, 상기 전송된 메시지의 확인 여부에 따라 상기 멀티미디어 컨텐츠의 재생을 제어할 수 있다.
그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
800: 실감형 멀티미디어 컨텐츠 재생 장치
810: 입력부
820: 제어부
830: 통신부
840: 표시부
810: 입력부
820: 제어부
830: 통신부
840: 표시부
Claims (19)
- 실감형 멀티미디어 컨텐츠 재생 방법에 있어서,
멀티미디어 컨텐츠로부터 효과 데이터를 추출하는 과정;
상기 추출된 효과 데이터를 상기 멀티미디어 컨텐츠의 타임라인(Timeline)과 매핑하는 과정;
상기 효과 데이터와 관련된 하나 이상의 주변기기(Peripheral Device)들과 통신 연결하는 과정; 및
상기 멀티미디어 컨텐츠의 재생 시, 상기 타임라인에 맞춰 상기 주변기기들을 제어하여 상기 주변기기들을 통해 상기 효과 데이터가 제공되도록 제어하는 과정을 포함하고,
상기 제어하는 과정은,
기설정된 이벤트에 해당하거나, 사용자의 시선이 상기 멀티미디어 컨텐츠를 재생하는 표시부를 벗어난 경우, 상기 멀티미디어 컨텐츠의 재생을 중단하거나, 상기 주변기기들을 통한 상기 효과 데이터의 제공을 중단하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법. - 제1항에 있어서,
상기 추출하는 과정은,
상기 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나로부터 효과 데이터를 추출하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법. - 제1항에 있어서,
상기 추출하는 과정은,
상기 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나를 이용하여 효과 데이터를 생성하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법. - 제1항에 있어서,
상기 추출하는 과정은,
상기 멀티미디어 컨텐츠로부터 효과 장면을 추천하는 과정; 및
상기 추천된 효과 장면과 연관된 효과 데이터를 입력받는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법. - 제1항에 있어서,
상기 통신 연결하는 과정은,
상기 주변기기들로부터 기기정보를 수신하는 과정; 및
상기 수신된 기기정보를 기반으로 상기 주변기기들과의 통신방식을 설정하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법. - 제5항에 있어서,
상기 통신 연결하는 과정은,
상기 통신 연결된 주변기기들간에 기기정보를 상호 교환하도록 제어하는 과정; 및
상기 기기정보를 기반으로 상기 주변기기들 간에 상호 통신 연결하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법. - 제1항에 있어서,
상기 제어하는 과정은,
상기 효과 데이터의 특성 또는 상기 주변기기의 위치에 기초하여 우선순위를 설정하는 과정;
상기 효과 데이터에 대응하는 제어명령에 상기 우선순위를 포함시켜 상기 주변기기들로 전송하는 과정; 및
최우선 순위의 제1 주변기기가 제2 주변기기와 상호 협력하여 상기 효과 데이터에 대응하는 환경을 조성하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법. - 제1항에 있어서,
상기 제어하는 과정은,
상기 효과 데이터의 특성 또는 상기 주변기기의 위치에 기초하여 제어순서를 설정하는 과정; 및
상기 설정된 제어순서에 맞춰 상기 효과 데이터에 대응하는 제어명령을 상기 주변기기들로 전송하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법. - 삭제
- 제1항에 있어서,
상기 제어하는 과정은,
상기 멀티미디어 컨텐츠에 포함된 캐릭터, 장면 및 이벤트 중 적어도 하나에 기초하여 기설정된 주변기기로 메시지를 전송하는 과정; 및
상기 전송된 메시지의 확인 여부에 따라 상기 멀티미디어 컨텐츠의 재생을 제어하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법. - 실감형 멀티미디어 컨텐츠 재생 장치에 있어서,
멀티미디어 컨텐츠를 선택받는 입력부;
상기 멀티미디어 컨텐츠를 표시하는 표시부;
상기 선택된 멀티미디어 컨텐츠에 매핑된 효과 데이터를 제공하는 주변기기와 통신 연결하는 통신부; 및
상기 주변기기들 간에 상호 통신 연결하도록 제어하고, 상기 멀티미디어 컨텐츠의 재생 시, 상기 멀티미디어 컨텐츠의 타임라인에 맞춰 상기 주변기기를 제어하여 상기 주변기기를 통해 상기 효과 데이터가 제공되도록 제어하고, 기설정된 이벤트에 해당하거나, 사용자의 시선이 상기 표시부를 벗어난 경우, 상기 멀티미디어 컨텐츠의 재생을 중단하거나, 상기 주변기기를 통한 상기 효과 데이터의 제공을 중단하는 제어부
를 포함하는 실감형 멀티미디어 컨텐츠 재생 장치. - 제11항에 있어서,
상기 입력부는,
상기 멀티미디어 컨텐츠로부터 효과 장면을 추천하고, 상기 효과 장면과 연관된 효과 데이터를 입력받는, 실감형 멀티미디어 컨텐츠 재생 장치. - 제11항에 있어서,
상기 제어부는,
상기 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나로부터 효과 데이터를 추출하는, 실감형 멀티미디어 컨텐츠 재생 장치. - 제11항에 있어서,
상기 통신부는,
상기 주변기기들로부터 기기정보를 수신하고, 상기 수신된 기기정보를 기반으로 상기 주변기기들과의 통신방식을 설정하는, 실감형 멀티미디어 컨텐츠 재생 장치. - 제14항에 있어서,
상기 제어부는,
상기 기기정보를 표시부에 표시하고, 입력부를 통해 사용자로부터 선택된 통신방식으로 상기 주변기기들과 통신 연결하도록 상기 통신부를 제어하는, 실감형 멀티미디어 컨텐츠 재생 장치. - 제11항에 있어서,
상기 제어부는,
상기 효과 데이터의 특성 또는 사용자와 상기 주변기기 간의 거리에 기초하여 우선순위를 설정하고, 상기 효과 데이터에 대응하는 제어명령에 상기 우선순위를 포함시켜 상기 통신부를 통해 상기 주변기기들로 전송하고, 최우선 순위의 제1 주변기기가 제2 주변기기와 상호 협력하여 상기 효과 데이터에 대응하는 환경을 조성하도록 제어하는, 실감형 멀티미디어 컨텐츠 재생 장치. - 제11항에 있어서,
상기 제어부는,
상기 효과 데이터의 특성 또는 사용자와 상기 주변기기 간의 거리에 기초하여 제어순서를 설정하고, 상기 설정된 제어순서에 맞춰 상기 효과 데이터에 대응하는 제어명령을 상기 통신부를 통해 상기 주변기기들로 전송하는, 실감형 멀티미디어 컨텐츠 재생 장치. - 삭제
- 제11항에 있어서,
상기 제어부는,
상기 멀티미디어 컨텐츠에 포함된 캐릭터, 장면 및 이벤트 중 적어도 하나에 기초하여 기설정된 주변기기로 메시지를 전송하고, 상기 전송된 메시지의 확인 여부에 따라 상기 멀티미디어 컨텐츠의 재생을 제어하는, 실감형 멀티미디어 컨텐츠 재생 장치.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140003755A KR102159816B1 (ko) | 2014-01-13 | 2014-01-13 | 실감형 멀티미디어 컨텐츠 재생 방법 및 장치 |
| US14/595,705 US9865273B2 (en) | 2014-01-13 | 2015-01-13 | Tangible multimedia content playback method and apparatus |
| EP15150894.2A EP2894867A1 (en) | 2014-01-13 | 2015-01-13 | Tangible multimedia content playback method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140003755A KR102159816B1 (ko) | 2014-01-13 | 2014-01-13 | 실감형 멀티미디어 컨텐츠 재생 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150084113A KR20150084113A (ko) | 2015-07-22 |
| KR102159816B1 true KR102159816B1 (ko) | 2020-09-24 |
Family
ID=52394902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140003755A KR102159816B1 (ko) | 2014-01-13 | 2014-01-13 | 실감형 멀티미디어 컨텐츠 재생 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9865273B2 (ko) |
| EP (1) | EP2894867A1 (ko) |
| KR (1) | KR102159816B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102676456B1 (ko) | 2023-11-13 | 2024-06-20 | 주식회사 더투에이치 | 터치 자극 제공 기능을 구비한 실감형 영상 체험 장치 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11430483B2 (en) | 2018-05-10 | 2022-08-30 | Daniel Licht | System, method, and kit for using triggering objects to create concatenated audio/video |
| WO2021029497A1 (en) | 2019-08-14 | 2021-02-18 | Samsung Electronics Co., Ltd. | Immersive display system and method thereof |
| WO2021112639A1 (en) * | 2019-12-05 | 2021-06-10 | Samsung Electronics Co., Ltd. | Electronic device performing operation based on user speech in multi device environment and operating method thereof |
| US11750883B2 (en) * | 2021-03-26 | 2023-09-05 | Dish Network Technologies India Private Limited | System and method for using personal computing devices to determine user engagement while viewing an audio/video program |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6941294B2 (en) * | 2000-08-28 | 2005-09-06 | Emotion, Inc. | Method and apparatus for digital media management, retrieval, and collaboration |
| JP2002204891A (ja) | 2001-01-11 | 2002-07-23 | Matsushita Electric Ind Co Ltd | 環境コントロール装置および環境コントロールの処理方法 |
| US6925197B2 (en) * | 2001-12-27 | 2005-08-02 | Koninklijke Philips Electronics N.V. | Method and system for name-face/voice-role association |
| US7668867B2 (en) * | 2006-03-17 | 2010-02-23 | Microsoft Corporation | Array-based discovery of media items |
| US8645991B2 (en) * | 2006-03-30 | 2014-02-04 | Tout Industries, Inc. | Method and apparatus for annotating media streams |
| US20090138906A1 (en) * | 2007-08-24 | 2009-05-28 | Eide Kurt S | Enhanced interactive video system and method |
| KR101517592B1 (ko) * | 2008-11-11 | 2015-05-04 | 삼성전자 주식회사 | 고분해능을 가진 화면음원 위치장치 및 재생방법 |
| US8819746B2 (en) | 2010-03-29 | 2014-08-26 | Sony Europe Limited | Network device for a home entertainment network |
| KR20110139614A (ko) * | 2010-06-23 | 2011-12-29 | 씨제이포디플렉스 주식회사 | 특수 효과 설비를 포함하는 영상물 상영 시설 |
| KR101493884B1 (ko) | 2010-11-19 | 2015-02-17 | 한국전자통신연구원 | 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치 |
| CN102724522B (zh) | 2011-03-29 | 2014-07-09 | 雷欧尼斯（北京）信息技术有限公司 | 一种基于dci标准的4d数字电影实现方法和系统 |
| CN102543118B (zh) | 2011-12-31 | 2014-07-02 | 中国华录集团有限公司 | 一种四维影院的播放控制方法 |
| US10051329B2 (en) * | 2012-12-10 | 2018-08-14 | DISH Technologies L.L.C. | Apparatus, systems, and methods for selecting and presenting information about program content |
-
2014
- 2014-01-13 KR KR1020140003755A patent/KR102159816B1/ko active IP Right Grant
-
2015
- 2015-01-13 EP EP15150894.2A patent/EP2894867A1/en not_active Ceased
- 2015-01-13 US US14/595,705 patent/US9865273B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102676456B1 (ko) | 2023-11-13 | 2024-06-20 | 주식회사 더투에이치 | 터치 자극 제공 기능을 구비한 실감형 영상 체험 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9865273B2 (en) | 2018-01-09 |
| EP2894867A1 (en) | 2015-07-15 |
| KR20150084113A (ko) | 2015-07-22 |
| US20150199975A1 (en) | 2015-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20110304443A1 (en) | Systems and Methods for Operating Media Devices | |
| KR20180019421A (ko) | 영상 표시 장치 및 그 동작방법 | |
| KR20120116613A (ko) | 영상표시장치 및 이를 이용한 콘텐츠 관리방법 | |
| KR102159816B1 (ko) | 실감형 멀티미디어 컨텐츠 재생 방법 및 장치 | |
| US20160227280A1 (en) | Content that reacts to viewers | |
| KR20160087649A (ko) | 사용자 단말 장치, 시스템 및 그 제어 방법 | |
| CN105721904B (zh) | 显示装置和控制显示装置的内容输出的方法 | |
| CN104010206A (zh) | 基于地理位置的虚拟现实视频播放的方法和系统 | |
| WO2021231380A1 (en) | Context sensitive ads | |
| CN113115083A (zh) | 显示设备及显示方法 | |
| US20150312636A1 (en) | User assigned channel numbering for content from multiple input source types | |
| KR20150136314A (ko) | 디스플레이 장치, 사용자 단말 장치, 서버 및 그 제어 방법 | |
| KR102208624B1 (ko) | 전자 장치 및 이의 컨텐츠 제공 방법 | |
| JP2023501442A (ja) | プレーヤの年齢、国、法的要件に基づいて再生を自動編集するためのｅｓｒｂレイティングを使用したユーザー生成コンテンツ | |
| CN110178376A (zh) | 显示装置 | |
| KR20140098516A (ko) | 영상표시장치, 및 그 동작방법 | |
| US10951951B2 (en) | Haptics metadata in a spectating stream | |
| CA2957181C (en) | Scene-by-scene plot context for cognitively impaired | |
| WO2020248699A1 (zh) | 一种声音处理法及显示设备 | |
| CN112073803A (zh) | 一种声音再现方法及显示设备 | |
| JP7462069B2 (ja) | 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択 | |
| TW201901401A (zh) | 混合實境社區生活圈看屋方法及系統 | |
| US20240073470A1 (en) | Mobile terminal and display system | |
| US20210121784A1 (en) | Like button | |
| KR20220031436A (ko) | 전자 장치 및 그 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |