KR20150084113A - Apparatus and method for playing back tangible multimedia contents - Google Patents

Apparatus and method for playing back tangible multimedia contents Download PDF

Info

Publication number
KR20150084113A
KR20150084113A KR1020140003755A KR20140003755A KR20150084113A KR 20150084113 A KR20150084113 A KR 20150084113A KR 1020140003755 A KR1020140003755 A KR 1020140003755A KR 20140003755 A KR20140003755 A KR 20140003755A KR 20150084113 A KR20150084113 A KR 20150084113A
Authority
KR
South Korea
Prior art keywords
effect data
peripheral device
peripheral
multimedia contents
peripheral devices
Prior art date
Application number
KR1020140003755A
Other languages
Korean (ko)
Other versions
KR102159816B1 (en
Inventor
원성준
한세희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140003755A priority Critical patent/KR102159816B1/en
Priority to EP15150894.2A priority patent/EP2894867A1/en
Priority to US14/595,705 priority patent/US9865273B2/en
Publication of KR20150084113A publication Critical patent/KR20150084113A/en
Application granted granted Critical
Publication of KR102159816B1 publication Critical patent/KR102159816B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0053—Brushes fitted with ventilation suction, e.g. for removing dust
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B11/00—Brushes with reservoir or other means for applying substances, e.g. paints, pastes, water
    • A46B11/06—Brushes with reservoir or other means for applying substances, e.g. paints, pastes, water connected to supply pipe or to other external supply means
    • A46B11/063—Brushes with reservoir or other means for applying substances, e.g. paints, pastes, water connected to supply pipe or to other external supply means by means of a supply pipe
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B7/00—Bristle carriers arranged in the brush body
    • A46B7/04—Bristle carriers arranged in the brush body interchangeably removable bristle carriers
    • A46B7/042—Clip or snap connection for bristle carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B2200/00—Brushes characterized by their functions, uses or applications
    • A46B2200/10—For human or animal care
    • A46B2200/1066—Toothbrush for cleaning the teeth or dentures

Abstract

The present invention provides a method for playing realistic multimedia contents. The method includes the steps of: extracting effect data from the multimedia contents; mapping the extracted effect data to a time line of the multimedia contents; executing communication connection with one or more peripheral devices related to the effect data when the multimedia contents are played; and controlling the peripheral devices, related to the effect data, according to the time line.

Description

실감형 멀티미디어 컨텐츠 재생 방법 및 장치{APPARATUS AND METHOD FOR PLAYING BACK TANGIBLE MULTIMEDIA CONTENTS}TECHNICAL FIELD [0001] The present invention relates to a method and apparatus for real-

본 발명은 효율적으로 멀티미디어 컨텐츠를 재생하기 위한 방안에 관한 것이다.The present invention relates to a method for efficiently reproducing multimedia contents.

텔레비전이나 컴퓨터를 이용하여 재생하던 TV 방송, 영화, 동영상 등의 멀티미디어 컨텐츠는 기술 발전으로 인하여, 휴대 단말기, 태블릿(Tablet) PC에서도 재생할 수 있게 되었다. 또한, 4D(Dimention) 영화관은 영화의 장면과 유사한 환경을 실제 영화관 환경으로 조성함으로써, 사용자가 영화의 주인공이 된 듯한 경험을 할 수 있도록 하고 있다. 예컨대, 4D 영화관은 의자의 움직임, 다수의 스피커, 조명기기를 이용하여 비, 바람, 섬광, 떨림 등의 환경을 조성할 수 있다.Multimedia contents such as TV broadcasts, movies, and videos that were played back using a television or a computer have been able to be played on portable terminals and tablet PCs due to technological advances. In addition, the 4D (Dimension) movie theater creates an environment similar to the scenes of a movie in a real movie theater environment, allowing the user to experience the movie as a protagonist. For example, a 4D movie theater can create environments such as rain, wind, glare, and trembling by using chair movements, multiple speakers, and lighting equipment.

그러나, 사용자는 영화관으로 가서 영화를 보는 것보다, 집에서 텔레비전이나 컴퓨터를 통해, 또는 자신의 휴대 단말기를 이용하여 영상을 보는 일이 더 많다.However, users are more likely to watch video at home, via a television, a computer, or using their portable terminal, rather than going to a movie theater to watch a movie.

사용자는 4D 영화관에 직접 가서 영화를 보는 것보다, 집에서 편하게 텔레비전이나 컴퓨터로 영상을 즐기는 경우가 더 많다. 또한, 휴대 단말기의 발전으로 인해 사용자는 이동하면서 자신의 휴대 단말기를 이용하여 영상을 보는 일이 많다.Users are more likely to enjoy movies on their television or computer at home than at home in 4D cinemas. In addition, due to the development of the portable terminal, the user often watches the image using his / her portable terminal while moving.

그러나, 텔레비전, 컴퓨터, 휴대 단말기로는 4D 영화관과 같은 주변 환경을 조성하기 어렵기 때문에, 사용자는 시각적으로 영상을 보는 것에 만족해야 했다.However, since it is difficult to create an environment such as a 4D movie theater for a television, a computer, or a portable terminal, the user has to be satisfied with viewing the image visually.

본 발명의 일실시예는 멀티미디어 컨텐츠의 효과 데이터를 제공하는 주변기기를 제어함으로써, 언제 어디서나 4D 영화관과 같은 영상 내 환경을 조성할 수 있는 실감형 멀티미디어 컨텐츠 재생 방법 및 장치를 제공함을 목적으로 한다.An object of the present invention is to provide a real-time multimedia content reproducing method and apparatus capable of creating an image environment such as a 4D movie theater any time and anywhere by controlling a peripheral device that provides effect data of multimedia contents.

본 발명의 일실시예에 따른 실감형 멀티미디어 컨텐츠 재생 방법은 멀티미디어 컨텐츠로부터 효과 데이터를 추출하는 과정, 상기 추출된 효과 데이터를 상기 멀티미디어 컨텐츠의 타임라인과 매핑하는 과정, 상기 멀티미디어 컨텐츠의 재생 시, 상기 효과 데이터와 관련된 하나 이상의 주변기기들과 통신 연결하는 과정, 및 상기 타임라인에 맞춰 상기 효과 데이터와 관련된 주변기기들을 제어하는 과정을 포함한다.A method for reproducing realistic multimedia contents according to an exemplary embodiment of the present invention includes extracting effect data from multimedia contents, mapping the extracted effect data to a time line of the multimedia contents, Communicating with one or more peripherals associated with the effect data, and controlling peripherals associated with the effect data in accordance with the timeline.

본 발명의 일실시예에 따른 실감형 멀티미디어 컨텐츠 재생 장치는 멀티미디어 컨텐츠를 선택받는 입력부, 상기 선택된 멀티미디어 컨텐츠에 매핑된 효과 데이터를 제공하는 주변기기와 통신 연결하는 통신부, 및 상기 주변기기들 간에 상호 통신 연결하도록 제어하고, 상기 멀티미디어 컨텐츠의 재생 시, 타임라인에 맞춰 상기 효과 데이터에 대응하는 주변기기를 제어하는 제어부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for reproducing realistic multimedia contents, including an input unit for receiving multimedia contents, a communication unit for communicating with a peripheral for providing effect data mapped to the selected multimedia contents, And controlling the peripheral device corresponding to the effect data in accordance with the time line when reproducing the multimedia contents.

본 발명의 일실시예에 따르면, 멀티미디어 컨텐츠의 효과 데이터를 제공하는 주변기기를 제어함으로써, 언제 어디서나 4D 영화관과 같은 영상 내 환경을 조성할 수 있다.According to an embodiment of the present invention, an environment in an image such as a 4D movie theater can be created anytime and anywhere by controlling a peripheral device that provides effect data of multimedia contents.

도 1은 본 발명의 일실시예에 따른 실감형 멀티미디어 컨텐츠 재생 방법을 도시한 흐름도이다.
도 2a 및 도 2b는 본 발명의 일실시예에 따른 효과 데이터를 추출하는 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 주변기기에서 제공하는 효과 데이터의 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 주변기기들과 통신 연결하는 일례를 도시한 흐름도이다.
도 5는 본 발명의 일실시예에 따른 효과 데이터와 관련된 주변기기들을 제어하는 일례를 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 효과 데이터와 관련된 주변기기들을 제어하는 일례를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 사용자 참여 여부에 따라 멀티미디어 컨텐츠의 재생을 제어하는 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 실감형 멀티미디어 컨텐츠 재생 장치를 도시한 블록도이다.FIG. 1 is a flowchart illustrating a method for reproducing realistic multimedia contents according to an embodiment of the present invention.
2A and 2B are diagrams illustrating an example of extracting effect data according to an embodiment of the present invention.
3 is a diagram illustrating an example of effect data provided in a peripheral device according to an embodiment of the present invention.
4 is a flowchart illustrating an example of communication connection with peripheral devices according to an embodiment of the present invention.
5 is a flowchart illustrating an example of controlling peripherals associated with effect data according to an embodiment of the present invention.
6 is a diagram illustrating an example of controlling peripherals associated with effect data according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating an example of controlling playback of multimedia contents according to a user participation according to an embodiment of the present invention. Referring to FIG.
FIG. 8 is a block diagram illustrating a real-time multimedia content reproducing apparatus according to an embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 다양한 실시예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 하기의 설명에서는 본 발명의 다양한 실시 예들에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.Hereinafter, various embodiments will be described in detail with reference to the accompanying drawings. Note that, in the drawings, the same components are denoted by the same reference symbols as possible. Further, the detailed description of well-known functions and constructions that may obscure the gist of the present invention will be omitted. In the following description, only parts necessary for understanding the operation according to various embodiments of the present invention will be described, and the description of other parts will be omitted so as not to obscure the gist of the present invention.

본 발명에 따른 실감형 멀티미디어 컨텐츠 재생 장치는 전자장치에 포함되어 수행될 수 있다. 본 발명에 따른 전자 장치는 통신 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.The real-time multimedia content reproducing apparatus according to the present invention may be included in an electronic device and executed. The electronic device according to the present invention may be an apparatus including a communication function. For example, the electronic device can be a smartphone, a tablet personal computer, a mobile phone, a videophone, an e-book reader, a desktop personal computer, a laptop Such as a laptop personal computer (PC), a netbook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), an MP3 player, a mobile medical device, a camera, or a wearable device Such as a head-mounted-device (HMD) such as electronic glasses, an electronic garment, an electronic bracelet, an electronic necklace, an electronic app apparel, an electronic tattoo, or a smartwatch.

어떤 실시예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.According to some embodiments, the electronic device may be a smart home appliance with communication capabilities. [0003] Smart household appliances, such as electronic devices, are widely used in the fields of television, digital video disk (DVD) player, audio, refrigerator, air conditioner, vacuum cleaner, oven, microwave oven, washing machine, air cleaner, set- And may include at least one of a box (e.g., Samsung HomeSyncTM, Apple TVTM, or Google TVTM), game consoles, an electronic dictionary, an electronic key, a camcorder, or an electronic frame.

어떤 실시예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 또는 산업용 또는 가정용 로봇 중 적어도 하나를 포함할 수 있다.According to some embodiments, the electronic device may be a variety of medical devices (e.g., magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), computed tomography (CT) (global positioning system receiver), EDR (event data recorder), flight data recorder (FDR), automotive infotainment device, marine electronic equipment (eg marine navigation device and gyro compass), avionics, A security device, or an industrial or home robot.

어떤 실시예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.According to some embodiments, the electronic device may be a piece of furniture or a structure / structure including a communication function, an electronic board, an electronic signature receiving device, a projector, (E.g., water, electricity, gas, or radio wave measuring instruments, etc.). An electronic device according to the present invention may be one or more of the various devices described above. It should also be apparent to those skilled in the art that the electronic device according to the present invention is not limited to the above-described devices.

도 1은 본 발명의 일실시예에 따른 실감형 멀티미디어 컨텐츠 재생 방법을 도시한 흐름도이다. 본 발명의 실감형 멀티미디어 컨텐츠 재생 방법은 실감형 멀티미디어 컨텐츠 재생 장치(이하, "재생 장치"라 함)에 의해 수행될 수 있다.FIG. 1 is a flowchart illustrating a method for reproducing realistic multimedia contents according to an embodiment of the present invention. The real-sensible multimedia content reproduction method of the present invention can be performed by a real-sensible multimedia content reproduction apparatus (hereinafter referred to as "reproduction apparatus").

도 1을 참고하면, 과정(110)에서, 재생 장치의 제어부는 멀티미디어 컨텐츠로부터 효과 데이터를 추출한다. 상기 멀티미디어 컨텐츠는 이미지, 음성, 텍스트, 동영상, 영화 및 방송 중 적어도 하나를 포함하는 데이터 또는 내용물을 일컫는 개념이다. 상기 재생 장치는 스트리밍 방식 또는 다운로드 방식으로 수신한 멀티미디어 컨텐츠로부터 효과 데이터를 추출할 수 있다. 상기 효과 데이터는 상기 멀티미디어 컨텐츠에 포함된 장면(scene)과 유사한 환경을 제공하기 위한 데이터이다. 예를 들어, 상기 효과 데이터는 시각, 청각, 후각, 미각, 촉각 등의 오감을 느끼게 할 수 있는 데이터라 할 수 있다. Referring to FIG. 1, in step 110, the control unit of the playback apparatus extracts effect data from the multimedia contents. The multimedia content refers to data or contents including at least one of image, voice, text, moving picture, movie, and broadcast. The playback apparatus may extract the effect data from the multimedia contents received by the streaming method or the download method. The effect data is data for providing an environment similar to a scene included in the multimedia contents. For example, the effect data may be data capable of sensing five senses such as visual, auditory, olfactory, taste, and tactile sense.

과정(120)에서, 상기 제어부는 상기 추출된 효과 데이터를 상기 멀티미디어 컨텐츠의 타임라인(Timeline)과 매핑한다. 상기 멀티미디어 컨텐츠는 장면이 재생되는 시점인 타임라인(시간정보)이 포함되어 있다. 따라서, 상기 효과 데이터를 재생되는 장면에 맞게 제공하기 위하여, 상기 제어부는 상기 효과 데이터를 타임라인과 매칭시킬 수 있다. 상기 제어부는 상기 타임라인에 매칭된 효과 데이터를 상기 멀티미디어 컨텐츠에 연관시켜 저장부에 저장하거나, 효과 데이터만 별도로 저장부에 저장할 수도 있다.In operation 120, the control unit maps the extracted effect data to a time line of the multimedia content. The multimedia content includes a time line (time information) at which a scene is reproduced. Therefore, in order to provide the effect data according to the scene to be reproduced, the control unit may match the effect data with the time line. The control unit may store the effect data matched to the time line in the storage unit in association with the multimedia content, or may store the effect data separately in the storage unit.

과정(130)에서, 상기 제어부는 상기 멀티미디어 컨텐츠가 재생되는지 여부를 판단할 수 있다. 예컨대, 상기 멀티미디어 컨텐츠가 사용자로부터 선택된 경우, 상기 제어부는 상기 멀티미디어 컨텐츠가 재생된 것으로 판단할 수 있다.In operation 130, the controller may determine whether the multimedia content is played. For example, when the multimedia contents are selected from the user, the controller may determine that the multimedia contents are reproduced.

과정(140)에서, 상기 실감형 멀티미디어 컨텐츠 재생 장치의 통신부는 상기 효과 데이터와 관련된 하나 이상의 주변기기들과 통신 연결한다. 상기 주변기기는 상기 효과 데이터와 연관된 환경을 조성할 수 있는 기기를 모두 포함할 수 있다. 예컨대, 상기 주변기기(Peripheral Device)는 선풍기, 에어컨, 온풍기(Heater), 라디오, 스피커, 휴대 단말기, 조명기기, 텔레비전, 태블릿 PC 및 컴퓨터 중 어느 하나를 포함할 수 있다. 또는, 상기 주변기기는 냉장고, 세탁기, 프린터, 시계, 진공청소기, 셋탑박스, 버스, 자동차 및 도어락 장치 중 어느 하나를 포함할 수도 있다.In operation 140, the communication unit of the real-time multimedia content player communicates with one or more peripherals associated with the effect data. The peripheral may include all of the devices capable of creating an environment associated with the effect data. For example, the peripheral device may include any one of an electric fan, an air conditioner, a heater, a radio, a speaker, a portable terminal, a lighting device, a television, a tablet PC and a computer. Alternatively, the peripheral device may include any one of a refrigerator, a washing machine, a printer, a clock, a vacuum cleaner, a set-top box, a bus, a car, and a door lock device.

상기 통신부가 상기 주변기기들과 통신 연결하는 시점은 상기 멀티미디어 컨텐츠의 재생 전, 상기 멀티미디어 컨텐츠의 재생 후 및 상기 효과 데이터를 제공하기 전 중 어느 하나일 수 있다. 상기 통신부는 상기 주변기기들로부터 기기정보를 수신하고, 상기 수신된 기기정보를 기반으로 상기 주변기기들과의 통신방식을 설정할 수 있다. 상기 통신방식은 상기 주변기기들과 동일한 방식으로 설정될 수도 있고, 각 주변기기와 각각 다른 방식으로 설정될 수도 있다.The point of time when the communication unit communicates with the peripheral devices may be any one of before the reproduction of the multimedia contents, after the reproduction of the multimedia contents, and before the providing of the effect data. The communication unit may receive the device information from the peripheral devices, and may set a communication method with the peripheral devices based on the received device information. The communication method may be set in the same manner as the peripheral devices, or may be set differently from each peripheral device.

과정(150)에서, 상기 제어부는 상기 타임라인에 맞춰 상기 효과 데이터와 관련된 주변기기들을 제어한다. 예를 들어, 상기 제어부는 상기 효과 데이터가 '바람'인 경우, 주변기기인 '선풍기'로 제어명령을 전송하여 바람을 일으킬 수 있다. 또는 상기 제어부는 상기 효과 데이터가 '온도 10도'인 경우, 주변기기인 '에어컨'으로 제어명령을 전송하여 온도를 10도로 낮출 수 있다.In operation 150, the controller controls peripherals associated with the effect data in accordance with the timeline. For example, when the effect data is 'wind', the control unit may send a control command to a peripheral 'fan' to generate wind. Alternatively, when the effect data is 'temperature 10 degrees', the control unit may transmit a control command to the 'air conditioner' as a peripheral device to lower the temperature by 10 degrees.

따라서, 본 발명에 따르면, 멀티미디어 컨텐츠에 대한 현실감을 재현할 수 있다.Therefore, according to the present invention, it is possible to reproduce the reality of multimedia contents.

도 2a 및 도 2b는 본 발명의 일실시예에 따른 효과 데이터를 추출하는 일례를 도시한 도면이다.2A and 2B are diagrams illustrating an example of extracting effect data according to an embodiment of the present invention.

도 2a를 참고하면, 재생 장치는 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나로부터 효과 데이터를 추출할 수 있다. 예컨대, 효과 데이터는 온도(Icy cold(210), warm(250)), 비, 바람(windy(260)), 섬광(Lighting(220)), 떨림(Vibrate(230)) 및 빛의 밝기(Pitch dark(240)) 중 어느 하나와 관련된 것일 수 있다.Referring to FIG. 2A, a playback apparatus can extract effect data from at least one of images, sounds, sound effects, subtitles, metabolism, and metadata included in multimedia contents. For example, the effect data may include temperature (Icy cold 210, warm 250), rain, windy 260, lighting 220, vibrate 230, < / RTI > dark 240).

상기 재생 장치는 상기 추출된 효과 데이터를 상기 멀티미디어 컨텐츠의 타임라인과 매핑할 수 있다. 예컨대, Icy cold(210)는 타임라인 "00:13:20"과 매핑되고, Lighting(220)은 타임라인 "00:23:45"와 매핑되며, Vibrate(230)은 타임라인 "00:55:31"과 매핑되며, Pitch dark(240)은 타임라인 "01:06:35"와 매핑되며, warm(250)은 타임라인 "01:45:55"와 매핑되며, windy(260)는 타임라인 "01: 50:56"과 매핑될 수 있다.The playback apparatus may map the extracted effect data to a timeline of the multimedia content. For example, Icy cold 210 is mapped to timeline "00:13:20 ", Lighting 220 is mapped to timeline" 00:23:45 ", and Vibrate 230 is mapped to timeline & : 31 ", the pitch dark 240 is mapped to the timeline" 01:06:35 ", the warm 250 is mapped to the timeline" 01:45:55 ", the windy 260 is mapped to the time Line "01: 50: 56 ".

만약, 상기 재생 장치는 상기 멀티미디어 컨텐츠로부터 효과 데이터를 추출할 수 없는 경우, 상기 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나를 이용하여 효과 데이터를 생성할 수도 있다. 또는, 재생 장치는 상기 멀티미디어 컨텐츠로부터 효과 장면을 추천하고, 상기 추천된 효과 장면과 연관된 효과 데이터를 사용자로부터 직접 입력받을 수도 있다.If the playback device can not extract the effect data from the multimedia content, the playback device may generate effect data using at least one of images, sound, sound effects, subtitles, metabolism, and metadata included in the multimedia content . Alternatively, the playback apparatus may recommend an effect scene from the multimedia content, and receive effect data associated with the recommended effect scene directly from the user.

도 2b를 참고하면, 상기 효과 데이터는 XML(eXtensible markup language) 형식으로 작성될 수 있다. 또는 상기 효과 데이터는 Name-Value Pair로 작성되거나, W3C의 RDF/XML 형식으로 작성될 수도 있다. 또한, 재생 장치는 상기 멀티미디어 컨텐츠의 포맷에 따라 상기 효과 데이터를 상기 멀티미디어 컨텐츠에 직접 포함시키거나, 상기 효과 데이터를 상기 멀티미디어 컨텐츠와 별도의 파일로 저장할 수도 있다. 예컨대, 상기 효과 데이터를 상기 멀티미디어 컨텐츠와 별도의 파일로 저장될 경우, 재생 장치는 상기 효과 데이터가 적용될 멀티미디어 컨텐츠의 파일명이나 멀티미디어 컨텐츠의 제목 등의 내용을 상기 효과 데이터에 추가로 포함시킬 수 있다. Referring to FIG. 2B, the effect data may be written in XML (extensible markup language) format. Alternatively, the effect data may be written in Name-Value pairs or in RDF / XML format of W3C. In addition, the playback apparatus may directly include the effect data in the multimedia content according to the format of the multimedia content, or may store the effect data in a file separate from the multimedia content. For example, when the effect data is stored as a file separate from the multimedia contents, the playback apparatus may further include contents such as a filename of the multimedia contents to which the effect data is to be applied, a title of the multimedia contents, and the like.

상기 효과 데이터 내 "stream"은 상기 효과 데이터를 적용할 스트림을 나타낸 것이다. 예컨대, 재생 장치는 "식별자 속성(ID attribute)"을 이용하여 상기 멀티미디어 컨텐츠에 포함된 복수의 스트림 중에서 상기 효과 데이터를 적용할 스트림을 구분할 수 있다. 재생 장치는 상기 효과 데이터를 별도의 파일로 생성할 경우, 식별자(ID)가 아닌 제목(title)으로 상기 효과 데이터를 표기할 수 있다."Stream" in the effect data indicates a stream to which the effect data is to be applied. For example, the playback apparatus can identify a stream to which the effect data is to be applied among a plurality of streams included in the multimedia content by using an " ID attribute. &Quot; When generating the effect data as a separate file, the reproducing apparatus can display the effect data in a title rather than an identifier (ID).

상기 효과 데이터 내 "effect"는 어떤(what) 효과를 언제(when) 어떻게(how) 적용할지 정의한다. "effect"는 상호작용 타입(Interactive type) 또는 단방향 타입(uni-directional type) 일 수 있다. 상호작용 타입의 경우, 효과를 구현하기 위해 전송신호(sending_signal)와 수신신호(receiving signal)를 정의할 수 있다. 단방향 타입의 경우, 단방향 전송신호만 정의할 수 있다. 또는, 상호작용 타입의 경우, 주변기기들간의 상호 통신 연결하고, 단방향 타입의 경우, 상기 재생 장치와 상기 주변기기들 간의 통신 연결만 수행할 수 있다.The "effect" in the effect data defines when and how. The "effect" may be an interactive type or a uni-directional type. In the case of an interaction type, a sending signal (sending_signal) and a receiving signal can be defined to implement the effect. In the case of the unidirectional type, only unidirectional transmission signals can be defined. Alternatively, in the case of the interaction type, mutual communication is established between the peripheral devices. In case of the unidirectional type, only the communication connection between the reproducing device and the peripheral devices can be performed.

상기 효과 데이터 내 "start_time", "end_time"은 정의된 효과를 스트림 진행 어느 시점에 수행해야 하는지를 정의한 것으로, "타임라인"일 수 있다. 상기 타임라인은 멀티미디어 컨텐츠와 효과 데이터 간의 동기화를 위해 사용된다.The "start_time" and "end_time" in the effect data define a time at which the defined effect is to be performed in the stream, and may be "timeline ". The timeline is used for synchronization between multimedia content and effect data.

상기 효과 데이터 내 "service"는 효과를 위해 사용할 서비스를 정의한다. 예를 들어, 재생 장치는 UPnP Forum의 표준 서비스인 Telephony 서비스를 사용하여 주변기기의 하나인 휴대 단말기로 문자 메시지를 전송하고, 사용자가 읽었는지를 확인하도록 상기 효과 데이터 내 "service"를 정의할 수 있다. 상기 재생 장치는 정의된 서비스를 제공하기 위해 네트워크를 연결하고, 해당 서비스를 제공하는 주변기기를 검색하고, 검색된 주변기기로 메시지를 송수신하여 상기 주변기기를 제어함으로써, 상기 주변기기에서 제공하는 효과를 구현할 수 있다. 상기 재생장치는 상기 주변기기로부터 응답신호를 최대 대기 시간(max_waiting_time) 동안 기다리고, 최대 대기 시간 동안 응답신호를 전송한 주변기기와 통신 연결할 수 있다."Service" in the effect data defines a service to be used for effect. For example, the playback apparatus can transmit a text message to a portable terminal, which is one of the peripheral devices, using the Telephony service, which is a standard service of the UPnP Forum, and define a "service" in the effect data so as to confirm whether or not the user has read the text message . The playback apparatus can connect to a network to provide a defined service, search for peripheral devices that provide the service, send and receive messages to the searched peripheral devices, and control the peripheral devices to implement the effects provided by the peripheral devices. The playback apparatus may wait for a maximum wait time (max_waiting_time) from the peripheral device and communicate with a peripheral device that transmits a response signal during a maximum wait time.

상기 효과 데이터 내 "av_control"은 "service"를 제어함과 동시에 영상/음성 재생 제어에 관한 것을 정의한다. 예를 들어, 재생 장치는 서비스 제어하는 동안 "PAUSE" 상태로 변환하고, "PAUSE" 상태 동안 특정 오디오와 캡션 스트림을 재생하도록 상기 효과 데이터 내 "av_control"를 정의할 수 있다. 재생 장치는서비스 효과가 완료되었거나, 최대 대기 시간이 경과한 경우 다은 상태(next_state)에서 지정한 상태로 변경할 수 있다."Av_control" in the effect data defines "video / audio reproduction control" while controlling "service". For example, the playback device may convert to the " PAUSE "state during service control and define" av_control "in the effect data to play specific audio and caption streams during the" PAUSE "state. The playback apparatus can change from the next state (next_state) to the state designated when the service effect is completed or when the maximum waiting time has elapsed.

도 3은 본 발명의 일실시예에 따른 주변기기에서 제공하는 효과 데이터의 일례를 도시한 도면이다.3 is a diagram illustrating an example of effect data provided in a peripheral device according to an embodiment of the present invention.

도 3을 참고하면, 재생 장치(300)는 효과 데이터와 연관된 환경을 조성할 수 있는 주변기기를 모두 포함할 수 있다. 예컨대, 상기 주변기기는 에어컨(310), 스피커(320), 라디오(330), 온풍기(340), 조명기구(350), 선풍기(360), 휴대 단말기(370)를 포함할 수 있다. 이외에도 상기 주변기기는 텔레비전, 태블릿 PC 및 컴퓨터, 냉장고, 세탁기, 프린터, 시계, 진공청소기, 셋탑박스, 버스, 자동차 및 도어락 장치 중 어느 하나를 포함할 수도 있다.Referring to FIG. 3, the playback apparatus 300 may include all peripherals capable of creating an environment associated with effect data. For example, the peripheral device may include an air conditioner 310, a speaker 320, a radio 330, a fan 330, a lighting device 350, a fan 360, and a portable terminal 370. In addition, the peripheral device may include any one of a television, a tablet PC and a computer, a refrigerator, a washing machine, a printer, a clock, a vacuum cleaner, a set top box, a bus, an automobile and a door lock device.

도 4는 본 발명의 일실시예에 따른 주변기기들과 통신 연결하는 일례를 도시한 흐름도이다.4 is a flowchart illustrating an example of communication connection with peripheral devices according to an embodiment of the present invention.

도 4를 참고하면, 재생 장치는 효과 데이터와 관련된 하나 이상의 주변기기들을 검색하고, 검색된 주변기기들로 요청신호를 전송할 수 있다. 예컨대, 과정(410) 내지 과정(430)에서, 상기 재생 장치는 제1 주변기기 내지 제3 주변기기로 요청신호를 전송할 수 있다. 도면에서는 시간적 순서대로 요청신호를 각 주변기기로 전송하는 것으로 도시하고 있지만, 상기 재생 장치는 동일한 시점, 검색된 시점, 실시간으로 및 개별적으로 중 어느 한 시점에 상기 요청신호를 주변기기들로 전송할 수 있다.Referring to FIG. 4, the playback apparatus may search for one or more peripherals associated with the effect data, and may transmit a request signal to the retrieved peripherals. For example, in steps 410 to 430, the playback apparatus may transmit a request signal to the first to third peripherals. Although the request signal is transmitted to each peripheral device in the order of time in the drawing, the playback device may transmit the request signal to the peripheral devices at the same time point, at the time of searching, at the time of real-time, or individually.

과정(440)에서, 상기 요청신호를 수신한 제1 주변기기는 자신의 제1 기기정보를 상기 재생장치로 전송할 수 있다. 과정(450)에서, 상기 제1 기기정보를 수신한 상기 재생 장치는 상기 제1 주변기기와 통신 연결할 수 있다.In step 440, the first peripheral device receiving the request signal may transmit its first device information to the playback device. In operation 450, the playback device that has received the first device information may communicate with the first peripheral device.

과정(460)에서, 상기 요청신호를 수신한 제2 주변기기는 자신의 제2 기기정보를 상기 재생장치로 전송할 수 있다. 과정(470)에서, 상기 제2 기기정보를 수신한 상기 재생 장치는 상기 제2 주변기기와 통신 연결할 수 있다.In step 460, the second peripheral device receiving the request signal may transmit its own second device information to the playback device. In step 470, the playback apparatus that has received the second device information can communicate with the second peripheral device.

과정(480)에서, 상기 요청신호를 수신한 제3 주변기기는 자신의 제3 기기정보를 상기 재생장치로 전송할 수 있다. 과정(490)에서, 상기 제3 기기정보를 수신한 상기 재생 장치는 상기 제3 주변기기와 통신 연결할 수 있다.In step 480, the third peripheral device receiving the request signal may transmit its third device information to the playback device. In step 490, the playback apparatus that has received the third device information can communicate with the third peripheral device.

여기서, 기기정보는 주변기기에 대한 상태를 나타내는 정보로서, 예컨대, 연결 가능한 통신방식, 전력상태, 위치, 기기 식별번호 및 이름 중 적어도 하나를 포함할 수 있다. 따라서, 상기 재생 장치는 상기 기기정보를 기반으로 각 주변기기와 통신 연결할 수 있다.Here, the device information may include at least one of a connectable communication mode, a power status, a location, a device identification number, and a name as information indicating the status of the peripheral device. Therefore, the playback apparatus can communicate with each peripheral device based on the device information.

실시예로, 상기 재생 장치는 각 주변기기와 동일한 통신방식으로 통신 연결할 수 있다. 예를 들어, 상기 재생 장치는 상기 제1 주변기기 내지 상기 제3 주변기기와 와이파이(Wi-Fi), 블루투스(bluetooth), 근거리 통신(Near Field Communication; NFC) 중 어느 하나의 통신방식으로 통신 연결할 수 있다. 또는, 상기 재생 장치는 각 주변기기마다 상이한 통신방식으로 통신 연결할 수도 있다. 예를 들어, 상기 재생 장치는 상기 제1 주변기기와 Wi-Fi 통신방식으로 통신 연결하고, 상기 제2 주변기기와 Bluetooth 통신방식으로 통신 연결하며, 상기 제3 주변기기와 근거리 통신(Near Field Communication; NFC) 통신방식으로 통신 연결할 수 있다.In an embodiment, the playback apparatus can communicate with the peripheral devices in the same communication manner. For example, the playback apparatus can communicate with the first peripheral device through the third peripheral device through a communication method such as Wi-Fi, bluetooth, or Near Field Communication (NFC) . Alternatively, the playback apparatus may be communicatively connected by a different communication method for each peripheral device. For example, the playback apparatus communicates with the first peripheral device in a Wi-Fi communication manner and communicates with the second peripheral device through a Bluetooth communication method, and the third peripheral device transmits Near Field Communication (NFC) Communication can be established by communication method.

도 4에서는 상기 제1 주변기기 내지 상기 제3 주변기기가 기기정보를 전송하는 시점이나, 상기 재생장치와 상기 제1 주변기기 내지 상기 제3 주변기기가 통신 연결하는 시점이 상이한 것으로 도시하고 있으나, 상기 재생 장치는 동일한 시점, 상기 기기정보를 수신한 시점, 실시간으로 및 개별적으로 중 어느 한 시점에 상기 제1 주변기기 내지 상기 제3 주변기기와 통신 연결할 수 있다.4 shows that the first peripheral device to the third peripheral device transmit device information and the playback device and the first peripheral device to the third peripheral device communicate with each other at a time of communication connection, And can communicate with the first peripheral device or the third peripheral device at the same time point, at the time of receiving the device information, in real time, or individually.

실시예로, 상기 재생 장치는 상기 통신 연결된 주변기기들간에 기기정보를 상호 교환하도록 제어함으로써, 상기 기기정보를 기반으로 상기 주변기기들 간에 상호 통신 연결하도록 제어할 수 있다. 예컨대, 상기 재생 장치는 상기 제1 주변기기의 제1 기기정보를 상기 제2 주변기기 및 상기 제3 주변기기로 전송하고, 상기 제2 주변기기의 제2 기기정보를 상기 제1 주변기기 및 상기 제3 주변기기로 전송하며, 상기 제3 주변기기의 제3 기기정보를 상기 제1 주변기기 및 상기 제2 주변기기로 전송함으로써, 상기 제1 주변기기 내지 상기 제3 주변기기 간에 상호 통신 연결하도록 제어할 수 있다. In an embodiment, the playback apparatus controls to intercommunicate between the peripherals based on the device information by controlling the device information to be exchanged between the communication-connected peripheral devices. For example, the playback apparatus transmits first device information of the first peripheral device to the second peripheral device and the third peripheral device, and transmits second device information of the second peripheral device to the first peripheral device and the third peripheral device And to transmit the third device information of the third peripheral device to the first peripheral device and the second peripheral device to control mutual communication connection between the first peripheral device and the third peripheral device.

또는 각 주변기기가 직접 다른 주변기기에게 기기정보를 전송함으로써, 상호 통신 연결할 수 있다. 예컨대, 상기 제1 주변기기는 제1 기기정보를 상기 제2 주변기기 및 상기 제3 주변기기로 전송하고, 상기 제2 주변기기는 제2 기기정보를 상기 제1 주변기기 및 상기 제3 주변기기로 전송하며, 상기 제3 주변기기는 제3 기기정보를 상기 제1 주변기기 및 상기 제2 주변기기로 전송함으로써, 상기 제1 주변기기 내지 상기 제3 주변기기 간에 상호 통신 연결하도록 제어할 수 있다. Or each peripheral directly communicates device information to other peripherals, thereby enabling intercommunication. For example, the first peripheral transmits first device information to the second peripheral and the third peripheral, the second peripheral transmits second device information to the first peripheral and the third peripheral, 3 peripheral device can control the mutual communication connection between the first peripheral device and the third peripheral device by transmitting third device information to the first peripheral device and the second peripheral device.

도 5는 본 발명의 일실시예에 따른 효과 데이터와 관련된 주변기기들을 제어하는 일례를 도시한 흐름도이다.5 is a flowchart illustrating an example of controlling peripherals associated with effect data according to an embodiment of the present invention.

도 5를 참고하면, 재생 장치는 멀티미디어 컨텐츠의 타임라인에 맞춰 효과 데이터와 관련된 주변기기들을 제어할 수 있다. 예컨대, 효과 데이터 "Icy cold"를 제공하기 위해, 타임라인 "00:13:20"에, 과정(510)에서, 상기 재생 장치는 제어명령#1을 제2 주변기기로 전송할 수 있다. 이때, 상기 제2 주변기기는 "에어컨"일 수 있다. 만약, 상기 제2 주변기기가 상기 제1 주변기기와 상기 제3 주변기기와 상호 통신 연결된 경우, 과정(510a) 내지 과정(510b)에서, 상기 제2 주변기기는 'Icy cold'와 관련된 제어명령을 상기 제1 주변기기 및 상기 제3 주변기기로 전송할 수 있다. 또는, 상기 재생 장치는 상기 제1 주변기기와 상기 제3 주변기기가 "Icy cold"와 관련된 효과 데이터를 제공할 수 있는 경우, 상기 제2 주변기기를 제어하여, 상기 제2 주변기기를 통해 상기 제1 주변기기와 상기 제3 주변기기로 "Icy cold"와 관련된 제어명령을 전송할 수 있다.Referring to FIG. 5, a playback apparatus can control peripherals related to effect data in accordance with a timeline of multimedia contents. For example, to provide effect data "Icy cold ", in step 510, the playback device may send control command # 1 to the second peripheral in the timeline" 00:13:20 ". At this time, the second peripheral device may be an "air conditioner ". If the second peripheral device is connected to the first peripheral device and the third peripheral device, the second peripheral device transmits a control command related to 'Icy cold' to the first peripheral device in steps (510a) to 510b The peripheral device and the third peripheral device. Alternatively, the playback apparatus may control the second peripheral to control the first peripheral and the third peripheral via the second peripheral if the first peripheral and the third peripheral can provide effect data associated with "Icy cold" Quot; Icy cold "to the third peripheral device.

또한, 과정(520)에서, 상기 재생 장치는 효과 데이터, "Lighting"을 제공하기 위해, 타임라인 "00:23:45"에 제어명령#2를 제1 주변기기로 전송할 수 있다. 여기서, 상기 제1 주변기기는 "조명기구"일 수 있다. 만약, 상기 제1 주변기기가 상기 제2 주변기기와 상기 제3 주변기기와 상호 통신 연결된 경우, 과정(520a) 내지 과정(520b)에서, 상기 제1 주변기기는 "Lighting"과 관련된 제어명령을 상기 제2 주변기기 및 상기 제3 주변기기로 전송할 수 있다. 또는, 상기 재생 장치는 상기 제2 주변기기와 상기 제3 주변기기가 "Lighting"과 관련된 효과 데이터를 제공할 수 있는 경우, 상기 제1 주변기기를 제어하여, 상기 제1 주변기기를 통해 상기 제2 주변기기와 상기 제3 주변기기로 "Lighting"와 관련된 제어명령을 전송할 수 있다.Also, in step 520, the playback device may transmit control command # 2 to the first peripheral device in the timeline "00:23:45" to provide effect data, "Lighting ". Here, the first peripheral may be a "light fixture ". If the first peripheral device is in communication with the second peripheral device and the third peripheral device, in step 520a to step 520b, the first peripheral device transmits a control command related to "Lighting" And to the third peripheral device. Alternatively, the reproducing apparatus may control the first peripheral device when the second peripheral device and the third peripheral device are capable of providing effect data related to "Lighting ", so that the second peripheral device and the second peripheral device A control command related to "Lighting" can be transmitted to the third peripheral device.

과정(530)에서, 상기 재생 장치는 효과 데이터 "Vibrate"을 제공하기 위해, 타임라인 "00:55:31"에 제어명령#3를 제3 주변기기로 전송할 수 있다. 여기서, 상기 제3 주변기기는 "휴대 단말기"일 수 있다. 만약, 상기 제3 주변기기가 상기 제1 주변기기와 상기 제2 주변기기와 상호 통신 연결된 경우, 과정(530a) 내지 과정(530b)에서, 상기 제3 주변기기는 "Vibrate"과 관련된 제어명령을 상기 제1 주변기기 및 상기 제2 주변기기로 전송할 수 있다. 또는, 상기 재생 장치는 상기 제1 주변기기와 상기 제2 주변기기가 "Vibrate"과 관련된 효과 데이터를 제공할 수 있는 경우, 상기 제3 주변기기를 제어하여, 상기 제3 주변기기를 통해 상기 제1 주변기기와 상기 제2 주변기기로 "Vibrate"과 관련된 제어명령을 전송할 수 있다.At step 530, the playback device may send control command # 3 to the third peripheral in timeline "00:55:31" to provide effect data "Vibrate ". Here, the third peripheral may be a "portable terminal ". If the third peripheral device is interconnected with the first peripheral device and the second peripheral device, the third peripheral device transmits a control command related to "Vibrate " to the first peripheral device in steps 530a to 530b. And to the second peripheral device. Alternatively, the playback device may control the third peripheral device when the first peripheral device and the second peripheral device are capable of providing effect data related to "Vibrate ", to control the third peripheral device and the first peripheral device Quot; Vibrate "to the second peripheral device.

과정(540)에서, 상기 재생 장치는 효과 데이터 "Pitch dark"를 제공하기 위하여, 타임라인 "01:06:35"에, 제어명령#4를 상기 제1 주변기기로 전송할 수 있다. 여기서, 상기 제1 주변기기는 "조명기구"일 수 있다. 과정(540a) 내지 과정(540b)에서, 상기 제1 주변기기는 "Pitch dark"과 관련된 제어명령을 상기 제2 주변기기 및 상기 제3 주변기기로 전송할 수 있다.In step 540, the playback device may send control command # 4 to the first peripheral in timeline "01:06:35" to provide effect data "Pitch dark. &Quot; Here, the first peripheral may be a "light fixture ". In steps 540a to 540b, the first peripheral device may transmit a control command related to "pitch dark" to the second peripheral device and the third peripheral device.

과정(550)에서, 상기 재생 장치는 효과 데이터 "warm"을 제공하기 위해, 타임라인 "01:45:55"에 제어명령#5를 제3 주변기기로 전송할 수 있다. 여기서, 제3 주변기기는 "온풍기"일 수 있다. 과정(550a) 내지 과정(550b)에서, 상기 제3 주변기기는 "warm"과 관련된 제어명령을 상기 제1 주변기기 및 상기 제2 주변기기로 전송할 수 있다.In step 550, the playback device may send control command # 5 to the third peripheral in timeline "01:45:55" to provide effect data "warm. &Quot; Here, the third peripheral device may be a "hot air fan ". In steps 550a to 550b, the third peripheral may transmit a control command related to "warm " to the first peripheral and the second peripheral.

과정(560)에서, 상기 재생 장치는 효과 데이터 "windy"를 제공하기 위하여, 타임라인 "01: 50:56"에, 제어명령#6을 제2 주변기기로 전송할 수 있다. 이때, 상기 제2 주변기기는 "온풍기" 또는 "에어컨"일 수 있다. 과정(560a) 내지 과정(560b)에서, 상기 제2 주변기기는 "windy"과 관련된 제어명령을 상기 제1 주변기기 및 상기 제3 주변기기로 전송할 수 있다.In step 560, the playback device may send control command # 6 to the timeline "01: 50:56 " to the second peripheral to provide effect data" windy ". At this time, the second peripheral device may be a "hot air fan" or an "air conditioner ". In steps 560a to 560b, the second peripheral may transmit a control command related to "windy " to the first peripheral and the third peripheral.

다른 실시예로, 재생 장치는 효과 데이터의 특성 또는 주변기기의 위치에 기초하여 우선순위를 설정하고, 상기 효과 데이터에 대응하는 제어명령에 상기 우선순위를 포함시켜 상기 주변기기들로 전송할 수 있다. 이 경우, 최우선 순위의 제1 주변기기는 제2 주변기기와 상호 협력하여 상기 효과 데이터에 대응하는 환경을 조성할 수 있다.In another embodiment, the playback apparatus may set priorities based on the characteristics of the effect data or the positions of the peripherals, and may transmit the priority to the control commands corresponding to the effect data to the peripherals. In this case, the first peripheral of the highest priority may cooperate with the second peripheral to create an environment corresponding to the effect data.

도 6은 본 발명의 일실시예에 따른 효과 데이터와 관련된 주변기기들을 제어하는 일례를 도시한 도면이다.6 is a diagram illustrating an example of controlling peripherals associated with effect data according to an embodiment of the present invention.

도 6을 참고하면, 멀티미디어 컨텐츠를 재생하는 텔레비전에 재생 장치(620)가 포함되어 수행될 수 있다. 재생 장치(620)는 효과 데이터의 특성 또는 주변기기들(610, 630, 650)의 위치에 기초하여 우선순위를 설정하고, 상기 효과 데이터에 대응하는 제어명령에 상기 우선순위를 포함시켜 상기 주변기기들(610, 630, 650)로 전송할 수 있다. 예컨대, 재생 장치(620)는 휴대 단말기(620), 에어컨(610), 조명기구(630) 순으로 우선순위를 설정할 수 있다. 이 경우, 최우선 순위의 휴대 단말기(620)가 에어컨(610) 및 조명기구(630)와 상호 협력하여 상기 효과 데이터에 대응하는 환경을 조성할 수 있다. Referring to FIG. 6, a playback apparatus 620 may be included in a television for playing back multimedia contents. The playback apparatus 620 sets priorities based on the characteristics of the effect data or the positions of the peripherals 610, 630, and 650, and includes the priority in the control command corresponding to the effect data, 610, 630, 650). For example, the playback apparatus 620 can set priorities in the order of the portable terminal 620, the air conditioner 610, and the lighting apparatus 630. In this case, the mobile terminal 620 with the highest priority can cooperate with the air conditioner 610 and the lighting device 630 to create an environment corresponding to the effect data.

상기 효과 데이터의 특성은 감각(sense)과 관련된 것으로, 재생 장치(620)는 사람의 오감(시각, 청각, 후각, 미각, 촉각) 중, 가장 민감한 감각을 제공하는 주변기기를 우선순위가 높도록 설정할 수 있다. 또는, 상기 주변기기의 위치는 사용자로부터 상기 주변기기까지의 거리로서, 재생 장치(620)는 사용자와 상기 주변기기 간의 거리가 가까운 순서대로 우선순위가 높도록 설정할 수 있다.The characteristics of the effect data are related to a sense. The playback device 620 sets a peripheral device that provides the most sensitive sensation among the five senses (visual, auditory, olfactory, taste, and tactile) . Alternatively, the position of the peripheral device may be a distance from the user to the peripheral device, and the playback device 620 may be set to have a higher priority in descending order of the distance between the user and the peripheral device.

또 다른 실시예로, 상기 재생 장치는 상기 효과 데이터의 특성 또는 상기 주변기기의 위치에 기초하여 제어순서를 설정하고, 상기 설정된 제어순서에 맞춰 상기 효과 데이터에 대응하는 제어명령을 상기 주변기기들로 전송할 수 있다. 즉, 상기 재생 장치는 주변기기들간의 상호 통신 연결이 되지 않는 경우 또는 하나의 제어명령을 둘 이상의 주변기기들로 전송해야 하는 경우, 제어순서에 따라 제어명령을 각 주변기기로 전송할 수 있다. 예컨대, 재생 장치(620)는 휴대 단말기(620), 에어컨(610) 및 조명기구(630) 순으로 제어순서를 설정하고, 설정된 제어순서에 맞춰 제어명령을 전송할 수 있다.In another embodiment, the reproducing apparatus may set a control order based on the characteristics of the effect data or the position of the peripheral device, and may transmit a control command corresponding to the effect data to the peripherals in accordance with the set control order have. That is, the playback apparatus can transmit a control command to each of the peripherals according to the control order when the mutual communication connection is not established between the peripheral devices, or when one control command needs to be transmitted to two or more peripherals. For example, the reproducing apparatus 620 may set the control order in the order of the portable terminal 620, the air conditioner 610, and the lighting apparatus 630, and may transmit the control command in accordance with the set control order.

따라서, 본 발명에 따르면, 멀티미디어 컨텐츠에 대한 사용자 경험을 극대화할 수 있다.Therefore, according to the present invention, a user experience on multimedia contents can be maximized.

또 다른 실시예로, 상기 재생 장치는 기설정된 이벤트, 사용자 시선, 상기 주변기기의 기기정보 및 표시부의 특성 중 적어도 하나에 기초하여 상기 멀티미디어 컨텐츠의 재생을 제어할 수 있다.In yet another embodiment, the playback apparatus may control playback of the multimedia content based on at least one of a predetermined event, a user's gaze, device information of the peripheral device, and characteristics of the display unit.

예컨대, 상기 재생 장치는 주변기기인 휴대 단말기로 전화가 걸려온 경우, 또는 사용자가 상기 휴대 단말기로 전화를 건 경우, 상기 멀티미디어 컨텐츠의 재생을 멈추거나(pause), 주변기기인 스피커의 볼륨을 "mute"로 제어할 수 있다. 또는, 상기 재생 장치는 상기 멀티미디어 컨텐츠가 재생되는 표시부의 사용자 시선이 벗어난 경우, 상기 표시부를 볼 수 있는 각도에서 벗어난 경우, 사용자 시선이 주변기기인 휴대 단말기의 화면에 있는 경우, 상기 멀티미디어 컨텐츠의 재생을 중단할 수 있다. 상기 재생 장치는 블루투스 모듈, GPS 모듈, Wi-Fi 모듈, 센서모듈 및 카메라 모듈 중 적어도 하나를 이용하여 발생하는 이벤트가 기설정된 이벤트에 포함되는지 여부를 판단할 수 있다.For example, the playback apparatus may stop playing (pause) the multimedia content when a phone call is made to the portable terminal as a peripheral device or when the user calls the portable terminal, and the volume of the speaker as the peripheral device is "muted" Can be controlled. Alternatively, when the user's eyes of the display unit on which the multimedia contents are reproduced are out of the viewing angle of the display unit, or when the user's eyes are on the screen of the portable terminal, which is a peripheral device, You can stop. The playback apparatus may determine whether an event generated using at least one of a Bluetooth module, a GPS module, a Wi-Fi module, a sensor module, and a camera module is included in a predetermined event.

상기 재생 장치는 멀티미디어 컨텐츠를 복수의 표시부를 통해 재생하는 경우, 표시부의 특성에 따라 멀티미디어 컨텐츠 내 자막 표기, 번역 여부를 제어할 수 있다. 예컨대, 복수의 사용자가 복수의 표시부를 통해 멀티미디어 컨텐츠를 시청하는 경우, 일부의 사용자만 자막이 필요하고, 일부의 사용자만 번역이 필요할 수 있다. 또한, 번역의 경우, 각 사용자마다 번역하는 언어가 다를 수 있다. 따라서, 상기 재생 장치는 복수의 번역된 언어를 하나의 화면에 모두 표기하지 않고, 사용자의 표시부에 따라 각각 다른 번역된 언어를 제공할 수 있다. 예컨대, 제1 사용가 헤드업 디스플레이(headup display; HUD)를 착용한 경우, 헤드업 디스플레이에만 상기 제1 사용자에게 맞는 자막을 표기하거나, 또는 번역된 언어를 제공할 수 있다. 이 경우, 자막이 필요없는 다른 제2 사용자들은 멀티미디어 컨텐츠에 더욱 더 집중할 수 있다.When the multimedia contents are reproduced through a plurality of display units, the reproducing apparatus can control whether the subtitles are displayed or translated in the multimedia contents according to the characteristics of the display unit. For example, when a plurality of users view multimedia contents through a plurality of display units, only a part of users need subtitles, and only a part of users need to translate. Also, in case of translation, the language to be translated may be different for each user. Therefore, the playback apparatus can provide different translated languages according to the display unit of the user, without displaying the plurality of translated languages on one screen. For example, when a first use head-up display (HUD) is worn, the caption suitable for the first user may be displayed only on the head-up display, or the translated language may be provided. In this case, other second users who do not need subtitles can concentrate more on multimedia content.

또 다른 실시예로, 상기 재생 장치는 상기 멀티미디어 컨텐츠에 포함된 캐릭터, 장면 및 이벤트 중 적어도 하나에 기초하여 기설정된 주변기기로 메시지를 전송하고, 상기 전송된 메시지의 확인 여부에 따라 상기 멀티미디어 컨텐츠의 재생을 제어할 수 있다.In yet another embodiment, the playback apparatus transmits a message to a predetermined peripheral device based on at least one of a character, a scene, and an event included in the multimedia content, and performs playback of the multimedia content according to whether the transmitted message is confirmed Can be controlled.

도 7은 본 발명의 일실시예에 따른 사용자 참여 여부에 따라 멀티미디어 컨텐츠의 재생을 제어하는 일례를 도시한 도면이다.FIG. 7 is a diagram illustrating an example of controlling playback of multimedia contents according to a user participation according to an embodiment of the present invention. Referring to FIG.

도 7을 참고하면, 멀티미디어 컨텐츠는 1인칭 시점으로 만들어질 수도 있다. 이 경우, 1인칭 시점의 인물은 영상 안의 다른 인물들(캐릭터), 장면 및 이벤트와 상호 작용할 수 있다. 예컨대, 멀티미디어 컨텐츠 중 선장이 "휴대폰을 확인해 보아라"라는 말을 한 장면(710)이 포함되어 있을 수 있다. 이 경우, 재생 장치는 주변기기인 휴대 단말기로 메시지(720)를 전송할 수 있다. 따라서, 사용자가 메시지(720)를 확인하지 않는 경우, 상기 재생 장치는 장면(710)을 반복하여 재생할 수 있다. 만약, 상기 사용자가 메시지(720)를 확인한 경우, 상기 재생 장치는 반복 재생을 중단하고, 장면(710)의 다음 장면을 재생하도록 할 수 있다.Referring to FIG. 7, the multimedia contents may be created as a first person view. In this case, a first-person character can interact with other characters (characters), scenes and events in the image. For example, a scene 710 in which the captain of the multimedia contents said "Please check the mobile phone" may be included. In this case, the playback apparatus can transmit the message 720 to the portable terminal as a peripheral device. Thus, if the user does not acknowledge the message 720, the playback apparatus may repeat the scene 710 and play it. If the user confirms the message 720, the playback apparatus may stop the repeated playback and cause the next scene of the scene 710 to be reproduced.

도 8은 본 발명의 일실시예에 따른 실감형 멀티미디어 컨텐츠 재생 장치를 도시한 블록도이다.FIG. 8 is a block diagram illustrating a real-time multimedia content reproducing apparatus according to an embodiment of the present invention.

도 8을 참고하면, 재생 장치(800)는 입력부(810), 제어부(820) 및 통신부(830)를 포함할 수 있다.8, the playback apparatus 800 may include an input unit 810, a control unit 820, and a communication unit 830.

제어부(820)는 멀티미디어 컨텐츠로부터 효과 데이터를 추출할 수 있다. 예컨대, 제어부(820)는 상기 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나로부터 효과 데이터를 추출할 수 있다. 또는, 제어부(820)는 상기 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나를 이용하여 효과 데이터를 생성할 수도 있다.The control unit 820 may extract the effect data from the multimedia contents. For example, the controller 820 may extract the effect data from at least one of images, sounds, sound effects, subtitles, metabolism, and metadata included in the multimedia contents. Alternatively, the controller 820 may generate effect data using at least one of images, sounds, sound effects, subtitles, metabolism, and metadata included in the multimedia contents.

입력부(810)는 멀티미디어 컨텐츠를 선택받는다. 상기 선택받는다는 것은 사용자로부터 재생하기를 원하는 멀티미디어 컨텐츠를 선택받는다는 의미이다. 입력부(810)는 상기 멀티미디어 컨텐츠로부터 효과 장면을 추천하고, 상기 효과 장면과 연관된 효과 데이터를 상기 사용자로부터 직접 입력받을 수도 있다.The input unit 810 receives multimedia content. The selection means that multimedia content desired to be played back by the user is selected. The input unit 810 may recommend an effect scene from the multimedia content and directly receive the effect data associated with the effect scene from the user.

통신부(830)는 상기 선택된 멀티미디어 컨텐츠에 매핑된 효과 데이터를 제공하는 주변기기와 통신 연결한다. 상기 주변기기는 상기 효과 데이터와 연관된 환경을 조성할 수 있는 기기를 모두 포함할 수 있다. 예컨대, 상기 주변기기(Peripheral Device)는 선풍기, 에어컨, 온풍기(Heater), 라디오, 스피커, 휴대 단말기, 조명기기, 텔레비전, 태블릿 PC 및 컴퓨터 중 어느 하나를 포함할 수 있다. 또는, 상기 주변기기는 냉장고, 세탁기, 프린터, 시계, 진공청소기, 셋탑박스, 버스, 자동차 및 도어락 장치 중 어느 하나를 포함할 수도 있다.The communication unit 830 communicates with a peripheral device that provides effect data mapped to the selected multimedia content. The peripheral may include all of the devices capable of creating an environment associated with the effect data. For example, the peripheral device may include any one of an electric fan, an air conditioner, a heater, a radio, a speaker, a portable terminal, a lighting device, a television, a tablet PC and a computer. Alternatively, the peripheral device may include any one of a refrigerator, a washing machine, a printer, a clock, a vacuum cleaner, a set-top box, a bus, a car, and a door lock device.

실시예로, 통신부(830)는 상기 주변기기들로부터 기기정보를 수신하고, 상기 수신된 기기정보를 기반으로 상기 주변기기들과의 통신방식을 설정할 수 있다. 즉, 통신부(830)는 상기 기기정보를 표시부(840)에 표시하고, 입력부(810)를 통해 사용자로부터 선택된 통신방식으로 상기 주변기기들과 통신 연결할 수 있다. 즉, 통신부(830)는 상기 주변기기들과 동일한 통신방식으로 통신 연결될 수도 있고, 각 주변기기와 각각 다른 통신방식으로 통신 연결될 수도 있다.In an embodiment, the communication unit 830 receives device information from the peripheral devices, and can set a communication method with the peripheral devices based on the received device information. That is, the communication unit 830 displays the device information on the display unit 840, and can communicate with the peripheral devices through the input unit 810 in a communication method selected by the user. That is, the communication unit 830 may be communicatively connected to the peripheral devices through the same communication method, or may be communicatively connected to the peripheral devices through different communication methods.

제어부(820)는 멀티미디어 컨텐츠의 타임라인에 맞춰 효과 데이터를 매칭할 수 있다. 제어부(820)는 상기 주변기기들 간에 상호 통신 연결하도록 제어하고, 상기 멀티미디어 컨텐츠의 재생 시, 타임라인에 맞춰 상기 효과 데이터에 대응하는 주변기기를 제어할 수 있다. 예를 들어, 제어부(820)는 상기 효과 데이터가 '바람'인 경우, 주변기기인 '선풍기'로 제어명령을 전송하여 바람을 일으킬 수 있다. 또는 제어부(820)는 상기 효과 데이터가 '온도 10도'인 경우, 주변기기인 '에어컨'으로 제어명령을 전송하여 온도를 10도로 낮출 수 있다.The controller 820 may match the effect data according to the timeline of the multimedia contents. The control unit 820 controls the peripheral devices to communicate with each other and controls the peripheral device corresponding to the effect data in accordance with the time line when reproducing the multimedia contents. For example, when the effect data is 'wind', the controller 820 can send a control command to a peripheral 'fan' to generate wind. Alternatively, when the effect data is 'temperature 10 degrees', the controller 820 may transmit a control command to the 'air conditioner' as a peripheral device to lower the temperature by 10 degrees.

실시예로, 제어부(820)는 상기 통신 연결된 주변기기들간에 기기정보를 상호 교환하도록 제어함으로써, 상기 기기정보를 기반으로 상기 주변기기들 간에 상호 통신 연결하도록 제어할 수 있다. 예컨대, 제어부(820)는 상기 제1 주변기기의 제1 기기정보를 상기 제2 주변기기 및 상기 제3 주변기기로 전송하고, 상기 제2 주변기기의 제2 기기정보를 상기 제1 주변기기 및 상기 제3 주변기기로 전송하며, 상기 제3 주변기기의 제3 기기정보를 상기 제1 주변기기 및 상기 제2 주변기기로 전송함으로써, 상기 제1 주변기기 내지 상기 제3 주변기기 간에 상호 통신 연결하도록 제어할 수 있다.In an embodiment, the control unit 820 controls the mutual communication between the peripherals based on the device information by controlling the device information to be exchanged between the communication-connected peripheral devices. For example, the control unit 820 may transmit the first device information of the first peripheral device to the second peripheral device and the third peripheral device, and may transmit the second device information of the second peripheral device to the first peripheral device and the third peripheral device And transmits the third device information of the third peripheral device to the first peripheral device and the second peripheral device, thereby controlling the mutual communication connection between the first peripheral device and the third peripheral device.

다른 실시예로, 제어부(820)는 효과 데이터의 특성 또는 상기 사용자와 주변기기 간의 위치에 기초하여 우선순위를 설정하고, 상기 효과 데이터에 대응하는 제어명령에 상기 우선순위를 포함시켜 상기 주변기기들로 전송할 수 있다. 이 경우, 최우선 순위의 제1 주변기기는 제2 주변기기와 상호 협력하여 상기 효과 데이터에 대응하는 환경을 조성할 수 있다.In another embodiment, the control unit 820 sets a priority based on the characteristics of the effect data or the position between the user and the peripherals, and transmits the control command corresponding to the effect data including the priority to the peripherals . In this case, the first peripheral of the highest priority may cooperate with the second peripheral to create an environment corresponding to the effect data.

재생 장치(800)는 표시부(840), 블루투스 모듈, GPS 모듈, Wi-Fi 모듈, 센서모듈 및 카메라 모듈 중 적어도 하나를 더 포함할 수 있다. 제어부(820)는 상기 블루투스 모듈, 상기 GPS 모듈, 상기 Wi-Fi 모듈, 상기 센서모듈 및 상기 카메라 모듈 중 적어도 하나를 이용하여 상기 사용자와 주변기기 간의 위치를 검출할 수 있다.The playback apparatus 800 may further include at least one of a display unit 840, a Bluetooth module, a GPS module, a Wi-Fi module, a sensor module, and a camera module. The controller 820 can detect the position between the user and the peripheral device using at least one of the Bluetooth module, the GPS module, the Wi-Fi module, the sensor module, and the camera module.

또 다른 실시예로, 제어부(820)는 상기 효과 데이터의 특성 또는 사용자와 상기 주변기기 간의 거리에 기초하여 제어순서를 설정하고, 상기 설정된 제어순서에 맞춰 상기 효과 데이터에 대응하는 제어명령을 통신부(830)를 통해 상기 주변기기들로 전송할 수 있다.According to another embodiment, the control unit 820 sets a control order based on the characteristics of the effect data or the distance between the user and the peripheral device, and transmits a control command corresponding to the effect data to the communication unit 830 To the peripheral devices.

또 다른 실시예로, 제어부(820)는 기설정된 이벤트, 사용자 시선, 상기 주변기기의 기기정보 및 표시부의 특성 중 적어도 하나에 기초하여 상기 멀티미디어 컨텐츠의 재생을 제어할 수 있다. 제어부(820)는 상기 블루투스 모듈, 상기 GPS 모듈, 상기 Wi-Fi 모듈, 상기 센서모듈 및 상기 카메라 모듈 중 적어도 하나를 이용하여 발생하는 이벤트가 기설정된 이벤트에 해당하는지, 사용자 시선이 표시부(840)를 벗어났는지 여부를 검출할 수 있다.In yet another embodiment, the controller 820 may control the playback of the multimedia content based on at least one of a predetermined event, a user's gaze, device information of the peripheral device, and characteristics of the display unit. The control unit 820 determines whether an event generated by using at least one of the Bluetooth module, the GPS module, the Wi-Fi module, the sensor module, and the camera module corresponds to a preset event, It is possible to detect whether or not it is out of the range.

또 다른 실시예로, 제어부(820)는 상기 멀티미디어 컨텐츠에 포함된 캐릭터, 장면 및 이벤트 중 적어도 하나에 기초하여 기설정된 주변기기로 메시지를 전송하고, 상기 전송된 메시지의 확인 여부에 따라 상기 멀티미디어 컨텐츠의 재생을 제어할 수 있다.According to another embodiment, the controller 820 transmits a message to a predetermined peripheral device based on at least one of characters, scenes, and events included in the multimedia content, and determines whether or not the multimedia content Playback can be controlled.

그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. Accordingly, the scope of the present invention should be construed as being included in the scope of the present invention, all changes or modifications derived from the technical idea of the present invention.

800: 실감형 멀티미디어 컨텐츠 재생 장치
810: 입력부
820: 제어부
830: 통신부
840: 표시부800: Realistic multimedia content reproduction device
810:
820:
830:
840:

Claims (19)

실감형 멀티미디어 컨텐츠 재생 방법에 있어서,
멀티미디어 컨텐츠로부터 효과 데이터를 추출하는 과정;
상기 추출된 효과 데이터를 상기 멀티미디어 컨텐츠의 타임라인(Timeline)과 매핑하는 과정;
상기 멀티미디어 컨텐츠의 재생 시, 상기 효과 데이터와 관련된 하나 이상의 주변기기(Peripheral Device)들과 통신 연결하는 과정; 및
상기 타임라인에 맞춰 상기 효과 데이터와 관련된 주변기기들을 제어하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법.In a real-time multimedia content playback method,
Extracting effect data from the multimedia contents;
Mapping the extracted effect data to a time line of the multimedia contents;
Communicating with one or more peripheral devices related to the effect data when reproducing the multimedia contents; And
And controlling peripherals associated with the effect data in accordance with the time line. 제1항에 있어서,
상기 추출하는 과정은,
상기 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나로부터 효과 데이터를 추출하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법.The method according to claim 1,
The extraction process may include:
Extracting effect data from at least one of an image, a sound, an effect sound, a caption, a metabolism, and metadata included in the multimedia contents. 제1항에 있어서,
상기 추출하는 과정은,
상기 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나를 이용하여 효과 데이터를 생성하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법.The method according to claim 1,
The extraction process may include:
And generating effect data using at least one of images, sounds, sound effects, captions, dialogue, and metadata included in the multimedia contents. 제1항에 있어서,
상기 추출하는 과정은,
상기 멀티미디어 컨텐츠로부터 효과 장면을 추천하는 과정; 및
상기 추천된 효과 장면과 연관된 효과 데이터를 입력받는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법.The method according to claim 1,
The extraction process may include:
Recommending an effect scene from the multimedia contents; And
And receiving effect data associated with the recommended effect scene. 제1항에 있어서,
상기 통신 연결하는 과정은,
상기 주변기기들로부터 기기정보를 수신하는 과정; 및
상기 수신된 기기정보를 기반으로 상기 주변기기들과의 통신방식을 설정하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법.The method according to claim 1,
The communication connection process includes:
Receiving device information from the peripheral devices; And
And setting a communication method with the peripherals based on the received device information. 제5항에 있어서,
상기 통신 연결하는 과정은,
상기 통신 연결된 주변기기들간에 기기정보를 상호 교환하도록 제어하는 과정; 및
상기 기기정보를 기반으로 상기 주변기기들 간에 상호 통신 연결하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법.6. The method of claim 5,
The communication connection process includes:
Controlling to exchange device information between the communication-connected peripheral devices; And
And connecting the peripheral devices to each other based on the device information. 제1항에 있어서,
상기 제어하는 과정은,
상기 효과 데이터의 특성 또는 상기 주변기기의 위치에 기초하여 우선순위를 설정하는 과정;
상기 효과 데이터에 대응하는 제어명령에 상기 우선순위를 포함시켜 상기 주변기기들로 전송하는 과정; 및
최우선 순위의 제1 주변기기가 제2 주변기기와 상호 협력하여 상기 효과 데이터에 대응하는 환경을 조성하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법.The method according to claim 1,
Wherein the controlling step comprises:
Setting a priority based on the characteristics of the effect data or the position of the peripheral device;
Transmitting the control command corresponding to the effect data to the peripheral devices including the priority order; And
And a first peripheral device having a highest priority cooperates with a second peripheral device to create an environment corresponding to the effect data. 제1항에 있어서,
상기 제어하는 과정은,
상기 효과 데이터의 특성 또는 상기 주변기기의 위치에 기초하여 제어순서를 설정하는 과정; 및
상기 설정된 제어순서에 맞춰 상기 효과 데이터에 대응하는 제어명령을 상기 주변기기들로 전송하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법.The method according to claim 1,
Wherein the controlling step comprises:
Setting a control order based on the characteristic of the effect data or the position of the peripheral device; And
And transmitting a control command corresponding to the effect data to the peripherals in accordance with the set control order. 제1항에 있어서,
상기 제어하는 과정은,
기설정된 이벤트, 사용자 시선, 상기 주변기기의 기기정보 및 표시부의 특성 중 적어도 하나에 기초하여 상기 멀티미디어 컨텐츠의 재생을 제어하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법.The method according to claim 1,
Wherein the controlling step comprises:
Controlling playback of the multimedia content based on at least one of a preset event, a user's gaze, device information of the peripheral device, and characteristics of a display unit. 제1항에 있어서,
상기 제어하는 과정은,
상기 멀티미디어 컨텐츠에 포함된 캐릭터, 장면 및 이벤트 중 적어도 하나에 기초하여 기설정된 주변기기로 메시지를 전송하는 과정; 및
상기 전송된 메시지의 확인 여부에 따라 상기 멀티미디어 컨텐츠의 재생을 제어하는 과정을 포함하는 실감형 멀티미디어 컨텐츠 재생 방법.The method according to claim 1,
Wherein the controlling step comprises:
Transmitting a message to a predetermined peripheral device based on at least one of a character, a scene, and an event included in the multimedia content; And
And controlling the reproduction of the multimedia content according to whether the transmitted message is confirmed or not. 실감형 멀티미디어 컨텐츠 재생 장치에 있어서,
멀티미디어 컨텐츠를 선택받는 입력부;
상기 선택된 멀티미디어 컨텐츠에 매핑된 효과 데이터를 제공하는 주변기기와 통신 연결하는 통신부; 및
상기 주변기기들 간에 상호 통신 연결하도록 제어하고, 상기 멀티미디어 컨텐츠의 재생 시, 타임라인에 맞춰 상기 효과 데이터에 대응하는 주변기기를 제어하는 제어부
를 포함하는 실감형 멀티미디어 컨텐츠 재생 장치.A real-time multimedia content reproducing apparatus comprising:
An input unit for selecting multimedia contents;
A communication unit for communicating with a peripheral device for providing effect data mapped to the selected multimedia contents; And
And controlling the peripheral devices corresponding to the effect data in accordance with the time line when reproducing the multimedia contents,
Wherein the real-time multimedia contents reproducing apparatus comprises: 제11항에 있어서,
상기 입력부는,
상기 멀티미디어 컨텐츠로부터 효과 장면을 추천하고, 상기 효과 장면과 연관된 효과 데이터를 입력받는, 실감형 멀티미디어 컨텐츠 재생 장치.12. The method of claim 11,
Wherein the input unit comprises:
And recommends an effect scene from the multimedia contents, and receives effect data associated with the effect scene. 제11항에 있어서,
상기 제어부는,
상기 멀티미디어 컨텐츠에 포함된 이미지, 소리, 효과음, 자막, 대사 및 메타데이터 중 적어도 하나로부터 효과 데이터를 추출하는, 실감형 멀티미디어 컨텐츠 재생 장치.12. The method of claim 11,
Wherein,
Extracts effect data from at least one of an image, a sound, an effect sound, a caption, a metabolism, and metadata included in the multimedia contents. 제11항에 있어서,
상기 통신부는,
상기 주변기기들로부터 기기정보를 수신하고, 상기 수신된 기기정보를 기반으로 상기 주변기기들과의 통신방식을 설정하는, 실감형 멀티미디어 컨텐츠 재생 장치.12. The method of claim 11,
Wherein,
Receives device information from the peripheral devices, and sets a communication method with the peripheral devices based on the received device information. 제14항에 있어서,
상기 제어부는,
상기 기기정보를 표시부에 표시하고, 입력부를 통해 사용자로부터 선택된 통신방식으로 상기 주변기기들과 통신 연결하도록 상기 통신부를 제어하는, 실감형 멀티미디어 컨텐츠 재생 장치.15. The method of claim 14,
Wherein,
And displays the device information on a display unit and controls the communication unit to communicate with the peripheral devices through a communication method selected by a user through an input unit. 제11항에 있어서,
상기 제어부는,
상기 효과 데이터의 특성 또는 사용자와 상기 주변기기 간의 거리에 기초하여 우선순위를 설정하고, 상기 효과 데이터에 대응하는 제어명령에 상기 우선순위를 포함시켜 상기 통신부를 통해 상기 주변기기들로 전송하고, 최우선 순위의 제1 주변기기가 제2 주변기기와 상호 협력하여 상기 효과 데이터에 대응하는 환경을 조성하도록 제어하는, 실감형 멀티미디어 컨텐츠 재생 장치.12. The method of claim 11,
Wherein,
Setting a priority order based on the characteristics of the effect data or the distance between the user and the peripheral device, transmitting the control command corresponding to the effect data to the peripheral devices through the communication section including the priority order, Wherein the first peripheral device cooperates with the second peripheral device so as to create an environment corresponding to the effect data. 제11항에 있어서,
상기 제어부는,
상기 효과 데이터의 특성 또는 사용자와 상기 주변기기 간의 거리에 기초하여 제어순서를 설정하고, 상기 설정된 제어순서에 맞춰 상기 효과 데이터에 대응하는 제어명령을 상기 통신부를 통해 상기 주변기기들로 전송하는, 실감형 멀티미디어 컨텐츠 재생 장치.12. The method of claim 11,
Wherein,
Wherein the control unit sets a control order based on the characteristics of the effect data or the distance between the user and the peripheral device and transmits a control command corresponding to the effect data to the peripheral devices through the communication unit in accordance with the set control order, Content playback apparatus. 제11항에 있어서,
상기 제어부는,
기설정된 이벤트, 사용자 시선, 상기 주변기기의 기기정보 및 표시부의 특성 중 적어도 하나에 기초하여 상기 멀티미디어 컨텐츠의 재생을 제어하는, 실감형 멀티미디어 컨텐츠 재생 장치.12. The method of claim 11,
Wherein,
Wherein the controller controls the reproduction of the multimedia contents based on at least one of a preset event, a user's gaze, device information of the peripheral device, and characteristics of a display unit. 제1항에 있어서,
상기 제어부는,
상기 멀티미디어 컨텐츠에 포함된 캐릭터, 장면 및 이벤트 중 적어도 하나에 기초하여 기설정된 주변기기로 메시지를 전송하고, 상기 전송된 메시지의 확인 여부에 따라 상기 멀티미디어 컨텐츠의 재생을 제어하는, 실감형 멀티미디어 컨텐츠 재생 장치.The method according to claim 1,
Wherein,
A multimedia content playback device that transmits a message to a predetermined peripheral device based on at least one of a character, a scene, and an event included in the multimedia content, and controls reproduction of the multimedia content according to whether the transmitted message is confirmed, .
KR1020140003755A 2014-01-13 2014-01-13 Apparatus and method for playing back tangible multimedia contents KR102159816B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140003755A KR102159816B1 (en) 2014-01-13 2014-01-13 Apparatus and method for playing back tangible multimedia contents
EP15150894.2A EP2894867A1 (en) 2014-01-13 2015-01-13 Tangible multimedia content playback method and apparatus
US14/595,705 US9865273B2 (en) 2014-01-13 2015-01-13 Tangible multimedia content playback method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140003755A KR102159816B1 (en) 2014-01-13 2014-01-13 Apparatus and method for playing back tangible multimedia contents

Publications (2)

Publication Number Publication Date
KR20150084113A true KR20150084113A (en) 2015-07-22
KR102159816B1 KR102159816B1 (en) 2020-09-24

Family

ID=52394902

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140003755A KR102159816B1 (en) 2014-01-13 2014-01-13 Apparatus and method for playing back tangible multimedia contents

Country Status (3)

Country Link
US (1) US9865273B2 (en)
EP (1) EP2894867A1 (en)
KR (1) KR102159816B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019213760A1 (en) 2018-05-10 2019-11-14 Daniel Licht System, method, and kit for using triggering objects to create concatenated audio/video
WO2021029497A1 (en) * 2019-08-14 2021-02-18 Samsung Electronics Co., Ltd. Immersive display system and method thereof
WO2021112639A1 (en) 2019-12-05 2021-06-10 Samsung Electronics Co., Ltd. Electronic device performing operation based on user speech in multi device environment and operating method thereof
US11750883B2 (en) * 2021-03-26 2023-09-05 Dish Network Technologies India Private Limited System and method for using personal computing devices to determine user engagement while viewing an audio/video program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100052856A (en) * 2008-11-11 2010-05-20 삼성전자주식회사 Positioning apparatus and playing method for a virtual sound source with high resolving power
KR20120054352A (en) * 2010-11-19 2012-05-30 한국전자통신연구원 Method for controlling data related 4d broadcast service in network and apparatus for controlling the same

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6941294B2 (en) * 2000-08-28 2005-09-06 Emotion, Inc. Method and apparatus for digital media management, retrieval, and collaboration
JP2002204891A (en) 2001-01-11 2002-07-23 Matsushita Electric Ind Co Ltd Environment controller and environment control processing method
US6925197B2 (en) * 2001-12-27 2005-08-02 Koninklijke Philips Electronics N.V. Method and system for name-face/voice-role association
US7668867B2 (en) * 2006-03-17 2010-02-23 Microsoft Corporation Array-based discovery of media items
EP2011017A4 (en) * 2006-03-30 2010-07-07 Stanford Res Inst Int Method and apparatus for annotating media streams
US20090138906A1 (en) * 2007-08-24 2009-05-28 Eide Kurt S Enhanced interactive video system and method
CN102835070B (en) 2010-03-29 2015-12-09 索尼欧洲有限公司 For the network equipment of home entertainment network
KR20110139614A (en) * 2010-06-23 2011-12-29 씨제이포디플렉스 주식회사 Facility for showing pictures comprising special effect equipments
CN102724522B (en) * 2011-03-29 2014-07-09 雷欧尼斯（北京）信息技术有限公司 Method and system for realizing 4D digital film based on DCI standard
CN102543118B (en) * 2011-12-31 2014-07-02 中国华录集团有限公司 Play control system of four-dimensional cinema
US10051329B2 (en) * 2012-12-10 2018-08-14 DISH Technologies L.L.C. Apparatus, systems, and methods for selecting and presenting information about program content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100052856A (en) * 2008-11-11 2010-05-20 삼성전자주식회사 Positioning apparatus and playing method for a virtual sound source with high resolving power
KR20120054352A (en) * 2010-11-19 2012-05-30 한국전자통신연구원 Method for controlling data related 4d broadcast service in network and apparatus for controlling the same

Also Published As

Publication number Publication date
EP2894867A1 (en) 2015-07-15
US9865273B2 (en) 2018-01-09
US20150199975A1 (en) 2015-07-16
KR102159816B1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
WO2020186988A1 (en) Information display method and device, terminal, and storage medium
KR20150027892A (en) Method and system for presenting content using a plurality of electronic devices
KR20160087649A (en) User terminal apparatus, system and controlling method thereof
KR102159816B1 (en) Apparatus and method for playing back tangible multimedia contents
JP6124998B2 (en) Method and apparatus for providing immersive interaction through everyday devices
CN104010206A (en) Virtual reality video playing method and system based on geographic position
CN105721904B (en) The method of the content output of display device and control display device
CN112073798A (en) Data transmission method and equipment
WO2020248699A1 (en) Sound processing method and display apparatus
KR20150136314A (en) display apparatus, user terminal apparatus, server and control method thereof
CN110178376A (en) Display device
KR20170030487A (en) Electronic device and method for providing contents thereof
JP2006005415A (en) Content viewing device, television device, content viewing method, program and recording medium
US10951951B2 (en) Haptics metadata in a spectating stream
KR20170027838A (en) Scene-by-scene plot context for cognitively impaired
CN112399235A (en) Method for enhancing photographing effect of camera of smart television and display device
CN113115083A (en) Display apparatus and display method
CN112839254A (en) Display apparatus and content display method
CN112788375A (en) Display device, display method and computing device
CN112073803A (en) Sound reproduction method and display equipment
CN112071338A (en) Recording control method and device and display equipment
JP7462069B2 (en) User selection of virtual camera positions for generating video using composite input from multiple cameras
TW201901401A (en) Mixed reality community living circle housing viewing method and system including mixed virtual reality and augmented reality
CN113453079B (en) Control method for returning double-system-size double-screen application and display equipment
CN111641855B (en) Double-screen display equipment and audio output method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right