WO2016003165A1 - 외부 장치를 이용한 방송 데이터 처리 방법 및 장치 - Google Patents

외부 장치를 이용한 방송 데이터 처리 방법 및 장치 Download PDF

Info

Publication number
WO2016003165A1
WO2016003165A1 PCT/KR2015/006711 KR2015006711W WO2016003165A1 WO 2016003165 A1 WO2016003165 A1 WO 2016003165A1 KR 2015006711 W KR2015006711 W KR 2015006711W WO 2016003165 A1 WO2016003165 A1 WO 2016003165A1
Authority
WO
WIPO (PCT)
Prior art keywords
video data
received
information
external device
audio data
Prior art date
Application number
PCT/KR2015/006711
Other languages
English (en)
French (fr)
Inventor
황수진
서종열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/317,714 priority Critical patent/US10070172B2/en
Priority to KR1020167034028A priority patent/KR101875669B1/ko
Publication of WO2016003165A1 publication Critical patent/WO2016003165A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals

Definitions

  • the present invention relates to the processing of broadcast data. More specifically, the present invention relates to a broadcast data processing method and apparatus using an external device.
  • the digital TV that receives and reproduces a broadcast signal is called a main device, other smartphones or tablets owned by the user correspond to the second device.
  • the gyro sensor is a sensor for measuring the change in the orientation of the object by using a property that always maintains a predetermined direction initially set with high accuracy regardless of the rotation of the earth.
  • an acceleration sensor is a sensor that processes an output signal and measures dynamic forces such as acceleration, vibration, and impact of an object.
  • the second device is equipped with a motion sensor such as a gyro sensor to perform an additional function using the same.
  • GUI 'graphic user interface
  • CLI 'Character User Interface
  • Another object of the present invention is to provide a method for controlling a main device using a sensor mounted in a second device.
  • Another object of the present invention is to provide a method for determining an output image to be displayed on a main device using a second device.
  • Another object of the present invention is to provide a method for adjusting the depth of an image to be displayed on the main device using the second device.
  • Another object of the present invention is to provide a method for adjusting the screen configuration of an image to be displayed on the main device using the second device.
  • the broadcast data processing apparatus includes a receiver for receiving video data and audio data, a decoder for decoding the received video data and audio data, and transmitting characteristic information of the video data and audio data to an external device. And an interface unit for receiving control information for controlling display of the decoded video data and reproduction of audio data from the external device, a display unit for displaying the decoded video data based on the received control information, and the reception unit. And an audio reproducing unit for reproducing the decoded audio data based on the control information.
  • the characteristic information includes resolution information and aspect ratio information of the received video data
  • the control information includes sensor value information detected by a sensor mounted in the external device, the display unit the sensor value Displays a partial area of video data indicated by the information.
  • the characteristic information includes depth information of the received video data
  • the control information is a sensor sensed by a sensor mounted on the external device.
  • a depth processor configured to adjust the depth of the decoded video data based on the sensor value information, and the display unit displays video data having the adjusted depth.
  • the characteristic information includes screen configuration information of the multi-view video data
  • the control information is a sensor mounted on the external device.
  • the broadcast data processing apparatus includes a screen adjusting unit configured to adjust a screen configuration of the decoded video data based on the sensor value information, and the display unit has the adjusted screen configuration. Display multiview video data.
  • the characteristic information includes information on objects constituting the received audio data
  • the control information is a sensor mounted in the external device. Includes sensor value information detected by the audio reproducing unit, and the audio reproducing unit reproduces audio data having a sound for each object adjusted according to the sensor value information.
  • the characteristic information includes information on channels constituting the received audio data
  • the control information is a sensor mounted in the external device. Includes sensor value information detected by the audio reproducing unit, and the audio reproducing unit reproduces audio data having a sound for each channel adjusted according to the sensor value information.
  • a broadcast data processing apparatus includes a receiver configured to receive characteristic information of video data and audio data received by an external device from an external device, and to control display of the received video data and reproduction of audio data. It includes a sensor unit for detecting the control information for transmitting and the transmission unit for transmitting the sensed control information to the external device.
  • the characteristic information includes resolution information and aspect ratio information of video data received by the external device
  • the control information includes sensor value information detected by the sensor unit.
  • the characteristic information includes depth information of the video data received by the external device, and the control information is detected by the sensor unit. Contains sensor value information.
  • the characteristic information includes screen configuration information of the multi-view video data
  • the control information is detected by the sensor unit. Contains one sensor value information.
  • the characteristic information includes information about objects constituting the audio data received by the external device
  • the control information is the It includes sensor value information detected by the sensor unit.
  • the characteristic information includes information on channels constituting audio data received by the external device
  • the control information is the It includes sensor value information detected by the sensor unit.
  • Broadcast data processing method comprises the steps of receiving video data and audio data, decoding the received video data and audio data, the characteristic information of the video data and audio data to an external device Receiving control information for transmitting and controlling display of the decoded video data and reproduction of audio data from the external device, displaying the decoded video data based on the received control information and receiving the received information Playing the decoded audio data based on control information.
  • a method for processing broadcast data comprising: receiving characteristic information of video data and audio data received by the external device from an external device, controlling display of the received video data and reproduction of audio data Sensing control information for transmitting the signal; and transmitting the detected control information to the external device.
  • a broadcast data processing apparatus includes a receiver configured to receive video data, audio data, and signaling information representing three-dimensional coordinate values of a recommended viewing position, and a decoder to decode the received video data and audio data.
  • an audio reproducing unit which displays a viewing position and reproduces the decoded audio data.
  • the main device can be controlled using the second device.
  • the main device may be controlled using a sensor mounted in the second device.
  • the second device may determine the output image to be displayed on the main device.
  • the depth of an image to be displayed on the main device may be adjusted using the second device.
  • the screen configuration of the image to be displayed on the main device can be adjusted using the second device.
  • FIG. 1 is a diagram illustrating a configuration of a broadcast data processing apparatus according to an embodiment of the present invention.
  • FIG. 2 illustrates a user directly selecting an area to be output on a display having a 16: 9 aspect ratio in a panorama video and / or a video having a 21: 9 aspect ratio according to an embodiment of the present invention (case 1-1).
  • FIG. 3 illustrates a method of controlling a depth of an entire video in a 3D video according to an embodiment of the present invention (case 1-2) and independently of a user's position in a multi-view video. Is a diagram illustrating a method of outputting a desired screen to the main device.
  • FIG. 4 is a diagram for a method of outputting a screen desired by a user to a main device independently of the position of the user in a multi-view video according to another embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a method of controlling an image to be output to a main device using an acceleration sensor and / or a gyro sensor mounted on a second device according to an embodiment of the present invention (case 2-1 and case 2-2).
  • FIG. 6 is a diagram illustrating an operation of an acceleration sensor mounted on a second device according to an embodiment of the present invention (case 2-1 and case 2-2).
  • FIG. 7 is a diagram illustrating a configuration of a receiver for receiving a broadcast signal according to an embodiment of the present invention.
  • FIG. 8 illustrates a method of controlling a sound of each object of object based audio according to an embodiment of the present invention (case 3-1).
  • FIG. 9 illustrates a method of controlling sound of each channel of channel based audio according to an embodiment of the present invention (case 3-2).
  • FIG. 10 is a diagram illustrating a method of providing information on an optimal location for watching a broadcast service according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a configuration of a broadcast data processing apparatus according to another embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a broadcast data processing method according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a broadcast data processing method according to another embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a configuration of a broadcast data processing apparatus according to another embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a configuration of a broadcast data processing apparatus according to an embodiment of the present invention.
  • embodiments of the present invention are the main device for input video or audio, such as panorama (panorama), 3D (3D), audio, etc. ) And / or the output of the speaker can be arbitrarily controlled by the user using a second device.
  • a user when a panoramic video and / or a video having a 21: 9 aspect ratio are output to a display having a 16: 9 aspect ratio, a user directly selects an area to be output on the display. You can do that.
  • the user may use a user interface (UI) of the second device.
  • UI user interface
  • a case of outputting a panoramic video and / or a video having a 21: 9 aspect ratio to a display having a 16: 9 aspect ratio is described.
  • an embodiment of the present invention provides an aspect ratio of a display (screen). The same may be applied to the case of outputting a widget aspect ratio video having a wider aspect ratio to a display (screen) having a narrower aspect ratio than the video of the widget aspect ratio video.
  • FIG. 1 Another embodiment (case 1-2) of the present invention can enable the user to control the depth of the entire video in the 3D video, independent of the user's position in the multi-view video
  • the screen desired by the user can be output to the main device.
  • the user according to an embodiment of the present invention may use a user interface (UI) of the second device.
  • UI user interface
  • case 2-1 when a panorama video and / or a video having a 21: 9 aspect ratio are output to a display having a 16: 9 aspect ratio
  • the user can directly select an area to be displayed on the display.
  • a user according to an embodiment of the present invention uses an acceleration sensor and / or a gyro sensor mounted on the second device, and selects an area to be displayed on the display by adjusting the tilt or moving the position of the second device. Can be. Detailed description of the above-described acceleration sensor and gyro sensor will be described later.
  • an embodiment of the present invention provides an aspect ratio of a display (screen). The same may be applied to the case of outputting a widget aspect ratio video having a wider aspect ratio to a display (screen) having a narrower aspect ratio than the video of the widget aspect ratio video.
  • case 2-2 the user can control the depth of the entire video in the 3D video, and multi-view ) Independent of the user's position in the video, you can have the desired screen output to the main device.
  • a user according to an embodiment of the present invention uses an acceleration sensor and / or a gyro sensor mounted on the second device, and controls the depth of the 3D video by adjusting the tilt or moving the position of the second device.
  • a desired screen can be output to the main device.
  • FIG. 1 Another embodiment (case 3-1) of the present invention may enable a user to control the sound of each object of object based audio.
  • the user according to an embodiment of the present invention can use the remote control of the main device, the UI of the second device, the acceleration sensor and / or gyro sensor can be used.
  • FIG. 3-2 Another embodiment (case 3-2) of the present invention may enable the user to control the sound of each channel of the channel based audio (channel based audio).
  • the user according to an embodiment of the present invention can use the remote control of the main device, the UI of the second device, the acceleration sensor and / or gyro sensor can be used.
  • the broadcast data processing apparatus L1010 may include a receiver L1020, a decoder L1030, an interface unit L1040, a display unit L1050, and / or an audio reproduction unit L1060. have.
  • the receiver may receive video data and audio data.
  • the decoder may decode the received video data and audio data.
  • the interface unit may transmit characteristic information of the video data and audio data to an external device and receive control information for controlling display of the decoded video data and reproduction of audio data from the external device.
  • the display unit may display the decoded video data based on the received control information.
  • the audio reproducing unit may reproduce the decoded audio data based on the received control information.
  • the external device may represent the second device
  • the broadcast data processing apparatus L1010 may represent the main device.
  • the characteristic information may include resolution information and aspect ratio information of the received video data
  • the control information includes sensor value information detected by a sensor mounted on the external device.
  • the display unit may display a partial region of video data indicated by the sensor value information.
  • the sensor value information may indicate a coordinate change value. Detailed description thereof will be described later with reference to FIG. 2.
  • the characteristic information may include depth information of the received video data
  • the control information is included in the external device.
  • the broadcast data processing apparatus L1010 may include a depth processor configured to adjust the depth of the decoded video data based on the sensor value information.
  • the display unit may display video data having the adjusted depth.
  • the depth processor may have the same function as the depth control processor described later. Detailed description thereof will be described later with reference to FIGS. 3 and 7.
  • the characteristic information may include screen configuration information of the multi-view video data, and the control information. May include sensor value information detected by a sensor mounted on the external device, and the broadcast data processing device L1010 may adjust a screen adjustment unit of the screen configuration of the decoded video data based on the sensor value information.
  • the display unit may display multi-view video data having the adjusted screen configuration.
  • the screen controller may perform the same function as the multi-view image selection processor to be described later.
  • the screen configuration information may indicate the configuration of the images forming the multi view. Detailed description thereof will be described later with reference to FIGS. 3, 4, and 7.
  • the characteristic information may include information about objects constituting the received audio data
  • the control information May include sensor value information detected by a sensor mounted on the external device
  • the audio reproducing unit may reproduce audio data having sound for each object adjusted according to the sensor value information. A detailed description thereof will be described later with reference to FIG. 8.
  • the characteristic information may include information about channels constituting the received audio data
  • the control information May include sensor value information detected by a sensor mounted on the external device
  • the audio reproducing unit may reproduce audio data having a sound for each channel adjusted according to the sensor value information. Detailed description thereof will be described later with reference to FIG. 9.
  • FIG. 2 illustrates a user directly selecting an area to be output on a display having a 16: 9 aspect ratio in a panorama video and / or a video having a 21: 9 aspect ratio according to an embodiment of the present invention (case 1-1).
  • the main device L2010 and the second device L2020 may be connected, an application may be executed, and the output of the video may be controlled using the second device.
  • the main device L2010 may transmit resolution information and / or aspect ratio information of an image (video) received from a transmitter to the second device L2020.
  • a coordinate value of an image output to the main device as a default among all images may be transmitted to the second device.
  • the second device L2020 may transmit the on / off command of the sensor and / or the coordinate change value of the image to be output to the main device to the main device.
  • the above-described coordinate change value may indicate a coordinate value input by the user.
  • a box marked as 1 may indicate a portion to be output to the main device set to an initial value (default) before the user's control in the entire image received from the transmitter.
  • the box labeled 2 may represent an intermediate portion for allowing the initial output portion and the new output portion to be linearly connected when the user drags to the new output portion.
  • the box labeled 3 (box 3) is a new output part selected by the user and may represent a final image output by the main device after the user selects the box.
  • L2030 may represent a panorama image and / or an image having a 21: 9 aspect ratio that the main device should decode.
  • the box 3 part included in the image indicated by L2030 should be decoded and output by the main device.
  • an embodiment of the present invention is a display having a 16: 9 aspect ratio in a panoramic video and / or a video having a 21: 9 aspect ratio. You can let the user select the area to be printed on).
  • the user may use a user interface (UI) of the second device.
  • UI user interface
  • the ratio of the box may be adjusted without fixing the box of the second device displaying the portion to be output from the main device through the UI.
  • the user can freely adjust the aspect ratio of the image to be output to the main device using the second device.
  • the image to be output to the main device is determined by adjusting the number of pixels included in the box of the second device rather than scaling due to the aspect ratio adjustment, thereby reducing the distortion of the image. have.
  • an embodiment of the present invention connects a main device and a second device, and executes an application that can control an output image from the second device.
  • a user may select a video rendering control menu for controlling an output image using the UI in the above-described application.
  • the second device may receive resolution and / or aspect ratio information of the entire image received from the transmitter by the main device from the main device. Subsequently, the second device may display an area of the original image based on information such as a resolution and an aspect ratio of the original image (full image) through the UI.
  • the entire image received by the main device may be decoded and displayed on the second device.
  • the second device may receive a low resolution image obtained by down sampling the entire image from the main device and display it on the screen of the second device.
  • the second device may display the entire image of the base layer. Can be displayed on the screen, and the image obtained by subsampling the entire image of the base layer can be displayed on the screen of the second device.
  • the second device may represent an area output from the main device in the form of a box.
  • the size of the box can be adjusted as desired by the user, and if the size of the box is arbitrarily adjusted by the user and the aspect ratio of the adjusted box is different from the aspect ratio of the main device, the main device After scaling the cropped image or inserting an active format description (AFD) and / or bar data into the cropped image, the final image may be displayed on the screen of the main device.
  • the user may control the area to be output from the main device using the second device by dragging and / or clicking the box.
  • L2020 Looking at L2040, L2050, and L2060 of this figure, the image may be linearly output in the direction of the arrow.
  • the user according to an embodiment of the present invention can adjust the portion to be output by dragging the box using the second device, and output the desired region by selecting the region closest to the desired portion among the pre-divided regions. have.
  • the UI according to an embodiment of the present invention may divide the entire image so that the user can select the divided image.
  • the selection area when the user selects an area for output, the selection area may be maintained as it is.
  • the main device may output only the image of the area selected by the user in the second device even if the entire image is decoded.
  • FIG. 3 illustrates a method of controlling a depth of an entire video in a 3D video according to an embodiment of the present invention (case 1-2) and independently of a user's position in a multi-view video. Is a diagram illustrating a method of outputting a desired screen to the main device.
  • an embodiment of the present invention can reflect the user's taste by allowing the user to control the depth of the entire 3D video.
  • the user may freely select a depth for reducing fatigue and a depth for giving a strong 3D effect to reflect taste in an image.
  • a user according to an embodiment of the present disclosure may adjust the sound / positive direction of the depth, etc. using the second device L3010.
  • an embodiment of the present invention may allow a user to select a viewing environment or to select an image to be rendered without a change in the viewing position of the user.
  • the user according to an embodiment of the present invention can adjust the front / rear, left / right and / or up / down direction of the image output through the UI of the second device. For example, when the user selects the second menu in the UI shown in the drawing, the left image and the right image based on the second viewing position may be output to the main device.
  • one embodiment of the present invention allows the user to control the depth of the entire image, the user selects the user's own viewing environment It may be possible to output an image of the selected viewing environment. At this time, the user according to an embodiment of the present invention can directly use the second device.
  • an embodiment of the present invention connects a main device and a second device, and executes an application that can control an output image from the second device.
  • a user according to an embodiment of the present invention may select a video rendering control menu for controlling an output image using the UI in the above-described application.
  • the second device according to an embodiment of the present invention may receive the depth information of the entire image and / or the screen configuration information of the multi-view received from the transmitter by the main device from the main device.
  • the second device according to an embodiment of the present invention may display information for depth control and / or view selection on the UI.
  • the 3D effect of the image may be adjusted.
  • the second device may be output from the main device even if the viewer does not see the video at the location where the viewer is actually watching, based on the input for the video desired by the user. That is, the user may select an image of a desired view from among the images of various views through the UI of the second device and watch the image at the current viewing position.
  • another embodiment of the present invention may allow the user to watch the image corresponding to the current viewing position through the main device and at the same time the user can watch the image of another viewpoint to be viewed through the second device.
  • an existing set image may be output at a viewing position other than the viewing position currently being viewed by the user.
  • the user may directly set images for various viewing positions, and output a newly set image at each viewing position. That is, according to an embodiment of the present invention, several users can simultaneously view a desired image at their viewing position.
  • an image of an area, a depth, and / or a selected viewing position of an image to be output from the main device until the user determines the content of the image to be output from the main device using the second device and changes the content. Etc. can be maintained as it is.
  • FIG. 4 is a diagram for a method of outputting a screen desired by a user to a main device independently of the position of the user in a multi-view video according to another embodiment of the present invention.
  • an embodiment of the present invention provides a user with an image of a viewing position indicated by 1, an image of a viewing position indicated by 2, and / or an image of a viewing position indicated by 3. You can make changes and / or choices regardless of your actual location.
  • a user according to an embodiment of the present invention may change and / or select an image while moving linearly for each viewing position. In this case, the user may select images for all positions on the arrow line as well as viewing positions 1, 2, and 3 shown in the drawing.
  • the two viewing positions may be linearly connected from the image for the viewing position indicated by 1 to the image for the viewing position indicated by 3.
  • Intermediate images of the image for may be output from the main device.
  • an embodiment of the present invention may generate a virtual view image corresponding to the above-described intermediate image from the multiview image and output the generated virtual view on the main device.
  • an embodiment of the present invention may model and / or number an image for a viewing position so that a user can select it. Even if the user actually sits at the viewing position 1 (leftmost) according to an embodiment of the present invention, if the user selects the viewing position 2 through the UI, an image of the viewing position 2 may be output to the main device. have.
  • the UI shown in this drawing may further include a menu for changing the position of the left image and the right image constituting the 3D image and / or a menu for changing from 2D image to 3D image. Can be.
  • FIG. 5 is a diagram illustrating a method of controlling an image to be output to a main device using an acceleration sensor and / or a gyro sensor mounted on a second device according to an embodiment of the present invention (case 2-1 and case 2-2).
  • One embodiment (case 2-1, case 2-2) of the present invention may use a gravity sensor, acceleration sensor and / or gyro sensor to determine the movement of the second device.
  • the gravity sensor L5010 may recognize whether the second device is horizontal or vertical, and by using this, an embodiment of the present invention may correct the output screen.
  • Accelerometer sensor (L5020) according to an embodiment of the present invention can detect the change in the speed, impact, force strength, etc. of moving the second device, by using one embodiment of the present invention to display the output screen You can correct it.
  • the acceleration sensor according to an embodiment of the present invention may measure the magnitude by dividing the gravitational acceleration acting on the sensor into three vectors in the X, Y, and Z axis directions. At this time, the X axis represents the horizontal axis of the device screen, the Y axis represents the vertical axis of the device screen, and the Z axis represents the upper side of the device screen.
  • the output value of the acceleration sensor represents a vector form with three elements, such as ⁇ a_x, a_y, a_z>.
  • Gyro sensor (L5030) according to an embodiment of the present invention can detect the inclination of the second device by detecting the rotation state of the second device with three axes.
  • the gyro sensor can recognize a total of six axes by adding three axes that detect a rotation state.
  • the gyro sensor can recognize a more precise motion than the conventional acceleration sensor.
  • the gyro sensor can calculate the angular velocity indicating the amount of rotation per unit time based on one axis.
  • the calculated angular velocity can measure an integration angle (tilt, moving angle, etc.).
  • the gyro sensor When rotation of the gyro sensor occurs, the angular velocities of the X, Y, and Z axes are changed, and the gyro sensor may measure the change amount of the angular velocity described above. Therefore, the output value of the gyro sensor represents a moving angle which is an integral value of the angular velocity.
  • the acceleration sensor simply detects acceleration / deceleration in three axes, but the gyro sensor can directly detect height, rotation, and tilt.
  • An embodiment of the present invention may use a motion recognition sensor in addition to the above-described sensor.
  • the motion recognition sensor is a sensor that recognizes an object's movement or position, and is a complex sensor in which various sensors such as a geo-magnetic sensor and an acceleration sensor, and an altimeter and a gyro are included in a single chip.
  • FIG. 6 is a diagram illustrating an operation of an acceleration sensor mounted on a second device according to an embodiment of the present invention (case 2-1 and case 2-2).
  • This figure illustrates a case where the main device receives the panorama and / or 21: 9 aspect ratio image, and controls the output of the image using the acceleration sensor of the second device.
  • This figure shows the acceleration sensor values and the operation of the device when movement occurs in each axial direction.
  • an embodiment of the present invention may control the output image for the user's request by defining a device operation with respect to the acceleration sensor value in advance.
  • the operation of the device with respect to the inclination of the second device based on the angular velocity value for each axis may be predefined.
  • the acceleration sensor and / or gyro sensor mounted on the second device as shown in the table of this figure are used. Based on the movement value extracted based on the operation of the device can be defined in advance.
  • an embodiment of the present invention provides a main image in the entire image received based on motion and / or tilt information acquired using an acceleration sensor and / or a gyro sensor mounted in the second device.
  • the coordinate values of the area to be output to the device can be calculated or mapped.
  • an embodiment of the present invention may crop and / or scale an area to be output to the main device based on the calculated coordinate value and output the same to the main device.
  • an embodiment of the present invention controls or receives a depth based on motion and / or tilt information acquired using an acceleration sensor and / or a gyro sensor mounted on the second device. You can select the image you want to watch in the multi-view image. For example, an embodiment of the present invention interprets that the user wants to go to the right side of the screen of the main device when the user moves the smartphone to the right, and in this case, the screen captured from the left side of the current position is displayed on the main device. Can be printed as When the user moves the smartphone toward the screen of the main device, the user may interpret that the user wants to reduce the depth of the entire image. In this case, the depth of the entire image may be reduced.
  • the acceleration sensor mounted on the second device when the user moves or tilts the second device before / after, left / right and / or up / down. And / or the movement and / or tilt of the second device is determined by the gyro sensor, and an embodiment of the present invention provides a panorama and / or 21 received by the main device based on the identified movement and / or tilt of the second device. You can select the actual output area of the image with 9 aspect ratios.
  • an embodiment of the present invention can connect the main device and the second device, and can control the output image in the second device You can run the application.
  • a user according to an embodiment of the present invention may select a menu for controlling an output image by using an acceleration sensor in the above-described application.
  • an operation of the main device according to the movement and / or tilt of the acceleration sensor and / or the gyro sensor may be defined as an initial value. At this time, the operation of the main device according to the movement of the above-described sensor can be set separately by the user.
  • the set information on the operation of the main device according to the movement of the sensor may be displayed on the screen of the device in a help format.
  • the second device according to an embodiment of the present invention is to determine the characteristics of the image to be decoded by the main device, and to crop, scale, depth control and / or the image according to the movement and / or tilt information of the acceleration sensor and / or gyro sensor Alternatively, a view selection operation may be performed, and information on the performed operation may be transmitted to the main device.
  • the feature of the image decoded by the main device grasped by the second device may be information about whether the image is a panorama, a 21: 9 aspect ratio image, a 2D image, a 3D image, and / or a multiview image.
  • the above-described operation of the cropping may be performed according to the operation of the main device according to the movement and / or tilting of the acceleration sensor and / or the gyro sensor, which are set to initial values or preset by the user.
  • the main device according to an embodiment of the present invention may output the corresponding area according to a user's request received from the second device. In this case, when the user determines a desired output area, depth, output image, etc. using the second device, and turns off the operation of the sensor, the determined output area, depth, output image, etc. may be maintained as it is.
  • FIG. 7 is a diagram illustrating a configuration of a receiver for receiving a broadcast signal according to an embodiment of the present invention.
  • the receiver L7010 for receiving a 2D broadcast signal includes a system decoder, a demultiplexer, a demux, a component extractor, and a signaling / announcement. It may include a signaling / announcement processor and / or a video decoder.
  • the system decoder and the demultiplexer may demultiplex the multiplexed broadcast signal transmitted from the transmitter and extract a data packet included in the broadcast signal.
  • the component extractor may extract a component from the received broadcast signal.
  • the component may include a video component, an audio component, and the like.
  • the signaling / announcement processor is configured to play the same role as the existing PSI / SI / PSIP processor and may process signaling information.
  • the video decoder may decode the video.
  • the reception device L7010 receiving a 2D broadcast signal may receive a value input by a user, an acceleration sensor value, and / or a gyro sensor value from a second device.
  • the user input value, the acceleration sensor value, and / or the gyro sensor value may indicate a change in the coordinate value of the output area to be output from the main device, aspect ratio information of the entire image, and / or aspect ratio information of the main device. Can be.
  • the reception device L7010 may crop the original image received from the transmitter by using the above-described values received from the second device.
  • the receiving device L7010 outputs the cropped image to the main device, and if not, inserts an AFD bar or an app execution space in the remaining portion of the screen. can do.
  • the receiver L7020 for receiving a 3D broadcast signal includes a system decoder, a demultiplexer, a demux, a component extractor, and a signaling / announcement.
  • Processor signaling / announcement processor
  • video decoder video decoder
  • post-processor for reordering of multi-view position
  • post-processor for depth control
  • the system decoder, demultiplexer, demux, component extractor, signaling / announcement processor, and / or video decoder are described above in 2D. It may play the same role as the configuration of the same name constituting the reception device (L7010) for receiving a broadcast signal.
  • the receiver L7020 that receives the 3D broadcast signal may include one or more video decoders.
  • the reception device L7020 for receiving a 3D broadcast signal may receive a value input by a user, an acceleration sensor value, and / or a gyro sensor value from a second device.
  • the value input by the user, the acceleration sensor value, and / or the gyro sensor value may indicate a depth value of the entire image received by the main device, information about an image that the user wants to watch in the received multi-view image, and the like.
  • the post-processor for reordering of multi-view position may set a corresponding image by using information about an image that the user wants to watch in the multi-view image received from the second device.
  • the depth control processor may set the corresponding depth by using the depth value of the entire image received from the second device.
  • the stereo formatter may format for rendering each image.
  • the multi-view controller may combine images of one or more viewpoints.
  • a reception device L7010 for receiving a 2D broadcast signal and / or a reception device L7020 for receiving a 3D broadcast signal according to an embodiment of the present invention may correspond to a main device.
  • FIG. 8 illustrates a method of controlling a sound of each object of object based audio according to an embodiment of the present invention (case 3-1).
  • an embodiment of the present invention executes an object sound control menu (L8010), and outlines the entire object sound serviced to the user. Can show to To this end, an embodiment of the present invention may add a button for controlling sound on a per-object basis to the remote controller L8020 in the drawing, and may add a UI such as the above-described object sound control menu to the device. have. At this time, the existing button and / or UI for the overall volume control can be maintained as it is.
  • an embodiment of the present invention may generate a UI in the screen of the main device and control the sound in units of objects by controlling the UI in the screen using the magic remote control.
  • another embodiment of the present invention may control the sound in units of objects using a second device. In this case, an acceleration sensor and / or a gyro sensor mounted on the UI of the second device and / or the second device may be used.
  • Object 1 may represent a voice of a sports relay announcer
  • Object 2 may represent a voice of a stadium player
  • Object 3 may represent a spectator sound.
  • you do not want the sound of the crowd one embodiment of the present invention can mute the sound of the object 3.
  • Object 1 may be an accompaniment (MR), and Objects 2 and 3 may represent voices of respective singers.
  • MR accompaniment
  • Objects 2 and 3 may represent voices of respective singers.
  • one embodiment of the present invention can increase the sound of Object 1, reduce or maintain the sound of other objects.
  • FIG. 9 illustrates a method of controlling sound of each channel of channel based audio according to an embodiment of the present invention (case 3-2).
  • an embodiment of the present invention may show a schematic diagram of channel-based audio provided by a transmitter using a UI to a user as shown in the upper drawing L9010. For example, it can indicate the difference between the user's audio system and the audio system recommended by the transmitter.
  • an embodiment of the present invention may display a schematic diagram of an audio system on a main device and / or a second device.
  • the main device and / or the second device may be provided by the user's audio system according to the user's audio system which receives a signal directly from the user's speaker (e.g. via Bluetooth) or has been input by the user in advance.
  • the user may map each audio according to his or her audio system. For example, when a user having a 5.1 channel audio system is provided with a 22.2 channel audio broadcasting program, the user may map 22.2 channels to 5.1 channels as shown in the lower figure L9020. That is, in the drawing L9020, a speaker included in a box indicated by a dotted line among all 22.2 channel audios may be mapped to the user's audio.
  • An embodiment of the present invention may transmit information about an audio system provided by a broadcasting station to a receiver.
  • an embodiment of the present invention can collect the arrangement of the speaker in the audio system that the user has, and can transmit the collected information to the device.
  • an embodiment of the present invention executes a channel sound control menu and outlines an entire serviced channel to show the user.
  • an embodiment of the present invention may add a button for controlling sound in units of channels to the remote controller, and may add a UI such as the channel sound control menu described above to the device.
  • the existing button and / or UI for the overall volume control can be maintained as it is.
  • an embodiment of the present invention may generate a UI in the screen of the main device and control the sound in units of channels by controlling the UI in the screen using the magic remote controller.
  • another embodiment of the present invention may control the sound in units of channels using the second device. In this case, an acceleration sensor and / or a gyro sensor mounted on the UI of the second device and / or the second device may be used.
  • FIG. 10 is a diagram illustrating a method of providing information on an optimal location for watching a broadcast service according to an embodiment of the present invention.
  • a device may photograph an actual space where a screen is installed by using a camera.
  • an optimal viewing position may be displayed to output a screen shot on the screen and to view a corresponding broadcast service.
  • One embodiment of the present invention can display the actual space in which the screen is installed on the screen in the form of three-dimensional graphics.
  • the optimal viewing position intended by the producer may be displayed, and the recommended viewing position may be displayed to the user.
  • the information about the optimal viewing position and / or the recommended viewing position may be delivered to the device in the form of three-dimensional spatial coordinate information through signaling.
  • FIG. 11 is a diagram illustrating a configuration of a broadcast data processing apparatus according to another embodiment of the present invention.
  • the broadcast data processing apparatus L11010 may include a receiver L11020, a sensor unit L11030, and / or a transmitter L11040.
  • the receiver may receive characteristic information of video data and audio data received by the external device from the external device.
  • the sensor unit may sense control information for controlling display of the received video data and reproduction of audio data.
  • the transmitter may transmit the sensed control information to the external device.
  • the external device may represent the main device and the broadcast data processing apparatus L11010 may represent the second device.
  • the characteristic information may include resolution information and aspect ratio information of video data received by the external device
  • the control information may include sensor value information detected by the sensor unit.
  • the characteristic information when the video data received by the external device is 3D video data, the characteristic information may include depth information of the video data received by the external device.
  • the control information may include sensor value information detected by the sensor unit. Detailed description thereof has been given above with reference to FIGS. 3 and 7.
  • the characteristic information when the video data received by the external device is multi-view video data, the characteristic information may include screen configuration information of the multi-view video data.
  • the control information may include sensor value information detected by the sensor unit. Detailed description thereof has been given above with reference to FIGS. 3, 4, and 7.
  • the characteristic information may include information about objects constituting the audio data received by the external device.
  • the control information may include sensor value information detected by the sensor unit. Detailed description thereof has been given above with reference to FIG. 8.
  • the characteristic information when the audio data received by the external device is channel-based audio data, the characteristic information may include information about channels constituting the audio data received by the external device.
  • the control information may include sensor value information detected by the sensor unit. Detailed description thereof has been given above with reference to FIG. 9.
  • FIG. 12 is a diagram illustrating a broadcast data processing method according to an embodiment of the present invention.
  • the broadcast data processing method comprises the steps of receiving video data and audio data (SL12010), decoding the received video data and audio data (SL12020), and transmitting the video data and audio to an external device.
  • the external device may represent the second device.
  • Each step of the broadcast data processing method according to an embodiment of the present invention may be performed by corresponding components of the above-described broadcast data processing apparatus L1010.
  • FIG. 13 is a diagram illustrating a broadcast data processing method according to another embodiment of the present invention.
  • the broadcast data processing method receiving the characteristic information of the video data and the audio data received by the external device from the external device (SL13010), the display of the received video data and the reproduction of the audio data
  • the method may include detecting control information for controlling the operation (SL13020) and transmitting the detected control information to the external device (SL13030).
  • the external device may represent the main device.
  • Each step of the broadcast data processing method according to an embodiment of the present invention may be performed by corresponding components of the broadcast data processing apparatus L11010 described above.
  • FIG. 14 is a diagram illustrating a configuration of a broadcast data processing apparatus according to another embodiment of the present invention.
  • the broadcast data processing apparatus L14010 may include a receiver L14020, a decoder L14030, a photographing unit L14040, a display unit L14050, and / or an audio reproduction unit L14060. have. Detailed description thereof has been given above with reference to FIG. 10.
  • the receiver may receive signaling information representing video data, audio data, and three-dimensional coordinate values of the recommended viewing position.
  • the decoder may decode the received video data and audio data.
  • the photographing unit may photograph a space where the broadcast data processing apparatus is installed.
  • the photographing unit may represent a camera.
  • the display unit may display the photographed screen and the decoded video data.
  • the display unit may display a viewing position recommended on the photographed screen based on the signaling information.
  • the audio reproducing unit may reproduce the decoded audio data.
  • a module, unit, or block according to embodiments of the present invention may be a processor / hardware that executes successive procedures stored in a memory (or storage unit). Each step or method described in the above embodiments may be performed by hardware / processors.
  • the methods proposed by the present invention can be executed as code. This code can be written to a processor readable storage medium and thus read by a processor provided by an apparatus according to embodiments of the present invention.
  • Apparatus and method according to the present invention is not limited to the configuration and method of the embodiments described as described above, the above-described embodiments may be selectively all or part of each embodiment so that various modifications can be made It may be configured in combination.
  • the image processing method of the present invention can be implemented as a processor-readable code on a processor-readable recording medium provided in the network device.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. .
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
  • the present invention can be used throughout the broadcasting industry.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 외부 장치를 이용한 방송 데이터 처리 방법 및/또는 장치의 제공에 관한 것이다. 본 발명의 일 실시예에 따른 방송 데이터 처리 장치는 비디오 데이터 및 오디오 데이터를 수신하는 수신부, 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 디코더, 외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신하는 인터페이스부, 상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이하는 디스플레이부 및 상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생하는 오디오 재생부를 포함한다.

Description

외부 장치를 이용한 방송 데이터 처리 방법 및 장치
본 발명은 방송 데이터의 처리에 관한 것이다. 보다 상세하게는, 외부 장치를 이용한 방송 데이터 처리 방법 및 장치에 관한 것이다.
최근 스마트폰 또는 테블릿이 보급화 되면서 세컨드 디바이스의 수요가 증가하고 있다. 방송 신호를 수신하여 재생하는 디지털 TV를 메인 디바이스라고 한다면 사용자가 가지고 있는 그 외의 스마트폰 또는 테블릿이 세컨드 디바이스에 해당한다.
한편, 자이로 센서란 지구의 회전과 관계없이 높은 정확도로 항상 처음에 설정한 일정 방향을 유지하는 성질을 이용하여 물체의 방위 변화를 측정하는 센서이다. 또한, 가속도 센서란 출력신호를 처리하여 물체의 가속도, 진동, 충격 등의 동적 힘을 측정하는 센서이다. 최근 세컨드 디바이스는 자이로 센서와 같은 움직임 감지 센서를 탑재하여 이를 이용한 부가 기능을 수행한다.
한편, Windows와 같은 아이콘과 마우스를 통한 작업이 가능한 컴퓨터 인터페이스를 '그래픽 유저 인터페이스(graphic user interface, GUI)'라고 하며 텍스트 입력으로 사용하는 인터페이스를 '케렉터 유저 인터페이스(Character User Interface, CUI)'라고 한다. 최근 이러한 유저 인터페이스를 이용하여 사용자로부터 다양한 입력을 받고 이를 출력하는 기술이 발전하고 있다.
이에 따라, 여러 가지 방면에서, 자이로 센서와 같은 센서가 탑재된 세컨드 디바이스의 유저 인터페이스를 이용하여 메인 디바이스를 제어하는 기술에 대한 필요가 증가하고 있다.
본 발명의 목적은, 세컨드 디바이스를 이용하여 메인 디바이스를 제어하는 방법을 제공하는 것이다.
본 발명의 다른 목적은, 세컨드 디바이스에 탑재된 센서를 이용하여 메인 디바이스를 제어하는 방법을 제공하는 것이다.
본 발명의 다른 목적은, 세컨드 디바이스를 이용하여 메인 디바이스에 디스플레이될 출력 영상을 결정하는 방법을 제공하는 것이다.
본 발명의 다른 목적은, 세컨드 디바이스를 이용해 메인 디바이스에 디스플레이될 영상의 뎁스를 조정하는 방법을 제공하는 것이다.
본 발명의 다른 목적은, 세컨드 디바이스를 이용해 메인 디바이스에 디스플레이될 영상의 화면 구성을 조정하는 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 방송 데이터 처리 장치는 비디오 데이터 및 오디오 데이터를 수신하는 수신부, 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 디코더, 외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신하는 인터페이스부, 상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이하는 디스플레이부 및 상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생하는 오디오 재생부를 포함한다.
바람직하게는, 상기 특성 정보는 상기 수신한 비디오 데이터의 해상도 정보 및 화면비 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 디스플레이부는 상기 센서값 정보가 나타내는 비디오 데이터의 일부 영역을 디스플레이한다.
바람직하게는, 상기 수신한 비디오 데이터가 3D 비디오 데이터인 경우, 상기 특성 정보는 상기 수신한 비디오 데이터의 뎁스 (depth) 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 방송 데이터 처리 장치는 상기 센서값 정보를 기반으로 상기 디코딩된 비디오 데이터의 뎁스를 조정하는 뎁스 처리부를 포함하고, 상기 디스플레이부는 상기 조정된 뎁스를 갖는 비디오 데이터를 디스플레이한다.
바람직하게는, 상기 수신한 비디오 데이터가 멀티뷰 (multi-view) 비디오 데이터인 경우, 상기 특성 정보는 상기 멀티뷰 비디오 데이터의 화면 구성 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 방송 데이터 처리 장치는 상기 센서값 정보를 기반으로 상기 디코딩된 비디오 데이터의 화면 구성을 조정하는 화면 조정부를 포함하고, 상기 디스플레이부는 상기 조정된 화면 구성을 갖는 멀티뷰 비디오 데이터를 디스플레이한다.
바람직하게는, 상기 수신한 오디오 데이터가 오브젝트 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 수신한 오디오 데이터를 구성하는 오브젝트들에 대한 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 오디오 재생부는 상기 센서값 정보에 따라 조정된 오브젝트 별 사운드를 갖는 오디오 데이터를 재생한다.
바람직하게는, 상기 수신한 오디오 데이터가 채널 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 수신한 오디오 데이터를 구성하는 채널들에 대한 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 오디오 재생부는 상기 센서값 정보에 따라 조정된 채널 별 사운드를 갖는 오디오 데이터를 재생한다.
본 발명의 다른 일 실시예에 따른 방송 데이터 처리 장치는 외부 장치로부터 상기 외부 장치가 수신한 비디오 데이터 및 오디오 데이터의 특성 정보를 수신하는 수신부, 상기 수신한 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 감지하는 센서부 및 상기 감지된 제어 정보를 상기 외부 장치로 전송하는 전송부를 포함한다.
바람직하게는, 상기 특성 정보는 상기 외부 장치가 수신한 비디오 데이터의 해상도 정보 및 화면비 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지하는 센서값 정보를 포함한다.
바람직하게는, 상기 외부 장치가 수신한 비디오 데이터가 3D 비디오 데이터인 경우, 상기 특성 정보는 상기 외부 장치가 수신한 비디오 데이터의 뎁스 (depth) 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지하는 센서값 정보를 포함한다.
바람직하게는, 상기 외부 장치가 수신한 비디오 데이터가 멀티뷰 (multi-view) 비디오 데이터인 경우, 상기 특성 정보는 상기 멀티뷰 비디오 데이터의 화면 구성 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함한다.
바람직하게는, 상기 외부 장치가 수신한 오디오 데이터가 오브젝트 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 외부 장치가 수신한 오디오 데이터를 구성하는 오브젝트들에 대한 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함한다.
바람직하게는, 상기 외부 장치가 수신한 오디오 데이터가 채널 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 외부 장치가 수신한 오디오 데이터를 구성하는 채널들에 대한 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함한다.
본 발명의 다른 일 실시예에 따른 방송 데이터 처리 방법은 비디오 데이터 및 오디오 데이터를 수신하는 단계, 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 단계, 외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신하는 단계, 상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이하는 단계 및 상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생하는 단계를 포함한다.
본 발명의 다른 일 실시예에 따른 방송 데이터 처리 방법은 외부 장치로부터 상기 외부 장치가 수신한 비디오 데이터 및 오디오 데이터의 특성 정보를 수신하는 단계, 상기 수신한 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 감지하는 단계 및 상기 감지된 제어 정보를 상기 외부 장치로 전송하는 단계를 포함한다.
본 발명의 다른 일 실시예에 따른 방송 데이터 처리 장치는 비디오 데이터, 오디오 데이터 및 권장되는 시청 위치의 3차원 좌표값을 나타내는 시그널링 정보를 수신하는 수신부, 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 디코더, 방송 데이터 처리 장치가 설치되어 있는 공간을 촬영하는 촬영부, 상기 촬영된 화면 및 상기 디코딩된 비디오 데이터를 디스플레이하는 디스플레이부, 여기서, 상기 디스플레이부는 상기 시그널링 정보를 기반으로 상기 촬영된 화면에 권장되는 시청 위치를 표시하고, 상기 디코딩된 오디오 데이터를 재생하는 오디오 재생부를 포함한다.
본 발명의 실시예에 따르면, 세컨드 디바이스를 이용하여 메인 디바이스를 제어할 수 있다.
본 발명의 다른 실시예에 따르면, 세컨드 디바이스에 탑재된 센서를 이용하여 메인 디바이스를 제어할 수 있다.
본 발명의 다른 실시예에 따르면, 세컨드 디바이스를 이용하여 메인 디바이스에 디스플레이될 출력 영상을 결정할 수 있다.
본 발명의 다른 실시예에 따르면, 세컨드 디바이스를 이용해 메인 디바이스에 디스플레이될 영상의 뎁스를 조정할 수 있다.
본 발명의 다른 실시예에 따르면, 세컨드 디바이스를 이용해 메인 디바이스에 디스플레이될 영상의 화면 구성을 조정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 방송 데이터 처리 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예 (case 1-1)에 따라 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오에서 16:9 화면비를 갖는 디스플레이 (display)에 출력될 영역을 사용자가 직접 선택하는 방법을 나타낸 도면이다.
도 3은 본 발명의 일 실시예 (case 1-2)에 따라 3D 비디오에서 전체 비디오의 뎁스 (depth)를 사용자가 제어하는 방법 및 멀티뷰 (multi-view) 비디오에서 사용자의 위치와 독립적으로 사용자가 원하는 화면이 메인 디바이스에 출력되도록 하는 방법을 나타낸 도면이다.
도 4는 본 발명의 다른 일 실시예에 따라 멀티뷰 (multi-view) 비디오에서 사용자의 위치와 독립적으로 사용자가 원하는 화면이 메인 디바이스에 출력되도록 하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일 실시예 (case 2-1, case 2-2) 따라 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서 (gyro sensor)를 이용하여 메인 디바이스에 출력될 영상을 제어하는 방법에 사용되는 센서의 동작을 나타낸 도면이다.
도 6은 본 발명의 일 실시예 (case 2-1, case 2-2)에 따라 세컨드 디바이스에 탑재된 가속도 센서의 동작을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 방송 신호를 수신하는 수신 장치의 구성을 나타낸 도면이다.
도 8은 본 발명의 일 실시예 (case 3-1)에 따라 오브젝트 기반 오디오 (object based audio)의 각 오브젝트의 사운드 (sound)를 제어하는 방법을 나타낸 도면이다.
도 9는 본 발명의 일 실시예 (case 3-2)에 따라 채널 기반 오디오 (channel based audio)의 각 채널의 사운드를 제어하는 방법을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 방송 서비스를 시청하는데 최적의 위치에 대한 정보를 제공하는 방법을 나타낸 도면이다.
도 11은 본 발명의 다른 일 실시예에 따른 방송 데이터 처리 장치의 구성을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 방송 데이터 처리 방법을 나타낸 도면이다.
도 13은 본 발명의 다른 일 실시예에 따른 방송 데이터 처리 방법을 나타낸 도면이다.
도 14는 본 발명의 다른 일 실시예에 따른 방송 데이터 처리 장치의 구성을 나타낸 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일 실시예에 따른 방송 데이터 처리 장치의 구성을 나타낸 도면이다.
본 발명의 기본 컨셉에 대하여 설명하면, 본 발명의 실시예들은 파노라마 (panorama), 3D (3 dimensional), 오디오 (audio) 등의 인풋 비디오 또는 오디오 (input video or audio)에 대한 메인 디바이스 (main device) 및/또는 스피커 (speaker)의 출력을 사용자가 세컨드 디바이스 (second device)를 이용해 임의로 제어할 수 있도록 할 수 있다.
본 발명의 일 실시예 (case 1-1)는 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오를 16:9 화면비를 갖는 디스플레이 (display)에 출력하는 경우 디스플레이에 출력될 영역을 사용자가 직접 선택하도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스의 UI (user interface)를 이용할 수 있다. 본 명세서에서는 일 예로서, 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오를 16:9 화면비를 갖는 디스플레이에 출력하는 경우에 대하여 설명하고 있지만, 본 발명의 일 실시예는 디스플레이 (스크린)의 화면비보다 더 넓은 화면비를 갖는 비디오 (wider aspect ratio video)를 상기 비디오 (wider aspect ratio video)보다 더 좁은 화면비를 갖는 디스플레이 (스크린)에 출력하는 경우에 대해서도 적용될 수 있다.
본 발명의 다른 일 실시예 (case 1-2)는 3D 비디오에서 전체 비디오의 뎁스 (depth)를 사용자가 제어할 수 있도록 할 수 있고, 멀티뷰 (multi-view) 비디오에서 사용자의 위치와 독립적으로 사용자가 원하는 화면이 메인 디바이스에 출력되도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스의 UI (user interface)를 이용할 수 있다.
본 발명의 다른 일 실시예 (case 2-1)는 전술한 case 1-1와 같이, 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오를 16:9 화면비를 갖는 디스플레이 (display)에 출력하는 경우 디스플레이에 출력될 영역을 사용자가 직접 선택하도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서 (gyro sensor)를 이용하고, 세컨드 디바이스의 기울기를 조절하거나 위치를 움직여 디스플레이에 출력될 영역을 선택할 수 있다. 상술한 가속도 센서 및 자이로 센서에 대한 상세한 설명은 후술한다. 본 명세서에서는 일 예로서, 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오를 16:9 화면비를 갖는 디스플레이에 출력하는 경우에 대하여 설명하고 있지만, 본 발명의 일 실시예는 디스플레이 (스크린)의 화면비보다 더 넓은 화면비를 갖는 비디오 (wider aspect ratio video)를 상기 비디오 (wider aspect ratio video)보다 더 좁은 화면비를 갖는 디스플레이 (스크린)에 출력하는 경우에 대해서도 적용될 수 있다.
본 발명의 다른 일 실시예 (case 2-2)는 전술한 case 1-2와 같이, 3D 비디오에서 전체 비디오의 뎁스 (depth)를 사용자가 제어할 수 있도록 할 수 있고, 멀티뷰 (multi-view) 비디오에서 사용자의 위치와 독립적으로 사용자가 원하는 화면이 메인 디바이스에 출력되도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서 (gyro sensor)를 이용하고, 세컨드 디바이스의 기울기를 조절하거나 위치를 움직여 3D 비디오의 뎁스를 제어하고 멀티뷰 비디오에서 원하는 화면이 메인 디바이스에 출력될 수 있도록 할 수 있다.
본 발명의 다른 일 실시예 (case 3-1)는 오브젝트 기반 오디오 (object based audio)의 각 오브젝트의 사운드 (sound)를 사용자가 제어할 수 있도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 메인 디바이스의 리모콘을 이용할 수 있고, 세컨드 디바이스의 UI, 가속도 센서 및/또는 자이로 센서를 이용할 수 있다.
본 발명의 다른 일 실시예 (case 3-2)는 채널 기반 오디오 (channel based audio)의 각 채널의 사운드를 사용자가 제어할 수 있도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 메인 디바이스의 리모콘을 이용할 수 있고, 세컨드 디바이스의 UI, 가속도 센서 및/또는 자이로 센서를 이용할 수 있다.
본 발명의 일 실시예에 따른 방송 데이터 처리 장치 (L1010)는 수신부 (L1020), 디코더 (L1030), 인터페이스부 (L1040), 디스플레이부 (L1050) 및/또는 오디오 재생부 (L1060)를 포함할 수 있다. 수신부는 비디오 데이터 및 오디오 데이터를 수신할 수 있다. 디코더는 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩할 수 있다. 인터페이스부는 외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신할 수 있다. 디스플레이부는 상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이할 수 있다. 오디오 재생부는 상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생할 수 있다. 여기서, 외부 장치는 세컨드 디바이스를 나타낼 수 있고, 방송 데이터 처리 장치 (L1010)은 메인 디바이스를 나타낼 수 있다.
본 발명의 다른 일 실시예에 따르면, 상기 특성 정보는 상기 수신한 비디오 데이터의 해상도 정보 및 화면비 정보를 포함할 수 있고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함할 수 있고, 상기 디스플레이부는 상기 센서값 정보가 나타내는 비디오 데이터의 일부 영역을 디스플레이할 수 있다. 여기서, 센서값 정보는 좌표 변화값을 나타낼 수 있다. 이에 대한 상세한 설명은 도 2에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 수신한 비디오 데이터가 3D 비디오 데이터인 경우, 상기 특성 정보는 상기 수신한 비디오 데이터의 뎁스 (depth) 정보를 포함할 수 있고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함할 수 있고, 상기 방송 데이터 처리 장치 (L1010)는 상기 센서값 정보를 기반으로 상기 디코딩된 비디오 데이터의 뎁스를 조정하는 뎁스 처리부를 포함할 수 있고, 상기 디스플레이부는 상기 조정된 뎁스를 갖는 비디오 데이터를 디스플레이할 수 있다. 여기서, 뎁스 처리부는 후술할 뎁스 제어 프로세서와 동일한 기능을 할 수 있다. 이에 대한 상세한 설명은 도 3, 7에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 수신한 비디오 데이터가 멀티뷰 (multi-view) 비디오 데이터인 경우, 상기 특성 정보는 상기 멀티뷰 비디오 데이터의 화면 구성 정보를 포함할 수 있고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함할 수 있고, 상기 방송 데이터 처리 장치 (L1010)는 상기 센서값 정보를 기반으로 상기 디코딩된 비디오 데이터의 화면 구성을 조정하는 화면 조정부를 포함할 수 있고, 상기 디스플레이부는 상기 조정된 화면 구성을 갖는 멀티뷰 비디오 데이터를 디스플레이할 수 있다. 여기서, 화면 조정부는 후술할 멀티뷰 영상 선택 프로세서와 동일한 기능을 할 수 있다. 여기서, 화면 구성 정보는 멀티뷰를 이루는 영상들의 구성을 나타낼 수 있다. 이에 대한 상세한 설명은 도 3, 4, 7에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 수신한 오디오 데이터가 오브젝트 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 수신한 오디오 데이터를 구성하는 오브젝트들에 대한 정보를 포함할 수 있고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함할 수 있고, 상기 오디오 재생부는 상기 센서값 정보에 따라 조정된 오브젝트 별 사운드를 갖는 오디오 데이터를 재생할 수 있다. 이에 대한 상세한 설명은 도 8에서 후술한다.
본 발명의 다른 일 실시예에 따르면, 상기 수신한 오디오 데이터가 채널 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 수신한 오디오 데이터를 구성하는 채널들에 대한 정보를 포함할 수 있고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함할 수 있고, 상기 오디오 재생부는 상기 센서값 정보에 따라 조정된 채널 별 사운드를 갖는 오디오 데이터를 재생할 수 있다. 이에 대한 상세한 설명은 도 9에서 후술한다.
도 2는 본 발명의 일 실시예 (case 1-1)에 따라 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오에서 16:9 화면비를 갖는 디스플레이 (display)에 출력될 영역을 사용자가 직접 선택하는 방법을 나타낸 도면이다.
본 발명의 일 실시예는 메인 디바이스 (L2010)와 세컨드 디바이스 (L2020)를 연결하고, 어플리케이션 (App)을 실행하고, 세컨드 디바이스를 이용하여 비디오의 출력을 제어할 수 있다.
본 발명의 일 실시예에 따른 메인 디바이스 (L2010)는 송신단으로부터 수신한 영상 (비디오)의 해상도 (resolution) 정보 및/또는 화면비 (aspect ratio) 정보를 세컨드 디바이스 (L2020)로 전송할 수 있고, 수신한 전체 영상 중에서 디폴트 (default)로 메인 디바이스에 출력되는 영상의 좌표값을 세컨드 디바이스로 전송할 수 있다.
본 발명의 일 실시예에 따른 세컨드 디바이스 (L2020)는 센서의 온오프 (on/off) 명령 및/또는 메인 디바이스 출력될 영상의 좌표 변화값을 메인 디바이스로 전송할 수 있다. 이 때, 상술한 좌표 변화값은 사용자가 입력한 좌표값을 나타낼 수 있다.
이 도면에서, 1로 표시된 박스 (박스 1)는 송신단으로부터 수신한 전체 영상에서 사용자의 제어 전에 초기값 (디폴트)으로 설정된 메인 디바이스에 출력될 부분을 나타낼 수 있다. 2로 표시된 박스 (박스 2)는 사용자가 새로운 출력 부분으로 드래깅 (dragging)하는 경우, 초기 출력 부분과 새로운 출력 부분이 리니어 (linear)하게 연결될 수 있도록 하기 위한 중간 부분을 나타낼 수 있다. 3으로 표시된 박스 (박스 3)는 사용자가 선택한 새로운 출력 부분으로서 사용자 선택 후 메인 디바이스에 의해 출력되는 최종 영상을 나타낼 수 있다.
이 도면에서, L2030은 메인 디바이스가 디코딩해야 하는 파노라마 영상 및/또는 21:9 화면비를 갖는 영상을 나타낼 수 있다. 본 발명의 일 실시예에 따르면, L2030이 나타내는 영상에 포함된 박스 3 부분은 메인 디바이스에 의하여 디코딩되어야 하고, 출력되어야 하는 부분이다.
본 발명의 일 실시예 (case 1-1)의 컨셉에 대해 구체적으로 설명하면, 본 발명의 일 실시예는 파노라마 비디오 및/또는 21:9 화면비를 갖는 비디오에서 16:9 화면비를 갖는 디스플레이 (display)에 출력될 영역을 사용자가 직접 선택하도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스의 UI (user interface)를 이용할 수 있다. 이 때, 메인 디바이스의 화면비가 16:9라면 이보다 넓은 화면비를 갖는 영상을 수신하는 모든 경우에 본 발명의 일 실시예가 적용될 수 있다. 본 발명의 다른 일 실시예는 UI를 통해 메인 디바이스에서 출력될 부분을 표시한 세컨드 디바이스의 박스를 고정하지 않고, 박스의 비율을 조절 가능하게 할 수 있다. 즉, 본 발명의 일 실시예는 사용자가 세컨드 디바이스를 이용해 메인 디바이스에 출력될 영상의 화면비를 자유자제로 조절할 수 있다. 이로써, 메인 디바이스에 출력될 영상은 화면비 조절로 인해 스케일링 (scaling)되는 방식이 아닌, 세컨드 디바이스의 박스 안에 포함되는 픽셀 (pixel)의 개수를 조절하는 방식으로 결정되므로 영상이 왜곡되는 현상을 줄일 수 있다.
본 발명의 일 실시예 (case 1-1)에 따른 프로세스를 설명하면, 본 발명의 일 실시예는 메인 디바이스와 세컨드 디바이스를 연결하고, 세컨드 디바이스에서 출력 영상을 제어할 수 있는 어플리케이션을 실행할 수 있다. 본 발명의 일 실시예에 따른 사용자는 상술한 어플리케이션에서 UI를 이용하여 출력 영상을 제어하기 위한 메뉴 (video rendering control menu)를 선택할 수 있다. 본 발명의 일 실시예에 따른 세컨드 디바이스는 메인 디바이스로부터 메인 디바이스가 송신단으로부터 수신한 전체 영상의 해상도 (resolution) 및/또는 해상도 (aspect ratio) 정보를 전달받을 수 있다. 이후, 세컨드 디바이스는 UI를 통해 원 영상 (전체 영상)의 해상도, 화면비 등의 정보를 바탕으로 원 영상의 영역을 표시할 수 있다. 이 때, 메인 디바이스가 수신한 전체 영상이 디코딩되어 세컨드 디바이스에 표시될 수 있다. 또는, 세컨드 디바이스는 전체 영상을 다운 샘플링 (down sampling)한 낮은 해상도의 영상을 메인 디바이스로부터 전달 받고 이를 세컨드 디바이스의 화면에 표시할 수 있다. 또는, 메인 디바이스가 수신한 전체 영상이 스케일러블 비디오 코덱 (scalable video codec)을 사용한 스트림 (stream)이라면, 본 발명의 일 실시예에 따른 세컨드 디바이스는 베이스 레이어 (base layer)의 전체 영상을 세컨드 디바이스의 화면에 표시할 수 있고, 베이스 레이어의 전체 영상을 서브 샘플링한 영상을 세컨드 디바이스의 화면에 표시할 수 있다. 세컨드 디바이스는 메인 디바이스에서 출력되고 있는 영역을 박스 형태로 표현할 수 있다. 여기서, 전술한 본 발명의 다른 일 실시예와 같이 박스의 크기는 사용자가 원하는 대로 조절될 수 있고, 박스의 크기가 사용자 임의대로 조절되었고 조절된 박스의 화면비가 메인 디바이스의 화면비와 다르면, 메인 디바이스는 크라핑 (cropping)된 영상을 스케일링하거나 크라핑된 영상에 AFD (active format description) 및/또는 bar data를 삽입하는 등의 과정을 거친 후 메인 디바이스의 화면에 최종 영상을 표시할 수 있다. 이와 같이, 본 발명의 일 실시예에 따른 사용자는 박스를 드래그 (drag) 및/또는 클릭 (click)함으로써 세컨드 디바이스를 이용하여 메인 디바이스에서 출력될 영역을 제어할 수 있다. (L2020) 이 도면의 L2040, L2050, L2060을 보면, 화살표의 방향대로 영상이 리니어하게 출력될 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스를 이용해 박스를 드래깅함으로써 출력할 부분을 조절할 수 있고, 미리 분할된 영역들 중에 원하는 부분에 가장 근접한 영역을 선택함으로써 원하는 영역을 출력할 수 있다. 이 때, 본 발명의 일 실시예에 따른 UI는 전체 영상을 분할하여 사용자가 분할된 영상을 선택할 수 있도록 할 수 있다. 본 발명의 일 실시예는 사용자가 출력을 원하는 영역을 선택한 경우 그 선택 영역을 그대로 유지시킬 수 있다. 그리고, 메인 디바이스는 전체 영상을 디코딩하더라도 세컨드 디바이스에서 사용자가 선택한 영역의 영상만을 출력할 수 있다.
도 3은 본 발명의 일 실시예 (case 1-2)에 따라 3D 비디오에서 전체 비디오의 뎁스 (depth)를 사용자가 제어하는 방법 및 멀티뷰 (multi-view) 비디오에서 사용자의 위치와 독립적으로 사용자가 원하는 화면이 메인 디바이스에 출력되도록 하는 방법을 나타낸 도면이다.
왼쪽 하단 도면 (L3020)을 보면, 본 발명의 일 실시예는 사용자가 3D 비디오 전체 영상에 대한 뎁스를 제어할 수 있도록 함으로써 사용자의 취향을 반영할 수 있다. 사용자는 피로감을 적게 주는 뎁스, 강한 3D 효과를 주는 뎁스 등을 자유롭게 선택하여 취향을 영상에 반영할 수 있다. 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스 (L3010)를 이용하여 뎁스의 음/양 방향 등을 조절할 수 있다.
오른쪽 하단 도면 (L3030)을 보면, 본 발명의 일 실시예는 사용자가 시청하는 위치의 변화 없이도 사용자로 하여금 시청환경을 선택하도록 하거나 출력 (rendering)되는 영상을 선택하도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 세컨드 디바이스의 UI를 통해 출력되는 영상의 전/후, 좌/우 및/또는 상/하 방향을 조절할 수 있다. 예를 들어, 사용자가 도면에 도시된 UI에서 2번 메뉴를 선택하는 경우, 2번 시청 위치를 기준으로 하는 좌영상 및 우영상이 메인 디바이스에 출력될 수 있다.
본 발명의 일 실시예 (case 1-2)의 컨셉에 대해 구체적으로 설명하면, 본 발명의 일 실시예는 사용자가 전체 영상의 뎁스를 제어하도록 할 수 있고, 사용자가 사용자 자신의 시청환경을 선택하도록 할 수 있고, 선택된 시청환경에 대한 영상이 출력되도록 할 수 있다. 이 때, 본 발명의 일 실시예에 따른 사용자는 직접 세컨드 디바이스를 이용할 수 있다.
본 발명의 일 실시예 (case 1-2)에 따른 프로세스를 설명하면, 본 발명의 일 실시예는 메인 디바이스와 세컨드 디바이스를 연결하고, 세컨드 디바이스에서 출력 영상을 제어할 수 있는 어플리케이션을 실행할 수 있다. 본 발명의 일 실시예에 따른 사용자는 상술한 어플리케이션에서 UI를 이용하여 출력 영상을 제어하기 위한 메뉴 (video rendering control menu)를 선택할 수 있다. 본 발명의 일 실시예에 따른 세컨드 디바이스는 메인 디바이스로부터 메인 디바이스가 송신단으로부터 수신한 전체 영상의 뎁스 정보 및/또는 멀티뷰의 화면 구성 정보를 전달 받을 수 있다. 본 발명의 일 실시예에 따른 세컨드 디바이스는 UI에 뎁스 제어 (depth control) 및/또는 영상 선택 (view selection)을 위한 정보를 표시할 수 있다. 본 발명의 일 실시예는 세컨드 디바이스에서 사용자가 원하는 뎁스 정보를 입력 받으면, 영상의 입체감을 조절할 수 있다. 본 발명의 일 실시예는 세컨드 디바이스에서 사용자가 원하는 영상에 대한 입력을 기반으로, 시청자가 실제 시청하고 있는 위치에서 볼 수 없는 영상일지라도 메인 디바이스에서 출력되도록 할 수 있다. 즉, 사용자는 세컨드 디바이스의 UI를 통해 여러 시점의 영상 중에 원하는 시점의 영상을 선택하여 현재 시청 위치에서 시청할 수 있다. 이 때, 본 발명의 다른 일 실시예는 현재 시청 위치에 해당하는 영상을 메인 디바이스를 통하여 시청하는 동시에 사용자가 시청하고자 하는 다른 시점의 영상을 세컨드 디바이스를 통해 시청할 수 있도록 할 수 있다. 본 발명의 다른 일 실시예는 현재 사용자가 시청하고 있는 시청위치 외에 다른 시청위치에서는 기존 설정된 영상이 출력되도록 할 수 있다. 본 발명의 다른 일 실시예는 사용자가 여러 시청위치에 대한 영상을 직접 설정 (setting)하고, 각 시청위치에서 새로 설정된 영상이 출력되도록 할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 여러 사용자가 동시에 자신의 시청위치에서 원하는 영상을 볼 수 있다. 본 발명의 다른 일 실시예는 사용자가 세컨드 디바이스를 이용해 메인 디바이스에서 출력될 영상에 대한 내용을 결정하고 이를 변경하기 전까지는 메인 디바이스에서 출력될 영상의 영역, 뎁스 및/또는 선택된 시청위치에 대한 영상 등은 그대로 유지되도록 할 수 있다.
도 4는 본 발명의 다른 일 실시예에 따라 멀티뷰 (multi-view) 비디오에서 사용자의 위치와 독립적으로 사용자가 원하는 화면이 메인 디바이스에 출력되도록 하는 방법을 나타낸 도면이다.
상단 도면 (L4010)을 보면, 본 발명의 일 실시예는 1번으로 표시된 시청 위치에 대한 영상, 2번으로 표시된 시청 위치에 대한 영상 및/또는 3번으로 표시된 시청 위치에 대한 영상을 사용자가 사용자 자신의 실제 위치와 무관하게 변경 및/또는 선택할 수 있도록 할 수 있다. 본 발명의 일 실시예에 따른 사용자는 각 시청 위치에 대한 영상을 리니어하게 움직이면서 변경 및/또는 선택할 수 있다. 이 때, 사용자는 도면에 표시된 1, 2 및 3번의 시청 위치뿐만 아니라 화살표 선상의 모든 위치에 대한 영상을 선택할 수 있다. 본 발명의 일 실시예는 사용자가 UI를 통해 시청 위치에 대한 영상을 변경하는 경우, 1번으로 표시된 시청 위치에 대한 영상으로부터 3번으로 표시된 시청 위치에 대한 영상으로 리니어하게 연결될 수 있도록 두 시청 위치에 대한 영상의 중간 영상들을 메인 디바이스에서 출력되도록 할 수 있다. 이 때, 본 발명의 일 실시예는 멀티뷰 영상으로부터 상술한 중간 영상에 해당하는 가상뷰 영상을 생성하고 생성된 가상뷰가 메인 디바이스에서 출력되도록 할 수 있다.
하단 도면 (L4020)을 보면, 본 발명의 일 실시예는 시청 위치에 대한 영상을 모델링 (modeling) 및/또는 넘버링 (numbering)해서 사용자가 선택할 수 있게 할 수 있다. 본 발명의 일 실시예에 따른 사용자가 실제로는 1번 시청 위치 (가장 왼쪽)에 앉아있더라도 사용자가 2번 시청 위치를 UI를 통해 선택하면, 2번 시청 위치에 대한 영상이 메인 디바이스에 출력될 수 있다.
본 발명의 다른 일 실시에에 따르면 이 도면에 도시된 UI는 추가로 3D 영상을 구성하는 좌영상 및 우영상의 위치 변경을 위한 메뉴 및/또는 2D 영상에서 3D 영상으로 변경을 위한 메뉴를 포함할 수 있다.
도 5는 본 발명의 일 실시예 (case 2-1, case 2-2) 따라 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서 (gyro sensor)를 이용하여 메인 디바이스에 출력될 영상을 제어하는 방법에 사용되는 센서의 동작을 나타낸 도면이다.
본 발명의 일 실시예 (case 2-1, case 2-2)는 세컨드 디바이스의 움직임을 파악하기 위해 중력 센서, 가속도 센서 및/또는 자이로 센서를 사용할 수 있다.
본 발명의 일 실시예에 따른 중력 센서 (gravity sensor, L5010)은 세컨드 디바이스가 가로 방향인지 세로방향인지를 인식할 수 있고, 이를 이용하여 본 발명의 일 실시예는 출력 화면을 보정할 수 있다.
본 발명의 일 실시예에 따른 가속도 센서 (accelerometer sensor, L5020)은 세컨드 디바이스가 움직이는 속도의 변화, 충격, 힘의 세기 등을 감지할 수 있고, 이를 이용하여 본 발명의 일 실시예는 출력 화면을 보정할 수 있다. 본 발명의 일 실시예에 따른 가속도 센서는 센서에 작용하는 중력 가속도를 X, Y, Z 축 방향의 벡터 3개로 나누어 크기를 측정할 수 있다. 이 때, X 축은 디바이스 화면의 수평축을 나타내고, Y 축은 디바이스 화면의 수직축을 나타내고, Z 축은 디바이스 화면의 위쪽을 나타낸다. 여기서, X 축의 양의 방향은 오른쪽이고, Y 축의 양의방향은 위쪽이고, Z 축의 양의 방향은 디바이스 화면을 뚫고 나오는 쪽이다. 가속도 센서의 출력 값은 <a_x, a_y, a_z> 와 같이 3개 요소를 가진 벡터 형태를 나타낸다.
본 발명의 일 실시예에 따른 자이로 센서 (gyro sensor, L5030)는 세컨드 디바이스의 회전상태를 3개축으로 감지해 세컨드 디바이스의 기울기를 인식할 수 있다. 자이로 센서는 기존의 가속도 센서의 X, Y, Z 축 외에 회전상태를 감지하는 3개축을 추가하여 총 6개축을 인식할 수 있다. 따라서, 자이로 센서는 기존의 가속도 센서보다 더 정밀한 동작을 인식할 수 있다. 자이로 센서는 한 축을 기준으로 단위 시간당 회전량을 표시하는 각속도를 계산할 수 있다. 그리고, 계산된 각속도를 적분해 각도 (기울기, 이동각 등)를 측정할 수 있다. 자이로 센서의 회전이 발생하면, X, Y, Z 축의 각속도가 변하게 되고 자이로 센서는 상술한 각속도의 변화량을 측정할 수 있다. 따라서, 자이로 센서의 출력 값은 각속도를 적분한 값인 이동각을 나타낸다. 정리하면, 가속도 센서는 단순히 3축 방향의 가/감속을 감지하지만, 자이로센서는 높이와 회전, 기울기를 직접 감지할 수 있다.
본 발명의 일 실시예는 상술한 센서 외에 동작 인식 센서 (motion recognition sensor)를 사용할 수 있다. 동작 인식 센서는 물체의 움직임이나 위치를 인식하는 센서로, 지자기 센서(geo-magnetic sensor), 가속도 센서 등의 각종 센서와 고도계, 자이로 등의 기능이 하나의 칩에 들어가 있는 복합센서이다.
도 6은 본 발명의 일 실시예 (case 2-1, case 2-2)에 따라 세컨드 디바이스에 탑재된 가속도 센서의 동작을 나타낸 도면이다.
이 도면은 메인 디바이스가 panorama 및/또는 21:9 화면비의 영상을 수신하는 경우, 세컨드 디바이스의 가속도 센서를 이용해 영상의 출력을 제어하는 경우를 나타낸 것이다. 이 도면은 각 축 방향으로 움직임이 생겼을 때에 대한 가속도 센서 값 및 디바이스의 동작을 나타내고 있다. 나아가, 축 방향이 아닌 방향으로 움직임이 생겼을 때에도 본 발명의 일 실시예는 가속도 센서 값에 대한 디바이스 동작을 미리 정의하여 사용자의 요청에 대한 출력 영상을 제어할 수 있다. 또한, 본 발명의 다른 일 실시예는 자이로 센서를 이용하는 경우, 각 축에 대한 각속도 값을 기반으로 한 세컨드 디바이스의 기울임에 대한 디바이스의 동작을 미리 정의할 수 있다. 본 발명의 다른 일 실시예에 따라 전체 영상에 대한 뎁스를 제어하거나 멀티뷰 비디오에서 영상 (view)을 선택하는 경우에도, 이 도면의 표와 같이 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서를 기반으로 추출한 움직임 값에 대한 디바이스의 동작을 미리 정의할 수 있다.
메인 디바이스가 수신한 영상이 2D 영상인 경우, 본 발명의 일 실시예는 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서를 이용해 획득한 움직임 및/또는 기울기 정보를 기반으로 수신한 전체 영상에서 메인 디바이스에 출력할 영역의 좌표값을 계산하거나 맵핑 (mapping)할 수 있다. 그리고, 본 발명의 일 실시예는 계산된 좌표값을 기반으로 메인 디바이스에 출력할 영역을 크라핑 (cropping) 및/또는 스케일링 (scaling)하여 메인 디바이스에 출력할 수 있다.
메인 디바이스가 수신한 영상이 3D 영상인 경우, 본 발명의 일 실시예는 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서를 이용해 획득한 움직임 및/또는 기울기 정보를 기반으로 뎁스를 제어하거나 수신한 멀티뷰 영상에서 시청하고자 하는 영상을 선택할 수 있다. 예를 들어, 본 발명의 일 실시예는 사용자가 스마트폰을 오른쪽으로 움직인 경우에 사용자가 메인 디바이스의 화면 오른쪽으로 가고자 한다는 것으로 해석하고 이 경우, 현재 있는 위치보다 왼쪽에서 촬영된 화면을 메인 디바이스로 출력할 수 있다. 그리고, 사용자가 스마트폰을 메인 디바이스의 화면 쪽으로 위치를 움직인 경우에는 사용자가 전체 영상의 뎁스를 줄이고자 하는 것으로 해석하고 이 경우, 전체 영상의 뎁스를 줄일 수 있다.
본 발명의 일 실시예 (case 2-1)의 컨셉에 대해 구체적으로 설명하면, 사용자가 세컨드 디바이스를 전/후, 좌/우 및/또는 상/하로 움직이거나 기울이면 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서에 의해 세컨드 디바이스의 움직임 및/또는 기울임이 파악되고, 본 발명의 일 실시예는 파악된 세컨드 디바이스의 움직임 및/또는 기울임을 기반으로 메인 디바이스가 수신한 panorama 및/또는 21:9 화면비를 갖는 영상의 실제 출력 영역을 선택할 수 있다.
본 발명의 다른 일 실시예 (case 2-2)의 컨셉에 대해 구체적으로 설명하면, 사용자가 세컨드 디바이스를 전/후, 좌/우 및/또는 상/하로 움직이거나 기울이면 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서에 의해 세컨드 디바이스의 움직임 및/또는 기울임이 파악되고, 본 발명의 일 실시예는 파악된 세컨드 디바이스의 움직임 및/또는 기울임을 기반으로 메인 디바이스가 수신한 3D 영상의 뎁스를 제어하거나 수신한 멀티뷰 영상에서 시청하고자 하는 영상을 선택할 수 있다.
본 발명의 일 실시예 (case 2-2 및 case 2-2)에 따른 프로세스를 설명하면, 본 발명의 일 실시예는 메인 디바이스와 세컨드 디바이스를 연결하고, 세컨드 디바이스에서 출력 영상을 제어할 수 있는 어플리케이션을 실행할 수 있다. 본 발명의 일 실시예에 따른 사용자는 상술한 어플리케이션에서 가속도 센서를 이용하여 출력 영상을 제어하기 위한 메뉴 (video rendering control menu)를 선택할 수 있다. 본 발명의 일 실시예는 가속도 센서 및/또는 자이로 센서의 움직임 및/또는 기울임에 따른 메인 디바이스의 동작을 초기값 (default)로 정의할 수 있다. 이 때, 상술한 센서의 움직임에 따른 메인 디바이스의 동작은 사용자가 별도로 설정할 수 있다. 본 발명의 일 실시예는 상술한 센서의 움직임에 따른 메인 디바이스의 동작에 대한 설정된 정보를 도움말 형식으로 디바이스의 화면에 표시할 수 있다. 본 발명의 일 실시예에 따른 세컨드 디바이스는 메인 디바이스에서 디코딩하는 영상의 특징을 파악하고, 가속도 센서 및/또는 자이로 센서의 움직임 및/또는 기울임 정보에 따라 영상을 크라핑, 스케일링, 뎁스 제어 및/또는 영상 선택 (view selection) 동작을 수행하고, 수행한 동작에 대한 정보를 메인 디바이스에게 전달할 수 있다. 이 때, 세컨드 디바이스가 파악하는 메인 디바이스에서 디코딩하는 영상의 특징은 파노라마인지 21:9 화면비의 영상인지, 2D 영상인지 3D 영상인지 및/또는 멀티뷰 영상인지 아닌지에 대한 정보일 수 있다. 상술한 크라핑 등의 동작은 초기값으로 설정되었거나 사용자에 의해 미리 설정된 가속도 센서 및/또는 자이로 센서의 움직임 및/또는 기울임에 따른 메인 디바이스의 동작에 따라 이뤄질 수 있다. 본 발명의 일 실시예에 따른 메인 디바이스는 세컨드 디바이스로부터 전달받은 사용자의 요청에 따라 해당 영역을 출력할 수 있다. 이 때, 사용자가 세컨드 디바이스를 이용해 원하는 출력 영역, 뎁스, 출력 영상 등을 결정하고, 센서의 작동을 끄면, 결정된 출력 영역, 뎁스, 출력 영상 등은 그대로 유지될 수 있다.
도 7은 본 발명의 일 실시예에 따른 방송 신호를 수신하는 수신 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 2D 방송 신호를 수신하는 수신 장치 (L7010)는 시스템 디코더 (system decoder), 역다중화부 (demultiplexer, demux), 컴포넌트 추출부 (component extractor), 시그널링/어나운스먼트 프로세서 (signaling/announcement processor) 및/또는 비디오 디코더 (video decoder)를 포함할 수 있다.
시스템 디코더 및 역다중화부는 송신단으로부터 전송되는 다중화된 방송 신호를 역다중화하고 방송 신호에 포함된 데이터 패킷을 추출할 수 있다. 컴포넌트 추출부는 수신한 방송 신호에서 컴포넌트를 추출할 수 있다. 여기서, 컴포넌트는 비디오 컴포넌트, 오디오 컴포넌트 등을 포함할 수 있다. 시그널링/어나운스먼트 프로세서는 기존 PSI/SI/PSIP 프로세서와 같은 역할은 하는 구성으로서, 시그널링 정보를 처리할 수 있다. 비디오 디코더는 비디오를 디코딩할 수 있다.
본 발명의 일 실시예에 따른 2D 방송 신호를 수신하는 수신 장치 (L7010)는 세컨드 디바이스로부터 사용자가 입력한 값, 가속도 센서 값 및/또는 자이로 센서 값을 전달받을 수 있다. 이 때, 상술한 사용자가 입력한 값, 가속도 센서 값 및/또는 자이로 센서 값은 메인 디바이스에서 출력될 출력 영역의 좌표값의 변화, 전체 영상의 화면비 정보 및/또는 메인 디바이스의 화면비 정보 등을 나타낼 수 있다. 수신 장치 (L7010)는 세컨드 디바이스로부터 전달받은 상술한 값들을 이용하여 송신단으로부터 수신한 원본 영상을 크라핑할 수 있다. 그리고, 수신 장치 (L7010)는 크라핑된 영상의 화면비와 메인 디바이스의 화면비가 동일하면 크라핑된 영상을 메인 디바이스에 출력하고 동일하지 않으면 화면의 남는 부분에 AFD bar를 삽입하거나 앱 실행 공간을 삽입할 수 있다.
본 발명의 일 실시예에 따른 3D 방송 신호를 수신하는 수신 장치 (L7020)는 시스템 디코더 (system decoder), 역다중화부 (demultiplexer, demux), 컴포넌트 추출부 (component extractor), 시그널링/어나운스먼트 프로세서 (signaling/announcement processor), 비디오 디코더 (video decoder), 멀티뷰 영상 선택 프로세서 (Post-processor for reordering of multi-view position), 뎁스 제어 프로세서 (Post-processor for depth control), 스테레오 포맷터 (stereo formatter) 및/또는 멀티뷰 제어부 (multi-view controller)를 포함할 수 있다.
시스템 디코더 (system decoder), 역다중화부 (demultiplexer, demux), 컴포넌트 추출부 (component extractor), 시그널링/어나운스먼트 프로세서 (signaling/announcement processor) 및/또는 비디오 디코더 (video decoder)는 상술한 2D 방송 신호를 수신하는 수신 장치 (L7010)를 구성하는 동일 명칭의 구성과 동일한 역할을 할 수 있다. 다만, 3D 방송 신호를 수신하는 수신장치 (L7020)는 하나 이상의 비디오 디코더를 포함할 수 있다. 본 발명의 일 실시예에 따른 3D 방송 신호를 수신하는 수신 장치 (L7020)는 세컨드 디바이스로부터 사용자가 입력한 값, 가속도 센서 값 및/또는 자이로 센서 값을 전달받을 수 있다. 이 때, 상술한 사용자가 입력한 값, 가속도 센서 값 및/또는 자이로 센서 값은 메인 디바이스가 수신한 전체 영상의 뎁스 값, 수신한 멀티뷰 영상에서 사용자가 시청하기 원하는 영상에 대한 정보 등을 나타낼 수 있다. 멀티뷰 영상 선택 프로세서 (Post-processor for reordering of multi-view position)는 세컨드 디바이스로부터 전달 받은 멀티뷰 영상에서 사용자가 시청하기 원하는 영상에 대한 정보를 이용하여 해당하는 영상을 설정할 수 있다. 뎁스 제어 프로세서 (Post-processor for depth control)는 세컨드 디바이스로부터 전달 받은 전체 영상의 뎁스 값을 이용하여 해당하는 뎁스를 설정할 수 있다. 스테레오 포맷터 (stereo formatter)는 각 영상을 렌더링하기 위한 포맷팅을 할 수 있다. 멀티뷰 제어부 (multi-view controller)는 하나 이상의 시점에 대한 영상을 조합할 수 있다.
본 발명의 일 실시예에 따른 2D 방송 신호를 수신하는 수신 장치 (L7010) 및/또는 3D 방송 신호를 수신하는 수신 장치 (L7020)은 메인 디바이스에 해당할 수 있다.
도 8은 본 발명의 일 실시예 (case 3-1)에 따라 오브젝트 기반 오디오 (object based audio)의 각 오브젝트의 사운드 (sound)를 제어하는 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 오브젝트 기반의 오디오가 서비스되는 경우, 본 발명의 일 실시예는 오브젝트 사운드 제어 메뉴 (object sound control menu, L8010)를 실행하고, 서비스되는 전체 오브젝트 사운드를 개략화해서 사용자에게 보여줄 수 있다. 이를 위하여, 본 발명의 일 실시예는 도면의 리모콘 (L8020)에 오브젝트 단위로 사운드를 제어하기 위한 버튼 (button)을 추가할 수 있고, 디바이스에 상술한 오브젝트 사운드 제어 메뉴와 같은 UI를 추가할 수 있다. 이 때, 기존의 전체 음량 제어에 관한 버튼 및/또는 UI는 그대로 유지할 수 있다. 매직 리모콘의 경우, 본 발명의 일 실시예는 UI를 메인 디바이스의 화면 내에 생성하고 매직 리모콘을 이용하여 화면 내 UI를 제어하여 오브젝트 단위로 사운드를 제어할 수 있다. 또한, 본 발명의 다른 일 실시예는 세컨드 디바이스를 이용하여 오브젝트 단위로 사운드를 제어할 수 있다. 이 때, 세컨드 디바이스의 UI 및/또는 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서를 이용할 수 있다.
예를 들면, 스포츠 중계 방송이 서비스되는 경우, 이 도면에서, Object 1은 스포츠 중계 아나운서의 목소리, Object 2는 경기장 선수들의 목소리, Object 3은 관중 소리를 나타낼 수 있다. 이 때, 관중들의 소리를 원치 않는다면, 본 발명의 일 실시예는 object 3의 소리를 음소거 시킬 수 있다.
다른 예로, 음악 방송이 서비스되는 경우, 이 도면에서, Object 1은 반주 (MR)이 될 수 있고, Object 2 및 3은 각 가수들의 목소리를 나타낼 수 있다. 이 때, 반주를 크게 듣고 싶으면, 본 발명의 일 실시예는 Object 1의 소리를 크게 하고, 다른 object 들의 소리를 줄이거나 그대로 유지시킬 수 있다.
도 9는 본 발명의 일 실시예 (case 3-2)에 따라 채널 기반 오디오 (channel based audio)의 각 채널의 사운드를 제어하는 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 채널 기반의 오디오가 서비스되는 경우, 본 발명의 일 실시예는 UI를 이용하여 송신단에서 제공하는 채널 기반 오디오의 개략도를 상단 도면 (L9010)과 같이 사용자에게 보여줄 수 있고, 사용자가 가지고 있는 오디오 시스템과 송신단에서 추천하는 오디오 시스템의 차이를 표시해 줄 수 있다.
송신단에서 22.2 채널 (channel)의 오디오 (audio)가 제공되는 경우, 본 발명의 일 실시예는 오디오 시스템 (audio system)의 개략도를 메인 디바이스 및/또는 세컨드 디바이스에 표시할 수 있다. 이 때, 메인 디바이스 및/또는 세컨드 디바이스는 사용자의 스피커 (speaker)로부터 직접 신호를 받거나 (ex. Bluetooth 이용) 사용자가 미리 입력해둔 사용자의 오디오 시스템 (audio system)에 따라 사용자의 오디오 시스템에서 제공되지 않는 스피커를 표시할 수 있다.
본 발명의 일 실시예에 따르면, 방송국에서 제공하는 오디오 시스템과 사용자의 것이 차이가 있는 경우, 사용자가 자신의 오디오 시스템에 맞게 각 오디오를 매핑 (mapping)할 수 있다. 예를 들어, 5.1 채널 오디오 시스템을 가지고 있는 사용자가 22.2 채널 오디오 방송 프로그램을 제공받는 경우, 하단 도면 (L9020)에서와 같이 사용자는 22.2 채널을 5.1 채널에 매핑 (mapping)할 수 있다. 즉, 도면 (L9020)에서 전체 22.2 채널 오디오 중에 점선으로 표시된 박스에 포함되는 스피커를 사용자의 오디오에 매핑할 수 있다.
본 발명의 일 실시예는 방송국에서 제공하는 오디오 시스템에 대한 정보를 수신단에 전송할 수 있다. 또한, 본 발명의 일 실시예는 사용자가 가지고 있는 오디오 시스템에서 스피커의 배열을 수집할 수 있고, 수집한 정보를 디바이스에 전달할 수 있다.
본 발명의 일 실시예에 따른 채널 기반의 오디오가 서비스되는 경우, 본 발명의 일 실시예는 채널 사운드 제어 메뉴 (channel sound control menu)를 실행하고, 서비스되는 전체 채널을 개략화해서 사용자에게 보여줄 수 있다. 이를 위하여, 본 발명의 일 실시예는 리모콘에 채널 단위로 사운드를 제어하기 위한 버튼 (button)을 추가할 수 있고, 디바이스에 상술한 채널 사운드 제어 메뉴와 같은 UI를 추가할 수 있다. 이 때, 기존의 전체 음량 제어에 관한 버튼 및/또는 UI는 그대로 유지할 수 있다. 매직 리모콘의 경우, 본 발명의 일 실시예는 UI를 메인 디바이스의 화면 내에 생성하고 매직 리모콘을 이용하여 화면 내 UI를 제어하여 채널 단위로 사운드를 제어할 수 있다. 또한, 본 발명의 다른 일 실시예는 세컨드 디바이스를 이용하여 채널 단위로 사운드를 제어할 수 있다. 이 때, 세컨드 디바이스의 UI 및/또는 세컨드 디바이스에 탑재된 가속도 센서 및/또는 자이로 센서를 이용할 수 있다.
도 10은 본 발명의 일 실시예에 따른 방송 서비스를 시청하는데 최적의 위치에 대한 정보를 제공하는 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 디바이스는 카메라를 이용하여 스크린이 설치된 실제 공간을 촬영할 수 있다. 그리고, 스크린에 촬영된 화면을 출력하고 해당 방송 서비스를 시청하는데 최적의 시청 위치를 표시할 수 있다.
본 발명의 일 실시예는 스크린에 스크린이 설치된 실제 공간을 3차원 그래픽의 형태로 표시할 수 있다. 그리고, 제작자가 의도한 최적의 시청 위치를 표시하고, 사용자에게 권장 시청 위치를 표시할 수 있다. 이 때, 최적의 시청 위치 및/또는 권장 시청 위치에 대한 정보는 시그널링을 통해 3차원 공간 좌표 정보의 형태로 디바이스에 전달될 수 있다.
도 11은 본 발명의 다른 일 실시예에 따른 방송 데이터 처리 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 데이터 처리 장치 (L11010)는 수신부 (L11020), 센서부 (L11030) 및/또는 전송부 (L11040)를 포함할 수 있다. 수신부는 외부 장치로부터 상기 외부 장치가 수신한 비디오 데이터 및 오디오 데이터의 특성 정보를 수신할 수 있다. 센서부는 상기 수신한 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 감지할 수 있다. 전송부는 상기 감지된 제어 정보를 상기 외부 장치로 전송할 수 있다. 여기서, 외부 장치는 메인 디바이스를 나타낼 수 있고 방송 데이터 처리 장치 (L11010)는 세컨드 디바이스를 나타낼 수 있다.
본 발명의 다른 일 실시예에 따르면, 상기 특성 정보는 상기 외부 장치가 수신한 비디오 데이터의 해상도 정보 및 화면비 정보를 포함할 수 있고, 상기 제어 정보는 상기 센서부가 감지하는 센서값 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 2에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 외부 장치가 수신한 비디오 데이터가 3D 비디오 데이터인 경우, 상기 특성 정보는 상기 외부 장치가 수신한 비디오 데이터의 뎁스 (depth) 정보를 포함할 수 있고, 상기 제어 정보는 상기 센서부가 감지하는 센서값 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 3, 7에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 외부 장치가 수신한 비디오 데이터가 멀티뷰 (multi-view) 비디오 데이터인 경우, 상기 특성 정보는 상기 멀티뷰 비디오 데이터의 화면 구성 정보를 포함할 수 있고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 3, 4, 7에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 외부 장치가 수신한 오디오 데이터가 오브젝트 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 외부 장치가 수신한 오디오 데이터를 구성하는 오브젝트들에 대한 정보를 포함할 수 있고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 8에서 전술하였다.
본 발명의 다른 일 실시예에 따르면, 상기 외부 장치가 수신한 오디오 데이터가 채널 기반의 오디오 데이터인 경우, 상기 특성 정보는 상기 외부 장치가 수신한 오디오 데이터를 구성하는 채널들에 대한 정보를 포함할 수 있고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함할 수 있다. 이에 대한 상세한 설명은 도 9에서 전술하였다.
도 12는 본 발명의 일 실시예에 따른 방송 데이터 처리 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 데이터 처리 방법은 비디오 데이터 및 오디오 데이터를 수신하는 단계 (SL12010), 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 단계 (SL12020), 외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신하는 단계 (SL12030), 상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이하는 단계 (SL12040) 및/또는 상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생하는 단계 (SL12050)를 포함할 수 있다. 여기서, 외부 장치는 세컨드 디바이스를 나타낼 수 있다.
본 발명의 일 실시예에 따른 방송 데이터 처리 방법의 각 단계는 전술한 방송 데이터 처리 장치 (L1010)의 대응되는 각 구성에 의해 수행될 수 있다.
도 13은 본 발명의 다른 일 실시예에 따른 방송 데이터 처리 방법을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 데이터 처리 방법은 외부 장치로부터 상기 외부 장치가 수신한 비디오 데이터 및 오디오 데이터의 특성 정보를 수신하는 단계 (SL13010), 상기 수신한 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 감지하는 단계 (SL13020) 및 상기 감지된 제어 정보를 상기 외부 장치로 전송하는 단계 (SL13030)를 포함할 수 있다. 여기서, 외부 장치는 메인 디바이스를 나타낼 수 있다.
본 발명의 일 실시예에 따른 방송 데이터 처리 방법의 각 단계는 전술한 방송 데이터 처리 장치 (L11010)의 대응되는 각 구성에 의해 수행될 수 있다.
도 14는 본 발명의 다른 일 실시예에 따른 방송 데이터 처리 장치의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따른 방송 데이터 처리 장치 (L14010)는 수신부 (L14020), 디코더 (L14030), 촬영부 (L14040), 디스플레이부 (L14050) 및/또는 오디오 재생부 (L14060)를 포함할 수 있다. 이에 대한 상세한 설명은 도 10에서 전술하였다.
수신부는 비디오 데이터, 오디오 데이터 및 권장되는 시청 위치의 3차원 좌표값을 나타내는 시그널링 정보를 수신할 수 있다.
디코더는 상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩할 수 있다.
촬영부는 방송 데이터 처리 장치가 설치되어 있는 공간을 촬영할 수 있다. 여기서, 촬영부는 카메라를 나타낼 수 있다.
디스플레이부는 상기 촬영된 화면 및 상기 디코딩된 비디오 데이터를 디스플레이할 수 있다. 여기서, 상기 디스플레이부는 상기 시그널링 정보를 기반으로 상기 촬영된 화면에 권장되는 시청 위치를 표시할 수 있다.
오디오 재생부는 상기 디코딩된 오디오 데이터를 재생할 수 있다.
본 발명의 실시예들에 따른 모듈, 유닛 또는 블락은 메모리(또는 저장 유닛)에 저장된 연속된 수행과정들을 실행하는 프로세서/하드웨어일 수 있다. 전술한 실시예에 기술된 각 단계 또는 방법들은 하드웨어/프로세서들에 의해 수행될 수 있다. 또한, 본 발명이 제시하는 방법들은 코드로서 실행될 수 있다. 이 코드는 프로세서가 읽을 수 있는 저장매체에 쓰여질 수 있고, 따라서 본 발명의 실시예들에 따른 장치(apparatus)가 제공하는 프로세서에 의해 읽혀질 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.
발명의 실시를 위한 형태는 전술한 바와 같이, 발명의 실시를 위한 최선의 형태로 상술되었다.
본 발명은 방송 산업 전반에서 이용 가능하다.

Claims (15)

  1. 비디오 데이터 및 오디오 데이터를 수신하는 수신부;
    상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 디코더;
    외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신하는 인터페이스부;
    상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이하는 디스플레이부; 및
    상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생하는 오디오 재생부;
    를 포함하는 방송 데이터 처리 장치.
  2. 제 1 항에 있어서,
    상기 특성 정보는 상기 수신한 비디오 데이터의 해상도 정보 및 화면비 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 디스플레이부는 상기 센서값 정보가 나타내는 비디오 데이터의 일부 영역을 디스플레이하는 방송 데이터 처리 장치.
  3. 제 1 항에 있어서, 상기 수신한 비디오 데이터가 3D 비디오 데이터인 경우,
    상기 특성 정보는 상기 수신한 비디오 데이터의 뎁스 (depth) 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고,
    상기 방송 데이터 처리 장치는 상기 센서값 정보를 기반으로 상기 디코딩된 비디오 데이터의 뎁스를 조정하는 뎁스 처리부를 포함하고,
    상기 디스플레이부는 상기 조정된 뎁스를 갖는 비디오 데이터를 디스플레이하는 방송 데이터 처리 장치.
  4. 제 1 항에 있어서, 상기 수신한 비디오 데이터가 멀티뷰 (multi-view) 비디오 데이터인 경우,
    상기 특성 정보는 상기 멀티뷰 비디오 데이터의 화면 구성 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고,
    상기 방송 데이터 처리 장치는 상기 센서값 정보를 기반으로 상기 디코딩된 비디오 데이터의 화면 구성을 조정하는 화면 조정부를 포함하고,
    상기 디스플레이부는 상기 조정된 화면 구성을 갖는 멀티뷰 비디오 데이터를 디스플레이하는 방송 데이터 처리 장치.
  5. 제 1 항에 있어서, 상기 수신한 오디오 데이터가 오브젝트 기반의 오디오 데이터인 경우,
    상기 특성 정보는 상기 수신한 오디오 데이터를 구성하는 오브젝트들에 대한 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 오디오 재생부는 상기 센서값 정보에 따라 조정된 오브젝트 별 사운드를 갖는 오디오 데이터를 재생하는 방송 데이터 처리 장치.
  6. 제 1 항에 있어서, 상기 수신한 오디오 데이터가 채널 기반의 오디오 데이터인 경우,
    상기 특성 정보는 상기 수신한 오디오 데이터를 구성하는 채널들에 대한 정보를 포함하고, 상기 제어 정보는 상기 외부 장치에 탑재된 센서가 감지하는 센서값 정보를 포함하고, 상기 오디오 재생부는 상기 센서값 정보에 따라 조정된 채널 별 사운드를 갖는 오디오 데이터를 재생하는 방송 데이터 처리 장치.
  7. 외부 장치로부터 상기 외부 장치가 수신한 비디오 데이터 및 오디오 데이터의 특성 정보를 수신하는 수신부;
    상기 수신한 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 감지하는 센서부; 및
    상기 감지된 제어 정보를 상기 외부 장치로 전송하는 전송부;
    를 포함하는 방송 데이터 처리 장치.
  8. 제 7 항에 있어서,
    상기 특성 정보는 상기 외부 장치가 수신한 비디오 데이터의 해상도 정보 및 화면비 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지하는 센서값 정보를 포함하는 방송 데이터 처리 장치.
  9. 제 7 항에 있어서, 상기 외부 장치가 수신한 비디오 데이터가 3D 비디오 데이터인 경우,
    상기 특성 정보는 상기 외부 장치가 수신한 비디오 데이터의 뎁스 (depth) 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지하는 센서값 정보를 포함하는 방송 데이터 처리 장치.
  10. 제 7 항에 있어서, 상기 외부 장치가 수신한 비디오 데이터가 멀티뷰 (multi-view) 비디오 데이터인 경우,
    상기 특성 정보는 상기 멀티뷰 비디오 데이터의 화면 구성 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함하는 방송 데이터 처리 장치.
  11. 제 7 항에 있어서, 상기 외부 장치가 수신한 오디오 데이터가 오브젝트 기반의 오디오 데이터인 경우,
    상기 특성 정보는 상기 외부 장치가 수신한 오디오 데이터를 구성하는 오브젝트들에 대한 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함하는 방송 데이터 처리 장치.
  12. 제 7 항에 있어서, 상기 외부 장치가 수신한 오디오 데이터가 채널 기반의 오디오 데이터인 경우,
    상기 특성 정보는 상기 외부 장치가 수신한 오디오 데이터를 구성하는 채널들에 대한 정보를 포함하고, 상기 제어 정보는 상기 센서부가 감지한 센서값 정보를 포함하는 방송 데이터 처리 장치.
  13. 비디오 데이터 및 오디오 데이터를 수신하는 단계;
    상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 단계;
    외부 장치로 상기 비디오 데이터 및 오디오 데이터의 특성 정보를 전송하고 상기 외부 장치로부터 상기 디코딩된 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 수신하는 단계;
    상기 수신한 제어 정보를 기반으로 상기 디코딩된 비디오 데이터를 디스플레이하는 단계; 및
    상기 수신한 제어 정보를 기반으로 상기 디코딩된 오디오 데이터를 재생하는 단계;
    를 포함하는 방송 데이터 처리 방법.
  14. 외부 장치로부터 상기 외부 장치가 수신한 비디오 데이터 및 오디오 데이터의 특성 정보를 수신하는 단계;
    상기 수신한 비디오 데이터의 디스플레이 및 오디오 데이터의 재생을 제어하기 위한 제어 정보를 감지하는 단계; 및
    상기 감지된 제어 정보를 상기 외부 장치로 전송하는 단계;
    를 포함하는 방송 데이터 처리 방법.
  15. 비디오 데이터, 오디오 데이터 및 권장되는 시청 위치의 3차원 좌표값을 나타내는 시그널링 정보를 수신하는 수신부;
    상기 수신한 비디오 데이터 및 오디오 데이터를 디코딩하는 디코더;
    방송 데이터 처리 장치가 설치되어 있는 공간을 촬영하는 촬영부;
    상기 촬영된 화면 및 상기 디코딩된 비디오 데이터를 디스플레이하는 디스플레이부,
    여기서, 상기 디스플레이부는 상기 시그널링 정보를 기반으로 상기 촬영된 화면에 권장되는 시청 위치를 표시하고;
    상기 디코딩된 오디오 데이터를 재생하는 오디오 재생부;
    를 포함하는 방송 데이터 처리 장치.
PCT/KR2015/006711 2014-07-01 2015-06-30 외부 장치를 이용한 방송 데이터 처리 방법 및 장치 WO2016003165A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/317,714 US10070172B2 (en) 2014-07-01 2015-06-30 Method and apparatus for processing broadcast data by using external device
KR1020167034028A KR101875669B1 (ko) 2014-07-01 2015-06-30 외부 장치를 이용한 방송 데이터 처리 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462019861P 2014-07-01 2014-07-01
US62/019,861 2014-07-01

Publications (1)

Publication Number Publication Date
WO2016003165A1 true WO2016003165A1 (ko) 2016-01-07

Family

ID=55019620

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/006711 WO2016003165A1 (ko) 2014-07-01 2015-06-30 외부 장치를 이용한 방송 데이터 처리 방법 및 장치

Country Status (3)

Country Link
US (1) US10070172B2 (ko)
KR (1) KR101875669B1 (ko)
WO (1) WO2016003165A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3525473A4 (en) * 2017-03-28 2019-12-18 Tencent Technology (Shenzhen) Company Limited METHOD AND DEVICE FOR CONTROLLING A PANORAMIC IMAGE DISPLAY AND STORAGE MEDIUM

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139803B (zh) 2015-10-08 2021-04-20 Pcms控股公司 用于动态显示器配置的自动校准的方法及系统
US10601889B1 (en) * 2016-04-06 2020-03-24 Ambarella International Lp Broadcasting panoramic videos from one server to multiple endpoints
US10666941B1 (en) * 2016-04-06 2020-05-26 Ambarella International Lp Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection
CN113273184A (zh) * 2018-11-30 2021-08-17 Pcms控股公司 将3d对象镜像到光场显示器的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100107142A (ko) * 2009-03-25 2010-10-05 주식회사 대우일렉트로닉스 디스플레이 기기의 화면 출력 제어 장치 및 방법
KR20120122042A (ko) * 2011-04-28 2012-11-07 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
KR20130119233A (ko) * 2012-04-23 2013-10-31 주식회사 브이터치 포인터가 불필요한 3차원 가상 객체 정보 획득 장치
KR20130127344A (ko) * 2012-05-14 2013-11-22 한국전자통신연구원 오디오 데이터 제공 방법 및 장치, 오디오 메타데이터 제공 방법 및 장치, 오디오 데이터 재생 방법 및 장치
WO2014003378A1 (ko) * 2012-06-27 2014-01-03 한국전자통신연구원 화면 동기화 가능한 원격 제어 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110136414A (ko) * 2010-06-15 2011-12-21 삼성전자주식회사 영상처리장치 및 그 제어방법
US9398322B2 (en) * 2011-04-27 2016-07-19 Time Warner Cable Enterprises Llc Multi-lingual audio streaming
KR20140001726A (ko) 2012-06-27 2014-01-07 한국전자통신연구원 화면 동기화 가능한 원격 제어 장치
KR20140049834A (ko) * 2012-10-18 2014-04-28 삼성전자주식회사 방송 수신 장치 및 그 제어 방법, 사용자 단말 장치 및 그 화면 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100107142A (ko) * 2009-03-25 2010-10-05 주식회사 대우일렉트로닉스 디스플레이 기기의 화면 출력 제어 장치 및 방법
KR20120122042A (ko) * 2011-04-28 2012-11-07 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
KR20130119233A (ko) * 2012-04-23 2013-10-31 주식회사 브이터치 포인터가 불필요한 3차원 가상 객체 정보 획득 장치
KR20130127344A (ko) * 2012-05-14 2013-11-22 한국전자통신연구원 오디오 데이터 제공 방법 및 장치, 오디오 메타데이터 제공 방법 및 장치, 오디오 데이터 재생 방법 및 장치
WO2014003378A1 (ko) * 2012-06-27 2014-01-03 한국전자통신연구원 화면 동기화 가능한 원격 제어 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3525473A4 (en) * 2017-03-28 2019-12-18 Tencent Technology (Shenzhen) Company Limited METHOD AND DEVICE FOR CONTROLLING A PANORAMIC IMAGE DISPLAY AND STORAGE MEDIUM

Also Published As

Publication number Publication date
US20170111678A1 (en) 2017-04-20
KR101875669B1 (ko) 2018-08-02
KR20170007341A (ko) 2017-01-18
US10070172B2 (en) 2018-09-04

Similar Documents

Publication Publication Date Title
WO2016003165A1 (ko) 외부 장치를 이용한 방송 데이터 처리 방법 및 장치
WO2018182321A1 (en) Method and apparatus for rendering timed text and graphics in virtual reality video
EP2441269A2 (en) Signal processing method and apparatus therefor using screen size of display device
WO2013081435A1 (ko) 3d 영상 표시 장치 및 방법
WO2011084021A2 (ko) 방송 수신기 및 3d 이미지 디스플레이 방법
WO2011005056A2 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기
KR20110138995A (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
WO2013172636A1 (en) Display apparatus, server, and controlling method thereof
WO2018088730A1 (en) Display apparatus and control method thereof
EP3276982B1 (en) Information processing apparatus, information processing method, and program
WO2016111470A1 (ko) 마스터 기기, 슬레이브 기기 및 그 제어 방법
WO2019035581A1 (ko) 서버, 디스플레이장치 및 그 제어방법
WO2022158953A1 (en) Extended reality interaction in synchronous virtual spaces using heterogeneous devices
WO2011155766A2 (ko) 영상 처리 방법 및 그에 따른 영상 표시 장치
WO2018012727A1 (ko) 디스플레이장치와, 기록매체
WO2010137849A2 (ko) 영상 처리 방법 및 장치
US11086587B2 (en) Sound outputting apparatus and method for head-mounted display to enhance realistic feeling of augmented or mixed reality space
WO2012169694A1 (ko) 3차원 그래픽 콘텐츠 재생 방법 및 장치
CN106954093B (zh) 全景视频处理方法、装置及系统
WO2011108377A1 (ja) 連携動作機器、連携動作方法、連携動作制御プログラム及び機器連携システム
WO2019013400A1 (ko) 비디오 화면 줌에 연동되는 오디오 출력 방법 및 출력 장치
WO2015099215A1 (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
WO2020116740A1 (ko) 실시간 방송 편집 시스템 및 편집 방법
CN110249297B (zh) 信息处理设备和信息处理方法
WO2010050691A2 (en) Methods and apparatuses for processing and displaying image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15816003

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20167034028

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15317714

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15816003

Country of ref document: EP

Kind code of ref document: A1