WO2014204227A1 - 신호 송수신 장치 및 신호 송수신 장치의 제어 방법 - Google Patents

신호 송수신 장치 및 신호 송수신 장치의 제어 방법 Download PDF

Info

Publication number
WO2014204227A1
WO2014204227A1 PCT/KR2014/005408 KR2014005408W WO2014204227A1 WO 2014204227 A1 WO2014204227 A1 WO 2014204227A1 KR 2014005408 W KR2014005408 W KR 2014005408W WO 2014204227 A1 WO2014204227 A1 WO 2014204227A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
crop
video data
region
cropped
Prior art date
Application number
PCT/KR2014/005408
Other languages
English (en)
French (fr)
Inventor
황수진
오현묵
서종열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to JP2016508911A priority Critical patent/JP2016523015A/ja
Priority to KR1020157025826A priority patent/KR20160021428A/ko
Priority to US14/779,294 priority patent/US20160057494A1/en
Priority to EP14814222.7A priority patent/EP3013062A4/en
Priority to CN201480030730.4A priority patent/CN105264904A/zh
Publication of WO2014204227A1 publication Critical patent/WO2014204227A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • the present invention relates to a signal transmission and reception apparatus and a control method of the signal transmission and reception apparatus.
  • UHD video has a higher resolution because a wider area is captured than conventional HD video. Because UHD video has a high resolution, it can be displayed using a larger screen receiving device.
  • portable personal terminal devices are becoming popular and interest in second terminal devices is increasing.
  • the existing SI (System Information) standard does not include the UHD broadcasting service scenario.
  • a method for displaying UHD video in a second terminal device such as a personal terminal device, a method for configuring a screen of a large reception device using UHD video data, and the like.
  • signaling information that can be displayed on a second terminal device such as a smartphone or a tablet by cropping a region of interest (ROI) area in the UHD video is needed.
  • signaling information capable of reconstructing and displaying the cropped ROI area or processing a surplus area by a signal receiving device having a different aspect ratio from UHD video is required.
  • An object of the present invention is to provide a signal transmitting and receiving device and a control method of a signal transmitting and receiving device which can crop a region of a UHD video and display the same on a second terminal device.
  • Another object of the present invention is to provide a signal transmission and reception apparatus and a signal transmission and reception control method capable of reconfiguring a screen using a plurality of cropped regions.
  • Another object of the present invention is to provide a signal transmitting and receiving device and a method of controlling the signal transmitting and receiving device capable of displaying additional video in a surplus region of a display device having an aspect ratio of 21: 9.
  • a control method of a signal receiving apparatus includes demultiplexing a stream including video data and signaling information, decoding the demultiplexed signaling information and the video data, and Extracting information on the crop region from the decoded signaling information.
  • the cropped region information may include information indicating the number of cropped regions and whether the first frame is the first frame, and may include information indicating a reference coordinate of the crop region or information indicating a difference value from the reference coordinate.
  • the control method of the signal receiving apparatus may include receiving display information of a second terminal apparatus including aspect ratio information, and cropping the decoded video data by using the extracted crop region information.
  • the method may further include transmitting the cropped region of the decoded video data to the second terminal device.
  • the control method of the signal receiving apparatus may further include inserting an AFD bar into a preset area when comparing the received aspect ratio information with the aspect ratio of the crop area.
  • the control method of the signal receiving apparatus may further include converting a format of the video data based on the received display information of the second terminal apparatus.
  • the format of the video data may include at least one of a frame rate, bitdepth, and chroma sampling.
  • the control method of the signal receiving apparatus may further include outputting a selection screen in which a plurality of crop areas exist, and one crop area of the plurality of crop areas may be selected.
  • the control method of the signal receiving apparatus may include cropping at least one region of the decoded video data using information on the extracted crop region, and splitting the display unit when the aspect ratio of the display unit is 16: 9.
  • the method may further include displaying the cropped at least one region.
  • the control method of the apparatus for receiving a signal may further include cropping at least one region of the decoded video data using information on the extracted crop region and outputting the decoded video data and the at least one cropped region.
  • the output unit may further include splitting the display unit into a main area and an additional area when the display unit has a 21: 9 aspect ratio, and outputting the decoded video data to the main area.
  • the at least one cropped area may be output.
  • a method of controlling a signal transmission apparatus includes: encoding information including signaling data, setting a crop region of the video data, and including information about the crop region; Generating a multiplexing signal; and multiplexing the encoded video data and the signaling information, and transmitting the multiplexed video data and the signaling information.
  • a signal receiving apparatus includes a demultiplexer for demultiplexing a stream including video data and signaling information, a signaling information decoder for decoding the demultiplexed signaling information, and the demultiplexing.
  • a video decoder for decoding the video data in the video stream, a control unit and a display unit for extracting information on the crop region from the decoded signaling information.
  • the cropped region information may include information indicating the number of cropped regions and whether the first frame is the first frame, and may include information indicating a reference coordinate of the crop region or information indicating a difference value from the reference coordinate.
  • the signal receiving apparatus further includes a communication unit configured to receive display information of the second terminal device including aspect ratio information, and the controller is configured to decode the decoded video using information on the extracted crop region. Crop data, and the communication unit may transmit the cropped region of the decoded video data to the second terminal device.
  • the controller may compare the received aspect ratio information with the aspect ratio of the crop region, and insert an AFD bar into a preset region if it is not the same.
  • the controller may convert the format of the video data based on the received display information of the second terminal device.
  • the format of the video data may include at least one of a frame rate, bitdepth, and chroma sampling.
  • the crop area may be provided in plurality, and the controller may control the display unit to output a selection screen for selecting one crop area from the plurality of crop areas.
  • the controller may crop at least one region of the decoded video data by using the extracted crop region information.
  • the controller divides the display unit into the cropped region. At least one area may be controlled to be output.
  • the controller may crop at least one region of the decoded video data by using the extracted crop region information.
  • the display unit may include a main region and an additional region.
  • the main region may be controlled to output the decoded video data, and the additional region may output the at least one cropped region.
  • a signal transmission apparatus includes an encoder for encoding video data, setting a crop region of the video data, and generating signaling information including information about the crop region.
  • a signaling information generation unit for multiplexing the encoded video data and the signaling information, and a communication unit for transmitting the multiplexed video data and signaling information.
  • the ROI video may be provided by the second terminal device or the signal receiving device without a separate stream.
  • the ROI region of the video provided by the UHD channel may be displayed by the second terminal device.
  • various parts of a specific video may be displayed on the signal receiving apparatus without separate channel allocation.
  • the screen can be efficiently used when watching a UHD video having a different aspect ratio from that of the signal receiving apparatus.
  • FIG. 1 is a view for explaining a method of displaying a cropped video in a second terminal device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart of a method of displaying a cropped video at a second terminal device according to an exemplary embodiment.
  • FIG. 3 is a diagram illustrating a method of displaying a cropped video in a second terminal device according to another embodiment of the present invention.
  • FIG. 4 is a flowchart of a method of displaying a cropped video in a second terminal device according to another exemplary embodiment.
  • FIG. 5 is a diagram illustrating a method of configuring crop video to be transmitted to a second terminal device according to an embodiment of the present invention.
  • FIG. 6 illustrates a method for reconstructing and displaying a plurality of cropped videos according to an embodiment of the present invention.
  • FIG. 7 is a flowchart of a method for reconstructing and displaying a plurality of cropped videos according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a method of displaying a cropped video in a surplus region of a 21: 9 signal receiving apparatus according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a method of displaying a cropped video in a surplus region of a 21: 9 signal receiving apparatus according to an embodiment of the present invention.
  • FIG. 10 illustrates SEI signaling information according to an embodiment of the present invention.
  • FIG. 11 illustrates a method of signaling cropped video information according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a method of signaling resolution information of a cropped video according to one embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a method of signaling information for displaying a cropped video in a second terminal device according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a method of signaling information for display in a second terminal device when there are a plurality of cropped videos according to an embodiment of the present invention.
  • FIG. 15 illustrates a method of signaling information for reconstructing and displaying a plurality of cropped videos according to an embodiment of the present invention.
  • FIG. 16 is a diagram illustrating a method of signaling information for displaying a cropped video in a surplus region of a 21: 9 signal receiving apparatus according to an embodiment of the present invention
  • 17 and 18 illustrate one embodiment of a PES packet.
  • FIG. 19 illustrates a method of processing and displaying a cropped video according to an embodiment of the present invention.
  • 20 is a flowchart illustrating a control method of a signal transmission apparatus according to an embodiment of the present invention.
  • 21 is a flowchart illustrating a control method of a signal receiving apparatus according to an embodiment of the present invention.
  • 22 is a block diagram of a signal transmission apparatus according to an embodiment of the present invention.
  • FIG. 23 is a block diagram of a signal receiving apparatus according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a method of displaying a cropped video in a second terminal device according to an exemplary embodiment.
  • a signal receiving apparatus eg, UHDTV
  • UHDTV UHDTV
  • 2nd device a second terminal apparatus
  • the second terminal device may display the video cropped at the signal receiving device (or sync device) using one cropped coordinate.
  • the video displayed by the second terminal device may be inserted into a picture in picture (PIP) in the signal receiving device.
  • PIP picture in picture
  • the signal receiving apparatus can scale the cropped Region Of Interest (ROI) video and provide it in the form of PIP so that the user can watch the closed up video.
  • ROI area refers to an area of interest to the user or an area that can be cropped. Therefore, in the present invention, the ROI region and the crop region are used in a similar sense.
  • the second terminal device may transmit information about the terminal device to the signal receiving device.
  • the signal reception device may select a profile and a level and display a cropped video according to the profile and the level.
  • the signal receiving apparatus may include frame dropping when the frame rate of the video is different.
  • the profile may indicate a profile for a corresponding video stream, that is, a basic specification required for decoding the corresponding stream.
  • the profile may include chroma subsampling (e.g. 4: 2: 0, 4: 2: 2, etc.), bit depth (e.g. 8-bit, 10-bit) of the video stream, requirement information for the coding tool, etc. can do.
  • the level may define the level for the video stream, that is, to what extent the description element defined in the profile is supported. For example, resolution, frame rate, bit rate, and the like may be included.
  • the signal receiving apparatus selects a medium screen profile from three profiles (eg, a large screen profile, a medium screen profile, and a small screen profile), and checks an aspect ratio.
  • a medium screen profile from three profiles (eg, a large screen profile, a medium screen profile, and a small screen profile), and checks an aspect ratio.
  • Profiles can be classified based on screen size, and aspect ratio information can be calculated from the resolution. If the cropped video has an aspect ratio (the aspect ratio information can be calculated from the resolution even if it is not signaled) is 16: 9, and the aspect ratio of the second terminal device (the aspect ratio information can be calculated from the resolution even if it is not signaled). ) Should be a letterbox if 4: 3.
  • the signal receiving device may insert a letterbox into the video according to a user's selection, or shift and display the video to one side and use the remaining space as a space for executing additional apps.
  • the signal reception device may crop the video to fit the screen ratio of the second terminal device with the start coordinates for cropping, instead of cropping at the 16: 9 aspect ratio, and output the video to fit the screen.
  • the signal transmitting device transmits additional information such as a stream including UHD video and coordinates for cropping the video and some crop sizes, so that the signal receiving device displays the UHD video, and the signal receiving device closes up or zooms in. Since the video can be transmitted to the second terminal device according to the characteristics of each terminal device, the closed-up / zoom-in video can be received by another terminal device without additional stream.
  • the characteristic of the second terminal device may be displayed by being displayed as a divided profile or level.
  • FIG. 2 is a flowchart of a method of displaying a cropped video in a second terminal device according to an exemplary embodiment.
  • FIG. 2 a flowchart of a method of cropping a ROI region of a video and transmitting cropped data to a second terminal device is shown.
  • the signal receiving apparatus may receive signaling information including cropping information such as a stream and crop coordinates including UHD video data from the signal transmitting apparatus.
  • the signal receiving apparatus may demultiplex the signaling information including the stream and crop information including the received video data (S105).
  • the signal receiving apparatus may decode the demultiplexed signaling information and the video data included in the video stream (S110).
  • the signal receiving device may determine whether to transmit data to a second terminal device (S115).
  • the signal reception device may determine whether the zoom mode is present (S120).
  • the zoom mode may mean cropping and displaying the ROI area. If it is determined that the signal reception apparatus is not in the zoom mode, the signal reception apparatus may output the received UHD video data by ignoring the crop coordinates (S125). That is, the 16: 9 signal receiving device (UHDTV or main screen device) may display UHD video data ignoring the crop coordinates (S130).
  • the signal receiving apparatus may crop and scale the ROI region (S135). That is, when the 16: 9 signal receiving apparatus (UHDTV or main screen device) determines that the zoom mode, the ROI region may be cropped and scaled by applying cropped coordinates (S130).
  • the signal receiving apparatus may determine whether to convert the video data (S140).
  • the signal receiving device may receive level information from the second terminal device before determining whether to convert (S145).
  • the signal receiving apparatus may determine whether to convert the video data based on the received level information.
  • the signal receiving apparatus may convert a value related to frame rate, bitdepth, and chroma sampling by detecting the maximum displayable specification and interface information of the second terminal device (S150).
  • the signal receiving apparatus may crop 16: 9 HD video data among UHD video data using one crop coordinate information (S155).
  • the signal reception device may determine whether the screen ratio Device_AR of the second terminal device is the same as the screen ratio ROI_AR of the cropped ROI region (S160).
  • the aspect ratio of the second terminal device may be determined using the resolution information transmitted from the second terminal device.
  • the aspect ratio of the cropped ROI region may be calculated from crop information transmitted from the signal transmission apparatus.
  • the signal receiving device may transmit the decoded and cropped video data to the second terminal device through the interface.
  • the second terminal device may output the received video data as it is.
  • the signal receiving apparatus may determine the aspect ratio relationship. For example, the magnitude ratio of the aspect ratio may be determined based on the wideness (S165).
  • the signal receiving device may determine whether the AFD bar is applied (S170). For example, Device_AR may be 21: 9 and ROI_AR may be 16: 9. If it is determined that the signal receiving apparatus applies the AFD bar, the pillarbox may be inserted into left and right sides of the cropped video (S175). If it is determined that the signal reception apparatus does not apply the AFD bar, the specific coordinate of the second terminal device may be set as the reference coordinate of the video data (S180). For example, the video can be shifted to one side and displayed, and the remaining space can be allocated as space for additional app execution.
  • the signal receiving device may determine whether the AFD bar is applied (S185). For example, Device_AR may be 4: 3 and ROI_AR may be 16: 9. If it is determined that the signal receiving apparatus applies the AFD bar, the letterbox may be inserted into upper and lower sides of the cropped video (S190). If it is determined that the signal reception apparatus does not apply the AFD bar, the specific coordinate of the second terminal device may be set as the reference coordinate of the video data (S195). For example, the video can be shifted to one side and displayed, and the remaining space can be allocated as space for additional app execution.
  • the signal reception device may transmit the decoded and cropped video to the second terminal device through the interface.
  • the second terminal device can display the received cropped video.
  • UHD video may be displayed at the signal receiving device.
  • the terminal device that cannot decode the UHD video can also receive and display the decoded and cropped video through the interface.
  • the signal receiving apparatus may recognize a video specification suitable for the second terminal apparatus through information transmitted from the second terminal apparatus.
  • the signal receiving apparatus may transmit a video corresponding to a suitable profile and level to the second terminal apparatus.
  • FIG. 3 is a diagram illustrating a method of displaying a cropped video in a second terminal device according to another exemplary embodiment.
  • a signal receiving apparatus capable of cropping a plurality of ROI regions.
  • the signal receiving apparatus may crop the plurality of ROI regions using a plurality of coordinates, and the selected ROI region may be displayed at the second terminal device.
  • the ROI region to be cropped may be selected at the signal receiving apparatus and may be selected at the second terminal apparatus.
  • the video displayed on the second terminal device may be inserted into the PIP in the signal receiving device.
  • the signal transmission apparatus may transmit crop coordinates, numbers of the ROI target to be cropped, and screen configuration information together with the UHD video stream. For example, if a soccer match video is transmitted as shown in FIG. 3, the video for the home team is numbered 1, the video for the away team is numbered 2, or the information for the main players is numbered 3, 4, and the like. Can be sent with crop coordinates.
  • the ROI region may be directly selected by the user in the signal receiving apparatus or the second terminal apparatus based on crop coordinates and numbers.
  • the apparatus for receiving a signal may display a UI including a list of selectable ROI regions, and transmit and display the ROI region selected by the user to the second terminal device.
  • the second terminal apparatus may display a UI including a selectable ROI region list, and receive and display the ROI region selected by the user from the signal receiving apparatus.
  • the signal receiving apparatus may display a crop region on the displayed video and select the ROI region according to a selection command input through a remote controller or the like.
  • the crop region may be displayed by being divided into colors and the like.
  • the second terminal device transmits its information to the signal receiving device, and the signal receiving device uncompressed the video according to the specifications of the second terminal device or the capacity of the interface connecting the device.
  • the interface may be HDMI, WiHD, WiGig, Wireless Display, HDBaseT, or the like.
  • pillarbox or letterbox may be inserted as described above, and the predetermined region may be left as a space for executing additional apps.
  • coordinates for cropping a plurality of ROI regions and numbers and configuration information for aligning ROIs may be transmitted together in the UHD video.
  • the ROI area may be selected by the user based on the transmitted information, and the selected ROI area may be displayed at the second terminal device.
  • the characteristic of the second terminal device may be displayed by being displayed as a divided profile or level.
  • FIG. 4 is a flowchart of a method of displaying a cropped video in a second terminal device according to another exemplary embodiment.
  • the signal receiving apparatus may receive signaling information including cropping information such as a stream and crop coordinates including UHD video data from the signal transmitting apparatus.
  • the apparatus for receiving a signal may demultiplex the signaling information including the stream and crop information including the received video data in operation S203.
  • the signal receiving apparatus may decode the demultiplexed signaling information and the video data included in the video stream (S205).
  • the signal receiving apparatus may extract information on the crop region from the decoded signaling information.
  • the signal receiving device may determine whether to transmit data to a second terminal device (S207).
  • the zoom mode may be a mode in which the ROI area is cropped and displayed. If it is determined that the signal reception device is not in the zoom mode, the signal reception device may ignore the crop coordinates (S213).
  • the 16: 9 signal receiving device UHDTV or main screen device may display the UHD video data ignoring the crop coordinates (S215).
  • the signal receiving apparatus may select a crop region (S217).
  • the selection of the crop region may be performed according to a user's selection command.
  • the signal receiving apparatus may crop and scale the ROI region (S220).
  • the signal receiving apparatus may crop, scale, and output the ROI region by applying cropped coordinates.
  • the signal receiving apparatus may determine whether to convert the video data (S223).
  • the signal receiving device may receive level information from the second terminal device before determining whether to convert (S225).
  • the signal receiving apparatus may determine whether to convert the video data based on the received level information.
  • the signal reception device may convert values related to frame rate, bitdepth, and chroma sampling by detecting the maximum displayable specification and interface information of the second terminal device (S227).
  • the signal receiving apparatus may perform frame dropping by detecting the maximum specification and interface information that can be displayed on the second terminal device.
  • the signal receiving apparatus may select one crop region from among the plurality of regions (S230). For example, the signal receiving apparatus may display a UI for selecting a desired area and receive a selection command from the user. Alternatively, the second terminal device may display a UI for selecting a desired area and receive a selection command from the user. In some cases, the signal receiving apparatus displays an area that can be cropped in the screen and selects one crop area according to a user's selection command using a remote controller or the like.
  • the signal receiving apparatus may crop the selected ROI region using crop coordinate information (S233).
  • the signal reception device may determine whether the screen ratio Device_AR of the second terminal device is the same as the screen ratio ROI_AR of the cropped ROI region (S235).
  • the aspect ratio of the second terminal device may be determined using the resolution information transmitted from the second terminal device.
  • the aspect ratio of the cropped ROI region may be calculated from crop information transmitted from the signal transmission apparatus.
  • the signal receiving device may transmit the decoded and cropped video data to the second terminal device through the interface.
  • the second terminal device may output the received video data as it is.
  • the signal receiving apparatus may determine the aspect ratio relationship. For example, the magnitude ratio of the aspect ratio may be determined based on the wideness (S237).
  • the signal receiving device may determine whether the AFD bar is applied (S240). For example, Device_AR may be 21: 9 and ROI_AR may be 16: 9. If it is determined that the signal receiving apparatus applies the AFD bar, the pillarbox may be inserted into left and right sides of the cropped video (S243). If it is determined that the signal reception apparatus does not apply the AFD bar, the specific coordinate of the second terminal device may be set as the reference coordinate of the video data (S245). For example, the video can be shifted to one side and displayed, and the remaining space can be allocated as space for additional app execution.
  • the signal receiving device may determine whether the AFD bar is applied (S247). For example, Device_AR may be 4: 3 and ROI_AR may be 16: 9. If it is determined that the signal receiving apparatus applies the AFD bar, the letterbox may be inserted into upper and lower sides of the cropped video (S250). If it is determined that the signal reception apparatus does not apply the AFD bar, the specific coordinate of the second terminal device may be set as the reference coordinate of the video data (S253). For example, the video can be shifted to one side and displayed, and the remaining space can be allocated as space for additional app execution.
  • the signal reception device may transmit the decoded and cropped video to the second terminal device through the interface.
  • the second terminal device can display the received cropped video.
  • the video of the ROI area selected by the user among a plurality of ROI areas that can be cropped may be transmitted to the second terminal device.
  • Terminal devices that cannot decode UHD video can also receive and display decoded and cropped video through an interface.
  • the signal receiving apparatus may recognize a video specification suitable for the second terminal apparatus through information transmitted from the second terminal apparatus.
  • the signal receiving apparatus may transmit a video corresponding to a suitable profile and level to the second terminal apparatus.
  • FIG. 5 is a diagram illustrating a method of configuring crop video to be transmitted to a second terminal device according to an embodiment of the present invention.
  • the second terminal device may transmit information of the second terminal device to the signal receiving device (S305).
  • the signal receiving apparatus In order for the signal receiving apparatus to transmit the cropped video to the second terminal apparatus, there must be profile and level information displayable on the second terminal apparatus.
  • the level information may be defined in the same manner as the level used by the codec. That is, the level may be the same as the level defined in HEVC.
  • the video level defined in the HEVC specification is defined from 1 to 6.2 level, and level 1 refers to a specification capable of decoding QCIF (176 ⁇ 144) at 15 frames per second, and level 6.2 indicates 8K video. Defined to play at 120 frames per second.
  • the second terminal device may transmit a profile called a smartphone, level information called level 4 (Full HD, 30 frames), and aspect ratio information 4: 3 to a signal receiving device. That is, the signal reception device may receive display information of the second terminal device including aspect ratio information.
  • the signal receiving apparatus may receive information about the video from the signal transmitting apparatus (S310).
  • the received information about the video may include crop area resolution information of 1920 ⁇ 1080, crop video frame rate information of 120 frames, and crop area aspect ratio information of 16: 9. Therefore, since the cropped video is 120 frames in the signal receiving apparatus and the possible specification that can be displayed in the second terminal apparatus is 30 frames, frame rate conversion is required.
  • the signal receiving apparatus may crop the decoded video data by using the information about the extracted crop region.
  • the signal receiving apparatus may convert the frame rate (S315). For example, the signal receiving apparatus may convert 4 frames into 1 frame. Accordingly, frame dropping may occur.
  • the signal receiving apparatus may perform bit depth and chroma sub-sampling conversion as well as frame rate conversion (S320). That is, the signal receiving apparatus may convert the format of the video data based on the received display information of the second terminal apparatus.
  • the format of the video data may include at least one of frame rate, bitdepth, and chroma sampling.
  • the signal receiving apparatus may determine whether the aspect ratio of the second terminal apparatus and the aspect ratio of the cropped ROI region are the same (S325). If the aspect ratio of the second terminal device is equal to the aspect ratio of the cropped ROI area, the signal receiving device may transmit the cropped video data to the second terminal device through the interface. The second terminal device may output the received video data as it is (S330).
  • the signal reception device may determine the aspect ratio relationship (S335).
  • the signal receiving apparatus may determine whether to apply the AFD bar (S340).
  • the aspect ratio of the second terminal device may be 4: 3, and the aspect ratio of the cropped ROI region may be 16: 9.
  • the specific coordinate of the second terminal device may be set as the reference coordinate of the video data (S345).
  • the video can be shifted to one side and displayed, and the remaining space can be allocated as space for additional app execution.
  • the letterbox may be inserted into upper and lower sides of the cropped video (S350).
  • the signal receiving device may determine whether to apply the AFD bar (S355). For example, Device_AR may be 21: 9 and ROI_AR may be 16: 9. If it is determined that the signal receiving apparatus applies the AFD bar, the pillarbox may be inserted into left and right sides of the cropped video (S360). If it is determined that the signal reception apparatus does not apply the AFD bar, the specific coordinate of the second terminal device may be set as the reference coordinate of the video data (S345). For example, the video can be shifted to one side and displayed, and the remaining space can be allocated as space for additional app execution. That is, the signal receiving apparatus may compare the aspect ratio information of the second terminal device with the aspect ratio information of the crop region and insert the AFD bar into the preset region if it is not the same.
  • the signal receiving apparatus may compare the aspect ratio information of the second terminal device with the aspect ratio information of the crop region and insert the AFD bar into the preset region if it is not the same.
  • the signal receiving apparatus may transmit the cropped region of the decoded video data to the second terminal apparatus through the interface.
  • the second terminal device can display the received cropped video.
  • FIG. 6 is a diagram illustrating a method of reconstructing and displaying a plurality of cropped videos according to an exemplary embodiment.
  • each cropped area may be added to the entire screen and implemented in a PIP form.
  • the signal receiving apparatus may receive a plurality of coordinates from the signal transmitting apparatus which may crop several ROI regions.
  • the signal receiving apparatus may display a plurality of ROI regions at once.
  • the plurality of ROI areas may be an area previously selected by a user or all areas cropped. That is, the apparatus for receiving a signal can display a screen that is simultaneously processed at various points without closing a stream in a closed form at once.
  • Coordinates transmitted by the signal transmission device may be four or more or less. Even when the signal transmission device transmits four or more coordinates, the signal reception device may display four areas set as defaults and then change the display screen to the area selected by the user. Alternatively, the signal receiving apparatus may set the number and configuration of areas to be displayed according to the user setting. That is, the signal receiving apparatus may display N areas instead of four on one screen.
  • FIG. 7 is a flowchart illustrating a method of reconstructing and displaying a plurality of cropped videos according to an embodiment of the present invention.
  • the signal receiving apparatus may receive a UHD video stream and M crop coordinates, and when the user receives a multi-channel conversion command, divides the display screen into N pieces and closes and displays the ROI region.
  • the cropped ROI area may be set as the initial default and may be changed by the user.
  • the videos of the UHD video itself and N divided ROI regions may be changed and displayed.
  • the apparatus for receiving a signal may demultiplex the signaling information including the stream and crop information including the received video data (S410).
  • the signal receiving apparatus may decode the demultiplexed signaling information and the video data included in the video stream (S420).
  • the apparatus for receiving a signal may decode signaling information including a UHD video stream and four crop coordinates.
  • the crop coordinates can be four or more or less.
  • the number of crop coordinates may be determined in the signal transmission apparatus.
  • the crop information may include numbering information for aligning a plurality of crop coordinates.
  • the signal receiving apparatus may extract information on the crop region from the decoded signaling information.
  • the information about the crop region may include numbering information for aligning a plurality of crop coordinates when at least one crop coordinate and a plurality of crop coordinates are included.
  • the signal receiving apparatus may select a crop region and arrange the number using the numbering information (S430).
  • the signal receiving apparatus may determine whether the multi channel mode is present (S440). In the multi-channel mode, the signal receiving apparatus may crop and display the 16: 9 HD screen using the received M crop coordinates (S450). The signal receiving apparatus may display the N cropped crop region video in a designated area of the screen of the signal receiving apparatus. That is, the signal receiving apparatus may crop at least one region of the decoded video data by using the information about the extracted crop region. When the aspect ratio of the display unit is 16: 9, the signal receiving apparatus may divide the display unit and display the video of at least one cropped area in the designated area.
  • the signal reception apparatus may display only the UHD video while ignoring the crop coordinates (S460).
  • the signal receiving apparatus receives coordinates that can crop the ROI area, and divides the ROI area into multiple zoomed-in ROI areas cropped to the same size among UHD videos to display the divided ROI area videos. Can be.
  • the signal receiving device may display the specific video portion without additional channel assignment.
  • FIG. 8 is a diagram illustrating a method of displaying a cropped video in a surplus region of a 21: 9 signal receiving apparatus according to an exemplary embodiment.
  • FIG. 8 there is shown a signal receiving apparatus displaying a crop area simultaneously with a full screen.
  • the signal receiving apparatus illustrated in FIG. 8 may efficiently use a display area having a 21: 9 aspect ratio.
  • the cropped image may be provided in a PIP form.
  • the pillarbox may be inserted at the left and right sides or the image may be scaled to crop the upper and lower regions.
  • the signal receiving apparatus does not need to insert a 16: 9 pillarbox / letterbox or crop an entire image.
  • the signal receiving apparatus may display 16: 9 video from the upper left or upper right and insert the cropped and close-up video by using crop coordinates in the remaining area.
  • the crop region may be selected through a check box in the surplus region in the signal receiving apparatus as in the first method. And, the crop region may be selected by the user through the scroll bar as in the method 2. In addition, the crop region may be selected by clicking on a portion of the UHD main video output using a remote controller or dragging to the surplus region as in Method 3.
  • the 21: 9 signal receiving device may display 16: 9 video and crop the ROI area zoomed in to the surplus area into which the pillarbox was inserted. That is, the signal receiving apparatus can efficiently use the display surplus area without a separate decoder.
  • FIG. 9 is a flowchart illustrating a method of displaying a cropped video in an excess area of a 21: 9 signal receiving apparatus according to an embodiment of the present invention.
  • the signal receiving apparatus may demultiplex signaling information including stream and crop information including the received video data in operation S510.
  • the signal receiving apparatus may decode the demultiplexed signaling information and the video data included in the video stream (S520).
  • the signal receiving apparatus may decode signaling information including a UHD video stream and N crop coordinates. There may be more than N crop coordinates.
  • the number of crop coordinates may be determined in the signal transmission apparatus.
  • the crop information may include numbering information for aligning a plurality of crop coordinates.
  • the signal receiving apparatus may extract information on the crop region from the decoded signaling information. That is, the information about the crop region may include numbering information for aligning a plurality of crop coordinates when at least one crop coordinate and a plurality of crop coordinates are included.
  • the signal reception device may determine whether the main mode and the multi-channel simultaneous mode are present (S530). If the signal reception apparatus is not in the main mode and the multi-channel simultaneous mode, the signal reception apparatus may ignore the crop coordinates (S540). The signal receiving apparatus may insert the AFD bar (S550). The signal receiving apparatus may display a 16: 9 video having an AFD bar inserted therein in a 21: 9 display area (S560).
  • the signal receiving apparatus may select a crop region in the main and multi-channel simultaneous modes (S570). Selection of the crop region may use numbering information.
  • the signal receiving apparatus may crop the selected area (S580).
  • the signal receiving apparatus may crop at least one region of the decoded video data by using the information about the extracted crop region.
  • the signal receiving apparatus may arrange the 16: 9 video and the cropped ROI region using the screen configuration information (S590). For example, the signal receiving apparatus may display 16: 9 video from the upper left or upper right. The signal receiving apparatus may crop the N ROI regions using the coordinate information. The signal receiving apparatus may display the cropped video in the remaining area according to the reconstruction information received along with the coordinate information. That is, when the aspect ratio of the display area is 21: 9, the signal receiving apparatus divides the display area into a main area and an additional area so that the main area outputs decoded video data, and the additional area includes at least one cropped area. You can print
  • the signal receiving apparatus may receive a 16: 9 UHD video and a plurality of crop coordinates, and display an ROI region in a surplus region on the left or right side of the 21: 9 display region.
  • the ROI area may be selected by the user and may be changed by using a scroll bar or a checkbox.
  • the signal receiving apparatus may display the crop region even within the video screen, and the ROI region may be selected using a remote controller or the like.
  • the 16: 9 signal receiver may display only UHD video, ignoring crop coordinates and other information.
  • the present embodiment can efficiently use the display area of the 21: 9 signal receiving apparatus.
  • the signal transmission apparatus may transmit a video stream and crop coordinates, and may transmit screen configuration information using separate signaling information.
  • the signal transmission apparatus may transmit a video stream and crop coordinates, and transmit screen configuration information distinguished by ID according to an embodiment, and configure the screen by properly combining the signals in the signal receiving apparatus.
  • FIG. 10 is a diagram illustrating SEI signaling information according to an embodiment of the present invention.
  • the Supplemental Enhancement Information (SEI) message may include information necessary to reproduce a bit string of video data from the middle.
  • the SEI message may include information about the decoding start position and the display start image.
  • FIG. 10 only the basic information of the SEI message will be omitted and only a method of transmitting screen configuration information and crop coordinate information identified by ID will be described.
  • the codec stream may be configured as a network abstraction layer (NAL) for efficient transmission of video content.
  • the NAL may include a NAL unit and a payload.
  • Raw Byte Sequence Payload (RBSP) may be located in the payload.
  • UHD processing information may be received through the SEI RBSP. UHD processing information may be included in the video stream.
  • the signal receiving apparatus may parse the AVC or HEVC NAL unit.
  • the signal receiving apparatus may read the UHDTV composition info SEI message by checking whether the NAL unit type value corresponds to the SEI data and whether the payload type is 51.
  • the signal receiving apparatus may obtain UHD composition information and extraction information about the current video stream by decoding the UHDTV composition info.
  • the signal receiving apparatus may parse composition metadata to identify an additional screen composition. If not 1, the signal reception apparatus may operate arbitrarily by checking only the UHD program format type field according to the ID. Using this information, the signal receiving apparatus can recognize configuration information using UHD streams and coordinate information for cropping, and can transmit video data to the second terminal device.
  • FIG. 11 is a diagram illustrating a method of signaling cropped video information according to an embodiment of the present invention.
  • the cropped video information may include information indicating the number of crop regions and whether the first frame is the first frame, and may include information indicating reference coordinates of the crop region.
  • the cropped video information may include information representing a reference coordinate and a difference value.
  • extraction info metadata included in the screen composition information is as follows.
  • the num_of_crop_coordinates field represents the number of areas to be cropped. That is, if the signal transmission apparatus transmits four ROI areas, num_of_crop_coordinates becomes four.
  • the initial_random_access_frame field represents whether the first frame is decoded by a random access point (RAP). That is, when the initial_random_access_frame field is 1, it means the first frame.
  • the apparatus for transmitting a signal may transmit coordinate information only in the case of initial_random_access_frame using the initial_random_access_frame field value, and may transmit only a difference value among the coordinate information from a later frame.
  • the signal transmission apparatus may closely allocate the interval of initial_random_access_frame to transmit the correct crop_coordinate_x, y value. That is, the signal transmission apparatus may adjust a transmission interval of crop coordinate information.
  • the cropped_video_resolution field represents the resolution of the cropped region video.
  • the resolution may vary for the area being cropped.
  • aspect ratio information may be determined based on horizontal and vertical resolution information.
  • UHDTV may have a 1: 1 aspect ratio of pixels.
  • the initial_crop_coordinate_x and initial_crop_coordinate_y fields indicate the upper left coordinate value (or middle coordinate value of crop region or other edge coordinate value) for cropping in a rectangular form.
  • the initial_crop_coordinate_x and initial_crop_coordinate_y fields are required only when the initial_random_access_frame field is 1. That is, the signal reception device (sync device or UHDTV) may transmit and output only a designated area by using a coordinate field, and the remaining area may be cropped and discarded.
  • the diff_crop_coordinate_x and diff_crop_coordinate_y fields indicate difference values from the initial_crop_cordinate_x field and the initial_crop_coordinate_y field.
  • the signal transmission apparatus may transmit a difference value based on the values of the initial_crop_cordinate_x field and the initial_crop_coordinate_y field.
  • the signal transmission device may transmit a start point (or an intermediate point or an end point) of the crop region.
  • the diff_crop_coordinate_x field and the diff_crop_coordinate_y field may be transmitted every frame except the initial random access frame.
  • the signal receiving device (sync device or UHDTV) may transmit and output only a designated area using the coordinate difference value field, and the remaining area may be cropped and discarded.
  • the signal transmission apparatus may omit coordinate transmission for a specific ROI in the middle.
  • diff_crop_coordinate x and diff_crop_coordinate y may be regarded as 0. That is, the signal receiving device may maintain the same coordinates as the previous frame.
  • ROI can be extinguished and generated based on every RAP. That is, an ROI not specified at the time of the RAP is an ROI that does not exist.
  • the video signal output from the second terminal device may maintain the existing signal.
  • FIG. 12 is a diagram illustrating a method of signaling resolution information of a cropped video according to an embodiment of the present invention.
  • the cropped_video_resolution field represents the resolution of the cropped region video.
  • the resolution may vary for the area being cropped.
  • aspect ratio information may be determined based on horizontal and vertical resolution information.
  • UHDTV may have a 1: 1 aspect ratio of pixels.
  • the value of the cropped_video_resolution field is 0011, this may indicate that the resolution of the crop region is 640 ⁇ 480.
  • 0100 may indicate a resolution of 720 ⁇ 480.
  • 0101 may indicate a resolution of 720 ⁇ 576.
  • 0110 may indicate a resolution of 1024 ⁇ 768.
  • 0111 may indicate a resolution of 1280 ⁇ 720. 1000 indicates a resolution of 1920 ⁇ 1080.
  • FIG. 13 is a diagram illustrating a method of signaling information for displaying a cropped video in a second terminal device according to an embodiment of the present invention.
  • the apparatus for transmitting and receiving a signal may set a service type of displaying one cropped area in the second terminal device by cropping one area to 0x01. 13 illustrates an example of signaling information when a service type is selected as 0x01. Each field is explained as follows.
  • the 2nd device_profile field may include information on which device the second terminal device is.
  • the 2nd device_profile field may vary according to the type of the second terminal device.
  • the criteria for dividing the profile may be resolution. Alternatively, other criteria may apply.
  • the 2nd device_profile field may be set to a small screen profile for the Phone-1 type, a medium screen profile for the tablet-1 or phone-2 (high specification) type, or a large screen profile for the tablet-2 (high specification) type. .
  • the 2nd device_level field indicates a level that can be displayed on the second terminal device and a maximum level that can be transmitted on the interface.
  • the cropped_video_resolution field represents the resolution of the cropped region video.
  • the resolution may vary for the area being cropped.
  • aspect ratio information may be determined based on horizontal and vertical resolution information.
  • UHDTV may have a 1: 1 aspect ratio of pixels.
  • the cropped_video_resolution field may be the same as resolution information of extraction_info_metadata.
  • the cropped_video_frame_rate field may indicate the frame rate of the cropped video.
  • the num_of_dropping_frames field is a field for adjusting the frame rate through cropped_video_frame_rate information and level information received from the second terminal device. For example, if the frame rate of the cropped video is 120 Hz and the displayable level of the second terminal device is 1080p30, the signal receiving device may select a frame every 30/120 and transmit the frame to the second terminal device.
  • insert_AFDbar_flag is a flag that determines whether to insert pillarbox / letterbox. If 1, pillarbox / letterbox is inserted; if 0, pillarbox / letterbox is not inserted.
  • the AFDbar_size_2N field is a field related to the insertion of pillarbox / letterbox.
  • insert_AFDbar_flag 1
  • the signal reception apparatus may check the AFDbar_size_2N field and insert pillarbox / letterbox.
  • the signal receiving device inserts AFDbar_size_2N by dividing the value of AFDbar_size_2N by 2 from the point where the y-axis of the display screen is 0, and starts from the point where the y-axis value of the display screen is ⁇ display screen y-axis size-(AFDbar_size_2N) / 2 ⁇ . You can insert / letterbox.
  • the display_starting_point field may indicate the point where the video starts. If insert_AFDbar_flag is 1, the point whose y-axis value is (AFDbar_size_2N) / 2 becomes display_starting_point, and if 0, the point whose y-axis is 0 becomes display_starting_point.
  • FIG. 14 is a diagram illustrating a method of signaling information for display in a second terminal device when there are a plurality of cropped videos according to an embodiment of the present invention.
  • the signal transceiving apparatus may set a service type of cropping one area of the plurality of areas and displaying the cropped area in the second terminal device as 0x02. 14 illustrates an example of signaling information when a service type is selected as 0x02. Each field is explained as follows.
  • the 2nd device_profile field may include information on which device the second terminal device is.
  • the 2nd device_profile field may vary according to the type of the second terminal device.
  • the criteria for dividing the profile may be resolution. Alternatively, other criteria may apply.
  • the 2nd device_profile field may be set to a small screen profile for the Phone-1 type, a medium screen profile for the tablet-1 or phone-2 (high specification) type, or a large screen profile for the tablet-2 (high specification) type. .
  • the 2nd device_level field indicates a level that can be displayed on the second terminal device and a maximum level that can be transmitted on the interface.
  • the cropped_video_frame_rate field may indicate the frame rate of the cropped video.
  • the num_of_dropping_frames field is a field for adjusting the frame rate through cropped_video_frame_rate information and level information received from the second terminal device. For example, if the frame rate of the cropped video is 120 Hz and the displayable level of the second terminal device is 1080p30, the signal receiving device may select a frame every 30/120 and transmit the frame to the second terminal device.
  • the num_of_crop_coordinates field represents the number of areas to be cropped. That is, if the signal transmission apparatus transmits four ROI areas, num_of_crop_coordinates becomes four.
  • the num_of_crop_coordinates field may be identical to the information of extraction_info_metadata.
  • the cropped_video_resolution field represents the resolution of the cropped region video.
  • the resolution may vary for the area being cropped.
  • aspect ratio information may be determined based on horizontal and vertical resolution information.
  • UHDTV may have a 1: 1 aspect ratio of pixels.
  • the cropped_video_resolution field may be the same as resolution information of extraction_info_metadata.
  • insert_AFDbar_flag is a flag that determines whether to insert pillarbox / letterbox. If 1, pillarbox / letterbox is inserted; if 0, pillarbox / letterbox is not inserted.
  • the AFDbar_size_2N field is a field related to the insertion of pillarbox / letterbox.
  • insert_AFDbar_flag 1
  • the signal reception apparatus may check the AFDbar_size_2N field and insert pillarbox / letterbox.
  • the signal receiving device inserts AFDbar_size_2N by dividing the value of AFDbar_size_2N by 2 from the point where the y-axis of the display screen is 0, and starts from the point where the y-axis value of the display screen is ⁇ display screen y-axis size-(AFDbar_size_2N) / 2 ⁇ . You can insert / letterbox.
  • the display_starting_point field may indicate the point where the video starts. If insert_AFDbar_flag is 1, the point whose y-axis value is (AFDbar_size_2N) / 2 becomes display_starting_point, and if 0, the point whose y-axis is 0 becomes display_starting_point.
  • 15 is a diagram illustrating a method of signaling information for reconstructing and displaying a plurality of cropped videos according to an embodiment of the present invention.
  • the signal transceiving apparatus may set the service type displayed by the signal receiving apparatus to 0x03 by cropping at least one area and reconstructing the cropped image.
  • 15 shows an example of signaling information when a service type is selected as 0x03. Each field is explained as follows.
  • the multi_channel_mode field represents whether to switch to multichannel.
  • the signal receiving apparatus may display the cropped video when there is an input for switching to the multi channel mode. If there is no command to switch to the multi-channel mode, the signal receiving apparatus may ignore and display the crop coordinates.
  • the cropped_video_resolution field represents the resolution of the cropped region video.
  • the resolution may vary for the area being cropped.
  • aspect ratio information may be determined based on horizontal and vertical resolution information.
  • UHDTV may have a 1: 1 aspect ratio of pixels.
  • the cropped_video_resolution field may be the same as information of extraction_info_metadata.
  • the num_of_crop_coordinates field may be the same as num_of_crop_coordinates of UHD_2nd device_composition_metadata () of FIG. 13. That is, because it means the number of all cropped regions, candidates may also be included. It may also mean a priority when the cropped area is displayed.
  • the num_of_ROI_regions field may mean the number of ROI regions to be displayed at one time in the signal receiving apparatus.
  • the display_starting_point field may indicate a starting point so that cropped videos may be divided and displayed in the signal receiving apparatus.
  • the ROI_region_priority field may assign priority to each ROI region.
  • An ROI region to be displayed among the plurality of ROIs may be selected. For example, when num_of_ROI_regions is 4, an ROI region having ROI_region_priority of 1-4 among a plurality of ROI regions may be displayed.
  • FIG. 16 is a diagram illustrating a method of signaling information for displaying a cropped video in an excess area of a 21: 9 signal receiving apparatus according to an embodiment of the present invention.
  • the signal transceiving device may set a service type for displaying both the main video and the crop video to 0x04.
  • 16 illustrates an example of signaling information when a service type is selected as 0x04. Each field is explained as follows.
  • the num_of_crop_coordinates field represents the number of areas to be cropped. That is, if the signal transmission apparatus transmits four ROI areas, num_of_crop_coordinates becomes four.
  • the num_of_crop_coordinates field may be identical to the information of extraction_info_metadata.
  • the num_of_ROI_regions field may mean the number of ROI regions to be displayed at one time in the signal receiving apparatus.
  • 21_9_display_flag indicates whether or not an image is to be finally composed of an image to be displayed on a 21: 9 screen.
  • the cropped_video_resolution field represents the resolution of the cropped region video.
  • the resolution may vary for the area being cropped.
  • aspect ratio information may be determined based on horizontal and vertical resolution information.
  • UHDTV may have a 1: 1 aspect ratio of pixels.
  • the cropped_video_resolution field may be the same as information of extraction_info_metadata.
  • the display_starting_point field may indicate a starting point so that cropped videos may be divided and displayed in the signal receiving apparatus.
  • the number of regions may be allocated instead of the display_starting_point field and signaled as display_section_number.
  • the ROI_region_priority field may assign priority to each ROI region.
  • An ROI region to be displayed among the plurality of ROIs may be selected. For example, when num_of_ROI_regions is 4, an ROI region having ROI_region_priority of 1-4 among a plurality of ROI regions may be displayed.
  • 17 and 18 are diagrams illustrating an embodiment of a PES packet.
  • the signal receiving apparatus may recover the original data by collecting TS packets having the same PID.
  • the signal receiving apparatus may extract video ES data from the PES when the original data is the PES.
  • FIG. 17 shows that when multiple videos are extracted from one stream, the sync of each video can be matched through a signal of a PTS or a DTS included in a PES packet.
  • packet_start_code_prefix is a 24-bit field indicating the start of a PES packet.
  • the stream_id is an 8-bit field that identifies the type of ES transmitted to the PES.
  • PES_packet_length is a 16-bit field that indicates the number of bytes of data that follows.
  • PES_scrambling_control is a 2-bit field and indicates whether to scramble PES packet payload.
  • PTS_DTS_flags indicates whether PTS or DTS information is included in the PES. If PTS_DTS_flags is 10, PTS information is present in the PES packet header. If PTS_DTS_flags is 11, PTS information and DTS information exist in the packet header. If PTS_DTS_flags is 00, nothing exists. The value 01 is not used.
  • PES_extension_flag indicates whether to extend the PES. If PES_extension_flag is 1, the PES extension is present in the PES packet header. PES_extension_flag is for grasping PES_private_data_flag.
  • PES_header_data_length is an 8-bit field indicating the total number of bytes of optional information following.
  • the DTS may determine whether the initial frame corresponds to random_accss_point as information on the time of actual decoding.
  • marker_bit is 1 bit and is used to check data validity.
  • PES_private_data is a 16-byte field and may contain private data.
  • the apparatus for transmitting a signal may include crop region extraction information (eg, extraction_info_metadata) of configuration information (eg, UHDTV_composition_info (payloadSize)) included in the SEI message described with reference to FIG. 10 and screen configuration information for each service type described in FIGS. 13 to 16. , UHD_XX_composition_metadata), and the like may be transmitted as private_data.
  • 19 is a diagram illustrating a method of processing and displaying a cropped video according to an embodiment of the present invention.
  • the signal receiving apparatus may receive signaling information including cropping information such as a stream and crop coordinates including UHD video data from the signal transmitting apparatus.
  • the apparatus for receiving a signal may demultiplex the signaling information including the stream and crop information including the received video data in operation S603.
  • the signal receiving apparatus may decode the demultiplexed signaling information and the video data included in the video stream (S605).
  • the signaling information may include video configuration information.
  • the signal receiving apparatus may parse video configuration information from the signaling information (S607).
  • the video configuration information may include a service type and crop information to be displayed.
  • the signal receiving apparatus may extract information on the crop region from the decoded signaling information.
  • the signal receiving device may determine whether data is transmitted to a second terminal device (S610). If it is determined that the signal receiving apparatus transmits data to the second terminal apparatus, the signal receiving apparatus may determine whether to convert the video data (S615). The signal receiving apparatus may receive level information from the second terminal apparatus before determining whether to convert (S613). The signal receiving apparatus may determine whether to convert the video data based on the received level information. The signal receiving apparatus may convert values related to frame rate, bitdepth, and chroma sampling by detecting the maximum displayable specification and interface information of the second terminal device (S617).
  • the signal receiving apparatus may select at least one crop region from among the plurality of regions (S620). For example, the signal receiving apparatus may display a UI for selecting a desired area and receive a selection command from the user. Alternatively, the second terminal device may display a UI for selecting a desired area and receive a selection command from the user. In some cases, the signal receiving apparatus displays an area that can be cropped in the screen and selects one crop area according to a user's selection command using a remote controller or the like.
  • the signal receiving apparatus may crop the selected ROI region using crop coordinate information (S623).
  • the signal receiving apparatus may determine whether the aspect ratio Device_AR of the second terminal device and the aspect ratio ROI_AR of the cropped ROI area are the same (S625).
  • the aspect ratio of the second terminal device may be determined using the resolution information transmitted from the second terminal device.
  • the aspect ratio of the cropped ROI region may be calculated from crop information transmitted from the signal transmission apparatus.
  • the signal receiving device may transmit the decoded and cropped video data to the second terminal device through the interface.
  • the second terminal device may output the received video data as it is.
  • the signal receiving apparatus may insert an AFD bar or allocate an additional execution as a space (S627).
  • the signal reception device may transmit the decoded and cropped video to the second terminal device through the interface.
  • the second terminal device can display the received cropped video.
  • the crop region may be selected in operation S630.
  • the crop region may be selected after the multi-channel mode is selected (S637), or the crop region may be selected (S650) after the main and multi-channel modes are selected. have.
  • the signal receiving apparatus may check whether the display screen is 21: 9 (S633). If the aspect ratio is not 21: 9, the signal receiving apparatus may determine whether the multi channel mode is present (S635). In the multi-channel mode, the signal receiving apparatus may crop and display the 16: 9 HD screen using the received M crop coordinates (S640). The signal receiving apparatus may display the N cropped crop region video in a designated area of the screen of the signal receiving apparatus.
  • the signal reception apparatus may ignore the crop coordinates (S643).
  • the signal receiving apparatus may display only 16: 9 UHD video (S645).
  • the signal receiving apparatus may determine whether the main and multi-channel simultaneous modes are present (S647). If the signal reception apparatus is not in the main and multi-channel simultaneous mode, the signal reception apparatus may ignore the crop coordinates (S653). The signal receiving apparatus may insert the AFD bar (S655). The signal receiving apparatus may display 16: 9 video having the AFD bar inserted therein in the 21: 9 display area (S657).
  • the signal receiving apparatus may select and crop an area in the main and multi-channel simultaneous modes (S660).
  • the signal receiving apparatus may arrange the 16: 9 video and the cropped ROI region using the screen configuration information (S663).
  • 20 is a flowchart illustrating a control method of a signal transmission apparatus according to an embodiment of the present invention.
  • the signal transmission apparatus may encode video data (S1010).
  • the signal transmission apparatus may set a crop region among the video data and generate signaling information including information about the crop region (S1020).
  • the signaling information may include video configuration information.
  • the video configuration information may include crop information and display service type information.
  • the crop information may be crop coordinates, crop numbers, initial start coordinates, difference values of coordinates, and the like.
  • the display service type information may be one of a service for transmitting a crop region to the second terminal device, a service for reconfiguring and displaying only the crop region, and a service for simultaneously displaying the main video and the crop video.
  • the signal transmission apparatus may multiplex the encoded video data and the signaling information and transmit the multiplexed video data and the signaling information (S1030).
  • S1030 multiplexed video data and the signaling information
  • 21 is a flowchart illustrating a control method of a signal receiving apparatus according to an embodiment of the present invention.
  • the signal receiving apparatus may demultiplex a stream including video data and signaling information (S1110).
  • the signal receiving apparatus may decode the demultiplexed signaling information and video data in operation S1120.
  • the signaling information may include video configuration information.
  • the video configuration information may include crop information and display service type information.
  • the signal receiving apparatus may extract information on the crop region from the decoded signaling information (S1130).
  • the signal receiving apparatus may crop the video using the extracted crop information.
  • the signal reception device may display the cropped area according to the service type information or transmit the cropped area to the second terminal device.
  • 22 is a block diagram of a signal transmission apparatus according to one embodiment of the present invention.
  • the signal transmission apparatus includes an encoder 110, a signaling information generator 120, a multiplexer 130, and a communicator 140.
  • Encoder 110 may encode video data.
  • the signaling information generation unit 120 may set a crop region of the video data and generate signaling information including information about the crop region. Meanwhile, the encoder 110 and the signaling information generator 120 may be included in a controller (not shown).
  • the signaling information may include video configuration information and information according to a display service type.
  • the video configuration information may include information about the crop.
  • the information on the crop region may include information indicating the number of crop regions and whether the first frame is the first frame, and may include information indicating a reference coordinate of the crop region or information indicating a reference value and a difference value.
  • the signaling information may further include information about an AFD bar to be inserted into the video.
  • the multiplexer 130 may multiplex the encoded video data and the signaling information.
  • the communicator 140 may transmit multiplexed video data and signaling information.
  • FIG. 23 is a block diagram of a signal receiving apparatus according to an embodiment of the present invention.
  • a signal receiving apparatus includes a demultiplexer 210, a signaling information decoder 220, a controller 230, a video decoder 240, and a display 250.
  • the demultiplexer 210 may demultiplex a stream including signaling data and signaling information.
  • the signaling information decoder 220 may decode the demultiplexed signaling information.
  • Video decoder 230 may decode video data within the demultiplexed video stream.
  • the controller 240 may extract information about the crop region from the decoded signaling information.
  • the information on the crop region may include information indicating the number of crop regions and whether the first frame is the first frame, and may include information indicating a reference coordinate of the crop region or information indicating a reference value and a difference value.
  • the controller 240 may crop the decoded video data using information on the extracted crop region.
  • the crop region may be identified using the initial coordinates, and may be identified using the difference value in subsequent frames.
  • the crop area may be set in plural.
  • the controller 240 may compare the received aspect ratio information with the aspect ratio of the crop region, and insert the AFD bar into the preset region if it is not the same. Alternatively, the controller may set a video to be displayed as a specific area and set an additional app space for the remaining area.
  • the controller 240 may convert the format of the video data based on the received display information of the second terminal device.
  • the format of the video data may include at least one of frame rate, bitdepth, and chroma sampling.
  • the controller 240 may control the display unit 250 to output a selection screen for selecting at least one crop area from the plurality of crop areas.
  • the controller 240 may control to transmit the selected crop area to the second terminal device, or may control to reconfigure and display the screen.
  • the controller 240 crops at least one region of the decoded video data by using information on the extracted crop region, and when the aspect ratio of the display unit 250 is 16: 9, divides the display unit 250. Control to output at least one cropped area.
  • the controller 240 crops at least one region of the decoded video data by using the extracted crop region information.
  • the controller 240 mains the display unit 250.
  • the main region outputs decoded video data by dividing the region into the additional region, and the additional region may be controlled to output at least one cropped region.
  • the display unit 250 may display the received video.
  • the signal receiving apparatus may further include a communication unit (not shown).
  • the communication unit may receive display information of the second terminal device including the aspect ratio information.
  • the display information may mean a maximum display specification of the second terminal device.
  • the display specification can be resolution, frame rate, and the like.
  • the communication unit may be HDMI, WiHD, WiGig, Wireless Display, HDBaseT, or the like.
  • the interface may be represented to distinguish the broadcast signal from the broadcast signal communication unit.
  • the communication unit may transmit the cropped region of the decoded video data to the second terminal device.
  • the signal transmitting and receiving device and the method for controlling the signal transmitting and receiving device according to the present invention are not limited to the configuration and method of the above-described embodiments, the above embodiments may be modified in various ways so that various modifications can be made. All or part may be optionally combined.
  • the present invention has industrial applicability which is usable and repeatable in the field of broadcast and video signal processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

신호 송수신 장치 및 신호 송수신 장치의 제어 방법이 개시된다. 신호 수신 장치의 제어 방법은 비디오 데이터를 포함하는 스트림과 시그널링 정보를 역다중화하는 단계, 역다중화된 시그널링 정보 및 비디오 데이터를 복호화하는 단계 및 복호화된 시그널링 정보에서 크롭 영역에 대한 정보를 추출하는 단계를 포함한다. 신호 수신 장치는 비디오 데이터를 포함하는 스트림과 시그널링 정보를 역다중화하는 역다중화부, 역다중화된 시그널링 정보를 복호하는 시그널링 정보 복호부, 역다중화된 비디오 스트림 내의 비디오 데이터를 디코딩하는 비디오 디코더, 복호화된 시그널링 정보에서 크롭 영역에 대한 정보를 추출하는 제어부 및 디스플레이부를 포함한다.

Description

신호 송수신 장치 및 신호 송수신 장치의 제어 방법
본 발명은 신호 송수신 장치 및 신호 송수신 장치의 제어 방법에 관한 것이다.
비디오 신호 처리 속도가 빨라지면서 초고해상도(Ultra High Definition; UHD) 비디오를 송수신하는 기술이 연구되고 있다. UHD 비디오는 기존의 HD 비디오에 비해 넓은 영역이 촬영되어 해상도가 높다. UHD 비디오는 해상도가 높기 때문에 더 큰 화면의 수신 장치를 이용하여 디스플레이할 수 있다. 또한, 통신 및 전자 기술의 발전에 따라 휴대 가능한 개인용 단말 장치가 보급되고 있으며 제2 단말 장치에 대한 관심이 높아지고 있다.
기존의 SI(System Information) 표준은 UHD 방송 서비스 시나리오를 포함하지 않는다. 그러나, UHD 비디오를 개인용 단말 장치와 같은 제2 단말 장치에서 디스플레이할 수 있는 방법, UHD 비디오 데이터를 이용하여 대화면의 수신 장치의 화면을 구성하는 방법 등에 대한 필요성이 존재한다.
따라서, UHD 비디오 내에서 ROI(Region Of Interest) 영역을 크롭(crop)하여 스마트폰이나 태블릿과 같은 제2 단말 장치에서 디스플레이할 수 있는 시그널링 정보가 필요하다. 또한, 크롭된 ROI 영역을 재구성하여 디스플레이하거나 UHD 비디오와 화면비가 다른 신호 수신 장치가 잉여 영역을 처리할 수 있는 시그널링 정보가 필요하다.
본 발명은 UHD 비디오의 일부 영역을 크롭(crop)하여 제2 단말 장치(2nd device)에서 디스플레이할 수 있는 신호 송수신 장치 및 신호 송수신 장치의 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 본 발명은 복수의 크롭된 영역을 이용하여 화면을 재구성할 수 있는 신호 송수신 장치 및 신호 송수신 제어 방법을 제공하는 것이다.
본 발명의 다른 목적은 본 발명은 화면비가 21:9인 디스플레이 장치의 잉여 영역에 추가 비디오를 디스플레이할 수 있는 신호 송수신 장치 및 신호 송수신 장치의 제어 방법을 제공하는 것이다.
상술한 목적을 달성하기 위한 일 실시 예로서, 신호 수신 장치의 제어 방법은 비디오 데이터를 포함하는 스트림과 시그널링 정보를 역다중화하는 단계, 상기 역다중화된 시그널링 정보 및 상기 비디오 데이터를 복호화하는 단계 및 상기 복호화된 시그널링 정보에서 크롭 영역에 대한 정보를 추출하는 단계를 포함한다.
그리고, 상기 크롭 영역에 대한 정보는 크롭 영역 개수 및 첫번째 프레임인지 여부를 나타내는 정보를 포함하고, 크롭 영역의 기준 좌표를 나타내는 정보 또는 상기 기준 좌표와 차이 값을 나타내는 정보를 포함할 수 있다.
한편, 신호 수신 장치의 제어 방법은 화면 비율(Aspect Ratio) 정보를 포함하는 제2 단말 장치의 디스플레이 정보를 수신하는 단계, 상기 추출된 크롭 영역에 대한 정보를 이용하여 상기 디코딩된 비디오 데이터를 크롭하는 단계 및 상기 디코딩된 비디오 데이터의 크롭된 영역을 상기 제2 단말 장치로 전송하는 단계를 더 포함할 수 있다.
그리고, 신호 수신 장치의 제어 방법은 상기 수신된 화면 비율 정보와 상기 크롭 영역의 화면 비율을 비교하여 동일하지 않으면 기 설정된 영역에 AFD bar를 삽입하는 단계를 더 포함할 수 있다.
또한, 신호 수신 장치의 제어 방법은 상기 수신된 제2 단말 장치의 디스플레이 정보를 기초로 상기 비디오 데이터의 포맷을 변환하는 단계를 더 포함할 수 있다.
한편, 상기 비디오 데이터의 포맷은 프레임 레이트(frame rate), 비트뎁스(bitdepth) 및 크로마 샘플링(chroma sampling) 중 적어도 하나를 포함할 수 있다.
한편, 신호 수신 장치의 제어 방법은 상기 크롭 영역은 복수 개 존재하며, 상기 복수 개 크롭 영역 중 하나의 크롭 영역을 선택할 수 있는 선택 화면을 출력하는 단계를 더 포함할 수 있다.
그리고, 신호 수신 장치의 제어 방법은 상기 추출된 크롭 영역에 대한 정보를 이용하여 상기 디코딩된 비디오 데이터의 적어도 하나의 영역을 크롭하는 단계 및 디스플레이부의 화면 비율이 16:9인 경우, 상기 디스플레이부를 분할하여 상기 크롭된 적어도 하나의 영역을 디스플레이하는 단계를 더 포함할 수 있다.
또한, 신호 수신 장치의 제어 방법은 상기 추출된 크롭 영역에 대한 정보를 이용하여 상기 디코딩된 비디오 데이터의 적어도 하나의 영역을 크롭하는 단계 및 상기 디코딩된 비디오 데이터 및 상기 적어도 하나의 크롭된 영역을 출력하는 단계를 더 포함하고, 상기 출력하는 단계는 디스플레이부의 화면 비율이 21:9인 경우, 상기 디스플레이부를 메인 영역과 부가 영역으로 분할하여 메인 영역은 상기 디코딩된 비디오 데이터를 출력하고, 상기 부가 영역은 상기 적어도 하나의 크롭된 영역을 출력할 수 있다.
상술한 목적을 달성하기 위한 일 실시 예로서, 신호 송신 장치의 제어 방법은 비디오 데이터를 인코딩하는 단계, 상기 비디오 데이터 중 크롭 영역을 설정하고, 상기 크롭 영역(crop)에 대한 정보를 포함하는 시그널링 정보를 생성하는 단계 및 상기 인코딩된 비디오 데이터 및 상기 시그널링 정보를 다중화하고, 상기 다중화된 비디오 데이터와 시그널링 정보를 전송하는 단계를 포함할 수 있다.
상술한 목적을 달성하기 위한 일 실시 예로서, 신호 수신 장치는 비디오 데이터를 포함하는 스트림과 시그널링 정보를 역다중화하는 역다중화부, 상기 역다중화된 시그널링 정보를 복호하는 시그널링 정보 복호부, 상기 역다중화된 비디오 스트림 내의 비디오 데이터를 디코딩하는 비디오 디코더, 상기 복호화된 시그널링 정보에서 크롭 영역에 대한 정보를 추출하는 제어부 및 디스플레이부를 포함한다.
그리고, 상기 크롭 영역에 대한 정보는 크롭 영역 개수 및 첫번째 프레임인지 여부를 나타내는 정보를 포함하고, 크롭 영역의 기준 좌표를 나타내는 정보 또는 상기 기준 좌표와 차이 값을 나타내는 정보를 포함할 수 있다.
한편, 신호 수신 장치는 화면 비율(Aspect Ratio) 정보를 포함하는 제2 단말 장치의 디스플레이 정보를 수신하는 통신부를 더 포함하고, 상기 제어부는 상기 추출된 크롭 영역에 대한 정보를 이용하여 상기 디코딩된 비디오 데이터를 크롭하며, 상기 통신부는 상기 디코딩된 비디오 데이터의 크롭된 영역을 상기 제2 단말 장치로 전송할 수 있다.
한편, 상기 제어부는 상기 수신된 화면 비율 정보와 상기 크롭 영역의 화면 비율을 비교하여 동일하지 않으면 기 설정된 영역에 AFD bar를 삽입할 수 있다.
그리고, 상기 제어부는 상기 수신된 제2 단말 장치의 디스플레이 정보를 기초로 상기 비디오 데이터의 포맷을 변환할 수 있다.
한편, 상기 비디오 데이터의 포맷은 프레임 레이트(frame rate), 비트뎁스(bitdepth) 및 크로마 샘플링(chroma sampling) 중 적어도 하나를 포함할 수 있다.
그리고, 상기 크롭 영역은 복수 개 존재하며, 상기 제어부는 상기 복수 개 크롭 영역 중 하나의 크롭 영역을 선택할 수 있는 선택 화면을 출력하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는 상기 추출된 크롭 영역에 대한 정보를 이용하여 상기 디코딩된 비디오 데이터의 적어도 하나의 영역을 크롭하고, 상기 디스플레이부의 화면 비율이 16:9인 경우, 상기 디스플레이부를 분할하여 상기 크롭된 적어도 하나의 영역을 출력하도록 제어할 수 있다.
또한, 상기 제어부는 상기 추출된 크롭 영역에 대한 정보를 이용하여 상기 디코딩된 비디오 데이터의 적어도 하나의 영역을 크롭하고, 상기 디스플레이부의 화면 비율이 21:9인 경우, 상기 디스플레이부를 메인 영역과 부가 영역으로 분할하여 메인 영역은 상기 디코딩된 비디오 데이터를 출력하고, 상기 부가 영역은 상기 적어도 하나의 크롭된 영역을 출력하도록 제어할 수 있다.
상술한 목적을 달성하기 위한 일 실시 예로서, 신호 송신 장치는 비디오 데이터를 인코딩하는 인코더, 상기 비디오 데이터 중 크롭 영역을 설정하고, 상기 크롭 영역(crop)에 대한 정보를 포함하는 시그널링 정보를 생성하는 시그널링 정보 생성부, 상기 인코딩된 비디오 데이터 및 상기 시그널링 정보를 다중화하는 다중화부, 상기 다중화된 비디오 데이터와 시그널링 정보를 전송하는 통신부를 포함한다.
본 발명의 실시 예에 따르면, 별도의 스트림없이도 제2 단말 장치나 신호 수신 장치에서 ROI 비디오를 제공할 수 있다.
본 발명의 실시 예에 따르면, UHD 채널에서 제공하는 비디오 중 ROI 영역을 제2 단말 장치에서 디스플레이할 수 있다.
본 발명의 실시 예에 따르면, 특정한 비디오 여러 부분을 별도의 채널 할당 없이도 신호 수신 장치에 디스플레이할 수 있다.
본 발명의 실시 예에 따르면, 신호 수신 장치와 다른 화면비의 UHD 비디오를 시청할 때 화면을 효율적으로 사용할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 크롭된 비디오를 제2 단말 장치에서 디스플레이하는 방법을 설명하는 도면.
도 2는 본 발명의 일 실시 예에 따른 크롭된 비디오를 제2 단말 장치에서 디스플레이하는 방법의 흐름도.
도 3은 본 발명의 다른 실시 예에 따른 크롭된 비디오를 제2 단말 장치에서 디스플레이하는 방법을 설명하는 도면.
도 4는 본 발명의 다른 실시 예에 따른 크롭된 비디오를 제2 단말 장치에서 디스플레이하는 방법의 흐름도.
도 5는 본 발명의 일 실시 예에 따른 제2 단말 장치에 전송할 크롭 비디오를 구성하는 방법을 설명하는 도면.
도 6은 본 발명의 일 실시 예에 따른 복수의 크롭된 비디오를 재구성하여 디스플레이하는 방법을 설명하는 도면.
도 7은 본 발명의 일 실시 예에 따른 복수의 크롭된 비디오를 재구성하여 디스플레이하는 방법의 흐름도.
도 8은 본 발명의 일 실시 예에 따른 21:9 신호 수신 장치의 잉여 영역에 크롭된 비디오를 디스플레이하는 방법을 설명하는 도면.
도 9는 본 발명의 일 실시 예에 따른 21:9 신호 수신 장치의 잉여 영역에 크롭된 비디오를 디스플레이하는 방법의 흐름도.
도 10은 본 발명의 일 실시 예에 따른 SEI 시그널링 정보를 설명하는 도면.
도 11은 본 발명의 일 실시 예에 따른 크롭된 비디오 정보를 시그널링하는 방법을 설명하는 도면.
도 12는 본 발명의 일 실시 예에 따른 크롭된 비디오의 해상도 정보를 시그널링하는 방법을 설명하는 도면.
도 13은 본 발명의 일 실시 예에 따른 크롭된 비디오를 제2 단말 장치에서 디스플레이하기 위한 정보를 시그널링하는 방법을 설명하는 도면.
도 14는 본 발명의 일 실시 예에 따른 크롭된 비디오가 복수 개인 경우 제2 단말 장치에서 디스플레이하기 위한 정보를 시그널링하는 방법을 설명하는 도면.
도 15는 본 발명의 일 실시 예에 따른 복수의 크롭된 비디오를 재구성하여 디스플레이하기 위한 정보를 시그널링하는 방법을 설명하는 도면.
도 16은 본 발명의 일 실시 예에 따른 21:9 신호 수신 장치의 잉여 영역에 크롭된 비디오를 디스플레이하기 위한 정보를 시그널링하는 방법을 설명하는 도면.
도 17 및 도 18은 PES 패킷의 일 실시 예를 설명하는 도면.
도 19는 본 발명의 일 실시 예에 따른 크롭된 비디오를 처리하여 디스플레이하는 방법을 설명하는 도면.
도 20은 본 발명의 일 실시 예에 따른 신호 송신 장치의 제어 방법의 흐름도.
도 21은 본 발명의 일 실시 예에 따른 신호 수신 장치의 제어 방법의 흐름도.
도 22는 본 발명의 일 실시 예에 따른 신호 송신 장치의 블록도.
도 23은 본 발명의 일 실시 예에 따른 신호 수신 장치의 블록도.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시 예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일 실시 예에 따른 크롭된 비디오를 제2 단말 장치에서 디스플레이하는 방법을 설명하는 도면이다.
도 1을 참조하면, UHD 비디오를 디스플레이하는 신호 수신 장치(예, UHDTV)와 크롭(crop)된 비디오를 디스플레이하는 제2 단말 장치(또는 2nd device)가 도시되어 있다. 제2 단말 장치는 1개의 크롭된 좌표를 이용해 신호 수신 장치(또는 sync device)에서 크롭된 비디오를 디스플레이할 수 있다. 제2 단말 장치에서 디스플레이하는 비디오는 신호 수신 장치 내에 PIP(Picture In Picture)로 삽입될 수 있다. PIP로 삽입될 때, 신호 수신 장치는 크롭된 ROI(Region Of Interest) 비디오를 스케일링하여 PIP 형태로 제공함으로써 사용자는 클로즈 업(close up)된 비디오를 시청할 수 있다. ROI 영역은 사용자가 관심을 가지는 영역 또는 크롭될 수 있는 영역을 의미한다. 따라서, 본 발명에서는 ROI 영역과 크롭 영역은 유사한 의미로 사용한다.
제2 단말 장치는 단말 장치에 대한 정보를 신호 수신 장치로 전송할 수 있다. 제2 단말 장치의 사양 및 기기를 연결하는 인터페이스 처리 능력에 따라 신호 수신 장치는 프로파일(profile) 및 레벨(level)을 선택하고 프로파일 및 레벨에 맞게 크롭한 비디오를 디스플레이할 수 있다. 신호 수신 장치는 비디오의 프레임 레이트(frame rate)이 다른 경우 프레임 드롭핑(frame dropping)을 포함할 수도 있다.
프로파일은 해당 비디오 스트림에 대한 프로파일, 즉, 해당 스트림을 디코딩하기 위해 필요한 기본 사양을 나타낼 수 있다. 예를 들어, 프로파일은 해당 비디오 스트림의 chroma subsampling(예, 4:2:0, 4:2:2 등), bit depth(예, 8비트, 10비트), coding tool 등에 대한 requirement 정보 등을 포함할 수 있다. 레벨은 해당 비디오 스트림에 대한 레벨, 즉, 프로파일에서 정의한 기술 요소를 어느 범위까지 지원할 것인가에 대해 정의할 수 있다. 예를 들어, 해상도, 프레임 레이트(frame rate), 비트 레이트(bit rate) 등이 포함될 수 있다.
일 실시 예로서, 신호 수신 장치는 제2 단말 장치가 태블릿이라면 3개의 프로파일(예, large screen profile, medium screen profile, small screen profile) 중에 medium screen profile을 선택하고, 화면 비율(aspect ratio)을 확인할 수 있다. 프로파일은 스크린 사이즈를 기준으로 구분할 수 있고, 화면 비율 정보는 해상도로부터 계산될 수 있다. 만일, 크롭된 비디오는 화면 비율(화면 비율 정보는 시그널링되지 않더라도 해상도로부터 계산할 수 있다.)이 16:9이고, 제2 단말 장치의 화면 비율(화면 비율 정보는 시그널링되지 않더라도 해상도로부터 계산할 수 있다.)은 4:3이라면 레터박스(letterbox)를 삽입해야 한다. 신호 수신 장치는 사용자의 선택에 따라 레터박스를 비디오에 삽입하거나, 비디오를 한쪽으로 쉬프팅(shifting)하여 디스플레이하고 남은 공간에는 추가 앱 실행을 위한 공간으로 사용할 수 있다. 또는, 신호 수신 장치는 16:9 화면 비율로 크롭하는 것이 아니라 크롭을 위한 시작 좌표를 가지고 비디오를 제2 단말 장치의 화면 비율에 맞게 크롭하여 화면에 맞게 출력할 수도 있다.
즉, 신호 송신 장치는 UHD 비디오를 포함하는 스트림과 비디오를 크롭하기 위한 좌표 및 일부 크롭 사이즈 등의 추가 정보를 전송하여 신호 수신 장치는 UHD 비디오를 디스플레이하고, 신호 수신 장치는 클로즈 업 또는 줌-인된 비디오를 제2 단말 장치로 각각의 단말 장치의 특성에 맞게 전송할 수 있기 때문에 추가 스트림없이도 클로즈-업/줌-인된 비디오를 다른 단말 장치에서 수신할 수 있다. 제2 단말 장치의 특징은 구분된 프로파일이나 레벨 등으로 표시하여 전송될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 크롭된 비디오를 제2 단말 장치에서 디스플레이하는 방법의 흐름도이다.
도 2를 참조하면 비디오의 ROI 영역을 크롭하고, 크롭된 데이터를 제2 단말 장치로 전송하는 방법의 흐름도가 도시되어 있다.
신호 수신 장치는 신호 송신 장치로부터 UHD 비디오 데이터를 포함하는 스트림과 크롭 좌표와 같은 크롭 정보를 포함하는 시그널링 정보를 수신할 수 있다.
신호 수신 장치는 수신된 비디오 데이터를 포함하는 스트림 및 크롭 정보를 포함하는 시그널링 정보를 역다중화할 수 있다(S105). 신호 수신 장치는 역다중화된 시그널링 정보 및 비디오 스트림에 포함된 비디오 데이터를 복호화할 수 있다(S110). 신호 수신 장치는 제2 단말 장치(target device)로 데이터 전송 여부를 판단할 수 있다(S115).
신호 수신 장치가 제2 단말 장치로 데이터를 전송하지 않는 것으로 판단하면 줌 모드 여부를 판단할 수 있다(S120). 줌 모드는 ROI 영역을 크롭하여 디스플레이하는 것을 의미할 수 있다. 신호 수신 장치는 줌 모드가 아닌 것으로 판단하면 크롭 좌표를 무시하고 수신된 UHD 비디오 데이터를 출력할 수 있다(S125). 즉, 16:9 신호 수신 장치(UHDTV 또는 main screen device)는 크롭 좌표를 무시하고 UHD 비디오 데이터를 디스플레이할 수 있다(S130).
신호 수신 장치는 줌 모드인 것으로 판단하면 ROI 영역을 크롭하고 스케일링할 수 있다(S135). 즉, 16:9 신호 수신 장치(UHDTV 또는 main screen device)는 줌 모드로 판단하면 크롭된 좌표를 적용하여 ROI 영역을 크롭하고 스케일링하여 출력할 수 있다(S130).
신호 수신 장치가 제2 단말 장치로 데이터를 전송하는 것으로 판단하면, 신호 수신 장치는 비디오 데이터의 컨버전(conversion) 여부를 판단할 수 있다(S140). 신호 수신 장치는 컨버전 여부의 판단에 앞서 제2 단말 장치로부터 레벨 정보를 수신할 수 있다(S145). 신호 수신 장치는 수신된 레벨 정보를 기초로 비디오 데이터의 컨버전 여부를 판단할 수 있다. 신호 수신 장치는 제2 단말 장치(2nd device)의 디스플레이 가능한 최대 사양 및 인터페이스 정보를 감지하여 frame rate, bitdepth, chroma sampling에 관한 값을 컨버전할 수 있다(S150).
신호 수신 장치는 1개의 크롭 좌표 정보를 이용하여 UHD 비디오 데이터 중 16:9 HD 비디오 데이터를 크롭할 수 있다(S155). 신호 수신 장치는 제2 단말 장치의 화면 비율(Device_AR)과 크롭된 ROI 영역의 화면 비율(ROI_AR)이 동일한지 여부를 판단할 수 있다(S160). 제2 단말 장치의 화면 비율은 제2 단말 장치로부터 전송되는 해상도 정보를 이용하여 판단할 수 있다. 그리고, 크롭된 ROI 영역의 화면 비율은 신호 송신 장치로부터 전송되는 크롭 정보로부터 산출할 수 있다.
제2 단말 장치의 화면 비율이 크롭된 ROI 영역의 화면 비율과 동일하면 신호 수신 장치는 디코딩되고 크롭된 비디오 데이터를 인터페이스를 통해 제2 단말 장치로 전송할 수 있다. 제2 단말 장치는 수신된 비디오 데이터를 그대로 출력할 수 있다.
제2 단말 장치의 화면 비율(Device_AR)과 크롭된 ROI 영역의 화면 비율(ROI_AR)이 동일하지 않으면 신호 수신 장치는 화면 비율 대소 관계를 판단할 수 있다. 예를 들어, 화면 비율의 대소 관계는 폭(wideness)을 기준으로 판단될 수 있다(S165).
Device_AR이 ROI_AR보다 큰 경우 신호 수신 장치는 AFD bar 적용 여부를 판단할 수 있다(S170). 예를 들어, Device_AR은 21:9이고, ROI_AR은 16:9일 수 있다. 신호 수신 장치가 AFD bar를 적용하는 것으로 판단하면 크롭된 비디오 좌우 측면에 pillarbox를 삽입할 수 있다(S175). 신호 수신 장치가 AFD bar를 적용하지 않는 것으로 판단하면 제2 단말 장치의 특정 좌표를 비디오 데이터의 기준 좌표로 설정할 수 있다(S180). 예를 들어, 비디오를 한쪽으로 쉬프팅(shifting)하여 디스플레이하고 남은 공간에는 추가 앱 실행을 위한 공간으로 할당할 수 있다.
Device_AR이 ROI_AR보다 작은 경우 신호 수신 장치는 AFD bar 적용 여부를 판단할 수 있다(S185). 예를 들어, Device_AR은 4:3이고, ROI_AR은 16:9일 수 있다. 신호 수신 장치가 AFD bar를 적용하는 것으로 판단하면 크롭된 비디오 상하 측면에 letterbox를 삽입할 수 있다(S190). 신호 수신 장치가 AFD bar를 적용하지 않는 것으로 판단하면 제2 단말 장치의 특정 좌표를 비디오 데이터의 기준 좌표로 설정할 수 있다(S195). 예를 들어, 비디오를 한쪽으로 쉬프팅(shifting)하여 디스플레이하고 남은 공간에는 추가 앱 실행을 위한 공간으로 할당할 수 있다.
신호 수신 장치는 디코딩되어 크롭된 비디오를 인터페이스를 통해 제2 단말 장치로 전송할 수 있다. 제2 단말 장치는 수신한 크롭된 비디오를 디스플레이할 수 있다.
UHD 비디오는 신호 수신 장치에서 디스플레이될 수 있다. 그리고, UHD 비디오를 디코딩할 수 없는 단말 장치도 디코딩되고 크롭된 비디오를 인터페이스를 통해 수신하여 디스플레이할 수 있다. 신호 수신 장치는 제2 단말 장치에 적합한 비디오 사양을 제2 단말 장치로부터 전송되는 정보를 통해 인식할 수 있다. 신호 수신 장치는 적합한 프로파일 및 레벨에 해당하는 비디오를 제2 단말 장치로 전송할 수 있다.
도 3은 본 발명의 다른 실시 예에 따른 크롭된 비디오를 제2 단말 장치에서 디스플레이하는 방법을 설명하는 도면이다.
도 3을 참조하면, 복수 개의 ROI 영역을 크롭할 수 있는 신호 수신 장치가 도시되어 있다. 신호 수신 장치는 다수 개의 좌표를 이용해 복수 개의 ROI 영역을 크롭할 수 있고, 선택된 ROI 영역은 제2 단말 장치에서 디스플레이될 수 있다. 크롭할 ROI 영역은 신호 수신 장치에서 선택될 수 있고, 제2 단말 장치에서 선택될 수 있다. 또한, 제2 단말 장치에서 디스플레이되는 비디오는 신호 수신 장치에서 PIP로 삽입될 수도 있다.
신호 송신 장치는 UHD 비디오 스트림과 함께 크롭 좌표, 크롭될 ROI 영역(target)에 대한 숫자 및 화면 구성 정보 등을 전송할 수 있다. 예를 들어, 도 3에서 도시된 바와 같이 축구 경기 영상이 전송된다면, 홈팀에 대한 비디오는 1번, 원정팀에 대한 비디오는 2번 또는 주요 선수들에 대한 정보는 3번, 4번 등으로 넘버링되어 크롭 좌표와 함께 전송될 수 있다.
ROI 영역은 크롭 좌표 및 숫자를 기초로 신호 수신 장치나 제2 단말 장치에서 사용자에 의해 직접 선택될 수 있다. 예를 들어, 신호 수신 장치는 선택 가능한 ROI 영역 리스트를 포함하는 UI를 디스플레이하고, 사용자에 의해 선택된 ROI 영역을 제2 단말 장치로 전송하여 디스플레이하도록 할 수 있다. 또는, 제2 단말 장치가 선택 가능한 ROI 영역 리스트를 포함하는 UI를 디스플레이하고, 사용자에 의해 선택된 ROI 영역을 신호 수신 장치로부터 수신하여 디스플레이할 수 있다. 경우에 따라, 신호 수신 장치는 디스플레이되는 비디오 상에 크롭 영역을 표시하고 리모콘 등을 통해 입력된 선택 명령에 따라 ROI 영역을 선택할 수 있다. 크롭 영역은 색상 등으로 구분되어 표시될 수 있다.
ROI 영역이 선택되면 제2 단말 장치가 자신의 정보를 신호 수신 장치로 전송하고, 신호 수신 장치는 제2 단말 장치의 사양이나 장치를 연결하는 인터페이스의 용량 등에 맞추어 비디오를 압축되지 않은(uncompressed) 형태로 인터페이스를 통해 전달할 수 있다. 예를 들어, 인터페이스는 HDMI, WiHD, WiGig, Wireless Display, HDBaseT 등이 될 수 있다.
또한, 크롭 영역과 제2 단말 장치의 화면 비율이 다른 경우, 상술한 바와 같이 pillarbox 또는 letterbox가 삽입될 수 있고, 일정 영역은 추가 앱 실행을 위한 공간으로 남겨질 수 있다.
즉, UHD 비디오 중에 복수 개의 ROI 영역을 크롭할 수 있는 좌표와 ROI를 정렬할 수 있는 숫자 및 구성 정보 등이 함께 전송될 수 있다. ROI 영역은 전송된 정보를 기초로 사용자에 의해 선택될 수 있고, 선택된 ROI 영역은 제2 단말 장치에서 디스플레이될 수 있다. 제2 단말 장치의 특징은 구분된 프로파일이나 레벨 등으로 표시하여 전송될 수 있다.
도 4는 본 발명의 다른 실시 예에 따른 크롭된 비디오를 제2 단말 장치에서 디스플레이하는 방법의 흐름도이다.
도 4를 참조하면, 복수의 ROI 영역 중 하나의 ROI 영역을 크롭하고, 크롭된 데이터를 제2 단말 장치로 전송하는 방법의 흐름도가 도시되어 있다. 신호 수신 장치는 신호 송신 장치로부터 UHD 비디오 데이터를 포함하는 스트림과 크롭 좌표와 같은 크롭 정보를 포함하는 시그널링 정보를 수신할 수 있다.
신호 수신 장치는 수신된 비디오 데이터를 포함하는 스트림 및 크롭 정보를 포함하는 시그널링 정보를 역다중화할 수 있다(S203). 신호 수신 장치는 역다중화된 시그널링 정보 및 비디오 스트림에 포함된 비디오 데이터를 복호화할 수 있다(S205). 신호 수신 장치는 복호화된 시그널링 정보로부터 크롭 영역에 대한 정보를 추출할 수 있다. 신호 수신 장치는 제2 단말 장치(target device)로 데이터 전송 여부를 판단할 수 있다(S207).
신호 수신 장치가 제2 단말 장치로 데이터를 전송하지 않는 것으로 판단하면 줌 모드 여부를 판단할 수 있다(S210). 줌 모드는 ROI 영역을 크롭하여 디스플레이하는 모드일 수 있다. 신호 수신 장치는 줌 모드가 아닌 것으로 판단하면 크롭 좌표를 무시할 수 있다(S213). 16:9 신호 수신 장치(UHDTV 또는 main screen device)는 크롭 좌표를 무시하고 UHD 비디오 데이터를 디스플레이할 수 있다(S215).
크롭할 수 있는 ROI 영역은 복수 개 존재할 수 있다. 신호 수신 장치는 줌 모드인 것으로 판단하면 크롭 영역을 선택할 수 있다(S217). 크롭 영역의 선택은 사용자의 선택 명령에 따라 수행될 수 있다. 신호 수신 장치는 ROI 영역을 크롭하고 스케일링할 수 있다(S220). 신호 수신 장치는 줌 모드로 판단하면 크롭된 좌표를 적용하여 ROI 영역을 크롭하고 스케일링하여 출력할 수 있다(S215).
신호 수신 장치가 제2 단말 장치로 데이터를 전송하는 것으로 판단하면, 신호 수신 장치는 비디오 데이터의 컨버전(conversion) 여부를 판단할 수 있다(S223). 신호 수신 장치는 컨버전 여부의 판단에 앞서 제2 단말 장치로부터 레벨 정보를 수신할 수 있다(S225). 신호 수신 장치는 수신된 레벨 정보를 기초로 비디오 데이터의 컨버전 여부를 판단할 수 있다. 신호 수신 장치는 제2 단말 장치(2nd device)의 디스플레이 가능한 최대 사양 및 인터페이스 정보를 감지하여 frame rate, bitdepth, chroma sampling에 관한 값을 컨버전할 수 있다(S227). 또한, 신호 수신 장치는 제2 단말 장치에서 디스플레이 가능한 최대 사양 및 인터페이스 정보를 감지하여 프레임 드롭핑(frame dropping)을 할 수 있다.
신호 수신 장치는 복수 개의 영역 중 하나의 크롭 영역을 선택할 수 있다(S230). 예를 들어, 신호 수신 장치는 원하는 영역을 선택할 수 있는 UI를 표시하여 사용자로부터 선택 명령을 입력받을 수 있다. 또는, 제2 단말 장치가 원하는 영역을 선택할 수 있는 UI를 표시하여 사용자로부터 선택 명령을 입력받을 수 있다. 경우에 따라, 신호 수신 장치는 화면 내에서 크롭될 수 있는 영역을 표시해주고, 리모컨 등을 이용한 사용자의 선택 명령에 따라 하나의 크롭 영역을 선택할 수 있다.
신호 수신 장치는 크롭 좌표 정보를 이용하여 선택된 ROI 영역을 크롭할 수 있다(S233). 신호 수신 장치는 제2 단말 장치의 화면 비율(Device_AR)과 크롭된 ROI 영역의 화면 비율(ROI_AR)이 동일한지 여부를 판단할 수 있다(S235). 제2 단말 장치의 화면 비율은 제2 단말 장치로부터 전송되는 해상도 정보를 이용하여 판단할 수 있다. 그리고, 크롭된 ROI 영역의 화면 비율은 신호 송신 장치로부터 전송되는 크롭 정보로부터 산출할 수 있다.
제2 단말 장치의 화면 비율이 크롭된 ROI 영역의 화면 비율과 동일하면 신호 수신 장치는 디코딩되고 크롭된 비디오 데이터를 인터페이스를 통해 제2 단말 장치로 전송할 수 있다. 제2 단말 장치는 수신된 비디오 데이터를 그대로 출력할 수 있다.
제2 단말 장치의 화면 비율(Device_AR)과 크롭된 ROI 영역의 화면 비율(ROI_AR)이 동일하지 않으면 신호 수신 장치는 화면 비율 대소 관계를 판단할 수 있다. 예를 들어, 화면 비율의 대소 관계는 폭(wideness)을 기준으로 판단될 수 있다(S237).
Device_AR이 ROI_AR보다 큰 경우 신호 수신 장치는 AFD bar 적용 여부를 판단할 수 있다(S240). 예를 들어, Device_AR은 21:9이고, ROI_AR은 16:9일 수 있다. 신호 수신 장치가 AFD bar를 적용하는 것으로 판단하면 크롭된 비디오 좌우 측면에 pillarbox를 삽입할 수 있다(S243). 신호 수신 장치가 AFD bar를 적용하지 않는 것으로 판단하면 제2 단말 장치의 특정 좌표를 비디오 데이터의 기준 좌표로 설정할 수 있다(S245). 예를 들어, 비디오를 한쪽으로 쉬프팅(shifting)하여 디스플레이하고 남은 공간에는 추가 앱 실행을 위한 공간으로 할당할 수 있다.
Device_AR이 ROI_AR보다 작은 경우 신호 수신 장치는 AFD bar 적용 여부를 판단할 수 있다(S247). 예를 들어, Device_AR은 4:3이고, ROI_AR은 16:9일 수 있다. 신호 수신 장치가 AFD bar를 적용하는 것으로 판단하면 크롭된 비디오 상하 측면에 letterbox를 삽입할 수 있다(S250). 신호 수신 장치가 AFD bar를 적용하지 않는 것으로 판단하면 제2 단말 장치의 특정 좌표를 비디오 데이터의 기준 좌표로 설정할 수 있다(S253). 예를 들어, 비디오를 한쪽으로 쉬프팅(shifting)하여 디스플레이하고 남은 공간에는 추가 앱 실행을 위한 공간으로 할당할 수 있다.
신호 수신 장치는 디코딩되어 크롭된 비디오를 인터페이스를 통해 제2 단말 장치로 전송할 수 있다. 제2 단말 장치는 수신한 크롭된 비디오를 디스플레이할 수 있다.
크롭할 수 있는 여러 개의 ROI 영역 중 사용자에 의해 선택된 ROI 영역의 비디오는 제2 단말 장치로 전송될 수 있다. UHD 비디오를 디코딩할 수 없는 단말 장치도 디코딩되고 크롭된 비디오를 인터페이스를 통해 수신하여 디스플레이할 수 있다. 신호 수신 장치는 제2 단말 장치에 적합한 비디오 사양을 제2 단말 장치로부터 전송되는 정보를 통해 인식할 수 있다. 신호 수신 장치는 적합한 프로파일 및 레벨에 해당하는 비디오를 제2 단말 장치로 전송할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 제2 단말 장치에 전송할 크롭 비디오를 구성하는 방법을 설명하는 도면이다.
도 5를 참조하면, 제2 단말 장치는 제2 단말 장치(target device)의 정보를 신호 수신 장치로 전송할 수 있다(S305). 신호 수신 장치가 제2 단말 장치로 크롭된 비디오를 전송하기 위해서는 제2 단말 장치에서 디스플레이 가능한 프로파일 및 레벨 정보가 있어야 한다. 레벨 정보는 코덱에서 사용하는 레벨과 동일하게 정의될 수 있다. 즉, 레벨은 HEVC에서 정의한 레벨과 동일할 수 있다. 예를 들어, HEVC 규격에 정의된 비디오 레벨은 1 ~ 6.2 레벨까지 정의되어 있으며, 레벨 1은 QCIF(176×144)를 초당 15프레임으로 복호화할 수 있는 사양을 의미하고, 레벨 6.2는 8K 영상을 초당 120 프레임으로 재생할 수 있도록 정의된다.
일 실시 예로서, 제2 단말 장치는 스마트폰이라는 프로파일, 레벨 4(Full HD, 30 프레임)라는 레벨 정보, 4:3 이라는 화면 비율 정보를 신호 수신 장치로 전송할 수 있다. 즉, 신호 수신 장치는 화면 비율(Aspect Ratio) 정보를 포함하는 제2 단말 장치의 디스플레이 정보를 수신할 수 있다.
신호 수신 장치는 비디오에 대한 정보를 신호 송신 장치로부터 수신할 수 있다(S310). 일 실시 예로서, 수신한 비디오에 대한 정보는 1920×1080 이라는 크롭 영역 해상도 정보, 120 프레임이라는 크롭 비디오 프레임 레이트 정보, 16:9 라는 크롭 영역 화면 비율 정보를 포함할 수 있다. 따라서, 신호 수신 장치에서 크롭된 비디오는 120 프레임이고 제2 단말 장치에서 디스플레이 가능한 가능한 사양은 30 프레임이므로 프레임 레이트 변환(frame rate conversion)이 필요하다. 신호 수신 장치는 추출된 크롭 영역에 대한 정보를 이용하여 디코딩된 비디오 데이터를 크롭할 수 있다.
신호 수신 장치는 프레임 레이트를 변환할 수 있다(S315). 예를 들어, 신호 수신 장치는 4 프레임을 1 프레임으로 변환할 수 있다. 이에 따라, 프레임 드롭핑(frame dropping)이 발생할 수 있다.
신호 수신 장치는 프레임 레이트 변환 뿐만 아니라 비트 뎁스(bit-depth) 및 크로마 서브샘플링 변환(chroma sub-sampling conversion)도 할 수 있다(S320). 즉, 신호 수신 장치는 수신된 제2 단말 장치의 디스플레이 정보를 기초로 비디오 데이터의 포맷을 변환할 수 있다. 비디오 데이터의 포맷은 프레임 레이트(frame rate), 비트뎁스(bitdepth) 및 크로마 샘플링(chroma sampling) 중 적어도 하나를 포함할 수 있다.
신호 수신 장치는 제2 단말 장치의 화면 비율과 크롭된 ROI 영역의 화면 비율이 동일한지 여부를 판단할 수 있다(S325). 제2 단말 장치의 화면 비율이 크롭된 ROI 영역의 화면 비율과 동일하면 신호 수신 장치는 크롭된 비디오 데이터를 인터페이스를 통해 제2 단말 장치로 전송할 수 있다. 제2 단말 장치는 수신된 비디오 데이터를 그대로 출력할 수 있다(S330).
제2 단말 장치의 화면 비율(device_aspect_ratio)과 크롭된 ROI 영역의 화면 비율(ROI_video_aspect_ratio)이 동일하지 않으면 신호 수신 장치는 화면 비율 대소 관계를 판단할 수 있다(S335).
제2 단말 장치의 화면 비율이 크롭된 ROI 영역의 화면 비율보다 작은 경우 신호 수신 장치는 AFD bar 적용 여부를 판단할 수 있다(S340). 예를 들어, 제2 단말 장치의 화면 비율은 4:3이고, 크롭된 ROI 영역의 화면 비율은 16:9일 수 있다. 신호 수신 장치가 AFD bar를 적용하지 않는 것으로 판단하면 제2 단말 장치의 특정 좌표를 비디오 데이터의 기준 좌표로 설정할 수 있다(S345). 예를 들어, 비디오를 한쪽으로 쉬프팅(shifting)하여 디스플레이하고 남은 공간에는 추가 앱 실행을 위한 공간으로 할당할 수 있다. 신호 수신 장치가 AFD bar를 적용하는 것으로 판단하면 크롭된 비디오 상하 측면에 letterbox를 삽입할 수 있다(S350).
제2 단말 장치의 화면 비율이 크롭된 ROI 영역의 화면 비율보다 큰 경우 신호 수신 장치는 AFD bar 적용 여부를 판단할 수 있다(S355). 예를 들어, Device_AR은 21:9이고, ROI_AR은 16:9일 수 있다. 신호 수신 장치가 AFD bar를 적용하는 것으로 판단하면 크롭된 비디오 좌우 측면에 pillarbox를 삽입할 수 있다(S360). 신호 수신 장치가 AFD bar를 적용하지 않는 것으로 판단하면 제2 단말 장치의 특정 좌표를 비디오 데이터의 기준 좌표로 설정할 수 있다(S345). 예를 들어, 비디오를 한쪽으로 쉬프팅(shifting)하여 디스플레이하고 남은 공간에는 추가 앱 실행을 위한 공간으로 할당할 수 있다. 즉, 신호 수신 장치는 제2 단말 장치의 화면 비율 정보와 크롭 영역의 화면 비율 정보를 비교하여 동일하지 않으면 기 설정된 영역에 AFD bar를 삽입할 수 있다.
신호 수신 장치는 디코딩된 비디오 데이터의 크롭된 영역을 인터페이스를 통해 제2 단말 장치로 전송할 수 있다. 제2 단말 장치는 수신한 크롭된 비디오를 디스플레이할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 복수의 크롭된 비디오를 재구성하여 디스플레이하는 방법을 설명하는 도면이다.
도 6을 참조하면, 복수의 크롭된 비디오를 디스플레이하는 신호 수신 장치가 도시되어 있다. 상술한 바와 같이 각각의 크롭된 영역은 전체 화면에 추가되어 PIP 형태로 구현될 수도 있다.
신호 수신 장치는 여러 개의 ROI 영역을 크롭할 수 있는 여러 개의 좌표를 신호 송신 장치로부터 수신할 수 있다. 신호 수신 장치는 멀티 채널 모드로 전환하라는 입력을 받는 경우 복수의 ROI 영역을 한번에 디스플레이할 수 있다. 복수의 ROI 영역은 사용자가 미리 선택해 둔 영역 또는 크롭된 모든 영역일 수 있다. 즉, 신호 수신 장치는 별도의 스트림없이도 여러 지점에서 동시에 진행되는 화면을 클로즈 업된 형태로 한번에 디스플레이할 수 있다.
신호 송신 장치가 전송하는 좌표는 4개 이상 또는 이하가 될 수도 있다. 신호 송신 장치가 4개 이상의 좌표를 전송하는 경우에도 신호 수신 장치는 디폴트로 설정된 4개의 영역을 디스플레이한 후 사용자가 선택한 영역으로 디스플레이 화면을 변경할 수 있다. 또는, 신호 수신 장치는 사용자 세팅에 따라 디스플레이할 영역 갯수 및 구성을 설정할 수도 있다. 즉, 신호 수신 장치는 4개가 아닌 N개 영역을 하나의 화면에 디스플레이할 수도 있다.
도 7은 본 발명의 일 실시 예에 따른 복수의 크롭된 비디오를 재구성하여 디스플레이하는 방법의 흐름도이다.
신호 수신 장치는 UHD 비디오 스트림과 M개의 크롭 좌표를 수신하고, 사용자로부터 멀티 채널 변환 명령을 입력받으면 디스플레이 화면을 N개로 분할하여 ROI 영역을 클로즈 업하여 디스플레이할 수 있다. 크롭된 ROI 영역은 최초 디폴트로 설정될 수 있으며, 사용자에 의해 변경될 수 있다. 멀티 채널 변환 명령을 통해 UHD 비디오 자체와 N개로 분활된 ROI 영역의 비디오들은 변경되어 디스플레이될 수 있다.
도 7을 참조하면, 신호 수신 장치는 수신된 비디오 데이터를 포함하는 스트림 및 크롭 정보를 포함하는 시그널링 정보를 역다중화할 수 있다(S410). 신호 수신 장치는 역다중화된 시그널링 정보 및 비디오 스트림에 포함된 비디오 데이터를 복호화할 수 있다(S420). 예를 들어, 신호 수신 장치는 UHD 비디오 스트림과 4개의 크롭 좌표를 포함하는 시그널링 정보를 복호화 할 수 있다. 크롭 좌표는 4개 이상 또는 이하가 될 수 있다. 크롭 좌표의 개수는 신호 송신 장치에서 결정될 수 있다. 크롭 정보는 복수의 크롭 좌표를 정렬할 수 있는 넘버링 정보를 포함할 수 있다. 신호 수신 장치는 복호화된 시그널링 정보로부터 크롭 영역에 대한 정보를 추출할 수 있다. 즉, 크롭 영역에 대한 정보는 적어도 하나의 크롭 좌표 및 복수의 크롭 좌표가 포함된 경우 복수의 크롭 좌표를 정렬할 수 있는 넘버링 정보를 포함할 수 있다. 신호 수신 장치는 크롭 영역을 선택하고 넘버링 정보를 이용하여 정렬할 수 있다(S430).
신호 수신 장치는 멀티 채널 모드 여부를 판단할 수 있다(S440). 신호 수신 장치는 멀티 채널 모드인 경우, 수신한 M 개의 크롭 좌표를 이용하여 16:9 HD 화면으로 크롭하고 디스플레이할 수 있다(S450). 신호 수신 장치는 N개로 분할된 크롭 영역 비디오를 신호 수신 장치 화면의 지정된 영역에 디스플레이할 수 있다. 즉, 신호 수신 장치는 추출된 크롭 영역에 대한 정보를 이용하여 디코딩된 비디오 데이터의 적어도 하나의 영역을 크롭할 수 있다. 디스플레이부의 화면 비율이 16:9인 경우, 신호 수신 장치는 디스플레이부를 분할하여 크롭된 적어도 하나의 영역의 비디오를 지정된 영역에 디스플레이할 수 있다.
신호 수신 장치는 멀티 채널 모드가 아닌 경우, 크롭 좌표를 무시하고 UHD 비디오만을 디스플레이할 수 있다(S460).
신호 수신 장치는 ROI 영역을 크롭할 수 있는 좌표를 수신하여 멀티 채널 모드가 실행되면 UHD 비디오 중 동일한 사이즈로 크롭된 줌-인된 여러 개의 ROI 영역으로 분할하여 분할된 여러 개의 ROI 영역 비디오를 디스플레이할 수 있다.
사용자가 줌-인된 특정한 비디오 여러 부분을 시청하고자할 때 신호 수신 장치는 별도의 채널 할당 없이도 특정한 비디오 여러 부분을 디스플레이할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 21:9 신호 수신 장치의 잉여 영역에 크롭된 비디오를 디스플레이하는 방법을 설명하는 도면이다.
도 8을 참조하면, 전체 화면과 동시에 크롭 영역을 디스플레이하는 신호 수신 장치가 도시되어 있다. 도 8에 도시된 신호 수신 장치는 21:9 화면 비율의 디스플레이 영역을 효율적으로 사용할 수 있다. 크롭된 영상은 PIP 형태로 제공될 수도 있다.
21:9의 신호 수신 장치가 16:9의 비디오를 디스플레이하는 경우, 좌우측에 pillarbox를 삽입하거나 영상을 스케일링하여 상하측 영역을 크롭하여 디스플레이할 수 있다. 그러나, 도 8에 도시된 디스플레이 방법이 사용되면 신호 수신 장치는 16:9 pillarbox/letterbox를 삽입하거나 전체 영상을 crop할 필요가 없다. 신호 수신 장치는 16:9 비디오를 좌측 상단 혹은 우측 상단에서부터 디스플레이하고, 남는 영역에는 크롭 좌표를 이용해 크롭하여 클로즈-업된 비디오를 삽입하여 디스플레이할 수 있다.
크롭 영역은 방법 1과 같이 신호 수신 장치 안 잉여 영역에 체크 박스를 통해 선택될 수 있다. 그리고, 크롭 영역은 방법 2와 같이 스크롤 바를 통해 사용자에 의해 선택될 수 있다. 또한, 크롭 영역은 방법 3과 같이 UHD 메인 비디오가 출력되는 부분에서 리모큰 등을 이용하여 클릭되거나 잉여 영역으로 드래그되어 선택될 수도 있다.
21:9 신호 수신 장치는 16:9 비디오를 디스플레이하고 pillarbox가 삽입되던 잉여 영역에 크롭하여 줌-인된 ROI 영역을 디스플레이할 수 있다. 즉, 신호 수신 장치는 별도의 디코더없이도 디스플레이 잉여 영역을 효율적으로 사용할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 21:9 신호 수신 장치의 잉여 영역에 크롭된 비디오를 디스플레이하는 방법의 흐름도이다.
도 9를 참조하면, 신호 수신 장치는 수신된 비디오 데이터를 포함하는 스트림 및 크롭 정보를 포함하는 시그널링 정보를 역다중화할 수 있다(S510). 신호 수신 장치는 역다중화된 시그널링 정보 및 비디오 스트림에 포함된 비디오 데이터를 복호화할 수 있다(S520). 신호 수신 장치는 UHD 비디오 스트림과 N개의 크롭 좌표를 포함하는 시그널링 정보를 복호화 할 수 있다. 크롭 좌표는 N개 이상이 될 수 있다. 크롭 좌표의 개수는 신호 송신 장치에서 결정될 수 있다. 크롭 정보는 복수의 크롭 좌표를 정렬할 수 있는 넘버링 정보를 포함할 수 있다. 신호 수신 장치는 복호화된 시그널링 정보로부터 크롭 영역에 대한 정보를 추출할 수 있다. 즉, 크롭 영역에 대한 정보는 적어도 하나의 크롭 좌표 및 복수의 크롭 좌표가 포함된 경우 복수의 크롭 좌표를 정렬할 수 있는 넘버링 정보를 포함할 수 있다.
신호 수신 장치는 메인과 멀티 채널 동시 모드 여부를 판단할 수 있다(S530). 신호 수신 장치는 메인과 멀티 채널 동시 모드가 아닌 경우, 크롭 좌표를 무시할 수 있다(S540). 신호 수신 장치는 AFD bar를 삽입할 수 있다(S550). 신호 수신 장치는 AFD bar가 삽입된 16:9 비디오를 21:9 디스플레이 영역에 디스플레이할 수 있다(S560).
신호 수신 장치는 메인과 멀티 채널 동시 모드인 경우, 크롭 영역을 선택할 수 있다(S570). 크롭 영역의 선택은 넘버링 정보를 이용할 수 있다. 신호 수신 장치는 선택된 영역을 크롭할 수 있다(S580). 신호 수신 장치는 추출된 크롭 영역에 대한 정보를 이용하여 디코딩된 비디오 데이터의 적어도 하나의 영역을 크롭할 수 있다.
신호 수신 장치는 16:9 비디오와 크롭된 ROI 영역을 화면 구성 정보를 이용하여 배치할 수 있다(S590). 예를 들어, 신호 수신 장치는 16:9 비디오를 좌측 상단 혹은 우측 상단에서부터 디스플레이할 수 있다. 신호 수신 장치는 좌표 정보를 이용하여 N개의 ROI 영역을 크롭할 수 있다. 신호 수신 장치는 좌표 정보와 함께 수신된 재구성 정보에 따라 남는 영역에는 크롭된 비디오를 디스플레이할 수 있다. 즉, 신호 수신 장치는 디스플레이 영역의 화면 비율이 21:9인 경우, 디스플레이 영역을 메인 영역과 부가 영역으로 분할하여 메인 영역은 디코딩된 비디오 데이터를 출력하고, 부가 영역은 적어도 하나의 크롭된 영역을 출력할 수 있다.
신호 수신 장치는 16:9 UHD 비디오와 여러 개의 크롭 좌표를 수신하여 21:9 디스플레이 영역의 좌측 또는 우측의 잉여 영역에 ROI 영역을 디스플레이할 수 있다. ROI 영역은 사용자에 의해 선택될 수 있고, 스크롤 바 또는 체크박스 등을 이용하여 변경될 수 있다. 또한, 신호 수신 장치는 비디오 화면 내에서도 크롭 영역을 표시하고 ROI 영역은 리모콘 등을 이용하여 선택될 수 있다. 16:9 신호 수신 장치는 크롭 좌표 및 기타 정보를 무시하고 UHD 비디오만을 디스플레이할 수 있다.
따라서, 본 실시 예는 21:9 신호 수신 장치의 디스플레이 영역을 효율적으로 사용할 수 있다.
신호 송신 장치는 비디오 스트림과 크롭 좌표를 전송하고 화면 구성 정보는 별도의 시그널링 정보를 이용하여 전송할 수 있다. 또는, 신호 송신 장치는 비디오 스트림과 크롭 좌표를 전송하고, 실시 예에 따라 ID로 구별되는 화면 구성 정보를 전송하여 신호 수신 장치에서 적절하게 조합하여 화면을 구성할 수도 있다.
도 10은 본 발명의 일 실시 예에 따른 SEI 시그널링 정보를 설명하는 도면이다.
SEI(Supplemental Enhancement Information) 메시지는 비디오 데이터의 비트열을 중간부터 재생할 수 있도록 필요한 정보를 포함할 수 있다. 예를 들어, SEI 메시지는 복호시작 위치 및 표시시작 이미지에 관한 정보를 포함할 수 있다. 도 10에서는 SEI 메시지의 기본적인 정보는 생략하고 ID로 구별되는 화면 구성 정보 및 크롭 좌표 정보를 전송하는 방법에 대해서만 설명한다.
한편, 하나의 예로서 코덱 스트림은 비디오 컨텐츠의 효율적인 전송을 위해 NAL(Network Abstraction Layer)로 구성될 수 있다. NAL은 NAL unit과 패이로드를 포함할 수 있다. 패이로드에는 RBSP(Raw Byte Sequence Payload)가 위치할 수 있다.
UHD processing 정보는 SEI RBSP를 통해 수신될 수 있다. UHD processing 정보는 비디오 스트림에 포함될 수 있다. 신호 수신 장치는 AVC 또는 HEVC NAL unit을 파싱할 수 있다. 신호 수신 장치는 NAL unit type 값이 SEI 데이터에 해당하는 값인지 여부와 Payload Type이 51인지 여부를 확인하여 UHDTV composition info SEI 메시지를 읽을 수 있다. 신호 수신 장치는 UHDTV composition info를 디코딩하여 현재 비디오 스트림에 대한 UHD 구성 정보 및 추출 정보 등을 획득할 수 있다.
additional info exist flag가 1인 경우, 신호 수신 장치는 추가 화면 구성을 파악하기 위해 composition metadata를 parsing할 수 있다. 1이 아닌 경우, 신호 수신 장치는 ID에 따라 UHD program format type 필드만을 확인하여 임의로 동작할 수 있다. 이 정보를 이용하여 신호 수신 장치는 UHD 스트림과 크롭을 위한 좌표 정보 등을 이용해 구성 정보를 인식할 수 있고, 제2 단말 장치로 비디오 데이터를 전송할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 크롭된 비디오 정보를 시그널링하는 방법을 설명하는 도면이다.
크롭된 비디오 정보(또는 크롭 영역에 대한 정보)는 크롭 영역 개수 및 첫번째 프레임인지 여부를 나타내는 정보를 포함하고, 크롭 영역의 기준 좌표를 나타내는 정보를 포함할 수 있다. 또는, 크롭된 비디오 정보는 기준 좌표와 차이 값을 나타내는 정보를 포함할 수 있다.
화면 구성 정보에 포함된 extraction info metadata의 구체적인 정보는 다음과 같다.
num_of_crop_coordinates 필드는 크롭되는 영역의 개수를 의미한다. 즉, 신호 송신 장치가 ROI 영역 4개를 전송한다면 num_of_crop_coordinates는 4가 된다.
initial_random_access_frame 필드는 RAP(Random Access Point)로 디코딩되는 첫번째 프레임인지 여부를 나타낸다. 즉, initial_random_access_frame 필드가 1인 경우 첫번째 frame을 의미한다. 신호 송신 장치는 initial_random_access_frame 필드 값을 이용하여 initial_random_access_frame인 경우에만 좌표 정보를 전송하고, 이후 프레임부터 좌표 정보 중 차이값만을 전송할 수 있다. 신호 송신 장치는 정확한 crop_coordinate_x,y 값을 전송하기 위해 initial_random_access_frame의 간격을 촘촘하게 할당할 수 있다. 즉, 신호 송신 장치는 크롭(crop) 좌표 정보의 전송 간격을 조절할 수 있다.
cropped_video_resolution 필드는 크롭된 영역 비디오의 해상도를 나타낸다. 해상도는 크롭되는 영역에 달라질 수 있다. 또한, 가로세로 해상도 정보를 통해 화면 비율(aspect ratio) 정보도 판단할 수 있다. UHDTV는 픽셀의 가로세로 비율이 1:1일 수 있다.
initial_crop_coordinate_x 및 initial_crop_coordinate_y 필드는 사각형 형태로 크롭하기 위한 좌측 상단 좌표값(혹은 crop 영역의 중간 좌표값, 혹은 다른 모서리 좌표값)을 나타낸다. initial_crop_coordinate_x, initial_crop_coordinate_y 필드는 initial_random_access_frame 필드가 1인 경우에만 필요하다. 즉, 신호 수신 장치(sync device 또는 UHDTV)는 좌표 필드를 이용해 지정된 영역만 전송 및 출력할 수 있고, 나머지 영역은 크롭하여 버릴 수 있다.
diff_crop_coordinate_x 및 diff_crop_coordinate_y 필드는 initial_crop_cordinate_x 필드와 initial_crop_coordinate_y 필드와 차이 값을 나타낸다. 신호 송신 장치는 initial_random_access_frame이 0인 경우(initial_random_access_frame이 아닌 경우), initial_crop_cordinate_x 필드와 initial_crop_coordinate_y 필드의 값을 기준으로 차이 값을 전송할 수 있다. 신호 송신 장치는 크롭 영역의 시작점(혹은 중간점, 혹은 끝점)을 전송할 수 있다. diff_crop_coordinate_x 필드와 diff_crop_coordinate_y 필드는 initial random access frame을 제외하고 매 frame마다 전송될 수 있다. 신호 수신 장치(sync device 또는 UHDTV)는 좌표 차이 값 필드를 이용해 지정된 영역만 전송 및 출력할 수 있고, 나머지 영역은 크롭하여 버릴 수 있다.
경우에 따라, 신호 송신 장치는 중간에 특정 ROI에 대한 좌표 전송을 생략할 수 있다. 이 때, diff_crop_coordinate x, diff_crop_coordinate y는 0으로 간주될 수 있다. 즉, 신호 수신 장치는 이전 프레임과 같은 좌표를 유지할 수 있다. 또한, ROI는 매 RAP를 기준으로 소멸 및 생성될 수 있다. 즉, RAP 시점에서 명시되지 않은 ROI는 존재하지 않는 ROI이다. 제2 단말 장치에서 출력하는 비디오 신호는 기존 신호를 계속 유지될 수 있다.
도 12는 본 발명의 일 실시 예에 따른 크롭된 비디오의 해상도 정보를 시그널링하는 방법을 설명하는 도면이다.
cropped_video_resolution 필드는 크롭된 영역 비디오의 해상도를 나타낸다. 해상도는 크롭되는 영역에 달라질 수 있다. 또한, 가로세로 해상도 정보를 통해 화면 비율(aspect ratio) 정보도 판단할 수 있다. UHDTV는 픽셀의 가로세로 비율이 1:1일 수 있다.
일 실시 예로서, cropped_video_resolution 필드의 값이 0011이면 크롭 영역의 해상도가 640×480임을 나타낼 수 있다. 0100이면 720×480의 해상도를 나타낼 수 있다. 0101이면 720×576의 해상도를 나타낼 수 있다. 0110이면 1024×768의 해상도를 나타낼 수 있다. 0111이면 1280×720의 해상도를 나타낼 수 있다. 1000이면 1920×1080의 해상도를 나타낼 수 있다.
도 13은 본 발명의 일 실시 예에 따른 크롭된 비디오를 제2 단말 장치에서 디스플레이하기 위한 정보를 시그널링하는 방법을 설명하는 도면이다.
일 실시 예로서, 신호 송수신 장치는 하나의 영역을 크롭하여 크롭된 영역을 제2 단말 장치에서 디스플레이하는 서비스 타입을 0x01로 설정할 수 있다. 도 13은 서비스 타입이 0x01로 선택된 경우 시그널링 정보의 예를 도시한다. 각 필드를 설명하면 다음과 같다.
2nd device_profile 필드는 제2 단말 장치가 어떤 장치인지에 대한 정보를 포함할 수 있다. 2nd device_profile 필드는 제2 단말 장치(target device) 종류에 따라 달라질 수 있다. Profile을 나누는 기준은 해상도(resolution)가 될 수 있다. 또는, 다른 기준을 적용할 수도 있다. 일 실시 예로서, 2nd device_profile 필드는 Phone-1 타입은 small screen profile, tablet-1이나 phone-2(고사양) 타입은 medium screen profile 또는 tablet-2(고사양) 타입은 large screen profile로 설정될 수 있다.
2nd device_level 필드는 제2 단말 장치에서 디스플레이 가능한 레벨 및 인터페이스에서 전송 가능한 최대 레벨을 나타낸다.
cropped_video_resolution 필드는 크롭된 영역 비디오의 해상도를 나타낸다. 해상도는 크롭되는 영역에 달라질 수 있다. 또한, 가로세로 해상도 정보를 통해 화면 비율(aspect ratio) 정보도 판단할 수 있다. UHDTV는 픽셀의 가로세로 비율이 1:1일 수 있다. cropped_video_resolution 필드는 extraction_info_metadata의 해상도 정보와 동일할 수 있다.
cropped_video_frame_rate 필드는 크롭된 비디오의 프레임 레이트를 나타낼 수 있다.
num_of_dropping_frames 필드는 cropped_video_frame_rate 정보와 제2 단말 장치로부터 수신한 레벨 정보를 통해 프레임 레이트를 조정하는 필드이다. 예를 들어, 크롭된 비디오의 프레임 레이트가 120Hz이고 제2 단말 장치에서 디스플레이 가능한 레벨은 1080p30이라면, 신호 수신 장치는 30/120 마다 프레임을 선택하여 제2 단말 장치로 전송할 수 있다.
insert_AFDbar_flag는 pillarbox/letterbox 삽입 여부를 결정하는 플래그이다. 1인 경우, pillarbox/letterbox를 삽입하고, 0인 경우, pillarbox/letterbox를 삽입하지 않는다.
AFDbar_size_2N 필드는 pillarbox/letterbox의 삽입과 관련된 필드이다. insert_AFDbar_flag가 1인 경우, 신호 수신 장치는 AFDbar_size_2N 필드를 확인하고, pillarbox/letterbox를 삽입할 수 있다. 신호 수신 장치는 디스플레이 화면의 y축이 0인 지점부터 AFDbar_size_2N의 값을 2로 나눈 사이즈만큼 삽입하고, 디스플레이 화면의 y축 값이 {디스플레이 화면 y축 크기 - (AFDbar_size_2N)/2} 인 지점부터 pillarbox/letterbox를 삽입할 수 있다.
display_starting_point 필드는 비디오가 시작하는 지점을 나태낼 수 있다. insert_AFDbar_flag가 1인 경우, y축 값이 (AFDbar_size_2N)/2인 지점이 display_starting_point가 되고, 0인 경우는 y축이 0인 지점이 display_starting_point가 된다.
도 14는 본 발명의 일 실시 예에 따른 크롭된 비디오가 복수 개인 경우 제2 단말 장치에서 디스플레이하기 위한 정보를 시그널링하는 방법을 설명하는 도면이다.
일 실시 예로서, 신호 송수신 장치는 복수의 영역 중 하나의 영역을 크롭하고 크롭된 영역을 제2 단말 장치에서 디스플레이하는 서비스 타입을 0x02로 설정할 수 있다. 도 14는 서비스 타입이 0x02로 선택된 경우 시그널링 정보의 예를 도시한다. 각 필드를 설명하면 다음과 같다.
2nd device_profile 필드는 제2 단말 장치가 어떤 장치인지에 대한 정보를 포함할 수 있다. 2nd device_profile 필드는 제2 단말 장치(target device) 종류에 따라 달라질 수 있다. Profile을 나누는 기준은 해상도(resolution)가 될 수 있다. 또는, 다른 기준을 적용할 수도 있다. 일 실시 예로서, 2nd device_profile 필드는 Phone-1 타입은 small screen profile, tablet-1이나 phone-2(고사양) 타입은 medium screen profile 또는 tablet-2(고사양) 타입은 large screen profile로 설정될 수 있다.
2nd device_level 필드는 제2 단말 장치에서 디스플레이 가능한 레벨 및 인터페이스에서 전송 가능한 최대 레벨을 나타낸다.
cropped_video_frame_rate 필드는 크롭된 비디오의 프레임 레이트를 나타낼 수 있다.
num_of_dropping_frames 필드는 cropped_video_frame_rate 정보와 제2 단말 장치로부터 수신한 레벨 정보를 통해 프레임 레이트를 조정하는 필드이다. 예를 들어, 크롭된 비디오의 프레임 레이트가 120Hz이고 제2 단말 장치에서 디스플레이 가능한 레벨은 1080p30이라면, 신호 수신 장치는 30/120 마다 프레임을 선택하여 제2 단말 장치로 전송할 수 있다.
num_of_crop_coordinates 필드는 크롭되는 영역의 개수를 의미한다. 즉, 신호 송신 장치가 ROI 영역 4개를 전송한다면 num_of_crop_coordinates는 4가 된다. num_of_crop_coordinates 필드는 extraction_info_metadata의 정보와 동일할 수 있다.
cropped_video_resolution 필드는 크롭된 영역 비디오의 해상도를 나타낸다. 해상도는 크롭되는 영역에 달라질 수 있다. 또한, 가로세로 해상도 정보를 통해 화면 비율(aspect ratio) 정보도 판단할 수 있다. UHDTV는 픽셀의 가로세로 비율이 1:1일 수 있다. cropped_video_resolution 필드는 extraction_info_metadata의 해상도 정보와 동일할 수 있다.
insert_AFDbar_flag는 pillarbox/letterbox 삽입 여부를 결정하는 플래그이다. 1인 경우, pillarbox/letterbox를 삽입하고, 0인 경우, pillarbox/letterbox를 삽입하지 않는다.
AFDbar_size_2N 필드는 pillarbox/letterbox의 삽입과 관련된 필드이다. insert_AFDbar_flag가 1인 경우, 신호 수신 장치는 AFDbar_size_2N 필드를 확인하고, pillarbox/letterbox를 삽입할 수 있다. 신호 수신 장치는 디스플레이 화면의 y축이 0인 지점부터 AFDbar_size_2N의 값을 2로 나눈 사이즈 만큼 삽입하고, 디스플레이 화면의 y축 값이 {디스플레이 화면 y축 크기 - (AFDbar_size_2N)/2} 인 지점부터 pillarbox/letterbox를 삽입할 수 있다.
display_starting_point 필드는 비디오가 시작하는 지점을 나태낼 수 있다. insert_AFDbar_flag가 1인 경우, y축 값이 (AFDbar_size_2N)/2인 지점이 display_starting_point가 되고, 0인 경우는 y축이 0인 지점이 display_starting_point가 된다.
도 15는 본 발명의 일 실시 예에 따른 복수의 크롭된 비디오를 재구성하여 디스플레이하기 위한 정보를 시그널링하는 방법을 설명하는 도면이다.
일 실시 예로서, 신호 송수신 장치는 적어도 하나의 영역을 크롭하고 크롭된 영상을 재구성하여 신호 수신 장치에서 디스플레이하는 서비스 타입을 0x03으로 설정할 수 있다. 도 15는 서비스 타입이 0x03으로 선택된 경우 시그널링 정보의 예를 도시한다. 각 필드를 설명하면 다음과 같다.
multi_channel_mode 필드는 멀티 채널로 전환 여부를 나타낸다. 신호 수신 장치는 멀티 채널 모드로 전환하라는 입력이 있는 경우 크롭된 비디오를 디스플레이할 수 있다. 신호 수신 장치는 멀티 채널 모드로 전환하는 명령이 없는 경우에는 크롭 좌표를 무시하고 디스플레이할 수 있다.
cropped_video_resolution 필드는 크롭된 영역 비디오의 해상도를 나타낸다. 해상도는 크롭되는 영역에 달라질 수 있다. 또한, 가로세로 해상도 정보를 통해 화면 비율(aspect ratio) 정보도 판단할 수 있다. UHDTV는 픽셀의 가로세로 비율이 1:1일 수 있다. cropped_video_resolution 필드는 extraction_info_metadata의 정보와 동일할 수 있다.
num_of_crop_coordinates 필드는 도 13의 UHD_2nd device_composition_metadata ( )의 num_of_crop_coordinates와 동일할 수 있다. 즉, 모든 크롭된 영역의 숫자를 의미하므로 candidates도 포함할 수 있다. 또한, 크롭된 영역이 디스플레이될 때의 우선 순위를 의미할 수도 있다.
num_of_ROI_regions 필드는 신호 수신 장치에서 한 번에 표시할 ROI 영역의 개수를 의미할 수 있다.
display_starting_point 필드는 크롭된 비디오들이 신호 수신 장치 내에서 분할되어 디스플레이될 수 있도록 시작 지점을 나타낼 수 있다.
ROI_region_priority 필드는 각 ROI 영역에 우선순위를 할당할 수 있다. 복수의 ROI 중 디스플레이할 ROI 영역이 선택될 수 있다. 예를 들어, num_of_ROI_regions이 4인 경우, 복수의 ROI 영역 중 ROI_region_priority가 1-4인 ROI 영역이 디스플레이될 수 있다.
도 16은 본 발명의 일 실시 예에 따른 21:9 신호 수신 장치의 잉여 영역에 크롭된 비디오를 디스플레이하기 위한 정보를 시그널링하는 방법을 설명하는 도면이다.
일 실시 예로서, 신호 송수신 장치는 메인 비디오와 크롭 비디오를 함께 디스플레이하는 서비스 타입을 0x04로 설정할 수 있다. 도 16은 서비스 타입이 0x04로 선택된 경우 시그널링 정보의 예를 도시한다. 각 필드를 설명하면 다음과 같다.
num_of_crop_coordinates 필드는 크롭되는 영역의 개수를 의미한다. 즉, 신호 송신 장치가 ROI 영역 4개를 전송한다면 num_of_crop_coordinates는 4가 된다. num_of_crop_coordinates 필드는 extraction_info_metadata의 정보와 동일할 수 있다.
num_of_ROI_regions 필드는 신호 수신 장치에서 한 번에 표시할 ROI 영역의 개수를 의미할 수 있다.
21_9_display_flag는 영상이 최종적으로 21:9 화면에 표시될 영상으로 구성될 것인지의 여부를 나타낸다.
cropped_video_resolution 필드는 크롭된 영역 비디오의 해상도를 나타낸다. 해상도는 크롭되는 영역에 달라질 수 있다. 또한, 가로세로 해상도 정보를 통해 화면 비율(aspect ratio) 정보도 판단할 수 있다. UHDTV는 픽셀의 가로세로 비율이 1:1일 수 있다. cropped_video_resolution 필드는 extraction_info_metadata의 정보와 동일할 수 있다.
display_starting_point 필드는 크롭된 비디오들이 신호 수신 장치 내에서 분할되어 디스플레이될 수 있도록 시작 지점을 나타낼 수 있다. 또는, display_starting_point 필드 대신 영역의 number를 할당하여 display_section_number로 시그널링할 수도 있다.
ROI_region_priority 필드는 각 ROI 영역에 우선순위를 할당할 수 있다. 복수의 ROI 중 디스플레이할 ROI 영역이 선택될 수 있다. 예를 들어, num_of_ROI_regions이 4인 경우, 복수의 ROI 영역 중 ROI_region_priority가 1-4인 ROI 영역이 디스플레이될 수 있다.
도 17 및 도 18은 PES 패킷의 일 실시 예를 설명하는 도면이다.
신호 수신 장치는 동일 PID를 가지는 TS 패킷을 모아 원본 데이터를 복원할 수 있다. 신호 수신 장치는 원본 데이터가 PES인 경우 PES로부터 비디오 ES 데이터를 추출할 수 있다.
도 17은 하나의 스트림에서 여러 개의 비디오를 추출한 경우, PES 패킷에 포함되어 있는 PTS나 DTS의 신호를 통해 각각의 비디오의 sync를 맞출 수 있음을 나타낸다.
도 17 및 도 18의 PES 패킷에 포함된 주요 필드를 설명하면 다음과 같다. 도 17 및 도 18은 하나의 PES 패킷을 도시한 것이므로 도 17 및 도 18을 같이 설명한다.
packet_start_code_prefix는 24비트 필드로 PES 패킷의 시작을 나타낸다.
stream_id는 8비트 필드로 PES로 전송되는 ES의 타입을 식별한다.
PES_packet_length는 16비트 필드로 다음에 오는 데이터의 바이트 개수를 나타낸다.
PES_scrambling_control은 2비트 필드로 PES 패킷 패이로드의 스크램블 여부를 나타낸다.
PTS_DTS_flags는 PTS 또는 DTS 정보가 PES에 포함되어 있는지 나타낸다. PTS_DTS_flags가 10이면 PTS 정보가 PES packet header 안에 존재한다. PTS_DTS_flags가 11이면 PTS 정보와 DTS 정보가 packet header 안에 존재한다. PTS_DTS_flags가 00이면 아무것도 존재하지 않는다. 01값은 사용되지 않는 값이다.
PES_extension_flag는 PES 확장 여부를 나타낸다. PES_extension_flag가 1이면 PES extension이 PES packet header에 존재한다. PES_extension_flag는 PES_private_data_flag 파악하기 위한 것이다.
PES_header_data_length는 8비트 필드로 다음에 오는 선택적인 정보들의 총 바이트 개수를 나타낸다.
PTS는 실제 디스플레이 되는 시각의 정보이다. 예를 들어, PTS(j) = ((system clock frequency * 재생 되는 시간)/300)%2^33으로 계산될 수 있다.
DTS는 실제 디코딩 되는 시각의 정보로써 random_accss_point에 해당하는 initial frame인지 확인할 수 있다.
marker_bit는 1비트로 데이터의 유효성을 검사하기 위해 사용된다.
PES_private_data는 16바이트 필드로서 private한 데이터를 포함할 수 있다. 신호 송신 장치는 도 10에서 설명한 SEI 메시지에 포함되는 구성 정보(예, UHDTV_composition_info(payloadSize)) 의 크롭 영역 추출 정보(예, extraction_info_metadata) 및 도 13 내지 도 16에서 설명한 각 서비스 타입별 화면 구성 정보(예, UHD_XX_composition_metadata) 등을 private_data로 포함하여 전송할 수 있다.
도 19는 본 발명의 일 실시 예에 따른 크롭된 비디오를 처리하여 디스플레이하는 방법을 설명하는 도면이다.
신호 수신 장치는 신호 송신 장치로부터 UHD 비디오 데이터를 포함하는 스트림과 크롭 좌표와 같은 크롭 정보를 포함하는 시그널링 정보를 수신할 수 있다.
신호 수신 장치는 수신된 비디오 데이터를 포함하는 스트림 및 크롭 정보를 포함하는 시그널링 정보를 역다중화할 수 있다(S603). 신호 수신 장치는 역다중화된 시그널링 정보 및 비디오 스트림에 포함된 비디오 데이터를 복호화할 수 있다(S605). 시그널링 정보는 비디오 구성 정보를 포함할 수 있다. 신호 수신 장치는 시그널링 정보로부터 비디오 구성 정보를 파싱할 수 있다(S607). 비디오 구성 정보는 디스플레이하는 서비스 타입 및 크롭 정보를 포함할 수 있다. 신호 수신 장치는 복호화된 시그널링 정보로부터 크롭 영역에 대한 정보를 추출할 수 있다.
신호 수신 장치는 제2 단말 장치(target device)로 데이터 전송 여부를 판단할 수 있다(S610). 신호 수신 장치가 제2 단말 장치로 데이터를 전송하는 것으로 판단하면, 신호 수신 장치는 비디오 데이터의 컨버전(conversion) 여부를 판단할 수 있다(S615). 신호 수신 장치는 컨버전 여부의 판단에 앞서 제2 단말 장치로부터 레벨 정보를 수신할 수 있다(S613). 신호 수신 장치는 수신된 레벨 정보를 기초로 비디오 데이터의 컨버전 여부를 판단할 수 있다. 신호 수신 장치는 제2 단말 장치(2nd device)의 디스플레이 가능한 최대 사양 및 인터페이스 정보를 감지하여 frame rate, bitdepth, chroma sampling에 관한 값을 컨버전할 수 있다(S617).
신호 수신 장치는 복수 개의 영역 중 적어도 하나의 크롭 영역을 선택할 수 있다(S620). 예를 들어, 신호 수신 장치는 원하는 영역을 선택할 수 있는 UI를 표시하여 사용자로부터 선택 명령을 입력받을 수 있다. 또는, 제2 단말 장치가 원하는 영역을 선택할 수 있는 UI를 표시하여 사용자로부터 선택 명령을 입력받을 수 있다. 경우에 따라, 신호 수신 장치는 화면 내에서 크롭될 수 있는 영역을 표시해주고, 리모컨 등을 이용한 사용자의 선택 명령에 따라 하나의 크롭 영역을 선택할 수 있다.
신호 수신 장치는 크롭 좌표 정보를 이용하여 선택된 ROI 영역을 크롭할 수 있다(S623). 신호 수신 장치는 제2 단말 장치의 화면 비율(Device_AR)과 크롭된 ROI 영역의 화면 비율(ROI_AR)이 동일한지 여부를 판단할 수 있다(S625). 제2 단말 장치의 화면 비율은 제2 단말 장치로부터 전송되는 해상도 정보를 이용하여 판단할 수 있다. 그리고, 크롭된 ROI 영역의 화면 비율은 신호 송신 장치로부터 전송되는 크롭 정보로부터 산출할 수 있다.
제2 단말 장치의 화면 비율이 크롭된 ROI 영역의 화면 비율과 동일하면 신호 수신 장치는 디코딩되고 크롭된 비디오 데이터를 인터페이스를 통해 제2 단말 장치로 전송할 수 있다. 제2 단말 장치는 수신된 비디오 데이터를 그대로 출력할 수 있다.
제2 단말 장치의 화면 비율(Device_AR)과 크롭된 ROI 영역의 화면 비율(ROI_AR)이 동일하지 않으면 신호 수신 장치는 AFD bar를 삽입하거나 잉여 공간을 추가 실행을 공간으로 할당할 수 있다(S627). 신호 수신 장치는 디코딩되어 크롭된 비디오를 인터페이스를 통해 제2 단말 장치로 전송할 수 있다. 제2 단말 장치는 수신한 크롭된 비디오를 디스플레이할 수 있다.
제2 단말 장치(target device)없이 하나의 디스플레이 장치에서 크롭(crop) 영역이 디스플레이되는 경우, 크롭 영역은 S630 단계에서 선택될 수 있다. 경우에 따라, 멀티 채널 모드(multi-channel mode)가 선택된 후 크롭 영역이 선택(S637)되거나 또는 메인과 멀티 채널 동시 모드(main+multi channel mode)가 선택된 후 크롭 영역이 선택(S650)될 수도 있다.
신호 수신 장치는 디스플레이 화면이 21:9 인지 확인할 수 있다(S633). 화면 비율이 21:9가 아니면 신호 수신 장치는 멀티 채널 모드 여부를 판단할 수 있다(S635). 신호 수신 장치는 멀티 채널 모드인 경우, 수신한 M 개의 크롭 좌표를 이용하여 16:9 HD 화면으로 크롭하고 디스플레이할 수 있다(S640). 신호 수신 장치는 N개로 분할된 크롭 영역 비디오를 신호 수신 장치 화면의 지정된 영역에 디스플레이할 수 있다.
신호 수신 장치는 멀티 채널 모드가 아닌 경우, 크롭 좌표를 무시할 수 있다(S643). 신호 수신 장치는 16:9 UHD 비디오만을 디스플레이할 수 있다(S645).
화면 비율이 21:9이면 신호 수신 장치는 메인과 멀티 채널 동시 모드 여부를 판단할 수 있다(S647). 신호 수신 장치는 메인과 멀티 채널 동시 모드가 아닌 경우, 크롭 좌표를 무시할 수 있다(S653). 신호 수신 장치는 AFD bar를 삽입할 수 있다(S655). 신호 수신 장치는 AFD bar가 삽입된 16:9 비디오를 21:9 디스플레이 영역에 디스플레이할 수 있다(S657).
신호 수신 장치는 메인과 멀티 채널 동시 모드인 경우, 영역을 선택하여 크롭할 수 있다(S660). 신호 수신 장치는 16:9 비디오와 크롭된 ROI 영역을 화면 구성 정보를 이용하여 배치할 수 있다(S663).
도 20은 본 발명의 일 실시 예에 따른 신호 송신 장치의 제어 방법의 흐름도이다.
도 20을 참조하면, 신호 송신 장치는 비디오 데이터를 인코딩할 수 있다(S1010). 신호 송신 장치는 비디오 데이터 중 크롭 영역을 설정하고, 크롭 영역(crop)에 대한 정보를 포함하는 시그널링 정보를 생성할 수 있다(S1020). 시그널링 정보는 비디오 구성 정보를 포함할 수 있다. 비디오 구성 정보는 크롭 정보 및 디스플레이 서비스 타입 정보를 포함할 수 있다. 예를 들어, 크롭 정보는 크롭 좌표, 크롭 개수, 최초 시작 좌표 및 좌표의 차이 값 등일 수 있다. 디스플레이 서비스 타입 정보는 제2 단말 장치로 크롭 영역을 전송하는 서비스, 크롭 영역만을 재구성하여 디스플레이하는 서비스 및 메인 비디오와 크롭 비디오를 동시에 디스플레이하는 서비스 중 하나일 수 있다.
신호 송신 장치는 인코딩된 비디오 데이터 및 시그널링 정보를 다중화하고, 다중화된 비디오 데이터와 시그널링 정보를 전송할 수 있다(S1030). 각 디스플레이 서비스 타입 및 시그널링 정보에 대한 실시 예는 상술하였으므로 생략한다.
도 21은 본 발명의 일 실시 예에 따른 신호 수신 장치의 제어 방법의 흐름도이다.
도 21을 참조하면, 신호 수신 장치는 비디오 데이터를 포함하는 스트림과 시그널링 정보를 역다중화할 수 있다(S1110).
신호 수신 장치는 역다중화된 시그널링 정보 및 비디오 데이터를 복호화할 수 있다(S1120). 시그널링 정보는 비디오 구성 정보를 포함할 수 있다. 비디오 구성 정보는 크롭 정보 및 디스플레이 서비스 타입 정보를 포함할 수 있다.
신호 수신 장치는 복호화된 시그널링 정보에서 크롭 영역에 대한 정보를 추출할 수 있다(S1130). 신호 수신 장치는 추출된 크롭 정보를 이용하여 비디오를 크롭할 수 있다. 신호 수신 장치는 서비스 타입 정보에 따라 크롭된 영역을 디스플레이하거나 제2 단말 장치로 전송할 수 있다.
도 22는 본 발명의 일 실시 예에 따른 신호 송신 장치의 블록도이다.
도 22를 참조하면, 신호 송신 장치는 인코더(110), 시그널링 정보 생성부(120), 다중화부(130) 및 통신부(140)를 포함한다.
인코더(110)는 비디오 데이터를 인코딩할 수 있다. 시그널링 정보 생성부(120)는 비디오 데이터 중 크롭 영역을 설정하고, 크롭 영역(crop)에 대한 정보를 포함하는 시그널링 정보를 생성할 수 있다. 한편, 인코더(110) 및 시그널링 정보 생성부(120)는 제어부(미도시)에 포함될 수도 있다. 시그널링 정보는 비디오 구성 정보 및 디스플레이 서비스 타입에 따른 정보를 포함할 수 있다. 비디오 구성 정보는 크롭에 관한 정보를 포함할 수 있다.
크롭 영역에 대한 정보는 크롭 영역 개수 및 첫번째 프레임인지 여부를 나타내는 정보를 포함하고, 크롭 영역의 기준 좌표를 나타내는 정보 또는 기준 좌표와 차이 값을 나타내는 정보를 포함할 수 있다. 시그널링 정보는 비디오에 삽입될 AFD bar에 관한 정보를 더 포함할 수도 있다.
다중화부(130)는 인코딩된 비디오 데이터 및 시그널링 정보를 다중화할 수 있다. 통신부(140)는 다중화된 비디오 데이터와 시그널링 정보를 전송할 수 있다.
도 23은 본 발명의 일 실시 예에 따른 신호 수신 장치의 블록도이다.
도 23을 참조하면, 신호 수신 장치는 역다중화부(210), 시그널링 정보 복호부(220), 제어부(230), 비디오 디코더(240) 및 디스플레이부(250)를 포함한다.
역다중화부(210)는 비디오 데이터를 포함하는 스트림과 시그널링 정보를 역다중화할 수 있다.
시그널링 정보 복호부(220)는 역다중화된 시그널링 정보를 복호할 수 있다.
비디오 디코더(230)는 역다중화된 비디오 스트림 내의 비디오 데이터를 디코딩할 수 있다.
제어부(240)는 복호화된 시그널링 정보에서 크롭 영역에 대한 정보를 추출할 수 있다. 크롭 영역에 대한 정보는 크롭 영역 개수 및 첫번째 프레임인지 여부를 나타내는 정보를 포함하고, 크롭 영역의 기준 좌표를 나타내는 정보 또는 기준 좌표와 차이 값을 나타내는 정보를 포함할 수 있다.
제어부(240)는 추출된 크롭 영역에 대한 정보를 이용하여 디코딩된 비디오 데이터를 크롭할 수 있다. 예를 들어, 크롭 영역은 최초 좌표를 이용하여 식별할 수 있고, 이후 프레임에서는 차이 값을 이용하여 식별할 수 있다. 크롭 영역은 복수 개로 설정될 수 있다.
제어부(240)는 수신된 화면 비율 정보와 크롭 영역의 화면 비율을 비교하여 동일하지 않으면 기 설정된 영역에 AFD bar를 삽입할 수 있다. 또는, 제어부는 디스플레이하려는 비디오를 특정 영역으로 설정하고, 나머지 영역에 대해 추가 앱 공간으로 설정할 수 있다.
제어부(240)는 수신된 제2 단말 장치의 디스플레이 정보를 기초로 비디오 데이터의 포맷을 변환할 수 있다. 비디오 데이터의 포맷은 프레임 레이트(frame rate), 비트뎁스(bitdepth) 및 크로마 샘플링(chroma sampling) 중 적어도 하나를 포함할 수 있다.
제어부(240)는 복수 개 크롭 영역 중 적어도 하나의 크롭 영역을 선택할 수 있는 선택 화면을 출력하도록 디스플레이부(250)를 제어할 수 있다. 제어부(240)는 선택된 크롭 영역을 제2 단말 장치로 전송하도록 제어할 수 있고, 화면을 재구성하여 디스플레이하도록 제어할 수도 있다.
제어부(240)는 추출된 크롭 영역에 대한 정보를 이용하여 디코딩된 비디오 데이터의 적어도 하나의 영역을 크롭하고, 디스플레이부(250)의 화면 비율이 16:9인 경우, 디스플레이부(250)를 분할하여 크롭된 적어도 하나의 영역을 출력하도록 제어할 수 있다. 제어부(240)는 추출된 크롭 영역에 대한 정보를 이용하여 디코딩된 비디오 데이터의 적어도 하나의 영역을 크롭하고, 디스플레이부(250)의 화면 비율이 21:9인 경우, 디스플레이부(250)를 메인 영역과 부가 영역으로 분할하여 메인 영역은 디코딩된 비디오 데이터를 출력하고, 부가 영역은 적어도 하나의 크롭된 영역을 출력하도록 제어할 수 있다.
디스플레이부(250)는 수신된 비디오를 디스플레이할 수 있다.
신호 수신 장치는 통신부(미도시)를 더 포함할 수 있다. 통신부는 화면 비율 정보를 포함하는 제2 단말 장치의 디스플레이 정보를 수신할 수 있다. 디스플레이 정보란 제2 단말 장치의 최대 디스플레이 사양을 의미할 수 있다. 예를 들어, 디스플레이 사양은 해상도, 프레임 레이트 등일 수 있다. 예를 들어, 통신부는 HDMI, WiHD, WiGig, Wireless Display, HDBaseT 등이 될 수 있다. 방송 신호를 수신하는 방송 신호 통신부와 구별하기 위해 인터페이스로 표현할 수도 있다. 통신부는 디코딩된 비디오 데이터의 크롭된 영역을 제2 단말 장치로 전송할 수 있다.
본 발명에 따른 신호 송수신 장치 및 신호 송수신 장치의 제어 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
-
본 발명은 방송 및 비디오 신호 처리 분야에서 사용 가능하고 반복 가능성이 있는 산업상 이용가능성이 있다.

Claims (20)

  1. 신호 수신 장치의 제어 방법에 있어서,
    비디오 데이터를 포함하는 스트림과 시그널링 정보를 역다중화하는 단계;
    상기 역다중화된 시그널링 정보 및 상기 비디오 데이터를 복호화하는 단계; 및
    상기 복호화된 시그널링 정보에서 크롭 영역에 대한 정보를 추출하는 단계;를 포함하는 신호 수신 장치의 제어 방법.
  2. 제1항에 있어서,
    상기 크롭 영역에 대한 정보는,
    크롭 영역 개수 및 첫번째 프레임인지 여부를 나타내는 정보를 포함하고,
    크롭 영역의 기준 좌표를 나타내는 정보 또는 상기 기준 좌표와 차이 값을 나타내는 정보를 포함하는 것을 특징으로 하는 신호 수신 장치의 제어 방법.
  3. 제1항에 있어서,
    화면 비율(Aspect Ratio) 정보를 포함하는 제2 단말 장치의 디스플레이 정보를 수신하는 단계;
    상기 추출된 크롭 영역에 대한 정보를 이용하여 상기 디코딩된 비디오 데이터를 크롭하는 단계; 및
    상기 디코딩된 비디오 데이터의 크롭된 영역을 상기 제2 단말 장치로 전송하는 단계;를 더 포함하는 신호 수신 장치의 제어 방법.
  4. 제3항에 있어서,
    상기 수신된 화면 비율 정보와 상기 크롭 영역의 화면 비율을 비교하여 동일하지 않으면 기 설정된 영역에 AFD bar를 삽입하는 단계;를 더 포함하는 신호 수신 장치의 제어 방법.
  5. 제3항에 있어서,
    상기 수신된 제2 단말 장치의 디스플레이 정보를 기초로 상기 비디오 데이터의 포맷을 변환하는 단계;를 더 포함하는 신호 수신 장치의 제어 방법.
  6. 제5항에 있어서,
    상기 비디오 데이터의 포맷은,
    프레임 레이트(frame rate), 비트뎁스(bitdepth) 및 크로마 샘플링(chroma sampling) 중 적어도 하나를 포함하는 것을 특징으로 하는 신호 수신 장치의 제어 방법.
  7. 제3항에 있어서,
    상기 크롭 영역은 복수 개 존재하며, 상기 복수 개 크롭 영역 중 하나의 크롭 영역을 선택할 수 있는 선택 화면을 출력하는 단계;를 더 포함하는 신호 수신 장치의 제어 방법.
  8. 제1항에 있어서,
    상기 추출된 크롭 영역에 대한 정보를 이용하여 상기 디코딩된 비디오 데이터의 적어도 하나의 영역을 크롭하는 단계; 및
    디스플레이부의 화면 비율이 16:9인 경우, 상기 디스플레이부를 분할하여 상기 크롭된 적어도 하나의 영역을 디스플레이하는 단계;를 더 포함하는 신호 수신 장치의 제어 방법.
  9. 제1항에 있어서,
    상기 추출된 크롭 영역에 대한 정보를 이용하여 상기 디코딩된 비디오 데이터의 적어도 하나의 영역을 크롭하는 단계; 및
    상기 디코딩된 비디오 데이터 및 상기 적어도 하나의 크롭된 영역을 출력하는 단계;를 더 포함하고,
    상기 출력하는 단계는,
    디스플레이부의 화면 비율이 21:9인 경우, 상기 디스플레이부를 메인 영역과 부가 영역으로 분할하여 메인 영역은 상기 디코딩된 비디오 데이터를 출력하고, 상기 부가 영역은 상기 적어도 하나의 크롭된 영역을 출력하는 것을 특징으로 하는 신호 수신 장치의 제어 방법.
  10. 비디오 데이터를 인코딩하는 단계;
    상기 비디오 데이터 중 크롭 영역을 설정하고, 상기 크롭 영역(crop)에 대한 정보를 포함하는 시그널링 정보를 생성하는 단계; 및
    상기 인코딩된 비디오 데이터 및 상기 시그널링 정보를 다중화하고, 상기 다중화된 비디오 데이터와 시그널링 정보를 전송하는 단계;를 포함하는 신호 송신 장치의 제어 방법.
  11. 비디오 데이터를 포함하는 스트림과 시그널링 정보를 역다중화하는 역다중화부;
    상기 역다중화된 시그널링 정보를 복호하는 시그널링 정보 복호부;
    상기 역다중화된 비디오 스트림 내의 비디오 데이터를 디코딩하는 비디오 디코더;
    상기 복호화된 시그널링 정보에서 크롭 영역에 대한 정보를 추출하는 제어부; 및
    디스플레이부;를 포함하는 신호 수신 장치.
  12. 제11항에 있어서,
    상기 크롭 영역에 대한 정보는,
    크롭 영역 개수 및 첫번째 프레임인지 여부를 나타내는 정보를 포함하고,
    크롭 영역의 기준 좌표를 나타내는 정보 또는 상기 기준 좌표와 차이 값을 나타내는 정보를 포함하는 것을 특징으로 하는 신호 수신 장치.
  13. 제11항에 있어서,
    화면 비율(Aspect Ratio) 정보를 포함하는 제2 단말 장치의 디스플레이 정보를 수신하는 통신부;를 더 포함하고,
    상기 제어부는,
    상기 추출된 크롭 영역에 대한 정보를 이용하여 상기 디코딩된 비디오 데이터를 크롭하며,
    상기 통신부는,
    상기 디코딩된 비디오 데이터의 크롭된 영역을 상기 제2 단말 장치로 전송하는 것을 특징으로 하는 신호 수신 장치.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 수신된 화면 비율 정보와 상기 크롭 영역의 화면 비율을 비교하여 동일하지 않으면 기 설정된 영역에 AFD bar를 삽입하는 것을 특징으로 하는 신호 수신 장치.
  15. 제13항에 있어서,
    상기 제어부는,
    상기 수신된 제2 단말 장치의 디스플레이 정보를 기초로 상기 비디오 데이터의 포맷을 변환하는 것을 특징으로 하는 신호 수신 장치.
  16. 제15항에 있어서,
    상기 비디오 데이터의 포맷은,
    프레임 레이트(frame rate), 비트뎁스(bitdepth) 및 크로마 샘플링(chroma sampling) 중 적어도 하나를 포함하는 것을 특징으로 하는 신호 수신 장치.
  17. 제13항에 있어서,
    상기 크롭 영역은 복수 개 존재하며,
    상기 제어부는,
    상기 복수 개 크롭 영역 중 하나의 크롭 영역을 선택할 수 있는 선택 화면을 출력하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 신호 수신 장치.
  18. 제11항에 있어서,
    상기 제어부는,
    상기 추출된 크롭 영역에 대한 정보를 이용하여 상기 디코딩된 비디오 데이터의 적어도 하나의 영역을 크롭하고, 상기 디스플레이부의 화면 비율이 16:9인 경우, 상기 디스플레이부를 분할하여 상기 크롭된 적어도 하나의 영역을 출력하도록 제어하는 것을 특징으로 하는 신호 수신 장치.
  19. 제11항에 있어서,
    상기 제어부는,
    상기 추출된 크롭 영역에 대한 정보를 이용하여 상기 디코딩된 비디오 데이터의 적어도 하나의 영역을 크롭하고, 상기 디스플레이부의 화면 비율이 21:9인 경우, 상기 디스플레이부를 메인 영역과 부가 영역으로 분할하여 메인 영역은 상기 디코딩된 비디오 데이터를 출력하고, 상기 부가 영역은 상기 적어도 하나의 크롭된 영역을 출력하도록 제어하는 것을 특징으로 하는 신호 수신 장치.
  20. 비디오 데이터를 인코딩하는 인코더;
    상기 비디오 데이터 중 크롭 영역을 설정하고, 상기 크롭 영역(crop)에 대한 정보를 포함하는 시그널링 정보를 생성하는 시그널링 정보 생성부;
    상기 인코딩된 비디오 데이터 및 상기 시그널링 정보를 다중화하는 다중화부;
    상기 다중화된 비디오 데이터와 시그널링 정보를 전송하는 통신부;를 포함하는 신호 송신 장치.
PCT/KR2014/005408 2013-06-19 2014-06-19 신호 송수신 장치 및 신호 송수신 장치의 제어 방법 WO2014204227A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016508911A JP2016523015A (ja) 2013-06-19 2014-06-19 信号送受信装置及び信号送受信装置の制御方法
KR1020157025826A KR20160021428A (ko) 2013-06-19 2014-06-19 신호 송수신 장치 및 신호 송수신 장치의 제어 방법
US14/779,294 US20160057494A1 (en) 2013-06-19 2014-06-19 Signal transmitting and receiving device and method of controlling said device
EP14814222.7A EP3013062A4 (en) 2013-06-19 2014-06-19 SIGNAL TRANSMITTING AND RECEIVING DEVICE AND METHOD OF CONTROLLING SAID DEVICE
CN201480030730.4A CN105264904A (zh) 2013-06-19 2014-06-19 信号发送和接收装置及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361836662P 2013-06-19 2013-06-19
US61/836,662 2013-06-19

Publications (1)

Publication Number Publication Date
WO2014204227A1 true WO2014204227A1 (ko) 2014-12-24

Family

ID=52104884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/005408 WO2014204227A1 (ko) 2013-06-19 2014-06-19 신호 송수신 장치 및 신호 송수신 장치의 제어 방법

Country Status (6)

Country Link
US (1) US20160057494A1 (ko)
EP (1) EP3013062A4 (ko)
JP (1) JP2016523015A (ko)
KR (1) KR20160021428A (ko)
CN (1) CN105264904A (ko)
WO (1) WO2014204227A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10200353B2 (en) 2013-07-25 2019-02-05 Convida Wireless, Llc End-to-end M2M service layer sessions
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
WO2015093011A1 (ja) 2013-12-16 2015-06-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置及び受信装置
US20150253974A1 (en) * 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
CN104837051B (zh) * 2015-05-26 2019-02-22 腾讯科技（北京）有限公司 视频播放方法及客户端
CN205305025U (zh) * 2016-01-06 2016-06-08 京东方科技集团股份有限公司 一种高清视频发送、接收装置与设备及高清视频传输系统
WO2017196670A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
CN109644089B (zh) 2016-06-15 2022-04-26 康维达无线有限责任公司 用于新无线电的无许可上行链路传输
US11503314B2 (en) 2016-07-08 2022-11-15 Interdigital Madison Patent Holdings, Sas Systems and methods for region-of-interest tone remapping
JP6667847B2 (ja) * 2016-08-12 2020-03-18 ザインエレクトロニクス株式会社 受信装置および送受信システム
JP6969572B2 (ja) * 2016-10-25 2021-11-24 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
CN106454407B (zh) * 2016-10-25 2020-03-06 广州华多网络科技有限公司 视频直播方法及装置
CN109891772B (zh) 2016-11-03 2022-10-04 康维达无线有限责任公司 Nr中的帧结构
US20180176468A1 (en) * 2016-12-19 2018-06-21 Qualcomm Incorporated Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
CN110301136B (zh) * 2017-02-17 2023-03-24 交互数字麦迪逊专利控股公司 在流传输视频中进行选择性感兴趣对象缩放的系统和方法
US11178204B1 (en) * 2017-02-23 2021-11-16 Cox Communications, Inc. Video processor to enhance color space and/or bit-depth
EP3593536A1 (en) 2017-03-07 2020-01-15 PCMS Holdings, Inc. Tailored video streaming for multi-device presentations
CN110267085A (zh) * 2018-03-12 2019-09-20 青岛海信电器股份有限公司 一种视频处理的方法及装置
US11070764B2 (en) * 2018-03-12 2021-07-20 Sony Corporation Video communication device, video communication method, video processing device, and information processing method
CN109089157B (zh) * 2018-06-15 2021-12-07 广州华多网络科技有限公司 视频画面的裁剪方法、显示设备以及装置
KR20210066856A (ko) 2018-09-27 2021-06-07 콘비다 와이어리스, 엘엘씨 새로운 라디오의 비허가 스펙트럼들에서의 부대역 동작들
CN109547724B (zh) * 2018-12-21 2021-09-07 广州方硅信息技术有限公司 一种视频流数据的处理方法、电子设备及存储装置
KR102558959B1 (ko) * 2019-10-14 2023-07-24 주식회사 케이티 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006112808A1 (en) * 2005-03-15 2006-10-26 General Instrument Corporation, A Corporation Of The State Of Delaware Customized video processing modes for hd-capable set-top decoders
US20080225116A1 (en) * 2005-09-26 2008-09-18 Jung Won Kang Method and Apparatus For Defining and Reconstructing Rois in Scalable Video Coding
KR20110009271A (ko) * 2006-12-22 2011-01-27 퀄컴 인코포레이티드 디코더측 관심 영역 비디오 프로세싱
KR20110018294A (ko) * 2008-03-20 2011-02-23 인스티튜트 퓌어 룬트퐁크테크닉 게엠베하 작은 스크린 크기들에 대해 비디오 이미지들을 적응시키는 방법
KR101185138B1 (ko) * 2005-03-09 2012-09-24 콸콤 인코포레이티드 비디오 전화기를 위한 관심 영역 추출

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6882755B2 (en) * 2001-10-19 2005-04-19 Hewlett-Packard Development Company, L.P. Image transmission for low bandwidth with region of interest
JP3793142B2 (ja) * 2002-11-15 2006-07-05 株式会社東芝 動画像加工方法及び装置
JP4148462B2 (ja) * 2003-01-20 2008-09-10 株式会社リコー 画像処理装置、電子カメラ装置及び画像処理方法
WO2004084535A2 (en) * 2003-03-14 2004-09-30 Starz Encore Group Llc Video aspect ratio manipulation
US20050180858A1 (en) * 2004-02-04 2005-08-18 Halgas Joseph F.Jr. Customized video processing modes for HD-capable set-top decoders
JP2005316007A (ja) * 2004-04-27 2005-11-10 Matsushita Electric Ind Co Ltd 画像表示制御装置
JP4656912B2 (ja) * 2004-10-29 2011-03-23 三洋電機株式会社 画像符号化装置
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
US10440329B2 (en) * 2009-05-22 2019-10-08 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
EP2262230A1 (en) * 2009-06-08 2010-12-15 Koninklijke Philips Electronics N.V. Device and method for processing video data
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
CN102625147B (zh) * 2012-02-29 2015-01-14 中山大学 一种移动可视设备自适应显示方法
CN103024315A (zh) * 2012-12-17 2013-04-03 四川长虹电器股份有限公司 一种根据视频内容实时调整电视画面尺寸的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101185138B1 (ko) * 2005-03-09 2012-09-24 콸콤 인코포레이티드 비디오 전화기를 위한 관심 영역 추출
WO2006112808A1 (en) * 2005-03-15 2006-10-26 General Instrument Corporation, A Corporation Of The State Of Delaware Customized video processing modes for hd-capable set-top decoders
US20080225116A1 (en) * 2005-09-26 2008-09-18 Jung Won Kang Method and Apparatus For Defining and Reconstructing Rois in Scalable Video Coding
KR20110009271A (ko) * 2006-12-22 2011-01-27 퀄컴 인코포레이티드 디코더측 관심 영역 비디오 프로세싱
KR20110018294A (ko) * 2008-03-20 2011-02-23 인스티튜트 퓌어 룬트퐁크테크닉 게엠베하 작은 스크린 크기들에 대해 비디오 이미지들을 적응시키는 방법

Also Published As

Publication number Publication date
KR20160021428A (ko) 2016-02-25
JP2016523015A (ja) 2016-08-04
EP3013062A4 (en) 2016-12-21
US20160057494A1 (en) 2016-02-25
CN105264904A (zh) 2016-01-20
EP3013062A1 (en) 2016-04-27

Similar Documents

Publication Publication Date Title
WO2014204227A1 (ko) 신호 송수신 장치 및 신호 송수신 장치의 제어 방법
WO2011093676A2 (en) Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream
WO2012157999A2 (ko) 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
WO2015065037A1 (ko) Hevc 기반의 ip 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
WO2013015596A2 (ko) 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
WO2015152635A9 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2014171718A1 (ko) 방송 전송 장치, 방송 수신 장치, 방송 전송 장치의 동작 방법 및 방송 수신 장치의 동작 방법
WO2010071283A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2014025213A1 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2015034188A1 (ko) 디지털 방송 시스템에서 광역 밝기 표현을 위한 초고화질 방송 신호 송수신 방법 및 장치
WO2014077651A1 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2009125961A1 (en) Method of transmitting and receiving broadcasting signal and apparatus for receiving broadcasting signal
WO2015126144A1 (ko) 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
WO2015102449A1 (ko) 컬러 개멋 리샘플링을 기반으로 하는 방송 신호 송수신 방법 및 장치
WO2010076933A1 (ko) 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2011136621A2 (en) An apparatus of processing an image and a method of processing thereof
WO2014073927A1 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2011129631A2 (ko) 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치
WO2014081146A1 (en) Display apparatus, method for controlling the display appartus, glasses and method for controlling the glasses
WO2011062385A2 (ko) 방송 신호 송수신 방법 및 그를 이용한 방송 수신 장치
WO2014084564A1 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2014025239A1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
WO2011152633A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
WO2015126117A1 (ko) 방송 신호 송수신 방법 및 장치
WO2011132883A2 (ko) 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480030730.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14814222

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20157025826

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14779294

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2014814222

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016508911

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE