WO2017069450A1 - 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기 - Google Patents

미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기 Download PDF

Info

Publication number
WO2017069450A1
WO2017069450A1 PCT/KR2016/011411 KR2016011411W WO2017069450A1 WO 2017069450 A1 WO2017069450 A1 WO 2017069450A1 KR 2016011411 W KR2016011411 W KR 2016011411W WO 2017069450 A1 WO2017069450 A1 WO 2017069450A1
Authority
WO
WIPO (PCT)
Prior art keywords
media data
auxiliary information
information
media
quality
Prior art date
Application number
PCT/KR2016/011411
Other languages
English (en)
French (fr)
Inventor
서덕영
박광훈
이대호
김규헌
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Publication of WO2017069450A1 publication Critical patent/WO2017069450A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Definitions

  • the present invention relates to a method and apparatus for generating media data with enhanced value or quality using remote computation.
  • portable terminals Due to the continuous development of display performance, portable terminals have a display providing high definition (HD) media, and in particular, recently, portable terminals have a display providing full high definition (FHD) or ultra high definition (UHD) media. It came to be equipped.
  • HD high definition
  • FHD full high definition
  • UHD ultra high definition
  • the camera included in the portable terminal does not keep up with the speed of performance development of the display, and the media obtained through the camera of the portable terminal has a limitation of media quality due to the limitation of encoding and / or decoding performance of the portable terminal. .
  • the present invention provides a method and apparatus for enhancing the added value or quality of pre-coded media data in a terminal using remotely calculated assistance information.
  • the present invention provides a method and apparatus for controlling the amount of power required to process media data in a terminal.
  • the present invention provides a method and apparatus for extracting and encoding auxiliary information for improving added value or quality of media data.
  • the present invention provides a method and apparatus for processing media data by selectively using a remote processing unit or a terminal in consideration of the capacity of the terminal.
  • the media data restoration system analyzes pre-coded media data received from a terminal providing content to generate supplemental information for improving the added value or quality of the media data, and converts the generated supplemental information into content. And a terminal for restoring media data having an added value or quality higher than that of the media data by applying the remote processing unit to the consumer terminal and applying the auxiliary information transmitted from the remote processing unit to the media data. .
  • the remote operation processing apparatus includes a media decoding unit for decoding all or part of the media data, an auxiliary information generating unit for generating auxiliary information for improving the added value or quality of the media data, and the generated auxiliary. And an encoding unit for encoding the information.
  • the auxiliary information when the spatial resolution of the media data is improved, includes edge information, interpolation filter information for sub-sampling, and the media. And at least one of an offset value or weighting filter information for applying a weight to a pixel value of the data.
  • the auxiliary information when the temporal resolution of the media data is improved, includes the number of virtual frames added between two consecutive frames in time, and a block for restoring the virtual frames. And at least one of a size and a motion vector of a reference block used for each unit or block unit.
  • the auxiliary information generating unit divides the media data into a plurality of sections having a predetermined time interval, calculates a calculation amount required to restore the media data for each section, and based on the calculated calculation amount. And generating auxiliary information for power control of the media data.
  • the auxiliary information for power control may include at least one of the number of CPU clocks for each section, the position of the section, or the temporal length of the section.
  • an apparatus for improving media value includes a media decoder for decoding all or part of pre-encoded media data, and an assistant for analyzing the media data to generate supplemental information for improving the added value or quality of the media data. And an encoder for encoding at least one of an information generator and the decoded media data or the generated auxiliary information.
  • the media decoder, the auxiliary information generator, and the encoder are provided in a cloud server connected to a terminal through a wired / wireless network.
  • the auxiliary information when the spatial resolution of the media data is improved, includes edge information, interpolation filter information for sub-sampling, and the media data. And at least one of an offset value or weighting filter information for applying a weight to a pixel value of.
  • the auxiliary information when the temporal resolution of the media data is improved, includes the number of virtual frames added between two consecutive frames in time, and a block unit for restoring the virtual frames. Or at least one of a size and a motion vector of a reference block used for each block unit.
  • the auxiliary information generating unit divides the media data into a plurality of sections having a predetermined time interval, calculates a calculation amount required to restore the media data for each section, and based on the calculated calculation amount. And generating auxiliary information for power control of the media data.
  • the auxiliary information for power control may include at least one of the number of CPU clocks for each section, the location of the section, or the temporal length of the section.
  • a method for improving media value includes receiving at least one of a media data request signal and quality information from a terminal, decoding the media data corresponding to the media data request signal, and performing the decoded media data and the quality information. And generating at least one auxiliary information for improving the added value or quality of the media data, and encoding the decoded media data and the generated auxiliary information.
  • the quality information is characterized by indicating either one of user-specified quality or a plurality of quality preset in the terminal.
  • the auxiliary information when the spatial resolution of the media data is improved according to the quality information, includes edge information and interpolation filter information for sub-sampling. ), At least one of an offset value or weighting filter information for applying a weight to a pixel value of the media data.
  • the auxiliary information is the number of virtual frames added between two temporally successive frames, the virtual frame. And at least one of a size and a motion vector of a reference block used for restoring the block unit or the block unit.
  • the present invention by using the auxiliary information for power control of the media data generated by the remote processing unit, it is possible to effectively reduce the amount of power required to process the media data in the terminal.
  • auxiliary information for improving the added value or quality of media data can be efficiently encoded.
  • the present invention by selectively using the remote processing unit or the terminal in consideration of the capacity of the terminal, it is possible to efficiently generate auxiliary information and media data with improved quality.
  • FIG. 1 is a schematic diagram of a system for improving added value of media data according to an embodiment to which the present invention is applied.
  • FIG. 2 illustrates a schematic configuration of an apparatus 100 for improving media value according to an embodiment to which the present invention is applied.
  • FIG. 3 illustrates a method of encoding auxiliary information for improving value added or quality of media data in the media value enhancing apparatus 100 according to an embodiment to which the present invention is applied.
  • FIG. 4 illustrates a method of generating auxiliary information for power control of a terminal in the media value improving apparatus 100 according to an embodiment to which the present invention is applied.
  • FIG. 5 is a diagram illustrating a method of restoring media data with improved value added or quality in an embodiment to which the present invention is applied.
  • the media data restoration system analyzes pre-coded media data received from a terminal providing content to generate supplemental information for improving the added value or quality of the media data, and converts the generated supplemental information into content. And a terminal for restoring media data having an added value or quality higher than that of the media data by applying the remote processing unit to the consumer terminal and applying the auxiliary information transmitted from the remote processing unit to the media data. .
  • the remote operation processing apparatus includes a media decoding unit for decoding all or part of the media data, an auxiliary information generating unit for generating auxiliary information for improving the added value or quality of the media data, and the generated auxiliary. And an encoding unit for encoding the information.
  • the auxiliary information when the spatial resolution of the media data is improved, includes edge information, interpolation filter information for sub-sampling, and the media. And at least one of an offset value or weighting filter information for applying a weight to a pixel value of the data.
  • the auxiliary information when the temporal resolution of the media data is improved, includes the number of virtual frames added between two consecutive frames in time, and a block for restoring the virtual frames. And at least one of a size and a motion vector of a reference block used for each unit or block unit.
  • the auxiliary information generating unit divides the media data into a plurality of sections having a predetermined time interval, calculates a calculation amount required to restore the media data for each section, and based on the calculated calculation amount. And generating auxiliary information for power control of the media data.
  • the auxiliary information for power control may include at least one of the number of CPU clocks for each section, the position of the section, or the temporal length of the section.
  • an apparatus for improving media value includes a media decoder for decoding all or part of pre-encoded media data, and an assistant for analyzing the media data to generate supplemental information for improving the added value or quality of the media data. And an encoder for encoding at least one of an information generator and the decoded media data or the generated auxiliary information.
  • the media decoder, the auxiliary information generator, and the encoder are provided in a cloud server connected to a terminal through a wired / wireless network.
  • the auxiliary information when the spatial resolution of the media data is improved, includes edge information, interpolation filter information for sub-sampling, and the media data. And at least one of an offset value or weighting filter information for applying a weight to a pixel value of.
  • the auxiliary information when the temporal resolution of the media data is improved, includes the number of virtual frames added between two consecutive frames in time, and a block unit for restoring the virtual frames. Or at least one of a size and a motion vector of a reference block used for each block unit.
  • the auxiliary information generating unit divides the media data into a plurality of sections having a predetermined time interval, calculates a calculation amount required to restore the media data for each section, and based on the calculated calculation amount. And generating auxiliary information for power control of the media data.
  • the auxiliary information for power control may include at least one of the number of CPU clocks for each section, the location of the section, or the temporal length of the section.
  • a method for improving media value includes receiving at least one of a media data request signal and quality information from a terminal, decoding the media data corresponding to the media data request signal, and performing the decoded media data and the quality information. And generating at least one auxiliary information for improving the added value or quality of the media data, and encoding the decoded media data and the generated auxiliary information.
  • the quality information is characterized by indicating either one of user-specified quality or a plurality of quality preset in the terminal.
  • the auxiliary information when the spatial resolution of the media data is improved according to the quality information, includes edge information and interpolation filter information for sub-sampling. ), At least one of an offset value or weighting filter information for applying a weight to a pixel value of the media data.
  • the auxiliary information is the number of virtual frames added between two temporally successive frames, the virtual frame. And at least one of a size and a motion vector of a reference block used for restoring the block unit or the block unit.
  • first and second may be used to describe various configurations, but the configurations are not limited by the terms. The terms are used to distinguish one configuration from another.
  • first configuration may be referred to as the second configuration, and similarly, the second configuration may also be referred to as the first configuration.
  • each component shown in the embodiments of the present invention are independently shown to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is listed as a component for convenience of description, and at least two of the components may form one component, or one component may be divided into a plurality of components to perform a function.
  • the integrated and separated embodiments of each component are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • FIG. 1 is a schematic diagram of a system for improving added value of media data according to an embodiment to which the present invention is applied.
  • the system according to the present invention is to generate information (hereinafter, referred to as auxiliary information) for improving the added value or quality of media data, and to restore media data having improved value added or quality using the same.
  • auxiliary information information for improving the added value or quality of media data
  • the media value enhancing apparatus 100, the media restoring apparatus 200, and the media providing apparatus 300 may be included.
  • the media value enhancing apparatus 100 may analyze the media data received from the terminal providing the content to generate supplemental information about the media data, and restore the media from the received media data and / or the generated supplemental information. It may be delivered to the device 200. To this end, the media value enhancing apparatus 100 may further include a media decoder, an auxiliary information generator, and an encoder, which will be described in detail with reference to FIG. 2.
  • the media reconstruction apparatus 200 may reconstruct media data with added value or quality higher than pre-encoded media data by using the media data and / or auxiliary information received from the media value enhancing apparatus 100.
  • the media providing apparatus 300 may deliver media data to the media value enhancing apparatus 100.
  • the media value enhancing device 100 is connected to a remote processing server (for example, a cloud server), the media reconstruction device 200 is a terminal consuming content, and the media providing device 300 is a terminal providing content. It may be provided.
  • the remote operation processing server and the terminal may be connected to a wired / wireless network to transmit and receive data with each other.
  • the terminal consuming the content and the terminal providing the content may be implemented as one terminal or may be implemented in different terminals.
  • the terminal should be understood to mean a terminal consuming a content, a terminal providing a content, or a terminal providing / consuming a content.
  • the remote processing server When there is a request for transmission of media data having a predetermined quality from the terminal, the remote processing server analyzes the pre-encoded media data to generate auxiliary information corresponding to the predetermined quality, and generates the generated auxiliary information and / or the preliminary information. Encoded media data can be delivered to the terminal.
  • the pre-encoded media data may be stored in a remote processing server or received from the terminal together with the transmission request.
  • the remote operation processing server may generate the media data having a predetermined quality by applying the generated assistance information to the pre-encoded media data, and then transfer the generated media data to the terminal.
  • the remote processing unit may generate auxiliary information by analyzing the media data in real time, and in real time for the media data (for example, live broadcasting, video conferencing, and video streaming) transmitted from the terminal in real time. Information may be generated and delivered to the terminal.
  • media data for example, live broadcasting, video conferencing, and video streaming
  • the media value enhancing apparatus 100 and the media restoring apparatus 200 are provided in one terminal, and generate auxiliary information about the media data in the corresponding terminal, and apply the media data to the media data to improve the added value or quality of the media data. You can also create your own. However, in consideration of the attribute information of the pre-encoded media data, the terminal selectively selects either the media value enhancing apparatus 100 provided in the terminal or the media value enhancing apparatus 100 provided in the remote processing unit. Can also be used as.
  • the attribute information may include at least one of a data amount of a media data, a screen size, a spatial / temporal / resolution resolution, or a playback time.
  • the terminal may request the remote processing device to generate auxiliary information about the media data, but only in the terminal.
  • Ancillary information about the media data can be generated.
  • the threshold value may mean a reference value of attribute information that allows generation of auxiliary information in the terminal.
  • FIG. 2 illustrates a schematic configuration of an apparatus 100 for improving media value according to an embodiment to which the present invention is applied.
  • the apparatus 100 for improving media value of the present invention may include at least one of a media decoder 110, an auxiliary information generator 120, and an encoder 130.
  • the media decoder 110 may decode all or part of the received media data.
  • the media data when the received media data is scalable encoded video, the media data may include a plurality of layers different in at least one of spatial resolution, temporal resolution, or image quality resolution, and the decoded media data
  • the layer may have a maximum spatial / temporal / resolution resolution among the plurality of layers.
  • the media value enhancing apparatus 100 may store a plurality of compression algorithms, and the media decoder 110 may perform decoding using any one of the stored plurality of compression algorithms.
  • a compression algorithm compatible with the compression algorithm used to encode the received media data may optionally be used.
  • the auxiliary information generator 120 may generate auxiliary information for improving the added value or quality of the received media data.
  • the auxiliary information of the present invention may be defined according to the type of media data, which will be described in detail below.
  • the supplementary information about the voice signal may include the temporal position of the unvoiced sound and the signal strength for each frequency at the corresponding position, the temporal position of the voiced sound (especially the overtone) and the frequency signal strength or the voice effect at the corresponding position (Eg, an echo effect) may include at least one of auxiliary information.
  • the auxiliary information about the audio signal may include auxiliary information for effecting changing the timbre of the audio signal or adding an instrument to the music signal.
  • the auxiliary information about the audio signal may include a scaling factor for enlarging or reducing the tone of the audio signal, frequency range mapping information for changing the frequency range of the audio signal, sample values of the audio signal, or Filter information for applying a weight may be included.
  • auxiliary information for improving spatial resolution or temporal resolution may be used to improve the added value or quality of the video signal.
  • the auxiliary information about the video signal is weighted to edge information, interpolation filter information for sub-sampling, or pixel values of the video signal. It may include at least one of an offset value or weighting filter information.
  • the edge information may indicate the position of a pixel forming an edge of the video signal (for example, a boundary line between objects or a boundary line between the object and the background).
  • the interpolation filter information includes strength (strong / weak), length (tap size), filter coefficient, and the like of the interpolation filter, which may be determined differently for each region divided based on the edge of the video signal.
  • the interpolation filter information may include an interpolation filter in a horizontal direction and an interpolation filter in a vertical direction, and any one of a horizontal or vertical interpolation filter may be selectively used according to the direction of the edge of the video signal.
  • the offset value is information for compensating the reconstructed pixel value of the video signal, which may be selectively applied to all or part of the pixel value of the video signal, or may be limitedly applied to the pixel value located around the edge of the video signal. In addition, the offset value may be determined in an area unit divided by the edge of the video signal or may be determined in each pixel unit in one area.
  • the weighted filter information includes strengths (strong / weak), lengths (tap sizes), filter coefficients, and the like of the weighted filter, which may be differently determined for each region divided based on the edge of the video signal. A weighted filter that differs in at least one of intensity, length or filter coefficients may be used depending on the position of the weighted pixel (eg, whether the pixel is adjacent to an edge) within one region.
  • the auxiliary information generator 120 may divide the virtual frame into blocks having a predetermined size, and restore the virtual frame using at least one reference frame that is temporally adjacent to the virtual frame in units of the divided blocks. .
  • the auxiliary information generator 120 may indicate a size of a block for dividing the virtual frame, a ratio between the block of the virtual frame and the block of the reference frame, and a position difference between the block of the virtual frame and the block of the reference frame.
  • Vector and the like which can be used as auxiliary information about the video signal.
  • the auxiliary information generator 120 may determine the position of the edge representing the boundary of the object in the virtual frame and the motion vector from the edge of the reference frame corresponding thereto, which is auxiliary information about the video signal. It can be used as.
  • the auxiliary information generator 120 may generate auxiliary information for controlling the amount of power consumed by the terminal to process the media data. For example, after dividing the received video signal into a plurality of sections having a predetermined time interval, calculating a calculation amount required to decode the video signal for each section, and using this to generate auxiliary information for the power control. can do.
  • the auxiliary information for power control may include the location and / or length of the section and the number of CPU clocks of the section.
  • the amount of power required to decode the video signal can be reduced by adaptively changing the number of CPU clocks in a specific section based on the auxiliary information for power control.
  • the auxiliary information generator 120 may extract metadata from the media data itself and set it as auxiliary information.
  • the metadata is for identifying specific media data from the big data, and may include information indicating attributes, contents, grouping between similar media, and the like of the media data. As such, it is possible to effectively store or retrieve big data using metadata extracted from the media data itself.
  • the metadata may be related to the entirety of the media data grouped into one group, may be related to one media data, or may be related to a specific temporal section or spatial region within one media data. Since the process of extracting metadata regarding the attributes of the media data, the type of content, etc. from the media data itself requires a lot of calculations, it may be efficient to perform such calculations in the media value enhancing apparatus 100 rich in calculation resources. .
  • the encoder 130 may encode media data and / or supplemental information transmitted from the supplementary information generator 120.
  • the encoder 130 may use a predetermined compression algorithm (eg, an auxiliary information about an audio signal, an auxiliary information about an audio signal, an auxiliary information about a video signal, or metadata transmitted from the auxiliary information generator 120).
  • a predetermined compression algorithm eg, an auxiliary information about an audio signal, an auxiliary information about an audio signal, an auxiliary information about a video signal, or metadata transmitted from the auxiliary information generator 120.
  • it may be encoded using DPCM, run-length-coding, entropy coding, etc., and will be described in detail below.
  • the auxiliary information about the video signal may include edge information, and the edge information may indicate a position of a pixel forming an edge of the video signal.
  • the edge information may be encoded individually of the position of the pixels constituting the edge, or may be encoded by the position information of the start pixel of the edge and the direction information (or angle information) where the next pixel is located based on the start pixel. have.
  • the position of the start pixel may be encoded with a motion vector indicating the difference between the position of the left-top pixel and the start pixel of the current frame, indicating the difference between the position of the start pixel of the reference frame and the position of the start pixel of the current frame. It may also be encoded as a motion vector.
  • the current block of the virtual frame may have at least one reference block temporally adjacent to the at least one motion vector.
  • the size of the current block, the motion vector, the ratio between the current block and the reference block can be used as auxiliary information, as described above.
  • the auxiliary information may be encoded based on a differential pulse coded modulation (DPCM) scheme and entropy coding.
  • DPCM differential pulse coded modulation
  • the auxiliary information may be encoded using a forward motion vector, a size of a forward reference block, a size of a backward motion vector, and a size of a backward reference block, and arranged in a pre-defined order to form a bit string.
  • the ratio of the auxiliary information between the forward reference block and the backward reference block, the position of the neighboring block used to encode the motion vector by the DPCM scheme, the forward motion vector differential value according to the DPCM scheme, and the backward motion vector according to the DPCM scheme It is also possible to form the bit string by encoding the difference values and likewise arranging them in a pre-defined order.
  • the neighboring block refers to a block adjacent to the current block, which may include at least one of the top, bottom, left, right and blocks adjacent to each corner of the current block.
  • motion prediction may be performed in units of blocks in a frame, or motion prediction may be performed in units of edges in a frame.
  • a motion vector and a deformation form of an edge may be encoded.
  • the encoder 130 may generate a separate bitstream by encoding the media data and the supplementary information, respectively, or generate one bitstream by adding the bitstream of the supplementary information to the bitstream of the media data. It may be. Alternatively, the encoder 130 may apply the supplementary information generated by the supplementary information generator 120 to the media data to restore the media data having an enhanced value or quality, and then encode the same to generate one bitstream. .
  • FIG. 3 illustrates a method of encoding auxiliary information for improving value added or quality of media data in the media value enhancing apparatus 100 according to an embodiment to which the present invention is applied.
  • a media data request signal having a predetermined quality may be received from a terminal (S300).
  • the predetermined quality may mean a quality of a user designation, or may mean a minimum or maximum quality of media data that can be played in the corresponding terminal, and may mean any one of a plurality of quality preset in the corresponding terminal.
  • quality information eg, spatial / temporal / resolution resolution
  • the media data may be decoded in response to the media data request signal (S310).
  • the media data may be stored in the media value enhancing apparatus 100 or may be received from the terminal together with the media data request signal.
  • auxiliary information regarding the media data may be generated using at least one of the decoded media data and the quality information.
  • the auxiliary information about the media data may be edge information, interpolation filter information for sub-sampling.
  • the method may include at least one of an offset value or weighting filter information for applying a weight to a pixel value of the media data.
  • the edge information may indicate the position of a pixel forming an edge of the media data (for example, a boundary line between objects or a boundary line between the object and the background).
  • the interpolation filter information includes strengths (strong / weak), lengths (tap sizes), filter coefficients, and the like of the interpolation filter, which may be differently determined for each region divided based on the edge of the media data.
  • the interpolation filter information may include an interpolation filter in a horizontal direction and an interpolation filter in a vertical direction, and any one of a horizontal or vertical interpolation filter may be selectively used according to the edge direction of the media data.
  • the offset value is information for compensating a reconstructed pixel value of the media data, which may be selectively applied to all or a part of the pixel value of the media data, or may be limitedly applied to the pixel value located around the edge of the media data.
  • the offset value may be determined in an area unit divided by the edge of the media data, or may be determined in each pixel unit within one area.
  • the weighted filter information includes strengths (strong / weak), lengths (tap sizes), filter coefficients, and the like of the weighted filter, which may be differently determined for each region divided based on the edge of the media data.
  • a weighted filter that differs in at least one of intensity, length or filter coefficients may be used depending on the position of the weighted pixel (eg, whether the pixel is adjacent to an edge) within one region.
  • the temporal resolution of media data is improved according to the quality information
  • the number of virtual frames added between two temporally consecutive frames, a block unit for restoring the virtual frame, and a size of a reference block used for each block unit And a motion vector may be set as auxiliary information about media data.
  • the auxiliary information and / or media data generated in step S320 may be encoded (S330).
  • the generated auxiliary information and the media data may be encoded and generated as separate bitstreams, or may be generated as one bitstream by adding a bitstream about the auxiliary information to a bitstream about the media data. It may be.
  • the media data when the media data is received from the terminal, since the received media data can be transmitted as it is, only the supplementary information may be encoded without additionally encoding the media data.
  • FIG. 4 illustrates a method of generating auxiliary information for power control of a terminal in the media value improving apparatus 100 according to an embodiment to which the present invention is applied.
  • a media data request signal may be received from a terminal (S400).
  • a calculation amount required to process the corresponding media data in the terminal may be calculated (S410).
  • the media value enhancing apparatus 100 may calculate the amount of power required to restore the media data based on the specification information of the terminal (eg, CPU, RAM, display resolution, battery information, etc.) of the terminal.
  • the specification information of the terminal may be received from the terminal together with the media data request signal.
  • the media data corresponding to the media data request signal may be stored in the media value enhancing apparatus 100 or may be received from the terminal together with the media data request signal.
  • the media value enhancing apparatus 100 may divide a plurality of sections having a predetermined time interval from the media data, and calculate a calculation amount or a calculation complexity required to restore the media data for each section.
  • An auxiliary information for power control of the media data may be generated based on the calculation amount calculated in step S410 (S420).
  • the media value enhancing apparatus 100 may determine the number of CPU clocks that minimize power consumption for each section in consideration of the calculation amount calculated for each section, and may determine the location and / or temporal length of the section. At least one of the CPU clock number, the location of the section, or the temporal length of the section determined in this manner may be set as auxiliary information.
  • Ancillary information and / or media data for power control generated in operation S420 may be encoded (S430).
  • auxiliary information and the media data for power control may be encoded and generated as separate bitstreams, or the bitstream of the auxiliary information is added to the bitstream of the media data to generate one bitstream. May be
  • the received media data can be transmitted as it is, and thus only the supplementary information for power control may be encoded without additionally encoding the media data.
  • FIG. 5 is a diagram illustrating a method of restoring media data with improved value added or quality in an embodiment to which the present invention is applied.
  • the terminal may determine whether to generate auxiliary information about media data (S500).
  • the terminal may determine whether the terminal generates auxiliary information about the media data by comparing the attribute value of the media data with a threshold preset in the terminal.
  • the attribute value of the media data may include at least one of the size, playback time, or spatial / temporal / resolution resolution of the media data.
  • the preset threshold may define a maximum attribute value of media data that is allowed to generate auxiliary information in the terminal.
  • the auxiliary information is generated in the terminal. It can be determined that information is generated.
  • auxiliary information regarding the media data may be obtained (S510).
  • the media value enhancing apparatus 100 provided in the terminal may generate auxiliary information about the media data.
  • the media value enhancing apparatus 100 included in the remote processing unit may generate and encode the auxiliary information about the media data.
  • the terminal may obtain the auxiliary information about the media data by receiving the encoded auxiliary information from the remote operation processing device.
  • the supplementary information obtained in operation S510 may be applied to the media data to restore media data having an added value or improved quality (S520).
  • the present invention can be used to process media data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 미디어 가치 향상 장치는, 기-부호화된 미디어 데이터의 전부 또는 일부를 복호화하는 미디어 복호화부, 미디어 데이터를 분석하여 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하는 보조정보 생성부 및 보조정보를 부호화하는 부호화부를 포함하는 것을 특징으로 한다. 본 발명의 미디어 가치 향상 장치는 콘텐츠를 소비하는 단말기에게 기-부호화된 미디어 데이터와 함께, 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 부호화하여 전송하는 것을 특징으로 한다.

Description

미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기
본 발명은 원격 계산을 이용하여 부가가치 또는 품질이 향상된 미디어 데이터를 생성하는 방법 및 장치에 관한 것이다.
정보 통신 산업의 지속적인 발달은 휴대용 단말기의 디스플레이 성능 향상을 가져왔다. 디스플레이 성능의 지속적인 발달로 인하여, 휴대용 단말기는 HD(High Definition)미디어를 제공하는 디스플레이를 구비하고 있으며, 특히, 최근 휴대용 단말기는 FHD(Full High Definition) 또는 UHD(Ultra High Definition) 미디어를 제공하는 디스플레이를 구비하기에 이르렀다.
하지만, 휴대용 단말기가 구비하고 있는 카메라는 디스플레이의 성능 발달 속도를 따라가지 못하고 있으며, 휴대용 단말기의 카메라를 통해 획득한 미디어는 휴대용 단말기의 부호화 및/또는 복호화 성능 한계로 인해 미디어 품질의 한계가 존재한다.
휴대용 단말기의 카메라를 통해 획득한 미디어의 품질 향상을 위해서, 휴대용 단말기의 부호화 및/또는 복호화 성능을 향상할 필요성이 있으나, 휴대용 단말기의 한정된 계산 자원으로 인하여 휴대용 단말기의 카메라를 통해 획득한 미디어의 품질 향상에는 어려움이 있다.
본 발명은 원격에서 계산된 보조 정보를 이용하여 단말기에서 기-부호화된 미디어 데이터의 부가가치 또는 품질을 향상시키는 방법 및 장치를 제공한다.
본 발명은 단말기에서 미디어 데이터를 처리하는데 요구되는 전력량을 제어하는 방법 및 장치를 제공한다.
본 발명은 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 추출하고 부호화하는 방법 및 장치를 제공한다.
본 발명은 단말기의 capacity를 고려하여 원격 연산처리 장치 또는 단말기를 선택적으로 이용하여 미디어 데이터를 처리하는 방법 및 장치를 제공한다.
본 발명에 따른 미디어 데이터 복원 시스템은, 콘텐츠 제공하는 단말기로부터 수신되는 기-부호화된 미디어 데이터를 분석하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하고, 상기 생성된 보조정보를 콘텐츠 소비하는 단말기로 전달하는 원격 연산처리 장치 및 상기 원격 연산처리 장치로부터 전달된 보조정보를 상기 미디어 데이터에 적용하여 상기 미디어 데이터보다 부가가치 또는 품질이 향상된 미디어 데이터를 복원하는 단말기를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 원격 연산처리 장치는, 상기 미디어 데이터의 전부 또는 일부를 복호화하는 미디어 복호화부, 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하는 보조정보 생성부 및 상기 생성된 보조정보를 부호화하는 부호화부를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 원격 연산처리 장치에 있어서, 상기 미디어 데이터의 공간적 해상도를 향상하는 경우, 상기 보조정보는 엣지 정보(edge information), 서브-샘플링을 위한 보간 필터 정보(interpolation filter information), 상기 미디어 데이터의 픽셀 값에 가중치를 적용하기 위한 오프셋 값 또는 가중 필터 정보(weighting filter information) 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 원격 연산처리 장치에 있어서, 상기 미디어 데이터의 시간적 해상도를 향상하는 경우, 상기 보조정보는 시간적으로 연속적인 2개의 프레임 사이에 추가되는 가상 프레임의 개수, 상기 가상 프레임을 복원하는 블록 단위 또는 상기 블록 단위 별로 이용되는 참조 블록의 크기와 움직임 벡터 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 보조정보 생성부는, 상기 미디어 데이터를 소정의 시간 간격을 가진 복수의 구간으로 분할하고, 각 구간 별 미디어 데이터를 복원하는데 요구되는 계산량을 산출하며, 상기 산출된 계산량에 기초하여 상기 미디어 데이터의 전력 제어를 위한 보조정보를 생성하는 것을 특징으로 한다.
본 발명에 따른 상기 보조정보 생성부에 있어서, 상기 전력 제어를 위한 보조정보는 상기 각 구간 별 CPU clock 수, 구간의 위치 또는 상기 구간의 시간적 길이 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 장치는, 기-부호화된 미디어 데이터의 전부 또는 일부를 복호화하는 미디어 복호화부, 상기 미디어 데이터를 분석하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하는 보조정보 생성부 및 상기 복호화된 미디어 데이터 또는 상기 생성된 보조정보 중 적어도 하나를 부호화하는 부호화부를 포함하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 장치에 있어서, 상기 미디어 복호화부, 상기 보조정보 생성부 및 상기 부호화부는 단말기와 유/무선 네트워크로 연결된 클라우드 서버에 구비되는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 장치에 있어서, 상기 미디어 데이터의 공간적 해상도를 향상하는 경우, 상기 보조정보는 엣지 정보(edge information), 서브-샘플링을 위한 보간 필터 정보(interpolation filter information), 상기 미디어 데이터의 픽셀 값에 가중치를 적용하기 위한 오프셋 값 또는 가중 필터 정보(weighting filter information) 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 장치에 있어서, 상기 미디어 데이터의 시간적 해상도를 향상하는 경우, 상기 보조정보는 시간적으로 연속적인 2개의 프레임 사이에 추가되는 가상 프레임의 개수, 상기 가상 프레임을 복원하는 블록 단위 또는 상기 블록 단위 별로 이용되는 참조 블록의 크기와 움직임 벡터 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 보조정보 생성부는, 상기 미디어 데이터를 소정의 시간 간격을 가진 복수의 구간으로 분할하고, 각 구간 별 미디어 데이터를 복원하는데 요구되는 계산량을 산출하며, 상기 산출된 계산량에 기초하여 상기 미디어 데이터의 전력 제어를 위한 보조정보를 생성하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 장치에 있어서, 상기 전력 제어를 위한 보조정보는 상기 각 구간 별 CPU clock 수, 구간의 위치 또는 상기 구간의 시간적 길이 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 방법은, 단말기로부터 미디어 데이터 요청 신호 또는 품질 정보 중 적어도 하나를 수신하고, 상기 미디어 데이터 요청 신호에 대응하는 미디어 데이터를 복호화하며, 상기 복호화된 미디어 데이터와 상기 품질 정보 중 적어도 하나를 이용하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하고, 상기 복호화된 미디어 데이터와 상기 생성된 보조정보를 부호화하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 방법에 있어서, 상기 품질 정보는 사용자 지정의 품질 또는 상기 단말기에 기-설정된 복수의 품질 중 어느 하나를 나타내는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 방법에 있어서, 상기 품질 정보에 따라 상기 미디어 데이터의 공간적 해상도를 향상하는 경우, 상기 보조정보는 엣지 정보(edge information), 서브-샘플링을 위한 보간 필터 정보(interpolation filter information), 상기 미디어 데이터의 픽셀 값에 가중치를 적용하기 위한 오프셋 값 또는 가중 필터 정보(weighting filter information) 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 방법에 있어서, 상기 품질 정보에 따라 상기 미디어 데이터의 시간적 해상도를 향상하는 경우, 상기 보조정보는 시간적으로 연속적인 2개의 프레임 사이에 추가되는 가상 프레임의 개수, 상기 가상 프레임을 복원하는 블록 단위 또는 상기 블록 단위 별로 이용되는 참조 블록의 크기와 움직임 벡터 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 기-부호화된 미디어 데이터에 관한 보조정보를 이용함으로써, 부가가치 또는 품질이 향상된 미디어 데이터를 효과적으로 생성할 수 있다.
본 발명에 의하면, 원격 연산처리 장치에서 생성된 미디어 데이터의 전력 제어를 위한 보조정보를 이용함으로써, 단말기에서 미디어 데이터를 처리하는데 요구되는 전력량을 효과적으로 줄일 수 있다.
본 발명에 의하면, 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 효과적으로 부호화할 수 있다.
본 발명에 의하면, 단말기의 capacity를 고려하여 원격 연산처리 장치 또는 단말기를 선택적으로 이용함으로써, 보조정보와 품질이 향상된 미디어 데이터를 효율적으로 생성할 수 있다.
도 1은 본 발명이 적용되는 일실시예로서, 미디어 데이터의 부가가치를 향상시키기 위한 시스템의 개략적인 구성을 도시한 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 미디어 가치 향상 장치(100)의 개략적인 구성을 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 미디어 가치 향상 장치(100)에서 미디어 데이터의 부가가치 또는 품질 향상을 위한 보조정보를 부호화하는 방법을 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 미디어 가치 향상 장치(100)에서 단말기의 전력 제어를 위한 보조정보를 생성하는 방법을 도시한 것이다.
도 5는 본 발명이 적용되는 일실시예로서, 단말기에서 부가가치 또는 품질이 향상된 미디어 데이터를 복원하는 방법을 도시한 것이다.
본 발명에 따른 미디어 데이터 복원 시스템은, 콘텐츠 제공하는 단말기로부터 수신되는 기-부호화된 미디어 데이터를 분석하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하고, 상기 생성된 보조정보를 콘텐츠 소비하는 단말기로 전달하는 원격 연산처리 장치 및 상기 원격 연산처리 장치로부터 전달된 보조정보를 상기 미디어 데이터에 적용하여 상기 미디어 데이터보다 부가가치 또는 품질이 향상된 미디어 데이터를 복원하는 단말기를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 원격 연산처리 장치는, 상기 미디어 데이터의 전부 또는 일부를 복호화하는 미디어 복호화부, 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하는 보조정보 생성부 및 상기 생성된 보조정보를 부호화하는 부호화부를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 원격 연산처리 장치에 있어서, 상기 미디어 데이터의 공간적 해상도를 향상하는 경우, 상기 보조정보는 엣지 정보(edge information), 서브-샘플링을 위한 보간 필터 정보(interpolation filter information), 상기 미디어 데이터의 픽셀 값에 가중치를 적용하기 위한 오프셋 값 또는 가중 필터 정보(weighting filter information) 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 원격 연산처리 장치에 있어서, 상기 미디어 데이터의 시간적 해상도를 향상하는 경우, 상기 보조정보는 시간적으로 연속적인 2개의 프레임 사이에 추가되는 가상 프레임의 개수, 상기 가상 프레임을 복원하는 블록 단위 또는 상기 블록 단위 별로 이용되는 참조 블록의 크기와 움직임 벡터 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 보조정보 생성부는, 상기 미디어 데이터를 소정의 시간 간격을 가진 복수의 구간으로 분할하고, 각 구간 별 미디어 데이터를 복원하는데 요구되는 계산량을 산출하며, 상기 산출된 계산량에 기초하여 상기 미디어 데이터의 전력 제어를 위한 보조정보를 생성하는 것을 특징으로 한다.
본 발명에 따른 상기 보조정보 생성부에 있어서, 상기 전력 제어를 위한 보조정보는 상기 각 구간 별 CPU clock 수, 구간의 위치 또는 상기 구간의 시간적 길이 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 장치는, 기-부호화된 미디어 데이터의 전부 또는 일부를 복호화하는 미디어 복호화부, 상기 미디어 데이터를 분석하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하는 보조정보 생성부 및 상기 복호화된 미디어 데이터 또는 상기 생성된 보조정보 중 적어도 하나를 부호화하는 부호화부를 포함하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 장치에 있어서, 상기 미디어 복호화부, 상기 보조정보 생성부 및 상기 부호화부는 단말기와 유/무선 네트워크로 연결된 클라우드 서버에 구비되는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 장치에 있어서, 상기 미디어 데이터의 공간적 해상도를 향상하는 경우, 상기 보조정보는 엣지 정보(edge information), 서브-샘플링을 위한 보간 필터 정보(interpolation filter information), 상기 미디어 데이터의 픽셀 값에 가중치를 적용하기 위한 오프셋 값 또는 가중 필터 정보(weighting filter information) 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 장치에 있어서, 상기 미디어 데이터의 시간적 해상도를 향상하는 경우, 상기 보조정보는 시간적으로 연속적인 2개의 프레임 사이에 추가되는 가상 프레임의 개수, 상기 가상 프레임을 복원하는 블록 단위 또는 상기 블록 단위 별로 이용되는 참조 블록의 크기와 움직임 벡터 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 보조정보 생성부는, 상기 미디어 데이터를 소정의 시간 간격을 가진 복수의 구간으로 분할하고, 각 구간 별 미디어 데이터를 복원하는데 요구되는 계산량을 산출하며, 상기 산출된 계산량에 기초하여 상기 미디어 데이터의 전력 제어를 위한 보조정보를 생성하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 장치에 있어서, 상기 전력 제어를 위한 보조정보는 상기 각 구간 별 CPU clock 수, 구간의 위치 또는 상기 구간의 시간적 길이 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 방법은, 단말기로부터 미디어 데이터 요청 신호 또는 품질 정보 중 적어도 하나를 수신하고, 상기 미디어 데이터 요청 신호에 대응하는 미디어 데이터를 복호화하며, 상기 복호화된 미디어 데이터와 상기 품질 정보 중 적어도 하나를 이용하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하고, 상기 복호화된 미디어 데이터와 상기 생성된 보조정보를 부호화하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 방법에 있어서, 상기 품질 정보는 사용자 지정의 품질 또는 상기 단말기에 기-설정된 복수의 품질 중 어느 하나를 나타내는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 방법에 있어서, 상기 품질 정보에 따라 상기 미디어 데이터의 공간적 해상도를 향상하는 경우, 상기 보조정보는 엣지 정보(edge information), 서브-샘플링을 위한 보간 필터 정보(interpolation filter information), 상기 미디어 데이터의 픽셀 값에 가중치를 적용하기 위한 오프셋 값 또는 가중 필터 정보(weighting filter information) 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명에 따른 미디어 가치 향상 방법에 있어서, 상기 품질 정보에 따라 상기 미디어 데이터의 시간적 해상도를 향상하는 경우, 상기 보조정보는 시간적으로 연속적인 2개의 프레임 사이에 추가되는 가상 프레임의 개수, 상기 가상 프레임을 복원하는 블록 단위 또는 상기 블록 단위 별로 이용되는 참조 블록의 크기와 움직임 벡터 중 적어도 하나를 포함하는 것을 특징으로 한다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.
또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명이 적용되는 일실시예로서, 미디어 데이터의 부가가치를 향상시키기 위한 시스템의 개략적인 구성을 도시한 것이다.
도 1을 참조하면, 본 발명에 따른 시스템은 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 정보(이하, 보조정보라 함)를 생성하고, 이를 이용하여 부가가치 또는 품질이 향상된 미디어 데이터를 복원하기 위한 것으로서, 미디어 가치 향상 장치(100), 미디어 복원 장치(200)와 미디어 제공 장치(300)을 포함할 수 있다.
구체적으로, 미디어 가치 향상 장치(100)는 컨텐츠를 제공하는 단말기로부터 수신된 미디어 데이터를 분석하여 미디어 데이터에 관한 보조정보를 생성할 수 있고, 수신된 미디어 데이터 및/또는 생성된 보조정보를 미디어 복원 장치(200)로 전달할 수 있다. 이를 위해 미디어 가치 향상 장치(100)는 미디어 복호화부, 보조정보 생성부 및 부호화부를 더 포함할 수 있으며, 이에 대해서는 도 2를 참조하여 자세히 살펴 보기로 한다.
미디어 복원 장치(200)는 미디어 가치 향상 장치(100)로부터 수신된 미디어 데이터 및/또는 보조정보를 이용하여 기-부호화된 미디어 데이터보다 부가가치 또는 품질이 향상된 미디어 데이터를 복원할 수 있다. 미디어 제공 장치(300)는 미디어 가치 향상 장치(100)에 미디어 데이터를 전달할 수 있다.
미디어 가치 향상 장치(100)는 원격 연산처리 서버(예를 들어, 클라우드 서버)에, 미디어 복원 장치(200)는 컨텐츠를 소비하는 단말기에, 미디어 제공 장치(300)는 컨텐츠를 제공하는 단말기에 각각 구비될 수 있다. 원격 연산처리 서버와 단말기는 유/무선 네트워크로 연결되어 상호 데이터를 송수신할 수 있다. 컨텐츠를 소비하는 단말기와 컨텐츠를 제공하는 단말기는 하나의 단말기로 구현될 수도 있고, 서로 상이한 단말기로 구현될 수도 있다. 이하, 단말기라 함은 컨텐츠를 소비하는 단말기, 컨텐츠를 제공하는 단말기 또는 컨텐츠를 제공/소비하는 단말기를 의미하는 것으로 이해되어야 한다.
단말기로부터 소정의 품질을 가진 미디어 데이터의 전송 요청이 있는 경우, 원격 연산처리 서버는 기-부호화된 미디어 데이터를 분석하여 소정의 품질에 대응하는 보조정보를 생성하고, 생성된 보조정보 및/또는 기-부호화된 미디어 데이터를 단말기에 전달할 수 있다. 여기서, 기-부호화된 미디어 데이터는 원격 연산처리 서버에 저장된 것일 수도 있고, 상기 전송 요청과 함께 상기 단말기로부터 수신된 것일 수도 있다. 또는, 상기 전송 요청에 대응하여, 원격 연산처리 서버는 상기 생성된 보조정보를 기-부호화된 미디어 데이터에 적용하여 소정의 품질을 가진 미디어 데이터를 생성한 후, 이를 단말기로 전달할 수도 있다.
한편, 원격 연산처리 장치는 비실시간으로 미디어 데이터를 분석하여 보조정보를 생성할 수도 있고, 단말기로부터 실시간으로 전송되는 미디어 데이터(예를 들어, 라이브 방송, 화상회의, 비디오 스트리밍)에 대해서는 실시간으로 보조정보를 생성하여, 이를 단말기에 전달할 수도 있다.
상기 미디어 가치 향상 장치(100)와 미디어 복원 장치(200)는 하나의 단말기에 구비되어, 해당 단말기에서 미디어 데이터에 관한 보조정보를 생성하고, 이를 미디어 데이터에 적용하여 부가가치 또는 품질이 향상된 미디어 데이터를 직접 생성할 수도 있다. 다만, 상기 단말기는 기-부호화된 미디어 데이터의 속성 정보를 고려하여, 상기 단말기에 구비된 미디어 가치 향상 장치(100) 또는 원격 연산처리 장치에 구비된 미디어 가치 향상 장치(100) 중 어느 하나를 선택적으로 이용할 수도 있다. 여기서, 속성 정보는 미디어 데이터의 데이터량, 화면크기, 공간적/시간적/화질적 해상도 또는 재생시간 중 적어도 하나를 포함할 수 있다. 예를 들어, 미디어 데이터의 속성 정보가 단말기에 기-설정된 문턱값을 초과하는 경우, 단말기는 원격 연산처리 장치에 미디어 데이터에 관한 보조정보의 생성을 요청할 수 있고, 그렇지 않은 경우에 한하여 단말기 내에서 해당 미디어 데이터에 관한 보조정보를 생성할 수 있다. 상기 문턱값은 단말기 내에서의 보조정보 생성이 허용되는 속성 정보의 기준치를 의미할 수 있다.
도 2는 본 발명이 적용되는 일실시예로서, 미디어 가치 향상 장치(100)의 개략적인 구성을 도시한 것이다.
도 2를 참조하면, 본 발명의 미디어 가치 향상 장치(100)는 미디어 복호화부(110), 보조정보 생성부(120) 및 부호화부(130) 중 적어도 하나를 포함할 수 있다.
미디어 복호화부(110)는 수신된 미디어 데이터의 전부 또는 일부를 복호화할 수 있다. 예를 들어, 수신된 미디어 데이터가 스케일러블하게 부호화된 비디오인 경우, 상기 미디어 데이터는 공간적 해상도, 시간적 해상도 또는 화질적 해상도 중 적어도 하나가 상이한 복수의 레이어를 포함할 수 있으며, 복호화된 미디어 데이터는 복수의 레이어 중 최대의 공간적/시간적/화질적 해상도를 가진 레이어일 수 있다.
미디어 가치 향상 장치(100)는 복수의 압축 알고리즘을 저장할 수 있으며, 미디어 복호화부(110)는 저장된 복수의 압축 알고리즘 중 어느 하나를 이용하여 복호화를 수행할 수 있다. 예를 들어, 수신된 미디어 데이터를 부호화하는데 이용된 압축 알고리즘과 호환 가능한 압축 알고리즘을 선택적으로 이용할 수 있다.
보조정보 생성부(120)는 수신된 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성할 수 있다. 본 발명의 보조정보는 미디어 데이터의 타입에 따라 정의될 수 있으며, 이하 자세히 살펴보도록 한다.
1. 음성 신호인 경우
미디어 데이터가 음성 신호인 경우, 음성 신호에 관한 보조정보는 무성음의 시간적 위치와 해당 위치에서의 주파수별 신호세기, 유성음(특히, 배음)의 시간적 위치와 해당 위치에서의 주파수별 신호세기 또는 음성 효과(예를 들어, 에코 효과)를 부여하는 보조정보 중 적어도 하나를 포함할 수 있다.
2. 오디오 신호인 경우
미디어 데이터가 오디오 신호인 경우, 오디오 신호에 관한 보조정보는 오디오 신호의 음색을 변경하거나, 음악 신호에 악기를 추가하는 등의 효과를 부여하는 보조정보를 포함할 수 있다. 예를 들어, 오디오 신호에 관한 보조정보는 오디오 신호의 톤을 확대하거나 축소하기 위한 스케일링 팩터(scaling factor), 오디오 신호의 주파수 레인지를 변경하기 위한 주파수 레인지 매핑 정보, 오디오 신호의 샘플 값을 샘플링하거나 가중치를 적용하기 위한 필터 정보 등을 포함할 수 있다.
3. 비디오 신호인 경우
미디어 데이터가 비디오 신호인 경우, 비디오 신호의 부가가치 또는 품질을 향상시키기 위해 공간적 해상도를 향상시키거나 시간적 해상도를 향상시키기 위한 보조정보가 이용될 수 있다.
구체적으로, 비디오 신호의 공간적 해상도를 향상하는 경우, 비디오 신호에 관한 보조정보는 엣지 정보(edge information), 서브-샘플링을 위한 보간 필터 정보(interpolation filter information) 또는 비디오 신호의 픽셀 값에 가중치를 적용하기 위한 오프셋 값 또는 가중 필터 정보(weighting filter information) 중 적어도 하나를 포함할 수 있다.
여기서, 엣지 정보는 비디오 신호의 엣지(예를 들어, 객체 간의 경계선 또는 객체와 배경 간의 경계선)를 이루는 픽셀의 위치를 나타낼 수 있다. 상기 보간 필터 정보는 보간 필터의 세기(strong/weak), 길이(tap size), 필터 계수 등을 포함하며, 이는 비디오 신호의 엣지를 기준으로 나누어진 각 영역 별로 상이하게 결정될 수 있다. 또한, 보간 필터 정보는 수평 방향의 보간 필터와 수직 방향의 보간 필터를 포함할 수 있으며, 비디오 신호의 엣지의 방향에 따라 수평 방향 또는 수직 방향의 보간 필터 중 어느 하나가 선택적으로 이용될 수 있다. 상기 오프셋 값은 비디오 신호의 복원된 픽셀 값을 보상하기 위한 정보로서, 이는 비디오 신호의 픽셀 값 전부 또는 일부에 선택적으로 적용될 수도 있고, 비디오 신호의 엣지 주변에 위치한 픽셀 값에 제한적으로 적용될 수도 있다. 또한, 오프셋 값은 비디오 신호의 엣지를 기준으로 나누어지는 영역 단위로 결정될 수도 있고, 하나의 영역 내에서 각 픽셀 단위로 결정될 수도 있다. 상기 가중 필터 정보는 가중 필터의 세기(strong/weak), 길이(tap size), 필터 계수 등을 포함하며, 이는 비디오 신호의 엣지를 기준으로 나누어진 각 영역 별로 상이하게 결정될 수 있다. 하나의 영역 내에서 가중되는 픽셀의 위치(예를 들어, 엣지에 인접한 픽셀인지 여부)에 따라 세기, 길이 또는 필터 계수 중 적어도 하나가 상이한 가중 필터가 이용될 수 있다.
비디오 신호의 시간적 해상도를 향상하는 경우, 시간적으로 연속적인 2개의 프레임 사이에 적어도 하나의 가상 프레임을 생성할 수 있다. 즉, 보조정보 생성부(120)는 상기 가상 프레임을 소정의 크기를 가진 블록으로 분할할 수 있고, 분할된 블록의 단위로 가상 프레임에 시간적으로 인접한 적어도 하나의 참조 프레임을 이용하여 복원할 수 있다. 상술한 생성 과정을 통해 보조정보 생성부(120)는 가상 프레임을 분할하는 블록의 크기, 가상 프레임의 블록과 참조 프레임의 블록 간의 비율, 가상 프레임의 블록과 참조 프레임의 블록 간의 위치 차이를 나타내는 움직임 벡터 등을 결정할 수 있으며, 이는 비디오 신호에 관한 보조정보로 이용될 수 있다. 상술한 생성 과정을 통해 보조정보 생성부(120)는 가상 프레임에서 객체의 경계를 나타내는 엣지의 위치와 이에 대응하는 참조 프레임의 엣지로부터의 움직임 벡터 등을 결정할 수 있으며, 이는 비디오 신호에 관한 보조정보로 이용될 수 있다.
4. 메타 데이터(meta data)
보조정보 생성부(120)는 단말기에서 미디어 데이터를 처리하는데 소모되는 전력량을 제어하기 위한 보조정보를 생성할 수도 있다. 예를 들어, 수신된 비디오 신호를 소정의 시간 간격을 가진 복수의 구간으로 분할하고, 각 구간 별로 비디오 신호를 복호화하는데 요구되는 계산량을 산출한 후, 이를 이용하여 상기 전력 제어를 위한 보조정보를 생성할 수 있다. 여기서, 전력 제어를 위한 보조정보는 구간의 위치 및/또는 길이, 해당 구간의 CPU clock 수를 포함할 수 있다. 단말기에서는 이러한 전력 제어를 위한 보조정보에 기반하여 특정 구간에서의 CPU clock 수를 적응적으로 변경함으로써, 비디오 신호를 복호화하는데 필요한 전력량을 줄일 수 있다.
한편, 보조정보 생성부(120)는 미디어 데이터 자체로부터 메타 데이터를 추출하고, 이를 보조정보로 설정할 수 있다. 상기 메타 데이터는 빅 데이터로부터 특정한 미디어 데이터를 식별하기 위한 것으로서, 미디어 데이터의 속성, 컨텐츠, 유사 미디어 간의 그룹핑 등을 나타내는 정보를 포함할 수 있다. 이와 같이 미디어 데이터 자체로부터 추출되는 메타 데이터를 이용하여 빅 데이터(big data)를 효과적으로 저장하거나 검색할 수 있다. 상기 메타 데이터는 하나의 그룹으로 묶인 미디어 데이터 전체에 관한 것일 수도 있고, 하나의 미디어 데이터에 관한 것일 수도 있으며, 하나의 미디어 데이터 내에서 특정한 시간적 구간 또는 공간적 영역에 관한 것일 수도 있다. 미디어 데이터 자체로부터 미디어 데이터의 속성, 컨텐츠의 종류 등에 관한 메타 데이터를 추출하는 과정은 대부분 많은 계산을 필요하므로, 이러한 계산을 계산 자원이 풍부한 미디어 가치 향상 장치(100)에서 수행하도록 하는 것이 효율적일 수 있다.
도 2를 참조하면, 부호화부(130)는 보조정보 생성부(120)로부터 전달된 미디어 데이터 및/또는 보조정보를 부호화할 수 있다. 구체적으로, 부호화부(130)는 보조정보 생성부(120)로부터 전달되는 음성 신호에 관한 보조정보, 오디오 신호에 관한 보조정보, 비디오 신호에 관한 보조정보 또는 메타 데이터를 소정의 압축 알고리즘 (예를 들어, DPCM, run-length-coding, 엔트로피 코딩 등)을 이용하여 부호화할 수 있으며, 이하 자세히 살펴 보기로 한다.
1. 공간적 해상도를 향상하기 위한 보조정보
비디오 신호의 공간적 해상도를 향상하는 경우, 비디오 신호에 관한 보조정보는 엣지 정보(edge information)를 포함할 수 있으며, 엣지 정보는 비디오 신호의 엣지를 이루는 픽셀의 위치를 나타낼 수 있다. 이러한 엣지 정보는 엣지를 이루는 픽셀의 위치 자체를 개별적으로 부호화할 수도 있고, 또는 엣지의 시작 픽셀의 위치 정보 및 시작 픽셀을 기준으로 다음 픽셀이 위치하는 방향 정보(또는, 각도 정보)로 부호화될 수 있다. 또한, 시작 픽셀의 위치는 현재 프레임의 좌-상단 픽셀과 시작 픽셀의 위치 간의 차이를 나타내는 움직임 벡터로 부호화될 수도 있고, 참조 프레임의 시작 픽셀의 위치와 현재 프레임의 시작 픽셀의 위치 간의 차이를 나타내는 움직임 벡터로 부호화될 수도 있다.
2. 시간적 해상도를 향상하기 위한 보조정보
비디오 신호의 시간적 해상도를 향상하는 경우, 가상 프레임의 현재 블록은 적어도 하나의 움직임 벡터와 시간적으로 인접한 적어도 하나의 참조 블록을 가질 수 있다. 여기서, 현재 블록의 크기, 움직임 벡터, 현재 블록과 참조 블록 간의 비율 등이 보조정보로 이용될 수 있음은 앞서 살펴 본 바와 같다. 이 경우, 상기 보조정보는 DPCM(differential pulse coded modulation) 방식과 엔트로피 코딩에 기반하여 부호화될 수 있다.
예를 들어, 상기 보조정보를 포워드 움직임 벡터, 포워드 참조 블록의 크기, 백워드 움직임 벡터, 백워드 참조 블록의 크기로 부호화하고, 기-정의된 순서로 이를 배열하여 비트열을 구성할 수 있다. 또는, 상기 보조정보를 포워드 참조 블록과 백워드 참조 블록 간의 비율, 움직임 벡터를 DPCM 방식으로 부호화하는데 이용된 이웃 블록의 위치, DPCM 방식에 따른 포워드 움직임 벡터 차분값, DPCM 방식에 따른 백워드 움직임 벡터 차분값을 부호화하고, 마찬가지로 기-정의된 순서로 이를 배열하여 비트열을 구성할 수도 있다. 여기서, 이웃 블록은 현재 블록에 주변에 인접한 블록을 의미하는 것으로서, 이는 현재 블록의 상단, 하단, 좌측, 우측 그리고 각 코너에 인접한 블록 중 적어도 하나를 포함할 수 있다.
또한, 상술한 바와 같이, 프레임 내의 블록 단위로 움직임 예측을 수행할 수도 있고, 프레임 내의 엣지 단위로 움직임 예측을 수행할 수도 있으며, 이러한 경우에는 엣지에 관한 움직임 벡터와 변형 형태를 부호화할 수 있다.
상기 부호화부(130)는 미디어 데이터와 보조정보를 각각 부호화하여 별개의 비트스트림을 생성할 수도 있고, 상기 미디어 데이터에 관한 비트스트림에 보조정보에 관한 비트스트림을 부가하여 하나의 비트스트림을 생성할 수도 있다. 또는, 부호화부(130)는 미디어 데이터에 보조정보 생성부(120)에서 생성된 보조정보를 적용하여 부가가치 또는 품질이 향상된 미디어 데이터를 복원한 후, 이를 부호화하여 하나의 비트스트림을 생성할 수도 있다.
도 3은 본 발명이 적용되는 일실시예로서, 미디어 가치 향상 장치(100)에서 미디어 데이터의 부가가치 또는 품질 향상을 위한 보조정보를 부호화하는 방법을 도시한 것이다.
도 3을 참조하면, 단말기로부터 소정의 품질을 갖는 미디어 데이터 요청 신호를 수신할 수 있다(S300).
여기서, 소정의 품질은 사용자 지정의 품질을 의미할 수도 있고, 해당 단말기에서 재생 가능한 미디어 데이터의 최소 또는 최대 품질을 의미하는 것으로서, 해당 단말기에 기-설정된 복수의 품질 중 어느 하나를 의미할 수도 있다. 이를 위해 상기 미디어 데이터 요청 신호와 함께 품질 정보(예를 들어, 공간적/시간적/화질적 해상도)가 수신될 수 있다.
상기 미디어 데이터 요청 신호에 대응하여 해당 미디어 데이터를 복호화할 수 있다(S310). 여기서, 미디어 데이터는 미디어 가치 향상 장치(100)에 저장된 것일 수도 있고, 상기 미디어 데이터 요청 신호와 함께 상기 단말기로부터 수신될 것일 수도 있다.
S310 단계에서 복호화된 미디어 데이터와 상기 품질 정보 중 적어도 하나를 이용하여 미디어 데이터에 관한 보조정보를 생성할 수 있다(S320).
예를 들어, S300 단계에서 수신된 품질 정보에 따라 미디어 데이터의 공간적 해상도를 향상하는 경우, 미디어 데이터에 관한 보조정보는 엣지 정보(edge information), 서브-샘플링을 위한 보간 필터 정보(interpolation filter information) 또는 미디어 데이터의 픽셀 값에 가중치를 적용하기 위한 오프셋 값 또는 가중 필터 정보(weighting filter information) 중 적어도 하나를 포함할 수 있다.
여기서, 엣지 정보는 미디어 데이터의 엣지(예를 들어, 객체 간의 경계선 또는 객체와 배경 간의 경계선)를 이루는 픽셀의 위치를 나타낼 수 있다.
상기 보간 필터 정보는 보간 필터의 세기(strong/weak), 길이(tap size), 필터 계수 등을 포함하며, 이는 미디어 데이터의 엣지를 기준으로 나누어진 각 영역 별로 상이하게 결정될 수 있다. 또한, 보간 필터 정보는 수평 방향의 보간 필터와 수직 방향의 보간 필터를 포함할 수 있으며, 미디어 데이터의 엣지의 방향에 따라 수평 방향 또는 수직 방향의 보간 필터 중 어느 하나가 선택적으로 이용될 수 있다.
상기 오프셋 값은 미디어 데이터의 복원된 픽셀 값을 보상하기 위한 정보로서, 이는 미디어 데이터의 픽셀 값 전부 또는 일부에 선택적으로 적용될 수도 있고, 미디어 데이터의 엣지 주변에 위치한 픽셀 값에 제한적으로 적용될 수도 있다. 또한, 오프셋 값은 미디어 데이터의 엣지를 기준으로 나누어지는 영역 단위로 결정될 수도 있고, 하나의 영역 내에서 각 픽셀 단위로 결정될 수도 있다.
상기 가중 필터 정보는 가중 필터의 세기(strong/weak), 길이(tap size), 필터 계수 등을 포함하며, 이는 미디어 데이터의 엣지를 기준으로 나누어진 각 영역 별로 상이하게 결정될 수 있다. 하나의 영역 내에서 가중되는 픽셀의 위치(예를 들어, 엣지에 인접한 픽셀인지 여부)에 따라 세기, 길이 또는 필터 계수 중 적어도 하나가 상이한 가중 필터가 이용될 수 있다.
또는, 상기 품질 정보에 따라 미디어 데이터의 시간적 해상도를 향상하는 경우, 시간적으로 연속적인 2개의 프레임 사이에 추가되는 가상 프레임의 개수, 가상 프레임을 복원하는 블록 단위, 블록 단위 별로 이용되는 참조 블록의 크기와 움직임 벡터를 결정할 수 있으며, 도 2에서 상술한 바와 같이 이는 미디어 데이터에 관한 보조정보로 설정될 수 있다.
S320 단계에서 생성된 보조정보 및/또는 미디어 데이터를 부호화할 수 있다(S330).
예를 들어, 상기 생성된 보조정보와 미디어 데이터는 각각 부호화되어 별개의 비트스트림으로 생성될 수도 있고, 또는 미디어 데이터에 관한 비트스트림에 보조정보에 관한 비트스트림을 부가하여 하나의 비트스트림으로 생성될 수도 있다.
또는, 미디어 데이터가 단말기로부터 수신된 경우, 수신된 미디어 데이터를 그대로 전송할 수 있으므로, 미디어 데이터에 대해서 추가적으로 부호화를 수행하지 않고, 보조정보만을 부호화할 수도 있다.
도 4는 본 발명이 적용되는 일실시예로서, 미디어 가치 향상 장치(100)에서 단말기의 전력 제어를 위한 보조정보를 생성하는 방법을 도시한 것이다.
도 4를 참조하면, 단말기로부터 미디어 데이터 요청 신호를 수신할 수 있다(S400).
S400 단계의 미디어 데이터 요청 신호에 대응하여 해당 미디어 데이터를 상기 단말기에서 처리하는데 요구되는 계산량을 산출할 수 있다(S410).
구체적으로, 미디어 가치 향상 장치(100)는 상기 단말기의 스펙 정보(예를 들어, 단말기의 CPU, RAM, 디스플레이 해상도, 배터리 정보 등)에 기초하여 상기 미디어 데이터를 복원하는데 요구되는 전력량을 산출할 수 있으며, 이를 위해 상기 단말기의 스펙 정보는 상기 미디어 데이터 요청 신호와 함께 단말기로부터 수신될 수도 있다.
상기 미디어 데이터 요청 신호에 대응하는 미디어 데이터는 미디어 가치 향상 장치(100)에 저장된 것일 수도 있고, 상기 미디어 데이터 요청 신호와 함께 단말기로부터 수신된 것일 수도 있다. 미디어 가치 향상 장치(100)는 미디어 데이터를 소정의 시간 간격을 가진 복수의 구간을 분할하고, 각 구간 별로 미디어 데이터를 복원하는데 요구되는 계산량 또는 계산 복잡도를 산출할 수도 있다.
S410 단계에서 산출된 계산량에 기초하여 상기 미디어 데이터의 전력 제어를 위한 보조정보를 생성할 수 있다(S420).
즉, 미디어 가치 향상 장치(100)는 각 구간 별로 산출된 계산량을 고려하여 전력 소모를 최소화하는 CPU clock 수를 구간 별로 결정할 수 있고, 해당 구간의 위치 및/또는 시간적 길이를 결정할 수도 있다. 이와 같이 결정된 각 구간 별 CPU clock 수, 구간의 위치 또는 구간의 시간적 길이 중 적어도 하나가 보조정보로 설정될 수 있다.
S420 단계에서 생성된 전력 제어를 위한 보조정보 및/또는 미디어 데이터를 부호화할 수 있다(S430).
예를 들어, 전력 제어를 위한 보조정보와 미디어 데이터는 각각 부호화되어 별개의 비트스트림으로 생성될 수도 있고, 또는 미디어 데이터에 관한 비트스트림에 보조정보에 관한 비트스트림을 부가하여 하나의 비트스트림으로 생성될 수도 있다.
또는, 미디어 데이터가 단말기로부터 수신된 경우, 수신된 미디어 데이터를 그대로 전송할 수 있으므로, 미디어 데이터에 대해서 추가적으로 부호화를 수행하지 않고, 전력 제어를 위한 보조정보만을 부호화할 수도 있다.
도 5는 본 발명이 적용되는 일실시예로서, 단말기에서 부가가치 또는 품질이 향상된 미디어 데이터를 복원하는 방법을 도시한 것이다.
도 5를 참조하면, 단말기에서 미디어 데이터에 관한 보조정보를 생성할지 여부를 결정할 수 있다(S500).
구체적으로, 미디어 데이터의 속성값과 단말기에 기-설정된 문턱값을 비교하여, 단말기에서 미디어 데이터에 관한 보조정보를 생성할지 여부를 결정할 수 있다. 여기서, 미디어 데이터의 속성값은 미디어 데이터의 크기, 재생 시간 또는 공간적/시간적/화질적 해상도 중 적어도 하나를 포함할 수 있다. 상기 기-설정된 문턱값은 단말기에서 보조정보 생성이 허용되는 미디어 데이터의 최대 속성값을 정의한 것일 수 있다.
예를 들어, 미디어 데이터의 속성값이 단말기에 기-설정된 문턱값보다 작은 경우, 상기 단말기에서 보조정보가 생성되는 것으로 결정될 수 있고, 그렇지 않은 경우, 상기 단말기와 네트워크로 연결된 원격 연산처리 장치에서 보조정보가 생성되는 것으로 결정될 수 있다.
S500 단계의 결정에 따라 상기 미디어 데이터에 관한 보조정보를 획득할 수 있다(S510).
즉, 단말기에서 보조정보가 생성되는 것으로 결정된 경우, 해당 단말기에 구비된 미디어 가치 향상 장치(100)에서 미디어 데이터에 관한 보조정보를 생성할 수 있다.
반면, 단말기와 네트워크로 연결된 원격 연산처리 장치에서 보조정보가 생성되는 것으로 결정된 경우, 원격 연산처리 장치에 구비된 미디어 가치 향상 장치(100)에서 미디어 데이터에 관한 보조정보를 생성하고, 이를 부호화할 수 있다. 이 경우, 단말기는 상기 원격 연산처리 장치로부터 부호화된 보조정보를 수신함으로써, 미디어 데이터에 관한 보조정보를 획득할 수 있다. 원격 연산처리 장치에 구비된 미디어 가치 향상 장치(100)에서 보조정보를 생성하고, 이를 부호화하는 방법에 대해서는 도 1 내지 도 4를 참조하여 자세히 살펴보았는바, 여기서 자세한 설명은 생략하기로 한다.
S510 단계에서 획득된 보조정보를 미디어 데이터에 적용하여 부가가치 또는 품질이 향상된 미디어 데이터를 복원할 수 있다(S520).
본 발명은 미디어 데이터를 처리하는데 이용될 수 있다.

Claims (16)

  1. 콘텐츠를 제공하는 단말기로부터 수신되는 기-부호화된 미디어 데이터를 분석하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하고, 상기 생성된 보조정보를 콘텐츠를 소비하는 단말기로 전달하는 원격 연산처리 장치; 및
    상기 원격 연산처리 장치로부터 전달된 보조정보를 상기 미디어 데이터에 적용하여 상기 미디어 데이터보다 부가가치 또는 품질이 향상된 미디어 데이터를 복원하는 상기 컨텐츠를 소비하는 단말기를 포함하는 것을 특징으로 하는 미디어 데이터 복원 시스템.
  2. 제1항에 있어서, 상기 원격 연산처리 장치는,
    상기 미디어 데이터의 전부 또는 일부를 복호화하는 미디어 복호화부;
    상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하는 보조정보 생성부; 및
    상기 생성된 보조정보를 부호화하는 부호화부를 포함하는 것을 특징으로 하는 미디어 데이터 복원 시스템.
  3. 제2항에 있어서,
    상기 미디어 데이터의 공간적 해상도를 향상하는 경우, 상기 보조정보는 엣지 정보(edge information), 서브-샘플링을 위한 보간 필터 정보(interpolation filter information), 상기 미디어 데이터의 픽셀 값에 가중치를 적용하기 위한 오프셋 값 또는 가중 필터 정보(weighting filter information) 중 적어도 하나를 포함하는 것을 특징으로 하는 미디어 데이터 복원 시스템.
  4. 제2항에 있어서,
    상기 미디어 데이터의 시간적 해상도를 향상하는 경우, 상기 보조정보는 시간적으로 연속적인 2개의 프레임 사이에 추가되는 가상 프레임의 개수, 상기 가상 프레임을 복원하는 블록 단위 또는 상기 블록 단위 별로 이용되는 참조 블록의 크기와 움직임 벡터 중 적어도 하나를 포함하는 것을 특징으로 하는 미디어 데이터 복원 시스템.
  5. 제2항에 있어서, 상기 보조정보 생성부는,
    상기 미디어 데이터를 소정의 시간 간격을 가진 복수의 구간으로 분할하고, 각 구간 별 미디어 데이터를 복원하는데 요구되는 계산량을 산출하며, 상기 산출된 계산량에 기초하여 상기 미디어 데이터의 전력 제어를 위한 보조정보를 생성하는 것을 특징으로 하는 미디어 데이터 복원 시스템.
  6. 제5항에 있어서,
    상기 전력 제어를 위한 보조정보는 상기 각 구간 별 CPU clock 수, 구간의 위치 또는 상기 구간의 시간적 길이 중 적어도 하나를 포함하는 것을 특징으로 하는 미디어 데이터 복원 시스템.
  7. 기-부호화된 미디어 데이터의 전부 또는 일부를 복호화하는 미디어 복호화부;
    상기 미디어 데이터를 분석하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하는 보조정보 생성부; 및
    상기 생성된 보조정보를 부호화하는 부호화부를 포함하는 것을 특징으로 하는 미디어 가치 향상 장치.
  8. 제7항에 있어서,
    상기 미디어 복호화부, 상기 보조정보 생성부 및 상기 부호화부는 단말기와 유/무선 네트워크로 연결된 클라우드 서버에 구비되는 것을 특징으로 하는 미디어 가치 향상 장치.
  9. 제8항에 있어서,
    상기 미디어 데이터의 공간적 해상도를 향상하는 경우, 상기 보조정보는 엣지 정보(edge information), 서브-샘플링을 위한 보간 필터 정보(interpolation filter information), 상기 미디어 데이터의 픽셀 값에 가중치를 적용하기 위한 오프셋 값 또는 가중 필터 정보(weighting filter information) 중 적어도 하나를 포함하는 것을 특징으로 하는 미디어 가치 향상 장치.
  10. 제8항에 있어서,
    상기 미디어 데이터의 시간적 해상도를 향상하는 경우, 상기 보조정보는 시간적으로 연속적인 2개의 프레임 사이에 추가되는 가상 프레임의 개수, 상기 가상 프레임을 복원하는 블록 단위 또는 상기 블록 단위 별로 이용되는 참조 블록의 크기와 움직임 벡터 중 적어도 하나를 포함하는 것을 특징으로 하는 미디어 가치 향상 장치.
  11. 제8항에 있어서, 상기 보조정보 생성부는,
    상기 미디어 데이터를 소정의 시간 간격을 가진 복수의 구간으로 분할하고, 각 구간 별 미디어 데이터를 복원하는데 요구되는 계산량을 산출하며, 상기 산출된 계산량에 기초하여 상기 미디어 데이터의 전력 제어를 위한 보조정보를 생성하는 것을 특징으로 하는 미디어 가치 향상 장치.
  12. 제11항에 있어서,
    상기 전력 제어를 위한 보조정보는 상기 각 구간 별 CPU clock 수, 구간의 위치 또는 상기 구간의 시간적 길이 중 적어도 하나를 포함하는 것을 특징으로 하는 미디어 가치 향상 장치.
  13. 단말기로부터 미디어 데이터 요청 신호 또는 품질 정보 중 적어도 하나를 수신하는 단계;
    상기 미디어 데이터 요청 신호에 대응하는 미디어 데이터를 복호화하는 단계;
    상기 복호화된 미디어 데이터와 상기 품질 정보 중 적어도 하나를 이용하여 상기 미디어 데이터의 부가가치 또는 품질을 향상시키기 위한 보조정보를 생성하는 단계; 및
    상기 생성된 보조정보를 부호화하는 단계를 포함하는 것을 특징으로 하는 미디어 가치 향상 방법.
  14. 제13항에 있어서,
    상기 품질 정보는 사용자 지정의 품질 또는 상기 단말기에 기-설정된 복수의 품질 중 어느 하나를 나타내는 것을 특징으로 하는 미디어 가치 향상 방법.
  15. 제13항에 있어서,
    상기 품질 정보에 따라 상기 미디어 데이터의 공간적 해상도를 향상하는 경우, 상기 보조정보는 엣지 정보(edge information), 서브-샘플링을 위한 보간 필터 정보(interpolation filter information), 상기 미디어 데이터의 픽셀 값에 가중치를 적용하기 위한 오프셋 값 또는 가중 필터 정보(weighting filter information) 중 적어도 하나를 포함하는 것을 특징으로 하는 미디어 가치 향상 방법.
  16. 제13항에 있어서,
    상기 품질 정보에 따라 상기 미디어 데이터의 시간적 해상도를 향상하는 경우, 상기 보조정보는 시간적으로 연속적인 2개의 프레임 사이에 추가되는 가상 프레임의 개수, 상기 가상 프레임을 복원하는 블록 단위 또는 상기 블록 단위 별로 이용되는 참조 블록의 크기와 움직임 벡터 중 적어도 하나를 포함하는 것을 특징으로 하는 미디어 가치 향상 방법.
PCT/KR2016/011411 2015-10-21 2016-10-12 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기 WO2017069450A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150146935A KR101773893B1 (ko) 2015-10-21 2015-10-21 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기
KR10-2015-0146935 2015-10-21

Publications (1)

Publication Number Publication Date
WO2017069450A1 true WO2017069450A1 (ko) 2017-04-27

Family

ID=58557412

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/011411 WO2017069450A1 (ko) 2015-10-21 2016-10-12 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기

Country Status (2)

Country Link
KR (1) KR101773893B1 (ko)
WO (1) WO2017069450A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100048696A (ko) * 2008-10-31 2010-05-11 한국전자통신연구원 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법
JP5314825B2 (ja) * 2000-08-29 2013-10-16 ペンドラゴン ワイヤレス エルエルシー Ｃｐｕの負荷を安定させるためにスケーラブルビデオを動的に適応復号化するためのシステム及び方法
KR20130119717A (ko) * 2012-04-24 2013-11-01 광운대학교 산학협력단 보조 움직임 정보를 활용한 효율적인 영상 부호화 방법 및 장치
JP2014022781A (ja) * 2012-07-12 2014-02-03 Nippon Telegr & Teleph Corp <Ntt> 映像品質制御装置及び方法及びプログラム
KR20150021007A (ko) * 2013-08-19 2015-02-27 경희대학교 산학협력단 클라우드 컴퓨팅을 이용한 멀티미디어 서비스 품질 향상 방법 및 이를 위한 기기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5314825B2 (ja) * 2000-08-29 2013-10-16 ペンドラゴン ワイヤレス エルエルシー Ｃｐｕの負荷を安定させるためにスケーラブルビデオを動的に適応復号化するためのシステム及び方法
KR20100048696A (ko) * 2008-10-31 2010-05-11 한국전자통신연구원 네트워크 흐름기반 스케일러블 비디오 코딩 적응 장치 및 그 방법
KR20130119717A (ko) * 2012-04-24 2013-11-01 광운대학교 산학협력단 보조 움직임 정보를 활용한 효율적인 영상 부호화 방법 및 장치
JP2014022781A (ja) * 2012-07-12 2014-02-03 Nippon Telegr & Teleph Corp <Ntt> 映像品質制御装置及び方法及びプログラム
KR20150021007A (ko) * 2013-08-19 2015-02-27 경희대학교 산학협력단 클라우드 컴퓨팅을 이용한 멀티미디어 서비스 품질 향상 방법 및 이를 위한 기기

Also Published As

Publication number Publication date
KR101773893B1 (ko) 2017-09-12
KR20170046505A (ko) 2017-05-02

Similar Documents

Publication Publication Date Title
WO2011034380A2 (en) Method and apparatus for encoding and decoding image based on skip mode
WO2010068020A2 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치
EP3571841B1 (en) Dc coefficient sign coding scheme
WO2011155714A2 (ko) 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
WO2011142645A2 (en) Method and apparatus for encoding video signal and method and apparatus for decoding video signal
WO2020189817A1 (ko) 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
CN107071440A (zh) 使用先前帧残差的运动矢量预测
WO2012081877A2 (ko) 다시점 비디오 부호화/복호화 장치 및 방법
WO2011090352A2 (ko) 영역 기반의 부호화/복호화 장치 및 방법
JPH07322262A (ja) ビデオ信号復号化装置
WO2014058207A1 (ko) 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
WO2014088306A2 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
WO2014054896A1 (ko) 비디오 신호 처리 방법 및 장치
WO2017069450A1 (ko) 미디어 가치를 향상시키는 보조정보와 이를 원격에서 추출하고, 표현하고, 전송하는 방법 및 기기
WO2014054897A1 (ko) 비디오 신호 처리 방법 및 장치
WO2021118149A1 (en) Electronic apparatus and control method thereof
WO2013028041A2 (en) Method and apparatus for encoding image, and method and apparatus for decoding image
WO2016006746A1 (ko) 초고해상도 영상 처리를 위한 장치
CN109640082A (zh) 音视频多媒体数据处理方法及其设备
WO2010140864A2 (ko) 스테레오 영상 처리 장치 및 방법
KR102192630B1 (ko) 포렌식 마킹 장치 및 방법
WO2014168411A1 (ko) 비디오 신호 처리 방법 및 장치
WO2012099352A2 (ko) 다시점 영상 부호화/복호화 장치 및 방법
WO2015050385A1 (ko) 프레임의 특성에 따라 부하를 분배하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16857708

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16857708

Country of ref document: EP

Kind code of ref document: A1