WO2016076515A1 - 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치 - Google Patents

영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치 Download PDF

Info

Publication number
WO2016076515A1
WO2016076515A1 PCT/KR2015/008740 KR2015008740W WO2016076515A1 WO 2016076515 A1 WO2016076515 A1 WO 2016076515A1 KR 2015008740 W KR2015008740 W KR 2015008740W WO 2016076515 A1 WO2016076515 A1 WO 2016076515A1
Authority
WO
WIPO (PCT)
Prior art keywords
frequency
image
clustering
band
coefficients
Prior art date
Application number
PCT/KR2015/008740
Other languages
English (en)
French (fr)
Inventor
임태규
김일구
한승훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020177011648A priority Critical patent/KR101957944B1/ko
Priority to CN201580072447.2A priority patent/CN107113395B/zh
Priority to US15/526,607 priority patent/US10417766B2/en
Priority to EP15859627.0A priority patent/EP3211887B1/en
Publication of WO2016076515A1 publication Critical patent/WO2016076515A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Definitions

  • a method and apparatus for generating metadata including frequency characteristic information of an image is described.
  • UHD Ultra HD
  • Full-HD High Definition
  • UHD TVs UHD monitors
  • UHD is a display technology implemented with four times as many pixels as full-HD pixels. Because display devices with huge numbers of pixels, such as Full-HD or UHD, can display even small parts of an image, detail or sharpness of the image is used to display the image as if it were real. It is one of the important issues. The detail or sharpness of the image is particularly relevant to the edges included in the scene of the image. When there are many edges in the scene of the image, the display devices use a lot of hardware resources for processing the image.
  • the present invention provides a method and apparatus for generating metadata including frequency characteristic information of an image.
  • the present invention provides a computer-readable recording medium having recorded thereon a program for executing the method on a computer.
  • the technical problem to be achieved by the present embodiment is not limited to the technical problems as described above, and further technical problems can be inferred from the following embodiments.
  • a method of generating metadata including frequency characteristic information of an image may include converting pixel values of a current block among blocks divided from the image into frequency coefficients of a frequency domain; Determining a band value of a frequency band corresponding to the region by using the frequency coefficients included in each region for each of the regions divided to correspond to different frequency bands in the current block; And generating metadata including frequency characteristic information of the current block based on the determined band value.
  • the divided regions may be the m regions set by a predefined frequency band pattern to divide the frequency coefficients in the current block into m (m is a natural number) frequency bands.
  • the frequency band pattern may be a pattern of size N ⁇ N when the current block is a block having a pixel array size of N ⁇ N (N is a natural number).
  • the frequency coefficients may include DCT coefficients generated by performing a discrete cosine transform (DCT) on the pixel values, and the frequency band pattern includes a direct current (DC) coefficient and a highest frequency of a low frequency component among the DCT coefficients.
  • the current block may be a pattern for dividing the current block into the m regions corresponding to the m frequency bands based on a diagonal direction crossing the alternating current (AC) coefficient of the component.
  • the determining may include grouping the frequency coefficients of the current block into groups corresponding to m frequency bands using a predefined frequency band pattern; And for each of the groups, evaluating frequency coefficients belonging to the group, and determining the band value based on the evaluation result.
  • each of the frequency bands are assigned different thresholds of frequency coefficients
  • the evaluating may include comparing statistics of the frequency coefficients belonging to the group with thresholds assigned to the frequency bands corresponding to the group. Evaluate the frequency coefficients.
  • the determining may include the band of the frequency band corresponding to the group if the statistical value of the frequency coefficients belonging to the group is greater than or equal to the threshold value assigned to the frequency band corresponding to the group as a result of the comparison. The value is determined as 1, and the band value is determined as 0 when the statistical value is less than the threshold value.
  • the determining may include generating the m-digit bit string having bits corresponding to the m band values when the predefined frequency band pattern has m frequency bands.
  • the frequency characteristic of the current block is represented by a value calculated from the bit string of the m digits.
  • the image is clustered as having a frequency characteristic of any one of a high frequency image, a medium frequency image, and a low frequency image based on statistics of scalar values calculated for each of the blocks.
  • the metadata is generated by an image transmitting device that transmits the image, and transmitted together with the image from the image transmitting device to an image receiving device that reproduces the image, and the clustering is performed by the image transmitting device and the image. Performed by at least one of the receiving devices.
  • an apparatus for generating metadata including frequency characteristic information of an image may include: a frequency converter configured to convert pixel values of a current block among blocks divided from the image into frequency coefficients in a frequency domain; A frequency characteristic analyzer for determining a band value of a frequency band corresponding to the region by using the frequency coefficients included in the region for each of the divided regions corresponding to different frequency bands in the current block; And a metadata generator for generating metadata including frequency characteristic information of the current block based on the determined band value.
  • the divided regions may be the m regions set by a predefined frequency band pattern to divide the frequency coefficients in the current block into m (m is a natural number) frequency bands.
  • the frequency band pattern may be a pattern of size N ⁇ N when the current block is a block having a pixel array size of N ⁇ N (N is a natural number).
  • the frequency coefficients may include DCT coefficients generated by performing a discrete cosine transform (DCT) on the pixel values, and the frequency band pattern includes a direct current (DC) coefficient and a highest frequency of a low frequency component among the DCT coefficients.
  • the current block may be a pattern for dividing the current block into the m regions corresponding to the m frequency bands based on a diagonal direction crossing the alternating current (AC) coefficient of the component.
  • the frequency characteristic analyzer may be further configured to group the frequency coefficients of the current block into groups corresponding to m frequency bands by using a predefined frequency band pattern, and belong to a group for each of the groups. The frequency coefficients are evaluated and the band value is determined based on the evaluation result.
  • each of the frequency bands are assigned different thresholds of frequency coefficients, and the frequency characteristic analyzer compares the statistics of the frequency coefficients belonging to the group with the thresholds assigned to the frequency bands corresponding to the group. Evaluate the frequency coefficients.
  • the frequency characteristic analyzer may further include the band of the frequency band corresponding to the group if the statistical value of the frequency coefficients belonging to the group is equal to or greater than the threshold value assigned to the frequency band corresponding to the group. The value is determined as 1, and the band value is determined as 0 when the statistical value is less than the threshold value.
  • the frequency characteristic analyzer may generate the m-bit bit string having bits corresponding to the m band values when the predefined frequency band pattern has m frequency bands, and the frequency of the current block.
  • the characteristic is represented by a value calculated from the bit string of the m digits.
  • the image is clustered as having a frequency characteristic of any one of a high frequency image, a medium frequency image, and a low frequency image based on statistics of scalar values calculated for each of the blocks, and the apparatus transmits an image to transmit the image.
  • the metadata is transmitted from the image transmitting device to the image receiving device that reproduces the image, and the clustering is performed by at least one of the image transmitting device and the image receiving device. .
  • a method of analyzing a frequency characteristic of an input image in an image receiving device includes performing training of clustering levels for clustering the frequency characteristics of the training images using training images having different frequency characteristics. step; Receiving metadata including frequency characteristic information of the input image from an image transmitting device; And clustering frequency characteristics of the input image by determining a clustering level corresponding to the frequency characteristic information included in the metadata among the learned clustering levels.
  • the received metadata may include the frequency characteristic information generated based on band values of frequency bands determined using a frequency band pattern for frequency coefficients converted from the input image.
  • the received metadata includes the frequency characteristic information indicating a scalar value or a distribution of scalar values corresponding to the frequency characteristic of the input image.
  • the performing of the learning further comprises: performing the learning of the clustering levels using a multi-class support vector machine (SVM), wherein the clustering levels are hyperplanes determined by the multi-class SVM. Corresponds to.
  • SVM support vector machine
  • the learned clustering levels may include a clustering level for clustering into a high frequency image, a clustering level for clustering into a medium frequency image, and a clustering level for clustering into a low frequency image.
  • an image receiving device analyzing a frequency characteristic of an input image, frequency characteristics for performing learning of clustering levels for clustering the frequency characteristics of the training images using training images having different frequency characteristics.
  • Classification unit configured to receive metadata including frequency characteristic information of the input image from an image transmitting device, wherein the frequency characteristic classifier corresponds to the frequency characteristic information included in the metadata among the learned clustering levels.
  • the frequency characteristic of the input image is clustered by determining a clustering level.
  • the received metadata may include the frequency characteristic information generated based on band values of frequency bands determined using a frequency band pattern for frequency coefficients converted from the input image.
  • the received metadata includes the frequency characteristic information indicating a scalar value or a distribution of scalar values corresponding to the frequency characteristic of the input image.
  • the frequency characteristic classifier performs the learning of the clustering levels using a multi-class support vector machine (SVM), the clustering levels corresponding to hyperplanes determined by the multi-class SVM. do.
  • SVM support vector machine
  • the learned clustering levels may include a clustering level for clustering into a high frequency image, a clustering level for clustering into a medium frequency image, and a clustering level for clustering into a low frequency image.
  • a computer-readable recording medium having recorded thereon a program for executing the method of generating the metadata or the method of analyzing the frequency characteristics on a computer.
  • FIG. 1 is a diagram for describing data transmitted from an image processing apparatus (image transmitting device) to an image receiving device according to an exemplary embodiment.
  • FIG. 2 is a block diagram illustrating hardware components of an image processing apparatus according to an exemplary embodiment.
  • FIG. 3 is a diagram for describing performing frequency conversion on a current block of an image, according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating frequency coefficients converted by a frequency converter, according to an exemplary embodiment.
  • 5A is a diagram for describing a criterion for defining a frequency band pattern, according to an exemplary embodiment.
  • FIG. 5B is a diagram for describing a frequency characteristic analyzer reading out a frequency band pattern stored in a storage unit, according to an exemplary embodiment.
  • 6A through 6C are diagrams illustrating frequency band patterns according to example embodiments.
  • FIG. 7 illustrates an example of grouping frequency coefficients into groups corresponding to frequency bands using a frequency band pattern, according to an exemplary embodiment.
  • FIG. 8 is a diagram for describing a threshold value of a frequency coefficient set for each frequency band defined by a frequency band pattern, according to an exemplary embodiment.
  • FIG. 9 is a diagram for describing determining a band value of a frequency band by evaluating frequency coefficients belonging to a group corresponding to each frequency band of a frequency band pattern, according to an exemplary embodiment.
  • FIG. 10 is a diagram for describing a binary pattern and a scalar value indicating frequency characteristics of a current block, according to an exemplary embodiment.
  • FIG. 11 is a diagram for describing meta data generated by a meta data generator according to one embodiment.
  • FIG. 11 is a diagram for describing meta data generated by a meta data generator according to one embodiment.
  • FIG. 12 is a diagram illustrating clustering frequency characteristics of an image from received metadata by an image receiving device according to an exemplary embodiment.
  • FIG. 13 is a diagram illustrating clustering of frequency characteristics of an image by an image processing apparatus, according to an exemplary embodiment.
  • 14A and 14B are diagrams illustrating distributions of scalar values for each of a high frequency image, a medium frequency image, and a low frequency image when frequency characteristics of an image are analyzed by using a frequency band pattern, according to an exemplary embodiment.
  • 15 is a flowchart of a method of generating metadata including frequency characteristic information of an image, according to an exemplary embodiment.
  • 16 is a flowchart of a method of analyzing a frequency characteristic of an input image in an image receiving device according to an embodiment.
  • a method of generating metadata including frequency characteristic information of an image may include converting pixel values of a current block among blocks divided from the image into frequency coefficients of a frequency domain; Determining a band value of a frequency band corresponding to the region by using the frequency coefficients included in each region for each of the regions divided to correspond to different frequency bands in the current block; And generating metadata including frequency characteristic information of the current block based on the determined band value.
  • an apparatus for generating metadata including frequency characteristic information of an image may include: a frequency converter configured to convert pixel values of a current block among blocks divided from the image into frequency coefficients in a frequency domain; A frequency characteristic analyzer for determining a band value of a frequency band corresponding to the region by using the frequency coefficients included in the region for each of the divided regions corresponding to different frequency bands in the current block; And a metadata generator for generating metadata including frequency characteristic information of the current block based on the determined band value.
  • a method of analyzing a frequency characteristic of an input image in an image receiving device includes performing training of clustering levels for clustering the frequency characteristics of the training images using training images having different frequency characteristics. step; Receiving metadata including frequency characteristic information of the input image from an image transmitting device; And clustering frequency characteristics of the input image by determining a clustering level corresponding to the frequency characteristic information included in the metadata among the learned clustering levels.
  • an image receiving device analyzing a frequency characteristic of an input image, frequency characteristics for performing learning of clustering levels for clustering the frequency characteristics of the training images using training images having different frequency characteristics.
  • Classification unit configured to receive metadata including frequency characteristic information of the input image from an image transmitting device, wherein the frequency characteristic classifier corresponds to the frequency characteristic information included in the metadata among the learned clustering levels.
  • the frequency characteristic of the input image is clustered by determining a clustering level.
  • ... unit means a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. Can be.
  • FIG. 1 is a diagram for describing data transmitted from an image processing apparatus (image transmitting device) to an image receiving device according to an exemplary embodiment.
  • the image processing apparatus 10 may transmit the image data and the meta data generated with respect to the image data to the image receiving device 20.
  • the image data may include video data, picture data, and the like.
  • the image processing apparatus 10 may correspond to an image transmitting device from the perspective of the image receiving device 20.
  • the image processing device may include, but is not limited to, a broadcast server, a TV, a smartphone, a tablet device, a PC, a notebook, and the like, which generates image content such as a video and a photo.
  • the image receiving device 20 may correspond to a device having functions of receiving image content such as a video or a picture from the outside, or playing and displaying the received image content.
  • the image receiving device 20 may include a TV, a smartphone, a tablet device, a set top box, but is not limited thereto.
  • the image processing apparatus 10 may generate metadata including various image related information such as resolution information, codec information, detail information, etc. of the image together with the image data.
  • the detail information of the image included in the meta data may mean information about frequency characteristics of the image indicating whether the image has a tendency for the high frequency component to prevail or the low frequency component to prevail. For example, if the scene of the image contains a lot of edges, the image is analyzed to contain a lot of high frequency components, and conversely, if a relatively few edges are included, the image is analyzed to include a lot of low frequency components. Can be. That is, the degree of detail of the image may depend on the frequency characteristic of the image.
  • the image processing apparatus 10 analyzes frequency characteristics of an image to include detail information on whether the image corresponds to a high frequency image or a low frequency image in metadata, and together with the image, the image receiving device 20 can be provided.
  • the meta data may be provided as a Supplemental Enhancement Information (SEI) message of the video codec, or may be used as an internal representation of a disc, a media player, and a TV, but is not limited thereto.
  • SEI Supplemental Enhancement Information
  • FIG. 2 is a block diagram illustrating hardware components of an image processing apparatus according to an exemplary embodiment.
  • the image processing apparatus 10 may include a frequency converter 110, a frequency characteristic analyzer 120, and a metadata generator 130.
  • the frequency converter 110, the frequency characteristic analyzer 120, and the metadata generator 130 may be hardware modules such as one or more processors, software modules, or a combination thereof. It may be implemented by such.
  • only components related to the exemplary embodiment are illustrated in the image processing apparatus 10 illustrated in FIG. 2. Thus, it will be understood by those skilled in the art that other general purpose components may be further included in addition to the components shown in FIG.
  • the frequency converter 110 converts pixel values of the current block among the blocks divided from the image into frequency coefficients of the frequency domain.
  • the frequency converter 110 may perform a discrete cosine transform (DCT) for frequency conversion. That is, the frequency coefficients converted by the frequency converter 110 include DCT coefficients generated by performing DCT on pixel values.
  • DCT discrete cosine transform
  • FIG. 3 is a diagram for describing performing frequency conversion on a current block of an image, according to an exemplary embodiment.
  • the image 300 is assumed to be a 4k image having a pixel size of 3840 ⁇ 2160. However, this is only an example.
  • the present embodiment may be applied to images having different pixel sizes.
  • the image 300 may be divided into blocks of a predetermined size.
  • the predetermined size may mean a pixel size of N ⁇ N (N is a natural number).
  • the analysis of the frequency characteristic of the image 300 may be performed in units of N ⁇ N blocks.
  • to analyze the frequency characteristics of the current block 301 and the image 300 it means a block corresponding to the order to be currently processed.
  • the frequency converter 110 converts pixel values of the current block 301 of size N ⁇ N into frequency coefficients (DCT coefficients) 310 of size N ⁇ N. For example, when N is 16, 256 pixel values included in the current block 301 may be converted into 256 frequency coefficients (DCT coefficients) 310, respectively.
  • FIG. 4 is a diagram illustrating frequency coefficients converted by a frequency converter, according to an exemplary embodiment.
  • the frequency coefficient FC 1-1 corresponding to the pixel value of the first row and the first column of the block 301 corresponds to the DC (Direct Current) coefficient 401 and the remaining frequency coefficients FC 1-2 to FC 16-16.
  • the frequency coefficient FC 16-16 402 corresponding to the pixel value of the rightmost bottommost column (16 rows 16 columns) of the block 301 may correspond to a frequency coefficient representing the highest frequency component.
  • the frequency converter 110 converts 256 pixel values of the current block 301 having a size of 16 ⁇ 16 to 265 frequency coefficients (DCT coefficients) having a size of 16 ⁇ 16 ( DCT coefficients).
  • DCT coefficients frequency coefficients
  • N 16
  • N 16
  • the frequency characteristic analyzer 120 corresponds to the region using frequency coefficients included in the region for each of the regions divided to correspond to different frequency bands in the current block 301.
  • the divided regions may be divided by m frequency coefficients 310 in the current block 301 into m (m is natural numbers) frequency bands set by a predefined frequency band pattern. May mean areas.
  • the frequency band pattern is a pattern having the same pixel size as the current block 301.
  • the frequency band pattern may be a pattern having a size of N ⁇ N.
  • the frequency band pattern will be described in more detail with reference to FIGS. 5A to 6C.
  • 5A is a diagram for describing a criterion for defining a frequency band pattern, according to an exemplary embodiment.
  • the frequency band pattern 500 may be an N ⁇ N sized pattern equal to the size of the current block 301 and may include N ⁇ N pixels.
  • the frequency band pattern 500 includes the pixel BP 1-1 position 501 of the DC coefficient 401 of the low frequency component and the AC of the highest frequency component among the frequency coefficients (DCT coefficients) 310 described in FIG. 4.
  • a pattern that divides the current block 301 into m regions corresponding to m frequency bands, based on the diagonal direction 510 across the pixel BP 16-16 position 502 of the coefficient 402. Can be.
  • the dotted lines are illustrated as m regions.
  • m is assumed to be 7, but it will be understood by those skilled in the art that m can be easily applied to the present embodiments even if m is changed to another value. Meanwhile, the thicknesses of the m regions may be the same or may not be the same.
  • the diagonal direction 510 is taken as an example.
  • the frequency band pattern according to the present exemplary embodiment is not limited thereto. It can be defined as a reference or based on a prototype.
  • FIG. 5B is a diagram for describing a frequency characteristic analyzer reading out a frequency band pattern stored in a storage unit, according to an exemplary embodiment.
  • the image processing apparatus 10 may further include a storage 140 in addition to the components shown in FIG. 2.
  • the storage 140 may store in advance information about various kinds of predefined frequency band patterns 511, 512, and 513.
  • the frequency characteristic analyzer 120 may select and read a frequency band pattern (eg, the frequency band pattern 511) necessary for analyzing the frequency characteristic from the storage 140.
  • 6A through 6C are diagrams illustrating frequency band patterns according to example embodiments.
  • the position of the pixels included in the frequency band patterns 601, 602, and 603 may be mapped 1: 1 with the position of the pixels of the current block 301, thus resulting in frequency band patterns 601, 602, and 603.
  • the position of the included pixels may be mapped 1: 1 with each of the frequency coefficients (DCT coefficients) FC 1-1 to FC 16-16 310 described in FIG. 4.
  • the frequency band pattern 1 601 is a pattern in which the thickness of each of the m frequency bands in an N ⁇ N size block is the same and the areas of the block are divided in units of 4 ⁇ 4 subblocks.
  • the frequency band pattern 2 602 is a pattern defined to make the thickness of the frequency band B 4 thicker than other frequency bands in a block of size N ⁇ N, and to divide areas of the block in units of 2 ⁇ 2 subblocks.
  • the frequency band pattern 3 603 is a pattern defined to make the thickness of the frequency band B m thicker than other frequency bands in a block of size N ⁇ N, and to divide the area of the block in units of 2 ⁇ 2 subblocks.
  • the ways of defining the frequency band patterns 601, 602, and 603 may vary, and they may be included in the scope of application of this embodiment.
  • the frequency characteristics are analyzed using the frequency band pattern 1 601 as an example, but the present exemplary embodiment may analyze the frequency characteristics using other types of frequency band patterns. Those skilled in the art will understand.
  • the frequency characteristic analyzer 120 converts the frequency coefficients 310 of the current block 301 into groups corresponding to m frequency bands using a predefined frequency band pattern. Group.
  • the frequency characteristic analyzer 120 evaluates, for each of the groups, frequency coefficients 310 belonging to the group, and calculates a band value of each of the frequency bands based on the evaluation result. Decide Hereinafter, the grouping process and the band value determination process will be described in more detail with reference to FIGS. 7 to 10.
  • FIG. 7 illustrates an example of grouping frequency coefficients into groups corresponding to frequency bands using a frequency band pattern, according to an exemplary embodiment.
  • 16 of the 256 frequency coefficients 310 of the frequency coefficients FC 1-1 , FC 1-2 , FC 1-3 , FC 1-4 , FC 2-1 , FC 2-2,. , FC 4-3 , FC 4- 4 can be grouped into a frequency band B are grouped into a group belonging to the first, with the remaining frequency coefficients in the same manner as the frequency bands B 2 to B 7 belonging to the group, respectively.
  • Table 710 illustrates these grouping results.
  • the entire frequency coefficients 310 may be divided into seven groups corresponding to seven frequency bands B 1 to B 7 set by the frequency band pattern 601. Meanwhile, the present invention is not limited thereto, and if the frequency band pattern 2 602 or the frequency band pattern 3 603 described above is used, the entire frequency coefficients 310 may be grouped differently from those shown in FIG. 7. .
  • FIG. 8 is a diagram for describing a threshold value of a frequency coefficient set for each frequency band defined by a frequency band pattern, according to an exemplary embodiment.
  • the threshold value TH set B1 for the B 1 it may be a threshold value TH B7 set for the frequency band B 7.
  • FIG. 9 is a diagram for describing determining a band value of a frequency band by evaluating frequency coefficients belonging to a group corresponding to each frequency band of a frequency band pattern, according to an exemplary embodiment.
  • the frequency characteristic analyzer 120 may evaluate frequency coefficients by comparing a statistical value of frequency coefficients belonging to a group with a threshold value assigned to a frequency band corresponding to the group.
  • the frequency characteristic analyzer 120 determines that the band value of the frequency band corresponding to the group is 1 when the statistical value of the frequency coefficients belonging to the group is greater than or equal to the threshold value assigned to the frequency band corresponding to the group as a result of the comparison. If the statistical value is less than the threshold value, the band value may be determined as zero.
  • the statistic may be a value representing a certain statistic group, such as a mean, median, mode, and the like.
  • the frequency characteristic analyzer 120 may include the frequency coefficients FC 1-1 , FC 1-2 , FC 1-3 , FC 1-4 , and FC 2- belonging to the frequency band B 1 . 1 , FC 2-2 ,..., FC 4-3 , Calculate the mean value B1 of FC 4-4 ).
  • the frequency characteristic analyzer 120 compares the threshold TH B1 set in the frequency band B 1 with the average value Mean B1 . If the mean value Mean B1 ⁇ the threshold value TH B1 , the frequency characteristic analyzer 120 determines that the band value of the frequency band B 1 is 1. However, when the mean value Mean B1 ⁇ the threshold value TH B1 , the frequency characteristic analyzer 120 determines that the band value of the frequency band B 1 is zero.
  • the frequency characteristic analyzer 120 may determine band values of other frequency bands B 2 to B 7 in this manner.
  • the frequency characteristic analyzer 120 when the predefined frequency band pattern has m frequency bands, the frequency characteristic analyzer 120 generates an m-digit bit string having bits corresponding to m band values.
  • the frequency characteristic of the current block 301 may be expressed as a value calculated from an m-digit bit string.
  • FIG. 10 is a diagram for describing a binary pattern and a scalar value indicating frequency characteristics of a current block, according to an exemplary embodiment.
  • the band of the frequency band B 1 is 1
  • the band of the frequency band B 2 is 1
  • the band of the frequency band B 3 is 1
  • the frequency band B 4 The band values may be determined as 1, a band value of frequency band B 5 is 0, a band value of frequency band B 6 is 0, and a band value of frequency band B 7 is 0.
  • the frequency characteristic analyzer 120 may generate m band values in a sequence of m digits in order of m frequency bands. That is, the frequency characteristic analyzer 120 may generate a bit string having a binary pattern of “0001111”.
  • the bit string having the binary pattern of “0001111” may be a representation representing the frequency characteristic of the current block 301.
  • the frequency characteristic may be represented by a scalar value S of 15.
  • the frequency characteristic of the current block 301 may be represented by any one of values of 0 to 2 m ⁇ 1, which is a range of a scalar value S. Can be.
  • the frequency band B 1 corresponds to the region including the DC coefficient 401 and the frequency band B 7 corresponds to the region including the AC coefficient 402.
  • the frequency characteristic of the current block 301 may mean that the low frequency characteristic is dominant.
  • the frequency characteristic of the current block 301 may mean that the high frequency characteristic prevails.
  • the metadata generator 130 generates metadata including frequency characteristic information of the current block 301 based on the determined band value. That is, the metadata generator 130 may generate metadata including information of a binary pattern or a scalar value regarding the frequency characteristic of the current block 301. In addition, the metadata generator 130 may generate metadata including distribution information of binary patterns or scalar values of blocks in the entire image 300.
  • FIG. 11 is a diagram for describing meta data generated by a meta data generator according to one embodiment.
  • FIG. 11 is a diagram for describing meta data generated by a meta data generator according to one embodiment.
  • a 4k image 1110 having a size of 3840 ⁇ 2160 will be described as an example.
  • the image processing apparatus 10 the frequency characteristic analyzer 120
  • the metadata generating unit 130 may generate metadata 1130 including information of scalar values S 1 to S 32400 representing frequency characteristics of each block.
  • Information of the scalar values S 1 to S 32400 representing the frequency characteristics of each block may be considered to be the frequency characteristics of the 4k image 1110 after all.
  • the image receiving device 20 that receives the metadata 1130 including the frequency characteristic information (detail information) of the scalar values S 1 to S 32400 together with the image data of the 4k image 1110 is the metadata 1130. By parsing the frequency characteristic information therein, it may be determined whether the high frequency characteristic or the low frequency characteristic of the 4k image 1110 is dominant.
  • the distribution of the scalar values S 1 to S 32400 for the 4k image 1110 may also be considered to be a frequency characteristic of the 4k image 1110.
  • the metadata 1130 may include frequency characteristic information of the 4k image 1110 and include statistical (eg, distribution) information of scalar values S 1 to S 32400 .
  • the meta data 1130 may be included in a field different from the image data in the bitstream 1120 generated by the image processing apparatus 10 and transmitted to the image receiving device 20.
  • FIG. 12 is a diagram illustrating clustering frequency characteristics of an image from received metadata by an image receiving device according to an exemplary embodiment.
  • the image processing apparatus 10 only provides metadata of the scalar values (or binary patterns) or metadata including the distribution information of the scalar values to the image receiving device 20.
  • information indicating whether the scalar values or the distribution of the scalar values corresponds to any of high frequency characteristics, mid frequency characteristics, and low frequency characteristics may not be provided.
  • the image receiving device 20 may cluster which of the high frequency image, the medium frequency image, and the low frequency image based on the information of the scalar values or the distribution information of the scalar values included in the metadata.
  • the image receiving device 20 may include a frequency characteristic classifying unit 210 and a receiving unit 220. However, since only the components related to the embodiment are shown in the image receiving device 20 illustrated in FIG. 12, those skilled in the art may have other general-purpose components other than the components illustrated in FIG. 12. It can be understood that more may be included.
  • the frequency characteristic classifier 210 may perform training for clustering frequency characteristics of the image in advance by using the training images 1201. That is, the frequency characteristic classifying unit 210 previously clusters which image of each of the training images 1201 corresponds to a high frequency image, a medium frequency image, and a low frequency image, thereby generating a new image (new scalar values or distribution of new scalar values). When this is entered, the rules for clustering it can be learned in advance.
  • the frequency characteristic classifier 210 may use a clustering algorithm, such as a multi-class support vector machine (SVM), for clustering learning.
  • SVM multi-class support vector machine
  • the present invention is not limited thereto, and a clustering algorithm similar to the SVM may be used. Can be applied.
  • the receiver 220 receives metadata including frequency characteristic information of the input image from the image processing apparatus 10 (the image transmitting device).
  • the frequency characteristic classifying unit 210 When the clustering rule is generated through clustering learning using the training images 1201, the frequency characteristic classifying unit 210 based on the scalar values or the distribution of the scalar values included in the metadata, the input image is a high frequency image or a medium frequency. Clustering is applied to any one of the frequency characteristics of the image and the low frequency image. In the present embodiment, the input image is clustered into three types of clustering levels, such as a high frequency image, a medium frequency image, and a low frequency image, but the number of clustering levels may be variously changed.
  • the clustering algorithm corresponds to a multi-class SVM
  • the clustering levels may correspond to hyperplanes determined by the multi-class SVM.
  • the image processing apparatus 10 does not provide the clustering result of the frequency characteristic to the image receiving device 20.
  • the image processing apparatus 10 may cluster the frequency characteristic. The result may be provided to the image receiving device 20. In other words, clustering It may be performed by at least one of the image processing apparatus (image transmitting device) 10 and the image receiving device 20.
  • FIG. 13 is a diagram illustrating clustering of frequency characteristics of an image by an image processing apparatus, according to an exemplary embodiment.
  • the image processing apparatus 10 may further include a frequency characteristic classifier 150.
  • the frequency characteristic analyzer 120 may transmit the frequency characteristic information represented by the information of the scalar values (or binary patterns) or the distribution information of the scalar values to the frequency characteristic classifier 150.
  • the frequency characteristic classifier 150 may perform training for clustering frequency characteristics of the image in advance by using the training images 1301. That is, the frequency characteristic classifying unit 150 clusters in advance which of the high frequency image, the medium frequency image, and the low frequency image each of the training images 1301 corresponds to, and thus, the frequency characteristic information (scalar values or scalar values) of the new image.
  • the frequency characteristic classifier 150 may use a clustering algorithm, such as SVM, for clustering learning.
  • SVM clustering algorithm
  • the present invention is not limited thereto, and a clustering algorithm similar to the SVM may be applied to the present embodiment.
  • the frequency characteristic classifying unit 150 based on the frequency characteristic information (scalar values or the distribution of scalar values), the image is a high frequency image or a medium frequency image. And which one corresponds to the frequency characteristic of the low frequency image. Meanwhile, in the present embodiment, the image is clustered into three types of levels such as a high frequency image, a medium frequency image, and a low frequency image, but the number of clustering levels may be variously changed.
  • the metadata generating unit 130 together with the frequency characteristic information (scalar values or the distribution of the scalar values), for a result clustered by the frequency characteristic classifying unit 150 (any one of a high frequency image, a medium frequency image, and a low frequency image) Meta data including information may be generated.
  • 14A and 14B are diagrams illustrating distributions of scalar values for each of a high frequency image, a medium frequency image, and a low frequency image when frequency characteristics of an image are analyzed by using a frequency band pattern, according to an exemplary embodiment.
  • the high frequency image has a high frequency of relatively large scalar values (eg, scalar values between 110 and 127).
  • the frequency of the scalar values for example, between 90 and 127 is slightly evenly distributed.
  • graphs 1403 and 1413 showing the distribution of scalar values of a low frequency image unlike a medium frequency image, a low frequency image has a low frequency of scalar values (eg, scalar values of 120 or more) representing high frequency components. Able to know.
  • the metadata generating unit 130 may reduce the capacity of the metadata by generating metadata including only information on some kinds of scalar values showing (or prevailing) a frequency above a predetermined threshold.
  • the metadata generator 130 may generate metadata including only information about a predetermined number of scalar values in order of frequency, thereby reducing the capacity of the metadata. That is, the metadata generator 130 may generate the metadata by omitting some of the information of the entire scalar values determined by the frequency characteristic analyzer 120 to reduce the capacity of the metadata.
  • FIG. 15 is a flowchart of a method of generating metadata including frequency characteristic information of an image, according to an exemplary embodiment.
  • a method of generating metadata is processes that are processed in time series in the image processing apparatus 10 of FIG. 2, the contents described above in the drawings may be described in detail. It can also be applied to the generation method of.
  • the frequency converter 110 converts pixel values of the current block 301 among the blocks divided from the image 300 into frequency coefficients 310 of the frequency domain.
  • the frequency characteristic analyzer 120 corresponds to each of the areas divided to correspond to different frequency bands in the current block 301 by using frequency coefficients included in the area. Determine the band value of.
  • the metadata generator 130 In operation 1503, the metadata generator 130 generates metadata 1130 including frequency characteristic information of the current block 301 based on the determined band value.
  • FIG. 16 is a flowchart of a method of analyzing a frequency characteristic of an input image in an image receiving device according to an embodiment.
  • the method for analyzing frequency characteristics is processes processed in time series in the image receiving device 20 of FIG. 12, the descriptions made in the above drawings will be described with reference to the method of FIG. 16. Applicable to
  • the frequency characteristic classifier 210 performs training of clustering levels for clustering frequency characteristics of the training images 1201 using training images 1201 having different frequency characteristics.
  • the receiver 220 receives metadata including frequency characteristic information of the input image from the image transmission device (the image processing apparatus 10).
  • the meta data is generated by the image transmission device (image processing apparatus 10) as described above, and the meta data is a band of frequency bands determined using a frequency band pattern for frequency coefficients converted from the input image. It includes frequency characteristic information generated based on the values.
  • the metadata may include frequency characteristic information indicating a scalar value or a distribution of scalar values corresponding to the frequency characteristic of the input image.
  • the frequency characteristic classifier 210 clusters the frequency characteristics of the input image by determining a clustering level corresponding to the frequency characteristic information included in the metadata among the learned clustering levels.
  • the frequency characteristic classifier 210 may perform the learning of clustering levels by using the multi-class SVM, and the clustering levels may correspond to hyperplanes determined by the multi-class SVM, but are not limited thereto. It doesn't work.
  • the learned clustering levels may include a clustering level for clustering into a high frequency image, a clustering level for clustering into a medium frequency image, and a clustering level for clustering into a low frequency image.
  • the above-described method can be written as a program that can be executed in a computer, it can be implemented in a general-purpose digital computer to operate the program using a computer-readable recording medium.
  • the structure of the data used in the above-described method can be recorded on the computer-readable recording medium through various means.
  • the computer-readable recording medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optical reading medium (eg, a CD-ROM, a DVD, etc.).

Abstract

영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치는, 영상으로부터 분할된 블록들 중 현재 블록의 픽셀 값들을 주파수 도메인의 주파수 계수들로 변환하고, 현재 블록 내에서 서로 다른 주파수 밴드들에 대응되도록 구분된 영역들 각각에 대하여, 영역에 포함된 주파수 계수들을 이용하여 영역에 대응되는 주파수 밴드의 밴드 값을 결정하고, 결정된 밴드 값에 기초한 현재 블록의 주파수 특성 정보를 포함하는 메타 데이터를 생성한다.

Description

영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치
영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치에 관한다.
최근, 디스플레이 기술이 Full-HD(High Definition)를 거쳐 UHD(Ultra HD) 등으로 발전함에 따라, UHD TV, UHD 모니터 등이 등장하고 있다. UHD는 Full-HD의 픽셀들보다 4배가 많은 픽셀들로 구현되는 디스플레이 기술이다. Full-HD 또는 UHD 등과 같이 막대한 개수들의 픽셀들을 갖는 디스플레이 장치들은 영상의 작은 부분이라 할지라도 세밀하게 표시할 수 있기 때문에, 영상의 디테일(detail) 또는 선명도(sharpness)는 영상을 실제처럼 보여주기 위한 중요한 이슈들 중에 하나이다. 영상의 디테일 또는 선명도는 특히, 영상의 장면(scene)에 포함된 에지들과 관련이 깊다. 영상의 장면에 에지들이 많은 경우 디스플레이 장치들은 영상의 처리에 많은 하드웨어 리소스들을 사용하게 된다. 디스플레이 장치들이 보다 효율적으로 하드웨어 리소스를 사용함과 동시에 영상을 보다 사실적으로 표시할 수 있게 하기 위해서는, 영상의 장면에 포함된 에지들에 대한 정보, 즉 고주파 특성을 갖는 장면인지 또는 저주파 특성을 갖는 장면인지에 대한 정보가 중요하다. 따라서, 영상의 장면들이 갖는 주파수 특성을 정확하고 효율적으로 분석하기 위한 다양한 연구들이 모색되고 있다.
영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치를 제공하는데 있다. 또한, 이 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일 측면에 따르면, 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법은, 상기 영상으로부터 분할된 블록들 중 현재 블록의 픽셀 값들을 주파수 도메인의 주파수 계수들로 변환하는 단계; 상기 현재 블록 내에서 서로 다른 주파수 밴드들에 대응되도록 구분된 영역들 각각에 대하여, 영역에 포함된 상기 주파수 계수들을 이용하여 상기 영역에 대응되는 주파수 밴드의 밴드 값을 결정하는 단계; 및 상기 결정된 밴드 값에 기초한 상기 현재 블록의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 단계를 포함한다.
또한, 상기 구분된 영역들은 상기 현재 블록 내의 상기 주파수 계수들을 m개의 (m은 자연수) 상기 주파수 밴드들로 구분하기 위하여 미리 정의된 주파수 밴드 패턴에 의해 설정된 상기 m개의 영역들일 수 있다.
또한, 상기 주파수 밴드 패턴은 상기 현재 블록이 N×N (N은 자연수)의 픽셀 어레이 크기의 블록인 경우, N×N의 크기의 패턴일 수 있다.
또한, 상기 주파수 계수들은 상기 픽셀 값들에 대하여 DCT(Discrete Cosine Transform)를 수행함으로써 생성된 DCT 계수들을 포함하고, 상기 주파수 밴드 패턴은 상기 DCT 계수들 중 저주파 성분의 DC(Direct Current) 계수 및 최고주파 성분의 AC(Alternating Current) 계수를 가로지르는 대각선 방향을 기준으로, 상기 현재 블록을 상기 m개의 주파수 밴드들에 대응되는 상기 m개의 영역들로 구분하는 패턴일 수 있다.
또한, 상기 결정하는 단계는 미리 정의된 주파수 밴드 패턴을 이용하여, 상기 현재 블록의 상기 주파수 계수들을 m개의 상기 주파수 밴드들에 대응되는 그룹들로 그룹핑하는 단계; 및 상기 그룹들 각각에 대하여, 그룹에 속하는 주파수 계수들을 평가하는 단계를 포함하고, 상기 평가 결과에 기초하여 상기 밴드 값을 결정한다.
또한, 상기 주파수 밴드들 각각은 주파수 계수의 서로 다른 임계값이 할당되고, 상기 평가하는 단계는 상기 그룹에 속하는 상기 주파수 계수들의 통계량과, 상기 그룹에 대응되는 주파수 밴드에 할당된 임계값을 비교하여, 상기 주파수 계수들을 평가한다.
또한, 상기 결정하는 단계는 상기 비교 결과, 상기 그룹에 속하는 상기 주파수 계수들의 상기 통계값이 상기 그룹에 대응되는 상기 주파수 밴드에 할당된 상기 임계값 이상인 경우 상기 그룹에 대응되는 상기 주파수 밴드의 상기 밴드 값을 1로 결정하고, 상기 통계값이 상기 임계값 미만인 경우 상기 밴드 값을 0으로 결정한다.
또한, 상기 결정하는 단계는 상기 미리 정의된 주파수 밴드 패턴이 m개의 상기 주파수 밴드들을 갖는 경우, 상기 m개의 밴드 값들에 대응되는 비트들을 갖는 상기 m자릿수의 비트열을 생성하는 단계를 포함하고, 상기 현재 블록의 주파수 특성은 상기 m자릿수의 상기 비트열로부터 산출된 값으로 표현된다.
또한, 상기 영상은 상기 블록들 각각에 대하여 산출된 스칼라 값들의 통계량에 기초하여 고주파 영상, 중주파 영상 및 저주파 영상 중 어느 하나의 주파수 특성을 갖는 것으로 클러스터링된다.
또한, 상기 메타 데이터는 상기 영상을 송신하는 영상 송신 디바이스에 의해 생성되고, 상기 영상과 함께 상기 영상 송신 디바이스로부터 상기 영상을 재생하는 영상 수신 디바이스로 전송되고, 상기 클러스터링은 상기 영상 송신 디바이스 및 상기 영상 수신 디바이스 중 적어도 어느 하나에 의해 수행된다.
다른 측면에 따르면, 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 장치는, 상기 영상으로부터 분할된 블록들 중 현재 블록의 픽셀 값들을 주파수 도메인의 주파수 계수들로 변환하는 주파수 변환부; 상기 현재 블록 내에서 서로 다른 주파수 밴드들에 대응되도록 구분된 영역들 각각에 대하여, 영역에 포함된 상기 주파수 계수들을 이용하여 상기 영역에 대응되는 주파수 밴드의 밴드 값을 결정하는 주파수 특성 분석부; 및 상기 결정된 밴드 값에 기초한 상기 현재 블록의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 메타 데이터 생성부를 포함한다.
또한, 상기 구분된 영역들은 상기 현재 블록 내의 상기 주파수 계수들을 m개의 (m은 자연수) 상기 주파수 밴드들로 구분하기 위하여 미리 정의된 주파수 밴드 패턴에 의해 설정된 상기 m개의 영역들일 수 있다.
또한, 상기 주파수 밴드 패턴은 상기 현재 블록이 N×N (N은 자연수)의 픽셀 어레이 크기의 블록인 경우, N×N의 크기의 패턴일 수 있다.
또한, 상기 주파수 계수들은 상기 픽셀 값들에 대하여 DCT(Discrete Cosine Transform)를 수행함으로써 생성된 DCT 계수들을 포함하고, 상기 주파수 밴드 패턴은 상기 DCT 계수들 중 저주파 성분의 DC(Direct Current) 계수 및 최고주파 성분의 AC(Alternating Current) 계수를 가로지르는 대각선 방향을 기준으로, 상기 현재 블록을 상기 m개의 주파수 밴드들에 대응되는 상기 m개의 영역들로 구분하는 패턴일 수 있다.
또한, 상기 주파수 특성 분석부는 미리 정의된 주파수 밴드 패턴을 이용하여, 상기 현재 블록의 상기 주파수 계수들을 m개의 상기 주파수 밴드들에 대응되는 그룹들로 그룹핑하고, 상기 그룹들 각각에 대하여, 그룹에 속하는 주파수 계수들을 평가하고, 상기 평가 결과에 기초하여 상기 밴드 값을 결정한다.
또한, 상기 주파수 밴드들 각각은 주파수 계수의 서로 다른 임계값이 할당되고, 상기 주파수 특성 분석부는 상기 그룹에 속하는 상기 주파수 계수들의 통계량과, 상기 그룹에 대응되는 주파수 밴드에 할당된 임계값을 비교하여, 상기 주파수 계수들을 평가한다.
또한, 상기 주파수 특성 분석부는 상기 비교 결과, 상기 그룹에 속하는 상기 주파수 계수들의 상기 통계값이 상기 그룹에 대응되는 상기 주파수 밴드에 할당된 상기 임계값 이상인 경우 상기 그룹에 대응되는 상기 주파수 밴드의 상기 밴드 값을 1로 결정하고, 상기 통계값이 상기 임계값 미만인 경우 상기 밴드 값을 0으로 결정한다.
또한, 상기 주파수 특성 분석부는 상기 미리 정의된 주파수 밴드 패턴이 m개의 상기 주파수 밴드들을 갖는 경우, 상기 m개의 밴드 값들에 대응되는 비트들을 갖는 상기 m자릿수의 비트열을 생성하고, 상기 현재 블록의 주파수 특성은 상기 m자릿수의 상기 비트열로부터 산출된 값으로 표현된다.
또한, 상기 영상은 상기 블록들 각각에 대하여 산출된 스칼라 값들의 통계량에 기초하여 고주파 영상, 중주파 영상 및 저주파 영상 중 어느 하나의 주파수 특성을 갖는 것으로 클러스터링되고, 상기 장치는 상기 영상을 송신하는 영상 송신 디바이스에 해당되고, 상기 메타 데이터는 상기 영상과 함께 상기 영상 송신 디바이스로부터 상기 영상을 재생하는 영상 수신 디바이스로 전송되고, 상기 클러스터링은 상기 영상 송신 디바이스 및 상기 영상 수신 디바이스 중 적어도 어느 하나에 의해 수행된다.
또 다른 측면에 따르면, 영상 수신 디바이스에서 입력 영상의 주파수 특성을 분석하는 방법은, 서로 다른 주파수 특성들을 갖는 트레이닝 영상들을 이용하여 상기 트레이닝 영상들의 상기 주파수 특성들을 클러스터링하기 위한 클러스터링 레벨들의 학습을 수행하는 단계; 영상 송신 디바이스로부터 상기 입력 영상의 주파수 특성 정보를 포함하는 메타 데이터를 수신하는 단계; 및 상기 학습된 클러스터링 레벨들 중 상기 메타 데이터에 포함된 상기 주파수 특성 정보에 대응되는 클러스터링 레벨을 결정함으로써 상기 입력 영상의 주파수 특성을 클러스터링하는 단계를 포함한다.
또한, 상기 수신된 메타 데이터는, 상기 입력 영상으로부터 변환된 주파수 계수들에 대해 주파수 밴드 패턴을 이용하여 결정된 주파수 밴드들의 밴드 값들에 기초하여 생성된 상기 주파수 특성 정보를 포함한다.
또한, 상기 수신된 메타 데이터는, 상기 입력 영상의 상기 주파수 특성에 대응되는 스칼라 값 또는 스칼라 값들의 분포를 나타내는 상기 주파수 특성 정보를 포함한다.
또한, 상기 학습을 수행하는 단계는, 멀티-클래스 SVM(support vector machine)을 이용하여 상기 클러스터링 레벨들의 상기 학습을 수행하고, 상기 클러스터링 레벨들은, 상기 멀티-클래스 SVM에 의해 결정된 초평면들(hyperplanes)에 대응된다.
또한, 상기 학습된 클러스터링 레벨들은, 고주파 영상으로 클러스터링하기 위한 클러스터링 레벨, 중주파 영상으로 클러스터링하기 위한 클러스터링 레벨 및 저주파 영상으로 클러스터링하기 위한 클러스터링 레벨을 포함한다.
또 다른 측면에 따르면, 입력 영상의 주파수 특성을 분석하는 영상 수신 디바이스는, 서로 다른 주파수 특성들을 갖는 트레이닝 영상들을 이용하여 상기 트레이닝 영상들의 상기 주파수 특성들을 클러스터링하기 위한 클러스터링 레벨들의 학습을 수행하는 주파수 특성 분류부; 및 영상 송신 디바이스로부터 상기 입력 영상의 주파수 특성 정보를 포함하는 메타 데이터를 수신하는 수신부를 포함하고, 상기 주파수 특성 분류부는, 상기 학습된 클러스터링 레벨들 중 상기 메타 데이터에 포함된 상기 주파수 특성 정보에 대응되는 클러스터링 레벨을 결정함으로써 상기 입력 영상의 주파수 특성을 클러스터링한다.
또한, 상기 수신된 메타 데이터는, 상기 입력 영상으로부터 변환된 주파수 계수들에 대해 주파수 밴드 패턴을 이용하여 결정된 주파수 밴드들의 밴드 값들에 기초하여 생성된 상기 주파수 특성 정보를 포함한다.
또한, 상기 수신된 메타 데이터는, 상기 입력 영상의 상기 주파수 특성에 대응되는 스칼라 값 또는 스칼라 값들의 분포를 나타내는 상기 주파수 특성 정보를 포함한다.
또한, 상기 주파수 특성 분류부는, 멀티-클래스 SVM(support vector machine)을 이용하여 상기 클러스터링 레벨들의 상기 학습을 수행하고, 상기 클러스터링 레벨들은, 상기 멀티-클래스 SVM에 의해 결정된 초평면들(hyperplanes)에 대응된다.
또한, 상기 학습된 클러스터링 레벨들은, 고주파 영상으로 클러스터링하기 위한 클러스터링 레벨, 중주파 영상으로 클러스터링하기 위한 클러스터링 레벨 및 저주파 영상으로 클러스터링하기 위한 클러스터링 레벨을 포함한다.
또 다른 측면에 따르면, 상기 메타 데이터의 생성 방법 또는 상기 주파수 특성의 분석 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
도 1은 일 실시예에 따른 영상 처리 장치(영상 송신 디바이스)로부터 영상 수신 디바이스로 전송되는 데이터를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 영상 처리 장치의 하드웨어 구성들을 도시한 블록도이다.
도 3은 일 실시예에 따른 영상의 현재 블록에 대하여 주파수 변환을 수행하는 것을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 주파수 변환부에 의해 변환된 주파수 계수들을 도시한 도면이다.
도 5a는 일 실시예에 따른 주파수 밴드 패턴을 정의하기 위한 기준을 설명하기 위한 도면이다.
도 5b는 일 실시예에 따라 주파수 특성 분석부가 저장부에 저장된 주파수 밴드 패턴을 독출(read-out)하는 것을 설명하기 위한 도면이다.
도 6a 내지 도 6c는 일 실시예들에 따른 주파수 밴드 패턴들을 도시한 도면들이다.
도 7은 일 실시예에 따라 주파수 밴드 패턴을 이용하여 주파수 계수들을 주파수 밴드들에 대응되는 그룹들로 그룹핑하는 것을 설명하기 위한 도면이다.
도 8은 일 실시예에 따라 주파수 밴드 패턴에 의해 정의된 주파수 밴드들마다 설정된 주파수 계수의 임계값을 설명하기 위한 도면이다.
도 9는 일 실시예에 따라 주파수 밴드 패턴의 각각의 주파수 밴드에 대응되는 그룹에 속하는 주파수 계수들을 평가하여, 주파수 밴드의 밴드 값을 결정하는 것을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 현재 블록의 주파수 특성을 나타내는 이진 패턴(binary pattern) 및 스칼라 값(scalar value)을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 메타 데이터 생성부에서 생성된 메타 데이터를 설명하기 위한 도면이다.
도 12는 일 실시예에 따라 영상 수신 디바이스가 수신된 메타 데이터로부터 영상의 주파수 특성을 클러스터링하는 것을 설명하는 도면이다.
도 13은 일 실시예에 따라 영상 처리 장치가 영상의 주파수 특성을 클러스터링하는 것을 설명하는 도면이다.
도 14a 및 도 14b는 일 실시예들에 따라 주파수 밴드 패턴을 이용하여 영상의 주파수 특성이 분석된 경우, 고주파 영상, 중주파 영상 및 저주파 영상 각각에 대한 스칼라 값들의 분포를 설명하기 위한 도면들이다.
도 15는 일 실시예에 따른 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법의 흐름도이다.
도 16은 일 실시예에 따른 영상 수신 디바이스에서 입력 영상의 주파수 특성을 분석하는 방법의 흐름도이다.
일 측면에 따르면, 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법은, 상기 영상으로부터 분할된 블록들 중 현재 블록의 픽셀 값들을 주파수 도메인의 주파수 계수들로 변환하는 단계; 상기 현재 블록 내에서 서로 다른 주파수 밴드들에 대응되도록 구분된 영역들 각각에 대하여, 영역에 포함된 상기 주파수 계수들을 이용하여 상기 영역에 대응되는 주파수 밴드의 밴드 값을 결정하는 단계; 및 상기 결정된 밴드 값에 기초한 상기 현재 블록의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 단계를 포함한다.
다른 측면에 따르면, 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 장치는, 상기 영상으로부터 분할된 블록들 중 현재 블록의 픽셀 값들을 주파수 도메인의 주파수 계수들로 변환하는 주파수 변환부; 상기 현재 블록 내에서 서로 다른 주파수 밴드들에 대응되도록 구분된 영역들 각각에 대하여, 영역에 포함된 상기 주파수 계수들을 이용하여 상기 영역에 대응되는 주파수 밴드의 밴드 값을 결정하는 주파수 특성 분석부; 및 상기 결정된 밴드 값에 기초한 상기 현재 블록의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 메타 데이터 생성부를 포함한다.
또 다른 측면에 따르면, 영상 수신 디바이스에서 입력 영상의 주파수 특성을 분석하는 방법은, 서로 다른 주파수 특성들을 갖는 트레이닝 영상들을 이용하여 상기 트레이닝 영상들의 상기 주파수 특성들을 클러스터링하기 위한 클러스터링 레벨들의 학습을 수행하는 단계; 영상 송신 디바이스로부터 상기 입력 영상의 주파수 특성 정보를 포함하는 메타 데이터를 수신하는 단계; 및 상기 학습된 클러스터링 레벨들 중 상기 메타 데이터에 포함된 상기 주파수 특성 정보에 대응되는 클러스터링 레벨을 결정함으로써 상기 입력 영상의 주파수 특성을 클러스터링하는 단계를 포함한다.
또 다른 측면에 따르면, 입력 영상의 주파수 특성을 분석하는 영상 수신 디바이스는, 서로 다른 주파수 특성들을 갖는 트레이닝 영상들을 이용하여 상기 트레이닝 영상들의 상기 주파수 특성들을 클러스터링하기 위한 클러스터링 레벨들의 학습을 수행하는 주파수 특성 분류부; 및 영상 송신 디바이스로부터 상기 입력 영상의 주파수 특성 정보를 포함하는 메타 데이터를 수신하는 수신부를 포함하고, 상기 주파수 특성 분류부는, 상기 학습된 클러스터링 레벨들 중 상기 메타 데이터에 포함된 상기 주파수 특성 정보에 대응되는 클러스터링 레벨을 결정함으로써 상기 입력 영상의 주파수 특성을 클러스터링한다.
본 실시예들에서 사용되는 용어에 대해 간략히 설명하고, 본 실시예들에 대해 구체적으로 설명하기로 한다.
본 실시예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예들의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 실시예들 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 실시예들에 기재된 “...부”, “모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 실시예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 도는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
이하 첨부된 도면을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다. 하기 실시예들은 발명을 구체화하기 위한 것일 뿐 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 상세한 설명 및 실시예들로부터 발명이 속하는 기술분야의 전문가가 용이하게 유추할 수 있는 것은 발명의 권리범위에 속하는 것으로 해석된다.
도 1은 일 실시예에 따른 영상 처리 장치(영상 송신 디바이스)로부터 영상 수신 디바이스로 전송되는 데이터를 설명하기 위한 도면이다.
도 1을 참고하면, 영상 처리 장치(10)(영상 송신 디바이스)는 영상 데이터 및 영상 데이터에 관하여 생성된 메타 데이터를, 영상 수신 디바이스(20)로 전송할 수 있다. 영상 데이터는, 비디오 데이터, 사진 데이터 등을 포함할 수 있다.
영상 처리 장치(10)는 영상 수신 디바이스(20)의 관점에서, 영상 송신 디바이스에 해당될 수 있다. 예를 들어, 영상 처리 디바이스는 비디오, 사진 등의 영상 컨텐츠를 생성하는, 방송 서버, TV, 스마트폰, 태블릿 디바이스, PC, 노트북 등을 포함할 수 있으나, 이에 제한되지 않는다. 영상 수신 디바이스(20)는 외부로부터 비디오, 사진 등의 영상 컨텐츠를 수신하거나, 또는 수신된 영상 컨텐츠를 재생 및 표시하는 기능들을 갖는 디바이스에 해당될 수 있다. 예를 들어, 영상 수신 디바이스(20)는 TV, 스마트폰, 태블릿 디바이스, 셋탑박스 등을 포함할 수 있으나, 이에 제한되지 않는다.
영상 처리 장치(10)는 영상 데이터와 함께, 영상의 해상도 정보, 코덱 정보, 디테일 정보 등의 다양한 영상 관련 정보들을 포함하는 메타 데이터를 생성할 수 있다. 본 실시예에서 메타 데이터에 포함된 영상의 디테일 정보는 영상이 고주파 성분이 우세한 경향을 갖는지 또는 저주파 성분이 우세한 경향을 갖는지를 나타내는 영상의 주파수 특성에 관한 정보를 의미할 수 있다. 예를 들어, 영상의 장면(scene)에 에지들이 많이 포함된 경우, 영상은 고주파 성분을 많이 포함하는 것으로 분석되고, 반대로 에지들이 비교적 적게 포함된 경우, 영상은 저주파 성분을 많이 포함하는 것으로 분석될 수 있다. 즉, 영상의 디테일 정도는 영상의 주파수 특성에 의존될 수 있다.
본 실시예에 따른 영상 처리 장치(10)는 영상의 주파수 특성을 분석하여 영상이 고주파 영상에 해당되는지 또는 저주파 영상에 해당되는지에 관한 디테일 정보를 메타 데이터에 포함시켜 해당 영상과 함께, 영상 수신 디바이스(20)로 제공할 수 있다. 여기서, 메타 데이터는 비디오 코덱의 SEI(Supplemental Enhancement Information) message로 제공되거나, 또는 디스크, 미디어 플레이어, TV의 내부 표현으로 이용될 수 있으나, 이에 제한되지 않는다.
이하에서는, 영상의 주파수 특성을 분석하기 위한 영상 처리 장치(10)의 구체적인 기능들 및 동작들에 관하여 설명하기로 한다.
도 2는 일 실시예에 따른 영상 처리 장치의 하드웨어 구성들을 도시한 블록도이다.
도 2를 참고하면, 영상 처리 장치(10)는 주파수 변환부(110), 주파수 특성 분석부(120) 및 메타 데이터 생성부(130)를 포함할 수 있다. 비록, 도 2에 도시되어 있지는 않지만, 주파수 변환부(110), 주파수 특성 분석부(120) 및 메타 데이터 생성부(130)는 하나 이상의 프로세서들과 같은 하드웨어 모듈들, 소프트웨어 모듈들 또는 이들의 조합 등에 의해 구현될 수 있다. 한편, 도 2에 도시된 영상 처리 장치(10)에는 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
주파수 변환부(110)는 영상으로부터 분할된 블록들 중 현재 블록의 픽셀 값들을 주파수 도메인의 주파수 계수들(frequency coefficients)로 변환한다. 주파수 변환부(110)는 주파수 변환을 위하여, DCT(Discrete Cosine Transform)를 수행할 수 있다. 즉, 주파수 변환부(110)에 의해 변환된 주파수 계수들은 픽셀 값들에 대하여 DCT를 수행함으로써 생성된 DCT 계수들(DCT coefficients)을 포함한다.
도 3은 일 실시예에 따른 영상의 현재 블록에 대하여 주파수 변환을 수행하는 것을 설명하기 위한 도면이다.
도 3을 참고하면, 영상(300)은 3840 × 2160의 픽셀 크기의 4k 영상인 것으로 가정하여 설명하도록 하나, 이는 일 예시에 불과할 뿐, 본 실시예는 다른 픽셀 크기들의 영상들에도 적용될 수 있다. 영상(300)은 일정 크기의 블록들로 분할될 수 있다. 여기서, 일정 크기는 N × N (N은 자연수)의 픽셀 크기를 의미할 수 있다. 영상(300)에 대한 주파수 특성의 분석은, N × N 블록 단위로 수행될 수 있다. 본 실시예에서, 현재 블록(301), 영상(300)의 주파수 특성의 분석을 위하여, 현재 처리될 순서에 해당되는 블록을 의미한다.
주파수 변환부(110)는 N × N 크기의 현재 블록(301)의 픽셀 값들을 N × N 크기의 주파수 계수들(DCT 계수들)(310)로 변환한다. 예를 들어, N이 16인 경우, 현재 블록(301)에 포함된 256개의 픽셀 값들은 각각 256개의 주파수 계수들(DCT 계수들)(310)로 변환될 수 있다.
도 4는 일 실시예에 따른 주파수 변환부에 의해 변환된 주파수 계수들을 도시한 도면이다.
도 4를 참고하면, 주파수 계수들(310)은 앞서 설명된 N × N (N=16) 크기의 블록(301) 내의 픽셀들의 개수와 동일한, 총 256개의 값들이다. 블록(301)의 1행 1열의 픽셀 값에 대응되는 주파수 계수(FC1-1)는 DC(Direct Current) 계수(401)에 해당되고, 나머지 주파수 계수들(FC1-2 내지 FC16-16)은 AC(Alternating Current) 계수들에 해당된다. 여기서, 블록(301)의 가장 우측의 가장 하단(16행 16열)의 픽셀 값에 대응되는 주파수 계수(FC16-16)(402)는 최고주파 성분을 나타내는 주파수 계수에 해당될 수 있다.
도 3 및 도 4에서 설명된 바와 같이, 주파수 변환부(110)는 16 × 16 크기의 현재 블록(301)의 256개의 픽셀 값들을 16 × 16 크기의 265개의 주파수 계수들(DCT 계수들)(DCT 계수들)(310)로 변환한다. 다만, 본 실시예들에서 N은 16인 것으로 가정하여 설명되었으나, N이 다른 값으로도 변경되어도 본 실시예들에 용이하게 적용될 수 있다는 점을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
다시 도 2를 참고하면, 주파수 특성 분석부(120)는 현재 블록(301) 내에서 서로 다른 주파수 밴드들에 대응되도록 구분된 영역들 각각에 대하여, 영역에 포함된 주파수 계수들을 이용하여 영역에 대응되는 주파수 밴드의 밴드 값을 결정한다. 여기서, 구분된 영역들은, 현재 블록(301) 내의 주파수 계수들(310)을 m개의 (m은 자연수) 주파수 밴드들로 구분하기 위하여 미리 정의된 주파수 밴드 패턴(frequency band pattern)에 의해 설정된 m개의 영역들을 의미할 수 있다.
주파수 밴드 패턴은 현재 블록(301)과 동일한 픽셀 크기의 패턴으로서, 현재 블록(301)이 N × N의 픽셀 어레이 크기의 블록인 경우, N × N의 크기의 패턴일 수 있다. 주파수 밴드 패턴에 대해서는 도 5a 내지 도 6c 등을 참고하여 보다 상세하게 설명하도록 한다.
도 5a는 일 실시예에 따른 주파수 밴드 패턴을 정의하기 위한 기준을 설명하기 위한 도면이다.
도 5a를 참고하면, 주파수 밴드 패턴(500)은 앞서 설명된 바와 같이, 현재 블록(301)의 크기와 동일한 N × N 크기의 패턴으로서, N × N의 픽셀들을 포함할 수 있다. 주파수 밴드 패턴(500)은 도 4에서 설명된 주파수 계수들(DCT 계수들)(310) 중 저주파 성분의 DC 계수(401)의 픽셀(BP1-1) 위치(501) 및 최고주파 성분의 AC 계수(402)의 픽셀(BP16-16) 위치(502)를 가로지르는 대각선 방향(510)을 기준으로, 현재 블록(301)을 m개의 주파수 밴드들에 대응되는 m개의 영역들로 구분하는 패턴일 수 있다. 도 5a에서는 점선들에 의해 m개의 영역들로 구분되는 것으로 예시되었다. 본 실시예들에서 m은 7인 경우를 가정하여 설명하도록 하나, m이 다른 값으로도 변경되어도 본 실시예들에 용이하게 적용될 수 있다는 점을 당해 기술분야의 통상의 기술자라면 이해할 수 있다. 한편, m개의 영역들 각각의 두께는 동일하거나, 또는 동일하지 않더라도 무방하다.
도 5a에서는 주파수 밴드 패턴을 정의하기 위한 기준으로서, 대각선 방향(510)을 예로 들었으나, 본 실시예에 따른 주파수 밴드 패턴은 이에 제한되지 않고, 대각선 방향(510)과는 다른 직선, 곡선 등을 기준으로 하거나, 또는 원형을 기준으로도 정의될 수 있다.
도 5b는 일 실시예에 따라 주파수 특성 분석부가 저장부에 저장된 주파수 밴드 패턴을 독출(read-out)하는 것을 설명하기 위한 도면이다.
도 5b를 참고하면, 영상 처리 장치(10)는 도 2에 도시된 구성들 외에도 저장부(140)를 더 포함할 수 있다. 저장부(140)는 다양한 종류의, 미리 정의된 주파수 밴드 패턴들(511, 512 및 513)에 대한 정보를 미리 저장할 수 있다. 주파수 특성 분석부(120)는 저장부(140)로부터 주파수 특성의 분석에 필요한 주파수 밴드 패턴(예를 들어, 주파수 밴드 패턴(511))을 선택하여 독출할 수 있다.
도 6a 내지 도 6c는 일 실시예들에 따른 주파수 밴드 패턴들을 도시한 도면들이다.
도 6a 내지 도 6c를 참고하면, 주파수 밴드 패턴들(601, 602 및 603)은 N × N 크기의 패턴들로서, 현재 블록(301)을 m개 (m=7)의 주파수 밴드들에 대응하는 m개의 영역들로 어떻게 구분할 것인지를 정의한 패턴들이다.
주파수 밴드 패턴들(601, 602 및 603)은 N × N (N=16) 크기의 블록을, 주파수 밴드 B1부터 주파수 밴드 Bm 각각에 대응되는 7개의 영역들로 구분한다. 주파수 밴드 패턴들(601, 602 및 603)에 포함된 픽셀들의 위치는 현재 블록(301)의 픽셀들의 위치와 1:1로 매핑될 수 있으므로, 결국 주파수 밴드 패턴들(601, 602 및 603)에 포함된 픽셀들의 위치는 도 4에서 설명된 각각의 주파수 계수들(DCT 계수들)(FC1-1 내지 FC16-16)(310)과 1:1로 매핑될 수 있다.
주파수 밴드 패턴 1(601)은 N × N 크기의 블록에서 m개의 주파수 밴드들 각각의 두께가 동일하고, 4 × 4 크기의 서브 블록 단위로 블록의 영역들이 구분되도록 정의된 패턴이다. 주파수 밴드 패턴 2(602)는 N × N 크기의 블록에서 주파수 밴드 B4의 두께를 다른 주파수 밴드들보다 두껍게 하고, 2 × 2 크기의 서브 블록 단위로 블록의 영역들이 구분되도록 정의된 패턴이다. 주파수 밴드 패턴 3(603)은 N × N 크기의 블록에서 주파수 밴드 Bm의 두께를 다른 주파수 밴드들보다 두껍게 하고, 2 × 2 크기의 서브 블록 단위로 블록의 영역들이 구분되도록 정의된 패턴이다. 즉, 주파수 밴드 패턴들(601, 602 및 603)을 정의하는 방식들은 다양할 수 있고, 이들은 본 실시예의 적용 범위에 포함될 수 있다. 이하에서는, 설명의 편의를 위하여 주파수 밴드 패턴 1(601)을 이용하여 주파수 특성을 분석하는 것을 예로 들어 설명하겠으나, 본 실시예들은 다른 종류의 주파수 밴드 패턴들을 이용하여 주파수 특성을 분석할 수도 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
다시 도 2를 참고하면, 주파수 특성 분석부(120)는, 미리 정의된 주파수 밴드 패턴을 이용하여, 현재 블록(301)의 주파수 계수들(310)을 m개의 주파수 밴드들에 대응되는 그룹들로 그룹핑한다. 그리고, 주파수 특성 분석부(120)는, 그룹들 각각에 대하여, 그룹에 속하는 주파수 계수들(310)을 평가(evaluate)하고, 평가 결과에 기초하여 주파수 밴드들 각각의 밴드 값(band value)을 결정한다. 이하에서는 도 7 내지 도 10을 참고하여, 그룹핑 과정 및 밴드 값 결정 과정에 대해 보다 구체적으로 설명하도록 한다.
도 7은 일 실시예에 따라 주파수 밴드 패턴을 이용하여 주파수 계수들을 주파수 밴드들에 대응되는 그룹들로 그룹핑하는 것을 설명하기 위한 도면이다.
도 7을 참고하면, N × N (N=16) 크기의 주파수 밴드 패턴(601)은 N × N 크기의 현재 블록(301)의 주파수 계수들(310)에 1:1로 매핑될 수 있다. 따라서, 전체의 256개의 주파수 계수들(310) 중 16개의 주파수 계수들 FC1-1, FC1-2, FC1-3, FC1-4, FC2-1, FC2-2, …, FC4-3, FC4- 4은 주파수 밴드 B1에 속하는 그룹으로 그룹핑되고, 나머지 주파수 계수들도 동일한 방식으로 주파수 밴드들 B2 내지 B7 각각에 속하는 그룹들로 그룹핑될 수 있다. 테이블(710)에는 이와 같은 그룹핑 결과에 대하여 도시되어 있다. 즉, 전체의 주파수 계수들(310)은 주파수 밴드 패턴(601)에 의해 설정된 7개의 주파수 밴드들 B1 내지 B7에 대응되는 7개의 그룹들로 구분될 수 있다. 한편, 이에 제한되지 않고, 앞서 설명된 주파수 밴드 패턴 2(602) 또는 주파수 밴드 패턴 3(603)을 이용한다면, 전체의 주파수 계수들(310)은 도 7에 도시된 바와는 다르게 그룹핑될 수도 있다.
도 8은 일 실시예에 따라 주파수 밴드 패턴에 의해 정의된 주파수 밴드들마다 설정된 주파수 계수의 임계값을 설명하기 위한 도면이다.
도 8을 참고하면, 주파수 밴드 패턴(601)에 의해 정의된 주파수 밴드들 B1 내지 Bm (m=7) 각각에 대해서는 서로 다른 임계값들이 설정될 수 있다. 예를 들어, 주파수 밴드 B1에 대해서는 임계값 THB1이 설정되고, 주파수 밴드 B7에 대해서는 임계값 THB7이 설정될 수 있다.
도 9는 일 실시예에 따라 주파수 밴드 패턴의 각각의 주파수 밴드에 대응되는 그룹에 속하는 주파수 계수들을 평가하여, 주파수 밴드의 밴드 값을 결정하는 것을 설명하기 위한 도면이다.
도 9를 참고하면, 주파수 특성 분석부(120)는, 어느 그룹에 속하는 주파수 계수들의 통계량과 해당 그룹에 대응되는 주파수 밴드에 할당된 임계값을 비교하여, 주파수 계수들을 평가할 수 있다. 주파수 특성 분석부(120)는, 비교 결과, 해당 그룹에 속하는 주파수 계수들의 통계값이 그룹에 대응되는 주파수 밴드에 할당된 임계값 이상인 경우 그룹에 대응되는 주파수 밴드의 밴드 값을 1로 결정하고, 통계값이 임계값 미만인 경우 밴드 값을 0으로 결정할 수 있다. 여기서, 통계량은 평균값(mean), 중앙값(median), 최빈값(mode) 등과 같이 어느 통계 집단을 대표하는 값일 수 있다.
주파수 밴드 B1을 예로 들면, 주파수 특성 분석부(120)는, 주파수 밴드 B1에 속하는 주파수 계수들(FC1-1, FC1-2, FC1-3, FC1-4, FC2-1, FC2-2, …, FC4-3, FC4-4)의 평균값 MeanB1을 계산한다. 그리고, 주파수 특성 분석부(120)는, 주파수 밴드 B1에 설정된 임계값 THB1과 평균값 MeanB1을 비교한다. 만약, 평균값(MeanB1) ≥ 임계값 THB1인 경우, 주파수 특성 분석부(120)는 주파수 밴드 B1의 밴드 값은 1인 것으로 결정한다. 하지만, 평균값(MeanB1) < 임계값 THB1인 경우, 주파수 특성 분석부(120)는 주파수 밴드 B1의 밴드 값은 0인 것으로 결정한다. 주파수 특성 분석부(120)는 이와 같은 방식으로, 다른 주파수 밴드들 B2 내지 B7의 밴드 값들을 결정할 수 있다.
다시 도 2를 참고하면, 주파수 특성 분석부(120)는, 미리 정의된 주파수 밴드 패턴이 m개의 주파수 밴드들을 갖는 경우, m개의 밴드 값들에 대응되는 비트들을 갖는 m자릿수의 비트열을 생성한다. 현재 블록(301)의 주파수 특성은 m자릿수의 비트열로부터 산출된 값으로 표현될 수 있다.
도 10은 일 실시예에 따른 현재 블록의 주파수 특성을 나타내는 이진 패턴(binary pattern) 및 스칼라 값(scalar value)을 설명하기 위한 도면이다.
도 10을 참고하면, 주파수 특성 분석부(120)는 앞서 도 9에서 설명한 바와 같이, 주파수 밴드들 B1 내지 Bm (m=7)의 밴드 값들을 결정한다. 예를 들어, 주파수 특성 분석부(120)는, 주파수 밴드 B1의 밴드 값은 1이고, 주파수 밴드 B2의 밴드 값은 1이고, 주파수 밴드 B3의 밴드 값은 1이고, 주파수 밴드 B4의 밴드 값은 1이고, 주파수 밴드 B5의 밴드 값은 0이고, 주파수 밴드 B6의 밴드 값은 0이고, 주파수 밴드 B7의 밴드 값은 0인 것으로 밴드 값들을 결정할 수 있다. 주파수 특성 분석부(120)는 m개의 주파수 밴드들의 순서대로, m개의 밴드 값들을 m자릿수의 비트열로 생성할 수 있다. 즉, 주파수 특성 분석부(120)는 “0001111”의 이진 패턴을 갖는 비트열을 생성할 수 있다.
“0001111”의 이진 패턴을 갖는 비트열은, 현재 블록(301)의 주파수 특성을 나타내는 표현(representation)일 수 있다. 또한, 주파수 특성 분석부(120)는 “0001111”의 비트열의 스칼라 값을 현재 블록(301)의 주파수 특성을 나타내는 표현으로 결정할 수 있다. 즉, 스칼라 값 S는 0*26+0*25+0*24+1*23+1*22+1*21+1*20 = 15이므로, 현재 블록(301)의 주파수 특성은 15의 스칼라 값 S로 표현될 수 있다. 따라서, 주파수 밴드 패턴에 의해 정의된 주파수 밴드들의 개수가 m인 경우, 현재 블록(301)의 주파수 특성은 스칼라 값 S의 범위인, 0 내지 2m-1의 값들 중 어느 하나의 값으로 표현될 수 있다.
한편, 앞서 설명된 주파수 밴드 패턴(601)에서 주파수 밴드 B1은 DC 계수(401)를 포함하는 영역에 대응되고 주파수 밴드 B7은 AC 계수(402)를 포함하는 영역에 대응되므로, 현재 블록(301)의 스칼라 값 S이 작을수록 현재 블록(301)의 주파수 특성은 저주파 특성이 우세하다라는 것을 의미할 수 있다. 반대로, 현재 블록(301)의 스칼라 값 S이 클수록 현재 블록(301)의 주파수 특성은 고주파 특성이 우세하다라는 것을 의미할 수 있다.
다시 도 2를 참고하면, 메타 데이터 생성부(130)는 결정된 밴드 값에 기초한 현재 블록(301)의 주파수 특성 정보를 포함하는 메타 데이터를 생성한다. 즉, 메타 데이터 생성부(130)는 현재 블록(301)의 주파수 특성에 관한 이진 패턴 또는 스칼라 값의 정보를 포함하는 메타 데이터를 생성할 수 있다. 또한, 메타 데이터 생성부(130)는 영상(300) 전체 내의 블록들에 대한 이진 패턴들 또는 스칼라 값들의 분포 정보를 포함하는 메타 데이터를 생성할 수 있다.
도 11은 일 실시예에 따른 메타 데이터 생성부에서 생성된 메타 데이터를 설명하기 위한 도면이다.
도 11을 참고하면, 3840 × 2160 크기의 4k 영상(1110)을 예로 들어 설명하도록 하나, 본 실시예는 이에 제한되지 않고 다른 크기의 영상들에도 적용될 수 있다. 4k 영상(1110)은, 32400개의 N × N (N=16) 크기의 블록들로 분할될 수 있다. 영상 처리 장치(10)(주파수 특성 분석부(120))는 앞서 설명된 바와 같이, 각각의 블록에 대하여, 각각의 블록의 주파수 특성을 나타내는 스칼라 값 S1 내지 S32400을 결정할 수 있다.
메타 데이터 생성부(130)는 각각의 블록의 주파수 특성을 나타내는 스칼라 값 S1 내지 S32400의 정보를 포함하는 메타 데이터(1130)를 생성할 수 있다. 각각의 블록의 주파수 특성을 나타내는 스칼라 값 S1 내지 S32400의 정보는 결국, 4k 영상(1110)의 주파수 특성인 것으로 고려될 수 있다. 따라서, 4k 영상(1110)의 영상 데이터와 함께, 스칼라 값 S1 내지 S32400의 주파수 특성 정보(디테일 정보)가 담긴 메타 데이터(1130)를 수신하는 영상 수신 디바이스(20)는 메타 데이터(1130) 내의 주파수 특성 정보를 파싱함으로써 4k 영상(1110)의 주파수 특성이 고주파 특성이 우세한지 또는 저주파 특성이 우세한지 여부를 판단할 수 있다.
한편, 4k 영상(1110)에 대한 스칼라 값 S1 내지 S32400의 분포 또한 4k 영상(1110)의 주파수 특성인 것으로 고려될 수 있다. 따라서, 메타 데이터(1130)는 4k 영상(1110)의 주파수 특성 정보로서, 스칼라 값 S1 내지 S32400의 통계량(예를 들어, 분포) 정보를 포함할 수 있다.
메타 데이터(1130)는 영상 처리 장치(10)에 의해 생성된 비트스트림(1120) 내에서 영상 데이터와는 다른 필드 내에 포함되어, 영상 수신 디바이스(20)로 전송될 수 있다.
이제까지는, 영상의 주파수 특성(영상의 디테일 정도)을 표현하기 위한 스칼라 값(또는 이진 패턴)을 결정하는 방법에 관하여 설명하였다. 이하에서는, 결정된 스칼라 값(또는 이진 패턴)에 따라 영상을 고주파 영상으로 클러스터링할 것인지, 중주파 영상으로 클러스터링할 것인지, 또는 저주파 영상으로 클러스터링할 것인지에 대하여 보다 상세하게 설명하도록 한다.
도 12는 일 실시예에 따라 영상 수신 디바이스가 수신된 메타 데이터로부터 영상의 주파수 특성을 클러스터링하는 것을 설명하는 도면이다.
도 12를 참고하면, 영상 처리 장치(10)는 스칼라 값들(또는 이진 패턴들)의 정보 또는 스칼라 값들의 분포 정보를 포함하는 메타 데이터만을 영상 수신 디바이스(20)에 제공할 뿐이다. 다시 말하면, 스칼라 값들 또는 스칼라 값들의 분포가 고주파 특성, 중주파 특성 및 저주파 특성 중 어느 특성에 해당되는지를 나타내는 정보는 제공되지 않을 수 있다. 이 경우, 영상 수신 디바이스(20)는 메타 데이터에 포함된 스칼라 값들의 정보 또는 스칼라 값들의 분포 정보에 기초하여, 영상이 고주파 영상, 중주파 영상 및 저주파 영상 중 어느 영상인지를 클러스터링할 수 있다.
영상 수신 디바이스(20)는 주파수 특성 분류부(210) 및 수신부(220)를 포함할 수 있다. 다만, 도 12에 도시된 영상 수신 디바이스(20)에는 실시예와 관련된 구성요소만이 도시되어 있을 뿐이므로, 당해 기술분야의 통상의 기술자라면 도 12에 도시된 구성요소 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 이해할 수 있다.
주파수 특성 분류부(210)는 트레이닝 영상들(1201)을 이용하여 영상의 주파수 특성의 클러스터링을 위한 학습을 미리 수행할 수 있다. 즉, 주파수 특성 분류부(210)는 트레이닝 영상들(1201) 각각이 고주파 영상, 중주파 영상 및 저주파 영상 중 어느 영상에 해당되는지를 미리 클러스터링함으로써, 새로운 영상(새로운 스칼라 값들 또는 새로운 스칼라 값들의 분포)이 입력되었을 때 이를 클러스터링하기 위한 규칙을 미리 학습할 수 있다. 여기서, 주파수 특성 분류부(210)는 클러스터링 학습을 위하여, 멀티-클래스 SVM(multi-class Support Vector Machine)과 같은 클러스터링 알고리즘을 이용할 수 있으나, 이에 제한되지 않고 SVM과 유사한 클러스터링 알고리즘도 본 실시예에 적용될 수 있다.
수신부(220)는 영상 처리 장치(10)(영상 송신 디바이스)로부터 입력 영상의 주파수 특성 정보를 포함하는 메타 데이터를 수신한다.
주파수 특성 분류부(210)는 트레이닝 영상들(1201)을 이용한 클러스터링 학습을 통하여 클러스터링 규칙이 생성된 경우, 메타 데이터에 포함된 스칼라 값들 또는 스칼라 값들의 분포에 기초하여, 입력 영상이 고주파 영상, 중주파 영상 및 저주파 영상 중 어느 하나의 주파수 특성에 해당되는지를 클러스터링한다. 한편, 본 실시예에서는 입력 영상이 고주파 영상, 중주파 영상 및 저주파 영상과 같이 3 종류의 클러스터링 레벨들로 클러스터링되는 것을 예로 들었으나, 클러스터링 레벨들의 개수는 다양하게 변경될 수 있다. 여기서, 클러스터링 알고리즘이 멀티-클래스 SVM에 해당되는 경우, 클러스터링 레벨들은 멀티-클래스 SVM에 의해 결정된 초평면들에 대응될 수 있다.
앞서 도 12에서는 영상 처리 장치(10)가 주파수 특성의 클러스터링 결과를 영상 수신 디바이스(20)에 제공하지 않는 것으로 설명되었으나, 이와 달리 이하의 도 13에 따르면 영상 처리 장치(10)는 주파수 특성의 클러스터링 결과를 영상 수신 디바이스(20)에 제공할 수도 있다. 즉, 클러스터링은 영상 처리 장치(영상 송신 디바이스)(10) 및 영상 수신 디바이스(20) 중 적어도 어느 하나에 의해 수행될 수 있다.
도 13은 일 실시예에 따라 영상 처리 장치가 영상의 주파수 특성을 클러스터링하는 것을 설명하는 도면이다.
도 13을 참고하면, 영상 처리 장치(10)는 주파수 특성 분류부(150)를 더 포함할 수 있다.
주파수 특성 분석부(120)는 스칼라 값들(또는 이진 패턴들)의 정보 또는 스칼라 값들의 분포 정보로 표현된 주파수 특성 정보를 주파수 특성 분류부(150)로 전송할 수 있다.
주파수 특성 분류부(150)는 트레이닝 영상들(1301)을 이용하여 영상의 주파수 특성의 클러스터링을 위한 학습을 미리 수행할 수 있다. 즉, 주파수 특성 분류부(150)는 트레이닝 영상들(1301) 각각이 고주파 영상, 중주파 영상 및 저주파 영상 중 어느 영상에 해당되는지를 미리 클러스터링함으로써, 새로운 영상의 주파수 특성 정보(스칼라 값들 또는 스칼라 값들의 분포)가 입력되었을 때 이를 클러스터링하기 위한 규칙을 미리 학습할 수 있다. 여기서, 주파수 특성 분류부(150)는 클러스터링 학습을 위하여, SVM과 같은 클러스터링 알고리즘을 이용할 수 있으나, 이에 제한되지 않고 SVM과 유사한 클러스터링 알고리즘도 본 실시예에 적용될 수 있다.
주파수 특성 분류부(150)는 트레이닝 영상들(1301)을 이용한 클러스터링 학습을 통하여 클러스터링 규칙이 생성된 경우, 주파수 특성 정보(스칼라 값들 또는 스칼라 값들의 분포)에 기초하여, 영상이 고주파 영상, 중주파 영상 및 저주파 영상 중 어느 하나의 주파수 특성에 해당되는지를 클러스터링한다. 한편, 본 실시예에서는 영상이 고주파 영상, 중주파 영상 및 저주파 영상과 같이 3 종류의 레벨들로 클러스터링되는 것을 예로 들었으나, 클러스터링 레벨들의 개수는 다양하게 변경될 수 있다.
메타 데이터 생성부(130)는 주파수 특성 정보(스칼라 값들 또는 스칼라 값들의 분포)와 함께, 주파수 특성 분류부(150)에 의해 클러스터링된 결과(고주파 영상, 중주파 영상 및 저주파 영상 중 어느 하나)에 대한 정보를 포함하는 메타 데이터를 생성할 수 있다.
도 14a 및 도 14b는 일 실시예들에 따라 주파수 밴드 패턴을 이용하여 영상의 주파수 특성이 분석된 경우, 고주파 영상, 중주파 영상 및 저주파 영상 각각에 대한 스칼라 값들의 분포를 설명하기 위한 도면들이다.
고주파 영상의 스칼라 값들의 분포를 나타내는 그래프(1401 및 1411)를 참고하면, 고주파 영상은 비교적 큰 스칼라 값들(예를 들어, 110 내지 127 사이의 스칼라 값들)의 빈도수가 높다는 점을 알 수 있다. 중주파 영상의 스칼라 값들의 분포를 나타내는 그래프(1402 및 1412)를 참고하면, 중주파 영상은 예를 들어, 90 내지 127 사이의 스칼라 값들의 빈도수가 약간 고르게 분포된다는 점을 알 수 있다. 저주파 영상의 스칼라 값들의 분포를 나타내는 그래프(1403 및 1413)를 참고하면, 저주파 영상은 중주파 영상과 달리, 고주파 성분을 나타내는 스칼라 값들(예를 들어, 120 이상의 스칼라 값들)의 빈도수가 적다는 점을 알 수 있다.
도 14a 및 도 14b에 도시된 그래프들은 본 실시예의 설명의 편의를 위하여 도시된 예시들일 뿐, 실제 클러스터링 결과는 클러스터링 학습의 결과에 따라 달라질 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
한편, 도 14a 및 도 14b에 도시된 바와 같이, 주파수 특성을 나타내는 스칼라 값들은 몇몇의 특정한 값에 집중적으로 분포될 수 있다. 따라서, 메타 데이터 생성부(130)는 소정 임계값 이상의 빈도수를 보이는(또는 우세한) 몇몇 종류의 스칼라 값들에 대한 정보만을 포함하는 메타 데이터를 생성함으로써, 메타 데이터의 용량을 줄일 수 있다. 또는, 메타 데이터 생성부(130)는 빈도수가 많은 순서로 소정 개수의 스칼라 값들에 대한 정보만을 포함하는 메타 데이터를 생성함으로써, 메타 데이터의 용량을 줄일 수 있다. 즉, 메타 데이터 생성부(130)는 메타 데이터의 용량을 줄이기 위하여, 주파수 특성 분석부(120)에 의해 결정된 전체 스칼라 값들의 정보 중 일부를 생략하여 메타 데이터를 생성할 수 있다.
도 15는 일 실시예에 따른 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법의 흐름도이다. 도 15를 참고하면, 메타 데이터의 생성 방법은 도 2의 영상 처리 장치(10)에서 시계열적으로 처리되는 과정들이므로, 이하 생략된 내용이라 하더라도 앞서 도면들에서 설명되었던 내용은 도 15의 메타 데이터의 생성 방법에도 적용될 수 있다.
1501 단계에서, 주파수 변환부(110)는 영상(300)으로부터 분할된 블록들 중 현재 블록(301)의 픽셀 값들을 주파수 도메인의 주파수 계수들(310)로 변환한다.
1502 단계에서, 주파수 특성 분석부(120)는 현재 블록(301) 내에서 서로 다른 주파수 밴드들에 대응되도록 구분된 영역들 각각에 대하여, 영역에 포함된 주파수 계수들을 이용하여 영역에 대응되는 주파수 밴드의 밴드 값을 결정한다.
1503 단계에서, 메타 데이터 생성부(130)는 결정된 밴드 값에 기초한 현재 블록(301)의 주파수 특성 정보를 포함하는 메타 데이터(1130)를 생성한다.
도 16은 일 실시예에 따른 영상 수신 디바이스에서 입력 영상의 주파수 특성을 분석하는 방법의 흐름도이다. 도 16을 참고하면, 주파수 특성의 분석 방법 방법은 도 12의 영상 수신 디바이스(20)에서 시계열적으로 처리되는 과정들이므로, 이하 생략된 내용이라 하더라도 앞서 도면들에서 설명되었던 내용은 도 16의 방법에도 적용될 수 있다.
1601 단계에서, 주파수 특성 분류부(210)는 서로 다른 주파수 특성들을 갖는 트레이닝 영상들(1201)을 이용하여 트레이닝 영상들(1201)의 주파수 특성들을 클러스터링하기 위한 클러스터링 레벨들의 학습을 수행한다.
1602 단계에서, 수신부(220)는 영상 송신 디바이스(영상 처리 장치(10))로부터 입력 영상의 주파수 특성 정보를 포함하는 메타 데이터를 수신한다. 메타 데이터는 앞서 설명된 바와 같이, 영상 송신 디바이스(영상 처리 장치(10))에 의해 생성된 것으로서, 메타 데이터는 입력 영상으로부터 변환된 주파수 계수들에 대해 주파수 밴드 패턴을 이용하여 결정된 주파수 밴드들의 밴드 값들에 기초하여 생성된 주파수 특성 정보를 포함한다. 여기서, 메타 데이터는 입력 영상의 주파수 특성에 대응되는 스칼라 값 또는 스칼라 값들의 분포를 나타내는 주파수 특성 정보를 포함할 수 있다.
1603 단계에서, 주파수 특성 분류부(210)는 학습된 클러스터링 레벨들 중 메타 데이터에 포함된 주파수 특성 정보에 대응되는 클러스터링 레벨을 결정함으로써 입력 영상의 주파수 특성을 클러스터링한다. 여기서, 주파수 특성 분류부(210)는 멀티-클래스 SVM을 이용하여 클러스터링 레벨들의 학습을 수행할 수 있고, 클러스터링 레벨들은 멀티-클래스 SVM에 의해 결정된 초평면들(hyperplanes)에 대응될 수 있으나, 이에 제한되지 않는다. 학습된 클러스터링 레벨들은, 고주파 영상으로 클러스터링하기 위한 클러스터링 레벨, 중주파 영상으로 클러스터링하기 위한 클러스터링 레벨 및 저주파 영상으로 클러스터링하기 위한 클러스터링 레벨을 포함할 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (30)

  1. 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법에 있어서,
    상기 영상으로부터 분할된 블록들 중 현재 블록의 픽셀 값들을 주파수 도메인의 주파수 계수들로 변환하는 단계;
    상기 현재 블록 내에서 서로 다른 주파수 밴드들에 대응되도록 구분된 영역들 각각에 대하여, 영역에 포함된 상기 주파수 계수들을 이용하여 상기 영역에 대응되는 주파수 밴드의 밴드 값을 결정하는 단계; 및
    상기 결정된 밴드 값에 기초한 상기 현재 블록의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 구분된 영역들은
    상기 현재 블록 내의 상기 주파수 계수들을 m개의 (m은 자연수) 상기 주파수 밴드들로 구분하기 위하여 미리 정의된 주파수 밴드 패턴에 의해 설정된 상기 m개의 영역들인, 방법.
  3. 제 2 항에 있어서,
    상기 주파수 밴드 패턴은
    상기 현재 블록이 N×N (N은 자연수)의 픽셀 어레이 크기의 블록인 경우, N×N의 크기의 패턴인, 방법.
  4. 제 2 항에 있어서,
    상기 주파수 계수들은
    상기 픽셀 값들에 대하여 DCT(Discrete Cosine Transform)를 수행함으로써 생성된 DCT 계수들을 포함하고,
    상기 주파수 밴드 패턴은
    상기 DCT 계수들 중 저주파 성분의 DC(Direct Current) 계수 및 최고주파 성분의 AC(Alternating Current) 계수를 가로지르는 대각선 방향을 기준으로, 상기 현재 블록을 상기 m개의 주파수 밴드들에 대응되는 상기 m개의 영역들로 구분하는 패턴인, 방법.
  5. 제 1 항에 있어서,
    상기 결정하는 단계는
    미리 정의된 주파수 밴드 패턴을 이용하여, 상기 현재 블록의 상기 주파수 계수들을 m개의 상기 주파수 밴드들에 대응되는 그룹들로 그룹핑하는 단계; 및
    상기 그룹들 각각에 대하여, 그룹에 속하는 주파수 계수들을 평가하는 단계를 포함하고,
    상기 평가 결과에 기초하여 상기 밴드 값을 결정하는, 방법.
  6. 제 5 항에 있어서,
    상기 주파수 밴드들 각각은
    주파수 계수의 서로 다른 임계값이 할당되고,
    상기 평가하는 단계는
    상기 그룹에 속하는 상기 주파수 계수들의 통계량과, 상기 그룹에 대응되는 주파수 밴드에 할당된 임계값을 비교하여, 상기 주파수 계수들을 평가하는, 방법.
  7. 제 6 항에 있어서,
    상기 결정하는 단계는
    상기 비교 결과, 상기 그룹에 속하는 상기 주파수 계수들의 상기 통계값이 상기 그룹에 대응되는 상기 주파수 밴드에 할당된 상기 임계값 이상인 경우 상기 그룹에 대응되는 상기 주파수 밴드의 상기 밴드 값을 1로 결정하고, 상기 통계값이 상기 임계값 미만인 경우 상기 밴드 값을 0으로 결정하는, 방법.
  8. 제 1 항에 있어서,
    상기 결정하는 단계는
    상기 미리 정의된 주파수 밴드 패턴이 m개의 상기 주파수 밴드들을 갖는 경우, 상기 m개의 밴드 값들에 대응되는 비트들을 갖는 상기 m자릿수의 비트열을 생성하는 단계를 포함하고,
    상기 현재 블록의 주파수 특성은
    상기 m자릿수의 상기 비트열로부터 산출된 값으로 표현되는, 방법.
  9. 제 1 항에 있어서,
    상기 영상은
    상기 블록들 각각에 대하여 산출된 스칼라 값들의 통계량에 기초하여 고주파 영상, 중주파 영상 및 저주파 영상 중 어느 하나의 주파수 특성을 갖는 것으로 클러스터링되는, 방법.
  10. 제 9 항에 있어서,
    상기 메타 데이터는
    상기 영상을 송신하는 영상 송신 디바이스에 의해 생성되고, 상기 영상과 함께 상기 영상 송신 디바이스로부터 상기 영상을 재생하는 영상 수신 디바이스로 전송되고,
    상기 클러스터링은
    상기 영상 송신 디바이스 및 상기 영상 수신 디바이스 중 적어도 어느 하나에 의해 수행되는, 방법.
  11. 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 장치에 있어서,
    상기 영상으로부터 분할된 블록들 중 현재 블록의 픽셀 값들을 주파수 도메인의 주파수 계수들로 변환하는 주파수 변환부;
    상기 현재 블록 내에서 서로 다른 주파수 밴드들에 대응되도록 구분된 영역들 각각에 대하여, 영역에 포함된 상기 주파수 계수들을 이용하여 상기 영역에 대응되는 주파수 밴드의 밴드 값을 결정하는 주파수 특성 분석부; 및
    상기 결정된 밴드 값에 기초한 상기 현재 블록의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 메타 데이터 생성부를 포함하는, 장치.
  12. 제 11 항에 있어서,
    상기 구분된 영역들은
    상기 현재 블록 내의 상기 주파수 계수들을 m개의 (m은 자연수) 상기 주파수 밴드들로 구분하기 위하여 미리 정의된 주파수 밴드 패턴에 의해 설정된 상기 m개의 영역들인, 장치.
  13. 제 12 항에 있어서,
    상기 주파수 밴드 패턴은
    상기 현재 블록이 N×N (N은 자연수)의 픽셀 어레이 크기의 블록인 경우, N×N의 크기의 패턴인, 장치.
  14. 제 12 항에 있어서,
    상기 주파수 계수들은
    상기 픽셀 값들에 대하여 DCT(Discrete Cosine Transform)를 수행함으로써 생성된 DCT 계수들을 포함하고,
    상기 주파수 밴드 패턴은
    상기 DCT 계수들 중 저주파 성분의 DC(Direct Current) 계수 및 최고주파 성분의 AC(Alternating Current) 계수를 가로지르는 대각선 방향을 기준으로, 상기 현재 블록을 상기 m개의 주파수 밴드들에 대응되는 상기 m개의 영역들로 구분하는 패턴인, 장치.
  15. 제 11 항에 있어서,
    상기 주파수 특성 분석부는
    미리 정의된 주파수 밴드 패턴을 이용하여, 상기 현재 블록의 상기 주파수 계수들을 m개의 상기 주파수 밴드들에 대응되는 그룹들로 그룹핑하고,
    상기 그룹들 각각에 대하여, 그룹에 속하는 주파수 계수들을 평가하고,
    상기 평가 결과에 기초하여 상기 밴드 값을 결정하는, 장치.
  16. 제 15 항에 있어서,
    상기 주파수 밴드들 각각은
    주파수 계수의 서로 다른 임계값이 할당되고,
    상기 주파수 특성 분석부는
    상기 그룹에 속하는 상기 주파수 계수들의 통계량과, 상기 그룹에 대응되는 주파수 밴드에 할당된 임계값을 비교하여, 상기 주파수 계수들을 평가하는, 장치.
  17. 제 16 항에 있어서,
    상기 주파수 특성 분석부는
    상기 비교 결과, 상기 그룹에 속하는 상기 주파수 계수들의 상기 통계값이 상기 그룹에 대응되는 상기 주파수 밴드에 할당된 상기 임계값 이상인 경우 상기 그룹에 대응되는 상기 주파수 밴드의 상기 밴드 값을 1로 결정하고, 상기 통계값이 상기 임계값 미만인 경우 상기 밴드 값을 0으로 결정하는, 장치.
  18. 제 11 항에 있어서,
    상기 주파수 특성 분석부는
    상기 미리 정의된 주파수 밴드 패턴이 m개의 상기 주파수 밴드들을 갖는 경우, 상기 m개의 밴드 값들에 대응되는 비트들을 갖는 상기 m자릿수의 비트열을 생성하고,
    상기 현재 블록의 주파수 특성은
    상기 m자릿수의 상기 비트열로부터 산출된 값으로 표현되는, 장치.
  19. 제 11 항에 있어서,
    상기 영상은
    상기 블록들 각각에 대하여 산출된 스칼라 값들의 통계량에 기초하여 고주파 영상, 중주파 영상 및 저주파 영상 중 어느 하나의 주파수 특성을 갖는 것으로 클러스터링되고,
    상기 장치는
    상기 영상을 송신하는 영상 송신 디바이스에 해당되고,
    상기 메타 데이터는
    상기 영상과 함께 상기 영상 송신 디바이스로부터 상기 영상을 재생하는 영상 수신 디바이스로 전송되고,
    상기 클러스터링은
    상기 영상 송신 디바이스 및 상기 영상 수신 디바이스 중 적어도 어느 하나에 의해 수행되는, 장치.
  20. 영상 수신 디바이스에서 입력 영상의 주파수 특성을 분석하는 방법에 있어서,
    서로 다른 주파수 특성들을 갖는 트레이닝 영상들을 이용하여 상기 트레이닝 영상들의 상기 주파수 특성들을 클러스터링하기 위한 클러스터링 레벨들의 학습을 수행하는 단계;
    영상 송신 디바이스로부터 상기 입력 영상의 주파수 특성 정보를 포함하는 메타 데이터를 수신하는 단계; 및
    상기 학습된 클러스터링 레벨들 중 상기 메타 데이터에 포함된 상기 주파수 특성 정보에 대응되는 클러스터링 레벨을 결정함으로써 상기 입력 영상의 주파수 특성을 클러스터링하는 단계를 포함하는, 방법.
  21. 제 20 항에 있어서,
    상기 수신된 메타 데이터는
    상기 입력 영상으로부터 변환된 주파수 계수들에 대해 주파수 밴드 패턴을 이용하여 결정된 주파수 밴드들의 밴드 값들에 기초하여 생성된 상기 주파수 특성 정보를 포함하는, 방법.
  22. 제 21 항에 있어서,
    상기 수신된 메타 데이터는
    상기 입력 영상의 상기 주파수 특성에 대응되는 스칼라 값 또는 스칼라 값들의 분포를 나타내는 상기 주파수 특성 정보를 포함하는, 방법.
  23. 제 20 항에 있어서,
    상기 학습을 수행하는 단계는
    멀티-클래스 SVM(support vector machine)을 이용하여 상기 클러스터링 레벨들의 상기 학습을 수행하고,
    상기 클러스터링 레벨들은
    상기 멀티-클래스 SVM에 의해 결정된 초평면들(hyperplanes)에 대응되는, 방법.
  24. 제 20 항에 있어서,
    상기 학습된 클러스터링 레벨들은
    고주파 영상으로 클러스터링하기 위한 클러스터링 레벨, 중주파 영상으로 클러스터링하기 위한 클러스터링 레벨 및 저주파 영상으로 클러스터링하기 위한 클러스터링 레벨을 포함하는, 방법.
  25. 입력 영상의 주파수 특성을 분석하는 영상 수신 디바이스에 있어서,
    서로 다른 주파수 특성들을 갖는 트레이닝 영상들을 이용하여 상기 트레이닝 영상들의 상기 주파수 특성들을 클러스터링하기 위한 클러스터링 레벨들의 학습을 수행하는 주파수 특성 분류부; 및
    영상 송신 디바이스로부터 상기 입력 영상의 주파수 특성 정보를 포함하는 메타 데이터를 수신하는 수신부를 포함하고,
    상기 주파수 특성 분류부는, 상기 학습된 클러스터링 레벨들 중 상기 메타 데이터에 포함된 상기 주파수 특성 정보에 대응되는 클러스터링 레벨을 결정함으로써 상기 입력 영상의 주파수 특성을 클러스터링하는, 영상 수신 디바이스.
  26. 제 25 항에 있어서,
    상기 수신된 메타 데이터는
    상기 입력 영상으로부터 변환된 주파수 계수들에 대해 주파수 밴드 패턴을 이용하여 결정된 주파수 밴드들의 밴드 값들에 기초하여 생성된 상기 주파수 특성 정보를 포함하는, 영상 수신 디바이스.
  27. 제 26 항에 있어서,
    상기 수신된 메타 데이터는
    상기 입력 영상의 상기 주파수 특성에 대응되는 스칼라 값 또는 스칼라 값들의 분포를 나타내는 상기 주파수 특성 정보를 포함하는, 영상 수신 디바이스.
  28. 제 25 항에 있어서,
    상기 주파수 특성 분류부는
    멀티-클래스 SVM(support vector machine)을 이용하여 상기 클러스터링 레벨들의 상기 학습을 수행하고,
    상기 클러스터링 레벨들은
    상기 멀티-클래스 SVM에 의해 결정된 초평면들(hyperplanes)에 대응되는, 영상 수신 디바이스.
  29. 제 25 항에 있어서,
    상기 학습된 클러스터링 레벨들은
    고주파 영상으로 클러스터링하기 위한 클러스터링 레벨, 중주파 영상으로 클러스터링하기 위한 클러스터링 레벨 및 저주파 영상으로 클러스터링하기 위한 클러스터링 레벨을 포함하는, 영상 수신 디바이스.
  30. 제 1 항 내지 제 10 항, 제 20 항 내지 제 24 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2015/008740 2014-11-13 2015-08-21 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치 WO2016076515A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020177011648A KR101957944B1 (ko) 2014-11-13 2015-08-21 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치
CN201580072447.2A CN107113395B (zh) 2014-11-13 2015-08-21 用于生成包括图像的频率特性信息的元数据的方法和装置
US15/526,607 US10417766B2 (en) 2014-11-13 2015-08-21 Method and device for generating metadata including frequency characteristic information of image
EP15859627.0A EP3211887B1 (en) 2014-11-13 2015-08-21 Method and device for generating metadata including frequency characteristic information of image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462079239P 2014-11-13 2014-11-13
US62/079,239 2014-11-13

Publications (1)

Publication Number Publication Date
WO2016076515A1 true WO2016076515A1 (ko) 2016-05-19

Family

ID=55954566

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/008740 WO2016076515A1 (ko) 2014-11-13 2015-08-21 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치

Country Status (5)

Country Link
US (1) US10417766B2 (ko)
EP (1) EP3211887B1 (ko)
KR (1) KR101957944B1 (ko)
CN (1) CN107113395B (ko)
WO (1) WO2016076515A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3479631A4 (en) * 2016-08-17 2020-03-04 Lenovo Innovations Limited (Hong Kong) RESOURCE ALLOCATION INDICATOR TO FURTHER EMTC
US10694379B2 (en) * 2016-12-06 2020-06-23 At&T Intellectual Property I, L.P. Waveguide system with device-based authentication and methods for use therewith
US10720124B2 (en) * 2018-01-15 2020-07-21 Microsoft Technology Licensing, Llc Variable pixel rate display interfaces
JP7079631B2 (ja) * 2018-03-19 2022-06-02 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
WO2022186500A1 (ko) * 2021-03-04 2022-09-09 삼성전자 주식회사 영상 처리 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123274A (ja) * 1993-10-27 1995-05-12 Canon Inc 画像処理装置
KR20080018469A (ko) * 2006-08-24 2008-02-28 삼성전자주식회사 영상 변환 방법 및 장치, 역변환 방법 및 장치
JP2008204184A (ja) * 2007-02-20 2008-09-04 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR20080110170A (ko) * 2007-06-14 2008-12-18 삼성전자주식회사 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치
KR20090030779A (ko) * 2007-09-21 2009-03-25 주식회사 케이티 데이터 분할 방식을 이용한 저지연 인트라 프레임 부호화방법

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116448A (ja) * 1994-10-13 1996-05-07 Fuji Xerox Co Ltd 画像信号の符号化装置及び復号装置
EP0905651A3 (en) * 1997-09-29 2000-02-23 Canon Kabushiki Kaisha Image processing apparatus and method
JP2000069292A (ja) * 1998-08-24 2000-03-03 Canon Inc 画像処理装置及び方法及び記憶媒体
KR100284027B1 (ko) 1998-12-22 2001-03-02 서평원 웨이블릿 패킷 계수의 재배치방법
EP1022895A3 (en) * 1999-01-22 2001-04-04 Matsushita Electric Industrial Co., Ltd. Apparatus for and method of embedding and extracting digital information, and medium having program for carrying out the method recorded thereon
FR2792432B1 (fr) * 1999-04-15 2001-07-13 Canon Kk Dispositif et procede de transformation de signal numerique
JP4367880B2 (ja) * 1999-12-09 2009-11-18 キヤノン株式会社 画像処理装置及びその方法並びに記憶媒体
US20020191695A1 (en) * 2001-06-07 2002-12-19 Irvine Ann Chris Interframe encoding method and apparatus
JP4502303B2 (ja) * 2001-07-05 2010-07-14 株式会社リコー 画像処理装置
US6990146B2 (en) * 2001-11-16 2006-01-24 Koninklijke Philips Electronics N.V. Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video
US7054497B2 (en) * 2002-06-14 2006-05-30 Koninklijke Philips Electronics N.V. Method and system for optimizing image sharpness during coding and image enhancement
US7499595B2 (en) * 2004-08-18 2009-03-03 Cisco Technology, Inc. Joint amplitude and position coding for photographic image and video coding
EP2030167A1 (en) 2005-02-24 2009-03-04 Bang & Olufsen A/S A filter for adaptive noise reduction and sharpness enhancement for electronically displayed pictures
KR100716791B1 (ko) 2005-08-08 2007-05-14 삼성전기주식회사 이미지 압축디바이스 및 그 방법
TW200727598A (en) * 2005-11-18 2007-07-16 Sony Corp Encoding/decoding device/method and the transmission system
CN101138248A (zh) * 2005-12-07 2008-03-05 索尼株式会社 编码装置、编码方法、编码程序、解码装置、解码方法和解码程序
US8200044B2 (en) * 2006-01-03 2012-06-12 Broadcom Corporation Image analyser and adaptive image scaling circuit and methods
TW200809764A (en) * 2006-04-24 2008-02-16 Sony Corp Image processing device, image processing method and program recording medium
JP4174536B2 (ja) * 2006-08-24 2008-11-05 アドバンスド・マスク・インスペクション・テクノロジー株式会社 画像補正装置、画像検査装置、及び画像補正方法
BRPI0622046B1 (pt) * 2006-09-30 2020-01-21 Interdigital Vc Holdings Inc método e dispositivo para codificar e decodificar camada de aprimoramento de cor para vídeo
JP4254866B2 (ja) * 2007-01-31 2009-04-15 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP4254867B2 (ja) * 2007-01-31 2009-04-15 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP4356032B2 (ja) 2007-05-17 2009-11-04 ソニー株式会社 情報処理装置および方法
US20080285868A1 (en) * 2007-05-17 2008-11-20 Barinder Singh Rai Simple Adaptive Wavelet Thresholding
JP2009136655A (ja) 2008-02-21 2009-06-25 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP4979655B2 (ja) * 2008-08-07 2012-07-18 キヤノン株式会社 画像符号化装置及びその制御方法
US8406307B2 (en) * 2008-08-22 2013-03-26 Microsoft Corporation Entropy coding/decoding of hierarchically organized data
CN102301698B (zh) * 2009-01-29 2014-08-27 日本电气株式会社 时间分段表示特征矢量生成设备
DE102009017436B4 (de) * 2009-04-15 2011-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erkennung einer Änderung zwischen Bildern oder in einer Sequenz von Bildern
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
KR101718891B1 (ko) 2010-01-26 2017-03-23 삼성전자주식회사 영상 검색 방법 및 장치
KR101396370B1 (ko) 2010-09-30 2014-05-19 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 고해상도의 텍스처 추출을 위한 시스템, 방법 및 컴퓨터 판독가능 저장 매체를 포함하는 기술
JP5717465B2 (ja) * 2011-02-25 2015-05-13 株式会社日立国際電気 動画像符号化装置及び動画像符号化方法
JP2014063360A (ja) * 2012-09-21 2014-04-10 Sony Corp 信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラム
US9401009B2 (en) 2013-03-06 2016-07-26 Samsung Electronics Co., Ltd. Method and apparatus for enhancing quality of 3D image
GB201308073D0 (en) * 2013-05-03 2013-06-12 Imagination Tech Ltd Encoding an image
US10341684B2 (en) * 2014-03-07 2019-07-02 Eagle Eye Networks, Inc. High definition surveillance image storage optimization apparatus and methods of retention triggering
US9648355B2 (en) * 2014-03-07 2017-05-09 Eagle Eye Networks, Inc. Adaptive security camera image compression apparatus and method of operation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123274A (ja) * 1993-10-27 1995-05-12 Canon Inc 画像処理装置
KR20080018469A (ko) * 2006-08-24 2008-02-28 삼성전자주식회사 영상 변환 방법 및 장치, 역변환 방법 및 장치
JP2008204184A (ja) * 2007-02-20 2008-09-04 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR20080110170A (ko) * 2007-06-14 2008-12-18 삼성전자주식회사 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치
KR20090030779A (ko) * 2007-09-21 2009-03-25 주식회사 케이티 데이터 분할 방식을 이용한 저지연 인트라 프레임 부호화방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3211887A4 *

Also Published As

Publication number Publication date
KR20170068493A (ko) 2017-06-19
US10417766B2 (en) 2019-09-17
EP3211887A1 (en) 2017-08-30
CN107113395B (zh) 2020-11-24
CN107113395A (zh) 2017-08-29
EP3211887A4 (en) 2017-11-15
US20170337691A1 (en) 2017-11-23
KR101957944B1 (ko) 2019-03-13
EP3211887B1 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
WO2016076515A1 (ko) 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치
US8891813B2 (en) Media fingerprints that reliably correspond to media content with projection of moment invariants
US20090263014A1 (en) Content fingerprinting for video and/or image
WO2011034380A2 (en) Method and apparatus for encoding and decoding image based on skip mode
WO2009046438A1 (en) Media fingerprints that reliably correspond to media content
CN1601531A (zh) 用于为视听演示内容制作摘要和索引的方法与设备
CN113382284B (zh) 一种盗版视频的分类方法及装置
WO2013036086A2 (en) Apparatus and method for robust low-complexity video fingerprinting
JP2007128526A (ja) 標準照明色の変換方法、標準照明色の変換プログラム、標準照明色の変換プログラムを記録したコンピュータにて読取り可能な記録媒体、色情報抽出方法、色情報抽出プログラムを記録したコンピュータにて読取り可能な記録媒体、及び色情報抽出装置
WO2014030948A1 (ko) 적응 이미지 압축시스템 및 그 방법
WO2021187776A1 (en) Methods and systems for grouping of media based on similarities between features of the media
KR100944903B1 (ko) 비디오 신호의 특징 추출 장치 및 그 추출 방법, 비디오인식 시스템 및 그 인식 방법
WO2019160275A1 (en) Electronic device and method for generating summary image of electronic device
WO2020085558A1 (ko) 고속분석 영상처리장치 및 그 장치의 구동방법
CN101339662B (zh) 一种生成视频特征数据的方法和装置
Chittapur et al. Exposing digital forgery in video by mean frame comparison techniques
WO2022060088A1 (en) A method and an electronic device for detecting and removing artifacts/degradations in media
WO2018195891A1 (zh) 无参考图像质量评价方法及装置
JP6660501B1 (ja) データ抽出装置、データ抽出方法及びデータ抽出プログラム
WO2020138630A1 (en) Display apparatus and image processing method thereof
WO2015020422A1 (ko) 히스토그램을 이용한 고속 유사도 측정 방법 및 장치
Inan Quality metrics of LSB image steganography technique for color space HSI
WO2023085723A1 (ko) 전자장치 및 그 제어방법
WO2024025386A1 (ko) 표준 정규분포 기반 양자화 기법을 이용한 딥러닝 네트워크 부호화/복호화 방법 및 장치
WO2015102237A1 (ko) 주관적/객관적 동영상 비교를 통해 사용자가 인식하는 화질 저하를 최소화 하는 동영상 트랜스코딩 최적화 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15859627

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177011648

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015859627

Country of ref document: EP