JP5190410B2 - Image quality evaluation method, program, and image quality evaluation apparatus - Google Patents
Image quality evaluation method, program, and image quality evaluation apparatus Download PDFInfo
- Publication number
- JP5190410B2 JP5190410B2 JP2009114356A JP2009114356A JP5190410B2 JP 5190410 B2 JP5190410 B2 JP 5190410B2 JP 2009114356 A JP2009114356 A JP 2009114356A JP 2009114356 A JP2009114356 A JP 2009114356A JP 5190410 B2 JP5190410 B2 JP 5190410B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- pixels
- image data
- difference
- block distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000013441 quality evaluation Methods 0.000 title claims description 48
- 238000001514 detection method Methods 0.000 claims description 44
- 230000014509 gene expression Effects 0.000 description 23
- 238000003860 storage Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Description
本発明は、画像品質評価方法、プログラム、及び、画像品質評価装置に関する。 The present invention relates to an image quality evaluation method, a program, and an image quality evaluation apparatus.
デジタルカメラやデジタルビデオカメラ、若しくは、デジタル放送では、静止画や動画を効率的に取り扱うために、これらの画像データを圧縮している。代表的な画像データの圧縮方法としてＪＰＥＧやＭＰＥＧがあるが、これらの方式では、画像データを複数の画素からなるブロックに分割し、このブロック単位で圧縮を行うため、圧縮されたデータを復元したときに、ブロックの境界に画素値の差がブロック状に現れてしまうことがある。これがブロック歪み、あるいは、ブロックノイズと呼ばれているものであり、画像の品質を低下させる原因になっている。このような復元された画像の品質を評価するために、原画像データと復元された画像データとを比較して評価する装置は、以前から提案されており、そのような装置においては、ブロック歪みの度合いを示すパラメータも定義されている（例えば、特許文献１参照）。また、原画像データと復元画像データとの比較を行わず、復元画像データのみからブロック歪みを検出するものも提案されている（例えば、特許文献２参照）。 In digital cameras, digital video cameras, and digital broadcasting, these image data are compressed in order to efficiently handle still images and moving images. Typical image data compression methods include JPEG and MPEG, but in these methods, image data is divided into blocks consisting of a plurality of pixels, and compression is performed in units of blocks, so the compressed data is restored. Sometimes, a difference in pixel values appears in the form of a block at the boundary of the block. This is referred to as block distortion or block noise, which causes a reduction in image quality. In order to evaluate the quality of such a restored image, an apparatus for comparing and evaluating the original image data and the restored image data has been proposed before, and in such an apparatus, block distortion has been proposed. The parameter which shows the degree of is also defined (for example, refer patent document 1). There has also been proposed a method that detects block distortion from only restored image data without comparing original image data and restored image data (see, for example, Patent Document 2).
しかしながら、このような画像評価装置においては、例えば、各ブロックの水平方向及び垂直方向の境界に対して差分及びその分布を算出しなければならず、判定処理が複雑になるという課題があった。 However, in such an image evaluation apparatus, for example, a difference and its distribution must be calculated with respect to the horizontal and vertical boundaries of each block, and there is a problem that the determination process becomes complicated.
本発明はこのような課題に鑑みてなされたものであり、評価対象の画像データのみを用いて、簡単な処理により当該画像の品質を評価することができる画像品質評価方法、プログラム、及び、画像品質評価装置を提供することを目的とする。 The present invention has been made in view of such problems, and an image quality evaluation method, a program, and an image that can evaluate the quality of the image by simple processing using only the image data to be evaluated An object is to provide a quality evaluation apparatus.
前記課題を解決するために、第１の本発明に係る画像品質評価方法は、複数の画素からなるブロックに分割されて処理された画像データの品質を評価する画像品質評価方法であって、画像データにおいて、水平方向に並ぶ画素の隣接する画素同士の値を画素が並ぶ順番に同じ方向から算出した差分からなる水平方向の差分画像データ、及び、垂直方向に並ぶ画素の隣接する画素同士の値を画素が並ぶ順番に同じ方向から算出した差分からなる垂直方向の差分画像データを生成するステップと、水平方向の差分画像データ及び垂直方向の差分画像データから、水平方向に並ぶ画素の値の差分のうちの少なくとも３つの値の相関若しくは垂直方向に並ぶ画素の値の差分のうちの少なくとも３つの値の相関を算出し、当該相関及び水平方向若しくは垂直方向に並ぶ画素のうち、ブロックの境界を挟む画素の値の差分から、ブロックの境界に発生したブロック歪みを検出するステップと、を有し、ブロック歪みを検出するステップは、水平方向若しくは垂直方向に並ぶ画素毎で、且つ、ブロック毎に、当該ブロックに含まれる画素の値の差分の標準偏差及び平均値を算出し、標準偏差が所定の閾値より小さく、且つ、当該ブロック及び隣接するブロックの境界を挟む画素の値の差分の大きさが、平均値に所定の倍率を乗じた値より大きいという条件を満たすとき、ブロック歪みを検出するように構成される。 The problem to solve, the image quality evaluation method according to the first present invention is an image quality evaluation method for evaluating the quality of the image data is divided and processed into blocks composed of a plurality of pixels, the image In the data, the difference image data in the horizontal direction consisting of the difference calculated from the same direction in the order in which the pixels are arranged in the horizontal direction, and the value of the adjacent pixels in the pixels arranged in the vertical direction in the data Generating difference image data in the vertical direction composed of differences calculated from the same direction in the order in which the pixels are arranged, and the difference between the values of the pixels arranged in the horizontal direction from the difference image data in the horizontal direction and the difference image data in the vertical direction Calculating a correlation between at least three values or a difference between values of pixels arranged in the vertical direction, and calculating the correlation and the horizontal direction or Detecting a block distortion generated at the block boundary based on a difference between values of pixels sandwiching the block boundary among pixels arranged in the straight direction, and the step of detecting the block distortion includes a horizontal direction or a vertical direction. For each pixel arranged in the direction and for each block, the standard deviation and the average value of the difference between the values of the pixels included in the block are calculated, the standard deviation is smaller than a predetermined threshold, and the block and the adjacent block The block distortion is detected when the condition that the difference between the pixel values across the boundary is larger than the average value multiplied by a predetermined magnification is satisfied.
さらにこのとき、ブロック歪みを検出するステップは、上記条件に加えて、境界を挟む画素の各々と隣接する画素との差分の正負が同一で、且つ、境界を挟む画素の値の差分の正負が、隣接する画素との差分の正負と反対であるという条件を満たすとき、ブロック歪みを検出するように構成されることが好ましい。 Furthermore, at this time, in addition to the above conditions, the step of detecting block distortion has the same sign of the difference between each of the pixels sandwiching the boundary and the adjacent pixel, and the sign of the difference of the pixel value sandwiching the boundary. It is preferable that the block distortion is detected when a condition that the difference between the adjacent pixels is opposite to the positive and negative is satisfied.
また、第２の本発明に係る画像品質評価方法は、複数の画素からなるブロックに分割されて処理された画像データの品質を評価する画像品質評価方法であって、画像データにおいて、水平方向に並ぶ画素の隣接する画素同士の値を画素が並ぶ順番に同じ方向から算出した差分からなる水平方向の差分画像データ、及び、垂直方向に並ぶ画素の隣接する画素同士の値を画素が並ぶ順番に同じ方向から算出した差分からなる垂直方向の差分画像データを生成するステップと、水平方向の差分画像データ及び垂直方向の差分画像データから、水平方向に並ぶ画素の値の差分のうちの少なくとも３つの値の相関若しくは垂直方向に並ぶ画素の値の差分のうちの少なくとも３つの値の相関を算出し、当該相関及び水平方向若しくは垂直方向に並ぶ画素のうち、ブロックの境界を挟む画素の値の差分から、ブロックの境界に発生したブロック歪みを検出するステップと、を有し、ブロック歪みを検出するステップは、水平方向若しくは垂直方向に並ぶ画素毎で、且つ、ブロック毎に、当該ブロックに含まれる画素の値の差分の標準偏差及び平均値、並びに、当該ブロックに隣接するブロックに含まれる画素の値の差分の標準偏差を算出し、これらの標準偏差の各々が所定の閾値より小さく、且つ、当該ブロック及び隣接するブロックの境界を挟む画素の値の差分の大きさが、平均値に所定の倍率を乗じた値より大きいという条件を満たすとき、ブロック歪みを検出するように構成される。 An image quality evaluation method according to the second aspect of the present invention is an image quality evaluation method for evaluating the quality of image data processed by being divided into blocks composed of a plurality of pixels. The difference image data in the horizontal direction consisting of the difference calculated from the same direction in the order in which the pixels are arranged in the order in which the pixels are arranged in the horizontal direction, and the value of the adjacent pixels in the pixels arranged in the vertical direction in the order in which the pixels are arranged A step of generating vertical difference image data composed of differences calculated from the same direction; and at least three of the differences in the values of pixels arranged in the horizontal direction from the difference image data in the horizontal direction and the difference image data in the vertical direction Calculate the correlation of at least three values of the correlation of the values or the difference between the values of the pixels arranged in the vertical direction, and calculate the correlation and the pixels arranged in the horizontal or vertical direction. Chi, from the difference of pixel values sandwiching the boundary of blocks has a step of detecting a block distortion occurring at the boundary of the block, the step of detecting a block distortion in each pixel arranged in the horizontal direction or vertical direction In addition, for each block, the standard deviation and the average value of the difference between the pixel values included in the block, and the standard deviation of the difference between the pixel values included in the blocks adjacent to the block are calculated. When each of the deviations is smaller than a predetermined threshold, and when the condition that the magnitude of the difference between the values of the pixels sandwiching the boundary between the block and the adjacent block is larger than a value obtained by multiplying the average value by a predetermined magnification, Configured to detect block distortion.
また、ブロック歪みを検出するステップは、さらに、水平方向に並ぶ画素に対して検出されたブロック歪みについては、当該検出されたブロック歪みのうち、垂直方向に所定の画素以上連続するものだけを最終的なブロック歪みとし、垂直方向に並ぶ画素に対して検出されたブロック歪みについては、当該検出されたブロック歪みのうち、水平方向に所定の画素以上連続するものだけを最終的なブロック歪みとするように構成されることが好ましい。 Further, in the step of detecting block distortion, with respect to the block distortion detected for pixels arranged in the horizontal direction, only the detected block distortion that is continuous for a predetermined pixel or more in the vertical direction is finalized. As for block distortion detected for pixels arranged in the vertical direction, only the block distortion detected in the horizontal direction that is more than a predetermined pixel in the horizontal direction is determined as final block distortion. It is preferable to be configured as described above.
また、このような画像品質評価方法は、画像データに含まれる全画素数、若しくは、ブロックの境界を構成する画素数に対するブロック歪みの数の合計（ブロック歪み特徴画像データＦ（ｘ，ｙ）において、「１」が設定された数）の割合をブロック歪量として算出するステップを、さらに有することが好ましい。 Also, such an image quality evaluation method is based on the total number of pixels included in the image data or the total number of block distortions relative to the number of pixels constituting the block boundary (in block distortion feature image data F (x, y)). , The number of “1” set) is preferably calculated as a block distortion amount.
また、このような画像品質評価方法において、画像データは、ＪＰＥＧ方式若しくはＭＰＥＧ方式により圧縮された画像データから復元された画像データであることが好ましい。 In such an image quality evaluation method, the image data is preferably image data restored from image data compressed by the JPEG method or the MPEG method.
また、本発明に係るプログラムは、上述の画像品質評価方法をコンピュータに実行させるものである。 A program according to the present invention causes a computer to execute the above-described image quality evaluation method.
また、第１の本発明に係る画像品質評価装置は、複数の画素からなるブロックに分割されて処理された画像データの品質を評価する画像品質評価装置であって、画像データにおいて、水平方向に並ぶ画素の隣接する画素同士の値をこれらの画素が並ぶ順番に同じ方向から算出した差分からなる水平方向の差分画像データ、及び、垂直方向に並ぶ画素の隣接する画素同士の値をこれらの画素が並ぶ順番に同じ方向から算出した差分からなる垂直方向の差分画像データを生成する差分画像生成部と、水平方向の差分画像データ及び垂直方向の差分画像データから、水平方向若しくは垂直方向に並ぶ画素の値の差分のうち、少なくとも３つの値の相関を算出し、当該相関及び水平方向若しくは垂直方向に並ぶ画素のうち、ブロックの境界を挟む画素の値の差分から、ブロックの境界に発生したブロック歪みを検出するブロック歪検出部と、を有し、ブロック歪み検出部は、水平方向若しくは垂直方向に並ぶ画素毎で、且つ、ブロック毎に、当該ブロックに含まれる画素の値の差分の標準偏差及び平均値を算出し、この標準偏差が所定の閾値より小さく、且つ、当該ブロック及び隣接するブロックの境界を挟む画素の値の差分の大きさが、平均値に所定の倍率を乗じた値より大きいという条件を満たすとき、ブロック歪みを検出するように構成される。 An image quality evaluation apparatus according to the first aspect of the present invention is an image quality evaluation apparatus that evaluates the quality of image data processed by being divided into blocks composed of a plurality of pixels. The difference image data in the horizontal direction consisting of the difference calculated from the same direction in the order in which these pixels are arranged in the order in which these pixels are arranged, and the value of the adjacent pixels in the pixels arranged in the vertical direction are used as these pixels. Pixels that are arranged in the horizontal direction or the vertical direction from the difference image generation unit that generates the difference image data in the vertical direction composed of the differences calculated from the same direction in the order in which they are arranged, and the difference image data in the horizontal direction and the difference image data in the vertical direction Among the differences between the values, the correlation of at least three values is calculated, and among the pixels aligned in the horizontal direction or the vertical direction, pixels that sandwich the block boundary From the difference value, possess the block distortion detection unit for detecting a block distortion occurring at the boundary of the block, the block distortion detection unit is a pixel by pixel arranged in the horizontal direction or the vertical direction, and, for each block, the The standard deviation and the average value of the difference between the pixel values included in the block are calculated, the standard deviation is smaller than a predetermined threshold, and the difference between the pixel values sandwiching the boundary between the block and the adjacent block is The block distortion is detected when the condition that the average value is larger than a value obtained by multiplying the average value by a predetermined magnification is satisfied .
このとき、ブロック歪み検出部は、上記条件に加えてさらに、境界を挟む画素の各々と隣接する画素との差分の正負が同一で、且つ、境界を挟む画素の値の差分の正負が、隣接する画素との差分の正負と反対であるという条件を満たすとき、ブロック歪みを検出するように構成されることが好ましい。 At this time, in addition to the above conditions, the block distortion detection unit further determines whether the difference between each of the pixels sandwiching the boundary and the adjacent pixel is the same, and the difference between the values of the pixels sandwiching the boundary is adjacent. It is preferable to be configured to detect block distortion when the condition that the difference between the pixel and the pixel to be opposite is opposite is satisfied.
また、第２の本発明に係る画像品質評価装置は、複数の画素からなるブロックに分割されて処理された画像データの品質を評価する画像品質評価装置であって、画像データにおいて、水平方向に並ぶ画素の隣接する画素同士の値をこれらの画素が並ぶ順番に同じ方向から算出した差分からなる水平方向の差分画像データ、及び、垂直方向に並ぶ画素の隣接する画素同士の値をこれらの画素が並ぶ順番に同じ方向から算出した差分からなる垂直方向の差分画像データを生成する差分画像生成部と、水平方向の差分画像データ及び垂直方向の差分画像データから、水平方向若しくは垂直方向に並ぶ画素の値の差分のうち、少なくとも３つの値の相関を算出し、当該相関及び水平方向若しくは垂直方向に並ぶ画素のうち、ブロックの境界を挟む画素の値の差分から、ブロックの境界に発生したブロック歪みを検出するブロック歪検出部と、を有し、ブロック歪み検出部は、水平方向若しくは垂直方向に並ぶ画素毎で、且つ、ブロック毎に、当該ブロックに含まれる画素の値の差分の標準偏差及び平均値、並びに、当該ブロックに隣接するブロックに含まれる画素の値の差分の標準偏差を算出し、これらの標準偏差の各々が所定の閾値より小さく、且つ、当該ブロック及び隣接するブロックの境界を挟む画素の値の差分の大きさが、平均値に所定の倍率を乗じた値より大きいという条件を満たすとき、ブロック歪みを検出するように構成される。 An image quality evaluation apparatus according to the second aspect of the present invention is an image quality evaluation apparatus that evaluates the quality of image data processed by being divided into blocks composed of a plurality of pixels. The difference image data in the horizontal direction consisting of the difference calculated from the same direction in the order in which these pixels are arranged in the order in which these pixels are arranged, and the value of the adjacent pixels in the pixels arranged in the vertical direction are used as these pixels. Pixels that are arranged in the horizontal direction or the vertical direction from the difference image generation unit that generates the difference image data in the vertical direction composed of the differences calculated from the same direction in the order in which they are arranged, and the difference image data in the horizontal direction and the difference image data in the vertical direction Among the differences between the values, the correlation of at least three values is calculated, and among the pixels aligned in the horizontal direction or the vertical direction, pixels that sandwich the block boundary From the difference value includes a block distortion detection unit for detecting a block distortion occurring at the boundary of the block, the block distortion detection unit is a pixel by pixel arranged in the horizontal direction or the vertical direction, and, for each block, the Calculate the standard deviation and average value of the difference between the pixel values included in the block, and the standard deviation of the difference between the pixel values included in the blocks adjacent to the block, and each of these standard deviations is calculated from a predetermined threshold. It is configured to detect block distortion when it is small and satisfies the condition that the difference between pixel values sandwiching the boundary between the block and the adjacent block is larger than the average value multiplied by a predetermined magnification. Is done.
また、このような画像品質評価装置において、ブロック歪み検出部は、さらに、水平方向に並ぶ画素に対して検出されたブロック歪みについては、当該検出されたブロック歪みのうち、垂直方向に所定の画素以上連続するものだけを最終的なブロック歪みとし、垂直方向に並ぶ画素に対して検出されたブロック歪みについては、当該検出されたブロック歪みのうち、水平方向に所定の画素以上連続するものだけを最終的なブロック歪みとするように構成されることが好ましい。 Further, in such an image quality evaluation apparatus, the block distortion detection unit further detects a predetermined pixel in the vertical direction among the detected block distortions for the block distortion detected for the pixels arranged in the horizontal direction. Only the continuous block distortion is determined as the final block distortion. Regarding the block distortion detected for the pixels arranged in the vertical direction, only the detected block distortions that are continuous for a predetermined pixel or more in the horizontal direction are used. It is preferably configured to have a final block distortion.
また、このような画像品質評価装置は、画像データに含まれる全画素数、若しくは、ブロックの境界を構成する画素数に対するブロック歪みの数の合計の割合をブロック歪量として算出するブロック歪量検出部をさらに有することが好ましい。 In addition, such an image quality evaluation apparatus can detect the amount of block distortion by calculating the total number of pixels included in the image data or the ratio of the total number of block distortions to the number of pixels constituting the block boundary as the block distortion amount. It is preferable to further have a part.
また、このような画像品質評価装置は、ＪＰＥＧ方式若しくはＭＰＥＧ方式で圧縮されたデータを読み込んで復元することにより、画像データを生成するデータ読込部をさらに有することが好ましい。 In addition, such an image quality evaluation apparatus preferably further includes a data reading unit that generates image data by reading and restoring data compressed by the JPEG method or the MPEG method.
さらに、このような画像品質評価装置は、画像データ及びブロック歪みの検出結果を重ね合わせて表示する表示部をさらに有することが好ましい。 Furthermore, it is preferable that such an image quality evaluation apparatus further includes a display unit that displays the image data and the detection result of the block distortion in a superimposed manner.
本発明に係る画像品質評価方法、プログラム、及び、画像品質評価装置を以上のように構成すると、評価対象の画像データのみを用いて、簡単な処理により当該画像の品質、特にブロック歪みの発生を評価することができる。 When the image quality evaluation method, the program, and the image quality evaluation apparatus according to the present invention are configured as described above, only the image data to be evaluated is used, and the quality of the image, particularly the occurrence of block distortion, can be achieved by simple processing. Can be evaluated.
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施の形態に係る画像品質評価方法が実装された画像品質評価装置の構成について説明する。この画像品質評価装置１は、ＪＰＥＧやＭＰＥＧ等の方法により圧縮された画像データ（以下、「圧縮画像データ」と呼ぶ）を読み込んで復元し、復元された画像データ（以下「復元画像データ」と呼ぶ）の品質を評価するものであって、中央演算処理装置（ＣＰＵ）やメモリ等が実装されたコンピュータで構成され、画像品質評価プログラム１０が実行される装置本体２と、ハードディスク装置等で構成され、画像の評価結果が記憶される記憶部３と、キーボードやマウス等で構成され、画像品質評価プログラム１０の起動や評価対象となる画像データ等を利用者が選択する操作部４と、ＣＲＴディスプレイやフラットパネルディスプレイ（ＦＰＤ）等で構成され、画像の評価結果等が出力される表示部５と、評価対象の画像データを記憶する入力画像データ記憶部６と、から構成される。なお、評価対象の画像データは、入力画像データ記憶部６から入力させる代わりに、デジタルカメラやビデオカメラ、もしくは、テレビチューナ等の外部映像機器７から直接入力させるように構成することも可能である。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. First, the configuration of an image quality evaluation apparatus in which the image quality evaluation method according to the present embodiment is implemented will be described with reference to FIG. The image quality evaluation apparatus 1 reads and restores image data compressed by a method such as JPEG or MPEG (hereinafter referred to as “compressed image data”), and restores the restored image data (hereinafter referred to as “restored image data”). The computer main body 2 on which a central processing unit (CPU), a memory, and the like are mounted, the image quality evaluation program 10 is executed, and a hard disk device, etc. A storage unit 3 for storing the image evaluation results, a keyboard, a mouse, and the like, and an operation unit 4 for selecting the image quality evaluation program 10 and the image data to be evaluated by the user, a CRT The display unit 5 is composed of a display, a flat panel display (FPD), etc., and outputs image evaluation results and the like, and stores image data to be evaluated That the input image data storage unit 6, and a. Note that the image data to be evaluated may be directly input from an external video device 7 such as a digital camera, a video camera, or a TV tuner instead of being input from the input image data storage unit 6. .
画像評価プログラム１０は、上述のように装置本体２で実行されるプログラムであって、入力画像データ記憶部６若しくは外部映像機器７から圧縮画像データを読み込み、その画像データの圧縮方法に従って復元画像データとして復元するデータ読込部１１と、後述する方法により水平方向および垂直方向の隣接する画素の差分からなる差分画像データを生成する差分画像生成部１２と、差分画像データからブロック歪みを検出するブロック歪み検出部１３と、復元画像データのブロック歪量を算出するブロック歪量検出部１４と、から構成される。それでは、この画像品質評価プログラム１０として実行される画像品質評価方法に従って、各部の処理の詳細について説明する。 The image evaluation program 10 is a program executed by the apparatus main body 2 as described above, reads compressed image data from the input image data storage unit 6 or the external video device 7, and restores restored image data according to the compression method of the image data. A data reading unit 11 to be restored as a differential image generating unit 12 that generates difference image data including a difference between adjacent pixels in the horizontal direction and the vertical direction by a method described later, and a block distortion that detects block distortion from the difference image data The detection unit 13 includes a block distortion amount detection unit 14 that calculates a block distortion amount of restored image data. Then, according to the image quality evaluation method executed as the image quality evaluation program 10, details of the processing of each unit will be described.
画像評価プログラム１０が実行されると、まず、データ読込部１１により圧縮画像データが読み込まれる。データ読込部１１により読み込まれる圧縮画像データは、上述のように、入力画像データ記憶部６に記憶されているか、若しくは、外部映像機器７から出力された画像データである。そして、データ読込部１１は、この圧縮画像データを復元して復元画像データを生成し、表示部５に表示すると共に、差分画像生成部１２に渡す。なお、外部映像機器７から出力された画像データが既に復元済みである場合（例えば、外部映像機器７の記憶装置に圧縮されて記憶された映像を、この外部映像機器７で復元して再生する場合）には、このデータ読込部１１における復元処理は不要である。 When the image evaluation program 10 is executed, first, the compressed image data is read by the data reading unit 11. As described above, the compressed image data read by the data reading unit 11 is stored in the input image data storage unit 6 or is image data output from the external video device 7. The data reading unit 11 restores the compressed image data to generate restored image data, displays the restored image data on the display unit 5, and passes it to the difference image generation unit 12. If the image data output from the external video device 7 has already been restored (for example, the video compressed and stored in the storage device of the external video device 7 is restored and played back by the external video device 7). In this case, the restoration process in the data reading unit 11 is not necessary.
差分画像生成部１２は、図２に示すように、復元画像データから、水平方向および垂直方向の隣接する画素同士の値をこれらの画素が並ぶ順番に同じ方向から差分を求めて差分画像データを生成する。ここで、各画素は、ＹＣｂＣｒ表色系の色空間で表現されているものとし、差分には輝度成分（Ｙ成分）の値を用いるものとする。もちろん、色差成分（Ｃｂ，Ｃｒ）を用いることもできるし、これらを組み合わせることもできる。また、他の表色系（ＲＧＢやＨＳＶ表色系）を用いることもできる。具体的には、復元画像データが水平方向にＭ画素で、垂直方向にＮ画素（以下、「Ｍ×Ｎ」と表現する）からなる画像データをｆ（ｘ，ｙ）（但し、ｘ＝０…Ｍ−１，ｙ＝０…Ｎ−１）として表すと、水平方向の差分画像データｆH（ｘ，ｙ）及び垂直方向の差分画像データｆV（ｘ，ｙ）は、次式（１），（２）のように表される。なお、通常の画像データは、表示部に表示されたときに画面左上を原点（０，０）として表現されているものとする。 As shown in FIG. 2, the difference image generation unit 12 obtains the difference image data from the restored image data by obtaining the difference between the pixels in the horizontal direction and the vertical direction from the same direction in the order in which these pixels are arranged. Generate. Here, each pixel is expressed in the color space of the YCbCr color system, and the value of the luminance component (Y component) is used for the difference. Of course, color difference components (Cb, Cr) can be used, or these can be combined. Also, other color systems (RGB or HSV color system) can be used. Specifically, the restored image data is f (x, y) (where x = 0), wherein the restored image data is M pixels in the horizontal direction and N pixels in the vertical direction (hereinafter referred to as “M × N”). ..., M−1, y = 0... N−1), the difference image data f H (x, y) in the horizontal direction and the difference image data f V (x, y) in the vertical direction are expressed by the following equation (1). ), (2). Note that normal image data is expressed with the upper left corner of the screen as the origin (0, 0) when displayed on the display unit.
このように、差分画像生成部１２は、水平方向の差分画像データ及び垂直方向の差分画像データを生成し、それぞれの差分画像データを表示部５に表示するとともに、このようにして生成された差分画像データをブロック歪み検出部１３に渡す。なお、上記式（１）では、水平方向に並ぶ隣接する画素のうち、右側に位置する画素（ｆ（ｘ＋１，ｙ））から左側に位置する画素（ｆ（ｘ，ｙ））の値を減算して差分を求める場合について示しているが、逆の方向から差分を求めるように構成することも可能である。また、垂直方向に並ぶ画素に関する式（２）も同様であって、差分算出方向（上下）を逆にすることも可能である。 As described above, the difference image generation unit 12 generates the difference image data in the horizontal direction and the difference image data in the vertical direction, displays each difference image data on the display unit 5, and the difference generated in this way. The image data is passed to the block distortion detector 13. In the above formula (1), the value of the pixel (f (x, y)) located on the left side is subtracted from the pixel (f (x + 1, y)) located on the right side among adjacent pixels arranged in the horizontal direction. In this case, the difference is obtained. However, the difference can be obtained from the opposite direction. The same applies to the expression (2) regarding the pixels arranged in the vertical direction, and the difference calculation direction (up and down) can be reversed.
ブロック歪み検出部１３は、水平方向および垂直方向の差分画像データからブロック歪みを検出する。まず、水平方向の差分画像データからブロック歪みを検出する方法について説明する。このブロック歪み検出部１３は、水平方向の差分画像データを、原画像データを圧縮する際の圧縮方法で採用した分割ブロックに合わせて分割し、このブロック毎に処理を行う。ここでは、４×４画素を１つのブロックとして分割した場合として説明する。図２において実線で示すブロックＢ１に注目すると、水平方向の差分画像データｆH（ｘ，ｙ）の当該ブロックの最初の画素ａには、復元画像データｆ（ｘ，ｙ）の対応するブロックＢ１の最初の画素ａ0と次の画素ｂ0の差分（ｂ0−ａ0）が記憶される。同様に、画素ｂにはｃ0−ｂ0が格納され、画素ｃにはｄ0−ｃ0が格納され、画素ｄにはｅ0−ｄ0が格納される。すなわち、水平方向の差分画像データの画素ｄには、復元画像データにおけるブロックの境界（注目するブロックＢ１と隣接するブロックＢ２の境界）を挟む２つの画素ｄ0およびｅ0の差分が格納されている。 The block distortion detection unit 13 detects block distortion from the difference image data in the horizontal direction and the vertical direction. First, a method for detecting block distortion from difference image data in the horizontal direction will be described. The block distortion detection unit 13 divides the difference image data in the horizontal direction in accordance with the divided blocks employed in the compression method used when compressing the original image data, and performs processing for each block. Here, a case where 4 × 4 pixels are divided as one block will be described. When attention is paid to the block B1 indicated by the solid line in FIG. 2, the first pixel a of the block of the difference image data f H (x, y) in the horizontal direction corresponds to the block B1 corresponding to the restored image data f (x, y). The difference (b 0 −a 0 ) between the first pixel a 0 and the next pixel b 0 is stored. Similarly, c 0 -b 0 is stored in the pixel b, d 0 -c 0 is stored in the pixel c, and e 0 -d 0 is stored in the pixel d. That is, the pixel d of the difference image data in the horizontal direction stores a difference between two pixels d 0 and e 0 sandwiching a block boundary (boundary block B1 and the adjacent block B2) in the restored image data. Yes.
ここで、ブロック歪みが表れる場所は、連続する画素の値（輝度）の変化が、ブロックの境界において急激な箇所であると考えられる。このような変化の状態は、図３に示すように、４つのパターンとして表される。すなわち、パターン１は、ブロックＢ１において、復元画像データの輝度変化が画素ａ0から画素ｄ0にかけて緩やかに増加し、境界を挟んで次のブロックＢ２の最初の画素ｅ0で急激に小さくなり、その後は緩やかに増加する場合である。また、パターン２は、ブロックＢ１において、復元画像データの輝度が画素ａ0から画素ｄ0にかけて緩やかに減少し、境界を挟んで次のブロックＢ２の最初の画素ｅ0で急激に大きくなり、その後は緩やかに減少する場合である。また、パターン３は、ブロックＢ１で緩やかに増加し、境界を挟んで次のブロックＢ２の最初の画素ｅ0でその増加量が急激に増大し、その後緩やかに増加する場合である。そして、パターン４は、ブロックＢ１で緩やかに減少し、境界を挟んで次のブロックＢ２の最初の画素ｅ0でその減少量が急激に増大し、その後緩やかに減少する場合である。このように、ブロック歪みが発生するのは、ブロックの境界の前後で同じような変化をしていて、境界（画素ｄ）だけその変化量が増大するとき、若しくは、境界だけ増加又は減少が反転する場合である。 Here, the place where the block distortion appears is considered to be a place where the change in the value (luminance) of the continuous pixels is abrupt at the boundary of the block. Such a change state is represented as four patterns as shown in FIG. That is, in the pattern 1, the luminance change of the restored image data gradually increases from the pixel a 0 to the pixel d 0 in the block B1, and decreases rapidly at the first pixel e 0 of the next block B2 across the boundary. After that, it increases slowly. In the pattern 2, in the block B1, the luminance of the restored image data gradually decreases from the pixel a 0 to the pixel d 0 , increases rapidly at the first pixel e 0 of the next block B 2 across the boundary, and thereafter Is a gradual decrease. The pattern 3 is a case where moderately increased in block B1, across the boundary that increase is rapidly increased in the first pixel e 0 of the next block B2, and thereafter increased gradually. Then, the pattern 4 is the case where slowly decreased in block B1, the reduction in the first pixel e 0 of the next block B2 increases rapidly across the boundary, then decreases slowly. In this way, block distortion occurs when the same change occurs before and after the boundary of the block, and when the amount of change increases by the boundary (pixel d), or the increase or decrease by the boundary is reversed. This is the case.
このブロック歪み検出部１３は、このようにブロックの境界における差分の変化を検出してブロック歪みを、次に示す３つの方法のいずれかを用いて検出するように構成されている。 The block distortion detection unit 13 is configured to detect a change in the difference at the block boundary and detect the block distortion using any one of the following three methods.
［第１の検出方法］
第１の検出方法は、注目するブロックＢ１と次のブロックＢ２との境界及びその前後の画素の差分の変化方向と、注目するブロックにおける画素の差分の相関（平均値及び標準偏差）から、上述のパターンに該当することを検出する方法であって、ｘを注目するブロックＢ１の先頭の画素（ｍｏｄ（ｘ，４）＝０が成り立つｘ）としたときに、以下の条件式（３）及び（４）が成り立つ場合、その境界においてブロック歪みが発生していると判断する方法である。ここで、条件式（３）及び（４）において、σ2は注目するブロックの画素の差分（復元画像データの画素ａ0〜ｄ0の差分ａ〜ｃ）の標準偏差を示し、ａｖはこれらの差分ａ〜ｃの平均値を示し、σH及びｓｃａｌｅHは予め決められた閾値を示している。
[First detection method]
The first detection method is based on the correlation (average value and standard deviation) between the boundary between the block B1 of interest and the next block B2, the change direction of the difference between the pixels before and after the boundary, and the pixel difference in the block of interest. And the following conditional expression (3) and when x is the first pixel of the block B1 of interest (mod (x, 4) = 0) When (4) holds, this is a method for determining that block distortion has occurred at the boundary. Here, in the conditional expressions (3) and (4), σ 2 represents the standard deviation of the pixel difference of the block of interest (differences a to c of the pixels a 0 to d 0 of the restored image data), and av represents these Mean values of differences a to c, and σ H and scale H represent predetermined threshold values.
条件式（３）は２つの条件式から構成されている。条件式（３）の最初の式は、差分画像データの注目するブロックＢ１の最後の２つの画素の差分ｃが正で、境界を挟む画素の差分ｄが負で、隣接するブロックＢ２の最初の２つの画素の差分ｅが正の場合、すなわち、上述するパターン１の場合を示している。また、条件式（３）の２番目の式は、差分画像データの注目するブロックＢ１の差分ｃが負で、境界の差分ｄが正で、隣接するブロックＢ２の最初の差分ｅが負の場合、すなわち、パターン２の場合を示している。つまり、この条件式（３）は、境界を挟む画素の各々と隣接する画素との差分の正負が同一で、且つ、境界を挟む画素の値の差分の正負が、隣接する画素との差分の正負と反対であるという条件を表している。 Conditional expression (3) is composed of two conditional expressions. The first expression of the conditional expression (3) is that the difference c between the last two pixels of the target block B1 of the difference image data is positive, the difference d between the pixels across the boundary is negative, and the first of the adjacent blocks B2 The case where the difference e between the two pixels is positive, that is, the case of the pattern 1 described above is shown. Further, the second expression of the conditional expression (3) is when the difference c of the target block B1 of the difference image data is negative, the boundary difference d is positive, and the first difference e of the adjacent block B2 is negative. That is, the case of pattern 2 is shown. That is, in this conditional expression (3), the difference between each of the pixels sandwiching the boundary and the adjacent pixel is the same, and the difference between the values of the pixels sandwiching the boundary is the difference between the adjacent pixel and the difference between the adjacent pixels. It represents the condition of being opposite to positive and negative.
また、条件式（４）は、注目するブロックの画素の差分（復元画像データの４つの画素ａ0〜ｄ0から求められる３つの差分ａ〜ｃ）の標準偏差σ2が所定の閾値σHよりも小さく、且つ、その平均値ａｖに所定の閾値（倍率）ｓｃａｌｅHを乗じた値よりも、境界における差分ｄの値の大きさ（境界を挟む画素の輝度変化の絶対値）が大きい場合を示している。すなわち、この条件式（４）は注目するブロックでの画素の変化が小さく、且つ、ブロックの境界における画素の輝度の変化量が急激に増加している場合（パターン３または４の場合）を示している。 Conditional expression (4) indicates that the standard deviation σ 2 of the pixel difference of the block of interest (three differences a to c obtained from the four pixels a 0 to d 0 of the restored image data) is a predetermined threshold σ H. And the magnitude of the difference d at the boundary (the absolute value of the luminance change of the pixels across the boundary) is larger than the value obtained by multiplying the average value av by a predetermined threshold value (magnification) scale H. Is shown. That is, this conditional expression (4) shows the case where the change in the pixel in the block of interest is small and the amount of change in the luminance of the pixel at the block boundary increases rapidly (in the case of pattern 3 or 4 ). ing.
このように、この第１の検出方法では、条件式（３）及び（４）により、上述のパターンに該当するか否かを判定し、この条件式（３）及び（４）が成立するとき、注目するブロックＢ１と次のブロックＢ２との境界においてブロック歪みが発生していると判断する。なお、条件式（４）における閾値σH及びｓｃａｌｅHは、例えば、それぞれ、１．０，２．０の値が設定される（注目するブロックの画素の差分の標準偏差が１より小さく、境界における変化量が、そのブロックの画素の差分の平均の２倍以上大きい場合を示している）。 As described above, in the first detection method, it is determined whether or not the above-described pattern is satisfied by the conditional expressions (3) and (4), and the conditional expressions (3) and (4) are satisfied. Then, it is determined that block distortion has occurred at the boundary between the target block B1 and the next block B2. Note that the thresholds σ H and scale H in the conditional expression (4) are set, for example, to values of 1.0 and 2.0, respectively (the standard deviation of the pixel difference of the block of interest is smaller than 1, and the boundary This shows a case where the amount of change in is greater than twice the average of the pixel differences of the block).
［第２の検出方法］
第２の検出方法は、上述の条件式（４）のみでブロック歪みの発生を検出する方法である。すなわち、注目するブロックの画素の輝度変化が緩やかであり（差分画像データ（復元画像データの４つの画素ａ0〜ｄ0から求められる３つの差分ａ〜ｃ）の標準偏差σ2が所定の閾値σHよりも小さく）、且つ、境界における変化が大きい（その平均値ａｖに所定の閾値（倍率）ｓｃａｌｅHを乗じた値よりも、境界における差分ｄの値の大きさ（絶対値）が大きい）場合に、ブロック歪みが発生していると判断するものである。第１の検出方法はパターン１及び２の場合を判定していたが、この第２の検出方法は、パターン１〜４を検出することができる。また、条件式（３）がなく、判定の処理が少なくなるため、判定に要する時間を短くすることができる。
[Second detection method]
The second detection method is a method for detecting occurrence of block distortion only by the conditional expression (4) described above. That is, the luminance change of the pixel of the block of interest is moderate (the standard deviation σ 2 of the difference image data (three differences a to c obtained from the four pixels a 0 to d 0 of the restored image data) is a predetermined threshold value. σ smaller than H), and the change in the boundary is larger than the value obtained by multiplying the (predetermined threshold value (magnification to the average value av) scale H, the magnitude of the value of the difference d in the boundary (the absolute value) is larger ), It is determined that block distortion has occurred. The first detection method has determined the cases of patterns 1 and 2, but this second detection method can detect patterns 1 to 4. Further, since there is no conditional expression (3) and the determination process is reduced, the time required for the determination can be shortened.
［第３の検出方法］
第３の検出方法は、ｘを注目するブロックＢ１の先頭の画素（ｍｏｄ（ｘ，４）＝０が成り立つｘ）としたときに、以下の条件式（５）が成り立つ場合、そのブロックＢ１と次のブロックＢ２との境界においてブロック歪みが発生していると判断する方法である。ここで、条件式（５）において、σf 2は注目するブロックＢ１の画素の３つの差分（復元画像データの画素ａ0〜ｄ0の差分ａ〜ｃ）の標準偏差を示し、ａｖfはこれらの差分ａ〜ｃの平均値を示し、σb 2は注目するブロックに隣接するブロックＢ２の画素の３つの差分（復元画像データの画素ｅ0〜ｇ0の差分ｅ〜ｇ）の標準偏差を示し、ａｖbはこれらの差分ｅ〜ｇの平均値を示し、σHf、σHb及びｓｃａｌｅHは予め決められた閾値を示している。
[Third detection method]
In the third detection method, when the following conditional expression (5) is satisfied when x is the first pixel of the block B1 of interest (mod (x, 4) = 0), the block B1 This is a method of determining that block distortion has occurred at the boundary with the next block B2. Here, in the conditional expression (5), σ f 2 indicates a standard deviation of three differences (differences a to c of the pixels a 0 to d 0 of the restored image data) of the pixel of the target block B1, and av f is An average value of these differences a to c is shown, and σ b 2 is a standard deviation of three differences (differences e to g of pixels e 0 to g 0 of the restored image data) of the pixel of the block B2 adjacent to the target block. Av b represents an average value of these differences e to g, and σ Hf , σ Hb, and scale H represent predetermined threshold values.
第２の検出方法は、注目するブロックの画素の輝度変化だけを判定対象としていたが、第３の検出方法では、次のブロックの画素の輝度変化も判定対象としている。すなわち、条件式（５）の最初の式は、注目するブロックＢ１の画素の輝度変化が緩やかであることを示し、２番目の式は、隣接するブロックＢ２の画素の輝度変化が緩やかであることを示し、３番目の式は、第１及び第２の検出方法と同じく、境界を挟む画素の輝度変化（絶対値）が大きいことを示している。この第３の検出方法は、境界を挟む前後のブロックＢ１，Ｂ２における輝度変化の変化量を条件としているため、パターン１〜４に該当することの検出精度を高くすることができる。 In the second detection method, only the luminance change of the pixel of the block of interest is determined, but in the third detection method, the luminance change of the pixel of the next block is also determined. That is, the first expression of the conditional expression (5) indicates that the luminance change of the pixel of the target block B1 is gradual, and the second expression is that the luminance change of the pixel of the adjacent block B2 is gradual. The third equation indicates that the luminance change (absolute value) of the pixels across the boundary is large, as in the first and second detection methods. Since the third detection method is based on the amount of change in luminance in the blocks B1 and B2 before and after the boundary, the detection accuracy corresponding to the patterns 1 to 4 can be increased.
なお、以上の第１〜第３の検出方法は、水平方向の差分画像データｆH（ｘ，ｙ）に適用した場合について説明したが、垂直方向の差分画像データｆV（ｘ，ｙ）に適用する場合も同様である。この場合、第１の検出方法においては、次式（６），（７）が用いられ、第２の検出方法においては、次式（７）が用いられ、第３の検出方法においては、次式（８）が用いられる。 The first to third detection methods described above are applied to the difference image data f H (x, y) in the horizontal direction, but the difference image data f V (x, y) in the vertical direction are described. The same applies to application. In this case, in the first detection method, the following equations (6) and (7) are used, in the second detection method, the following equation (7) is used, and in the third detection method: Equation (8) is used.
差分画像生成部１３は、水平方向の差分画像データｆH（ｘ，ｙ）の行毎に、水平方向に、各ブロックに対して上述の判定を繰り返し、その判定結果を水平方向のブロック歪み特徴画像データＦH（ｘ，ｙ）に設定する。また同様に、差分画像生成部１３は、垂直方向の差分画像データｆV（ｘ，ｙ）の列毎に、垂直方向に、各ブロックに対して上述の判定を繰り返し、その結果を垂直方向のブロック歪み特徴画像データＦV（ｘ，ｙ）に設定する。ここで、水平方向のブロック歪み特徴画像データＦH（ｘ，ｙ）は、水平方向の差分画像データｆH（ｘ，ｙ）と同じ構造（ｘ＝０…Ｍ−２，ｙ＝０…Ｎ−１）を有しており、垂直方向のブロック歪み特徴画像データＦV（ｘ，ｙ）は、垂直方向の差分画像データｆV（ｘ，ｙ）と同じ構造（ｘ＝０…Ｍ−１，ｙ＝０…Ｎ−２）を有している。そして、この水平方向及び垂直方向のブロック歪み特徴画像データＦH（ｘ，ｙ），ＦV（ｘ，ｙ）には、初期状態として各要素（各画素）に「０」が設定されており、各ブロックにおいて、ブロック歪みを検出したときは、図４（ａ）及び（ｂ）に示すように、差分画像生成部１３により、水平方向及び垂直方向のブロック歪み特徴画像データＦH（ｘ，ｙ），ＦV（ｘ，ｙ）の、対応する境界の差分の位置に「１」が設定される。 The difference image generation unit 13 repeats the above determination for each block in the horizontal direction for each row of the horizontal difference image data f H (x, y), and the determination result is used as the horizontal block distortion feature. Set to image data F H (x, y). Similarly, the difference image generation unit 13 repeats the above determination for each block in the vertical direction for each column of the difference image data f V (x, y) in the vertical direction, and the result is displayed in the vertical direction. The block distortion feature image data F V (x, y) is set. Here, the block distortion feature image data F H (x, y) in the horizontal direction has the same structure (x = 0... M−2, y = 0... N) as the difference image data f H (x, y) in the horizontal direction. −1), and the vertical block distortion feature image data F V (x, y) has the same structure (x = 0... M−1) as the vertical difference image data f V (x, y). , Y = 0... N-2). In the horizontal and vertical block distortion feature image data F H (x, y) and F V (x, y), “0” is set in each element (each pixel) as an initial state. When block distortion is detected in each block, as shown in FIGS. 4A and 4B, the difference image generation unit 13 performs block distortion feature image data F H (x, “1” is set to the position of the corresponding boundary difference between y) and F V (x, y).
そして、差分画像生成部１３は、水平方向及び垂直方向の差分画像データにおいてブロック歪みの検出を行い、上述のブロック歪み特徴画像データＦH（ｘ，ｙ），ＦV（ｘ，ｙ）にその結果を設定すると、「１」が設定された画素が、所定の数以上連続する区間だけ、その状態を維持し、他の区間の値を「０」に戻す。具体的には、図４（ｃ）に示すように、水平方向のブロック歪み特徴画像データＦH（ｘ，ｙ）において、ブロックの境界の差分に該当する部分を垂直方向に検査していき、「１」が所定の個数以上連続しない部分については、「０」に戻す処理を行う（図４（ｃ）の太線で囲まれた部分が、「１」が所定の個数以上連続する部分を示している）。また、垂直方向のブロック歪み特徴画像データＦV（ｘ，ｙ）に対しても図５に示すように、同様の処理を行う。差分画像生成部１３において、このような処理を行うのは、ブロック歪みと判定された画素が所定の個数以上連続しない場合は、ブロック歪みは発生していない（そのような変化をする画素（輝度変化）である）と考えられるためである。 Then, the difference image generation unit 13 detects block distortion in the difference image data in the horizontal direction and the vertical direction, and adds the block distortion feature image data F H (x, y) and F V (x, y) to the block distortion feature image data. When the result is set, the state in which only a predetermined number or more of the pixels set with “1” are maintained is maintained, and the values of other sections are returned to “0”. Specifically, as shown in FIG. 4C, in the horizontal block distortion feature image data F H (x, y), the portion corresponding to the difference between the block boundaries is inspected in the vertical direction, For a portion where “1” does not continue for a predetermined number or more, a process of returning to “0” is performed (the portion surrounded by a thick line in FIG. 4C indicates a portion where “1” continues for a predetermined number or more. ing). Further, as shown in FIG. 5, the same processing is performed on the block distortion feature image data F V (x, y) in the vertical direction. In the difference image generation unit 13, such processing is performed when no more than a predetermined number of pixels determined to be block distortion are consecutive (block distortion does not occur (pixels that change such (brightness Change).
最後に、差分画像生成部１３は、図６に示すように、水平方向及び垂直方向のブロック歪み特徴画像データＦH（ｘ，ｙ），ＦV（ｘ，ｙ）を重ね合わせて、合成されたブロック歪み特徴画像データＦ（ｘ，ｙ）を生成し、表示部５に表示するとともに、記憶部３にその結果を圧縮画像データ若しくは復元画像データの情報と対応付けて記憶する。記憶方法としては、静止画の場合は、圧縮画像データのファイル名等と対応付けてブロック歪み特徴画像データＦ（ｘ，ｙ）を記憶し、動画の場合は、その動画のファイル名及びフレーム番号と対応付けてブロック歪み特徴画像データＦ（ｘ，ｙ）を記憶する。なお、このブロック歪み特徴画像データＦ（ｘ，ｙ）を表示部５に表示するときは、図７に示すように、復元画像Ｇ１に、ブロック歪みが発生している境界（ブロック歪み特徴画像）Ｇ２を重ね合わせて表示すると、発生箇所を容易に認識することができる。 Finally, as shown in FIG. 6, the difference image generation unit 13 superimposes the horizontal and vertical block distortion feature image data F H (x, y) and F V (x, y) and combines them. The block distortion feature image data F (x, y) is generated and displayed on the display unit 5, and the result is stored in the storage unit 3 in association with the information of the compressed image data or the restored image data. As a storage method, in the case of a still image, the block distortion feature image data F (x, y) is stored in association with the file name of the compressed image data, and in the case of a moving image, the file name and frame number of the moving image are stored. And block distortion feature image data F (x, y) is stored. When this block distortion feature image data F (x, y) is displayed on the display unit 5, as shown in FIG. 7, a boundary (block distortion feature image) where block distortion occurs in the restored image G1. When G2 is superimposed and displayed, the occurrence location can be easily recognized.
上述のように、ブロック歪み検出部１３で復元画像データのブロック歪みが検出されると、ブロック歪み特徴画像データＦ（ｘ，ｙ）がブロック歪量検出部１４に渡され、このブロック歪量検出部１４により、次式（９）に基づいてブロック歪量Ｂが算出される。なお、この式（９）において、Ｓは、次式（１０）に示すように、ブロック境界の画素数（ブロック境界の差分が格納された画素数）でも良いし、次式（１１）に示すように、復元画像データ全体の画素数でも良い。 As described above, when the block distortion of the restored image data is detected by the block distortion detection unit 13, the block distortion feature image data F (x, y) is passed to the block distortion amount detection unit 14, and this block distortion amount detection is performed. The block distortion amount B is calculated by the unit 14 based on the following equation (9). In this equation (9), S may be the number of pixels at the block boundary (the number of pixels in which the difference between the block boundaries is stored) as shown in the following equation (10), or as shown in the following equation (11). Thus, the number of pixels of the entire restored image data may be used.
このように、ブロック歪量検出部１４は、ブロック境界の画素数若しくは復元画像データの画素数に占めるブロック歪みがあると判定された画素数の割合としてブロック歪量Ｂを算出する。これにより、復元画像の画像品質を、ブロック歪量Ｂという数値として評価することができる。このブロック歪量検出部１４は、算出したブロック歪量Ｂを表示部５に表示するとともに、圧縮画像データ若しくは復元画像データの情報と対応付けて記憶する。 As described above, the block distortion amount detection unit 14 calculates the block distortion amount B as the ratio of the number of pixels determined to have block distortion in the number of pixels at the block boundary or the number of pixels in the restored image data. Thereby, the image quality of the restored image can be evaluated as a numerical value called the block distortion amount B. The block distortion amount detection unit 14 displays the calculated block distortion amount B on the display unit 5 and stores it in association with information of the compressed image data or the restored image data.
なお、以上の説明では、画像データを４×４のブロックに分割した場合について説明したが、８×８のブロックの場合は、上記条件式（３）〜（８）において、４×４の場合と同様に、ブロック境界の前後の３画素を用いて判定しても良いし、７画素まで使うこともできる。同様に、１６×１６のブロックの場合は、ブロック境界の前後の３画素、７画素若しくは１５画素までを用いて判定することができる。 In the above description, the case where the image data is divided into 4 × 4 blocks has been described. However, in the case of an 8 × 8 block, in the above conditional expressions (3) to (8), the case of 4 × 4 is used. Similarly to the above, determination may be made using three pixels before and after the block boundary, or up to seven pixels may be used. Similarly, in the case of a 16 × 16 block, determination can be made using up to 3 pixels, 7 pixels, or 15 pixels before and after the block boundary.
また、この画像品質評価装置１で実行される画像品質評価プログラム１０は、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体または記憶装置に格納される。また、ネットワークなどを介してディジタル信号として配信される場合もある。このとき、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。あるいは、ＡＳＩＣやＤＳＰ等に論理回路として構成することも可能である。 The image quality evaluation program 10 executed by the image quality evaluation apparatus 1 is stored in a storage medium or storage device such as a flexible disk, a CD-ROM, a magneto-optical disk, a semiconductor memory, or a hard disk. In some cases, it may be distributed as a digital signal via a network or the like. At this time, intermediate processing results are temporarily stored in a storage device such as a main memory. Alternatively, it can be configured as a logic circuit in an ASIC, DSP, or the like.
１ 画像品質評価装置 ５ 表示部 １０ 画像品質評価プログラム
１１ データ読込部 １２ 差分画像生成部
１３ ブロック歪み検出部 １４ ブロック歪量検出部
DESCRIPTION OF SYMBOLS 1 Image quality evaluation apparatus 5 Display part 10 Image quality evaluation program 11 Data reading part 12 Difference image generation part 13 Block distortion detection part 14 Block distortion amount detection part
Claims (14)
前記画像データにおいて、水平方向に並ぶ画素の隣接する画素同士の値を前記画素が並ぶ順番に同じ方向から算出した差分からなる水平方向の差分画像データ、及び、垂直方向に並ぶ画素の隣接する画素同士の値を前記画素が並ぶ順番に同じ方向から算出した差分からなる垂直方向の差分画像データを生成するステップと、
前記水平方向の差分画像データ及び前記垂直方向の差分画像データから、水平方向に並ぶ前記画素の値の前記差分のうちの少なくとも３つの値の相関若しくは垂直方向に並ぶ前記画素の値の前記差分のうちの少なくとも３つの値の相関を算出し、当該相関及び水平方向若しくは垂直方向に並ぶ前記画素のうち、前記ブロックの境界を挟む画素の値の前記差分から、前記ブロックの境界に発生したブロック歪みを検出するステップと、を有し、
前記ブロック歪みを検出するステップは、
水平方向若しくは垂直方向に並ぶ前記画素毎で、且つ、前記ブロック毎に、当該ブロックに含まれる前記画素の値の前記差分の標準偏差及び平均値を算出し、前記標準偏差が所定の閾値より小さく、且つ、当該ブロック及び隣接するブロックの境界を挟む画素の値の前記差分の大きさが、前記平均値に所定の倍率を乗じた値より大きいという条件を満たすとき、前記ブロック歪みを検出するように構成された画像品質評価方法。 An image quality evaluation method for evaluating the quality of image data processed by being divided into blocks composed of a plurality of pixels,
In the image data, horizontal difference image data composed of differences calculated from the same direction in the order in which the pixels are arranged in the order in which the pixels are arranged in the horizontal direction, and pixels adjacent to the pixels arranged in the vertical direction. Generating vertical difference image data consisting of differences calculated from the same direction in the order in which the pixels are lined up,
From the difference image data in the horizontal direction and the difference image data in the vertical direction, the correlation of at least three values of the differences between the values of the pixels arranged in the horizontal direction or the difference between the values of the pixels arranged in the vertical direction. The block distortion generated at the boundary of the block is calculated from the correlation between at least three values, and the difference between the values of the pixels sandwiching the block boundary among the pixels arranged in the horizontal direction or the vertical direction. Detecting
Detecting the block distortion comprises:
A standard deviation and an average value of the differences of the values of the pixels included in the block are calculated for each pixel arranged in the horizontal direction or the vertical direction and for each block, and the standard deviation is smaller than a predetermined threshold value. And the block distortion is detected when the condition that the difference between the values of the pixels sandwiching the boundary between the block and the adjacent block is larger than a value obtained by multiplying the average value by a predetermined magnification. An image quality evaluation method configured as described above.
前記境界を挟む画素の各々と隣接する画素との前記差分の正負が同一で、且つ、前記境界を挟む画素の値の前記差分の正負が、前記隣接する画素との前記差分の正負と反対であるという条件を満たすとき、前記ブロック歪みを検出するように構成された請求項１に記載の画像品質評価方法。 The step of detecting the block distortion further includes the above condition.
The positive and negative of the difference between each of the pixels sandwiching the boundary and the adjacent pixel are the same, and the positive or negative of the difference of the pixel value sandwiching the boundary is opposite to the positive or negative of the difference with the adjacent pixel when the condition that there, the image quality evaluation method according to claim 1 configured to detect the block distortion.
前記画像データにおいて、水平方向に並ぶ画素の隣接する画素同士の値を前記画素が並ぶ順番に同じ方向から算出した差分からなる水平方向の差分画像データ、及び、垂直方向に並ぶ画素の隣接する画素同士の値を前記画素が並ぶ順番に同じ方向から算出した差分からなる垂直方向の差分画像データを生成するステップと、
前記水平方向の差分画像データ及び前記垂直方向の差分画像データから、水平方向に並ぶ前記画素の値の前記差分のうちの少なくとも３つの値の相関若しくは垂直方向に並ぶ前記画素の値の前記差分のうちの少なくとも３つの値の相関を算出し、当該相関及び水平方向若しくは垂直方向に並ぶ前記画素のうち、前記ブロックの境界を挟む画素の値の前記差分から、前記ブロックの境界に発生したブロック歪みを検出するステップと、を有し、
前記ブロック歪みを検出するステップは、
水平方向若しくは垂直方向に並ぶ前記画素毎で、且つ、前記ブロック毎に、当該ブロックに含まれる前記画素の値の前記差分の標準偏差及び平均値、並びに、当該ブロックに隣接するブロックに含まれる前記画素の値の前記差分の標準偏差を算出し、前記標準偏差の各々が所定の閾値より小さく、且つ、当該ブロック及び隣接するブロックの境界を挟む画素の値の前記差分の大きさが、前記平均値に所定の倍率を乗じた値より大きいという条件を満たすとき、前記ブロック歪みを検出するように構成された画像品質評価方法。 An image quality evaluation method for evaluating the quality of image data processed by being divided into blocks composed of a plurality of pixels,
In the image data, horizontal difference image data composed of differences calculated from the same direction in the order in which the pixels are arranged in the order in which the pixels are arranged in the horizontal direction, and pixels adjacent to the pixels arranged in the vertical direction. Generating vertical difference image data consisting of differences calculated from the same direction in the order in which the pixels are lined up,
From the difference image data in the horizontal direction and the difference image data in the vertical direction, the correlation of at least three values of the differences between the values of the pixels arranged in the horizontal direction or the difference between the values of the pixels arranged in the vertical direction. The block distortion generated at the boundary of the block is calculated from the correlation between at least three values, and the difference between the values of the pixels sandwiching the block boundary among the pixels arranged in the horizontal direction or the vertical direction. Detecting
Detecting the block distortion comprises:
For each of the pixels arranged in the horizontal direction or the vertical direction, and for each block, the standard deviation and the average value of the differences of the values of the pixels included in the block, and the block included in the block adjacent to the block Calculating a standard deviation of the differences of pixel values, wherein each of the standard deviations is smaller than a predetermined threshold, and the magnitude of the difference of pixel values sandwiching a boundary between the block and an adjacent block is the average An image quality evaluation method configured to detect the block distortion when a condition that a value is larger than a value obtained by multiplying a predetermined magnification is satisfied .
水平方向に並ぶ画素に対して検出されたブロック歪みについては、当該検出されたブロック歪みのうち、垂直方向に所定の画素以上連続するものだけを最終的な前記ブロック歪みとし、
垂直方向に並ぶ画素に対して検出されたブロック歪みについては、当該検出されたブロック歪みのうち、水平方向に所定の画素以上連続するものだけを最終的な前記ブロック歪みとするように構成された請求項１〜３のいずれか一項に記載の画像品質評価方法。 The step of detecting the block distortion further includes:
Regarding the block distortion detected for pixels arranged in the horizontal direction, only the detected block distortion that is continuous for a predetermined pixel or more in the vertical direction is used as the final block distortion.
Regarding the block distortion detected for pixels arranged in the vertical direction, only the detected block distortion that continues for a predetermined pixel or more in the horizontal direction is set as the final block distortion. The image quality evaluation method according to claim 1.
前記画像データにおいて、水平方向に並ぶ画素の隣接する画素同士の値を前記画素が並ぶ順番に同じ方向から算出した差分からなる水平方向の差分画像データ、及び、垂直方向に並ぶ画素の隣接する画素同士の値を前記画素が並ぶ順番に同じ方向から算出した差分からなる垂直方向の差分画像データを生成する差分画像生成部と、
前記水平方向の差分画像データ及び前記垂直方向の差分画像データから、水平方向若しくは垂直方向に並ぶ前記画素の値の前記差分のうち、少なくとも３つの値の相関を算出し、当該相関及び水平方向若しくは垂直方向に並ぶ前記画素のうち、前記ブロックの境界を挟む画素の値の前記差分から、前記ブロックの境界に発生したブロック歪みを検出するブロック歪検出部と、を有し、
前記ブロック歪み検出部は、
水平方向若しくは垂直方向に並ぶ前記画素毎で、且つ、前記ブロック毎に、当該ブロックに含まれる前記画素の値の前記差分の標準偏差及び平均値を算出し、前記標準偏差が所定の閾値より小さく、且つ、当該ブロック及び隣接するブロックの境界を挟む画素の値の前記差分の大きさが、前記平均値に所定の倍率を乗じた値より大きいという条件を満たすとき、前記ブロック歪みを検出するように構成された画像品質評価装置。 An image quality evaluation apparatus for evaluating the quality of image data processed by being divided into blocks each composed of a plurality of pixels,
In the image data, horizontal difference image data composed of differences calculated from the same direction in the order in which the pixels are arranged in the order in which the pixels are arranged in the horizontal direction, and pixels adjacent to the pixels arranged in the vertical direction. A difference image generation unit that generates difference image data in the vertical direction consisting of differences calculated from the same direction in the order in which the pixels are arranged;
From the difference image data in the horizontal direction and the difference image data in the vertical direction, a correlation between at least three values of the differences between the pixel values arranged in the horizontal direction or the vertical direction is calculated, and the correlation and the horizontal direction or among the pixels arranged in the vertical direction, from the difference of pixel values sandwiching the boundary of the blocks, have a, and the block distortion detection unit for detecting a block distortion occurring at the boundary of the block,
The block distortion detector
A standard deviation and an average value of the differences of the values of the pixels included in the block are calculated for each pixel arranged in the horizontal direction or the vertical direction and for each block, and the standard deviation is smaller than a predetermined threshold value. And the block distortion is detected when the condition that the difference between the values of the pixels sandwiching the boundary between the block and the adjacent block is larger than a value obtained by multiplying the average value by a predetermined magnification. An image quality evaluation apparatus configured as described above .
前記境界を挟む画素の各々と隣接する画素との前記差分の正負が同一で、且つ、前記境界を挟む画素の値の前記差分の正負が、前記隣接する画素との前記差分の正負と反対であるという条件を満たすとき、前記ブロック歪みを検出するように構成された請求項８に記載の画像品質評価装置。 In addition to the above conditions, the block distortion detection unit further includes:
The positive and negative of the difference between each of the pixels sandwiching the boundary and the adjacent pixel are the same, and the positive or negative of the difference of the pixel value sandwiching the boundary is opposite to the positive or negative of the difference with the adjacent pixel The image quality evaluation apparatus according to claim 8 , configured to detect the block distortion when a certain condition is satisfied.
前記画像データにおいて、水平方向に並ぶ画素の隣接する画素同士の値を前記画素が並ぶ順番に同じ方向から算出した差分からなる水平方向の差分画像データ、及び、垂直方向に並ぶ画素の隣接する画素同士の値を前記画素が並ぶ順番に同じ方向から算出した差分からなる垂直方向の差分画像データを生成する差分画像生成部と、
前記水平方向の差分画像データ及び前記垂直方向の差分画像データから、水平方向若しくは垂直方向に並ぶ前記画素の値の前記差分のうち、少なくとも３つの値の相関を算出し、当該相関及び水平方向若しくは垂直方向に並ぶ前記画素のうち、前記ブロックの境界を挟む画素の値の前記差分から、前記ブロックの境界に発生したブロック歪みを検出するブロック歪検出部と、を有し、
前記ブロック歪み検出部は、
水平方向若しくは垂直方向に並ぶ前記画素毎で、且つ、前記ブロック毎に、当該ブロックに含まれる前記画素の値の前記差分の標準偏差及び平均値、並びに、当該ブロックに隣接するブロックに含まれる前記画素の値の前記差分の標準偏差を算出し、前記標準偏差の各々が所定の閾値より小さく、且つ、当該ブロック及び隣接するブロックの境界を挟む画素の値の前記差分の大きさが、前記平均値に所定の倍率を乗じた値より大きいという条件を満たすとき、前記ブロック歪みを検出するように構成された画像品質評価装置。 An image quality evaluation apparatus for evaluating the quality of image data processed by being divided into blocks each composed of a plurality of pixels,
In the image data, horizontal difference image data composed of differences calculated from the same direction in the order in which the pixels are arranged in the order in which the pixels are arranged in the horizontal direction, and pixels adjacent to the pixels arranged in the vertical direction. A difference image generation unit that generates difference image data in the vertical direction consisting of differences calculated from the same direction in the order in which the pixels are arranged;
From the difference image data in the horizontal direction and the difference image data in the vertical direction, a correlation between at least three values of the differences between the pixel values arranged in the horizontal direction or the vertical direction is calculated, and the correlation and the horizontal direction or among the pixels arranged in the vertical direction, from the difference of pixel values sandwiching the boundary of the blocks, have a, and the block distortion detection unit for detecting a block distortion occurring at the boundary of the block,
The block distortion detector
For each of the pixels arranged in the horizontal direction or the vertical direction, and for each block, the standard deviation and the average value of the differences of the values of the pixels included in the block, and the block included in the block adjacent to the block Calculating a standard deviation of the differences of pixel values, wherein each of the standard deviations is smaller than a predetermined threshold, and the magnitude of the difference of pixel values sandwiching a boundary between the block and an adjacent block is the average An image quality evaluation apparatus configured to detect the block distortion when a condition that a value is larger than a value obtained by multiplying a predetermined magnification is satisfied .
水平方向に並ぶ画素に対して検出されたブロック歪みについては、当該検出されたブロック歪みのうち、垂直方向に所定の画素以上連続するものだけを最終的な前記ブロック歪みとし、
垂直方向に並ぶ画素に対して検出されたブロック歪みについては、当該検出されたブロック歪みのうち、水平方向に所定の画素以上連続するものだけを最終的な前記ブロック歪みとするように構成された請求項８〜１０のいずれか一項に記載の画像品質評価装置。 The block distortion detector further includes:
Regarding the block distortion detected for pixels arranged in the horizontal direction, only the detected block distortion that is continuous for a predetermined pixel or more in the vertical direction is used as the final block distortion.
Regarding the block distortion detected for pixels arranged in the vertical direction, only the detected block distortion that continues for a predetermined pixel or more in the horizontal direction is set as the final block distortion. The image quality evaluation apparatus according to any one of claims 8 to 10 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009114356A JP5190410B2 (en) | 2009-05-11 | 2009-05-11 | Image quality evaluation method, program, and image quality evaluation apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009114356A JP5190410B2 (en) | 2009-05-11 | 2009-05-11 | Image quality evaluation method, program, and image quality evaluation apparatus |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2010263539A JP2010263539A (en) | 2010-11-18 |
| JP2010263539A5 JP2010263539A5 (en) | 2012-05-31 |
| JP5190410B2 true JP5190410B2 (en) | 2013-04-24 |
Family
ID=43361231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009114356A Active JP5190410B2 (en) | 2009-05-11 | 2009-05-11 | Image quality evaluation method, program, and image quality evaluation apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5190410B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5982240B2 (en) * | 2012-09-24 | 2016-08-31 | Kddi株式会社 | Objective video quality evaluation system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4239231B2 (en) * | 1998-01-27 | 2009-03-18 | ソニー株式会社 | Block distortion reducing apparatus and method |
| JP3611525B2 (en) * | 2000-01-21 | 2005-01-19 | 松下電器産業株式会社 | Image processing device |
-
2009
- 2009-05-11 JP JP2009114356A patent/JP5190410B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010263539A (en) | 2010-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8189941B2 (en) | Image processing device, display device, image processing method, and program | |
| JP4081060B2 (en) | Image quality correction apparatus and image quality correction method | |
| CN106412720B (en) | Method and device for removing video watermark | |
| US8116593B2 (en) | Image processing apparatus, image processing method, and program for determining a zoom area for a displayed zoom image | |
| JP6046927B2 (en) | Image processing apparatus and control method thereof | |
| JP2012231389A (en) | Image processing apparatus, image processing method, and program | |
| US20150187051A1 (en) | Method and apparatus for estimating image noise | |
| JP4659793B2 (en) | Image processing apparatus and image processing method | |
| US20140198985A1 (en) | Image processing apparatus for performing color interpolation upon captured images and related method thereof | |
| US20100039517A1 (en) | Film cadence detection | |
| JP5190410B2 (en) | Image quality evaluation method, program, and image quality evaluation apparatus | |
| JP2009224901A (en) | Dynamic range compression method of image, image processing circuit, imaging apparatus, and program | |
| JP4580347B2 (en) | Flicker video conversion device, program and method thereof, and video display device | |
| US8749706B2 (en) | Image processing apparatus and recording medium storing image processing program | |
| US9395887B2 (en) | Image processing apparatus and method for removing noise from a frame group | |
| JP6564158B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5377649B2 (en) | Image processing apparatus and video reproduction apparatus | |
| JP5683153B2 (en) | Image processing apparatus and image processing method | |
| JP6236906B2 (en) | Evaluation apparatus, evaluation method, and evaluation program | |
| JP4854042B2 (en) | Image generation method, image generation apparatus, and image generation program | |
| JP3969151B2 (en) | Image display apparatus, image processing method, program, and information storage medium | |
| JP5327199B2 (en) | Image processing method and image processing apparatus | |
| JP2011142400A (en) | Motion vector detecting device and method, video display device, video recorder, video reproducing device, program and recording medium | |
| JP4714062B2 (en) | Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program | |
| JP2010263539A5 (en) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120406 |
|
| A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20120330 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130128 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5190410 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |