JPH09307930A - Digital image quality evaluation device - Google Patents
Digital image quality evaluation deviceInfo
- Publication number
- JPH09307930A JPH09307930A JP13976696A JP13976696A JPH09307930A JP H09307930 A JPH09307930 A JP H09307930A JP 13976696 A JP13976696 A JP 13976696A JP 13976696 A JP13976696 A JP 13976696A JP H09307930 A JPH09307930 A JP H09307930A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- weighting
- evaluation
- frame
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、ディジタル画像圧
縮符号化装置、特にディジタルテレビコーデックの単体
評価、又はディジタル画像伝送路等における画像品質を
評価する装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a digital image compression encoding apparatus, and more particularly to an apparatus for evaluating a digital television codec alone or an apparatus for evaluating image quality in a digital image transmission path or the like.
【0002】[0002]
【従来の技術及び発明が解決しようとする課題】この種
の画像品質を評価する方法として、主観評価による方法
と客観評価による方法とが存在する。2. Description of the Related Art As a method for evaluating this kind of image quality, there are a subjective evaluation method and an objective evaluation method.
【0003】主観評価による方法として、例えばITU
−R BT.500−6の勧告等に基づいてテレビジョ
ン画像の品質評価を行う方法がある。この方法は、十数
人の被験者が数日間に渡って主観的に画像を評価するも
のである。この主観評価方法によれば、少数の画像を用
いて評価する場合であっても、実験に伴う作業量が極め
て膨大なものとなり、しかも実験に要するコストが高く
なるという問題点を有している。また、その作業量の多
さゆえに、評価のために必要な時間がかなり長くなり、
画像品質を短時間に評価することが著しく困難となる。As a method of subjective evaluation, for example, ITU
-R BT. There is a method of evaluating the quality of a television image based on the recommendation of 500-6. This method involves a dozen or more subjects subjectively evaluating images over a period of several days. According to this subjective evaluation method, even if the evaluation is performed using a small number of images, there is a problem that the amount of work involved in the experiment becomes extremely large and the cost required for the experiment increases. . Also, due to the large amount of work, the time required for evaluation becomes considerably long,
It becomes extremely difficult to evaluate the image quality in a short time.
【0004】客観評価による従来方法としては、評価対
象画像と原画像との間の各画素毎の単純な差分値、例え
ば平均2乗誤差、から求められるSN比(SNR)を用
いる方法が一般的である。この方法によれば、評価に要
する時間は短時間で済むものの、人間の視覚特性が全く
考慮されていないためその評価結果が主観評価による結
果とは一致しないことが多いという問題が生じる。As a conventional method of objective evaluation, a method of using an SN ratio (SNR) obtained from a simple difference value for each pixel between the image to be evaluated and the original image, for example, a mean square error is generally used. Is. According to this method, the time required for the evaluation is short, but since the human visual characteristics are not considered at all, the evaluation result often does not match the result of the subjective evaluation.
【0005】このSNRによる評価と主観評価とが一致
しない原因にバックグラウンドに対して視覚的に目立つ
雑音の発生があることを考慮し、人間の視覚特性により
重み付けされたSNR(WSNR)用いた評価方法は公
知である。例えば、半谷、和田、宮内、「静止画の画質
を評価するための空間周波数領域上の重み付け関数の実
験的導出」、テレビジョン学会誌、Vol.46、N
o.3、pp.295〜299、1992、及び浜田、
松本、村上、「量子化器最適化に基づく動き補償DCT
方式の特性限界」、電子情報通信学会論文誌、B−I、
Vol.J78−B−I、No.11、pp.689〜
699、1995年11月参照。In consideration of the fact that noise that is visually noticeable with respect to the background is caused by the disagreement between the SNR evaluation and the subjective evaluation, an evaluation using SNR (WSNR) weighted by human visual characteristics is used. Methods are known. For example, Hantani, Wada, Miyauchi, "Experimental Derivation of Weighting Function in Spatial Frequency Domain for Evaluating Image Quality of Still Image", Journal of Television Society, Vol. 46, N
o. 3, pp. 295-299, 1992, and Hamada,
Matsumoto, Murakami, "Motion Compensation DCT Based on Quantizer Optimization"
Characteristic Limits of Systems, ”IEICE Transactions, BI,
Vol. J78-BI, No. 11, pp. 689 ~
699, November 1995.
【0006】この公知の客観評価方法によれば、発生し
た雑音がブロック内のバックグラウンドに対して視覚的
に目立つ雑音であるか又は目立たない雑音であるかが画
質評価において考慮される。しかしながら、画面全体の
バックグラウンドに対しての視覚特性が考慮されていな
いので、WSNR値が主観評価とは大きく異なる場合が
存在する。According to this known objective evaluation method, it is taken into consideration in the image quality evaluation whether the generated noise is noise that is visually conspicuous or inconspicuous with respect to the background in the block. However, since the visual characteristics of the entire screen with respect to the background are not considered, there are cases where the WSNR value is significantly different from the subjective evaluation.
【0007】従って本発明は、従来技術の上述した問題
点を解消するものであり、本発明の目的は、短時間に評
価が行え、しかも主観評価結果により近い評価結果を得
ることのできる安価なディジタル画像品質評価装置を提
供することにある。Therefore, the present invention solves the above-mentioned problems of the prior art, and an object of the present invention is to perform an evaluation in a short time and to obtain an evaluation result closer to a subjective evaluation result at a low cost. An object is to provide a digital image quality evaluation device.
【0008】[0008]
【課題を解決するための手段】本発明によれば、評価対
象画像データの値とその原画像データの値との差分値に
基づくSNRを算出するSNR算出手段と、フレーム全
体の画像データの交流成分の電力を算出する手段と、算
出した交流成分電力に基づいて算出したSNRの重み付
けを行う重み付け手段とを備えたディジタル画像品質評
価装置が提供される。According to the present invention, the SNR calculating means for calculating the SNR based on the difference value between the value of the image data to be evaluated and the value of the original image data, and the exchange of the image data of the entire frame There is provided a digital image quality evaluation apparatus including means for calculating the power of a component and weighting means for weighting the SNR calculated based on the calculated AC component power.
【0009】フレーム全体の画像データの交流成分の電
力に基づいてSNRの重み付けを行うことにより、画面
全体のバックグラウンドに対しての視覚特性が考慮され
ることとなり、最終的に得られる評価値を主観評価値に
より近づけることが可能となる。即ち、ブロック毎の視
覚特性を反映させたSNR(WSNR)を求めても、画
面全体でそのブロックが注目される存在であるかどうか
によってその実際の評価は異なってしまうが、画面全体
のアクティビティを表わすフレーム全体の画像データの
交流成分の電力を求め、これによって各ブロックの注目
度を考慮することによって主観評価結果により近い評価
結果を得ることができる。By weighting the SNR based on the power of the AC component of the image data of the entire frame, the visual characteristics of the entire screen with respect to the background are taken into consideration, and the finally obtained evaluation value is calculated. It is possible to bring it closer to the subjective evaluation value. That is, even if the SNR (WSNR) reflecting the visual characteristics of each block is obtained, the actual evaluation varies depending on whether or not the block is the target of attention on the entire screen. By obtaining the power of the AC component of the image data of the entire represented frame, and by taking the attention degree of each block into consideration, an evaluation result closer to the subjective evaluation result can be obtained.
【0010】SNR算出手段は、フレームの各ブロック
毎に、評価対象画像データの値と原画像データの値との
差分値を求めてフレーム全体のSNRを算出するように
構成されていることが好ましい。The SNR calculating means is preferably configured to calculate the SNR of the entire frame by obtaining the difference value between the value of the evaluation target image data and the value of the original image data for each block of the frame. .
【0011】評価対象画像データ及び原画像データにつ
いて、フレームの各ブロック毎に視覚特性に基づく重み
付けを行うための係数を算出する係数算出手段をさらに
備えており、SNR算出手段は、係数算出手段からの係
数を用いて重み付けを行って差分値に基づくWSNRを
算出するように構成されていることが好ましい。The image data to be evaluated and the original image data are further provided with a coefficient calculating means for calculating a coefficient for weighting each block of the frame based on the visual characteristics, and the SNR calculating means is provided from the coefficient calculating means. It is preferable that the weighting is performed using the coefficient of 1 to calculate the WSNR based on the difference value.
【0012】係数算出手段は、フレームの各ブロック毎
に、空間周波数方向の視覚感度に基づく重み付け用係数
を算出するように構成されていることが好ましい。高周
波の雑音ほど検知されにくいので、このような視覚特性
による重み付けによって主観評価結果により近い評価結
果を得ることができる。It is preferable that the coefficient calculating means is configured to calculate a weighting coefficient based on visual sensitivity in the spatial frequency direction for each block of the frame. Since the higher the frequency of noise is, the more difficult it is to detect the noise, it is possible to obtain an evaluation result closer to the subjective evaluation result by weighting the visual characteristics.
【0013】また、係数算出手段は、フレームの各ブロ
ック毎に、雑音マスキング効果に基づく重み付け用係数
を算出するように構成されていることが好ましい。より
変化の激しいブロックでの雑音は検知されにくいので、
このような視覚特性による重み付けによって主観評価結
果により近い評価結果を得ることができる。Further, it is preferable that the coefficient calculating means is configured to calculate the weighting coefficient based on the noise masking effect for each block of the frame. Noise in blocks that change more rapidly is hard to detect, so
By weighting with such visual characteristics, an evaluation result closer to the subjective evaluation result can be obtained.
【0014】重み付け手段は、算出した交流成分電力に
基づいて各係数が定まるようにあらかじめ設定されたマ
ッピング関数により重み付けを行うように構成されてい
ることが好ましい。The weighting means is preferably configured to perform weighting by a mapping function preset so that each coefficient is determined based on the calculated AC component power.
【0015】[0015]
【発明の実施の形態】以下図面を用いて本発明の実施形
態を詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described in detail below with reference to the drawings.
【0016】図1は本発明のディジタル画像品質評価装
置の基本構成を表わすブロック図である。FIG. 1 is a block diagram showing the basic configuration of a digital image quality evaluation apparatus of the present invention.
【0017】同図において、10は評価対象画像に関す
る原画像の各画素信号が供給される入力端子、11は評
価対象画像(再生画像)の各画素信号が供給される入力
端子、12は入力端子10及び11に接続されており差
分値を算出する差分値算出回路、13は差分値算出回路
12の出力に接続されたSNR(WSNR)算出回路
(本発明のSNR算出手段に対応する)、14は入力端
子10に接続されており、フレーム全体の交流成分電力
の平均値を算出する交流成分電力算出回路(本発明の交
流成分の電力を算出する手段に対応する)、15はSN
R算出回路13及び交流成分電力算出回路14の出力に
接続されている重み付け回路(本発明の重み付け手段に
対応する)、16は画像品質評価値の出力端子をそれぞ
れ示している。In the figure, 10 is an input terminal to which each pixel signal of the original image relating to the image to be evaluated is supplied, 11 is an input terminal to which each pixel signal of the image to be evaluated (reproduced image) is supplied, and 12 is an input terminal. A difference value calculation circuit connected to 10 and 11 for calculating a difference value, 13 is an SNR (WSNR) calculation circuit connected to the output of the difference value calculation circuit 12 (corresponding to SNR calculation means of the present invention), 14 Is connected to the input terminal 10, an AC component power calculation circuit for calculating an average value of AC component power of the entire frame (corresponding to a means for calculating the AC component power of the present invention), and 15 is an SN
Weighting circuits (corresponding to the weighting means of the present invention) connected to the outputs of the R calculation circuit 13 and the AC component power calculation circuit 14, and 16 are output terminals for the image quality evaluation value, respectively.
【0018】差分値算出回路12は、評価対象画像及び
原画像の各画素信号の差分値を算出する。この差分値
が、SNR算出回路13へ入力されることによりフレー
ム全体のSNR又はWSNR(ブロック毎の視覚特性が
反映するように重み付けされたSNR)が得られる。一
方、交流成分電力算出回路14は、原画像の画素信号か
らフレーム全体の交流成分の電力の平均値(画面全体の
アクティビティ)を算出する。重み付け回路15におい
て、この交流成分電力の平均値に基づいてあらかじめ定
めた関数により、フレーム全体のSNR又はWSNRを
フレーム毎に重み付けする。これにより、出力端子16
より、主観評価結果により近い評価結果を得ることがで
きる。なお、図1の例においては、交流成分電力算出回
路14が、原画像の画素信号から画面全体のアクティビ
ティを算出しているが、評価対象画像(再生画像)の画
素信号から画面全体のアクティビティを算出してもほぼ
同様の効果を得ることができる。The difference value calculation circuit 12 calculates the difference value between the pixel signals of the evaluation target image and the original image. By inputting this difference value into the SNR calculation circuit 13, the SNR or WSNR of the entire frame (SNR weighted so as to reflect the visual characteristics of each block) is obtained. On the other hand, the AC component power calculation circuit 14 calculates the average value of the AC component power of the entire frame (activity of the entire screen) from the pixel signals of the original image. In the weighting circuit 15, the SNR or WSNR of the entire frame is weighted for each frame by a function determined in advance based on the average value of the AC component power. Thereby, the output terminal 16
Therefore, an evaluation result closer to the subjective evaluation result can be obtained. In the example of FIG. 1, the AC component power calculation circuit 14 calculates the activity of the entire screen from the pixel signal of the original image, but the activity of the entire screen is calculated from the pixel signal of the evaluation target image (reproduced image). Even if it is calculated, almost the same effect can be obtained.
【0019】図2は本発明のディジタル画像品質評価装
置の一実施形態における構成を示すブロック図である。FIG. 2 is a block diagram showing the configuration of an embodiment of the digital image quality evaluation apparatus of the present invention.
【0020】同図において、20は映像源、21は映像
源20からの例えばNTSCコンポジット信号等の原画
像信号が入力される第1の入力部、22は第1の入力部
21の出力に接続された同期用マーカ付加部、23は同
期用マーカ付加部22の出力に接続された出力部、24
は同期用マーカ付加部22の出力に同じく接続された遅
延部、25は出力部23に接続された例えばビデオコー
デックやディジタル画像伝送路等の画像品質の評価対象
システム、26は評価対象システム25からの評価対象
画像(再生画像)信号が入力される第2の入力部、27
は第2の入力部26からは評価対象画像データが、遅延
部24からは遅延された原画像データがそれぞれ入力さ
れる同期制御部をそれぞれ示している。In the figure, 20 is a video source, 21 is a first input section to which an original image signal such as an NTSC composite signal from the video source 20 is input, and 22 is connected to the output of the first input section 21. The synchronized marker adding unit 23 is an output unit connected to the output of the synchronizing marker adding unit 22.
Is a delay unit that is also connected to the output of the synchronization marker adding unit 22, 25 is an image quality evaluation target system such as a video codec or digital image transmission line that is connected to the output unit 23, and 26 is from the evaluation target system 25. Second input unit to which the evaluation target image (reproduced image) signal of
Indicates a synchronization control unit to which the evaluation target image data is input from the second input unit 26 and the delayed original image data is input from the delay unit 24, respectively.
【0021】図2において、さらに、28は第2の入力
部26の出力に接続された周波数変換部、29は遅延部
24の出力に接続された周波数変換部、30は周波数変
換部28及び29の出力に接続された差分値算出部、3
1は差分値算出部30の出力に接続されておりWSNR
を算出するWSNR計算部、32はWSNR計算部31
の出力に接続されており主観評価値を算出する主観評価
値計算部、33は周波数変換部29の出力に接続されて
おり、各ブロック毎のブロックアクティビティを算出し
てWSNR計算部31へ印加するブロックアクティビテ
ィ計算部、34は周波数変換部29の出力に同じく接続
されており、フレーム全体のアクティビティを算出して
主観評価値計算部32に印加するフレームアクティビテ
ィ計算部をそれぞれ示している。In FIG. 2, 28 is a frequency conversion unit connected to the output of the second input unit 26, 29 is a frequency conversion unit connected to the output of the delay unit 24, and 30 is frequency conversion units 28 and 29. Difference value calculation unit connected to the output of 3
1 is connected to the output of the difference value calculation unit 30 and WSNR
WSNR calculator 32, 32 is the WSNR calculator 31
Is connected to the output of the frequency conversion unit 29, 33 is connected to the output of the frequency conversion unit 29, and the block activity of each block is calculated and applied to the WSNR calculation unit 31. The block activity calculation unit, 34 is also connected to the output of the frequency conversion unit 29, and indicates the frame activity calculation unit that calculates the activity of the entire frame and applies it to the subjective evaluation value calculation unit 32.
【0022】映像源20からの原画像信号は第1の入力
部21に入力され、例えば評価対象画像がNTSCコン
ポジット信号の場合、8ビット、4fsc(14.318
MHz)でA/D変換され、有効画素768画素×48
3ラインの画像としてフィールドマージされる。なお、
コンポーネント(Y)信号の場合はサンプリング周波数
13.5MHz、有効画素720画素×480ラインと
なり、コンポーネント(Cb,Cr)信号の場合はサン
プリング周波数6.75MHz、有効画素360画素×
480ラインとなる。評価対象画像は、NTSCコンポ
ジット信号、コンポーネント信号の他に、D1ディジタ
ル信号でもあり得る。因に、評価対象システムとして
は、本出願人の開発したコーデックMUCCS−2
[2]及びMUCCS−45[3]、MPEG−1、M
PEG−2、MPEG−4、その他全般の符号化器にも
適用される。The original image signal from the video source 20 is input to the first input unit 21. For example, when the image to be evaluated is an NTSC composite signal, 8 bits, 4f sc (14.318).
MHz) A / D converted, effective pixels 768 pixels x 48
Field merged as a 3-line image. In addition,
In the case of a component (Y) signal, the sampling frequency is 13.5 MHz, effective pixels are 720 pixels × 480 lines, and in the case of a component (Cb, Cr) signal, the sampling frequency is 6.75 MHz, effective pixels are 360 pixels ×
It becomes 480 lines. The image to be evaluated may be a D1 digital signal in addition to the NTSC composite signal and the component signal. As a system to be evaluated, the codec MUCCS-2 developed by the present applicant is used.
[2] and MUCCS-45 [3], MPEG-1, M
It is also applied to PEG-2, MPEG-4, and other general encoders.
【0023】第1の入力部21で得られた原画像データ
には、同期用マーカ付加部22において同期用マーカが
付加される。このマーカパターンは、フレーム毎に変化
し評価対象システム25の遅延量を知るのに用いられ
る。マーカが付加された原画像データは、遅延部24の
メモリに格納されると同時に出力部23を介して評価対
象システム25に出力される。A synchronization marker is added to the original image data obtained by the first input unit 21 by the synchronization marker addition unit 22. This marker pattern changes for each frame and is used to know the delay amount of the evaluation target system 25. The original image data to which the marker is added is stored in the memory of the delay unit 24 and simultaneously output to the evaluation target system 25 via the output unit 23.
【0024】評価対象システム25から出力される評価
対象画像(再生画像)データは、第2の入力部26に入
力された後、同期制御部27において、遅延部24に格
納されている原画像データとマーカによるフレーム照合
が行われて評価対象システム25における遅延量が決定
される。さらに、水平方向のサンプリング補正も行われ
て、再生画像データと原画像データとの同期が確立され
る。The evaluation target image (reproduced image) data output from the evaluation target system 25 is input to the second input unit 26, and then the original image data stored in the delay unit 24 in the synchronization control unit 27. Frame matching is performed by the markers and the delay amount in the evaluation target system 25 is determined. Further, horizontal sampling correction is also performed, and synchronization between the reproduced image data and the original image data is established.
【0025】次いで、周波数変換部28及び29、差分
値算出部30、WSNR計算部31、ブロックアクティ
ビティ計算部33、並びにフレームアクティビティ計算
部34において、WSNR及びフレームアクティビティ
Sの算出が行われる。Next, the frequency converters 28 and 29, the difference value calculator 30, the WSNR calculator 31, the block activity calculator 33, and the frame activity calculator 34 calculate the WSNR and the frame activity S.
【0026】図3はこの演算の内容を詳しく説明してい
る。人間の視覚特性を有効に反映させるため、周波数変
換部28及び29において、小ブロック単位の再生画像
データ及び原画像データに対して、例えばアダマール変
換により周波数軸方向へ変換することによる波形解析を
行う。これは、NTSC信号にアダマール変換を用いた
場合、カラーサブキャリア成分が2つの係数のみに効果
的に現れ、周波数構造の観点からもNTSC信号の波形
解析を行い易いからである。アダマール変換の他にフー
リエ変換、DCT等によって周波数変換してもよい。周
波数変換された各ブロックは、差分値算出部30に印加
されることにより、原画像データと再生画像データとの
間で差分値(2乗誤差)が求められる。求められたブロ
ックbの変換係数(m,n)毎の差分電力値は、WSN
R計算部31に印加され、次のような視覚特性を考慮し
たWSNRが算出される。FIG. 3 illustrates the details of this calculation. In order to effectively reflect human visual characteristics, the frequency conversion units 28 and 29 perform waveform analysis on the reproduction image data and the original image data in small block units by converting them in the frequency axis direction by, for example, Hadamard conversion. . This is because when the Hadamard transform is used for the NTSC signal, the color subcarrier component effectively appears only in the two coefficients, and it is easy to analyze the waveform of the NTSC signal from the viewpoint of the frequency structure. In addition to Hadamard transform, frequency transform may be performed by Fourier transform, DCT or the like. Each frequency-converted block is applied to the difference value calculation unit 30 to obtain a difference value (square error) between the original image data and the reproduced image data. The calculated difference power value for each conversion coefficient (m, n) of the block b is WSN.
The WSNR is applied to the R calculator 31 to calculate the WSNR in consideration of the following visual characteristics.
【0027】画像品質評価において、各ブロック毎に考
慮すべき視覚特性としては、空間周波数方向の視覚感
度(高周波の雑音ほど検知されにくい)、雑音マスキ
ング効果(より変化の激しいブロックでの雑音は検知さ
れにくい)が挙げられ、従って、についてはアダマー
ル変換係数(m,n)に視覚感度マトリクスHによる重
み付けを行い、については各ブロックbのアクティビ
ティ(分散値)σ2 (b)に対する重み付けを行う。即
ち、 h(σ2 ,m,n)=h1 (σ2 (b))・H(m,
n) により重み付けする。ただし、h1 (σ2 )はブロック
bのアクティビティσ2(b)に対する雑音感度関数で
ある。In the image quality evaluation, visual characteristics to be considered for each block include visual sensitivity in the spatial frequency direction (harder to detect as high-frequency noise), noise masking effect (noise in a block that changes more drastically is detected). Therefore, the Hadamard transform coefficient (m, n) is weighted by the visual sensitivity matrix H for, and the activity (dispersion value) σ 2 (b) of each block b is weighted for. That is, h (σ 2 , m, n) = h 1 (σ 2 (b)) · H (m,
n). However, h 1 (σ 2 ) is a noise sensitivity function for the activity σ 2 (b) of the block b.
【0028】視覚感度マトリクスHとしては、アダマー
ル変換係数をその係数切り捨てによりほぼ等しい劣化度
を与える係数をまとめて1つのクラスタとし、それぞれ
のクラスタ毎に発生する雑音による主観的劣化度が等し
くなるように重み付けしたものを用いることができる。As the visual sensitivity matrix H, the Hadamard transform coefficients are grouped together into coefficients that give almost the same deterioration degree by truncating the coefficients so that the subjective deterioration degrees due to noises are equal in each cluster. Can be used.
【0029】ブロックbのアクティビティσ2 (b)
は、直流成分やカラーサブキャリア成分を除外した
((m,n)∈D)交流成分のみの電力であり、ブロッ
クアクティビティ計算部33において次式から算出され
る。Activity of block b σ 2 (b)
Is the power of only the AC component excluding the DC component and the color subcarrier component ((m, n) εD), and is calculated by the block activity calculation unit 33 from the following equation.
【数1】 [Equation 1]
【0030】図3に示すように、フレーム全体のWSN
Rは、WSNR計算部31において、ブロックbの変換
係数(m,n)毎の差分電力値(x(b,m,n)−y
(b,m,n))2 を人間の視覚特性h(σ2 ,m,
n)で重み付けする次式から算出される。As shown in FIG. 3, the WSN of the entire frame
R is a difference power value (x (b, m, n) −y) for each conversion coefficient (m, n) of the block b in the WSNR calculation unit 31.
(B, m, n)) 2 is the human visual characteristic h (σ 2 , m,
It is calculated from the following equation weighted by n).
【数2】 [Equation 2]
【0031】フレームアクティビティ計算部34におい
ては、直流成分やカラーサブキャリア成分を除外した
((m,n)∈D)交流成分のみの画面全体の電力、即
ちフレームアクティビティSが次式から算出される。な
お、本実施形態では、フレームアクティビティ計算部3
4が、原画像データから画面全体のアクティビティを算
出しているが、再生画像データから画面全体のアクティ
ビティを算出してもほぼ同様の効果を得ることができ
る。In the frame activity calculation unit 34, the power of the entire screen, that is, only the AC component excluding the DC component and the color subcarrier component ((m, n) εD), that is, the frame activity S is calculated from the following equation. . In the present embodiment, the frame activity calculation unit 3
4 calculates the activity of the entire screen from the original image data, but almost the same effect can be obtained by calculating the activity of the entire screen from the reproduced image data.
【数3】 (Equation 3)
【0032】以上のごとくして求められたブロック毎の
視覚特性を反映させたWSNRは、主観評価値計算部3
2において、画面全体のアクティビティを反映させたフ
レームアクティビティSによって重み付けされて品質劣
化度(%)に変換される。The WSNR reflecting the visual characteristics of each block obtained as described above is the subjective evaluation value calculation unit 3
In 2, the frame activity S reflecting the activity of the entire screen is weighted and converted into the quality deterioration degree (%).
【0033】WSNR計算部31において、h(σ2 ,
m,n)で重み付けすることで行ったマスキング効果
は、ブロックのアクティビティによりそのブロック内で
発生する雑音の検知度が異なることを利用している。こ
のディジタル画像品質評価装置では、このブロック内の
アクティビティに加え、画面全体のアクティビティSを
考慮している。これは、画面全体のアクティビティSが
ブロックの注目度に影響を与えることが実験的に確認さ
れているからである。例えば、ブロック内のアクティビ
ティにより局所的には目立ち易い雑音であっても画面全
体のアクティビティSが高い場合、それほど雑音として
検知されず、また逆にアクティビティSが低い場合はよ
り雑音が目立つ傾向にある。従って、主観評価値計算部
32において品質劣化度を算出する際に、画像を画面全
体のアクティビティSにより数種類に分類し、主観評価
値により近づけるように実験的にあらかじめ定めたマッ
ピング関数fを用いている。In the WSNR calculation unit 31, h (σ 2 ,
The masking effect performed by weighting with m, n) utilizes the fact that the level of detection of noise generated in a block differs depending on the activity of the block. In this digital image quality evaluation apparatus, the activity S of the entire screen is considered in addition to the activity in this block. This is because it has been experimentally confirmed that the activity S of the entire screen affects the attention level of the block. For example, even if the noise is locally noticeable due to the activity in the block, if the activity S of the entire screen is high, it is not detected as much noise, and conversely, if the activity S is low, the noise tends to be more noticeable. . Therefore, when calculating the degree of quality deterioration in the subjective evaluation value calculation unit 32, the image is classified into several types according to the activity S of the entire screen, and the experimentally predetermined mapping function f is used so as to be closer to the subjective evaluation value. There is.
【0034】即ち、WSNRの値をxとした場合に、品
質劣化度f(x)は以下に示す5次式から算出される。 f(x)=px5 +qx4 +rx3 +sx2 +tx+u ただし、このマッピング関数の各係数p〜uは、次の表
1に示すようにアクティビティSに応じて定まるもので
あり、これら係数は主観評価値により近づけるように実
験的に最小2乗法により求めたものである。That is, when the value of WSNR is x, the degree of quality deterioration f (x) is calculated from the following quintic equation. f (x) = px 5 + qx 4 + rx 3 + sx 2 + tx + u However, each coefficient p to u of this mapping function is determined according to the activity S as shown in Table 1 below, and these coefficients are subjectively evaluated. The value is experimentally obtained by the least-squares method so as to be closer to the value.
【0035】[0035]
【表1】 [Table 1]
【0036】本実施形態におけるディジタル画像品質評
価装置を用いて行った画像品質評価実験結果について、
以下説明する。原画像として16種類のNTSC画像を
用い、評価対象システムとしては本出願人の開発した2
種類のコーデック(MUCCS−2[2]及びMUCC
S−45[3])を使用した。符号化ビットレートは、
どちらも22Mbps、15Mbpsの2種類で行っ
た。また、画像品質評価値の基準とする主観評価値につ
いては、テスト画像についてITU−R BT.500
−6の勧告に基づいて専門家20名により行われた評価
値を用いた。Regarding the result of the image quality evaluation experiment conducted using the digital image quality evaluation apparatus in this embodiment,
This will be described below. 16 types of NTSC images were used as original images, and the evaluation target system was developed by the applicant 2
Types of codecs (MUCCS-2 [2] and MUCC
S-45 [3]) was used. The encoding bit rate is
Both were performed at two types of 22 Mbps and 15 Mbps. Also, regarding the subjective evaluation value as the reference of the image quality evaluation value, the ITU-R BT. 500
The evaluation value performed by 20 experts based on the recommendation of -6 was used.
【0037】図4は単純SNR(視覚特性に基づく重み
付けのないSNR)と上述した基準の主観評価値との関
係、図5は本実施形態における品質劣化度f(x)と上
述した基準の主観評価値との関係をそれぞれ示してい
る。FIG. 4 shows the relationship between the simple SNR (SNR without weighting based on visual characteristics) and the above-mentioned reference subjective evaluation value, and FIG. 5 shows the quality deterioration degree f (x) in the present embodiment and the above-mentioned reference subjectivity. The relationship with the evaluation value is shown.
【0038】図4に示すように、評価方式が単純SNR
の場合は、視覚特性が全く考慮されないのでプロットが
散在しており、主観評価値との相関が、MUCCS−2
[2]では0.680、MUCCS−45[3]では
0.743と低くなっている。As shown in FIG. 4, the evaluation method is simple SNR.
In the case of, since the visual characteristics are not considered at all, the plots are scattered, and the correlation with the subjective evaluation value is MUCCS-2.
It is as low as 0.680 for [2] and 0.743 for MUCCS-45 [3].
【0039】これに対して本実施形態の品質劣化度の場
合は、完全に一対一の関係とはなっていないものの、主
観評価値との相関が、MUCCS−2[2]では0.8
04、MUCCS−45[3]では0.912と単純S
NRの場合より大幅に相関が高くなっている。これは、
特に、画面全体でのアクティビティSによる品質劣化度
の算出を行うことで注視ブロックの雑音検知感度が考慮
されたため、より主観評価値に近づいたものと思われ
る。On the other hand, in the case of the quality deterioration degree of the present embodiment, although the relationship is not completely one-to-one, the correlation with the subjective evaluation value is 0.8 in MUCCS-2 [2].
04, MUCCS-45 [3] is 0.912 and simple S
The correlation is significantly higher than in the case of NR. this is,
In particular, since the noise detection sensitivity of the gaze block was considered by calculating the quality deterioration degree due to the activity S on the entire screen, it seems that the subjective evaluation value was approached.
【0040】このように、本実施形態によれば、ブロッ
ク内での視覚特性を考慮した重み付けに加えて、画面全
体での視覚特性をも考慮しているので、主観評価結果に
より近い評価結果を得ることができる。しかも、客観評
価により短時間に評価が行えると共に、その構成が簡単
なため製造コストが安価となる。As described above, according to this embodiment, since the visual characteristics of the entire screen are taken into consideration in addition to the weighting considering the visual characteristics of the block, an evaluation result closer to the subjective evaluation result can be obtained. Obtainable. In addition, the evaluation can be performed in a short time by objective evaluation, and the manufacturing cost can be reduced because the configuration is simple.
【0041】以上述べた実施形態は全て本発明を例示的
に示すものであって限定的に示すものではなく、本発明
は他の種々の変形態様及び変更態様で実施することがで
きる。従って本発明の範囲は特許請求の範囲及びその均
等範囲によってのみ規定されるものである。The above-described embodiments are all illustrative of the present invention and are not intended to limit the present invention, and the present invention can be embodied in other various modifications and alterations. Therefore, the scope of the present invention is defined only by the claims and their equivalents.
【0042】[0042]
【発明の効果】以上詳細に説明したように本発明によれ
ば、評価対象画像データの値とその原画像データの値と
の差分値に基づくSNRを算出するSNR算出手段と、
フレーム全体の画像データの交流成分の電力を算出する
手段と、算出した交流成分電力に基づいて算出したSN
Rの重み付けを行う重み付け手段とを備えているため、
短時間に評価が行え、しかも主観評価結果により近い評
価結果を得ることのできる。As described in detail above, according to the present invention, SNR calculating means for calculating an SNR based on the difference value between the value of the image data to be evaluated and the value of the original image data thereof,
Means for calculating the power of the AC component of the image data of the entire frame, and SN calculated based on the calculated AC component power
Since a weighting means for weighting R is provided,
The evaluation can be performed in a short time, and the evaluation result closer to the subjective evaluation result can be obtained.
【図1】本発明のディジタル画像品質評価装置の基本構
成を示すブロック図である。FIG. 1 is a block diagram showing a basic configuration of a digital image quality evaluation device of the present invention.
【図2】本発明のディジタル画像品質評価装置の一実施
形態における構成を概略的に示すブロック図である。FIG. 2 is a block diagram schematically showing the configuration of an embodiment of a digital image quality evaluation apparatus of the present invention.
【図3】図2の実施形態におけるWSNR及びフレーム
アクティビティSの演算の内容を詳しく説明を説明する
図である。FIG. 3 is a diagram for explaining in detail the content of calculation of WSNR and frame activity S in the embodiment of FIG.
【図4】画像品質評価実験結果として、単純SNRと基
準の主観評価値との関係を表わす図である。FIG. 4 is a diagram showing a relationship between a simple SNR and a reference subjective evaluation value as an image quality evaluation experiment result.
【図5】画像品質評価実験結果として、図2の実施形態
における品質劣化度と基準の主観評価値との関係を表わ
す図である。FIG. 5 is a diagram showing a relationship between a quality deterioration degree and a reference subjective evaluation value in the embodiment of FIG. 2 as an image quality evaluation experiment result.
10、11 入力端子 12 差分値算出回路 13 SNR(WSNR)算出回路 14 交流成分電力算出回路 15 重み付け回路 16 出力端子 20 映像源 21 第1の入力部 22 同期用マーカ付加部 23 出力部 24 遅延部 25 評価対象システム 26 第2の入力部 27 同期制御部 28、29 周波数変換部 30 差分値算出部 31 WSNR計算部 32 主観評価値計算部 33 ブロックアクティビティ計算部 34 フレームアクティビティ計算部 10, 11 Input terminal 12 Difference value calculation circuit 13 SNR (WSNR) calculation circuit 14 AC component power calculation circuit 15 Weighting circuit 16 Output terminal 20 Video source 21 First input section 22 Synchronization marker addition section 23 Output section 24 Delay section 25 Evaluation Target System 26 Second Input Unit 27 Synchronization Control Unit 28, 29 Frequency Converter 30 Difference Value Calculator 31 WSNR Calculator 32 Subjective Evaluation Value Calculator 33 Block Activity Calculator 34 Frame Activity Calculator
Claims (6)
ータの値との差分値に基づくSN比を算出するSN比算
出手段と、フレーム全体の画像データの交流成分の電力
を算出する手段と、該算出した交流成分電力に基づいて
前記算出したSN比の重み付けを行う重み付け手段とを
備えたことを特徴とするディジタル画像品質評価装置。1. An SN ratio calculating means for calculating an SN ratio based on a difference value between a value of image data to be evaluated and a value of its original image data, and means for calculating electric power of an AC component of image data of the entire frame. A digital image quality evaluation apparatus, comprising: a weighting unit that weights the calculated SN ratio based on the calculated AC component power.
ロック毎に、前記評価対象画像データの値と前記原画像
データの値との差分値を求めてフレーム全体のSN比を
算出するように構成されていることを特徴とする請求項
1に記載の装置。2. The SN ratio calculating means calculates the SN ratio of the entire frame by obtaining a difference value between the value of the evaluation target image data and the value of the original image data for each block of the frame. The device of claim 1, wherein the device is configured.
データについて、フレームの各ブロック毎に視覚特性に
基づく重み付けを行うための係数を算出する係数算出手
段をさらに備えており、前記SN比算出手段は、該係数
算出手段からの係数を用いて重み付けを行って差分値に
基づくSN比を算出するように構成されていることを特
徴とする請求項1又は2に記載の装置。3. A coefficient calculating means for calculating a coefficient for performing weighting based on visual characteristics for each block of a frame with respect to the image data to be evaluated and the original image data, further comprising the SN ratio calculating means. Is configured to perform weighting using the coefficient from the coefficient calculating means to calculate the SN ratio based on the difference value.
ック毎に、空間周波数方向の視覚感度に基づく重み付け
用係数を算出するように構成されていることを特徴とす
る請求項3に記載の装置。4. The apparatus according to claim 3, wherein the coefficient calculating means is configured to calculate a weighting coefficient based on visual sensitivity in the spatial frequency direction for each block of the frame. .
ック毎に、雑音マスキング効果に基づく重み付け用係数
を算出するように構成されていることを特徴とする請求
項3又は4に記載の装置。5. The apparatus according to claim 3, wherein the coefficient calculating means is configured to calculate a weighting coefficient based on a noise masking effect for each block of a frame.
成分電力に基づいて各係数が定まるようにあらかじめ設
定されたマッピング関数により重み付けを行うように構
成されていることを特徴とする請求項1から5のいずれ
か1項に記載の装置。6. The weighting means is configured to perform weighting by a mapping function preset so that each coefficient is determined based on the calculated AC component power. 5. The device according to any one of 5 above.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13976696A JP3458600B2 (en) | 1996-05-10 | 1996-05-10 | Digital image quality evaluation device |
US08/775,876 US6239834B1 (en) | 1996-01-11 | 1997-01-02 | Apparatus for evaluating digital picture quality |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13976696A JP3458600B2 (en) | 1996-05-10 | 1996-05-10 | Digital image quality evaluation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09307930A true JPH09307930A (en) | 1997-11-28 |
JP3458600B2 JP3458600B2 (en) | 2003-10-20 |
Family
ID=15252906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13976696A Expired - Lifetime JP3458600B2 (en) | 1996-01-11 | 1996-05-10 | Digital image quality evaluation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3458600B2 (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1251703A2 (en) | 2001-04-16 | 2002-10-23 | KDDI Corporation | Apparatus for monitoring quality of picture transmission |
JP2002543693A (en) * | 1999-04-26 | 2002-12-17 | トムソン マルチメディア | Quantization method and video compression device |
JP2003087823A (en) * | 2001-09-07 | 2003-03-20 | Kddi Corp | Transmission image quality monitor |
WO2006043500A1 (en) * | 2004-10-18 | 2006-04-27 | Nippon Telegraph And Telephone Corporation | Video quality objective evaluation device, evaluation method, and program |
EP1830578A1 (en) * | 2002-01-18 | 2007-09-05 | Kabushiki Kaisha Toshiba | Video encoding method and apparatus and video decoding method and apparatus |
JP2008005107A (en) * | 2006-06-21 | 2008-01-10 | Nippon Telegr & Teleph Corp <Ntt> | Video matching method |
CN100396106C (en) * | 2004-12-13 | 2008-06-18 | 武汉大学 | A method for testing signal-to-noise ratio of digital video coding-decoding system |
WO2009133884A1 (en) * | 2008-04-30 | 2009-11-05 | 日本電気株式会社 | Picture quality evaluation method, picture quality evaluation system and program |
WO2009133879A1 (en) * | 2008-04-30 | 2009-11-05 | 日本電気株式会社 | Image evaluation method, image evaluation system and program |
WO2009133900A1 (en) * | 2008-04-30 | 2009-11-05 | 日本電気株式会社 | Picture quality evaluation system, method, and program |
JP2009273127A (en) * | 2008-04-30 | 2009-11-19 | Thomson Licensing | Method for assessing quality of distorted version of frame sequence |
US7705881B2 (en) | 2003-08-22 | 2010-04-27 | Nippon Telegraph And Telepone Corporation | Video quality assessing apparatus, video quality assessing method, and video quality assessing program |
JP2011527544A (en) * | 2008-07-07 | 2011-10-27 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | Measuring video quality |
JP2014527778A (en) * | 2011-08-29 | 2014-10-16 | アイ.シー.ブイ.ティー リミテッド | Control of video content system |
CN105716532A (en) * | 2014-12-23 | 2016-06-29 | 联发科技股份有限公司 | Portable device with multiple optical sensing functions and related optical sensing method |
-
1996
- 1996-05-10 JP JP13976696A patent/JP3458600B2/en not_active Expired - Lifetime
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002543693A (en) * | 1999-04-26 | 2002-12-17 | トムソン マルチメディア | Quantization method and video compression device |
EP1251703A2 (en) | 2001-04-16 | 2002-10-23 | KDDI Corporation | Apparatus for monitoring quality of picture transmission |
EP1251703A3 (en) * | 2001-04-16 | 2003-01-22 | KDDI Corporation | Apparatus for monitoring quality of picture transmission |
EP2173107A3 (en) * | 2001-04-16 | 2013-10-16 | KDDI Corporation | Apparatus for monitoring quality of picture in transmission |
EP2173108A3 (en) * | 2001-04-16 | 2013-01-02 | KDDI Corporation | Apparatus for monitoring quality of picture in transmission |
JP2003087823A (en) * | 2001-09-07 | 2003-03-20 | Kddi Corp | Transmission image quality monitor |
EP1830578A1 (en) * | 2002-01-18 | 2007-09-05 | Kabushiki Kaisha Toshiba | Video encoding method and apparatus and video decoding method and apparatus |
EP1830579A1 (en) * | 2002-01-18 | 2007-09-05 | Kabushiki Kaisha Toshiba | Video decoding method and apparatus |
EP1833261A1 (en) * | 2002-01-18 | 2007-09-12 | Kabushiki Kaisha Toshiba | Video encoding method and apparatus and video decoding method and apparatus |
US8253803B2 (en) | 2003-08-22 | 2012-08-28 | Nippon Telegraph And Telephone Corporation | Video quality assessing apparatus |
US7705881B2 (en) | 2003-08-22 | 2010-04-27 | Nippon Telegraph And Telepone Corporation | Video quality assessing apparatus, video quality assessing method, and video quality assessing program |
JP4733049B2 (en) * | 2004-10-18 | 2011-07-27 | 日本電信電話株式会社 | Image quality objective evaluation apparatus, evaluation method and program |
WO2006043500A1 (en) * | 2004-10-18 | 2006-04-27 | Nippon Telegraph And Telephone Corporation | Video quality objective evaluation device, evaluation method, and program |
US8130274B2 (en) | 2004-10-18 | 2012-03-06 | Nippon Telegraph And Telephone Corporation | Video quality objective assessment device, assessment method, and program |
CN100396106C (en) * | 2004-12-13 | 2008-06-18 | 武汉大学 | A method for testing signal-to-noise ratio of digital video coding-decoding system |
JP2008005107A (en) * | 2006-06-21 | 2008-01-10 | Nippon Telegr & Teleph Corp <Ntt> | Video matching method |
JP2009273127A (en) * | 2008-04-30 | 2009-11-19 | Thomson Licensing | Method for assessing quality of distorted version of frame sequence |
WO2009133900A1 (en) * | 2008-04-30 | 2009-11-05 | 日本電気株式会社 | Picture quality evaluation system, method, and program |
US9280705B2 (en) | 2008-04-30 | 2016-03-08 | Nec Corporation | Image quality evaluation method, system, and computer readable storage medium based on an alternating current component differential value |
WO2009133884A1 (en) * | 2008-04-30 | 2009-11-05 | 日本電気株式会社 | Picture quality evaluation method, picture quality evaluation system and program |
US8503822B2 (en) | 2008-04-30 | 2013-08-06 | Nec Corporation | Image quality evaluation system, method, and program utilizing increased difference weighting of an area of focus |
WO2009133879A1 (en) * | 2008-04-30 | 2009-11-05 | 日本電気株式会社 | Image evaluation method, image evaluation system and program |
US8644642B2 (en) | 2008-04-30 | 2014-02-04 | Nec Corporation | Image quality evaluation method, system, and program based on an alternating-current component differential value |
US8699818B2 (en) | 2008-04-30 | 2014-04-15 | Nec Corporation | Method, system, and program for determining image quality based on pixel changes between image frames |
JP2011527544A (en) * | 2008-07-07 | 2011-10-27 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | Measuring video quality |
JP2014527778A (en) * | 2011-08-29 | 2014-10-16 | アイ.シー.ブイ.ティー リミテッド | Control of video content system |
US9491464B2 (en) | 2011-08-29 | 2016-11-08 | Beamr Imaging Ltd | Controlling a video content system by computing a frame quality score |
US9635387B2 (en) | 2011-08-29 | 2017-04-25 | Beamr Imaging Ltd. | Controlling a video content system |
US10225550B2 (en) | 2011-08-29 | 2019-03-05 | Beamr Imaging Ltd | Controlling a video content system by computing a frame quality score |
US10567764B2 (en) | 2011-08-29 | 2020-02-18 | Beamr Imaging | Controlling a video content system by adjusting the compression parameters |
CN105716532A (en) * | 2014-12-23 | 2016-06-29 | 联发科技股份有限公司 | Portable device with multiple optical sensing functions and related optical sensing method |
US10235973B2 (en) | 2014-12-23 | 2019-03-19 | Mediatek Inc. | Portable device with multiple optical sensing functions and related optical sensing method |
Also Published As
Publication number | Publication date |
---|---|
JP3458600B2 (en) | 2003-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11423942B2 (en) | Reference and non-reference video quality evaluation | |
JP3458600B2 (en) | Digital image quality evaluation device | |
US6239834B1 (en) | Apparatus for evaluating digital picture quality | |
Ou et al. | Q-STAR: A perceptual video quality model considering impact of spatial, temporal, and amplitude resolutions | |
US5574500A (en) | Video quality evaluating equipment for reproduced image of video signal subject to digital compression | |
US8405773B2 (en) | Video communication quality estimation apparatus, method, and program | |
EP3042498A1 (en) | Method and system for objective perceptual video quality assessment | |
Winkler et al. | Vision and video: models and applications | |
You et al. | Attention modeling for video quality assessment: Balancing global quality and local quality | |
Hamada et al. | Picture quality assessment system by three-layered bottom-up noise weighting considering human visual perception | |
US20130147896A1 (en) | Color Correction for Multiple Video Objects in Telepresence Applications | |
WO2002078358A1 (en) | Multimodal quality assessment | |
JP3458581B2 (en) | Digital image quality evaluation device | |
Akramullah et al. | Video quality metrics | |
Aggarwal | A review on video quality assessment | |
Alvarez et al. | A flexible QoE framework for video streaming services | |
Wu et al. | Quantitative quality and impairment metrics for digitally coded images and image sequences | |
JP3478836B2 (en) | Method and apparatus for encoding digital image sequence | |
Miyaji et al. | Development of a digital compressed picture quality assessment system considering human visual perception | |
Zhang et al. | Overview of full-reference video quality metrics and their performance evaluations for videoconferencing application | |
Gurav et al. | Full-reference video quality assessment using structural similarity (SSIM) index | |
Berts et al. | Objective and subjective quality assessment of compressed digital video sequences | |
Miyahara et al. | Philosophy of picture quality scale | |
Cardoso et al. | Temporal analysis and perceptual weighting for objective video quality measurement | |
Wolf et al. | The relationship between performance and spatial-temporal region size for reduced-reference, in-service video quality monitoring systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030708 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150808 Year of fee payment: 12 |
|
EXPY | Cancellation because of completion of term |