JP4126481B2 - ディジタル伝送及び／又は記録及び／又は符号化システムにより導入されたビデオ画像の劣化評価方法 - Google Patents

Description

【０００１】
本発明の主題は、符号化及び／又は記録及び／又はディジタル伝送システム、特に、低スループットのディジタルビデオ信号伝送及び／又は記録及び／又は符号化を使用するシステムによって導入されたビデオ画像の劣化を評価するための方法である。
【０００２】
劣化は、一般に、スループット減少アルゴリズム及び／又は不良伝送リンクによって導入された誤差、または符号化器と復号化器における欠陥による。
【０００３】
ビデオ信号のディジタル化は、一定品質を維持しながら、ビデオ情報を複写、記録または伝送することができる可能性を開いた。
【０００４】
しかし、ビデオ画像によって移送された大量の情報は、実際に、バイナリスループットを減少するために、ディジタル圧縮法の使用を必要とする。
【０００５】
ビデオ分野において非常に広範に利用されている１つの圧縮方法が、ＩＳＯ／ＣＥＩ １３９１８ＭＰＥＧ２標準において記載されている。このアルゴリズムは、復号化の後に再生された画像が、原像と同一ではないために、「損失」形式であると言われる。最終観察者に受け入れられる品質を維持するために、スループット減少アルゴリズムは、人間の視覚系の知覚特性を考慮する。それにも拘わらず、スループットまたは伝送用の利用帯域幅の課せられた制約、並びにビデオ信号の内容は、復号化の後の信号において特性劣化の出現を含意する。システム、例えばＭＰＥＧ２によって導入されたこの劣化は、最終画像の認知品質に直接的な影響を与える。
【０００６】
視聴覚信号の品質の自動評価は、ディジタルテレビシステム、即ち、システムの生成、分配および性能評価において広範囲の応用を有する。
【０００７】
さらに、現装置は、実験室の検査用に導出されたものであり、分配網の遠隔監視のためには適切ではない。
【０００８】
放送ディジタルテレビまたは他のマルチメディア応用のために低データ率において伝送されるＭＰＥＧ符号化画像のシーケンスは、原シーケンスに関してある数の欠陥または変形を提示する。事実、可視劣化の不完全リストが、作成される。最も認知可能なものは、粒状誤差、輪郭の変形、情報の損失、「変わった」輪郭、ブロック効果、等である。しかし、小規模の伝送誤差は、画像中の局所化効果によって大なり小なり伝達される。重大な外乱の場合に、それらは、情報へのアクセスの困難性、例えば、外乱による長時間または短時間のサービスにおける画像の壊れ又は凍結として表される。誤差の範囲は、それらが影響するデータの関連レベルおよび構造レベル、即ち、同期語、動きベクトル、予測つきまたはなし画像符号化、もしくは予測のための基本画像、に依存する。画像の壊れ又は凍結のほかに、観察される劣化は、誤差のある又は位置を間違ったブロック又はマクロブロックとして表される。これは、予測なしに符号化され、そのため他のものと独立に符号化される画像までの全ビデオシーケンスについて劣化を伝搬する効果を有する。
【０００９】
１つの評価方法は、Ａ．Ａ．ＷＥＢＳＴＥＲ他による論文「Ａｎ ｏｂｊｅｃｔｉｖｅ ｖｉｄｅｏ ｑｕａｌｉｔｙ ａｓｓｅｓｓｍｅｎｔ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｈｕｍａｎ ｐｅｒｃｅｐｔｉｏｎ」、１９９３年６月、雑誌ＳＰＩＥ、ｖｏｌ．１３、ｐ．１５−２６においてＮＴＩＡ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）によってすでに提案されている。
【００１０】
この方法は、２つの垂直および水平ソーベル演算子（３×３マトリックス）によってフィルタされた後、劣化画像と原画像の分析を使用する。フィルタされた画像は、ソーベルマトリックスを水平および垂直にずらすことにより、畳み込みによって得られ、得られた結果は、画像の垂直および水平勾配を表す。換言すれば、フィルタされた画像は、初期（非フィルタ）画像に含まれた垂直および水平輪郭を強調する。
【００１１】
この情報に基づいた測定は、ビデオシステムへの入力とその出力の間の内容変化を強調することを可能にする。
【００１２】
ＮＴＩＡによって提案された方法は、２つのパラメータを使用する。
【００１３】
− 一方では、ソーベル演算子を介してフィルタされた画像の画素において測定された標準偏差を表す空間情報ＳＩである。輪郭は観察のために重要であり、スループット減少ディジタルシステムのいろいろな処理動作によって作用されることを考慮して、フィルタ画像の輪郭のレベルにおいて標準偏差を決定することがここでの問題である。
【００１４】
− 他方では、２つの連続する画像間の差分画像の標準偏差を表す時間ベース情報ＴＩであり、この標準偏差は、２つの連続するフレームの同一画素の値の間の差分に基づいて計算される。パラメータＴＩは、符号器における欠陥によるガタガタした動きを明らかにする。
【００１５】
ＮＴＩＡによって提案された方法は、システムの入力画像と出力画像の間の、ディジタルビデオ信号についてパラメータＳＩとＴＩの比較計算を使用する。
【００１６】
この方法は、ある数の欠点を提示する。
【００１７】
ソーベルフィルタは、輪郭の損失を考慮することを可能にする画像のある周波数のみを保存し、このことは、考慮され得る定義の損失は、保存された周波数の範囲において位置するものであることを意味する。換言すれば、定義の損失は、部分的にのみ考慮される。
【００１８】
さらに、パラメータＳＩは、補償しようとする欠陥を考慮する。事実、画像からの情報の損失は、パラメータＳＩを減少させる傾向があるが、擬似輪郭とブロック効果は、対照的に、それを増大させる傾向があり、パラメータＳＩは、現象の一方または他方が支配的である時のみ有意義であることを意味する。
【００１９】
最後に、全画像について全期間において計算された標準偏差を使用することにより、ＳＩおよびＴＩパラメータを計算する方法は、これらの局所劣化のパラメータにおける衝撃を劇的に減少させる。
【００２０】
本発明の主題は、上記の欠陥を少なくとも部分的に修復することができる方法である。
【００２１】
本発明による方法は、識別された欠陥の特徴的な面を強調するために、ブロック変換、例えば、とくにＭＰＥＧ標準において使用される離散コサイン変換を使用する。このオリジナルアプローチは、導入された誤差について微細な測定を行うことができるだけでなく、ビデオ信号の初期内容とＭＰＥＧにおいて使用されるアルゴリズムを考慮することができる。
【００２２】
画像のブロック変換（フーリエ変換、離散コサイン変換ＤＣＴ等）は、演算
［Ｆｎ，ｍ］＝［Ｔ］．［ｆｎ，ｍ］．［Ｔ］^t を介して得られ、ここでｆ（ｘ，ｙ）は変換される画像ブロックを表し、Ｔ（ｘ，ｙ）は変換マトリックスを表す。別のブロック変換は、画像のウェーブレット変換に基づいて、所望のサイズの、特に上記の方法によって得られたブロックと同一サイズの変換ブロックを得るようにして、ウェーブレット係数を再編成することにより生成される。そのような再編成の方法は、Ｒ．ｄｅ ＱＵＥＩＲＯＺ他による論文「Ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍｓ ｉｎ ａ ＪＰＥＧ−ｌｉｋｅ Ｉｍａｇｅ Ｃｏｄｅｒ」、１９９７年４月出版、雑誌ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ、ｖｏｌ．７ ｎｏ．２、ｐ．４１９−４２４において記載されている。
【００２３】
本発明の基本思想は、特に、ブロック効果のない有意義なパラメータを発生するという方法で、伝送画像が符号化された計算をブロックについて実施することである。
【００２４】
こうして、本発明は、画像点または画素のブロックによって符号化されたビデオ画像の劣化を評価する方法であって、この劣化は、入力画像に基づいて出力画像を生成する、符号化及び／又は記録及び／又は伝送システムによって発生し、
ａ）入力画像を選択し、画像点または画素の前記ブロックの集合を表す画像の少なくとも一部分を表す分析窓内の入力画像の空間活動度（ＳＡ）を決定する段階であって、この決定は、
ｉ）画素のブロックの前記集合の各ブロック（ｎ，ｍ）ごとに、前記ブロックについてブロック変換を介して変換係数Ｆ_n,m（ｉ，ｙ）を決定する副段階と、
ｉｉ）変換係数Ｆ_n,m（ｉ，ｊ）に基づいて、画素のブロックの前記集合の各ブロックの空間活動度ｂｓａを決定する副段階と、
ｉｉｉ）各ブロックの空間活動度ｂｓａに基づいて、分析窓を構成する画素のブロックの集合の全空間活動度ＳＡ₁を決定する副段階とを実施する段階と、
ｂ）入力画像に対応する出力画像を選択し、副段階ａｉ）〜ｉｉｉ）を実施することにより、前記分析窓内の出力画像の前記全空間活動度ＳＡ₂を決定する段階と、
ｃ）分析窓内の出力画像の全空間活動度（ＳＡ₂）と分析窓内の入力画像の全空間活動度（ＳＡ₁）を比較する段階とを含むことを特徴とする方法に関する。
【００２５】
ブロック（ｎ，ｍ）の空間活動度ｂｓａは、式
【００２６】
【数５】

【００２７】
によって得られる。
【００２８】
空間活動度ｂｓａは、ＤＣＴのほとんどすべての成分に基づいて、画像の成分の平方を組み合わせることにより、上記のように得られる。使用された変換の成分を組み合わせるための他の関数は、画像の内容を特性付けるために適用可能である。より一般的な関数は、
【００２９】
【数６】

【００３０】
であり、ここで、ｋ（ｉ，ｊ）は、使用された成分ｉ、ｊを重み付けするための一定の係数であり、ｐは定数である。
【００３１】
定数ｋ（ｉ，ｊ）を選択するためにいくつかのオプションがあり、どれを選択するかは、求められる応用に基づいて行われる。事実、関数ｋ（ｉ，ｊ）は、視覚システムを考慮して、または関連情報の一部を抽出して、前面にもたらされるべき特性により、選択される。次の場合が、提案される。
【００３２】
１）第１の方法は、人の認知との良好な相関が好ましい時に使用される。
【００３３】
定数ｋ（ｉ，ｊ）の値は、人の眼に関する変換係数の相対重要度の関数として、特にその周波数感度として初期化され、認知されたものを表す活動度パラメータを供給する。例えば、ＤＣＴの場合に、ｋ（ｉ，ｊ）＝１／Ｑ（ｉ，ｊ）が採用される。Ｑ（ｉ，ｊ）は、スループット減少のために活用される量子化マトリックスの成分であり、ＭＰＥＧ−２標準から抜粋された次の文書において記載される。ＩＳＯ／ＩＥＣ ＣＤ １３８１８−２「Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ − Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ − Ｐａｒｔ ２：ｖｉｄｅｏ」、１９９３年１２月、ｐ．４５、§６．３．７。
【００３４】
２）第２の方法は、圧縮によって影響を受けた係数、例えばＤＣＴ係数が、識別可能である時に使用される。定数ｋ（ｉ，ｊ）が、使用された変換の特定の係数を除去するように選択される。事実、重みｋ（ｉ，ｊ）は、所与の劣化に最も作用または感応性のある係数を残すために使用される。これには、除去されるべき係数にゼロを割り当て、適切な係数に１を割り当てるバイナリマトリックスがある。選択は、（ａ）マトリックス、例えばＤＣＴマトリックスにおける係数の位置、または（ｂ）その平均振幅のどちらかに基づき、
ａ）高空間周波数に対応する係数は、しばしば、圧縮によって最も影響を受ける。ＤＣＴ係数の配置による重みマトリックスの例は、例えば、下記の表において与えられる。
【００３５】
０ ０ ０ ０ １ １ １ １
０ ０ ０ ０ １ １ １ １
０ ０ ０ ０ １ １ １ １
０ ０ ０ ０ １ １ １ １
１ １ １ １ １ １ １ １
１ １ １ １ １ １ １ １
１ １ １ １ １ １ １ １
１ １ １ １ １ １ １ １
ｂ）特定の低振幅係数は、圧縮の段階でゼロに減少される。
【００３６】
これらの係数を選択するために、（サイズＭ，Ｎブロックの）分析された画像領域についての各係数の加重平均が形成される。
【００３７】
【数７】

【００３８】
ここで、Ｑ（ｉ，ｊ）は、１）において上記のように規定される。
【００３９】
その平均が４８個の最低値のいずれかである係数が採用される。これらの値に対して、ｋ（ｉ，ｊ）＝１であり、他の値に対して、ｋ（ｉ，ｊ）＝０である。
【００４０】
「空間活動度」パラメータの場合においては、ｋ（ｉ，ｊ）＝１であり、図の説明に関する以降の文書において、ｐ＝２である。
【００４１】
ブロックの集合の全空間活動度ＳＡは、次式
【００４２】
【数８】

【００４３】
によって決定される。
【００４４】
（Ｈ×Ｗ）は、分析窓内にある画素のブロックの数を表す。
【００４５】
前記比較（段階ｃ）は、次のようにして定義されたパラメータＬＲを用いて、都合良く実施され、
ＬＲ＝ｇｊ［ｆｉ（ＳＡ₁，ＳＡ₂）］、ｉ，ｊ∈｛１，２｝、
ｆ₁（ｘ，ｙ）＝ｘ−ｙまたはｆ₂（ｘ，ｙ）＝ｘ／ｙ
及びｇ₁（ｘ）＝１００.|ｘ|又はｇ₂（ｘ）＝１００.|ｌｏｇ|(|ｘ|)|、例えば、ＬＲ＝ｌｏｇ₁₀（ＳＡｅ／ＳＡｓ）である。
【００４６】
方法は、Ｍ個の入力画像とＭ個の対応する出力画像のシーケンスについてパラメータＬＲの計算を実行し、次のようにして定義された評価パラメータまたは品質スコアＭＬＲの計算を実行することを特徴とする。
【００４７】
ＭＬＲ＝ｍａｘｉｍｕｍ_M（ＬＲ）
方法は、都合良く、Ｍ個の画像のグループに対して、次のようにして決定された時間ベース活動度指標ＴＡの決定を含むことを特徴とする。
【００４８】
【数９】

【００４９】
Ｆ_SA（ｕ）は、０からＭ−１まで変化するｕに対して、空間活動度ＳＡのＭ個の時間ベースサンプルに適用されたブロック変換、例えば離散コサイン変換、のＭ個の係数を表す。
【００５０】
方法は、ブロック効果を決定するために、
ｄ）前記分析窓の画素の前記ブロックに対して画像の線の方向及び／又は画像の線の方向と垂直な方向において少なくとも一画素だけオフセットされた画像点または画素のブロックを提示するオフセット分析窓内の入力画像の全空間活動度ＳＡ_d1を決定する段階であって、この決定は、
ｉ）変換係数Ｆ_dｎ，ｍ（ｉ，ｊ）を決定するために、オフセット分析窓の画素のブロックの前記集合の各オフセットブロック（ｎ，ｍ）に前記ブロック変換を適用する副段階と、
ｉｉ）オフセットブロックの変換係数Ｆ_dｎ，ｍ（ｉ，ｊ）に基づいて、オフセットブロックの前記集合の各ブロックの空間活動度ｂｓａ_dを決定する副段階と、
ｉｉｉ）オフセット分析窓を構成するオフセットブロックの集合の全空間活動度ＳＡ_d1を決定する副段階とを実施する段階と、
ｅ）出力画像に対して副段階ｄｉ）〜ｄｉｉｉ）を実施することにより、前記オフセット分析窓内の出力画像の全空間活動度ＳＡ_d2を決定する段階と、
ｆ）一方では、出力画像中のブロック効果を評価するために、オフセット分析窓内の出力画像の全空間活動度ＳＡ_d2と分析窓内の出力画像の全空間活動度ＳＡ₂を比較し、他方では、入力画像中のブロック効果を評価するために、オフセット分析窓内の入力画像の空間活動度ＳＡ_d1と分析窓内の入力画像の空間活動度ＳＡ₁を比較する段階とを含むことを特徴とする。
【００５１】
ブロック効果は、２つの異なる方法において特性付けられ、
− 本質的に、即ち、画像の内容と画像のみを表す関数による。
【００５２】
ＢＭ₂＝ｇ_j［ｆ_i（Ｓａ_d2，ＳＡ₂）］
− 差分的方法で、即ち、画像の内容を表す関数の２つの値を比較することを必要とし、第１は基準画像（入力画像）において、第２は劣化画像（出力画像）において計算される。
【００５３】
ＢＭ＝ｇ_k［ｆ_j（ｆ_i（ＳＡ_d2，ＳＡ₂），ｆ_i（ＳＡ_d1，ＳＡ₁））］、ｉ，ｊ，ｋ∈｛１，２｝
ｆ₁（ｘ，ｙ）＝ｘ−ｙまたはｆ₂（ｘ，ｙ）＝ｘ／ｙ
ｇ₁（ｘ）＝１００.|ｘ|またはｇ₂（ｘ）＝１００.|ｌｏｇ(|ｘ|)|
特に、式
【００５４】
【数１０】

【００５５】
が使用される。
【００５６】
段階ｆは、式
【００５７】
【数１１】

【００５８】
により、ブロックオフセット指標ＢＭの決定を都合良く実施する。
【００５９】
本発明の他の特徴および利点は、添付の図面を参照して、非限定的な実施例によって示された以下の説明を読むことにより、より良く理解されるであろう。
【００６０】
図１により、入力画像Ｉeは、符号器ＣＯＤによって符号化され、伝送システムＴＲＡＮＳ、例えば、衛星伝送システムによって伝送され、その後、復号出力画像Ｉsを与えるために、受信時に復号器ＤＥＣによって復号される。回路ＴＣＤＥは、例えば、離散コサイン変換を入力画像Ｉsに適用し、回路ＰＡＲＥは、実施される評価のために有益である入力画像ＩeのパラメータＰeを決定する。同様に、回路ＴＣＤＳは、例えば、離散コサイン変換を出力画像Ｉsに適用し、回路ＰＡＲＳは、実施される評価のために有益である出力画像ＩsのパラメータＰsを決定する。
【００６１】
比較回路ＣＯＭＰは、評価パラメータＰｅとＰｓの比較を行い、出力として、評価結果Ｒを生成する。パラメータＰｅは、ＴＲＡＮＳシステムを介して、またはそれと独立に、出力へ送信される。代替的に、パラメータＰｅと比較されるように、パラメータＰsを入力に「現れる」ようにすることが可能である。
【００６２】
また、符号器ＣＯＤ及び／又は復号器ＤＥＣで利用可能なＤＣＴ係数を使用することが可能であるが、しかしその場合、評価は符号器ＣＯＤ及び／又は復号器ＤＥＣにおける欠陥を考慮しないことが注意される。
【００６３】
２次元離散コサイン変換ＤＣＴは、画素空間のＮ×Ｎ画素（一般にＮ＝８）のブロックに対応させて、変換ドメインのＮ×Ｎ係数のブロックを生成する。前者の係数は、画素の輝度の振幅の周波数表現を表す。
【００６４】
ＤＣＴ変換は、係数Ｆ（ｕ，ｖ）を有し、ここで、
− ｕ、ｖ＝水平および垂直空間周波数の指標、
− ｘ、ｙ＝ブロックにおける画素の水平および垂直位置の指標、
− ｆ（ｘ，ｙ）は、画像中の点（ｘ，ｙ）における画素の輝度を表し、
− Ｆ（ｕ，ｖ）は、変換ドメインの点（ｕ，ｖ）における変換係数を表し、
− ｕ、ｖ、ｘ、ｙは、０からＮ−１（Ｎ＝８）までの値を取る。
【００６５】
符号化ディジタル画像、特にＭＰＥＧ２において含まれた劣化を表すために使用されるパラメータは、この変換を使用する。
【００６６】
空間情報は、画像の全空間活動度ＳＡの計算によって変換ドメインから供給される。このパラメータは、瞬時ｔにおける画像信号（Ｉ_t）の詳細についての正確な情報を与える。（Ｉ_t）は、画素の（Ｈ×Ｗ）ブロックを含む。ブロックｆ_nm（ｘ，ｙ）のサイズは、８×８画素である（図１を参照）。
【００６７】
まず、ブロックＤＣＴ変換は、（対象領域または分析窓について）完全にまたは部分的に画像へ適用される。画像の内容を表す第１因子、空間活動度は、ＤＣＴ変換画像（Ｉ_t）から得られる。空間的に非常に活性な画像ブロックは、変換ドメインにおいてその結果を生じる。その係数は、実質的な振幅とスペクトル分布を有する。
【００６８】
２つのパラメータ、ブロック空間活動度（ｂｓａ）と画像空間活動度ＳＡ（Ｉ_t）が導入される。それらは、ブロック内および画像内の空間活動度をそれぞれ表す。
【００６９】
分析される内容は、画像（Ｉ_t）内の位置ｎ、ｍにおける画素の各ブロックｆ_nm（ｘ，ｙ）の内容である。
【００７０】
ブロックｎ，ｍに対する指標（ｂｓａ_n,m）は、変換係数Ｆ_n,m（ｕ，ｖ）のブロックの交互成分を考慮に入れる。これは、
【００７１】
【数１２】

【００７２】
を与える。
【００７３】
ＳＡ（Ｉ_t）は、画像（または分析領域）の全内容の表現である。それは、問題のブロックの空間活動度（ｂｓａ_n,m）の平均によって計算される。
【００７４】
【数１３】

【００７５】
この場合、（Ｈ×Ｗ）は、画像または分析窓の画素のブロックの数である。
【００７６】
全空間活動度指標ＳＡ（Ｉ_t）は、画像の豊富度を記述することを可能にする。このパラメータは、スループット減少符号化と伝送誤差によって影響される。ディジタルビデオシステムの入力および出力において計算された同一パラメータの比較は、システムによって発生した劣化の識別に貢献する。このパラメータは、システムによって発生された劣化を表すが、欠陥の間の補償の欠点はない。事実、一方では、ブロックによって実施された計算は、ブロック効果を除去し、他方では、情報の損失と擬似輪郭は、高周波数の損失の効果により、変換において伝達され、こうして、これらの２つの現象は、同一方向に作用する。
【００７７】
ＳＡ（Ｉ_t）における時間ベース変化は、ビデオシーケンスにおいて出現した事象を表す。さらに、このパラメータは、スループット減少符号化と伝送誤差によって影響される。ディジタルビデオシステムの入力および出力において計算される同一パラメータの比較は、瞬時ｔにおける画像Ｉ_tにおいて実施される。それは、システムによって発生された劣化の識別に貢献する。比較のために使用される数式は、
【００７８】
【数１４】

【００７９】
である。
【００８０】
情報の損失に関する劣化を測定するための決定的パラメータは、ＭＬＲパラメータである。
【００８１】
ＭＬＲ_M＝Ｍａｘｉｍｕｍ_M［ｌｏｇ＿ｒａｔｉｏ（Ｉ_t）］
この指標は、Ｍ個の画像のシーケンスについて計算される。このオプションは、ある時間に関する制限情報を有することを可能にする。それは、Ｔ＝Ｍ×１／２５秒、さらに一般には、Ｔ＝Ｍ／ＮＩ、ＮＩは１秒当たりの画像数を表す、についての品質スコアを有することを可能にする。
【００８２】
情報の損失を計算するための手順は以下のように示され、例えば、
ａ）システムへの入力時における画像の選択
ｂ）この画像に対するＳＡ（Ｉ_t）_eの計算
ｃ）時刻印とその関連ＳＡ_eパラメータによるこの画像の指標付け
ｄ）システムの出力へ基準パラメータの転送
ｆ）この画像に対するＳＡ（Ｉ_t）_sの計算
ｇ）各画像Ｉ_tに対するｌｏｇ＿ｒａｔｉｏ（Ｉ_t）の計算
ｈ）Ｍ個の画像の各シーケンスに対する品質スコアＭＬＲの計算
である。
【００８３】
方法はまた、各出力画像に対して計算されたＳＡの値を、入力に「現れる」ようにすることにより、実施される。
【００８４】
方法の１つの利点は、入力と出力における各画像が、パラメータＳＡの値によって特徴付けられることであり、これは、（ブロック効果以外の）劣化を特徴付けるために、パラメータＰｅとして、画像当たり一つのデータ項目を転送することだけが必要であることを意味し、基準および劣化画像の間の画素対画素の差異による比較を行うことを可能にする大量のデータを転送することを必要とした先行技術の方法と対照される。
【００８５】
ＭＬＲ因子に基づいて行われる比較は、最終画像の品質の測度を伝達し、結果的に、伝送により使用された符号化システムの性能についての情報を与える。
【００８６】
ＭＬＲ因子の妥当性を検証するために、我々は得られた結果を、主観的評価において代表者のパネルによって得られた評価点と比較した。客観および主観的評価の間で得られた高い相関係数は、そのようなパラメータの有効性を立証する。
【００８７】
低スループットにおいて符号化されたビデオシーケンスにおいて、ブロック効果による歪みは、隣接ブロックの境界における画像の内容の不連続性として現れる。この擬似物は、低または高い空間活動度の部位と、高または低輝度の領域において可視である。それは、独立なブロック間符号化と、各ブロックの内容の粗い量子化による。ＤＣＴ変換のＤＣ成分Ｆ（０，０）は、ブロックの輝度値の平均を表す。２つの空間的に隣接するブロックの実質的に異なる値であるＤＣ係数を符号化することが、この劣化の原因の１つである。交流成分を表す他の変換係数は、ブロックに含まれたいろいろな変化を伝達する。符号化とこれらの係数の粗い量子化はまた、輪郭の部位においてブロック効果を発生させる。ディジタルストリームにおける誤差は、移動補償に影響を及ぼす。これは、ブロックまたはマクロブロックのレベルにおける効果によって伝達される。
【００８８】
本発明により、ブロック効果を測定するためのパラメータは、ビデオシステムの各端における２つの計算パラメータの比較を使用する。
【００８９】
提案された指標は、８×８ブロックの構造化格子が寄与した、システム出力における画像において可視である誤った視覚情報の重要性を評価することができる。
【００９０】
８×８ブロックの境界または輪郭の不連続性は、画像中の認知可能かつ付加的な情報とみなされる。符号化が隣接ブロックに対して独立に実施されるために、それらのブロック内の情報の損失は、内容の不連続性、あるいは境界における新輪郭の出現を発生させる。
【００９１】
本発明によるこの劣化に適合された方法は、２つのパラメータ、全空間活動度ＳＡ（上記参照）と全オフセット空間活動度ＳＡ_d（図２を参照）の計算に基づく。
【００９２】
パラメータＳＡは、これらの同一ブロックに基づいて、格子と整列されるようにして、生成されるために、ブロック効果によって影響されない。輪郭とブロックの回りの欠陥の寄与を強調するために、オフセット空間活動度ＳＡ_dが決定される。これは、境界における擬似物を強調することを可能にする。ＳＡと同一定義に基づいて、ＳＡ_dは、好ましくは、水平にＮ／２＝４画素、垂直にＮ／２＝４画素のオフセットを有して計算される。オフセット空間活動度ＳＡ_dは、水平ブロック効果または垂直ブロック効果を評価するような方法で、水平方向だけまたは垂直方向だけにおいて１からＮ−１画素まで（好ましくはＮ／２画素）のオフセットを行うことにより計算される。
【００９３】
２つのパラメータは、対象領域または全画像についての和の結果である。２つの指標間の比較は、ブロックの縁における輪郭の情報からの寄与を強調する。このため、新パラメータ、ＳＡ_ratioが、次の式において導入される。
【００９４】
【数１５】

【００９５】
ＳＡ_ratioは、輪郭もしくはブロックの縁における不連続性に感応するだけでなく、ブロックの原内容にも感応する。特に、ビデオシステムによって導入された劣化を明確に測定するためには、画像の原内容が寄与した情報を取り除くことが、結果的に必要である。
【００９６】
ビデオシステムによって導入されたブロック効果を測定および検出するための決定的指標は、前記システムの入力および出力において得られた値ＳＡ_ratioから計算される。
【００９７】
これらの値は、それぞれ、入力における基準信号の値（ＳＡｒａｔｉｏ_e）と出力における劣化信号の値（ＳＡＴｒａｔｉｏ_s）とみなされる。ブロック効果の指標ＢＭは、次の式によって定義される。
【００９８】
【数１６】

【００９９】
ブロック効果を検出するための方法は、次のように実施され、例えば、
ａ）システムへの入力時における画像の選択、
ｂ）この画像に対するＳＡ（Ｉ_t）_e、ＳＡ_d（Ｉ_t）_eおよびＳＡ_ratio（Ｉ_t）_eの計算、
ｃ）時刻印とその関連パラメータによるこの画像の指標付け、
ｄ）システムの出力への基準データの転送、
ｅ）システムの出力において指標付けられた同一画像の識別、
ｆ）システムの出力における同一画像に対するＳＡ（Ｉ_t）_s、ＳＡ_d（Ｉ_t）_sおよびＳＡ_ratio（Ｉ_t）_sの計算、
ｇ）各画像Ｉ_tに対するＢＭ_SAの計算、
ｈ）Ｍ’個（例えば、Ｍ’＝Ｍ）の画像の各シーケンスに対するＢＭ_SAの平均値の計算、である。このスコアは、問題の劣化に対するシーケンスを記述する。
【０１００】
図３は、それぞれ、４、６および９メガビット／ｓに対するＢＭ_SAのサイズの減少を示す。この論評は、特にビデオシーケンスの最終部分において妥当である。事実、この期間中、選ばれたシーケンスの空間および時間ベースの内容は、突然に変化する。これは、スループットの減少による最終画像の品質の低下を生じさせる。ＤＣＴ係数の量子化による符号化は、ブロック効果を出現させ、これは、符号化が粗くなるほど、ますます顕著になる。
【０１０１】
符号化ディジタル画像シーケンスにおける劣化は、空間または時間ベース形態を有する。事実、符号化または伝送の誤差は、空間的内容、即ち、信号に含まれた輪郭、対象および構造に影響を及ぼす。しかし、それらはまた、ビデオシーケンスの時間ベースの変化を劣化させる。即ち、画像のガタツキ、凍結または対象の誤ったシフトを発生させる。
【０１０２】
ビデオシーケンスを害する時間ベース劣化を識別するために、我々は「時間ベース活動」ＴＡと呼ばれる補足的パラメータを定義した。それは、経時における画像シーケンスの内容の変化を伝達する。それは、発生し、信号に影響を及ぼすいろいろな事象に感応する。
【０１０３】
空間指標ＳＡ（Ｉ_t）は、瞬時ｔにおいてシーケンス中の現画像の内容を伝達する。ＳＡ（Ｉ_t）における時間ベースの変動は、画像の内容における時間ベースの変化を表し、こうして、発生した変化を伝達する（図４ａを参照）。
【０１０４】
画像の全空間活動度の一次元信号ＳＡ（Ｉ_t）は、内容の豊富度に比例する。一次元の場合に、ＤＣＴは、Ｍ個の点ｆ（ｘ）の集合に対応させて一連のＭ個の周波数を生成する変換である。それは、
【０１０５】
【数１７】

【０１０６】
ｕ＝０ならばｃ（ｕ）＝１／√２
ｕ≠０ならばｃ（ｕ）＝１
【０１０７】
【数１８】

【０１０８】
によって定義される。
【０１０９】
信号ＳＡ（Ｉ_t）のＭ個の時間ベースサンプルの任意の窓について、離散コサイン変換ＤＣＴが適用される。この新表現は信号の時間ベース周波数を伝達し、結果的に、画像シーケンスの活動度を伝達する。第１スペクトル線Ｆ（０）は、ＤＣ成分であり、ｕ≠０の他のスペクトル線Ｆ（ｕ）は交流成分である。
【０１１０】
スペクトルのＤＣ成分は、Ｍ個の画像についての内容の豊富度の平均値についての情報を与える。交流周波数は、内容における時間ベースの変動についての情報を与える。スペクトル線の振幅のみが、考慮に入れられる。
【０１１１】
ＴＣＤ_T＝ＴＣＤ（ＳＡ（Ｉ₁））＝｛Ｆ₀（ｕ） ｕ＝０．．Ｍ−１｝
信号ＳＡ（図４ｂを参照）のＤＣＴ_Tスペクトル（図４ｃを参照）は、ビデオシーケンスにおける時間ベースの変化についての情報を与え、結果的に、これらの変化を生ずる劣化を表す。定義により、Ｆ（０）は、シーケンスにおける考察中のＭ個の出力画像についてのＳＡ（Ｉ_t）信号の平均値を表す。交流成分Ｆ（ｕ）ｕ≠０の振幅は、ビデオの内容が変化する方式、即ち、迅速な変化（ビデオクリップ）、低速変化（「移動」）、固定平面等を伝達する。変換ドメインにおける分析の性質を使用するために、パラメータＴＡが定義された。それは、Ｍ個の画像のグループに対して計算される。
【０１１２】
【数１９】

【０１１３】
ＴＡは、シーケンスにおける活動度ＳＡの変動の振幅を示す。それは、シーケンスの時間ベースの事象を伝達し、結果的に、画像中の壊れと画像の凍結を生じさせる。ＴＡは、経験的に確立された所与のしきい値Ｓ₁と比較され、しきい値よりも下では、画像中の壊れまたは画像の凍結が発生していると考えられる。
【０１１４】
画像中の壊れおよび画像の凍結を検出する方法は、例えば、次のように使用される。
【０１１５】
ａ）画像のグループの選択、
ｂ）各画像に対するＳＡ（Ｉ_t）の計算、
ｃ）ＤＣＴ_TとＴＡの計算、
ｄ）ＴＡ＜ｓ₁かつＦ（０）＜ｓ₂ならば、画像のグループは、同一の一様画像の連続である（実際に、ブラックアウト）。
【０１１６】
− ＴＡ＜ｓ₁かつＦ（０）＞ｓ₂ならば、画像のグループは、復号器によって凍結された最終の無誤差画像の連続である。
【０１１７】
− ＴＡ＞ｓ₁ならば、ａへ戻る。
【０１１８】
画像の凍結の現象は、テレビ信号を分配するための全システムについての誤り中に出現する特徴的な劣化である。時間ベース活動パラメータＴＡは、この特別な場合に適用可能である。事実、それは、復号器の戦略に関連したこの事象を検出する。画像の凍結は、２つの形態を取る。
【０１１９】
１．最終非変造画像データの復元、
２．一様画像（しばしば黒）の視覚表示、これは受信データが使用できない限り持続する。
【０１２０】
ＭＰＥＧ符号ファミリーは、画像のグループの概念を導入する（「画像の群、ＧＯＰ」）。シーケンスのこの構造は、各画像（予測なしの符号化画像、ＩｎｔｒａＩ、一方向予測画像Ｐ、双方向予測画像Ｂ）へ適用されるスループット減少の予測アルゴリズムを規定する構文に関連される。各画像の特定の特徴は、それに作用するいろいろな誤差の衝撃に関して影響を及ぼす。
【０１２１】
ここで定義された指標は、ビデオシーケンス中に発生する時間ベースの事象を伝達する。それは、結果的に、シーケンスにおける時間ベースの壊れを識別し、計数することを可能にする。同時に、それは、サービス品質の認証に対するパラメータを表す。
【０１２２】
本発明は、記載された実施態様に限定されない。特に、ブロック効果は、出力画像について本質的に評価され得る。方法は、次の段階を含むことを特徴とする。
【０１２３】
ｄ１）前記分析窓の画素の前記ブロックに対して画像の線の方向及び／又は画像の線の方向と垂直な方向において少なくとも一画素だけシフトされた画像点または画素のブロックを提示するオフセット分析窓内の出力画像の全空間活動度ＳＡ_d2を決定する段階であって、この決定は、
ｉ）変換係数Ｆ_dｎ，ｍ（ｉ，ｊ）を決定するために、オフセット分析窓の画素のブロックの前記集合の各オフセットブロック（ｎ，ｍ）に前記ブロック変換を適用する副段階と、
ｉｉ）オフセットブロックの変換係数Ｆ_dｎ，ｍ（ｉ，ｊ）に基づいて、オフセットブロックの前記集合の各ブロックの空間活動度ｂｓａ_dを決定する副段階と、
ｉｉｉ）オフセット分析窓を構成するオフセットブロックの集合の全空間活動度ＳＡ_d2を決定する副段階とを実施する段階と、
ｅ１）オフセット分析窓内の出力画像の全空間活動度ＳＡ_d2と分析窓内の出力画像の全空間活動度ＳＡ₂を比較する段階とを含むことを特徴とする。
【０１２４】
本発明は、離散コサイン変換ＤＣＴ、離散サイン変換、フーリエ変換、ハール変換、アダマール変換、スラント変換または、変換ブロックを得るためにその係数が再編成されるウェーブレット変換（ＤＷＴ）などの線形及び／又は直交ブロック変換を使用して実施される。
【図面の簡単な説明】
【図１】 本発明による方法を実施するための装置の概略図である。
【図２】 評価パラメータＳＡを計算するための整列格子とパラメータＳＡ_dを計算するためのオフセット格子を表す。
【図３】 特定のフィルムシーケンスの経過におけるパラメータＢＭの変化を表す。
【図４】 図４ａ〜図４ｃは、パラメータＳＡにおける時間ベース変化（４ａ）とＳＡのＭ個の連続サンプルへ適用されたＤＣＴ（４ｂと４ｃ）をそれぞれ表す。

Claims (12)

1. 画像点または画素のブロックによって符号化されたビデオ画像の劣化評価方法であって、この劣化は、入力画像に基づいて出力画像を生成する、符号化及び／又は記録及び／又は伝送システムによって発生し、
   ａ）入力画像を選択し、画像点または画素の前記ブロックの集合を示す画像の少なくとも一部分を表す分析窓内の入力画像の空間活動度（ＳＡ）を決定する段階であって、この決定は、
   ｉ）画素のブロックの前記集合の各ブロック（ｎ，ｍ）ごとに、前記ブロックについてのブロック変換を介して変換係数Ｆ_n,m（ｉ，ｙ）を決定する副段階と、
   ｉｉ）変換係数Ｆ_n,m（ｉ，ｙ）に基づいて、画素のブロックの前記集合の各ブロックの空間活動度ｂｓａを決定する副段階と、
   ｉｉｉ）各ブロックの空間活動度ｂｓａに基づいて、分析窓を構成する画素のブロックの集合の全空間活動度（ＳＡ₁）を決定する副段階とを実施する段階と、
   ｂ）入力画像に対応する出力画像を選択し、出力画像に対して副段階ａ ｉ）〜ａ ｉｉｉ）を実施することにより、前記分析窓内の出力画像の前記全空間活動度（ＳＡ₂）を決定する段階と、
   ｃ）分析窓内の出力画像の全空間活動度（ＳＡ₂）と分析窓内の入力画像の全空間活動度（ＳＡ₁）とを比較する段階とを含むことを特徴とする方法。
2. ブロック（ｎ，ｍ）の空間活動度ｂｓａが、次式
   

   

   によって決定され、上式で、ｋ（ｉ，ｊ）は使用された成分ｉ、ｊを重み付けするための一定の係数であり、ｐは定数であることを特徴とする請求項１に記載の方法。
3. ブロックの集合の空間活動度ＳＡが、次式
   

   

   によって決定され、（Ｈ×Ｗ）は分析窓内の画素のブロックの数を表すことを特徴とする請求項２に記載の方法。
4. 前記比較（段階ｃ）が、
   ＬＲ＝ｇｊ［ｆｉ（ＳＡ₁／ＳＡ₂）］、ｉ，ｊ∈｛１，２｝、
   ｆ₁（ｘ，ｙ）＝ｘ−ｙまたはｆ₂（ｘ，ｙ）＝ｘ／ｙ
   及びｇ₁（ｘ）＝１００.|ｘ|又はｇ₂（ｘ）＝１００.|ｌｏｇ|(|ｘ|)|
   で定義されるパラメータＬＲを用いて実施されることを特徴とする請求項３に記載の方法。
5. Ｍ個の入力画像とＭ個の対応する出力画像のシーケンスについてパラメータＬＲの計算を行い、
   ＭＬＲ＝ｍａｘｉｍｕｍ_M（ＬＲ）
   で定義される評価パラメータまたは品質スコアＭＬＲの計算を行うことを特徴とする請求項４に記載の方法。
6. 次式
   

   

   によって決定される時間ベース活動度指標ＴＡを決定することを含み、Ｆ_SA（ｕ）は、０からＭ−１まで変化するｕに対して、空間活動度ＳＡのＭ個の時間ベースサンプルに適用されるブロック変換のＭ個の係数を示すことを特徴とする請求項１から５のいずれかに記載の方法。
7. 画像中の壊れまたは凍結の存在を決定するために、時間ベース活動度指標ＴＡを所与のしきい値Ｓ₁と比較する段階を含むことを特徴とする請求項６に記載の方法。
8. ブロック効果を本質的に決定するために、
   ｄ１）前記分析窓の画素の前記ブロックに対して画像の線の方向及び／又は画像の線の方向と垂直な方向において少なくとも一画素だけシフトされた画像点または画素のブロックを提示するオフセット分析窓内の出力画像の全空間活動度ＳＡ_d2を決定する段階であって、この決定は、
   ｉ）変換係数Ｆ_dｎ，ｍ（ｉ，ｊ）を決定するために、オフセット分析窓の画素のブロックの前記集合の各オフセットブロック（ｎ，ｍ）に前記ブロック変換を適用する副段階と、
   ｉｉ）オフセットブロックの変換係数Ｆ_dｎ，ｍ（ｉ，ｊ）に基づいて、オフセットブロックの前記集合の各ブロックの空間活動度ｂｓａ_dを決定する副段階と、
   ｉｉｉ）オフセット分析窓を構成するオフセットブロックの集合の全空間活動度ＳＡ_d2を決定する副段階とを実施する段階と、
   ｅ１）オフセット分析窓内の出力画像の全空間活動度ＳＡ_d2と分析窓内の出力画像の全空間活動度ＳＡ₂を比較する段階とを含むことを特徴とする請求項１から７のいずれかに記載の方法。
9. ブロック効果を決定するために、
   ｄ２）前記分析窓の画素の前記ブロックに対して画像の線の方向及び／又は画像の線の方向と垂直な方向において少なくとも一画素だけオフセットされた画素により画像点のブロックを示すオフセット分析窓内の入力画像の全空間活動度ＳＡ_d1を決定する段階であって、この決定は、
   ｉ）変換係数Ｆ_dｎ，ｍ（ｉ，ｙ）を決定するために、オフセット分析窓の画素のブロックの前記集合の各オフセットブロック（ｎ，ｍ）にブロック変換を適用する副段階と、
   ｉｉ）オフセットブロックの変換係数Ｆ_dｎ，ｍ（ｉ，ｙ）に基づいて、オフセットブロックの前記集合の各ブロックの空間活動度ｂｓａ_dを決定する副段階と、
   ｉｉｉ）オフセット分析窓を構成するオフセットブロックの集合の全空間活動度ＳＡ_d1を決定する副段階とを実施する段階と、
   ｅ）副段階ｄ ₂ ｉ）〜ｄ ｉｉｉ）を実施することにより、前記オフセット分析窓内の出力画像の全空間活動度ＳＡ_d2を決定する段階と、
   ｆ）一方では、出力画像中のブロック効果を評価するために、オフセット分析窓内の出力画像の全空間活動度ＳＡ_d2と分析窓内の出力画像の空間活動度ＳＡ₂とを比較し、他方では、入力画像中のブロック効果を評価するために、オフセット分析窓内の入力画像の空間活動度ＳＡ_d1と分析窓内の入力画像の空間活動度ＳＡ₁とを比較する段階とを含むことを特徴とする請求項１から８のいずれかに記載の方法。
10. 段階ｆが、次式
    

    

    に従ってブロック効果指標ＢＭの決定を実施することを特徴とする請求項９に記載の方法。
11. 前記ブロック変換が、線形および直交変換、特に、離散コサイン変換ＤＣＴまたは離散サイン変換またはフーリエまたはハールまたはアダマールまたはスラント変換であることを特徴とする請求項１から１０のいずれかに記載の方法。
12. 前記ブロック変換が、変換ブロックを得るためにその係数が再編成されるウェーブレット変換（ＤＷＴ）であることを特徴とする請求項１から１０のいずれかに記載の方法。

Images