JP3458600B2 - ディジタル画像品質評価装置 - Google Patents
ディジタル画像品質評価装置Info
- Publication number
- JP3458600B2 JP3458600B2 JP13976696A JP13976696A JP3458600B2 JP 3458600 B2 JP3458600 B2 JP 3458600B2 JP 13976696 A JP13976696 A JP 13976696A JP 13976696 A JP13976696 A JP 13976696A JP 3458600 B2 JP3458600 B2 JP 3458600B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- coefficient
- weighting
- value
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、ディジタル画像圧
縮符号化装置、特にディジタルテレビコーデックの単体
評価、又はディジタル画像伝送路等における画像品質を
評価する装置に関する。
縮符号化装置、特にディジタルテレビコーデックの単体
評価、又はディジタル画像伝送路等における画像品質を
評価する装置に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】この種
の画像品質を評価する方法として、主観評価による方法
と客観評価による方法とが存在する。
の画像品質を評価する方法として、主観評価による方法
と客観評価による方法とが存在する。
【０００３】主観評価による方法として、例えばＩＴＵ
−Ｒ ＢＴ．５００−６の勧告等に基づいてテレビジョ
ン画像の品質評価を行う方法がある。この方法は、十数
人の被験者が数日間に渡って主観的に画像を評価するも
のである。この主観評価方法によれば、少数の画像を用
いて評価する場合であっても、実験に伴う作業量が極め
て膨大なものとなり、しかも実験に要するコストが高く
なるという問題点を有している。また、その作業量の多
さゆえに、評価のために必要な時間がかなり長くなり、
画像品質を短時間に評価することが著しく困難となる。
−Ｒ ＢＴ．５００−６の勧告等に基づいてテレビジョ
ン画像の品質評価を行う方法がある。この方法は、十数
人の被験者が数日間に渡って主観的に画像を評価するも
のである。この主観評価方法によれば、少数の画像を用
いて評価する場合であっても、実験に伴う作業量が極め
て膨大なものとなり、しかも実験に要するコストが高く
なるという問題点を有している。また、その作業量の多
さゆえに、評価のために必要な時間がかなり長くなり、
画像品質を短時間に評価することが著しく困難となる。
【０００４】客観評価による従来方法としては、評価対
象画像と原画像との間の各画素毎の単純な差分値、例え
ば平均２乗誤差、から求められるＳＮ比（ＳＮＲ）を用
いる方法が一般的である。この方法によれば、評価に要
する時間は短時間で済むものの、人間の視覚特性が全く
考慮されていないためその評価結果が主観評価による結
果とは一致しないことが多いという問題が生じる。
象画像と原画像との間の各画素毎の単純な差分値、例え
ば平均２乗誤差、から求められるＳＮ比（ＳＮＲ）を用
いる方法が一般的である。この方法によれば、評価に要
する時間は短時間で済むものの、人間の視覚特性が全く
考慮されていないためその評価結果が主観評価による結
果とは一致しないことが多いという問題が生じる。
【０００５】このＳＮＲによる評価と主観評価とが一致
しない原因にバックグラウンドに対して視覚的に目立つ
雑音の発生があることを考慮し、人間の視覚特性により
重み付けされたＳＮＲ（ＷＳＮＲ）用いた評価方法は公
知である。例えば、半谷、和田、宮内、「静止画の画質
を評価するための空間周波数領域上の重み付け関数の実
験的導出」、テレビジョン学会誌、Ｖｏｌ．４６、Ｎ
ｏ．３、ｐｐ．２９５〜２９９、１９９２、及び浜田、
松本、村上、「量子化器最適化に基づく動き補償ＤＣＴ
方式の特性限界」、電子情報通信学会論文誌、Ｂ−Ｉ、
Ｖｏｌ．Ｊ７８−Ｂ−Ｉ、Ｎｏ．１１、ｐｐ．６８９〜
６９９、１９９５年１１月参照。
しない原因にバックグラウンドに対して視覚的に目立つ
雑音の発生があることを考慮し、人間の視覚特性により
重み付けされたＳＮＲ（ＷＳＮＲ）用いた評価方法は公
知である。例えば、半谷、和田、宮内、「静止画の画質
を評価するための空間周波数領域上の重み付け関数の実
験的導出」、テレビジョン学会誌、Ｖｏｌ．４６、Ｎ
ｏ．３、ｐｐ．２９５〜２９９、１９９２、及び浜田、
松本、村上、「量子化器最適化に基づく動き補償ＤＣＴ
方式の特性限界」、電子情報通信学会論文誌、Ｂ−Ｉ、
Ｖｏｌ．Ｊ７８−Ｂ−Ｉ、Ｎｏ．１１、ｐｐ．６８９〜
６９９、１９９５年１１月参照。
【０００６】この公知の客観評価方法によれば、発生し
た雑音がブロック内のバックグラウンドに対して視覚的
に目立つ雑音であるか又は目立たない雑音であるかが画
質評価において考慮される。しかしながら、画面全体の
バックグラウンドに対しての視覚特性が考慮されていな
いので、ＷＳＮＲ値が主観評価とは大きく異なる場合が
存在する。
た雑音がブロック内のバックグラウンドに対して視覚的
に目立つ雑音であるか又は目立たない雑音であるかが画
質評価において考慮される。しかしながら、画面全体の
バックグラウンドに対しての視覚特性が考慮されていな
いので、ＷＳＮＲ値が主観評価とは大きく異なる場合が
存在する。
【０００７】従って本発明は、従来技術の上述した問題
点を解消するものであり、本発明の目的は、短時間に評
価が行え、しかも主観評価結果により近い評価結果を得
ることのできる安価なディジタル画像品質評価装置を提
供することにある。
点を解消するものであり、本発明の目的は、短時間に評
価が行え、しかも主観評価結果により近い評価結果を得
ることのできる安価なディジタル画像品質評価装置を提
供することにある。
【０００８】
【課題を解決するための手段】本発明によれば、評価対
象画像データの値とその原画像データの値との差分値に
基づくＳＮＲを算出するＳＮＲ算出手段と、フレーム全
体の画像データの交流成分の電力を算出する手段と、算
出した交流成分電力に基づいて算出したＳＮＲの重み付
けを行う重み付け手段とを備えたディジタル画像品質評
価装置が提供される。
象画像データの値とその原画像データの値との差分値に
基づくＳＮＲを算出するＳＮＲ算出手段と、フレーム全
体の画像データの交流成分の電力を算出する手段と、算
出した交流成分電力に基づいて算出したＳＮＲの重み付
けを行う重み付け手段とを備えたディジタル画像品質評
価装置が提供される。
【０００９】フレーム全体の画像データの交流成分の電
力に基づいてＳＮＲの重み付けを行うことにより、画面
全体のバックグラウンドに対しての視覚特性が考慮され
ることとなり、最終的に得られる評価値を主観評価値に
より近づけることが可能となる。即ち、ブロック毎の視
覚特性を反映させたＳＮＲ（ＷＳＮＲ）を求めても、画
面全体でそのブロックが注目される存在であるかどうか
によってその実際の評価は異なってしまうが、画面全体
のアクティビティを表わすフレーム全体の画像データの
交流成分の電力を求め、これによって各ブロックの注目
度を考慮することによって主観評価結果により近い評価
結果を得ることができる。
力に基づいてＳＮＲの重み付けを行うことにより、画面
全体のバックグラウンドに対しての視覚特性が考慮され
ることとなり、最終的に得られる評価値を主観評価値に
より近づけることが可能となる。即ち、ブロック毎の視
覚特性を反映させたＳＮＲ（ＷＳＮＲ）を求めても、画
面全体でそのブロックが注目される存在であるかどうか
によってその実際の評価は異なってしまうが、画面全体
のアクティビティを表わすフレーム全体の画像データの
交流成分の電力を求め、これによって各ブロックの注目
度を考慮することによって主観評価結果により近い評価
結果を得ることができる。
【００１０】ＳＮＲ算出手段は、フレームの各ブロック
毎に、評価対象画像データの値と原画像データの値との
差分値を求めてフレーム全体のＳＮＲを算出するように
構成されていることが好ましい。
毎に、評価対象画像データの値と原画像データの値との
差分値を求めてフレーム全体のＳＮＲを算出するように
構成されていることが好ましい。
【００１１】評価対象画像データ及び原画像データにつ
いて、フレームの各ブロック毎に視覚特性に基づく重み
付けを行うための係数を算出する係数算出手段をさらに
備えており、ＳＮＲ算出手段は、係数算出手段からの係
数を用いて重み付けを行って差分値に基づくＷＳＮＲを
算出するように構成されていることが好ましい。
いて、フレームの各ブロック毎に視覚特性に基づく重み
付けを行うための係数を算出する係数算出手段をさらに
備えており、ＳＮＲ算出手段は、係数算出手段からの係
数を用いて重み付けを行って差分値に基づくＷＳＮＲを
算出するように構成されていることが好ましい。
【００１２】係数算出手段は、フレームの各ブロック毎
に、空間周波数方向の視覚感度に基づく重み付け用係数
を算出するように構成されていることが好ましい。高周
波の雑音ほど検知されにくいので、このような視覚特性
による重み付けによって主観評価結果により近い評価結
果を得ることができる。
に、空間周波数方向の視覚感度に基づく重み付け用係数
を算出するように構成されていることが好ましい。高周
波の雑音ほど検知されにくいので、このような視覚特性
による重み付けによって主観評価結果により近い評価結
果を得ることができる。
【００１３】また、係数算出手段は、フレームの各ブロ
ック毎に、雑音マスキング効果に基づく重み付け用係数
を算出するように構成されていることが好ましい。より
変化の激しいブロックでの雑音は検知されにくいので、
このような視覚特性による重み付けによって主観評価結
果により近い評価結果を得ることができる。
ック毎に、雑音マスキング効果に基づく重み付け用係数
を算出するように構成されていることが好ましい。より
変化の激しいブロックでの雑音は検知されにくいので、
このような視覚特性による重み付けによって主観評価結
果により近い評価結果を得ることができる。
【００１４】重み付け手段は、算出した交流成分電力に
基づいて各係数が定まるようにあらかじめ設定されたマ
ッピング関数により重み付けを行うように構成されてい
ることが好ましい。
基づいて各係数が定まるようにあらかじめ設定されたマ
ッピング関数により重み付けを行うように構成されてい
ることが好ましい。
【００１５】
【発明の実施の形態】以下図面を用いて本発明の実施形
態を詳細に説明する。
態を詳細に説明する。
【００１６】図１は本発明のディジタル画像品質評価装
置の基本構成を表わすブロック図である。
置の基本構成を表わすブロック図である。
【００１７】同図において、１０は評価対象画像に関す
る原画像の各画素信号が供給される入力端子、１１は評
価対象画像（再生画像）の各画素信号が供給される入力
端子、１２は入力端子１０及び１１に接続されており差
分値を算出する差分値算出回路、１３は差分値算出回路
１２の出力に接続されたＳＮＲ（ＷＳＮＲ）算出回路
（本発明のＳＮＲ算出手段に対応する）、１４は入力端
子１０に接続されており、フレーム全体の交流成分電力
の平均値を算出する交流成分電力算出回路（本発明の交
流成分の電力を算出する手段に対応する）、１５はＳＮ
Ｒ算出回路１３及び交流成分電力算出回路１４の出力に
接続されている重み付け回路（本発明の重み付け手段に
対応する）、１６は画像品質評価値の出力端子をそれぞ
れ示している。
る原画像の各画素信号が供給される入力端子、１１は評
価対象画像（再生画像）の各画素信号が供給される入力
端子、１２は入力端子１０及び１１に接続されており差
分値を算出する差分値算出回路、１３は差分値算出回路
１２の出力に接続されたＳＮＲ（ＷＳＮＲ）算出回路
（本発明のＳＮＲ算出手段に対応する）、１４は入力端
子１０に接続されており、フレーム全体の交流成分電力
の平均値を算出する交流成分電力算出回路（本発明の交
流成分の電力を算出する手段に対応する）、１５はＳＮ
Ｒ算出回路１３及び交流成分電力算出回路１４の出力に
接続されている重み付け回路（本発明の重み付け手段に
対応する）、１６は画像品質評価値の出力端子をそれぞ
れ示している。
【００１８】差分値算出回路１２は、評価対象画像及び
原画像の各画素信号の差分値を算出する。この差分値
が、ＳＮＲ算出回路１３へ入力されることによりフレー
ム全体のＳＮＲ又はＷＳＮＲ（ブロック毎の視覚特性が
反映するように重み付けされたＳＮＲ）が得られる。一
方、交流成分電力算出回路１４は、原画像の画素信号か
らフレーム全体の交流成分の電力の平均値（画面全体の
アクティビティ）を算出する。重み付け回路１５におい
て、この交流成分電力の平均値に基づいてあらかじめ定
めた関数により、フレーム全体のＳＮＲ又はＷＳＮＲを
フレーム毎に重み付けする。これにより、出力端子１６
より、主観評価結果により近い評価結果を得ることがで
きる。なお、図１の例においては、交流成分電力算出回
路１４が、原画像の画素信号から画面全体のアクティビ
ティを算出しているが、評価対象画像（再生画像）の画
素信号から画面全体のアクティビティを算出してもほぼ
同様の効果を得ることができる。
原画像の各画素信号の差分値を算出する。この差分値
が、ＳＮＲ算出回路１３へ入力されることによりフレー
ム全体のＳＮＲ又はＷＳＮＲ（ブロック毎の視覚特性が
反映するように重み付けされたＳＮＲ）が得られる。一
方、交流成分電力算出回路１４は、原画像の画素信号か
らフレーム全体の交流成分の電力の平均値（画面全体の
アクティビティ）を算出する。重み付け回路１５におい
て、この交流成分電力の平均値に基づいてあらかじめ定
めた関数により、フレーム全体のＳＮＲ又はＷＳＮＲを
フレーム毎に重み付けする。これにより、出力端子１６
より、主観評価結果により近い評価結果を得ることがで
きる。なお、図１の例においては、交流成分電力算出回
路１４が、原画像の画素信号から画面全体のアクティビ
ティを算出しているが、評価対象画像（再生画像）の画
素信号から画面全体のアクティビティを算出してもほぼ
同様の効果を得ることができる。
【００１９】図２は本発明のディジタル画像品質評価装
置の一実施形態における構成を示すブロック図である。
置の一実施形態における構成を示すブロック図である。
【００２０】同図において、２０は映像源、２１は映像
源２０からの例えばＮＴＳＣコンポジット信号等の原画
像信号が入力される第１の入力部、２２は第１の入力部
２１の出力に接続された同期用マーカ付加部、２３は同
期用マーカ付加部２２の出力に接続された出力部、２４
は同期用マーカ付加部２２の出力に同じく接続された遅
延部、２５は出力部２３に接続された例えばビデオコー
デックやディジタル画像伝送路等の画像品質の評価対象
システム、２６は評価対象システム２５からの評価対象
画像（再生画像）信号が入力される第２の入力部、２７
は第２の入力部２６からは評価対象画像データが、遅延
部２４からは遅延された原画像データがそれぞれ入力さ
れる同期制御部をそれぞれ示している。
源２０からの例えばＮＴＳＣコンポジット信号等の原画
像信号が入力される第１の入力部、２２は第１の入力部
２１の出力に接続された同期用マーカ付加部、２３は同
期用マーカ付加部２２の出力に接続された出力部、２４
は同期用マーカ付加部２２の出力に同じく接続された遅
延部、２５は出力部２３に接続された例えばビデオコー
デックやディジタル画像伝送路等の画像品質の評価対象
システム、２６は評価対象システム２５からの評価対象
画像（再生画像）信号が入力される第２の入力部、２７
は第２の入力部２６からは評価対象画像データが、遅延
部２４からは遅延された原画像データがそれぞれ入力さ
れる同期制御部をそれぞれ示している。
【００２１】図２において、さらに、２８は第２の入力
部２６の出力に接続された周波数変換部、２９は遅延部
２４の出力に接続された周波数変換部、３０は周波数変
換部２８及び２９の出力に接続された差分値算出部、３
１は差分値算出部３０の出力に接続されておりＷＳＮＲ
を算出するＷＳＮＲ計算部、３２はＷＳＮＲ計算部３１
の出力に接続されており主観評価値を算出する主観評価
値計算部、３３は周波数変換部２９の出力に接続されて
おり、各ブロック毎のブロックアクティビティを算出し
てＷＳＮＲ計算部３１へ印加するブロックアクティビテ
ィ計算部、３４は周波数変換部２９の出力に同じく接続
されており、フレーム全体のアクティビティを算出して
主観評価値計算部３２に印加するフレームアクティビテ
ィ計算部をそれぞれ示している。
部２６の出力に接続された周波数変換部、２９は遅延部
２４の出力に接続された周波数変換部、３０は周波数変
換部２８及び２９の出力に接続された差分値算出部、３
１は差分値算出部３０の出力に接続されておりＷＳＮＲ
を算出するＷＳＮＲ計算部、３２はＷＳＮＲ計算部３１
の出力に接続されており主観評価値を算出する主観評価
値計算部、３３は周波数変換部２９の出力に接続されて
おり、各ブロック毎のブロックアクティビティを算出し
てＷＳＮＲ計算部３１へ印加するブロックアクティビテ
ィ計算部、３４は周波数変換部２９の出力に同じく接続
されており、フレーム全体のアクティビティを算出して
主観評価値計算部３２に印加するフレームアクティビテ
ィ計算部をそれぞれ示している。
【００２２】映像源２０からの原画像信号は第１の入力
部２１に入力され、例えば評価対象画像がＮＴＳＣコン
ポジット信号の場合、８ビット、４ｆsc（１４．３１８
ＭＨｚ）でＡ／Ｄ変換され、有効画素７６８画素×４８
３ラインの画像としてフィールドマージされる。なお、
コンポーネント（Ｙ）信号の場合はサンプリング周波数
１３．５ＭＨｚ、有効画素７２０画素×４８０ラインと
なり、コンポーネント（Ｃｂ，Ｃｒ）信号の場合はサン
プリング周波数６．７５ＭＨｚ、有効画素３６０画素×
４８０ラインとなる。評価対象画像は、ＮＴＳＣコンポ
ジット信号、コンポーネント信号の他に、Ｄ１ディジタ
ル信号でもあり得る。因に、評価対象システムとして
は、本出願人の開発したコーデックＭＵＣＣＳ−２
［２］及びＭＵＣＣＳ−４５［３］、ＭＰＥＧ−１、Ｍ
ＰＥＧ−２、ＭＰＥＧ−４、その他全般の符号化器にも
適用される。
部２１に入力され、例えば評価対象画像がＮＴＳＣコン
ポジット信号の場合、８ビット、４ｆsc（１４．３１８
ＭＨｚ）でＡ／Ｄ変換され、有効画素７６８画素×４８
３ラインの画像としてフィールドマージされる。なお、
コンポーネント（Ｙ）信号の場合はサンプリング周波数
１３．５ＭＨｚ、有効画素７２０画素×４８０ラインと
なり、コンポーネント（Ｃｂ，Ｃｒ）信号の場合はサン
プリング周波数６．７５ＭＨｚ、有効画素３６０画素×
４８０ラインとなる。評価対象画像は、ＮＴＳＣコンポ
ジット信号、コンポーネント信号の他に、Ｄ１ディジタ
ル信号でもあり得る。因に、評価対象システムとして
は、本出願人の開発したコーデックＭＵＣＣＳ−２
［２］及びＭＵＣＣＳ−４５［３］、ＭＰＥＧ−１、Ｍ
ＰＥＧ−２、ＭＰＥＧ−４、その他全般の符号化器にも
適用される。
【００２３】第１の入力部２１で得られた原画像データ
には、同期用マーカ付加部２２において同期用マーカが
付加される。このマーカパターンは、フレーム毎に変化
し評価対象システム２５の遅延量を知るのに用いられ
る。マーカが付加された原画像データは、遅延部２４の
メモリに格納されると同時に出力部２３を介して評価対
象システム２５に出力される。
には、同期用マーカ付加部２２において同期用マーカが
付加される。このマーカパターンは、フレーム毎に変化
し評価対象システム２５の遅延量を知るのに用いられ
る。マーカが付加された原画像データは、遅延部２４の
メモリに格納されると同時に出力部２３を介して評価対
象システム２５に出力される。
【００２４】評価対象システム２５から出力される評価
対象画像（再生画像）データは、第２の入力部２６に入
力された後、同期制御部２７において、遅延部２４に格
納されている原画像データとマーカによるフレーム照合
が行われて評価対象システム２５における遅延量が決定
される。さらに、水平方向のサンプリング補正も行われ
て、再生画像データと原画像データとの同期が確立され
る。
対象画像（再生画像）データは、第２の入力部２６に入
力された後、同期制御部２７において、遅延部２４に格
納されている原画像データとマーカによるフレーム照合
が行われて評価対象システム２５における遅延量が決定
される。さらに、水平方向のサンプリング補正も行われ
て、再生画像データと原画像データとの同期が確立され
る。
【００２５】次いで、周波数変換部２８及び２９、差分
値算出部３０、ＷＳＮＲ計算部３１、ブロックアクティ
ビティ計算部３３、並びにフレームアクティビティ計算
部３４において、ＷＳＮＲ及びフレームアクティビティ
Ｓの算出が行われる。
値算出部３０、ＷＳＮＲ計算部３１、ブロックアクティ
ビティ計算部３３、並びにフレームアクティビティ計算
部３４において、ＷＳＮＲ及びフレームアクティビティ
Ｓの算出が行われる。
【００２６】図３はこの演算の内容を詳しく説明してい
る。人間の視覚特性を有効に反映させるため、周波数変
換部２８及び２９において、小ブロック単位の再生画像
データ及び原画像データに対して、例えばアダマール変
換により周波数軸方向へ変換することによる波形解析を
行う。これは、ＮＴＳＣ信号にアダマール変換を用いた
場合、カラーサブキャリア成分が２つの係数のみに効果
的に現れ、周波数構造の観点からもＮＴＳＣ信号の波形
解析を行い易いからである。アダマール変換の他にフー
リエ変換、ＤＣＴ等によって周波数変換してもよい。周
波数変換された各ブロックは、差分値算出部３０に印加
されることにより、原画像データと再生画像データとの
間で差分値（２乗誤差）が求められる。求められたブロ
ックｂの変換係数（ｍ，ｎ）毎の差分電力値は、ＷＳＮ
Ｒ計算部３１に印加され、次のような視覚特性を考慮し
たＷＳＮＲが算出される。
る。人間の視覚特性を有効に反映させるため、周波数変
換部２８及び２９において、小ブロック単位の再生画像
データ及び原画像データに対して、例えばアダマール変
換により周波数軸方向へ変換することによる波形解析を
行う。これは、ＮＴＳＣ信号にアダマール変換を用いた
場合、カラーサブキャリア成分が２つの係数のみに効果
的に現れ、周波数構造の観点からもＮＴＳＣ信号の波形
解析を行い易いからである。アダマール変換の他にフー
リエ変換、ＤＣＴ等によって周波数変換してもよい。周
波数変換された各ブロックは、差分値算出部３０に印加
されることにより、原画像データと再生画像データとの
間で差分値（２乗誤差）が求められる。求められたブロ
ックｂの変換係数（ｍ，ｎ）毎の差分電力値は、ＷＳＮ
Ｒ計算部３１に印加され、次のような視覚特性を考慮し
たＷＳＮＲが算出される。
【００２７】画像品質評価において、各ブロック毎に考
慮すべき視覚特性としては、空間周波数方向の視覚感
度（高周波の雑音ほど検知されにくい）、雑音マスキ
ング効果（より変化の激しいブロックでの雑音は検知さ
れにくい）が挙げられ、従って、についてはアダマー
ル変換係数（ｍ，ｎ）に視覚感度マトリクスＨによる重
み付けを行い、については各ブロックｂのアクティビ
ティ（分散値）σ2 （ｂ）に対する重み付けを行う。即
ち、 ｈ（σ2 ，ｍ，ｎ）＝ｈ1 （σ2 （ｂ））・Ｈ（ｍ，
ｎ） により重み付けする。ただし、ｈ1 （σ2 ）はブロック
ｂのアクティビティσ2（ｂ）に対する雑音感度関数で
ある。
慮すべき視覚特性としては、空間周波数方向の視覚感
度（高周波の雑音ほど検知されにくい）、雑音マスキ
ング効果（より変化の激しいブロックでの雑音は検知さ
れにくい）が挙げられ、従って、についてはアダマー
ル変換係数（ｍ，ｎ）に視覚感度マトリクスＨによる重
み付けを行い、については各ブロックｂのアクティビ
ティ（分散値）σ2 （ｂ）に対する重み付けを行う。即
ち、 ｈ（σ2 ，ｍ，ｎ）＝ｈ1 （σ2 （ｂ））・Ｈ（ｍ，
ｎ） により重み付けする。ただし、ｈ1 （σ2 ）はブロック
ｂのアクティビティσ2（ｂ）に対する雑音感度関数で
ある。
【００２８】視覚感度マトリクスＨとしては、アダマー
ル変換係数をその係数切り捨てによりほぼ等しい劣化度
を与える係数をまとめて１つのクラスタとし、それぞれ
のクラスタ毎に発生する雑音による主観的劣化度が等し
くなるように重み付けしたものを用いることができる。
ル変換係数をその係数切り捨てによりほぼ等しい劣化度
を与える係数をまとめて１つのクラスタとし、それぞれ
のクラスタ毎に発生する雑音による主観的劣化度が等し
くなるように重み付けしたものを用いることができる。
【００２９】ブロックｂのアクティビティσ2 （ｂ）
は、直流成分やカラーサブキャリア成分を除外した
（（ｍ，ｎ）∈Ｄ）交流成分のみの電力であり、ブロッ
クアクティビティ計算部３３において次式から算出され
る。
は、直流成分やカラーサブキャリア成分を除外した
（（ｍ，ｎ）∈Ｄ）交流成分のみの電力であり、ブロッ
クアクティビティ計算部３３において次式から算出され
る。
【数１】
【００３０】図３に示すように、フレーム全体のＷＳＮ
Ｒは、ＷＳＮＲ計算部３１において、ブロックｂの変換
係数（ｍ，ｎ）毎の差分電力値（ｘ（ｂ，ｍ，ｎ）−ｙ
（ｂ，ｍ，ｎ））2 を人間の視覚特性ｈ（σ2 ，ｍ，
ｎ）で重み付けする次式から算出される。
Ｒは、ＷＳＮＲ計算部３１において、ブロックｂの変換
係数（ｍ，ｎ）毎の差分電力値（ｘ（ｂ，ｍ，ｎ）−ｙ
（ｂ，ｍ，ｎ））2 を人間の視覚特性ｈ（σ2 ，ｍ，
ｎ）で重み付けする次式から算出される。
【数２】
【００３１】フレームアクティビティ計算部３４におい
ては、直流成分やカラーサブキャリア成分を除外した
（（ｍ，ｎ）∈Ｄ）交流成分のみの画面全体の電力、即
ちフレームアクティビティＳが次式から算出される。な
お、本実施形態では、フレームアクティビティ計算部３
４が、原画像データから画面全体のアクティビティを算
出しているが、再生画像データから画面全体のアクティ
ビティを算出してもほぼ同様の効果を得ることができ
る。
ては、直流成分やカラーサブキャリア成分を除外した
（（ｍ，ｎ）∈Ｄ）交流成分のみの画面全体の電力、即
ちフレームアクティビティＳが次式から算出される。な
お、本実施形態では、フレームアクティビティ計算部３
４が、原画像データから画面全体のアクティビティを算
出しているが、再生画像データから画面全体のアクティ
ビティを算出してもほぼ同様の効果を得ることができ
る。
【数３】
【００３２】以上のごとくして求められたブロック毎の
視覚特性を反映させたＷＳＮＲは、主観評価値計算部３
２において、画面全体のアクティビティを反映させたフ
レームアクティビティＳによって重み付けされて品質劣
化度（％）に変換される。
視覚特性を反映させたＷＳＮＲは、主観評価値計算部３
２において、画面全体のアクティビティを反映させたフ
レームアクティビティＳによって重み付けされて品質劣
化度（％）に変換される。
【００３３】ＷＳＮＲ計算部３１において、ｈ（σ2 ，
ｍ，ｎ）で重み付けすることで行ったマスキング効果
は、ブロックのアクティビティによりそのブロック内で
発生する雑音の検知度が異なることを利用している。こ
のディジタル画像品質評価装置では、このブロック内の
アクティビティに加え、画面全体のアクティビティＳを
考慮している。これは、画面全体のアクティビティＳが
ブロックの注目度に影響を与えることが実験的に確認さ
れているからである。例えば、ブロック内のアクティビ
ティにより局所的には目立ち易い雑音であっても画面全
体のアクティビティＳが高い場合、それほど雑音として
検知されず、また逆にアクティビティＳが低い場合はよ
り雑音が目立つ傾向にある。従って、主観評価値計算部
３２において品質劣化度を算出する際に、画像を画面全
体のアクティビティＳにより数種類に分類し、主観評価
値により近づけるように実験的にあらかじめ定めたマッ
ピング関数ｆを用いている。
ｍ，ｎ）で重み付けすることで行ったマスキング効果
は、ブロックのアクティビティによりそのブロック内で
発生する雑音の検知度が異なることを利用している。こ
のディジタル画像品質評価装置では、このブロック内の
アクティビティに加え、画面全体のアクティビティＳを
考慮している。これは、画面全体のアクティビティＳが
ブロックの注目度に影響を与えることが実験的に確認さ
れているからである。例えば、ブロック内のアクティビ
ティにより局所的には目立ち易い雑音であっても画面全
体のアクティビティＳが高い場合、それほど雑音として
検知されず、また逆にアクティビティＳが低い場合はよ
り雑音が目立つ傾向にある。従って、主観評価値計算部
３２において品質劣化度を算出する際に、画像を画面全
体のアクティビティＳにより数種類に分類し、主観評価
値により近づけるように実験的にあらかじめ定めたマッ
ピング関数ｆを用いている。
【００３４】即ち、ＷＳＮＲの値をｘとした場合に、品
質劣化度ｆ（ｘ）は以下に示す５次式から算出される。 ｆ（ｘ）＝ｐｘ5 ＋ｑｘ4 ＋ｒｘ3 ＋ｓｘ2 ＋ｔｘ＋ｕ ただし、このマッピング関数の各係数ｐ〜ｕは、次の表
１に示すようにアクティビティＳに応じて定まるもので
あり、これら係数は主観評価値により近づけるように実
験的に最小２乗法により求めたものである。
質劣化度ｆ（ｘ）は以下に示す５次式から算出される。 ｆ（ｘ）＝ｐｘ5 ＋ｑｘ4 ＋ｒｘ3 ＋ｓｘ2 ＋ｔｘ＋ｕ ただし、このマッピング関数の各係数ｐ〜ｕは、次の表
１に示すようにアクティビティＳに応じて定まるもので
あり、これら係数は主観評価値により近づけるように実
験的に最小２乗法により求めたものである。
【００３５】
【表１】
【００３６】本実施形態におけるディジタル画像品質評
価装置を用いて行った画像品質評価実験結果について、
以下説明する。原画像として１６種類のＮＴＳＣ画像を
用い、評価対象システムとしては本出願人の開発した２
種類のコーデック（ＭＵＣＣＳ−２［２］及びＭＵＣＣ
Ｓ−４５［３］）を使用した。符号化ビットレートは、
どちらも２２Ｍｂｐｓ、１５Ｍｂｐｓの２種類で行っ
た。また、画像品質評価値の基準とする主観評価値につ
いては、テスト画像についてＩＴＵ−Ｒ ＢＴ．５００
−６の勧告に基づいて専門家２０名により行われた評価
値を用いた。
価装置を用いて行った画像品質評価実験結果について、
以下説明する。原画像として１６種類のＮＴＳＣ画像を
用い、評価対象システムとしては本出願人の開発した２
種類のコーデック（ＭＵＣＣＳ−２［２］及びＭＵＣＣ
Ｓ−４５［３］）を使用した。符号化ビットレートは、
どちらも２２Ｍｂｐｓ、１５Ｍｂｐｓの２種類で行っ
た。また、画像品質評価値の基準とする主観評価値につ
いては、テスト画像についてＩＴＵ−Ｒ ＢＴ．５００
−６の勧告に基づいて専門家２０名により行われた評価
値を用いた。
【００３７】図４は単純ＳＮＲ（視覚特性に基づく重み
付けのないＳＮＲ）と上述した基準の主観評価値との関
係、図５は本実施形態における品質劣化度ｆ（ｘ）と上
述した基準の主観評価値との関係をそれぞれ示してい
る。
付けのないＳＮＲ）と上述した基準の主観評価値との関
係、図５は本実施形態における品質劣化度ｆ（ｘ）と上
述した基準の主観評価値との関係をそれぞれ示してい
る。
【００３８】図４に示すように、評価方式が単純ＳＮＲ
の場合は、視覚特性が全く考慮されないのでプロットが
散在しており、主観評価値との相関が、ＭＵＣＣＳ−２
［２］では０．６８０、ＭＵＣＣＳ−４５［３］では
０．７４３と低くなっている。
の場合は、視覚特性が全く考慮されないのでプロットが
散在しており、主観評価値との相関が、ＭＵＣＣＳ−２
［２］では０．６８０、ＭＵＣＣＳ−４５［３］では
０．７４３と低くなっている。
【００３９】これに対して本実施形態の品質劣化度の場
合は、完全に一対一の関係とはなっていないものの、主
観評価値との相関が、ＭＵＣＣＳ−２［２］では０．８
０４、ＭＵＣＣＳ−４５［３］では０．９１２と単純Ｓ
ＮＲの場合より大幅に相関が高くなっている。これは、
特に、画面全体でのアクティビティＳによる品質劣化度
の算出を行うことで注視ブロックの雑音検知感度が考慮
されたため、より主観評価値に近づいたものと思われ
る。
合は、完全に一対一の関係とはなっていないものの、主
観評価値との相関が、ＭＵＣＣＳ−２［２］では０．８
０４、ＭＵＣＣＳ−４５［３］では０．９１２と単純Ｓ
ＮＲの場合より大幅に相関が高くなっている。これは、
特に、画面全体でのアクティビティＳによる品質劣化度
の算出を行うことで注視ブロックの雑音検知感度が考慮
されたため、より主観評価値に近づいたものと思われ
る。
【００４０】このように、本実施形態によれば、ブロッ
ク内での視覚特性を考慮した重み付けに加えて、画面全
体での視覚特性をも考慮しているので、主観評価結果に
より近い評価結果を得ることができる。しかも、客観評
価により短時間に評価が行えると共に、その構成が簡単
なため製造コストが安価となる。
ク内での視覚特性を考慮した重み付けに加えて、画面全
体での視覚特性をも考慮しているので、主観評価結果に
より近い評価結果を得ることができる。しかも、客観評
価により短時間に評価が行えると共に、その構成が簡単
なため製造コストが安価となる。
【００４１】以上述べた実施形態は全て本発明を例示的
に示すものであって限定的に示すものではなく、本発明
は他の種々の変形態様及び変更態様で実施することがで
きる。従って本発明の範囲は特許請求の範囲及びその均
等範囲によってのみ規定されるものである。
に示すものであって限定的に示すものではなく、本発明
は他の種々の変形態様及び変更態様で実施することがで
きる。従って本発明の範囲は特許請求の範囲及びその均
等範囲によってのみ規定されるものである。
【００４２】
【発明の効果】以上詳細に説明したように本発明によれ
ば、評価対象画像データの値とその原画像データの値と
の差分値に基づくＳＮＲを算出するＳＮＲ算出手段と、
フレーム全体の画像データの交流成分の電力を算出する
手段と、算出した交流成分電力に基づいて算出したＳＮ
Ｒの重み付けを行う重み付け手段とを備えているため、
短時間に評価が行え、しかも主観評価結果により近い評
価結果を得ることのできる。
ば、評価対象画像データの値とその原画像データの値と
の差分値に基づくＳＮＲを算出するＳＮＲ算出手段と、
フレーム全体の画像データの交流成分の電力を算出する
手段と、算出した交流成分電力に基づいて算出したＳＮ
Ｒの重み付けを行う重み付け手段とを備えているため、
短時間に評価が行え、しかも主観評価結果により近い評
価結果を得ることのできる。
【図１】本発明のディジタル画像品質評価装置の基本構
成を示すブロック図である。
成を示すブロック図である。
【図２】本発明のディジタル画像品質評価装置の一実施
形態における構成を概略的に示すブロック図である。
形態における構成を概略的に示すブロック図である。
【図３】図２の実施形態におけるＷＳＮＲ及びフレーム
アクティビティＳの演算の内容を詳しく説明を説明する
図である。
アクティビティＳの演算の内容を詳しく説明を説明する
図である。
【図４】画像品質評価実験結果として、単純ＳＮＲと基
準の主観評価値との関係を表わす図である。
準の主観評価値との関係を表わす図である。
【図５】画像品質評価実験結果として、図２の実施形態
における品質劣化度と基準の主観評価値との関係を表わ
す図である。
における品質劣化度と基準の主観評価値との関係を表わ
す図である。
１０、１１ 入力端子
１２ 差分値算出回路
１３ ＳＮＲ（ＷＳＮＲ）算出回路
１４ 交流成分電力算出回路
１５ 重み付け回路
１６ 出力端子
２０ 映像源
２１ 第１の入力部
２２ 同期用マーカ付加部
２３ 出力部
２４ 遅延部
２５ 評価対象システム
２６ 第２の入力部
２７ 同期制御部
２８、２９ 周波数変換部
３０ 差分値算出部
３１ ＷＳＮＲ計算部
３２ 主観評価値計算部
３３ ブロックアクティビティ計算部
３４ フレームアクティビティ計算部
フロントページの続き
(56)参考文献 特開 平８−205156（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 17/00
H04N 7/24
Claims (6)
- 【請求項１】 評価対象画像データの値とその原画像デ
ータの値との差分値に基づくＳＮ比を算出するＳＮ比算
出手段と、フレーム全体の画像データの交流成分の電力
を算出する手段と、該算出した交流成分電力に基づいて
前記算出したＳＮ比の重み付けを行う重み付け手段とを
備えたことを特徴とするディジタル画像品質評価装置。 - 【請求項２】 前記ＳＮ比算出手段は、フレームの各ブ
ロック毎に、前記評価対象画像データの値と前記原画像
データの値との差分値を求めてフレーム全体のＳＮ比を
算出するように構成されていることを特徴とする請求項
１に記載の装置。 - 【請求項３】 前記評価対象画像データ及び前記原画像
データについて、フレームの各ブロック毎に視覚特性に
基づく重み付けを行うための係数を算出する係数算出手
段をさらに備えており、前記ＳＮ比算出手段は、該係数
算出手段からの係数を用いて重み付けを行って差分値に
基づくＳＮ比を算出するように構成されていることを特
徴とする請求項１又は２に記載の装置。 - 【請求項４】 前記係数算出手段は、フレームの各ブロ
ック毎に、空間周波数方向の視覚感度に基づく重み付け
用係数を算出するように構成されていることを特徴とす
る請求項３に記載の装置。 - 【請求項５】 前記係数算出手段は、フレームの各ブロ
ック毎に、雑音マスキング効果に基づく重み付け用係数
を算出するように構成されていることを特徴とする請求
項３又は４に記載の装置。 - 【請求項６】 前記重み付け手段は、前記算出した交流
成分電力に基づいて各係数が定まるようにあらかじめ設
定されたマッピング関数により重み付けを行うように構
成されていることを特徴とする請求項１から５のいずれ
か１項に記載の装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13976696A JP3458600B2 (ja) | 1996-05-10 | 1996-05-10 | ディジタル画像品質評価装置 |
| US08/775,876 US6239834B1 (en) | 1996-01-11 | 1997-01-02 | Apparatus for evaluating digital picture quality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13976696A JP3458600B2 (ja) | 1996-05-10 | 1996-05-10 | ディジタル画像品質評価装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09307930A JPH09307930A (ja) | 1997-11-28 |
| JP3458600B2 true JP3458600B2 (ja) | 2003-10-20 |
Family
ID=15252906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13976696A Expired - Lifetime JP3458600B2 (ja) | 1996-01-11 | 1996-05-10 | ディジタル画像品質評価装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3458600B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8503822B2 (en) | 2008-04-30 | 2013-08-06 | Nec Corporation | Image quality evaluation system, method, and program utilizing increased difference weighting of an area of focus |
| US8644642B2 (en) | 2008-04-30 | 2014-02-04 | Nec Corporation | Image quality evaluation method, system, and program based on an alternating-current component differential value |
| US8699818B2 (en) | 2008-04-30 | 2014-04-15 | Nec Corporation | Method, system, and program for determining image quality based on pixel changes between image frames |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2792798B1 (fr) * | 1999-04-26 | 2001-05-25 | Thomson Multimedia Sa | Procede et dispositif de quantification pour compression video |
| US6943827B2 (en) | 2001-04-16 | 2005-09-13 | Kddi Corporation | Apparatus for monitoring quality of picture in transmission |
| JP4662224B2 (ja) * | 2001-09-07 | 2011-03-30 | Ｋｄｄｉ株式会社 | 伝送画質監視装置 |
| EP1833262A1 (en) * | 2002-01-18 | 2007-09-12 | Kabushiki Kaisha Toshiba | Video encoding method and apparatus and video decoding method and apparatus |
| KR100824711B1 (ko) | 2003-08-22 | 2008-04-24 | 니뽄 덴신 덴와 가부시키가이샤 | 영상 정합 장치, 영상 정합 방법, 및 영상 정합 프로그램을기록한 기록매체 |
| CN101036399B (zh) | 2004-10-18 | 2010-05-05 | 日本电信电话株式会社 | 视频质量客观评价设备及评价方法 |
| CN100396106C (zh) * | 2004-12-13 | 2008-06-18 | 武汉大学 | 一种测试数字视频编解码系统信噪比的方法 |
| JP4763525B2 (ja) * | 2006-06-21 | 2011-08-31 | 日本電信電話株式会社 | 映像整合方法 |
| EP2114080A1 (en) * | 2008-04-30 | 2009-11-04 | Thomson Licensing | Method for assessing the quality of a distorted version of a frame sequence |
| EP2144449A1 (en) * | 2008-07-07 | 2010-01-13 | BRITISH TELECOMMUNICATIONS public limited company | Video quality measurement |
| WO2013030833A1 (en) | 2011-08-29 | 2013-03-07 | I.C.V.T. Ltd. | Controlling a video content system |
| US9978341B2 (en) * | 2014-12-23 | 2018-05-22 | Mediatek Inc. | Visual data processing method and visual data processing system which can perform a process operation according to a gazing point |
-
1996
- 1996-05-10 JP JP13976696A patent/JP3458600B2/ja not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8503822B2 (en) | 2008-04-30 | 2013-08-06 | Nec Corporation | Image quality evaluation system, method, and program utilizing increased difference weighting of an area of focus |
| US8644642B2 (en) | 2008-04-30 | 2014-02-04 | Nec Corporation | Image quality evaluation method, system, and program based on an alternating-current component differential value |
| US8699818B2 (en) | 2008-04-30 | 2014-04-15 | Nec Corporation | Method, system, and program for determining image quality based on pixel changes between image frames |
| US9280705B2 (en) | 2008-04-30 | 2016-03-08 | Nec Corporation | Image quality evaluation method, system, and computer readable storage medium based on an alternating current component differential value |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09307930A (ja) | 1997-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3458600B2 (ja) | ディジタル画像品質評価装置 | |
| US5574500A (en) | Video quality evaluating equipment for reproduced image of video signal subject to digital compression | |
| US6239834B1 (en) | Apparatus for evaluating digital picture quality | |
| Olsson et al. | Objective methods for assessment of video quality: state of the art | |
| Wolf et al. | Spatial-temporal distortion metric for in-service quality monitoring of any digital video system | |
| Ou et al. | Q-STAR: A perceptual video quality model considering impact of spatial, temporal, and amplitude resolutions | |
| US5596364A (en) | Perception-based audio visual synchronization measurement system | |
| Masry et al. | A metric for continuous quality evaluation of compressed video with severe distortions | |
| Winkler et al. | Vision and video: models and applications | |
| JPH08237657A (ja) | 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置 | |
| You et al. | Attention modeling for video quality assessment: Balancing global quality and local quality | |
| Hamada et al. | Picture quality assessment system by three-layered bottom-up noise weighting considering human visual perception | |
| Liu et al. | Temporal information assisted video quality metric for multimedia | |
| US8866876B2 (en) | Color correction for multiple video objects in telepresence applications | |
| Chen et al. | A subjective study for the design of multi-resolution ABR video streams with the VP9 codec | |
| CA2440274C (en) | Multimodal quality assessment | |
| Loh et al. | A just noticeable difference-based video quality assessment method with low computational complexity | |
| JP3458581B2 (ja) | ディジタル画像品質評価装置 | |
| Xia et al. | Perceivable artifacts in compressed video and their relation to video quality | |
| Alvarez et al. | A flexible QoE framework for video streaming services | |
| Wu et al. | Digital video quality evaluation using quantitative quality metrics | |
| Wu et al. | Quantitative quality and impairment metrics for digitally coded images and image sequences | |
| Aggarwal | A review on video quality assessment | |
| JP3478836B2 (ja) | デジタル画像シーケンスの符号化方法および符号化装置 | |
| Miyaji et al. | Development of a digital compressed picture quality assessment system considering human visual perception |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030708 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150808 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term |