JP3733083B2 - 映像品質評価支援装置、及び映像品質評価支援プログラム - Google Patents
映像品質評価支援装置、及び映像品質評価支援プログラム Download PDFInfo
- Publication number
- JP3733083B2 JP3733083B2 JP2002133322A JP2002133322A JP3733083B2 JP 3733083 B2 JP3733083 B2 JP 3733083B2 JP 2002133322 A JP2002133322 A JP 2002133322A JP 2002133322 A JP2002133322 A JP 2002133322A JP 3733083 B2 JP3733083 B2 JP 3733083B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- encoded
- video
- information
- quality evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、符号化されたデジタル映像信号の品質を評価する品質評価技術に関し、より詳細には、符号化されたデジタル映像信号に含まれる符号化情報を可視化することで、映像信号の品質評価を支援する映像品質評価支援装置、及び映像品質評価支援プログラムに関する。
【０００２】
【従来の技術】
従来、映像の品質を評価するには、映像信号を再生して出力するテレビ等の画面の画質等によって、人間が主観的に評価を行っていた。また一方では、映像信号の信号対雑音電力比（ＳＮＲ）、ビットエラーレート（ＢＥＲ）等の各種データを測定した数値データに基づいて、客観的に映像の品質評価を行っていた。
このように、従来は、映像の品質を評価するには、主観的な評価及び客観的な評価、あるいはそのいずれか一方により行われていた。
【０００３】
【発明が解決しようとする課題】
しかし、前記従来の技術において、客観的評価は、映像信号の伝送上の品質評価を目的としており、デジタル映像を符号化するときの量子化に伴う画質劣化を評価することはできない。また、この量子化に伴う画質劣化を評価するには主観的評価を行うしか方法がなく、デジタル映像の量子化に伴う画質劣化の問題が発生した場合、その原因を特定することは困難であるという問題があった。
【０００４】
本発明は、以上のような問題点に鑑みてなされたものであり、デジタル映像信号の品質評価を、人間が映像を見て評価を行う主観評価と、デジタル映像を符号化した符号化映像の情報を視覚化して評価を行う客観評価とを対応付けて行い、品質異常の原因を速やかに特定することを可能にした映像品質評価支援装置、及び映像品質評価支援プログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像品質評価支援装置は、映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、符号化映像信号を復号したときの映像信号の品質評価を支援する映像品質評価支援装置であって、符号化映像信号から符号化情報を抽出する符号化情報抽出手段と、符号化映像信号を復号する映像復号手段と、符号化情報に含まれる映像信号の特定のブロック領域毎に設定される量子化のレベルを示す量子化スケールを、その量子化スケールの値に基づいて色分けした色情報に変換する量子化スケール色情報変換手段と、この量子化スケール色情報変換手段で変換されたブロック領域毎の色情報を、映像復号手段によって復号された映像信号のブロック領域に対応する映像領域に合成する映像合成手段と、を備える構成とした。
【０００６】
かかる構成によれば、映像品質評価支援装置は、符号化情報抽出手段によって、符号化映像信号から符号化情報を抽出するとともに、映像復号手段によって符号化映像信号を復号する。このとき、符号化情報抽出手段で抽出した符号化情報（パラメータ）に基づいて、量子化スケール色情報変換手段が、特定のブロック領域毎に設定される量子化のレベルを示す量子化スケールを、その量子化スケールの値に基づいて色分けを行い、映像合成手段によって映像信号に合成して提示することで、映像上のどの領域でどの程度の量子化が行われているかを視覚化する。
【０００７】
ここで、量子化スケール（量子化スケール値）とは、映像信号の符号化において、符号量を削減するために量子化を行うときの量子化の粗さを示す値であり、この量子化スケール値が大きいほど、量子化によって削減される情報量が多くなる。
【０００８】
また、請求項２に記載の映像品質評価支援装置は、請求項１に記載の映像品質評価支援装置において、符号化情報に含まれる映像信号の周波数成分毎に設定される量子化のレベルを示す量子化マトリクスを、その量子化マトリクスの値に基づいて色分けした色情報に変換してグラフ化する量子化マトリクスグラフ化手段を備えていることを特徴とする。
【０００９】
かかる構成によれば、映像品質評価支援装置は、量子化マトリクスグラフ化手段によって、符号化情報に含まれる映像信号の周波数成分毎に設定される量子化のレベルを示す量子化マトリクスを、その量子化マトリクスの値に基づいて色分けしてグラフとして提示することで、どの周波数成分がどの程度の量子化が行われているかを視覚化する。
【００１０】
ここで、量子化マトリクスとは、映像信号の周波数成分であるＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）係数を量子化（除算）する際に用いられる係数の配列であり、マクロブロック内の周波数成分毎の量子化の程度を表すものである。この量子化マトリクスの値が大きいほど、量子化によって削除される情報量が多くなる。
【００１１】
さらに、請求項３に記載の映像品質評価支援装置は、映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、符号化映像信号を復号したときの映像信号の品質評価を支援する映像品質評価支援装置であって、符号化映像信号から符号化情報を抽出する符号化情報抽出手段と、この符号化情報抽出手段によって抽出された符号化情報に基づいて、動きベクトルによって予測されたブロック領域の位置を、映像信号の各画面における相対位置としてグラフ化する動きベクトル位置グラフ化手段と、を備える構成とした。
【００１２】
かかる構成によれば、映像品質評価支援装置は、符号化情報抽出手段によって、符号化映像信号から符号化情報を抽出して、動きベクトル位置グラフ化手段によって、動きベクトルとして予測されたブロック領域の位置を提示することで、映像上のどの領域が動きベクトルとして探索されているかを視覚化する。
【００１３】
この動きベクトルは、動き補償技術によって符号化されるＭＰＥＧ２等の符号化方式で用いられ、映像中の時間的に前又は後のフレームから同一領域として認識される領域を探索し、その探索された領域をいう。
【００１４】
また、請求項４に記載の映像品質評価支援装置は、映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、符号化映像信号を復号したときの映像信号の品質評価を支援する映像品質評価支援装置であって、符号化映像信号から符号化情報を抽出する符号化情報抽出手段と、この符号化情報抽出手段によって抽出された符号化情報に基づいて、映像信号の各画面における特定のブロック領域毎の動きベクトルによって予測された領域の動きベクトル符号量を算出する動きベクトル符号量算出手段と、符号化情報抽出手段によって抽出された符号化情報に基づいて、直交変換によって符号化された領域の直交変換符号量を算出する直交変換符号量算出手段と、動きベクトル符号量と、直交変換符号量とを対比してグラフ化する符号量グラフ化手段と、を備える構成とした。
【００１５】
かかる構成によれば、映像品質評価支援装置は、符号化情報抽出手段によって、符号化映像信号から符号化情報を抽出して、動きベクトル符号量算出手段によって、映像信号の各画面における特定のブロック領域毎の動きベクトルによって予測された領域の動きベクトル符号量を算出するとともに、直交変換符号量算出手段によって、直交変換として符号化された領域の直交変換符号量を算出する。そして、符号量グラフ化手段によって、動きベクトル符号量と直交変換符号量とを、例えば棒グラフ等で対比させて提示することで、符号化映像情報に占める動きベクトル符号量と直交変換符号量との割合を視覚化する。
【００１６】
ここで動きベクトル符号量は、映像信号の各フレームが動きベクトルとして符号化された符号のビット数のことをいい、直交変換符号量は、映像信号の各フレームの周波数成分であるＤＣＴ（離散コサイン変換）係数として符号化された符号のビット数のことをいう。
【００２３】
また、請求項５に記載の映像品質評価支援プログラムは、映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、符号化映像信号を復号したときの映像信号の品質評価を支援するために、コンピュータを、符号化映像信号から符号化情報を抽出する符号化情報抽出手段、符号化映像信号を復号する映像復号手段、符号化情報に含まれる映像信号の特定のブロック領域毎に設定される量子化のレベルを示す量子化スケールを、その量子化スケールの値に基づいて色分けした色情報に変換する量子化スケール色情報変換手段、この量子化スケール色情報変換手段で変換されたブロック領域毎の色情報を、映像復号手段によって復号された前記映像信号の前記ブロック領域に対応する映像領域に合成する映像合成手段、として機能させることを特徴とする。
【００２４】
かかる構成によれば、映像品質評価支援プログラムは、符号化情報抽出手段によって、符号化映像信号から符号化情報を抽出するとともに、映像復号手段によって符号化映像信号を復号する。このとき、符号化情報抽出手段で抽出した符号化情報（パラメータ）に基づいて、量子化スケール色情報変換手段が、特定のブロック領域毎に設定される量子化のレベルを示す量子化スケールを、その量子化スケールの値に基づいて色分けを行い、映像合成手段によって映像信号に合成して提示することで、映像上のどの領域でどの程度の量子化が行われているかを視覚化する。
【００２５】
さらに、請求項６に記載の映像品質評価支援プログラムは、請求項５に記載の映像品質評価支援プログラムを、さらに符号化情報に含まれる映像信号の周波数成分毎に設定される量子化のレベルを示す量子化マトリクスを、その量子化マトリクスの値に基づいて色分けした色情報に変換してグラフ化する量子化マトリクスグラフ化手段、として機能させることを特徴とする。
【００２６】
かかる構成によれば、映像品質評価支援プログラムは、量子化マトリクスグラフ化手段によって、符号化情報に含まれる映像信号の周波数成分毎に設定される量子化のレベルを示す量子化マトリクスを、その量子化マトリクスの値に基づいて色分けしてグラフとして提示することで、どの周波数成分がどの程度の量子化が行われているかを視覚化する。
【００２７】
さらにまた、請求項７に記載の映像品質評価支援プログラムは、映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、符号化映像信号を復号したときの映像信号の品質評価を支援するために、コンピュータを、符号化映像信号から符号化情報を抽出する符号化情報抽出手段、この符号化情報抽出手段によって抽出された符号化情報に基づいて、動きベクトルによって予測されたブロック領域の位置を、映像信号の各画面における相対位置としてグラフ化する動きベクトル位置グラフ化手段、として機能させることを特徴とする。
【００２８】
かかる構成によれば、映像品質評価支援プログラムは、符号化情報抽出手段によって、符号化映像信号から符号化情報を抽出して、動きベクトル位置グラフ化手段によって、動きベクトルとして予測されたブロック領域の位置を提示することで、映像上のどの領域が動きベクトルとして探索されているかを視覚化する。
【００２９】
また、請求項８に記載の映像品質評価支援プログラムは、映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、符号化映像信号を復号したときの映像信号の品質評価を支援するために、コンピュータを、符号化映像信号から符号化情報を抽出する符号化情報抽出手段、この符号化情報抽出手段によって抽出された符号化情報に基づいて、映像信号の各画面における特定のブロック領域毎の動きベクトルによって予測された領域の動きベクトル符号量を算出する動きベクトル符号量算出手段、符号化情報抽出手段によって抽出された符号化情報に基づいて、直交変換によって符号化された領域の直交変換符号量を算出する直交変換符号量算出手段、動きベクトル符号量と、直交変換符号量とを対比してグラフ化する符号量グラフ化手段、として機能させることを特徴とする。
【００３０】
かかる構成によれば、映像品質評価支援プログラムは、符号化情報抽出手段によって、符号化映像信号から符号化情報を抽出して、動きベクトル符号量算出手段によって、映像信号の各画面における特定のブロック領域毎の動きベクトルによって予測された領域の動きベクトル符号量を算出するとともに、直交変換符号量算出手段によって、直交変換として符号化された領域の直交変換符号量を算出する。そして、符号量グラフ化手段によって、動きベクトル符号量と直交変換符号量とを、例えば棒グラフ等で対比させて提示することで、符号化映像情報に占める動きベクトル符号量と直交変換符号量との割合を視覚化する。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（映像品質評価支援装置の構成）
図１は、本発明における映像品質評価支援装置の構成を示したブロック図である。図１に示すように映像品質評価支援装置１は、符号化された映像信号（符号化映像）から、映像品質に関連する符号化情報（パラメータ）を抽出し、映像品質に関連する符号化情報を、復号した映像に合成して表示したり、グラフ化して表示したりすることで、映像の品質劣化の要因を特定するものである。なお、ここでは、映像品質評価支援装置１に入力される信号は、デジタル映像信号をＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）によって圧縮符号化し、ストリームデータとしたトランスポート・ストリーム（ＴＳ：Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）とする。
【００３２】
この映像品質評価支援装置１は、符号化映像受信手段１０と、映像復号手段１１と、符号化情報抽出手段１２と、符号化情報変換手段１３と、合成表示手段１４と、グラフ表示手段１５と、操作入力手段１６と、制御手段１７と、を備える構成とした。
【００３３】
符号化映像受信手段１０は、符号化映像信号（トランスポート・ストリーム）を入力し、映像復号手段１１及び符号化情報抽出手段１２へ出力するものである。この符号化映像受信手段１０は、デジタル放送で放送される符号化映像信号（トランスポート・ストリーム）を入力する以外に、ＤＶＤ等のデジタル記録媒体に記録されるプログラム・ストリーム（ＰＳ：Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）を入力する形態であってもよい。
【００３４】
映像復号手段１１は、符号化映像受信手段１０から入力される符号化映像信号を復号して映像信号として出力するものである。ここで復号された映像信号は合成表示手段１４へ出力される。
【００３５】
符号化情報抽出手段１２は、符号化映像受信手段１０から入力される符号化映像信号から符号化情報（パラメータ）を抽出ものである。なお、ここでは、映像品質に関連するパラメータ以外にも、映像を解析する目的で種々のパラメータを抽出することとする。
【００３６】
ここで、図８乃至図１２を参照して、符号化情報抽出手段１２で抽出するパラメータについて説明する。図８乃至図１２はＭＰＥＧ２のデータの構造を示す階層構造の各階層の内容を示している。ＭＰＥＧ２はシーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック層、ブロック層からなっており、図８はシーケンス層、図９はＧＯＰ層、図１０はピクチャ層、図１１はスライス層、図１２はマクロブロック層の略称、内容、ビット長、抽出を行うかどうかの実施区分（抽出実施）及びパラメータの表示方法（備考）を示している。なお、ブロック層はパラメータを抽出しないため図示していない。
【００３７】
例えば、図８では、シーケンス層から、符号化情報抽出手段１２が水平画素数（ＨＳＶ）を抽出して、映像画面にスーパーインポーズで表示させることを示している。また例えば、図１２のマクロブロック層からは、量子化スケール値（ＱＳＣ：Ｑｕａｎｔｉｚｅｒ Ｓｃａｌｅ Ｃｏｄｅ）を抽出して、映像画面上に色別で表示させることを示している。なお、図８乃至図１２は、ＭＰＥＧ２の一般的なパラメータを示しているので詳細な説明は省略する。また、符号化情報抽出手段１２によって抽出する個々のパラメータについては、後の説明において逐次説明を行う。
図１に戻って説明を続ける。
【００３８】
符号化情報変換手段１３は、テキスト変換部１３ａと色情報変換部（量子化スケール色情報変換手段、量子化マトリクス色情報変換手段）１３ｂとを備え、符号化情報抽出手段１２で抽出された符号化情報（パラメータ）をテキスト情報や色情報に変換するものである。
【００３９】
テキスト変換部１３ａは、符号化情報抽出手段１２で抽出されたパラメータの中で、文字列として表示可能な数値データをテキスト情報である文字コードに変換するものである。ここで変換されたテキスト情報は合成表示手段１４へ出力される。例えば、水平画素数（ＨＳＶ）（図８参照）等の数値データを文字コードに変換する。なお、このテキスト情報を表示させる表示位置情報は予めパラメータの種類に応じて設定しておき、テキスト情報にはその表示位置情報を含んでいるものとする。あるいは、操作入力手段１６から表示位置情報を入力する形態であっても構わない。
【００４０】
色情報変換部１３ｂは、符号化情報抽出手段１２で抽出されたパラメータの中で、レベルを有する値を、そのレベルを段階的に色分けした色情報に変換するものである。例えば、量子化スケール値（ＱＳＣ）（図１２参照）の値に応じて、その値が取り得る最大値と最小値を基準に色分けを行い、その量子化スケール値を色情報に変換する。この量子化スケール値（ＱＳＣ）は、色情報変換部１３ｂから映像フレームを構成するマクロブロック単位に連続で出力される。
なお、この色情報の詳細については後記する。
【００４１】
合成表示手段１４は、テキスト合成部１４ａと映像合成部（映像合成手段）１４ｂとを備え、映像復号手段１１で復号された映像信号に、符号化情報変換手段１３で変換されたテキスト情報や色情報を合成した合成映像を出力するものである。
【００４２】
テキスト合成部１４ａは、符号化情報変換手段１３のテキスト変換部１３ａで変換されたテキスト情報に基づいて、映像復号手段１１で復号された映像信号にテキスト（キャラクタ）を合成（スーパーインポーズ）した合成映像信号（合成映像）を生成するものである。これによって、映像再生中にその映像の各種情報をテキストとして画面上で確認することができる。
【００４３】
映像合成部１４ｂは、符号化情報変換手段１３の色情報変換部１３ｂで変換された色情報に基づいて、映像復号手段１１で復号された映像信号に色情報を合成した合成映像信号（合成映像）を生成するものである。ここで生成された合成映像は図示していない表示装置で映像画面として表示される。
【００４４】
例えば、量子化スケール値（ＱＳＣ）（図１２参照）を色情報として映像信号に合成する場合、映像信号を輝度情報のみの白黒映像信号に変換し、その白黒映像信号に色情報を合成する。これによって、映像の内容の概略を確認しながら、映像のどの部分で量子化によってデータが多く削減されているかを確認することができる。
【００４５】
なお、ここでは合成表示手段１４が合成映像のみを出力するものとしたが、映像復号手段１１で復号された映像信号（元の映像）と合成映像とを切り換えて出力する、又は、画面を分割して元の映像と合成映像とを同時に表示させる構成であっても構わない。
【００４６】
ここで、図２を参照して、合成表示手段１４によって生成される合成画像について説明する。図２（ａ）は、映像復号手段１１によって復号された元となる映像の内容を表しており、図２（ｂ）は、合成表示手段１４から出力される合成映像の内容を表している。
【００４７】
ＭＰＥＧ２には、ピクチャ毎に量子化スケール値の最大値が異なる２つのモード（非線形ステップ、線形ステップ）が存在する。この２つのモードは、量子化（Ｑ）スケールタイプ（ＱＳＴ）（図１０参照）で指定される。そこで、図２（ｂ）の２ａに示すように非線形ステップにおける量子化スケール値の色情報は、量子化スケール値が最大「１１２」の場合を赤（Ｒｅｄ）、「５６」の場合を緑（Ｇｒｅｅｎ）、最小「１」の場合を青（Ｂｌｕｅ）というように段階的に色分けを行う。また、２ｂに示すように線形ステップにおける量子化スケール値の色情報は、量子化スケール値が最大「６４」の場合を赤（Ｒｅｄ）、「３２」の場合を緑（Ｇｒｅｅｎ）、最小「１」の場合を青（Ｂｌｕｅ）というように段階的に色分けを行う。
【００４８】
また、図２（ｂ）の合成映像は、図２（ａ）の映像内容の色情報のみを変換したものであるため、映像内容を確認することができる。このように量子化スケール値の情報を画面上で色分けして表示することで、画面内のどの部分で量子化が多く行われているかを確認することができる。
図１に戻って説明を続ける。
【００４９】
グラフ表示手段１５は、量子化マトリクスグラフ化部（量子化マトリクスグラフ化手段）１５ａと、動きベクトル位置グラフ化部（動きベクトル位置グラフ化手段）１５ｂと、符号量算出部（動きベクトル符号量算出手段、直交変換符号量算出手段）１５ｃ、符号量グラフ化部（符号量グラフ化手段）１５ｄとを備え、符号化情報抽出手段１２で抽出された符号化情報（パラメータ）に基づいて、各種パラメータをグラフ化してグラフ画像を生成して出力するものである。
【００５０】
量子化マトリクスグラフ化部１５ａは、符号化情報抽出手段１２で抽出された符号化情報（パラメータ）の中で、映像信号の周波数成分毎に設定される量子化のレベルを示す量子化マトリクスを、そのレベルを段階的に色分けした色情報に変換してグラフ化するものである。
【００５１】
この量子化マトリクスは、図１０のピクチャ層のパラメータで示されるイントラＭＢ（マクロブロック）用量子化マトリクスデータ（ＩＱＭ）、非イントラＭＢ用量子化マトリクスデータ（ＮＩＱＭ）、色差イントラＭＢ用量子化マトリクスデータ（ＣＩＱＭ）、色差非イントラＭＢ用量子化マトリクスデータ（ＣＮＩＱＭ）の数値である。
【００５２】
図４に量子化マトリクスを色情報に変換する例を示す。図４に示すように、量子化マトリクスグラフ化部１５ａは、量子化マトリクスの値を最小値「１」から最大値「２５５」まで段階的に色を定義した色定義テーブル４ｅに基づいて、各量子化マトリクスの値に対応する色に変換して、量子化マトリクスの値をグラフ化する。図４には、輝度イントラＭＢ用量子化マトリクスデータ（ＩＱＭ）４ａ、輝度非イントラＭＢ用量子化マトリクスデータ（ＮＩＱＭ）４ｂ、色差イントラＭＢ用量子化マトリクスデータ（ＣＩＱＭ）４ｃ、色差非イントラＭＢ用量子化マトリクスデータ（ＣＮＩＱＭ）４ｄを色表示した例を示している。
【００５３】
例えば、イントラＭＢ用量子化マトリクスデータ（ＩＱＭ）４ａは、水平周波数成分ｕと垂直周波数成分ｖの高い領域が赤（Ｒｅｄ）となっており、量子化によってより多く情報量が削減されていることを表している。
【００５４】
動きベクトル位置グラフ化部１５ｂは、符号化情報抽出手段１２で抽出された符号化情報（パラメータ）の中で、動きベクトル探索範囲と動きベクトルで符号化されたマクロブロックの位置をグラフ化するものである。
ＭＰＥＧ２のような動き補償フレーム間予測符号化では、動きベクトル探索範囲を広げ過ぎると、動きベクトル位置の検索を行う演算量が膨大になり、一般的には、動きベクトル探索範囲を制限して動きベクトル位置の探索処理の効率化を行っている。
【００５５】
この動きベクトル位置グラフ化部１５ｂは、動きベクトル探索範囲を図１０のピクチャ層のパラメータで示される順方向水平動きベクトル探索範囲（ＦＨＦＣ）、順方向垂直動きベクトル探索範囲（ＦＶＦＣ）、逆方向水平動きベクトル探索範囲（ＢＨＦＣ）、逆方向垂直動きベクトル探索範囲（ＢＶＦＣ）の数値でその大きさを表わす。また、マクロブロックが動きベクトルで符号化されているかどうかは、図１２のマクロブロック層の動きベクトルを示すビット（ＭＨＣ〜ＤＶ間のビット）の有無によって判定する。
【００５６】
図５に動きベクトル位置を表示する例を示す。図５（ａ）はピクチャ上に動きベクトル探索範囲５ａを表示させた例を示している。この動きベクトル探索範囲５ａは、前記した各動きベクトル探索範囲（ＦＨＦＣ、ＦＶＦＣ、ＢＨＦＣ、ＢＶＦＣ）によって、ピクチャ毎、順方向又は逆方向毎に表示することができる。
【００５７】
また、図５（ｂ）は動きベクトルで符号化されたマクロブロック位置５ｂを、動きベクトル探索範囲５ａ上にプロットした例を示している。これによって、画面内のどの部分において動きベクトルがどのように探索されているかを視覚化することができ、映像の動きと動きベクトルとの関係から、符号化における動き探索の評価を行うことができる。
【００５８】
符号量算出部１５ｃは、符号化情報抽出手段１２で抽出された符号化情報（パラメータ）の中で、各画面における特定のブロック領域毎の動きベクトルによって予測された領域の動きベクトル符号量、直交変換によって符号化された領域の直交変換符号量を算出するものである。
【００５９】
この符号量算出部１５ｃでは、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒｓのビット数（図１２のマクロブロック層の動きベクトルを示すＭＨＣ〜ＤＶのビット数）を加算することで動きベクトル符号量を算出する。また、直交変換符号量としては、Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｔｅｒｎのビット数（図１２のマクロブロック層の符号化ブロックのパターンを示すパターン番号（ＣＢＰ４２０、ＣＢＰ１、ＣＢＰ２）及びブロック層（図示せず）のビット数）を加算する。なお、ブロック層のビット数のみを直交変換符号量とすることとしてもよい。
【００６０】
符号量グラフ化部１５ｄは、符号量算出部１５ｃで算出された動きベクトル符号量と直交変換符号量とを、符号化映像信号に占める消費ビットとして対比してグラフ化するものである。
ＭＰＥＧ２では、符号化映像の画質を左右する要素として、動き補償予測の予測の精度、動き予測によって生じる予測誤差を離散コサイン変換して得られるＤＣＴ係数を帯域（回線容量）に収めるように情報量を削減する量子化の程度によって変動する。そこで、符号量グラフ化部１５ｄでは、この動き補償予測の予測の精度を動きベクトル符号量（ＭＶ）、ＤＣＴ係数の量子化の程度を直交変換符号量（ＤＣＴ）として視覚化する。
【００６１】
ここで、図６を参照して、符号量グラフ化部１５ｄによって生成されるグラフ画像について説明する。図６は、動きベクトル符号量と直交変換符号量とが符号化映像信号に占める消費ビットをグラフ化したグラフ画像の例を示している。図６（ａ）は、符号化映像信号内の動きベクトル量（ＭＶ）及び直交変換符号量（ＤＣＴ）、符号化映像信号内のヘッダ情報（Ｈｅａｄｅｒ：図１０のピクチャ層と図１１のスライス層の全てのパラメータと、図１２のマクロブロック層の量子化スケール値（ＱＳＣ）まで）を棒グラフで表している。なお、ここでは同時に符号化映像信号の伝送レート（Ｂｉｔｒａｔｅ）も併せて折れ線グラフで表している。
【００６２】
このように、動きベクトル符号量と直交変換符号量とが符号化映像信号に占める消費ビットをグラフ化することで、画質劣化の原因を特定することができる。例えば、画質の劣化が見られ、そのときの映像が画面全体に一様で動き予測が行いやすいにもかかわらず、直交変換符号量の割合が多い場合は、予測誤差が多いため充分な品質で映像を符号化するだけの帯域がないといえる。また、例えば、動きが激しい映像で動きベクトル符号量が多い映像で画質の劣化が見られるときは、動き誤差も大きくＤＣＴ係数を量子化する帯域がないことが原因と想定される。
【００６３】
また、図６（ｂ）では、ピクチャ毎（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）のビット量を棒グラフ化した例を示している。これは、符号量算出部１５ｃ（図１）で図１０のピクチャ毎のピクチャタイプ（ＰＣＴ）でピクチャを判定し、そのピクチャ毎にビット量を算出して、符号量グラフ化部１５ｄ（図１）でそのビット量をグラフ化することで実現することができる。
【００６４】
さらに、図６（ｃ）では、各フレームの平均量子化スケール値（Ａｖｅｇ．Ｑ）や、画質評価を数値化した画質評価値（Ｑｕａｒｉｔｙ）を時系列に折れ線グラフで表示した例を示している。ここでは画質評価値は（１）式で求めている。
【００６５】
画質評価値＝−３．６５＋０．２１（Ｑ−ａｖｅ）＋８３．７９（ＳＴＤ−ａｖｅ）＋９．１８（ＳＴＤ−ｍａｘ） ………（１）
【００６６】
ここで、Ｑ−ａｖｅは、量子化スケール値のフレーム内平均値を示し、ＳＴＤ−ａｖｅは、量子化スケール値のフレーム内偏差の１５フレーム分の平均値を示し、ＳＴＤ−ｍａｘは、量子化スケール値のフレーム内偏差の１５フレーム分の最大値を示している。（１）式は、画質評価を数値化する一例でありこれに限定されるものではない。
このように、符号化映像におけるパラメータを抽出し視覚化することで、品質異常の原因を速やかに特定することが可能になる。
図１に戻って説明を続ける。
【００６７】
操作入力手段１６は、外部の操作パネル（図示せず）等からの操作内容を入力ものである。例えば、合成表示手段１４から出力される合成画像や、グラフ表示手段１５から出力されるグラフ画像の内容をパラメータ毎に切り替えたり、表示するピクチャを切り替えたりする等の操作を受け付けるものである。
【００６８】
制御手段１７は、映像品質評価支援装置１全体の制御を行うものであり、ＣＰＵやその周辺回路等で構成されているものである。この制御手段１７は、この映像品質評価支援装置１の操作を行うためのメニュー画面を生成し、合成表示手段１４を介して合成画像としてメニュー画面を表示させたり、グラフ表示手段１５を介してグラフ画像としてグラフ切り替え等の画面の表示を行う。
【００６９】
以上、一実施形態に基づいて、映像品質評価支援装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、映像品質評価支援装置１からグラフ表示手段１５を削除し、合成映像のみを出力する形態であっても構わない。さらに、グラフ表示手段１５を削除した状態で、符号化情報抽出手段１２で抽出したパラメータを外部に出力する形態とし、外部のパーソナルコンピュータ（ＰＣ）等でそのパラメータに基づいてグラフ化を行いグラフ画像を生成する形態であっても構わない。
また、映像品質評価支援装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して映像品質評価支援プログラムとして動作させることも可能である。
【００７０】
（映像品質評価支援装置の動作）
次に、映像品質評価支援装置１の動作について説明する。
［合成映像出力例］
まず、図１及び図２を参照して合成映像を出力する動作例について説明する。
映像品質評価支援装置１は、符号化映像受信手段１０によって、符号化映像信号（ＴＳ：トランスポート・ストリーム）を受信し、映像復号手段１１によって、その符号化映像信号を復号する。一方、符号化映像受信手段１０で受信した符号化映像信号は、符号化情報抽出手段１２によって、符号化情報（パラメータ）が抽出される。
【００７１】
この符号化情報抽出手段１２で抽出されたパラメータで、文字列として表示可能な数値データは、テキスト変換部１３ａによって文字コードに変換され、テキスト合成部１４ａによって、映像復号手段１１で復号された映像に合成される。
また、符号化情報抽出手段１２で抽出された量子化スケール値（ＱＳＣ）は、色情報変換部１３ｂによって量子化レベルに基づいた色情報に変換される。そして、映像合成部１４ｂが、映像復号手段１１で復号された映像を輝度情報のみの白黒映像信号に変換し、その白黒映像信号に量子化スケール値の色情報を合成する。
【００７２】
ここで合成された合成映像は、図２（ｂ）に示すように、映像の内容の概略を確認しながら、映像のどの部分で量子化によって多くデータが削減されているかを確認することができる。なお、この図２（ｂ）では文字コードを合成した例を示していないが、一般的なスーパーインポーズの技術を用いて表示させることができる。
【００７３】
［グラフ画像出力例］
次に、図１及び図３を参照してグラフ画像を出力する動作例について説明する。図３はグラフ画像を表示したグラフ画像画面３の例を示している。
映像品質評価支援装置１は、符号化映像受信手段１０によって、符号化映像信号（ＴＳ：トランスポート・ストリーム）を受信し、符号化情報抽出手段１２によって、符号化情報（パラメータ）を抽出する。
【００７４】
そして、映像品質評価支援装置１は、量子化マトリクスグラフ化部１５ａによって、符号化情報抽出手段１２で抽出したパラメータの量子化マトリクスの値を最小値「１」から最大値「２５５」まで段階的に色を付して、量子化マトリクス情報３０としてグラフ化する。この量子化マトリクス情報３０では、ピクチャ毎の輝度量子化マトリクスをグラフ化した例を示しているが、操作入力手段１６から入力される切り替え信号に基づいて、色差量子化マトリクスに切り替えることとしてもよい。
【００７５】
また、映像品質評価支援装置１は、動きベクトル位置グラフ化部１５ｂによって、符号化情報抽出手段１２で抽出したパラメータの動きベクトル探索範囲を動きベクトル情報３１としてグラフ化する。この動きベクトル情報３１では、動きベクトル探索範囲のみを表示した例を示しているが、その動きベクトル探索範囲内に、動きベクトルで符号化されたマクロブロック位置をプロットして表示してもよい。
【００７６】
さらに、映像品質評価支援装置１は、符号量算出部１５ｃによって、符号化情報抽出手段１２で抽出されたパラメータから、動きベクトルによって予測された領域の動きベクトル符号量、直交変換によって符号化された領域の直交変換符号量を算出し、符号量グラフ化部１５ｄによって、動きベクトル符号量（ＭＶ）、直交変換符号量（ＤＣＴ）を消費ビット情報３２としてグラフ化する。この消費ビット情報３２は、図６で説明した（ａ）〜（ｃ）の画面を切り替えて表示する形態であっても構わない。
【００７７】
なお、このグラフ画像画面３では、符号化情報抽出手段１２で抽出されたパラメータから、種々の情報をヘッダ情報３３として表示した例を示している。例えば、シーケンス情報（Ｓｅｑｕｅｎｃｅ Ｌａｙｅｒ）３３ａでは、図８のシーケンス層のパラメータの情報をテキスト情報として表示している。また、ＧＯＰ情報（ＧＯＰ Ｌａｙｅｒ）３３ｂでは、図９のＧＯＰ層のパラメータの情報をＯＮ／ＯＦＦのフラグで表示している。さらに、ピクチャ情報（ＰｉｃｔｕｒｅＬａｙｅｒ）３３ｃでは、図１０のピクチャ層のパラメータの情報をテキスト情報として表示している。このように、グラフ化して表示できないヘッダ情報の内容はグラフ画像画面３上にテキスト情報や、ＯＮ／ＯＦＦのフラグ情報で表示することとする。
【００７８】
また、グラフ画像画面３では、エラー情報３４として示したように、符号化映像受信手段１０に入力される符号化映像信号が切断されたり（回線切断）、入力されるパケットが連続していない等の物理的なエラー情報を表示させる形態であっても構わない。これは、符号化映像受信手段１０で入力される符号化映像信号を監視することで実現することができる。ここで、例えば符号化映像信号の入力に障害が発生したときに、図７（ａ）のメッセージ画面をグラフ画像画面３上に表示させることとする。そして、障害が復旧したときは、さらに図７（ｂ）の確認画面を表示させ、監視者が確認を行うこととする。
以上の動作によって、映像品質評価支援装置１は、リアルタイムで映像を確認しながら映像の品質評価を支援することが可能になる。
【００７９】
【発明の効果】
以上説明したとおり、本発明に係る映像品質評価支援装置、及び映像品質評価支援プログラムでは、以下に示す優れた効果を奏する。
【００８０】
請求項１又は請求項５に記載の発明によれば、映像信号を符号化した符号化映像信号を再生するときに、映像信号の特定のブロック領域毎に設定される量子化のレベルを示す量子化スケールを色分けして表示させることができるので、画質劣化が発生しているときに、画面上のどこで量子化を多く行って画質劣化を発生させているかを、視覚的に確認することができる。これによって画質劣化の要因を特定する支援を行うことが可能になる。
【００８１】
請求項２又は請求項６に記載の発明によれば、映像信号を符号化した符号化映像信号を再生するときに、周波数成分毎の量子化のレベルを示す量子化マトリクスを色分けして表示させることができるので、画質劣化が発生しているときに、どの周波数成分が特に劣化しているかを、視覚的に確認することができる。これによって画質劣化の要因を特定する支援を行うことが可能になる。
【００８２】
請求項３又は請求項７に記載の発明によれば、映像信号を符号化した符号化映像信号を再生するときに、画面内のマクロブロック毎に探索された動きベクトルが、実際の映像の動きとどの程度一致しているかを視覚的に確認することができる。これによって、映像内でブロック状に劣化が発生している場合に、その劣化と動きベクトルの検出範囲との関係を視覚化することで、画質劣化の要因を特定する支援を行うことができる。さらに、ＭＰＥＧ２のような動き補償予測によって符号化を行う符号化方式において、計算量のほとんどを占める動き探索のアルゴリズムの良否を判定することができる。
【００８３】
請求項４又は請求項８に記載の発明によれば、映像信号を符号化した符号化映像信号において、動きベクトルによって予測された領域の動きベクトル符号量と、直交変換によって符号化された領域の直交変換符号量との消費ビットの割合を視覚化して提示することが可能になる。これによって、実際の映像の動きと消費ビットの割合から画質劣化の要因を特定する支援を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る映像品質評価支援装置の全体構成を示すブロック図である。
【図２】本発明の実施の形態に係る量子化スケールのレベルを色分けして表示する合成映像を示す画面例である。
【図３】本発明の実施の形態に係るグラフ画像を示す画面例である。
【図４】本発明の実施の形態に係る量子化マトリクスを色情報に変換する例を示すマトリクス図である。
【図５】本発明の実施の形態に係る動きベクトル探索範囲と動きベクトル位置を表示させる例を説明するための説明図である。
【図６】本発明の実施の形態に係る消費ビットの割合を示すグラフである。
【図７】本発明の実施の形態に係る映像品質評価支援装置のメッセージを表示する画面例である。
【図８】シーケンス層のパラメータを説明するためのパラメータ図である。
【図９】ＧＯＰ層のパラメータを説明するためのパラメータ図である。
【図１０】ピクチャ層のパラメータを説明するためのパラメータ図である。
【図１１】スライス層のパラメータを説明するためのパラメータ図である。
【図１２】マクロブロック層のパラメータを説明するためのパラメータ図である。
【符号の説明】
１……映像品質評価支援装置
１０……符号化映像受信手段
１１……映像復号手段
１２……符号化情報抽出手段
１３……符号化情報変換手段
１３ａ……テキスト変換部
１３ｂ……色情報変換部（量子化スケール色情報変換手段、量子化マトリクス色情報変換手段）
１４……合成表示手段
１４ａ……テキスト合成部
１４ｂ……映像合成部（映像合成手段）
１５……グラフ表示手段
１５ａ……量子化マトリクスグラフ化部（量子化マトリクスグラフ化手段）
１５ｂ……動きベクトル位置グラフ化部（動きベクトル位置グラフ化手段）
１５ｃ……符号量算出部（動きベクトル符号量算出手段、直交変換符号量算出手段）
１５ｄ……符号量グラフ化部（符号量グラフ化手段）
１６……操作入力手段
１７……制御手段
１８……バス
【発明の属する技術分野】
本発明は、符号化されたデジタル映像信号の品質を評価する品質評価技術に関し、より詳細には、符号化されたデジタル映像信号に含まれる符号化情報を可視化することで、映像信号の品質評価を支援する映像品質評価支援装置、及び映像品質評価支援プログラムに関する。
【０００２】
【従来の技術】
従来、映像の品質を評価するには、映像信号を再生して出力するテレビ等の画面の画質等によって、人間が主観的に評価を行っていた。また一方では、映像信号の信号対雑音電力比（ＳＮＲ）、ビットエラーレート（ＢＥＲ）等の各種データを測定した数値データに基づいて、客観的に映像の品質評価を行っていた。
このように、従来は、映像の品質を評価するには、主観的な評価及び客観的な評価、あるいはそのいずれか一方により行われていた。
【０００３】
【発明が解決しようとする課題】
しかし、前記従来の技術において、客観的評価は、映像信号の伝送上の品質評価を目的としており、デジタル映像を符号化するときの量子化に伴う画質劣化を評価することはできない。また、この量子化に伴う画質劣化を評価するには主観的評価を行うしか方法がなく、デジタル映像の量子化に伴う画質劣化の問題が発生した場合、その原因を特定することは困難であるという問題があった。
【０００４】
本発明は、以上のような問題点に鑑みてなされたものであり、デジタル映像信号の品質評価を、人間が映像を見て評価を行う主観評価と、デジタル映像を符号化した符号化映像の情報を視覚化して評価を行う客観評価とを対応付けて行い、品質異常の原因を速やかに特定することを可能にした映像品質評価支援装置、及び映像品質評価支援プログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像品質評価支援装置は、映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、符号化映像信号を復号したときの映像信号の品質評価を支援する映像品質評価支援装置であって、符号化映像信号から符号化情報を抽出する符号化情報抽出手段と、符号化映像信号を復号する映像復号手段と、符号化情報に含まれる映像信号の特定のブロック領域毎に設定される量子化のレベルを示す量子化スケールを、その量子化スケールの値に基づいて色分けした色情報に変換する量子化スケール色情報変換手段と、この量子化スケール色情報変換手段で変換されたブロック領域毎の色情報を、映像復号手段によって復号された映像信号のブロック領域に対応する映像領域に合成する映像合成手段と、を備える構成とした。
【０００６】
かかる構成によれば、映像品質評価支援装置は、符号化情報抽出手段によって、符号化映像信号から符号化情報を抽出するとともに、映像復号手段によって符号化映像信号を復号する。このとき、符号化情報抽出手段で抽出した符号化情報（パラメータ）に基づいて、量子化スケール色情報変換手段が、特定のブロック領域毎に設定される量子化のレベルを示す量子化スケールを、その量子化スケールの値に基づいて色分けを行い、映像合成手段によって映像信号に合成して提示することで、映像上のどの領域でどの程度の量子化が行われているかを視覚化する。
【０００７】
ここで、量子化スケール（量子化スケール値）とは、映像信号の符号化において、符号量を削減するために量子化を行うときの量子化の粗さを示す値であり、この量子化スケール値が大きいほど、量子化によって削減される情報量が多くなる。
【０００８】
また、請求項２に記載の映像品質評価支援装置は、請求項１に記載の映像品質評価支援装置において、符号化情報に含まれる映像信号の周波数成分毎に設定される量子化のレベルを示す量子化マトリクスを、その量子化マトリクスの値に基づいて色分けした色情報に変換してグラフ化する量子化マトリクスグラフ化手段を備えていることを特徴とする。
【０００９】
かかる構成によれば、映像品質評価支援装置は、量子化マトリクスグラフ化手段によって、符号化情報に含まれる映像信号の周波数成分毎に設定される量子化のレベルを示す量子化マトリクスを、その量子化マトリクスの値に基づいて色分けしてグラフとして提示することで、どの周波数成分がどの程度の量子化が行われているかを視覚化する。
【００１０】
ここで、量子化マトリクスとは、映像信号の周波数成分であるＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）係数を量子化（除算）する際に用いられる係数の配列であり、マクロブロック内の周波数成分毎の量子化の程度を表すものである。この量子化マトリクスの値が大きいほど、量子化によって削除される情報量が多くなる。
【００１１】
さらに、請求項３に記載の映像品質評価支援装置は、映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、符号化映像信号を復号したときの映像信号の品質評価を支援する映像品質評価支援装置であって、符号化映像信号から符号化情報を抽出する符号化情報抽出手段と、この符号化情報抽出手段によって抽出された符号化情報に基づいて、動きベクトルによって予測されたブロック領域の位置を、映像信号の各画面における相対位置としてグラフ化する動きベクトル位置グラフ化手段と、を備える構成とした。
【００１２】
かかる構成によれば、映像品質評価支援装置は、符号化情報抽出手段によって、符号化映像信号から符号化情報を抽出して、動きベクトル位置グラフ化手段によって、動きベクトルとして予測されたブロック領域の位置を提示することで、映像上のどの領域が動きベクトルとして探索されているかを視覚化する。
【００１３】
この動きベクトルは、動き補償技術によって符号化されるＭＰＥＧ２等の符号化方式で用いられ、映像中の時間的に前又は後のフレームから同一領域として認識される領域を探索し、その探索された領域をいう。
【００１４】
また、請求項４に記載の映像品質評価支援装置は、映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、符号化映像信号を復号したときの映像信号の品質評価を支援する映像品質評価支援装置であって、符号化映像信号から符号化情報を抽出する符号化情報抽出手段と、この符号化情報抽出手段によって抽出された符号化情報に基づいて、映像信号の各画面における特定のブロック領域毎の動きベクトルによって予測された領域の動きベクトル符号量を算出する動きベクトル符号量算出手段と、符号化情報抽出手段によって抽出された符号化情報に基づいて、直交変換によって符号化された領域の直交変換符号量を算出する直交変換符号量算出手段と、動きベクトル符号量と、直交変換符号量とを対比してグラフ化する符号量グラフ化手段と、を備える構成とした。
【００１５】
かかる構成によれば、映像品質評価支援装置は、符号化情報抽出手段によって、符号化映像信号から符号化情報を抽出して、動きベクトル符号量算出手段によって、映像信号の各画面における特定のブロック領域毎の動きベクトルによって予測された領域の動きベクトル符号量を算出するとともに、直交変換符号量算出手段によって、直交変換として符号化された領域の直交変換符号量を算出する。そして、符号量グラフ化手段によって、動きベクトル符号量と直交変換符号量とを、例えば棒グラフ等で対比させて提示することで、符号化映像情報に占める動きベクトル符号量と直交変換符号量との割合を視覚化する。
【００１６】
ここで動きベクトル符号量は、映像信号の各フレームが動きベクトルとして符号化された符号のビット数のことをいい、直交変換符号量は、映像信号の各フレームの周波数成分であるＤＣＴ（離散コサイン変換）係数として符号化された符号のビット数のことをいう。
【００２３】
また、請求項５に記載の映像品質評価支援プログラムは、映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、符号化映像信号を復号したときの映像信号の品質評価を支援するために、コンピュータを、符号化映像信号から符号化情報を抽出する符号化情報抽出手段、符号化映像信号を復号する映像復号手段、符号化情報に含まれる映像信号の特定のブロック領域毎に設定される量子化のレベルを示す量子化スケールを、その量子化スケールの値に基づいて色分けした色情報に変換する量子化スケール色情報変換手段、この量子化スケール色情報変換手段で変換されたブロック領域毎の色情報を、映像復号手段によって復号された前記映像信号の前記ブロック領域に対応する映像領域に合成する映像合成手段、として機能させることを特徴とする。
【００２４】
かかる構成によれば、映像品質評価支援プログラムは、符号化情報抽出手段によって、符号化映像信号から符号化情報を抽出するとともに、映像復号手段によって符号化映像信号を復号する。このとき、符号化情報抽出手段で抽出した符号化情報（パラメータ）に基づいて、量子化スケール色情報変換手段が、特定のブロック領域毎に設定される量子化のレベルを示す量子化スケールを、その量子化スケールの値に基づいて色分けを行い、映像合成手段によって映像信号に合成して提示することで、映像上のどの領域でどの程度の量子化が行われているかを視覚化する。
【００２５】
さらに、請求項６に記載の映像品質評価支援プログラムは、請求項５に記載の映像品質評価支援プログラムを、さらに符号化情報に含まれる映像信号の周波数成分毎に設定される量子化のレベルを示す量子化マトリクスを、その量子化マトリクスの値に基づいて色分けした色情報に変換してグラフ化する量子化マトリクスグラフ化手段、として機能させることを特徴とする。
【００２６】
かかる構成によれば、映像品質評価支援プログラムは、量子化マトリクスグラフ化手段によって、符号化情報に含まれる映像信号の周波数成分毎に設定される量子化のレベルを示す量子化マトリクスを、その量子化マトリクスの値に基づいて色分けしてグラフとして提示することで、どの周波数成分がどの程度の量子化が行われているかを視覚化する。
【００２７】
さらにまた、請求項７に記載の映像品質評価支援プログラムは、映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、符号化映像信号を復号したときの映像信号の品質評価を支援するために、コンピュータを、符号化映像信号から符号化情報を抽出する符号化情報抽出手段、この符号化情報抽出手段によって抽出された符号化情報に基づいて、動きベクトルによって予測されたブロック領域の位置を、映像信号の各画面における相対位置としてグラフ化する動きベクトル位置グラフ化手段、として機能させることを特徴とする。
【００２８】
かかる構成によれば、映像品質評価支援プログラムは、符号化情報抽出手段によって、符号化映像信号から符号化情報を抽出して、動きベクトル位置グラフ化手段によって、動きベクトルとして予測されたブロック領域の位置を提示することで、映像上のどの領域が動きベクトルとして探索されているかを視覚化する。
【００２９】
また、請求項８に記載の映像品質評価支援プログラムは、映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、符号化映像信号を復号したときの映像信号の品質評価を支援するために、コンピュータを、符号化映像信号から符号化情報を抽出する符号化情報抽出手段、この符号化情報抽出手段によって抽出された符号化情報に基づいて、映像信号の各画面における特定のブロック領域毎の動きベクトルによって予測された領域の動きベクトル符号量を算出する動きベクトル符号量算出手段、符号化情報抽出手段によって抽出された符号化情報に基づいて、直交変換によって符号化された領域の直交変換符号量を算出する直交変換符号量算出手段、動きベクトル符号量と、直交変換符号量とを対比してグラフ化する符号量グラフ化手段、として機能させることを特徴とする。
【００３０】
かかる構成によれば、映像品質評価支援プログラムは、符号化情報抽出手段によって、符号化映像信号から符号化情報を抽出して、動きベクトル符号量算出手段によって、映像信号の各画面における特定のブロック領域毎の動きベクトルによって予測された領域の動きベクトル符号量を算出するとともに、直交変換符号量算出手段によって、直交変換として符号化された領域の直交変換符号量を算出する。そして、符号量グラフ化手段によって、動きベクトル符号量と直交変換符号量とを、例えば棒グラフ等で対比させて提示することで、符号化映像情報に占める動きベクトル符号量と直交変換符号量との割合を視覚化する。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（映像品質評価支援装置の構成）
図１は、本発明における映像品質評価支援装置の構成を示したブロック図である。図１に示すように映像品質評価支援装置１は、符号化された映像信号（符号化映像）から、映像品質に関連する符号化情報（パラメータ）を抽出し、映像品質に関連する符号化情報を、復号した映像に合成して表示したり、グラフ化して表示したりすることで、映像の品質劣化の要因を特定するものである。なお、ここでは、映像品質評価支援装置１に入力される信号は、デジタル映像信号をＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）によって圧縮符号化し、ストリームデータとしたトランスポート・ストリーム（ＴＳ：Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）とする。
【００３２】
この映像品質評価支援装置１は、符号化映像受信手段１０と、映像復号手段１１と、符号化情報抽出手段１２と、符号化情報変換手段１３と、合成表示手段１４と、グラフ表示手段１５と、操作入力手段１６と、制御手段１７と、を備える構成とした。
【００３３】
符号化映像受信手段１０は、符号化映像信号（トランスポート・ストリーム）を入力し、映像復号手段１１及び符号化情報抽出手段１２へ出力するものである。この符号化映像受信手段１０は、デジタル放送で放送される符号化映像信号（トランスポート・ストリーム）を入力する以外に、ＤＶＤ等のデジタル記録媒体に記録されるプログラム・ストリーム（ＰＳ：Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）を入力する形態であってもよい。
【００３４】
映像復号手段１１は、符号化映像受信手段１０から入力される符号化映像信号を復号して映像信号として出力するものである。ここで復号された映像信号は合成表示手段１４へ出力される。
【００３５】
符号化情報抽出手段１２は、符号化映像受信手段１０から入力される符号化映像信号から符号化情報（パラメータ）を抽出ものである。なお、ここでは、映像品質に関連するパラメータ以外にも、映像を解析する目的で種々のパラメータを抽出することとする。
【００３６】
ここで、図８乃至図１２を参照して、符号化情報抽出手段１２で抽出するパラメータについて説明する。図８乃至図１２はＭＰＥＧ２のデータの構造を示す階層構造の各階層の内容を示している。ＭＰＥＧ２はシーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック層、ブロック層からなっており、図８はシーケンス層、図９はＧＯＰ層、図１０はピクチャ層、図１１はスライス層、図１２はマクロブロック層の略称、内容、ビット長、抽出を行うかどうかの実施区分（抽出実施）及びパラメータの表示方法（備考）を示している。なお、ブロック層はパラメータを抽出しないため図示していない。
【００３７】
例えば、図８では、シーケンス層から、符号化情報抽出手段１２が水平画素数（ＨＳＶ）を抽出して、映像画面にスーパーインポーズで表示させることを示している。また例えば、図１２のマクロブロック層からは、量子化スケール値（ＱＳＣ：Ｑｕａｎｔｉｚｅｒ Ｓｃａｌｅ Ｃｏｄｅ）を抽出して、映像画面上に色別で表示させることを示している。なお、図８乃至図１２は、ＭＰＥＧ２の一般的なパラメータを示しているので詳細な説明は省略する。また、符号化情報抽出手段１２によって抽出する個々のパラメータについては、後の説明において逐次説明を行う。
図１に戻って説明を続ける。
【００３８】
符号化情報変換手段１３は、テキスト変換部１３ａと色情報変換部（量子化スケール色情報変換手段、量子化マトリクス色情報変換手段）１３ｂとを備え、符号化情報抽出手段１２で抽出された符号化情報（パラメータ）をテキスト情報や色情報に変換するものである。
【００３９】
テキスト変換部１３ａは、符号化情報抽出手段１２で抽出されたパラメータの中で、文字列として表示可能な数値データをテキスト情報である文字コードに変換するものである。ここで変換されたテキスト情報は合成表示手段１４へ出力される。例えば、水平画素数（ＨＳＶ）（図８参照）等の数値データを文字コードに変換する。なお、このテキスト情報を表示させる表示位置情報は予めパラメータの種類に応じて設定しておき、テキスト情報にはその表示位置情報を含んでいるものとする。あるいは、操作入力手段１６から表示位置情報を入力する形態であっても構わない。
【００４０】
色情報変換部１３ｂは、符号化情報抽出手段１２で抽出されたパラメータの中で、レベルを有する値を、そのレベルを段階的に色分けした色情報に変換するものである。例えば、量子化スケール値（ＱＳＣ）（図１２参照）の値に応じて、その値が取り得る最大値と最小値を基準に色分けを行い、その量子化スケール値を色情報に変換する。この量子化スケール値（ＱＳＣ）は、色情報変換部１３ｂから映像フレームを構成するマクロブロック単位に連続で出力される。
なお、この色情報の詳細については後記する。
【００４１】
合成表示手段１４は、テキスト合成部１４ａと映像合成部（映像合成手段）１４ｂとを備え、映像復号手段１１で復号された映像信号に、符号化情報変換手段１３で変換されたテキスト情報や色情報を合成した合成映像を出力するものである。
【００４２】
テキスト合成部１４ａは、符号化情報変換手段１３のテキスト変換部１３ａで変換されたテキスト情報に基づいて、映像復号手段１１で復号された映像信号にテキスト（キャラクタ）を合成（スーパーインポーズ）した合成映像信号（合成映像）を生成するものである。これによって、映像再生中にその映像の各種情報をテキストとして画面上で確認することができる。
【００４３】
映像合成部１４ｂは、符号化情報変換手段１３の色情報変換部１３ｂで変換された色情報に基づいて、映像復号手段１１で復号された映像信号に色情報を合成した合成映像信号（合成映像）を生成するものである。ここで生成された合成映像は図示していない表示装置で映像画面として表示される。
【００４４】
例えば、量子化スケール値（ＱＳＣ）（図１２参照）を色情報として映像信号に合成する場合、映像信号を輝度情報のみの白黒映像信号に変換し、その白黒映像信号に色情報を合成する。これによって、映像の内容の概略を確認しながら、映像のどの部分で量子化によってデータが多く削減されているかを確認することができる。
【００４５】
なお、ここでは合成表示手段１４が合成映像のみを出力するものとしたが、映像復号手段１１で復号された映像信号（元の映像）と合成映像とを切り換えて出力する、又は、画面を分割して元の映像と合成映像とを同時に表示させる構成であっても構わない。
【００４６】
ここで、図２を参照して、合成表示手段１４によって生成される合成画像について説明する。図２（ａ）は、映像復号手段１１によって復号された元となる映像の内容を表しており、図２（ｂ）は、合成表示手段１４から出力される合成映像の内容を表している。
【００４７】
ＭＰＥＧ２には、ピクチャ毎に量子化スケール値の最大値が異なる２つのモード（非線形ステップ、線形ステップ）が存在する。この２つのモードは、量子化（Ｑ）スケールタイプ（ＱＳＴ）（図１０参照）で指定される。そこで、図２（ｂ）の２ａに示すように非線形ステップにおける量子化スケール値の色情報は、量子化スケール値が最大「１１２」の場合を赤（Ｒｅｄ）、「５６」の場合を緑（Ｇｒｅｅｎ）、最小「１」の場合を青（Ｂｌｕｅ）というように段階的に色分けを行う。また、２ｂに示すように線形ステップにおける量子化スケール値の色情報は、量子化スケール値が最大「６４」の場合を赤（Ｒｅｄ）、「３２」の場合を緑（Ｇｒｅｅｎ）、最小「１」の場合を青（Ｂｌｕｅ）というように段階的に色分けを行う。
【００４８】
また、図２（ｂ）の合成映像は、図２（ａ）の映像内容の色情報のみを変換したものであるため、映像内容を確認することができる。このように量子化スケール値の情報を画面上で色分けして表示することで、画面内のどの部分で量子化が多く行われているかを確認することができる。
図１に戻って説明を続ける。
【００４９】
グラフ表示手段１５は、量子化マトリクスグラフ化部（量子化マトリクスグラフ化手段）１５ａと、動きベクトル位置グラフ化部（動きベクトル位置グラフ化手段）１５ｂと、符号量算出部（動きベクトル符号量算出手段、直交変換符号量算出手段）１５ｃ、符号量グラフ化部（符号量グラフ化手段）１５ｄとを備え、符号化情報抽出手段１２で抽出された符号化情報（パラメータ）に基づいて、各種パラメータをグラフ化してグラフ画像を生成して出力するものである。
【００５０】
量子化マトリクスグラフ化部１５ａは、符号化情報抽出手段１２で抽出された符号化情報（パラメータ）の中で、映像信号の周波数成分毎に設定される量子化のレベルを示す量子化マトリクスを、そのレベルを段階的に色分けした色情報に変換してグラフ化するものである。
【００５１】
この量子化マトリクスは、図１０のピクチャ層のパラメータで示されるイントラＭＢ（マクロブロック）用量子化マトリクスデータ（ＩＱＭ）、非イントラＭＢ用量子化マトリクスデータ（ＮＩＱＭ）、色差イントラＭＢ用量子化マトリクスデータ（ＣＩＱＭ）、色差非イントラＭＢ用量子化マトリクスデータ（ＣＮＩＱＭ）の数値である。
【００５２】
図４に量子化マトリクスを色情報に変換する例を示す。図４に示すように、量子化マトリクスグラフ化部１５ａは、量子化マトリクスの値を最小値「１」から最大値「２５５」まで段階的に色を定義した色定義テーブル４ｅに基づいて、各量子化マトリクスの値に対応する色に変換して、量子化マトリクスの値をグラフ化する。図４には、輝度イントラＭＢ用量子化マトリクスデータ（ＩＱＭ）４ａ、輝度非イントラＭＢ用量子化マトリクスデータ（ＮＩＱＭ）４ｂ、色差イントラＭＢ用量子化マトリクスデータ（ＣＩＱＭ）４ｃ、色差非イントラＭＢ用量子化マトリクスデータ（ＣＮＩＱＭ）４ｄを色表示した例を示している。
【００５３】
例えば、イントラＭＢ用量子化マトリクスデータ（ＩＱＭ）４ａは、水平周波数成分ｕと垂直周波数成分ｖの高い領域が赤（Ｒｅｄ）となっており、量子化によってより多く情報量が削減されていることを表している。
【００５４】
動きベクトル位置グラフ化部１５ｂは、符号化情報抽出手段１２で抽出された符号化情報（パラメータ）の中で、動きベクトル探索範囲と動きベクトルで符号化されたマクロブロックの位置をグラフ化するものである。
ＭＰＥＧ２のような動き補償フレーム間予測符号化では、動きベクトル探索範囲を広げ過ぎると、動きベクトル位置の検索を行う演算量が膨大になり、一般的には、動きベクトル探索範囲を制限して動きベクトル位置の探索処理の効率化を行っている。
【００５５】
この動きベクトル位置グラフ化部１５ｂは、動きベクトル探索範囲を図１０のピクチャ層のパラメータで示される順方向水平動きベクトル探索範囲（ＦＨＦＣ）、順方向垂直動きベクトル探索範囲（ＦＶＦＣ）、逆方向水平動きベクトル探索範囲（ＢＨＦＣ）、逆方向垂直動きベクトル探索範囲（ＢＶＦＣ）の数値でその大きさを表わす。また、マクロブロックが動きベクトルで符号化されているかどうかは、図１２のマクロブロック層の動きベクトルを示すビット（ＭＨＣ〜ＤＶ間のビット）の有無によって判定する。
【００５６】
図５に動きベクトル位置を表示する例を示す。図５（ａ）はピクチャ上に動きベクトル探索範囲５ａを表示させた例を示している。この動きベクトル探索範囲５ａは、前記した各動きベクトル探索範囲（ＦＨＦＣ、ＦＶＦＣ、ＢＨＦＣ、ＢＶＦＣ）によって、ピクチャ毎、順方向又は逆方向毎に表示することができる。
【００５７】
また、図５（ｂ）は動きベクトルで符号化されたマクロブロック位置５ｂを、動きベクトル探索範囲５ａ上にプロットした例を示している。これによって、画面内のどの部分において動きベクトルがどのように探索されているかを視覚化することができ、映像の動きと動きベクトルとの関係から、符号化における動き探索の評価を行うことができる。
【００５８】
符号量算出部１５ｃは、符号化情報抽出手段１２で抽出された符号化情報（パラメータ）の中で、各画面における特定のブロック領域毎の動きベクトルによって予測された領域の動きベクトル符号量、直交変換によって符号化された領域の直交変換符号量を算出するものである。
【００５９】
この符号量算出部１５ｃでは、Ｍｏｔｉｏｎ Ｖｅｃｔｏｒｓのビット数（図１２のマクロブロック層の動きベクトルを示すＭＨＣ〜ＤＶのビット数）を加算することで動きベクトル符号量を算出する。また、直交変換符号量としては、Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｔｅｒｎのビット数（図１２のマクロブロック層の符号化ブロックのパターンを示すパターン番号（ＣＢＰ４２０、ＣＢＰ１、ＣＢＰ２）及びブロック層（図示せず）のビット数）を加算する。なお、ブロック層のビット数のみを直交変換符号量とすることとしてもよい。
【００６０】
符号量グラフ化部１５ｄは、符号量算出部１５ｃで算出された動きベクトル符号量と直交変換符号量とを、符号化映像信号に占める消費ビットとして対比してグラフ化するものである。
ＭＰＥＧ２では、符号化映像の画質を左右する要素として、動き補償予測の予測の精度、動き予測によって生じる予測誤差を離散コサイン変換して得られるＤＣＴ係数を帯域（回線容量）に収めるように情報量を削減する量子化の程度によって変動する。そこで、符号量グラフ化部１５ｄでは、この動き補償予測の予測の精度を動きベクトル符号量（ＭＶ）、ＤＣＴ係数の量子化の程度を直交変換符号量（ＤＣＴ）として視覚化する。
【００６１】
ここで、図６を参照して、符号量グラフ化部１５ｄによって生成されるグラフ画像について説明する。図６は、動きベクトル符号量と直交変換符号量とが符号化映像信号に占める消費ビットをグラフ化したグラフ画像の例を示している。図６（ａ）は、符号化映像信号内の動きベクトル量（ＭＶ）及び直交変換符号量（ＤＣＴ）、符号化映像信号内のヘッダ情報（Ｈｅａｄｅｒ：図１０のピクチャ層と図１１のスライス層の全てのパラメータと、図１２のマクロブロック層の量子化スケール値（ＱＳＣ）まで）を棒グラフで表している。なお、ここでは同時に符号化映像信号の伝送レート（Ｂｉｔｒａｔｅ）も併せて折れ線グラフで表している。
【００６２】
このように、動きベクトル符号量と直交変換符号量とが符号化映像信号に占める消費ビットをグラフ化することで、画質劣化の原因を特定することができる。例えば、画質の劣化が見られ、そのときの映像が画面全体に一様で動き予測が行いやすいにもかかわらず、直交変換符号量の割合が多い場合は、予測誤差が多いため充分な品質で映像を符号化するだけの帯域がないといえる。また、例えば、動きが激しい映像で動きベクトル符号量が多い映像で画質の劣化が見られるときは、動き誤差も大きくＤＣＴ係数を量子化する帯域がないことが原因と想定される。
【００６３】
また、図６（ｂ）では、ピクチャ毎（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）のビット量を棒グラフ化した例を示している。これは、符号量算出部１５ｃ（図１）で図１０のピクチャ毎のピクチャタイプ（ＰＣＴ）でピクチャを判定し、そのピクチャ毎にビット量を算出して、符号量グラフ化部１５ｄ（図１）でそのビット量をグラフ化することで実現することができる。
【００６４】
さらに、図６（ｃ）では、各フレームの平均量子化スケール値（Ａｖｅｇ．Ｑ）や、画質評価を数値化した画質評価値（Ｑｕａｒｉｔｙ）を時系列に折れ線グラフで表示した例を示している。ここでは画質評価値は（１）式で求めている。
【００６５】
画質評価値＝−３．６５＋０．２１（Ｑ−ａｖｅ）＋８３．７９（ＳＴＤ−ａｖｅ）＋９．１８（ＳＴＤ−ｍａｘ） ………（１）
【００６６】
ここで、Ｑ−ａｖｅは、量子化スケール値のフレーム内平均値を示し、ＳＴＤ−ａｖｅは、量子化スケール値のフレーム内偏差の１５フレーム分の平均値を示し、ＳＴＤ−ｍａｘは、量子化スケール値のフレーム内偏差の１５フレーム分の最大値を示している。（１）式は、画質評価を数値化する一例でありこれに限定されるものではない。
このように、符号化映像におけるパラメータを抽出し視覚化することで、品質異常の原因を速やかに特定することが可能になる。
図１に戻って説明を続ける。
【００６７】
操作入力手段１６は、外部の操作パネル（図示せず）等からの操作内容を入力ものである。例えば、合成表示手段１４から出力される合成画像や、グラフ表示手段１５から出力されるグラフ画像の内容をパラメータ毎に切り替えたり、表示するピクチャを切り替えたりする等の操作を受け付けるものである。
【００６８】
制御手段１７は、映像品質評価支援装置１全体の制御を行うものであり、ＣＰＵやその周辺回路等で構成されているものである。この制御手段１７は、この映像品質評価支援装置１の操作を行うためのメニュー画面を生成し、合成表示手段１４を介して合成画像としてメニュー画面を表示させたり、グラフ表示手段１５を介してグラフ画像としてグラフ切り替え等の画面の表示を行う。
【００６９】
以上、一実施形態に基づいて、映像品質評価支援装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、映像品質評価支援装置１からグラフ表示手段１５を削除し、合成映像のみを出力する形態であっても構わない。さらに、グラフ表示手段１５を削除した状態で、符号化情報抽出手段１２で抽出したパラメータを外部に出力する形態とし、外部のパーソナルコンピュータ（ＰＣ）等でそのパラメータに基づいてグラフ化を行いグラフ画像を生成する形態であっても構わない。
また、映像品質評価支援装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して映像品質評価支援プログラムとして動作させることも可能である。
【００７０】
（映像品質評価支援装置の動作）
次に、映像品質評価支援装置１の動作について説明する。
［合成映像出力例］
まず、図１及び図２を参照して合成映像を出力する動作例について説明する。
映像品質評価支援装置１は、符号化映像受信手段１０によって、符号化映像信号（ＴＳ：トランスポート・ストリーム）を受信し、映像復号手段１１によって、その符号化映像信号を復号する。一方、符号化映像受信手段１０で受信した符号化映像信号は、符号化情報抽出手段１２によって、符号化情報（パラメータ）が抽出される。
【００７１】
この符号化情報抽出手段１２で抽出されたパラメータで、文字列として表示可能な数値データは、テキスト変換部１３ａによって文字コードに変換され、テキスト合成部１４ａによって、映像復号手段１１で復号された映像に合成される。
また、符号化情報抽出手段１２で抽出された量子化スケール値（ＱＳＣ）は、色情報変換部１３ｂによって量子化レベルに基づいた色情報に変換される。そして、映像合成部１４ｂが、映像復号手段１１で復号された映像を輝度情報のみの白黒映像信号に変換し、その白黒映像信号に量子化スケール値の色情報を合成する。
【００７２】
ここで合成された合成映像は、図２（ｂ）に示すように、映像の内容の概略を確認しながら、映像のどの部分で量子化によって多くデータが削減されているかを確認することができる。なお、この図２（ｂ）では文字コードを合成した例を示していないが、一般的なスーパーインポーズの技術を用いて表示させることができる。
【００７３】
［グラフ画像出力例］
次に、図１及び図３を参照してグラフ画像を出力する動作例について説明する。図３はグラフ画像を表示したグラフ画像画面３の例を示している。
映像品質評価支援装置１は、符号化映像受信手段１０によって、符号化映像信号（ＴＳ：トランスポート・ストリーム）を受信し、符号化情報抽出手段１２によって、符号化情報（パラメータ）を抽出する。
【００７４】
そして、映像品質評価支援装置１は、量子化マトリクスグラフ化部１５ａによって、符号化情報抽出手段１２で抽出したパラメータの量子化マトリクスの値を最小値「１」から最大値「２５５」まで段階的に色を付して、量子化マトリクス情報３０としてグラフ化する。この量子化マトリクス情報３０では、ピクチャ毎の輝度量子化マトリクスをグラフ化した例を示しているが、操作入力手段１６から入力される切り替え信号に基づいて、色差量子化マトリクスに切り替えることとしてもよい。
【００７５】
また、映像品質評価支援装置１は、動きベクトル位置グラフ化部１５ｂによって、符号化情報抽出手段１２で抽出したパラメータの動きベクトル探索範囲を動きベクトル情報３１としてグラフ化する。この動きベクトル情報３１では、動きベクトル探索範囲のみを表示した例を示しているが、その動きベクトル探索範囲内に、動きベクトルで符号化されたマクロブロック位置をプロットして表示してもよい。
【００７６】
さらに、映像品質評価支援装置１は、符号量算出部１５ｃによって、符号化情報抽出手段１２で抽出されたパラメータから、動きベクトルによって予測された領域の動きベクトル符号量、直交変換によって符号化された領域の直交変換符号量を算出し、符号量グラフ化部１５ｄによって、動きベクトル符号量（ＭＶ）、直交変換符号量（ＤＣＴ）を消費ビット情報３２としてグラフ化する。この消費ビット情報３２は、図６で説明した（ａ）〜（ｃ）の画面を切り替えて表示する形態であっても構わない。
【００７７】
なお、このグラフ画像画面３では、符号化情報抽出手段１２で抽出されたパラメータから、種々の情報をヘッダ情報３３として表示した例を示している。例えば、シーケンス情報（Ｓｅｑｕｅｎｃｅ Ｌａｙｅｒ）３３ａでは、図８のシーケンス層のパラメータの情報をテキスト情報として表示している。また、ＧＯＰ情報（ＧＯＰ Ｌａｙｅｒ）３３ｂでは、図９のＧＯＰ層のパラメータの情報をＯＮ／ＯＦＦのフラグで表示している。さらに、ピクチャ情報（ＰｉｃｔｕｒｅＬａｙｅｒ）３３ｃでは、図１０のピクチャ層のパラメータの情報をテキスト情報として表示している。このように、グラフ化して表示できないヘッダ情報の内容はグラフ画像画面３上にテキスト情報や、ＯＮ／ＯＦＦのフラグ情報で表示することとする。
【００７８】
また、グラフ画像画面３では、エラー情報３４として示したように、符号化映像受信手段１０に入力される符号化映像信号が切断されたり（回線切断）、入力されるパケットが連続していない等の物理的なエラー情報を表示させる形態であっても構わない。これは、符号化映像受信手段１０で入力される符号化映像信号を監視することで実現することができる。ここで、例えば符号化映像信号の入力に障害が発生したときに、図７（ａ）のメッセージ画面をグラフ画像画面３上に表示させることとする。そして、障害が復旧したときは、さらに図７（ｂ）の確認画面を表示させ、監視者が確認を行うこととする。
以上の動作によって、映像品質評価支援装置１は、リアルタイムで映像を確認しながら映像の品質評価を支援することが可能になる。
【００７９】
【発明の効果】
以上説明したとおり、本発明に係る映像品質評価支援装置、及び映像品質評価支援プログラムでは、以下に示す優れた効果を奏する。
【００８０】
請求項１又は請求項５に記載の発明によれば、映像信号を符号化した符号化映像信号を再生するときに、映像信号の特定のブロック領域毎に設定される量子化のレベルを示す量子化スケールを色分けして表示させることができるので、画質劣化が発生しているときに、画面上のどこで量子化を多く行って画質劣化を発生させているかを、視覚的に確認することができる。これによって画質劣化の要因を特定する支援を行うことが可能になる。
【００８１】
請求項２又は請求項６に記載の発明によれば、映像信号を符号化した符号化映像信号を再生するときに、周波数成分毎の量子化のレベルを示す量子化マトリクスを色分けして表示させることができるので、画質劣化が発生しているときに、どの周波数成分が特に劣化しているかを、視覚的に確認することができる。これによって画質劣化の要因を特定する支援を行うことが可能になる。
【００８２】
請求項３又は請求項７に記載の発明によれば、映像信号を符号化した符号化映像信号を再生するときに、画面内のマクロブロック毎に探索された動きベクトルが、実際の映像の動きとどの程度一致しているかを視覚的に確認することができる。これによって、映像内でブロック状に劣化が発生している場合に、その劣化と動きベクトルの検出範囲との関係を視覚化することで、画質劣化の要因を特定する支援を行うことができる。さらに、ＭＰＥＧ２のような動き補償予測によって符号化を行う符号化方式において、計算量のほとんどを占める動き探索のアルゴリズムの良否を判定することができる。
【００８３】
請求項４又は請求項８に記載の発明によれば、映像信号を符号化した符号化映像信号において、動きベクトルによって予測された領域の動きベクトル符号量と、直交変換によって符号化された領域の直交変換符号量との消費ビットの割合を視覚化して提示することが可能になる。これによって、実際の映像の動きと消費ビットの割合から画質劣化の要因を特定する支援を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る映像品質評価支援装置の全体構成を示すブロック図である。
【図２】本発明の実施の形態に係る量子化スケールのレベルを色分けして表示する合成映像を示す画面例である。
【図３】本発明の実施の形態に係るグラフ画像を示す画面例である。
【図４】本発明の実施の形態に係る量子化マトリクスを色情報に変換する例を示すマトリクス図である。
【図５】本発明の実施の形態に係る動きベクトル探索範囲と動きベクトル位置を表示させる例を説明するための説明図である。
【図６】本発明の実施の形態に係る消費ビットの割合を示すグラフである。
【図７】本発明の実施の形態に係る映像品質評価支援装置のメッセージを表示する画面例である。
【図８】シーケンス層のパラメータを説明するためのパラメータ図である。
【図９】ＧＯＰ層のパラメータを説明するためのパラメータ図である。
【図１０】ピクチャ層のパラメータを説明するためのパラメータ図である。
【図１１】スライス層のパラメータを説明するためのパラメータ図である。
【図１２】マクロブロック層のパラメータを説明するためのパラメータ図である。
【符号の説明】
１……映像品質評価支援装置
１０……符号化映像受信手段
１１……映像復号手段
１２……符号化情報抽出手段
１３……符号化情報変換手段
１３ａ……テキスト変換部
１３ｂ……色情報変換部（量子化スケール色情報変換手段、量子化マトリクス色情報変換手段）
１４……合成表示手段
１４ａ……テキスト合成部
１４ｂ……映像合成部（映像合成手段）
１５……グラフ表示手段
１５ａ……量子化マトリクスグラフ化部（量子化マトリクスグラフ化手段）
１５ｂ……動きベクトル位置グラフ化部（動きベクトル位置グラフ化手段）
１５ｃ……符号量算出部（動きベクトル符号量算出手段、直交変換符号量算出手段）
１５ｄ……符号量グラフ化部（符号量グラフ化手段）
１６……操作入力手段
１７……制御手段
１８……バス
Claims (8)
- 映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、前記符号化映像信号を復号したときの映像信号の品質評価を支援する映像品質評価支援装置であって、
前記符号化映像信号から前記符号化情報を抽出する符号化情報抽出手段と、
前記符号化映像信号を復号する映像復号手段と、
前記符号化情報に含まれる前記映像信号の特定のブロック領域毎に設定される量子化のレベルを示す量子化スケールを、その量子化スケールの値に基づいて色分けした色情報に変換する量子化スケール色情報変換手段と、
この量子化スケール色情報変換手段で変換された前記ブロック領域毎の色情報を、前記映像復号手段によって復号された前記映像信号の前記ブロック領域に対応する映像領域に合成する映像合成手段と、
を備えていることを特徴とする映像品質評価支援装置。 - 前記符号化情報に含まれる前記映像信号の周波数成分毎に設定される量子化のレベルを示す量子化マトリクスを、その量子化マトリクスの値に基づいて色分けした色情報に変換してグラフ化する量子化マトリクスグラフ化手段、
を備えていることを特徴とする請求項１に記載の映像品質評価支援装置。 - 映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、前記符号化映像信号を復号したときの映像信号の品質評価を支援する映像品質評価支援装置であって、
前記符号化映像信号から前記符号化情報を抽出する符号化情報抽出手段と、
この符号化情報抽出手段によって抽出された前記符号化情報に基づいて、動きベクトルによって予測されたブロック領域の位置を、前記映像信号の各画面における相対位置としてグラフ化する動きベクトル位置グラフ化手段と、
を備えていることを特徴とする映像品質評価支援装置。 - 映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、前記符号化映像信号を復号したときの映像信号の品質評価を支援する映像品質評価支援装置であって、
前記符号化映像信号から前記符号化情報を抽出する符号化情報抽出手段と、
この符号化情報抽出手段によって抽出された前記符号化情報に基づいて、前記映像信号の各画面における特定のブロック領域毎の動きベクトルによって予測された領域の動きベクトル符号量を算出する動きベクトル符号量算出手段と、
前記符号化情報抽出手段によって抽出された前記符号化情報に基づいて、直交変換によって符号化された領域の直交変換符号量を算出する直交変換符号量算出手段と、
前記動きベクトル符号量と、前記直交変換符号量とを対比してグラフ化する符号量グラフ化手段と、
を備えていることを特徴とする映像品質評価支援装置。 - 映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、前記符号化映像信号を復号したときの映像信号の品質評価を支援するために、コンピュータを、
前記符号化映像信号から前記符号化情報を抽出する符号化情報抽出手段、
前記符号化映像信号を復号する映像復号手段、
前記符号化情報に含まれる前記映像信号の特定のブロック領域毎に設定される量子化のレベルを示す量子化スケールを、その量子化スケールの値に基づいて色分けした色情報に変換する量子化スケール色情報変換手段、
この量子化スケール色情報変換手段で変換された前記ブロック領域毎の色情報を、前記映像復号手段によって復号された前記映像信号の前記ブロック領域に対応する映像領域に合成する映像合成手段、
として機能させることを特徴とする映像品質評価支援プログラム。 - 前記符号化情報に含まれる前記映像信号の周波数成分毎に設定される量子化のレベルを示す量子化マトリクスを、その量子化マトリクスの値に基づいて色分けした色情報に変換してグラフ化する量子化マトリクスグラフ化手段、
として機能させることを特徴とする請求項５に記載の映像品質評価支援プログラム。 - 映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、前記符号化映像信号を復号したときの映像信号の品質評価を支援するために、コンピュータを、
前記符号化映像信号から前記符号化情報を抽出する符号化情報抽出手段、
この符号化情報抽出手段によって抽出された前記符号化情報に基づいて、動きベクトルによって予測されたブロック領域の位置を、前記映像信号の各画面における相対位置としてグラフ化する動きベクトル位置グラフ化手段、
として機能させることを特徴とする映像品質評価支援プログラム。 - 映像信号を符号化した符号化映像信号に含まれる符号化情報を可視化することで、前記符号化映像信号を復号したときの映像信号の品質評価を支援するために、コンピュータを、
前記符号化映像信号から前記符号化情報を抽出する符号化情報抽出手段、
この符号化情報抽出手段によって抽出された前記符号化情報に基づいて、前記映像信号の各画面における特定のブロック領域毎の動きベクトルによって予測された領域の動きベクトル符号量を算出する動きベクトル符号量算出手段、
前記符号化情報抽出手段によって抽出された前記符号化情報に基づいて、直交変換によって符号化された領域の直交変換符号量を算出する直交変換符号量算出手段、
前記動きベクトル符号量と、前記直交変換符号量とを対比してグラフ化する符号量グラフ化手段、
として機能させることを特徴とする映像品質評価支援プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002133322A JP3733083B2 (ja) | 2002-05-08 | 2002-05-08 | 映像品質評価支援装置、及び映像品質評価支援プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002133322A JP3733083B2 (ja) | 2002-05-08 | 2002-05-08 | 映像品質評価支援装置、及び映像品質評価支援プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003333629A JP2003333629A (ja) | 2003-11-21 |
| JP2003333629A5 JP2003333629A5 (ja) | 2004-11-25 |
| JP3733083B2 true JP3733083B2 (ja) | 2006-01-11 |
Family
ID=29696386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002133322A Expired - Lifetime JP3733083B2 (ja) | 2002-05-08 | 2002-05-08 | 映像品質評価支援装置、及び映像品質評価支援プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3733083B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050286785A1 (en) * | 2004-06-29 | 2005-12-29 | Zink Scott E | Area mapped compressed image bit budget monitor |
| KR100733261B1 (ko) | 2005-09-21 | 2007-06-27 | 에스케이 텔레콤주식회사 | 혼합된 화질 지수를 이용한 객관적 동영상 화질 평가시스템 및 방법과 이를 위한 동영상 부호화 장치 및 방법 |
| JP4775202B2 (ja) * | 2006-09-15 | 2011-09-21 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| KR100893609B1 (ko) | 2007-06-05 | 2009-04-20 | 주식회사 케이티 | 인간 시각 특성을 이용한 영상 품질 측정 장치 및 방법 |
| EP2227032B1 (en) | 2007-12-11 | 2019-06-19 | Leader Electronics Corp. | Brightness information display and method |
| JP2013141103A (ja) * | 2011-12-29 | 2013-07-18 | Nikon Systems Inc | データ欠落検出装置、再生装置、およびデータ欠落検出プログラム |
| KR101327709B1 (ko) | 2012-03-23 | 2013-11-11 | 한국전자통신연구원 | 비디오 품질 측정 장치 및 그 방법 |
-
2002
- 2002-05-08 JP JP2002133322A patent/JP3733083B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003333629A (ja) | 2003-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4855418B2 (ja) | 色差成分の相関関係を利用したカラー映像の符号化、復号化方法及びその装置 | |
| KR100973216B1 (ko) | 비디오 부호화 시스템에서 양자화 변수들을 표시하는 방법 및 장치 | |
| US6574274B2 (en) | Picture signal processing system, decoder, picture signal processing method, and decoding method | |
| JP4114885B2 (ja) | 画像符号化装置、方法、及びプログラム | |
| US20030202594A1 (en) | Method for coding motion in a video sequence | |
| JP3302939B2 (ja) | 独立に圧縮された偶数および奇数フィールド・データ用のビデオ信号圧縮解除装置 | |
| US8467447B2 (en) | Method and apparatus to determine prediction modes to achieve fast video encoding | |
| JP2015501568A (ja) | ビデオシーケンスにおける知覚品質評価のためのシーン変化検出 | |
| US6990146B2 (en) | Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video | |
| JP3733083B2 (ja) | 映像品質評価支援装置、及び映像品質評価支援プログラム | |
| JP2002027469A (ja) | ビットストリーム変換方法、ビットストリーム変換装置およびプログラム記録媒体 | |
| US20060133497A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures at different temporal decomposition level | |
| US6040875A (en) | Method to compensate for a fade in a digital video input sequence | |
| JP2010010917A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法 | |
| JP2007214991A (ja) | 映像品質測定装置および映像品質測定方法ならびにそのプログラム | |
| JP4069045B2 (ja) | 映像品質評価支援装置及び映像品質評価支援プログラム | |
| KR20060059773A (ko) | 베이스 레이어 픽처의 벡터를 이용하는 영상신호의엔코딩/디코딩 방법 및 장치 | |
| JP3240737B2 (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
| JP4139657B2 (ja) | 映像信号の符号化装置および復号化装置 | |
| JP4154772B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3141149B2 (ja) | 画像符号化装置 | |
| JP2005184525A (ja) | 画像処理装置 | |
| JP2004312689A (ja) | Ｍｐｅｇビデオ復号化方法及びｍｐｅｇビデオ復号化器 | |
| JP2007135010A (ja) | 画像処理方法 | |
| JPH11243561A (ja) | 動画像復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031209 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20031209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051014 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3733083 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |