JPWO2007013183A1 - 映像障害検出装置 - Google Patents
映像障害検出装置 Download PDFInfo
- Publication number
- JPWO2007013183A1 JPWO2007013183A1 JP2007526803A JP2007526803A JPWO2007013183A1 JP WO2007013183 A1 JPWO2007013183 A1 JP WO2007013183A1 JP 2007526803 A JP2007526803 A JP 2007526803A JP 2007526803 A JP2007526803 A JP 2007526803A JP WO2007013183 A1 JPWO2007013183 A1 JP WO2007013183A1
- Authority
- JP
- Japan
- Prior art keywords
- video
- freeze
- macroblock
- picture
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
入力された符号化映像信号から抽出された１ピクチャのデータ量と、信号の間引きの度合いを示すＱＳ値とに基づいて、映像障害を検出するので、予めマーカを埋め込む必要はなく手間がかからず、またマーカを埋め込まれていない既存の映像検出もできる。
Description
本発明は、符号化映像信号における映像障害等を検出する映像障害検出装置に関する。
近年の映像処理技術の向上により、ハイビジョンテレビ放送など高画質な映像が伝送可能となってきている。ここで、ハイビジョン放送にかかるデジタル映像信号は、無線或いは有線の伝送手段を介して各家庭に伝送されることとなる。しかるに、伝送手段の伝送容量が限られていることから、データ容量が大きいデジタル映像信号は、圧縮されて伝送されることが多い。圧縮の手法としては、いわゆるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に従う手法が知られている。
ところが、圧縮されたデジタル映像を伸長したときに、画面の一部や全体が静止するフリーズや、モザイク状のノイズが生じるブロック歪などの映像欠陥が生じる恐れがある。かかる欠陥は、符号化映像を規定の伝送レートに収めるために画像の情報量を削減することが、その原因の１つと考えられる。これに対し、特開２００２−２４７６０６に開示された技術によれば、符号化前の画像にマーカを埋め込み、復号化画像におけるマーカ検出結果に基づいて画質評価を行なっている。
しかしながら、かかる従来技術によれば、画質評価を行なうには、予め符号化前の画像にマーカを埋め込む処理が必要であり、埋め込まれていない画像については画質評価できないという問題がある。
ところが、圧縮されたデジタル映像を伸長したときに、画面の一部や全体が静止するフリーズや、モザイク状のノイズが生じるブロック歪などの映像欠陥が生じる恐れがある。かかる欠陥は、符号化映像を規定の伝送レートに収めるために画像の情報量を削減することが、その原因の１つと考えられる。これに対し、特開２００２−２４７６０６に開示された技術によれば、符号化前の画像にマーカを埋め込み、復号化画像におけるマーカ検出結果に基づいて画質評価を行なっている。
しかしながら、かかる従来技術によれば、画質評価を行なうには、予め符号化前の画像にマーカを埋め込む処理が必要であり、埋め込まれていない画像については画質評価できないという問題がある。
本発明は、かかる問題点に鑑みてなされたものであり、符号化映像信号から映像の欠陥を検出するのに適した映像障害検出装置を提供することを目的とする。
本発明の映像障害検出装置は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に従う符号化映像信号に含まれる符号化情報に基づいて映像障害を検出する映像障害検出装置において、
入力された符号化映像信号から抽出された１ピクチャのデータ量と、ＭＰＥＧの符号化において用いられるＱＳ（Ｑｕａｎｔｉｓｅｒ Ｓｃａｌｅ）値とに基づいて、映像障害を検出することを特徴とする。
本発明によれば、入力された符号化映像信号から抽出された１ピクチャのデータ量と、ＭＰＥＧ符号化で用いられるＱＳ値とに基づいて、映像障害を検出するので、予めマーカを埋め込む必要はなく、既存の符号化映像信号に対して障害検出が可能になる。
更に、前記映像障害は映像のフリーズであり、ピクチャ単位での前記ＱＳ値の平均値が、第１のフリーズ所定値未満の場合、映像のフリーズが生じた可能性が低いと判断すると好ましい。
更に、前記映像障害は映像のフリーズであり、ピクチャ単位での前記ＱＳ値の平均値が、第１のフリーズ所定値未満であり、なおかつ、１ピクチャのデータ量が第２のフリーズ所定値未満の場合、映像のフリーズが生じた可能性が低いと判断すると好ましい。
更に、１ピクチャを構成するマクロブロックにおいて、マクロブロックデータが符号化されず、スキップされたマクロブロック数をカウントし、１ピクチャのマクロブロック全数に対する、カウントされた前記マクロブロックの数が第１のフリーズ所定割合を超えた場合、そのピクチャがフリーズしていると判断すると好ましい。
更に、１ピクチャの横方向のマクロブロックを１マクロブロックラインとして、１マクロブロックラインにおいて、スキップされたマクロブロック数をカウントし、その数が第２のフリーズ所定割合を超えた場合、そのマクロブロックラインはフリーズしていると判断すると好ましい。
更に、１ピクチャのマクロブロックライン全数に対する、前記フリーズしたマクロブロックラインの数が第３のフリーズ所定割合を超えた場合、そのピクチャがフリーズしていると判断すると好ましい。
本発明の映像障害検出装置は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に従う符号化映像信号に含まれる符号化情報に基づいて映像障害を検出する映像障害検出装置において、
入力された符号化映像信号が画面を複数に分割して符号化されている場合、分割された領域におけるＱＳ（Ｑｕａｎｔｉｓｅｒ Ｓｃａｌｅ）値に基づいて、映像障害を検出することを特徴とする。
更に、前記映像障害はブロック歪であり、ピクチャ単位での前記ＱＳ値の平均値が、第１のブロック歪所定値未満であり、なおかつ、１ピクチャの復号データに対し、輝度信号に第２のブロック歪所定値を加算した値と、色差信号の絶対値との総和を平均化し、その平均値が第３のブロック歪所定値以上の場合、ブロック歪が生じたと判断すると好ましい。
更に、前記映像障害は映像フリーズであり、分割された領域単位での前記ＱＳ値の平均値が、第３のフリーズ所定置未満の場合、映像のフリーズが生じた可能性が低いと判断すると好ましい。
更に、画面の上下で隣接する分割された領域において、マクロブロックデータが符号化されず、スキップされたマクロブロック数をそれぞれカウントし、上の領域に対しては、領域の下半分のマクロブロックにおいて、スキップされたマクロブロック数をカウントし、下の領域に対しては、領域の上半分のマクロブロックにおいて、スキップされたマクロブロックの数をカウントするとともに、それぞれの領域において、上半分又は下半分の領域におけるスキップされたマクロブロックの割合が、第３のフリーズ所定割合未満であるとき、映像のフリーズが生じた可能性が低いと判断すると好ましい。
更に、当該領域の上半分のマクロブロックラインにおけるスキップされたマクロブロックの割合が第３のフリーズ所定割合を超えるとき、当該領域の上から２マクロブロックラインに含まれるスキップされたマクロブロックの数をカウントし、当該領域のスキップされたマクロブロックの全数に対する割合が第４のフリーズ所定割合以上であり、隣接する上の領域において下から２マクロブロックラインに含まれるスキップされたマクロブロックの数をカウントし、上の領域におけるスキップされたマクロブロックの全数に対する割合が第５のフリーズ所定割合以下であるとき、当該領域において映像のフリーズが発生したと判断すると好ましい。
更に、当該領域の下半分のマクロブロックラインにおけるスキップされたマクロブロックの割合が第３のフリーズ所定割合を超えるとき、当該領域の下から２マクロブロックラインに含まれるスキップされたマクロブロックの数をカウントし、当該領域のスキップされたマクロブロックの全数に対する割合が第４のフリーズ所定割合以上であり、隣接する下の領域において上から２マクロブロックラインに含まれるスキップされたマクロブロックの数をカウントし、下の領域におけるスキップされたマクロブロックの全数に対する割合が第５のフリーズ所定割合以下であるとき、当該領域において映像のフリーズが発生したと判断することを特徴とすると好ましい。
更に、前記符号化映像信号に多重化された符号化音声信号を復号し、所定の区間で音声信号レベルが第１の音声所定値以下となる連続するサンプル数をカウントし、そのカウントが第２の音声所定値以上であるとき、その区間の音声信号に対するスケールファクタにおいて、スケールファクタ値がゼロであり且つスケールファクタの個数が１の音声信号が存在する場合、その区間に無音状態があると判断し、スケールファクタ値がゼロ以外であり且つスケールファクタの個数が２以上の音声信号が存在する場合、その区間にミュートが発生したと判断すると好ましい。
本発明の映像障害検出装置は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に従う符号化映像信号に含まれる符号化情報に基づいて映像障害を検出する映像障害検出装置において、
入力された符号化映像信号から抽出された１ピクチャのデータ量と、ＭＰＥＧの符号化において用いられるＱＳ（Ｑｕａｎｔｉｓｅｒ Ｓｃａｌｅ）値とに基づいて、映像障害を検出することを特徴とする。
本発明によれば、入力された符号化映像信号から抽出された１ピクチャのデータ量と、ＭＰＥＧ符号化で用いられるＱＳ値とに基づいて、映像障害を検出するので、予めマーカを埋め込む必要はなく、既存の符号化映像信号に対して障害検出が可能になる。
更に、前記映像障害は映像のフリーズであり、ピクチャ単位での前記ＱＳ値の平均値が、第１のフリーズ所定値未満の場合、映像のフリーズが生じた可能性が低いと判断すると好ましい。
更に、前記映像障害は映像のフリーズであり、ピクチャ単位での前記ＱＳ値の平均値が、第１のフリーズ所定値未満であり、なおかつ、１ピクチャのデータ量が第２のフリーズ所定値未満の場合、映像のフリーズが生じた可能性が低いと判断すると好ましい。
更に、１ピクチャを構成するマクロブロックにおいて、マクロブロックデータが符号化されず、スキップされたマクロブロック数をカウントし、１ピクチャのマクロブロック全数に対する、カウントされた前記マクロブロックの数が第１のフリーズ所定割合を超えた場合、そのピクチャがフリーズしていると判断すると好ましい。
更に、１ピクチャの横方向のマクロブロックを１マクロブロックラインとして、１マクロブロックラインにおいて、スキップされたマクロブロック数をカウントし、その数が第２のフリーズ所定割合を超えた場合、そのマクロブロックラインはフリーズしていると判断すると好ましい。
更に、１ピクチャのマクロブロックライン全数に対する、前記フリーズしたマクロブロックラインの数が第３のフリーズ所定割合を超えた場合、そのピクチャがフリーズしていると判断すると好ましい。
本発明の映像障害検出装置は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に従う符号化映像信号に含まれる符号化情報に基づいて映像障害を検出する映像障害検出装置において、
入力された符号化映像信号が画面を複数に分割して符号化されている場合、分割された領域におけるＱＳ（Ｑｕａｎｔｉｓｅｒ Ｓｃａｌｅ）値に基づいて、映像障害を検出することを特徴とする。
更に、前記映像障害はブロック歪であり、ピクチャ単位での前記ＱＳ値の平均値が、第１のブロック歪所定値未満であり、なおかつ、１ピクチャの復号データに対し、輝度信号に第２のブロック歪所定値を加算した値と、色差信号の絶対値との総和を平均化し、その平均値が第３のブロック歪所定値以上の場合、ブロック歪が生じたと判断すると好ましい。
更に、前記映像障害は映像フリーズであり、分割された領域単位での前記ＱＳ値の平均値が、第３のフリーズ所定置未満の場合、映像のフリーズが生じた可能性が低いと判断すると好ましい。
更に、画面の上下で隣接する分割された領域において、マクロブロックデータが符号化されず、スキップされたマクロブロック数をそれぞれカウントし、上の領域に対しては、領域の下半分のマクロブロックにおいて、スキップされたマクロブロック数をカウントし、下の領域に対しては、領域の上半分のマクロブロックにおいて、スキップされたマクロブロックの数をカウントするとともに、それぞれの領域において、上半分又は下半分の領域におけるスキップされたマクロブロックの割合が、第３のフリーズ所定割合未満であるとき、映像のフリーズが生じた可能性が低いと判断すると好ましい。
更に、当該領域の上半分のマクロブロックラインにおけるスキップされたマクロブロックの割合が第３のフリーズ所定割合を超えるとき、当該領域の上から２マクロブロックラインに含まれるスキップされたマクロブロックの数をカウントし、当該領域のスキップされたマクロブロックの全数に対する割合が第４のフリーズ所定割合以上であり、隣接する上の領域において下から２マクロブロックラインに含まれるスキップされたマクロブロックの数をカウントし、上の領域におけるスキップされたマクロブロックの全数に対する割合が第５のフリーズ所定割合以下であるとき、当該領域において映像のフリーズが発生したと判断すると好ましい。
更に、当該領域の下半分のマクロブロックラインにおけるスキップされたマクロブロックの割合が第３のフリーズ所定割合を超えるとき、当該領域の下から２マクロブロックラインに含まれるスキップされたマクロブロックの数をカウントし、当該領域のスキップされたマクロブロックの全数に対する割合が第４のフリーズ所定割合以上であり、隣接する下の領域において上から２マクロブロックラインに含まれるスキップされたマクロブロックの数をカウントし、下の領域におけるスキップされたマクロブロックの全数に対する割合が第５のフリーズ所定割合以下であるとき、当該領域において映像のフリーズが発生したと判断することを特徴とすると好ましい。
更に、前記符号化映像信号に多重化された符号化音声信号を復号し、所定の区間で音声信号レベルが第１の音声所定値以下となる連続するサンプル数をカウントし、そのカウントが第２の音声所定値以上であるとき、その区間の音声信号に対するスケールファクタにおいて、スケールファクタ値がゼロであり且つスケールファクタの個数が１の音声信号が存在する場合、その区間に無音状態があると判断し、スケールファクタ値がゼロ以外であり且つスケールファクタの個数が２以上の音声信号が存在する場合、その区間にミュートが発生したと判断すると好ましい。
図１は、本実施の形態にかかる映像解析装置１０を示すブロック図である。
図２は、符号化映像信号の構成を概略的に示す図である。
図３は、フリーズマクロブロックラインを説明するための図である。
図４は、映像処理装置１０において行われるフリーズピクチャを判定する処理を示すフローチャートである。
図５は、映像処理装置１０において行われるブロック歪を判定する処理を示すフローチャートである。
図６は、映像処理装置１０において行われるミュートを判定する処理を示すフローチャートである。
図７は、フリーズマクロブロックラインを説明するための図である。
図８は、映像処理装置１０において行われるフリーズピクチャ領域を判定する処理を示すフローチャートである。
図９は、音声サンプルの例を示す図である。
図２は、符号化映像信号の構成を概略的に示す図である。
図３は、フリーズマクロブロックラインを説明するための図である。
図４は、映像処理装置１０において行われるフリーズピクチャを判定する処理を示すフローチャートである。
図５は、映像処理装置１０において行われるブロック歪を判定する処理を示すフローチャートである。
図６は、映像処理装置１０において行われるミュートを判定する処理を示すフローチャートである。
図７は、フリーズマクロブロックラインを説明するための図である。
図８は、映像処理装置１０において行われるフリーズピクチャ領域を判定する処理を示すフローチャートである。
図９は、音声サンプルの例を示す図である。
以下、実施の形態を参照して本発明を説明する。図１は、本実施の形態にかかる映像処理装置１０を示すブロック図である。図１において、ＴＳ入力インターフェース１１には、符号化された映像信号と音声信号（具体的にはデジタル映像信号をＭＰＥＧ−２により圧縮符号化し、また、デジタル音声信号をＭＰＥＧ−２ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇにより圧縮符号化し、映像信号と多重化してトランスポート・ストリームにした信号）が入力され、これはＴＳ処理部１２において処理される。
エンコードパラメータ抽出部１３により、処理された符号化映像信号からデータ量やＱＳ値が抽出され、これらに基づいてエンコードパラメータ解析部１４で解析が行われ、その解析結果に基づいて画質・音質判定部１５で、画質劣化や音質劣化が判断されるようになっている。
図２は、符号化映像信号の構成を概略的に示す図である。符号化映像信号は、制御用の情報を含むシーケンスヘッダＳＨと、映像情報からなるピクチャグループＧＯＰとを交互に連結した構成をとる。ピクチャグループＧＯＰは、少なくとも１枚のＩピクチャ、さらにＢピクチャやＰピクチャによって構成される。Ｉピクチャを例に取ると、１ピクチャは複数のスライスＳからなる。スライスＳは、１ピクチャ分の映像信号に対して、１ピクチャ上で横方向に切るように分割されたデータをいう。一つのスライスＳは複数のマクロブロックＭＢから構成されている。一つのスライスＳに含まれるマクロブロック数が一定でない場合もあり、横方向に複数のスライスが存在する場合もある。ここでは横方向のスライスを１つの単位として扱い、これをマクロブロックラインと呼ぶことにする。
一つのマクロブロックＭＢは、輝度信号と色差信号のサンプリングフォーマットが４：２：０の場合、１６×１６画素から成る輝度信号Ｙと、８×８画素から成る色差信号Ｃｂ、Ｃｒそれぞれ一つから構成される。一方、輝度信号と色差信号のサンプリングフォーマットが４：２：２の場合、１６×１６画素から成る輝度信号Ｙと、８×８画素から成る色差信号Ｃｂ、Ｃｒそれぞれ２つから構成される。
図３は、１ピクチャにおける正常なマクロブロックラインとフリーズマクロブロックラインを区別して示す図であり、簡略化するために、１マクロブロックラインは、１列で横に並んだ３２個のマクロブロックから構成され、１ピクチャは縦に並んだ１６本のマクロブロックラインからなるものとする。図３において、１マスは１つのマクロブロックを示し、これは図２に示すように１６×１６画素で構成されている。ハッチングされたマクロブロックは、符号化データのない、いわゆるスキップされたマクロブロック（特定マクロブロック）であり、白抜きのマクロブロックは正常なマクロブロックである。
静止画像では、ほとんど全てがスキップされたマクロブロックから構成される。一方、フリーズピクチャにおいても、スキップされたマクロブロックが多数存在するので、その切り分けが重要な課題となっている。
本実施の形態では、１マクロブロックライン中におけるスキップされたマクロブロック数が、第１のフリーズ所定割合Ｘを超えたときに、そのマクロブロックラインはフリーズマクロブロックラインと判断し（例えば図３で、１０番目のマクロブロックライン）、それ以外は正常マクロブロックラインと判断する。又、フリーズマクロブロックラインに挟まれた正常マクロブロックラインは、フリーズマクロブロックラインと見なす（例えば図３で、１１番目のマクロブロックライン）。１ピクチャにおけるフリーズマクロブロックラインの数が第２のフリーズ所定割合Ｙを超えたとき、そのピクチャは映像がフリーズしたフリーズピクチャであると判断する。ここでは、Ｘ＝８０％、Ｙ＝２０％と設定すると、５，６番目のフリーズマクロブロックラインに加え、９〜１６番目のマクロブロックラインがフリーズマクロブロックラインとみなされるので、このピクチャはフリーズピクチャであると判定できる。
図４は、映像処理装置１０において行われるフリーズピクチャを判定する処理を示すフローチャートである。ここで、フローチャート内で用いる符号は以下の意味を持つ。
ＱＳ値：Ｑｕａｎｔｉｓｅｒ Ｓｃａｌｅ（マクロブロックの量子化ステップ・サイズを表す）値
Ｍ（Ｑｓ）：ＱＳ値の平均値
Ｉｂ：符号化映像信号の１ピクチャのデータ量（単位はビット）
ｆ＿ｌｉｎｅ＿ｃｎｔ：連続するフリーズマクロブロックラインの数
ｆ＿ｌｉｎｅ＿ｍａｘ：連続するフリーズマクロブロックラインの最大数
ｆ＿ｍｂ＿ｃｎｔ：スキップされたマクロブロックの数
ｍｂ＿ｗｉｄｔｈ：１マクロブロックラインにおけるマクロブロックの全数
ｍｂ＿ｈｅｉｇｈｔ：１ピクチャにおけるマクロブロックラインの全数
ｂ１＿ｓｔａｔ［ｉ］：ｉ番目のマクロブロックラインの状態（０：正常マクロブロックライン、１：フリーズマクロブロックライン）
ｒｅｓｕｌｔ：判定結果（０＝正常ピクチャ、１＝フリーズピクチャ）
図４のステップＳ１０１において、判定対象がＰピクチャもしくはＢピクチャか否かを判断する。ここで、判定対象がＰピクチャもしくはＢピクチャでないと判断すれば、ステップＳ１２９に進んで、映像障害はないとする判断結果（０＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。
一方、判定対象がＰピクチャもしくはＢピクチャであると判断した場合、ステップＳ１０２でＭ（Ｑｓ）を計算し、ステップＳ１０３でＩｂを計算する。Ｑｕａｎｔｉｓｅｒ Ｓｃａｌｅの平均値は、スキップされたマクロブロックを除く全マクロブロックのＱｕａｎｔｉｓｅｒ Ｓｃａｌｅを平均して求める。マクロブロックにＱｕａｎｔｉｓｅｒ Ｓｃａｌｅが設定されていない場合は、スライスヘッダのＱｕａｎｔｉｓｅｒ Ｓｃａｌｅを、そのスライス内のマクロブロックのＱｕａｎｔｉｓｅｒ Ｓｃａｌｅとして平均値を計算する。Ｉｂは、エンコードパラメータ抽出部に入力されるビデオのＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットに含まれるＰＥＳ＿ｐａｃｋｅｔ＿ｄａｔａ＿ｂｙｔｅのビット数をカウントして求める。
更にステップＳ１０４で、求めたＭ（Ｑｓ）が５０（第１のフリーズ所定値）以上であり且つ求めたＩｂが１５０，０００（第２のフリーズ所定値）以上であるか否かを判断する。求めたＭ（Ｑｓ）が５０未満であり或いは求めたＩｂが１５０，０００未満であれば、静止画像である可能性が高いので、ステップＳ１２９に進んで、映像障害はないとする判断結果（０＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。
これに対し、求めたＭ（Ｑｓ）が５０以上であり且つ求めたＩｂが１５０，０００以上であれば、ステップＳ１０５で、マクロブロックラインのカウンタを初期化（ｉ＝１）として、ステップＳ１０６で、スキップされたマクロブロックのカウントを行う。
ステップＳ１０７において、１マクロブロックラインのマクロブロック全数ｍｂ＿ｗｉｄｔｈに対するスキップされたマクロブロックの数ｆ＿ｍｂ＿ｃｎｔの割合（ｆ＿ｍｂ＿ｃｎｔ×１００／ｍｂ＿ｗｉｄｔｈ）を、８０（第１のフリーズ所定割合）と比較する。（ｆ＿ｍｂ＿ｃｎｔ×１００／ｍｂ＿ｗｉｄｔｈ）＜８０である場合、正常マクロブロックラインと判断するが、この場合、処理されたマクロブロックラインは正常マクロブロックラインである（ｂ１＿ｓｔａｔ［ｉ］＝０）というフラッグをたてる（ステップＳ１０９）。
一方、（ｆ＿ｍｂ＿ｃｎｔ×１００／ｍｂ＿ｗｉｄｔｈ）≧８０である場合、フリーズマクロブロックラインと判断し、更にステップＳ１０８で、前マクロブロックラインがフリーズマクロブロックラインである（ｂ１＿ｓｔａｔ［ｉ］＝１）というフラッグをたてる（ステップＳ１０９）。ステップＳ１１０で、ｉ＝ｉ＋１とし、ステップＳ１１１で、ｉ＞ｍｂ＿ｈｅｉｇｈｔであると判断されるまで（即ちマクロブロックライン全数を判定するまで）、ステップＳ１０６〜Ｓ１１０を繰り返す。
なお、図示していないが、１ピクチャを構成するマクロブロックにおいて、マクロブロックデータが符号化されず、スキップされたマクロブロック数をカウントし、１ピクチャのマクロブロック全数に対する、カウントされた前記マクロブロックの数が第１のフリーズ所定割合を超えた場合、そのピクチャがフリーズしていると判断するようにしても良い。
その後、ステップＳ１１２において、マクロブロックラインのカウンタをｉ＝２とする。続くステップＳ１１３において、ｂ１＿ｓｔａｔ［ｉ−１］＝１＆ｂ１＿ｓｔａｔ［ｉ＋１］か否かを判断する。ｂ１＿ｓｔａｔ［ｉ−１］＝１＆ｂ１＿ｓｔａｔ［ｉ＋１］であるということは、判定対象となるマクロブロックラインが、フリーズマクロブロックラインに挟まれていることを示している。従って、この場合には、判定対象であるマクロブロックラインを正常であってもフリーズマクロブロックラインとみなし、ステップＳ１１４でｂ１＿ｓｔａｔ［ｉ］＝１とフラッグをたてる。一方、ｂ１＿ｓｔａｔ［ｉ−１］＝１＆ｂ１＿ｓｔａｔ［ｉ＋１］でなければ、正常なマクロブロックラインとする。ステップＳ１１５で、ｉ＝ｉ＋１とし、ステップＳ１１６で、ｉ≧ｍｂ＿ｈｅｉｇｈｔであると判断されるまで（即ちマクロブロックライン全数を判定するまで）、ステップＳ１１３〜Ｓ１１５を繰り返す。
ステップＳ１１７で、マクロブロックラインのカウンタを初期化（ｉ＝１）として、更にステップＳ１１８で、フリーズカウンタを初期化する（ｆ＿ｌｉｎｅ＿ｃｎｔ＝０：ｆ＿ｌｉｎｅ＿ｍａｘ＝０）。ステップＳ１１９で、ｂ１＿ｓｔａｔ［ｉ］＝１か否か判断し、ｂ１＿ｓｔａｔ［ｉ］＝０ならば、ステップＳ１２０でｉ＝ｉ＋１とした上で、ステップＳ１１８で、フリーズカウンタを初期化する。一方、ｂ１＿ｓｔａｔ［ｉ］＝１ならば、ステップＳ１２１で、ｆ＿ｌｉｎｅ＿ｃｎｔ＝ｆ＿ｌｉｎｅ＿ｍａｘ＝１とし、ｉ＝ｉ＋１とする。
更にステップＳ１２２で、ｂ１＿ｓｔａｔ［ｉ］＝１か否か判断し、ｂ１＿ｓｔａｔ［ｉ］＝１ならば、ステップＳ１２３で、ｆ＿ｌｉｎｅ＿ｃｎｔ＝ｆ＿ｌｉｎｅ＿ｍａｘ＝１とし、ｉ＝ｉ＋１として、ステップＳ１２４で、ｉ＞ｍｂ＿ｈｅｉｇｈｔであると判断されるまで（即ちマクロブロックライン全数を判定するまで）、ステップＳ１２２〜Ｓ１２３を繰り返す。
一方、ステップＳ１２２で、ｂ１＿ｓｔａｔ［ｉ］＝０ならば、ステップＳ１２６で、ｆ＿ｌｉｎｅ＿ｃｎｔ＞ｆ＿ｌｉｎｅ＿ｍａｘか否かが判断される。ｆ＿ｌｉｎｅ＿ｃｎｔ＞ｆ＿ｌｉｎｅ＿ｍａｘであると判断されれば、ステップＳ１２８でｉ＝ｉ＋１とし、ステップＳ１１８へと戻る。一方、ｆ＿ｌｉｎｅ＿ｃｎｔ＞ｆ＿ｌｉｎｅ＿ｍａｘでないと判断されれば、ステップＳ１２７でｆ＿ｌｉｎｅ＿ｃｎｔ＝ｆ＿ｌｉｎｅ＿ｍａｘとされ、ステップＳ１２８でｉ＝ｉ＋１とし、ステップＳ１１８へと戻る。このようにして、１ピクチャにおけるフリーズしたマクロブロックラインの数を求めることができる。
ステップＳ１２５において、１ピクチャにおけるマクロブロックラインの全数ｍｂ＿ｈｅｉｇｈｔに対するフリーズしたマクロブロックの数ｆ＿ｌｉｎｅ＿ｃｎｔの割合（ｆ＿ｌｉｎｅ＿ｃｎｔ×１００／ｍｂ＿ｈｅｉｇｈｔ）が、２０（第２のフリーズ所定割合）以上であるか否かを判定する。（ｆ＿ｌｉｎｅ＿ｃｎｔ×１００／ｍｂ＿ｈｅｉｇｈｔ）≧２０である場合、ステップＳ１３０で、映像のフリーズがあるとする判断結果（１＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。これに対し、（ｆ＿ｌｉｎｅ＿ｃｎｔ×１００／ｍｂ＿ｈｅｉｇｈｔ）＜２０である場合には、ステップＳ１２９に進んで、映像のフリーズはないとする判断結果（０＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。
次に、画面の複数箇所に分散してフリーズが発生する場合の検出方法について説明する。
ＭＰＥＧエンコード時に、画面を複数に分割して処理する場合があり、分割された領域内でフリーズが発生する。図７にその例を示す。
図７において、ハッチングされたマクロブロックは、符号化データのないスキップされたマクロブロック、白抜きは正常なマクロブロックを表す。この例では、画面が水平方向に９分割されており、フリーズの原因となるスキップされたマクロブロックは、分割された領域内の下から２マクロブロックラインに存在する。
画面の分割方式は、水平方向に３分割や、格子状に６分割などがあり、またスキップされたマクロブロックも分割領域の上から数スライスに発生する場合がある。
図８は、映像処理装置１０において行われるフリーズピクチャ領域を判定する処理を示すフローチャートである。ここで、フローチャート内で用いる符号は以下の意味をもつ。
ＭＱｓ（ｉ，ｊ）：分割領域（ｉ，ｊ）のＱｕａｎｔｉｓｅｒ Ｓｃａｌｅの平均値
ＳＬ＿ｃｎｔ（ｉ，ｊ）：分割領域（ｉ，ｊ）のマクロブロックラインの数
ＳＬ２＿ｍｂ＿ｃｎｔ（ｉ，ｊ）：分割領域（ｉ，ｊ）の２マクロブロックラインのマクロブロック数
Ｓｋ＿ｍｂ＿ｃｎｔ（ｉ，ｊ）：分割領域（ｉ，ｊ）のスキップされたマクロブロックの全数
ＴＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）：分割領域（ｉ，ｊ）の上から２マクロブロックラインにおけるスキップされたマクロブロックの数
ＢＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）：分割領域（ｉ，ｊ）の下から２マクロブロックラインにおけるスキップされたマクロブロックの数
ＴＳｋ＿ｍｂ＿ｃｎｔ２（ｉ，ｊ）：分割領域（ｉ，ｊ）の上から｛ＳＬ＿ｃｎｔ（ｉ，ｊ）／２｝マクロブロックラインにおけるスキップされたマクロブロックの数
ＢＳｋ＿ｍｂ＿ｃｎｔ２（ｉ，ｊ）：分割領域（ｉ，ｊ）の下から｛ＳＬ＿ｃｎｔ（ｉ，ｊ）／２｝マクロブロックラインにおけるスキップされたマクロブロックの数
ＲＴ（ｉ，ｊ）：分割領域（ｉ，ｊ）の上から２マクロブロックラインにおけるスキップされたマクロブロックの発生率
ＲＢ（ｉ，ｊ）：分割領域（ｉ，ｊ）の下から２マクロブロックラインにおけるスキップされたマクロブロックの発生率
ＲＳＴ（ｉ，ｊ）：分割領域（ｉ，ｊ）のスキップされたマクロブロックのうち、上から｛ＳＬ＿ｃｎｔ（ｉ，ｊ）／２｝マクロブロックラインに存在する割合
ＲＳＢ（ｉ，ｊ）：分割領域（ｉ，ｊ）のスキップされたマクロブロックのうち、下から｛ＳＬ＿ｃｎｔ（ｉ，ｊ）／２｝マクロブロックラインに存在する割合
Ｍ：横方向の画面分割数
Ｎ：縦方向の画面分割数
ｒｅｓｕｌｔ：判定結果（０＝正常ピクチャ領域、１＝フリーズピクチャ領域）
ただしｉ＝０〜Ｎ−１，ｊ＝０〜Ｍ−１
ＲＴ（ｉ，ｊ）、ＲＢ（ｉ，ｊ）、ＲＳＴ（ｉ，ｊ）、ＲＳＢ（ｉ，ｊ）は以下の式で表される。
ＲＴ（ｉ，ｊ）＝｛ＴＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）／ＳＬ２＿ｍｂ＿ｃｎｔ（ｉ，ｊ）｝×１００
ＲＢ（ｉ，ｊ）＝｛ＢＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）／ＳＬ２＿ｍｂ＿ｃｎｔ（ｉ，ｊ）｝×１００
ＲＳＴ（ｉ，ｊ）＝｛ＴＳｋ＿ｍｂ＿ｃｎｔ２（ｉ，ｊ）／Ｓｋ＿ｍｂ＿ｃｎｔ（ｉ，ｊ）｝×１００
ＲＳＢ（ｉ，ｊ）＝｛ＢＳｋ＿ｍｂ＿ｃｎｔ２（ｉ，ｊ）／Ｓｋ＿ｍｂ＿ｃｎｔ（ｉ，ｊ）｝×１００
以下のパラメータから次の判定を行ない、フリーズを検出する。まず、図８のステップＳ４０１で、判定対象がＰピクチャもしくはＢピクチャか否かを判断する。ここで、判定対象がＰピクチャもしくはＢピクチャでないと判断すれば、処理フローを終了する。
一方、判定対象がＰピクチャもしくはＢピクチャであると判断した場合、ステップＳ４０２でカウンタの初期化を行い、ステップＳ４０３でＭＱｓ（ｉ，ｊ）を計算する。続くステップＳ４０４で、ＭＱｓ（ｉ，ｊ）を７０（第３のフリーズ所定値）と比較し、これが７０未満であれば、フリーズピクチャ領域ではないと見なし、ステップＳ４１５で、該当領域で映像のフリーズがないとする判断結果（０＝ｒｅｓｕｌｔ）を出力する。一方、ＭＱｓ（ｉ，ｊ）が７０以上であれば、ステップＳ４０５で、ＲＳＴ（ｉ，ｊ）、ＲＳＢ（ｉ，ｊ）を計算する。
更にステップＳ４０６で、ｉが１以上であれば、ステップＳ４０７で、ＲＳＴ（ｉ，ｊ）を８０（第３のフリーズ所定割合）と比較し、ＲＳＴ（ｉ，ｊ）が８０以上であれば、ステップＳ４０８で、ＲＴ（ｉ，ｊ）、ＲＢ（ｉ−１，ｊ）を計算する。更に、ステップＳ４０９で、ＲＴ（ｉ，ｊ）が１０（第４のフリーズ所定割合）以上で、且つＲＢ（ｉ−１，ｊ）が５（第５のフリーズ所定割合）以下であるか否か判定する。ＲＴ（ｉ，ｊ）が１０以上で、且つＲＢ（ｉ−１，ｊ）が５以下である場合、ステップＳ４１０で、該当領域で映像のフリーズがあるとする判断結果（１＝ｒｅｓｕｌｔ）を出力し、フローはステップＳ４１６へと進む。
一方、ステップＳ４０６で、ｉ＜１であると判定された場合、又はステップＳ４０７で、ＲＳＴ（ｉ，ｊ）＜８０と判定された場合、或いはステップＳ４０９で、ＲＴ（ｉ，ｊ）が１０以上でなく、またＲＢ（ｉ−１，ｊ）が５以下でないと判断された場合、フローはステップＳ４１１へと進み、ここでｉ≦Ｎ−２であるか否か判断される。ｉ≦Ｎ−２でないと判断されれば、フローはステップＳ４１６へと進むが、ｉ≦Ｎ−２であると判断されれば、続くステップＳ４１２で、ＲＳＢ（ｉ，ｊ）を８０（第１のフリーズ所定割合）と比較する。ＲＳＢ（ｉ，ｊ）が８０以上でなければ、フローはステップＳ４１６へと進むが、ＲＳＢ（ｉ，ｊ）が８０以上であれば、ステップＳ４１３で、ＲＢ（ｉ，ｊ）、ＲＴ（ｉ＋１，ｊ）を計算する。
更にステップＳ４１４で、ＲＢ（ｉ，ｊ）が１０（第４のフリーズ所定割合）以上で、且つＲＴ（ｉ＋１，ｊ）が５（第５のフリーズ所定割合）以下であるか否か判断される。ＲＢ（ｉ，ｊ）が１０以上でなく、或いはＲＴ（ｉ＋１，ｊ）が５以下でないと判断されれば、フローはステップＳ４１６へと進むが、ＲＢ（ｉ，ｊ）が１０以上で、且つＲＴ（ｉ＋１，ｊ）が５以下であると判断されれば、ステップＳ４１０で、該当領域で映像のフリーズがあるとする判断結果（１＝ｒｅｓｕｌｔ）を出力し、フローはステップＳ４１６へと進む。
ステップＳ４１６では、ｊがＭ−１以上か否か判断し、ｊ＜Ｍ−１であれば、ステップＳ４１７でｊを１つカウントアップしてフローをステップＳ４０３へと戻す。一方、ｊ≧Ｍ−１であれば、ステップＳ４１８で、ｉがＮ−１以上か否か判断し、ｉ＜Ｎ−１であれば、ステップＳ４１９でｉを１つカウントアップしてフローをステップＳ４０３へと戻す。一方、ｉ≧Ｎ−１であれば、１画面分の検出が終了したものとしてフローを終了する。
なお、ＲＴ（ｉ，ｊ）、ＲＢ（ｉ，ｊ）は、分割領域のマクロブロックの数をｍｂ＿ｃｎｔ（ｉ，ｊ）として、以下のように定義しても良い。
ＲＴ（ｉ，ｊ）＝｛ＴＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）／ｍｂ＿ｃｎｔ（ｉ，ｊ）｝×１００
ＲＢ（ｉ，ｊ）＝｛ＢＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）／ｍｂ＿ｃｎｔ（ｉ，ｊ）｝×１００
又、ステップＳ４０９，Ｓ４１４において、ＲＴ（ｉ，ｊ）、ＲＢ（ｉ，ｊ）を用いずに、ＴＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）、ＢＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）を閾値と比較しても良い。
更に、ステップＳ４０３，Ｓ４０４においては、分割領域（ｉ，ｊ）のＱｕａｎｔｉｓｅｒ Ｓｃａｌｅの平均値に替えて、１ピクチャの全マクロブロックに対してＱｕａｎｔｉｓｅｒ Ｓｃａｌｅの平均値を求めても良い。
次に、ピクチャにおいてブロック歪が生じたか否かを検出する方法について説明する。ブロック歪とは、１つのマクロブロック内が一様な色となり、原画が再生できない状態をいう。
図５は、映像処理装置１０において行われるブロック歪を判定する処理を示すフローチャートである。ここで、フローチャート内で用いる符号は以下の意味を持つ。
ＱＳ値：Ｑｕａｎｔｉｓｅｒ Ｓｃａｌｅ（マクロブロックの量子化ステップ・サイズを表す）値
Ｍ（Ｑｓ）：ＱＳ値の平均値
ｃｎｔ＿ｙ：復号された輝度信号のサンプル数
ｃｎｔ＿ｃ：復号された輝度信号Ｃｂ，Ｃｒのそれぞれのサンプル数
ｄｅｆ＿ｄａｔ：輝度、色差信号の平均値の合計
ｓｕｍ＿ｙ：復号された輝度信号の合計
ｓｕｍ＿ｃｂ：復号された色差信号Ｃｂの絶対値の合計
ｓｕｍ＿ｃｒ：復号された色差信号Ｃｒの絶対値の合計
ｍｂ＿ｗｉｄｔｈ：１マクロブロックラインにおけるマクロブロックの全数
ｍｂ＿ｈｅｉｇｈｔ：１ピクチャにおけるマクロブロックラインの全数
ｒｅｓｕｌｔ：判定結果（０＝正常ピクチャ、１＝ブロック歪ピクチャ）
図５のステップＳ２０１において、ＱＳ値の平均値Ｍ（Ｑｓ）を求める。続くステップＳ２０２で、求めたＭ（Ｑｓ）を２５（第１のブロック歪所定値）と比較する。Ｍ（Ｑｓ）が２５未満であれば、静止画像である可能性が高いので、ステップＳ２２３に進んで、ブロック歪はないとする判断結果（０＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。
これに対し、Ｍ（Ｑｓ）が２５以上であれば、ステップＳ２０３で、輝度信号のサンプル数を計算する（ｃｎｔ＿ｙ＝ｍｂ＿ｗｉｄｔｈ×ｍｂ＿ｈｅｉｇｈｔ）。更にステップＳ２０４で、色差信号のサンプリングが４：２：０か否かを判断し、４：２：０であると判断した場合には、ステップＳ２０５で、以下の式に基づいて色差信号のサンプル数を計算する。
ｃｎｔ＿ｙ＝ｍｂ＿ｗｉｄｔｈ×ｍｂ＿ｈｅｉｇｈｔ／４
一方、色差信号のサンプリングが４：２：０でないと判断した場合、更にステップＳ２０６で、色差信号のサンプリングが４：２：２か否かを判断し、４：２：２であると判断した場合、ステップＳ２０７で、以下の式に基づいて色差信号のサンプル数を計算する。
ｃｎｔ＿ｙ＝ｍｂ＿ｗｉｄｔｈ×ｍｂ＿ｈｅｉｇｈｔ／２
これに対し、色差信号のサンプリングが４：２：２でないと判断した場合、Ｓ２０８で、以下の式に基づいて色差信号のサンプル数を計算する。
ｃｎｔ＿ｙ＝ｍｂ＿ｗｉｄｔｈ×ｍｂ＿ｈｅｉｇｈｔ
その後、ステップＳ２０９でカウンタを初期化（ｉ＝０）とし、ステップＳ２１０において、判定対象がＰピクチャもしくはＢピクチャか否かを判断する。ここで、判定対象がＰピクチャもしくはＢピクチャであると判断すれば、ステップＳ２１２に進み、判定対象がＰピクチャもしくはＢピクチャであると判断すれば、ステップＳ２１１で、復号された輝度信号に１２８を加算する。
ステップＳ２１２において、輝度信号の合計ｓｕｍ＿ｙを計算する。更にステップＳ２１３で、ｉ＝ｉ＋１とし、ステップＳ２１４で、ｉ＞ｃｎｔ＿ｙ（輝度信号の全てのサンプル数）であると判断されるまで、ステップＳ２１０〜Ｓ２１３を繰り返す。
ｉ＞ｃｎｔ＿ｙであると判断されたときは、ステップＳ２１５でカウンタを初期化し（ｉ＝１）、ステップＳ２１６で復号された色差信号Ｃｂ、Ｃｒの絶対値を計算し、ステップＳ２１７で、色差信号の合計ｓｕｍ＿ｃｂ、ｓｕｍ＿ｃｒを計算する。更にステップＳ２１８で、ｉ＝ｉ＋１とし、ステップＳ２１９で、ｉ＞ｃｎｔ＿ｃ（色差信号の全てのサンプル数）であると判断されるまで、ステップＳ２１６〜Ｓ２１８を繰り返す。
ｉ＞ｃｎｔ＿ｃであると判断されたときは、ステップＳ２２０で、輝度・色差信号の平均値（１ピクチャの復号データに対し、輝度信号に第２のブロック歪所定値を加算した値と、色差信号の絶対値との総和を平均化した値）を、以下の式により計算する。
ｄｅｆ＿ｄａｔ＝（ｓｕｍ＿ｙ＋ｓｕｍ＿ｃｂ＋ｓｕｍ＿ｃｒ）／（ｃｎｔ＿ｙ＋ｃｎｔ＿ｃ×２）
ステップＳ２２１において、ｄｅｆ＿ｄａｔが１３１（第３のブロック歪所定値）以上か否かを判断する。ｄｅｆ＿ｄａｔが１３１未満であれば、ステップＳ２２３に進んで、ブロック歪はないとする判断結果（０＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。これに対し、ｄｅｆ＿ｄａｔが１３１以上であれば、ステップＳ２２２に進んで、ブロック歪が生じたとする判断結果（１＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。
次に、符号化映像信号に付随する音声信号（音声に限らない）において、ミュートが生じたか否かを判定する。ミュートとは、符号化された音声信号を複号したときに、無音状態で再生される現象をいう。
図６は、映像処理装置１０において行われるミュートを判定する処理を示すフローチャートである。
ＡＬｉ：ｉ番目の音声信号
ｃｎｔ＿ａｌ：絶対値１０以下の音声信号が連続するサンプル数
ｃｎｔ＿ｓｆ：ある音声区間に存在するスケールファクタの数
Ｓｆ：前記音声区間のスケールファクタ値
ｒｅｓｕｌｔ：判定結果（０＝無音、１＝ミュート）
本実施の形態においては、符号化信号よりサンプルごとに各値を抽出し、以下の処理を行っている。まず、図６のステップＳ３０１において、カウンタを初期化し（ｃｎｔ＿ａｌ＝０）、ステップＳ３０２で、音声レベルの絶対値｜ＡＬｉ｜が１０（第１の音声所定値）以下か否かを判断する。ここで、音声レベルの絶対値｜ＡＬｉ｜が１０を超えているとすれば、音声レベルが比較的高いと判断できるので、ステップＳ３０３でｉ＝ｉ＋１とし、ステップＳ３０１へ戻って次の信号をチェックする。
一方、音声レベルの絶対値｜ＡＬｉ｜が１０未満であるとすれば、ステップＳ３０４で、ｃｎｔ＿ａｌ＝ｃｎｔ＿ａｌ＋１、ｉ＝ｉ＋１とし、ステップＳ３０２で、次の信号について音声レベルの絶対値｜ＡＬｉ｜が１０（第２の音声所定値）以下か否かを判断する。音声レベルの絶対値｜ＡＬｉ｜が１０を超えているとすれば、ステップＳ３０６でｉ＝ｉ＋１とし、ステップＳ３０１へ戻って次の信号をチェックする。
これに対し、音声レベルの絶対値｜ＡＬｉ｜が１０未満であるとすれば、ステップＳ３０７で、ｃｎｔ＿ａｌ＝ｃｎｔ＿ａｌ＋１、ｉ＝ｉ＋１とし、ステップＳ３０８で、ｃｎｔ＿ａｌが２６２３（所定の区間：ただし１０２４サンプルを１つの集合として判定する）を超えるまで、ステップＳ３０５〜Ｓ３０７を繰り返す。
ｃｎｔ＿ａｌが２６２３を超えたとき、ステップＳ３０９で、２６２３に含まれる所定の区間ごとにスケールファクタの個数ｃｎｔ＿ｓｆをカウントする。続くステップＳ３１０で、各区間にｃｎｔ＿ｓｆ＝１且つＳｆ＝０となる区間があるか判定する。ｃｎｔ＿ｓｆ＝１且つＳｆ＝０である場合には、無音状態であると判断できるので、ステップＳ３１１で、無音であるとする判断結果（０＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。一方、ｃｎｔ＿ｓｆ＝１且つＳｆ＝０でない場合には、ステップＳ３１２で、ミュートであるとする判断結果（１＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。
図９に示すように、所定区間の音声レベルの絶対値｜ＡＬｉ｜がすべて１０未満であり、その前後に隣接して５７６の｜ＡＬｉ｜≦１０となるサンプルがある場合、この２区間にｃｎｔ＿ｓｆ＝１且つＳｆ＝０となる区間があるときは、無音であると判断することができる。
エンコードパラメータ抽出部１３により、処理された符号化映像信号からデータ量やＱＳ値が抽出され、これらに基づいてエンコードパラメータ解析部１４で解析が行われ、その解析結果に基づいて画質・音質判定部１５で、画質劣化や音質劣化が判断されるようになっている。
図２は、符号化映像信号の構成を概略的に示す図である。符号化映像信号は、制御用の情報を含むシーケンスヘッダＳＨと、映像情報からなるピクチャグループＧＯＰとを交互に連結した構成をとる。ピクチャグループＧＯＰは、少なくとも１枚のＩピクチャ、さらにＢピクチャやＰピクチャによって構成される。Ｉピクチャを例に取ると、１ピクチャは複数のスライスＳからなる。スライスＳは、１ピクチャ分の映像信号に対して、１ピクチャ上で横方向に切るように分割されたデータをいう。一つのスライスＳは複数のマクロブロックＭＢから構成されている。一つのスライスＳに含まれるマクロブロック数が一定でない場合もあり、横方向に複数のスライスが存在する場合もある。ここでは横方向のスライスを１つの単位として扱い、これをマクロブロックラインと呼ぶことにする。
一つのマクロブロックＭＢは、輝度信号と色差信号のサンプリングフォーマットが４：２：０の場合、１６×１６画素から成る輝度信号Ｙと、８×８画素から成る色差信号Ｃｂ、Ｃｒそれぞれ一つから構成される。一方、輝度信号と色差信号のサンプリングフォーマットが４：２：２の場合、１６×１６画素から成る輝度信号Ｙと、８×８画素から成る色差信号Ｃｂ、Ｃｒそれぞれ２つから構成される。
図３は、１ピクチャにおける正常なマクロブロックラインとフリーズマクロブロックラインを区別して示す図であり、簡略化するために、１マクロブロックラインは、１列で横に並んだ３２個のマクロブロックから構成され、１ピクチャは縦に並んだ１６本のマクロブロックラインからなるものとする。図３において、１マスは１つのマクロブロックを示し、これは図２に示すように１６×１６画素で構成されている。ハッチングされたマクロブロックは、符号化データのない、いわゆるスキップされたマクロブロック（特定マクロブロック）であり、白抜きのマクロブロックは正常なマクロブロックである。
静止画像では、ほとんど全てがスキップされたマクロブロックから構成される。一方、フリーズピクチャにおいても、スキップされたマクロブロックが多数存在するので、その切り分けが重要な課題となっている。
本実施の形態では、１マクロブロックライン中におけるスキップされたマクロブロック数が、第１のフリーズ所定割合Ｘを超えたときに、そのマクロブロックラインはフリーズマクロブロックラインと判断し（例えば図３で、１０番目のマクロブロックライン）、それ以外は正常マクロブロックラインと判断する。又、フリーズマクロブロックラインに挟まれた正常マクロブロックラインは、フリーズマクロブロックラインと見なす（例えば図３で、１１番目のマクロブロックライン）。１ピクチャにおけるフリーズマクロブロックラインの数が第２のフリーズ所定割合Ｙを超えたとき、そのピクチャは映像がフリーズしたフリーズピクチャであると判断する。ここでは、Ｘ＝８０％、Ｙ＝２０％と設定すると、５，６番目のフリーズマクロブロックラインに加え、９〜１６番目のマクロブロックラインがフリーズマクロブロックラインとみなされるので、このピクチャはフリーズピクチャであると判定できる。
図４は、映像処理装置１０において行われるフリーズピクチャを判定する処理を示すフローチャートである。ここで、フローチャート内で用いる符号は以下の意味を持つ。
ＱＳ値：Ｑｕａｎｔｉｓｅｒ Ｓｃａｌｅ（マクロブロックの量子化ステップ・サイズを表す）値
Ｍ（Ｑｓ）：ＱＳ値の平均値
Ｉｂ：符号化映像信号の１ピクチャのデータ量（単位はビット）
ｆ＿ｌｉｎｅ＿ｃｎｔ：連続するフリーズマクロブロックラインの数
ｆ＿ｌｉｎｅ＿ｍａｘ：連続するフリーズマクロブロックラインの最大数
ｆ＿ｍｂ＿ｃｎｔ：スキップされたマクロブロックの数
ｍｂ＿ｗｉｄｔｈ：１マクロブロックラインにおけるマクロブロックの全数
ｍｂ＿ｈｅｉｇｈｔ：１ピクチャにおけるマクロブロックラインの全数
ｂ１＿ｓｔａｔ［ｉ］：ｉ番目のマクロブロックラインの状態（０：正常マクロブロックライン、１：フリーズマクロブロックライン）
ｒｅｓｕｌｔ：判定結果（０＝正常ピクチャ、１＝フリーズピクチャ）
図４のステップＳ１０１において、判定対象がＰピクチャもしくはＢピクチャか否かを判断する。ここで、判定対象がＰピクチャもしくはＢピクチャでないと判断すれば、ステップＳ１２９に進んで、映像障害はないとする判断結果（０＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。
一方、判定対象がＰピクチャもしくはＢピクチャであると判断した場合、ステップＳ１０２でＭ（Ｑｓ）を計算し、ステップＳ１０３でＩｂを計算する。Ｑｕａｎｔｉｓｅｒ Ｓｃａｌｅの平均値は、スキップされたマクロブロックを除く全マクロブロックのＱｕａｎｔｉｓｅｒ Ｓｃａｌｅを平均して求める。マクロブロックにＱｕａｎｔｉｓｅｒ Ｓｃａｌｅが設定されていない場合は、スライスヘッダのＱｕａｎｔｉｓｅｒ Ｓｃａｌｅを、そのスライス内のマクロブロックのＱｕａｎｔｉｓｅｒ Ｓｃａｌｅとして平均値を計算する。Ｉｂは、エンコードパラメータ抽出部に入力されるビデオのＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットに含まれるＰＥＳ＿ｐａｃｋｅｔ＿ｄａｔａ＿ｂｙｔｅのビット数をカウントして求める。
更にステップＳ１０４で、求めたＭ（Ｑｓ）が５０（第１のフリーズ所定値）以上であり且つ求めたＩｂが１５０，０００（第２のフリーズ所定値）以上であるか否かを判断する。求めたＭ（Ｑｓ）が５０未満であり或いは求めたＩｂが１５０，０００未満であれば、静止画像である可能性が高いので、ステップＳ１２９に進んで、映像障害はないとする判断結果（０＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。
これに対し、求めたＭ（Ｑｓ）が５０以上であり且つ求めたＩｂが１５０，０００以上であれば、ステップＳ１０５で、マクロブロックラインのカウンタを初期化（ｉ＝１）として、ステップＳ１０６で、スキップされたマクロブロックのカウントを行う。
ステップＳ１０７において、１マクロブロックラインのマクロブロック全数ｍｂ＿ｗｉｄｔｈに対するスキップされたマクロブロックの数ｆ＿ｍｂ＿ｃｎｔの割合（ｆ＿ｍｂ＿ｃｎｔ×１００／ｍｂ＿ｗｉｄｔｈ）を、８０（第１のフリーズ所定割合）と比較する。（ｆ＿ｍｂ＿ｃｎｔ×１００／ｍｂ＿ｗｉｄｔｈ）＜８０である場合、正常マクロブロックラインと判断するが、この場合、処理されたマクロブロックラインは正常マクロブロックラインである（ｂ１＿ｓｔａｔ［ｉ］＝０）というフラッグをたてる（ステップＳ１０９）。
一方、（ｆ＿ｍｂ＿ｃｎｔ×１００／ｍｂ＿ｗｉｄｔｈ）≧８０である場合、フリーズマクロブロックラインと判断し、更にステップＳ１０８で、前マクロブロックラインがフリーズマクロブロックラインである（ｂ１＿ｓｔａｔ［ｉ］＝１）というフラッグをたてる（ステップＳ１０９）。ステップＳ１１０で、ｉ＝ｉ＋１とし、ステップＳ１１１で、ｉ＞ｍｂ＿ｈｅｉｇｈｔであると判断されるまで（即ちマクロブロックライン全数を判定するまで）、ステップＳ１０６〜Ｓ１１０を繰り返す。
なお、図示していないが、１ピクチャを構成するマクロブロックにおいて、マクロブロックデータが符号化されず、スキップされたマクロブロック数をカウントし、１ピクチャのマクロブロック全数に対する、カウントされた前記マクロブロックの数が第１のフリーズ所定割合を超えた場合、そのピクチャがフリーズしていると判断するようにしても良い。
その後、ステップＳ１１２において、マクロブロックラインのカウンタをｉ＝２とする。続くステップＳ１１３において、ｂ１＿ｓｔａｔ［ｉ−１］＝１＆ｂ１＿ｓｔａｔ［ｉ＋１］か否かを判断する。ｂ１＿ｓｔａｔ［ｉ−１］＝１＆ｂ１＿ｓｔａｔ［ｉ＋１］であるということは、判定対象となるマクロブロックラインが、フリーズマクロブロックラインに挟まれていることを示している。従って、この場合には、判定対象であるマクロブロックラインを正常であってもフリーズマクロブロックラインとみなし、ステップＳ１１４でｂ１＿ｓｔａｔ［ｉ］＝１とフラッグをたてる。一方、ｂ１＿ｓｔａｔ［ｉ−１］＝１＆ｂ１＿ｓｔａｔ［ｉ＋１］でなければ、正常なマクロブロックラインとする。ステップＳ１１５で、ｉ＝ｉ＋１とし、ステップＳ１１６で、ｉ≧ｍｂ＿ｈｅｉｇｈｔであると判断されるまで（即ちマクロブロックライン全数を判定するまで）、ステップＳ１１３〜Ｓ１１５を繰り返す。
ステップＳ１１７で、マクロブロックラインのカウンタを初期化（ｉ＝１）として、更にステップＳ１１８で、フリーズカウンタを初期化する（ｆ＿ｌｉｎｅ＿ｃｎｔ＝０：ｆ＿ｌｉｎｅ＿ｍａｘ＝０）。ステップＳ１１９で、ｂ１＿ｓｔａｔ［ｉ］＝１か否か判断し、ｂ１＿ｓｔａｔ［ｉ］＝０ならば、ステップＳ１２０でｉ＝ｉ＋１とした上で、ステップＳ１１８で、フリーズカウンタを初期化する。一方、ｂ１＿ｓｔａｔ［ｉ］＝１ならば、ステップＳ１２１で、ｆ＿ｌｉｎｅ＿ｃｎｔ＝ｆ＿ｌｉｎｅ＿ｍａｘ＝１とし、ｉ＝ｉ＋１とする。
更にステップＳ１２２で、ｂ１＿ｓｔａｔ［ｉ］＝１か否か判断し、ｂ１＿ｓｔａｔ［ｉ］＝１ならば、ステップＳ１２３で、ｆ＿ｌｉｎｅ＿ｃｎｔ＝ｆ＿ｌｉｎｅ＿ｍａｘ＝１とし、ｉ＝ｉ＋１として、ステップＳ１２４で、ｉ＞ｍｂ＿ｈｅｉｇｈｔであると判断されるまで（即ちマクロブロックライン全数を判定するまで）、ステップＳ１２２〜Ｓ１２３を繰り返す。
一方、ステップＳ１２２で、ｂ１＿ｓｔａｔ［ｉ］＝０ならば、ステップＳ１２６で、ｆ＿ｌｉｎｅ＿ｃｎｔ＞ｆ＿ｌｉｎｅ＿ｍａｘか否かが判断される。ｆ＿ｌｉｎｅ＿ｃｎｔ＞ｆ＿ｌｉｎｅ＿ｍａｘであると判断されれば、ステップＳ１２８でｉ＝ｉ＋１とし、ステップＳ１１８へと戻る。一方、ｆ＿ｌｉｎｅ＿ｃｎｔ＞ｆ＿ｌｉｎｅ＿ｍａｘでないと判断されれば、ステップＳ１２７でｆ＿ｌｉｎｅ＿ｃｎｔ＝ｆ＿ｌｉｎｅ＿ｍａｘとされ、ステップＳ１２８でｉ＝ｉ＋１とし、ステップＳ１１８へと戻る。このようにして、１ピクチャにおけるフリーズしたマクロブロックラインの数を求めることができる。
ステップＳ１２５において、１ピクチャにおけるマクロブロックラインの全数ｍｂ＿ｈｅｉｇｈｔに対するフリーズしたマクロブロックの数ｆ＿ｌｉｎｅ＿ｃｎｔの割合（ｆ＿ｌｉｎｅ＿ｃｎｔ×１００／ｍｂ＿ｈｅｉｇｈｔ）が、２０（第２のフリーズ所定割合）以上であるか否かを判定する。（ｆ＿ｌｉｎｅ＿ｃｎｔ×１００／ｍｂ＿ｈｅｉｇｈｔ）≧２０である場合、ステップＳ１３０で、映像のフリーズがあるとする判断結果（１＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。これに対し、（ｆ＿ｌｉｎｅ＿ｃｎｔ×１００／ｍｂ＿ｈｅｉｇｈｔ）＜２０である場合には、ステップＳ１２９に進んで、映像のフリーズはないとする判断結果（０＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。
次に、画面の複数箇所に分散してフリーズが発生する場合の検出方法について説明する。
ＭＰＥＧエンコード時に、画面を複数に分割して処理する場合があり、分割された領域内でフリーズが発生する。図７にその例を示す。
図７において、ハッチングされたマクロブロックは、符号化データのないスキップされたマクロブロック、白抜きは正常なマクロブロックを表す。この例では、画面が水平方向に９分割されており、フリーズの原因となるスキップされたマクロブロックは、分割された領域内の下から２マクロブロックラインに存在する。
画面の分割方式は、水平方向に３分割や、格子状に６分割などがあり、またスキップされたマクロブロックも分割領域の上から数スライスに発生する場合がある。
図８は、映像処理装置１０において行われるフリーズピクチャ領域を判定する処理を示すフローチャートである。ここで、フローチャート内で用いる符号は以下の意味をもつ。
ＭＱｓ（ｉ，ｊ）：分割領域（ｉ，ｊ）のＱｕａｎｔｉｓｅｒ Ｓｃａｌｅの平均値
ＳＬ＿ｃｎｔ（ｉ，ｊ）：分割領域（ｉ，ｊ）のマクロブロックラインの数
ＳＬ２＿ｍｂ＿ｃｎｔ（ｉ，ｊ）：分割領域（ｉ，ｊ）の２マクロブロックラインのマクロブロック数
Ｓｋ＿ｍｂ＿ｃｎｔ（ｉ，ｊ）：分割領域（ｉ，ｊ）のスキップされたマクロブロックの全数
ＴＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）：分割領域（ｉ，ｊ）の上から２マクロブロックラインにおけるスキップされたマクロブロックの数
ＢＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）：分割領域（ｉ，ｊ）の下から２マクロブロックラインにおけるスキップされたマクロブロックの数
ＴＳｋ＿ｍｂ＿ｃｎｔ２（ｉ，ｊ）：分割領域（ｉ，ｊ）の上から｛ＳＬ＿ｃｎｔ（ｉ，ｊ）／２｝マクロブロックラインにおけるスキップされたマクロブロックの数
ＢＳｋ＿ｍｂ＿ｃｎｔ２（ｉ，ｊ）：分割領域（ｉ，ｊ）の下から｛ＳＬ＿ｃｎｔ（ｉ，ｊ）／２｝マクロブロックラインにおけるスキップされたマクロブロックの数
ＲＴ（ｉ，ｊ）：分割領域（ｉ，ｊ）の上から２マクロブロックラインにおけるスキップされたマクロブロックの発生率
ＲＢ（ｉ，ｊ）：分割領域（ｉ，ｊ）の下から２マクロブロックラインにおけるスキップされたマクロブロックの発生率
ＲＳＴ（ｉ，ｊ）：分割領域（ｉ，ｊ）のスキップされたマクロブロックのうち、上から｛ＳＬ＿ｃｎｔ（ｉ，ｊ）／２｝マクロブロックラインに存在する割合
ＲＳＢ（ｉ，ｊ）：分割領域（ｉ，ｊ）のスキップされたマクロブロックのうち、下から｛ＳＬ＿ｃｎｔ（ｉ，ｊ）／２｝マクロブロックラインに存在する割合
Ｍ：横方向の画面分割数
Ｎ：縦方向の画面分割数
ｒｅｓｕｌｔ：判定結果（０＝正常ピクチャ領域、１＝フリーズピクチャ領域）
ただしｉ＝０〜Ｎ−１，ｊ＝０〜Ｍ−１
ＲＴ（ｉ，ｊ）、ＲＢ（ｉ，ｊ）、ＲＳＴ（ｉ，ｊ）、ＲＳＢ（ｉ，ｊ）は以下の式で表される。
ＲＴ（ｉ，ｊ）＝｛ＴＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）／ＳＬ２＿ｍｂ＿ｃｎｔ（ｉ，ｊ）｝×１００
ＲＢ（ｉ，ｊ）＝｛ＢＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）／ＳＬ２＿ｍｂ＿ｃｎｔ（ｉ，ｊ）｝×１００
ＲＳＴ（ｉ，ｊ）＝｛ＴＳｋ＿ｍｂ＿ｃｎｔ２（ｉ，ｊ）／Ｓｋ＿ｍｂ＿ｃｎｔ（ｉ，ｊ）｝×１００
ＲＳＢ（ｉ，ｊ）＝｛ＢＳｋ＿ｍｂ＿ｃｎｔ２（ｉ，ｊ）／Ｓｋ＿ｍｂ＿ｃｎｔ（ｉ，ｊ）｝×１００
以下のパラメータから次の判定を行ない、フリーズを検出する。まず、図８のステップＳ４０１で、判定対象がＰピクチャもしくはＢピクチャか否かを判断する。ここで、判定対象がＰピクチャもしくはＢピクチャでないと判断すれば、処理フローを終了する。
一方、判定対象がＰピクチャもしくはＢピクチャであると判断した場合、ステップＳ４０２でカウンタの初期化を行い、ステップＳ４０３でＭＱｓ（ｉ，ｊ）を計算する。続くステップＳ４０４で、ＭＱｓ（ｉ，ｊ）を７０（第３のフリーズ所定値）と比較し、これが７０未満であれば、フリーズピクチャ領域ではないと見なし、ステップＳ４１５で、該当領域で映像のフリーズがないとする判断結果（０＝ｒｅｓｕｌｔ）を出力する。一方、ＭＱｓ（ｉ，ｊ）が７０以上であれば、ステップＳ４０５で、ＲＳＴ（ｉ，ｊ）、ＲＳＢ（ｉ，ｊ）を計算する。
更にステップＳ４０６で、ｉが１以上であれば、ステップＳ４０７で、ＲＳＴ（ｉ，ｊ）を８０（第３のフリーズ所定割合）と比較し、ＲＳＴ（ｉ，ｊ）が８０以上であれば、ステップＳ４０８で、ＲＴ（ｉ，ｊ）、ＲＢ（ｉ−１，ｊ）を計算する。更に、ステップＳ４０９で、ＲＴ（ｉ，ｊ）が１０（第４のフリーズ所定割合）以上で、且つＲＢ（ｉ−１，ｊ）が５（第５のフリーズ所定割合）以下であるか否か判定する。ＲＴ（ｉ，ｊ）が１０以上で、且つＲＢ（ｉ−１，ｊ）が５以下である場合、ステップＳ４１０で、該当領域で映像のフリーズがあるとする判断結果（１＝ｒｅｓｕｌｔ）を出力し、フローはステップＳ４１６へと進む。
一方、ステップＳ４０６で、ｉ＜１であると判定された場合、又はステップＳ４０７で、ＲＳＴ（ｉ，ｊ）＜８０と判定された場合、或いはステップＳ４０９で、ＲＴ（ｉ，ｊ）が１０以上でなく、またＲＢ（ｉ−１，ｊ）が５以下でないと判断された場合、フローはステップＳ４１１へと進み、ここでｉ≦Ｎ−２であるか否か判断される。ｉ≦Ｎ−２でないと判断されれば、フローはステップＳ４１６へと進むが、ｉ≦Ｎ−２であると判断されれば、続くステップＳ４１２で、ＲＳＢ（ｉ，ｊ）を８０（第１のフリーズ所定割合）と比較する。ＲＳＢ（ｉ，ｊ）が８０以上でなければ、フローはステップＳ４１６へと進むが、ＲＳＢ（ｉ，ｊ）が８０以上であれば、ステップＳ４１３で、ＲＢ（ｉ，ｊ）、ＲＴ（ｉ＋１，ｊ）を計算する。
更にステップＳ４１４で、ＲＢ（ｉ，ｊ）が１０（第４のフリーズ所定割合）以上で、且つＲＴ（ｉ＋１，ｊ）が５（第５のフリーズ所定割合）以下であるか否か判断される。ＲＢ（ｉ，ｊ）が１０以上でなく、或いはＲＴ（ｉ＋１，ｊ）が５以下でないと判断されれば、フローはステップＳ４１６へと進むが、ＲＢ（ｉ，ｊ）が１０以上で、且つＲＴ（ｉ＋１，ｊ）が５以下であると判断されれば、ステップＳ４１０で、該当領域で映像のフリーズがあるとする判断結果（１＝ｒｅｓｕｌｔ）を出力し、フローはステップＳ４１６へと進む。
ステップＳ４１６では、ｊがＭ−１以上か否か判断し、ｊ＜Ｍ−１であれば、ステップＳ４１７でｊを１つカウントアップしてフローをステップＳ４０３へと戻す。一方、ｊ≧Ｍ−１であれば、ステップＳ４１８で、ｉがＮ−１以上か否か判断し、ｉ＜Ｎ−１であれば、ステップＳ４１９でｉを１つカウントアップしてフローをステップＳ４０３へと戻す。一方、ｉ≧Ｎ−１であれば、１画面分の検出が終了したものとしてフローを終了する。
なお、ＲＴ（ｉ，ｊ）、ＲＢ（ｉ，ｊ）は、分割領域のマクロブロックの数をｍｂ＿ｃｎｔ（ｉ，ｊ）として、以下のように定義しても良い。
ＲＴ（ｉ，ｊ）＝｛ＴＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）／ｍｂ＿ｃｎｔ（ｉ，ｊ）｝×１００
ＲＢ（ｉ，ｊ）＝｛ＢＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）／ｍｂ＿ｃｎｔ（ｉ，ｊ）｝×１００
又、ステップＳ４０９，Ｓ４１４において、ＲＴ（ｉ，ｊ）、ＲＢ（ｉ，ｊ）を用いずに、ＴＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）、ＢＳｋ＿ｍｂ＿ｃｎｔ１（ｉ，ｊ）を閾値と比較しても良い。
更に、ステップＳ４０３，Ｓ４０４においては、分割領域（ｉ，ｊ）のＱｕａｎｔｉｓｅｒ Ｓｃａｌｅの平均値に替えて、１ピクチャの全マクロブロックに対してＱｕａｎｔｉｓｅｒ Ｓｃａｌｅの平均値を求めても良い。
次に、ピクチャにおいてブロック歪が生じたか否かを検出する方法について説明する。ブロック歪とは、１つのマクロブロック内が一様な色となり、原画が再生できない状態をいう。
図５は、映像処理装置１０において行われるブロック歪を判定する処理を示すフローチャートである。ここで、フローチャート内で用いる符号は以下の意味を持つ。
ＱＳ値：Ｑｕａｎｔｉｓｅｒ Ｓｃａｌｅ（マクロブロックの量子化ステップ・サイズを表す）値
Ｍ（Ｑｓ）：ＱＳ値の平均値
ｃｎｔ＿ｙ：復号された輝度信号のサンプル数
ｃｎｔ＿ｃ：復号された輝度信号Ｃｂ，Ｃｒのそれぞれのサンプル数
ｄｅｆ＿ｄａｔ：輝度、色差信号の平均値の合計
ｓｕｍ＿ｙ：復号された輝度信号の合計
ｓｕｍ＿ｃｂ：復号された色差信号Ｃｂの絶対値の合計
ｓｕｍ＿ｃｒ：復号された色差信号Ｃｒの絶対値の合計
ｍｂ＿ｗｉｄｔｈ：１マクロブロックラインにおけるマクロブロックの全数
ｍｂ＿ｈｅｉｇｈｔ：１ピクチャにおけるマクロブロックラインの全数
ｒｅｓｕｌｔ：判定結果（０＝正常ピクチャ、１＝ブロック歪ピクチャ）
図５のステップＳ２０１において、ＱＳ値の平均値Ｍ（Ｑｓ）を求める。続くステップＳ２０２で、求めたＭ（Ｑｓ）を２５（第１のブロック歪所定値）と比較する。Ｍ（Ｑｓ）が２５未満であれば、静止画像である可能性が高いので、ステップＳ２２３に進んで、ブロック歪はないとする判断結果（０＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。
これに対し、Ｍ（Ｑｓ）が２５以上であれば、ステップＳ２０３で、輝度信号のサンプル数を計算する（ｃｎｔ＿ｙ＝ｍｂ＿ｗｉｄｔｈ×ｍｂ＿ｈｅｉｇｈｔ）。更にステップＳ２０４で、色差信号のサンプリングが４：２：０か否かを判断し、４：２：０であると判断した場合には、ステップＳ２０５で、以下の式に基づいて色差信号のサンプル数を計算する。
ｃｎｔ＿ｙ＝ｍｂ＿ｗｉｄｔｈ×ｍｂ＿ｈｅｉｇｈｔ／４
一方、色差信号のサンプリングが４：２：０でないと判断した場合、更にステップＳ２０６で、色差信号のサンプリングが４：２：２か否かを判断し、４：２：２であると判断した場合、ステップＳ２０７で、以下の式に基づいて色差信号のサンプル数を計算する。
ｃｎｔ＿ｙ＝ｍｂ＿ｗｉｄｔｈ×ｍｂ＿ｈｅｉｇｈｔ／２
これに対し、色差信号のサンプリングが４：２：２でないと判断した場合、Ｓ２０８で、以下の式に基づいて色差信号のサンプル数を計算する。
ｃｎｔ＿ｙ＝ｍｂ＿ｗｉｄｔｈ×ｍｂ＿ｈｅｉｇｈｔ
その後、ステップＳ２０９でカウンタを初期化（ｉ＝０）とし、ステップＳ２１０において、判定対象がＰピクチャもしくはＢピクチャか否かを判断する。ここで、判定対象がＰピクチャもしくはＢピクチャであると判断すれば、ステップＳ２１２に進み、判定対象がＰピクチャもしくはＢピクチャであると判断すれば、ステップＳ２１１で、復号された輝度信号に１２８を加算する。
ステップＳ２１２において、輝度信号の合計ｓｕｍ＿ｙを計算する。更にステップＳ２１３で、ｉ＝ｉ＋１とし、ステップＳ２１４で、ｉ＞ｃｎｔ＿ｙ（輝度信号の全てのサンプル数）であると判断されるまで、ステップＳ２１０〜Ｓ２１３を繰り返す。
ｉ＞ｃｎｔ＿ｙであると判断されたときは、ステップＳ２１５でカウンタを初期化し（ｉ＝１）、ステップＳ２１６で復号された色差信号Ｃｂ、Ｃｒの絶対値を計算し、ステップＳ２１７で、色差信号の合計ｓｕｍ＿ｃｂ、ｓｕｍ＿ｃｒを計算する。更にステップＳ２１８で、ｉ＝ｉ＋１とし、ステップＳ２１９で、ｉ＞ｃｎｔ＿ｃ（色差信号の全てのサンプル数）であると判断されるまで、ステップＳ２１６〜Ｓ２１８を繰り返す。
ｉ＞ｃｎｔ＿ｃであると判断されたときは、ステップＳ２２０で、輝度・色差信号の平均値（１ピクチャの復号データに対し、輝度信号に第２のブロック歪所定値を加算した値と、色差信号の絶対値との総和を平均化した値）を、以下の式により計算する。
ｄｅｆ＿ｄａｔ＝（ｓｕｍ＿ｙ＋ｓｕｍ＿ｃｂ＋ｓｕｍ＿ｃｒ）／（ｃｎｔ＿ｙ＋ｃｎｔ＿ｃ×２）
ステップＳ２２１において、ｄｅｆ＿ｄａｔが１３１（第３のブロック歪所定値）以上か否かを判断する。ｄｅｆ＿ｄａｔが１３１未満であれば、ステップＳ２２３に進んで、ブロック歪はないとする判断結果（０＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。これに対し、ｄｅｆ＿ｄａｔが１３１以上であれば、ステップＳ２２２に進んで、ブロック歪が生じたとする判断結果（１＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。
次に、符号化映像信号に付随する音声信号（音声に限らない）において、ミュートが生じたか否かを判定する。ミュートとは、符号化された音声信号を複号したときに、無音状態で再生される現象をいう。
図６は、映像処理装置１０において行われるミュートを判定する処理を示すフローチャートである。
ＡＬｉ：ｉ番目の音声信号
ｃｎｔ＿ａｌ：絶対値１０以下の音声信号が連続するサンプル数
ｃｎｔ＿ｓｆ：ある音声区間に存在するスケールファクタの数
Ｓｆ：前記音声区間のスケールファクタ値
ｒｅｓｕｌｔ：判定結果（０＝無音、１＝ミュート）
本実施の形態においては、符号化信号よりサンプルごとに各値を抽出し、以下の処理を行っている。まず、図６のステップＳ３０１において、カウンタを初期化し（ｃｎｔ＿ａｌ＝０）、ステップＳ３０２で、音声レベルの絶対値｜ＡＬｉ｜が１０（第１の音声所定値）以下か否かを判断する。ここで、音声レベルの絶対値｜ＡＬｉ｜が１０を超えているとすれば、音声レベルが比較的高いと判断できるので、ステップＳ３０３でｉ＝ｉ＋１とし、ステップＳ３０１へ戻って次の信号をチェックする。
一方、音声レベルの絶対値｜ＡＬｉ｜が１０未満であるとすれば、ステップＳ３０４で、ｃｎｔ＿ａｌ＝ｃｎｔ＿ａｌ＋１、ｉ＝ｉ＋１とし、ステップＳ３０２で、次の信号について音声レベルの絶対値｜ＡＬｉ｜が１０（第２の音声所定値）以下か否かを判断する。音声レベルの絶対値｜ＡＬｉ｜が１０を超えているとすれば、ステップＳ３０６でｉ＝ｉ＋１とし、ステップＳ３０１へ戻って次の信号をチェックする。
これに対し、音声レベルの絶対値｜ＡＬｉ｜が１０未満であるとすれば、ステップＳ３０７で、ｃｎｔ＿ａｌ＝ｃｎｔ＿ａｌ＋１、ｉ＝ｉ＋１とし、ステップＳ３０８で、ｃｎｔ＿ａｌが２６２３（所定の区間：ただし１０２４サンプルを１つの集合として判定する）を超えるまで、ステップＳ３０５〜Ｓ３０７を繰り返す。
ｃｎｔ＿ａｌが２６２３を超えたとき、ステップＳ３０９で、２６２３に含まれる所定の区間ごとにスケールファクタの個数ｃｎｔ＿ｓｆをカウントする。続くステップＳ３１０で、各区間にｃｎｔ＿ｓｆ＝１且つＳｆ＝０となる区間があるか判定する。ｃｎｔ＿ｓｆ＝１且つＳｆ＝０である場合には、無音状態であると判断できるので、ステップＳ３１１で、無音であるとする判断結果（０＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。一方、ｃｎｔ＿ｓｆ＝１且つＳｆ＝０でない場合には、ステップＳ３１２で、ミュートであるとする判断結果（１＝ｒｅｓｕｌｔ）を出力して処理フローを終了する。
図９に示すように、所定区間の音声レベルの絶対値｜ＡＬｉ｜がすべて１０未満であり、その前後に隣接して５７６の｜ＡＬｉ｜≦１０となるサンプルがある場合、この２区間にｃｎｔ＿ｓｆ＝１且つＳｆ＝０となる区間があるときは、無音であると判断することができる。
Claims (13)
- ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に従う符号化映像信号に含まれる符号化情報に基づいて映像障害を検出する映像障害検出装置において、
入力された符号化映像信号から抽出された１ピクチャのデータ量と、ＭＰＥＧの符号化において用いられるＱＳ（Ｑｕａｎｔｉｓｅｒ Ｓｃａｌｅ）値とに基づいて、映像障害を検出することを特徴とする映像障害検出装置。 - 前記映像障害は映像のフリーズであり、ピクチャ単位での前記ＱＳ値の平均値が、第１のフリーズ所定値未満であり、なおかつ、１ピクチャのデータ量が第２のフリーズ所定値未満の場合、映像のフリーズが生じた可能性が低いと判断することを特徴とする請求項１に記載の映像障害検出装置。
- １ピクチャを構成するマクロブロックにおいて、マクロブロックデータが符号化されず、スキップされたマクロブロック数をカウントし、１ピクチャのマクロブロック全数に対する、カウントされた前記マクロブロックの数が第１のフリーズ所定割合を超えた場合、そのピクチャがフリーズしていると判断することを特徴とする請求項１又は２に記載の映像障害検出装置。
- １ピクチャの横方向のマクロブロックを１マクロブロックラインとして、１マクロブロックラインにおいて、スキップされたマクロブロック数をカウントし、その数が第２のフリーズ所定割合を超えた場合、そのマクロブロックラインはフリーズしていると判断することを特徴とする請求項１〜３のいずれかに記載の映像障害検出装置。
- １ピクチャのマクロブロックライン全数に対する、前記フリーズしたマクロブロックラインの数が第３のフリーズ所定割合を超えた場合、そのピクチャがフリーズしていると判断することを特徴とする請求項１〜４のいずれかに記載の映像障害検出装置。
- 前記フリーズしたマクロブロックラインが複数ある場合、前記フリーズしたマクロブロックライン間に存在するマクロブロックラインは、フリーズしていると判断することを特徴とする請求項４又は５に記載の映像障害検出装置。
- ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に従う符号化映像信号に含まれる符号化情報に基づいて映像障害を検出する映像障害検出装置において、
入力された符号化映像信号が画面を複数に分割して符号化されている場合、分割された領域におけるＱＳ（Ｑｕａｎｔｉｓｅｒ Ｓｃａｌｅ）値に基づいて、映像障害を検出することを特徴とする映像障害検出装置。 - 前記映像障害はブロック歪であり、ピクチャ単位での前記ＱＳ値の平均値が、第１のブロック歪所定値未満であり、なおかつ、１ピクチャの復号データに対し、輝度信号に第２のブロック歪所定値を加算した値と、色差信号の絶対値との総和を平均化し、その平均値が第３のブロック歪所定値以上の場合、ブロック歪が生じたと判断することを特徴とする請求項７のいずれかに記載の映像障害検出装置。
- 前記映像障害は映像フリーズであり、分割された領域単位での前記ＱＳ値の平均値が、第３のフリーズ所定置未満の場合、映像のフリーズが生じた可能性が低いと判断することを特徴とする請求項７記載の映像障害検出装置。
- 画面の上下で隣接する分割された領域において、マクロブロックデータが符号化されず、スキップされたマクロブロック数をそれぞれカウントし、上の領域に対しては、領域の下半分のマクロブロックにおいて、スキップされたマクロブロック数をカウントし、下の領域に対しては、領域の上半分のマクロブロックにおいて、スキップされたマクロブロックの数をカウントするとともに、それぞれの領域において、上半分又は下半分の領域におけるスキップされたマクロブロックの割合が、第３のフリーズ所定割合未満であるとき、映像のフリーズが生じた可能性が低いと判断することを特徴とする請求項７記載の映像障害検出装置。
- 当該領域の上半分のマクロブロックラインにおけるスキップされたマクロブロックの割合が第３のフリーズ所定割合を超えるとき、当該領域の上から２マクロブロックラインに含まれるスキップされたマクロブロックの数をカウントし、当該領域のスキップされたマクロブロックの全数に対する割合が第４のフリーズ所定割合以上であり、隣接する上の領域において下から２マクロブロックラインに含まれるスキップされたマクロブロックの数をカウントし、上の領域におけるスキップされたマクロブロックの全数に対する割合が第５のフリーズ所定割合以下であるとき、当該領域において映像のフリーズが発生したと判断することを特徴とする請求項１０に記載の映像障害検出装置。
- 当該領域の下半分のマクロブロックラインにおけるスキップされたマクロブロックの割合が第３のフリーズ所定割合を超えるとき、当該領域の下から２マクロブロックラインに含まれるスキップされたマクロブロックの数をカウントし、当該領域のスキップされたマクロブロックの全数に対する割合が第４のフリーズ所定割合以上であり、隣接する下の領域において上から２マクロブロックラインに含まれるスキップされたマクロブロックの数をカウントし、下の領域におけるスキップされたマクロブロックの全数に対する割合が第５のフリーズ所定割合以下であるとき、当該領域において映像のフリーズが発生したと判断することを特徴とする請求項１０又は１１に記載の映像障害検出装置。
- 前記符号化映像信号に多重化された符号化音声信号を復号し、音声信号レベルが第１の音声所定値以下となる連続するサンプル数をカウントし、そのカウントが第２の音声所定値以上であるとき、その連続するサンプル内に含まれる所定区間において、音声信号に対するスケールファクタ値がゼロであり且つスケールファクタの個数が１の所定区間が存在する場合、そのサンプル内に無音状態があると判断し、スケールファクタ値がゼロ以上であり且つスケールファクタの個数が２以上の所定区間が存在する場合、そのサンプルにミュートが発生したと判断することを特徴とする請求項１〜７のいずれかに記載の映像障害検出装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2005/014246 WO2007013183A1 (ja) | 2005-07-28 | 2005-07-28 | 映像障害検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2007013183A1 true JPWO2007013183A1 (ja) | 2009-02-05 |
Family
ID=37683091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007526803A Pending JPWO2007013183A1 (ja) | 2005-07-28 | 2005-07-28 | 映像障害検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2007013183A1 (ja) |
| WO (1) | WO2007013183A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11706415B2 (en) * | 2020-12-28 | 2023-07-18 | Advanced Micro Devices, Inc. | Still frame detection in video data |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06133250A (ja) * | 1992-10-15 | 1994-05-13 | Hitachi Ltd | 音声ミュート検出回路 |
| JPH06165075A (ja) * | 1992-11-20 | 1994-06-10 | Hitachi Ltd | 音声ミュート検出回路 |
| JP2000115766A (ja) * | 1998-09-29 | 2000-04-21 | Ando Electric Co Ltd | 動画再生分析装置 |
| JP2001186514A (ja) * | 1999-12-07 | 2001-07-06 | Tektronix Inc | ビデオ信号の繰り返しフレームの検出方法及び装置 |
| JP2002262312A (ja) * | 2001-02-06 | 2002-09-13 | Tektronix Inc | フリーズ・フィールド検出方法及び装置 |
| JP2002359847A (ja) * | 2001-06-01 | 2002-12-13 | K Solution:Kk | 動画像監視装置 |
| JP2003204562A (ja) * | 2001-07-19 | 2003-07-18 | Kdd Media Will Corp | 信号監視システム |
| JP2003204561A (ja) * | 2001-10-31 | 2003-07-18 | Kddi Corp | 画質劣化検出装置 |
-
2005
- 2005-07-28 WO PCT/JP2005/014246 patent/WO2007013183A1/ja active Application Filing
- 2005-07-28 JP JP2007526803A patent/JPWO2007013183A1/ja active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06133250A (ja) * | 1992-10-15 | 1994-05-13 | Hitachi Ltd | 音声ミュート検出回路 |
| JPH06165075A (ja) * | 1992-11-20 | 1994-06-10 | Hitachi Ltd | 音声ミュート検出回路 |
| JP2000115766A (ja) * | 1998-09-29 | 2000-04-21 | Ando Electric Co Ltd | 動画再生分析装置 |
| JP2001186514A (ja) * | 1999-12-07 | 2001-07-06 | Tektronix Inc | ビデオ信号の繰り返しフレームの検出方法及び装置 |
| JP2002262312A (ja) * | 2001-02-06 | 2002-09-13 | Tektronix Inc | フリーズ・フィールド検出方法及び装置 |
| JP2002359847A (ja) * | 2001-06-01 | 2002-12-13 | K Solution:Kk | 動画像監視装置 |
| JP2003204562A (ja) * | 2001-07-19 | 2003-07-18 | Kdd Media Will Corp | 信号監視システム |
| JP2003204561A (ja) * | 2001-10-31 | 2003-07-18 | Kddi Corp | 画質劣化検出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2007013183A1 (ja) | 2007-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8184164B2 (en) | Method for measuring multimedia video communication quality | |
| JP3336754B2 (ja) | デジタルビデオ信号の記録方法及び記録装置 | |
| CN109510919B (zh) | 用于感知质量评估的场景变换检测的方法、设备和介质 | |
| US20030123841A1 (en) | Commercial detection in audio-visual content based on scene change distances on separator boundaries | |
| EP2717578A1 (en) | Image processing device and image processing method | |
| US9615102B2 (en) | Method and apparatus for processing components of an image | |
| CN110312163B (zh) | 一种视频静帧检测方法及系统 | |
| GB2437337A (en) | Measuring block artefacts in video data using an auto-correlation function | |
| US20110142418A1 (en) | Blockiness and fidelity in watermarking | |
| EP3217666A1 (en) | Video image decoding device and video image decoding method | |
| US6219067B1 (en) | Measures for characterizing compressed bitstreams | |
| EP1126725A1 (en) | Image decoding device | |
| CN108366295B (zh) | 视频分类特征提取方法、转码重压缩检测方法及存储介质 | |
| US8244061B1 (en) | Automated detection of source-based artifacts in an information signal | |
| WO2013004167A1 (zh) | 色度预测模式候选集的确定方法及设备 | |
| US7848424B2 (en) | Control of frame types in video compression | |
| JP2004260602A (ja) | 画像劣化自動検出装置 | |
| JPWO2007013183A1 (ja) | 映像障害検出装置 | |
| US8139101B2 (en) | Pre-processing of video data | |
| JPH11205792A (ja) | ブロック歪低減方法及び装置 | |
| JP4267036B2 (ja) | 表示制御装置及び表示制御方法 | |
| JPH11275590A (ja) | 画像間圧縮符号化装置および符号化方法 | |
| JP2005175710A (ja) | デジタル記録再生装置及びデジタル記録再生方法 | |
| JPWO2005043915A1 (ja) | 映像解析装置及び映像障害検出装置 | |
| US20090274372A1 (en) | Method and apparatus for measuring blockiness in video images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110222 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110715 |