JP3838516B2 - 伝送画質監視装置 - Google Patents
伝送画質監視装置 Download PDFInfo
- Publication number
- JP3838516B2 JP3838516B2 JP2004159219A JP2004159219A JP3838516B2 JP 3838516 B2 JP3838516 B2 JP 3838516B2 JP 2004159219 A JP2004159219 A JP 2004159219A JP 2004159219 A JP2004159219 A JP 2004159219A JP 3838516 B2 JP3838516 B2 JP 3838516B2
- Authority
- JP
- Japan
- Prior art keywords
- image quality
- video
- transmission
- point
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Systems (AREA)
Description
本発明は伝送画質監視装置に関し、特に、複数の伝送装置が縦列接続され、方式変換装置を含んで構成された伝送路の各地点における映像の画質特徴量を抽出し、これにより抽出された画質特徴量を比較することにより伝送路上の伝送画質を遠隔監視する伝送画質監視装置に関する。
映像を処理する複数の伝送装置が縦続接続された伝送路上の伝送画質を監視する場合、各地点における映像の画質特徴量を抽出し、これにより抽出された画質特徴量を中央監視室に伝送して比較することにより伝送路上の伝送画質を一括して遠隔監視できる。
本発明者らは、伝送路上の伝送画質を監視するための画質特徴量の計算方法を特許文献１，２で既に提案した。この画質特徴量の計算方法は、映像をあるサイズのブロックに分割し、各ブロックの映像を直交変換して変換係数を抽出し、これにより抽出された変換係数を中央監視室へ伝送することを特徴としている。
特に、この画質特徴量の計算方法が効果を発揮するのは、特許文献１，２に記載されているように、映像にスペクトル拡散を適用した後に直交変換し、変換係数を抽出して伝送する場合である。スペクトル拡散は、映像を構成する各画素の符号をランダムに変化させることにより実現される。
また、本発明者らは、方式変換装置を含んで構成された伝送路上の伝送画質を遠隔監視する伝送画質監視装置を、特願２００４−５７６２８号として先に出願した。図１１は、その伝送画質監視装置を示すブロック図である。６２５／５０方式の映像は方式変換装置を含む伝送路１を伝送され、５２５／６０方式の映像として送出される。伝送路１上の伝送画質を監視するために、伝送路１の入力側の映像を抽出し、走査線間引き手段２を介して画質特徴量抽出手段３に入力する。また、伝送路１の出力側の映像を抽出し、画質特徴量抽出手段４に入力する。画質特徴量抽出手段３，４で抽出した画質特徴量を低速回線を通じて中央監視室５へ伝送する。
中央監視室５は、フィールド（フレーム）間引き手段６および比較・判断手段７を備え、画質特徴量抽出手段３，４から伝送されてきた画質特徴量のフィールド数を合わせた後、比較することにより伝送路上の伝送画質を遠隔監視する。このように、上記先願の発明では、フォーマットが異なる映像から走査線やフィールドを間引くことにより両者のフォーマットを仮想的に合わせ込んでからその差分を計算し、差分の大小で伝送画質を監視する。
特開２００３−９１８６号公報
特開２００３−８７８２３号公報
特許文献１，２で提案された発明によれば、伝送路１を伝送される映像の比較により、例えば、映像圧縮符号化伝送装置などによる符号化ノイズや伝送路エラーに基づく受信映像の信号対雑音比の劣化を正確に推定することが可能となる。
しかしながら、特許文献１，２で提案された発明では、伝送路の各地点での映像のフォーマット（走査線数，フィールド数やフレーム数，水平画素数）が同一であることを前提としているため、伝送路の途中で映像のフォーマットが変換されると、フォーマット変換の前後の映像を比較することができなくなる。
上記先願の発明によればこの点は改良されるが、映像の絵柄が細かく動きが激しい場合など、映像の性質によっては方式変換と間引き自体に起因する差分が大きく出てきてしまい、比較結果で得られた差分が伝送路上の障害による画質低下に基づくものか方式変換と間引き自体に基づくものかの区別が困難になる場合がある。
本発明の目的は、方式変換装置を含んで構成された伝送路上を、絵柄が細かく動きが激しい映像などが伝送される場合であっても、各地点における映像の画質特徴量に基づいて伝送路上の伝送画質を高精度に遠隔監視できる伝送画質監視装置を提供することにある。
上記課題を解決するために、本発明は、複数の伝送装置が縦列接続され、方式変換装置を含んで構成された伝送路の各地点における映像の画質特徴量を抽出し、これにより抽出された画質特徴量を比較することにより伝送路上の伝送画質を監視する伝送画質監視装置において、方式変換装置による方式変換前後の映像うち走査線が多い映像が存在する第１の地点における映像の走査線を、走査線数が前記方式変換装置による方式変換前後のうち走査線が少ない映像のそれに合うように一定割合で間引く間引き手段と、前記間引き手段により走査線が間引かれた映像の画質特徴量を抽出する第１の特徴量抽出手段と、前記方式変換装置による方式変換前後の映像のうち走査線が少ない映像が存在する第２の地点における映像の画質特徴量を抽出する第２の特徴量抽出手段と、前記第１の地点または第２の地点の映像における信号分散値と相関係数値を求める計算手段と、中央監視室に設けられ、前記第１および第２の特徴量抽出手段で抽出された画質特徴量を比較してＰＳＮＲの推定値を求めるとともに、前記計算手段で求められた信号分散値と相関係数値から求めたＰＳＮＲの予測値と比較して伝送路上の伝送画質を判断する比較・判断手段を備えた点に第１の特徴がある。
また、本発明は、複数の伝送装置が縦列接続され、方式変換装置を含んで構成された伝送路の各地点における映像の画質特徴量を抽出し、これにより抽出された画質特徴量を比較することにより伝送路上の伝送画質を監視する伝送画質監視装置において、方式変換装置による方式変換前後の映像うちフィールドまたはフレームが多い映像が存在する第１の地点における映像のフィールドまたはフレームを、フィールドまたはフレーム数が前記方式変換装置による方式変換前後のうちフィールドまたはフレームが少ない映像のそれに合うように一定割合で間引く間引き手段と、前記間引き手段によりフィールドまたはフレームが間引かれた映像の画質特徴量を抽出する第１の特徴量抽出手段と、方式変換装置による方式変換前後の映像うちフィールドまたはフレームが少ない映像が存在する第２の地点における映像の画質特徴量を抽出する第２の特徴量抽出手段と、前記第１の地点または第２の地点の映像における信号分散値と相関係数値を求める計算手段と、中央監視室に設けられ、前記第１および第２の特徴量抽出手段で抽出された画質特徴量を比較してＰＳＮＲの推定値を求めるとともに、前記計算手段で求められた信号分散値と相関係数値から求めたＰＳＮＲの予測値と比較して伝送路上の伝送画質を判断する比較・判断手段を備えた点に第２の特徴がある。
また、本発明は、複数の伝送装置が縦列接続され、方式変換装置を含んで構成された伝送路の各地点における映像の画質特徴量を抽出し、これにより抽出された画質特徴量を比較することにより伝送路上の伝送画質を監視する伝送画質監視装置において、方式変換装置による方式変換前後の映像うち水平画素が多い映像が存在する第１の地点における映像の水平画素を、水平画素数が前記方式変換装置による方式変換前後のうち水平画素が少ない映像のそれに合うように一定割合で間引く間引き手段と、前記間引き手段により水平画素が間引かれた映像の画質特徴量を抽出する第１の特徴量抽出手段と、方式変換装置による方式変換前後の映像うち水平画素が少ない映像が存在する第２の地点における映像の画質特徴量を抽出する第２の特徴量抽出手段と、前記第１の地点または第２の地点の映像における信号分散値と相関係数値を求める計算手段と、中央監視室に設けられ、前記第１および第２の特徴量抽出手段で抽出された画質特徴量を比較してＰＳＮＲの推定値を求めるとともに、前記計算手段で求められた信号分散値と相関係数値から求めたＰＳＮＲの予測値と比較して伝送路上の伝送画質を判断する比較・判断手段を備えた点に第３の特徴がある。
また、本発明は、複数の伝送装置が縦列接続され、方式変換装置を含んで構成された伝送路の各地点における映像の画質特徴量を抽出し、これにより抽出された画質特徴量を比較することにより伝送路上の伝送画質を監視する伝送画質監視装置において、方式変換装置による方式変換前後の映像うちフィールドまたはフレームが多い映像が存在する第１の地点における映像の画質特徴量を抽出する第１の特徴量抽出手段と、方式変換装置による方式変換前後の映像うちフィールドまたはフレームが少ない映像が存在する第２の地点における映像の画質特徴量を抽出する第２の特徴量抽出手段と、前記第１の地点または第２の地点の映像における信号分散値と相関係数値を求める計算手段と、中央監視室に設けられ、前記第１の特徴量抽出手段で抽出された画質特徴量を、単位時間当りの画質特徴量数が前記方式変換装置による方式変換前後のうちフィールドまたはフレームが少ない映像のそれに合うように一定割合で廃棄する廃棄手段と、前記中央監視室に設けられ、前記廃棄手段から送出される画質特徴量と前記第２の特徴量抽出手段で抽出された画質特徴量を比較してＰＳＮＲの推定値を求めるとともに、前記計算手段で求められた信号分散値と相関係数値から求めたＰＳＮＲの予測値と比較して伝送路上の伝送画質を判断する比較・判断手段を備えた点に第４の特徴がある。
また、本発明は、前記第１および第２の画質特徴量抽出手段が、入力映像を任意のサイズのブロックに分割するブロック分割部と、ブロック内の映像を直交変換する直交変換部と、直交変換された任意の周波数成分値を取り出す係数抽出部とからなる点に第５の特徴がある。
さらに、本発明は、前記第１および第２の画質特徴量抽出手段が、入力映像を２のべき乗の正方形のブロックに分割するブロック分割部と、ブロック内の映像を直交変換する直交変換部と、直交変換された任意の周波数成分値を取り出す係数抽出部とからなる点に第６の特徴がある。
本発明の第１ないし第４の特徴によれば、伝送の途中で映像のフォーマット変換が行われたとしても、フォーマット変換の前後での映像のフォーマットの相違をなくして擬似的に同一フォーマットの映像を比較することができ、また、映像における信号分散値と相関係数値を利用して絵柄が細かく動きが激しい映像などの場合であっても、伝送路上の伝送画質を高精度に遠隔監視することができる。
また、第５の特徴によれば、画質特徴量抽出に際し、映像を任意のサイズのブロックに分割した後、ブロックごとに直交変換するので、1回あたりの直交変換の計算量を減らすことができる。また、直交変換のある周波数成分を取り出して推定に使用することにより、変換前の信号を間引きにより同じ量だけ取り出す場合に比べ、劣化をより高精度に推定しやすくすることができる。
また、直交変換を行う前に、画像に対しスペクトル拡散を行えば、周波数特性に偏りのあるノイズを、周波数拡散することができる。その後、直交変換して、ある周波数成分の値を取り出し、送信側と受信側で差分を取ることにより、そのノイズのサンプルがより代表としてふさわしい、ノイズの平均値を表したものとなる。すなわち、より高精度で、伝送画質の自動遠隔監視が実現できる。
さらに、第６の特徴によれば、任意のサイズの画面に対して２のべき乗のサイズの直交変換を適用することが可能になるため、伝送画質監視装置の簡易化が可能になる。また、画像をブロック分割する際、隣り合った画素同士ではなく離れた画素をサンプリングして各ブロックを構成することにより、画像面上の広い範囲を比較的小さいサイズのブロックでカバーして監視することができるようになり、伝送画質監視装置の簡易化が可能になる。
図面を参照して本発明を詳細に説明する。図１は、本発明の伝送画質監視装置の一実施形態を示すブロック図であり、図１１と同一あるいは同等部分には同じ番号を付してある。以下では６２５／５０方式の映像を５２５／６０方式の映像へ変換する方式変換装置を含む伝送路上の伝送画質を遠隔監視する場合を例として説明するが、本発明はその例に限られず、その他の方式間の変換を含む伝送路上の伝送画質を監視する場合にも適用することができる。
伝送路１は、６２５／５０方式の映像を５２５／６０方式の映像へ変換する方式変換装置を含む。この伝送路１上の伝送画質を監視するために、伝送路１の入力（６２５／５０方式）側の映像を抽出し、走査線間引き手段２を介して画質特徴量抽出手段３に入力するとともに、信号分散・相関係数計算手段８に入力する。また、伝送路１の出力（５２５／６０方式）側の映像を抽出し、画質特徴量抽出手段４に入力する。
画質特徴量抽出手段３，４はそれぞれの画質特徴量を抽出し、信号分散・相関係数計算手段８は映像の信号分散・相関係数を求める。なお、信号分散・相関係数計算手段８は伝送路１の出力側に設けてもよい。画質特徴量は、特許文献１，２と同様に、各ブロックの映像を直交変換して得られる係数データのうちの任意のものでよい。また、映像の信号分散と相関係数は、当業者に周知であるのでここでの説明は省略する。
画質特徴量抽出手段３，４で抽出された画質特徴量および信号分散・相関係数計算手段８で求められた信号分散・相関係数は電話回線やＬＡＮ回線などの低速回線を通じて中央監視室５へ伝送される。
中央監視室５は、フィールド（フレーム）間引き手段６および比較・判断手段７を備える。フィールド（フレーム）間引き手段６は、６フィールドごとに１フィールドの割合でフィールドを間引く。比較・判断手段７は、画質特徴量抽出部４からの画質特徴量とフィールド（フレーム）間引き手段６からの画質特徴量を比較するとともに、信号分散・相関係数計算手段８で求められた信号分散値と相関係数値を利用して伝送路上の伝送画質を遠隔監視する。画質特徴量の比較には、例えば平均自乗誤差(MSE)を用いることができる。
以下に、図１の各部での処理について詳細に説明する。まず、伝送路１上の方式変換について説明する。６２５／５０方式の映像は、伝送路１の途中に備えられた方式変換装置で５２５／６０方式の映像に変換されて伝送される。図２は、６２５／５０方式と５２５／６０方式のフィールド（ａ）と走査線（ｂ）の違いと両者間での方式変換の概念を示す図である。６２５／５０方式では１フレーム内に走査線（垂直ライン）が６２５本、１秒間のフィールド数が５０枚（フレーム数は２５枚）であり、５２５／６０方式では１フレーム内に走査線（垂直ライン）が５２５本、１秒間のフィールド数が６０枚（フレーム数は３０枚）である。
６２５／５０方式から５２５／６０方式への変換は、６２５／５０方式のフィールドまたは走査線から５２５／６０方式のフィールドまたは走査線を推定することにより行われる。図２(ａ)に示すように、６２５／５０方式のフィールドを順にＦ１，Ｆ２，Ｆ３，・・・で表し、５２５／６０方式のフィールドを順にｆ１，ｆ２，ｆ３，・・・で表すと、例えばフィールドｆ２はフィールドＦ１とＦ２から推定され、フィールドｆ３はフィールドＦ２とＦ３から推定される。逆方向の方式変換の場合、フィールドＦ２はフィールドｆ２とｆ３から推定され、フィールドＦ３はフィールドｆ３とｆ４から推定される。走査線（図２（ｂ）のライン数変換）についても同様である。
次に、走査線間引き手段２における処理について説明する。伝送路１による伝送前後の映像を比較して伝送路上の伝送画質を監視するという目的上、中央監視室６の比較・判断手段７で比較する比較対象走査線同士は、なるべく位置的に近いことが要求される。走査線間引き手段２はこれを実現するものである。
図３は、走査線間引き手段２での間引き処理を具体的に示す概念図である。なお、○は奇数フィールドの走査線を表し、×は偶数フィールドの走査線を表している。図３（ａ）は、６２５／５０方式の奇数フィールドの走査線に５２５／６０方式の奇数フィールドの走査線を対応させる場合（実線）と偶数フィールドの走査線を対応させる場合（破線）があることを示している。また、図３（ｂ）は、６２５／５０方式の偶数フィールドの走査線に５２５／６０方式の奇数フィールドの走査線を対応させる場合（実線）と偶数フィールドの走査線を対応させる場合（破線）があることを示している。
６２５／５０方式の奇数フィールドの走査線を順にＬ１，Ｌ２，Ｌ３，・・・、偶数フィールドの走査線をＬ１′，Ｌ２′，Ｌ３′，・・・、で表し、５２５／６０方式の奇数フィールドの走査線を順にｌ１，ｌ２，ｌ３，・・・、偶数フィールドの走査線をｌ１′，ｌ２′，ｌ３′，・・・で表すと、６２５／５０方式の奇数フィールドの場合には、はじめに上から３ライン目の走査線Ｌ３を間引き、偶数フィールドの場合には上から５ライン目の走査線Ｌ５′を間引く。以後、６ラインごとに１ラインずつの走査線を間引く。これにより、比較対象同士の走査線の本来の位置との距離差は最大でも０．８ライン（６２５／５０方式への換算）になり、実用上十分な精度で走査線同士を比較することができる。
次に、フィールド（フレーム）間引き手段６における処理について説明する。画面（フィールド）についても比較する比較対象画面同士は、なるべく時間的位置が近いことが要求される。フィールド（フレーム）間引き手段６はこれを実現するものである。
５２５／６０方式ではフィールド数が６２５／５０方式側に比べて６：５の割合で多いため、画質特徴量抽出手段４で抽出された画質特徴量もこの割合で多くなっている。したがって、画質特徴量抽出手段３，４から伝送されてきた画質特徴量を中央監視室６の比較・判断手段７で比較する前に、画質特徴量抽出手段４から伝送されてきた画質特徴量をフィールド（フレーム）間引き手段６に入力し、６フィールドごとに１フィールドの割合で間引く。それぞれの画質特徴量はどのフィールドから抽出されたものか分かっていると前提できるので、これが可能となる。
図４は、フィールド（フレーム）間引き手段６での間引き処理を具体的に示す概念図である。図４（ａ）に実線で示すように、まず、それぞれのフィールドデータ同士を対応させて両者の差分絶対値和を算出する。この差分絶対値和が最も小さくなる組み合わせが時間的に最も近いフィールドであると判断できる。このようにして時間的位置を補正しつつ対応するフィールドを見つけ出すことができる。
図４（ｂ）の上段は６２５／５０方式、下段は５２５／６０方式の各フィールドデータを示し、○は奇（偶）数フィールド、×は偶（奇）数フィールドを示している。６２５／５０方式のフィールドを順にＦ１，Ｆ２，Ｆ３，・・・で表し、５２５／６０方式のフィールドを順にｆ１，ｆ２，ｆ３，・・・で表すと、上記のようにして対応するフィールドが見つけ出され、はじめに５２５／６０方式の左（左端でフィールドが位置的に一致しているとする）から４フィールド目の画面ｆ４が間引かれ、以後、６フィールドごとに１フィールドずつの画面が間引かれる。これにより、比較対象同士の画面の本来の時間的位置との距離差は最大でも０．４フィールド（５２５／６０方式への換算）になり、実用上十分な精度で画面同士を比較することができる。
次に、比較・判断手段７における処理について説明する。比較・判断手段７は、画質特徴量抽出手段４からの画質特徴量とフィールド（フレーム）間引き手段６からの画質特徴量の他に信号分散・相関係数計算手段８で求められた信号分散値と相関係数値を用いて伝送路１上の伝送画質を高精度に監視する。
映像の絵柄が細かく動きが激しい場合など、映像の性質によっては方式変換と間引き自体によって映像間の差分が大きく出てくることがある。したがって、画質特徴量を単に比較したのでは、伝送路１上での伝送に問題がないにも拘わらずＭＳＥが大きくなってしまうことがある。信号分散値と相関係数値は、比較・判断に際し、方式変換と間引き自体によって起こる映像間の差分を絵柄ごとに予測するために利用される。
例えば、画像“Carousel”の場合、ＭＳＥを下記(1)式により変換したＰＮＳＲ（ピーク信号対雑音比）は、伝送路１に問題がなくても、図５に示すように、フィールドごとに周期的に変動する。
ＰＳＮＲ＝１０log１０（２５５２／ＭＳＥ） (1)
ＰＳＮＲ＝１０log１０（２５５２／ＭＳＥ） (1)
このようにＰＳＮＲが変動し、５フィールドごとに大きな値を取る理由は、６２５／５０方式と５２５／６０方式の変換は、図４に示すように、５フィールドと６フィールドの変換であり、間引きにより５フィールドに１回最も時間的距離が近づくフィールドがあるからである。
また、例えば、画像“Interview”の場合、ＰＳＮＲの変動は、図６に示すようになる。ここでは、ＰＳＮＲはやはり５フィールドの周期で変動しているが、図５と比べると、はっきりしたピークはなく、細かい変動が見られる。この理由は、図３に示すように、比較対象のフィールドが奇数フィールドか偶数フィールドかによって、走査線同士の垂直距離が異なり、それがＭＳＥに影響するからである。なお、画像“Interview”は動きが少ないため、フィールド同士の距離はそれ程大きな影響を与えない。
図５や図６に示すようなＰＳＮＲの曲線は、元の映像の性質すなわち信号分散と相関係数によってある程度予測可能である。次に、この予測手法について説明する。
映像の信号分散をσＳ ２、フィールド内垂直画素間相関係数をρＶ、フレーム間相関係数をρＴとおき、間引きの位相により比較対象の走査線間の距離が６２５／５０方式換算でα[line]、β[frame]離れているとする。垂直方向と時間方向の単位をそれぞれｖ[line]、ｔ[frame]で表すと、これら走査線上の画素ｘ（ｖ，ｔ）、ｘ（ｖ＋α，ｔ＋β）の間の相関係数ρ（α，β）は、画像信号の一般的性質より、下記(2)式で表すことができる（吹抜敬彦著「画像のデジタル信号処理（増補版）」日刊工業新聞社 昭和６３年発行 129-130頁参照）。
ρ（α，β）＝ρＶ αρＴ β (2)
ρ（α，β）＝ρＶ αρＴ β (2)
これら画素間のＭＳＥ期待値σｒ ２は、下記(3)式で表される。なお、アッパーライン付きはｖ，ｔに関する平均を表し、ｍは画素値平均である。
垂直方向の比較組合せパターンとしては、図３に示すように、６２５／５０方式の奇数フィールド、偶数フィールドそれぞれが５２５／６０方式の奇数フィールド、偶数フィールドと比較される場合の合計４通りである。６２５／５０方式から間引く段階では、のちにどの組合せで比較されるのかは分からない。しかし、ＭＳＥがなるべく小さくなるように、６２５／５０方式の０−５ラインのうち、奇数フィールドでは第２ライン、偶数フィールドでは第４ラインを間引くことにする。以降のラインではこの繰り返しによる間引きを行う。
時間方向の比較組合せパターンとしては、図４に示すようにようになる。ＭＳＥを小さくするには、５２５／６０方式の第０−１１フィールドのうち、最も距離が大きくなる第３フィールドと第９フィールドを間引くのがよいこととなる。第３フィールドと第９フィールドでの距離は、６２５／５０方式換算で０．５フィールド分である。以降のフィールドではこの繰り返しによる間引きを行う。なお、実際には、間引く時点ではどの組合せで比較されるか分からないが、中央監視室６でＭＳＥが小さくなるように間引くようにすればよい。
間引き後の映像同士の垂直方向の走査線間隔αとしては、フィールド内では５種類存在することになり（図３参照）、各種類ごとにＭＥＳ期待値が異なる。そこで、フィールド内のＭＳＥ期待値は、この５通りのＭＳＥ期待値を平均したものとする。また、このフィールド内のＭＳＥ期待値σｏ ２(ｆ)（ｆはフィールド番号）は、図４から分かるように、１０フィールド周期となる。
例えば、第０フィールドは、時間方向の距離が０、垂直方向の距離が０，０.２，０.６，０.４，０.２[line]の５種類あるので、フィールド内のＭＳＥ期待値σｏ ２(０)は、下記(4)式で示される。
同様に、第１および第９フィールドは、時間方向の距離が１／１２[frame]、垂直方向の距離が０.１，０.３，０.５，０.７，０.１[line]の５種類あるので、フィールド内のＭＳＥ期待値σｏ ２(１)，σｏ ２(９)は、下記(5)式で示される。
同様に、第２〜第８フィールドにおけるフィールド内のＭＳＥ期待値σｏ ２(２)〜σｏ ２(８)は、下記(6)〜(9)式で示される。
垂直相関が小さく動きの激しい映像ほど間引きによる伝送画質監視への悪影響が強く出ることは上記(4)〜(9)式からも言える。すなわち、垂直相関が小さく動きの激しい映像においてはフィールド内垂直画素間相関係数ρＶおよびフレーム間相関係数ρＴが大きいため、ＭＳＥ期待値σｏ ２(ｆ)が大きくなる。
上記例の典型的な２種類の画像“Carousel”、“Interview”の信号分散と相関係数の値を上記(4)〜(9)式に代入してＭＳＥ期待値σｏ ２(ｆ)を求め、さらに、上記(1)式によりＰＮＳＲの予測値を求めた結果を図７に示す。図７の破線は、極めて精細で動きの激しい画像“Carousel”に相当するσＳ ２＝1317，ρＶ＝0.92，ρＴ＝0.54の場合のフィールドごとのＰＳＮＲ[dB]の予測値であり、図７の実線は、動きの少ない画像“Interview”に相当するσＳ ２＝1533，ρＶ＝0.95，ρＴ＝0.996の場合のフィールドごとのＰＳＮＲ[dB]の予測値である。
中央監視室６の比較・判断手段７は、伝送路１の入力側および出力側の映像より抽出された画質特徴量を比較して上記(1)式によりＰＳＮＲの推定値を求め、さらに、これにより求められたＰＳＮＲの推定値が妥当なものかどうかを、映像の信号分散と相関係数から求めたＰＳＮＲの予測値と比較することにより判定する。
図８、図９はそれぞれ、画像“Carousel”と“Interview”でサイズ256×64のブロックあたり１係数データ（直交変換係数データ）を抽出した場合、伝送路１の入力側および出力側の画質特徴量に基づいて得られたＰＳＮＲの推定値を示す。この場合、画質特徴量抽出手段３，４と中央監視室５を結ぶ監視回線を流れるデータ量は7.2kbpsである。比較・判断手段７は、ＰＳＮＲの推定値を予測値と比較し、その結果、ＰＳＮＲの推定値がその予測値と大きく異なっていたら伝送路１に障害が発生したものとして警告する。
画質特徴量抽出手段（上記実施形態の画質特徴抽出手段３，４）の構成は、具体的には、特許文献１，２に記載された構成と同じでよい。図１０は、特許文献１に記載された画質特徴量抽出手段１０を示すブロック図である。本例の画質特徴量抽出手段１０は、少ない計算量で高精度の画質特徴量を抽出できるようにしたものであり、ブロック分割部２１、直交変換部２２および係数抽出部２３からなる。
ブロック分割部２１は、入力映像を任意のサイズのブロックに分割し、するブロック分割手段と、直交変換部２２は、ブロック内の映像を直交変換し、係数抽出部２３は、直交変換された任意の周波数成分値を取り出す。なお、ブロック分割後にブロック内のスペクトル拡散を行って周波数特性に偏りのあるノイズを周波数拡散させ、その後に直交変換するようにしてもよい。
この構成では、画質特徴量抽出に際し、映像を任意のサイズのブロックに分割した後ブロックごとに直交変換するので、1回あたりの直交変換の計算量を減らすことができる。また、直交変換のある周波数成分を取り出して推定に使用することにより、変換前の信号を間引きにより同じ量だけ取り出す場合に比べ、劣化をより高精度に推定しやすくすることができる。これは、測定対象の符号化ノイズなどの画質劣化は、広い周波数帯域に渡って存在することが多いからである。
また、特許文献２に記載された画質特徴量抽出手段を採用することもできる。これに記載された画質特徴量抽出手段は、装置化が比較的容易な高速直交変換の使用を可能にしたものであり、図１０と同様にブロック分割部、直交変換部および係数抽出部からなる。ブロック分割部は、入力映像を２のべき乗の正方形のブロックに分割し、直交変換部は、ブロック内の映像を直交変換し、係数抽出部は、直交変換された任意の周波数成分値を取り出す。
また、ブロック分割部、画像の有効画面外を含むブロックには予め定められた値を埋めて２のべき乗の正方形のブロックに構成する。なお、予め定められた値が埋め込まれたブロックに対しては、ブロックの面積をＳ、ブロック面積Ｓの内の予め定められた値で埋めた面積をＫとするとき、中央監視室６で平均自乗誤差(MSE)を算出するとき、それを補正して、Ｓ／（Ｓ−Ｋ）・ＭＳＥとする。
また、ブロック分割部で入力映像を２のべき乗の正方形のブロックに分割する際に、離れた画素をサンプリングして各ブロックを構成することもできる。
この構成では、任意のサイズの画面に対して２のべき乗のサイズの直交変換を適用することが可能になるため、伝送画質監視装置の簡易化が可能になる。また、画像をブロック分割する際、隣り合った画素同士ではなく離れた画素をサンプリングして各ブロックを構成することにより、画像面上の広い範囲を比較的小さいサイズのブロックでカバーして監視することができるようになり、伝送画質監視装置の簡易化が可能になる。
以上、実施形態について説明したが、本発明は種々の変形が可能であり、上記実施形態に限定されるものではない。例えば、上記実施形態の６２５／５０方式と５２５／６０方式の間の方式変換のように水平画素数が等しい場合、水平画素の間引きは不要であるが、水平画素数が変わる方式変換を含む場合には水平画素についても間引きを行えばよい。
また、フィールド（フレーム）間引き手段６は、中央監視室５内に設ける必要はなく、伝送路１の出力側付近に画質特徴量抽出手段４と共に設けることもできる。また、伝送路１で伝送されるディジタル映像信号中に重畳されている補助データ領域にあるタイムコードを参照して伝送路出力側の映像に対する間引き処理を実行するようにしたり、中央監視室５から間引き対象のフィールドを指定したりすることもできる。
以上説明したように、本発明では、走査線（垂直ライン）数やフィールド（フレーム）数、水平画素数が異なる映像に対し、それぞれの数の多い側の映像から走査線、フィールド（フレーム）、画素の間引き処理を施した上で画質特徴量を抽出して比較し、さらに映像の信号分散と相関係数の情報を利用して伝送路上の伝送画質を監視するので、伝送路の途中で方式変換が実施され、絵柄が細かく動きが激しい映像が伝送される場合などであっても、伝送路上の伝送画質を高精度に遠隔監視することができる。
１・・・伝送路（方式変換装置を含む）、２・・・走査線間引き手段、３，４，１０・・・画質特徴量抽出手段、５・・・中央監視室、６・・・フィールド（フレーム）間引き手段、７・・・比較・判断手段、８・・・信号分散・相関係数計算手段、１１・・・ブロック分割部、１２・・・直交変換部、１３・・・係数抽出部
Claims (6)
- 複数の伝送装置が縦列接続され、方式変換装置を含んで構成された伝送路の各地点における映像の画質特徴量を抽出し、これにより抽出された画質特徴量を比較することにより伝送路上の伝送画質を監視する伝送画質監視装置において、
方式変換装置による方式変換前後の映像うち走査線が多い映像が存在する第１の地点における映像の走査線を、走査線数が前記方式変換装置による方式変換前後のうち走査線が少ない映像のそれに合うように一定割合で間引く間引き手段と、
前記間引き手段により走査線が間引かれた映像の画質特徴量を抽出する第１の特徴量抽出手段と、
前記方式変換装置による方式変換前後の映像のうち走査線が少ない映像が存在する第２の地点における映像の画質特徴量を抽出する第２の特徴量抽出手段と、
前記第１の地点または第２の地点の映像における信号分散値と相関係数値を求める計算手段と、
中央監視室に設けられ、前記第１および第２の特徴量抽出手段で抽出された画質特徴量を比較してＰＳＮＲの推定値を求めるとともに、前記計算手段で求められた信号分散値と相関係数値から求めたＰＳＮＲの予測値と比較して伝送路上の伝送画質を判断する比較・判断手段を備えたことを特徴とする伝送画質監視装置。 - 複数の伝送装置が縦列接続され、方式変換装置を含んで構成された伝送路の各地点における映像の画質特徴量を抽出し、これにより抽出された画質特徴量を比較することにより伝送路上の伝送画質を監視する伝送画質監視装置において、
方式変換装置による方式変換前後の映像うちフィールドまたはフレームが多い映像が存在する第１の地点における映像のフィールドまたはフレームを、フィールドまたはフレーム数が前記方式変換装置による方式変換前後のうちフィールドまたはフレームが少ない映像のそれに合うように一定割合で間引く間引き手段と、
前記間引き手段によりフィールドまたはフレームが間引かれた映像の画質特徴量を抽出する第１の特徴量抽出手段と、
方式変換装置による方式変換前後の映像うちフィールドまたはフレームが少ない映像が存在する第２の地点における映像の画質特徴量を抽出する第２の特徴量抽出手段と、
前記第１の地点または第２の地点の映像における信号分散値と相関係数値を求める計算手段と、
中央監視室に設けられ、前記第１および第２の特徴量抽出手段で抽出された画質特徴量を比較してＰＳＮＲの推定値を求めるとともに、前記計算手段で求められた信号分散値と相関係数値から求めたＰＳＮＲの予測値と比較して伝送路上の伝送画質を判断する比較・判断手段を備えたことを特徴とする伝送画質監視装置。 - 複数の伝送装置が縦列接続され、方式変換装置を含んで構成された伝送路の各地点における映像の画質特徴量を抽出し、これにより抽出された画質特徴量を比較することにより伝送路上の伝送画質を監視する伝送画質監視装置において、
方式変換装置による方式変換前後の映像うち水平画素が多い映像が存在する第１の地点における映像の水平画素を、水平画素数が前記方式変換装置による方式変換前後のうち水平画素が少ない映像のそれに合うように一定割合で間引く間引き手段と、
前記間引き手段により水平画素が間引かれた映像の画質特徴量を抽出する第１の特徴量抽出手段と、
方式変換装置による方式変換前後の映像うち水平画素が少ない映像が存在する第２の地点における映像の画質特徴量を抽出する第２の特徴量抽出手段と、
前記第１の地点または第２の地点の映像における信号分散値と相関係数値を求める計算手段と、
中央監視室に設けられ、前記第１および第２の特徴量抽出手段で抽出された画質特徴量を比較してＰＳＮＲの推定値を求めるとともに、前記計算手段で求められた信号分散値と相関係数値から求めたＰＳＮＲの予測値と比較して伝送路上の伝送画質を判断する比較・判断手段を備えたことを特徴とする伝送画質監視装置。 - 複数の伝送装置が縦列接続され、方式変換装置を含んで構成された伝送路の各地点における映像の画質特徴量を抽出し、これにより抽出された画質特徴量を比較することにより伝送路上の伝送画質を監視する伝送画質監視装置において、
方式変換装置による方式変換前後の映像うちフィールドまたはフレームが多い映像が存在する第１の地点における映像の画質特徴量を抽出する第１の特徴量抽出手段と、
方式変換装置による方式変換前後の映像うちフィールドまたはフレームが少ない映像が存在する第２の地点における映像の画質特徴量を抽出する第２の特徴量抽出手段と、
前記第１の地点または第２の地点の映像における信号分散値と相関係数値を求める計算手段と、
中央監視室に設けられ、前記第１の特徴量抽出手段で抽出された画質特徴量を、単位時間当りの画質特徴量数が前記方式変換装置による方式変換前後のうちフィールドまたはフレームが少ない映像のそれに合うように一定割合で廃棄する廃棄手段と、
前記中央監視室に設けられ、前記廃棄手段から送出される画質特徴量と前記第２の特徴量抽出手段で抽出された画質特徴量を比較してＰＳＮＲの推定値を求めるとともに、前記計算手段で求められた信号分散値と相関係数値から求めたＰＳＮＲの予測値と比較して伝送路上の伝送画質を判断する比較・判断手段を備えたことを特徴とする伝送画質監視装置。 - 前記第１および第２の画質特徴量抽出手段は、入力映像を任意のサイズのブロックに分割するブロック分割部と、ブロック内の映像を直交変換する直交変換部と、直交変換された任意の周波数成分値を取り出す係数抽出部とからなることを特徴とする請求項１ないし４のいずれかに記載の伝送画質監視装置。
- 前記第１および第２の画質特徴量抽出手段は、入力映像を２のべき乗の正方形のブロックに分割するブロック分割部と、ブロック内の映像を直交変換する直交変換部と、直交変換された任意の周波数成分値を取り出す係数抽出部とからなることを特徴とする請求項１ないし４のいずれかに記載の伝送画質監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004159219A JP3838516B2 (ja) | 2004-05-28 | 2004-05-28 | 伝送画質監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004159219A JP3838516B2 (ja) | 2004-05-28 | 2004-05-28 | 伝送画質監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005341365A JP2005341365A (ja) | 2005-12-08 |
| JP3838516B2 true JP3838516B2 (ja) | 2006-10-25 |
Family
ID=35494394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004159219A Expired - Fee Related JP3838516B2 (ja) | 2004-05-28 | 2004-05-28 | 伝送画質監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3838516B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2646808C (en) * | 2003-08-22 | 2013-01-22 | Nippon Telegraph And Telephone Corporation | Video aligning apparatus, video aligning method, and video quality assessing apparatus |
| EP1956635B1 (en) | 2005-11-28 | 2013-05-15 | Hitachi, Ltd. | Ion guide device, ion reactor, and mass analyzer |
| JP2007243294A (ja) | 2006-03-06 | 2007-09-20 | Kddi Corp | 映像品質監視装置 |
-
2004
- 2004-05-28 JP JP2004159219A patent/JP3838516B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005341365A (ja) | 2005-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8031770B2 (en) | Systems and methods for objective video quality measurements | |
| US6493023B1 (en) | Method and apparatus for evaluating the visual quality of processed digital video sequences | |
| KR100934539B1 (ko) | 멀티미디어 비디오 통신 품질 측정 방법 | |
| US8737486B2 (en) | Objective image quality assessment device of video quality and automatic monitoring device | |
| US8625675B2 (en) | Block error compensating apparatus of image frame and method thereof | |
| US8422806B2 (en) | Information processing apparatus and information processing method for reducing the processing load incurred when a reversibly encoded code stream is transformed into an irreversibly encoded code stream | |
| US9628751B2 (en) | Method, device, and system for pre-processing a video stream for subsequent motion detection processing | |
| US8134598B2 (en) | Picture quality monitoring apparatus | |
| WO2008047865A1 (fr) | Procédé, système et programme d'évaluation de qualité d'image | |
| EP0985318B1 (en) | System for extracting coding parameters from video data | |
| US20030099290A1 (en) | Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video | |
| JP4194029B2 (ja) | 画像劣化自動検出装置 | |
| JP3838516B2 (ja) | 伝送画質監視装置 | |
| US7551198B2 (en) | Transmitted picture quality monitoring apparatus | |
| JP2001285881A (ja) | ディジタル情報変換装置および方法、並びに画像情報変換装置および方法 | |
| CN115225961B (zh) | 一种无参考网络视频质量评价方法和装置 | |
| JP2000324499A (ja) | 画像処理装置及びシーンチェンジ検出方法 | |
| Aggarwal | A review on video quality assessment | |
| JPH08322041A (ja) | ブロック歪み除去装置 | |
| JP2007043309A (ja) | 伝送画質監視装置 | |
| EP3399759A1 (en) | Pre-compression filter | |
| JP4133788B2 (ja) | 符号化誤差推定方法および符号化誤差推定装置 | |
| JP6431449B2 (ja) | 映像整合装置、映像整合方法、及びプログラム | |
| JP2007519335A (ja) | ビデオ圧縮エンコーダのための３：２プルダウンスイッチオフ信号の生成装置 | |
| Okarma | Adaptation of the Combined Image Similarity Index for Video Sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060502 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060630 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060726 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060727 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150811 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |