JP4662224B2

JP4662224B2 - 伝送画質監視装置

Info

Publication number: JP4662224B2
Application number: JP2001272034A
Authority: JP
Inventors: 亮一川田; 正裕和田
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2001-09-07
Filing date: 2001-09-07
Publication date: 2011-03-30
Anticipated expiration: 2021-09-07
Also published as: JP2003087823A

Description

【０００１】
【発明の属する技術分野】
本発明は伝送画質監視装置に関し、特に、伝送路に縦列に複数の伝送処理装置が介在する系（以下、映像伝送チェーンと呼ぶ）において、各処理地点での伝送画質を、中央で一括遠隔監視する場合に好適な、映像伝送における伝送画質の自動遠隔監視装置に関する。
【０００２】
【従来の技術】
従来の、映像伝送チェーンにおける、特徴量抽出による画質の遠隔自動監視・評価装置の一つとして、本発明者によって発明され、特願２００１−１１７２２６号「伝送画質監視装置」として特許出願されているものがある。
【０００３】
この特許出願された発明は、画像をあるサイズのブロックに分割し、分割した各ブロックを直交変換し、その変換係数を抽出し、抽出された変換係数を中央監視室へ伝送して伝送画質を評価するものである。画像を分割したブロックを直交変換するための装置化に当たっては、直交変換として、ウォルシュアダマール変換、フーリエ変換、あるいは離散コサイン変換などの適用が考えられる。
【０００４】
これらの変換のハードウェア規模を抑えるために、高速計算方式を用いるのがよいことが従来から知られている。そして、該高速計算方式を用いる制約として、ブロックサイズを２のべき乗とする必要がある。また、変換ブロックサイズが大きくなればなる程、ハードウェア規模が増大する。
【０００５】
したがって、ブロックサイズとしては、サイズが小さいほど良く、またサイズの制約としては、２のべき乗であることが望ましい。
【０００６】
【発明が解決しようとする課題】
しかしながら、ここで、次の２つの課題が生じる。
【０００７】
（１）標準テレビ（ＳＤＴＶ）やＨＤＴＶでは、画面サイズは２のべき乗ではない。すなわち、標準テレビは例えば７２０（画素）×４８６（列）であり、ＨＤＴＶも例えば１９２０（画素）×１０８０（列）となっている。したがって、２のべき乗で表現されるサイズのブロックを、標準テレビやＨＤＴＶ等に、どのように当てはめるかということが実用上重要となる。
【０００８】
（２）ブロックサイズが小さいと、全画面をカバーするためのブロック数が増大する。そうすると、中央監視室へ伝送する抽出変換係数が増大せざるを得なくなり、細い監視回線しか有しない場合には、本発明に係わる監視装置を適用することが困難になる。
【０００９】
本発明は、以上の従来技術に鑑みてなされたものであり、その目的は、送信側と受信側から特徴量を抽出することにより遠隔監視を行う伝送画質監視装置において、装置化に適した簡易な直交変換を適用するのに有効なブロックを作成できる装置を提供することにある。
【００１０】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、複数の伝送装置の縦列接続からなる映像伝送路上の伝送画質を監視する伝送画質監視装置であって、該映像伝送路上の複数地点において、映像画質の特徴量を抽出する特徴量抽出手段と、該特徴量抽出手段からのデータを低速回線を介して供給されるＭＳＥ（平均二乗誤差）を推定するＭＳＥ推定手段とを具備し、前記特徴量抽出手段が、入力映像を２のべき乗の正方形のブロックに分割するブロック分割手段と、ブロック内の映像を直交変換する直交変換手段と、該直交変換の任意の周波数成分値を取り出す周波数成分値抽出手段とからなり、前記ブロック分割手段は、画像の有効画面外を含むブロックには予め定められた値を埋めて前記２のべき乗の正方形のブロックに構成するようにした点に第１の特徴がある。
【００１１】
この特徴によれば、画像の有効画面外を含むブロックに対してはある一定値で該有効画面外を埋めることにより、任意のサイズの画面に対して２のべき乗のサイズの直交変換を適用することが可能になる。このため、伝送画質監視装置の簡易化が可能になる。
【００１２】
また、本発明は、前記特徴量抽出手段が、入力映像の離れた画素をサンプリングして２のべき乗の正方形のブロックに分割するブロック分割手段と、ブロック内の映像を直交変換する直交変換手段と、該直交変換の任意の周波数成分値を取り出す周波数成分値抽出手段とからなる点に第２の特徴がある。
【００１３】
この特徴によれば、画像をブロック分割する際、隣り合った画素同士ではなく離れた画素をサンプリングして各ブロックを構成することにより、画像面上の広い範囲を比較的小さいブロックでカバーすることができるようになる。このため、伝送画質監視装置の簡易化が可能になる。
【００１４】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、複数の伝送処理装置が伝送路に縦列に接続された系である映像伝送チェーンに適用される本発明の一実施形態の概略の構成を示すブロック図であり、該映像伝送チェーンの一部の構成を示すものである。
【００１５】
図１において、送信画像が、伝送路１を介して送信側２から受信側３へ伝送されるものとする。第１特徴量抽出部４０は、例えばブロック分割部４１、スペクトル拡散・直交変換部４２および係数抽出部４３からなり、送信側２の送信画像から特徴量を抽出する。第２特徴量抽出部５０は、前記第１特徴量抽出部４０と同構成であり、ブロック分割部５１、スペクトル拡散・直交変換部５２および係数抽出部５３からなる。そして、受信側３の受信画像から特徴量を抽出する。
【００１６】
該第１、第２特徴量抽出部４０，５０で抽出された特徴量は、それぞれ電話回線やＬＡＮ回線などの低速回線６，７を通じて中央監視室８へ送られる。中央監視室８では、これらの特徴量から、ＭＳＥ推定部８１によって、ＭＳＥ（平均自乗誤差）を推定する。
【００１７】
前記第１特徴量抽出部４０は、ブロック分割部４１で入力画像（送信画像）を予め定めたサイズのブロックに分割し、該ブロックをスペクトル拡散・直交変換部４２でスペクトル拡散・直交変換し、次いで、係数抽出部４３で該直交変換により得られた係数の中から適当な係数を抽出する。なお、前記第２特徴量抽出部５０の動作は、第１特徴量抽出部４０と同様であるので、説明を省略する。
【００１８】
以上のように、本実施形態の伝送画質監視装置では、スペクトル拡散・直交変換部４２，５２の働きが重要な要素となっている。スペクトル拡散・直交変換部４２，５２中の直交変換部の装置化に当たっては、一般に、良く知られた高速アルゴリズムを使用することが多い。これは、一般の方法では規模が非常に大きくなる直交変換演算を、簡易に実行できるからである。この高速アルゴリズムについては、例えば、R.J.Clarke，“Transform coding of images”，Academic
【００１９】
Press，Microelectronics and Signal Processing Series，1985，pp．291-335に開示されている。ただし、高速アルゴリズムは、変換ブロックサイズに制約がある。すなわち、サイズが、縦、横共に、２のべき乗であることが必要である。
【００２０】
また、一般に、直交変換は、ブロックサイズが大きくなると計算量が膨大になるため、なるべく小さいサイズに抑えることが装置化の上で重要である。
【００２１】
そこで、本発明者は、ブロックサイズを２のべき乗に保ったまま、また、サイズを小さく保ったまま、なるべく正確に画質推定をするために、ブロックに元の画面にはない仮想画素値（ダミービット）を挿入してブロックを構成し、また画面を直交変換することにより得られた係数値をサンプリングにより抜き出すようにした。
【００２２】
次に、本実施形態を図２を参照して具体的に説明する。例えば、標準テレビ（以下、ＳＤＴＶと記す）は、図示されているように、１フィールドが、水平方向７２０画素×垂直方向２４３ラインからなっている。この時、ブロックサイズを、例えば１２８×１２８（２^７×２^７）とすると、１フィールドを覆うためには、水平方向に６個（例えば、Ｂ_１１〜Ｂ_６１）、垂直方向に２個（例えば、Ｂ_１１〜Ｂ_１２）のブロックを並べる必要がある。
【００２３】
この時、画面とブロックの左上端を合わせようとすると、最右列と最下行のブロック（Ｂ_６１、Ｂ_１２〜Ｂ_６２）の内部には、画面に含まれない部分が存在することになる。すなわち、１２８×６＝７６８、１２８×２＝２５６であるので、最右列のブロックには４８×１２８画素、最下行のブロックには１２８×１３画素が含まれない、つまり画素の空白が生じることになる。
【００２４】
そこで、ブロック分割部４１、５１では、前記最右列と最下行のブロックの空白部分に、任意の一定値、例えばダミービット「１２８」（＝２^８の半分）を仮想的に埋め込み、スペクトル拡散・直交変換部４２、５２に送ることにする。スペクトル拡散・直交変換部４２、５２では、送られてきたブロックに対してスペクトル拡散と直交変換を行い、係数抽出部４３、５３では、該直交変換の係数の内の任意のものｆ_ｉ、ｆ_ｉ’（ただし、同じブロックの同じ位置の係数）を１ブロック当たり１個または複数個抽出し、中央監視室８のＭＳＥ推定部８１に送出する。
【００２５】
ＭＳＥ推定部８１の動作を、図３のフローチャートを参照して説明する。ＭＳＥ推定部８１は、まずステップＳ１で、前記係数抽出部４３，５３から係数ｆ_ｉ、ｆ_ｉ’を取得する。ステップＳ２では、該係数ｆ_ｉ、ｆ_ｉ’がダミービットが埋め込まれたブロックの係数であるか否かの判断がなされ、ダミービットが埋め込まれていないブロックの場合には、ステップＳ３に進み、本発明者による出願である前記特願２００１−１１７２２６号「伝送画質監視装置」に記されている手法により、ＭＳＥを求める。すなわち、ＭＳＥは、|ｆ_ｉ−ｆ_ｉ’|^２から求めることができる。なお、前記係数抽出部４３、５３で１ブロック当たり複数個の直交変換係数を抽出した場合には、ＭＳＥは、|ｆ_ｉ−ｆ_ｉ’|^２の平均から求めれば良い。
【００２６】
一方、ダミービットが埋め込まれているブロック（ステップＳ２の判断が肯定）の場合には、ステップＳ４に進んで、ＭＳＥを、Ｓ／（Ｓ−Ｋ）・ＭＳＥと補正する。ここに、Ｓはブロックの面積、Ｋは該ブロック面積Ｓのうちのダミービットで埋めた面積である。
【００２７】
前記のようにＭＳＥを補正する理由は、次の通りである。送信側２から伝送路１を通って受信側に送られる画像データは全て有効画面領域の画像であり、ダミービットが仮想的に埋められた領域は送信されない。したがって、実際に求めたいＭＳＥは、全て有効画面領域の画像の画質劣化である。しかしながら、ＭＳＥ推定部８１で演算されるＭＳＥは、ダミービットを埋め込まれたブロックに関しては、前記ブロック分割部４１，５１で埋め込まれたダミービットの影響を受けた値である。かつ、該ダミービットは伝送路１等を通らないので、画質劣化を全く受けていない。
【００２８】
そこで、前記特願２００１−１１７２２６号「伝送画質監視装置」に示されている手法により推定される該当ブロックのＭＳＥは、ブロック全体に一様に劣化があるとした場合の１画素当たりの平均値であることを考えると、ダミービットを仮想的に埋めた領域を含むブロック内の有効画面部の本来のＭＳＥの推定値は、Ｓ／（Ｓ−Ｋ）・ＭＳＥとなる。
【００２９】
次に、ステップＳ５では、１画像の全部のブロックのＭＳＥが求められたか否かの判断がなされ、この判断が否定の時にはステップＳ６，Ｓ１に進んで、次のブロックの係数がＭＳＥ推定部８ａに入力される。以上の処理が続行され、１画像の全部の処理が終了すると（ステップＳ５の判断が肯定）ステップＳ７に進んで、画像シーケンス全体の処理が終了したか否かの判断がなされる。この判断が否定の時には，ステップＳ８、Ｓ１に進んで、ＭＳＥ推定部８ａは次の画像のブロックの係数を取得する。
【００３０】
以上の処理が続行されて、画像シーケンス全体の処理が終了すると（ステップＳ７の判断が肯定）ステップＳ９に進み、画像シーケンス全体のＭＳＥの推定値の演算が次のようにして行われる。すなわち、ブロック内が全て有効画面で占められるブロック（計ｎ個とする）のＭＳＥをＭＳ_１、ＭＳ_２、・・・、ＭＳ_ｎ、ブロック内の右部が画面外（面積ＫＲ）となるブロック（計ｍ個とする）のＭＳＥの推定値をＭＲ_１、ＭＲ_２、・・・、ＭＲ_ｍ、ブロック内の下部が画面外（面積ＫＢ）となるブロック（計ｐ個とする）のＭＳＥの推定値をＭＢ_１、ＭＢ_２、・・・、ＭＢ_ｐ、ブロック内の右下部が画面外（面積ＫＢＲ）となるブロック（計ｑ個とする）のＭＳＥの推定値をＭＢＲ_１、ＭＢＲ_２、・・・、ＭＢＲ_ｑとすると、画像シーケンス全体のＭＳＥの推定値は、次の(1)式のようになる。なお、この式には、前記のＭＳＥ←Ｓ／（Ｓ−Ｋ）・ＭＳＥも考慮に入れられている。

【００３１】
なお、特別の場合として、１画面が丁度２のべき乗で表される場合は、前記のＫＲ、ＫＢ、ＫＢＲ、ｍ、ｐ、ｑは全て０であるので、前記特願２００１−１１７２２６号「伝送画質監視装置」で表される式と一致することになる。
【００３２】
次に、本発明の第２実施形態を、図４を参照して説明する。図４において、図１と同一または同等物には同符号が付されている。本実施形態では、第１特徴量抽出部６０は、サブサンプリングブロック分割部６２，スペクトル拡散・直交変換部６３，および係数抽出部６４から構成されており、また第２特徴量抽出部７０は、前記第１特徴量抽出部６０と同構成のサブサンプリングブロック分割部７２，スペクトル拡散・直交変換部７３，および係数抽出部７４から構成されている。なお、帯域制限フィルタ６１，７１は、必ずしも必要な構成ではないので省略されても良いが、これらの構成を採用すると、サブサンプリングされない画素の局所的な破綻の影響を検出することが可能になる。
【００３３】
次に、本実施形態の動作を説明する。前記第１実施形態の場合と同様に、画面が標準テレビサイズの場合（１フィールドが、水平方向７２０画素×垂直方向２４３ライン）を考え、例えば、装置化の上で簡易な８×８画素サイズのブロックで画面をブロック化しようとすると、（７２０／８）×｛（２４３／８）の整数値の小数点切り上げ｝＝２７９０個のブロックになる。一つのブロックから、仮に１個だけ係数を抽出するとした場合、係数の表現ビット精度を１０ビットとすると、１フィールド当たりの抽出係数情報量は、２７．９ｋビット（＝２７９０×１０）となり、１秒間では１．６７４Ｍbps（＝２７．９×６０）となる。これは、電話回線やＬＡＮ回線などの監視用の低速回線６，７で送るには、あまりに多い情報量となるため、何らかの方法でデータ量を削減することが必要となる。しかしながら、データ量の削減のために、画面の一部分からしかデータを抽出しないとなると、デジタル伝送エラー特有の局所的な画像破綻を見逃す恐れがある。
【００３４】
そこで、本実施形態では、隣接した画素をまとめて１ブロックとするのではなく、離れた画素同士をまとめることにする。
【００３５】
図４において、送信画像および受信画像は、それぞれサブサンプリングブロック分割部６２，７２でブロック分割される。該サブサンプリングブロック分割部６２，７２では、水平方向および垂直方向共に、８画素に１画素の割合でサブサンプリングされ、該サブサンプリングされた８×８画素で１ブロックとする。従って、該サブサンプリングブロック分割部６２，７２で作成されるブロック数は、前記の２７９０個の１／６４となり、４４個となる。そうすると、監視用の低速回線６，７で送られるデータ量は、１秒間に、２６．４ｋbpsとなり、該低速回線６，７でも伝送可能なオーダとなる。
【００３６】
なお、８画素に１画素というサブサンプリングは、次の理由から妥当なものである。すなわち、動画像圧縮伝送に通常使用されるＭＰＥＧ−２は、８×８画素のブロック単位の処理であるため、伝送路エラー等による画像への影響（破綻）は、このブロック単位で出現することが多い。従って、８×８画素のブロックに１個ずつサブサンプリングしておけば、監視用途としての必要最小限のニーズを満たしていることになる。
【００３７】
次いで、サブサンプリングブロック分割部６２，７２で得られたブロックは、スペクトル拡散・直交変換部６３、７３でスペクトル拡散されて画素データを平均化した後直交変換され、係数抽出部６４、７４で同じ位置の係数を抽出される。該係数抽出部６４、７４で抽出された係数ｆ_ｉ、ｆ_ｉ’は、低速回線６，７を経て、中央監視室８のＭＳＥ推定部９１に送出される。ＭＳＥ推定部９１は、前記特願２００１−１１７２２６号「伝送画質監視装置」に記されている手法により、ＭＳＥを推定する。
【００３８】
【発明の効果】
以上の説明から明らかなように、本発明によれば、画像の有効画面外を含むブロックに予め定めた一定値を埋め込むことにより、任意のサイズの画面に対して、２のべき乗のサイズの直交変換を直交変換を適用することが可能になる。本発明は、これにより、装置化が比較的容易な高速直交変換の使用が可能となり、伝送監視装置の簡易化が可能になる。
【００３９】
また、本発明によれば、画像をブロック分割する際に、画素同士ではなく、離れた画素をサンプリングして各部ロックを構成するようにしたので、画像面上の広い範囲を比較的小さいサイズのブロックで画面全体を監視することができるようになる。すなわち、伝送監視装置の小型化が可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】本実施形態のブロック分割の概念図である。
【図３】本実施形態のＭＳＥ推定部の動作を説明するフローチャートである。
【図４】本発明の第２実施形態の概略の構成を示すブロック図である。
【符号の説明】
１・・・伝送路、２・・・送信側、３・・・受信側、６，７・・・低速回線、８・・・中央監視室、４０、６０・・・第１特徴量抽出部、５０、７０・・・第２特徴量抽出部、４１、５１・・・ブロック分割部、４２、５２・・・スペクトル拡散・直交変換部、４３、５３・・・係数抽出部、６２、７２・・・サブサンプリングブロック分割部、６３、７３・・・スペクトル拡散・直交変換部、６４、７４・・・係数抽出部、８１、９１・・・ＭＳＥ推定部。

Claims

複数の伝送装置の縦列接続からなる映像伝送路上の伝送画質を監視する伝送画質監視装置であって、
該映像伝送路上の複数地点において、映像画質の特徴量を抽出する特徴量抽出手段と、
該特徴量抽出手段からのデータを低速回線を介して供給されるＭＳＥ（平均二乗誤差）を推定するＭＳＥ推定手段とを具備し、
前記特徴量抽出手段が、入力映像を２のべき乗の正方形のブロックに分割するブロック分割手段と、ブロック内の映像を直交変換する直交変換手段と、該直交変換の任意の周波数成分値を取り出す周波数成分値抽出手段とからなり、
前記ブロック分割手段は、画像の有効画面外を含むブロックには予め定められた値を埋めて前記２のべき乗の正方形のブロックに構成することを特徴とする伝送画質監視装置。
前記ＭＳＥ推定手段は、前記予め定められた値が埋め込まれているブロックに対しては、ブロックの面積をＳ、該ブロック面積Ｓのうちの前記予め定められた値で埋めた面積をＫとするとき、ＭＳＥを補正して、Ｓ／（Ｓ−Ｋ）・ＭＳＥとすることを特徴とする請求項１に記載の伝送画質監視装置。
複数の伝送装置の縦列接続からなる映像伝送路上の伝送画質を監視する伝送画質監視装置であって、
該映像伝送路上の複数地点において、映像画質の特徴量を抽出する特徴量抽出手段と、
該特徴量抽出手段からのデータを低速回線を介して供給されるＭＳＥ（平均二乗誤差）を推定するＭＳＥ推定手段とを具備し、
前記特徴量抽出手段が、入力映像の離れた画素をサンプリングして２のべき乗の正方形のブロックに分割するブロック分割手段と、ブロック内の映像を直交変換する直交変換手段と、該直交変換の任意の周波数成分値を取り出す周波数成分値抽出手段とからなることを特徴とする伝送画質監視装置。
前記ブロック分割手段は、前記入力映像の８×８画素から画素をサンプリングすることを特徴とする請求項３に記載の伝送画質監視装置。