WO2007080657A1

WO2007080657A1 - 監視装置

Info

Publication number: WO2007080657A1
Application number: PCT/JP2006/300795
Authority: WO
Inventors: Takahiro Hamada; Takuma Kawamura; Fuminori Watanabe; John Alexenko
Original assignee: Gaintech Co. Ltd.
Priority date: 2006-01-13
Filing date: 2006-01-13
Publication date: 2007-07-19
Also published as: US20090013360A1; US7605843B2; JP4932741B2; EP1973351A1; EP1973351A4; JPWO2007080657A1; US20090102928A1; EP1973351B1

Description

明細書監視装置

技術分野本発明は、監視装置に関し、特にデジタル ·ビデオ Zオーディオ信号の監視に適した監視装置に関する。背景技術近年の映像処理技術の向上により、ハイビジョンテレビ放送など高画質な映像が放映されるようになってきている。ここで、ハイビジョン放送などにかかるデジタル映像信号は、衛星放送やケーブル TVのネットワークを介して各家庭に伝送されることが多い。しかるに、映像信号が伝送される間に、種々の原因によりエラーが生じることがある。エラーが生じると、映像のフリーズ、ブラックアウト、ノイズ、音声ミュートなどの不具合を招く恐れあり、その対策が必要となっている。これに対し本出願人は、特開 2 0 0 3— 2 0 4 5 6 2において、例えば中央処理端末が、伝送元から出力された映像信号（第 1の信号）に基づく第 1の統計値と、中継局又は伝送先から出力された映像信号（第 2の信号）に基づく第 2の統計値との差をとり、その差が、閾値を下回っていれば正常と判断し、閾値を上回っていれば、伝送元 1 0と中継局 2 0との間で伝送異常が生じたと判断して、警報信号を出力し警報（警報表示や警報音）を発する信号監視システムを開示する。しかるに、かかる信号監視システムの場合には、中央端末が、第 1の統計値と第 2の統計値との差をとつて、その差に基づいて自動的に伝送異常を判別するのみであるため、それだけでは、いかなるエラーが生じたか十分な解析を行えないという問題がある。エラーの解析を十分に行えないと、また同様なトラブルを招く恐れがある。ここで、エラ一を解析するためには、送信された映像信号を全て記憶した上で、後から時間をかけて再生しながらチェックする必要があるが、そのためには映像音声信号を記憶する膨大な記憶容量と、膨大なチエック時間が必要とされる。発明の開示本発明は、かかる従来技術の問題点に鑑みてなされたものであり、エラーが生じた場合に、エラー内容を解析できる監視システムを提供することを目的とする。本発明の監視システムは、伝送元から伝送先へと伝送される映像音声信号を監視する監視システムにおいて、

伝送元から伝送先へと伝送された映像音声信号を、所定時間だけ繰り返し記憶するステップと、

伝送される前の映像音声信号から抽出される第 1の特徴量と、伝送された後の映像音声信号から抽出される第 2の特徴量とをリアルタイムで比較するステップと、

前記第 1の特徴量と前記第 2の特徴量との間に所定値以上の差がある場合、エラーが生じたと判定するステップと、

エラーが生じたと判定されたときは、記憶された映像音声信号を所定の宛先に送信するステップとを有することを特徴とする。本発明の監視システムによれば、伝送元から伝送先へと伝送された映像音声信号を、所定時間だけ繰り返し記憶するので、例えば所定のタイミングで映像音声信号を上書きするようにすれば、映像音声信号の記憶容量が少なくて済む。またエラーが生じたと判定された時点では、エラーの生じた映像音声信号は、上書き等されることなく残存しているので、これを所定の宛先に送信することによって、送信された映像音声信号に基づいて、エラーの解析を迅速且つ詳細に行うことができる。なお、「映像音声信号」とは、一般的には映像信号（ビデォ信号）と音声信号（オーディオ信号）の双方を含むものをいうが、本明細書中では少なくとも一方を含む信号であれば足り、生データ、圧縮データのいずれも問わない。比較のために用いられる前記第 2の特徴量と、前記記憶された映像音声信号は、インターネットを介して伝送先から伝送元に送信されると好ましい。前記記憶された映像音声信号は、エラーを解析するために用いられると好ましい。前記エラーは、画像フリーズ現象であると好ましい。前記エラーは、ブラックアウト現象であると好ましい。前記エラ一は、音声ミュート現象であると好ましい。前記エラーは、音声不良現象であると好ましい。前記エラーは、映像音声不整合現象であると好ましい。前記エラ一は、不正フレーム現象であると好ましい。前記第 1の特徴量と前記第 2の特徴量との間に、所定値以上の差がある場合、伝送先に伝送された映像音声信号を補正すると好ましい。図面の簡単な説明図 1は、本実施の形態にかかる監視システムを含む伝送システム全体の概念図である。図 2は、抽出装置 100X， 100A、 10 OBの構成を示すブロック図である。図 3Aは、抽出装置 100Xで抽出された特徴量を示す図である。図 3 Cは、抽出装置 10 OA又は 100Bで抽出された特徴量を示す図である。図 3 Bは、 2つの特徴量の差分をとつた値を示す図である。図 4Aは、抽出装置 100Xで抽出された特徴量を示す図である。図 4 Cは、抽出装置 10 OA又は 100Bで抽出された特徴量を示す図である。図 4 Bは、 2つの特徴量の差分をとつた値を示す図である。図 5 Aは、抽出装置 100Xで抽出された特徴量を示す図である。図 5 Cは、抽出装置 10 OA又は 100Bで抽出された特徴量を示す図である。図 5 Bは、 2つの特徴量の差分をとつた値を示す図である。図 6 Aは、抽出装置 10 OXで抽出された特徴量を示す図である。図 6 Cは、抽出装置 10 OA又は 100Bで抽出された特徴量を示す図である。図 6 Bは、 2つの特徴量の差分をとつた値を示す図である。図 7Aは、抽出装置 100Xで抽出された特徴量を示す図である。図 7 Cは、抽出装置 10 OA又は 100Bで抽出された特徴量を示す図である。図 7 Bは、 2つの特徴量の差分をとつた値を示す図である。図 8 Aは、抽出装置 100Xで抽出された特徴量を示す図である。図 8 Cは、抽出装置 10 OA又は 100Bで抽出された特徴量を示す図である。図 8 Bは、 2つの特徴量の差分をとつた値を示す図である。発明を実施するための最良の形態以下、実施の形態を参照して本発明を説明する。図 1は、本実施の形態にかかる監視システムを含む伝送システム全体の概念図である。図 1において、例えば放送局などの伝送元 10から、サテライト局などの伝送先 2 OA, 2 OB に、オーディォ信号とビデオ信号とを含む映像音声信号が伝送されている場合を考える。かかる映像音声信号の伝送は、通信衛星 Sを介して行う例を示すが、光ファイバ一など様々な形態により伝送されて良い。図 2は、抽出装置 10 OX, 10 OA, 10 OBの構成を示すブロック図である。映像音声信号のうち左右のオーディオ信号 AL、 ARは、オーディオ入力部 101, 102に入力され、そこから出力された信号は、各々ディレイ部 103, 104に入力され、オーディオ演算部 105で演算された結果が、音声の特徴量（Aud i o Le ve l、 Aud i o Ac t i v i t y) として出力され、抽出装置 100X， 100Α、 100 Βから端末 200Χ、 20 OA, 200 Bに出力される。ここで、 Audio Levelとは、画像の 1フレーム（例えば 30フレーム/秒）に含まれる音声サンプリング（48 KHz) の値（4 8000/30 = 1600個）の絶対値の平均値の値をさす。又、 Audio Activity とは、画像の 1フレーム（例えば 30フレーム/秒）に含まれる音声サンプリング（48 KHz) の値（48000/30=1600個）の 2乗平均値の値をさす。一方、映像音声信号のうちビデオ信号 VDは、ビデオ入力部 108に入力され、そこから出力された信号は、フレームメモリ 109、 110、 111に入力される。フレームメモリ 109は現在のフレームを記憶し、フレームメモリ 110は、一つ前のフレームを記憶し、フレームメモリ 111は、 2つ前のフレームを記憶する。フレームメモリ 109、 110， 111からの出力信号は、 MC演算部 11 2に入力され、その演算結果が映像の特徴量（Mo t i on) として出力される。一方、フレームメモリ 110からの出力信号は、ビデオ演算部 119に入力される。ビデオ演算部 119の演算結果は、映像の特徴量（V i d e o L e V e V i de o Ac t i v i t y) として出力される。これらの出力信号は、映像の特徴量として、抽出装置 100X, 100A, 100Bから端末 200X、 20 OA, 200 Bに出力される。ここで、 Motionとは、画像フレームを例えば、 8画素 X 8ラインサイズの小ブロックに分けて、この小プロックごとに、 64画素の平均値と分散を求め、 Nフレーム前の同じ場所のプロックの平均値と分散値との差で表され、画像の動きを示すものである。但し、 Nは通常、 1、 2、 4のいずれかである。又、 Video Levelとは、画像フレームに含まれる画素の値の平均値である。更に、 Video Activityとしては、画像に含まれる小ブロックごとに分散を求めたとき、この分散のフレーム内の画素の平均値を用いても良いし、単純に画像フレームに含まれる画素のフレーム内での分散値を用いても良い。次に、本監視システムの動作について説明する。伝送元 1 0から伝送される前の映像音声信号は、それから特徴量（メタデータ）を抽出する抽出装置 1 0 0 Xに入力されると共に、ビデオサーバ一 2 0 I Xに所定時間だけ上書きされながら記憶される。一方、伝送先 2 0 A、 2 0 Bに伝送された前の映像音声信号は、それから特徴量を抽出する抽出装置 1 0 0 A、 1 0 0 Bにそれぞれ入力されると共に、ビデォサーバー 2 0 1 A、 2 0 1 Bに所定時間だけ上書きされながら記憶される (伝送元から伝送先へと伝送された映像音声信号を、所定時間だけ繰り返し記憶するステツフ。)。抽出された特徴量は、端末 2 0 0 A、 2 0 0 Bからイン夕一ネット I NTを介して、伝送元 1 0の端末 2 0 0 Xに伝達される。伝送元 1 0の端末 2 0 0 Xは、抽出装置 1 0 0 Xが抽出した特徴量と、端末 2 0 0 A, 2 0 0 Bから伝達された特徴量とをリアルタイムで比較し（伝送される前の映像音声信号から抽出される第 1の特徴量と、伝送された後の映像音声信号から抽出される第 2の特徴量とをリアルタイムで比較するステツフ。)、所定値以上の差がある場合には、エラーが生じたと判断し（前記第 1の特徴量と前記第 2の特徴量との間に所定値以上の差がある場合、エラーが生じたと判定するステップ)、インターネット I NTを介して端末 2 0 0 A, 2 0 0 Bに指令を送信する。端末 2 0 0 A、 2 0 0 Bは、かかる指令に応じて、ビデオサーバ一 2 0 1 A、 2 0 1 Bより現時点から過去 1 0秒間の映像音声信号を切り取つて、そのビデオクリップをインターネット I NTを介して伝送元 1 0の端末 2 0 0 Xに送信する（エラーが生じたと判定されたときは、記憶された映像音声信号を所定の宛先に送信するステツフ °)。伝送元 1 0の作業者は、端末 2 0 0 A、 2 0 0 Bから端末 2 0 O Xに送信された映像音声信号と、ビデオサーバー 2 0 I Xに記憶されていた映像音声信号とを比較して、エラ一が生じた原因を解析することができる。なお、端末 2 0 0 Xからインタ一ネット I NTを介して、端末 2 0 O A, 2 0 0 Bに、伝送前の映像音声信号にかかる特徴量を伝達し、伝送先で特徴量の比較を行っても良い。次に、より具体的なエラーについて説明する。

( 1 ) 画像フリーズ現象の検出

図 3 Aは、抽出装置 1 0 0 Xで抽出された特徴量を示す図であり，図 3 Cは、抽出装置 1 0 O A又は 1 0 0 Bで抽出された特徴量を示す図であり、図 3 Bは、 2つの特徴量の差分をとつた値を示す図であり、縦軸は特徴量としての motion [値] を表し、横軸は時間を表す。ここで、図 3 Cに示すように、伝送された後の映像音声信号に基づく映像においては、時間 t l〜t 2の間は、 motion [値] が低いが、図 3 Aに示すように、伝送される前の映像音声信号に基づく映像においても、時間 t l〜t 2の間は、 motion [値]が低くなつており、その差分はゼロである（図 3 B参照)。これは、伝送した映像が静止画であるために生じたものであり、従って画像フリーズ現象は生じていないと判断できる。一方、図 3 Cに示すように、伝送された後の映像音声信号に基づく映像においては、時間 t 3〜t 4の間は、 motion [値] が低いのに対し、図 3 Aに示すように、伝送される前の映像音声信号に基づく映像においては、時間 t 3〜t 4の間は、 motion [値] が高くなつており、その差分は閾値 TH 1を超えている（図 3B参照)。これは、伝送された映像において、何らかの原因により画像フリーズ現象が生じたことによるものであり、これを検出した伝送元 10の端末 200 Xは、直ちにビデオクリップを送信するように、不具合が生じた伝送先の端末 200A又は端末 200 Bに指令を送信する。

(2) ブラックアウト現象の検出

図 4Aは、抽出装置 100Xで抽出された特徴量を示す図であり，図 4Cは、抽出装置 10 OA又は 100 Bで抽出された特徴量を示す図であり、図 4Bは、 2つの特徴量の差分をとつた値を示す図であり、縦軸は特徴量としての Video Activity [値] を表し、横軸は時間を表す。この Video Activity [値] としては、例えば以下の分散 Aを用いることができる。伝送前後におけるビデオ信号（バーチャルビデオ信号のような 3次元座標値毎に値を持つ例とする、但し z = 0とすれば通常の 2次元ビデオ信号になる）を考えたとき、時刻 tにおける 3次元座標（x、 y、 z) における伝送前のビデォ信号を V (x、 y、 z、 t) とし、時刻 tにおける 3次元座標（x、 y、 z) における伝送後のビデオ信号を U (x、 y、 z、 t) とする。ここで、ビデオ信号を長い距離にわたって伝送すると、信号の欠損、ノイズなど様々な問題が生じる恐れがあるため、必ずしも V (x、 y、 z、 t) =U (x、 y、 z、 t) とはならないが、視聴者が気づかない程度のエラーであれば補正する必要はないといえる。しかしながら、ブラックアウト現象のような不具合であれば、対策が必要である。ビデオ信号 V (x、 y、 z、 t) の特徴量としての分散 Aは、以下の式で表すことができる。

分散

又、平均値 ave. Vは、以下の式で得ることができる。

II

伝送前のビデオ信号 V (x、 y、 z、 t) と、伝送後のビデオ信号を U (x、 y、 z、 t) とについて、それぞれ分散 Aを求めた上で、その差分を取ることで、以下のようにしてブラックアウトを判別できる。図 4 Cに示すように、伝送された後の映像音声信号に基づく映像においては、時間 t l〜t 2の間は、分散値が低いが、図 4Aに示すように、伝送される前の映像音声信号に基づく映像においても、時間 t l〜t 2の間は、分散値が低くなつており、その差分はゼロである（図 4B参照)。これは、伝送した映像が例えば星空等を映したものであるために生じたものであり、従って画像フリーズ現象は生じていないと判断できる。一方、図 4 Cに示すように、伝送された後の映像音声信号に基づく映像においては、時間 t 3〜 t 4の間は、分散値が低いのに対し、図 4 Aに示すように、伝送される前の映像音声信号に基づく映像においては、時間 t 3〜 t 4の間は、分散値が高くなつており、その差分は閾値 TH 2を超えている（図 4 B参照)。これは、伝送された映像において、何らかの原因により画面が真っ黒になるブラックアウト現象が生じたことによるものであり、これを検出した伝送元 1 0 の端末 2 0 0 Xは、直ちにビデオクリップを送信するように、不具合が生じた伝送先の端末 2 0 0 A又は端末 2 0 0 Bに指令を送信する。

( 3 ) 音声ミュート現象の検出

図 5 Aは、抽出装置 1 0 0 Xで抽出された特徴量を示す図であり，図 5 Cは、抽出装置 1 0 O A又は 1 0 0 Bで抽出された特徴量を示す図であり、図 5 Bは、 2つの特徴量の差分をとつた値を示す図であり、縦軸は特徴量としての Audio Level [値]を表し、横軸は時間を表す。なお、オーディォ信号における Audio Level [値] のサンプリングは、ビデオ信号におけるフレームの周波数で平均化されると好ましい。例えば、 1秒間に 3 0フレームのビデオ信号の場合、 Audio Level [値] のサンプリングは 3 0 H zで行うと好ましい。ここで、図 5 Cに示すように、伝送された後の映像音声信号に基づく音声においては、時間 t l〜t 2の間は、 Audio Level [値] が非常に低いが、図 5 A に示すように、伝送される前の映像音声信号に基づく音声においても、時間 t l〜t 2の間は、 Audio Level [値] が低くなつており、その差分はゼロである (図 5 B参照)。これは、伝送される前の映像音声信号において、元々の Audio Level [値] が低かったものであり、従って音声ミュート現象は生じていないと判断できる。一方、図 5 Cに示すように、伝送された後の映像音声信号に基づく音声においては、時間 t 3〜！； 4の間は、 Audio Level [値] が低いのに対し、図 5 Aに示すように、伝送される前の映像音声信号に基づく音声においては、時間 t 3 〜t 4の間は、 Audio Level [値] が高くなつており、その差分は閾値 TH 3を超えている（図 5 B参照)。これは、伝送された音声において、何らかの原因により音声が途切れる音声ミュート現象が生じたことによるものであり、これを検出した伝送元 1 0の端末 2 0 0 Xは、直ちにビデオクリップを送信するように、不具合が生じた伝送先の端末 2 0 O A又は端末 2 0 0 Bに指令を送信する。

( 4 ) 音声不良現象の検出

図 6 Aは、抽出装置 1 0 0 Xで抽出された特徴量を示す図であり，図 6 Cは、抽出装置 1 0 O A又は 1 0 0 Bで抽出された特徴量を示す図であり、図 6 Bは、 2つの特徴量の差分をとつた値を示す図であり、縦軸は特徴量としての Audio Level [値]を表し、横軸は時間を表す。なお、オーディォ信号における Audio Level [値] のサンプリングは、ビデオ信号におけるフレームの周波数で平均化されると好ましい。ここで、伝送された後の映像音声信号に基づく Audio Level [値] と、伝送される前の映像音声信号に基づく Audio Level [値] との差分を取ったとき、図 6 Bに示すように、時間 t l〜t 2の間、及び時間 t 3〜t 4の間は、差分が閾値 TH 4を超えている。これは、伝送された音声において、何らかの原因によりノイズ等が重畳され、音声不良現象が生じたことによるものであり、これを検出した伝送元 1 0の端末 2 0 0 Xは、直ちにビデオクリップを送信するように、不具合が生じた伝送先の端末 2 0 O A又は端末 2 0 0 Bに指令を送信する

( 5 ) 映像音声不整合現象の検出

図 7 Aは、ビデオフレームに対応して、抽出装置 1 0 0 Xで抽出された Audio Level [値] を示す図である。図 7 Cは、抽出装置 1 0 0 A又は 1 0 0 Bで抽出された Audio Level [値] を示す図である。図 7 Bは、時間に対して音声の進み /遅れを示す図である。なお、オーディオ信号における Audio Level [値] のサンプリングは、ビデオ信号におけるフレームの周波数で平均化されると好ましい。ここでは、フレームに対する Audio Level [値] の立ち上がりを検出して比較する。図 7 Bに示すように、時間 t l、 t 3においては、映像に対する音声の遅れ量が閾値 TH 5 +を超えており、時間 t 2においては、映像に対する音声の進み量が閾値 TH 5—を下回っている。いずれかを検出することで、映像音声不整合現象が生じたと判断した伝送元 1 0の端末 2 0 0 Xは、直ちにビデオクリップを送信するように、不具合が生じた伝送先の端末 2 0 0 A又は端末 2 0 0 Bに指令を送信する。

( 6 ) 不正フレーム現象の検出

図 8 Aは、抽出装置 1 0 0 Xで抽出された特徴量を示す図であり，図 8 Cは、抽出装置 1 0 0 A又は 1 0 0 Bで抽出された特徴量を示す図であり、図 8 Bは、 2つの特徴量の差分をとつた値を示す図であり、縦軸は特徴量としての Video Activity [値] (上述した分散を用いて良い）を表し、横軸は時間を表す。伝送される前の映像音声信号に基づく映像と、伝送された後の映像音声信号に基づく映像とが完全に一致している場合、画像値の統計量の差分を取るとゼ口になる。ところが、伝送された後の映像音声信号中に、 1フレームだけ異なる映像の信号が挿入されたような場合、その差分が所定の閾値を超える。図 8 Bに示すように、時間 t 1〜 t 2の間において、画素値の統計量の差分が閾値 TH 6 +を超えており、また時間 t 3〜 t 4の間においては、画素値の統計量の差分が閾値 TH 6—を下回っている。いずれかを検出することで、不正フレーム現象が生じたと判断した伝送元 1 0の端末 2 0 0 Xは、直ちにビデォクリップを送信するように、不具合が生じた伝送先の端末 2 0 0 A又は端末 2 0 0 Bに指令を送信する。なお、伝送元 1 0においてエラーの解析が行われた後、例えば、映像音声不整合現象が生じた場合には、ビデオ信号とオーディォ信号とのズレをなくすような指令を、伝送元の端末 2 0 0 から、伝送先の端末 2 0 O A又は 2 0 0 B へと送信し、それに基づいて伝送先の端末 2 0 O A又は 2 0 0 Bが、映像音声信号において、ビデオ信号とオーディオ信号とのズレをなくす処理を行うことができる。かかる指令は、インターネットを用いることで、伝送先の端末に一括して送信することができる。

Claims

請求の範囲

( 1 ) 伝送元から伝送先へと伝送される映像音声信号を監視する監視システムにおいて、

エラーが生じたと判定されたときは、記憶された映像音声信号を所定の宛先に送信するステップとを有することを特徴とする監視システム。

( 2 ) 比較のために用いられる前記第 2の特徴量と、前記記憶された映像音声信号は、インターネットを介して伝送先から伝送元に送信されることを特徴とする請求項 1に記載の監視システム。

( 3 ) 前記記憶された映像音声信号は、エラ一を解析するために用いられることを特徴とする請求項 1又は 2に記載の監視システム。

( 4 ) 前記エラ一は、画像フリーズ現象であることを特徴とする請求項 1〜 3のいずれかに記載の監視システム。

( 5 ) 前記エラーは、ブラックアウト現象であることを特徴とする請求項 1〜 4のいずれかに記載の監視システム。

(6) 前記エラーは、音声ミュート現象であることを特徴とする請求項

1〜 5のいずれかに記載の監視システム。

(7) 前記エラーは、音声不良現象であることを特徴とする請求項 1〜

6のいずれかに記載の監視システム。

(8) 前記エラ一は、映像音声不整合現象であることを特徴とする請求項 1〜 7のいずれかに記載の監視システム。

(9) 前記エラーは、不正フレーム現象であることを特徴とする請求項 1〜 8のいずれかに記載の監視システム。

(10) 前記第 1の特徴量と前記第 2の特徴量との間に、所定値以上の差がある場合、伝送先に伝送された映像音声信号を補正することを特徴とする請求項 1〜 9のいずれかに記載の監視システム。