JP4573301B2

JP4573301B2 - 映像信号のフレーム同期方式

Info

Publication number: JP4573301B2
Application number: JP2005237426A
Authority: JP
Inventors: 修杉本; 亮一川田; 淳小池
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2005-08-18
Filing date: 2005-08-18
Publication date: 2010-11-04
Anticipated expiration: 2025-08-18
Also published as: JP2007053604A

Description

この発明は映像信号のフレーム同期方式に関し、特に伝送路上の任意の２地点（例えば送信地点・受信地点）における画像特徴量データの伝送遅延等を補償し、両者の信号値の比較を可能とするための映像信号のフレーム同期方式に関する。

テレビ伝送の映像信号の品質評価のためのフレーム情報の同期を目的とした方式として、下記の特許文献１のように、各フレームの映像データと再生時刻の対応を表した情報（タイムコード）を伝送信号中に重畳し、この情報を伝送することにより２系統の信号同期を得る方式がある。

また、特許文献１の方式の画質評価・監視への応用法として、非特許文献１に示す勧告がある。非特許文献１は、特徴量抽出型伝送品質監視のフレームワークを示す勧告であるが、この中で、各フレームの映像データから抽出された画像特徴量データとフレーム再生時刻、または、各フレームに一意に割り振られるタイムコードとの関係を示した情報を別途データ回線で送出する形式が示されている。
特開２００３−２３４７２６号公報 ITU-T勧告J.220 "Framework for remote monitoring of transmitted picture Signal-to-Noise ratio using spread-spectrum and orthogonal transform" (J.SSOT)

前記特許文献１，非特許文献１の手法により映像信号に重畳されたタイムコードを参照する場合、同一のタイムコードで同一のフレームの特徴量データであることが保証されるが、そもそもタイムコードを参照できるのは、業務用放送機器向けのデジタル映像信号を伝送している場合のみであり、アナログ信号や民生用の映像信号についてはタイムコードを利用できない。

さらに、こうした放送局向けの業務用の信号規格を適用したとしても、伝送に圧縮符号化を伴う場合、多くの伝送機器（コーデック）は重畳されたタイムコードを消去してしまうため、圧縮の前後の画像をタイムコードを基に比較することは困難であった。

本発明の目的は、前記した従来技術の課題に鑑み、映像信号にタイムコードといった副次的データ（サイド情報）を重畳して伝送しなくても、フレーム同期を行うことができる映像信号のフレーム同期方式を提供することにある。

前記した目的を達成するために、本発明は、２系統の映像信号の各フレームから画像特徴量を抽出する画像特徴量抽出手段と、一方の系統のあるフレームの画像特徴量を基準とした上で、他方のフレームとのフレーム遅延差を順次変更しながら該２系統の画像特徴量の比較に基づき各フレームの客観画質を求める客観画質演算手段と、前記客観画質が最大となる点を正しいフレーム遅延差として検出する遅延差検出手段とを具備し、該遅延差を小さくしてフレーム同期するようにした点に第１の特徴がある。

また、前記客観画質演算手段は、前記一方の系統のあるフレームの画像特徴量を基準とした上で、他方のフレームとのフレーム遅延差を前後１フレームとし、可能性として考えられる遅延変化７パターンが発生した場合の客観画質を求め、前記遅延差検出手段は、該７パターンの客観画質大小関係に基づき、遅延変化の有無および方向を決定するようにした点に第２の特徴がある。

本発明によれば、時刻情報やタイムコードといったサイド情報を特徴量データに加えて伝送しなくても、特徴量データの比較に基づく客観画質の測定のみから伝送路上の２系統の映像特徴量のフレーム同期が可能となる。また、サイド情報を利用しないため、タイムコードを重畳されない映像信号に対しても画質測定が可能となる。

また、特徴量抽出データの他にタイムコードや時刻情報を合わせて送出しなくてもよくなるため、特徴量抽出装置の実装規模が縮小される。また、タイムコード分の情報量が減るため、画質監視のためのデータ帯域を削減できる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明のフレーム同期方式が適用される特徴量抽出型の画質監視方式の構成を示すシステム図である。

図１は、１対１の映像伝送を想定しており、伝送路２の前後で圧縮符号化（エンコーダ１）と復号（デコーダ３）が適用される。画像特徴量の抽出装置４，５は符号化装置（エンコーダ１）の前段Ａ点と復号装置（デコーダ３）の後段Ｂ点にそれぞれ設置されており、ベースバンド画像の各画素ブロックから任意のビット数の画像特徴量Ｆ_Ａ［ｉ］，Ｆ_Ｂ［ｉ］を抽出する。Ａ点およびＢ点でそれぞれ抽出された画像特徴量Ｆ_Ａ［ｉ］，Ｆ_Ｂ［ｉ］は、監視回線７を経て画質監視端末６まで伝送された後、両者の比較が行われ、客観画質が測定される。そして、該客観画質に基づいてフレーム同期がなされる。

また、本発明を適用可能な別の映像伝送の形態として、図２に示すような１対多の伝送が挙げられる。送信画像はエンコーダ１で圧縮符号化された後、コンテンツ配信ネットワーク８に送出される。この場合は、１つの送信者に対して複数の受信者が存在しており、受信側のそれぞれの復号装置３ａ、３ｂの後段Ａ，Ｂ点で画像の特徴量抽出４，５を行う。抽出された画像の特徴量Ｆ_Ａ［ｉ］，Ｆ_Ｂ［ｉ］は、監視回線７を経て画質監視端末６に送られる。画質監視端末６は、該特徴量Ｆ_Ａ［ｉ］，Ｆ_Ｂ［ｉ］を比較する。この場合も、各地点Ａ，Ｂで抽出された画像特徴量は監視地点まで伝送され、そこで特徴量の比較に基づき客観画質が導出される。そして、該客観画質に基づいてフレーム同期がなされる。

なお、画像特徴量抽出法の具体的な方法としては、特開２００５−６４６７９号公報「画像特徴量抽出方式および画質評価方式」などが挙げられる。この公報には、スペクトル拡散と直交変換を用いた特徴量抽出方式が開示されている。具体的には、伝送路上のA点、B点で抽出された同一の画像フレームにおける画像特徴量をＦ_Ａ［ｉ］，Ｆ_Ｂ［ｉ］とすると、そのフレームの客観画質PSNRは下記の（１）式で定義される。

ここで、ｉはフレーム内の各画素ブロック（例えば、８画素×８ライン）に付与されたインデクス番号、Ｎ_Ｂはフレーム内の画素ブロックの総数である。なお、(1)図１ではＡ−Ｂ点間の映像信号伝送に遅延が発生する、図２ではエンコーダ１−Ａ点間およびエンコーダ１−Ｂ点間で映像信号伝送に遅延が発生する、(2)特に図１ではＡ−Ｂ間で圧縮符号化が行われる、(3)Ａ点から画質監視端末６までと、Ｂ点から画質監視端末６までの特徴量データ伝送遅延が異なる、などの理由により、一般に同一フレームの特徴量データは画質監視端末６には同時に到着しない。そのため、画質監視端末６では、受信した特徴量データをＡ，Ｂ地点の送信元を区別しながらフレーム単位でバッファに蓄積し、その後、バッファ内のどのデータが同一フレームのものかを検出しなければならない。

図３は、本発明による画質監視端末装置６の一実施形態のブロック図である。なお、図３において、図１、図２と同一の符号は、同一または同等物を示す。

図示されているように、画質監視端末装置６は、特徴量抽出装置（系統Ａ）４で抽出された入力画像の特徴量を一時的に蓄積する特徴量バッファ（系統Ａ）１１、特徴量抽出装置（系統Ｂ）５で抽出された入力画像の特徴量を一時的に蓄積する特徴量バッファ（系統Ｂ）１２、該特徴量バッファ（系統Ａ）１１および特徴量バッファ（系統Ｂ）１２に蓄積された前フレーム特徴量と、現フレーム特徴量と、後フレーム特徴量とから客観画質を求める客観画質演算手段としてのＰＳＮＲ推定部１３，および該ＰＳＮＲ推定値から画像フレームの遅延差（変化）を検出する遅延差検出手段としての遅延変化検出部１４とから構成されている。

該画質監視端末装置６の動作の詳細は後述するが、該遅延変化検出部１４からは遅延変化量決定値が出力されると共に、該遅延変化量決定値は前記特徴量バッファ（系統Ａ）１１および特徴量バッファ（系統Ｂ）１２に送られる。これは、遅延変化（画像フレームの進みや遅れ）を検出した場合、バッファに蓄えられている各フレームの特徴量の並びを調整する（特徴量データを捨てる、または再度現フレームのデータを利用するなど）必要があるためである。

さて、バッファ内の同一フレームの位置関係は、一度検出すれば変化しないものではなく、映像機器でのフレームの破棄、繰り返し、戻り等の影響により、時間的に変化することが考えられるため、フレームごとの処理が必要となる。その一例を図４に示す。

図４は、装置１、装置２を通過する２系統の映像信号のフレーム情報を示している。(Ｚ，Ｚ’) 、 (Ａ，Ａ’)、 (Ｂ，Ｂ’)、・・・の各フレームがそれぞれ一致すべきフレームであることを前提とする。ここで、装置２の側でだけフレームＡが破棄され、その後それぞれの系統の映像信号から映像特徴量を抽出するような場合を考える。すると、フレーム(Ｚ，Ｚ’)まではなんらかの手法により特徴量データの同期が取得できていたとしても、以降のフレームからは特徴量データの並びにずれが生じてしまうため、同期が崩れてしまう。よって、常にこうしたフレーム順序の不整合に対応できるようにフレームごとの同期検出が必要となる。

本発明では２系統の映像信号の差分電力（MSE）に着目し、これが最小となる特徴量の組を同一フレームのデータとして検出する。これは、映像信号の性質として、同一シーン内でシーンチェンジがない場合、フレーム間差分電力はフレーム間隔が近接する程小さくなる（当然ながら同一フレームでは差分０である）という性質に基づくものである。実際には、２系統の映像は圧縮符号化などの伝送中の処理条件により完全に同一な信号ではないため、同一フレームの映像特徴量を比較した場合に差分０となることはないが、それでも前述の基本的な性質を有すると考えられるため、本発明では、差分電力のより小さい映像特徴量の組（また、これはPSNRが最大となる組と言い換えることができる）を選ぶことにより、同一フレームを検出する。

以下に、図３の画質監視端末６の動作、すなわちフレーム同期のずれを検出のための手順を示す。

画質監視端末６の特徴量バッファ（系統Ａ）１１および特徴量バッファ（系統Ｂ）１２に、２系統（系統Ａ，Ｂ）の映像信号から抽出した特徴量データが蓄積され、これは、抽出元のフレーム順を損ねることなく系統ごとに分離されて蓄積される。また、同期を決定する対象のフレームを「現フレーム」とし、その直前のフレームを「前フレーム」、直後を「後フレーム」と呼ぶ。また、前フレームまでは適切な方法により同期が取得出来ているとする。

ここで、Ａ系統の前フレーム、現フレーム、後フレームの特徴量データを(Ap、 Ac、 An)、Ｂ系統を同様に (Bp、 Bc、 Bn) と表し、さらに、それぞれの組み合わせにより得られるPSNR値を図５のとおり記述する。なお、Ａ系統の前フレームの特徴量データAPとＢ系統の後フレームの特徴量データBnとのPSNR値Ppn、Ａ系統の後フレームの特徴量データAnとＢ系統の前フレームの特徴量データBnとのPSNR値Pnpは定義できるものの、他のPSNR値と異なり、フレーム間隔が２フレームの状態のPSNR値となるため、本発明ではこれらの値は使用しない。

Pxxと特徴量データのずれの関係は、図６のように表される。Ppp、 Pcc、 Pnnは、いずれもフレームずれのない状態でのPSNR値であり、PpcとPcnはA系統が1フレーム遅れたと仮定した場合のPSNR値、PcpおよびPncはA系統が1フレーム進んでいる場合のPSNR値である。換言すれば、前記Ppp、 Pcc、 Pnnは、それぞれある一方の系統と他方の系統の前１フレーム同士、ある一方の系統と他方の系統の現１フレーム同士、ある一方の系統と他方の系統の後１フレーム同士のPSNR値、PcpおよびPcnは、それぞれある一方の系統の現フレームと他方の系統の前１フレーム同士、ある一方の系統の現フレームと他方の系統の後１フレーム同士のPSNR値、PpcとPncは、それぞれある一方の系統の前１フレームと他方の系統の現フレーム同士、ある一方の系統の後１フレームと他方の系統の現フレーム同士のPSNR値ということができる。

前述の理由により、同期を得られている状態の PSNR値が最も高くなると考えられるため、前述の７つのPSNR値を比較し、最も高い値を示すPSNR値の組を探せばよい。この手順を図７のフローチャートに示す。

図７では、前フレームの同期が確定していると前提しているため、Ａ、Ｂ系統の前フレームの特徴量同士を比較することにより得られたPSNR値であるPppは高い値を示すと考えられる。そのため、まずＡ，Ｂ系統の現フレーム同士の特徴量を比較して得られたPccと、次フレーム同士の特徴量から得られるPnnを求め、これらとPppとの大小関係を求める（ステップＳ１）。PccおよびPnnは遅延量の変化がない場合を想定したPSNR値であるため、これらがPppより高い値を示している場合にはフレーム遅延は生じていないと判定できる。

一方、Pppの方がPccまたはPnnより高い場合（ステップＳ１が肯定）には、遅延の変動の可能性があるため、ステップＳ２に進む。ステップＳ２では、Ａ系統が１フレーム進んだ場合を想定したPcnと、Ｂ系統が１フレーム進んだと想定したPncを比較し、高いPSNR値を示した方に遅延が動いた可能性があると判断する。次に、PcnもしくはPncのうち値の高かったものとPcc（遅延なし前提のPSNR）を比較する（ステップＳ３，Ｓ５）。

ここで、Pccの方がPcnよりも高かった場合（ステップＳ３が否定）またはPccの方がPncよりも高かった場合（ステップＳ５が否定）には、PccはPppよりは値が低かったものの、遅延が変動しているという前提のPSNRよりは高いという判定ができるため、遅延は変動なしとみなして当該フレームの判定を終了する。

逆に、Pcnの値がPccよりも高い場合（ステップＳ３が肯定）またはPncの値がPccよりも高い場合（ステップＳ５が肯定）には、遅延の変動が発生している可能性が高いと考えられる。そこで、最後に、図６のPcnと逆向きの遅延を前提としたPcp、またはPncと逆向きの遅延を前提としたPpcとの比較（ステップＳ４，Ｓ６）を行い、前提どおりPcnまたはPncの値のほうが高ければ（ステップＳ４，Ｓ６が肯定）、最終的に遅延が変動したと判定する。一方、PcnまたはPncの値のほうが低ければ（ステップＳ４，Ｓ６が否定）、ずれの方向が不確定であるので、保留の意味でフレーム遅延変化なしとする。なお、該保留にしても、図７の処理は毎フレームごとに繰り返されるので、何らの支障は生じない。

以上のように、遅延変動を仮定して求められた７通りのPSNR値の大小関係が仮定どおりのものであれば、遅延の変動を検出している。なお、本発明では、１フレームに複数フレームの遅延変動は発生しないと前提しているが、仮に複数フレームが一度にずれた場合でも、前述の手順をカクフレームで繰り返せば、毎フレーム正しい方向に１フレームずつ補正をかけるため、最終的には同期は取得可能である。例えば、３フレームが一度にずれた場合には、３フレーム続けて上述の判定を行えば、正しい特徴量データの同期を行うことが可能である。また、シーンチェンジが起きてフレーム同期が不能になっても、いずれシーンチェンジのフレームを含まない同一シーンが訪れるので、該同一シーンに入った後に前記の補正がかけられるため、フレーム同期を行うことが可能になる。

本発明が適用される特徴量抽出型の画質監視方式の構成を示すシステム図である。本発明が適用される特徴量抽出型の画質監視方式の他の構成を示すシステム図である。図１、図２の画質監視端末の具体的構成を示すブロック図である。映像機器において、フレーム破棄によりフレーム同期が損なわれる一例の説明図である。Ａ、Ｂ系統の各前、現、後フレームの組み合わせにより得られるPSNR値の説明図である。図５を時系列で表した説明図である。画質監視端末の遅延変化検出部の動作を説明するフローチャートである。

符号の説明

４、５・・・特徴量抽出装置、６・・・画質監視端末、１１，１２・・・特徴量バッファ、１３・・・PSNR推定部、１４・・・遅延変化検出部。

Claims

２系統の映像信号の各フレームから画像特徴量を抽出する画像特徴量抽出手段と、
一方の系統のあるフレームの画像特徴量を基準とした上で、他方のフレームとのフレーム遅延差を順次変更しながら該２系統の画像特徴量の比較に基づき各フレームの客観画質を求める客観画質演算手段と、
前記客観画質が最大となる点を正しいフレーム遅延差として検出する遅延差検出手段とを具備し、
該遅延差を小さくしてフレーム同期することを特徴とする映像信号のフレーム同期方式。
請求項１に記載の映像信号のフレーム同期方式において、
前記客観画質演算手段は、前記一方の系統のあるフレームの画像特徴量を基準とした上で、他方のフレームとのフレーム遅延差を前後１フレームとし、可能性として考えられる遅延変化７パターンが発生した場合の客観画質を求め、
前記遅延差検出手段は、該７パターンの客観画質大小関係に基づき、遅延変化の有無および方向を決定することを特徴とする映像信号のフレーム同期方式。
請求項１または２に記載の映像信号のフレーム同期方式において、
前記客観画質の尺度としてPSNR値を用いることを特徴とする映像信号のフレーム同期方式。
請求項１ないし３のいずれかに記載の映像信号のフレーム同期方式において、
前記画像特徴量の抽出方式として、スペクトル拡散と直交変換を用いた方式を用い、２系統の映像信号の差分電力（MSE）を推定することにより導出したPSNR値を用いることを特徴とする映像信号のフレーム同期方式。