JP3945688B2 - フレーム同期方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はフレーム同期システムのフレーム同期方法に関し、特に映像伝送系における、送信元を同じくする２映像または信号のフレーム同期を実現するフレーム同期方法に関する。
【０００２】
【従来の技術】
高信頼性を目的とした画像の２重化伝送においては、同一画像を２本の経路に分けて伝送し、受信側で２系統の映像を比較監視するシステムが従来から実施されている。このシステムにおいては、前記２本の経路の障害を自動判別し、送出中の系で障害が発生した場合には、正常な系統に切り替えるように設計されている。
【０００３】
また、２重化されていない伝送路においても、送受信端の２地点間の画像特徴量を比較し、受信側での画質劣化を検出する特徴量抽出型画質監視についての実用化が現在検討されている。このシステムにおいては、２地点間の特徴量を映像回線とは別のデータ回線により送出し、特徴量の差分値が非常に大きい場合に障害が発生していると判定するように設計されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、２重化伝送においては、２系統が地理的に別の地点を通っているため、伝送遅延差が生じることが通常である。また、各系統に含まれる伝送装置、例えば画像圧縮符号化装置、復号装置等の種類が異なることによっても２系統の画像に処理遅延ずれが生じることになる。このような伝送遅延、処理遅延ずれ等が発生すると、前記したように障害が発生した系統から正常な系統に切り替えた場合に、フレームの連続性が保たれない等の不具合が生ずる。
【０００５】
同様に、特徴量抽出型画質監視においては、同一フレームの特徴量を比較する必要があるが、現状では、地理的に異なる２地点の映像同期を確保する手段が提供されていない。このため、各フレームでの特徴量の差分値が最小となる組み合わせを探索する、フレームマッチング方式などにより同期を取る必要があり、これには多大な計算量が必要となり、実時間での処理実現に対する大きな障害となっている。
【０００６】
この発明は、前記した２つの従来技術の課題に鑑みてなされたものであり、その目的は、映像伝送系の異なる２地点または複数地点の遅延差を補償し、各地点の映像のフレーム同期合わせを実現できるフレーム同期システムのフレーム同期方法を提供することにある。
【０００７】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、送信側では、映像信号を、その補助データ領域に符号化されたフレーム識別コードを挿入して映像伝送チェーン上に送信し、該映像伝送チェーン上の少なくとも２地点で画像の特徴量情報を抽出し、該抽出された特徴量情報の各々に前記フレーム識別コードを挿入して伝送し、
受信側では、受信した特徴量情報から前記フレーム識別コードを抽出し、同一の特徴量情報から抽出されたフレーム識別コードを用いて特徴量情報のフレーム同期合わせをするようにした点に特徴がある。
【０００８】
この特徴によれば、受信した複数の信号の特徴量情報のフレーム同期を、容易にかつ完全に行うことができるようになる。このため、本発明を特徴量抽出型画質監視に適用するとその効果は大きい。
【０００９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の概略の構成を示すブロック図であり、図２はその動作説明図である。
【００１０】
送信側装置では、映像入力部１から映像信号１ａが出力される。映像入力部１としては、例えばＶＴＲ、テレビカメラ等を考えることができる。映像入力部１がＶＴＲの場合には、一般的に再生映像信号にタイムコード１ｂが付加されているから、該タイムコード１ｂを抽出し、符号化部２に送る。一方、映像入力部１がテレビカメラ等の場合には、映像信号に時間データが入っていないので、時計などから別途時刻情報を得て、符号化部２に送る。該符号化部２は、タイムコードまたは時刻情報を２値データに変換する。なお、ＶＴＲの場合でも、ＶＴＲに記録されているタイムコード以外に、任意の形式で２値データ化された時刻情報などを使用してもよい。該時刻情報の符号化としては、２４時間の時刻情報を、ＳＭＰＴＥタイムコード形式に符号化する方式を一例として用いることができる。切替スイッチ３は、映像入力部１が、ＶＴＲかテレビカメラなどであるかによって、ＶＴＲの場合にはタイムコード１ｂ側に、テレビカメラなどの場合は時刻情報側に切り替えられる。
【００１１】
ここに、前記タイムコード１ｂは、例えば、（時、分、秒、フレーム番号）から構成されている。該フレーム番号は、例えば０〜２９の繰り返しで構成されている。例えば、図２に示されているように、画像Ｘ、Ｙ、Ｚ、・・・に対して、（０１：０９：５９：２６）、（０１：０９：５９：２７）、（０１：０９：５９：２８）、・・・のタイムコードが付される。前記時刻情報の場合には、映像のフレームを識別できるようにするために、該時刻情報は少なくとも１／３０秒の精度が必要である。
【００１２】
なお、前記タイムコードおよび時刻情報は、映像のフレームを識別できるコード（フレーム識別コード）の一例であり、該タイムコードおよび時刻情報以外のフレーム識別コードであってもよい。
【００１３】
前記映像入力部１から出力された映像信号１ａは、補助データ抽出部４に入力し、補助データ領域を抽出される。周知のように、映像信号１ａは、有効画像領域と、水平／垂直同期信号区間などの補助データ領域からなり、該補助データ領域には、補助データという形で、任意のユーザデータを挿入することが可能である。前記符号化部２で符号化されたタイムコード１ｂあるいは時刻情報は上書き部５で前記補助データ領域に上書きまたは挿入される。遅延部６は、前記補助データ抽出部４，上書き部５等の処理時間に相当する所定時間、映像信号１ａを遅延する。合成部７は、前記補助データ領域に上書きされたタイムコード１ｂあるいは時刻情報と前記遅延部６の遅延によってタイミングが整合された映像信号１ａとを合成する。
【００１４】
このようにして、タイムコード１ｂまたは時刻情報が付加された映像信号は、第１、第２系統の伝送路に分配され２重化伝送される。該第１、第２系統の伝送路には、それぞれエンコーダおよびデコーダを含む第１の伝送装置１１と第２の伝送装置１２が含まれている。該第１、第２の伝送装置１１、１２は、前記補助データ領域の情報を透過的に伝送する。
【００１５】
受信側装置では、第１、第２の伝送装置１１、１２を経て到来した映像信号１１ａ，１２ａは、フレーム同期装置２５に入力する。該フレーム同期装置２５に入力する２つの映像は、伝送路１の遅延をｄ１，伝送路２の遅延をｄ２とすると、｜ｄ１−ｄ２｜のずれを生ずる。補助データ抽出部２１，２３は、それぞれ、前記映像信号１１ａ，１２ａから補助データ領域を抽出する。該補助データ領域のデータは、復号部２２，２４でそれぞれ復号され、前記タイムコードまたは時刻情報として前記フレーム同期装置２５に入力する。
【００１６】
フレーム同期装置２５は、前記復号部２２，２４から入力してきたタイムコードまたは時刻情報を用いて、前記映像信号１１ａ，１２ａに時間差があれば、これを補償する。例えば、図２に示されている場合には、復号されたタイムコードから、第１、第２の伝送装置１１、１２間で１フレームのずれがあることがわかるので、フレーム同期装置２５はこのずれを補償する。より具体的には、フレーム同期装置２５は、タイムコードを基に両系統の遅延差を計算し、遅延量の大きい系の映像信号に遅延量の小さい映像信号を同期させて出力する。このようにして、フレーム同期装置２５からは、フレーム同期合わせされた出力１と出力２が出力される。
【００１７】
該出力１と出力２が、図示されていない障害映像の切替装置に送られると、該切替時におけるフレーム飛びの発生は防止され、連続フレームの切替が可能になる。
【００１８】
次に、本発明の第２実施形態を、図３、図４を参照して説明する。この実施形態は、本出願人の特許出願である「伝送画質評価装置および伝送画質遠隔監視装置」（特願２０００−２５６０１５号）等に好適に適用できるようにしたものである。図３の送信側装置は、図１の送信側装置と同一または同等であるので、図１と同じ符号を付し、説明を省略する。
【００１９】
本実施形態では、エンコーダとデコーダを含む伝送装置３１の前後で画像信号が分岐され、補助データ抽出部４１，５１でタイムコード１ｂあるいは時刻情報が上書きされた補助データ領域が抽出される。抽出された補助データは、復号部４２，５２でそれぞれ復号され、ＲＲ（Reduced Reference）特徴量抽出部４３，５３で抽出された特徴量に付加される。該ＲＲ特徴量抽出部４３，５３は、タイムコードと特徴量情報を記述したパケットを生成し、監視制御回線を介してパケット同期部６１に送出する。該特徴量情報としては、前記特許出願に記されているような動画像のフィールド内の輝度値の平均値や分散値などを用いることができる。なお、前記監視制御回線としては、例えば電話網、ＬＡＮなどの低速度回線（例えば、６４ｋｂｐｓ）を用いることができる。
【００２０】
パケット同期部６１には異なる伝送遅延を受けた２つの特徴量情報が届くと考えられるが、該パケット同期部６１は特徴量情報に付されたタイムコードまたは時間情報を基に、特徴量情報の同期合わせを行う。例えば、図４に示されているように、画質評価装置のパケット同期部６１に届く同一フレームの特徴量情報に時間ずれ｜ｄＦ１−（ｄＦ＋ｄＦ２）｜がある時には、同じタイムコード（例えば、０１：０９：５９：２９）をもつ２つの特徴量情報が一致するように時間的に補償して、同期合わせするようにする。この結果、パケット同期部６１から、同一のフィールドまたはフレームのＲＲ特徴量１，２が同時に出力されることになり、後段に接続された図示されていない画質評価装置で、何らの時間補償をすることなくＲＲ特徴量１，２を比較評価すれば、伝送装置３１による画質の劣化の程度が検出できるようになる。
【００２１】
なお、前記した実施形態の回路図（図１、図３）では、伝送路の途中に１個の伝送装置のみが接続されている例を示したが、本発明は、伝送路に複数個の伝送装置を縦列に接続した、いわゆる映像伝送チェーンに適用することができることは明らかである。本発明では、該映像伝送チェーンの構成は任意でよいが、全ての伝送装置が、前記補助データ領域の信号を透過的に伝送することが必要である。
【００２２】
また、以上は、２重化伝送系、および送受信２地点間における実施形態であるが、これを、３重化以上の多系統伝送系および３地点以上の多地点間での映像同期方式に拡張することは、当業者には容易である。
【００２３】
【発明の効果】
以上の説明から明らかなように、請求項１の発明によれば、特徴量抽出型画質監視において、完全にフレーム同期した画像同士の特徴量を比較することができるようになるので、画質監視の信頼性の向上を図ることができるようになる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の概略の構成を示すブロック図である。
【図２】 第１実施形態の概略の動作の説明図である。
【図３】 本発明の第２実施形態の構成を示すブロック図である。
【図４】 第２実施形態の概略の動作の説明図である。
【符号の説明】
１・・・映像入力部、２・・・符号化部、４・・・補助データ抽出部、５・・・上書き部、７・・・合成部、１１，１２・・・第１、第２の伝送装置、２１，２３・・・補助データ抽出部、２２，２４・・・復号部、２５・・・フレーム同期装置、３１・・・伝送装置、４１，５１・・・補助データ抽出部、４２，５２・・・復号部、４３，５３・・・ＲＲ特徴量抽出部、６１・・・パケット同期部。

Claims (1)

1. 送信側では、映像信号を、その補助データ領域に符号化されたフレーム識別コードを挿入して映像伝送チェーン上に送信し、
   該映像伝送チェーン上の少なくとも２地点で画像の特徴量情報を抽出し、該抽出された特徴量情報の各々に前記フレーム識別コードを挿入して伝送し、
   受信側では、受信した特徴量情報から前記フレーム識別コードを抽出し、同一の特徴量情報から抽出されたフレーム識別コードを用いて特徴量情報のフレーム同期合わせをすることを特徴とするフレーム同期方法。

Images