JP7208530B2

JP7208530B2 - 同期制御装置、同期制御方法及び同期制御プログラム

Info

Publication number: JP7208530B2
Application number: JP2019102905A
Authority: JP
Inventors: 正人小野; 高秀星出; 靖松原; 真二深津; 憲一南
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2019-05-31
Filing date: 2019-05-31
Publication date: 2023-01-19
Anticipated expiration: 2039-05-31
Also published as: WO2020241308A1; CN113906734A; US20220210295A1; JP2020198509A

Description

本発明は、映像・音声データを同期制御する技術に関する。

エンタープライズ分野では、複数の監視拠点を集約化する傾向にあり、複数の監視拠点を遠隔地で映像監視する遠隔映像監視技術の需要が拡大している。例えば、複数の空港を一拠点で監視可能な航空管制、空港ロビー・駅・スタジアムを一括監視可能な公共空間監視、土石流・津波・ダムを遠隔監視可能な防災監視を実現する遠隔映像監視システムが切望されている。

当該遠隔映像監視システムは、複数の監視拠点を統合監視するだけでなく、監視拠点個々の広い監視エリアを効果的に状況把握するため、例えばテロ対策の強化や大規模な自然災害の未然防止を迅速に実現するため、高精細かつ広視野角な映像をリアルタイムに監視側に伝送する機能を持つ。

例えば、拠点側の遠隔映像監視装置は、複数の撮像系機器から複数のカメラ映像（映像・音声データ）をそれぞれ受信し、受信した複数の映像・音声データを合成して、合成したパノラマ映像の映像・音声データと、映像データから検出したオブジェクト情報とを、ＭＭＴ（MPEG Media Transport）プロトコルを用いて、ＩＰネットワーク経由で、監視側の遠隔映像監視装置へ同期伝送する。ＩＰネットワークの伝送区間では、ＮＴＰ（Network Time Protocol）を用いるため、映像・音声データとオブジェクト情報との同期制御を担保可能である（非特許文献１）。

"デジタル放送におけるMMTによるメディアトランスポート方式"、標準規格、ARIB STD-B60、1.13版、一般社団法人電波産業会、2018年10月

しかしながら、複数の撮像系機器と拠点側の遠隔映像監視装置との間では、各撮像系機器からそれぞれ受信する複数の映像・音声データを完全に同期制御することは難しいという課題がある。

複数の撮像系機器には、撮影処理の遅延・ゆらぎ、撮影後に所定の映像処理を行う場合等、差分がある。また、拠点側の遠隔映像監視装置においても、内部時刻のゆらぎ等、各映像・音声データをそれぞれ受信する当該遠隔映像監視装置内の複数の集信用デバイス（集信用ボード）間に差分がある。

そのため、図８に示すように、複数の撮像系機器２でそれぞれ同じ映像を撮影していた場合でも、複数の映像・音声データにそれぞれ付与されるフレームタイムスタンプにズレが発生する場合がある。これにより、拠点側の遠隔映像監視装置Ａで合成処理を行う際に合成対象の映像・音声フレームを特定できない事態が発生し、ＩＰネットワークの伝送区間及び監視側の提示系デバイス（出力用ボード）間で同期を担保したとしても再生時に同期ズレが発生する事態が発生してしまう。

それ故、映像・音声データ間で同期制御を行う必要があるが、映像・音声データに付与されたフレームタイムスタンプのズレを把握するためには、一般に、集信系デバイスのログの確認、ＭＭＴプロトコルのパケットデータの確認が必要となり、非常に煩雑な処理を必要とする。また、フレームタイムスタンプのズレは集信系デバイスの状況（内部時刻のゆらぎ等）によって一定でない可能性もあり、そのズレを完全に同期させることは難しい。

本発明は、上記事情を鑑みてなされたものであり、複数の撮像系機器からの映像・音声データをより確実に同期制御することを目的とする。

上記課題を解決するため、本発明の同期制御装置は、複数の撮像系機器から送信される複数のデータを同期する同期制御装置において、前記データは、映像データ、音声データ、又は、映像及び音声データであり、前記データ毎に、前記データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを前記複数のフレームデータにそれぞれ付与するフレーム取得部と、前記フレームタイムスタンプの値を基に、前記複数のデータ間で時間的に近い複数のフレームデータが同時刻となり、前記複数のフレームデータ間の時間間隔が等間隔となるように、前記複数のフレームデータに新たなフレームタイムスタンプを付与するフレーム整形部と、を備えることを特徴とする。

上記同期制御装置において、前記フレーム整形部は、所定の基準時刻から起算して前記データのフレーム時間間隔で刻んだ時刻を前記新たなフレームタイムスタンプとすることを特徴とする。

上記同期制御装置において、前記フレームデータの欠損を検出した場合、前記欠損したフレームデータの次のフレームデータを前記欠損したフレームデータとして複製して挿入する欠損フレーム検出部を更に備えることを特徴とする。

上記同期制御装置において、前記フレームデータの重複又は余剰を検出した場合、前記重複又は余剰であるフレームデータを削除する余剰フレーム検出部を更に備えることを特徴とする。

また、本発明の同期制御方法は、複数の撮像系機器から送信される複数のデータを同期する同期制御装置で行う同期制御方法において、前記データは、映像データ、音声データ、又は、映像及び音声データであり、前記データ毎に、前記データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを前記複数のフレームデータにそれぞれ付与するステップと、前記フレームタイムスタンプの値を基に、前記複数のデータ間で時間的に近い複数のフレームデータが同時刻となり、前記複数のフレームデータ間の時間間隔が等間隔となるように、前記複数のフレームデータに新たなフレームタイムスタンプを付与するステップと、を行うことを特徴とする。

また、本発明の同期制御プログラムは、上記同期制御方法をコンピュータに実行させることを特徴とする。

本発明によれば、複数の撮像系機器からの映像・音声データをより確実に同期制御できる。

遠隔映像監視システムの構成例を示す図である。合成処理装置の構成例を示す図である。映像データの同期制御処理フローを示す図である。同期処理後のフレームデータのイメージを示す図である。同期及び複製処理後のフレームデータのイメージを示す図である。同期及び削除処理後のフレームデータのイメージを示す図である。フレームタイムスタンプの付与例を示す図である。課題のイメージを示す図である。

以下、本発明を実施する一実施形態について図面を用いて説明する。

本実施形態では、上記課題を解決するため、同期制御装置、同期制御方法、及び同期制御プログラム（以下、本段落で単に「同期制御装置」という）を開示する。本実施形態では、当該同期制御装置を遠隔映像監視システムに適用する場合を例に説明する。但し、当該同期制御装置は、例えば、エンターテイメント分野のパブリックビューイングで用いられる情報処理システム等、遠隔監視以外の用途にも適用可能である。

［遠隔映像監視システム］
最初に、本実施形態に係る遠隔映像監視システムについて説明する。

遠隔映像監視システムは、拠点側の遠隔映像監視装置が、複数のカメラ映像（映像・音声データ）を合成したパノラマ映像の映像・音声データと、映像データから検出したオブジェクト情報とを、ＭＭＴプロトコルを用いて、ＩＰネットワーク経由で、監視側の遠隔映像監視装置へ同期伝送するシステムである。ＩＰネットワークの伝送区間では、ＮＴＰを用いて、映像・音声データとオブジェクト情報との同期制御を低遅延に実現する。

図１は、本実施形態に係る遠隔映像監視システム１の構成例を示す図である。当該遠隔映像監視システム１は、拠点側に配置された拠点側の遠隔映像監視装置Ａと、監視側に配置された監視側の遠隔映像監視装置Ｂと、を備える。

まず、拠点側の遠隔映像監視装置Ａについて説明する。拠点側の遠隔映像監視装置Ａは、図１に示したように、例えば、合成処理装置１０と、オブジェクト情報統合装置２０と、を備える。

合成処理装置１０は、拠点側に配置された複数の撮像系機器２から複数の映像・音声データをそれぞれ受信し、受信した複数の映像データを合成してパノラマ映像を生成して、受信した映像データから１以上のオブジェクトを検出してトラッキングを行うとともに、生成したパノラマ映像の映像データと音声データをエンコード処理して、エンコード処理後の映像・音声データを、ＭＭＴプロトコルを用いてＩＰネットワーク４経由で監視側の遠隔映像監視装置Ｂへ伝送する機能を備える。この機能を実行するため、合成処理装置１０は、図１に示したように、例えば、合成処理部１１と、エンコード処理部１２と、オブジェクト検出・トラッキング処理部１３と、を備える。

合成処理部１１は、複数の撮像系機器２から例えば最大４Ｋサイズの映像・音声データをそれぞれＳＤＩインタフェースより入力し、入力したタイミングで同期を行い、同期した複数の映像データをリアルタイムに合成する。複数の映像データを合成する際には、撮像系機器２間の視差の影響を低減するため、合成処理部１１は、複数の映像データ間で同期している各映像データのつなぎ目（ｓｅａｍ）を動的に変更するとともに、所定のオブジェクトを追跡したトラッキング処理結果を活用することにより、合成品質の向上を図る。

エンコード処理部１２は、合成により得たパノラマ映像の映像・音声データに対してエンコード処理を行い、監視側の遠隔映像監視装置Ｂを構成するデコード装置３０で受信可能なＭＭＴＰパケットに変換して、ＩＰネットワーク４経由で、当該デコード装置３０へ送出する。例えば、エンコード処理部１２は、入力された映像非圧縮データをＨＥＶＣ（High Efficiency Video Coding）コーデック又はＡＶＣ（Advanced Video Coding）コーデックでエンコードし、音声非圧縮データをＡＡＣ（Advanced Audio Coding）コーデックでエンコードして、ＭＭＴＰストリームに変換して送出する。その際、ＭＭＴＰストリームのタイムコードを管理することにより、オブジェクト情報統合装置２０から送出されるオブジェクト情報との同期を担保する。

オブジェクト検出・トラッキング処理部１３は、複数の映像データから１つ以上のオブジェクトを検出してトラッキングを行い、当該オブジェクトの検出及びトラッキングの実行結果をオブジェクト情報としてオブジェクト情報統合装置２０にＷｅｂｓｏｃｋｅｔで送信する。尚、オブジェクトの検出及びトラッキング方法は、公知の技術を用いて実現可能である。

オブジェクト情報統合装置２０は、オブジェクト検出・トラッキング処理部１３からオブジェクト情報をＷｅｂｓｏｃｋｅｔで受け取り、受け取ったオブジェクト情報に含まれるオブジェクトのカメラ映像上の座標をサラウンド映像上の座標へ変換する。また、オブジェクト情報統合装置２０は、重複領域に同時に表れるオブジェクトについては統合して１つのオブジェクトとする。そして、オブジェクト情報統合装置２０は、オブジェクト情報内のトラッキング情報に所定の連携キーを付加して図示しない所定の外部サーバへ問い合わせを行い、得られた任意の付加情報をトラッキング情報に追加する。その後、オブジェクト情報統合装置２０は、トラッキング情報からシグナリングメッセージを生成し、ＭＭＴＰパケット化してＭＭＴＰストリームに変換して、ＭＭＴプロトコルを用いて、ＩＰネットワーク４経由で、監視側の遠隔映像監視装置Ｂを構成する統合オブジェクト情報受信装置４０へ送出する。

次に、監視側の遠隔映像監視装置Ｂについて説明する。監視側の遠隔映像監視装置Ｂは、図１に示したように、例えば、デコード装置３０と、統合オブジェクト情報受信装置４０と、を備える。

デコード装置３０は、ＩＰネットワーク４を介して合成処理装置１０のエンコード処理部１２からＭＭＴＰストリームを受信し、受信したＭＭＴＰストリーム内のＭＭＴＰパケットに含まれる映像・音声データに対してデコード処理を行い、デコード処理により復号化された映像・音声データを図示しない複数の出力用デバイス間で同期制御して複数の表示系機器３へそれぞれ出力する機能を備える。

統合オブジェクト情報受信装置４０は、ＩＰネットワーク４を介してオブジェクト情報統合装置２０からＭＭＴＰストリームを受信し、受信したＭＭＴＰストリーム内のＭＭＴＰパケットに含まれるオブジェクト情報を取得し、当該オブジェクト情報内のオブジェクトの座標を、映像・音声のコンポーネントを識別するアセット毎の座標へ変換して、複数の表示系機器３へそれぞれ出力する。尚、アセットに関する詳細については、非特許文献１に記載されている。

尚、実際の運用では、デコード装置３０及び統合オブジェクト情報受信装置４０と表示系機器３との間に、映像・音声データとオブジェクト情報とを重畳する付加情報重畳装置が設けられるが、当該付加情報重畳装置はデータ情報の重畳機能であることから、デコード装置３０、統合オブジェクト情報受信装置４０、表示系機器３のうちいずれかに実装可能である。また、撮像系機器２とは、例えば、４Ｋカメラである。表示系機器３とは、例えば、ディスプレイであり、複数の表示系機器３は、マルチスクリーンである。

［合成処理装置］
合成処理装置１０の機能は、上述した通りであるが、本実施形態では、複数の撮像系機器２からそれぞれ受信する複数の映像・音声データを完全に同期制御することは難しいという課題を解決するため、合成処理装置１０に同期制御部（同期制御装置）を更に備える。

図２は、同期制御部を更に備えた合成処理装置１０の構成例を示す図である。当該合成処理装置１０は、複数の撮像系機器２から概ね同じタイミングでそれぞれ送信される複数の映像・音声データの同期精度を向上させる制御を行う。例えば、合成処理装置１０は、カメラ映像受信部１４と、同期制御部１５と、合成処理部１１と、を備える。図２では、図１に示したエンコード処理部１２及びオブジェクト検出・トラッキング処理部１３については、省略している。

カメラ映像受信部１４は、複数の撮像系機器２から出力される複数のカメラ映像を複数の集信用デバイスでそれぞれ受信し、受信した複数の映像・音声データを同期制御部１５にそれぞれ送出する機能を備える。

同期制御部１５は、カメラ映像受信部１４と合成処理部１１との間で機能し、カメラ映像受信部１４から送出された複数の映像・音声データについて同期制御を行い、同期制御後の複数の映像・音声データを合成処理部１１にそれぞれ送出する機能を備える。この機能を実行するため、同期制御部１５は、図２に示したように、例えば、フレーム取得部１５１と、フレーム整形部１５２と、欠損フレーム検出部１５３と、余剰フレーム検出部１５４と、を備える。

フレーム取得部１５１は、映像・音声データ毎に、映像・音声データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを当該複数のフレームデータにそれぞれ付与する機能を備える。

フレーム整形部１５２は、付与されたフレームタイムスタンプの値を基に、複数の映像・音声データ間で時間的に近い複数のフレームデータが同時刻となり、複数のフレームデータ間の時間間隔が等間隔となるように、複数のフレームデータに新たなフレームタイムスタンプを付与する機能を備える。

欠損フレーム検出部１５３は、複数の映像・音声データについて、フレームデータに欠損があるか否を判定し、フレームデータの欠損を検出した場合、欠損したフレームデータの次のフレームデータを当該欠損したフレームデータとして複製して欠損位置に挿入する機能を備える。

余剰フレーム検出部１５４は、複数の映像・音声データについて、フレームデータに重複又は余剰があるか否かを判定し、フレームデータの重複又は余剰を検出した場合、重複又は余剰であるフレームデータを削除する機能を備える。

合成処理部１１の機能については、上述した通りである。同期制御部１５は、合成処理装置１０と同様に、ＣＰＵ、メモリ、入出力インタフェース、通信インタフェース等を備えたコンピュータで実現可能である。また、同期制御部１５としてコンピュータを機能させるための同期制御プログラム、当該同期制御プログラムの記憶媒体の作成も可能である。

［同期制御方法］
次に、複数のカメラ映像を同期制御する同期制御方法について説明する。当該同期制御方法では、カメラ映像に含まれる映像・音声データのうち、映像データを例に説明する。音声データ、又は、映像及び音声データの場合でも、当該同期制御方法を適用できる。図３は、映像データの同期制御処理フローを示す図である。

ステップＳ１；
最初に、カメラ映像受信部１４は、複数の撮像系機器２から概ね同じタイミングでそれぞれ出力された複数の映像データをそれぞれ受信し、受信した複数の映像データを同期制御部１５にそれぞれ送出する。その後、同期制御部１５は、複数の映像データについて、各映像データに含まれる各フレームデータに対して後述するステップＳ２～ステップＳ７を実行する。

ステップＳ２；
まず、フレーム取得部１５１は、各映像データから各フレームデータをそれぞれ取得し、取得した各フレームデータの各取得時刻を基にしたフレームタイムスタンプを各フレームデータにそれぞれ付与する。

例えば、フレームレートが６０ｆｐｓの映像であれば、フレーム時間間隔は約１６．６６ｍｓｅｃとなるので、第１カメラから、先頭フレームデータを「2019/4/1/12:00.052」に取得し、第２フレームデータを「2019/4/1/12:00.070」に取得した場合、フレーム取得部１５１は、それらの取得時刻を先頭フレームデータと第２フレームデータとにそれぞれ付与する。他のカメラからのフレームデータについても同様である。

尚、フレーム取得部１５１は、フレームデータの取得時刻に代えて、フレームデータの受信時刻又は到着時刻を用いてもよい。特許請求の範囲に記載した「取得時刻」は、受信時刻及び到着時刻を包含する。

ステップＳ３；
次に、フレーム整形部１５２は、ステップＳ２で付与されたフレームタイムスタンプの値を基に、映像データのフレームレートに従い、複数の映像データ間で時間的に近い複数のフレームデータが同時刻となり、複数のフレームデータ間の時間間隔が等間隔となるように、複数のフレームデータに新たなフレームタイムスタンプを付与する。

つまり、フレーム整形部１５２は、フレームデータの取得時刻や到着時刻を基に付与したフレームタイムスタンプを、フレームレートに従い等間隔に整形する。このとき、新たなフレームタイムスタンプは、所定の基準時刻（1900/1/1/0:00.000＝NTPv4 64bit表現における0）から起算してフレーム時間間隔毎に算出した値とする。これにより、複数の撮像系機器２に関わらずズレのないフレームタイムスタンプの付与を可能とする。

（新たなフレームタイムスタンプの付与例１）
例えば、フレームレートが６０ｆｐｓの映像の場合、フレーム時間間隔は約１６．６６ｍｓｅｃとなるので、フレーム整形部１５２は、まず、上記所定の基準時刻から起算した現在時刻（「2019/4/1/12:00.000」）以降におけるフレーム時間間隔毎の時刻を下記に示すように算出する。但し、毎秒ちょうどは、「.000」とする。尚、下記時刻の例は、小数点３桁で四捨五入した値である。

2019/4/1/12:00.000
2019/4/1/12:00.017
2019/4/1/12:00.033
2019/4/1/12:00.050
2019/4/1/12:00.067
・・・
そして、３つのカメラからの映像データの各到着時刻が下記に示す時刻から始まった場合、
第１カメラ（先頭フレームデータ） 2019/4/1/12:00.052
第２カメラ（先頭フレームデータ） 2019/4/1/12:00.055
第３カメラ（先頭フレームデータ） 2019/4/1/12:00.056
フレーム整形部１５２は、算出していた上記複数の「フレーム時間間隔毎の時刻」の中から当該各到着時刻に最も近い「2019/4/1/12:00.050」を選択し、選択した「2019/4/1/12:00.050」を３つ全ての映像データの先頭フレームデータにそれぞれ付与する。

尚、時刻の選択方法については、様々な方法が考えられる。例えば、フレーム処理を開始してから初回に受信したフレームデータに対しては、当該フレームデータの取得時刻を当該取得時刻の前後の「フレーム時間間隔毎の時刻」と比較し、近い方の時刻を選択する。フレームデータの取得時刻がフレーム時間間隔の中心であった場合、フレーム整形部１５２は、古い時刻を選択する。

その後、フレーム整形部１５２は、先頭フレームデータ以降のフレームデータに対しては、フレーム時間間隔（約16.66msec）毎の時刻を付与する。

これにより、上記例の場合、３つ全ての映像データに対して下記に示すフレームタイムスタンプが付与されることとなり、３つの映像データが完全に同期制御される。尚、下記で付与したフレームタイムスタンプの「00:00.017」は、「16.66msec」＝「00:00.01666」を小数点３桁で四捨五入した値である。

先頭フレームデータ 2019/4/1/12:00.050
第２フレームデータ 2019/4/1/12:00.050+00:00.017×1
第３フレームデータ 2019/4/1/12:00.050+00:00.017×2
・・・
第ｎフレームデータ 2019/4/1/12:00.050+00:00.017×(n-1)

（新たなフレームタイムスタンプの付与例２）
付与例１では、先頭以外のフレームデータに対しては、フレーム時間間隔毎の時刻を付与する方法を説明した。一方、フレームデータに欠損又は余剰及び重複がある場合、付与例１のように先頭以外のフレームデータに対してフレーム時間間隔毎の時刻を一律付与してしまうと、複数の映像データ間で時間的に全く異なるフレームデータに同じフレームタイムスタンプが付与される可能性がある。

そこで、先頭フレームデータのみに限らず、先頭以外のフレームデータについても、その取得時刻を「フレーム時間間隔毎の時刻」と比較して選択するようにする。これにより、フレームデータの取得時刻に合致する時刻のフレームタイムスタンプが付与されるので、フレームデータに欠損又は重複がある場合でも、正しいフレームタイムスタンプを確実に付与可能となる。

ここまで説明したステップＳ１～ステップＳ３の処理を行うことで、図４に示すように、複数の撮像系機器２からの各カメラ映像を確実に同期制御できる。但し、前述したように、撮像系機器２によっては、その時々の状況や状態により撮影処理の遅延・ゆらぎが大きく生じ、フレームデータの欠損又は余剰及び重複が発生する可能性がある。

そこで、ステップＳ４以降では、フレームデータの過不足を確認し、フレームデータの複製又は削除を行うことで、フレームデータにゆらぎや欠損・余剰・重複があった場合にも、常に全てのカメラ映像のフレームタイムスタンプが同期した状態を実現するようにする。

ステップＳ４；
次に、欠損フレーム検出部１５３は、各映像データに係るフレームデータに欠損があるか否かを判定する。例えば、欠損フレーム検出部１５３は、ステップＳ３で付与された新たなフレームタイムスタンプの値を参照し、フレーム時間間隔で刻んだ時刻に対応するフレームタイムスタンプに一部漏れがある場合、フレームデータに欠損があると判定する。フレームデータに欠損がある場合、ステップＳ５へ進み、フレームデータに欠損がない場合、ステップＳ６へ進む。

ステップＳ５；
フレームデータに欠損がある場合、欠損フレーム検出部１５３は、図５に示すように、欠損したフレームデータの次のフレームデータを当該欠損したフレームデータとして複製して挿入する。つまり、欠損フレーム検出部１５３は、フレームの欠損を検知した時点で欠損フレームの次フレームを複製して追加入力するリピート処理を実行する。その後、ステップＳ６へ進む。

ステップＳ６；
次に、余剰フレーム検出部１５４は、フレームデータに重複又は余剰があるか否かを判定する。例えば、余剰フレーム検出部１５４は、ステップＳ３で付与されたフレームタイムスタンプの値を参照し、複数のフレームデータに同じフレームタイムスタンプが付与されている場合、フレームデータに重複又は余剰があると判定する。フレームデータに重複又は余剰がある場合、ステップＳ７へ進み、フレームデータに重複又は余剰がない場合、処理を終了する。

ステップＳ７；
フレームデータに重複又は余剰がある場合、余剰フレーム検出部１５４は、図６に示すように、重複又は余剰であるフレームデータを削除する。つまり、余剰フレーム検出部１５４は、フレームの重複又は余剰を検知した時点で重複又は余剰フレームを削除するスキップ処理を実行する。その後、処理を終了する。

最後に、フレームタイムスタンプの付与方法を纏める。

まず、フレーム取得部１５１が、複数の映像データについて、フレームデータの取得時刻を基にしたフレームタイムスタンプを各フレームデータにそれぞれ付与する。当該フレームタイムスタンプは、撮影処理の遅延・ゆらぎ等により、例えば、図７の白丸で示すようになる。

その後、フレーム整形部１５２が、映像データのフレームレート（60fps）に従い、基準時刻（「1900/1/1/0:00.000」）から起算した現在時刻（「2019/4/1/12:00.000」）からフレーム時間間隔（16.66msec）で刻んだ時刻（図７の斜線ハッチ入り丸）を算出し、当該「フレーム時間間隔で刻んだ時刻」を新たなフレームタイムスタンプとして各フレームデータにそれぞれ付与する。つまり、フレーム整形部１５２は、フレームデータの取得時刻を基にしたフレームタイムスタンプを、フレームレートに従い基準時刻から起算して算出した時刻に再割り当てする処理を行う。

このとき、図７に示したフレームタイムスタンプＴＳ１のように、取得時刻を基にしたフレームタイムスタンプよりも過去の連続する２以上の付与予定フレームタイムスタンプに再割り当てが行われていない場合、１フレーム前までのフレームデータに対してリピート処理を実行する。また、フレームタイムスタンプＴＳ２のように、取得時刻を基にしたフレームタイムスタンプよりも未来の付与予定フレームタイムスタンプに既に再割り当てが行われている場合、スキップ処理を実行する。

［実施形態の効果］
以上より、本実施形態によれば、複数の撮像系機器２から概ね同じタイミングでそれぞれ送信される複数の映像・音声データを同期する同期制御部１５において、映像・音声データ毎に、映像・音声データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを複数のフレームデータにそれぞれ付与するフレーム取得部１５１と、フレームタイムスタンプの値を基に、複数の映像・音声データ間で時間的に近い複数のフレームデータが同時刻となり、複数のフレームデータ間の時間間隔が等間隔となるように、複数のフレームデータに新たなフレームタイムスタンプを付与するフレーム整形部１５２と、を備えるので、遠隔映像監視システムにおいて複数の撮像系機器からの複数の映像・音声データをより確実に同期制御できる。

また、本実施形態によれば、フレーム整形部１５２は、1900/1/1/0:00.000から起算して映像・音声データのフレーム時間間隔で刻んだ時刻を新たなフレームタイムスタンプとするので、入力された全ての映像フレームに対してＵＴＣ（Coordinated Universal Time）に同期したフレームタイムスタンプの付与を実現できる。

また、本実施形態によれば、フレームデータの欠損を検出した場合、欠損したフレームデータの次のフレームデータを当該欠損したフレームデータとして複製して挿入する欠損フレーム検出部１５３を更に備えるので、複数の映像・音声データを更に確実に同期制御できる。

また、本実施形態によれば、フレームデータの重複又は余剰を検出した場合、重複又は余剰であるフレームデータを削除する余剰フレーム検出部１５４を更に備えるので、複数の映像・音声データを更に確実に同期制御できる。

１…遠隔映像監視システム
２…撮像系機器
３…表示系機器
４…ＩＰネットワーク
１０…合成処理装置
１１…合成処理部
１２…エンコード処理部
１３…オブジェクト検出・トラッキング処理部
１４…カメラ映像受信部
１５…同期制御部
１５１…フレーム取得部
１５２…フレーム整形部
１５３…欠損フレーム検出部
１５４…余剰フレーム検出部
２０…オブジェクト情報統合装置
３０…デコード装置
４０…統合オブジェクト情報受信装置
Ａ…拠点側の遠隔映像監視装置
Ｂ…監視側の遠隔映像監視装置

Claims

複数の撮像系機器から送信される複数のデータを同期する同期制御装置において、
前記データは、映像データ、音声データ、又は、映像及び音声データであり、
前記データ毎に、前記データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを前記複数のフレームデータにそれぞれ付与するフレーム取得部と、
前記フレームタイムスタンプの値を基に、前記複数のデータ間で時間的に近い複数のフレームデータが同時刻となり、前記複数のフレームデータ間の時間間隔が等間隔となるように、前記複数のフレームデータに新たなフレームタイムスタンプを付与するフレーム整形部と、を備え、
前記フレーム整形部は、
所定の基準時刻から起算して前記データのフレームレートで刻んだフレーム時間間隔毎の時刻の中から、前記複数のデータの各先頭フレームデータのフレームタイムスタンプに最も近い時刻を選択し、選択した時刻を前記各先頭フレームデータの新たなフレームタイムスタンプとすることを特徴とする同期制御装置。
前記フレームデータの欠損を検出した場合、前記欠損したフレームデータの次のフレームデータを前記欠損したフレームデータとして複製して挿入する欠損フレーム検出部と、
前記フレームデータの重複又は余剰を検出した場合、前記重複又は余剰であるフレームデータを削除する余剰フレーム検出部と、を更に備え、
前記フレーム整形部は、
先頭フレームデータ以外の非先頭フレームデータについて、前記フレーム時間間隔毎の時刻の中から、前記複数のデータ間で時間的に近い複数の非先頭フレームデータのフレームタイムスタンプに最も近い時刻を選択し、選択した時刻を前記複数の非先頭フレームデータの新たなフレームタイムスタンプとすることを特徴とする請求項１に記載の同期制御装置。
複数の撮像系機器から送信される複数のデータを同期する同期制御装置で行う同期制御方法において、
前記データは、映像データ、音声データ、又は、映像及び音声データであり、
前記データ毎に、前記データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを前記複数のフレームデータにそれぞれ付与する第１のステップと、
前記フレームタイムスタンプの値を基に、前記複数のデータ間で時間的に近い複数のフレームデータが同時刻となり、前記複数のフレームデータ間の時間間隔が等間隔となるように、前記複数のフレームデータに新たなフレームタイムスタンプを付与する第２のステップと、を行い、
前記第２のステップでは、
所定の基準時刻から起算して前記データのフレームレートで刻んだフレーム時間間隔毎の時刻の中から、前記複数のデータの各先頭フレームデータのフレームタイムスタンプに最も近い時刻を選択し、選択した時刻を前記各先頭フレームデータの新たなフレームタイムスタンプとすることを特徴とする同期制御方法。
前記フレームデータの欠損を検出した場合、前記欠損したフレームデータの次のフレームデータを前記欠損したフレームデータとして複製して挿入するステップと、
前記フレームデータの重複又は余剰を検出した場合、前記重複又は余剰であるフレームデータを削除するステップと、を更に行い、
前記第２のステップでは、
先頭フレームデータ以外の非先頭フレームデータについて、前記フレーム時間間隔毎の時刻の中から、前記複数のデータ間で時間的に近い複数の非先頭フレームデータのフレームタイムスタンプに最も近い時刻を選択し、選択した時刻を前記複数の非先頭フレームデータの新たなフレームタイムスタンプとすることを特徴とする請求項３に記載の同期制御方法。
請求項３又は４に記載の同期制御方法をコンピュータに実行させることを特徴とする同期制御プログラム。