JP5579657B2

JP5579657B2 - 動画フレーム同期システム

Info

Publication number: JP5579657B2
Application number: JP2011125802A
Authority: JP
Inventors: 駿介高宮; 篤深山; 則泰荒川; 直義金丸
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2011-06-03
Filing date: 2011-06-03
Publication date: 2014-08-27
Anticipated expiration: 2031-06-03
Also published as: JP2012253629A

Description

本発明は、動画フレーム同期システムに関する。

従来から、ビデオカメラ等の映像生成装置から複数の情報処理端末（情報処理端末Ａと情報処理端末Ｂとする）に映像データが送信された際に、動画フレームをディスプレイ等の画像出力装置に出力すべきタイミングを表現した数値を用いることにより、情報処理端末Ａにおいて指定された動画フレームと最も近いタイミングの動画フレームを、情報処理端末Ｂにおいて選択する技術が用いられている。

例えば、非特許文献１に示すＲＴＰ（ＲｅａｌｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｃｏｌ）プロトコルにおけるタイムスタンプを用いた従来方式では、異なる情報処理端末間で次のように動画フレームの同一性を担保する。すなわち、まず映像生成装置において生成された映像データが映像生成装置から情報処理端末Ａ及び情報処理端末Ｂに送られる。その際、映像データを構成する個々の動画フレームは、ＭｏｔｉｏｎＪＰＥＧ等の適切な符号化方式により圧縮された後に、ＲＴＰヘッダが付与されＲＴＰパケットとして送信される。ＲＴＰパケットを受信した情報処理端末では、ＲＴＰパケットのデータ部分を復号化することにより、元の動画フレームを復元する。ＲＴＰヘッダにはタイムスタンプと呼ばれるフィールドがあり、ＲＴＰヘッダが結合しているＲＴＰデータ部分が包含するデータを復号化し得られる動画フレームをディスプレイ等の画像出力装置に表示すべきタイミングを記録したタイムスタンプが記述されている。このタイムスタンプを用いることにより、情報処理端末Ａにおいて選択した動画フレームと同一の動画フレームを、情報処理端末Ｂにおいて選択することができる。具体的には、情報処理端末Ａにおいて特定の動画フレームを選択したとき、その動画フレームに関連づけられたタイムスタンプを情報処理端末Ｂに送信する。そして、情報処理端末Ｂにおいて、受信したタイムスタンプが関連付けられた動画フレームを選択する。これにより、情報処理端末Ａにおいて指定された特定の動画フレームに最も近い動画フレームを、情報処理端末Ｂにおいて選択することができる。

Schulzrinne、"RTP: A Transport Protocol for Real-Time Applications"、［online］、１９９６年１月、ＩＥＴＦ、［平成２３年５月２４日検索］、インターネット＜URL: http://www.ietf.org/rfc/rfc1889.txt＞

しかしながら、非特許文献１に係る従来技術は、情報処理端末Ａ及び情報処理端末Ｂのそれぞれが映像生成装置より映像データを取得する場合において、情報処理端末Ａまたは情報処理端末Ｂの一方が、映像中継サーバを介して映像データを取得する場合に適切に同期ができなくなる場合がある。

具体的には、映像中継サーバでは、受信したＲＴＰパケットから映像データを取り出しさらに動画フレームを取り出し、場合によっては動画フレームに対して何らかの画像処理を行ない、動画フレームを再び映像データとして再符号化し、得られた映像データをＲＴＰパケットに格納し直した上で情報処理端末Ｂに送信する。再符号化の際に、映像中継サーバにおいて新たにタイムスタンプを付け直すことになるが、映像生成装置で付与したタイムスタンプと元来付与されていたタイムスタンプとの一貫性が保たれるとは限らない。例えばタイムスタンプの値が映像中継サーバの内部時計の時刻に基づいている場合等に、一貫性が保たれない場合が生じ得る。また、映像の先頭からの経過時間をタイムスタンプとして用いている場合、情報処理端末Ａと情報処理端末Ｂが受信する映像の先頭が一致しない状況（例：途中から参加・退出可能なテレビ会議など）において、やはり従来方式では動画フレームの同期をすることができなくなる。

従って、上記のような問題点に鑑みてなされた本発明の目的は、映像中継サーバを介する場合において、複数の情報処理端末が適切に動画フレームの同期をすることができる動画フレーム同期システムを提供することにある。

上記課題を解決するために本発明に係る動画フレーム同期システムは、映像生成装置が生成した映像を取得する情報処理端末と、映像生成装置が生成した映像を取得する指示者用端末とを備える動画フレーム同期システムであって、前記情報処理端末又は前記指示者用端末のいずれか一方が中継サーバを介して前記映像を取得し他方が前記映像生成装置から前記映像を取得し、前記中継サーバは、前記映像生成装置から直接受信した前記映像を再符号化し、再符号化した映像を前記情報処理端末又は前記指示者用端末のいずれか一方に送信し、前記指示者用端末は、前記映像を前記中継サーバ又は前記映像生成装置から取得する映像取得部と、ユーザの入力に基づき前記映像を構成する複数の動画フレームから１つの選択動画フレームを選択する動画フレーム選択部と、前記選択動画フレームを前記情報処理端末に送信する動画フレーム送信部と、を有し、前記情報処理端末は、前記映像を前記中継サーバ又は前記映像生成装置から取得する映像取得部と、前記映像を構成する各動画フレームを一意に特定する動画フレーム識別子及び該動画フレームを対応付けて蓄積する動画フレーム蓄積部と、前記動画フレーム蓄積部に蓄積された動画フレームと、前記選択動画フレームとを照合し、前記動画フレーム蓄積部に蓄積された動画フレームの中から選択動画フレームと同一または類似する動画フレームの動画フレーム識別子を取得する動画フレーム照合部と、前記動画フレーム照合部が取得した動画フレーム識別子に係る動画フレームを出力する動画フレーム出力部と、を有することを特徴とする。

本発明における動画フレーム同期システムは、映像中継サーバを介する場合において、複数の情報処理端末が適切に動画フレームの同期をとることができる。

実施の形態１の動画フレーム同期システムのブロック図である。実施の形態１の動画フレーム選択画面を表す図である。実施の形態１の動画フレーム同期システムの動作を示すフローチャートである。実施の形態２の動画フレーム同期システムのブロック図である。実施の形態２の動画フレーム同期システムの動作を示すフローチャートである。

以下、本発明の実施の形態について説明する。

（実施の形態１）
図１は本発明の実施の形態１に動画フレーム同期システムのブロック図である。本発明の実施の形態１に係る動画フレーム同期システムは、映像生成装置１００と、情報処理端末１０１と、映像中継サーバ１０２と、指示者用端末１０３とを備える。

映像生成装置１００は、映像データを生成する機能を持つ。映像データは複数の動画フレームまたは動画フレームを圧縮、再符号化したものから構成されるデータであり、好ましくはＭＰＥＧ、ＭｏｔｉｏｎＪＰＥＧ、ＷＭＩ等のデータ形式からなる。なお動画フレームとは、1枚の画像を表現するビット列のデータであり、例えばＪＰＥＧ、ＰＮＧ、ＷＭＦ等の画像データである。具体的には映像生成装置１００は、動画フレームを生成し、動画フレームを映像データに変換することにより映像データを生成する。また映像生成装置１００は生成した映像データを情報処理端末１０１に送信する送信部（不図示）を有する。映像生成装置１００は、好ましくは、ビデオカメラ付き携帯電話等から構成される。

情報処理端末１０１は、映像生成装置１００から映像データを受信し、また映像中継サーバ１０２に映像データを送信する。映像中継サーバ１０２は情報処理端末１０１から映像データを受信し、映像のフレームレートの変換等を行い、指示者用端末１０３に映像データを送信する。

以下、情報処理端末１０１及び指示者用端末１０３について詳細を説明する。

情報処理端末１０１は、映像取得部１１１と、動画フレーム蓄積部１１２と、映像送信部１１３と、動画フレーム照合部１１４と、動画フレーム出力部１１５とを備える。

映像取得部１１１は、映像生成装置１００からＲＴＰプロトコルにより映像データを取得する。また映像取得部１１１は、取得した映像データを動画フレームに復号する。そして映像取得部１１１は、動画フレームに関連付けられたタイムスタンプが示すタイミングで、動画フレーム蓄積部１１２及び映像送信部１１３に復号した動画フレームを渡す。

動画フレーム蓄積部１１２は、映像取得部１１１から渡された動画フレームに、動画フレームを一意に識別する識別子（以下、「動画フレーム識別子」という）を付与し、図示しないメモリに動画フレームを動画フレーム識別子とともに蓄積する。また動画フレーム蓄積部１１２は、蓄積した動画フレームを動画フレーム照合部１１３及び動画フレーム出力部１１５へ渡す。なお動画フレーム識別子は、例えば動画フレーム蓄積部１１２が映像取得部１１１から動画フレームを取得した順番に連番で付与されるように構成する。

映像送信部１１３は、映像取得部１１１から渡された動画フレームを、好ましくはＭｏｔｉｏｎＪＰＥＧ方式により符号化し、ＲＴＰプロトコルにより映像中継サーバ１０２へ送信する。なお符号化方式はＭｏｔｉｏｎＪＰＥＧ方式に限らず、ＭＰＥＧ方式、ＷＭＩ方式等であってもよい。

動画フレーム照合部１１４は、動画フレーム蓄積部１１２が蓄積した複数の動画フレームと、指示者用端末１０３から受信した動画フレームとを照合する。動画フレーム照合部１１４は照合の結果、同一または最も類似する動画フレームの動画フレーム識別子を動画フレーム出力部１１５に渡す。

動画フレーム出力部１１５は、動画フレーム照合部１１４から取得した動画フレーム識別子に係る動画フレームを動画フレーム蓄積部１１２から取得し、取得した動画フレームを出力する。また動画フレーム出力部１１５は、当該動画フレームのタイムスタンプに基づき、順次動画フレーム蓄積部１１２から動画フレームを取得し動画を出力する。

指示者用端末１０３は、映像取得部１２１と、動画フレーム出力部１２２と、動画フレーム選択部１２３と、動画フレーム送信部１２４とを備える。

映像取得部１２１は、映像中継サーバ１０２よりＲＴＰプロトコルにより映像データを受信する。また映像取得部１２１は、取得した映像データを動画フレームに復号する。そして映像取得部１２１は、動画フレームに関連付けられたタイムスタンプが示すタイミングで、動画フレーム出力部１２２に復号した動画フレームを渡す。

動画フレーム出力部１２２は、受け取った動画フレームを、動画フレームに関連付けられたタイムスタンプが示すタイミングで順番にディスプレイに出力する。

動画フレーム選択部１２３は、ユーザの入力に基づき選択された動画フレーム（以下、「選択動画フレーム」という。）を、動画フレーム送信部１２４に渡す。動画フレーム送信部１２４は、受け取った選択動画フレームを情報処理端末１０１に送信する。

図２は、動画フレーム選択部１２３により、指示者用端末１０２のディスプレイ等に表示される動画フレーム選択画面２００を表す図である。動画フレーム選択画面２００は、動画表示領域２０１と、動画フレーム選択ボタン２０２と、カーソル２０３とを備える、グラフィカル・ユーザ・インターフェース（ＧＵＩ）である。動画表示領域２０１は、映像取得部１２１から受取った動画フレームを順次表示する領域である。動画フレーム選択ボタン２０２は、動画表示領域２０１に表示されている映像データの動画フレームを指示者（ユーザ）のクリック入力により選択するためのボタンである。カーソル２０３は、ユーザのクリック等の入力を促すために備えられている。動画フレーム選択部１２３は、ユーザが選択ボタン２０２をクリックすると、クリック時に動画表示領域２０１に表示されている動画フレームを選択動画フレームとして選択する。

次に、本発明に係る動画フレーム同期システムについて、図３に示すフローチャートによりその動作を説明する。

はじめにステップＳ３０１において、情報処理端末１０１の映像取得部１１１は、映像生成装置１００からの映像データを受信し取得する。また映像取得部１１１は取得した映像データを復号し、複数の動画フレームを生成する。そして映像取得部１１１は、動画フレームに関連付けられたＲＴＰのタイムスタンプに応じて、動画フレームを順番に動画フレーム蓄積部１１２及び映像送信部１１３に渡す。

次にステップＳ３０２において、動画フレーム蓄積部１１２は、映像取得部１１１から取得した動画フレームに動画フレーム識別子を付与し、動画フレームと、当該動画フレーム識別子とを対応付けて蓄積する。

続いてステップＳ３０３において、映像送信部１１３は、映像取得部１１１から取得した動画フレームを、好ましくはＭｏｔｉｏｎＪＰＥＧ方式により符号化し、ＲＴＰプロトコルにより映像中継サーバ１０２に映像データを送信する。送信する動画の動画フレームレートは１５ｆｐｓであるとする。なお符号化方式はＭｏｔｉｏｎＪＰＥＧ方式に限らず、ＭＰＥＧ方式、ＷＭＩ方式等であってもよい。

映像中継サーバ１０２は、受信した映像データを再符号化する（ステップＳ３０４）。再符号化の際に映像中継サーバ１０２は、好ましくは受信した動画の動画フレームレートを、指示者用端末１０３が受信可能なフレームレートに変換する。例えば指示者用端末１０３の受信可能なフレームレートが１０ｆｐｓであるとすると、映像中継サーバ１０２は受信した動画のタイムスタンプの値に基づき、映像データの１／３を破棄し映像データのフレームレートを２／３にする。すなわち１秒間に表示する動画フレームをそれぞれＦ（ｔ１）、Ｆ（ｔ２）、Ｆ（ｔ３）・・・Ｆ（ｔ１５）とすると、Ｆ（ｔ３）、Ｆ（ｔ６）、Ｆ（ｔ９）、Ｆ（ｔ１２）、Ｆ（ｔ１５）の動画フレームを破棄する。そして残りの２／３の動画フレームを再度ＭｏｔｉｏｎＪＰＥＧ方式により符号化してＲＴＰパケットを生成する。

なお、本実施例では映像中継サーバ１０２がフレームレートを変換する例を示したがこれに限られない。例えば映像中継サーバ１０２は、指示者用端末１０３が受信可能な解像度に変換する、または映像データフォーマットに変換する等、様々な態様が考えられる。

続いてステップＳ３０５において、映像中継サーバ１０２は再符号化した映像データを指示者用端末１０３に、ＲＴＰプロトコルにより送信する。

次にステップＳ３０６において、指示者用端末１０３の映像取得部１２１は、中継サーバ１０２からＲＴＰプロトコルにより送信された映像データを取得する。また映像取得部１２１は取得した映像データを復号し、複数の動画フレームを生成する。そして映像取得部１２１は、動画フレームに関連付けられたＲＴＰのタイムスタンプに応じて、動画フレームを順番に動画フレーム出力部１２２に渡す。動画フレーム出力部１２２は受け取った動画フレームを、動画フレームに関連付けられたタイムスタンプが示すタイミングで順番にディスプレイに出力する（ステップＳ３０７）。

続いてステップＳ３０８において、動画フレーム選択部１２３は、ユーザの入力に基づき、ユーザが動画フレーム選択画面２００で動画フレーム選択ボタン２０２をクリックしたときにディスプレイに表示されている動画フレームを選択動画フレームとして、動画フレーム送信部１２４に渡す。その後、ステップＳ３０９において、動画フレーム送信部１２４は、受け取った選択動画フレームを情報処理端末１０１に送信する。

情報処理端末１０１が選択動画フレームを受信すると、ステップＳ３１０において、動画フレーム照合部１１４は、選択動画フレームと、動画フレーム蓄積部１１２に蓄積された複数の動画フレームとを照合し、選択動画フレームと同一または最も類似する動画フレームに係る動画フレーム識別子を取得する。具体的には動画フレーム照合部１１４は、動画フレーム蓄積部１１２に蓄積された動画フレームのうち、直近の過去３秒間の複数の動画フレームを取得する。そして取得した各動画フレームと、選択動画フレームとの差分絶対値和を算出する。差分絶対値和はΣｉ｜ｘｉ―ｙｉ｜により定義される。ただしｘｉは選択動画フレームのｉ番目の画素値、ｙｉは動画フレーム蓄積部１１２から取得したある動画フレームのｉ番目の画素値を表す。ｉは動画フレームに含まれる画素数とチャンネル数（ＲＧＢ表示系の場合は３）の積の値以下の全ての自然数をとる。動画フレーム照合部１１４は、動画フレーム蓄積部１１２に蓄積された動画フレームのうち、差分絶対値和が最小の動画フレームを選び出す。そして、選び出された動画フレームに係る動画フレーム識別子を、動画フレーム出力部１１５に渡す。

続いて動画フレーム出力部１１５は、受け取った動画フレーム識別子に係る動画フレームを動画フレーム蓄積部１１２から取得し、当該動画フレームを出力する。また、当該動画フレームのタイムスタンプに基づき、順次動画フレーム蓄積部１１２から動画フレームを取得し動画を出力する（ステップＳ３１１）。

このように本発明によれば、指示者用端末１０３で選択された選択動画フレームと情報処理端末１０１の動画フレーム蓄積部１１２に蓄積された動画フレームとを直接比較照合することにより動画を同期するため、映像中継サーバ１０２を介する場合において、複数の情報処理端末が適切に動画フレームの同期をとることができる。

なお、動画フレーム照合部１１４が動画フレームを照合する方法として差分絶対値和を用いたがこれに限られない。他にも例えば、Σｉ（ｘｉ―ｙｉ）²として、差分の２乗の和の総和により照合してもよい。また、動画フレームに含まれる全ての画素について総和を算出することが好ましいがこれに限られず、一部の画素についての差分により照合してもよい。

なお、映像中継サーバ１０２は、映像送信部１１３から映像データを受信し、映像取得部１２１に映像データを送信するものとして説明したがこれに限られない。すなわち、映像中継サーバ１０２が映像生成装置１００から直接映像データを受信し、映像取得部１２１に映像データを送信するように構成してもよい。

なお、映像取得部１１１が映像中継サーバ１０２を介して映像生成装置１００からの映像を取得し、映像取得部１２１が映像生成装置１００から映像データを直接受信するように構成してもよい。すなわち、情報処理端末１０１又は指示者用端末１０３のいずれか一方が前記映像を中継サーバを介して映像データを取得していればよい。

（実施の形態２）
以下に、本発明の実施の形態２について説明をする。図４は本発明の実施の形態２の動画フレーム同期システムの構成を示すブロック図である。実施の形態１と同一の構成については同一の符号を付し、説明は省略する。実施の形態２に係るサービス提供システムは、実施の形態１にかかる構成と比較して、情報処理端末４０１の構成が相違する。

情報処理端末４０１は、映像取得部４１１と、動画フレーム蓄積部４１２と、映像合成部４１３と、送信用映像取得部４１４と、送信用動画フレーム蓄積部４１５と、映像送信部４１６と、動画フレーム照合部４１７と、識別子整合部４１８と、動画フレーム出力部４１９とを備える。

映像取得部４１１は、映像生成装置１００からＲＴＰプロトコルにより映像データを取得する。また映像取得部４１１は、取得した映像データを動画フレームに復号する。そして映像取得部４１１は、動画フレームに関連付けられたタイムスタンプが示すタイミングで、動画フレーム蓄積部４１２及び映像合成部４１３に復号した動画フレームを渡す。

動画フレーム蓄積部４１２は、映像取得部４１１から渡された動画フレームに、動画フレームを一意に識別する識別子である動画フレーム識別子を付与し、図示しないメモリに動画フレームを動画フレーム識別子とともに蓄積する。また動画フレーム蓄積部４１２は、蓄積した動画フレーム識別子を識別子整合部４１８に渡し、また動画フレームを動画フレーム出力部１１５へ渡す。

映像合成部４１３は、映像取得部４１１から渡された動画フレームに所定の画像を合成する等の加工をし、加工した送信用の映像を送信用映像取得部４１４に渡す。当該合成は、例えば動画フレームに字幕を合成する等の合成も含まれる。

送信用映像取得部４１４は、映像合成部４１３から送信用映像を取得し、映像送信部４１６及び送信用動画フレーム蓄積部４１５に送信用動画フレームを渡す。

送信用動画フレーム蓄積部４１５は、送信用映像取得部４１４から渡された送信用動画フレームに、送信用動画フレームを一意に識別する識別子（以下、「送信用動画フレーム識別子」という）を付与し、図示しないメモリに動画フレームを送信用動画フレーム識別子とともに蓄積する。また送信用動画フレーム蓄積部４１５は、蓄積した送信用動画フレーム識別子を識別子整合部４１８に渡し、また送信用動画フレームを動画フレーム照合部４１７へ渡す。なお送信用動画フレーム識別子は、例えば送信用動画フレーム蓄積部４１５が送信用映像取得部４１４から送信用動画フレームを取得した順番に連番で付与するように構成する。

映像送信部４１６は、送信用映像取得部４１４から渡された送信用動画フレームを、好ましくはＭｏｔｉｏｎＪＰＥＧ方式により符号化し、ＲＴＰプロトコルにより映像中継サーバ１０２へ送信する。なお符号化方式はＭｏｔｉｏｎＪＰＥＧ方式に限らず、ＭＰＥＧ方式、ＷＭＩ方式であってもよい。

動画フレーム照合部４１７は、送信用動画フレーム蓄積部４１５が蓄積した複数の動画フレームと、指示者用端末１０３から受信した選択動画フレームとを照合する。動画フレーム照合部４１７は照合の結果、同一または最も類似する送信用動画フレームの送信用動画フレーム識別子を識別子整合部４１８に渡す。

識別子整合部４１８は、動画フレーム蓄積部４１２から取得した動画フレーム識別子と、送信用動画フレーム蓄積部４１５から取得した送信用動画フレーム識別子とを対応付けて記憶する。具体的には識別子整合部４１８は、動画フレーム蓄積部４１２から動画フレーム識別子を取得した時刻に最も近い時刻において、送信用動画フレーム蓄積部４１５から取得した送信用動画フレーム識別子を該動画フレーム識別子と対応付けて記憶する。また識別子整合部４１８は、動画フレーム照合部４１７から送信用動画フレーム識別子を受取ると、当該送信用動画フレーム識別子に係る動画フレーム識別子を動画フレーム出力部４１９に渡す。

動画フレーム出力部４１９は、識別子整合部４１８から取得した動画フレーム識別子に係る動画フレームを動画フレーム蓄積部４１２から取得し、取得した動画フレームを出力する。また動画フレーム出力部４１９は、当該動画フレームのタイムスタンプに基づき、順次動画フレーム蓄積部４１２から動画フレームを取得し動画を出力する。

次に、実施の形態２に係る動画フレーム同期システムについて、図５によりその動作を説明する。実施の形態１と同一の動作については同一の符号を付し、説明は省略する。

まずステップＳ５０１において、情報処理端末４０１の映像取得部４１１は、映像生成装置１００からの映像データを受信し取得する。また映像取得部４１１は取得した映像データを復号し、複数の動画フレームを生成する。そして映像取得部４１１は、動画フレームに関連付けられたＲＴＰのタイムスタンプに応じて、動画フレームを順番に動画フレーム蓄積部４１２及び映像合成部４１３に渡す。

次にステップＳ５０２において、動画フレーム蓄積部４１２は、映像取得部４１１から取得した動画フレームに、動画フレーム識別子を生成し、動画フレームと、当該動画フレーム識別子とを対応付けて蓄積する。また動画フレーム蓄積部４１２は、蓄積した動画フレーム識別子を識別子整合部４１８に渡す。

続いてステップＳ５０３において、映像合成部４１３は、映像取得部４１１から渡された動画フレームに所定の画像を合成する等の加工をし、加工した送信用動画フレームを送信用映像取得部４１４に渡す。送信用映像取得部４１４は、取得した送信用動画フレームを、送信用動画フレーム蓄積部４１５と、映像送信部４１６に渡す。

次にステップＳ５０４において、送信用動画フレーム蓄積部４１５は、送信用映像取得部４１４から取得した送信用動画フレームに、送信用動画フレーム識別子を付与し、送信用動画フレームと、当該送信用動画フレーム識別子とを対応付けて蓄積する。また送信用動画フレーム蓄積部４１５は、蓄積した送信用動画フレーム識別子を識別子整合部４１８に渡す。

続いてステップＳ５０５において、識別子整合部４１８は、動画フレーム蓄積部４１２から取得した動画フレーム識別子と、送信用動画フレーム蓄積部４１５から取得した送信用動画フレーム識別子とを対応付けて記憶する。具体的には識別子整合部４１８は、動画フレーム蓄積部４１２から動画フレーム識別子を取得した時刻に最も近い時刻において、送信用動画フレーム蓄積部４１５から取得した送信用動画フレーム識別子を該動画フレーム識別子と対応付けて記憶する。

続いてステップＳ５０６において、映像送信部４１６は、送信用映像取得部４１４から取得した送信用動画フレームを、好ましくはＭｏｔｉｏｎＪＰＥＧ方式により符号化し、ＲＴＰプロトコルにより映像中継サーバ１０２に映像データを送信する。送信する動画の動画フレームレートは１５ｆｐｓであるとする。なお符号化方式はＭｏｔｉｏｎＪＰＥＧ方式に限らず、ＭＰＥＧ方式、ＷＭＩ方式等であってもよい。

続くステップＳ３０４からステップＳ３０８は、実施の形態１と同一の動作であるため同一の符号を付しており、説明は省略する。

指示者用端末１０３から情報処理端末４０１が送信用映像から選択された選択動画フレームを受信すると、ステップＳ５１０において動画フレーム照合部４１４は、選択動画フレームと、送信用動画フレーム蓄積部４１５に蓄積された複数の動画フレームとを照合し、選択動画フレームと同一または最も類似する送信用動画フレームに係る送信用動画フレーム識別子を取得する。具体的には動画フレーム照合部４１４は、送信用動画フレーム蓄積部４１５に蓄積された動画フレームのうち、直近の過去３秒間の複数の送信用動画フレームを取得する。そして取得した各送信用動画フレームと、選択動画フレームとの差分絶対値和を算出する。差分絶対値和はΣｉ｜ｘｉ―ｙｉ｜により定義される。ただしｘｉは選択動画フレームのｉ番目の画素値、ｙｉは動画フレーム蓄積部１１２から取得したある動画フレームのｉ番目の画素値を表す。ｉは動画フレームに含まれる画素数とチャンネル数（ＲＧＢ表示系の場合は３）の積の値以下の全ての自然数をとる。動画フレーム照合部１１４は、動画フレーム蓄積部１１２に蓄積された送信用動画フレームのうち、差分絶対値和が最小の送信用動画フレームを選び出す。そして、選び出された送信用動画フレームに係る送信用動画フレーム識別子を、識別子整合部４１８に渡す。

次にステップＳ５１１において、識別子整合部４１８は、動画フレーム照合部４１７から送信用動画フレーム識別子を受取ると、当該送信用動画フレーム識別子に係る動画フレーム識別子を動画フレーム出力部４１９に渡す。

続いて動画フレーム出力部４１９は、受け取った動画フレーム識別子に係る動画フレームを動画フレーム蓄積部４１２から取得し、当該動画フレームを出力する。また、当該動画フレームのタイムスタンプに基づき、順次動画フレーム蓄積部４１２から動画フレームを取得し動画を出力する（ステップＳ５１２）。

このように実施の形態２にかかる動画フレーム同期システムによれば、情報処理端末４０１で合成された映像を、映像中継サーバ１０２を介して指示者用端末１０３にて出力した場合であっても、指示者用端末１０３で選択された選択動画フレームと情報処理端末１０１の送信用動画フレーム蓄積部４１５に蓄積された動画フレームとを直接比較照合することにより動画を同期するため、映像中継サーバ１０２を介する場合において、複数の情報処理端末が適切に動画フレームの同期をとることができる。

なお、動画フレーム照合部４１４が動画フレームを照合する方法として差分絶対値和を用いたがこれに限られない。他にも例えば、Σｉ（ｘｉ―ｙｉ）²として、差分の２乗の和の総和により照合してもよい。また、動画フレームに含まれる全ての画素について総和を算出することが好ましいがこれに限られず、一部の画素についての差分により照合してもよい。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

１００映像生成装置
１０１情報処理端末
１０２映像中継サーバ
１０３指示者用端末
１１１映像取得部
１１２動画フレーム蓄積部
１１３映像送信部
１１４動画フレーム照合部
１１５動画フレーム出力部
１２１映像取得部
１２２動画フレーム出力部
１２３動画フレーム選択部
１２４動画フレーム送信部
２００動画フレーム選択画面
２０１動画表示領域
２０２動画フレーム選択ボタン
２０３カーソル
４０１情報処理端末
４１１映像取得部
４１２動画フレーム蓄積部
４１３映像合成部
４１４送信用映像取得部
４１５送信用動画フレーム蓄積部
４１６映像送信部
４１７動画フレーム照合部
４１８識別子整合部
４１９動画フレーム出力部

Claims

映像生成装置が生成した映像を取得する情報処理端末と、映像生成装置が生成した映像を取得する指示者用端末とを備える動画フレーム同期システムであって、
前記情報処理端末又は前記指示者用端末のいずれか一方が中継サーバを介して前記映像を取得し他方が前記映像生成装置から前記映像を取得し、
前記中継サーバは、前記映像生成装置から直接受信した前記映像を再符号化し、再符号化した映像を前記情報処理端末又は前記指示者用端末のいずれか一方に送信し、
前記指示者用端末は、
前記映像を前記中継サーバ又は前記映像生成装置から取得する映像取得部と、
ユーザの入力に基づき前記映像を構成する複数の動画フレームから１つの選択動画フレームを選択する動画フレーム選択部と、
前記選択動画フレームを前記情報処理端末に送信する動画フレーム送信部と、
を有し、
前記情報処理端末は、
前記映像を前記中継サーバ又は前記映像生成装置から取得する映像取得部と、
前記映像を構成する各動画フレームを一意に特定する動画フレーム識別子及び該動画フレームを対応付けて蓄積する動画フレーム蓄積部と、
前記動画フレーム蓄積部に蓄積された動画フレームと、前記選択動画フレームとを照合し、前記動画フレーム蓄積部に蓄積された動画フレームの中から選択動画フレームと同一または類似する動画フレームの動画フレーム識別子を取得する動画フレーム照合部と、
前記動画フレーム照合部が取得した動画フレーム識別子に係る動画フレームを出力する動画フレーム出力部と、
を有することを特徴とする動画フレーム同期システム。
前記情報処理端末の前記映像取得部が前記映像生成装置により生成された映像を取得し、前記指示者用端末の前記映像取得部が中継サーバを介して前記映像を受信することを特徴とする、請求項１に記載の動画フレーム同期システム。
映像生成装置が生成した映像を直接取得する情報処理端末と、中継サーバを介して前記情報処理端末が前記映像から加工した送信用映像を取得する指示者用端末とを備える動画フレーム同期システムであって、
前記情報処理端末は、
前記映像を前記映像生成装置から取得する映像取得部と、
前記映像取得部が取得した前記映像から、該映像の動画フレームに所定の画像を合成することにより前記送信用映像を生成する映像合成部と、
前記送信用映像を構成する各送信用動画フレームを一意に特定する送信用動画フレーム識別子及び該送信用動画フレームを対応付けて蓄積する送信用動画フレーム蓄積部と、
前記動画フレーム蓄積部に蓄積された動画フレーム識別子と、前記送信用動画フレーム蓄積部に蓄積された送信用動画フレーム識別子とを対応付ける識別子整合部と、
前記中継サーバに前記送信用映像を送信する映像送信部と、
を備え、
前記中継サーバは、前記情報処理端末から受信した前記送信用映像を再符号化し、再符号化した送信用映像を前記指示者用端末に送信し、
前記指示者用端末は、
前記送信用映像を前記中継サーバから取得する映像取得部と、
ユーザの入力に基づき前記送信用映像を構成する複数の動画フレームから１つの選択動画フレームを選択する動画フレーム選択部と、
前記送信用映像から選択された前記選択動画フレームを前記情報処理端末に送信する動画フレーム送信部と、
を有し、
前記情報処理端末はさらに、
前記送信用動画フレーム蓄積部に蓄積された動画フレームと、前記動画フレーム送信部から送信された前記選択動画フレームとを照合し、該動画フレームと同一または類似する送信用動画フレームの送信用動画フレーム識別子を前記送信用動画フレーム蓄積部から取得する動画フレーム照合部と、
前記動画フレーム照合部が取得した送信用動画フレーム識別子に対応付けられた動画フレーム識別子に係る動画フレームを出力する動画フレーム出力部と、
を有することを特徴とする動画フレーム同期システム。
前記動画フレーム照合部は、前記選択動画フレームと、前記動画フレーム蓄積部に蓄積された動画フレームとの各画素値の差分の絶対値の和が最小である動画フレームの動画フレーム識別子を取得することを特徴とする請求項１に記載の動画フレーム同期システム。
前記動画フレーム照合部は、前記選択動画フレームと、前記送信用動画フレーム蓄積部に蓄積された動画フレームとの各画素値の差分の絶対値の和が最小である動画フレームの動画フレーム識別子を取得することを特徴とする請求項３に記載の動画フレーム同期システム。