JP5326724B2 - 映像処理装置および映像処理装置の制御プログラム - Google Patents

Description

本発明は、映像処理装置および映像処理装置の制御プログラムに関するものである。

近年、通信インフラの整備が進み、また、データの圧縮符号化技術の進歩に伴い、固定通信や移動通信を問わず、ネットワークを介して動画像などの大容量の映像データを送信し受信することが可能となっている。例えば、映像データの圧縮符号化技術として、可変フレームレートで映像データを圧縮符号化するＭＰＥＧ−４を用いることによって、映像データの性質に応じて最適な圧縮符号化を可能とし、動画像のような大容量の映像データを高画質高圧縮で符号化してネットワーク上での送受信を実現している。

ここで、フレームレートとは、単位時間あたりの画像が更新される回数を表す指標であり、例えばフレームレートが３０の映像データである場合、通常は３０ｆｐｓ（Frames Per Second）で表され、１秒間に３０枚の画像が更新される映像データであることを示す。フレームレートが大きい映像データであるほど動画像の動きが滑らかであり、動画像としての映像品質が良いといえる。
また、一つの画像が再生される時間は（以下、「再生時間」という。）、３０ｆｐｓの映像データの場合、１／３０＝０．０３３３…となることから、約３３．３ｍｓｅｃとなる。このようなフレームレートと再生時間との間の関係から、フレームレートが大きい映像データでは画像の再生時間の値は小さくなり、フレームレートが小さい映像データでは画像の再生時間の値は大きくなる。

従来では、上述したような映像データ、フレームレートが異なる状態のまま符号化された映像データ（以下、「符号化映像データ」という。）を保存することによって録画していた。図９は、可変フレームレートの符号化映像データを録画した際の映像テーブルとタイムテーブルとの関係の一例を模式的に示す図である。
映像テーブルとは、映像データとタイムテーブルとを関連付ける所定の情報であって、映像データのサイズや再生開始位置といった情報を有するデータである。
また、タイムテーブルは、その映像データの再生時間とその再生時間に関係付けられたデータ数とによって構成されるデータである。
図９に示すように、映像データの要素に対応してタイムテーブルの要素が作成されており、録画した映像データの再生や再生位置の検索を行う際には、これらのタイムテーブル全てを順次加算してこの映像データの全ての再生時間を導出することが必要となる。したがって、映像データの再生処理や映像検索処理の負荷が増加して、録画した映像データの再生開始までに時間がかかってしまうといった問題がある。さらに、映像データの再生時間を示すタイムテーブルの要素が符号化映像データの要素ごとに作成されてしまい、保存される符号化映像データにおけるタイムテーブルの要素が増大してしまうといった問題がある。

これに対し、可変フレームレートの符号化映像データを固定フレームレート形式の符号化映像データに変換するデータ変換装置として、入力された可変フレームレートの符号化映像データを、予め設定された固定のフレームレートで出力する固定フレームレート形式の符号化映像データへ変換する技術が開示されている（特許文献１）。この技術によると、フレームレートが固定されることにより、タイムテーブルの要素が一つとなり、符号化映像データの再生処理や再生位置を検索する検索処理の負荷を軽減させることができる。

特開２００２−２３８０５０号公報

しかしながら、上述した技術は、入力される符号化映像データのフレームレートにかかわらず、予め設定された一定のフレームレートに固定する符号化映像データのフレームレートの変換技術である。したがって、場合によっては固定フレームレート形式の符号化映像データへ変換後のフレームレートが変換前のフレームレートよりも落ちてしまうことがあり、映像データの品質を維持して固定フレームレート形式の符号化映像データへ変換することができなかった。
例えば、入力した可変フレームレートの符号化映像データを３０ｆｐｓ固定のフレームレートの符号化映像データで出力するデータ変換装置の場合、１５ｆｐｓの符号化映像データが入力されると、３０ｆｐｓの符号化映像データとして変換される。ところが、６０ｆｐｓの符号化映像データが入力されると、フレームレートを落として３０ｆｐｓの符号化映像データへ変換されてしまうだけではなく、入力した映像データと変換後の映像データとの再生時間における整合性がとれず、映像データを間引くなどの処置も必要となる。 したがって、このデータ変換装置から出力された映像データを保存する場合には、入力する映像データの性質によっては、映像データの品質を落として保存することになってしまうことがあった。

本発明は、上記のような問題を解決すべく、可変フレームレートで伝送された符号化映像データの映像品質を維持して固定フレームレート形式の符号化映像データへ変換する映像処理装置を提供することを目的とする。

上述の目的を達成するために、本発明は、フレームレートに応じた再生時間を有する符
号化映像データをネットワークを介して受信する受信手段と、この受信手段により受信さ
れた前記符号化映像データをすでに受信された映像データのフレームレートのうち再生時間を表す時間情報が基準値として保存されているフレームレートの約数となるフレームレートで受信した場合には、前記再生時間を表す時間情報が基準値として保存されているフレームレートのうち最大のフレームレートに基づく再生時間を表す時間情報とともに前記符号化映像データを出力し、再生時間を表す時間情報が基準値として保存されているフレームレートの約数とならないフレームレートで受信したときは、そのフレームレートに基づく再生時間を表す時間情報を前記符号化映像データとともに出力するフレームレート変換手段と、このフレームレート変換手段から出力される前記符号化映像データを前記時間情報とともに記録する記録手段とを設けたことを特徴とする。
また、本発明の映像処理装置は、前記記録手段によって記録された前記符号化映像デー
タを読み込んで、この符号化映像データを受信した際のフレームレートに基づく再生時間
で出力する符号化映像データ読込手段を備えても良い。

本発明によれば、受信した符号化映像データの各フレームレートのうち最大のフレームレートに基づいて設定される基準値によって決定されるフレームレートへ受信した符号化映像データのフレームレートを変換することによって、この符号化映像データの映像品質を維持して固定フレームレート形式の符号化映像データへ変換することができる。さらに、固定フレームレート形式の符号化映像データへ変換されることにより、映像品質を落とさずに映像データの再生時間を示すタイムテーブルの要素数を最小数にとどめることができる。したがって、受信した可変フレームレートの符号化映像データの映像品質を維持して録画すると同時にこの符号化映像データの再生処理や再生位置を検索する検索処理の負荷を軽減させることが可能となる。

第１の実施の形態に係る映像処理装置の機能ブロック図である。 第１の実施の形態における映像データとタイムスタンプとの関係ならびに基準値によるタイムスタンプの分割を模式的に示す図である。 符号化映像データの所定のファイル形式（ＭＰＥＧ−４ファイルフォーマット）の一例を概念的に示す図である。 本発明における可変フレームレートの符号化映像データを録画した際の映像テーブルとタイムテーブルとの関係の一例を概念的に示す図である。 第１の実施の形態に係る映像処理装置の動作フローチャートである。 第２の実施の形態に係る映像処理装置の機能ブロック図である。 第２の実施の形態に係る映像処理装置の映像データ読込部における映像データ再生動作を示すフローチャートである。 第２の実施の形態に係る映像処理装置の映像データ読込部における映像データ検索動作を示すフローチャートである。 従来技術における可変フレームレートの符号化映像データを録画した際の映像テーブルとタイムテーブルとの関係の一例を概念的に示す図である。

以下、図面を参照し、本発明の実施の形態について説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る映像処理装置の構成を示す機能ブロック図である。
本実施の形態に係る映像処理装置は、ネットワークを介して受信する可変フレームレートの符号化映像データを、固定フレームレート形式の符号化映像データへ変換して録画する映像処理装置である。
図１に示すように、本実施の形態に係る映像処理装置１０は、ネットワーク１を介して符号化映像データを受信する映像データ受信部１０１と、受信した可変フレームレートの符号化映像データのフレームレートを固定フレームレート形式の符号化映像データへ変換するフレームレート変換部１０２と、固定フレームレート形式に変換された符号化映像データを記憶装置１０３ｂに書き込む映像データ書込部１０３ａからなる記憶部１０３と、符号化映像データを復号化して映像データを出力する映像データ復号部１０４とから構成されている。

なお、これらの構成要素は、ＣＰＵ（中央演算装置）やメモリ、インターフェースを備えた映像処理装置１０に搭載されたコンピュータ（不図示）に、コンピュータプログラムをインストールすることにより、このコンピュータのハードウェア資源とソフトウェアとが協働して実現されるものである。

映像データ受信部１０１は、ネットワーク１を介して符号化映像データを受信して、この符号化映像データを図示しない記憶領域に一時的に記憶する。ここで、映像データ受信部１０１が受信する符号化映像データは、任意のフレームレートを有する符号化映像データである。
また、映像データ復号部１０４は、映像データ受信部１０１によって受信した符号化映像データを復号化して、映像データとして出力する。

フレームレート変換部１０２は、まず、映像データ受信部１０１によって受信された符号化映像データフレームレートに基づいた再生時間を示す時間情報（以下、「タイムスタンプ」という。）を算出する。

ここで、タイムスタンプの算出について説明する。映像データ受信部１０１によって受信された符号化映像データには、この映像データの再生時間情報が含まれており、この再生時間情報に基づいてタイムスタンプを算出する。例えば、受信した符号化映像データの再生時間情報が「９０００」であり、この符号化映像データの直前に受信した符号化映像データの再生時間情報が「３０００」であったとき、求めるタイムスタンプは、９０００−３０００＝６０００となることから「６０００」となる。

フレームレート変換部１０２は、算出したタイムスタンプを以前のタイムスタンプと比較して小さい値のものを基準値として更新して設定し、図示しない記憶領域に保持する。これにより、基準値は映像データ受信部１０１によって受信された符号化映像データのタイムスタンプのうち最小の値となる。この基準値に基づいて映像データ受信部１０１によって受信された符号化映像データを固定フレームレート形式の符号化映像データへ変換する。つまり、基準値は映像データ受信部１０１によって受信された全ての符号化映像データのタイムスタンプのうち最小の値であるので、フレームレート変換部１０２は、受信した符号化映像データのタイムスタンプをこの基準値で分割することによって、基準値と同値のタイムスタンプを有する符号化映像データに統一して、これら符号化映像データとタイムスタンプとを出力する。
したがって、タイムスタンプを基準値で分割され統一された符号化映像データは、統一されたタイムスタンプから導出されるフレームレートへ変換された固定フレームレート形式の符号化映像データへ変換されたことになる。

ここで、符号化映像データのタイムスタンプを基準値で分割して統一されることで固定フレームレート形式へ変換された符号化映像データについて説明する。図４は、本実施の形態に係る映像処理装置において、基準値によって符号化映像データのタイムスタンプを分割した際の映像データとタイムスタンプとの関係を模式的に示す図である。
図２に示すように、符号化映像データの映像データＡと再生時間の時間情報であるタイムスタンプ３ａは関連付けられており、ここでは基準値をａとする。このタイムスタンプ３ａを基準値ａで分割すると、タイムスタンプ３ａは基準値ａと同値のタイムスタンプａ三つに分割される。このとき、フレームレート変換部１０２は、先頭のタイムスタンプに本来の映像データである映像データＡを関係付け、２番目以降のタイムスタンプには映像データではなくダミーデータを関連付けることにより、映像データＡをタイムスタンプが同値の三つの映像データへ変換する。これによって、固定フレームレート形式の符号化映像データが三つ生成されたことになる。
また、上記ダミーデータは、任意の情報を有する擬似的な映像データであって、本来の映像データと比較して十分に小さいデータである。

映像データ書込部１０３ａは、フレームレート変換部１０２によって出力されたフレームレートの変換がなされた固定フレームレート形式の符号化映像データとタイムスタンプとを所定のファイル形式に則って記憶装置１０３ｂへ書き込む。
ここで、映像データ書込部１０３ａによって記憶装置１０３ｂへ書き込まれる所定のファイル形式について説明する。図３は、符号化映像データの所定のファイル形式（ＭＰＥＧ−４ファイルフォーマット）の一例を概念的に示す図である。図３に示すように、ＭＰＥＧ−４ファイルフォーマットはまず、ヘッダ部とデータ部に分かれる。データ部には、映像データが、ヘッダ部には全体情報とトラック情報が格納されている。トラック情報には映像テーブルとタイムテーブルの領域があり、映像テーブルには該当の映像データがデータ部のどの位置にあるのかを示す位置情報と映像データのデータサイズ情報が、タイムテーブルには映像データのタイムスタンプとこのタイムスタンプのデータ数が格納されている。
映像データ書込部１０３ａは、フレームレート変換部１０２によって出力された固定フレームレート形式の符号化映像データの符号化映像データとタイムスタンプとから、図３に示すＭＰＥＧ−４ファイルフォーマットに則り映像テーブル情報とタイムテーブルとをこれらの領域に格納するとともに、映像データ部分をデータ部に格納することによって、固定フレームレート形式の符号化映像データとして記憶装置１０３ｂに書き込む。

次に、本実施の形態に係る映像処理装置１０の動作について図４と図５を参照しながら説明する。
図４は、本実施の形態に係る映像処理装置１０において、可変フレームレートの符号化映像データを録画する際の映像テーブルとタイムテーブルとの関係の一例を概念的に示す図である。図５は、本実施の形態に係る映像処理装置１０における符号化映像データのフレームレート変換動作と固定フレームレート形式に変換された符号化映像データの保存動作との手順を示した動作フローチャートである。
図５に示すように、映像処理装置１０の映像データ受信部１０１は、図示しないインターフェースからネットワーク１を介して可変フレームレートの符号化映像データを受信して（Ｓ１０１）、図示しない記憶領域に一時記憶する。

この受信した可変フレームレートの符号化映像データについて、フレームレート変換部１０２は最初に受信したデータか否かを判定する（Ｓ１０２）。
最初に受信した可変フレームレートの符号化映像データであった場合（Ｓ１０２で「Yes」）、受信した可変フレームレートの符号化映像データには映像データが存在せず、フレームレート変換部１０２は再生時間カウンター（以下、「カウンター」とする。）の初期値を図示しない記憶領域に保存して（Ｓ１０４）、可変フレームレートの符号化映像データの受信待機となる。
最初に受信した可変フレームレートの符号化映像データではない場合（Ｓ１０２で「No」）、フレームレート変換部１０２は、すでに保存されているカウンター値から、この可変フレームレートの符号化映像データのタイムスタンプを算出する（Ｓ１０３）。
例えば、図４に示すように、最初に受信した「映像データ０」のカウンター［Time］の値は０であり、次に受信した「映像データ１」のカウンター［Time］の値は３０００であるので、フレームレート変換部１０２が算出する「映像データ１」のタイムスタンプは３０００となる。

次に、フレームレート変換部１０２は、算出したタイムスタンプが最初のタイムスタンプであるか否かを判定する（Ｓ１０５）。
最初のタイムスタンプである場合（Ｓ１０５で「Yes」）、フレームレート変換部１０２はこのタイムスタンプを基準値として設定して図示しない記憶領域に保持する（Ｓ１０６）。例えば、図４に示す「映像データ１」を受信して算出したタイムスタンプが最初のタイムスタンプであり、このタイムスタンプの値３０００が基準値として設定される。

最初のタイムスタンプではなかった場合（Ｓ１０５で「No」）、フレームレート変換部１０２はこのタイムスタンプがすでに設定して保持されている基準値と同値であるか否かを判定する（Ｓ１０７）。
タイムスタンプがすでに設定されている基準値と同値であった場合（Ｓ１０７で「Yes」）、フレームレート変換部１０２はこのタイムスタンプと対応する符号化映像データを映像データ書込部１０３ａへ出力する。映像データ書込部１０３ａは、この符号化映像データとタイムスタンプとを所定のファイル形式で記憶装置１０３ｂに書き込み（Ｓ１０８）、映像処理装置１０は可変フレームレートの符号化映像データの受信待機状態となる（Ｓ１０１）。
例えば、図４に示す「映像データ２」を受信したとき、すなわち、「映像データ１」を受信して最初のタイムスタンプを算出し基準値３０００を設定した後、「映像データ２」におけるカウンター［Time］の値は６０００であるので、算出されるタイムスタンプは３０００となる。このとき、基準値３０００とこのタイムスタンプとは同値であるため、「映像データ２」とこのタイムスタンプは映像データ書込部１０３ａによって所定のファイル形式に則って記憶装置１０３ｂへ書き込まれる。

タイムスタンプがすでに設定されている基準値と同値ではなかった場合（Ｓ１０７で「No」）、フレームレート変換部１０２は、このタイムスタンプがすでに設定されている基準値の倍数であるかすでに設定されている基準値の約数であるかそのいずれでもないのかを判定する（Ｓ１０９）。
タイムスタンプが基準値の倍数もしくは約数でなかった場合（Ｓ１０９で「No」）、フレームレート変換部１０２は、このタイムスタンプを基準値として追加設定し、図示しない保存領域に保持して（Ｓ１１０）、このタイムスタンプと対応する符号化映像データを映像データ書込部１０３ａに出力する。映像データ書込部１０３ａはこの符号化映像データとタイムスタンプとを所定のファイル形式で記憶装置１０３ｂに書き込み（Ｓ１０８）、映像処理装置１０は可変フレームレートの符号化映像データの受信待機状態となる（Ｓ１０１）。

タイムスタンプが基準値の倍数であった場合（Ｓ１０９で「倍数」）、フレームレート変換部１０２は、このタイムスタンプを基準値で分割する（Ｓ１１１）。
例えば、図４に示す「映像データ３」を受信したとき、「映像データ３」におけるカウンター［Time］の値は１２０００であり、「映像データ２」におけるカウンター［Time］の値が６０００であったので、「映像データ３」のタイムスタンプは６０００となる。つまり、この時点の基準値が３０００でありタイムスタンプの値は６０００であるので、このタイムスタンプは基準値の倍数であり、したがって、フレームレート変換部１０２は基準値によって「映像データ３」のタイムスタンプを３０００と３０００の二つのタイムスタンプへ分割する。

タイムスタンプが基準値の約数であった場合（Ｓ１０９で「約数」）、フレームレート変換部１０２は、このタイムスタンプを新たな基準値として更新し図示しない記憶領域に保持し（Ｓ１１２）、その後に、記憶装置１０３ｂに記憶されているタイムスタンプからこの更新された基準値の倍数であるタイムスタンプを、新たな基準値で分割する（Ｓ１１３）。
例えば、図４において「映像データｎ」を受信し、このときのカウンター［Time］の値からタイムスタンプを算出した結果「映像データｎ」のタイムスタンプが１５００であった場合、すでに設定されている基準値が３０００であるので、このタイムスタンプは基準値の約数となる。したがって、このタイムスタンプの値１５００が３０００に替わって基準値として更新されるとともに、すでに記憶装置１０３ｂに記憶されている基準値１５００の倍数であるタイムスタンプをフレームレート変換部１０２は基準値１５００で分割する。すなわち、以前の基準値が３０００であった場合、記憶装置１０３ｂに記憶されているタイムスタンプは３０００で統一されており、フレームレート変換部１０２はこのタイムスタンプを１５００と１５００の二つのタイムスタンプへ分割する。

次に、映像データ書込部１０３ａは、分割されたタイムスタンプのうち先頭のタイムスタンプに対して対応する映像データを関連付けて所定のファイル形式に則って記憶装置１０３ｂへ書き込み（Ｓ１１４）、２番目以降のタイムスタンプにはダミーデータを関連付けて所定のファイル形式に則って記憶装置１０３ｂへ書き込む（Ｓ１１５）。
例えば、図４において「映像データ６」を受信した場合、算出される「映像データ６」のタイムスタンプは９０００であって設定されている基準値は３０００であるので、「映像データ６」のタイムスタンプは値が３０００のものが三つに分割される。図４に示すように、映像データ書込部１０３ａは分割されたタイムスタンプのうち最初に再生する再生位置情報「ｈ」を有するタイムスタンプに映像データである「映像データ６」を関連付けて映像テーブルを生成し所定のファイル形式に則り記憶装置１０３ｂへ映像テーブル情報とタイムテーブルと映像データとを書き込む。引き続き、２番目以降「ｉ」「ｊ」の再生位置情報を有するタイムスタンプにはダミーデータを関連付けて映像テーブルを生成し、所定のファイル形式に則り記憶装置１０３ｂへ映像テーブル情報とタイムテーブルとダミーデータとを書き込む。

このように、受信した可変フレームレートの符号化映像データの各フレームレートのうち最大のフレームレートに基づいた再生時間を示すタイムスタンプを基準値として設定し、この基準値に基づいて符号化映像データのタイムスタンプを統一することによって、受信した可変フレームレートの符号化映像データのフレームレートを落とすことなく、タイムテーブルの要素数を最小数にとどめることができ、したがって、受信した可変フレームレートの符号化映像データの映像品質を落とさずに固定フレームレート形式の符号化映像データとして録画保存することが可能となる。

［第２の実施の形態］
図６は、本発明の第２の実施の形態に係る映像処理装置の構成を示す機能ブロック図である。
本実施の形態に係る映像処理装置は、ネットワークを介して受信する可変フレームレートの符号化映像データを、固定フレームレート形式の符号化映像データへ変換して録画する映像処理装置であって、特に、録画した符号化映像データを読み込んで受信した際のフレームレートに基づいた再生時間で符号化映像データの再生処理を行うものである。

図６に示すように、本実施の形態に係る映像処理装置２０は、ネットワーク１を介して符号化映像データを受信する映像データ受信部１０１と、受信した可変フレームレートの符号化映像データのフレームレートを固定フレームレート形式の符号化映像データへ変換するフレームレート変換部１０２と、固定フレームレート形式に変換された符号化映像データを記憶装置１０３ｂに書き込む映像データ書込部１０３ａからなる記憶部１０３と、記憶装置１０３ｂに記憶された固定フレームレート形式の符号化映像データを読み込んで、この符号化映像データを受信した際のフレームレートに基づいた再生時間で出力する映像データ読込部２０５と、符号化映像データを復号化して映像データを出力する映像データ復号部１０４とから構成されている。
映像データ読込部２０５は、記憶装置１０３ｂに所定のファイル形式で記憶されているフレームレートの変換がなされた固定フレームレート形式の符号化映像データを読み出して一時的に図示しない記憶領域に記憶し、この符号化映像データを解析して受信した際のフレームレートに基づいた再生時間で符号化映像データを映像データ復号部１０４へ出力する。

また、本実施の形態に係る映像処理装置２０の映像データ受信部１０１、フレームレート変換部１０２、記憶部１０３、映像データ書込部１０３ａ、記憶装置１０３ｂ、映像データ復号部１０４は、第１の実施の形態において説明した映像処理装置１０の映像データ受信部１０１、フレームレート変換部１０２、記憶部１０３、映像データ書込部１０３ａ、記憶装置１０３ｂ、映像データ復号部１０４と同一の構成および機能を有するため、ここでは同一の符号を用い、その説明は省略する。
なお、これらの構成要素は、ＣＰＵ（中央演算装置）やメモリ、インターフェースを備えた映像処理装置２０に搭載されたコンピュータ（不図示）に、コンピュータプログラムをインストールすることにより、このコンピュータのハードウェア資源とソフトウェアとが協働して実現されるものである。

次に、映像データ読込部２０５の動作を中心に説明しながら、本実施の形態に係る映像処理装置２０における符号化映像データの再生処理動作について説明する。
図７は、映像処理装置２０の映像データ読込部２０５における映像データ再生動作を示すフローチャートである。図７に示すように、映像データ読込部２０５は、記憶装置１０３ｂに保存されている固定フレームレート形式に変換された符号化映像データから、再生する映像データを所定の処理によって検索する（Ｓ２０１）。

ここで、映像データの検索処理について説明する。図８は、映像データ読込部２０５における映像データの検索動作を示すフローチャートである。図８に示すように、映像データ読込部２０５は次に出力する映像データのトラック情報を取得すると（Ｓ３０１）、この映像データのタイムスタンプを導出する（Ｓ３０２）。
この映像データは、固定フレームレート形式の符号化映像データに変換されており、タイムテーブルの要素は単純な構造となっている。ここで、映像テーブルとタイムテーブルの構造は、図４に示すような構造となっており、所望のタイムスタンプはタイムテーブルの要素と、そのタイムスタンプが関連付けられている映像データとから導出することができる。
このように、映像データ読込部２０５はこの映像データにおける映像テーブル情報とタイムテーブルとから該当するタイムスタンプを導出する。

次に、映像データ読込部２０５は、導出されたタイムスタンプとこの映像データの出力時間とが一致しているのか否かを判定する（Ｓ３０３）。
ここで、出力時間とは、固定フレームレート形式に変換された符号化映像データにおけるタイムスタンプの最小値であり、換言すると、記憶装置１０３ｂに保存されている固定フレームレート形式に変換された符号化映像データのフレームレートに基づいたタイムスタンプである。
したがって、出力時間と映像データのタイムスタンプとが一致している場合とは、この映像データは固定フレームレート形式に変換された符号化映像データの一つの要素であり、一方、一致していない場合とは、固定フレームレート形式に変換された符号化映像データの一つの要素ではない。

導出したタイムスタンプと取得した映像データの出力時間が一致していない場合（Ｓ３０３で「No」）、映像データ読込部２０５はこの映像データに関してデータ無しと判断し、検索結果を「データ無」として設定して映像データ検索処理を終了する（Ｓ３０４）。
導出したタイムスタンプと取得した映像データの出力時間が一致していた場合（Ｓ３０３で「Yes」）、映像データ読込部２０５は検索結果を「データ有」として設定し映像データの検索処理を終了する（Ｓ３０５）。

映像データの検索処理が終了すると、次に、映像データ読込部２０５は映像データの検索結果に基づいた再生処理を行う（Ｓ２０２）。
映像データの検索結果が「データ無」である場合（Ｓ２０２で「Yes」）、上述した出力時間の更新を待って（Ｓ２０５）、次の再生映像データの検索処理を行う。
映像データの検索結果が「データ有」である場合（Ｓ２０２で「No」）、映像データ読込部２０５は、この映像データがダミーデータであるのか否かを判定し（Ｓ２０３）、ダミーデータであった場合（Ｓ２０３で「Yes」）、上述した出力時間の更新を待って（Ｓ２０５）次の再生映像データの検索処理を行う。
また、この映像データがダミーデータでなかった場合（Ｓ２０３で「No」）、映像データ読込部２０５は映像データ復号部１０４に対してこの映像データを出力し（Ｓ２０４）、上述した出力時間の更新を待って（Ｓ２０５）、次の再生映像データの検索処理を行う。

このように、本来の映像データであるか否かを判定してダミーデータや映像データの要素ではないデータについてはデータの出力をせず、再生すべき符号化映像データを復号化して出力することによって、可変フレームレートの符号化映像データに対応した再生処理や検索処理を行うことができ、したがって、任意のフレームレートに基づいた再生時間に対応した再生処理や検索処理を行うことができる。

ネットワークを介してカメラや音声端末を接続し、映像と音声データを送受信するテレビ会議システムにおいて、受信映像データを録画してこの録画した映像データを再生するといった機能に利用できる。

１…ネットワーク、１０，２０…映像処理装置、１０１…映像データ受信部、１０２…フレームレート変換部、１０３…記憶部、１０３ａ…映像データ書込部、１０３ｂ…記憶装置、１０４…映像データ復号部、２０５…映像データ読込部。

Claims (3)

1. フレームレートに応じた再生時間を有する符号化映像データをネットワークを介して受
   信する受信手段と、
   この受信手段により受信された前記符号化映像データをすでに受信された映像データのフレームレートのうち再生時間を表す時間情報が基準値として保存されているフレームレートの約数となるフレームレートで受信した場合には、前記再生時間を表す時間情報が基準値として保存されているフレームレートのうち最大のフレームレートに基づく再生時間を表す時間情報とともに前記符号化映像データを出力し、再生時間を表す時間情報が基準値として保存されているフレームレートの約数とならないフレームレートで受信したときは、そのフレームレートに基づく再生時間を表す時間情報を前記符号化映像データとともに出力するフレームレート変換手段と、
   このフレームレート変換手段から出力される前記符号化映像データを前記時間情報とと
   もに記録する記録手段と
   を備えることを特徴とする映像処理装置。
2. 請求項１に記載の映像処理装置において、
   前記記録手段によって記録された前記符号化映像データを読み込んで、この符号化映像データを受信した際のフレームレートに基づく再生時間で出力する符号化映像データ読込手段を有することを特徴とする映像処理装置。
3. フレームレートに応じた再生時間を有する符号化映像データをネットワークを介して受
   信する受信ステップと、
   この受信ステップにより受信された前記符号化映像データをすでに受信された映像データのフレームレートのうち再生時間を表す時間情報が基準値として保存されているフレームレートの約数となるフレームレートで受信した場合には、前記再生時間を表す時間情報が基準値として保存されているフレームレートのうち最大のフレームレートに基づく再生時間を表す時間情報とともに前記符号化映像データを出力し、再生時間を表す時間情報が基準値として保存されているフレームレートの約数とならないフレームレートで受信したときは、そのフレームレートに基づく再生時間を表す時間情報を前記符号化映像データとともに出力するフレームレート変換ステップと、
   このフレームレート変換手段から出力される前記符号化映像データを前記時間情報とと
   もに記録する記録ステップと、
   前記記録ステップによって記録された前記符号化映像データを読み込んで、この符号化
   映像データを受信した際のフレームレートに基づく再生時間で出力する符号化映像データ
   読込ステップと
   をコンピュータに実行させることを特徴とする映像処理装置の制御プログラム。

Images