JP5369599B2

JP5369599B2 - 映像符号化装置、映像符号化方法

Info

Publication number: JP5369599B2
Application number: JP2008269359A
Authority: JP
Inventors: 美智子溝口
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2008-10-20
Filing date: 2008-10-20
Publication date: 2013-12-18
Anticipated expiration: 2028-10-20
Also published as: KR101065819B1; JP2010098627A; US20100098161A1; KR20100044090A

Description

本発明は、入力された映像の符号化を行う映像符号化装置、映像符号化方法に関するものである。

コンピュータによる映像（動画像）編集においては、通常、フレーム単位で切り出す編集が行われるため、非圧縮のデータが最も扱い易い。しかしながら、映像は、データ量が多いため、ディスクなどの記憶媒体に保存することを考慮すると圧縮して記録することが一般的である。また、映像を伝送する場合、ネットワーク帯域を考慮し、映像を圧縮して伝送する。

従来、映像編集においては、非圧縮の映像データか、フレーム単位で切り出し可能なフレーム内圧縮の映像データを、取り扱うシステムが多かった。しかし、非圧縮やフレーム内圧縮の映像データがＨＤ（High Definition）映像である場合、データ量や処理量が膨大となる。

従って、高圧縮が可能なＭＰＥＧ（Moving Picture Experts Group）等のフレーム間圧縮を採用し、デコードしつつ編集するシステムや、必要に応じて編集用のプロキシファイルを別途作成し、そのファイルで編集するシステムが出てきている。

映像伝送においては、ＭＰＥＧ等のフレーム間圧縮を使用するシステムがある。その中には、データ伝送後に前述の編集システムで加工するシステムや、データ伝送しつつ、リアルタイムにデコードし、編集システムにデータを受け渡すシステムがある。

なお、従来技術として、圧縮動画像ストリームの任意指定フレームからの高速頭出しを提供する圧縮動画像の復号・表示装置、編集装置がある（例えば、特許文献１参照）。
特開平９−１３９９１５号公報

テレビを始め、取り扱う映像のＨＤ化が進み、映像のデータ量が膨大になってきている。

全てのフレームから切り出し可能で編集が容易であるフレーム内圧縮は、圧縮が十分でなく、編集機器で表示するにもＣＰＵ（Central Processing Unit）負荷が高い。また、圧縮した映像データからプロキシファイルを作成する編集システムがある。ただし、プロキシファイル作成には、ＣＰＵ処理性能および時間を要する。

また、映像伝送においては、ＨＤ映像を圧縮しても数Ｍｂｐｓのスループットが必要である為、一部だけ切り出して送受信できれば、データ送受信に必要な時間も通信帯域も削減できる。しかし、同一の映像に対しても、受信側の用途によって必要な映像の箇所は異なるため、送信側で予め、切り出し対象とすべき映像の箇所を特定することは難しい。また運用上、送信側に設備を置くことが出来ない、あるいは編集者がいない場合が多く、受信側で編集する必要が出てくる。
送りたいというニーズが高い。その場合、送信側で編集する必要がある。

また、送信側が圧縮率（映像品質）を異ならせた複数種類の映像データを伝送するシステムもある。このシステムは、通常、高圧縮の映像データを伝送し、その映像データのフレームを指定して高品質の映像データ（すなわち低圧縮の映像データ）を取り出す。

しかし、フレーム間圧縮を用いて圧縮された映像データには、デコードする際に、前もしくは後のフレームのデータを用いる必要があるフレームと、１のフレーム内のデータのみでデコードできるフレームとがある。映像の切り出しの開始位置として指定できるのは、１のフレーム内のデータのみでデコードできるフレーム（すなわちランダムアクセスポイント）である。高圧縮の映像データと高品質の映像データとにおけるランダムアクセスポイントの出現位置は同期していないため、高圧縮の映像データで指定したフレームと厳密に同じタイミングのフレームを高品質の映像データから取り出すことは出来ない。例えば、映像伝送で使われる多くのリアルタイム映像符号化装置では、５００ｍｓをグループとするピクチャー構造を持つので、複数の圧縮データの切出しポイントが数百ｍｓずれる可能性がある。

本発明は上述した問題点を解決するためになされたものであり、帯域の異なる２つの圧縮データのタイミングを正確に対応付けることができる映像符号化装置、映像符号化方法を提供することを目的とする。

上述した課題を解決するため、本発明の一態様は、入力される映像の符号化を行う映像符号化装置であって、クロックを生成するクロック生成部と、符号化の開始タイミングを指示する指示部と、入力される映像の符号化を行って所定の第１帯域を有する第１圧縮データを生成すると共に、指示部により指示された開始タイミングに第１圧縮データのランダムアクセスポイントを同期させ、クロック生成部により生成されたクロックに基づく時刻情報を第１圧縮データのランダムアクセスポイントへ付与する第１符号化部と、入力される映像の符号化を行って第１帯域より狭い第２帯域を有する第２圧縮データを生成すると共に、指示部により指示された開始タイミングに第２圧縮データのランダムアクセスポイントを同期させ、第１圧縮データのランダムアクセスポイントの時刻情報を取得して、該ランダムアクセスポイントに同期する第２圧縮データのランダムアクセスポイントへ付与する第２符号化部とを有する。

また、本発明の一態様は、入力される映像の符号化をコンピュータにより行う映像符号化方法であって、符号化の開始タイミングを指示し、入力される映像の符号化を行って所定の第１帯域を有する第１圧縮データを生成すると共に、指示された開始タイミングに第１圧縮データのランダムアクセスポイントを同期させ、クロック生成部により生成されたクロックに基づく時刻情報を第１圧縮データのランダムアクセスポイントへ付与し、入力される映像の符号化を行って第１帯域より狭い第２帯域を有する第２圧縮データを生成すると共に、指示された開始タイミングに第２圧縮データのランダムアクセスポイントを同期させ、第１圧縮データのランダムアクセスポイントの時刻情報を取得して、該ランダムアクセスポイントに同期する第２圧縮データのランダムアクセスポイントへ付与する。

また、本発明の構成要素、または構成要素の任意の組合せを、方法、装置、システム、記録媒体、データ構造などに適用したものも本発明に含む。

開示の映像符号化装置、映像符号化方法によれば、帯域の異なる２つの圧縮データのタイミングを正確に対応付けることができる。

以下、本発明の実施の形態について図面を参照しつつ説明する。

本発明に係る映像伝送システムの構成について説明する。

図１は、本発明に係る映像伝送システムの構成の一例を示すブロック図である。この映像伝送システムは、カメラ１１、映像送信部１２（映像符号化装置）、蓄積部１３、映像受信部１４を有する。映像送信部１２と映像受信部１４は、ネットワーク１５を介して接続される。

カメラ１１により生成されるソースである映像ソース及び音声ソースは、映像送信部１２に入力される。映像ソースは、カメラ１１により撮影されたデータであり、音声ソースは、カメラ１１により録音されたデータである。

映像送信部１２は、映像ソース及び音声ソースに対して２種類の圧縮を同時に行う。これにより得られる２種類の圧縮データは、例えばテレビ放送などの映像素材として求められる品質を満たす高ビットレート（広帯域、高品質、低圧縮）の圧縮映像データを有する高品質データ（第１圧縮データ）と、低ビットレート（狭帯域、低品質、高圧縮）の圧縮映像データを有するプロキシデータ（第２圧縮データ）とである。

プロキシデータは、例えば数百ｋｂｐｓ程度の圧縮映像データを有し、リアルタイムにネットワーク１５を介して遠隔地の映像受信部１４に伝送される。また、映像送信部１２は、プロキシデータと高品質データとを同時に蓄積部１３へ保存する。従って、映像送信部１２は、後から映像受信部１４へ伝送することも可能である。蓄積部１３は、ストレージ装置で実現される。

映像受信部１４は、ＰＣ（Personal Computer）で実現され、編集プログラムを実行する。また、映像受信部１４は、編集プログラムにより、受信データの保存、受信データのデコード及びデコードされた映像及び音声の表示、表示された映像中のフレームの指定、等を行う。

プロキシデータを受信した映像受信部１４は、受信したプロキシデータをデコードして表示する。ユーザは、映像受信部１４により表示されたプロキシデータを閲覧し、プロキシデータ中のフレームを指定して高品質データの開始フレームとする。開始フレームが指定されると、映像受信部１４は、開始フレーム以降の高品質データの要求（指定情報）を、映像送信部１２へ送信する。要求を受信した映像送信部１２は、開始フレーム以降の高品質データを映像受信部１４へ送信する。高品質データを受信した映像受信部１４は、受信した高品質データをデコードして表示する。

また、ユーザは、映像受信部１４に表示されるプロキシデータ中の２つのフレームを指定して開始フレームと終了フレームとしても良い。その場合、映像受信部１４は、開始フレームから終了フレームまでの高品質データの要求を、映像送信部１２へ送信する。要求を受信した映像送信部１２は、開始フレームから終了フレームまでの高品質データを映像受信部１４へ送信する。

また、ユーザは、映像受信部１４に表示されるプロキシデータ中の１つのフレームを指定して開始フレームとし、更に時間長を指定しても良い。その場合、映像受信部１４は、開始フレームから時間長分の高品質データの要求を、映像送信部１２へ送信する。要求を受信した映像送信部１２は、開始フレームから時間長分の高品質データを映像受信部１４へ送信する。

ここで、圧縮映像データは、ＭＰＥＧ等のフレーム間符号化方式により圧縮されたデータである。圧縮映像データのピクチャー構造は、ＧＯＰ（Group Of Pictures）を単位として、各ＧＯＰにＩ（Intra-coded：フレーム内符号化）フレームを有し、更に、Ｐ（Predicted）フレーム、Ｂ（Bi-directional Predicted）フレームを含むことができる。

また、ユーザにより開始フレームまたは終了フレームとして指定されることが可能なポイントであるランダムアクセスポイント（ＲＡＰ：Random Access Point）は、Ｉフレームである。開始フレームだけが指定された場合、映像送信部１２は、開始フレームのＧＯＰ以降の高品質データを映像受信部１４へ送信する。開始フレームと終了フレームが指定された場合、映像送信部１２は、開始フレームのＧＯＰから終了フレームの直前のＧＯＰまでの高品質データを映像受信部１４へ送信する。

高品質データは、例えば数Ｍｂｐｓ程度であり、指定されたフレーム以降が映像送信部１２から映像受信部１４へダウンロードされる。このように、高品質データの必要な部分のみが伝送されることにより、ネットワーク１５を効率的に利用することができる。

図２は、本発明に係る映像送信部１２の構成の一例を示すブロック図である。映像送信部１２は、エンコーダ２１ａ（第２符号化部），２１ｂ（第１符号化部）、ＣＰＵ２３（指示部）、フレームメモリ２４、オーディオメモリ２５、ネットワークＩ／Ｆ（Interface）２６（送信部及び受信部）、共有メモリ２７（記憶部）、動作クロック発生部２８（クロック生成部）を有する。

ＣＰＵ２３は、エンコーダ２１ａ，２１ｂの制御を行う。フレームメモリ２４は、フレームを単位とするリングバッファのような構成であり、複数のフレームの映像ソースを格納する。オーディオメモリ２５は、音声ソースを格納する。ネットワークＩ／Ｆ２６は、蓄積部１３に蓄積された圧縮データの送信や、圧縮データの要求の受信を、ネットワーク１５を介して行う。共有メモリ２７は、タイムスタンプに関する情報を格納する。この情報は、エンコーダ２１ｂにより書き込まれ、エンコーダ２１ａにより読み出される。

エンコーダ２１ａ，２１ｂは、それぞれＤＳＰ（Digital Signal Processor）で実現され、それぞれＣＰＵ２３に従って独立に動作し、ソースを圧縮してそれぞれ異なる圧縮率（帯域）を有する圧縮データを生成する。

エンコーダ２１ａは、ビデオ符号化部３１ａ、オーディオ符号化部３２ａ、多重化部３３ａを有する。ビデオ符号化部３１ａは、フレームメモリ２４に格納された映像ソースを圧縮して圧縮映像データを生成する。オーディオ符号化部３２ａは、オーディオメモリ２５に格納された音声ソースを圧縮して圧縮音声データを生成する。多重化部３３ａは、圧縮映像データと圧縮音声データとの多重化を行って圧縮データを生成する。

エンコーダ２１ｂは、ビデオ符号化部３１ｂ、オーディオ符号化部３２ｂ、多重化部３３ｂを有する。ビデオ符号化部３１ｂ、オーディオ符号化部３２ｂ、多重化部３３ｂはそれぞれ、上述のビデオ符号化部３１ａ、オーディオ符号化部３２ａ、多重化部３３ａと同様のハードウェアである。但し、エンコーダ２１ａ，２１ｂは、ＣＰＵ２３により与えられる設定値が異なる。

動作クロック発生部２８は、エンコーダ２１ａ，２１ｂのビデオ符号化部３１、オーディオ符号化部３２、多重化部３３へ動作クロックを供給する。

映像送信部１２の動作について以下に説明する。

図３は、本発明に係る映像送信部１２における各部の動作の一例を示すシーケンス図である。このシーケンス図は、上から下へ時間の流れを示し、左から順に、ＣＰＵ２３、エンコーダ２１ｂ、エンコーダ２１ａの動作を示す。

まず、ＣＰＵ２３は、エンコーダ２１ｂに圧縮パラメータｂを設定し（Ｓ１１）、エンコーダ２１ａに圧縮パラメータａを設定する（Ｓ１２）。圧縮パラメータａは、フレームレートＦａ、ＧＯＰフレーム数Ｇａを有する。同様に、圧縮パラメータｂは、フレームレートＦｂ、ＧＯＰフレーム数Ｇｂを有する。

パラメータｂは、高品質データを生成するためのパラメータであり、パラメータａは、プロキシデータを生成するためのパラメータである。また、パラメータｂのフレームレートは、パラメータａのフレームレートの整数倍である。また、パラメータｂのＧＯＰフレーム数は、パラメータａのＧＯＰフレーム数の整数倍である。

次に、ＣＰＵ２３は、エンコーダ２１ａ，２１ｂに符号化開始の指示を行い（Ｓ１３）、スリープする（Ｓ１４）。

符号化開始の指示を受けたビデオ符号化部３１ｂは、カメラ１１からの映像ソースにおけるフレーム毎の同期信号のタイミングと、動作クロック発生部２８からの動作クロックとに基づいて、映像ソースの符号化を行って圧縮映像データを生成する（Ｓ２１ｂ）。ここで、ビデオ符号化部３１ｂは、同期信号のタイミングで、フレームメモリ２４からフレームを取り込む。また、ビデオ符号化部３１ｂは、動作クロックのカウント値に基づくＰＴＳ（Presentation Time Stamp）またはタイムコードを圧縮映像データに付加する。

同時に、オーディオ符号化部３２ｂは、動作クロック発生部２８からの動作クロックに従って、音声ソースの符号化を行って圧縮音声データを生成する。

同時に、符号化開始の指示を受けたビデオ符号化部３１ａは、カメラ１１からの映像ソースにおけるフレーム毎の同期信号のタイミングと、動作クロック発生部２８からの動作クロックとに基づいて、映像ソースの符号化を行って圧縮映像データを生成する（Ｓ２１ａ）。

同時に、オーディオ符号化部３２ａは、動作クロック発生部２８からの動作クロックに従って、音声ソースの符号化を行って圧縮音声データを生成する。

ここで、ビデオ符号化部３１ａ，３１ｂは、符号化開始の指示を受けると、必ずＩフレームから符号化を開始する。

次に、多重化部３３ｂは、圧縮データに付加されたＰＴＳ及びＩフレームであるか否かを示すＩフレームフラグを共有メモリ２７へ書き込む（Ｓ２３）。次に、多重化部３３ｂは、ビデオ符号化部３１ｂにより生成された圧縮映像データとオーディオ符号化部３２ｂにより生成された圧縮音声データとの多重化（システム多重）を行って圧縮データである高品質データを生成する（Ｓ２４）。次に、多重化部３３ｂは、生成された高品質データを蓄積部１３へ蓄積する（Ｓ２５）。

次に、多重化部３３ａは、ビデオ符号化部３１ａにより生成された圧縮映像データとオーディオ符号化部３２ａにより生成された圧縮音声データとの多重化（システム多重）を行って圧縮データであるプロキシデータを生成する（Ｓ２６）。次に、多重化部３３ａは、共有メモリ２７に格納されたＰＴＳ及びＩフレームフラグを読み出し、プロキシデータのＰＴＳを、共有メモリ２７から読み出されたＰＴＳに書き換える（Ｓ２７）。ここで、多重化部３３ａは、読み出されたＩフレームフラグとプロキシデータのＩフレームフラグとに基づいて、読み出されたフレームに同期するプロキシデータのフレームを特定し、ＰＴＳを書き換える。次に、ネットワークＩ／Ｆ２６は、多重化部３３ａにより書き換えられたプロキシデータを映像受信部１４へ送信する（Ｓ２８）。

高品質データとプロキシデータに互いに異なるＰＴＳが付加されたとしても、多重化部３３ａがＰＴＳを書き換えることにより、高品質データとプロキシデータの対応するフレーム同士のＰＴＳを同一にすることができる。

次に、ビデオ符号化部３１ｂは、符号化終了の指示を受けたか否かの判定を行う（Ｓ３１ｂ）。符号化終了の指示を受けていない場合（Ｓ３１ｂ，Ｎ）、このフローは処理Ｓ２１ｂへ戻る。符号化終了の指示を受けた場合（Ｓ３１ｂ，Ｙ）、このフローは終了する。

同様に、ビデオ符号化部３１ａは、符号化終了の指示を受けたか否かの判定を行う（Ｓ３１ａ）。符号化終了の指示を受けていない場合（Ｓ３１ａ，Ｎ）、このフローは処理Ｓ２１ａへ戻る。符号化終了の指示を受けた場合（Ｓ３１ａ，Ｙ）、このフローは終了する。

なお、ビデオ符号化部３１ａが共有メモリ２７に格納されたＰＴＳ及びＩフレームフラグを読み出し、共有メモリ２７から読み出されたＰＴＳを同期するそれに同期するプロキシデータのＰＴＳとして付与しても良い。

ピクチャー構造について以下に説明する。

図４は、本発明を適用しない映像伝送システムにおけるピクチャー構造の一例を示すタイムチャートである。この図において、上段は、高品質データのＰＴＳ及びピクチャー構造を示し、下段は、プロキシデータのＰＴＳ及びピクチャー構造を示す。また、この図の横軸は、時間を表す。ピクチャー構造において、各フレームに記されたアルファベットは、ＩフレームまたはＰフレームの種別を示す。ここでは、高品質データのＧＯＰフレーム数を４フレーム、高品質データのフレームレートを８ｆｐｓ、プロキシデータのＧＯＰフレーム数を１フレーム、プロキシデータのフレームレートを２ｆｐｓとする。つまり、高品質データのＧＯＰ時間長とプロキシデータのＧＯＰ時間長とは、等しく、５００ｍｓｅｃである。

本発明を適用しない映像伝送システムにおいて、プロキシデータのＩフレームとそれにより指定される高品質データのＩフレームとが撮影された時刻は、異なる場合がある。

図５は、本発明の映像伝送システムにおけるピクチャー構造の第１の例を示すタイムチャートである。この図において、上段は、高品質データのＰＴＳ及びピクチャー構造を示し、下段は、プロキシデータのＰＴＳ及びピクチャー構造を示す。また、この図の横軸は、時間を表す。ピクチャー構造において、各フレームに記されたアルファベットは、ＩフレームまたはＰフレームの種別を示す。ここでは、高品質データのＧＯＰフレーム数を４フレーム、高品質データのフレームレートを８ｆｐｓ、プロキシデータのＧＯＰフレーム数を１フレーム、プロキシデータのフレームレートを２ｆｐｓとする。つまり、高品質データのＧＯＰ時間長とプロキシデータのＧＯＰ時間長とは、等しく、５００ｍｓｅｃである。

ピクチャー構造の第１の例において、プロキシデータのＩフレームとそれにより指定される高品質データのＩフレームとが撮影された時刻は等しく、プロキシデータと高品質データは同期している。

図６は、本発明の映像伝送システムにおけるピクチャー構造の第２の例を示すタイムチャートである。この図において、上段は、高品質データのＰＴＳ及びピクチャー構造を示し、下段は、プロキシデータのＰＴＳ及びピクチャー構造を示す。また、この図の横軸は、時間を表す。ピクチャー構造において、各フレームに記されたアルファベットは、ＩフレームまたはＰフレームの種別を示す。ここでは、高品質データのＧＯＰフレーム数を４フレーム、高品質データのフレームレートを８ｆｐｓ、プロキシデータのＧＯＰフレーム数を２フレーム、プロキシデータのフレームレートを４ｆｐｓとする。つまり、高品質データのＧＯＰ時間長とプロキシデータのＧＯＰ時間長とは、等しく、５００ｍｓｅｃである。

ピクチャー構造の第２の例において、プロキシデータのＩフレームとそれにより指定される高品質データのＩフレームとが撮影された時刻は等しく、プロキシデータと高品質データは同期している。

図７は、本発明の映像伝送システムにおけるピクチャー構造の第３の例を示すタイムチャートである。この図において、上段は、高品質データのＰＴＳ及びピクチャー構造を示し、下段は、プロキシデータのＰＴＳ及びピクチャー構造を示す。また、この図の横軸は、時間を表す。ピクチャー構造において、各フレームに記されたアルファベットは、ＩフレームまたはＰフレームまたはＢフレームの種別を示す。ここでは、高品質データのＧＯＰフレーム数を１５フレーム、高品質データのフレームレートを３０ｆｐｓ、プロキシデータのＧＯＰフレーム数を５フレーム、プロキシデータのフレームレートを１０ｆｐｓとする。つまり、高品質データのＧＯＰ時間長とプロキシデータのＧＯＰ時間長とは、等しく、５００ｍｓｅｃである。

ピクチャー構造の第３の例において、プロキシデータのピクチャー構造は、ＩフレームのほかにＰフレームを含む。エンコーダ２１ａがプロキシデータにＰフレームやＢフレームを含めることにより、プロキシデータは、容量を抑えつつ、フレームレートが高く、滑らかに表示されるものとなる。このようにプロキシデータのフレームレートを高くすることにより、プロキシデータを視聴用としても利用することができる。

ピクチャー構造の第３の例において、プロキシデータのＩフレームとそれにより指定される高品質データのＩフレームとが撮影された時刻は等しく、プロキシデータと高品質データは同期している。

本実施の形態によれば、カメラ１１（撮影地点）や映像送信部１２（送信地点）から離れた映像受信部１４（受信地点）において、プロキシデータを用いて高品質データの開始フレームを正確に指定することができる。

本実施の形態によれば、映像の切り出しの為のプロキシデータをリアルタイムに作成することで、高品質データの伝送または編集を効率的に行うことができる。すなわち、映像圧縮時に高品質データとプロキシデータにおけるＰＴＳとランダムアクセスポイント（ＲＡＰ）を同期させておくことにより、巨大な高品質データをサーチすることや、ＲＡＰを示す参照テーブルを作成することを必要とせずに、編集を行うことが可能となる。また、映像伝送においても同期したプロキシデータを使うことにより、必要な部分だけの高品質データを正確に伝送することが可能となる。その際に、正確なフレームを指定することが出来、遠隔地からの映像編集も可能であり、映像の送出システムにも応用する事が考えられる。

本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。更に、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、全て本発明の範囲内のものである。

以上の実施の形態に関し、更に以下の付記を開示する。
（付記１）
入力される映像の符号化を行う映像符号化装置であって、
クロックを生成するクロック生成部と、
前記符号化の開始タイミングを指示する指示部と、
前記入力される映像の符号化を行って所定の第１帯域を有する第１圧縮データを生成すると共に、前記指示部により指示された前記開始タイミングに前記第１圧縮データのランダムアクセスポイントを同期させ、前記クロック生成部により生成されたクロックに基づく時刻情報を前記第１圧縮データのランダムアクセスポイントへ付与する第１符号化部と、
前記入力される映像の符号化を行って前記第１帯域より狭い第２帯域を有する第２圧縮データを生成すると共に、前記指示部により指示された前記開始タイミングに前記第２圧縮データのランダムアクセスポイントを同期させ、前記第１圧縮データのランダムアクセスポイントの前記時刻情報を取得して、該ランダムアクセスポイントに同期する前記第２圧縮データのランダムアクセスポイントへ付与する第２符号化部と、
を備える映像符号化装置。
（付記２）
前記第１符号化部は、前記第１圧縮データにおいて所定の時間間隔のランダムアクセスポイントを生成し、
前記第２符号化部は、前記第２圧縮データにおいて前記所定の時間間隔でランダムアクセスポイントを生成する、
付記１に記載の映像符号化装置。
（付記３）
前記第１圧縮データの前記所定の時間間隔におけるフレーム数は、前記第２圧縮データの前記所定の時間間隔におけるフレーム数の複数倍である、
付記２に記載の映像符号化装置。
（付記４）
更に、前記時刻情報を記憶する記憶部を備え、
前記第１符号化部は、前記第１圧縮データを生成すると共に、前記クロック生成部により生成されたクロックに基づく時刻情報を前記第１圧縮データのランダムアクセスポイントへ付与すると共に前記記憶部へ格納し、
前記第２符号化部は、前記記憶部に格納された前記第１圧縮データのランダムアクセスポイントの前記時刻情報を読み出して該ランダムアクセスポイントに同期する前記第２圧縮データのランダムアクセスポイントへ付与する、
付記１に記載の映像符号化装置。
（付記５）
更に、前記時刻情報を記憶する記憶部を備え、
前記第１符号化部は、前記第１圧縮データを生成すると共に、前記クロック生成部により生成されたクロックに基づく時刻情報を前記第１圧縮映像データのランダムアクセスポイントへ付与すると共に前記記憶部へ格納し、
前記第２符号化部は、前記第２圧縮データを生成すると共に、前記クロック生成部により生成されたクロックに基づく時刻情報を前記第２圧縮映像データのランダムアクセスポイントへ付与し、前記記憶部に格納された前記第１圧縮データのランダムアクセスポイントの前記時刻情報を読み出し、該ランダムアクセスポイントに同期する前記第２圧縮データのランダムアクセスポイントの時刻情報を前記記憶部から読み出された時刻情報に書き換える、
付記１に記載の映像符号化装置。
（付記６）
更に、
前記第２符号化部により生成された前記第２圧縮データを外部の復号化装置へ送信する送信部と、
前記第１符号化部により生成された前記第１圧縮データを蓄積する蓄積部と
を備える、
付記５に記載の映像符号化装置。
（付記７）
更に、
前記復号化装置から少なくとも１つのランダムアクセスポイントを指定する情報である指定情報を受信する受信部を備え、
開始点のランダムアクセスポイントを指定する前記指定情報を前記受信部が受信した場合、前記送信部は、前記指定情報により指定された前記開始点以降の前記第１圧縮データを送信する、
付記６に記載の映像符号化装置。
（付記８）
開始点のランダムアクセスポイント及び終了点のランダムアクセスポイントを指定する前記指定情報を前記受信部が受信した場合、前記送信部は、前記指定情報により指定された前記開始点から前記終了点までの前記第１圧縮データを送信する、
付記６に記載の映像符号化装置。
（付記９）
前記第１符号化部は、所定のフレーム間符号化方式により前記第１圧縮データを生成し、
前記第２符号化部は、前記所定のフレーム間符号化方式により前記第２圧縮データを生成する、
付記１に記載の映像符号化装置。
（付記１０）
前記第１圧縮データのＧＯＰの時間長と前記第２圧縮データのＧＯＰの時間長とは、等しい、
付記９に記載の映像符号化装置。
（付記１１）
前記第１圧縮データのＧＯＰは、フレーム内符号化されたフレームとフレーム間符号化されたフレームを有し、
前記第２圧縮データのＧＯＰは、フレーム内符号化されたフレームだけを有する、
付記９に記載の映像符号化装置。
（付記１２）
入力される映像の符号化をコンピュータにより行う映像符号化方法であって、
前記符号化の開始タイミングを指示し、
前記入力される映像の符号化を行って所定の第１帯域を有する第１圧縮データを生成すると共に、指示された前記開始タイミングに前記第１圧縮データのランダムアクセスポイントを同期させ、クロック生成部により生成されたクロックに基づく時刻情報を前記第１圧縮データのランダムアクセスポイントへ付与し、
前記入力される映像の符号化を行って前記第１帯域より狭い第２帯域を有する第２圧縮データを生成すると共に、指示された前記開始タイミングに前記第２圧縮データのランダムアクセスポイントを同期させ、前記第１圧縮データのランダムアクセスポイントの前記時刻情報を取得して、該ランダムアクセスポイントに同期する前記第２圧縮データのランダムアクセスポイントへ付与する、
映像符号化方法。
（付記１３）
前記第１圧縮データにおいて所定の時間間隔のランダムアクセスポイントを生成し、
前記第２圧縮データにおいて前記所定の時間間隔でランダムアクセスポイントを生成する、
付記１２に記載の映像符号化方法。
（付記１４）
前記第１圧縮データの前記所定の時間間隔におけるフレーム数は、前記第２圧縮データの前記所定の時間間隔におけるフレーム数の複数倍である、
付記１３に記載の映像符号化方法。
（付記１５）
前記第１圧縮データを生成すると共に、前記クロック生成部により生成されたクロックに基づく時刻情報を前記第１圧縮データのランダムアクセスポイントへ付与すると共に記憶部へ格納し、
前記記憶部に格納された前記第１圧縮データのランダムアクセスポイントの前記時刻情報を読み出して該ランダムアクセスポイントに同期する前記第２圧縮データのランダムアクセスポイントへ付与する、
付記１２に記載の映像符号化方法。
（付記１６）
前記第１圧縮データを生成すると共に、前記クロック生成部により生成されたクロックに基づく時刻情報を前記第１圧縮映像データのランダムアクセスポイントへ付与すると共に記憶部へ格納し、
前記第２圧縮データを生成すると共に、前記クロック生成部により生成されたクロックに基づく時刻情報を前記第２圧縮映像データのランダムアクセスポイントへ付与し、前記記憶部に格納された前記第１圧縮データのランダムアクセスポイントの前記時刻情報を読み出し、該ランダムアクセスポイントに同期する前記第２圧縮データのランダムアクセスポイントの時刻情報を前記記憶部から読み出された時刻情報に書き換える、
付記１２に記載の映像符号化方法。
（付記１７）
更に、
前記第２符号化部により生成された前記第２圧縮データを外部の復号化装置へ送信し、
前記第１符号化部により生成された前記第１圧縮データを蓄積する、
付記１６に記載の映像符号化方法。
（付記１８）
更に、
前記復号化装置から少なくとも１つのランダムアクセスポイントを指定する情報である指定情報を受信し、
開始点のランダムアクセスポイントを指定する前記指定情報を受信した場合、前記指定情報により指定された前記開始点以降の前記第１圧縮データを送信する、
付記１７に記載の映像符号化方法。
（付記１９）
開始点のランダムアクセスポイント及び終了点のランダムアクセスポイントを指定する前記指定情報を受信した場合、前記指定情報により指定された前記開始点から前記終了点までの前記第１圧縮データを送信する、
付記１８に記載の映像符号化方法。
（付記２０）
所定のフレーム間符号化方式により前記第１圧縮データを生成し、
前記所定のフレーム間符号化方式により前記第２圧縮データを生成する、
付記１２に記載の映像符号化方法。

本発明に係る映像伝送システムの構成の一例を示すブロック図である。本発明に係る映像送信部１２の構成の一例を示すブロック図である。本発明に係る映像送信部１２における各部の動作の一例を示すシーケンス図である。本発明を適用しない映像伝送システムにおけるピクチャー構造の一例を示すタイムチャートである。本発明の映像伝送システムにおけるピクチャー構造の第１の例を示すタイムチャートである。本発明の映像伝送システムにおけるピクチャー構造の第２の例を示すタイムチャートである。本発明の映像伝送システムにおけるピクチャー構造の第３の例を示すタイムチャートである。

符号の説明

１１カメラ、１２映像送信部、１３蓄積部、１４映像受信部、２１ａ，２１ｂエンコーダ、２３ＣＰＵ、２４フレームメモリ、２５オーディオメモリ、２６ネットワークＩ／Ｆ、２７共有メモリ、２８動作クロック発生部

Claims

入力される映像の符号化を行う映像符号化装置であって、
クロックを生成するクロック生成部と、
前記符号化の開始タイミングを指示する指示部と、
前記入力される映像の符号化を行って所定の第１帯域を有する第１圧縮データを生成して蓄積すると共に、前記指示部により指示された前記開始タイミングに前記第１圧縮データのランダムアクセスポイントを同期させ、前記クロック生成部により生成されたクロックに基づく時刻情報を前記第１圧縮データのランダムアクセスポイントへ付与して記憶部へ格納する第１符号化部と、
前記入力される映像の符号化を行って前記第１帯域より狭い第２帯域を有する第２圧縮データを生成すると共に、前記指示部により指示された前記開始タイミングに前記第２圧縮データのランダムアクセスポイントを同期させ、前記第１圧縮データのランダムアクセスポイントの前記時刻情報を前記記憶部から取得して、該ランダムアクセスポイントに同期する前記第２圧縮データのランダムアクセスポイントへ付与する第２符号化部と、
前記第２符号化部により生成された前記第２圧縮データを外部の復号化装置へ送信する送信部と、
前記復号化装置から開始点のランダムアクセスポイント及び終了点のランダムアクセスポイントを指定する指定情報を受信する受信部とを備え、
前記送信部は、前記指定情報を前記受信部が受信した場合、前記指定情報により指定された前記開始点から前記終了点までの前記第１圧縮データを前記復号化装置へ送信する、映像符号化装置。
前記第１符号化部は、前記第１圧縮データにおいて所定の時間間隔のランダムアクセスポイントを生成し、
前記第２符号化部は、前記第２圧縮データにおいて前記所定の時間間隔でランダムアクセスポイントを生成する、
請求項１に記載の映像符号化装置。
前記第１圧縮データの前記所定の時間間隔におけるフレーム数は、前記第２圧縮データの前記所定の時間間隔におけるフレーム数の複数倍である、
請求項２に記載の映像符号化装置。
入力される映像の符号化をコンピュータにより行う映像符号化方法であって、
前記符号化の開始タイミングを指示し、
前記入力される映像の符号化を行って所定の第１帯域を有する第１圧縮データを生成して蓄積すると共に、指示された前記開始タイミングに前記第１圧縮データのランダムアクセスポイントを同期させ、クロック生成部により生成されたクロックに基づく時刻情報を前記第１圧縮データのランダムアクセスポイントへ付与して記憶部へ格納し、
前記入力される映像の符号化を行って前記第１帯域より狭い第２帯域を有する第２圧縮データを生成すると共に、指示された前記開始タイミングに前記第２圧縮データのランダムアクセスポイントを同期させ、前記記憶部から前記第１圧縮データのランダムアクセスポイントの前記時刻情報を取得して、該ランダムアクセスポイントに同期する前記第２圧縮データのランダムアクセスポイントへ付与し、
前記第２圧縮データを外部の復号化装置へ送信し、
前記復号化装置から開始点のランダムアクセスポイント及び終了点のランダムアクセスポイントを指定する指定情報を受信し、
受信した前記指定情報により指定された前記開始点から前記終了点までの前記第１圧縮データを前記復号化装置へ送信する、
映像符号化方法。