JP6198514B2

JP6198514B2 - 符号化装置及びその制御方法

Info

Publication number: JP6198514B2
Application number: JP2013164395A
Authority: JP
Inventors: 浩二磨田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-08-07
Filing date: 2013-08-07
Publication date: 2017-09-20
Anticipated expiration: 2033-08-07
Also published as: JP2015035656A

Description

本発明は、特に、マルチチップ構成に用いて好適な符号化装置及びその制御方法に関する。

近年、記憶媒体にディスク媒体やハードディスク、メモリを用いてハイビジョン記録を行うビデオカメラが製品化されている。これらのビデオカメラは、小型で持ち運びも容易であり、かつ高画質の映像を記録できるため、今後ますます普及していくと思われる。このような機器では、ハイビジョン記録を行うため、記録時にはＭＰＥＧ４ｐａｒｔ−１０：ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０、別名Ｈ．２６４）のような圧縮符号化されたビデオストリームで記録媒体に映像を保存する。

今後は、高解像度のスーパーハイビジョンの記録や、解像度を落とさずに高速フレームレートで記録を行うビデオカメラが登場することが予想される。これらの記録を実現するためには、圧縮符号化の処理能力を向上させることが不可欠である。処理能力を向上させる手法の１つに、マルチチップ構成があり、このマルチチップ構成は、圧縮符号化を行うチップを複数備えるものである。例えばハイビジョン６０フレーム／秒の記録が可能な圧縮符号化チップを４チップ備えるビデオカメラは、ハイビジョンの４倍の解像度である４Ｋの６０フレーム／秒の記録を行うことができる。さらに、ハイビジョンの２４０フレーム／秒という高速フレームレートで記録を行うこともできる。

このように従来の符号化装置は、入力映像の圧縮符号化を行うチップを複数備えている。特許文献１には、各チップが生成された映像ストリームを、多重化部を備えるチップに転送し、多重化部は、各チップから転送された映像ストリームをコンテナにパッキングする符号化装置が開示されている。

特開平９−１３０８０１号公報

前述した従来技術の構成では、映像の圧縮符号化処理は、各チップによって符号化の分散処理を達成できるが、多重化部に入力される映像ストリームのデータ量は、各チップが生成した映像ストリームの合計である。このため、多重化部がコンテナを形成する際に発生する、映像ストリームを読み出すデータ量、およびパックデータを書き込むデータ量がシングルチップと比較して膨大となり、多重化部のメモリバスの帯域を大量に消費してしまうという問題がある。

本発明は前述の問題点に鑑み、マルチチップ構成で映像ストリームを多重化する際に、メモリバスの帯域の消費を軽減できるようにすることを目的としている。

本発明に係る符号化装置は、各々が集積回路を有する複数のチップを備え、入力された映像データを分割して前記複数のチップに振り分け、前記複数のチップでそれぞれ映像データの符号化およびパック処理を行うとともに、前記複数のチップでそれぞれ生成されたパックデータの音声パケットに対して音声ストリームを挿入する符号化装置であって、前記複数のチップはそれぞれ、前記振り分けられた映像データを圧縮符号化して映像ストリームを生成する符号化手段と、前記符号化手段によって符号化された映像ストリームを所定のフォーマットに多重化して映像パケットと音声パケットとを含むパックデータを生成するパック手段と、他のチップにおいて前記符号化手段による符号化処理で生成された映像ストリームの発生符号量とデコード時刻を含む情報を前記他のチップから受信する受信手段と、前記他のチップで生成された他のパックデータを前記他のチップから受け取る受取手段とを備え、前記パック手段は、前記受信手段により前記他のチップから受信された情報を用いて、前記映像ストリームと時刻が連続するように、前記他のチップでパックデータを生成する処理をエミュレートして他のパックデータを仮想的に生成し、前記仮想的な他のパックデータと時刻が連続するように、新たな映像ストリームから新たなパックデータを生成することを特徴とする。

本発明によれば、マルチチップ構成で映像ストリームを多重化する際に、メモリバスの帯域の消費を分散し、帯域を有効活用することができる。

本発明の第１の実施形態に係る符号化装置の構成例を示すブロック図である。第１の実施形態において生成されるパックデータの詳細な構成例を示す図である。第１の実施形態において、複数のチップを用いてパック処理を行った場合のパックデータの一例を示す図である。第１の実施形態におけるパック部による処理手順の一例を示すフローチャートである。本発明の第２の実施形態に係る符号化装置の構成例を示すブロック図である。第２の実施形態において生成されるパックデータの詳細な構成例を示す図である。第２の実施形態において、複数のチップを用いてパック処理を行った場合のパックデータの一例を示す図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る符号化装置１０の構成例を示すブロック図である。
図１において、本実施形態に係る符号化装置１０は、動画像データの符号化処理を行う符号化部を複数備えている。当該複数の符号化部は、各々が集積回路を有する複数のチップ（ＬＳＩチップ等）の形態で存在する。これらの複数のチップは、入力された映像データ及び音声データを圧縮符号化して映像ストリームを生成した後に、所定のフォーマット（コンテナ形式）にパックし、記録や伝送する制御を行う機能を有する。本実施形態では、複数の例として、２つの符号化チップを備える構成を例に説明するが、３つ以上であっても同様に実現可能である。また、所定のコンテナ形式は、ＭＰＥＧ−２ＴＳ（以下、ＴＳと呼ぶ）形式とする。

＜符号化処理＞
映像入力部１０８は、撮像装置等より映像信号を入力して分割し、それぞれの映像データを第１のチップ１００及び第２のチップ１１０へ出力する。音声入力部１０９は、マイク等より音声データを入力し、第１のチップ１００へ出力する。

第１のチップ１００は、第１の映像符号化部１０１、第１のパック部１０２、第１のメモリ１０３、第１のパック情報通知部１０４、第１のパックデータ送受信部１０５、第１の音声符号化部１０６、及び第１の音声挿入部１０７を備えている。以下、第１のチップ１００の各構成について説明する。

第１の映像符号化部１０１は、映像入力部１０８より入力された映像データを、符号化単位のブロックであるマクロブロックごとにフレーム間の動き予測および動き補償を行う。その後、直交変換及び量子化を行い、さらにエントロピー符号化して映像ストリームを生成する。第１のパック情報通知部１０４は、第１の映像符号化部１０１で生成された映像ストリームの発生符号量と、第１の映像符号化部１０１で生成された映像ストリームのデコード時刻との情報を第２のチップ１１０へ通知する。

第１のパック部１０２は、第１の映像符号化部１０１で生成された映像ストリームと、第２のチップ１１０の第２のパック情報通知部１１４から通知された情報とを入力する。そして、第２のチップ１１０の多重化処理を仮想的にエミュレートしながら、第１の映像符号化部１０１で生成された映像ストリームを所定のコンテナ形式にパックして、第１のメモリ１０３に出力する。パック処理の仮想的実施（エミュレート）処理の詳細については後述する。

ここで、第１のパック部１０２が生成するパックデータについて、図２を参照しながら説明する。図２は、本実施形態におけるパックデータの構成例を示す図である。
図２（ａ）には、第１のパック部１０２が生成するパックデータの一例を示している。パックデータは、図２（ｂ）に示すように映像ストリームを含むVideoパケットと、音声ストリームを含むAudioパケットとから構成される。

また、Videoパケット及びAudioパケットの詳細な構成については、図２（ｃ）に示すようにVideoパケットは、ＴＳヘッダと映像ストリームとから構成されるが、Audioパケットは、ＴＳヘッダとスタッフィングデータとから構成される。Audioパケットは、後述する第１の音声挿入部１０７によりパックデータに音声ストリームとして挿入される。

第１のパックデータ送受信部１０５は、後述する第２のチップ１１０の第２のパックデータ送受信部１１５から送信されたパックデータを受け取り、第１のメモリ１０３へ出力する。第１の音声符号化部１０６は、音声入力部１０９より入力された音声データを所定の形式に符号化し、音声ストリームを第１のメモリ１０３へ出力する。

第１の音声挿入部１０７は、第１のメモリ１０３上のパックデータからAudioパケットを検索し、Audioパケットに対して、第１のパック部１０２で詰められたスタッフィングデータを上書きするように、音声ストリームを挿入する。また、第１のパックデータ送受信部１０５で受け取ったパックデータに対しても、同様の処理を行う。音声ストリームの挿入後、パックデータは記録媒体１２０に記録される。

第２のチップ１１０は、第２の映像符号化部１１１、第２のパック部１１２、第２のメモリ１１３、第２のパック情報通知部１１４、第２のパックデータ送受信部１１５、第２の音声符号化部１１６、及び第２の音声挿入部１１７を備えている。以下、第２のチップ１１０の各構成について説明する。

第２の映像符号化部１１１は、映像入力部１０８より入力された映像データを、符号化単位ブロックであるマクロブロックごとにフレーム間の動き予測および動き補償を行う。その後、直交変換及び量子化を行い、さらにエントロピー符号化して映像ストリームを生成する。第２のパック情報通知部１１４は、第２の映像符号化部１１１で生成された映像ストリームの発生符号量と、第２の映像符号化部１１１で生成された映像ストリームのデコード時刻との情報を第１のチップ１００へ通知する。

第２のパック部１１２は、第２の映像符号化部１１１で生成された映像ストリームと、第１のチップ１００の第１のパック情報通知部１０４から通知された情報とを入力する。そして、第１のチップ１００の多重化処理を仮想的にエミュレートしながら、第２の映像符号化部１１１で生成された映像ストリームを所定のコンテナ形式にパックして、第２のメモリ１１３に出力する。

なお、第２のパック部１１２が生成するパックデータについては、第１のパック部１０２が生成するパックデータと同様である。すなわち、Videoパケットは、ＴＳヘッダと映像ストリームとから構成され、Audioパケットは、ＴＳヘッダとスタッフィングデータとから構成される。第２のパックデータ送受信部１１５は、第２のメモリ１１３に含まれるパックデータを、第１のチップ１００のパックデータ送受信部１０５へ送信する。なお、本実施形態の第２のチップ１１０には、第２の音声符号化部１１６及び第２の音声挿入部１１７が含まれているが、これらの構成は特に処理を行わないものとする。また、これらの構成を第２のチップ１１０に含まないようにしてもよい。

＜他チップのエミュレート処理＞
図３は、１個のパック部でパック処理を行った場合、及び複数のチップを用いてパック処理を行った場合のパックデータの一例を示す図である。以下、図３（ａ）に示す映像ストリームをパック処理する例について説明する。

図３（ｂ）には、第１のパック部１０２で生成したパックデータの一例を示しており、図３（ｃ）には、第２のパック部１１２で生成したパックデータの一例を示している。また、図３（ｄ）には、１つのパック部で全ての映像ストリームを多重化した場合のパックデータの一例を示している。図３（ｅ）には、各パックデータに含まれるVideoパケット及びAudioパケットの一例を示している。

複数のチップを用いてパック処理を行う場合には、図３（ｂ）及び図３（ｃ）に示すように、映像ストリーム（VES＿1-1、VES＿1-3）は第１のチップ１００で生成され、映像ストリーム（VES＿2-2）は第２のチップ１１０で生成される。

一方、１個のパック部で映像ストリーム（VES＿1-1、VES＿2-2、VES＿1-3）を多重化する場合は、まず、映像ストリーム（VES＿1-1）を入力して多重化し、パックデータ（Ref＿PackData1）を生成する。次に映像ストリームVES＿1-2を入力し、パックデータ（Ref＿PackData1）と時刻が連続するようにパックデータ（Ref＿PackData2）を生成する。そして、最後に映像ストリーム（VES＿1-3）を入力し、パックデータ（Ref＿PackData2）と時刻が連続するようにパックデータ（Ref＿PackData3）を生成する。図３（ｅ）に示すように、パックデータ（Ref＿PackData1）は、映像パケットの映像ストリーム（VES＿1-1）と、スタッフィングデータが挿入された音声パケットとから構成される。同様に、パックデータ（Ref＿PackData2）は、映像パケットの映像ストリーム（VES＿2-2）と、スタッフィングデータが挿入された音声パケットとから構成される。

次に、第１のチップ１００及び第２のチップ１１０を用いて、図３（ｄ）に示したパックデータ（Ref＿PackData1、Ref＿PackData2、Ref＿PackData3）と同等のパックデータを生成する方法について説明する。

まず、図３（ｂ）に示すように、第１のパック部１０２は、映像ストリーム（VES＿1-1）を入力して多重化し、パックデータ（PackData1）を生成する。次に、第２のチップ１１０から通知されたパック情報から映像ストリーム（VES＿2-2）の発生符号量の情報を受け取り、仮想的に２番目のパックデータを生成する処理をエミュレートする。そして、最後に、映像ストリーム（VES＿1-3）を入力して、前記エミュレートした２番目のパックデータに接続するようにパックデータ（PackData3）を生成する。

上記エミュレート処理では、映像ストリーム（VES＿2-2）の入力及びパックデータの出力を行わずに、パケットのヘッダ情報に含まれる時刻情報を更新するように、仮想的に多重化処理を行う。これにより、映像ストリーム（VES＿2-2）の多重化処理を実際に行った場合と、時刻情報を同等の状態に決定することができる。１個のパック部で生成した場合のパックデータ（Ref＿PackData1、Ref＿PackData3）と、第１のパック部で生成したパックデータ（PackData1、PackData3）とでは、それぞれ同一となる。

一方、図３（ｃ）に示すように、第２のパック部１１２は、第１のチップ１００から通知されたパック情報から映像ストリーム（VES＿1-1）の発生符号量の情報を受け取る。そして、仮想的に１番目のパックデータを生成する処理をエミュレートする。次に、映像ストリーム（VES＿2-2）を入力して多重化し、パックデータ（PackData2）を生成する。最後に、第１のチップ１００から通知された映像ストリーム（VES＿1-3）の発生符号量の情報を受け取り、パックデータ（PackData2）に接続するように、仮想的に３番目のパックデータを生成する処理をエミュレートする。

第１のパック部１０２と同様に、上記エミュレート処理では、映像ストリーム（VES＿1-1）の入力及びパックデータの出力を行わずに、パケットのヘッダ情報に含まれる時刻情報を更新するように、仮想的に多重化処理を行う。これにより、映像ストリームVES＿1-1の多重化処理を実際に行った場合と、時刻情報を同等の状態に決定することができる。同様に、映像ストリーム（VES＿1-3）の入力及びパックデータの出力を行わずに、パケットのヘッダ情報に含まれる時刻情報を更新するように、仮想的に多重化処理を行う。そして、映像ストリーム（VES＿1-3）の多重化処理を実際に行った場合と、時刻情報を同等の状態にする。１個のパック部で生成した場合のパックデータ（Ref＿PackData2）と、第２のパック部１１２で生成したパックデータ（PackData2）とでは、同一となる。

図４は、本実施形態におけるパック部による処理手順の一例を示すフローチャートである。以下、第１のパック部１０２のパック処理を例に説明する。
まず、Ｓ４０１において、第２のチップ１１０の第２のパック情報通知部１１４よりパック情報を取得する必要があるかどうかを判定する。この判定では、第１のチップ１００で生成された映像ストリームのデコード時刻と、第２のチップ１１０から転送されたパック情報に含まれるデコード時刻とを比較する。この比較の結果、第１のチップ１００で生成された映像ストリームのデコード時刻の方が早い場合は第２のチップ１１０の情報を待つ必要が無いため、Ｓ４０５へ進む。一方、そうでない場合はＳ４０２へ進む。

Ｓ４０２においては、第２のチップ１１０のパック情報が更新されているか否かを判定する。この判定の結果、パック情報が更新されている場合はＳ４０３へ進み、そうでない場合はパック情報の更新待ちとなるため、Ｓ４０１へ戻る。

Ｓ４０３においては、第２のチップ１１０の第２のパック情報通知部１１４よりパック情報を取得する。そして、Ｓ４０４において、パック情報に含まれる発生符号量の情報を用いて、前述のようにパック処理をエミュレートする。一方、Ｓ４０１の判定の結果、第１のチップ１００で生成された映像ストリームのデコード時刻の方が早い場合は、Ｓ４０５において、映像ストリームのパック処理を行う。そして、Ｓ４０６において、記録が終了しているかどうか判定する。この判定の結果、記録が終了している場合は処理を終え、そうでない場合はＳ４０１に戻る。

以上のように本実施形態によれば、マルチチップ構成において、自身のチップで生成された映像ストリームについてはそのままパックデータにし、他チップで生成された映像ストリームについては、パック情報を用いてパック処理をエミュレートするようにした。これにより、１個のパック部で各映像ストリームを順番に多重化してパックデータを生成したものと同等のパックデータを生成することができる。また、多重化処理中の映像ストリームのリード／ライトで消費されるメモリバスの帯域を、各チップで分散させることができる。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。
図５は、本実施形態に係る符号化装置５０の構成例を示すブロック図である。本実施形態は、第１の実施形態の構成と比べて、第１の音声挿入部１０７及び第２の音声挿入部１１７の代わりに、第１の音声転送部５０１及び第２の音声転送部５１１を備えている。なお、その他の構成については図１と同様の構成であるため、説明は省略する。図５において、第１の音声転送部５０１は、第１の音声符号化部１０６で生成された音声ストリームを、第２のチップ１１０へ転送する。なお、本実施形態の第２のチップ１１０には、第２の音声転送部５１１が含まれているが、この構成は特に処理を行わないものとする。また、この構成を第２のチップ１１０に含まないようにしてもよい。

次に、第１のパック部１０２が生成するパックデータについて、図６を参照しながら説明する。図６は、本実施形態におけるパックデータの構成例を示す図である。
図６（ａ）には、第１のパック部１０２が生成するパックデータを示している。パックデータは、図６（ｂ）に示すように、映像ストリームを含むVideoパケットと、音声ストリームを含むAudioパケットとから構成される。

また、Videoパケットの詳細な構成については、図６（ｃ）に示すように第１の実施形態と同様である。このことから、第１のパック部１０２による映像ストリームの処理については第１の実施形態と同様である。一方、音声ストリームの処理については、本実施形態ではスタッフィングデータを挿入するのではなく、図６（ｃ）に示すように、第１のパック部１０２は第１の音声符号化部１０６にて生成された音声ストリームをパックする。また、第２のパック部１１２による映像ストリームの処理についても第１の実施形態と同様である。第２のパック部１１２による音声ストリームの処理は、スタッフィングデータを挿入するのではなく、第１の音声転送部５０１にて転送された音声ストリームをパックする。

＜他チップのエミュレート処理＞
図７は、１個のパック部でパック処理をした場合、及び複数のチップを用いてパック処理を行った場合のパックデータの一例を示す図である。以下、図７（ａ）及び図７（ｂ）に示す音声ストリームと、図７（ｃ）に示す映像ストリームとをパック処理する例について説明する。

図７（ｄ）には、第１のパック部１０２で生成したパックデータの一例を示しており、図７（ｅ）には、第２のパック部１１２で生成したパックデータの一例を示している。また、図７（ｆ）には、１つのパック部で全ての映像ストリームを多重化した場合のパックデータの一例を示している。図７（ｇ）には、各パックデータに含まれるVideoパケット及びAudioパケットの一例を示している。なお、図７（ａ）に示す音声ストリーム（AES-1）は、第１の音声符号化部１０６で生成された音声ストリームである。また、図７（ｂ）に示す音声ストリーム（AES-2）は、第１の音声転送部５０１から第２のチップ１１０へ転送された音声ストリームであり、音声ストリーム（AES-1）と同一のデータである。

複数のチップを用いてパック処理を行う場合には、図７（ｄ）及び図７（ｅ）に示すように、映像ストリーム（VES＿1-1、VES＿1-3）は第１のチップ１００で生成され、映像ストリーム（VES＿2-2）は第２のチップ１１０で生成される。

一方、１個のパック部で、映像ストリーム（VES＿1-1、VES＿2-2、VES＿1-3）と、音声ストリーム（AES-1）とをパックする場合は、以下の手順によりパックデータを生成する。まず、映像ストリーム（VES＿1-1）と音声ストリーム（AES-1）とを入力して多重化し、パックデータ（Ref＿PackData1）を生成する。次に、映像ストリーム（VES＿1-2）と音声ストリーム（AES-1）とを入力し、パックデータ（Ref＿PackData1）と時刻が連続するようにパックデータ（Ref＿PackData2）を生成する。最後に、映像ストリーム（VES＿1-3）と音声ストリーム（AES-1）とを入力し、パックデータ（Ref＿PackData2）と時刻が連続するようにパックデータ（Ref＿PackData3）を生成する。図７（ｇ）に示すように、パックデータ（Ref＿PackData1）は、映像ストリーム（VES＿1-1）と、音声ストリーム（AES-1）とから構成される。同様に、パックデータ（Ref＿PackData2）は、映像ストリーム（VES＿2-2）と、音声ストリーム（AES-1）とから構成される。

次に、次に、第１のチップ１００及び第２のチップ１１０を用いて、図７（ｆ）に示すパックデータ（Ref＿PackData1、Ref＿PackData2、Ref＿PackData3）と同等のパックデータを生成する方法について説明する。

まず、図７（ｄ）に示すように、第１のパック部１０２は、映像ストリーム（VES＿1-1）と音声ストリーム（AES-1）とを入力して多重化し、パックデータ（PackData1）を生成する。次に、第２のチップ１１０から通知されたパック情報から映像ストリーム（VES＿2-2）の発生符号量の情報を受け取り、仮想的に２番目のパックデータを生成する処理をエミュレートする。最後に、映像ストリーム（VES＿1-3）と音声ストリーム（AES-1）とを入力して、前記エミュレートした２番目のパックデータに時間的に接続するようにパックデータ（PackData3）を生成する。

上記エミュレート処理では、映像ストリーム（VES＿2-2）及び音声ストリーム（AES-1）の入力とパックデータの出力とを行わずに、パケットのヘッダ情報に含まれる時刻情報を更新するように、仮想的に多重化処理を行う。これにより、映像ストリーム（VES＿2-2）及び音声ストリーム（AES-1）の多重化処理を実際に行った場合と、時刻情報を同等の状態にすることができる。１個のパック部で生成した場合のパックデータ（Ref＿PackData1、Ref＿PackData3）と、第１のパック部１０２で生成したパックデータ（PackData1、PackData3）とでは、それぞれ同一となる。

一方、図７（ｅ）に示すように、第２のパック部１１２は、第１のチップ１００から通知されたパック情報から映像ストリーム（VES＿1-1）の発生符号量の情報を受け取る。そして、仮想的に１番目のパックデータを生成する処理をエミュレートする。次に、映像ストリーム（VES＿2-2）と音声ストリーム（AES-2）とを入力して多重化し、時間的に接続するようにパックデータ（PackData2）を生成する。最後に、第１のチップ１００から通知された映像ストリーム（VES＿1-3）の発生符号量の情報を受け取り、パックデータ（PackData2）に時間的に接続するように、仮想的に３番目のパックデータを生成する処理をエミュレートする。

第１のパック部１０２と同様に、上記エミュレート処理では、映像ストリーム（VES＿1-1）及び音声ストリーム（AES-2）の入力とパックデータの出力とを行わない。そして、パケットのヘッダ情報に含まれる時刻情報を更新するように、仮想的に多重化処理を行う。これにより、映像ストリーム（VES＿1-1）及び音声ストリーム（AES-2）の多重化処理を実際に行った場合と、時刻情報を同等の状態にすることができる。同様に、映像ストリーム（VES＿1-3）及び音声ストリーム（AES-2）の入力とパックデータの出力とを行わずに、パケットのヘッダ情報に含まれる時刻情報を更新するように、仮想的に多重化処理を行う。そして、映像ストリーム（VES＿1-3）及び音声ストリーム（AES-2）の多重化処理を実際に行った場合と、時刻情報を同等の状態にする。また、前述したように、音声ストリーム（AES-1、AES-2）は互いに同一データである。このため、１個のパック部で生成した場合のパックデータ（Ref＿PackData2）と、第２のチップ１１０のパック部１１２で生成したパックデータ（PackData2）とでは、同一となる。

以上のように本実施形態によれば、マルチチップ構成において、各々自身のチップで生成された映像ストリームと、音声ストリームとを、各チップ内のパック部でパックデータにすることができる。第１の実施形態と比較して、第１のチップ１００における音声挿入処理が担っていた処理を、各チップのパック部で行うため、第１のチップ１００の処理負荷を減らし、各チップで処理負荷を分散することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１第１の映像符号化部
１０２第１のパック部
１０４第１のパック情報通知部
１１１第２の映像符号化部
１１２第２のパック部
１１４第２のパック情報通知部

Claims

各々が集積回路を有する複数のチップを備え、入力された映像データを分割して前記複数のチップに振り分け、前記複数のチップでそれぞれ映像データの符号化およびパック処理を行うとともに、前記複数のチップでそれぞれ生成されたパックデータの音声パケットに対して音声ストリームを挿入する符号化装置であって、
前記複数のチップはそれぞれ、
前記振り分けられた映像データを圧縮符号化して映像ストリームを生成する符号化手段と、
前記符号化手段によって符号化された映像ストリームを所定のフォーマットに多重化して映像パケットと音声パケットとを含むパックデータを生成するパック手段と、
他のチップにおいて前記符号化手段による符号化処理で生成された映像ストリームの発生符号量とデコード時刻を含む情報を前記他のチップから受信する受信手段と、
前記他のチップで生成された他のパックデータを前記他のチップから受け取る受取手段とを備え、
前記パック手段は、前記受信手段により前記他のチップから受信された情報を用いて、前記映像ストリームと時刻が連続するように、前記他のチップでパックデータを生成する処理をエミュレートして他のパックデータを仮想的に生成し、前記仮想的な他のパックデータと時刻が連続するように、新たな映像ストリームから新たなパックデータを生成することを特徴とする符号化装置。
前記パック手段は、前記音声パケットにスタッフィングデータを含むパックデータを生成することを特徴とする請求項１に記載の符号化装置。
前記パック手段は、前記音声パケットに符号化された音声ストリームを含むパックデータを生成することを特徴とする請求項１または２に記載の符号化装置。
各々が集積回路を有する複数のチップを備え、入力された映像データを分割して前記複数のチップに振り分け、前記複数のチップでそれぞれ映像データの符号化およびパック処理を行うとともに、前記複数のチップでそれぞれ生成されたパックデータの音声パケットに対して音声ストリームを挿入する符号化装置の制御方法であって、
前記振り分けられた映像データを圧縮符号化して映像ストリームを生成する符号化工程と、
前記符号化工程において符号化された映像ストリームを所定のフォーマットに多重化して映像パケットと音声パケットとを含むパックデータを生成するパック工程と、
他のチップにおいて前記符号化工程における符号化処理で生成された映像ストリームの発生符号量とデコード時刻を含む情報を前記他のチップから受信する受信工程と、
前記他のチップで生成された他のパックデータを前記他のチップから受け取る受取工程とを備え、
前記パック工程においては、前記他のチップから受信された情報を用いて、前記映像ストリームと時刻が連続するように、前記他のチップでパックデータを生成する処理をエミュレートして他のパックデータを仮想的に生成し、前記仮想的な他のパックデータと時刻が連続するように、新たな映像ストリームから新たなパックデータを生成することを特徴とする符号化装置の制御方法。