JP3621332B2 - スプライト符号化方法及び装置、スプライト符号化データ復号方法及び装置、並びに記録媒体 - Google Patents
スプライト符号化方法及び装置、スプライト符号化データ復号方法及び装置、並びに記録媒体 Download PDFInfo
- Publication number
- JP3621332B2 JP3621332B2 JP2000194210A JP2000194210A JP3621332B2 JP 3621332 B2 JP3621332 B2 JP 3621332B2 JP 2000194210 A JP2000194210 A JP 2000194210A JP 2000194210 A JP2000194210 A JP 2000194210A JP 3621332 B2 JP3621332 B2 JP 3621332B2
- Authority
- JP
- Japan
- Prior art keywords
- sprite
- shot
- data
- frame
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、固定ビットレートにおける映像のスプライト符号化データの伝送技術に係り、特に一般編集映像を入力とし、これをスプライト符号化部とＭＰＥＧ−４の通常符号化部が混在したＭＰＥＧ−４混成符号化器によって混成符号化して伝送する場合等に好適なスプライト符号化方法及び装置、スプライト符号化データ復号方法及び装置、並びにそのためのプログラムを格納した記録媒体に関する。
【０００２】
【従来の技術】
映像符号化の次世代標準であるＭＰＥＧ−４ Ｍain Ｐrofileで映像をオブジェクトごとに符号化する「オブジェクト符号化」において、特にカメラの動きを抽出することによって背景オブジェクトをつなぎ合わせた背景パノラマ画像（以下スプライト画像）で表現する「スプライト符号化」は、全画面を１つのビデオオブジェクトとして符号化するＭＰＥＧ−４通常符号化と比較して、劇的な符号化効率の向上が実現する。なお、「オブジェクト符号化」、「スプライト符号化」については、文献１「“ＭＰＥＧ−４のすべて”、ｐｐ．５３−５６、三木弼一著、工業調査会」、文献２「“Ａ Ｌayered Ｖideo Ｏbject Ｃoding Ｓystem Ｕsing Ｓprite and Ａffine Ｍotion Ｍodel”，Ｍing−Ｃhieh Ｌee，Ｗei−ge Ｃhen and Ｃhih-lung他、ＩＥＥＥ Ｔransactions on Ｃircuits and Ｓystems for Ｖideo Ｔechnology，Ｖol.７，Ｎo.１，ｐｐ．１３０−１４５、Ｆebruary １９９７」などに記載されている。
【０００３】
スプライト符号化は、映像の映りかわりであるカット点（シーンチエンジ）を持たない連続したフレーム列をショットとして、そのショット中の基準フレームと任意のフレームの座標系の変換を行うグローバルモーションを算出し、そのグローバルモーションを用いてフレームを幾何変換し、繋ぎ合わせてスプライト画像を生成するとともに、更に、生成したスプライト画像から該当フレームの背景画像を切り出し、該背景画像と各フレームの差分をもとに得られる移動物体等の前景画像を抽出し、スプライト画像、前景画像をそれぞれオブジェクト符号化することによって実現する符号化方法である。
【０００４】
このスプライト符号化はすべての映像に適しているわけではなく、一般編集映像などの場合、入力映像をショットに分割し、ショットごとにスプライト符号化とＭＰＥＧ−４通常符号化を使い分ける必要がある。例えばスプライト符号化に適しているショットは、十分なフレーム数を有すること、カメラの動きがあること、カメラの動きとは異なる動きをする部分である移動体等の前景部分が十分小さいこと、などが挙げられる。十分なフレーム数がないショットは、全符号化中のスプライト画像の占める割合が高くなり、通常符号化と比較すると、符号量削除のメリットを生かすことが出来ないのでスプライト符号化には適さない。カメラの動きがないショットは、フレーム間において背景が変化しないために、符号化データなし（Ｎot Ｃoded）という方法を用いた通常符号化と比較すると、符号量削除のメリットを生かすことが出来ないのでスプライト符号化には適さない。前景部分が大きいショットは、スプライト画像を良好に生成することができないために、スプライト画像との差分で算出する前景画像が大きくなってしまい、通常符号化と比較すると、符号量削除のメリットを生かすことができないのでスプライト符号化には適さない。
【０００５】
ここで、スプライト符号化に適したショットをスプライトショットと呼び、ＭＰＥＧ−４通常符号化に適したショットを通常ショットと呼ぶことにする。ＭＰＥＧ４混成符号化器では、それぞれスプライト符号化データと通常符号化データを出力する。したがって、出力はショットごとにスプライト符号化データと通常符号化データが混在している状態となる。これをＭＰＥＧ−４混成符号化データと呼ぶ。
【０００６】
あるスプライトショットにおけるスプライト符号化データは、背景オブジェクトをつなぎ合わせた一枚のスプライト画像データと、各フレームごとに幾何変換ベクトルとフレーム間差分を含むフレーム前景データから構成される。ＭＰＥＧ−４混成符号化データを伝送し、受信側の復号器で連続的に復号する際、あるスプライトショットの復号時には、そのスプライト符号化データのスプライト画像データは、各フレームのフレーム前景データが再生される前に、伝送を完了している必要がある。
【０００７】
従来のスプライト符号化データ伝送方法では、映像に含まれる全てのスプライトショットの中のスプライト画像データをその映像の復号開始前に伝送していたか、もしくは、スプライトショットごとにその開始フレームで復号する直前にスプライト画像データを伝送していた。このため、スプライト画像データの伝送後に、フレームごとのフレーム前景データを伝送する際には、フレーム前景データのデータ量が少量のために、帯域に余りの部分が存在し、固定ビットレート（ＣＢＲ）における映像全体の伝送が非効率になるという問題があった。また、スプライトショットごとにスプライト画像データを伝送する際には、スプライトショットの開始フレームの復号時にスプライト画像データの伝送が完了するまでの遅延があり、ショットとショットの間の連続的な復号が実現できない問題があった。さらには、ＭＰＥＧ−４ Ｍain Ｐrofileでは、スプライト画像データを複数のマクロブロック単位で分割して伝送し、現フレームの復号に最低必要なスプライト画像データが受信でき次第復号する低遅延スプライト（Ｌow−latency sprite）というモードも用意されているが、いずれにしても、それぞれのスプライトショットの開始フレームでは、スプライト画像データを伝送する必要があるために、ショット間に遅延が生じ、連続的な復号が実現できない。
【０００８】
【発明が解決しようとする課題】
本発明の目的は、固定ビットレートにて、スプライト符号化データを伝送し、復号する際に、従来の技術では、フレームごとのフレーム前景データを伝送している際の帯域幅を十分に利用できずに、全体として非効率な伝送であった点や、それぞれのスプライトショットの開始フレームの復号時に、スプライト画像データの伝送が完了するまでの遅延が存在していた点を解決したスプライト符号化方法及び装置、スプライト符号化データ復号方法及び装置、並びにそのためのプログラムを格納した記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】
本発明のスプライト符号化方法は、スプライトショットを符号化して、該スプライトショット（以下、現スプライトショット）の各フレームのフレーム前景データとスプライト画像データを得るステップと、現スプライトショットのフレーム前景データをメモリへ蓄積し、前記メモリから前のスプライトショットの各フレームのフレーム前景データを読み出すステップと、現スプライトショットのスプライト画像データを、前のスプライトショットの各フレームのフレーム前景データに合わせて分割するステップと、前のスプライトショットの各フレームのフレーム前景データと現スプライトショットの分割スプライト画像データを合成してスプライト符号化データに出力するステップとを有することを特徴とする。
【００１０】
また、本発明のスプライト符号化データ復号方法は、スプライトショットの各フレームのフレーム前景データ中に、次のスプライトショットのスプライト画像データを分割して付加されたスプライト符号化データを復号する方法であって、スプライト符号化データ中のフレーム前景データとスプライト画像データを分割するステップと、前記分割したスプライト画像データを次スプライトショットのスプライト画像データとして第１のメモリへ蓄積するステップと、前記第１のメモリ手段に蓄積されているスプライト画像データを読み出し、現スプライトショットのスプライト画像データとして第２のメモリへ蓄積するステップと、前記分割した現スプライトショットの前景データを構成するフレーム間差分データと幾何変換ベクトルを分割するステップと、前記分割したフレーム間差分データから前景画像を復号するステップと、前記分割した幾何変換ベクトルと前記第２のメモリ手段に蓄積されたスプライト画像データから背景画像を復号するステップと、前記復号した前景画像と背景画像を合成して出力するステップとを有することを特徴とする。
【００１１】
本発明のスプライト符号化装置は、スプライトショットを符号化して、該スプライトショット（以下、現スプライトショット）の各フレームのフレーム前景データとスプライト画像データを出力する手段と、現スプライトショットのフレーム前景データを蓄積するメモリ手段と、前記メモリ手段から前のスプライトショットの各フレームのフレーム前景データを読み出す手段と、現スプライトショットのスプライト画像データを、前のスプライトショットの各フレームのフレーム前景データに合わせて分割する手段と、前のスプライトショットの各フレームのフレーム前景データと現スプライトショットの分割スプライト画像データを合成してスプライト符号化データとする手段とを有することを特徴とする。
【００１２】
また、本発明のスプライト符号化装置は、スプライトショットの各フレームのフレーム前景データ中に、次のスプライトショットのスプライト画像データを分割して付加されたスプライト符号化データを復号する装置であって、スプライト符号化データ中のフレーム前景データとスプライト画像データを分割する手段と、前記分割したスプライト画像データを次スプライトショットのスプライト画像データとして蓄積する第１メモリ手段と、前記第１メモリ手段に蓄積されているスプライト画像データを読み出し、現スプライトショットのスプライト画像データとして蓄積する第２メモリ手段と、前記分割した現スプライトショットの前景データを構成するフレーム間差分データと幾何変換ベクトルを分割する手段と、前記分割したフレーム間差分データから前景画像を復号する手段と、前記分割した幾何変換ベクトルと前記第２メモリ手段に蓄積されたスプライト画像データから背景画像を復号する手段と前記復号した前景画像と背景画像を合成する手段とを有することを特徴とする。
【００１３】
また、本発明の記録媒体は、映像をスプライト符号化するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、スプライトショットを符号化して、該スプライトショット（以下、現スプライトショット）の各フレームのフレーム前景データとスプライト画像データを出力する処理プロセスと、前記現スプライトショットのフレーム前景データを蓄積し、前のスプライトショットのフレーム前景データを読み出す処理プロセスと、現スプライトショットのスプライト画像データを、前のスプライトショットの各フレームのフレーム前景データに合わせて分割する処理プロセスと、前のスプライトショットの各フレームのフレーム前景データと現スプライトショットの分割スプライト画像データを合成してスプライト符号化データとする処理プロセスとをコンピュータに実行させるためのスプライト符号化プログラムを記録したことを特徴とする。
【００１４】
また、本発明の記録媒体は、スプライトショットの各フレームのフレーム前景データ中に、次のスプライトショットのスプライト画像データを分割して付加されたスプライト符号化データを復号するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、スプライト符号化データ中のフレーム前景データとスプライト画像データを分割する処理プロセスと、前記分割したスプライト画像データを次スプライトショットのスプライト画像データとして蓄積し、既に蓄積されているスプライト画像データを現スプライトショットのスプライト画像データとして読み出す処理プロセスと、前記分割した現スプライトショットの前景データを構成するフレーム間差分データと幾何変換ベクトルを分割する処理プロセスと、前記分割したフレーム間差分データから前景画像を復号する処理プロセスと、前記分割した幾何変換ベクトルと前記読み出したスプライト画像データから背景画像を復号する処理プロセスと、前記復号した前景画像と背景画像を合成する処理プロセスとをコンピュータに実行させるためのスプライト符号化データ復号プログラムを記録したことを特徴とする。
【００１５】
スプライトショットのフレームごとのフレーム前景データの伝送時に、余った帯域を利用してスプライト画像データを分割して伝送することが可能で、ＣＢＲの帯域を十分に利用した、効率のよい伝送を実現できる。また、あるスプライトショットのフレーム前景データの伝送時に、その次のスプライトショットのスプライト画像データを伝送することによって、次のスプライトショットの開始フレームの復号時には、そのスプライトショットのスプライト画像データの伝送を完了していることができる。従って、スプライトショットの開始フレームでの復号時の遅延を解消し、ショット間の連続的な復号が可能となる。
【００１６】
【発明の実施の形態】
以下、図面により本発明の一実施の形態について詳細に説明する。
初めに、図１乃至図３により、本発明のスプライト符号化方法の原理を説明する。
【００１７】
図１はＭＰＥＧ−４混成符号化器での処理の概念図である。一般編集映像などの入力画像１００をスプライトショット１１０と通常ショット１２０に分割する。例えば、ショットが十分なフレーム数を有する場合や、カメラの動きがあるショットはスプライトショット１１０とし、それ以外は通常ショット１２０とする。入力画像のショット判定については、先に特願２０００−３５３３５号として提案しており、また、本願発明の主題とするところでないので、その詳細は省略する。なお、入力画像１００には、あらかじめスプライトショットや通常ショット１２０を識別する情報が付加されていてもよい。ＭＰＥＧ−４混成符号化器では、スプライトショット１１０にはスプライト符号化を適用し、通常ショット１２０にはＭＰＥＧ−４通常符号化を適用し、それぞれスプライト符号化データ１３０と通常符号化データ１４０を生成し出力する。ここで、あるスプライトショット１１０のスプライト符号化データ１３０は、背景オブジェクトをつなぎ合わせた一枚のスプライト画像データと、当該ショットの各フレームごとのフレーム前景データ（以下、前景データ）から構成される。
【００１８】
図２は、ＭＰＥＧ−４混成符号化器によって生成される混成符号化データの一般的構成図である。ここで、ｉ番目のスプライト符号化データをＳｔ（ｉ）とし、スプライト画像データＳｓ（ｉ）と前景データＳｄ（ｉ）で構成し、平均ビットレートＲ中の区間Ｔ（ｉ）で存在するものとする。全映像データは、図１に示すように一般符号化データとスプライト符号化データによって構成され、それぞれのデータは交互に存在する。
【００１９】
すべてのデータは、一度送信側の符号器の蓄積媒体に保存し、受信側の復号器に送信するように再調整するものとする。このデータを受信側の復号器で連続的に復号するためには、前景データＳｄ（ｉ）は逐次伝送する必要があるのに対し、スプライト画像データＳｓ（ｉ）はオフライン上で伝送可能である。ただし、復号器での通常の復号には、全てのＳｄ（ｉ）より優先的にＳｓ（ｉ）が受信されている必要がある。ここで、Ｓｄ（ｉ）の伝送中にＳｓ（ｉ＋１）を伝送することによって遅延を最小限に抑えることができる。
【００２０】
図３は、本発明によるスプライト符号化データの原理構成図である。図３の（１）に示すように、ｉ番目のスプライト符号化データＳｔ（ｉ）の前景データＳｄ（ｉ）の伝送時に、その余った帯域を利用して、（ｉ＋１）番目のスプライト符号化データＳｓ（ｉ＋１）のスプライト画像データＳｓ（ｉ＋１）を伝送する。次に、（ｉ＋１）番目のスプライト符号化データＳｔ（ｉ＋１）の前景データＳｄ（ｉ＋１）伝送時には、（ｉ＋２）番目のスプライト符号化データＳｔ（ｉ＋２）のスプライト画像データＳｓ（ｉ＋２）を伝送する。以下、同様に伝送を繰り返す。
【００２１】
ここで、ｉ番目のスプライト符号化データＳｔ（ｉ）の前景データＳｄ（ｉ）は、当該ショットの各フレームごとのフレーム前景データｄｊ（ｊ＝１，２，・・・，ｎ）の和で成り立っているものとする。
Ｓｄ（ｉ）＝Σｄｊ （１）
【００２２】
図３の（２）に示すように、（ｉ＋１）番目のスプライト符号化データＳｔ（ｉ＋１）のスプライト画像データＳｓ（ｉ＋１）を複数の断片に分割し、それぞれｉ番目のＳｔ（ｉ）の各フレーム前景データｄｊと結合する。映像のフレームレートはｆである。また、Ｒは平均ビットレートである。各フレームにおいて、バッファがＲ／ｆになるまで、Ｓｓ（ｉ＋１）の断片で満たす。
【００２３】
ここで、最大の遅延ＤmaxはＳｓ（ｉ）の最大量で決定できる。
Ｄmax＝maxＳｓ（ｉ）／Ｒ （２）
復号器の初期バッファサイズはＤmaxに設定する必要がある。また、ｉ番目のスプライト符号化データ伝送中でバッファのオーバーフローを避けるために、以下の式を満たす必要がある。
Ｒ＊Ｔ（ｉ）−Ｓｄ（ｉ）＞Ｓｓ（ｉ＋１） （３）
最大限に帯域幅を利用する際は、（３）式が等号であるときである。
Ｒ＊Ｔ（ｉ）−Ｓｄ（ｉ）＝Ｓｓ（ｉ＋１） （４）
スプライト符号化データの平均伝送レートをＲｓと仮定すると、
Ｒｓ≡ΣＳｔ（ｉ）／ΣＴ（ｉ） （５）
もし、Ｒｓ＜Ｒならば、チャネルのＳｔ（ｉ）の利用率は最大量以下である。
すなわち、帯域幅を最大限に利用し、遅延を最小限に抑えるには、ＲｓとＲが等価であるときが一番効率のよいときである。なお、Ｓｓ（ｉ）／Ｓｔ（ｉ）比は一定であると仮定する。
Ｋ＝Ｓｓ（ｉ）／Ｓｔ（ｉ） （６）
もしＲｓ＝Ｒであるならば、
Ｓｔ（ｉ）＝Ｒ＊Ｔ（ｉ） （７）
（４）式と（７）式から、
Ｓｓ（ｉ）＝Ｓｓ（ｉ＋１） （８）
である。これは、帯域幅を最大限に利用するためには、それぞれのスプライトショットが一定の符号量である必要があるということである。
【００２４】
図４は本発明の一実施形態であるＭＰＥＧ−４混成符号化器の構成例を示す図、図５は、その処理の流れを示す図である。
【００２５】
一般編集画像などの入力映像情報に対して、ショット分割部４０１によってショットに分割し（ステップ５０１）、そのショットがスプライト符号化に適しているか否かを判定する（ステップ５０２）。スプライト符号化に適していないショット（通常ショット）は、通常符号化部４０３においてＭＰＥＧ−４通常符号化処理を行い（ステップ５０７）、通常符号化データをそのまま送信バッファ４０８へ伝送する（ステップ５０８）。一方、スプライト符号化に適したショット（スプライトショット）は、スプライト符号化部４０２においてスプライト符号化処理を行い、前景データとスプライト画像データを出力する（ステップ５０３）。
【００２６】
いま、スプライト符号化部４０２において、（ｉ＋１）番目のスプライトショットについてスプライト符号化を行い、前景データＳｄ（ｉ＋１）とスプライト画像データＳｓ（ｉ＋１）を出力したとする。この出力のうち、前景データＳｄ（ｉ＋１）はフレーム前景データメモリ４０４へ蓄積して、次のスプライトショットの処理へ待機させ、同時に、フレーム前景データ送出部４０５において、フレーム前景データメモリ４０４からｉ番目のスプライトショットの前景データＳｄ（ｉ）を読み出し、各フレームのフレーム前景データｄ1〜ｄｎを出力する（ステップ５０４）。スプライト画像データＳｓ（ｉ＋１）は、スプライト画像データ分割部４０６において、フレーム前景データ送出部４０５から出力される前景データＳｄ（ｉ）の各フレーム前景データｄ1〜ｄｎに合せて、フレームごとに伝送可能な大きさｓ1〜ｓｎに分割する（ステップ５０５）。スプライト符号化データ合成部４０７では、フレーム前景データ送出部４０５より出力される前景データＳｄ（ｉ）の各フレーム前景データｄ1〜ｄｎとスプライト画像データ分割部４０６から出力されるスプライト画像データＳｓ（ｉ＋１）の分割片をフレームごとに合成し（ステップ５０６）、スプライト符号化データとして送信バッファ４０８へ伝送する（ステップ５０８）。
【００２７】
以上の処理を入力映像情報の続く限り繰り返す（ステップ５０９）。この間、スプライト符号化部４０２と通常符号化４０３の入力切換及びスプライト符号化データ合成部４０７と通常符号化部４０３の出力切換は、切換制御部４０９がショット分割部４０１からショット判定結果を受け取って制御する。こうして、送信バッファ４０８からは、ショットごとにスプライト符号化データと通常符号化データの混在したＭＰＥＧ−４ビットストリームが出力される。なお、スプライト符号化データと通常符号化データには、各々データを識別する情報を付加する。
【００２８】
図６は、本発明の一実施形態であるＭＰＥＧ−４復号器の構成例を示す図、図７は、その処理の流れを示す図である。
【００２９】
入力されたＭＰＥＧ−４ビットストリームを受信バッファ６０１に蓄積し（ステップ７０１）、スプライト符号化データと通常符号化データによって処理を分ける。通常符号化データ（ＭＰＥＧ−４通常符号化データ）は、そのまま通常符号化データ復号部６１８によって復号し（ステップ７０９）、表示バッファ６１９へ処理を受け渡す（ステップ７１０）。
【００３０】
一方、スプライト符号化データは、スプライト符号化データ復号化部６１０へ処理を受け渡す。いま、スプライト符号化データは、ｉ番目のスプライトショットの前景データＳｄ（ｉ）｛ｄ1〜ｄｎ｝と（ｉ＋１）番目のスプライトショット画像データＳｓ（ｉ＋１）｛ｓ1〜ｓｎ｝で構成されているとする。スプライト符号化データ分割部６１１において、前景データＳｄ（ｉ）｛ｄ1〜ｄｎ｝とスプライト画像データＳｓ（ｉ＋１）｛ｓ1〜ｓｎ｝に分割し（ステップ７０２）、スプライト画像データＳｓ（ｉ＋１）｛ｓ1〜ｓｎ｝は次スプライト画像データメモリ６１２へ蓄積して次のスプライトショットの復号処理へ待機させると
ともに（ステップ７０３）、ｉ番目のスプライトショットのスプライト画像データＳｓ（ｉ）｛ｓ1〜ｓｎ｝を該スプライト画像データメモリ６１２から読み出して現スプライト画像データメモリ６１３へ転送する（ステップ７０４）。前景データＳｄ（ｉ）｛ｄ1〜ｄｎ｝はフレーム間差分データと幾何変換ベクトルから構成されており、フレーム前景データ分割部６１４において両者を分割する（ステップ７０５）。そのうち、各フレームのフレーム間差分データは、前景画像復号部６１５においてフレーム間差分復号処理し、ｉ番目のスプライトショットの前景画像を生成する（ステップ７０６）。幾何変換ベクトルは背景画像復号
部６１６に渡され、現スプライト画像データメモリ６１３に既に蓄積されているスプライト画像データＳｓ（ｉ）｛ｓ1〜ｓｎ｝について幾何変換処理し、ｉ番目のスプライトショットの背景画像を生成する（ステップ７０７）。これら前景画像と背景画像をスプライト画像合成部６１７において合成し（ステップ７０８）、表示バッファ６１９へ出力する（ステップ７１０）。
【００３１】
以上の処理を入力ＭＰＥＧ−４ビットストリームの続く限り継続する（ステップ７１１）。この間、スプライト符号化データ復号部６１０と通常符号化データ復号部６１８の入出切換は、切換制御部６２０が、受信バッファ６０１からＭＰＥＧ−４ビットストリームに付加されているスプライト／通常符号化データを識別する情報を取り込んで制御する。
【００３２】
以上、本発明の一実施の形態について説明したが、本発明は、これに限定されないことは云うまでもない。例えば、実施の形態では、スプライト符号化データと通常符号化データの混在するＭＰＥＧ−４混合符号データの伝送を対象としたが、本発明は、画像中に通常ショットの存在しない、複数のスプライトショットのみのスプライト符号化データの伝送時にも、同様に適用可能である。
【００３３】
また、図４や図６に示した構成は、所謂、コンピュータを利用して実現することが可能である。この場合、図５や図７に示した処理の流れのアルゴリズムは、コンピュータプログラムとして、コンピュータ読み取り可能な記録媒体、例えば、フロッピーディスク、ＣＤ−ＲＯＭ、メモリカード等の可搬記録媒体に記録し、配布・提供することが可能である。そして、この記録媒体に記録されたプログラムをコンピュータにインストールすることにより、図４や図６に示した構成と同様の機能が、コンピュータ上で容易に実現される。
【００３４】
【発明の効果】
以上述べたように、本発明によれば、ＭＰＥＧ−４混成符号化データの伝送等において、現在のスプライトショットのフレームごとのフレーム前景データの伝送時に次のスプライトショットのスプライト画像データを分割して伝送することが可能で、ＣＢＲの帯域を十分に利用した効率的な伝送が実現できる。また、次のスプライトショットの開始フレームの復号時には、そのスプライトショットのスプライト画像データの伝送が完了しており、受信側で遅延することなく連続的に映像を復号できる。
【図面の簡単な説明】
【図１】ＭＰＥＧ−４混成符号化器での入力映像の処理の概念図である。
【図２】ＭＰＥＧ−４混成符号化器によって出力される混成符号化データの一般的構成図である。
【図３】本発明によるスプライト符号化データの原理構成図である。
【図４】本発明の一実施形態のＭＰＥＧ−４混成符号化器の構成図である。
【図５】図４の処理の流れを示す図である。
【図６】本発明の一実施形態のＭＰＥＧ−４復号器の構成図である。
【図７】図６の処理の流れを示す図である。
【符号の説明】
１００ 入力画像
１１０ スプライトショット
１２０ 通常ショット
１３０ スプライト符号化データ
１４０ 通常符号化データ
４０１ ショット分割部
４０２ スプライト符号化部
４０３ 通常符号化部
４０４ フレーム前景データメモリ
４０５ フレーム前景デー夕送出部
４０６ スプライト画像データ分離部
４０７ スプライト符号化データ合成部
４０８ 送信バッファ
４０９ 切換制御部
６０１ 受信バッファ
６１０ スプライト符号化データ復号部
６１１ スプライト符号化データ分割部
６１２ 次スプライト画像データメモリ
６１３ 現スプライト画像データメモリ
６１４ フレーム前景データ分割部
６１５ 前景画像復号部
６１６ 背景画像復号部
６１７ スプライト画像合成部
６１８ 通常符号化データ復号部
６１９ 表示バッファ
６２０ 切換制御部
【発明の属する技術分野】
本発明は、固定ビットレートにおける映像のスプライト符号化データの伝送技術に係り、特に一般編集映像を入力とし、これをスプライト符号化部とＭＰＥＧ−４の通常符号化部が混在したＭＰＥＧ−４混成符号化器によって混成符号化して伝送する場合等に好適なスプライト符号化方法及び装置、スプライト符号化データ復号方法及び装置、並びにそのためのプログラムを格納した記録媒体に関する。
【０００２】
【従来の技術】
映像符号化の次世代標準であるＭＰＥＧ−４ Ｍain Ｐrofileで映像をオブジェクトごとに符号化する「オブジェクト符号化」において、特にカメラの動きを抽出することによって背景オブジェクトをつなぎ合わせた背景パノラマ画像（以下スプライト画像）で表現する「スプライト符号化」は、全画面を１つのビデオオブジェクトとして符号化するＭＰＥＧ−４通常符号化と比較して、劇的な符号化効率の向上が実現する。なお、「オブジェクト符号化」、「スプライト符号化」については、文献１「“ＭＰＥＧ−４のすべて”、ｐｐ．５３−５６、三木弼一著、工業調査会」、文献２「“Ａ Ｌayered Ｖideo Ｏbject Ｃoding Ｓystem Ｕsing Ｓprite and Ａffine Ｍotion Ｍodel”，Ｍing−Ｃhieh Ｌee，Ｗei−ge Ｃhen and Ｃhih-lung他、ＩＥＥＥ Ｔransactions on Ｃircuits and Ｓystems for Ｖideo Ｔechnology，Ｖol.７，Ｎo.１，ｐｐ．１３０−１４５、Ｆebruary １９９７」などに記載されている。
【０００３】
スプライト符号化は、映像の映りかわりであるカット点（シーンチエンジ）を持たない連続したフレーム列をショットとして、そのショット中の基準フレームと任意のフレームの座標系の変換を行うグローバルモーションを算出し、そのグローバルモーションを用いてフレームを幾何変換し、繋ぎ合わせてスプライト画像を生成するとともに、更に、生成したスプライト画像から該当フレームの背景画像を切り出し、該背景画像と各フレームの差分をもとに得られる移動物体等の前景画像を抽出し、スプライト画像、前景画像をそれぞれオブジェクト符号化することによって実現する符号化方法である。
【０００４】
このスプライト符号化はすべての映像に適しているわけではなく、一般編集映像などの場合、入力映像をショットに分割し、ショットごとにスプライト符号化とＭＰＥＧ−４通常符号化を使い分ける必要がある。例えばスプライト符号化に適しているショットは、十分なフレーム数を有すること、カメラの動きがあること、カメラの動きとは異なる動きをする部分である移動体等の前景部分が十分小さいこと、などが挙げられる。十分なフレーム数がないショットは、全符号化中のスプライト画像の占める割合が高くなり、通常符号化と比較すると、符号量削除のメリットを生かすことが出来ないのでスプライト符号化には適さない。カメラの動きがないショットは、フレーム間において背景が変化しないために、符号化データなし（Ｎot Ｃoded）という方法を用いた通常符号化と比較すると、符号量削除のメリットを生かすことが出来ないのでスプライト符号化には適さない。前景部分が大きいショットは、スプライト画像を良好に生成することができないために、スプライト画像との差分で算出する前景画像が大きくなってしまい、通常符号化と比較すると、符号量削除のメリットを生かすことができないのでスプライト符号化には適さない。
【０００５】
ここで、スプライト符号化に適したショットをスプライトショットと呼び、ＭＰＥＧ−４通常符号化に適したショットを通常ショットと呼ぶことにする。ＭＰＥＧ４混成符号化器では、それぞれスプライト符号化データと通常符号化データを出力する。したがって、出力はショットごとにスプライト符号化データと通常符号化データが混在している状態となる。これをＭＰＥＧ−４混成符号化データと呼ぶ。
【０００６】
あるスプライトショットにおけるスプライト符号化データは、背景オブジェクトをつなぎ合わせた一枚のスプライト画像データと、各フレームごとに幾何変換ベクトルとフレーム間差分を含むフレーム前景データから構成される。ＭＰＥＧ−４混成符号化データを伝送し、受信側の復号器で連続的に復号する際、あるスプライトショットの復号時には、そのスプライト符号化データのスプライト画像データは、各フレームのフレーム前景データが再生される前に、伝送を完了している必要がある。
【０００７】
従来のスプライト符号化データ伝送方法では、映像に含まれる全てのスプライトショットの中のスプライト画像データをその映像の復号開始前に伝送していたか、もしくは、スプライトショットごとにその開始フレームで復号する直前にスプライト画像データを伝送していた。このため、スプライト画像データの伝送後に、フレームごとのフレーム前景データを伝送する際には、フレーム前景データのデータ量が少量のために、帯域に余りの部分が存在し、固定ビットレート（ＣＢＲ）における映像全体の伝送が非効率になるという問題があった。また、スプライトショットごとにスプライト画像データを伝送する際には、スプライトショットの開始フレームの復号時にスプライト画像データの伝送が完了するまでの遅延があり、ショットとショットの間の連続的な復号が実現できない問題があった。さらには、ＭＰＥＧ−４ Ｍain Ｐrofileでは、スプライト画像データを複数のマクロブロック単位で分割して伝送し、現フレームの復号に最低必要なスプライト画像データが受信でき次第復号する低遅延スプライト（Ｌow−latency sprite）というモードも用意されているが、いずれにしても、それぞれのスプライトショットの開始フレームでは、スプライト画像データを伝送する必要があるために、ショット間に遅延が生じ、連続的な復号が実現できない。
【０００８】
【発明が解決しようとする課題】
本発明の目的は、固定ビットレートにて、スプライト符号化データを伝送し、復号する際に、従来の技術では、フレームごとのフレーム前景データを伝送している際の帯域幅を十分に利用できずに、全体として非効率な伝送であった点や、それぞれのスプライトショットの開始フレームの復号時に、スプライト画像データの伝送が完了するまでの遅延が存在していた点を解決したスプライト符号化方法及び装置、スプライト符号化データ復号方法及び装置、並びにそのためのプログラムを格納した記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】
本発明のスプライト符号化方法は、スプライトショットを符号化して、該スプライトショット（以下、現スプライトショット）の各フレームのフレーム前景データとスプライト画像データを得るステップと、現スプライトショットのフレーム前景データをメモリへ蓄積し、前記メモリから前のスプライトショットの各フレームのフレーム前景データを読み出すステップと、現スプライトショットのスプライト画像データを、前のスプライトショットの各フレームのフレーム前景データに合わせて分割するステップと、前のスプライトショットの各フレームのフレーム前景データと現スプライトショットの分割スプライト画像データを合成してスプライト符号化データに出力するステップとを有することを特徴とする。
【００１０】
また、本発明のスプライト符号化データ復号方法は、スプライトショットの各フレームのフレーム前景データ中に、次のスプライトショットのスプライト画像データを分割して付加されたスプライト符号化データを復号する方法であって、スプライト符号化データ中のフレーム前景データとスプライト画像データを分割するステップと、前記分割したスプライト画像データを次スプライトショットのスプライト画像データとして第１のメモリへ蓄積するステップと、前記第１のメモリ手段に蓄積されているスプライト画像データを読み出し、現スプライトショットのスプライト画像データとして第２のメモリへ蓄積するステップと、前記分割した現スプライトショットの前景データを構成するフレーム間差分データと幾何変換ベクトルを分割するステップと、前記分割したフレーム間差分データから前景画像を復号するステップと、前記分割した幾何変換ベクトルと前記第２のメモリ手段に蓄積されたスプライト画像データから背景画像を復号するステップと、前記復号した前景画像と背景画像を合成して出力するステップとを有することを特徴とする。
【００１１】
本発明のスプライト符号化装置は、スプライトショットを符号化して、該スプライトショット（以下、現スプライトショット）の各フレームのフレーム前景データとスプライト画像データを出力する手段と、現スプライトショットのフレーム前景データを蓄積するメモリ手段と、前記メモリ手段から前のスプライトショットの各フレームのフレーム前景データを読み出す手段と、現スプライトショットのスプライト画像データを、前のスプライトショットの各フレームのフレーム前景データに合わせて分割する手段と、前のスプライトショットの各フレームのフレーム前景データと現スプライトショットの分割スプライト画像データを合成してスプライト符号化データとする手段とを有することを特徴とする。
【００１２】
また、本発明のスプライト符号化装置は、スプライトショットの各フレームのフレーム前景データ中に、次のスプライトショットのスプライト画像データを分割して付加されたスプライト符号化データを復号する装置であって、スプライト符号化データ中のフレーム前景データとスプライト画像データを分割する手段と、前記分割したスプライト画像データを次スプライトショットのスプライト画像データとして蓄積する第１メモリ手段と、前記第１メモリ手段に蓄積されているスプライト画像データを読み出し、現スプライトショットのスプライト画像データとして蓄積する第２メモリ手段と、前記分割した現スプライトショットの前景データを構成するフレーム間差分データと幾何変換ベクトルを分割する手段と、前記分割したフレーム間差分データから前景画像を復号する手段と、前記分割した幾何変換ベクトルと前記第２メモリ手段に蓄積されたスプライト画像データから背景画像を復号する手段と前記復号した前景画像と背景画像を合成する手段とを有することを特徴とする。
【００１３】
また、本発明の記録媒体は、映像をスプライト符号化するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、スプライトショットを符号化して、該スプライトショット（以下、現スプライトショット）の各フレームのフレーム前景データとスプライト画像データを出力する処理プロセスと、前記現スプライトショットのフレーム前景データを蓄積し、前のスプライトショットのフレーム前景データを読み出す処理プロセスと、現スプライトショットのスプライト画像データを、前のスプライトショットの各フレームのフレーム前景データに合わせて分割する処理プロセスと、前のスプライトショットの各フレームのフレーム前景データと現スプライトショットの分割スプライト画像データを合成してスプライト符号化データとする処理プロセスとをコンピュータに実行させるためのスプライト符号化プログラムを記録したことを特徴とする。
【００１４】
また、本発明の記録媒体は、スプライトショットの各フレームのフレーム前景データ中に、次のスプライトショットのスプライト画像データを分割して付加されたスプライト符号化データを復号するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、スプライト符号化データ中のフレーム前景データとスプライト画像データを分割する処理プロセスと、前記分割したスプライト画像データを次スプライトショットのスプライト画像データとして蓄積し、既に蓄積されているスプライト画像データを現スプライトショットのスプライト画像データとして読み出す処理プロセスと、前記分割した現スプライトショットの前景データを構成するフレーム間差分データと幾何変換ベクトルを分割する処理プロセスと、前記分割したフレーム間差分データから前景画像を復号する処理プロセスと、前記分割した幾何変換ベクトルと前記読み出したスプライト画像データから背景画像を復号する処理プロセスと、前記復号した前景画像と背景画像を合成する処理プロセスとをコンピュータに実行させるためのスプライト符号化データ復号プログラムを記録したことを特徴とする。
【００１５】
スプライトショットのフレームごとのフレーム前景データの伝送時に、余った帯域を利用してスプライト画像データを分割して伝送することが可能で、ＣＢＲの帯域を十分に利用した、効率のよい伝送を実現できる。また、あるスプライトショットのフレーム前景データの伝送時に、その次のスプライトショットのスプライト画像データを伝送することによって、次のスプライトショットの開始フレームの復号時には、そのスプライトショットのスプライト画像データの伝送を完了していることができる。従って、スプライトショットの開始フレームでの復号時の遅延を解消し、ショット間の連続的な復号が可能となる。
【００１６】
【発明の実施の形態】
以下、図面により本発明の一実施の形態について詳細に説明する。
初めに、図１乃至図３により、本発明のスプライト符号化方法の原理を説明する。
【００１７】
図１はＭＰＥＧ−４混成符号化器での処理の概念図である。一般編集映像などの入力画像１００をスプライトショット１１０と通常ショット１２０に分割する。例えば、ショットが十分なフレーム数を有する場合や、カメラの動きがあるショットはスプライトショット１１０とし、それ以外は通常ショット１２０とする。入力画像のショット判定については、先に特願２０００−３５３３５号として提案しており、また、本願発明の主題とするところでないので、その詳細は省略する。なお、入力画像１００には、あらかじめスプライトショットや通常ショット１２０を識別する情報が付加されていてもよい。ＭＰＥＧ−４混成符号化器では、スプライトショット１１０にはスプライト符号化を適用し、通常ショット１２０にはＭＰＥＧ−４通常符号化を適用し、それぞれスプライト符号化データ１３０と通常符号化データ１４０を生成し出力する。ここで、あるスプライトショット１１０のスプライト符号化データ１３０は、背景オブジェクトをつなぎ合わせた一枚のスプライト画像データと、当該ショットの各フレームごとのフレーム前景データ（以下、前景データ）から構成される。
【００１８】
図２は、ＭＰＥＧ−４混成符号化器によって生成される混成符号化データの一般的構成図である。ここで、ｉ番目のスプライト符号化データをＳｔ（ｉ）とし、スプライト画像データＳｓ（ｉ）と前景データＳｄ（ｉ）で構成し、平均ビットレートＲ中の区間Ｔ（ｉ）で存在するものとする。全映像データは、図１に示すように一般符号化データとスプライト符号化データによって構成され、それぞれのデータは交互に存在する。
【００１９】
すべてのデータは、一度送信側の符号器の蓄積媒体に保存し、受信側の復号器に送信するように再調整するものとする。このデータを受信側の復号器で連続的に復号するためには、前景データＳｄ（ｉ）は逐次伝送する必要があるのに対し、スプライト画像データＳｓ（ｉ）はオフライン上で伝送可能である。ただし、復号器での通常の復号には、全てのＳｄ（ｉ）より優先的にＳｓ（ｉ）が受信されている必要がある。ここで、Ｓｄ（ｉ）の伝送中にＳｓ（ｉ＋１）を伝送することによって遅延を最小限に抑えることができる。
【００２０】
図３は、本発明によるスプライト符号化データの原理構成図である。図３の（１）に示すように、ｉ番目のスプライト符号化データＳｔ（ｉ）の前景データＳｄ（ｉ）の伝送時に、その余った帯域を利用して、（ｉ＋１）番目のスプライト符号化データＳｓ（ｉ＋１）のスプライト画像データＳｓ（ｉ＋１）を伝送する。次に、（ｉ＋１）番目のスプライト符号化データＳｔ（ｉ＋１）の前景データＳｄ（ｉ＋１）伝送時には、（ｉ＋２）番目のスプライト符号化データＳｔ（ｉ＋２）のスプライト画像データＳｓ（ｉ＋２）を伝送する。以下、同様に伝送を繰り返す。
【００２１】
ここで、ｉ番目のスプライト符号化データＳｔ（ｉ）の前景データＳｄ（ｉ）は、当該ショットの各フレームごとのフレーム前景データｄｊ（ｊ＝１，２，・・・，ｎ）の和で成り立っているものとする。
Ｓｄ（ｉ）＝Σｄｊ （１）
【００２２】
図３の（２）に示すように、（ｉ＋１）番目のスプライト符号化データＳｔ（ｉ＋１）のスプライト画像データＳｓ（ｉ＋１）を複数の断片に分割し、それぞれｉ番目のＳｔ（ｉ）の各フレーム前景データｄｊと結合する。映像のフレームレートはｆである。また、Ｒは平均ビットレートである。各フレームにおいて、バッファがＲ／ｆになるまで、Ｓｓ（ｉ＋１）の断片で満たす。
【００２３】
ここで、最大の遅延ＤmaxはＳｓ（ｉ）の最大量で決定できる。
Ｄmax＝maxＳｓ（ｉ）／Ｒ （２）
復号器の初期バッファサイズはＤmaxに設定する必要がある。また、ｉ番目のスプライト符号化データ伝送中でバッファのオーバーフローを避けるために、以下の式を満たす必要がある。
Ｒ＊Ｔ（ｉ）−Ｓｄ（ｉ）＞Ｓｓ（ｉ＋１） （３）
最大限に帯域幅を利用する際は、（３）式が等号であるときである。
Ｒ＊Ｔ（ｉ）−Ｓｄ（ｉ）＝Ｓｓ（ｉ＋１） （４）
スプライト符号化データの平均伝送レートをＲｓと仮定すると、
Ｒｓ≡ΣＳｔ（ｉ）／ΣＴ（ｉ） （５）
もし、Ｒｓ＜Ｒならば、チャネルのＳｔ（ｉ）の利用率は最大量以下である。
すなわち、帯域幅を最大限に利用し、遅延を最小限に抑えるには、ＲｓとＲが等価であるときが一番効率のよいときである。なお、Ｓｓ（ｉ）／Ｓｔ（ｉ）比は一定であると仮定する。
Ｋ＝Ｓｓ（ｉ）／Ｓｔ（ｉ） （６）
もしＲｓ＝Ｒであるならば、
Ｓｔ（ｉ）＝Ｒ＊Ｔ（ｉ） （７）
（４）式と（７）式から、
Ｓｓ（ｉ）＝Ｓｓ（ｉ＋１） （８）
である。これは、帯域幅を最大限に利用するためには、それぞれのスプライトショットが一定の符号量である必要があるということである。
【００２４】
図４は本発明の一実施形態であるＭＰＥＧ−４混成符号化器の構成例を示す図、図５は、その処理の流れを示す図である。
【００２５】
一般編集画像などの入力映像情報に対して、ショット分割部４０１によってショットに分割し（ステップ５０１）、そのショットがスプライト符号化に適しているか否かを判定する（ステップ５０２）。スプライト符号化に適していないショット（通常ショット）は、通常符号化部４０３においてＭＰＥＧ−４通常符号化処理を行い（ステップ５０７）、通常符号化データをそのまま送信バッファ４０８へ伝送する（ステップ５０８）。一方、スプライト符号化に適したショット（スプライトショット）は、スプライト符号化部４０２においてスプライト符号化処理を行い、前景データとスプライト画像データを出力する（ステップ５０３）。
【００２６】
いま、スプライト符号化部４０２において、（ｉ＋１）番目のスプライトショットについてスプライト符号化を行い、前景データＳｄ（ｉ＋１）とスプライト画像データＳｓ（ｉ＋１）を出力したとする。この出力のうち、前景データＳｄ（ｉ＋１）はフレーム前景データメモリ４０４へ蓄積して、次のスプライトショットの処理へ待機させ、同時に、フレーム前景データ送出部４０５において、フレーム前景データメモリ４０４からｉ番目のスプライトショットの前景データＳｄ（ｉ）を読み出し、各フレームのフレーム前景データｄ1〜ｄｎを出力する（ステップ５０４）。スプライト画像データＳｓ（ｉ＋１）は、スプライト画像データ分割部４０６において、フレーム前景データ送出部４０５から出力される前景データＳｄ（ｉ）の各フレーム前景データｄ1〜ｄｎに合せて、フレームごとに伝送可能な大きさｓ1〜ｓｎに分割する（ステップ５０５）。スプライト符号化データ合成部４０７では、フレーム前景データ送出部４０５より出力される前景データＳｄ（ｉ）の各フレーム前景データｄ1〜ｄｎとスプライト画像データ分割部４０６から出力されるスプライト画像データＳｓ（ｉ＋１）の分割片をフレームごとに合成し（ステップ５０６）、スプライト符号化データとして送信バッファ４０８へ伝送する（ステップ５０８）。
【００２７】
以上の処理を入力映像情報の続く限り繰り返す（ステップ５０９）。この間、スプライト符号化部４０２と通常符号化４０３の入力切換及びスプライト符号化データ合成部４０７と通常符号化部４０３の出力切換は、切換制御部４０９がショット分割部４０１からショット判定結果を受け取って制御する。こうして、送信バッファ４０８からは、ショットごとにスプライト符号化データと通常符号化データの混在したＭＰＥＧ−４ビットストリームが出力される。なお、スプライト符号化データと通常符号化データには、各々データを識別する情報を付加する。
【００２８】
図６は、本発明の一実施形態であるＭＰＥＧ−４復号器の構成例を示す図、図７は、その処理の流れを示す図である。
【００２９】
入力されたＭＰＥＧ−４ビットストリームを受信バッファ６０１に蓄積し（ステップ７０１）、スプライト符号化データと通常符号化データによって処理を分ける。通常符号化データ（ＭＰＥＧ−４通常符号化データ）は、そのまま通常符号化データ復号部６１８によって復号し（ステップ７０９）、表示バッファ６１９へ処理を受け渡す（ステップ７１０）。
【００３０】
一方、スプライト符号化データは、スプライト符号化データ復号化部６１０へ処理を受け渡す。いま、スプライト符号化データは、ｉ番目のスプライトショットの前景データＳｄ（ｉ）｛ｄ1〜ｄｎ｝と（ｉ＋１）番目のスプライトショット画像データＳｓ（ｉ＋１）｛ｓ1〜ｓｎ｝で構成されているとする。スプライト符号化データ分割部６１１において、前景データＳｄ（ｉ）｛ｄ1〜ｄｎ｝とスプライト画像データＳｓ（ｉ＋１）｛ｓ1〜ｓｎ｝に分割し（ステップ７０２）、スプライト画像データＳｓ（ｉ＋１）｛ｓ1〜ｓｎ｝は次スプライト画像データメモリ６１２へ蓄積して次のスプライトショットの復号処理へ待機させると
ともに（ステップ７０３）、ｉ番目のスプライトショットのスプライト画像データＳｓ（ｉ）｛ｓ1〜ｓｎ｝を該スプライト画像データメモリ６１２から読み出して現スプライト画像データメモリ６１３へ転送する（ステップ７０４）。前景データＳｄ（ｉ）｛ｄ1〜ｄｎ｝はフレーム間差分データと幾何変換ベクトルから構成されており、フレーム前景データ分割部６１４において両者を分割する（ステップ７０５）。そのうち、各フレームのフレーム間差分データは、前景画像復号部６１５においてフレーム間差分復号処理し、ｉ番目のスプライトショットの前景画像を生成する（ステップ７０６）。幾何変換ベクトルは背景画像復号
部６１６に渡され、現スプライト画像データメモリ６１３に既に蓄積されているスプライト画像データＳｓ（ｉ）｛ｓ1〜ｓｎ｝について幾何変換処理し、ｉ番目のスプライトショットの背景画像を生成する（ステップ７０７）。これら前景画像と背景画像をスプライト画像合成部６１７において合成し（ステップ７０８）、表示バッファ６１９へ出力する（ステップ７１０）。
【００３１】
以上の処理を入力ＭＰＥＧ−４ビットストリームの続く限り継続する（ステップ７１１）。この間、スプライト符号化データ復号部６１０と通常符号化データ復号部６１８の入出切換は、切換制御部６２０が、受信バッファ６０１からＭＰＥＧ−４ビットストリームに付加されているスプライト／通常符号化データを識別する情報を取り込んで制御する。
【００３２】
以上、本発明の一実施の形態について説明したが、本発明は、これに限定されないことは云うまでもない。例えば、実施の形態では、スプライト符号化データと通常符号化データの混在するＭＰＥＧ−４混合符号データの伝送を対象としたが、本発明は、画像中に通常ショットの存在しない、複数のスプライトショットのみのスプライト符号化データの伝送時にも、同様に適用可能である。
【００３３】
また、図４や図６に示した構成は、所謂、コンピュータを利用して実現することが可能である。この場合、図５や図７に示した処理の流れのアルゴリズムは、コンピュータプログラムとして、コンピュータ読み取り可能な記録媒体、例えば、フロッピーディスク、ＣＤ−ＲＯＭ、メモリカード等の可搬記録媒体に記録し、配布・提供することが可能である。そして、この記録媒体に記録されたプログラムをコンピュータにインストールすることにより、図４や図６に示した構成と同様の機能が、コンピュータ上で容易に実現される。
【００３４】
【発明の効果】
以上述べたように、本発明によれば、ＭＰＥＧ−４混成符号化データの伝送等において、現在のスプライトショットのフレームごとのフレーム前景データの伝送時に次のスプライトショットのスプライト画像データを分割して伝送することが可能で、ＣＢＲの帯域を十分に利用した効率的な伝送が実現できる。また、次のスプライトショットの開始フレームの復号時には、そのスプライトショットのスプライト画像データの伝送が完了しており、受信側で遅延することなく連続的に映像を復号できる。
【図面の簡単な説明】
【図１】ＭＰＥＧ−４混成符号化器での入力映像の処理の概念図である。
【図２】ＭＰＥＧ−４混成符号化器によって出力される混成符号化データの一般的構成図である。
【図３】本発明によるスプライト符号化データの原理構成図である。
【図４】本発明の一実施形態のＭＰＥＧ−４混成符号化器の構成図である。
【図５】図４の処理の流れを示す図である。
【図６】本発明の一実施形態のＭＰＥＧ−４復号器の構成図である。
【図７】図６の処理の流れを示す図である。
【符号の説明】
１００ 入力画像
１１０ スプライトショット
１２０ 通常ショット
１３０ スプライト符号化データ
１４０ 通常符号化データ
４０１ ショット分割部
４０２ スプライト符号化部
４０３ 通常符号化部
４０４ フレーム前景データメモリ
４０５ フレーム前景デー夕送出部
４０６ スプライト画像データ分離部
４０７ スプライト符号化データ合成部
４０８ 送信バッファ
４０９ 切換制御部
６０１ 受信バッファ
６１０ スプライト符号化データ復号部
６１１ スプライト符号化データ分割部
６１２ 次スプライト画像データメモリ
６１３ 現スプライト画像データメモリ
６１４ フレーム前景データ分割部
６１５ 前景画像復号部
６１６ 背景画像復号部
６１７ スプライト画像合成部
６１８ 通常符号化データ復号部
６１９ 表示バッファ
６２０ 切換制御部
Claims (6)
- 映像をスプライト符号化する方法であって、
スプライトショットを符号化して、該スプライトショット（以下、現スプライトショット）の各フレームのフレーム前景データとスプライト画像データを得るステップと、
現スプライトショットのフレーム前景データをメモリへ蓄積し、前記メモリから前のスプライトショットの各フレームのフレーム前景データを読み出すステップと、
現スプライトショットのスプライト画像データを、前のスプライトショットの各フレームのフレーム前景データに合わせて分割するステップと、
前のスプライトショットの各フレームのフレーム前景データと現スプライトショットの分割スプライト画像データを合成してスプライト符号化データとして出力するステップと、
を有することを特徴とするスプライト符号化方法。 - スプライトショットの各フレームのフレーム前景データ中に、次のスプライトショットのスプライト画像データを分割して付加されたスプライト符号化データを復号する方法であって、
スプライト符号化データ中のフレーム前景データとスプライト画像データを分割するステップと、
前記分割したスプライト画像データを次スプライトショットのスプライト画像データとして第１のメモリへ蓄積するステップと、
前記第１のメモリ手段に蓄積されているスプライト画像データを読み出し、現スプライトショットのスプライト画像データとして第２のメモリへ蓄積するステップと、
前記分割した現スプライトショットの前景データを構成するフレーム間差分データと幾何変換ベクトルを分割するステップと、
前記分割したフレーム間差分データから前景画像を復号するステップと、
前記分割した幾何変換ベクトルと前記第２のメモリ手段に蓄積されたスプライト画像データから背景画像を復号するステップと、
前記復号した前景画像と背景画像を合成して出力するステップと、
を有することを特徴とするスプライト符号化データ復号方法。 - 映像をスプライト符号化する装置であって、
スプライトショットを符号化して、該スプライトショット（以下、現スプライトショット）の各フレームのフレーム前景データとスプライト画像データを出力する手段と、
現スプライトショットのフレーム前景データを蓄積するメモリ手段と、
前記メモリ手段から前のスプライトショットの各フレームのフレーム前景データを読み出す手段と、
現スプライトショットのスプライト画像データを、前のスプライトショットの各フレームのフレーム前景データに合わせて分割する手段と、
前のスプライトショットの各フレームのフレーム前景データと現スプライトショットの分割スプライト画像データを合成してスプライト符号化データとする手段と、
を有することを特徴とするスプライト符号化装置。 - スプライトショットの各フレームのフレーム前景データ中に、次のスプライトショットのスプライト画像データを分割して付加されたスプライト符号化データを復号する装置であって、
スプライト符号化データ中のフレーム前景データとスプライト画像データを分割する手段と、
前記分割したスプライト画像データを次スプライトショットのスプライト画像データとして蓄積する第１メモリ手段と、
前記第１メモリ手段に蓄積されているスプライト画像データを読み出し、現スプライトショットのスプライト画像データとして蓄積する第２メモリ手段と、
前記分割した現スプライトショットの前景データを構成するフレーム間差分データと幾何変換ベクトルを分割する手段と、
前記分割したフレーム間差分データから前景画像を復号する手段と、
前記分割した幾何変換ベクトルと前記第２メモリ手段に蓄積されたスプライト画像データから背景画像を復号する手段と、
前記復号した前景画像と背景画像を合成する手段と、
を有することを特徴とするスプライト符号化データ復号装置。 - 映像をスプライト符号化するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
スプライトショットを符号化して、該スプライトショット（以下、現スプライトショット）の各フレームのフレーム前景データとスプライト画像データを出力する処理プロセスと、
前記現スプライトショットのフレーム前景データを蓄積し、前のスプライトショットのフレーム前景データを読み出す処理プロセスと、
現スプライトショットのスプライト画像データを、前のスプライトショットの各フレームのフレーム前景データに合わせて分割する処理プロセスと、
前のスプライトショットの各フレームのフレーム前景データと現スプライトショットの分割スプライト画像データを合成してスプライト符号化データとする処理プロセスと、
をコンピュータに実行させるためのスプライト符号化プログラムを記録した記録媒体。 - スプライトショットの各フレームのフレーム前景データ中に、次のスプライトショットのスプライト画像データを分割して付加されたスプライト符号化データを復号するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
スプライト符号化データ中のフレーム前景データとスプライト画像データを分割する処理プロセスと、
前記分割したスプライト画像データを次スプライトショットのスプライト画像データとして蓄積し、既に蓄積されているスプライト画像データを現スプライトショットのスプライト画像データとして読み出す処理プロセスと、
前記分割した現スプライトショットの前景データを構成するフレーム間差分データと幾何変換ベクトルを分割する処理プロセスと、
前記分割したフレーム間差分データから前景画像を復号する処理プロセスと、
前記分割した幾何変換ベクトルと前記読み出したスプライト画像データから背景画像を復号する処理プロセスと、
前記復号した前景画像と背景画像を合成する処理プロセスと、
をコンピュータに実行させるためのスプライト符号化データ復号プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000194210A JP3621332B2 (ja) | 2000-06-28 | 2000-06-28 | スプライト符号化方法及び装置、スプライト符号化データ復号方法及び装置、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000194210A JP3621332B2 (ja) | 2000-06-28 | 2000-06-28 | スプライト符号化方法及び装置、スプライト符号化データ復号方法及び装置、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002016926A JP2002016926A (ja) | 2002-01-18 |
| JP3621332B2 true JP3621332B2 (ja) | 2005-02-16 |
Family
ID=18693076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000194210A Expired - Fee Related JP3621332B2 (ja) | 2000-06-28 | 2000-06-28 | スプライト符号化方法及び装置、スプライト符号化データ復号方法及び装置、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3621332B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4624855B2 (ja) * | 2005-05-27 | 2011-02-02 | 株式会社三共 | 画像処理装置 |
| JP4624854B2 (ja) * | 2005-05-27 | 2011-02-02 | 株式会社三共 | 画像処理装置 |
| JP4624863B2 (ja) * | 2005-06-07 | 2011-02-02 | 株式会社三共 | 画像処理装置 |
| JP4494294B2 (ja) * | 2005-06-07 | 2010-06-30 | 株式会社三共 | 画像処理装置 |
| JP4494293B2 (ja) * | 2005-06-07 | 2010-06-30 | 株式会社三共 | 画像処理装置 |
| JP4494292B2 (ja) * | 2005-06-07 | 2010-06-30 | 株式会社三共 | 画像処理装置 |
| JP4494291B2 (ja) * | 2005-06-07 | 2010-06-30 | 株式会社三共 | 画像処理装置 |
| JP4494295B2 (ja) * | 2005-06-07 | 2010-06-30 | 株式会社三共 | 画像処理装置 |
-
2000
- 2000-06-28 JP JP2000194210A patent/JP3621332B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002016926A (ja) | 2002-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3403168B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| KR20010072769A (ko) | 다채널 데이터 압축 방법 | |
| JP3115651B2 (ja) | 画像符号化装置 | |
| JP2005176069A (ja) | 分散並列トランスコーダシステム及び分散並列トランスコード方法 | |
| US8165217B2 (en) | Image decoding apparatus and method for decoding prediction encoded image data | |
| JP3621332B2 (ja) | スプライト符号化方法及び装置、スプライト符号化データ復号方法及び装置、並びに記録媒体 | |
| US20060120454A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer | |
| US20030099293A1 (en) | Image reproducing method, and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods | |
| KR100996364B1 (ko) | 동영상 압축을 위한 서브샘플링기반 화면내 예측 부호화／복호화 장치 및 방법 | |
| EP1259073A1 (en) | Image reproducing method and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods | |
| JP4902854B2 (ja) | 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置 | |
| JP4355914B2 (ja) | 多視点画像伝送システムと方法、多視点画像圧縮装置と方法、多視点画像伸長装置と方法およびプログラム | |
| US20230300426A1 (en) | Dual stream dynamic gop access based on viewport change | |
| JP3515565B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3830013B2 (ja) | ディゾルブ画像の符号化装置 | |
| JP3403169B2 (ja) | 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機 | |
| JP3403166B2 (ja) | 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機 | |
| JP3403167B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3374128B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JPH0366278A (ja) | 映像信号の高能率符号化方法 | |
| CN114339249B (zh) | 视频解码方法、可读介质及其电子设备 | |
| JP4239894B2 (ja) | 画像符号化装置及び画像復号化装置 | |
| WO2007026536A1 (ja) | 動画受信装置 | |
| JP6753097B2 (ja) | 符号化システム、符号化装置、再生装置及び符号化方法 | |
| JP3433179B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040824 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041117 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071126 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |