JPH10200900A - 符号化映像の高画質メディア同期再生方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】映像圧縮符号化データをメディア同期をとりな
がら再生する際に問題となる処理の遅延問題を，画質を
できるだけ低下させることなく解決する。 【解決手段】復号化再生処理時間比較段階15において，
単位データ量を復号化する際に必要であると予測される
処理時間と，他のメディアと同期をとりながら再生する
際に許容される時間とを比較する。復号化処理時間削減
段階16では，単位データ量を復号化する処理に必要な時
間が，再生時に許容される時間を上回る場合に，符号化
パラメータを解析して決定した復号化の優先順位に基づ
いて処理を行うことにより復号化処理時間を削減し，再
生表示段階19では，これによって削減した復号化データ
を他のメディアと同期して再生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，映像データを表示
再生する技術に関わり，圧縮された画像列の内容を再
生，編集，表示する技術分野に属する。特に，本発明
は，他の映像や音声等のメディアと，時間的な同期をと
りながら再生を行うメディア同期の際に問題となる処理
の遅延問題を解決する符号化映像の高画質メディア同期
再生方法及び装置に関するものである。

【０００２】

【従来の技術】映像は大量の画像列データを持ってお
り，それらを扱いやすくするために多くの映像圧縮符号
化方法が提案されている。その中で，波形符号化と動き
予測符号化の両方式を含む符号化方式であるＭＰＥＧ方
式は，代表的な方法である。波形符号化は，主に空間的
冗長度を軽減する目的で用いられ，動き予測符号化は，
主に時間的冗長度を軽減する目的で用いられる。さらに
ＭＰＥＧでは時間的，空間的冗長度の両方を軽減するた
めに，それらを組み合わせた方式を用いている。

【０００３】ＭＰＥＧ方式で符号化された画像列におけ
る各予測符号化画像では各画像をマクロブロックと呼ば
れる部分領域に分割し，マクロブロック毎に符号化を行
う。その際に３種類の符号化方式を選択する。一つは，
Ｉｎｔｒａと呼ばれる画面内符号化方式であり，一つ
は，ＭＣ Ｃｏｄｅｄと呼ばれる動きベクトルを用いた
予測符号化方式であり，一つは，Ｎｏ ＭＣ Ｃｏｄｅ
ｄと呼ばれる動きベクトルを用いない予測符号化方式で
ある。これらの符号化方式の選択は，以下の法則によっ
て行われる。

【０００４】 if ( var < vmc ) MB Type = "Intra" else if ( v0 < α＊vmc ) MB Type = "No MC Coded" else MB Type = "MC Coded" ここで，ｖａｒはマクロブロックの画素値の分散，ｖｍ
ｃは動き予測を行った場合のフレーム間の画素値の差の
分散，ｖ０は動き予測を用いない場合のフレーム間の画
素値の分散であり，αはバイアス値で１．２５程度の値
が用いられる。分散が小さい方が符号化効率が向上する
ことから，このような選択を行っている。

【０００５】予測符号化方式では，時間方向の冗長度を
減らす目的で動きベクトルを算出し，符号化している。
実画像に適用した際に，対象画像内のマクロブロックに
さまざまな明度や色成分が含まれている場合，各マクロ
ブロック内での各画素値の位置の情報がそれぞれ存在す
るため，ほぼ理想的な環境で動き予測が行われ，理想的
な動きベクトルが得られる。

【０００６】しかし，数個のマクロブロックにわたる広
く明度や色変化の少ない平板な領域が存在する場合，理
想的には，静止状態では動きベクトル０，領域が相対的
に移動している状態では領域内部で動きベクトル０，輪
郭部分で動きを反映した動きベクトルが算出されるべき
であるが，現実に符号化を行うと元々が明度，色ともに
変化のない一様で平板な領域であるため，少しのノイズ
の影響によってフレーム間差分の画素値の分散が大きく
なる。従って，カメラワークや領域の移動などとは無関
係に，画面のちらつきや信号のばらつき等のランダムな
ノイズの影響をうけたランダムな動きベクトルが出現す
る。

【０００７】一方で，さまざまなデータを同一プラット
フォームで利用する方法がマルチメディアという名で呼
ばれ提案されている。その際に，符号化映像を音声と同
期させて再生するといった利用方法が考えられている。
すなわち，映像データと音声データ等の複数の時系列デ
ータを同時に再生するといったような応用である。こう
した時系列データにおいては，各データを遅延なく定め
られた時間の間に，それぞれ同期をとりつつ再生しなけ
ればならない。すなわち，複数の符号化データを同時に
復号化処理する能力が必要とされる。

【０００８】しかし，符号化データを復号化する処理に
は多量の処理能力を必要とする。復号化を目的とした専
用のハードウェアの開発が進められているが，多数の符
号化ファイルを同時に再生する，多様なメディアと同期
をとって再生する，などのフレキシブルな利用にハード
ウェアを用いたものは向かないという問題点を持ってい
る。

【０００９】従って，こうした応用面を考えた場合，ソ
フトウェアによる復号化処理が望ましいが，現在の計算
機の演算能力では，ソフトウェアの処理能力が不足して
いるという問題点がある。１９９６年の現時点におい
て，高速な計算機であれば単一データの実時間復号化及
び再生等の処理は可能であるが，多量のデータの同時多
重復号化及び再生，データ通信を行いながらの復号化及
び再生等の処理を可能とする安価な計算機は出現してい
ない。計算機能力の向上とともに，データ量は増大し，
それにあわせてソフトウェアに要求される処理も増大す
ると考えられるため，将来にわたって同期をとりながら
の処理能力の向上は重大な課題である。

【００１０】複数のメディアを再生する場合に，ソフト
ウェアを用いた実時間復号化が間に合わず，他のメディ
アとの同期がとれないという現象は遅延と呼ばれてい
る。そこで，符号化データを復号化する際の一部の処理
を省き，かつ，なるべく画質を落とさずに映像を復号化
し，再生するといったアプローチは，「ＭＰＥＧの符号
化方式を利用したメディア同期方式」（市川，山岡，吉
田，酒井：東工大：ＩＭＰＳ９６）等に提案されてい
る。

【００１１】この方法では，各マクロブロックに含まれ
る動きベクトルの大小に着目してマクロブロックの重要
度を評価し，動きベクトルが小さいものは重要でなく，
過去の映像と類似しているから復号化処理を行わずに，
過去の画像の対応する部分を切り出して貼り付けるとい
う処理を行っている。しかし，画質と動きベクトルの大
小の間の相関関係は低く，動きベクトルの大小を基にマ
クロブロックの重要度を評価する手法では，画質の低下
が著しいという問題点を有している。

【００１２】

【発明が解決しようとする課題】上述した従来技術は，
処理時間を削減するために，処理を省く符号化データを
選択する際に，符号化データの内容を十分に解析するこ
となく選択していることに問題がある。

【００１３】そこで本発明は，前記した従来技術の問題
点である，圧縮符号化映像から復号化を行う際の処理時
間の削減に，画質に重要な影響を与える符号化データで
あるかどうかの優先順位を符号化データに与え，その優
先順位に基づいて，処理能力の限界に応じて復号化処理
を省き，画質を低下させることなくメディア同期処理を
実現させることを目的とする。

【００１４】

【課題を解決するための手段】従来技術では，上述のよ
うに符号化データを復号化する際に遅延が生じるという
問題を解決するために，符号化データの一部を選択的に
処理していたが，その選択に際して，動き予測符号化方
式を行ったマクロブロックに含まれる動きベクトルの大
小を対象としていたため，画質の低下が著しいという問
題点がある。そこで，動きベクトルの大小だけでなく，
各符号化パラメータを解析することによって，画像内容
を推測し，画質の低下を防ぎつつ，データの処理量を軽
減させることが必要である。

【００１５】請求項１の発明は，動き予測符号化方式と
波形符号化方式を用いた圧縮符号化方式によって符号化
された映像圧縮符号化データをメディア同期をとりなが
ら再生する高画質メディア同期再生方法において，該符
号化データを単位データ量に分割するデータ単位分割段
階と，該単位データ量を復号化する際に必要であると予
測される処理時間と，他のメディアと同期をとりながら
再生する際に許容される時間とを比較する復号化再生処
理時間比較段階と，該単位データ量を復号化する処理に
必要な時間が，再生時に許容される時間を上回る場合
に，復号化処理時間を削減する復号化処理時間削減段階
と，該処理時間削減段階によって削減した復号化データ
を他のメディアと同期して再生する再生表示段階とを含
むことを特徴とする。

【００１６】請求項２の発明は，高画質メディア同期再
生方法のうちの復号化処理時間削減段階において，単位
データ量を復号化する処理時間を削減する際に，各種符
号化データに含まれる符号化パラメータを解析し，対象
とする符号化データの時間及び空間的な部分集合に通常
の復号化を行う優先順位を与え，許容された時間内に収
まるように復号化優先順位の高いものから順に復号化処
理を行うことを特徴とする。

【００１７】これらの発明によって，符号化データを復
号化する際の処理時間を削減する際に，符号化パラメー
タの内容を解析し，画質に影響を及ぼすか及ぼさないか
を判定し，符号化データの部分的な領域に復号化を行う
優先順位を付加して，優先順位の高いものから他のメデ
ィアとの同期を可能とするように許容時間内で処理を行
うことにより，上述の問題点を解決している。

【００１８】請求項３の発明は，単位データ量の復号化
に要する処理時間を削減する際に利用する復号化優先順
位を時間及び空間的な部分集合に与える際に，波形符号
化方式によって算出される符号化係数，動き予測符号化
方式によって算出される動きベクトル，動き予測誤差，
符号化係数，時間及び空間的な部分集合を符号化するの
に要したデータ量，などの各種符号化パラメータに対
し，数学的な演算を施して，各時間及び空間的な部分集
合に対する少なくとも一つの特徴量を算出し，該特徴量
を用いて優先順位を決定している。多数の特徴量を基
に，内容を解析かつ推測しているので，画質の低下に影
響を及ぼさないような優先順位を算出しているため，メ
ディア同期を行いつつ，処理時間を削減して復号化及び
再生を行うことが可能になる。

【００１９】請求項４の発明は，動き予測符号化方式と
波形符号化方式を用いた圧縮符号化方式によって符号化
された映像圧縮符号化データをメディア同期をとりなが
ら再生する高画質メディア同期再生装置において，該符
号化データを単位データ量に分割するデータ単位分割部
と，該単位データ量を復号化する際に必要であると予測
される処理時間と，他のメディアと同期をとりながら再
生する際に許容される時間とを比較する復号化再生処理
時間比較部と，該単位データ量を復号化する処理に必要
な時間が，再生時に許容される時間を上回る場合に，復
号化処理時間を削減する復号化処理時間削減部と，該処
理時間削減部によって削減した復号化データを他のメデ
ィアと同期して再生する再生表示部とを備えることを特
徴とする高画質メディア同期再生装置についての発明で
あり，これにより高画質メディア同期再生方法を実装し
た装置が実現される。

【００２０】

【発明の実施の形態】以下，図面を用いて本発明の実施
の形態を詳しく説明する。まず，高画質メディア同期再
生方法の処理の流れの例を図１を用いて説明する。

【００２１】波形符号化方式及び動き予測符号化方式に
よって符号化された符号化データ１０を，データ単位分
割段階１１により単位データ１２に分割する。分割され
た単位データのデータ量１３を基に，その単位データを
復号化及び再生するのにかかる時間と，同期をとる際の
許容時間１４とを復号化再生処理時間比較段階１５にお
いて比較する。

【００２２】比較した結果，処理時間が許容時間を超え
る場合には，復号化処理時間削減段階１６によって，復
号化の一部を省略し，処理時間を短縮する。省略した部
分については，時間及び空間的に隣接するデータ等を用
いることで近似し，近似復号化データ１８を得る。な
お，許容時間を超えない場合には，復号化処理段階１７
により通常の復号化処理を行う。最終的に近似ないし通
常の復号化データを得ることができたら，再生表示段階
１９にて，映像の再生表示２０を行う。

【００２３】次に，請求項４の発明に対応する高画質メ
ディア同期再生装置の実施の一形態を図２に示す。ま
ず，波形符号化方式及び動き予測符号化方式によって符
号化された符号化データ２１を，装置に入力する。ここ
で，入力される符号化データは，波形符号化方式と動き
予測符号化方式を含む圧縮符号化映像データであればよ
く，ＭＰＥＧ１及びＭＰＥＧ２等のＭＰＥＧ符号化デー
タや，Ｈ２６１等の方式で符号化していても構わない。
また，ＭＰＥＧにおけるデータフォーマットはフレーム
間予測符号化でも，フィールド間予測符号化のどちらで
もよい。また，動き予測方式は順方向，双方向，逆方向
のいずれの予測方式でもよく，動き予測ベクトルを有し
ていればよい。また，フレームレートも任意のものでよ
い。

【００２４】本実施の形態では，入力符号化データはＭ
ＰＥＧ方式で符号化されており，そのフォーマットは，
ＩｎｔｒａＭＢだけで構成されるＩ−ｐｉｃｔｕｒｅが
１フレーム，フレーム間順方向動き予測符号化方式を利
用しているＰ−ｐｉｃｔｕｒｅが１４フレームからなる
１５フレームを一つの単位とし，これらを一つのＧＯＰ
として構成するＩＰＰＰＰＰＰＰＰＰＰＰＰＰＰ ＩＰ
ＰＰＰＰＰＰＰＰＰＰＰＰＰというデータフォーマット
を対象としている。その予測方式は，フィールド間符号
化方式を採用している。またフレームレートは，１秒間
に３０フレームとしている。

【００２５】このＭＰＥＧ符号化データをハフマン復号
化部２２に投入し，各種符号化パラメータを入手する。
これらの符号化パラメータをＧＯＰ分類部２３にて，各
ＧＯＰ単位２４に分類し，メディア同期単位として用い
る。

【００２６】このＧＯＰ単位２４毎にデータの内部を解
析し，ＭＰＥＧデータに含まれる部分領域毎の符号化の
単位であるマクロブロック毎に符号化優先順位を付加
し，優先的に符号化すべきマクロブロックを決定する。
これらの処理を復号化優先度付加部２５にて行い，符号
化データに優先度を付加する。

【００２７】一方で，この各ＧＯＰ単位２４のデータ量
をデータ量計測部２６にて計測し，各ＧＯＰデータ量２
７を得る。この各ＧＯＰデータ量２７を処理時間予測部
２８に投入し，これらのＧＯＰを処理するのに必要なＧ
ＯＰ処理予測時間２９を予測する。この処理時間予測部
２８についての詳細は後述する。

【００２８】また一方で，このＧＯＰ単位２４が他のメ
ディアと同期をとりつつ復号化，再生するのに許される
メディア同期処理時間３１をメディア同期処理時間計測
部３０にて各ＧＯＰデータ量２７から計測する。

【００２９】本実施の形態の入力例の場合，各ＧＯＰは
フレームレートが３０フレーム毎秒のものを１５フレー
ムを含み，メディア同期処理時間３１は，各ＧＯＰ単位
とも０．５秒となる。

【００３０】ＧＯＰ処理予測時間２９とメディア同期処
理時間３１とをメディア同期処理時間比較部３２に投入
し，それぞれの処理時間を比較する。ＧＯＰ処理予測時
間２９がメディア同期処理時間３１よりも小さい場合に
は，通常のＭＰＥＧデータ復号化再生処理部３３に入力
し，他のメディアと同期をとりつつ復号化及び再生処理
を行い，再生された映像データである再生映像データ３
４を再生映像表示部３７にて出力する。

【００３１】ＧＯＰ処理予測時間２９とメディア同期処
理時間３１との比較の結果，ＧＯＰ処理予測時間２９の
ほうが大きい場合には，通常のＭＰＥＧデータ復号化再
生処理部３３による復号化及び再生処理では，メディア
同期をとりながらの復号化再生処理が困難になる。そこ
で，処理時間を削減するために，画質を落とすことなく
処理を軽減するように復号化優先度付加部２５で与えら
れた優先度に従って，メディア同期の予測時間内に収ま
るように処理しながら復号化処理時間削減部３５にて復
号化処理を行い，省略しながら復号化した近似復号化デ
ータ３６を抽出し，再生映像表示部３７へ伝達する。復
号化処理時間削減部３５については詳細を後述する。

【００３２】なお，復号化処理を行っているＭＰＥＧデ
ータ復号化再生処理部３３及び復号化処理時間削減部３
５におけるデータ量と復号化処理に要した時間との結果
を，処理時間予測部２８へ伝達し，後から入力されるＧ
ＯＰ単位の処理時間予測に用いる。

【００３３】以下，復号化優先度付加部２５についてよ
り詳細な説明を加える。復号化優先度付加部２５では，
ＭＰＥＧ符号化データのＧＯＰ単位のデータの内部を解
析し，ＭＰＥＧ符号で用いられている部分領域毎に，復
号化後の画質に関わる部分領域の優先順位付けの処理を
行っている。処理時間が間に合わない等の場合には，よ
り画質に関わる優先度の高い部分領域を復号化処理し，
画質に関わらない部分については処理を省くといった処
理を行っている。この優先度の尺度は実際には，画像の
内容を理解し，意味的な処理を行うことが望ましいが，
この処理を計算機に行わせることは困難であるので，Ｇ
ＯＰ単位の内容を解析することで，優先度を付加してい
る。

【００３４】その具体的な方法は，ＧＯＰを構成するフ
レームのうち，とくにＰピクチャを対象として処理を行
う。Ｉピクチャに関しては，各ＧＯＰ単位を特性付ける
データを含んでいるため，Ｉピクチャ中に存在する優先
度は，他のＰピクチャに含まれるデータに比して非常に
高いものとする。Ｉピクチャに限らず，他のＰピクチャ
に含まれているＩｎｔｒａマクロブロックは動き補償が
行われなかった領域であると考えられるため，その優先
度は高いものとする。

【００３５】一方，Ｉｎｔｅｒマクロブロックは，動き
予測符号化によって符号化されたものであり，最適な画
像領域を直前の画像成分から抽出し，その画像成分との
差分情報を保持している。従って，直前の画像成分を切
り出し，貼り付けるだけで類似した画像領域を得ること
が可能であり，なかでも，差分情報が小さければ小さい
ほど，より類似した画像領域が得られることがわかる。
すなわち，差分情報の情報を観察することで，画質に及
ぼす結果をある程度推測することが可能となる。

【００３６】実際のＩｎｔｅｒマクロブロックにおいて
は，差分情報は波形符号化されているため，符号化係数
を解析することは差分情報を解析していることと等し
い。これらの符号化係数について，ＭＰＥＧの場合，各
マクロブロック毎に直流成分であるＤＣ係数及び交流成
分であるＡＣ成分合計６４個をさらに４つ分有してい
る。各マクロブロック内の符号化係数において，０の多
いものほど画質に及ぼす影響は低く，各係数の値が小さ
いものほど画質に及ぼす影響は低く，低次元の係数に存
在するデータほど画質に及ぼす影響は大きいという特徴
を有している。

【００３７】従って，符号化係数が０でない値を多く持
つものほど，予測と異なるため，直前で復号化された映
像での代用では，画質に影響を及ぼすことが多い。従っ
て，符号化係数の中で０でない係数を多く持つものほど
高い優先順位を与えるものとする。

【００３８】これだけでは，データをたかだか１〜６４
位までしか順位付けできないため，さらに同一順位の中
でも低次元に０の値が集中しているかどうかによって優
先度の順位付けを行う。これは，１，２，３，…と各次
元にいくつ０でない値が集中しているかということを基
に優先順位付けを行う。

【００３９】さらに，同一の構成をしている場合には，
符号化係数の小さいものほど画質に影響を与えないと考
えられるので，符号化係数の大小を比較し，大きなもの
ほど高い復号化優先順位を与える。

【００４０】すなわち，０でない符号化係数の個数，低
次元に存在する０でない符号化係数の個数，符号化係数
の値の大小という情報を基に優先順位付けを行う。この
関係を図３に模式的に示す。図３（Ａ）に示すようなＰ
ピクチャ中のマクロブロックの符号化係数の分布に対し
て，上述の条件にしたがって，復号化優先順位を与える
と，その結果は，図３（Ｂ）に示すマクロブロックの復
号化優先度の例のようになる。

【００４１】さらに，本実施の形態では，上述の符号化
係数の分類以外にも復号化優先順位を付加する方法を併
用している。そもそもＰピクチャにおいて，Ｉｎｔｅｒ
マクロブロックで符号化するか，それともＩｎｔｒａマ
クロブロックで符号化するかといった符号化モードは，
それぞれの予測モードによる符号化係数の値の分散を基
に決定している。こうした方法を有している場合，空や
色等の明度が一様な画像領域に対応するマクロブロック
には，ランダムな動きベクトルが出現する傾向があるこ
とはすでに述べた。こうした明度一様な領域は，画像の
背景などのさして重要と思われないような領域であるこ
とが大半であり，このような場合，符号化係数に無関係
に復号化処理を行わなくてもよい。

【００４２】そこで，対象動きベクトルと隣接動きベク
トルとを比較して，周辺の動きベクトルとまったく類似
していない場合，この動きベクトルを有するマクロブロ
ックの領域は，空や壁などの一様な背景領域であり，復
号化処理を行わなくても，過去の画像成分の対応する位
置の画像成分をコピーすることができればよいとし，復
号化優先順位は最低とする。

【００４３】対象とする注目動きベクトルが隣接する動
きベクトルと類似しているかどうかの判定は，動きベク
トル同士の大きさ及び方向の比較がある一定の範囲内に
存在する場合，類似していると判定する。具体的には，
対象ベクトルの大きさ｜ｖ｜と，周辺に隣接するベクト
ル｜ｖ_i ｜との比｜ｖ｜／｜ｖ_i ｜及び｛ｖ・ｖ_i ｝／
｜ｖ｜｜ｖ_i ｜の値の双方が閾値を上回るものが多く出
現している場合，対象とするマクロブロックは空や壁な
どの明度及び色が一様な領域として判断し，優先順位を
小さくする。

【００４４】明度一様領域を有する画像の動きベクトル
の様子を図４に示す。図４（Ａ）の原画像において空な
どの明度一様領域４０は，図４（Ｂ）に示すように，そ
の動きベクトル分布４１がランダムになる。従って，上
述のように優先順位を小さくすることが画質を落とさな
い復号化処理時間の削減に有効である。

【００４５】次に，処理時間予測部２８についてより詳
細な説明を加える。一般にデータ量が多くなれば，処理
時間が延びる。従って，対象とする復号化処理プラット
フォームでの処理能力を，過去の処理能力から統計的に
評価するという処理によって計算を行う。復号化処理時
間削減部３５によって過去のＧＯＰを対象に，各ＧＯＰ
単位のうち，処理を省いた場合に対象となるデータ量
と，処理能力比を計算し，統計的な値を算出することに
よって，復号化処理処理時間を予測する。なお，復号化
処理時間の予測に関しては，データ量と処理能力比が必
ずしも正比例の関係にあるわけではない。データ量と処
理能力の計測サンプル数が多ければ多いほど確度が増大
すると考えられるので，サンプル数が少ないうちは，処
理予測時間は長めに，サンプル数が多くなり確度が増大
したら処理予測時間は短めにするなどの工夫を行っても
よい。

【００４６】次に，復号化処理時間削減部３５について
より詳細な説明を加える。予測された処理時間とメディ
ア同期をとりながら再生するのに許容された時間とを比
較し，処理予測時間が長い場合，その一部を省いた処理
を行う。入力されるＧＯＰ単位には，あらかじめ復号化
優先度付加部２５によって復号化処理を実行する優先順
位が設けられており，処理予測時間内に収まるデータ量
を優先順位の高いものから計測し，どの程度の優先順位
までなら復号化してよいかという優先順位の閾値を決定
し，その閾値より高い優先順位を満たすマクロブロック
については，通常の復号化処理を実行し，満たさない場
合については，復号処理を実行せず，そこに記録された
動きベクトルの情報を基に対応する直前の画像領域を参
照し，そのまま貼り付けるといった処理を行う。

【００４７】すなわち，復号化優先順位の閾値を決定
し，優先順位の高いもののみ復号化処理を行い，閾値よ
り低いマクロブロックについては，復号化処理を行わ
ず，近似する。

【００４８】なお，本実施の形態では，優先順位の決定
を復号化処理を実行するときに実施するように装置を構
成しているが，データ伝送路を含み，あらかじめ優先順
位を付加しておき，伝送路及び伝送された端末上での復
号化において，優先順位に従って，データを解析するな
どの処理を行ってもよい。

【００４９】なお，本実施の形態であげた高画質メディ
ア同期再生方法をソフトウェアで記述し，ワークステー
ションやパーソナルコンピュータ等の汎用コンピュータ
上で高画質メディア同期再生装置と同等の能力を有する
装置を構成することも可能である。

【００５０】

【発明の効果】以上説明したように本発明によれば，圧
縮符号化された画像データ列に対し，伝送能力や複数の
復号化を実行しようとする際の処理能力などの問題によ
り，同期をとりながらの復号化及び再生が困難な場合，
符号化データに復号化優先順位を付加することによっ
て，処理能力の限界を超えず，高画質の復号化処理を実
行することが可能になる。

【図面の簡単な説明】

【図１】本発明による処理の流れの例を示す図である。

【図２】本発明による高画質メディア同期再生装置の実
施の一形態を示す図である。

【図３】本発明の実施の形態における符号化係数を基に
した優先度付加の例を示す図である。

【図４】本発明の実施の形態を説明するための動きベク
トル分布の模式図である。

【符号の説明】

１０ 符号化データ １１ データ単位分割段階 １２ 単位データ １３ 単位データのデータ量 １４ 許容時間 １５ 復号化再生処理時間比較段階 １６ 復号化処理時間削減段階 １７ 復号化処理段階 １８ 近似復号化データ １９ 再生表示段階 ２０ 映像の再生表示

Claims (4)

【特許請求の範囲】
1. 【請求項１】 動き予測符号化方式と波形符号化方式を
   用いた圧縮符号化方式によって符号化された映像圧縮符
   号化データをメディア同期をとりながら再生する高画質
   メディア同期再生方法において，該符号化データを単位
   データ量に分割するデータ単位分割段階と，該単位デー
   タ量を復号化する際に必要であると予測される処理時間
   と，他のメディアと同期をとりながら再生する際に許容
   される時間とを比較する復号化再生処理時間比較段階
   と，該単位データ量を復号化する処理に必要な時間が，
   再生時に許容される時間を上回る場合には，復号化処理
   時間を削減する復号化処理時間削減段階と，該単位デー
   タ量を復号化する処理に必要な時間が，再生時に許容さ
   れる時間を下回る場合には，通常の復号化処理を行う復
   号化処理段階と，該復号化処理時間削減段階によって処
   理を省略し，近似処理を用いて復号化されたデータを他
   のメディアと同期して再生する再生表示段階とを含むこ
   とを特徴とする符号化映像の高画質メディア同期再生方
   法。
2. 【請求項２】 前記復号化処理時間削減段階では，単位
   データ量を復号化する処理時間を削減する際に，各種符
   号化データに含まれる符号化パラメータを解析し，対象
   とする符号化データの時間及び空間的な部分集合に通常
   の復号化を行う優先順位を与え，許容された時間内に収
   まるように復号化優先順位の高いものから順に復号化処
   理を行うことを特徴とする請求項１に記載の符号化映像
   の高画質メディア同期再生方法。
3. 【請求項３】 前記復号化処理時間削減段階では，単位
   データ量の復号化に要する処理時間を削減する際に利用
   する復号化優先順位を時間及び空間的な部分集合に与え
   る際に，波形符号化方式によって算出される符号化係
   数，動き予測符号化方式によって算出される動きベクト
   ル，動き予測誤差，符号化係数，時間及び空間的な部分
   集合を符号化するのに要したデータ量，などの各種符号
   化パラメータに対し，数学的な演算を施して，各時間及
   び空間的な部分集合に対する少なくとも一つの特徴量を
   算出し，該特徴量を用いて優先順位を決定することを特
   徴とする請求項１または請求項２に記載の符号化映像の
   高画質メディア同期再生方法。
4. 【請求項４】 動き予測符号化方式と波形符号化方式を
   用いた圧縮符号化方式によって符号化された映像圧縮符
   号化データをメディア同期をとりながら再生する高画質
   メディア同期再生装置において，入力した符号化データ
   を単位データ量に分割するデータ単位分割部と，分割し
   た単位データ量を復号化する際に必要であると予測され
   る処理時間と，他のメディアと同期をとりながら再生す
   る際に許容される時間とを比較する復号化再生処理時間
   比較部と，該復号化再生処理時間比較部の比較結果によ
   り，前記単位データ量を復号化する処理に必要な時間
   が，再生時に許容される時間を上回る場合には，復号化
   処理時間を削減する復号化処理時間削減部と，該復号化
   再生処理時間比較部の比較結果により，前記単位データ
   量を復号化する処理に必要な時間が，再生時に許容され
   る時間を下回る場合には，通常の復号化処理を行う復号
   化処理部と，前記復号化処理時間削減部によって削減し
   た復号化データを他のメディアと同期して再生する再生
   表示部とを有することを特徴とする符号化映像の高画質
   メディア同期再生装置。