JPH09509297A - ビット像シーケンス符号化および複合化方法および装置 - Google Patents

Abstract

(57)【要約】 ビデオ信号フレームの動き−予測符号化シーケンスの可変速度プレイを可能とする方法および装置を提供する。符号化前に入力像フレーム（Ｓ１，Ｓ２）の寸法を縮小して、各々が２つ以上の空間的に縮小された入力像フレームを具える他の像フレーム（Ｍ１，Ｍ２）を形成する。他の像フレームの動き−予測符号化シーケンスの次のような復号化、他の像フレームに対する入力シーケンスフレームの比で決まるファクタだけ像復号化レートよりも大きなディスプレイ像更新レートを達成することができる。かかる方法および装置の特定の適用は像更新レートをユーザ制御の下で変化し得る対話型ディスプレイシステムにある。

Description

【発明の詳細な説明】 ビット像シーケンス符号化および複合化方法および装置発明の技術分野 本発明はデジタルビデオ像フレームシーケンスを符号化および復号化する方法 および装置、特に復号化された像ディスプレイレートを直接および間接ユーザ制 御の下で変化可能とする必要のある対話型システムに関するものである。発明の背景 かかる対話型システムの一例はプレーヤにより車の速度を制御するカーレース ビデオゲームである。車からの視野を提供する符号化像シーケンスによれば、像 シーケンスのプレイの速度を車の速度に依存させる必要がある。 簡単な技術はディスプレイのための復号化フレームが存在するレートを変化さ せる必要がある。コンパクトディスク対話(CD-i)のようなあるシステムでは、単 一ステップモードでデコーダを動作させて制御適用プログラムによって新たなソ ースフレームのディスプレイをディスプレイ出力フレームレートまでのレートで トリガすることができる。これによって、単一ステップ機構を他のディスプレイ 出力フレーム走査毎にトリガして、入力シーケンスの各フレームが２つの出力フ レームに対して現われる効果を与えることによって、例えば１／２速度ディスプ レイを行うことができる。あるディスプレイレートは、新たな入力像をＮ個の出 力フレーム毎に一回トリガするような簡単なパターンを必要とする。他の場合に は、パターンを一層不整列とし、従って、例えば、パターンが第１の入力像から ２出力フレーム回数後第２の入力像に、第２の入力像から３フレーム回数後第３ の入力像に、および第３の入力像から３フレーム回数後第４の入力像に移動する ようになる。このシーケンスを繰返すと、８出力フレーム毎にこの期間中使用さ れる３つの入力フレームの総合レートを与え、これにより３／８速度プレイを行 うことができる。プレイの所望の速度が斯様な簡単な分数でない場合には、整列 された繰返しパターンはなくなる。この技術は制限される。一例としてヨーロッ パＴＶディスプレイ用に設計されたシステムを考察するに、これは25フレーム ／秒の最大復号化レートを有する。100ｋｍｈの最大速度を有する車をシミュレ ートしたい場合にはデータの新たなフレームが存在する復号化レートは50ｋｍｈ のシミュレート速度で12.5Ｈｚとなり、10ｋｍのシミュレート速度で2.5フレー ム／秒である。この影響は低速度できわめてジャーキな動きとなる。 このジャーキは最大速度の半分の速度に対応する最大復号化レートを有し、且 つこれ以上の速度でフレームをスキップすることによって低減させることができ る。この技術は不適当であるが、動き予測技術を用いる像シーケンスは復号化さ れるようになる：一方、フレームとシーケンスの他のフレームとの間の類似度を 規定するデータが存在する場合に像シーケンスから１のフレームを符号化するに 要するデータの量は動き予測によって低減させることができるが、フレームをス キップすることによってこれに基ずくフレームにエラーが導入されるようになる 。これは特にＭＰＥＧ標準規格に従って符号化された像シーケンスに当てはまる ようになる。 ＭＰＥＧ標準規格は３つの型の画像（フレーム）、即ち、画面内画像（Ｉピク チュア）、予測画像（Ｐピクチュア）および補間画像（Ｂピクチュア）をそれぞ れ認識する。代表的なＭＰＥＧ画像シーケンスは図１に示される通りである。Ｉ ピクチュアは特にランダム画像のアクセス点を設けるためのものであるが、それ はそれとして、これら画像が限定された圧縮のみで完全に符号化されるようにな る。Ｐ画像は過去の（ＩまたはＰ）画像について符号化されるとともにしばしば 将来のＰ画像に対する基準をも構成する。Ｂ画像は最高の圧縮度を有するが、そ の発生に対しては過去および将来の基準を必要とする。これから明らかなように 、フレームをスキップする技術は、特にこれが脱落したＩまたはＰ画像である場 合にエラーを導入する。 一方、原理的には、ディスプレイ装置のフレームレートよりも早くシーケンス の全てのフレームを復号化し、且つディスプレイ用としてそのうちのあるものの みを選択することができるが、実際のデコーダは（上述した25Ｈｚのような）デ ィスプレイ装置のレートで復号化レートを制限する傾向にある。また、全てのフ レームが復号化されるか、またはそのうちのあるフレームがスキップされるかに 関係なく、ディスプレイにフレームが存在するレートにさらに制限を加えるデコ ーダに入力データを出す符号化データチャネルの帯域幅に制限が加えられるよう になる。発明の概要 本発明の目的は、特に、低シーケンスディスプレイレートでのジャーキ像およ び比較的高いディスプレイレートで予測的に符号化されたシーケンスからのスキ ップフレームの上述した問題を解決する符号化方法を提供せんとするにある。 本発明方法はビデオ像シーケンスを符号化するに当たり、 ａ）ｎ個の順次の像フレーム（ｎは１以上の整数）の各々に対し、フレームを 元の面積の１／ｎ倍に等しいか、またはそれ以下に空間的に圧縮するステップと ； ｂ）このｎ個の圧縮されたフレームを他の像フレームのオーバーラップしない ように配列するステップと；を具えるビデオ像シーケンスの符号化方法において 、符号化すべきビット像シーケンスのｎ個の像の順次の群に対し上記ステップａ ），ｂ）を遂行し、次いで、他の像フレームの合成シーケンスを所定の像シーケ ンスコード化方式を用いて符号化することを特徴とする。 フレームの大きさを減少し、且つこれらフレームを符号化前にさらに他の（多 重像）フレームによって伝送する必要のあるデータの量を減少させることができ る。また、順次のフレーム（動像シーケンス）間に一致度が存在するとともに、 空間的に圧縮されたフレームの配列が他のフレームから他のフレームにかけて同 一となる場合には、シーケンス符号化方式に対しＭＰＥＧ標準規格に従って予測 符号化方式を好適に用いることによってさらに また、本発明方法は、ビデオ像シーケンスの符号化方法により符号化されたビ デオ像のシーケンスを復号化するに当たり、 ａ）所定の像シーケンスコード化方式に従って符号化されたシーケンスを復号 化して他の像シーケンスを再生し； ｂ）所望の表示像更新レートを決め； ｃ）所望の表示像更新レートに依存して各他の像フレームから１つ以上の圧縮 された像フレームを選択することによって一定のフレームレート表示像シーケン スを発生させるようにしたことを特徴とする。 １つの他のフレームの復号化から２つ以上の圧縮フレームを得ることにより特 に予測符号化方式に対しジャーキ像およびスキップフレームの上述した問題を解 決する。デコーダの完全なフレーム復号化レートよりもｎ倍速い圧縮フレームを 得ることにより圧縮像の各々を（スレシホルドレートで）準じに表示すべき表示 された像更新レートはスレシホルド以下の所望の像レートに対する更新レートの ｎ倍の増大に導かれるスキップフレームが実際的でなくなる場合の更新レートの １／ｎとなる さらに、本発明は上記符号化および復号化方法の他の特徴とともにかかるコー ディング方式を実施する符号化および復号化装置に関するものである。 本発明装置は請求項に記載した通りである。図面の簡単な説明 図１は従来のビデオフレームシーケンスをＭＰＥＧ標準方式に従って線図的に 表わす斜視図； 図２は本発明による修正フレームシーケンスを示す説明図； 図３は出力フレームの選択を示すフローチャート図； 図４は本発明を実施する符号化装置の構成を示すブロック線図； 図５は図２のフレームシーケンスを有する復号化兼ディスプレイ装置の構成を 示すブロック線図である。発明を実施するための最良の形態 本発明の基礎となる基本的な考えは、各入力フレームを２つ以上の空間的に小 さなフレームに分割することによりエンコーダ／デコーダシステムからの有効最 大フレームレートを増大させることである。また、この技術によってＭＰＥＧ復 号化方式を乱すことなく像フレームをスキップさせることである。これを図２に 示す。即ち、図２にはかかるシーケンスの最初の９個の符号化されたＭＰＥＧフ レームを示す。各（他の）フレームを２部分に分割し各部分がこのシーケンスか ら１つの像を有することは明らかである。従って、最初のＭＰＥＧ符号化フレー ムであるフレームＭ１はこの中に含まれるシーケンス（Ｓ１およびＳ２）から最 初の２つの像を有する。第２のＭＰＥＧ符号化フレームであるフレームＭ２は入 力シーケンス（Ｓ３およびＳ４）から第２および第３の像を有し、以下同様の繰 返しとなる。この技術はデコーダを必要とし、このデコーダによってディスプレ イに得られるこれら像を、以下に説明するように、ディスプレイのための像の部 分を選択し得るようにする。 システムを常規速度で動作させる場合には、入力ＭＰＥＧ符号化フレーム（Ｍ １，Ｍ２等）出力フレームレートの１／２のレートで復号化する。交互の出力フ レームでは、ディスプレイ像のソースが像の頂半部および底半部間でスワップさ れる。図２に示すシーケンスを考慮するに、第１のディスプレイ出力フレームに 対しては、Ｍ１の頂半部、Ｍ１の底半部、Ｍ２の頂半部等がディスプレイされる 。その結果は入力シーケンス像Ｓ１、Ｓ２、Ｓ３、Ｓ４等が正しいシーケンスで 表示されるようになる。 システムを常規速度以外の速度（像更新速度）で動作させる場合には、入力シ ーケンス像を（低い速度に対しては）繰返すかまたは（高い速度に対しては）選 択的にスキップする必要がある。ｎ個の入力像が１つのＭＰＥＧフレームにパッ クされる際に達成し得る最大値は前述したようにＭＰＥＧ復号化シーケンスを乱 すことなく常規像更新レートのｎ倍となる。出力フレームの好適なシーケンスを 選択するための好適な技術を図３のフローチャートにつき説明する。 第１ステップ110では現在の入力フレームポインタを入力像シーケンスのスタ ート位置に設定する。このスタート位置の値が全体の数でない場合には、次のス テップ112は第１の入力フレームを特定するフレームポインタ値の整数部分をと る必要があり、この第１の入力フレームからステップ114で第１の出力フレーム を発生する（上述した像を再位置決めおよび／または再寸法化する）。 次のフレームを決めるためには、ユーザの入力側に基づく入力速度値を（ステ ップ116で）計算して、出力フレーム更新レートを決めるようにする必要がある 。次いで、入力速度値（１つの出力フレームを発生させるために使用する入力フ レームの数であり、通常整数ではない）をステップ118でフレームポインタに加 えるとともに、シーケンスが完了しない限り（ステップ120で決まる）、手順は 、フローチャートポインタの整数部と入力速度値との和によって出力すべき次の 入力フレームを決めるステップ112に戻る。異なる表示像更新レートに対し選択 された入力シーケンス像の選択状態は図２のＭＰＥＧフレーム配列当たりの２つ の入力システム像につき次の表１に示す。 表１から明らかなように、ＭＰＥＧフレーム復号レートの２倍までの任意の変 化は順次のＭＰＥＧフレーム間の変化およびこれらフレーム内の入力シーケンス 像間の変化のパターンを用いることによって表示することができる。このパター ンは繰返しても繰返さなくてもよく、且つ、特に表示された像更新レートは一定 であろうが変化しようがこれに依存する。 前述した例の効果は像更新レートがシムレートされた車の速度の広範囲に亘っ て保持することができる。像シーケンスが(レーストラックを50ｋｍｈで周回す る車にカメラを取付けることによって)50ｋｍｈの車速に対し初期的に発生する 場合には50-100ｋｍｈの範囲でシムレートされた車の動作は新たな像で表わすと 完全に25Ｈｚレートとなる。速度が50kmh以下に減少すると、新たな像の更新レ ートは緩やかとなる。上述した例において2.5Ｈｚの許容し得ない像更新レート を発生する10ｋｍｈの速度の場合には、５Ｈｚの更新レートの改善が見られた。 使用に当たり、次の像フレームの選択に符号化フレームＭのどの区域を選択す る、および／または次の符号化フレームを選択するかが含まれる。各動作が有限 時間をとる場合には、最尤度の必要速度について像フレームの配列を最適とする ことにより両選択動作が２つの順次の像フレーム間で必要である状況を最小とす るのが好適である。他の像フレーム毎のスキップが、符号化フレームのどの区域 が読出されるかの選択の動作がそのままではフレームからフレームへの選択を必 要としないことを意味する場合に、図２のレイアウトは最大速度（即ち、レート ＝２；表１）で動作させるのが最適である。しかし、中庸のレート（レート＝１ ）では両選択動作は交互の像フレーム、Ｓ２，Ｓ４，Ｓ６等毎に必要となる。 レート＝１の速度またはこれ以下の速度で最適となる他の配列は図２の交互の 符号化フレームで像フレームの配列を反転させて符号化フレームの第１の像フレ ームが前のフレームの最終像フレームと同一位置となるようにする。これがため 、完全な像シーケンスが表示される場合には、次の像フレームを選択する際また はその逆の場合に像フレーム市を選択する必要はない。しかし、レート＝１以上 の速度では、両選択動作を行う必要があるか、または一層不整列のサンプルパタ ーン（それでも，所望速度で平均化される）を用いる必要がある。 この後者の配列は像フレームスキップを行わず、最大更新レートがレート＝１ に相当する、換言すれば、像フレーム毎に少なくとも一回現われる場合に特に有 利である。全ての像フレームを一回以上表示する場合には、更新レートの加速お よび減速を一層容易に且つスムースに処理することができる。その理由はこれが 像フレームを急に繰返すように配列する比較的簡単な事項であるが、欠けたフレ ームを回復させる試みは全くもって一層問題である。 対話型システムのエンコーダの好適な形状を図４に示す。本例では、ビデオ像 フレームの受信したシーケンスを圧縮段１０に入力させ、ここでこれらフレーム の大きさを減少させて他の（ＭＰＥＧ）フレームに含めるべき数により決まる区 域を占めるようにする。図２の例では各像フレーム（Ｓ１，Ｓ２等）を減少させ て、このフレームがＭＰＥＧフレームＭ１の区域の１／２よりも大きくない区域 を占めるようにする。フレームの区域を減少させる既知の技術は多数あるが、好 適なものは像フレームを多数の垂直方向に整列された水平画素ラインで構成する 際にｎラインの順次のグループをブロック平均化して平均画素値の単一ラインを 形成するものである。不完全な技術はｎライン毎にこれからｎ−１ラインを省略 して像の垂直方向の高さを１／ｎとすることであるが、これは導入されるエイリ アシング効果のため、好適ではない。圧縮入力フレームをＭＰＥＧフレームに形 成することはこれらをフレーム蓄積メモリ装置１２に逐次に読込むとともにｎ入 力フレーム毎に入力ビデオレートに同期してクロックされたエンコーダ制御ユニ ット１４に記憶された内容を読出すことによって好適に行うことができる。エン コーダ段１４の構成は使用する特定の符号化方式に依存する：ＭＰＥＧ標準規格 に従う予測符号化方式ではこれは代表的には、当業者が理解し得るように、多数 のフレームメモリおよび比較器を具える。 クロック化ハードウエア装置として図４に示す所から明らかなように符号化処 理はソフトウエウ実現お全体または一部をオフラインとすることによって実行で きる。かかる場合には、圧縮段１０および符号化段１４はデジタルビデオデータ 流の算術的操作と見なすことができる。 符号化に次いで、ＭＰＥＧデータ流をコンパクトディスクのような好適な形態 で蓄積する。異なる数の入力シーケンスフレームを含むＭＰＥＧフレームを処理 する適応可能性を有するデコーダによって、データ流を復号化する場合には、蓄 積されたデータ流は入力シーケンスフレームの配列を特定するデータを含むよう にするのが好適である。 対話型システムのデコーダおよびディスプレイアーキテクチュアを図５に示す 。システム中央演算装置（以下、ＣＰＵと称する）２０はユーザ制御装置２４か らＣＰＵへのレート信号入力により決まるレートでディスク読取器２２によって 順次のフレームからの読取りをトリガすることによりオン−ディスク蓄積部から 符号化ＭＰＥＧデータ流を得る。ユーザ制御装置２４はキーボード、マウスまた はジョイスティックのような入力装置の任意好適な形態のものとすることができ る。走行車の例に戻り、ＣＰＵが瞬時車速の好適なディスプレイ像更新レートお よびディスク読取器２２からの対応する所望のフレーム読取レートを計算するこ とに基づき、レート信号が現在の速度または所望の速度あるいは加速度を表わす ことができる。読取りに次いで、ＭＰＥＧ像フレームはデコーダ段２６に供給し て好適な復号化を行い図２のシーケンスのような完全なＭＰＥＧ像フレームのシ ーケンスを再生する。次いで、このシーケンスはＭＰＥＧフレーム位置へのメモ リアドレス割当てのセットパターンを有するランダムアクセスフレーム蓄積メモ リ２８に蓄積する：このようにして内包入力シーケンスフレームに対応するＭＰ ＥＧフレームの区域を既知のメモリアドレスから簡単に読取ることができる。 フレームストア２８からの所望の入力シーケンスフレームの読出しはＣＰＵ２ ０の制御の下で像選択ユニット３０によって実行する。この像選択ユニット３０ はテレビジョンユニット３２へのディスプレイ用の所望のフレームレートで（表 １に示すシーケンスフレームのような）選択された入力シーケンスフレームを具 えるディスプレイ像フレームシーケンスを出力する。ディスプレイ像フレームが その圧縮された大きさに対応するテレビジョンスクリーンの区域を占める必要が ある場合にはフレームをさらに処理する必要はない。フレームがテレビジョンス クリーンの大きな区域をカバーする必要がある場合には伸長ユニット３４を像選 択ユニット３０およびテレビジョン３２間に設けてフレームを所望のように“伸 長”する。像を伸長する技術は当業者にとって既知であり、例えば、像データを 広い区域に亘り分布させるとともに線形補間または非線形補間のようなフィルタ 処理技術を用いて中間値を発生させるか、あるいは単にデータのブロックを繰返 し用いてギャップを埋めるようにすることもできる。伸長ユニット３４の重要な 考察は、何れの技術を用いるとしても、ユーザが設定するレート値およびディス プレイで実現されるレート値間に著しいインターバルが生ずる程度に像のディス プレイを大きく遅延させてはならない。上述した技術が像区域または像ディスプ レイレートに対する解像度をトレードすることは明らかである。図２の例では、 像区域を半分にする効果は完全なディスプレイレートを２−１の速度範囲に亘っ て保持するとともに速度がこのレート以下に落ちる場合には更新レートを２倍に する必要がある。前述したように２以上の像を各ＭＰＥＧフレームにパックする こともできる。３つの像がフレーム毎にパックされると、全体に亘って完全な更 新レート像が支持される速度比は３倍に増大するとともに速度がこの範囲以下に 落ちる場合には像更新レートの改善は１／３になる。 本発明は上述した例にのみ限定されるものではなく要旨を変更しない範囲内で 種々の変形や変更が可能である。

Claims (1)

1. 【特許請求の範囲】 １．ビデオ像シーケンスを符号化するに当たり、 ａ）ｎ個の順次の像フレーム（ｎは１以上の整数）の各々に対し、フレーム を元の面積の１／ｎ倍に等しいか、またはそれ以下に空間的に圧縮するステップ と； ｂ）このｎ個の圧縮されたフレームを他の像フレームのオーバーラップしな いように配列するステップと；を具えるビデオ像シーケンスの符号化方法におい て、符号化すべきビット像シーケンスのｎ個の像の順次の群に対し上記ステップ ａ），ｂ）を遂行し、次いで、他の像フレームの合成シーケンスを所定の像シー ケンスコード化方式を用いて符号化することを特徴とするビデオ像シーケンスの 符号化方法。 ２．ｎ個の像フレームの各々には垂直圧縮処理を施すとともにｎ個のフレームは 他の像フレームにおいて垂直方向に整列させるようにしたことを特徴とする請求 項１に記載のビデオ像シーケンスの符号化方法。 ３．他の像フレームの符号化されたシーケンスを修正して各他の像フレーム内で ｎ個の像フレームの配列を特定するデータをを含めるようにしたことを特徴とす る請求項１または２に記載のビデオ像シーケンスの符号化方法。 ４．ｎ個の空間的に圧縮されたフレームの各群は、他の像フレームの、前の他の 像フレームのｎ個の空間的に圧縮されたフレームの群の最後のフレームに相当す る箇所に位置させるようにしたことを特徴とする請求項１に記載のビデオ像シー ケンスの符号化方法。 ５．請求項１に記載のビデオ像シーケンスの符号化方法により符号化されたビデ オ像のシーケンスを復号化するに当たり、 ａ）所定の像シーケンスコード化方式に従って符号化されたシーケンスを復 号化して他の像シーケンスを再生し； ｂ）所望の表示像更新レートを決め； ｃ）所望の表示像更新レートに依存して各他の像フレームから１つ以上の圧 縮された像フレームを選択することによって一定のフレームレート表示像シー ケンスを発生させるようにしたことを特徴とするビデオ像シーケンスの復号化方 法。 ６．所望の表示像更新レートが所定のスレシホルドレート以下となる際に、前記 空間的に圧縮された像のすべてを表示のために選択し、これら圧縮像の１つ以上 は順次に２回以上表示し、且つ、所望の表示像更新レートが所定のスレシホルド レート以上となる際に、前記空間的に圧縮された像のシーケンスから選択された １つ以上の像シーケンスを前記表示像シーケンスから省略することを特徴とする 請求項５に記載のビデオ像シーケンスの復号化方法。 ７．所望の表示像更新レートの所定の最大値に対し、前記表示像シーケンスが各 順次の他の像フレームからの１つの空間的に圧縮された像を具えることを特徴と する請求項５に記載のビデオ像シーケンスの復号化方法。 ８．ビデオ像シーケンスのフレームを受ける入力手段と； 前記入力手段からの順次の像フレームを受けるように接続され、これら順次 の像フレームの各々を元の面積の１／ｎ倍（ｎは１以上の整数）に等しいか、ま たはそれ以下に減少する圧縮手段と； 前記圧縮手段に接続され、ｎ個の順次の空間的に圧縮されたフレームをとる ように作動し得、これら圧縮フレームを他の像フレームにオーバーラップしない ように配列するフレーム配列手段と； 前記フレーム配列手段からの前記他の像フレーム出力を受けるように結合さ れ、所定の像シーケンスコード化方式に従って前記他の像フレームを符号化する フレーム符号化手段とを具えることを特徴とするビデオ像シーケンスの符号化装 置。 ９．各入力ビデオ像フレームは複数の垂直方向に整列された水平ラインで構成し 、且つ圧縮手段はｎラインの各順次の群に対し平均された画素値の水平ラインを 発生させることによりフレームを垂直方向に圧縮するように配列することを特徴 とする請求項８に記載のビデオ像シーケンスの復号化方法。 10．前記フレーム配列手段は逐次メモリ装置を具え、これに前記ｎ個の空間的に 圧縮されたフレームを逐次に書込むようにしたことを特徴とする請求項８に記載 のビデオ像シーケンスの復号化方法。 11．請求項１に記載のビデオ像シーケンスの符号化方法によって符号化されたビ デオ像シーケンスを表示のために復号化するように作動し得る対話型復号化装置 において、前記符号化されたシーケンスを受けるように配列された信号入力手段 と； 前記信号入力側に接続され、所定の像シーケンスコード化方式に従って受信 したシーケンスを復号化し得るように作動して、前記他の像フレームのシーケン スを発生させるようにした復号化手段と； ユーザ入力側で決まり、特定の範囲内にあり、所望の表示像更新レートを示 すレート信号を出力するように配列されたユーザ入力手段と； 前記復号化手段および前記ユーザ入力手段に結合され、各他の像フレームか らの１つ以上の圧縮された像フレームをを前記レート信号に応じて選択すること により一定のフレームレート表示像シーケンスを発生するように作動し得る像選 択手段とを具えることを特徴とする対話型復号化装置。 12．前記像選択手段からの選択圧縮フレームを受けるように接続され受信した圧 縮フレームをフィルタを用いて伸長するように作動し得る伸長手段をさらに具え るようにしたことを特徴とする請求項11に記載の対話型復号化装置。