JP3812155B2

JP3812155B2 - 動画像デコーダ

Info

Publication number: JP3812155B2
Application number: JP19814798A
Authority: JP
Inventors: 悟史宮地; 修一松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 1998-06-30
Filing date: 1998-06-30
Publication date: 2006-08-23
Anticipated expiration: 2018-06-30
Also published as: JP2000023158A

Description

【０００１】
【発明の属する技術分野】
本発明は、符号化された動画像データを復号及び表示する動画像デコーダに関する。より詳細には、低ビットレートで伝送する場合に、有効な発生情報量に応じてフレーム間隔を変更する可変フレームレート方式に対応するフレーム表示間隔制御手段を有した可変フレームレート動画像デコーダに関する。
【０００２】
【従来の技術】
近年、インターネット及び移動体デジタル通信の普及により、低ビットレートでの画像圧縮符号化が、様々なアプリケーションに応用可能な技術として注目されている。特に、従来の可変フレームレート動画像デコーダは、発生情報量を抑えるために、フレームを間引き（スキップ）して復号画像の表示を行っている。フレームの間引きは、ビットストリームに記載されているフレーム間隔情報（フレームスキップ情報）に従って行われる。
【０００３】
図１は、従来の可変フレームレート動画像デコーダの構成図である。該デコーダは、画像デコーダ１、フレームメモリ２、表示フレームメモリ３及び遅延スイッチ制御部４から構成されている。フレームメモリ２は、画像デコーダ１から出力された画像データを表示可能になるまで一時的に蓄積するものである。表示フレームメモリ３は、スクリーンへの表示直前のメモリであって、表示する動画像単位で蓄積される。遅延スイッチ制御部４は、該フレームメモリ２に蓄積された画像データを、該表示フレームメモリ３へ送るための切換制御を行うものである。該遅延スイッチ制御部４は、画像デコーダ１が受信したＶＢＶ（仮想受信バッファ：video buffering verifier）遅延値に基づいて、表示タイミングを制御する。
【０００４】
図２は、従来の方式における、動画像データのエンコードから表示までのタイミング図である。該図２において、
Ｐ_n ：ｎ番目の符号化画像
ｆｅ_n ：画像Ｐ_n から画像Ｐ_n+1 までのエンコードフレーム間隔
ｃ_n ：画像Ｐ_n を伝送するのに必要な時間
ｆｄ_n ：画像Ｐ_n から画像Ｐ_n+1 までの表示フレーム間隔
ｖｄ_n ：画像Ｐ_n のストリーム先頭が受信バッファに入力されてから実際に表示されるまでの時間（ＶＢＶ遅延値に相当）
を意味する。
【０００５】
図２（ａ）は、画像データ単位Ｐ₁ 〜Ｐ₇ が、タイミング間隔ｆｅ₁ 〜ｆｅ₆ でエンコードされたことを表している。図２（ｂ）は、図２（ａ）のタイミングでエンコードされた画像データを送信する送出バッファのデータ残存量を表している。図２（ｃ）は、図２（ｂ）のタイミングで送出された画像データを受信するＶＢＶのデータ残存量を表している。図２（ｄ）は、図２（ｃ）のタイミングで受信した画像データを表示するタイミングを表している。
【０００６】
例えば、図２（ａ）において、画像データＰ₁ がエンコードされると、ｆｅ₁ のフレーム間隔をおいてＰ₂ がエンコードされている。Ｐ₁ は、エンコードされると、図２（ｂ）に示されたように送出バッファに蓄積され、時間ｃ₁ が経過したときに送出が完了することを示している。そして、図２（ｃ）に示すように、送出されたＰ₁ は、ＶＢＶバッファに蓄積される。前述した第２の表示タイミングは、Ｐ₁ がエンコードされた後で時間ｃ₁ が経過したとき表示されるものであり、図２（ｃ）及び（ｄ）において破線で示されている。Ｐ₂ は送出バッファからの送出が完了したときに表示される。従って、Ｐ₁ 及びＰ₂ のフレーム間隔ｆｅ₁ は保証されない。一方、前述した第１の表示タイミングは、Ｐ₁ がエンコードされた後で時間ｖｄ₁ が経過したとき表示されるものである。Ｐ₂ は、Ｐ₁ がエンコードされた後で時間ｆｄ₁ が経過したとき表示される。ｆｄ₁ ＝ｆｅ₁ なので、Ｐ₁ 及びＰ₂ のフレーム間隔ｆｅ₁ は保証されている。
【０００７】
画像データＰ_n をエンコードした瞬間から受信側でデコード表示するまでの遅延量をＤｌｙ_n は、
ｎ≧２のとき、
Ｄｌｙ_n ＝Ｄｌｙ_n-1 ＋ｆｄ_n-1 −ｆｅ_n-1 （１）
ｎ＝１のとき、
Ｄｌｙ₁ ＝ｖｄ₁ （２）
となる。
【０００８】
これにより、以下の式（３）を得る。
【数１】

【０００９】
また、デコード側とエンコード側とのフレーム表示間隔が異なる場合に生じるフレーム表示間隔誤差Ｄｅｒｒ_ｎは、以下のようにして与えられる。
【数２】

【００１０】
一方、ｖｄ_n に関しては、その定義より以下の式で表される。
【数３】

【００１１】
但し、ＶＢＶバッファのオーバフロー、アンダーフロー防止を考慮して、
ｃ_n ≦ｖｄ_n ≦Ｂ（Ｂはバッファサイズ）（９）
が条件となる。
【００１２】
図２（ｄ）は、従来の２つの表示タイミングを表している。第１の表示タイミングは、エンコード時のフレーム間隔に従って、即ち図２（ｄ）のＰ_n のタイミングで表示する。第２の表示タイミングは、符号化ストリーム到着と同時に、即ち図２（ｃ）のＰ_n からの破線の位置で表示する。
【００１３】
第１の表示タイミングにおいて、受信側での画像の表示間隔を、エンコード時に従うよう制御を行った場合、ｆｄ_n ＝ｆｅ_n となるので、式（３）より、
Ｄｌｙ_n ＝ｖｄ₁ （１０）
となり、表示遅延は常に一定である。該第１の表示タイミングは、表示遅延最大で且つ表示誤差無しのものである。
【００１４】
また、バッファのアンダーフロー条件より、式（８）及び式（９）から以下の式（１１）（１２）が求められる。
【数４】

【００１５】
エンコーダで発生する情報量を伝送するのに必要な時間の合計は、フレーム間隔の総和とほぼ等しいと考えられるので、Σｆｅ_n ≒Σｃ_n とし、またｆｅ_n ＝ｆｄ_n であるから以下の式（１３）となる。
ｃ_n ≦ｖｄ₁ （１３）
【００１６】
全てのｎに対して成り立つ必要があり、またオーバフロー条件も考慮して、以下の式（１４）が条件となる。
【数５】

【００１７】
また、フレーム表示間隔誤差は、式（６）（７）より、
Ｄｅｒｒ_ｎ＝０
となる。従って、遅延量は常にｖｄ_１であるが、表示間隔誤差は常に０である。
【００１８】
第１の表示タイミングでは、可変フレームレート方式において、受信側での画像表示を、送信側のエンコード時のフレーム間隔と同一に保つ場合、全てのフレームの表示タイミングを、少なくとも最大発生情報量に相当する時間だけ遅らせなければならない。従って、１フレームの発生情報量を伝送する時間が大きくなる傾向にある極低レート下では大きな遅延の原因となる。
【００１９】
第２の表示タイミングにおいて、ｖｄ_n ＝ｃ_n となるので、式（８）より、以下の式（１６）（１７）（１８）が求められる。
【数６】

該第２の表示タイミングは、表示遅延最小で且つ表示誤差有りのものである。
【００２０】
前述したように、Σｆｅ≒Σｃ_n として、
Ｄｌｙ_n ＝ｃ_n （１９）
を得る。これは、式（９）のバッファ条件を満たす。遅延量は最小となり、バッファアンダーフロー条件の下限値である。また、第１の表示タイミングの遅延量を明らかに下回る。
【００２１】
フレーム表示間隔誤差に関しては、式（６）より、
Ｄｅｒｒ_ｎ＝｜ｆｅ_ｎ−１−ｃ_ｎ｜（２０）
となり、表示誤差は、第１の表示タイミングのフレームと、第２の表示タイミングのフレームとの発生情報量の差に依存して生じる。従って、本表示方法を用いた場合は、遅延量は伝送直後であり最小となるが、表示誤差が生じる。
【００２２】
第２の表示タイミングでは、受信側でのフレーム間隔を意識せず、画像データ到着と同時に復号及び表示を行うことも可能であるが、この場合、表示遅延は、フレームスキップの大きさに依存するため、平均遅延量は小さくなるが、エンコード時のフレームスキップと受信側でのフレーム表示間隔が異なるために、表示時刻の誤差が大きくなり、動きの不自然な再生画像となる。
【００２３】
従って、リアルタイム伝送の場合、デコーダにおいて、まず最初の受信画像を到着直後に復号し、フレームメモリを蓄積する。以後、各フレームを受信する毎に復号し、フレームメモリを蓄積する。また、フレーム表示に関しては、先頭のフレームについては、考えられる最大の発生情報量の伝送時間に相当する時間分だけ表示時刻を遅らせて表示し、それに続くフレームに関しては、フレーム表示間隔情報に従って、次々とフレームメモリの内容の表示を行っていた。
【００２４】
【発明が解決しようとする課題】
しかしながら、従来のデコーダでは、フレーム表示間隔は、符号化時に決定された表示タイミングに従い、受信側でのフレーム間隔の制御が行われていないために、リアルタイム動画像符号化伝送において、以下のような問題が生じていた。
【００２５】
第１の表示タイミングにおいては、符号化時のフレーム表示間隔に従ってデコーダ側で表示を行うためには、必ず指定の表示時刻までに画像情報が受信側に到着している必要があるために、最大発生情報量の伝送時間に相当する分（ｖｄ₁ ）だけ表示時刻を予め遅らせる必要がある。そのため、平均の発生情報量は、小さいのに稀に存在する発生情報量の大きな画像がある場合には、その発生情報量分だけ表示を遅延させる必要があり、結果として伝送遅延量が大きくなる。
【００２６】
一方、第２の表示タイミングにおいては、伝送遅延量を小さくするために、符号化時のフレーム表示間隔を全く無視して、デコーダにて符号化情報の到着と同時に復号及び表示を行うことも可能であるが、この場合、フレーム表示間隔がエンコーダ側とデコーダ側とで大きく異なるために、画像中の物体の動きが不自然になるといった問題がある。
【００２７】
そこで、本発明は、表示遅延と動きの不自然さとを共に小さくするために、仮想受信バッファモデルを可変フレームレートに拡張した、新たなフレーム間隔制御手段を有する動画像デコーダを提供することを目的とする。
【００２８】
【課題を解決するための手段】
従って、本発明の動画像デコーダは、
画像デコーダと、
画像デコーダによって復号された画像データを一時的に蓄積するフレームメモリと、
伝送遅延量Ｄｌｙとフレーム間隔誤差値Ｄｅｒｒとの二乗和が最小となる遅延値を出力するフレーム間隔制御手段と、
フレームメモリに蓄積された画像データを表示部へ出力する表示タイミングを、遅延値に基づいて制御する遅延スイッチ制御手段と
を有し、
伝送遅延量Ｄｌｙは、エンコーダ側における符号化された時刻と、デコーダ側における表示された時刻との差であり、
フレーム間隔誤差値Ｄｅｒｒは、エンコーダ側における符号化時のフレーム間隔に基づくフレーム表示時刻と、デコーダ側における実際の表示時のフレーム間隔に基づくフレーム表示時刻との差である
ことを特徴とする。
これにより、図２（ｄ）に表された第１の表示タイミング（破線）と第２の表示タイミング（実線）との間で、遅延量及び表示誤差の一方に偏ることなく、最適な表示タイミングで表示することが可能となる。
【００２９】
本発明の他の実施形態によれば、伝送遅延量Ｄｌｙに第１の重み付けη（０＜η＜１）を乗じ、フレーム間隔誤差値Ｄｅｒｒに第２の重み付け（１−η）を乗じることによって、遅延量及び表示誤差の間の優先度のバランスを考慮することも好ましい。これにより、遅延量及び表示誤差の優先度のバランスを考慮した最適な表示タイミングで表示することが可能となる。
【００３２】
【発明の実施の形態】
図３は、本発明による動画像デコーダの構成図である。図１と比較して、フレーム間隔制御部５が備えられている。該フレーム間隔制御部５は、画像デコーダ１からＶＢＶ遅延値Ｖｄ_ｎと、エンコードフレーム時フレーム間隔ｆｅ_ｎと、画像伝送に必要な時間ｃ_ｎとを受信して、フレーム間隔制御信号を遅延スイッチ制御部４を制御するものである。
【００３３】
従来の制御方式である、表示遅延最大で且つ表示誤差無しの第１の表示タイミングと、表示遅延最小で且つ表示誤差有りの第２のタイミングとについて、本発明によるフレーム表示間隔制御装置は、評価関数を用いて受信バッファ遅延値ｖｄ_n を制御することにより、表示誤差の増大を抑えながら遅延量を小さく保って表示することができる。
【００３４】
本発明は、処理フレーム番号Ｎにおける平均伝送遅延量Ｄｌｙ_Ｎ、平均フレーム表示間隔誤差Ｄｅｒｒ_Ｎの二乗和を評価関数として用いて、これを最小とするｖｄ_Ｎを逐次求めることで、フレーム表示タイミングの制御を行う。これは、以下の式によって表される。
【００３５】
【数７】

【００３６】
これにより、ｖｄ_N がＥの最小値を与える。また、ηに関して、η≧０．５のとき遅延量優先型の制御となり、η＜０．５のとき表示誤差優先型の制御となる。
【００３７】
図４は、式（２３）によるフレーム間隔制御手段の内部構成図である。
【００３８】
図５は、優先度パラメータηに対する、フレーム処理番号と遅延との関係図である。図６は、優先度パラメータηに対する、フレーム処理番号とタイミングエラーとの関係図である。
【００３９】
η＝０では完全に表示誤差を優先した制御となり、遅延量は最大値で一定で、且つ表示誤差無しの状態となる。ηを大きくするに従って、情報発生の小さいフレームに関して遅延及び誤差共に小さくなるが、情報量の大きいフレームに対する表示誤差が大きくなる傾向となる。η＝１においては、完全に到着直後の表示となり、遅延は伝送に必要な最小限となり、表示誤差は全く制御の対象とならない。
【００４０】
実際の動画像伝送においては、定常的な性質を持つシーンにおいて遅延量を小さく設定しながら、表示誤差も正確に管理することが可能となる。突発的に発生するシーンチェンジ等については、少々の表示誤差を許容して、限りなく到着直後に表示することを意味する。
【００４１】
前述の説明では、本発明の一実施形態について説明したが、様々な応用について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。従って、前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその等価物として限定されるものにのみ制約される。
【００４２】
【発明の効果】
以上、詳細に説明したように、本発明の動画像デコーダは、デコーダ側で符号化時のフレーム間隔に完全に従うか、又はそれを完全に無視するかの択一的選択によって画像を表示するのではなく、遅延量及び表示誤差の双方を考慮したフレーム表示間隔の制御が可能となる。
【図面の簡単な説明】
【図１】従来の動画像デコーダの構成図である。
【図２】従来の動画像デコーダの各段階のタイミング図である。（ａ）はエンコードタイミング図であり、（ｂ）は送出バッファのデータ残存量を表す図であり、（ｃ）はデコーダの仮想受信バッファのデータ残存量を表す図であり、（ｄ）は表示タイミング図である。
【図３】本発明による動画像デコーダの構成図である。
【図４】本発明によるフレーム間隔制御手段の内部構成図である。
【図５】本発明によるパラメータηに対する、フレーム処理番号と遅延との関係図である。
【図６】本発明によるパラメータηに対する、フレーム処理番号とタイミングエラーとの関係図である。
【符号の説明】
１画像デコーダ
２フレームメモリ
３表示フレームメモリ
４遅延スイッチ制御部
５フレーム間隔制御部

Claims

画像デコーダと、
前記画像デコーダによって復号された画像データを一時的に蓄積するフレームメモリと、
伝送遅延量Ｄｌｙとフレーム間隔誤差値Ｄｅｒｒとの二乗和が最小となる遅延値を出力するフレーム間隔制御手段と、
前記フレームメモリに蓄積された前記画像データを表示部へ出力する表示タイミングを、前記遅延値に基づいて制御する遅延スイッチ制御手段と
を有し、
前記伝送遅延量Ｄｌｙは、エンコーダ側における符号化された時刻と、デコーダ側における表示された時刻との差であり、
前記フレーム間隔誤差値Ｄｅｒｒは、エンコーダ側における符号化時のフレーム間隔に基づくフレーム表示時刻と、デコーダ側における実際の表示時のフレーム間隔に基づくフレーム表示時刻との差である
ことを特徴とする動画像デコーダ。
前記伝送遅延量Ｄｌｙに第１の重み付けη（０＜η＜１）を乗じ、前記フレーム間隔誤差値Ｄｅｒｒに第２の重み付け（１−η）を乗じることによって、遅延量及び表示誤差の間の優先度のバランスを考慮することを特徴とする請求項１に記載の動画像デコーダ。