JP5549681B2 - 動画像符号化データの表示方法、装置及び通信システム - Google Patents

Description

本発明は、有線、無線を問わず既存のネットワークなどを介して配信される動画像符号化データの表示技術に関し、特に、表示装置に表示される映像の伝送エラーに起因した画質劣化を隠蔽可能にする方法、装置及び通信システムに関するものである。

近年、高速データ通信技術の発展に伴い、既存のネットワークを介した動画像データなど大容量データの送受信がネットワーク利用者単位で可能になってきた。しかしながら、大容量データの送受信は、勢いトラフィックの増大を招いてしまうため、一部のネットワーク利用者によってネットワーク資源が占有される状況を招いてしまう。このような状況は、ネットワーク利用者全体がネットワーク資源を享受することを困難にするため、通信事業者、サービスプロバイダ等では、伝送チャネルごとに帯域制限を加えることで、ネットワーク資源が一部のネットワーク利用者に占有されないような運用が実施されている。

一方、ディジタル信号処理技術の発展に伴い、制限された帯域幅の伝送チャネルを介してより効率的なデータ伝送を可能にするため、動画圧縮技術も盛んに研究されている。特に、このような動画圧縮技術には、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍoｔｉｏｎ−ＪＰＥＧ２０００、Ｈ２６４などが知られており、送信側において画像フレームごとの圧縮（符号化）が行われる一方、受信側では圧縮された画像フレームごとに復号化していくことで、モニタ等への動画像表示を可能にしている。

しかしながら、ネットワークを利用した動画像配信サービスなどでは、通信品質等の劣化に起因した伝送エラーが頻繁に発生する。この場合、受信側で再生されたモニタ映像にはブロックノイズ等が発生するなど、明らかな画質劣化が生じてしまう。そのため、以下の特許文献１〜３には、動画像配信サービスにおいて伝送エラーが発生した場合でも、送信側から受信側への動画像データの再送処理や、正常に受信されなかった動画像データに対するエラー回復処理を実行することで、可能な限り動画像データ再生時の画質劣化を防ぐための技術が開示されている。

特表２００７−５１９３３８号公報 特開２００７−２１１５１１号公報 特開２００８−２０３５９７号公報

発明者らは、従来の動画像符号化データに対する表示技術、特にエラー補償技術（エラー隠蔽技術ともいう）について検討した結果、以下のような課題を発見した。すなわち、上述の特許文献１〜３に記載された技術は、動画像符号化データの送受信において伝送エラーが発生した場合でも、再送処理や、エラー回復処理（誤り訂正、フレーム間予測による補間など）などの画像復元処理を実行することにより、可能な限りモニタ表示される動画像の画質劣化を防ぐことを主目的とした技術ではある。しかしながら、最終的に回復できない場合には画質劣化を伴いながら配信された動画像をモニタ等に表示することとなる。そのため、モニタ映像にはブロックノイズ等が発生するなど、明らかな画質劣化が観察者に認識される。特に、実際の動画像符号化データの送受信では、その対応可能な範囲超えるデータ劣化が生じてしまうため、表示画像の品質劣化は避けられないという課題があった。

本発明は、上述のような課題を解決するためになされたものであり、可能な限り画像復元処理により動画像データ再生時の画質劣化を回避する一方、伝送エラーに起因した表示映像の画質劣化を観察者に認識されないよう隠蔽する動画像符号化データの表示方法、装置及び通信システムを提供することを目的としている。

一般に、一定レベル以上のフレームレートを持つ動画像データの品質が劣化する場合、観察者には、画質自体の劣化よりもフレームレートの低下の方が、より認識しづらいことが知られている。本発明は、このような観察者の視覚特性に着目して完成されたものであり、可能な限り再送処理、エラー回復処理等の画像復元処理を実行しつつ、表示される映像の画質劣化を観察者に認識させることなく、効果的に伝送エラーに起因したデータ欠損等を隠蔽することを可能にする。具体的に、本発明に係る通信システムは、ネットワークへ接続されたサーバなどの送信手段と、端末装置などの受信手段を備え、それぞれが複数種類の階層的スケーラビリティにより構成されるとともに圧縮された複数の画像フレームの符号化データにより構成されるとともに所定の伝送手段を介して配信される動画像符号化データを処理対象とする。特に受信手段で行われる表示方法（本発明に係る動画像符号化データの表示方法）は、配信される複数の画像フレームの符号化データを順次受信していく受信工程と、受信された複数の画像フレームのうち単位時間当たりに表示されるべき複数の対象画像フレームから復号化対象とすべき画像フレームを順次選別していく選別工程と、復号化工程と、表示工程を備える。なお、本発明は、動画像符号化データの表示に際し、単独で適用されてもよく、また、従来のエラー隠蔽技術と組み合わせて適用されてもよい。

選別工程は、単位時間当たりに表示されるべき対象画像フレームであって所定のフレーム間隔で配置された対象画像フレームの符号化データに含まれるスケーラビリティそれぞれについて、伝送エラーに起因したデータ欠損率を計算し(エラー判定)、対象画像フレームそれぞれのうち復号化すべき対象画像フレームを、得られた計算結果に基づいて選別する。復号化工程は、選別工程において選別された対象画像フレームの符号化データのみを復号化する。したがって、選別工程では、選別されなかった対象画像フレーム（一定レベル以下にデータ品質が劣化したことにより復号化対象とならなかった対象画像フレーム）については廃棄される。また、表示工程は、復号化工程において復号化された対象画像フレームのフレーム数に基づいてフレームレートを調整しながら、該対象画像フレームを所定の表示装置に表示していく。

上述のように本発明によれば、一定品質以上の画像フレームを、フレームレートを調整しながら所定の表示装置に表示していくことにより、表示映像の画質劣化を効果的に隠蔽することが可能になる。また、本願発明に係る表示方法と従来のエラー隠蔽技術とを組み合わせた構成では、エラー判定により本来であれば復号化対象とならない対象フレームであっても許容範囲内であれば、従来のエラー隠蔽技術によりエラー回復させることにより復号化対象となり得る。この場合、廃棄される動画像フレームのフレーム数を減らせるため、本発明による隠蔽効果を更に向上させることが可能になる。

なお、本発明に係る動画像符号化データの表示方法において、対象画像フレームの符号化データの受信完了までの間、受信した符号化データに含まれる欠損データの再送リクエストが行われるのが好ましい。欠損データを解消するための再送リクエストにより復号化可能なデータを受信することが出来れば、画像復元処理や破棄の判断が不要になる。結果的に、復号化可能なデータを受信した時点で欠損データの数を低減させることが可能になるからである。通常、１つの像フレームはパケット単位で送受信されるが、ここで、「符号化データの受信完了」時点とは、例えば、対象画像フレームの最終パケット受信時、次の対象画像フレームの先頭パケット受信時、タイムアウト時などによって決定されればよい。また、再送リクエストを受けた欠損データに相当する符号化データは、他の送信予定の符号化データに優先して配信されるのが好ましい。再送リクエストの対象となった欠損データに相当する符号化データ（配信前においては復号化可能な正常な符号化データ）の再送が遅れると、次以降の画像フレームの復号化処理の遅延を招くからである。

本発明に係る動画像符号化データの表示方法の選別工程において、データ欠損率の計算結果とともに、受信されたデータ間の連続性に基づいて、対象画像フレームそれぞれのうちから復号化すべき対象画像フレームが選別されてもよい。データ欠損率が許容範囲外となった符号化データであっても、受信データの連続性が一定以上確保されたデータであれば、同フレーム内の他の受信データやフレーム間予測などによってロス隠蔽、データ補完などが可能な程度の情報が十分得られるからである。

また、本発明に係る動画像符号化データの表示方法の選別工程において、復号化の対象から除外された対象画像フレームのうち少なくともいずれかについて、再送リクエストを行ってもよい。破棄対象となった画像フレームであっても、その画像特性によっては再度データ欠損率が許容範囲に収まるまで再送リクエストを行うことが妥当な場合もあり得るからである。

本発明に係る動画像符号化データの表示方法において、表示工程におけるフレームレートの調整では、単位時間当たりに表示されるべき対象画像フレームの、時間軸上の位置を変更することなく、選別工程において選別されなかった対象画像フレームのみが廃棄される。ただし、選別工程により複数の画像フレームが連続して廃棄されると、表示される対象画像フレームのフレーム間隔が広がってしまい、観察者に対象画像フレームのスキップ表示が認識されてしまう。このような場合におけるフレームレートの調整では、復号化工程において復号化された対象画像フレームが、それぞれのフレーム間隔が一致するよう単位時間内に均等配置されるのが好ましい。何れのフレームレート調整によっても、上述のように、表示される対象画像フレームは品質劣化がないか少ないため、観察者の視覚特性により表示される映像の画質劣化を効果的に隠蔽することが可能になる。

本発明に係る動画像符号化データの表示方法は、対象画像フレームのうち隣接する対象画像フレーム間を比較することにより画素移動を検知し、画素移動が検知された対象画像フレームのフレームデータにおける空間領域に、選別工程における選別基準値を決定するための重み付けを行うことも可能である。なお、画素移動が検知される空間領域は、観察者に視認される可能性の高い領域であり、可能な限り、表示されるべき対象画像フレームの廃棄を回避するのが好ましい。そのため、画素移動が検知された対象画像フレームについて、他の対象画像フレームよりも選別基準値を低くするよう、差別化するのが好ましい。

本発明に係る動画像符号化データの表示方法において、受信工程で受信される対象画像フレームの符号化データは、優先順位の異なる複数種類の情報を含む。また、対象画像フレームの符号化データは、該優先順位の高い情報から順に配信される。1つの画像フレームが複数の送信パケットに分割される際、より重要性（画像復号化への寄与度）の高い情報から優先的に送信することで、回復の可能性が高くなるからである。また、優先順位としては、例えば、画質、解像度、色コンポーネント、位置（空間領域）の順とするなどの予め送信側で決定されているものとする。

本発明に係る表示装置は、上述のように構成された動画像符号化データの表示方法を実現するための装置であり、少なくとも、入出力部と、メモリと、制御部と、表示部を備える。具体的に、入出力部は、それぞれが圧縮された複数の画像フレームの符号化データにより構成された動画像符号化データを、所定の伝送手段を介して取り込む。メモリは、入出力部を介して取り込まれた動画像符号化データを一旦格納する。制御部は、上述のように構成された動画像符号化データの表示方法（本発明に係る動画像符号化データの表示方法）を実行する。表示部は、制御部により調整されたフレームレートで、復号化された対象画像フレームを順次表示していく。

なお、本発明に係る各実施例は、以下の詳細な説明及び添付図面によりさらに十分に理解可能となる。これら実施例は単に例示のために示されるものであって、この発明を限定するものと考えるべきではない。

また、本発明のさらなる応用範囲は、以下の詳細な説明から明らかになる。しかしながら、詳細な説明及び特定の事例はこの発明の好適な実施例を示すものではあるが、例示のためにのみ示されているものであって、本発明の範囲における様々な変形および改良はこの詳細な説明から当業者には自明であることは明らかである。

本発明に係る動画像符号かデータの表示方法、装置及び通信システムによれば、可能な限りエラー回復処理等により動画像データ再生時の画質劣化を回避しながら、劣化画像フレームのみを廃棄するとともに表示用のフレームレートを調整しながら復号化された画像フレームを順次所定の表示装置に表示していく。そのため、廃棄される劣化画像フレームを最小限に抑制しつつ表示映像の画質劣化が効果的に隠蔽され得る。

本発明に係る動画像符号化データの表示方法の一実施形態を実現するためのシステム構成（本発明に係る通信システム）の一例を説明するための概念図である。 図１に示された端末装置（本発明に係る表示装置）の具体的な構造を示す図である。 表示対象となる動画像符号化データの構造を説明知るための図である。 本発明に係る動画像符号化データの表示方法の一実施形態における主要工程を説明するためのフローチャートである。 本発明に係る動画像符号化データの表示方法のうち破棄判定処理を説明するためのフローチャートである。 本発明に係る動画像符号化データの表示方法における重み付け工程を説明するための図である。 本発明に係る動画像符号化データの表示方法におけるフレームレート調整の第１例を説明するための図である。 本発明に係る動画像符号化データの表示方法におけるフレーム調整の第２例を説明するための図である。

以下、本発明に係る動画像符号化データの表示方法、表示装置及び通信システムの各実施形態を、図１〜図８を参照しながら詳細に説明する。なお、図面の説明において同一の要素には同一符号を付して重複する説明を省略する。

図１は、本発明に係る動画像符号化データの表示方法の一実施形態を実現するためのシステム構成（本発明に係る通信システム）の一例を説明するための概念図である。本発明の表示対象となる動画像符号化データは、図１に示されたように、通信システムにおいて、動画像符号化データの送信手段であるサーバ２０からネットワーク１０を介して該動画像符号化データの受信手段である各端末装置３０（図中、端末Ａおよび端末Ｂで示す）に配信され、それぞれが圧縮された複数の画像フレームの符号化データにより構成されている。なお、図１に示された通信システムにおいて、ネットワーク１０に接続された端末装置のうち何れかが、コンテンツ配信を制御するサーバとして機能し、他の端末装置３０が受信用端末装置（本発明に係る表示装置）として機能する。

サーバ２０は、複数種類の配信用コンテンツが格納されたデータベース２１（図中、Ｄ／Ｂで示す）を備えており、このＤ／Ｂ２１から読み出された映像データを画像フレームごとに圧縮することで（符号化２２）、動画像符号化データが生成される。サーバ２０は、このように生成された動画像符号化データ（複数の分割された送信パケット）を、ネットワーク１０を介して、配信要求のあった端末装置３０（例えば端末Ａ）に配信する（送信２３）。なお、サーバ２０では、端末Ａからの再送リクエストを受信し（リクエスト受信２４）、送信パケットの送信順序を調節する。

サーバ２０から配信される動画像符号化データは、例えば、画質、解像度、色コンポーネント、位置の順に予め優先順位が決定されており、サーバ２０は、動画像符号化データとして、この優先順位の高い送信パケットから順に端末Ａへ配信する（送信２３）。

一方、端末Ａでは、ネットワーク１０を介してサーバ２０から送信された動画像符号化データを受信し（受信３１）、単位時間当たりに表示されるべき対象画像フレームの選別および廃棄を行う（エラー判定３２）。端末Ａでは、選別された対象画像フレームの復号化を行った後（復号化３３）、表示用のフレームレートを調整しながら所定の表示装置に順次表示していく（表示３４）。なお、端末Ｂにおいても端末Ａと同様の表示制御が行われる。また、エラー判定３２は、復号化３３の前、復号化３３の最中、また、復号化３３の終了後の何れもタイミング行われてもよい。

また、端末Ａでは、対象画像フレームの符号化データの受信完了までの間、欠損データの数を低減させるため、受信した符号化データに含まれる欠損データの再送リクエストが行われる（リクエスト送信３５）。ここで、「符号化データの受信完了」時点とは、例えば、対象画像フレームの最終パケット受信時、次の対象画像フレームの先頭パケット受信時、タイムアウト時などによって決定される。一方、サーバ２０では、再送リクエストを受けた欠損データを含む送信パケットを、他の送信パケットに優先して配信する（送信２３）。

図２は、図１に示された端末装置３０（本発明に係る表示装置であって、図１中の端末Ａ、端末Ｂそれぞれに相当する）の具体的な構造を示す図である。図２に示された端末装置は、情報処理部３００と、表示用モニタ４００により構成され、情報処理部３００は、入出力部３１０（Ｉ／Ｏ）と、制御部３２０と、描画部３３０と、入出力部３４０と、メモリ３５０を備える。

具体的に、Ｉ／Ｏ３１０は、ネットワーク１０を介して動画像符号化データを取り込むためのインターフェースである。また、Ｉ／Ｏ３４０は、外部入力装置であるキーボード４１０やマウス（ポインティングデバイス）４２０のインターフェースである。メモリ３５０は、Ｉ／Ｏ３１０を介して取り込まれた動画像符号化データ、本発明に係る動画像符号化データの表示方法を実行するためのプログラム、各種制御データ等が格納される。制御部３２０は、メモリ３５０に格納されているプログラム（本発明に係る動画像符号化データの表示方法を実行するためのプログラム）を実行する。描画部３３０は、制御部３２０が復号化した画像フレームを順次表示用モニタ４００に表示させる画像プロセッサであり、制御部３３０からの表示制御信号に従って、所定のフレームレートで復号化された画像データを表示用モニタ４００に表示していく。

上述のような構造を有する端末装置３０において表示制御の対象となる動画像符号化データの構造を図３に示す。なお、図３は、表示対象となる動画像符号化データの構造を説明するための図である。

動画像データ自体は、図３の領域（ａ）に示されたように、時間軸上において一定間隔（フレーム間隔）を空けて配置された複数の画像フレームｆ_ｎ（ｎ＝０、１，２、…）により構成されており、これら複数の画像フレームｆ_０〜ｆ_ｎ＋１それぞれを圧縮（符号化）することにより動画像符号化データが得られる。なお、フレームレート単位時間Ｔ中に配置された表意されるべき画像フレームのフレーム数で規定される。

図３の領域（ｂ）には、一例としてMotion-JPEG2000の画像フレーム、すなわち、画像フレームｆ_ｎのフレームデータの構造が示されている。画像フレームｆ_ｎは、複数種類の階層的スケーラビリティにより構成されており、各スケーラビリティとしては、色コンポーネントＡ、Ｂ、Ｃ、画質Ａ１、Ｂ１、Ｃ１、解像度Ａ２、Ｂ２、Ｃ２、空間領域Ａ３、Ｂ３、Ｃ３が指定されている。図１に示された端末Ａにおけるエラー判定３２では、画像フレームｆ_ｎにおける各スケーラビリティ（色コンポーネント成分、画質成分、解像度成分、空間領域）に対して重みづけを施したデータ欠損率を設定し、その設定されたデータ欠損率を判定基準として、復号化すべき画像フレームの選別が行われる。ここで、データ欠損率は、各スケーラビリティについて、エラー判定の対象となった全成分数に対する伝送エラー等に起因して欠落した成分数の比で定義される。

具体的に、エラー判定３２から復号化３３までの選別工程を、図４及び図５のフローチャートを用いて詳細に説明する。

まず、この選別工程では、単位時間Ｔ当りに表示されるべき画像フレームを対象とし、順次対象となる画像フレームを変更しながら主にエラー判定が行われる（ステップＳＴ４４０、ＳＴ４４１）。なお、図４のフローチャートでは、各スケーラビリティのエラー判定ステップとして入れ子構造が採用されているが、説明の都合上、対象となるスケーラビリティごとに独立にエラー判定が行われるよう説明する。したがって、以下の説明内容と図４のフローチャートに実質的な差異はない。

対象となった各画像フレームについては、対象色コンポーネントのデータ欠損率が判定される（ステップＳＴ４０１）。このステップＳＴ４０１における判定は、エラー判定の対象である画像フレームのフレームデータを構成する色コンポーネント全てについて順次行われる（ステップＳＴ４１４、ＳＴ４２４）。この間、計算されたデータ欠損率が予め重み付けされた判定値Ｌ１と等しいか、あるいは、判定値Ｌ１を超えた場合、データ連続性の確認が行われる（ステップＳＴ４０１ａ）。対象色コンポーネントのエラー判定において、データ欠損率が許容値未満である場合、又は、データ欠損率が許容値以上であってもデータ補間に必要な情報が確保できる程度のデータ連続性が確認できた場合には、他のスケーラビリティとして、画質成分のエラー判定が行われる。一方、対象色コンポーネントのエラー判定において、データ欠損率、データ連続性の双方について画像復元が不能と判断された場合には（Ｊ１）、破棄判定処理Ｓ１００が行われる。

画質成分のデータ欠損率判定（ステップＳＴ４０２）も、エラー判定の対象である画像フレームを構成するフレームデータのうち画質成分全てについて順次行われる（ステップＳＴ４１３、ＳＴ４２３）。この間、計算されたデータ欠損率が予め重み付けされた判定値Ｌ２と等しいか、あるいは、判定値Ｌ２を超えた場合、データ連続性の確認が行われる（ステップＳＴ４０２ａ）。対象画質成分のエラー判定において、データ欠損率が許容未満である場合、又は、データ欠損率が許容値以上であってもデータ補間に必要な情報が確保できる程度のデータ連続性が確認できた場合には、他のスケーラビリティとして、解像度成分のエラー判定が行われる。一方、対象画質成分のエラー判定において、データ欠損率、データ連続性の双方について画像復元が不能と判断された場合には（Ｊ２）、破棄判定処理Ｓ１００が行われる。

解像度成分のデータ欠損率判定（ステップＳＴ４０３）も、エラー判定の対象である画像フレームを構成するフレームデータのうち解像度成分全てについて順次行われる（ステップＳＴ４１２、ＳＴ４２２）。この間、計算されたデータ欠損率が予め重み付けされた判定値Ｌ３と等しいか、あるいは、判定値Ｌ３を超えた場合、データ連続性の確認が行われる（ステップＳＴ４０３ａ）。対象解像度成分のエラー判定において、データ欠損率が許容未満である場合、又は、データ欠損率が許容値以上であってもデータ補間に必要な情報が確保できる程度のデータ連続性が確認できた場合には、他のスケーラビリティとして、空間領域成分のエラー判定が行われる。一方、対象解像度成分のエラー判定において、データ欠損率、データ連続性の双方について画像復元が不能と判断された場合には（Ｊ３）、破棄判定処理Ｓ１００が行われる。

さらに、空間領域（位置）成分のデータ欠損率判定（ステップＳＴ４０４）も、エラー判定の対象である画像フレームを構成するフレームデータのうち空間領域成分全てについて順次行われる（ステップＳＴ４１１、ＳＴ４２１）。この間、計算されたデータ欠損率が予め重み付けされた判定値Ｌ４と等しいか、あるいは、判定値Ｌ４を超えた場合、データ連続性の確認が行われる（ステップＳＴ４０４ａ）。対象空間領域成分のエラー判定において、データ欠損率が許容未満である場合、又は、データ欠損率が許容値以上であってもデータ補間に必要な情報が確保できる程度のデータ連続性が確認できた場合には、他のスケーラビリティとして、空間領域成分のエラー判定が行われる。一方、対象空間領域成分のエラー判定において、データ欠損率、データ連続性の双方について画像復元が不能と判断された場合には（Ｊ４）、破棄判定処理Ｓ１００が行われる。

図５に示されたように、破棄判定処理Ｓ１００では、データ欠損状態が判定される（ステップＳＴ５０１）。判定結果Ｊ１〜Ｊ４のいずれかに基づいてステップＳＴ５０１が行われる場合、色コンポーネント、画質成分、解像度成分、空間領域成分の少なくともいずれかが破棄基準を満たしていることになる。しかしながら、画質成分、解像度成分はエラー判定をクリアしているような場合、実用上十分な品質の画像復号化が可能となる。このような場合には、処理を合流点Ｊ１０へ移す。さらに、ステップＳＴ５０１において画像復元不可能と判定された場合でも、フレーム受信完了前であったり、また、画像フレームの特性によっては各コンポーネントが許容値に達していなくとも許容値に達するまで再送リクエストを行った方がよい場合もある。そこで、ステップＳＴ５０２では、再送リクエストの必要性が判断され（ステップＳＴ５０２）、再送リクエストが必要と判断されればリクエスト送信（図１のリクエスト送信３５）を行い（ステップＳＴ５０３）、処理を合流点へ移す。一方、ステップＳＴ５０２において、再送リクエスト不要と判断した場合には、当該対象画像フレームは破棄され（ステップＳＴ５０４）、処理が合流点Ｊ１０へ移ことになる。

以上の各スケーラビリティのエラー判定においてデータ欠損率が許容範囲内（設定値Ｌ１、Ｌ２、Ｌ３、Ｌ４未満）であること、データ連続性が確認されたこと等の諸条件を満たした画像フレームのみが選別され、続けて復号化が行われる（ステップＳＴ４５０）。

なお、上述のエラー判定では、スケーラビリティごとに予め重み付けされた判定値（Ｌ１、Ｌ２、Ｌ３、Ｌ４）を設定したが、この重み付けを動的に変更することも可能である。例えば図６の領域（ａ）に示されたように、連続する画像フレームｆ_ｎ、ｆ_ｎ−１間を比較することにより画素Ａの移動を検知し、この画素移動が検知された対象画像フレームｆｎのフレームデータにおける空間領域に、選別工程における選別基準値を決定するための重み付けが行われてもよい。

具体的には、図６の領域（ｂ）のフローチャートに示されたように、連続する画像フレームｆ_ｎ、ｆ_ｎ−１間を比較することにより、画素ＡがＶ１だけ移動したことが検知されると、この移動量Ｖ１と予め設定された判定値Ｌ５を比較し（ステップＳＴ６０１）、移動量Ｖ１が判定値Ｌ５以上であれば、重み付け動作として、対象画像フレームのフレームデータを構成する空間領域のエラー判定時に利用される判定値Ｌ４を変更する（ステップＳＴ６０２）。特に、画素移動が検知される空間領域は、観察者に視認される可能性の高い領域であり、可能な限り、表示されるべき対象画像フレームの廃棄を回避するのが好ましい。そのため、図６の領域（ｂ）のフローチャートで示された重み付け工程が実行されることにより、画素Ａの移動が検知された対象画像フレームｆ_ｎは、他の対象画像フレームよりも判定値（選別基準値）を高くするよう、差別化される。

なお、エラー判定方法としては、上述のようなエラー判定（色、画質、解像度、空間の順で判定するもの、図４参照）以外に、例えば、これら各スケーラビリティの判定を異なる順序で行うことも可能である。また、スケーラビリティ毎にエラー判定を行うだけでなく、各スケーラビリティのデータ欠損率の累積値を求め、この累積データ欠損率を基にエラー判定することとしてもよい。さらには、ＰＳＮＲやＳＳＩＭなどの画質評価指標が用いられてもよい。

次に、本発明に係る動画像符号化データの表示方法におけるフレームレートの調整方法について図７及び図８を用いて詳細に説明する。上述のように、本発明に係る動画像符号化データの表示方法は、観察者の映像劣化認識がフレームレートの増減よりも表示映像の画質劣化に敏感であるという知見に基づいて完成されたものであり、フレーム間隔の変動（単位時間Ｔ当りの表示すべき画像フレームのうち実際に選別される画像フレーム数の変動に連動する）に基づいて、種々のフレームレート調整が行われる。

例えば、図７には、一部の画像フレームの廃棄に伴うフレーム間隔の最大値が比較的小さい場合のフレームレート調整が示されている。具体的には、図７の領域（ａ）に示されたように、単位時間Ｔ内にフレーム間隔Δｔで均等配置された複数の画像フレームｆ_０〜ｆ_１０の表示制御（フレームレート：１１／Ｔ）において、選別工程により画像フレームｆ_１、ｆ_６が廃棄された場合、復号化されるべき画像フレームｆ_０、ｆ_２〜ｆ_５、ｆ_７〜ｆ_１０の、単位時間Ｔ当りの最大フレーム間隔は２Δｔと、比較的小さいため、図７の領域（ｂ）に示されたように、単純に廃棄された画像フレームｆ_１、ｆ_６を間引きした状態で復号化された画像フレームｆ_０、ｆ_２〜ｆ_５、ｆ_７〜ｆ_１０が順次表示用モニタ４００（図２参照）に表示されていく（フレームレート：９／Ｔ）。

一方、図８の領域（ａ）に示されたように、連続する複数の画像フレームが廃棄された場合、単位時間Ｔ当りに表示されるべき画像フレームの最大フレーム間隔は大きくなってしまう。例えば、図８の領域（ａ）の場合、単位時間Ｔ内にフレーム間隔Δｔで均等配置された複数の画像フレームｆ_０〜ｆ_１０の表示制御（フレームレート：１１／Ｔ）において、選別工程により画像フレームｆ_１、〜ｆ_３、ｆ_６〜ｆ_７が廃棄された場合、復号化されるべき画像フレームｆ_０、ｆ_４〜ｆ_５、ｆ_８〜ｆ_１０の、単位時間Ｔ当りの最大フレーム間隔は３Δｔと、比較的大きくなる。この場合、図７の領域（ｂ）に示されたフレームレート調整が行われると、観察者に対象画像フレームのスキップ表示が認識されてしまう。したがって、図８の領域（ａ）に示されたように、復号化されるべき画像フレーム間のフレーム間隔が大きくなる場合には、図８の領域（ｂ）に示されたように、復号化された対象画像フレームが、それぞれのフレーム間隔が一致するよう単位時間内に均等配置（フレーム間隔：Δｔ’）されるのが好ましい（フレームレート：６／Ｔ）。なお、図７及び図８それぞれに示された何れのフレームレート調整によっても、フレームレートの調整のみが行われ、表示される対象画像フレームは品質劣化がないか少ないため、観察者の視覚特性により表示される映像の品質劣化を効果的に隠蔽することが可能になる。なお、フレームレート調整については、エラー判定工程の後であれば、復号化の前、後のいずれの段階においても行うことは可能である。

以上の本発明の説明から、本発明を様々に変形しうることは明らかである。そのような変形は、本発明の思想および範囲から逸脱するものとは認めることはできず、すべての当業者にとって自明である改良は、以下の請求の範囲に含まれるものである。

１０…ネットワーク、２０…サーバ、３０…端末装置（表示装置）、３００…情報処理部、３１０、３４０…入出力部（Ｉ／Ｏ）、３２０…制御部、４００…表示用モニタ。

Claims (14)

1. それぞれが複数種類の階層的スケーラビリティにより構成されるとともに圧縮された複数の画像フレームの符号化データにより構成され、所定の伝送手段を介して配信される動画像符号化データの表示方法であって、
   前記伝送手段を介して前記複数の画像フレームの符号化データを順次受信していく受信工程と、
   受信された画像フレームのうち単位時間当たりに表示されるべき対象画像フレームであって所定のフレーム間隔で配置された対象画像フレームの符号化データに含まれるスケーラビリティそれぞれについて、伝送エラーに起因したデータ欠損率を計算し、得られた計算結果に基づいて、前記対象画像フレームそれぞれのうちから復号化すべき対象画像フレームを選別する選別工程と、
   前記選別工程において選別された対象画像フレームの符号化データのみを復号化する復号化工程と、
   前記復号化工程において復号化された対象画像フレームのフレーム数に基づいてフレームレートを調整しながら、該対象画像フレームを所定の表示装置に表示していく表示工程と、を備えた動画像符号化データの表示方法。
2. 前記選別工程において、前記対象画像フレームの符号化データの受信完了までの間、受信した符号化データに含まれる欠損データの再送リクエストが行われることを特徴とする請求項１記載の動画像符号化データの表示方法。
3. 前記選別工程において、復号化すべき画像フレームの選別は、前記スケーラビリティそれぞれに対して重みづけが施された判定値を基準として、行われることを特徴とする請求項１又は２記載の動画像符号化データの表示方法。
4. 前記選別工程において、前記データ欠損率の計算結果に基づいて復号化の対象から除外された対象画像フレームであっても、データ補間に必要な情報が確保できる程度のデータ連続性が確認できた対象画像フレームは、復号化すべき対象画像フレームとして選別されることを特徴とする請求項１〜３のいずれか一項記載の動画像符号化データの表示方法。
5. 前記選別工程において、復号化の対象から除外された対象画像フレームのうち少なくともいずれかについて、再送リクエストが行われることを特徴とする請求項１〜４のいずれか一項記載の動画像符号化データの表示方法。
6. 前記表示工程におけるフレームレートの調整では、単位時間当たりに表示されるべき対象画像フレームの、時間軸上の位置を変更することなく、前記選別工程において選別されなかった対象画像フレームが廃棄されることを特徴とする請求項１〜５のいずれか一項記載の動画像符号化データの表示方法。
7. 前記表示工程におけるフレームレートの調整では、前記復号化工程において復号化された対象画像フレームが、それぞれのフレーム間隔が一致するよう前記単位時間内に均等配置されることを特徴とする請求項１〜５のいずれか一項記載の動画像符号化データの表示方法。
8. 前記受信工程において受信される前記対象画像フレームの符号化データは、優先順位の異なる複数種類の情報を含み、前記対象画像フレームの符号化データは、該優先順位の高い情報から順に配信されることを特徴とする請求項１〜７のいずれか一項記載の動画像符号化データの表示方法。
9. 前記選別工程において、前記対象画像フレームのうち隣接する対象画像フレーム間を比較することにより画素移動を検知し、画素移動が検知された対象画像フレームのフレームデータにおける空間領域を選別するための前記判定値を高くするよう、前記判定値の重み付けをすることを特徴とする請求項３記載の動画像符号化データの表示方法。
10. 前記再送リクエストの対象となった欠損データに相当する符号化データは、他の送信予定の符号化データに優先して配信されることを特徴とする請求項２記載の動画像符号化データの表示方法。
11. それぞれが圧縮された複数の画像フレームの符号化データにより構成された動画像符号化データを、所定の伝送手段を介して取り込むための入出力部と、
    前記入出力部を介して取り込まれた動画像符号化データを一旦格納するためのメモリと、
    請求項１〜１０のいずれか一項記載の動画像符号化データの表示方法を実行するための制御部と、
    表示部と、を備えた表示装置。
12. それぞれが圧縮された複数の画像フレームの符号化データにより構成された動画像符号化データを、所定の伝送手段を介して配信する送信手段と、
    請求項１〜７、９のいずれか一項記載の動画像符号化データの表示方法を実施する受信手段と、を備えた通信システム。
13. 前記送信手段により配信される前記画像フレームの符号化データは、優先順位の異なる複数種類の情報を含み、該優先順位の高い情報から順に配信されることを特徴とする請求項１２記載の通信システム。
14. 前記送信手段は、前記受信手段からの再送リクエストの対象となった欠損データに相当する符号化データを、他の送信予定の符号化データに優先して配信することを特徴とする請求項１２又は１３記載の通信システム。

Images