JP4043406B2 - 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 - Google Patents
画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 Download PDFInfo
- Publication number
- JP4043406B2 JP4043406B2 JP2003155131A JP2003155131A JP4043406B2 JP 4043406 B2 JP4043406 B2 JP 4043406B2 JP 2003155131 A JP2003155131 A JP 2003155131A JP 2003155131 A JP2003155131 A JP 2003155131A JP 4043406 B2 JP4043406 B2 JP 4043406B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel block
- frame
- flag
- block
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は画像再生技術、とくに符号化画像データを再生する画像再生方法と装置、およびこれらを利用可能なテレビジョン受信装置に関する。
【０００２】
【従来の技術】
ＢＳ放送やＣＳ放送においてデジタル放送が開始されており、地上波放送もデジタル化が計画されており、テレビ放送のデジタル化が急速に進展している。デジタルテレビ放送においては、データ圧縮／伸長規格の国際標準であるＭＰＥＧ２（Moving Picture Expert Group 2）を用いることによって、効率の高い情報の伝送、蓄積が可能であり、また単一の中継器によって複数のチャンネルを伝送することができる。これにより、ユーザの利便性の向上が期待されている。特許文献１には、デジタル放送受信装置の一例が開示されている。
【０００３】
一方で、最近の携帯端末の普及により、高い圧縮率の符号化方式のニーズは一層高まると予想され、これに対応して、低ビットレートで画像を圧縮して伝送することのできるＭＰＥＧ４符号化方式を利用することが検討されている。今後、デジタルテレビ放送ではＭＰＥＧ２とともにＭＰＥＧ４による画像情報の配信が並行して行われるものと思われる。
【０００４】
【特許文献１】
特開２００２−１１２１３８号公報 （全文、第１−１２図）
【０００５】
【発明が解決しようとする課題】
このようなデジタルテレビ放送においては、受信された信号から符号化画像データを抽出して、復号を行う必要がある。ＭＰＥＧ２による画像符号化では、フレーム内符号化とともにフレーム間符号化が行われるため、符号化画像データの受信直後では、フレーム間符号化の基準となるフレームを参照することができないため、規格に沿った復号を行うことができない。
【０００６】
本発明者は、上記の特許文献１において、この課題を解決するために、ユーザのチャンネル切り替えに備えて、複数のチャンネルのうちの一つをバックグラウンドで受信してあらかじめ記憶するデジタル放送受信装置を提案したが、さらに次のような需要が存在することを認識するに至った。すなわち、ＭＰＥＧ４による画像符号化では、圧縮率を高くするために、基準となるフレームの枚数をＭＰＥＧ２よりも低く抑え、フレーム間符号化の割合を増やしているため、符号化のための遅延時間がさらに長くなる。ＭＰＥＧ４方式をデジタルテレビ放送に採用すると、最悪の場合、受信開始後４秒程度待たなければ、基準フレームが受信されず、それまでの間、画像の復号を開始することができない。このため、受信装置の電源投入時やチャンネルの切り替え時には、即時に画像を表示することができず、ユーザにいらだちを与えることは避けられない。このことは商用製品としては大きなデメリットである。
【０００７】
本発明はこうした課題に鑑みてなされたものであり、その目的は、規格通りにフレーム間復号ができない状況であっても、ベストエフォートで画像を再生して表示することのできる画像再生技術を提供することにある。
【０００８】
【課題を解決するための手段】
本発明のある態様は画像復号方法に関する。この方法は、フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する過程において、フレーム間符号化の基準となるフレームが参照できない状況にある期間は、各フレーム内の再生可能な画素ブロックについて再生する。「基準となるフレームが参照できない状況」として、たとえば、符号化データ列の受信開始時に、基準フレームがまだ受信されていない状況や、エラーにより基準フレームが失われている状況などがある。そのような場合、基準フレームが最初に受信されるまでの期間は、受信されたフレーム内で再生可能な画素ブロックを再生してベストエフォートで表示することができる。ここでいう画素ブロックの再生とは、何らかの形で画像が再生されることを指し、フレーム内符号化もしくはフレーム間符号化された画素データを復号する処理以外に、復号対象の画素を他の代替画素データで充当したり、他の画素データを用いて補間するなどの処理も含む。
【０００９】
前記再生可能な画素ブロックとして、フレーム内符号化処理が施された画素ブロックが復号されてもよい。前記再生可能な画素ブロックとして、フレーム間符号化処理が施された画素ブロックが、すでに再生表示された参照先のフレームの画素ブロックを用いて復号されてもよい。前記フレーム間符号化処理が施された画素ブロックの復号処理において、参照先のフレームの画素ブロックが再生不能であった場合に、前記参照先のフレームの代替ブロックを用いて充当してもよい。この代替ブロックは、参照元の画素ブロックと同位置にある参照先の画素ブロックであってもよく、その場合、参照先の画素ブロックをそのままコピーして参照元の画素ブロックの値として利用してもよい。なお、ここでいう画素ブロックとは、一般にフレーム間符号化をするための動き予測の単位となる任意の大きさの画素集合を指しており、ＭＰＥＧにおいて特定の大きさをもつブロックあるいはマクロブロックに限定するものではない。
【００１０】
ＭＰＥＧ４においてフレーム間符号化の基準フレームとなるＩ−ＶＯＰ（Video Object Plane）はフレーム内符号化のみが施されており、その画像フレームに閉じた情報だけで完全に復号することが可能である。一方、Ｐ−ＶＯＰおよびＢ−ＶＯＰは、一般にフレーム内符号化とともにフレーム間符号化が行われており、その画像フレームの情報だけでは画素ブロックをすべて復号することはできず、他の画像フレームを参照してはじめて完全な復号が可能である。
【００１１】
この態様の画像復号方法では、基準フレームとなるＩ−ＶＯＰが受信される前であっても、受信されたＰ−ＶＯＰまたはＢ−ＶＯＰについて、フレーム内符号化された画素ブロックについては少なくとも復号することができ、その部分だけでも表示することができる。さらに、フレーム間符号化された画素ブロックであっても、動きベクトルが参照する先のフレームの画素ブロックが何らかの形で再生表示されているなら、その参照先の画素ブロックを用いて復号することができ、その部分についても表示することができる。さらにその参照先の画素ブロックが再生不能であった場合には、再生表示がなされた他の画素ブロックで代用することもできる。このとき、たとえば参照先のフレームの同位置またはその周囲にある画素ブロックをそのままコピーして、復号しようとしているフレームの画素ブロックとして利用してもよく、あるいは動きベクトルが仮にそのような代替画素ブロックを参照しているとして、復号処理を行ってもよい。またエラー隠蔽用に用意された動きベクトルが参照している画素ブロックで代用してもよい。
【００１２】
本発明のさらに別の態様も画像復号方法に関する。この方法は、フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が施されて符号化された画像信号の受信チャンネルの切り替え時に、フレーム間符号化の基準となるフレームの受信を待つことなく、受信されたフレーム内の再生可能な画素ブロックを再生して表示する。
【００１３】
本発明のさらに別の態様も画像復号方法に関する。この方法は、フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が施されて符号化された画像信号の受信装置の電源投入時に、フレーム間符号化の基準となるフレームの受信を待つことなく、受信されたフレーム内の再生可能な画素ブロックを再生して表示する。
【００１４】
本発明のさらに別の態様も画像復号方法に関する。この方法は、符号化された画像信号の受信チャンネルの切り替え時に、切り替え後の新しいチャンネルの画像を再生可能な範囲で徐々に再生して表示する。
【００１５】
本発明のさらに別の態様も画像復号方法に関する。この方法は、符号化された画像信号の受信装置の電源投入時に、電源投入後に表示すべき画像を再生可能な範囲で徐々に再生して表示する。
【００１６】
本発明のさらに別の態様は画像復号装置に関する。この装置は、フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する復号部と、復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、前記復号部は、フレーム間符号化の基準フレームが参照できない状況では、フレーム内符号化処理が施された画素ブロックを復号し、前記記憶部は、その画素ブロックについての前記フラグを再生可能であったことを示す値に設定する。
【００１７】
この再生状態を示すフラグは、何らかの再生表示が行われたかどうかを示すものである。再生表示が行われたというとき、フレーム内符号化またはフレーム間符号化された画素ブロックが復号されて表示される場合に限らず、復号処理は行われずに、代替画素ブロックを利用して表示される場合や画素の補間により表示される場合も含まれる。
【００１８】
前記復号部は、フレーム間符号化処理が施された画素ブロックを復号する際、参照先のフレームの画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先の画素ブロックを用いて復号し、前記記憶部は、復号後の画素ブロックについての前記フラグを再生可能であったことを示す値に設定して記憶してもよい。
【００１９】
前記復号部は、フレーム間符号化処理が施された画素ブロックを復号する際、参照先のフレームの画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照先のフレームにおいて同位置にある画素ブロックをそのまま利用して復号後の画素ブロックとしてもよい。ここで同位置にある画素ブロックという場合、厳密に参照元の画素ブロックと同位置にある参照先の画素ブロックに限定せず、その近傍にある参照先の画素ブロックをも含めた概念とする。代替画素ブロックを利用して表示した場合も、前記記憶部は、前記フラグを再生可能であったことを示す値に設定して記憶してもよい。
【００２０】
前記復号部は、フレーム間符号化処理が施された画素ブロックを復号する際、参照先のフレームの画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照先の画素ブロックの周囲の画素を補間して復号後の画素ブロックに代えてもよい。この場合、前記記憶部は、前記フラグを再生不能であったことを示す値に設定して記憶してもよい。
【００２１】
参照先の画素ブロックを用いた復号がなされて再生された場合と、参照先の画素ブロックを用いた復号がなされずに代替画素ブロックを用いて再生された場合とを区別するために、復号状態を示すフラグと表示状態を示すフラグを用意して、前者の場合は復号状態を示すフラグと表示状態を示すフラグの双方をＯＮにし、後者の場合は、復号状態を示すフラグをＯＦＦにし、表示状態を示すフラグのみをＯＮにしてもよい。このように２つのフラグを用いる場合は、復号状態を示すフラグがＯＮである画素ブロックのみを参照先の画素ブロックとして利用し、表示状態を示すフラグがＯＮである画素ブロックについては代替画素ブロックとしての利用を許すようにしてもよい。
【００２２】
本発明のさらに別の態様はテレビジョン受信装置に関する。この装置は、放送電波を受信する受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックとを含み、前記処理ブロックは、前記受信信号から抽出された符号化画像データ列を復号する復号部と、復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、前記復号部は、最初の基準フレームが受信されるまでの期間は、参照先フレームの画素ブロックについての前記フラグにもとづいて、各フレーム内の再生可能な画素ブロックについて再生する。
【００２３】
たとえば、装置の電源投入時や放送チャンネルの切り替え時には、基準フレームが受信されるまでの間に時間がかかるが、この装置によれば、この期間は、何らかの形で再生可能な画素ブロックについてはベストエフォートで表示するため、ユーザを待たせることなく即座に画像を表示することができる。
【００２４】
本発明のさらに別の態様もテレビジョン受信装置に関する。この装置は、放送電波を受信する受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックとを含み、前記処理ブロックは、前記受信信号から抽出された符号化画像データ列を復号する復号部を含み、前記放送電波の受信チャンネルの切り替えがあった場合、前記復号部は、切り替え後の新しいチャンネルの画像を再生可能な範囲で復号し、前記再生ブロックは、前記復号部による復号をもとに、新しいチャンネルの画像を徐々に表示する。
【００２５】
本発明のさらに別の態様もテレビジョン受信装置に関する。この装置は、放送電波を受信する受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックとを含み、前記処理ブロックは、前記受信信号から抽出された符号化画像データ列を復号する復号部を含み、当該装置の電源が投入された時に、前記復号部は、電源投入後に表示すべき画像を再生可能な範囲で復号し、前記再生ブロックは、前記復号部による復号をもとに、電源投入後に表示すべき画像を徐々に表示する。
【００２６】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００２７】
【発明の実施の形態】
図１は、実施の形態に係るテレビジョン受信装置３００の構成図である。テレビジョン受信装置３００は、アンテナ３０２とそれを介して放送波を受信する受信ブロック３０４と、受信ブロック３０４による処理の結果得られた画像および音声データを処理する処理ブロック３０６と、処理ブロック３０６によって復号された音声および画像を再生する再生ブロック３０８と、ユーザからの指示を受けつけるユーザインタフェイス３１２と、ユーザインタフェイス３１２からの命令にもとづいて受信ブロック３０４および処理ブロック３０６を制御する制御部３１０とを含む。またインタフェイスブロック３３６は、処理ブロック３０６による復号画像データを適宜外部機器へ出力する。
【００２８】
受信ブロック３０４はチューナ３２０およびパケット分離部３２２を含む。チューナ３２０はユーザが選んだチャンネルを含むトランスポンダを選択し、ＱＰＳＫ復調を施す。復調で得られた複数のトランスポートパケットを含むストリームはパケット分離部３２２へ送られる。パケット分離部３２２はデマルチプレクサであり、所望のチャンネルに対応するパケットを分離して処理ブロック３０６へ出力する。
【００２９】
処理ブロック３０６の画像・音声デコーダ３３４はＣＰＵ３３０およびメモリ３３２と連携し、放送局で符号化され送信された画像および音声データを復号する。画像・音声デコーダ３３４は、入力されたパケットを復号し、音声データを音声出力部３４０へ、画像データを表示装置３４４へそれぞれ出力する。音声出力部３４０は、入力された音声データに所定の処理を施し、最終的に音声がスピーカ３４２へ出力される。処理ブロック３０６の構成、すなわち画像・音声デコーダ３３４、ＣＰＵ３３０、メモリ３３２のうち、画像復号に関する部分を画像復号ユニット１００とする。
【００３０】
ユーザインタフェイス３１２はユーザから放送チャンネルの選択の切り替えを受けつける。制御部３１０は受信ブロック３０４にチャンネル切り替え信号を送り、処理ブロック３０６には受信開始信号を送る。これらの制御信号を契機として、受信ブロック３０４においてはチューナ３２０が放送チャンネルを切り替えて新たな受信を開始し、処理ブロック３０６においては画像復号ユニット１００が受信直後のベストエフォート処理を行うようにモードが切り替わる。
【００３１】
図２は、画像復号ユニット１００の構成図である。画像復号ユニット１００は、本発明の画像復号装置の一例であり、この画像復号ユニット１００は１チップのＬＳＩに搭載されてもよい。またこの画像復号ユニット１００と図１の受信ブロック３０４の主要な構成とが１チップのＬＳＩに搭載されてもよい。
【００３２】
ＶＬＤ部１０は、受信ブロック３０４が受信したＭＰＥＧビデオストリームに対して、ＲＯＭ２０に記憶されたハフマンテーブルに格納されているハフマンコードに基づいた可変長復号（ＶＬＤ）を行う。ＩＱ部１２は、ＶＬＤ部１０による復号結果に対して、ＲＯＭ２２に記憶された量子化テーブルに格納されている量子化閾値に基づいた逆量子化を行い、離散コサイン変換（ＤＣＴ）係数を求める。ＩＤＣＴ部１４は、ＩＱ部１２が求めたＤＣＴ係数に対して離散コサイン逆変換（ＩＤＣＴ）を行い、周波数成分を元の信号に変換する。ＭＣ部１６は、ＩＤＣＴ部１４の処理結果に対して動き補償予測（ＭＣ；Motion Compensated prediction）を行い、画像を再生する。再生された画像はフレームバッファ１８に保持されて、表示装置３４４に出力される。
【００３３】
このようにして、画像復号ユニット１００は、入力されたＭＰＥＧビデオストリームを復号して、時系列的に連続する再生画像データ列を生成する。なお、ＭＰＥＧビデオストリームは、本発明の「符号化データ列」の一例である。
【００３４】
ＭＰＥＧでは、フレーム間予測と呼ばれる圧縮技術を用いる。フレーム間予測は、フレーム間のデータを時間的な相関に基づいて圧縮する。フレーム間予測では双方向予測が行われる。双方向予測とは、過去の再生画像またはピクチャから現在の再生画像を予測する順方向予測と、未来の再生画像から現在の再生画像を予測する逆方向予測とを併用することである。
【００３５】
ＭＰＥＧ２においては、この双方向予測は、Ｉピクチャ（Intra-Picture）、Ｐピクチャ（Predictive-Picture）、およびＢピクチャ（Bidirectionally predictive-Picture）と呼ばれる３つのタイプのピクチャを規定している。Ｉピクチャは、フレーム内符号化処理によって過去や未来の再生画像とは無関係に独立して生成される画像であり、それ自体で復号が可能である。Ｉピクチャ内のすべてのマクロブロックは、フレーム内符号化処理によって生成される。Ｐピクチャは、フレーム間の順方向符号化処理によって、過去のＩピクチャまたはＰピクチャからの予測により生成される。Ｐピクチャ内のマクロブロックは、フレーム内符号化されたものと順方向予測によりフレーム間符号化されたものの両方を含む。
【００３６】
Ｂピクチャは、フレーム間符号化処理によって、双方向予測により生成される。双方向予測においてＢピクチャは、以下に示す３つの予測のうちいずれか１つにより生成される。
（１）順方向予測；過去のＩピクチャまたはＰピクチャからの予測
（２）逆方向予測；未来のＩピクチャまたはＰピクチャからの予測
（３）双方向予測；過去および未来のＩピクチャまたはＰピクチャからの予測
【００３７】
Ｂピクチャ内のマクロブロックは、フレーム内符号化されたものと、順方向予測、逆方向予測、および内挿的予測のいずれかによりフレーム間符号化されたものを含む。
【００３８】
ＭＰＥＧ４においては、ビデオ・オブジェクトの時系列をＶＯ（Video Object）と呼び、ＶＯを構成する各画像をＶＯＰ（Video Object Plane）と呼ぶ。ＶＯＰはＭＰＥＧ２におけるピクチャに相当する。ＶＯＰには予測符号化の違いにより、次の４種類が存在する。
（１）Ｉ−ＶＯＰ；フレーム内符号化ＶＯＰ
（２）Ｐ−ＶＯＰ；フレーム間順方向予測符号化ＶＯＰ
（３）Ｂ−ＶＯＰ；フレーム間双方向予測符号化ＶＯＰ
（４）Ｓ−ＶＯＰ；スプライトＶＯＰ
最初の３つのタイプＩ−ＶＯＰ、Ｐ−ＶＯＰ、Ｂ−ＶＯＰはそれぞれＭＰＥＧ２におけるＩピクチャ、Ｐピクチャ、Ｂピクチャに相当する。
【００３９】
ＭＰＥＧでは、符号化画像データは、階層構造をもつビットストリームデータとして表現されている。ＭＰＥＧで取り扱われる動画は１秒間に例えば３０枚のフレームで構成される。ＭＰＥＧ２では、一般にフレームがピクチャに対応する。ＭＰＥＧ２ではピクチャの集まりをＧＯＰ（Group Of Picture）と呼び、このＧＯＰ単位のランダムアクセスを可能としている。ランダムアクセスを行うために、ＧＯＰ内には最低１枚のＩピクチャが必要である。ＭＰＥＧ４ではＶＯＰの集まりをＧＯＶ（Group Of VOP）として扱う。
【００４０】
ＭＰＥＧ２では、各ＧＯＰ内に割り当てられるＩピクチャの数はきわめて少なく、例えば、ＧＯＰを構成する１５〜３０フレームのピクチャのうちせいぜい１フレーム程度である。ＭＰＥＧ４では、圧縮率を上げるために、ＧＯＶ内のＩ−ＶＯＰの数をさらに少なくしており、１２０フレームのＶＯＰのうち１フレーム程度である。さらにＭＰＥＧ４では、復号のために大きなバッファ容量を必要とするＢ−ＶＯＰの使用を制限し、Ｉ−ＶＯＰとＰ−ＶＯＰのみでＧＯＶを構成することもしばしば行われる。
【００４１】
ＭＰＥＧ２ではＩピクチャ、ＭＰＥＧ４ではＩ−ＶＯＰが受信されるまでの間は、ＧＯＰまたはＧＯＶ内の画像を復号することができない。そのため、受信装置の電源投入時や放送チャンネルの切り替え時においては、復号の際の基準となるＩピクチャやＩ−ＶＯＰが受信されるまでの間、画像表示を行うことができず、待ち時間が生じる。この待ち時間は、ＧＯＰ内のＩピクチャまたはＧＯＶ内のＩ−ＶＯＰの割合により決まるが、上に述べたような割合では、最悪の場合、ＭＰＥＧ２では１秒程度、ＭＰＥＧ４では４秒程度になる。本発明はＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４のいずれにも適用できるが、とくに圧縮率の高いＭＰＥＧ４の場合に、復号による待ち時間がより長いため、効果が大きく現れる。以下では、説明の簡単のため、ＭＰＥＧ２のピクチャとＧＯＰという用語を用いるが、これはＭＰＥＧ４への適用を除外する趣旨ではなく、ＭＰＥＧ４のＶＯＰとＧＯＶの概念を包含するものである。
【００４２】
再び図２を参照して、ＭＣ部１６は、ＭＰＥＧの規格にしたがって動き補償予測にもとづく画像の復号を行う以外に、これから述べるように、復号の際の基準となるフレームが参照できない状態においても、ベストエフォートで何らかの画像の再生を行う。ＭＣ部１６は、電源投入時やチャンネル切り替え時に、このようなベストエフォート再生処理を図１の制御部３１０からの制御信号にもとづいて起動するが、基準となるフレームが受信された後は、自動的に通常の復号処理に戻る。
【００４３】
図３を参照して、基準フレームの受信前のベストエフォート再生処理を説明する。ＭＰＥＧの動き補償予測では、マクロブロック単位で動きベクトルを求める。マクロブロックは８×８ピクセルのブロック４個から構成される。図３では、簡単のためＰピクチャおよびＩピクチャを６個のマクロブロックで表し、動きベクトルを実線の矢印で表している。また後述の代替ベクトルを波線の矢印で表す。同図において斜線をつけたマクロブロックは、フレーム内符号化のなされたマクロブロック（以下、簡単にイントラＭＢと呼ぶ）であり、それ以外はフレーム間符号化のなされたマクロブロック（以下、簡単に非イントラＭＢと呼ぶ）である。また動きベクトルの参照先のマクロブロックを参照先ＭＢと呼び、参照元のマクロブロックを参照元ＭＢと呼ぶ。また後述するように代替ベクトルで参照されるマクロブロックを代替ＭＢと呼ぶ。
【００４４】
時刻Ｔ０において、ＭＰＥＧビデオストリームの受信が開始され、最初のＰピクチャＰ１が受信され、引き続き第２のＰピクチャＰ２、第３のＰピクチャＰ３が受信されたとする。その後、時刻Ｔ１において、最初のＩピクチャＩ１が受信され、続いて第４のＰピクチャＰ４が受信されたとする。たとえば、時刻Ｔ０は装置の電源投入時または受信チャンネルの切り替え時であり、時刻Ｔ１は電源投入後またはチャンネル切り替え後に、最初の基準フレームが受信される時点である。
【００４５】
時刻Ｔ０から時刻Ｔ１までが図２のＭＣ部１６によるベストエフォート再生処理の期間であり、時刻Ｔ１以降はＭＣ部１６の処理は通常の復号処理に切り替わる。前述の装置の電源投入時または受信チャンネルの切り替え時の例で言えば、このベストエフォート再生処理の期間においては、電源投入後またはチャンネル切り替え後に受信される新しいチャンネルのフレームについて、再生可能な画素ブロックがベストエフォートで表示され、徐々に時刻Ｔ１における通常の表示状態に移行する。
【００４６】
ベストエフォート再生処理においては、各マクロブロックが再生可能であったかどうかを示すフラグを設け、図２のフレームバッファ１８は、フレームの画像データとともに、このマクロブロック単位のフラグを記憶する。マクロブロックごとのフラグとして、そのマクロブロックがＭＰＥＧの規格通りに復号できたかどうかを示す復号ＯＫフラグと、そのマクロブロックが表示できたかどうかを示す表示ＯＫフラグとを用意する。復号ＯＫフラグと表示ＯＫフラグがともにＯＮである場合（これを以下、「復号ＯＫ状態」と呼ぶ）、マクロブロックは規格通りに復号されて表示がなされたことを意味する。図３ではこの状態を○で表示する。復号ＯＫフラグがＯＦＦで、表示ＯＫフラグがＯＮである場合（これを以下、「復号ＮＧ・表示ＯＫ状態」と呼ぶ）は、復号はできなかったが、何らかの再生処理を行って表示がなされたことを意味し、図３では△で表示する。復号ＯＫフラグと表示ＯＫフラグがともにＯＦＦである場合（これを以下、「表示ＮＧ状態」と呼ぶ）は、規格通りの復号、何らかの再生処理のいずれをもすることができず、表示ができなかったことを意味し、図３では×で表示する。
【００４７】
最初のＰピクチャＰ１においては、イントラＭＢ３２および３４についてのみ復号可能であり、その他の非イントラＭＢ３１、３３、３５、および３６は復号ができない。復号可能なイントラＭＢ３２、３４を復号し、復号ＯＫフラグと表示ＯＫフラグをともにＯＮに設定する。すなわちこれらのイントラＭＢは復号ＯＫ状態となる。復号不能な非イントラＭＢ３１、３３、３５、および３６については、背景画や補間画像で埋め合わせる。補間画像はたとえば、周囲の画像の平均値により作成する。これらの非イントラＭＢについては復号ＯＫフラグと表示ＯＫフラグがともにＯＦＦに設定され、表示ＮＧ状態となる。このようにして再生されたＰピクチャＰ１が最終的に図２のフレームバッファ１８に出力されて表示される。
【００４８】
次に第２のＰピクチャＰ２においては、第１ＭＢ４１から第５ＭＢ４５までが非イントラＭＢであり、第６ＭＢ４６がイントラＭＢである。第６ＭＢ４６については通常の復号がなされ、復号ＯＫ状態となる。第１ＭＢ４１の参照先ＭＢは、動きベクトルが示すように第１ＰピクチャＰ１の同位置にある第１ＭＢ３１であり、これは表示ＮＧ状態であったため、これを用いた復号処理はできない。したがって、第２ＰピクチャＰ２の第１ＭＢ４１については、復号ＯＫフラグ、表示ＯＫフラグともにＯＦＦに設定され、表示ＮＧ状態となる。
【００４９】
第２ＭＢ４２については、参照先ＭＢが第１ＰピクチャＰ１の第２ＭＢ３２であり、これは復号ＯＫ状態であったから、これを用いて通常通り復号を行うことができ、復号ＯＫ状態になる。第３のＭＢ４３についても、参照先ＭＢが第１ＰピクチャＰ１の第２ＭＢ３２であるから、これを用いて復号を行って復号ＯＫ状態になる。
【００５０】
第４ＭＢ４４については、状況が異なる。参照先ＭＢは第１ＰピクチャＰ１の第３ＭＢ３３であり、これは表示ＮＧの状態であった。したがってこれを用いた復号はできない。そこで第１ＰピクチャＰ１の第３ＭＢ３３を参照していた動きベクトルが、仮に第１ＰピクチャＰ１において参照元ＭＢと同位置にある第４ＭＢ３４を参照していると考えて、参照先ＭＢを変更する。このように参照先を変更させた場合の動きベクトルを代替ベクトルと呼び、変更後の参照先ＭＢを代替ＭＢと呼ぶ。参照元の第４ＭＢ４４には、第１ＰピクチャＰ１の代替ＭＢをそのままコピーして埋め合わせる。このようにして再生された第４ＭＢ４４の復号ＯＫフラグはＯＦＦに、表示ＯＫフラグはＯＮに設定され、復号ＮＧ・表示ＯＫ状態となる。
【００５１】
第５ＭＢ４５については、参照先ＭＢが第１ＰピクチャＰ１の同位置の第５ＭＢ３５であり、これが表示ＮＧ状態であるため、復号も代替ＭＢによるコピーもできず、表示ＮＧ状態となる。第５ＭＢ４５にはその代わり、背景画や補間画像を埋める。
【００５２】
第３ＰピクチャＰ３についても、同様である。第２ＭＢ５２の参照先ＭＢは第２ＰピクチャＰ２の第１ＭＢ４１であり、これが表示ＮＧ状態であるため、代替ＭＢとして第２ＰピクチャＰ２において同位置にある第２ＭＢ４２を代替ベクトルで参照して用いる。この場合、代替ＭＢは復号ＯＫ状態であるからこれをそのまま利用して第２ＭＢ５２にコピーし、第２のＭＢ５２は復号ＮＧ・表示ＯＫの状態になる。第４ＭＢ５４の参照先ＭＢは第２ＰピクチャＰ２の同位置にある第４ＭＢ４４であり、それが「復号ＮＧ・表示ＯＫ」であるから、これをそのままコピーして第３ピクチャＰ３の第４ＭＢ５４とする。この第４ＭＢ５４は「復号ＮＧ・表示ＯＫ」の状態になる。
【００５３】
時刻Ｔ１において最初のＩピクチャＩ１が受信されると、それまでのベストエフォート再生処理は中止し、これ以降は通常の復号処理となる。ＩピクチャＩ１はイントラＭＢのみで構成されるから、他のフレームを参照せずに復号できる。その後受信される第４ＰピクチャＰ４は先のＩピクチャＩ１を参照して完全に復号することができる。
【００５４】
なお、ビデオストリームがＩピクチャとＰピクチャだけで構成される場合は、直前のフレームだけを参照すればよいため、フラグは１フレームのマクロブロック数だけ用意して、順次それを上書きすればよい。
【００５５】
図４は、ベストエフォート再生処理のルールを説明する図である。参照先ＭＢが復号ＯＫ状態である場合（同図において○で示す）は、参照元ＭＢは復号でき、復号ＯＫ状態（同図○）となる。参照先ＭＢが復号ＯＫ状態でない、すなわち復号ＮＧ・表示ＯＫ状態（同図△）または表示ＮＧ状態（同図×）である場合、代替ＭＢが復号ＯＫ状態（同図○）または復号ＮＧ・表示ＯＫ状態（同図△）であれば、参照元ＭＢはその代替ＭＢで代用され、復号ＮＧ・表示ＯＫ状態（同図△）となる。参照先ＭＢが復号ＯＫ状態でなく（同図△／×）、代替ＭＢが表示ＮＧ状態（同図△）である場合は、参照元ＭＢは復号することも代替ＭＢで代用することできず、表示ＮＧ状態（同図×）となる。
【００５６】
ここまでの説明では、再生状態を示すフラグとして、復号ＯＫフラグと表示ＯＫフラグの２つを用いて、復号ができて表示された場合と、復号ができずに代替ＭＢで代用することで表示された場合とを区別したが、両者を区別せずに、単に表示できたか否かを示す表示ＯＫフラグを一つだけ用いて、ベストエフォート再生処理を行ってもよい。規格通りの復号ができて表示された場合、代替ＭＢで代用されて表示された場合のいずれであっても、表示ＯＫフラグがＯＮに設定され、この状態を表示ＯＫ状態と呼ぶ。規格通りの復号も代替ＭＢによる代用もできなかった場合、表示ＯＫフラグがＯＦＦに設定され、この状態を表示ＮＧ状態と呼ぶ。表示ＮＧ状態では、背景画や補間画像を用いた埋め合わせが行われる。
【００５７】
図５は、表示ＯＫフラグのみを用いる場合のベストエフォート再生処理のルールを説明する図である。参照元ＭＢが表示ＯＫ状態である場合（同図において○で示す）、参照先ＭＢを用いて参照元ＭＢを復号して表示する。この場合、参照元ＭＢは表示ＯＫ状態（同図○）となる。参照先ＭＢが表示ＮＧ状態（同図×）であり、代替ＭＢが表示ＯＫ状態（同図○）である場合、参照元ＭＢに代替ＭＢをコピーする。この場合も参照元ＭＢは表示ＯＫ状態（同図○）となる。さらに参照先ＭＢが表示ＮＧ状態（同図×）であり、代替ＭＢも表示ＮＧ状態（同図×）である場合、参照元ＭＢは復号もできず、代替ＭＢによるコピーもできず、表示ＮＧ状態（同図×）となる。
【００５８】
以上の構成に基づいて、本実施形態の画像復号ユニット１００における画像復号手順を図６から図９に示すフローチャートにしたがって説明する。
【００５９】
図６は、ビデオストリームの受信を開始した際のベストエフォートによる画像の再生・表示処理の全体の流れを示すフローチャートである。最初に受信されたＰピクチャの再生・表示処理を行う（Ｓ１０）。次にＩピクチャを受信した場合（Ｓ１２のＹ）、ベストエフォートによる再生・表示処理は終了し、通常の復号処理に移行する。Ｉピクチャを受信しなかった場合（Ｓ１２のＮ）、次に受信されたＰピクチャの再生・表示処理を行う（Ｓ１４）。そのＰピクチャの再生・表示処理が終われば、ステップＳ１２に戻り、ステップＳ１２およびＳ１４を繰り返す。このようにしてＩピクチャが受信されるまでの間は、ベストエフォートによる再生・表示処理が行われる。
【００６０】
図７は、図６のステップＳ１０で示した、最初のＰピクチャの再生・表示処理の詳細な手順を示すフローチャートである。最初のＰピクチャのイントラＭＢを復号する（Ｓ２０）。復号されたイントラＭＢの復号ＯＫフラグおよび表示ＯＫフラグをともにＯＮに設定する（Ｓ２２）。次に非イントラＭＢについては、参照するフレームが存在せず、復号できないため、背景画や補間画像を用いて埋め合わせする（Ｓ２４）。非イントラＭＢの復号ＯＫフラグと表示ＯＫフラグをＯＦＦに設定する（Ｓ２６）。このようにして再生された画像フレームを表示する（Ｓ２８）。
【００６１】
図８は、図６のステップＳ１４で示した、２番目以降のＰピクチャの再生・表示処理の詳細な手順を示すフローチャートである。図７に示した最初のＰピクチャの場合と同様、イントラＭＢについては、通常通り復号し（Ｓ３０）、復号ＯＫフラグと表示ＯＫフラグの両方をＯＮに設定する（Ｓ３２）。次に非イントラＭＢの再生処理を行い（Ｓ３４）、最終的に、再生された画像フレームを表示する（Ｓ３６）。
【００６２】
図９は、図８のステップＳ３４で示した、非イントラＭＢの再生処理の詳細な手順を示すフローチャートである。再生処理対象の非イントラＭＢの参照先ＭＢが、参照先の画像フレームの復号ＯＫフラグがＯＮの領域内にあるかどうかを調べる（Ｓ４０）。マクロブロックは４つのブロックから構成されるので、４つのブロックのすべてについて復号ＯＫフラグがＯＮであれば、復号ＯＫフラグがＯＮの領域内にあると判定する。参照先ＭＢのブロックの一つでも復号ＯＫフラグがＯＦＦのものがあれば、その参照先ＭＢは復号フラグがＯＮの領域内にはないと判定する。
【００６３】
参照先ＭＢが、復号ＯＫフラグがＯＮの領域内にある場合（Ｓ４０のＹ）、非イントラＭＢは参照先ＭＢを用いて復号する（Ｓ４２）。復号された非イントラＭＢの復号ＯＫフラグと表示ＯＫフラグをともにＯＮに設定する（Ｓ４４）。
【００６４】
参照先ＭＢが、復号ＯＫフラグがＯＮの領域内にない場合（Ｓ４０のＮ）、直前の画像フレームにおいて参照元ＭＢと同位置にあるマクロブロックを代替ＭＢとして、その代替ＭＢの表示ＯＫフラグがＯＮであるかどうかを調べる（Ｓ４６）。代替ＭＢの表示ＯＫフラグがＯＮである場合（Ｓ４６のＹ）、その代替ＭＢの画像をそのまま参照元ＭＢにコピーして代用する（Ｓ４８）。そのようにして再生された非イントラＭＢについては、復号ＯＫフラグをＯＦＦに、表示ＯＫフラグをＯＮに設定する（Ｓ５０）。
【００６５】
代替ＭＢの表示ＯＫフラグがＯＦＦである場合（Ｓ４６のＮ）、背景画もしくは補間画像で参照元ＭＢを埋め合わせる（Ｓ５２）。そのようにして再生された非イントラＭＢについては、復号ＯＫフラグと表示ＯＫフラグの双方をＯＦＦに設定する（Ｓ５４）。
【００６６】
図１０は、テレビジョン受信装置３００による放送チャンネルの切り替え時の画像表示の様子を説明する図である。チャンネル切り替え時Ｔ０以前では、切り替え前のチャンネルの画像信号が受信されており、チャンネル切り替え時刻Ｔ０に切り替え後の新しいチャンネルの画像信号の受信が開始される。チャンネル切り替え時Ｔ０の直前に受信されたＰピクチャ２００はそれまでに受信されたＩピクチャやＰピクチャを用いて完全に復号されて表示されている。
【００６７】
チャンネル切り替え時刻Ｔ０の直後は、一般に新しいチャンネルのＰピクチャもしくはＢピクチャが受信され、最初のＩピクチャが受信されるまで、ＭＰＥＧ２では約１秒、ＭＰＥＧ４では約４秒かかる。同図の例では、チャンネル切り替え時刻Ｔ０から最初のＩピクチャ２０８の受信時刻Ｔ１までの間に、Ｐピクチャ２０２、２０４および２０６が受信されており、この期間、上述のベストエフォート再生処理が行われる。ベストエフォート再生の間は、同図のように、まず最初のＰピクチャ２０２について再生可能な画素ブロックが部分的に表示され、そのＰピクチャ２０２の再生画素ブロックを利用して、次のＰピクチャ２０４について再生可能な画素ブロックが復号されて表示される。さらに次のＰピクチャ２０６についても同様に一つ前のＰピクチャ２０４を利用して復号されて部分的に表示される。表示される画素ブロックの数は時間とともに増えていき、徐々に時刻Ｔ１におけるＩピクチャ２０８の画像に移行し、時刻Ｔ１以降は、規格通りの通常の再生処理が行われる。これにより、チャンネル切り替え直後から新しいチャンネルの画像を部分的にでも表示して、ユーザの待ち時間を短縮することができる。
【００６８】
図１１は、テレビジョン受信装置３００による電源投入時の画像表示の様子を説明する図である。電源投入前の画面２１０には何も表示されていないが、電源投入時刻Ｔ０に、電源投入後に表示されるチャンネルの画像信号の受信が開始される。図１０と同様、電源投入時刻Ｔ０から最初のＩピクチャ２０８の受信時刻Ｔ１までの間は、Ｐピクチャ２０２、２０４および２０６が受信されており、この期間、ベストエフォート再生処理が行われ、Ｐピクチャ２０２、２０４、２０６の再生可能な画素ブロックが部分的に表示され、徐々に時刻Ｔ１におけるＩピクチャ２０８の画像に移行する。電源投入直後から画像が部分的にでも表示されるため、通常の再生処理が可能になるまで画面に何も表示されないことによるユーザのいらだちを避けることができる。
【００６９】
以上説明したように、本実施の形態によれば、地上波のデジタルテレビで放送されるＭＰＥＧストリーム、とくにＭＰＥＧ４方式によるビデオストリームを受信する際、復号処理の基準となるストリームの受信までの期間、受信されたフレームをベストエフォートで再生して表示することができる。これにより、出画までの時間を短縮して、電源投入時やチャンネル切り替え時のレスポンスを改善することができる。
【００７０】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。
【００７１】
実施の形態では、Ｂピクチャがない場合を説明したが、Ｂピクチャが含まれる場合でも同様にフラグを用いてベストエフォート再生を行うことができる。ただしＢピクチャを復号するには前後のフレームが必要となるため、フレームバッファ１８の容量を大きくして、参照するフレームとそのフラグを保持する必要がある。
【００７２】
実施の形態では、代替ＭＢをそのままコピーしたが、参照先ＭＢの代わりに代替ＭＢを用いて復号を行ってもよい。また代替ＭＢとして直前のフレームにおいて参照元ＭＢと同位置にあるマクロブロックを利用したが、同位置に限らず、その近傍にあるものを利用してもよい。また代替ＭＢとして、エラー隠蔽用に用意されている動きベクトルを利用して別の参照先ＭＢを利用してもよい。さらに上記の説明では、参照先ＭＢが参照元ＭＢと同位置にある、すなわち動きベクトルがゼロである場合に、その参照先ＭＢが表示ＮＧ状態であるとき、復号することができないとしたが、この場合でも、近傍のマクロブロックを代替ＭＢとして利用したり、エラー隠蔽用の参照先ＭＢを用いて復号してもよい。このようにベストエフォート再生にはいろいろな変形がありうる。
【００７３】
また上記の説明では、受信開始直後にＩピクチャが存在しない状態を想定してベストエフォート再生処理が行われるとしたが、Ｉピクチャが参照できない状態は、たとえば受信状態が不良のためＩピクチャが得られなかった場合にも考えられ、そのような場合にも本発明のベストエフォート再生処理をエラー処理として適用することができる。
【００７４】
【発明の効果】
本発明によれば、復号に必要な基準フレームが参照できない状態においても、画像を再生して表示することができる。
【図面の簡単な説明】
【図１】 実施の形態に係るテレビジョン受信装置の構成図である。
【図２】 図１の画像復号ユニットの機能構成図である。
【図３】 基準フレーム受信前の画像の再生処理を説明する図である。
【図４】 ベストエフォート再生処理のルールを説明する図である。
【図５】 別のベストエフォート再生処理のルールを説明する図である。
【図６】 実施の形態に係る画像の再生・表示手順を示すフローチャートである。
【図７】 図６に示した最初のＰピクチャの再生・表示処理の詳細な手順を示すフローチャートである。
【図８】 図６に示した２番目以降のＰピクチャの再生・表示処理の詳細な手順を示すフローチャートである。
【図９】 図８に示した非イントラＭＢの再生処理の詳細な手順を示すフローチャートである。
【図１０】 実施の形態に係るテレビジョン受信装置による放送チャンネルの切り替え時の画像表示の様子を説明する図である。
【図１１】 実施の形態に係るテレビジョン受信装置による電源投入時の画像表示の様子を説明する図である。
【符号の説明】
１０ ＶＬＤ部、 １２ ＩＱ部、 １４ ＩＤＣＴ部、 １６ ＭＣ部、 １８ フレームバッファ、 １００ 画像復号ユニット、 ３００ テレビジョン受信装置、 ３０４ 受信ブロック、 ３０６ 処理ブロック、 ３０８ 再生ブロック、 ３１０ 制御部、 ３１２ ユーザインタフェイス、 ３２０ チューナ、 ３２２ パケット分離部、 ３３４ 画像・音声デコーダ、 ３３６ インタフェイスブロック、 ３４０ 音声出力部、 ３４４ 表示装置。
【発明の属する技術分野】
この発明は画像再生技術、とくに符号化画像データを再生する画像再生方法と装置、およびこれらを利用可能なテレビジョン受信装置に関する。
【０００２】
【従来の技術】
ＢＳ放送やＣＳ放送においてデジタル放送が開始されており、地上波放送もデジタル化が計画されており、テレビ放送のデジタル化が急速に進展している。デジタルテレビ放送においては、データ圧縮／伸長規格の国際標準であるＭＰＥＧ２（Moving Picture Expert Group 2）を用いることによって、効率の高い情報の伝送、蓄積が可能であり、また単一の中継器によって複数のチャンネルを伝送することができる。これにより、ユーザの利便性の向上が期待されている。特許文献１には、デジタル放送受信装置の一例が開示されている。
【０００３】
一方で、最近の携帯端末の普及により、高い圧縮率の符号化方式のニーズは一層高まると予想され、これに対応して、低ビットレートで画像を圧縮して伝送することのできるＭＰＥＧ４符号化方式を利用することが検討されている。今後、デジタルテレビ放送ではＭＰＥＧ２とともにＭＰＥＧ４による画像情報の配信が並行して行われるものと思われる。
【０００４】
【特許文献１】
特開２００２−１１２１３８号公報 （全文、第１−１２図）
【０００５】
【発明が解決しようとする課題】
このようなデジタルテレビ放送においては、受信された信号から符号化画像データを抽出して、復号を行う必要がある。ＭＰＥＧ２による画像符号化では、フレーム内符号化とともにフレーム間符号化が行われるため、符号化画像データの受信直後では、フレーム間符号化の基準となるフレームを参照することができないため、規格に沿った復号を行うことができない。
【０００６】
本発明者は、上記の特許文献１において、この課題を解決するために、ユーザのチャンネル切り替えに備えて、複数のチャンネルのうちの一つをバックグラウンドで受信してあらかじめ記憶するデジタル放送受信装置を提案したが、さらに次のような需要が存在することを認識するに至った。すなわち、ＭＰＥＧ４による画像符号化では、圧縮率を高くするために、基準となるフレームの枚数をＭＰＥＧ２よりも低く抑え、フレーム間符号化の割合を増やしているため、符号化のための遅延時間がさらに長くなる。ＭＰＥＧ４方式をデジタルテレビ放送に採用すると、最悪の場合、受信開始後４秒程度待たなければ、基準フレームが受信されず、それまでの間、画像の復号を開始することができない。このため、受信装置の電源投入時やチャンネルの切り替え時には、即時に画像を表示することができず、ユーザにいらだちを与えることは避けられない。このことは商用製品としては大きなデメリットである。
【０００７】
本発明はこうした課題に鑑みてなされたものであり、その目的は、規格通りにフレーム間復号ができない状況であっても、ベストエフォートで画像を再生して表示することのできる画像再生技術を提供することにある。
【０００８】
【課題を解決するための手段】
本発明のある態様は画像復号方法に関する。この方法は、フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する過程において、フレーム間符号化の基準となるフレームが参照できない状況にある期間は、各フレーム内の再生可能な画素ブロックについて再生する。「基準となるフレームが参照できない状況」として、たとえば、符号化データ列の受信開始時に、基準フレームがまだ受信されていない状況や、エラーにより基準フレームが失われている状況などがある。そのような場合、基準フレームが最初に受信されるまでの期間は、受信されたフレーム内で再生可能な画素ブロックを再生してベストエフォートで表示することができる。ここでいう画素ブロックの再生とは、何らかの形で画像が再生されることを指し、フレーム内符号化もしくはフレーム間符号化された画素データを復号する処理以外に、復号対象の画素を他の代替画素データで充当したり、他の画素データを用いて補間するなどの処理も含む。
【０００９】
前記再生可能な画素ブロックとして、フレーム内符号化処理が施された画素ブロックが復号されてもよい。前記再生可能な画素ブロックとして、フレーム間符号化処理が施された画素ブロックが、すでに再生表示された参照先のフレームの画素ブロックを用いて復号されてもよい。前記フレーム間符号化処理が施された画素ブロックの復号処理において、参照先のフレームの画素ブロックが再生不能であった場合に、前記参照先のフレームの代替ブロックを用いて充当してもよい。この代替ブロックは、参照元の画素ブロックと同位置にある参照先の画素ブロックであってもよく、その場合、参照先の画素ブロックをそのままコピーして参照元の画素ブロックの値として利用してもよい。なお、ここでいう画素ブロックとは、一般にフレーム間符号化をするための動き予測の単位となる任意の大きさの画素集合を指しており、ＭＰＥＧにおいて特定の大きさをもつブロックあるいはマクロブロックに限定するものではない。
【００１０】
ＭＰＥＧ４においてフレーム間符号化の基準フレームとなるＩ−ＶＯＰ（Video Object Plane）はフレーム内符号化のみが施されており、その画像フレームに閉じた情報だけで完全に復号することが可能である。一方、Ｐ−ＶＯＰおよびＢ−ＶＯＰは、一般にフレーム内符号化とともにフレーム間符号化が行われており、その画像フレームの情報だけでは画素ブロックをすべて復号することはできず、他の画像フレームを参照してはじめて完全な復号が可能である。
【００１１】
この態様の画像復号方法では、基準フレームとなるＩ−ＶＯＰが受信される前であっても、受信されたＰ−ＶＯＰまたはＢ−ＶＯＰについて、フレーム内符号化された画素ブロックについては少なくとも復号することができ、その部分だけでも表示することができる。さらに、フレーム間符号化された画素ブロックであっても、動きベクトルが参照する先のフレームの画素ブロックが何らかの形で再生表示されているなら、その参照先の画素ブロックを用いて復号することができ、その部分についても表示することができる。さらにその参照先の画素ブロックが再生不能であった場合には、再生表示がなされた他の画素ブロックで代用することもできる。このとき、たとえば参照先のフレームの同位置またはその周囲にある画素ブロックをそのままコピーして、復号しようとしているフレームの画素ブロックとして利用してもよく、あるいは動きベクトルが仮にそのような代替画素ブロックを参照しているとして、復号処理を行ってもよい。またエラー隠蔽用に用意された動きベクトルが参照している画素ブロックで代用してもよい。
【００１２】
本発明のさらに別の態様も画像復号方法に関する。この方法は、フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が施されて符号化された画像信号の受信チャンネルの切り替え時に、フレーム間符号化の基準となるフレームの受信を待つことなく、受信されたフレーム内の再生可能な画素ブロックを再生して表示する。
【００１３】
本発明のさらに別の態様も画像復号方法に関する。この方法は、フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が施されて符号化された画像信号の受信装置の電源投入時に、フレーム間符号化の基準となるフレームの受信を待つことなく、受信されたフレーム内の再生可能な画素ブロックを再生して表示する。
【００１４】
本発明のさらに別の態様も画像復号方法に関する。この方法は、符号化された画像信号の受信チャンネルの切り替え時に、切り替え後の新しいチャンネルの画像を再生可能な範囲で徐々に再生して表示する。
【００１５】
本発明のさらに別の態様も画像復号方法に関する。この方法は、符号化された画像信号の受信装置の電源投入時に、電源投入後に表示すべき画像を再生可能な範囲で徐々に再生して表示する。
【００１６】
本発明のさらに別の態様は画像復号装置に関する。この装置は、フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する復号部と、復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、前記復号部は、フレーム間符号化の基準フレームが参照できない状況では、フレーム内符号化処理が施された画素ブロックを復号し、前記記憶部は、その画素ブロックについての前記フラグを再生可能であったことを示す値に設定する。
【００１７】
この再生状態を示すフラグは、何らかの再生表示が行われたかどうかを示すものである。再生表示が行われたというとき、フレーム内符号化またはフレーム間符号化された画素ブロックが復号されて表示される場合に限らず、復号処理は行われずに、代替画素ブロックを利用して表示される場合や画素の補間により表示される場合も含まれる。
【００１８】
前記復号部は、フレーム間符号化処理が施された画素ブロックを復号する際、参照先のフレームの画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先の画素ブロックを用いて復号し、前記記憶部は、復号後の画素ブロックについての前記フラグを再生可能であったことを示す値に設定して記憶してもよい。
【００１９】
前記復号部は、フレーム間符号化処理が施された画素ブロックを復号する際、参照先のフレームの画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照先のフレームにおいて同位置にある画素ブロックをそのまま利用して復号後の画素ブロックとしてもよい。ここで同位置にある画素ブロックという場合、厳密に参照元の画素ブロックと同位置にある参照先の画素ブロックに限定せず、その近傍にある参照先の画素ブロックをも含めた概念とする。代替画素ブロックを利用して表示した場合も、前記記憶部は、前記フラグを再生可能であったことを示す値に設定して記憶してもよい。
【００２０】
前記復号部は、フレーム間符号化処理が施された画素ブロックを復号する際、参照先のフレームの画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照先の画素ブロックの周囲の画素を補間して復号後の画素ブロックに代えてもよい。この場合、前記記憶部は、前記フラグを再生不能であったことを示す値に設定して記憶してもよい。
【００２１】
参照先の画素ブロックを用いた復号がなされて再生された場合と、参照先の画素ブロックを用いた復号がなされずに代替画素ブロックを用いて再生された場合とを区別するために、復号状態を示すフラグと表示状態を示すフラグを用意して、前者の場合は復号状態を示すフラグと表示状態を示すフラグの双方をＯＮにし、後者の場合は、復号状態を示すフラグをＯＦＦにし、表示状態を示すフラグのみをＯＮにしてもよい。このように２つのフラグを用いる場合は、復号状態を示すフラグがＯＮである画素ブロックのみを参照先の画素ブロックとして利用し、表示状態を示すフラグがＯＮである画素ブロックについては代替画素ブロックとしての利用を許すようにしてもよい。
【００２２】
本発明のさらに別の態様はテレビジョン受信装置に関する。この装置は、放送電波を受信する受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックとを含み、前記処理ブロックは、前記受信信号から抽出された符号化画像データ列を復号する復号部と、復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、前記復号部は、最初の基準フレームが受信されるまでの期間は、参照先フレームの画素ブロックについての前記フラグにもとづいて、各フレーム内の再生可能な画素ブロックについて再生する。
【００２３】
たとえば、装置の電源投入時や放送チャンネルの切り替え時には、基準フレームが受信されるまでの間に時間がかかるが、この装置によれば、この期間は、何らかの形で再生可能な画素ブロックについてはベストエフォートで表示するため、ユーザを待たせることなく即座に画像を表示することができる。
【００２４】
本発明のさらに別の態様もテレビジョン受信装置に関する。この装置は、放送電波を受信する受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックとを含み、前記処理ブロックは、前記受信信号から抽出された符号化画像データ列を復号する復号部を含み、前記放送電波の受信チャンネルの切り替えがあった場合、前記復号部は、切り替え後の新しいチャンネルの画像を再生可能な範囲で復号し、前記再生ブロックは、前記復号部による復号をもとに、新しいチャンネルの画像を徐々に表示する。
【００２５】
本発明のさらに別の態様もテレビジョン受信装置に関する。この装置は、放送電波を受信する受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックとを含み、前記処理ブロックは、前記受信信号から抽出された符号化画像データ列を復号する復号部を含み、当該装置の電源が投入された時に、前記復号部は、電源投入後に表示すべき画像を再生可能な範囲で復号し、前記再生ブロックは、前記復号部による復号をもとに、電源投入後に表示すべき画像を徐々に表示する。
【００２６】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００２７】
【発明の実施の形態】
図１は、実施の形態に係るテレビジョン受信装置３００の構成図である。テレビジョン受信装置３００は、アンテナ３０２とそれを介して放送波を受信する受信ブロック３０４と、受信ブロック３０４による処理の結果得られた画像および音声データを処理する処理ブロック３０６と、処理ブロック３０６によって復号された音声および画像を再生する再生ブロック３０８と、ユーザからの指示を受けつけるユーザインタフェイス３１２と、ユーザインタフェイス３１２からの命令にもとづいて受信ブロック３０４および処理ブロック３０６を制御する制御部３１０とを含む。またインタフェイスブロック３３６は、処理ブロック３０６による復号画像データを適宜外部機器へ出力する。
【００２８】
受信ブロック３０４はチューナ３２０およびパケット分離部３２２を含む。チューナ３２０はユーザが選んだチャンネルを含むトランスポンダを選択し、ＱＰＳＫ復調を施す。復調で得られた複数のトランスポートパケットを含むストリームはパケット分離部３２２へ送られる。パケット分離部３２２はデマルチプレクサであり、所望のチャンネルに対応するパケットを分離して処理ブロック３０６へ出力する。
【００２９】
処理ブロック３０６の画像・音声デコーダ３３４はＣＰＵ３３０およびメモリ３３２と連携し、放送局で符号化され送信された画像および音声データを復号する。画像・音声デコーダ３３４は、入力されたパケットを復号し、音声データを音声出力部３４０へ、画像データを表示装置３４４へそれぞれ出力する。音声出力部３４０は、入力された音声データに所定の処理を施し、最終的に音声がスピーカ３４２へ出力される。処理ブロック３０６の構成、すなわち画像・音声デコーダ３３４、ＣＰＵ３３０、メモリ３３２のうち、画像復号に関する部分を画像復号ユニット１００とする。
【００３０】
ユーザインタフェイス３１２はユーザから放送チャンネルの選択の切り替えを受けつける。制御部３１０は受信ブロック３０４にチャンネル切り替え信号を送り、処理ブロック３０６には受信開始信号を送る。これらの制御信号を契機として、受信ブロック３０４においてはチューナ３２０が放送チャンネルを切り替えて新たな受信を開始し、処理ブロック３０６においては画像復号ユニット１００が受信直後のベストエフォート処理を行うようにモードが切り替わる。
【００３１】
図２は、画像復号ユニット１００の構成図である。画像復号ユニット１００は、本発明の画像復号装置の一例であり、この画像復号ユニット１００は１チップのＬＳＩに搭載されてもよい。またこの画像復号ユニット１００と図１の受信ブロック３０４の主要な構成とが１チップのＬＳＩに搭載されてもよい。
【００３２】
ＶＬＤ部１０は、受信ブロック３０４が受信したＭＰＥＧビデオストリームに対して、ＲＯＭ２０に記憶されたハフマンテーブルに格納されているハフマンコードに基づいた可変長復号（ＶＬＤ）を行う。ＩＱ部１２は、ＶＬＤ部１０による復号結果に対して、ＲＯＭ２２に記憶された量子化テーブルに格納されている量子化閾値に基づいた逆量子化を行い、離散コサイン変換（ＤＣＴ）係数を求める。ＩＤＣＴ部１４は、ＩＱ部１２が求めたＤＣＴ係数に対して離散コサイン逆変換（ＩＤＣＴ）を行い、周波数成分を元の信号に変換する。ＭＣ部１６は、ＩＤＣＴ部１４の処理結果に対して動き補償予測（ＭＣ；Motion Compensated prediction）を行い、画像を再生する。再生された画像はフレームバッファ１８に保持されて、表示装置３４４に出力される。
【００３３】
このようにして、画像復号ユニット１００は、入力されたＭＰＥＧビデオストリームを復号して、時系列的に連続する再生画像データ列を生成する。なお、ＭＰＥＧビデオストリームは、本発明の「符号化データ列」の一例である。
【００３４】
ＭＰＥＧでは、フレーム間予測と呼ばれる圧縮技術を用いる。フレーム間予測は、フレーム間のデータを時間的な相関に基づいて圧縮する。フレーム間予測では双方向予測が行われる。双方向予測とは、過去の再生画像またはピクチャから現在の再生画像を予測する順方向予測と、未来の再生画像から現在の再生画像を予測する逆方向予測とを併用することである。
【００３５】
ＭＰＥＧ２においては、この双方向予測は、Ｉピクチャ（Intra-Picture）、Ｐピクチャ（Predictive-Picture）、およびＢピクチャ（Bidirectionally predictive-Picture）と呼ばれる３つのタイプのピクチャを規定している。Ｉピクチャは、フレーム内符号化処理によって過去や未来の再生画像とは無関係に独立して生成される画像であり、それ自体で復号が可能である。Ｉピクチャ内のすべてのマクロブロックは、フレーム内符号化処理によって生成される。Ｐピクチャは、フレーム間の順方向符号化処理によって、過去のＩピクチャまたはＰピクチャからの予測により生成される。Ｐピクチャ内のマクロブロックは、フレーム内符号化されたものと順方向予測によりフレーム間符号化されたものの両方を含む。
【００３６】
Ｂピクチャは、フレーム間符号化処理によって、双方向予測により生成される。双方向予測においてＢピクチャは、以下に示す３つの予測のうちいずれか１つにより生成される。
（１）順方向予測；過去のＩピクチャまたはＰピクチャからの予測
（２）逆方向予測；未来のＩピクチャまたはＰピクチャからの予測
（３）双方向予測；過去および未来のＩピクチャまたはＰピクチャからの予測
【００３７】
Ｂピクチャ内のマクロブロックは、フレーム内符号化されたものと、順方向予測、逆方向予測、および内挿的予測のいずれかによりフレーム間符号化されたものを含む。
【００３８】
ＭＰＥＧ４においては、ビデオ・オブジェクトの時系列をＶＯ（Video Object）と呼び、ＶＯを構成する各画像をＶＯＰ（Video Object Plane）と呼ぶ。ＶＯＰはＭＰＥＧ２におけるピクチャに相当する。ＶＯＰには予測符号化の違いにより、次の４種類が存在する。
（１）Ｉ−ＶＯＰ；フレーム内符号化ＶＯＰ
（２）Ｐ−ＶＯＰ；フレーム間順方向予測符号化ＶＯＰ
（３）Ｂ−ＶＯＰ；フレーム間双方向予測符号化ＶＯＰ
（４）Ｓ−ＶＯＰ；スプライトＶＯＰ
最初の３つのタイプＩ−ＶＯＰ、Ｐ−ＶＯＰ、Ｂ−ＶＯＰはそれぞれＭＰＥＧ２におけるＩピクチャ、Ｐピクチャ、Ｂピクチャに相当する。
【００３９】
ＭＰＥＧでは、符号化画像データは、階層構造をもつビットストリームデータとして表現されている。ＭＰＥＧで取り扱われる動画は１秒間に例えば３０枚のフレームで構成される。ＭＰＥＧ２では、一般にフレームがピクチャに対応する。ＭＰＥＧ２ではピクチャの集まりをＧＯＰ（Group Of Picture）と呼び、このＧＯＰ単位のランダムアクセスを可能としている。ランダムアクセスを行うために、ＧＯＰ内には最低１枚のＩピクチャが必要である。ＭＰＥＧ４ではＶＯＰの集まりをＧＯＶ（Group Of VOP）として扱う。
【００４０】
ＭＰＥＧ２では、各ＧＯＰ内に割り当てられるＩピクチャの数はきわめて少なく、例えば、ＧＯＰを構成する１５〜３０フレームのピクチャのうちせいぜい１フレーム程度である。ＭＰＥＧ４では、圧縮率を上げるために、ＧＯＶ内のＩ−ＶＯＰの数をさらに少なくしており、１２０フレームのＶＯＰのうち１フレーム程度である。さらにＭＰＥＧ４では、復号のために大きなバッファ容量を必要とするＢ−ＶＯＰの使用を制限し、Ｉ−ＶＯＰとＰ−ＶＯＰのみでＧＯＶを構成することもしばしば行われる。
【００４１】
ＭＰＥＧ２ではＩピクチャ、ＭＰＥＧ４ではＩ−ＶＯＰが受信されるまでの間は、ＧＯＰまたはＧＯＶ内の画像を復号することができない。そのため、受信装置の電源投入時や放送チャンネルの切り替え時においては、復号の際の基準となるＩピクチャやＩ−ＶＯＰが受信されるまでの間、画像表示を行うことができず、待ち時間が生じる。この待ち時間は、ＧＯＰ内のＩピクチャまたはＧＯＶ内のＩ−ＶＯＰの割合により決まるが、上に述べたような割合では、最悪の場合、ＭＰＥＧ２では１秒程度、ＭＰＥＧ４では４秒程度になる。本発明はＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４のいずれにも適用できるが、とくに圧縮率の高いＭＰＥＧ４の場合に、復号による待ち時間がより長いため、効果が大きく現れる。以下では、説明の簡単のため、ＭＰＥＧ２のピクチャとＧＯＰという用語を用いるが、これはＭＰＥＧ４への適用を除外する趣旨ではなく、ＭＰＥＧ４のＶＯＰとＧＯＶの概念を包含するものである。
【００４２】
再び図２を参照して、ＭＣ部１６は、ＭＰＥＧの規格にしたがって動き補償予測にもとづく画像の復号を行う以外に、これから述べるように、復号の際の基準となるフレームが参照できない状態においても、ベストエフォートで何らかの画像の再生を行う。ＭＣ部１６は、電源投入時やチャンネル切り替え時に、このようなベストエフォート再生処理を図１の制御部３１０からの制御信号にもとづいて起動するが、基準となるフレームが受信された後は、自動的に通常の復号処理に戻る。
【００４３】
図３を参照して、基準フレームの受信前のベストエフォート再生処理を説明する。ＭＰＥＧの動き補償予測では、マクロブロック単位で動きベクトルを求める。マクロブロックは８×８ピクセルのブロック４個から構成される。図３では、簡単のためＰピクチャおよびＩピクチャを６個のマクロブロックで表し、動きベクトルを実線の矢印で表している。また後述の代替ベクトルを波線の矢印で表す。同図において斜線をつけたマクロブロックは、フレーム内符号化のなされたマクロブロック（以下、簡単にイントラＭＢと呼ぶ）であり、それ以外はフレーム間符号化のなされたマクロブロック（以下、簡単に非イントラＭＢと呼ぶ）である。また動きベクトルの参照先のマクロブロックを参照先ＭＢと呼び、参照元のマクロブロックを参照元ＭＢと呼ぶ。また後述するように代替ベクトルで参照されるマクロブロックを代替ＭＢと呼ぶ。
【００４４】
時刻Ｔ０において、ＭＰＥＧビデオストリームの受信が開始され、最初のＰピクチャＰ１が受信され、引き続き第２のＰピクチャＰ２、第３のＰピクチャＰ３が受信されたとする。その後、時刻Ｔ１において、最初のＩピクチャＩ１が受信され、続いて第４のＰピクチャＰ４が受信されたとする。たとえば、時刻Ｔ０は装置の電源投入時または受信チャンネルの切り替え時であり、時刻Ｔ１は電源投入後またはチャンネル切り替え後に、最初の基準フレームが受信される時点である。
【００４５】
時刻Ｔ０から時刻Ｔ１までが図２のＭＣ部１６によるベストエフォート再生処理の期間であり、時刻Ｔ１以降はＭＣ部１６の処理は通常の復号処理に切り替わる。前述の装置の電源投入時または受信チャンネルの切り替え時の例で言えば、このベストエフォート再生処理の期間においては、電源投入後またはチャンネル切り替え後に受信される新しいチャンネルのフレームについて、再生可能な画素ブロックがベストエフォートで表示され、徐々に時刻Ｔ１における通常の表示状態に移行する。
【００４６】
ベストエフォート再生処理においては、各マクロブロックが再生可能であったかどうかを示すフラグを設け、図２のフレームバッファ１８は、フレームの画像データとともに、このマクロブロック単位のフラグを記憶する。マクロブロックごとのフラグとして、そのマクロブロックがＭＰＥＧの規格通りに復号できたかどうかを示す復号ＯＫフラグと、そのマクロブロックが表示できたかどうかを示す表示ＯＫフラグとを用意する。復号ＯＫフラグと表示ＯＫフラグがともにＯＮである場合（これを以下、「復号ＯＫ状態」と呼ぶ）、マクロブロックは規格通りに復号されて表示がなされたことを意味する。図３ではこの状態を○で表示する。復号ＯＫフラグがＯＦＦで、表示ＯＫフラグがＯＮである場合（これを以下、「復号ＮＧ・表示ＯＫ状態」と呼ぶ）は、復号はできなかったが、何らかの再生処理を行って表示がなされたことを意味し、図３では△で表示する。復号ＯＫフラグと表示ＯＫフラグがともにＯＦＦである場合（これを以下、「表示ＮＧ状態」と呼ぶ）は、規格通りの復号、何らかの再生処理のいずれをもすることができず、表示ができなかったことを意味し、図３では×で表示する。
【００４７】
最初のＰピクチャＰ１においては、イントラＭＢ３２および３４についてのみ復号可能であり、その他の非イントラＭＢ３１、３３、３５、および３６は復号ができない。復号可能なイントラＭＢ３２、３４を復号し、復号ＯＫフラグと表示ＯＫフラグをともにＯＮに設定する。すなわちこれらのイントラＭＢは復号ＯＫ状態となる。復号不能な非イントラＭＢ３１、３３、３５、および３６については、背景画や補間画像で埋め合わせる。補間画像はたとえば、周囲の画像の平均値により作成する。これらの非イントラＭＢについては復号ＯＫフラグと表示ＯＫフラグがともにＯＦＦに設定され、表示ＮＧ状態となる。このようにして再生されたＰピクチャＰ１が最終的に図２のフレームバッファ１８に出力されて表示される。
【００４８】
次に第２のＰピクチャＰ２においては、第１ＭＢ４１から第５ＭＢ４５までが非イントラＭＢであり、第６ＭＢ４６がイントラＭＢである。第６ＭＢ４６については通常の復号がなされ、復号ＯＫ状態となる。第１ＭＢ４１の参照先ＭＢは、動きベクトルが示すように第１ＰピクチャＰ１の同位置にある第１ＭＢ３１であり、これは表示ＮＧ状態であったため、これを用いた復号処理はできない。したがって、第２ＰピクチャＰ２の第１ＭＢ４１については、復号ＯＫフラグ、表示ＯＫフラグともにＯＦＦに設定され、表示ＮＧ状態となる。
【００４９】
第２ＭＢ４２については、参照先ＭＢが第１ＰピクチャＰ１の第２ＭＢ３２であり、これは復号ＯＫ状態であったから、これを用いて通常通り復号を行うことができ、復号ＯＫ状態になる。第３のＭＢ４３についても、参照先ＭＢが第１ＰピクチャＰ１の第２ＭＢ３２であるから、これを用いて復号を行って復号ＯＫ状態になる。
【００５０】
第４ＭＢ４４については、状況が異なる。参照先ＭＢは第１ＰピクチャＰ１の第３ＭＢ３３であり、これは表示ＮＧの状態であった。したがってこれを用いた復号はできない。そこで第１ＰピクチャＰ１の第３ＭＢ３３を参照していた動きベクトルが、仮に第１ＰピクチャＰ１において参照元ＭＢと同位置にある第４ＭＢ３４を参照していると考えて、参照先ＭＢを変更する。このように参照先を変更させた場合の動きベクトルを代替ベクトルと呼び、変更後の参照先ＭＢを代替ＭＢと呼ぶ。参照元の第４ＭＢ４４には、第１ＰピクチャＰ１の代替ＭＢをそのままコピーして埋め合わせる。このようにして再生された第４ＭＢ４４の復号ＯＫフラグはＯＦＦに、表示ＯＫフラグはＯＮに設定され、復号ＮＧ・表示ＯＫ状態となる。
【００５１】
第５ＭＢ４５については、参照先ＭＢが第１ＰピクチャＰ１の同位置の第５ＭＢ３５であり、これが表示ＮＧ状態であるため、復号も代替ＭＢによるコピーもできず、表示ＮＧ状態となる。第５ＭＢ４５にはその代わり、背景画や補間画像を埋める。
【００５２】
第３ＰピクチャＰ３についても、同様である。第２ＭＢ５２の参照先ＭＢは第２ＰピクチャＰ２の第１ＭＢ４１であり、これが表示ＮＧ状態であるため、代替ＭＢとして第２ＰピクチャＰ２において同位置にある第２ＭＢ４２を代替ベクトルで参照して用いる。この場合、代替ＭＢは復号ＯＫ状態であるからこれをそのまま利用して第２ＭＢ５２にコピーし、第２のＭＢ５２は復号ＮＧ・表示ＯＫの状態になる。第４ＭＢ５４の参照先ＭＢは第２ＰピクチャＰ２の同位置にある第４ＭＢ４４であり、それが「復号ＮＧ・表示ＯＫ」であるから、これをそのままコピーして第３ピクチャＰ３の第４ＭＢ５４とする。この第４ＭＢ５４は「復号ＮＧ・表示ＯＫ」の状態になる。
【００５３】
時刻Ｔ１において最初のＩピクチャＩ１が受信されると、それまでのベストエフォート再生処理は中止し、これ以降は通常の復号処理となる。ＩピクチャＩ１はイントラＭＢのみで構成されるから、他のフレームを参照せずに復号できる。その後受信される第４ＰピクチャＰ４は先のＩピクチャＩ１を参照して完全に復号することができる。
【００５４】
なお、ビデオストリームがＩピクチャとＰピクチャだけで構成される場合は、直前のフレームだけを参照すればよいため、フラグは１フレームのマクロブロック数だけ用意して、順次それを上書きすればよい。
【００５５】
図４は、ベストエフォート再生処理のルールを説明する図である。参照先ＭＢが復号ＯＫ状態である場合（同図において○で示す）は、参照元ＭＢは復号でき、復号ＯＫ状態（同図○）となる。参照先ＭＢが復号ＯＫ状態でない、すなわち復号ＮＧ・表示ＯＫ状態（同図△）または表示ＮＧ状態（同図×）である場合、代替ＭＢが復号ＯＫ状態（同図○）または復号ＮＧ・表示ＯＫ状態（同図△）であれば、参照元ＭＢはその代替ＭＢで代用され、復号ＮＧ・表示ＯＫ状態（同図△）となる。参照先ＭＢが復号ＯＫ状態でなく（同図△／×）、代替ＭＢが表示ＮＧ状態（同図△）である場合は、参照元ＭＢは復号することも代替ＭＢで代用することできず、表示ＮＧ状態（同図×）となる。
【００５６】
ここまでの説明では、再生状態を示すフラグとして、復号ＯＫフラグと表示ＯＫフラグの２つを用いて、復号ができて表示された場合と、復号ができずに代替ＭＢで代用することで表示された場合とを区別したが、両者を区別せずに、単に表示できたか否かを示す表示ＯＫフラグを一つだけ用いて、ベストエフォート再生処理を行ってもよい。規格通りの復号ができて表示された場合、代替ＭＢで代用されて表示された場合のいずれであっても、表示ＯＫフラグがＯＮに設定され、この状態を表示ＯＫ状態と呼ぶ。規格通りの復号も代替ＭＢによる代用もできなかった場合、表示ＯＫフラグがＯＦＦに設定され、この状態を表示ＮＧ状態と呼ぶ。表示ＮＧ状態では、背景画や補間画像を用いた埋め合わせが行われる。
【００５７】
図５は、表示ＯＫフラグのみを用いる場合のベストエフォート再生処理のルールを説明する図である。参照元ＭＢが表示ＯＫ状態である場合（同図において○で示す）、参照先ＭＢを用いて参照元ＭＢを復号して表示する。この場合、参照元ＭＢは表示ＯＫ状態（同図○）となる。参照先ＭＢが表示ＮＧ状態（同図×）であり、代替ＭＢが表示ＯＫ状態（同図○）である場合、参照元ＭＢに代替ＭＢをコピーする。この場合も参照元ＭＢは表示ＯＫ状態（同図○）となる。さらに参照先ＭＢが表示ＮＧ状態（同図×）であり、代替ＭＢも表示ＮＧ状態（同図×）である場合、参照元ＭＢは復号もできず、代替ＭＢによるコピーもできず、表示ＮＧ状態（同図×）となる。
【００５８】
以上の構成に基づいて、本実施形態の画像復号ユニット１００における画像復号手順を図６から図９に示すフローチャートにしたがって説明する。
【００５９】
図６は、ビデオストリームの受信を開始した際のベストエフォートによる画像の再生・表示処理の全体の流れを示すフローチャートである。最初に受信されたＰピクチャの再生・表示処理を行う（Ｓ１０）。次にＩピクチャを受信した場合（Ｓ１２のＹ）、ベストエフォートによる再生・表示処理は終了し、通常の復号処理に移行する。Ｉピクチャを受信しなかった場合（Ｓ１２のＮ）、次に受信されたＰピクチャの再生・表示処理を行う（Ｓ１４）。そのＰピクチャの再生・表示処理が終われば、ステップＳ１２に戻り、ステップＳ１２およびＳ１４を繰り返す。このようにしてＩピクチャが受信されるまでの間は、ベストエフォートによる再生・表示処理が行われる。
【００６０】
図７は、図６のステップＳ１０で示した、最初のＰピクチャの再生・表示処理の詳細な手順を示すフローチャートである。最初のＰピクチャのイントラＭＢを復号する（Ｓ２０）。復号されたイントラＭＢの復号ＯＫフラグおよび表示ＯＫフラグをともにＯＮに設定する（Ｓ２２）。次に非イントラＭＢについては、参照するフレームが存在せず、復号できないため、背景画や補間画像を用いて埋め合わせする（Ｓ２４）。非イントラＭＢの復号ＯＫフラグと表示ＯＫフラグをＯＦＦに設定する（Ｓ２６）。このようにして再生された画像フレームを表示する（Ｓ２８）。
【００６１】
図８は、図６のステップＳ１４で示した、２番目以降のＰピクチャの再生・表示処理の詳細な手順を示すフローチャートである。図７に示した最初のＰピクチャの場合と同様、イントラＭＢについては、通常通り復号し（Ｓ３０）、復号ＯＫフラグと表示ＯＫフラグの両方をＯＮに設定する（Ｓ３２）。次に非イントラＭＢの再生処理を行い（Ｓ３４）、最終的に、再生された画像フレームを表示する（Ｓ３６）。
【００６２】
図９は、図８のステップＳ３４で示した、非イントラＭＢの再生処理の詳細な手順を示すフローチャートである。再生処理対象の非イントラＭＢの参照先ＭＢが、参照先の画像フレームの復号ＯＫフラグがＯＮの領域内にあるかどうかを調べる（Ｓ４０）。マクロブロックは４つのブロックから構成されるので、４つのブロックのすべてについて復号ＯＫフラグがＯＮであれば、復号ＯＫフラグがＯＮの領域内にあると判定する。参照先ＭＢのブロックの一つでも復号ＯＫフラグがＯＦＦのものがあれば、その参照先ＭＢは復号フラグがＯＮの領域内にはないと判定する。
【００６３】
参照先ＭＢが、復号ＯＫフラグがＯＮの領域内にある場合（Ｓ４０のＹ）、非イントラＭＢは参照先ＭＢを用いて復号する（Ｓ４２）。復号された非イントラＭＢの復号ＯＫフラグと表示ＯＫフラグをともにＯＮに設定する（Ｓ４４）。
【００６４】
参照先ＭＢが、復号ＯＫフラグがＯＮの領域内にない場合（Ｓ４０のＮ）、直前の画像フレームにおいて参照元ＭＢと同位置にあるマクロブロックを代替ＭＢとして、その代替ＭＢの表示ＯＫフラグがＯＮであるかどうかを調べる（Ｓ４６）。代替ＭＢの表示ＯＫフラグがＯＮである場合（Ｓ４６のＹ）、その代替ＭＢの画像をそのまま参照元ＭＢにコピーして代用する（Ｓ４８）。そのようにして再生された非イントラＭＢについては、復号ＯＫフラグをＯＦＦに、表示ＯＫフラグをＯＮに設定する（Ｓ５０）。
【００６５】
代替ＭＢの表示ＯＫフラグがＯＦＦである場合（Ｓ４６のＮ）、背景画もしくは補間画像で参照元ＭＢを埋め合わせる（Ｓ５２）。そのようにして再生された非イントラＭＢについては、復号ＯＫフラグと表示ＯＫフラグの双方をＯＦＦに設定する（Ｓ５４）。
【００６６】
図１０は、テレビジョン受信装置３００による放送チャンネルの切り替え時の画像表示の様子を説明する図である。チャンネル切り替え時Ｔ０以前では、切り替え前のチャンネルの画像信号が受信されており、チャンネル切り替え時刻Ｔ０に切り替え後の新しいチャンネルの画像信号の受信が開始される。チャンネル切り替え時Ｔ０の直前に受信されたＰピクチャ２００はそれまでに受信されたＩピクチャやＰピクチャを用いて完全に復号されて表示されている。
【００６７】
チャンネル切り替え時刻Ｔ０の直後は、一般に新しいチャンネルのＰピクチャもしくはＢピクチャが受信され、最初のＩピクチャが受信されるまで、ＭＰＥＧ２では約１秒、ＭＰＥＧ４では約４秒かかる。同図の例では、チャンネル切り替え時刻Ｔ０から最初のＩピクチャ２０８の受信時刻Ｔ１までの間に、Ｐピクチャ２０２、２０４および２０６が受信されており、この期間、上述のベストエフォート再生処理が行われる。ベストエフォート再生の間は、同図のように、まず最初のＰピクチャ２０２について再生可能な画素ブロックが部分的に表示され、そのＰピクチャ２０２の再生画素ブロックを利用して、次のＰピクチャ２０４について再生可能な画素ブロックが復号されて表示される。さらに次のＰピクチャ２０６についても同様に一つ前のＰピクチャ２０４を利用して復号されて部分的に表示される。表示される画素ブロックの数は時間とともに増えていき、徐々に時刻Ｔ１におけるＩピクチャ２０８の画像に移行し、時刻Ｔ１以降は、規格通りの通常の再生処理が行われる。これにより、チャンネル切り替え直後から新しいチャンネルの画像を部分的にでも表示して、ユーザの待ち時間を短縮することができる。
【００６８】
図１１は、テレビジョン受信装置３００による電源投入時の画像表示の様子を説明する図である。電源投入前の画面２１０には何も表示されていないが、電源投入時刻Ｔ０に、電源投入後に表示されるチャンネルの画像信号の受信が開始される。図１０と同様、電源投入時刻Ｔ０から最初のＩピクチャ２０８の受信時刻Ｔ１までの間は、Ｐピクチャ２０２、２０４および２０６が受信されており、この期間、ベストエフォート再生処理が行われ、Ｐピクチャ２０２、２０４、２０６の再生可能な画素ブロックが部分的に表示され、徐々に時刻Ｔ１におけるＩピクチャ２０８の画像に移行する。電源投入直後から画像が部分的にでも表示されるため、通常の再生処理が可能になるまで画面に何も表示されないことによるユーザのいらだちを避けることができる。
【００６９】
以上説明したように、本実施の形態によれば、地上波のデジタルテレビで放送されるＭＰＥＧストリーム、とくにＭＰＥＧ４方式によるビデオストリームを受信する際、復号処理の基準となるストリームの受信までの期間、受信されたフレームをベストエフォートで再生して表示することができる。これにより、出画までの時間を短縮して、電源投入時やチャンネル切り替え時のレスポンスを改善することができる。
【００７０】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。
【００７１】
実施の形態では、Ｂピクチャがない場合を説明したが、Ｂピクチャが含まれる場合でも同様にフラグを用いてベストエフォート再生を行うことができる。ただしＢピクチャを復号するには前後のフレームが必要となるため、フレームバッファ１８の容量を大きくして、参照するフレームとそのフラグを保持する必要がある。
【００７２】
実施の形態では、代替ＭＢをそのままコピーしたが、参照先ＭＢの代わりに代替ＭＢを用いて復号を行ってもよい。また代替ＭＢとして直前のフレームにおいて参照元ＭＢと同位置にあるマクロブロックを利用したが、同位置に限らず、その近傍にあるものを利用してもよい。また代替ＭＢとして、エラー隠蔽用に用意されている動きベクトルを利用して別の参照先ＭＢを利用してもよい。さらに上記の説明では、参照先ＭＢが参照元ＭＢと同位置にある、すなわち動きベクトルがゼロである場合に、その参照先ＭＢが表示ＮＧ状態であるとき、復号することができないとしたが、この場合でも、近傍のマクロブロックを代替ＭＢとして利用したり、エラー隠蔽用の参照先ＭＢを用いて復号してもよい。このようにベストエフォート再生にはいろいろな変形がありうる。
【００７３】
また上記の説明では、受信開始直後にＩピクチャが存在しない状態を想定してベストエフォート再生処理が行われるとしたが、Ｉピクチャが参照できない状態は、たとえば受信状態が不良のためＩピクチャが得られなかった場合にも考えられ、そのような場合にも本発明のベストエフォート再生処理をエラー処理として適用することができる。
【００７４】
【発明の効果】
本発明によれば、復号に必要な基準フレームが参照できない状態においても、画像を再生して表示することができる。
【図面の簡単な説明】
【図１】 実施の形態に係るテレビジョン受信装置の構成図である。
【図２】 図１の画像復号ユニットの機能構成図である。
【図３】 基準フレーム受信前の画像の再生処理を説明する図である。
【図４】 ベストエフォート再生処理のルールを説明する図である。
【図５】 別のベストエフォート再生処理のルールを説明する図である。
【図６】 実施の形態に係る画像の再生・表示手順を示すフローチャートである。
【図７】 図６に示した最初のＰピクチャの再生・表示処理の詳細な手順を示すフローチャートである。
【図８】 図６に示した２番目以降のＰピクチャの再生・表示処理の詳細な手順を示すフローチャートである。
【図９】 図８に示した非イントラＭＢの再生処理の詳細な手順を示すフローチャートである。
【図１０】 実施の形態に係るテレビジョン受信装置による放送チャンネルの切り替え時の画像表示の様子を説明する図である。
【図１１】 実施の形態に係るテレビジョン受信装置による電源投入時の画像表示の様子を説明する図である。
【符号の説明】
１０ ＶＬＤ部、 １２ ＩＱ部、 １４ ＩＤＣＴ部、 １６ ＭＣ部、 １８ フレームバッファ、 １００ 画像復号ユニット、 ３００ テレビジョン受信装置、 ３０４ 受信ブロック、 ３０６ 処理ブロック、 ３０８ 再生ブロック、 ３１０ 制御部、 ３１２ ユーザインタフェイス、 ３２０ チューナ、 ３２２ パケット分離部、 ３３４ 画像・音声デコーダ、 ３３６ インタフェイスブロック、 ３４０ 音声出力部、 ３４４ 表示装置。
Claims (22)
- フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する過程において、フレーム間符号化の基準となるフレームが参照できない状況にある期間は、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックが再生可能であった場合は当該参照先画素ブロックを用いて参照元画素ブロックを復号し、前記参照先画素ブロックが再生不能であった場合は、前記参照元画素ブロックと同位置にある前記参照先のフレーム内の画素ブロックを代替ブロックとして用いて当該参照元画素ブロックの再生データを生成することを特徴とする画像復号方法。
- フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する過程において、フレーム間符号化の基準となるフレームが参照できない状況にある期間は、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックが再生可能であった場合は当該参照先画素ブロックを用いて参照元画素ブロックを復号し、前記参照先画素ブロックが再生不能であった場合は、前記参照元画素ブロックの周囲にある前記参照先のフレーム内の画素ブロックのいずれかを代替ブロックとして用いて当該参照元画素ブロックの再生データを生成することを特徴とする画像復号方法。
- フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する過程において、フレーム間符号化の基準となるフレームが参照できない状況にある期間は、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックが再生可能であった場合は当該参照先画素ブロックを用いて参照元画素ブロックを復号し、前記参照先画素ブロックが再生不能であった場合は、前記参照元画素ブロックに対しエラー隠蔽用に用意された動きベクトルが参照している前記参照先のフレーム内の画素ブロックを代替ブロックとして用いて当該参照元画素ブロックの再生データを生成することを特徴とする画像復号方法。
- フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する過程において、フレーム間符号化の基準となるフレームが参照できない状況にある期間は、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックが再生可能であった場合は当該参照先画素ブロックを用いて参照元画素ブロックを復号し、前記参照先画素ブロックが再生不能であった場合は、前記参照先画素ブロックの周囲の画素のうち複数の画素を補間してなる画素ブロックを代替ブロックとして用いて当該参照元画素ブロックの再生データを生成することを特徴とする画像復号方法。
- 前記期間において、フレーム内符号化処理が施された画素ブロックを復号することを特徴とする請求項１から４のいずれかに記載の画像復号方法。
- 前記参照先画素ブロックが再生不能であった場合は、前記代替ブロックをそのまま復号後の画素ブロックとすることにより前記参照元画素ブロックの再生データを生成することを特徴とする請求項１から５のいずれかに記載の画像復号方法。
- 前記参照先画素ブロックが再生不能であった場合は、前記代替ブロックを用いて復号することにより前記参照元画素ブロックの再生データを生成することを特徴とする請求項１から５のいずれかに記載の画像復号方法。
- フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する復号部と、
復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、
前記復号部は、フレーム間符号化の基準フレームが参照できない状況では、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先画素ブロックを用いて参照元画素ブロックを復号し、参照先のフレームの参照先画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照元画素ブロックと同位置にある前記参照先のフレーム内の画素ブロックをそのまま復号後の画素ブロックとすることを特徴とする画像復号装置。 - フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する復号部と、
復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、
前記復号部は、フレーム間符号化の基準フレームが参照できない状況では、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先画素ブロックを用いて参照元画素ブロックを復号し、参照先のフレームの参照先画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照元画素ブロックの周囲にある前記参照先のフレーム内の画素ブロックのいずれかをそのまま復号後の画素ブロックとすることを特徴とする画像復号装置。 - フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する復号部と、
復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、
前記復号部は、フレーム間符号化の基準フレームが参照できない状況では、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先画素ブロックを用いて参照元画素ブロックを復号し、参照先のフレームの参照先画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照元画素ブロックに対しエラー隠蔽用に用意された動きベクトルが参照している前記参照先のフレーム内の画素ブロックをそのまま復号後の画素ブロックとすることを特徴とする画像復号装置。 - フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する復号部と、
復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、
前記復号部は、フレーム間符号化の基準フレームが参照できない状況では、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先画素ブロックを用いて参照元画素ブロックを復号し、参照先のフレームの参照先画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照先画素ブロックの周囲の画素のうち複数の画素を補間してなる画素ブロックをそのまま復号後の画素ブロックとすることを特徴とする画像復号装置。 - フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する復号部と、
復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、
前記復号部は、フレーム間符号化の基準フレームが参照できない状況では、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先画素ブロックを用いて参照元画素ブロックを復号し、参照先のフレームの参照先画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照元画素ブロッ クと同位置にある前記参照先のフレーム内の画素ブロックを用いて生成したデータを復号後の画素ブロックとすることを特徴とする画像復号装置。 - フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する復号部と、
復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、
前記復号部は、フレーム間符号化の基準フレームが参照できない状況では、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先画素ブロックを用いて参照元画素ブロックを復号し、参照先のフレームの参照先画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照元画素ブロックの周囲にある前記参照先のフレーム内の画素ブロックのいずれかを用いて生成したデータを復号後の画素ブロックとすることを特徴とする画像復号装置。 - フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する復号部と、
復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、
前記復号部は、フレーム間符号化の基準フレームが参照できない状況では、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先画素ブロックを用いて参照元画素ブロックを復号し、参照先のフレームの参照先画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照元画素ブロックに対しエラー隠蔽用に用意された動きベクトルが参照している前記参照先のフレーム内の画素ブロックを用いて生成したデータを復号後の画素ブロックとすることを特徴とする画像復号装置。 - フレーム内符号化処理またはフレーム間符号化処理の少なくとも一方が画像信号に対して施されることによって符号化された符号化データ列を復号する復号部と、
復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、
前記復号部は、フレーム間符号化の基準フレームが参照できない状況では、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先画素ブロックを用いて参照元画素ブロックを復号し、参照先のフレームの参照先画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照先画素ブロックの周囲の画素のうち複数の画素を補間してなる画素ブロックを用いて生成したデータを復号後の画素ブロックとすることを特徴とする画像復号装置。 - 前記復号部は、前記状況では、フレーム内符号化処理が施された画素ブロックを復号し、前記記憶部は、その画素ブロックおよび、フレーム間符号化処理が施された画素ブロックのうち、前記フラグが再生可能であったことを示している参照先画素ブロックを用いて復号した参照元画素ブロックについての前記フラグを再生可能であったことを示す値に設定することを特徴とする請求項８から１５のいずれかに記載の画像復号装置。
- 放送電波を受信する受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックとを含み、
前記処理ブロックは、前記受信信号から抽出された符号化画像データ列を復号する復号部と、復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、
前記復号部は、最初の基準フレームが受信されるまでの期間は、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先画素ブロックを用いて参照元画素ブロックを復号し、参照先のフレームの参照先画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照元画素ブロックと同位置にある前記参照先のフレーム内の画素ブロックをそのまま復号後の画素ブロックとすることを特徴とするテレビジョン受信装置。 - 放送電波を受信する受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックとを含み、
前記処理ブロックは、前記受信信号から抽出された符号化画像データ列を復号する復号部と、復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、
前記復号部は、最初の基準フレームが受信されるまでの期間は、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先画素ブロックを用いて参照元画素ブロックを復号し、参照先のフレームの参照先画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照元画素ブロックの周囲にある前記参照先のフレーム内の画素ブロックのいずれかをそのまま復号後の画素ブロックとすることを特徴とするテレビジョン受信装置。 - 放送電波を受信する受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックとを含み、
前記処理ブロックは、前記受信信号から抽出された符号化画像データ列を復号する復号部と、復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、
前記復号部は、最初の基準フレームが受信されるまでの期間は、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先画素ブロックを用いて参照元画素ブロックを復号し、参照先のフレームの参照先画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照元画素ブロックに対しエラー隠蔽用に用意された動きベクトルが参照している前記参照先のフレーム内の画素ブロックをそのまま復号後の画素ブロックとすることを特徴とするテレビジョン受信装置。 - 放送電波を受信する受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックとを含み、
前記処理ブロックは、前記受信信号から抽出された符号化画像データ列を復号する復号部と、復号されたフレームについてブロック単位で再生可能であったかどうかを示すフラグを一時的に記憶する記憶部とを含み、
前記復号部は、最初の基準フレームが受信されるまでの期間は、フレーム間符号化処理が施された画素ブロックにおいて、参照先のフレームの参照先画素ブロックについての前記フラグが再生可能であったことを示している場合には、その参照先画素ブロックを用いて参照元画素ブロックを復号し、参照先のフレームの参照先画素ブロックについての前記フラグが再生不能であったことを示している場合には、前記参照先画素ブロックの周囲の画素のうち複数の画素を補間してなる画素ブロックをそのまま復号後の画素ブロックとすることを特徴とするテレビジョン受信装置。 - 前記復号部は、前記放送電波の受信チャンネルの切り替え直後から前記最初の基準フレームが受信されるまでの期間、受信されたフレーム内の再生可能な画素ブロックを復号し、前記再生ブロックは、その期間の各フレームについては、前記復号部により復号された画素ブロックを再生して表示することを特徴とする請求項１７から２０のいずれかに記載のテレビジョン受信装置。
- 前記復号部は、当該装置の電源投入直後から前記最初の基準フレームが受信されるまでの期間、受信されたフレーム内の再生可能な画素ブロックを復号し、前記再生ブロックは、その期間の各フレームについては、前記復号部により復号された画素ブロックを再生して表示することを特徴とする請求項１７から２１のいずれかに記載のテレビジョン受信装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003155131A JP4043406B2 (ja) | 2002-06-07 | 2003-05-30 | 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002167733 | 2002-06-07 | ||
| JP2003155131A JP4043406B2 (ja) | 2002-06-07 | 2003-05-30 | 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004064746A JP2004064746A (ja) | 2004-02-26 |
| JP4043406B2 true JP4043406B2 (ja) | 2008-02-06 |
Family
ID=31949455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003155131A Expired - Lifetime JP4043406B2 (ja) | 2002-06-07 | 2003-05-30 | 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4043406B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005204273A (ja) * | 2003-12-15 | 2005-07-28 | D & M Holdings Inc | Ａｖシステム及びａｖ機器並びに映像信号出力方法 |
| JP4707385B2 (ja) * | 2004-12-17 | 2011-06-22 | 京セラ株式会社 | ディジタル放送受信装置 |
| JP4672561B2 (ja) * | 2006-01-26 | 2011-04-20 | シャープ株式会社 | 画像処理装置、受信装置、放送システム、画像処理方法、画像処理プログラム、および記録媒体 |
| US8223842B2 (en) | 2006-05-24 | 2012-07-17 | Panasonic Corporation | Dynamic image decoding device |
-
2003
- 2003-05-30 JP JP2003155131A patent/JP4043406B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004064746A (ja) | 2004-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3825719B2 (ja) | 画像再生方法、画像再生装置、および画像記録装置 | |
| US20070291131A1 (en) | Apparatus and Method for Controlling Image Coding Mode | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| JP4534935B2 (ja) | トランスコーダ、記録装置及びトランスコード方法 | |
| US7961788B2 (en) | Method and apparatus for video encoding and decoding, and recording medium having recorded thereon a program for implementing the method | |
| JP5090158B2 (ja) | 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体 | |
| US20060233235A1 (en) | Video encoding/decoding apparatus and method capable of minimizing random access delay | |
| US6961377B2 (en) | Transcoder system for compressed digital video bitstreams | |
| JP2001285876A (ja) | 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置 | |
| JP5155159B2 (ja) | 動画像復号装置 | |
| JP3852366B2 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
| JPH0818979A (ja) | 画像処理装置 | |
| US7403563B2 (en) | Image decoding method and apparatus, and television receiver utilizing the same | |
| JP4043406B2 (ja) | 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 | |
| JP4010617B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP2820630B2 (ja) | 画像復号装置 | |
| JP4320509B2 (ja) | 映像再符号化装置および方法 | |
| JP4906197B2 (ja) | 復号装置および方法、並びに記録媒体 | |
| KR100734141B1 (ko) | 복수의 프레임을 참조하는 시간적 및 공간적 스케일러블인코딩 및 디코딩 방법과 그 장치 | |
| JP2001045490A (ja) | 動画像信号の符号化装置及び符号化方法 | |
| JPH08265776A (ja) | 映像データ合成装置およびその方法 | |
| JP3147636B2 (ja) | ビデオデータ配列方法並びにその符号化装置及び復号化装置 | |
| KR100731884B1 (ko) | 복수의 프레임을 참조하는 시간적 스케일러블 인코딩 및디코딩 방법과 그 장치 | |
| JP2006187037A (ja) | 画像再生方法 | |
| KR0179104B1 (ko) | 지상채널 에이치디티브이 방송과 양립하는 위성채널 에이치디티브이 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060912 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071016 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071113 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4043406 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
| SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
| SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |