JP5155159B2 - 動画像復号装置 - Google Patents
動画像復号装置 Download PDFInfo
- Publication number
- JP5155159B2 JP5155159B2 JP2008516719A JP2008516719A JP5155159B2 JP 5155159 B2 JP5155159 B2 JP 5155159B2 JP 2008516719 A JP2008516719 A JP 2008516719A JP 2008516719 A JP2008516719 A JP 2008516719A JP 5155159 B2 JP5155159 B2 JP 5155159B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- image
- decoding
- decoded
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、符号化された動画像データを復号する画像復号装置に関し、特に、動画像データの途中から再生を行う場合の復号技術に関する。
近年、画像、特に動画像は高画質、大画面の要求を満たす為にそのデータ量は増大しており、これら大容量化する動画像データを記録媒体に記録する場合等を考慮して、圧縮符号化する技術が開発されている。
高能率圧縮符号化の技術として、画面間の相関を利用する画面間予測符号化技術があり、符号化圧縮方式の国際標準規格に組み込まれている。
高能率圧縮符号化の技術として、画面間の相関を利用する画面間予測符号化技術があり、符号化圧縮方式の国際標準規格に組み込まれている。
国際標準規格としては、例えば、現行テレビからハイビジョンまでのテレビジョン放送等の高画質の実現を目標としたＭＰＥＧ（Motion Picture Experts Group）−２規格や、モバイルやインターネットでの利用の為に高圧縮率の実現を目標とするＨ．２６４／ＭＰＥＧ−４ＡＶＣ（Advanced Video Codec）などがある。
通常、記録媒体に記録されている動画像データは、そのビットストリームの先頭から再生するだけではなく、途中から再生する場合が多々ある。また、テレビ放送を考えると、放送の開始から視聴しない限り、ビットストリームの途中からの再生となる。
通常、記録媒体に記録されている動画像データは、そのビットストリームの先頭から再生するだけではなく、途中から再生する場合が多々ある。また、テレビ放送を考えると、放送の開始から視聴しない限り、ビットストリームの途中からの再生となる。
画面間予測符号化を用いて符号化された動画像データは、基本的に、画像を復号するためには他の画像を必要とする。画像を符号化する際に、他の画像との差分のみを記憶することで高圧縮を実現しているからである。
従って、例えば、テレビ放送のビットストリームを途中から受信して再生しようとすると、参照すべき他の画像（以下、「参照画像」と言う。）のデータであるビットストリームを受信していない場合は画像の再生が出来ないこととなってしまう。
従って、例えば、テレビ放送のビットストリームを途中から受信して再生しようとすると、参照すべき他の画像（以下、「参照画像」と言う。）のデータであるビットストリームを受信していない場合は画像の再生が出来ないこととなってしまう。
そこで、動画像データの途中からであっても、画像を復号し表示する技術が提案されている（特許文献１参照）。この技術では、復号に際し必要な参照画像が存在しない場合には、予め用意した画像、例えば、灰色の画像を代用して復号を行う。
また、動画像データの途中からの再生を目的とした技術ではないが、復号対象の画像データがエラー等により読み取れず復号が出来ない場合に、画像を生成し表示する技術が提案されている（特許文献２参照）。
また、動画像データの途中からの再生を目的とした技術ではないが、復号対象の画像データがエラー等により読み取れず復号が出来ない場合に、画像を生成し表示する技術が提案されている（特許文献２参照）。
この技術を簡単に説明すると、復号対象の画像データ自体が存在しないので、想定し得る予測画像を表示画像とするものである。詳細は、図１１を用いて後述する。
これらの技術を利用することにより、復号が出来ない場合に、本来の画像を表示することは出来ないものの、動画像データの途中からの再生を行うことは可能となる。
特開平８−１６３５７５号公報
特開平７−１１１６５４号公報
これらの技術を利用することにより、復号が出来ない場合に、本来の画像を表示することは出来ないものの、動画像データの途中からの再生を行うことは可能となる。
しかしながら、参照画像の代わりに予め用意した画像を利用したとしても、本来の参照画像と用意した画像とでは相関が著しく低いため、復号された画像の再現性、つまり、符号化される前の画像と復号化された画像との一致の度合いは著しく低い。また、予測画像を表示画像とすることは、対象画像と参照画像との差分である残差データを用いないため、同様に再現性は著しく低くなる。
そこで、本発明は、動画像データの途中からの再生を行う場合に、より再現性の高い復号画像を生成できる動画像復号装置の提供を目的とする。
上記目的を達成するために、本発明に係る動画像復号装置は、予測符号化方式に従って符号化されている動画像データを復号化する動画像復号装置であって、 前記動画像データに含まれるブロックが復号化された結果である画像を記憶する記憶手段と、復号化するブロックである対象ブロックが符号化される際に用いられた参照画像が、前記記憶手段に記憶されているか否かを判断する判断手段と、 対象ブロックが画面間予測符号化されているブロックである場合であって、当該対象ブロックが符号化される際に用いられた参照画像が、前記記憶手段に記憶されていると前記判断手段が判断した場合は、当該参照画像を用いて復号化し、参照画像が記憶されていないと判断した場合には、当該対象ブロックが含まれるピクチャと同一ピクチャ内のブロックが復号化された結果である画像を用いて復号化するよう制御する制御手段とを備えることを特徴とする。
上記構成の動画像復号装置は、画面間予測符号化されたブロックを復号する際に、参照画像がない場合であっても、同一ピクチャ内のブロックの画像を用いた復号化を行うことができるので、次のシーケンスを待つことなく復号を開始することが可能となる。ここで、シーケンスとは、一まとまりの動画ストリームであって、他のストリームを参照しなくても復号できる単位である。
また、復号は、画面内の相関に基づく予測ブロック、すなわち、基本的には、対象ブロックと隣接する画素を用いて予測ブロックを生成し、この予測ブロックと対象ブロックが元々有している差分データとを加算することで行なう。
従って、元通りの画像は得られないものの、対象ブロックの元の画像と隣接するブロックの元の画像とが近似していれば、復号画像と元の画像との差異を低減できる可能性が高まることになり、隣接するブロックの画像同士は、近似している可能性が高いことから、再現性が高くなることが期待できることになる。
従って、元通りの画像は得られないものの、対象ブロックの元の画像と隣接するブロックの元の画像とが近似していれば、復号画像と元の画像との差異を低減できる可能性が高まることになり、隣接するブロックの画像同士は、近似している可能性が高いことから、再現性が高くなることが期待できることになる。
また、前記動画像復号装置は、更に、特定のピクチャの復号化が行われたことを検出する検出手段を備え、前記判断手段は、特定のピクチャの復号化が行われたことを検出するまでは、対象ブロックが符号化される際に用いられた参照画像が、前記記憶手段に記憶されていないと判断することとしてもよい。
これにより、画面間予測符号化されたブロックを復号する際に、特定のピクチャが復号されていない場合は、同一ピクチャ内のブロックの画像を用いた復号化を行うので、次のシーケンスを待つことなく復号を開始することが可能となる。
これにより、画面間予測符号化されたブロックを復号する際に、特定のピクチャが復号されていない場合は、同一ピクチャ内のブロックの画像を用いた復号化を行うので、次のシーケンスを待つことなく復号を開始することが可能となる。
ここで、特定のピクチャとは、例えば、ＩＤＲ（Instantaneous Decoder Refresh）ピクチャである。すなわち、シーケンスの途中からの復号となっても、次のシーケンスのＩＤＲピクチャを待つことなく復号を開始でき、画面内の相関を利用した予測によるため、より適切な復号画像を得ることが可能となる。
また、前記制御手段は、対象ブロックが画面間予測符号化されたブロックである場合であって、当該対象ブロックが符号化される際に用いられた参照画像が、前記記憶手段に記憶されていないと前記判断手段が判断した場合には、当該対象ブロックに隣接するブロックから画面内予測符号化されたブロックを選択し、当該選択したブロックの復号化された画像を用いて復号化するよう制御することとしてもよい。
また、前記制御手段は、対象ブロックが画面間予測符号化されたブロックである場合であって、当該対象ブロックが符号化される際に用いられた参照画像が、前記記憶手段に記憶されていないと前記判断手段が判断した場合には、当該対象ブロックに隣接するブロックから画面内予測符号化されたブロックを選択し、当該選択したブロックの復号化された画像を用いて復号化するよう制御することとしてもよい。
これにより、画面内予測符号化されたブロックの情報（例えば、画素値）を用いるため、画面間予測符号化されたブロックからの影響を低減できるため、復号画像の画質向上について更なる効果が期待される。
尚、ここで、ブロックに隣接するとは、１画面を符号化する場合の符号化単位である複数画素、例えば、１６画素×１６画素の矩形画像を符号化したものがブロックであり、隣接するとは、かかる矩形が接する位置関係にあるブロックをいう。
尚、ここで、ブロックに隣接するとは、１画面を符号化する場合の符号化単位である複数画素、例えば、１６画素×１６画素の矩形画像を符号化したものがブロックであり、隣接するとは、かかる矩形が接する位置関係にあるブロックをいう。
また、前記動画像復号装置は、更に、ブロックの復号化された画像毎に、当該ブロックの符号化される前の画像と復号化された画像との一致の度合いを示す相関情報を記憶する相関記憶手段を備え、前記制御手段は、対象ブロックが画面間予測符号化されたブロックである場合であって、当該対象ブロックが符号化される際に用いられた参照画像が、前記記憶手段に記憶されていないと前記判断手段が判断した場合には、当該対象ブロックに隣接するブロックの復号化された画像から、前記相関情報に基づいて相関の度合いの高い画像を選択し、当該画像を用いて復号化するよう制御することとしてもよい。
これにより、より再現性の高いブロックの情報（例えば、画素値）を用いるため、画面間予測符号化されたブロックからの影響を低減できるため、復号画像の画質向上について更なる効果が期待される。
＜実施形態１＞
＜概要＞
本発明にかかる動画像復号装置は、ビットストリームの途中から再生を開始した場合に、画面間予測符号化されたブロックの参照画像がフレームメモリに存在しない場合には、画面内予測復号化により復号処理を行って、表示画像を生成するものである。
＜概要＞
本発明にかかる動画像復号装置は、ビットストリームの途中から再生を開始した場合に、画面間予測符号化されたブロックの参照画像がフレームメモリに存在しない場合には、画面内予測復号化により復号処理を行って、表示画像を生成するものである。
本来であれば、画面間予測符号化されたブロックは画面間予測復号化により復号するものであり、参照画像を用いて生成した予測画像と残差データとで再構成画像を生成する。
しかし、参照画像が存在しないことから、本動画像復号装置では、画面内予測により生成した予測画面と残差データとを使用して再構成画像を生成する。
画面内予測画面を用いるのは、対象ブロックの元の画像と隣接するブロックの元の画像との相関の強さが見込まれるためであり、更に、対象ブロックの残差データを用いることにより、より確からしい復号画像を生成できる可能性が高くなるからである。
しかし、参照画像が存在しないことから、本動画像復号装置では、画面内予測により生成した予測画面と残差データとを使用して再構成画像を生成する。
画面内予測画面を用いるのは、対象ブロックの元の画像と隣接するブロックの元の画像との相関の強さが見込まれるためであり、更に、対象ブロックの残差データを用いることにより、より確からしい復号画像を生成できる可能性が高くなるからである。
また、本動画復号装置では、画面間予測符号化されたブロックを、通常の画面内予測符号化を行う機能部を利用して復号を行うので、特別な機能部を必要としないという利点もある。
以下、本発明の実施形態における動画像復号装置について、図面を用いて説明する。尚、本実施形態では、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ規格で作成された動画像データを復号する場合について説明する。
以下、本発明の実施形態における動画像復号装置について、図面を用いて説明する。尚、本実施形態では、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ規格で作成された動画像データを復号する場合について説明する。
＜機能＞
図１は、動画像復号装置１０の構成を示すブロック図である。
動画像復号装置１０は、可変長復号部１０００、逆量子化逆直交変換部２０００、加算部３０００、ループ内フィルタ４０００、フレームメモリ５０００、デコード制御部６０００、ＩＤＲフラグ７０００、画面内予測ブロック生成部８０００及び画面間予測ブロック生成部９０００で構成される。
図１は、動画像復号装置１０の構成を示すブロック図である。
動画像復号装置１０は、可変長復号部１０００、逆量子化逆直交変換部２０００、加算部３０００、ループ内フィルタ４０００、フレームメモリ５０００、デコード制御部６０００、ＩＤＲフラグ７０００、画面内予測ブロック生成部８０００及び画面間予測ブロック生成部９０００で構成される。
本動画像復号装置１０の各機能部は、従来の復号装置と基本的に同じである。但し、本発明に特有の処理を行う為のデコード制御部６０００とＩＤＲフラグ７０００とを有している。
まず、可変長復号部１０００は、ＭＰＥＧ−４／ＡＶＣ形式により符号化された動画像の符号列（以下、「動画ストリーム」という。）が外部より入力されると、可変長復号を行い、スライスタイプ、マクロブロックタイプ、動き情報、量子化係数等を分離する。分離したスライスタイプ、マクロブロックタイプ、動き情報等は、デコード制御部６０００に出力し、量子化係数は逆量子化逆直交変換部２０００に出力する。
まず、可変長復号部１０００は、ＭＰＥＧ−４／ＡＶＣ形式により符号化された動画像の符号列（以下、「動画ストリーム」という。）が外部より入力されると、可変長復号を行い、スライスタイプ、マクロブロックタイプ、動き情報、量子化係数等を分離する。分離したスライスタイプ、マクロブロックタイプ、動き情報等は、デコード制御部６０００に出力し、量子化係数は逆量子化逆直交変換部２０００に出力する。
逆量子化逆直交変換部２０００は、分離されたブロック毎の量子化係数に対して逆量子化及び逆直交変換を行ってブロック毎の画素の残差データを得る。
加算部３０００は、マクロブロックタイプが示す符号化の種類によって、ブロック毎の画素データをそのまま、あるいは画面内予測ブロック生成部８０００又は画面間予測ブロック生成部９０００からの予測信号を加えて出力する。
加算部３０００は、マクロブロックタイプが示す符号化の種類によって、ブロック毎の画素データをそのまま、あるいは画面内予測ブロック生成部８０００又は画面間予測ブロック生成部９０００からの予測信号を加えて出力する。
ループ内フィルタ４０００は、加算部３０００からの画像にフィルタ処理、例えば、ブロック境界部の歪を減少させるデブロック・フィルタなどを施して復号画像を生成し出力する。
フレームメモリ５０００は、ループ内フィルタ４０００からの出力である画像を蓄積し、表示部（図示していない。）に送信する。また、参照画像として用いるための画面単位で画素データを蓄積する。
フレームメモリ５０００は、ループ内フィルタ４０００からの出力である画像を蓄積し、表示部（図示していない。）に送信する。また、参照画像として用いるための画面単位で画素データを蓄積する。
画面内予測ブロック生成部８０００は、画面内予測符号化されたブロックについて、デコード制御部６０００から得られる予測モード等とフレームメモリ５０００に蓄積された参照画像とから当該ブロックの予測信号を求め、その予測信号を加算部３０００に出力する。本実施形態では、画面間予測符号化されたブロックであっても、デコード制御部６０００からの指示により画面内予測符号化されたブロックであるとみなして、予測信号を生成する。
画面間予測ブロック生成部９０００は、動き補償予測されたブロックについて、デコード制御部６０００から得られる動き情報とフレームメモリ５０００に蓄積された参照画像とから当該ブロックの予測信号を求め、その予測信号を加算部３０００に出力する。
デコード制御部６０００は、参照画像選択部６１００と予測ブロック選択部６２００とを備え、可変長復号部１０００から得られるスライスタイプ、マクロブロックタイプ、動き情報等をもとに、対象ブロックの予測信号（以下、「予測ブロック」という。）を画面内予測ブロック生成部８０００又は画面間予測ブロック生成部９０００に生成させる機能を有する。
デコード制御部６０００は、参照画像選択部６１００と予測ブロック選択部６２００とを備え、可変長復号部１０００から得られるスライスタイプ、マクロブロックタイプ、動き情報等をもとに、対象ブロックの予測信号（以下、「予測ブロック」という。）を画面内予測ブロック生成部８０００又は画面間予測ブロック生成部９０００に生成させる機能を有する。
参照画像選択部６１００は、対象ブロックを画面内予測復号化させる場合の、参照ブロックを選択する機能を有する。この参照画像選択部６１００は、画面間予測符号化されたブロックを復号する際に参照ブロックが存在しない場合、画面内予測復号化に用いる参照ブロックを選択する。
予測ブロック選択部６２００は、ＩＤＲフラグ７０００を参照し、予測ブロックを画面内予測ブロック生成部８０００又は画面間予測ブロック生成部９０００のどちらで作成するかを判断する機能を有する。
予測ブロック選択部６２００は、ＩＤＲフラグ７０００を参照し、予測ブロックを画面内予測ブロック生成部８０００又は画面間予測ブロック生成部９０００のどちらで作成するかを判断する機能を有する。
ＩＤＲフラグ７０００は、動画ストリームにおけるＩＤＲピクチャがデコード済みであるか否かをしめすフラグであり、例えば、レジスタ等に設けられている。
このフラグが「ＯＮ」のときは、ＩＤＲピクチャが復号されており、「ＯＦＦ」のときは、復号されていないことを示すものとする。
予測ブロック選択部６２００は、ＩＤＲフラグ７０００が「ＯＮ」のときは、予測ブロックを画面間予測ブロック生成部９０００で作成できると判断する。すなわち、ＩＤＲピクチャが復号されているということは、参照画像は復号されていることを意味するからである。
このフラグが「ＯＮ」のときは、ＩＤＲピクチャが復号されており、「ＯＦＦ」のときは、復号されていないことを示すものとする。
予測ブロック選択部６２００は、ＩＤＲフラグ７０００が「ＯＮ」のときは、予測ブロックを画面間予測ブロック生成部９０００で作成できると判断する。すなわち、ＩＤＲピクチャが復号されているということは、参照画像は復号されていることを意味するからである。
ここで、ＩＤＲピクチャについて、図２を用いて説明する。また、動画ストリームについて図３を用いて、画面内予測符号化について図４と図５を用いて、それぞれ簡単に説明する。
＜ＩＤＲピクチャについて＞
図２は、動画ストリームとＩＤＲピクチャの関係を示す図である。
＜ＩＤＲピクチャについて＞
図２は、動画ストリームとＩＤＲピクチャの関係を示す図である。
矩形はピクチャを表し、その中の「ＩＤＲ」、「Ｉ」「Ｐ」、「Ｂ」等は、それぞれピクチャのタイプ「ＩＤＲピクチャ」、「Ｉピクチャ」、「Ｐピクチャ」、「Ｂピクチャ」を示すものとする。尚、点線の矩形は、受信できなかったピクチャ（１１１、１１２）を示すものとする。
また、矢印は参照関係を表しているものとし、例えば、ピクチャ１１３は、ピクチャ１１１と後続のＰピクチャとを参照する。
また、矢印は参照関係を表しているものとし、例えば、ピクチャ１１３は、ピクチャ１１１と後続のＰピクチャとを参照する。
規格においては、動画ストリーム１００の途中からでも再生を可能とするために、動画ストリーム１００中に定期的に区切りとなる画像データが来るように規定し、その画像データより後の画像データは、それ以前のデータ用いなくても正しく復号できるようにしている。
この区切りとなる画像データが、ＩＤＲピクチャ（１１１、１２１、１３１）である。このＩＤＲピクチャは、Ｉピクチャの一種であるが、後続のピクチャに自分よりも前のピクチャを参照することを禁止するというものである。すなわち、ＩＤＲピクチャをまたぐような参照（点線矢印１２９）は許されない。
この区切りとなる画像データが、ＩＤＲピクチャ（１１１、１２１、１３１）である。このＩＤＲピクチャは、Ｉピクチャの一種であるが、後続のピクチャに自分よりも前のピクチャを参照することを禁止するというものである。すなわち、ＩＤＲピクチャをまたぐような参照（点線矢印１２９）は許されない。
また、このＩＤＲピクチャから次のＩＤＲピクチャまでの動画ストリームをシーケンス（１１０、１２０、１３０）と呼ぶものとする。
このように動画ストリームの途中からでも、例えば、ＩＤＲピクチャ１２１からは再生可能ではあるが、シーケンスの途中から、例えば、ＩＤＲピクチャを受信していないピクチャ１１３からは再生できない。本動画像復号装置は、ピクチャ１１３からでも、より再現性の高い画面を表示できるものである。
このように動画ストリームの途中からでも、例えば、ＩＤＲピクチャ１２１からは再生可能ではあるが、シーケンスの途中から、例えば、ＩＤＲピクチャを受信していないピクチャ１１３からは再生できない。本動画像復号装置は、ピクチャ１１３からでも、より再現性の高い画面を表示できるものである。
＜動画ストリームについて＞
図３は、動画ストリームのデータ構造を示す図である。
動画ストリームは、画像の空間周波数成分に基づいて圧縮されており、画面上の数画素を一つの圧縮単位としている。その圧縮単位をマクロブロックといい、画面は複数のマクロブロックで構成される。
図３は、動画ストリームのデータ構造を示す図である。
動画ストリームは、画像の空間周波数成分に基づいて圧縮されており、画面上の数画素を一つの圧縮単位としている。その圧縮単位をマクロブロックといい、画面は複数のマクロブロックで構成される。
このマクロブロックは、例えば、縦１６画素×横１６画素からなり、復号時にも１個単位で復号処理がなされる。
図３は、動画ストリームの構成を示す図である。
動画ストリームは、複数のシーケンスで構成され（１段目の図参照）、Ｉピクチャ、Ｂピクチャ、Ｐピクチャという３つのタイプのピクチャデータ（図中のＩ、Ｐ、Ｂ）を1以上含み、先頭には必ずＩピクチャの一種であるＩＤＲピクチャが存在する（２段目の図参照）。
図３は、動画ストリームの構成を示す図である。
動画ストリームは、複数のシーケンスで構成され（１段目の図参照）、Ｉピクチャ、Ｂピクチャ、Ｐピクチャという３つのタイプのピクチャデータ（図中のＩ、Ｐ、Ｂ）を1以上含み、先頭には必ずＩピクチャの一種であるＩＤＲピクチャが存在する（２段目の図参照）。
さらに、各ピクチャデータは、ピクチャヘッダと、複数のスライスから構成され（３段目の図参照）、ピクチャヘッダにはピクチャタイプが含まれる。このピクチャタイプは、ピクチャデータがＩピクチャであるか、Ｂピクチャ、Ｐピクチャであるかを示す。
ただし、ＭＰＥＧ−４／ＡＶＣでは、ピクチャタイプそのものが入っているのではなく、ピクチャに含まれるスライスタイプが入っており、それらのスライスタイプからピクチャタイプを求めることになる。
ただし、ＭＰＥＧ−４／ＡＶＣでは、ピクチャタイプそのものが入っているのではなく、ピクチャに含まれるスライスタイプが入っており、それらのスライスタイプからピクチャタイプを求めることになる。
スライスは、スライスヘッダと、複数のマクロブロックとを有し（４段目の図参照）、スライスヘッダにはスライスタイプが含まれる。このスライスタイプは、スライスデータがＩスライスであるか、Ｂスライス、Ｐスライスであるかを示す。
実際には、各スライスはNALユニットと呼ばれる形式によって格納されており、また、動画ストリームは、複数のNALユニットから構成されており、各NALユニットの始めには、そのNALユニットのタイプを示すNALユニットタイプが埋め込まれている。このNALユニットタイプにより、そのスライスがIDRピクチャに属するものであるか否かを識別することができる（Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG; “Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264|ISO/IEC 14496-10 AVC)”：７．４節参照）。
実際には、各スライスはNALユニットと呼ばれる形式によって格納されており、また、動画ストリームは、複数のNALユニットから構成されており、各NALユニットの始めには、そのNALユニットのタイプを示すNALユニットタイプが埋め込まれている。このNALユニットタイプにより、そのスライスがIDRピクチャに属するものであるか否かを識別することができる（Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG; “Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264|ISO/IEC 14496-10 AVC)”：７．４節参照）。
次に、マクロブロックは、マクロブロックタイプ、動き情報および画面間予測誤差（残差データ）等で構成される。
マクロブロックタイプは、このマクロブロックが画面間予測が必要なものか否か、また、１方向参照なのか２方向参照なのか等の情報を表すものであり、このタイプによって動き情報の形式も異なることになる。具体的には、Ｉスライスは、非参照タイプと画面内予測タイプのブロックで構成され、Ｐスライスは、加えて１方向の画面間予測タイプで構成され、Ｂスライスは、更に加えて、２方向の画面間予測タイプで構成される。
マクロブロックタイプは、このマクロブロックが画面間予測が必要なものか否か、また、１方向参照なのか２方向参照なのか等の情報を表すものであり、このタイプによって動き情報の形式も異なることになる。具体的には、Ｉスライスは、非参照タイプと画面内予測タイプのブロックで構成され、Ｐスライスは、加えて１方向の画面間予測タイプで構成され、Ｂスライスは、更に加えて、２方向の画面間予測タイプで構成される。
また、動き情報は、参照するピクチャを特定する参照ピクチャと、動きベクトルとで構成される。
本図では、２方向参照の動き情報の例を示している。「ref.idx0」と「ref.idx1」とは、参照ピクチャを示す番号であり、「mv0」と「mv1」とは、参照ピクチャそれぞれにおける動きベクトルを表す。
本図では、２方向参照の動き情報の例を示している。「ref.idx0」と「ref.idx1」とは、参照ピクチャを示す番号であり、「mv0」と「mv1」とは、参照ピクチャそれぞれにおける動きベクトルを表す。
デコード制御部６０００は、これらのスライスタイプやマクロブロックタイプ等の情報を基に、予測ブロックを画面内予測ブロック生成部８０００で生成するか画面間予測ブロック生成部９０００で生成するかを判断することになる。
＜画面内予測符号化について＞
図４は、画面内予測符号化で対象ブロックが参照するブロックを示す図である。
＜画面内予測符号化について＞
図４は、画面内予測符号化で対象ブロックが参照するブロックを示す図である。
四角が、ブロックを表すものとし、斜線が引かれた四角は参照されるブロック９１０とする。実際に参照されるのは、これらブロックの復号された画像である。
対象ブロック９００は、左、左上、上、右上の４つのブロックを参照して予測ブロックを生成する。具体的には、これら４つのうちの１〜３個のブロックの境界の画素値を参照して予測ブロックを生成する。
対象ブロック９００は、左、左上、上、右上の４つのブロックを参照して予測ブロックを生成する。具体的には、これら４つのうちの１〜３個のブロックの境界の画素値を参照して予測ブロックを生成する。
尚、ここでのブロックは、１６画素×１６画素のマクロブロックでも、４画素×４画素等でもよい。
次に、図５は、４画素×４画素の画面内符号化の仕組みを示す図である。
四角が画素を表し、斜線が引かれた四角は、隣接する参照ブロックのうちの参照する画素を表す。また、矢印は、画素値を矢印方向に並ぶ画素の予測値とすることを示している。
次に、図５は、４画素×４画素の画面内符号化の仕組みを示す図である。
四角が画素を表し、斜線が引かれた四角は、隣接する参照ブロックのうちの参照する画素を表す。また、矢印は、画素値を矢印方向に並ぶ画素の予測値とすることを示している。
ここでは、９通りの予測方法を示し、それぞれ予測モード０〜予測モード８と言うものとする。
本動画像復号装置１０では、対象ブロックを復号化する際に、参照するブロックに応じて最適な予測モードを設定することになる。
＜動作＞
以下、本発明に係る動画像復号装置１０の動作について図６と図７とを用いて説明する。
本動画像復号装置１０では、対象ブロックを復号化する際に、参照するブロックに応じて最適な予測モードを設定することになる。
＜動作＞
以下、本発明に係る動画像復号装置１０の動作について図６と図７とを用いて説明する。
図６は、本実施形態の復号処理の概略を示した図である。
対象ピクチャ２００内の対象ブロック２１０を復号する場合を説明する。
この対象ブロック２１０は、Ｐタイプ、すなわち、画面間予測符号化されたブロックであり、参照ピクチャ３００の参照ブロック３１０を参照するものとする（白抜き矢印上部の図参照）。
対象ピクチャ２００内の対象ブロック２１０を復号する場合を説明する。
この対象ブロック２１０は、Ｐタイプ、すなわち、画面間予測符号化されたブロックであり、参照ピクチャ３００の参照ブロック３１０を参照するものとする（白抜き矢印上部の図参照）。
ここで、参照ピクチャ３００が存在していない場合、対象ブロック２１０は復号することが出来ない。
そこで、本実施形態では、この対象ブロックを画面内符号化されたブロックであるとみなして、復号する（白抜き矢印下部の図参照）。
この際、画面内符号化において参照され得るブロック４つ（図４参照）のうち、より尤もらしいブロック、すなわち、より再現性があると考えられるブロックを選び、そのブロックを参照ブロックとして用いて対象ブロックを復号する。
そこで、本実施形態では、この対象ブロックを画面内符号化されたブロックであるとみなして、復号する（白抜き矢印下部の図参照）。
この際、画面内符号化において参照され得るブロック４つ（図４参照）のうち、より尤もらしいブロック、すなわち、より再現性があると考えられるブロックを選び、そのブロックを参照ブロックとして用いて対象ブロックを復号する。
本実施形態では、より再現性が高いブロックは、ブロックタイプがＩ、Ｐ、Ｂの順とする。Ｉタイプは、非参照タイプと画面内予測タイプのどちらかであり、参照画像が必要なＰタイプやＢタイプに比べて、再現性が高い場合が多いからである。特に、対象ピクチャ内にＩタイプのマクロブロックが多いほど、更に、画面上部に多いほど、Ｉタイプのマクロブロックの再現性は高くなる。
復号の際には、参照ブロックの位置に応じて、予測モードを指定する（図５参照）。例えば、対象ブロック２１０の上のブロック２２０を参照ブロックとした場合、予測モード０を指定する。また、対象ブロックの上と左上の２ブロックを参照ブロックとした場合には、予測モード５を指定するなどである。
次に、図７を用いて復号処理について説明する。図７は、対象ブロックを復号する処理を表すフローチャートである。
次に、図７を用いて復号処理について説明する。図７は、対象ブロックを復号する処理を表すフローチャートである。
この処理は、デコード制御部６０００が行う処理である。
まず、動画ストリームを読み込む前には、ＩＤＲフラグ７０００は「ＯＦＦ」になっているものとする（ステップＳ１００）。
まず、動画ストリームを可変長復号部１０００が読み込み、可変長復号を行ない、ピクチャヘッダ情報等をデコード制御部６０００に出力する。
まず、動画ストリームを読み込む前には、ＩＤＲフラグ７０００は「ＯＦＦ」になっているものとする（ステップＳ１００）。
まず、動画ストリームを可変長復号部１０００が読み込み、可変長復号を行ない、ピクチャヘッダ情報等をデコード制御部６０００に出力する。
ピクチャヘッダ情報等を受信したデコード制御部６０００（ステップＳ１１０）は、受信したピクチャがＩＤＲピクチャであるか否かを判断する（ステップＳ１２０）。
ＩＤＲピクチャであった場合には（ステップＳ１２０：ＹＥＳ）、ＩＤＲフラグ７０００を「ＯＮ」にする。ＩＤＲピクチャでなかった場合は（ステップＳ１２０：ＮＯ）、何も行わない。
ＩＤＲピクチャであった場合には（ステップＳ１２０：ＹＥＳ）、ＩＤＲフラグ７０００を「ＯＮ」にする。ＩＤＲピクチャでなかった場合は（ステップＳ１２０：ＮＯ）、何も行わない。
次に、デコード制御部６０００は、対象ブロックが画面間予測符号化されたブロックであるか、画面内予測符号化されたブロックであるかを判断し（ステップＳ１４０）、画面内予測符号化されたブロックである場合には（ステップＳ１４０：ＮＯ）、画面内予測ブロック生成部８０００に通常通りに予測ブロックを生成させる（ステップＳ１７０）。
画面間予測符号化されたブロックである場合には（ステップＳ１４０：ＹＥＳ）、画面間予測ブロック生成部９０００に予測ブロックを生成させてよいかを、予測ブロック選択部６２００に判断を依頼する。
画面間予測符号化されたブロックである場合には（ステップＳ１４０：ＹＥＳ）、画面間予測ブロック生成部９０００に予測ブロックを生成させてよいかを、予測ブロック選択部６２００に判断を依頼する。
依頼を受けた予測ブロック選択部６２００は、ＩＤＲフラグ７０００が「ＯＮ」であれば、画面間予測ブロック生成部９０００に予測ブロックを生成させると判断し（ステップＳ１５０：ＹＥＳ）、その旨をデコード制御部６０００に返す。
デコード制御部６０００は、画面間予測ブロック生成部９０００に予測ブロックを生成させる（ステップＳ１８０）。
デコード制御部６０００は、画面間予測ブロック生成部９０００に予測ブロックを生成させる（ステップＳ１８０）。
また、ＩＤＲフラグ７０００が「ＯＦＦ」であれば、予測ブロック選択部６２００は、画面内予測ブロック生成部８０００に予測ブロックを生成させると判断し（ステップＳ１５０：ＮＯ）、その旨をデコード制御部６０００に返す。
デコード制御部６０００は、参照画像選択部６１００に、最適な参照画像を選択するよう依頼する。
デコード制御部６０００は、参照画像選択部６１００に、最適な参照画像を選択するよう依頼する。
依頼を受けた参照画像選択部６１００は対象ブロックに隣接するブロックから最適な参照ブロックを選択し、デコード制御部６０００に返す（ステップＳ１６０）。
デコード制御部６０００は、受け取った参照ブロックから予測モードを決め、画面内予測ブロック生成部８０００に予測ブロックを生成させる（ステップＳ１７０）。
その後、デコード制御部６０００は、動画ストリームが終了するまで（ステップＳ１９０）復号処理（ステップＳ１１０〜ステップＳ１８０）を繰り返す。
＜変形例１＞
実施形態１では、対象ブロックが画面間予測符号化されたブロックである場合、ＩＤＲフラグが「ＯＦＦ」、すなわち、ＩＤＲピクチャが復号されていなければ、一律に、画面間予測復号化ではなく画面内予測復号化を行うこととしていたが、本変形例は、参照ブロックが復号されている場合は、画面間予測復号化を行うものである。
デコード制御部６０００は、受け取った参照ブロックから予測モードを決め、画面内予測ブロック生成部８０００に予測ブロックを生成させる（ステップＳ１７０）。
その後、デコード制御部６０００は、動画ストリームが終了するまで（ステップＳ１９０）復号処理（ステップＳ１１０〜ステップＳ１８０）を繰り返す。
＜変形例１＞
実施形態１では、対象ブロックが画面間予測符号化されたブロックである場合、ＩＤＲフラグが「ＯＦＦ」、すなわち、ＩＤＲピクチャが復号されていなければ、一律に、画面間予測復号化ではなく画面内予測復号化を行うこととしていたが、本変形例は、参照ブロックが復号されている場合は、画面間予測復号化を行うものである。
図８を用いて本変形例の復号処理について説明する。図８は、対象ブロックを復号する処理を表すフローチャートである。
基本的に、図７に示した復号処理と同様であるが、ステップ２００が追加されている点が異なる。
予測ブロック選択部は、ＩＤＲフラグが「ＯＦＦ」であった場合（ステップＳ１５０：ＮＯ）、更に、対象ブロックの本来の参照画像がフレームメモリに記憶されているかを判断し、記憶されている場合は（ステップＳ２００：ＹＥＳ）、画面間予測ブロック生成部９０００に予測ブロックを生成させると判断し、その旨をデコード制御部６０００に返し、デコード制御部６０００は、画面間予測ブロック生成部９０００に予測ブロックを生成させる（ステップＳ１８０）。
基本的に、図７に示した復号処理と同様であるが、ステップ２００が追加されている点が異なる。
予測ブロック選択部は、ＩＤＲフラグが「ＯＦＦ」であった場合（ステップＳ１５０：ＮＯ）、更に、対象ブロックの本来の参照画像がフレームメモリに記憶されているかを判断し、記憶されている場合は（ステップＳ２００：ＹＥＳ）、画面間予測ブロック生成部９０００に予測ブロックを生成させると判断し、その旨をデコード制御部６０００に返し、デコード制御部６０００は、画面間予測ブロック生成部９０００に予測ブロックを生成させる（ステップＳ１８０）。
対象ブロックの本来の参照画像がフレームメモリに記憶されていないと判断した場合は（ステップＳ２００：ＮＯ）、画面内予測ブロック生成部８０００に予測ブロックを生成させると判断しその旨をデコード制御部６０００に返す。
デコード制御部６０００は、参照画像選択部６１００に、最適な参照画像を選択させ（ステップＳ１６０）、画面内予測ブロック生成部８０００に予測ブロックを生成させる（ステップＳ１７０）。
＜変形例２＞
実施形態１では、画面間予測符号化された対象ブロックを画面内予測復号化する場合に、隣接するブロックから、ブロックタイプによって参照ブロックを選択していたが、本変形例は、再現性の度合いによって参照ブロックを選択するものである。
デコード制御部６０００は、参照画像選択部６１００に、最適な参照画像を選択させ（ステップＳ１６０）、画面内予測ブロック生成部８０００に予測ブロックを生成させる（ステップＳ１７０）。
＜変形例２＞
実施形態１では、画面間予測符号化された対象ブロックを画面内予測復号化する場合に、隣接するブロックから、ブロックタイプによって参照ブロックを選択していたが、本変形例は、再現性の度合いによって参照ブロックを選択するものである。
図９を用いて、本変形例を説明する。
図９は、本変形例の復号処理の概略を示した図である。
復号の処理については、図７に示すフローチャートと同様であり、参照画像を選択する処理（図７：ステップＳ１６０）、すなわち、参照画像選択部６１００が行う処理のみが異なる。以下、参照画像選択部６１００が行う処理を中心に説明する。
図９は、本変形例の復号処理の概略を示した図である。
復号の処理については、図７に示すフローチャートと同様であり、参照画像を選択する処理（図７：ステップＳ１６０）、すなわち、参照画像選択部６１００が行う処理のみが異なる。以下、参照画像選択部６１００が行う処理を中心に説明する。
本図では、対象ピクチャ４００内の対象ブロック４１０を復号する場合を説明する。
この対象ブロック４１０は、Ｐタイプであり、参照ピクチャ６００の参照ブロック６１０を参照するものとする（白抜き矢印上部の図参照）。参照ブロック矩形内の「Ｂ」、「Ｐ」等はブロックタイプを、「２２」、「２３」等はブロック番号を表すものとする。
参照ピクチャ６００は存在していないので、対象ブロック４１０を画面内符号化されたブロックであるとみなして、復号する（白抜き矢印下部の図参照）。
この対象ブロック４１０は、Ｐタイプであり、参照ピクチャ６００の参照ブロック６１０を参照するものとする（白抜き矢印上部の図参照）。参照ブロック矩形内の「Ｂ」、「Ｐ」等はブロックタイプを、「２２」、「２３」等はブロック番号を表すものとする。
参照ピクチャ６００は存在していないので、対象ブロック４１０を画面内符号化されたブロックであるとみなして、復号する（白抜き矢印下部の図参照）。
この際、参照画像選択部６１００は、対象ブロック４１０に隣接するブロックから参照ブロックを選択する（図７：ステップＳ１６０等参照）。
本変形例では、参照画像選択部６１００は、デコード制御部６０００が内部メモリに記憶しているブロック正確度テーブル６１１０を参照して、参照ブロックを選択する。
ブロック正確度テーブル６１１０は、ブロックの識別子であるブロック番号６１１１と、ブロックの再現性の度合いである正確度６１１２とで構成される。
本変形例では、参照画像選択部６１００は、デコード制御部６０００が内部メモリに記憶しているブロック正確度テーブル６１１０を参照して、参照ブロックを選択する。
ブロック正確度テーブル６１１０は、ブロックの識別子であるブロック番号６１１１と、ブロックの再現性の度合いである正確度６１１２とで構成される。
このテーブルは、デコード制御部６０００が対象ピクチャのブロックについて作成し、ブロックのタイプと参照ブロックとに基づいて正確度６１１２を決定する。例えば、Ｉタイプの非参照のブロックは、正確度６１１２を「１．０」とし、Ｐタイプで参照ブロックが復号されていないブロックは、正確度６１１２を「０．７５」とする。また、参照ブロックの正確度６１１２が「０．７５」の場合は、対象ブロックの正確度６１１２を「０．５」とするなどである。
本図では、対照ブロック４１０に隣接する４つのブロック、すなわち、ブロック番号が「２２」、「２３」、「２４」、「８６」のうち、一番正確度６１１２の高いブロック番号「８６」のブロックを選択している。
＜実施形態２＞
＜概要＞
実施形態１では、本発明にかかる動画像復号装置について説明したが、本実施形態では、本動画復号装置を利用した１例であるデジタル・テレビジョンについて説明する。
＜実施形態２＞
＜概要＞
実施形態１では、本発明にかかる動画像復号装置について説明したが、本実施形態では、本動画復号装置を利用した１例であるデジタル・テレビジョンについて説明する。
＜機能＞
図１０は本発明にかかるデジタル・テレビジョンの一部を示すブロック図である。
デジタル・テレビジョン３０は、アンテナ３７、チューナ３１、パケット分離部３２、動画像復号部１０、表示制御部３３、表示部３４、音声処理部３５及びスピーカ３６で構成される。
図１０は本発明にかかるデジタル・テレビジョンの一部を示すブロック図である。
デジタル・テレビジョン３０は、アンテナ３７、チューナ３１、パケット分離部３２、動画像復号部１０、表示制御部３３、表示部３４、音声処理部３５及びスピーカ３６で構成される。
まず、チューナ３１は、アンテナ３７から受信した放送波の選局、復調を行い、パケットを生成する。
パケット分離部３２は、パケットのヘッダを解析し、画像復号系と音声復号系とにパケット振り分ける。画像復号系のパケットは、動画像復号部１０に送り、音声復号系は、音声処理部３５に送る。
パケット分離部３２は、パケットのヘッダを解析し、画像復号系と音声復号系とにパケット振り分ける。画像復号系のパケットは、動画像復号部１０に送り、音声復号系は、音声処理部３５に送る。
動画像復号部１０は実施形態１で説明した動画像復号装置と同様の構成を有するものである。
表示制御部３３は、復号画像を表示するためにフォーマット変換、フィルタ処理等を施し、また、表示部３４を制御する。表示部３４は、液晶画面等に、入力された画像を表示する。
表示制御部３３は、復号画像を表示するためにフォーマット変換、フィルタ処理等を施し、また、表示部３４を制御する。表示部３４は、液晶画面等に、入力された画像を表示する。
以下、図３を用いて本発明第２の実施形態のデジタル・テレビジョンについての動作を説明する。
＜動作＞
アンテナ３７より受信された放送波は、チューナ３１により選局、復調が行われ、画像、音声などを格納したパケットがパケット分離部３２に出力され、パケット分離部３２は、パケット・ヘッダの解析結果から動画像復号系、音声復号系など適切な出力先へパケット・データの振り分けを行う。
＜動作＞
アンテナ３７より受信された放送波は、チューナ３１により選局、復調が行われ、画像、音声などを格納したパケットがパケット分離部３２に出力され、パケット分離部３２は、パケット・ヘッダの解析結果から動画像復号系、音声復号系など適切な出力先へパケット・データの振り分けを行う。
ここで、動画データ、即ち動画ストリームは動画像復号部１０に出力され、動画像復号部１０により復号され、復号画像が表示制御部３３に出力さる。
復号画像は、表示制御部３３により画像フォーマット変換、フィルタ処理などを施され、表示部３４にて表示される。
また、音声データは、音声処理部３５に出力され、音声復号処理を施され音声信号に変換され、スピーカ３６より音声出力され、テレビジョン視聴に供する。
復号画像は、表示制御部３３により画像フォーマット変換、フィルタ処理などを施され、表示部３４にて表示される。
また、音声データは、音声処理部３５に出力され、音声復号処理を施され音声信号に変換され、スピーカ３６より音声出力され、テレビジョン視聴に供する。
上述の通り、本発明にかかるデジタル・テレビジョンによれば、動画像復号部１０は動画シーケンス途中のピクチャからの復号が可能であるため、チャンネル変更による画像表示の切り替え時間の短縮が可能となる。
＜補足＞
以上、本発明の実施形態について説明したが、本発明は上記形態に限らず、以下のようにしてもよい。
（１）実施形態では、画面内予測符号化を行う場合に、参照画像を選択することとしているが、参照画像を固定としてもよい。
＜補足＞
以上、本発明の実施形態について説明したが、本発明は上記形態に限らず、以下のようにしてもよい。
（１）実施形態では、画面内予測符号化を行う場合に、参照画像を選択することとしているが、参照画像を固定としてもよい。
例えば、参照ブロックを対象ブロックの上のブロックとするようにである。この場合、再現性の度合いは低くなる場合があるが、処理負荷が低くなるという利点がある。
（２）実施形態２では、テレビジョン信号を含むパケットの受信部としてチューナ３１を設けたが、これをネットワーク接続部とし、ネットワークよりパケットを受信してもよい。
（３）実施形態では、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ規格で作成された動画像データをシーケンスの途中から復号する場合について説明しているが、他の規格で生成された動画像データを復号してもよい。
（２）実施形態２では、テレビジョン信号を含むパケットの受信部としてチューナ３１を設けたが、これをネットワーク接続部とし、ネットワークよりパケットを受信してもよい。
（３）実施形態では、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ規格で作成された動画像データをシーケンスの途中から復号する場合について説明しているが、他の規格で生成された動画像データを復号してもよい。
例えば、ＭＰＥＧ−２規格で作成された動画像データを復号する場合は、ＧＯＰ（Group Of Pictures）の途中から復号する場合である。この場合、ＩＤＲフラグに相当するフラグは、例えば、ＧＯＰの先頭を示すスタートコードを検出して、「ＯＮ／ＯＦＦ」を設定する。
（４）動画像復号装置は、図１の各構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよい。
（５）動画像復号装置は、図１の各構成要素の全部又は一部を、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。
（４）動画像復号装置は、図１の各構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよい。
（５）動画像復号装置は、図１の各構成要素の全部又は一部を、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。
コンピュータプログラムの場合、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体に書き込まれたものをコンピュータに読み込ませて実行させる形にしてもよいし、ネットワークを経由してプログラムをダウンロードして実行させる形にしてもよい。
＜従来の復号装置と課題について＞
本発明のような画面間予測の参照関係における障害を対策するものではないが、動画ストリーム中のエラーを検知し、エラーにより復号不能となった復号ブロックのコンシールメントのため、画面内予測と画面間予測の双方による二つの予測ブロックを生成し、適切な一方を選択して復号ブロックとするものがある（特許文献２参照）。
＜従来の復号装置と課題について＞
本発明のような画面間予測の参照関係における障害を対策するものではないが、動画ストリーム中のエラーを検知し、エラーにより復号不能となった復号ブロックのコンシールメントのため、画面内予測と画面間予測の双方による二つの予測ブロックを生成し、適切な一方を選択して復号ブロックとするものがある（特許文献２参照）。
以下、簡単に説明する。
図１１は、上述の特許文献２における従来の動画像復号装置５０の構成を示すブロック図である。
図１１において、可変長復号部５１は、入力された動画ストリームを可変長復号し量子化変換係数を得る。
図１１は、上述の特許文献２における従来の動画像復号装置５０の構成を示すブロック図である。
図１１において、可変長復号部５１は、入力された動画ストリームを可変長復号し量子化変換係数を得る。
逆量子化・逆直交変換部５２は、前記量子化変換係数を逆量子化・逆変換し、画素の残差を得る。
動き補償部５３は、参照フレーム、動きベクトルを可変長復号部５１から得て、対応する参照ブロックの画素値をフレームメモリ５５より読み出し、所定の処理を加えて予測ブロックを出力する。
動き補償部５３は、参照フレーム、動きベクトルを可変長復号部５１から得て、対応する参照ブロックの画素値をフレームメモリ５５より読み出し、所定の処理を加えて予測ブロックを出力する。
再構成部５４は、逆量子化・逆直交変換部５２からの残差信号と動き補償部５３からの予測ブロックとを加算し再構成された復号画像を出力する。
フレームメモリ５５は、現フレームの復号画像と、既に復号され参照先となる既復号フレームの画素値を格納する。
コンシールメント部５６は、可変長復号部５１にてエラーが検出された場合に、エラーにより復号不能となった復号ブロックのコンシールメントのための置き換えブロックを生成する。
フレームメモリ５５は、現フレームの復号画像と、既に復号され参照先となる既復号フレームの画素値を格納する。
コンシールメント部５６は、可変長復号部５１にてエラーが検出された場合に、エラーにより復号不能となった復号ブロックのコンシールメントのための置き換えブロックを生成する。
このコンシールメント部５６は、画面内予測を行う画面内予測部５６１、画面間予測を行う画面間予測部５６２を含んでいる。
第1の信号選択部５７は、コンシールメント部５６から出力された画面内予測ブロックと画面間予測ブロックの選択を行い、置き換えブロックとして出力する。
第２の信号選択部５８は、信号選択部５７からの置き換えブロックと再構成部５４からの復号画像の選択を行う。
第1の信号選択部５７は、コンシールメント部５６から出力された画面内予測ブロックと画面間予測ブロックの選択を行い、置き換えブロックとして出力する。
第２の信号選択部５８は、信号選択部５７からの置き換えブロックと再構成部５４からの復号画像の選択を行う。
選択制御部５９は、可変長復号部５１からのエラー検出信号を受けて、第１の信号選択部５７と第２の信号選択部５８の信号選択の制御を行う。
以上、特許文献２における従来の動画像復号装置は、基本的には動画ストリーム中のエラーを検出し、コンシールメント部５６と第１の信号選択部５７により作成される置き換えブロックを復号画像として出力する構成である。
以上、特許文献２における従来の動画像復号装置は、基本的には動画ストリーム中のエラーを検出し、コンシールメント部５６と第１の信号選択部５７により作成される置き換えブロックを復号画像として出力する構成である。
シーケンス途中からの復号において、参照フレームが存在しない状況がエラーとして検出されるとの想定で、画面内予測による予測ブロックが置き換えブロックとして選択されることが考えられるが、これは上述の通り予測画像がそのまま復号画像となるため、量子化変換係数より求められる残差は利用されないという課題が存在する。
本発明は、動画像の復号処理を行うＡＶ機器に適用することができる。
１０ ５０ 動画像復号装置
１０００ 可変長復号部
２０００ 逆量子化逆直交変換部
３０００ 加算部
４０００ ループ内フィルタ部
５０００ フレームメモリ
６０００ デコード制御部
６１００ 参照画像選択部
６２００ 予測ブロック選択部
７０００ ＩＤＲフラグ
８０００ 画面内予測ブロック生成部
９０００ 画面間予測ブロック生成部
１０００ 可変長復号部
２０００ 逆量子化逆直交変換部
３０００ 加算部
４０００ ループ内フィルタ部
５０００ フレームメモリ
６０００ デコード制御部
６１００ 参照画像選択部
６２００ 予測ブロック選択部
７０００ ＩＤＲフラグ
８０００ 画面内予測ブロック生成部
９０００ 画面間予測ブロック生成部
Claims (5)
- 予測符号化方式に従って符号化されている動画像データを復号化する動画像復号装置であって、
前記動画像データに含まれるブロックが復号化された結果である画像を記憶する記憶手段と、
復号化するブロックである対象ブロックが符号化される際に用いられた参照画像が、前記記憶手段に記憶されているか否かを判断する判断手段と、
対象ブロックが画面間予測符号化されているブロックである場合であって、当該対象ブロックが符号化される際に用いられた参照画像が、前記記憶手段に記憶されていると前記判断手段が判断した場合は、当該参照画像を用いて復号化し、参照画像が記憶されていないと判断した場合には、当該対象ブロックが含まれるピクチャと同一ピクチャ内のブロックが復号化された結果である画像を用いて復号化するよう制御する制御手段と
を備えることを特徴とする動画像復号装置。 - 前記動画像復号装置は、更に、ＩＤＲピクチャ及びＧＯＰ先頭ピクチャの何れかである特定のピクチャの復号化が行われたことを検出する検出手段を備え、
前記判断手段は、特定のピクチャの復号化が行われたことを検出するまでは、対象ブロックが符号化される際に用いられた参照画像が、前記記憶手段に記憶されていないと判断すること
を特徴とする請求項１に記載の動画像復号装置。 - 前記制御手段は、対象ブロックが画面間予測符号化されたブロックである場合であって、当該対象ブロックが符号化される際に用いられた参照画像が、前記記憶手段に記憶されていないと前記判断手段が判断した場合には、当該対象ブロックに隣接するブロックから画面内予測符号化されたブロックを選択し、当該選択したブロックの復号化された画像を用いて復号化するよう制御すること
を特徴とする請求項１に記載の動画像復号装置。 - 前記動画像復号装置は、更に、ブロックの復号化された画像毎に、当該ブロックの符号化される前の画像と復号化された画像との一致の度合いを示す相関情報を記憶する相関記憶手段を備え、
前記制御手段は、対象ブロックが画面間予測符号化されたブロックである場合であって、当該対象ブロックが符号化される際に用いられた参照画像が、前記記憶手段に記憶されていないと前記判断手段が判断した場合には、当該対象ブロックに隣接するブロックの復号化された画像から、前記相関情報に基づいて相関の度合いの高い画像を選択し、当該画像を用いて復号化するよう制御すること
を特徴とする請求項１に記載の動画像復号装置。 - 予測符号化方式に従って符号化されている動画像データを復号化する動画像復号装置で用いられる動画像復号方法であって、
前記動画像データに含まれるブロックが復号化された結果である画像をメモリに記憶する記憶ステップと、
復号化するブロックである対象ブロックが符号化される際に用いられた参照画像が、前記記憶ステップで記憶されているか否かを判断する判断ステップと、
対象ブロックが画面間予測符号化されているブロックである場合であって、当該対象ブロックが符号化される際に用いられた参照画像が、前記記憶ステップでメモリに記憶されていると前記判断ステップが判断した場合は、当該参照画像を用いて復号化し、参照画像が記憶されていないと判断した場合には、当該対象ブロックが含まれるピクチャと同一ピクチャ内のブロックが復号化された結果である画像を用いて復号化するよう制御する制御ステップと
を備えることを特徴とする動画像復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008516719A JP5155159B2 (ja) | 2006-05-24 | 2007-05-23 | 動画像復号装置 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006143842 | 2006-05-24 | ||
| JP2006143842 | 2006-05-24 | ||
| PCT/JP2007/060531 WO2007136094A1 (ja) | 2006-05-24 | 2007-05-23 | 動画像復号装置 |
| JP2008516719A JP5155159B2 (ja) | 2006-05-24 | 2007-05-23 | 動画像復号装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2007136094A1 JPWO2007136094A1 (ja) | 2009-10-01 |
| JP5155159B2 true JP5155159B2 (ja) | 2013-02-27 |
Family
ID=38723404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008516719A Expired - Fee Related JP5155159B2 (ja) | 2006-05-24 | 2007-05-23 | 動画像復号装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8223842B2 (ja) |
| JP (1) | JP5155159B2 (ja) |
| CN (1) | CN101455088B (ja) |
| WO (1) | WO2007136094A1 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110068792A (ko) | 2009-12-16 | 2011-06-22 | 한국전자통신연구원 | 적응적 영상 부호화 장치 및 방법 |
| JP5387520B2 (ja) * | 2010-06-25 | 2014-01-15 | ソニー株式会社 | 情報処理装置と情報処理方法 |
| CN103828373B (zh) * | 2011-10-05 | 2018-02-16 | 太阳专利托管公司 | 图像解码方法以及图像解码装置 |
| EP2904801B8 (en) | 2012-10-01 | 2021-03-10 | GE Video Compression, LLC | Scalable video coding using base-layer based contexts for enhancement layer residual coding |
| JP6365540B2 (ja) * | 2013-07-17 | 2018-08-01 | ソニー株式会社 | 画像処理装置および方法 |
| US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
| US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
| US10924747B2 (en) | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
| US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05153573A (ja) * | 1991-11-30 | 1993-06-18 | Sony Corp | 動画像データ復号化装置 |
| JPH07130104A (ja) * | 1993-11-09 | 1995-05-19 | Matsushita Electric Ind Co Ltd | 画像信号記録装置と再生装置 |
| JP2004064746A (ja) * | 2002-06-07 | 2004-02-26 | Sanyo Electric Co Ltd | 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0618567B1 (en) | 1993-03-03 | 1999-07-28 | Matsushita Electric Industrial Co., Ltd. | Signal recording and reproducing apparatus |
| JPH07111654A (ja) | 1993-10-13 | 1995-04-25 | Toshiba Corp | 動画像伝送システム |
| JP2820631B2 (ja) | 1994-12-12 | 1998-11-05 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 画像復号方法および装置 |
| JPH08223577A (ja) * | 1994-12-12 | 1996-08-30 | Sony Corp | 動画像符号化方法及び装置、並びに動画像復号方法及び装置 |
| US6040879A (en) | 1997-04-21 | 2000-03-21 | Samsung Electronics Co., Ltd. | Method for decoding video data corrupted by channel noise |
| DE69942224D1 (de) * | 1998-01-27 | 2010-05-20 | Sharp Kk | Bewegtbilddecoder |
| JP3778721B2 (ja) * | 1999-03-18 | 2006-05-24 | 富士通株式会社 | 動画像符号化方法および装置 |
| US6999673B1 (en) * | 1999-09-30 | 2006-02-14 | Matsushita Electric Industrial Co., Ltd. | Moving picture decoding method, moving picture decoding apparatus and program recording medium |
| JP2001197501A (ja) * | 2000-01-07 | 2001-07-19 | Fujitsu Ltd | 動きベクトル探索器及び動きベクトル探索方法並びに動画像符号化装置 |
| JP3732760B2 (ja) * | 2001-06-29 | 2006-01-11 | 株式会社東芝 | 物体認識装置及び物体認識方法 |
| JP2004007563A (ja) * | 2002-04-19 | 2004-01-08 | Matsushita Electric Ind Co Ltd | 動画像符号化方法および動画像復号化方法 |
| US7403563B2 (en) * | 2002-06-07 | 2008-07-22 | Sanyo Electric Co., Ltd. | Image decoding method and apparatus, and television receiver utilizing the same |
| JP2006254349A (ja) * | 2005-03-14 | 2006-09-21 | Toshiba Corp | 動きベクトル検出方法、動きベクトル検出装置およびコンピュータ上で動きベクトル検出処理を実行するコンピュータプログラム |
-
2007
- 2007-05-23 CN CN2007800190080A patent/CN101455088B/zh not_active Expired - Fee Related
- 2007-05-23 WO PCT/JP2007/060531 patent/WO2007136094A1/ja active Application Filing
- 2007-05-23 JP JP2008516719A patent/JP5155159B2/ja not_active Expired - Fee Related
- 2007-05-23 US US12/301,103 patent/US8223842B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05153573A (ja) * | 1991-11-30 | 1993-06-18 | Sony Corp | 動画像データ復号化装置 |
| JPH07130104A (ja) * | 1993-11-09 | 1995-05-19 | Matsushita Electric Ind Co Ltd | 画像信号記録装置と再生装置 |
| JP2004064746A (ja) * | 2002-06-07 | 2004-02-26 | Sanyo Electric Co Ltd | 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101455088A (zh) | 2009-06-10 |
| JPWO2007136094A1 (ja) | 2009-10-01 |
| US8223842B2 (en) | 2012-07-17 |
| WO2007136094A1 (ja) | 2007-11-29 |
| US20100061451A1 (en) | 2010-03-11 |
| CN101455088B (zh) | 2011-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11647231B2 (en) | Image processing device and image processing method | |
| JP5155159B2 (ja) | 動画像復号装置 | |
| US10097847B2 (en) | Video encoding device, video decoding device, video encoding method, video decoding method, and program | |
| JP4324844B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP4964595B2 (ja) | 画像復号装置及び方法 | |
| KR100323489B1 (ko) | 비디오데이타를가지는비트스트림의트랜스코딩방법및장치 | |
| US7324595B2 (en) | Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction | |
| US20140376629A1 (en) | Decoding apparatus, decoding method, and program of same | |
| JP4534935B2 (ja) | トランスコーダ、記録装置及びトランスコード方法 | |
| US20070291131A1 (en) | Apparatus and Method for Controlling Image Coding Mode | |
| KR20060109290A (ko) | 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램 | |
| JP4799547B2 (ja) | それぞれマルチマクロブロックを含む予測ピクチャおよび非予測ピクチャを使用した、ピクチャシーケンスのエンコーディング方法およびエンコーディング装置 | |
| US8811483B2 (en) | Video processing apparatus and method | |
| JP2001285876A (ja) | 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置 | |
| TW201215156A (en) | Image decoding device, image encoding device, and method and program thereof | |
| JP3852366B2 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
| JP2005124091A (ja) | 復号装置及び復号方法 | |
| US20110299591A1 (en) | Video processing apparatus and method | |
| JP5240230B2 (ja) | トランスコーダ、記録装置及びトランスコード方法 | |
| JP2004064746A (ja) | 画像復号方法と装置、およびそれらを利用可能なテレビジョン受信装置 | |
| JPH06276482A (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
| JPH07203372A (ja) | ビデオデータ配列方法並びにその符号化装置及び復号化装置 | |
| JPH09238348A (ja) | 画像信号復号化方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120626 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120726 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5155159 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |