JP5681557B2 - 映像再生方法、映像再生装置、及び映像再生プログラム - Google Patents
映像再生方法、映像再生装置、及び映像再生プログラム Download PDFInfo
- Publication number
- JP5681557B2 JP5681557B2 JP2011105149A JP2011105149A JP5681557B2 JP 5681557 B2 JP5681557 B2 JP 5681557B2 JP 2011105149 A JP2011105149 A JP 2011105149A JP 2011105149 A JP2011105149 A JP 2011105149A JP 5681557 B2 JP5681557 B2 JP 5681557B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- error concealment
- unit
- decoded
- motion information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、映像再生方法、映像再生装置、及び映像再生プログラムに関する。
通信パケットの遅延や欠落などの伝送エラーに伴うネットワーク回線を用いて映像データをストリーミング再生する映像再生装置が知られている。このような映像再生装置では、再生時の伝送エラー、さらには映像受信側装置での復号遅延を含めた復号エラーにより、ブロックノイズの発生、再生の遅延、フレーム飛びといった映像品質劣化が発生することがある。この映像品質劣化を回避するために、通常、伝送エラー回復技術や復号エラー隠蔽技術が用いられる。
伝送エラー回復技術は、あらかじめ本来の映像データに冗長データを付与し、その冗長データを用いて伝送エラーにより欠落したパケットの情報を回復する技術であり、代表的なものに前方誤り訂正技術（FEC：Forward Error Correction）が挙げられる。
復号エラー隠蔽技術は、伝送エラーによってパケットが欠落し、上述のFECなどの伝送エラー回復技術を用いてもエラーを回復できない場合や、伝送遅延や通信パケット受信側での復号遅延によって再生したいタイミングで映像が生成されない場合などに使用される。この復号エラー隠蔽技術は、すでに受信済みの情報のみで極力高品質の再生映像を構成する技術である。
たとえば、特許文献１では、画像データにエラーが発生し、画像を更新できない場合に、この復号エラー隠蔽技術として、既に表示している画像をリピート表示することで復号エラーを隠蔽している。
しかしながら、被写体に動きがある映像で復号エラーが発生した場合、エラー隠蔽のために特許文献１に記載されているリピート表示をおこなうと、復号エラー発生前後の被写体の動きが不連続となり映像の品質が劣化することがある。これは、被写体の動きが大きいほど顕著になる。
すなわち、上述した従来技術では、復号エラーが発生した場合に被写体の動きの再現が困難であり、映像の品質が劣化するという問題があった。
本発明は、上記問題を解決すべくなされたもので、その目的は、復号エラーが発生した場合でも、映像の品質の劣化を低減させることを可能とする映像再生装置、映像再生方法、及び映像再生プログラムを提供することにある。
上記問題を解決するために、本発明は、所定時刻に受信された符号化パケットであって、前記所定時刻に対応付けられて符号化パケット記憶部に記憶されている符号化パケットに基づいて、前記所定時刻に対応付けられた符号化信号を階層毎に生成するとともに、前記符号化信号に基づいて、前記所定時刻に対応付けられた復号信号を階層毎に生成する復号信号生成ステップと、前記所定時刻よりも過去の時刻に対応付けられて復号信号記憶部に予め記憶されている過去の符号化信号と、前記過去の時刻に対応付けられて復号信号記憶部に予め記憶されている過去の復号信号と、前記過去の時刻に対応付けられて再生用信号記憶部に予め記憶されている過去の再生用信号と、を取得する信号取得ステップと、前記所定時刻に対応付けられた符号化信号と、前記所定時刻に対応付けられている復号信号と、前記過去の符号化信号と、前記過去の復号信号と、前記過去の再生用信号と、に基づいて前記所定時刻に対応付けられたエラー隠蔽信号を生成するエラー隠蔽信号生成ステップと、前記エラー隠蔽信号に基づいて前記所定時刻に対応付けられた再生用信号を生成する再生用信号生成ステップと、を有することを特徴とする映像再生方法である。
また、本発明は、上記発明において、前記エラー隠蔽信号生成ステップには、前記所定時刻に対応付けられた再生用信号の生成に用いられる動き情報であって、前記エラー隠蔽信号が生成される対象の階層である再生階層よりも下位の階層である復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられた動き情報を、前記再生階層と前記復号可能階層との解像度比に基づいて解像度変換した、解像度変換後の動き情報を生成する動き情報解像度変換ステップと、前記解像度変換後の動き情報を補正する情報である、補正動き情報を算出する補正動き情報算出ステップと、前記再生階層に対応付けられている動き補償信号であって、前記解像度変換後の動き情報を前記補正動き情報によって補正した補正後の動き情報に基づいた動き補償信号、を生成する動き補償信号生成ステップと、画像動き予測に基づいた予測残差信号であって、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている予測残差信号を、前記解像度変換した解像度変換後の予測残差信号、を生成する予測残差信号解像度変換ステップと、前記動き補償信号と前記解像度変換後の予測残差信号とに基づいて、前記エラー隠蔽信号を生成する動き合成エラー隠蔽信号生成ステップと、が含められていることを特徴とする。
また、本発明は、上記発明において、前記補正動き情報算出ステップには、探索中心座標と、探索座標範囲と、コスト関数とに基づいてブロックマッチング結果座標を算出するブロックマッチングにおける探索座標範囲として、前記動き情報、前記予測残差信号、又は前記解像度比に基づいたブロックマッチング探索座標範囲、を決定する探索座標範囲決定ステップと、前記解像度変換後の動き情報によって指定されるブロックマッチング探索中心座標を前記探索中心座標とし、前記ブロックマッチング探索座標範囲を前記探索座標範囲とする前記ブロックマッチングの結果、前記コスト関数の値が最小となる座標を前記ブロックマッチング結果座標として探索する補正動き情報探索ステップと、前記ブロックマッチング結果座標と前記ブロックマッチング探索中心座標との差を前記補正動き情報として決定する補正動き情報決定ステップと、が含められていることを特徴とする。
また、本発明は、上記発明において、記エラー隠蔽信号生成ステップには、更に、エラー隠蔽信号として、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている復号信号を前記解像度変換した、解像度変換後の復号信号を生成する復号解像度変換エラー隠蔽信号生成ステップと、前記動き合成エラー隠蔽信号生成ステップと、前記復号解像度変換エラー隠蔽信号生成ステップと、のうちからいずれかのステップによって処理するかを、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている画像動き予測モードに応じて切換えるエラー隠蔽信号生成手順切換えステップと、が含められていることを特徴とする。
また、本発明は、上記発明において、前記エラー隠蔽信号生成ステップには、更にエラー隠蔽信号として、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている復号信号を前記解像度変換した、解像度変換後の復号信号を生成する復号解像度変換エラー隠蔽信号生成ステップと、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている符号化信号と、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている復号信号と、前記過去の符号化信号と、前記過去の復号信号と、前記過去の再生用信号とに基づいて、前記復号解像度変換エラー隠蔽信号生成ステップによって生成されたエラー隠蔽信号と、前記動き合成エラー隠蔽信号生成ステップによって生成されたエラー隠蔽信号と、を重みづけ平均して前記エラー隠蔽信号を生成する重みづけ平均信号生成ステップと、が含められていることを特徴とする。
また、本発明は、原画像情報を階層化した符号化信号、及び前記符号化信号を階層毎に復号した復号信号を、前記階層と対応付けて記憶している復号信号記憶部と、前記符号化信号が再生時刻までに復号されない状態である復号エラーが発生した階層を再生階層として、前記復号エラーの発生を階層毎に検出する復号エラー検出部と、生成された再生用信号を記憶している再生用信号記憶部と、前記復号エラー検出部によって前記復号エラーの発生が検出された場合に、前記復号信号記憶部に記憶している符号化信号のうち、前記再生階層と異なる階層である復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号と、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている復号信号と、前記復号エラーの発生を検出する前に前記復号信号記憶部に記憶している符号化信号である復号エラー検出前符号化信号と、前記復号エラーの発生を検出する前に前記復号信号記憶部に記憶している復号信号である復号エラー検出前復号信号と、前記復号エラーの発生を検出する前に前記再生用信号記憶部に記憶している再生用信号である復号エラー検出前再生用信号と、に基づいて、前記再生階層と対応付けられたエラー隠蔽信号を生成するエラー隠蔽信号生成部と、前記エラー隠蔽信号生成部によって生成されたエラー隠蔽信号に基づいて再生用信号を生成する再生用信号生成部と、を備えることを特徴とする映像再生装置である。
また、本発明は、上記発明において、前記エラー隠蔽信号生成部は、前記再生用信号の生成に用いられる動き情報であって、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号に含まれる動き情報を、前記再生階層と前記復号可能階層との解像度比に基づいて、解像度変換動き情報に変換する、動き情報解像度変換部と、前記解像度変換動き情報を補正する情報である、補正動き情報を算出する補正動き情報算出部と、前記解像度変換動き情報を前記補正動き情報によって補正した補正後の動き情報に基づいて、前記再生階層に対応付けられた信号である動き補償信号を生成する動き補償信号生成部と、前記再生用信号の生成に用いられる予測残差信号であって、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号に含まれる動き情報に基づいた予測残差信号を、前記解像度比に基づいて、解像度変換予測残差信号に変換する、予測残差信号解像度変換部と、前記動き補償信号と前記解像度変換予測残差信号とに基づいて、前記エラー隠蔽信号を生成する動き合成エラー隠蔽信号生成部と、を備えることを特徴とする。
また、本発明は、上記発明において、前記補正動き情報算出部は、探索中心座標と、探索座標範囲と、コスト関数とに基づいてブロックマッチング結果座標を算出するブロックマッチングにおける探索座標範囲として、前記動き情報、前記予測残差信号、又は前記解像度比に基づいたブロックマッチング探索座標範囲、を決定する探索座標範囲決定部と、前記解像度変換動き情報によって指定されるブロックマッチング探索中心座標を前記探索中心座標とし、前記ブロックマッチング探索座標範囲を前記探索座標範囲とする前記ブロックマッチングの結果、前記コスト関数の値が最小となる座標を前記ブロックマッチング結果座標として探索する補正動き情報探索部と、前記ブロックマッチング結果座標と前記ブロックマッチング探索中心座標との差を前記補正動き情報として決定する補正動き情報決定部と、を備えることを特徴とする。
また、本発明は、上記発明において、前記エラー隠蔽信号生成部は、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている復号信号を前記解像度比に基づいて解像度変換した信号を、エラー隠蔽信号として生成する復号解像度変換エラー隠蔽信号生成部と、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号に含まれる動き予測モードに基づいて、前記動き合成エラー隠蔽信号生成部と、前記復号解像度変換エラー隠蔽信号生成部と、のうちからいずれかを、エラー隠蔽信号生成部として選択するエラー隠蔽信号生成手順切換え部と、を備えることを特徴とする。
また、本発明は、上記発明において、前記エラー隠蔽信号生成部は、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている復号信号を前記解像度比に基づいて解像度変換した信号を、エラー隠蔽信号として生成する復号解像度変換エラー隠蔽信号生成部と、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号と、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている復号信号と、前記復号エラー検出前符号化信号と、前記復号エラー検出前復号信号と、前記復号エラー検出前再生用信号とに基づいて、前記動き合成エラー隠蔽信号生成部によって生成されたエラー隠蔽信号と、前記復号解像度変換エラー隠蔽信号生成部によって生成されたエラー隠蔽信号とを重みづけ平均して、前記エラー隠蔽信号を生成する重みづけ平均信号生成部と、を備えることを特徴とする。
また、本発明は、上記に記載の映像再生方法を、コンピュータに実行させるための映像再生プログラムである。
本発明によれば、復号エラーが発生した場合でも、画像信号を生成して再生できるため、映像の品質が劣化することを低減することができる。
以下、本発明の一実施形態による映像再生装置について図面を参照して説明する。
図１は、本実施形態による映像再生装置１の構成を示す概略ブロック図である。
本実施形態では、符号化パケットとして、基本階層と、拡張階層＃１と、拡張階層＃２との３階層からなる階層符号化されたビデオパケットが受信される例について説明する。
すなわち、符号化パケットは、原画像情報を階層化した符号化信号を保有する。また、符号化パケットには、基本階層の符号化信号を保有した符号化パケットと、拡張階層＃１の符号化信号を保有した符号化パケットと、拡張階層＃２の符号化信号を保有した符号化パケットとが含まれる。
なお、基本階層は拡張階層＃１の下位階層であり、拡張階層＃１は拡張階層＃２の下位階層である。
本実施形態では、符号化パケットとして、基本階層と、拡張階層＃１と、拡張階層＃２との３階層からなる階層符号化されたビデオパケットが受信される例について説明する。
すなわち、符号化パケットは、原画像情報を階層化した符号化信号を保有する。また、符号化パケットには、基本階層の符号化信号を保有した符号化パケットと、拡張階層＃１の符号化信号を保有した符号化パケットと、拡張階層＃２の符号化信号を保有した符号化パケットとが含まれる。
なお、基本階層は拡張階層＃１の下位階層であり、拡張階層＃１は拡張階層＃２の下位階層である。
また、階層符号化の一例として、空間スケーラブル符号化が適用される例について説明する。この空間スケーラブル符号化の一例には、例えばＳＶＣ（スケーラブル映像符号化）などが適用可能である。
また、符号化パケットは、再生時刻に対応付けられ、時系列に基づいて順番に受信される。
ここで、再生時刻とは、映像再生装置１が符号化パケットを受信し、符号化パケットに含まれる符号化信号に基づいて再生用信号を生成する時刻をいう。すなわち、映像再生装置１が符号化信号を映像として再生できる状態にする時刻である。
映像再生装置１は、順次、符号化パケットを受信し、符号化パケットに対応づけられた再生時刻までに再生用信号を生成する。
また、符号化パケットは、再生時刻に対応付けられ、時系列に基づいて順番に受信される。
ここで、再生時刻とは、映像再生装置１が符号化パケットを受信し、符号化パケットに含まれる符号化信号に基づいて再生用信号を生成する時刻をいう。すなわち、映像再生装置１が符号化信号を映像として再生できる状態にする時刻である。
映像再生装置１は、順次、符号化パケットを受信し、符号化パケットに対応づけられた再生時刻までに再生用信号を生成する。
［映像再生装置１の構成］
図１を参照して、映像再生装置１の構成を説明する。
映像再生装置１は、パケット受信部１１と、パケットロス検出部１２と、基本階層データ復号部１３と、拡張階層＃１データ復号部１４と、拡張階層＃２データ復号部１５と、エラー隠蔽処理部１６と、エラー隠蔽処理部１７と、記憶部１８とを備える。
図１を参照して、映像再生装置１の構成を説明する。
映像再生装置１は、パケット受信部１１と、パケットロス検出部１２と、基本階層データ復号部１３と、拡張階層＃１データ復号部１４と、拡張階層＃２データ復号部１５と、エラー隠蔽処理部１６と、エラー隠蔽処理部１７と、記憶部１８とを備える。
記憶部１８は、レジスタ、ビデオメモリ、物理メモリ、キャッシュなどを含むものとして説明する。
また、記憶部１８には、受信した符号化パケットのほかに、過去に受信した符号化パケット、符号化信号、動き情報、復号信号、再生用信号など再生用信号の生成に必要な情報が記憶される。
また、記憶部１８には、受信した符号化パケットのほかに、過去に受信した符号化パケット、符号化信号、動き情報、復号信号、再生用信号など再生用信号の生成に必要な情報が記憶される。
また、記憶部１８は、符号化パケット記憶部１９と、復号信号記憶部２０と、再生用信号記憶部２１とを備えている。
符号化パケット記憶部１９は、所定時刻に受信された符号化パケットが、受信時刻（所定時刻）に対応付けられて記憶される。
復号信号記憶部２０は、符号化パケットに含まれる原画像情報を階層化した符号化信号と、符号化信号を階層毎に復号した復号信号とが、階層と対応付けられて記憶される。
再生用信号記憶部２１は、再生用信号が、階層と対応付けられて記憶される。
符号化パケット記憶部１９は、所定時刻に受信された符号化パケットが、受信時刻（所定時刻）に対応付けられて記憶される。
復号信号記憶部２０は、符号化パケットに含まれる原画像情報を階層化した符号化信号と、符号化信号を階層毎に復号した復号信号とが、階層と対応付けられて記憶される。
再生用信号記憶部２１は、再生用信号が、階層と対応付けられて記憶される。
パケット受信部１１は符号化パケットを受信して、受信した符号化パケットを上述した再生時刻と対応付けて符号化パケット記憶部１９に記憶させる。
パケットロス検出部１２（復号エラー検出部）は、符号化信号が再生時刻までに復号されない状態である復号エラーが発生した階層を再生階層として、復号エラーの発生を階層毎に検出する。
すなわち、パケットロス検出部１２は、符号化パケット記憶部１９に記憶されている符号化パケットに基づいて、符号化パケットが正常に受信されているか否かを上述した３階層それぞれの符号化パケットについて判定する。
さらに、パケットロス検出部１２は、判定した結果を、符号化パケット受信可否フラグとして符号化パケット記憶部１９に記憶させる。
すなわち、パケットロス検出部１２は、符号化パケット記憶部１９に記憶されている符号化パケットに基づいて、符号化パケットが正常に受信されているか否かを上述した３階層それぞれの符号化パケットについて判定する。
さらに、パケットロス検出部１２は、判定した結果を、符号化パケット受信可否フラグとして符号化パケット記憶部１９に記憶させる。
ここで、符号化パケット受信可否フラグは、各階層に対応付けられる。すなわち、符号化パケット受信可否フラグは、基本階層の符号化パケット受信可否フラグと、拡張階層＃１の符号化パケット受信可否フラグと、拡張階層＃２の符号化パケット受信可否フラグとを含んでいる。
また、符号化パケット受信可否フラグは、フラグが真である場合に符号化パケットが正常に受信されたことを示し、偽である場合に正常に受信されなかったことを示す。
また、符号化パケット受信可否フラグは、フラグが真である場合に符号化パケットが正常に受信されたことを示し、偽である場合に正常に受信されなかったことを示す。
なお、符号化パケットが正常に受信されなかった場合とは、符号化パケットの一部又は全部が欠損している場合や、受信待ちをしている符号化パケットが所定の時間内に到着しなかった場合を含む。さらに、符号化パケットが正常に受信されなかった場合とは、当該符号化パケットは欠損せず届いているが、その符号化パケット内のデータの復号に必要な別の符号化パケットのデータが欠損している場合を含む。
例えば、量子化係数や動きベクトルなどの情報が格納された符号化パケット＃Ａは正常に受信されたが、ＳＰＳ（Sequence Parameter Set）やＰＰＳ（Picture Parameter Set）といった情報が入った符号化パケット＃Ｂが受信されなかった場合は、符号化パケット＃Ａが持つ画像領域の復号信号の生成は不可能である。したがって、この場合は、パケットロス検出部１２は符号化パケット＃Ａが正常に受信されなかったと判定して符号化パケット受信可否フラグを符号化パケット記憶部１９に記憶させる。
パケットロス検出部１２は、すべての階層、すなわち基本階層と、拡張階層＃１と、拡張階層＃２との符号化パケット受信可否フラグが真である場合に、経路Ａの分岐を選択する。ここで経路Ａの分岐とは、基本階層データ復号部１３と、拡張階層＃１データ復号部１４と、拡張階層＃２データ復号部１５との処理を実行する経路である。
また、パケットロス検出部１２は、拡張階層＃２の符号化パケット受信可否フラグが偽である場合、かつ拡張階層＃１と基本階層の符号化パケット受信可否フラグが真である場合は、経路Ｂの分岐を選択する。
ここで経路Ｂの分岐とは、基本階層データ復号部１３と、拡張階層＃１データ復号部１４と、エラー隠蔽処理部１６との処理を実行する経路である。
ここで経路Ｂの分岐とは、基本階層データ復号部１３と、拡張階層＃１データ復号部１４と、エラー隠蔽処理部１６との処理を実行する経路である。
また、パケットロス検出部１２は、拡張階層＃２と拡張階層＃１の符号化パケット受信可否フラグが偽である場合、かつ基本階層の符号化パケット受信可否フラグが真である場合に、経路Ｃの分岐を選択する。
ここで経路Ｃの分岐とは、基本階層データ復号部１３と、エラー隠蔽処理部１６との処理を実行する経路である。
ここで経路Ｃの分岐とは、基本階層データ復号部１３と、エラー隠蔽処理部１６との処理を実行する経路である。
また、パケットロス検出部１２は、すべての階層の符号化パケット受信可否フラグが偽である場合には、経路Ｄの分岐を選択する。
ここで経路Ｄの分岐とは、エラー隠蔽処理部１７の処理を実行する経路である。
ここで経路Ｄの分岐とは、エラー隠蔽処理部１７の処理を実行する経路である。
基本階層データ復号部１３は、符号化パケットを符号化パケット記憶部１９から読み出し、符号化パケットから基本階層の符号化信号を生成する。基本階層データ復号部１３は、この符号化信号の復号処理をおこなって、符号化信号に含まれる基本階層の動き情報と、基本階層の復号信号とを生成する。
また、基本階層データ復号部１３は、基本階層の符号化信号と、基本階層の動き情報と、基本階層の復号信号とを復号信号記憶部２０に再生時刻と対応付けて記憶させる。
また、基本階層データ復号部１３は、基本階層の符号化信号と、基本階層の動き情報と、基本階層の復号信号とを復号信号記憶部２０に再生時刻と対応付けて記憶させる。
拡張階層＃１データ復号部１４は、拡張階層＃１の符号化データを保有した符号化パケットを符号化パケット記憶部１９から読み出し、符号化パケットから符号化信号を取り出す。拡張階層＃１データ復号部１４は、この符号化信号の復号処理をおこなって、符号化信号に含まれる拡張階層＃１の動き情報と、拡張階層＃１の復号信号とを生成する。
また、拡張階層＃１データ復号部１４は、拡張階層＃１の符号化信号と、拡張階層＃１の動き情報と、拡張階層＃１の復号信号とを復号信号記憶部２０に再生時刻と対応付けて記憶させる。
また、拡張階層＃１データ復号部１４は、拡張階層＃１の符号化信号と、拡張階層＃１の動き情報と、拡張階層＃１の復号信号とを復号信号記憶部２０に再生時刻と対応付けて記憶させる。
拡張階層＃２データ復号部１５は、拡張階層＃２の符号化データを保有した符号化パケットを符号化パケット記憶部１９から読み出し、復号信号記憶部２０から符号化信号を取り出す。拡張階層＃２データ復号部１５は、この符号化信号の復号処理をおこなって、拡張階層＃２の動き情報と、拡張階層＃２の復号信号を生成する。拡張階層＃２データ復号部１５は、拡張階層＃２の符号化信号と、拡張階層＃２の動き情報と、拡張階層＃２の復号信号とを復号信号記憶部２０に再生時刻と対応付けて記憶させる。
さらに、拡張階層＃２データ復号部１５は、拡張階層＃２の復号信号を、再生用信号として出力する。
さらに、拡張階層＃２データ復号部１５は、拡張階層＃２の復号信号を、再生用信号として出力する。
エラー隠蔽処理部１６は、拡張階層＃２の下位階層である基本階層又は拡張階層＃１に対応付けられる情報に基づいてエラー隠蔽信号を生成する。
さらに、エラー隠蔽処理部１６は、生成したエラー隠蔽信号から再生用信号を生成し、再生用信号を再生用信号記憶部２１に再生時刻と対応付けて記憶させる。
エラー隠蔽処理部１６の詳細な構成は、後述する［エラー隠蔽処理部１６の構成］で説明する。
さらに、エラー隠蔽処理部１６は、生成したエラー隠蔽信号から再生用信号を生成し、再生用信号を再生用信号記憶部２１に再生時刻と対応付けて記憶させる。
エラー隠蔽処理部１６の詳細な構成は、後述する［エラー隠蔽処理部１６の構成］で説明する。
エラー隠蔽処理部１７は、当該時刻以外の時刻の符号化データや復号信号に基づいてエラー隠蔽信号を生成する。すなわち、エラー隠蔽処理部１７は、拡張階層＃２の下位階層である基本階層又は拡張階層＃１に対応付けられるいずれの情報も使用しないで、エラー隠蔽信号を生成する。
さらに、エラー隠蔽処理部１７は、生成したエラー隠蔽信号を再生用信号として再生用信号記憶部２１に記憶させる。
ここで、エラー隠蔽処理部１７は、例えば、特許文献１に記載の公知の技術によるエラー隠蔽処理を行う。
さらに、エラー隠蔽処理部１７は、生成したエラー隠蔽信号を再生用信号として再生用信号記憶部２１に記憶させる。
ここで、エラー隠蔽処理部１７は、例えば、特許文献１に記載の公知の技術によるエラー隠蔽処理を行う。
［エラー隠蔽処理部１６の構成］
次に、図２を参照して、図１に示すエラー隠蔽処理部１６の詳細な構成について説明する。
エラー隠蔽処理部１６は、全マクロブロック処理完了判定部１０１と、エラー隠蔽信号生成部１０２と、再生用信号生成部１０３とを備える。
次に、図２を参照して、図１に示すエラー隠蔽処理部１６の詳細な構成について説明する。
エラー隠蔽処理部１６は、全マクロブロック処理完了判定部１０１と、エラー隠蔽信号生成部１０２と、再生用信号生成部１０３とを備える。
なお、本実施形態では、エラー隠蔽処理部１６がエラー隠蔽処理を行う画像領域単位はフレームである。フレームは、再生時刻と対応付けられ、時系列に基づいて順番に構成される。１フレームの画像領域の大きさは、１６×１６画素サイズ以上とする。
さらに、エラー隠蔽処理部１６がエラー隠蔽処理を行う実行単位はフレームの画像領域を分割したマクロブロックである。１マクロブロックの画像領域単位の大きさは、１６×１６画素サイズとする。
エラー隠蔽処理部１６が１回のエラー隠蔽処理を行うフレーム数は、１フレームである。
さらに、エラー隠蔽処理部１６がエラー隠蔽処理を行う実行単位はフレームの画像領域を分割したマクロブロックである。１マクロブロックの画像領域単位の大きさは、１６×１６画素サイズとする。
エラー隠蔽処理部１６が１回のエラー隠蔽処理を行うフレーム数は、１フレームである。
また、基本階層と拡張階層＃１との符号化パケットが正常に受信され、拡張階層＃２の符号化パケットが正常に受信されなかった場合について説明する。すなわち、拡張階層＃２は、再生用信号を生成する対象となる再生階層であり、かつ、エラー隠蔽処理の対象階層である。また、拡張階層＃１は、符号化パケットが正常に受信された復号可能階層である。
また、例えば、拡張階層＃２と拡張階層＃１との縦横解像度比は２：１であり、拡張階層＃１と基本階層との縦横解像度比も、２：１ である。
また、例えば、拡張階層＃２と拡張階層＃１との縦横解像度比は２：１であり、拡張階層＃１と基本階層との縦横解像度比も、２：１ である。
全マクロブロック処理完了判定部１０１は、１フレーム内のすべてのマクロブロックについて、エラー隠蔽処理の実行が完了したか否かを判定する。
エラー隠蔽信号生成部１０２は、パケットロス検出部１２によって復号エラーの発生が検出された場合に、復号可能階層の符号化信号と、復号可能階層の復号信号と、復号エラー検出前符号化信号と、復号エラー検出前復号信号と、復号エラー検出前再生用信号と、に基づいて、再生階層と対応付けられたエラー隠蔽信号を生成する。
ここで、復号可能階層の符号化信号とは、パケットロス検出部１２によって復号エラーの発生が検出された場合に、復号信号記憶部２０に記憶している符号化信号のうち、再生階層と異なる階層である復号可能階層と対応付けて復号信号記憶部２０に記憶している符号化信号である。
復号可能階層の復号信号とは、復号可能階層と対応付けて復号信号記憶部２０に記憶している復号信号である。
復号エラー検出前符号化信号とは、パケットロス検出部１２が復号エラーの発生を検出する前に復号信号記憶部２０に記憶している符号化信号である。
復号エラー検出前復号信号とは、パケットロス検出部１２が復号エラーの発生を検出する前に復号信号記憶部２０に記憶している復号信号である。
復号エラー検出前再生用信号とは、パケットロス検出部１２が復号エラーの発生を検出する前に再生用信号記憶部２１に記憶している再生用信号である。
復号可能階層の復号信号とは、復号可能階層と対応付けて復号信号記憶部２０に記憶している復号信号である。
復号エラー検出前符号化信号とは、パケットロス検出部１２が復号エラーの発生を検出する前に復号信号記憶部２０に記憶している符号化信号である。
復号エラー検出前復号信号とは、パケットロス検出部１２が復号エラーの発生を検出する前に復号信号記憶部２０に記憶している復号信号である。
復号エラー検出前再生用信号とは、パケットロス検出部１２が復号エラーの発生を検出する前に再生用信号記憶部２１に記憶している再生用信号である。
すなわち、エラー隠蔽信号生成部１０２は、拡張階層＃１（復号可能階層）の符号化信号と、拡張階層＃１（復号可能階層）の符号化信号に含まれる拡張階層＃１（復号可能階層）の動き情報と、復号信号とを復号信号記憶部２０から読み出す。
また、エラー隠蔽信号生成部１０２は、復号エラー発生前に記憶された拡張階層＃２（再生階層）の符号化信号と、復号エラー発生前に記憶された拡張階層＃２（再生階層）の符号化信号に含まれる拡張階層＃２（再生階層）の動き情報と、復号エラー発生前に記憶された拡張階層＃２（再生階層）の復号信号とを復号信号記憶部２０から読み出す。
また、エラー隠蔽信号生成部１０２は、復号エラー発生前に記憶された拡張階層＃２（再生階層）の符号化信号と、復号エラー発生前に記憶された拡張階層＃２（再生階層）の符号化信号に含まれる拡張階層＃２（再生階層）の動き情報と、復号エラー発生前に記憶された拡張階層＃２（再生階層）の復号信号とを復号信号記憶部２０から読み出す。
また、エラー隠蔽信号生成部１０２は、復号エラー発生前に記憶された拡張階層＃２（再生階層）の再生用信号を再生用信号記憶部２１から読み出す。
また、エラー隠蔽信号生成部１０２は、読み出した拡張階層＃１（復号可能階層）の符号化信号と、動き情報と、復号信号、及び拡張階層＃２（再生階層）の復号エラー発生前の符号化信号と、再生用信号とに基づいて、処理対象とするマクロブロックのエラー隠蔽信号を生成する。
さらに、エラー隠蔽信号生成部１０２は、エラー隠蔽信号を復号信号記憶部２０に記憶させる。
エラー隠蔽信号生成部１０２の詳細な構成は、後述する［エラー隠蔽信号生成部１０２の構成］で説明する。
また、エラー隠蔽信号生成部１０２は、読み出した拡張階層＃１（復号可能階層）の符号化信号と、動き情報と、復号信号、及び拡張階層＃２（再生階層）の復号エラー発生前の符号化信号と、再生用信号とに基づいて、処理対象とするマクロブロックのエラー隠蔽信号を生成する。
さらに、エラー隠蔽信号生成部１０２は、エラー隠蔽信号を復号信号記憶部２０に記憶させる。
エラー隠蔽信号生成部１０２の詳細な構成は、後述する［エラー隠蔽信号生成部１０２の構成］で説明する。
再生用信号生成部１０３は、エラー隠蔽信号生成部１０２によって生成されたエラー隠蔽信号に基づいて再生用信号を生成する。
すなわち、再生用信号生成部１０３は、フレームの各マクロブロックにおけるエラー隠蔽信号を復号信号記憶部２０から読み出す。再生用信号生成部１０３は、読み出したエラー隠蔽信号に対してポストフィルタ処理を実行し、ポストフィルタ後の信号を当該時刻のフレームの再生用信号として生成する。
さらに、再生用信号生成部１０３は、再生用信号を再生用信号記憶部２１に記憶させる。
ポストフィルタの一例としては、Ｈ．２６４／ＡＶＣやＳＶＣにおけるデブロッキングフィルタがある。
すなわち、再生用信号生成部１０３は、フレームの各マクロブロックにおけるエラー隠蔽信号を復号信号記憶部２０から読み出す。再生用信号生成部１０３は、読み出したエラー隠蔽信号に対してポストフィルタ処理を実行し、ポストフィルタ後の信号を当該時刻のフレームの再生用信号として生成する。
さらに、再生用信号生成部１０３は、再生用信号を再生用信号記憶部２１に記憶させる。
ポストフィルタの一例としては、Ｈ．２６４／ＡＶＣやＳＶＣにおけるデブロッキングフィルタがある。
［エラー隠蔽信号生成部１０２の構成］
次に、図３、図４を参照して、図２に示すエラー隠蔽信号生成部１０２の詳細な構成について説明する。
次に、図３、図４を参照して、図２に示すエラー隠蔽信号生成部１０２の詳細な構成について説明する。
図３において、再生時刻ｔに対応付けられたフレームがフレームｔに、フレームｔよりも過去の再生時刻ｔ−１に対応付けられたフレームがフレームｔ−１に対応する。
フレームｔ−１は、フレームｔにおける動き予測の参照フレームＦ１２として使用される。
本実施形態では、レイヤＬを拡張階層＃２、すなわち再生階層とし、レイヤＬの下位階層であるレイヤＬ−１を拡張階層＃１、すなわち復号可能階層とする。
フレームｔ内に描かれた１６×１６画素の画素座標範囲は、エラー隠蔽処理の実行単位であるマクロブロックＭＢ１１である。
下位階層対応ブロックとは、再生階層の下位階層である復号可能階層に存在し、再生階層のマクロブロックと空間的に同位置に存在するブロックである。
ここで、マクロブロックＭＢ１１と空間的に対応する復号可能階層の８×８画素の画素座標範囲が下位階層対応ブロックＭＢ２１である。
ここで、マクロブロックＭＢ１１と下位階層対応ブロックＭＢ２１との中心画素の座標は、それぞれ、（２ｐｘ，２ｐｙ）（ｐｘ，ｐｙ）である。
フレームｔ−１は、フレームｔにおける動き予測の参照フレームＦ１２として使用される。
本実施形態では、レイヤＬを拡張階層＃２、すなわち再生階層とし、レイヤＬの下位階層であるレイヤＬ−１を拡張階層＃１、すなわち復号可能階層とする。
フレームｔ内に描かれた１６×１６画素の画素座標範囲は、エラー隠蔽処理の実行単位であるマクロブロックＭＢ１１である。
下位階層対応ブロックとは、再生階層の下位階層である復号可能階層に存在し、再生階層のマクロブロックと空間的に同位置に存在するブロックである。
ここで、マクロブロックＭＢ１１と空間的に対応する復号可能階層の８×８画素の画素座標範囲が下位階層対応ブロックＭＢ２１である。
ここで、マクロブロックＭＢ１１と下位階層対応ブロックＭＢ２１との中心画素の座標は、それぞれ、（２ｐｘ，２ｐｙ）（ｐｘ，ｐｙ）である。
図４において、エラー隠蔽信号生成部１０２は、下位階層対応ブロック復号信号拡大部２０１と、下位階層対応ブロック予測モード判定部２０２と、エラー隠蔽信号生成手順切換え部２０３と、下位階層対応ブロック残差信号拡大部２０４と、下位階層対応ブロック動き情報スケーリング部２０５と、補正ベクトル算出部２０６と、動き補償部２０７と、信号加算部２０８とを備えている。
下位階層対応ブロック復号信号拡大部２０１（復号解像度変換エラー隠蔽信号生成部）は、復号可能階層と対応付けられて復号信号記憶部２０に記憶されている復号信号を解像度比に基づいて解像度変換した信号を、エラー隠蔽信号として生成する。
すなわち、下位階層対応ブロック復号信号拡大部２０１は、復号信号記憶部２０から下位階層対応ブロックの復号信号を読み出す。
さらに、下位階層対応ブロック復号信号拡大部２０１は、読み出した下位階層対応ブロックの復号信号に対して、拡張階層＃２と拡張階層＃１の解像度比に応じて解像度変換した復号信号を生成し、生成した信号をエラー隠蔽信号として復号信号記憶部２０に記憶させる。
本実施形態においては、拡張階層＃２と拡張階層＃１との縦横解像度比が２：１であるため、下位階層対応ブロック復号信号拡大部２０１は、縦横それぞれ２倍に拡大した復号信号を出力する。
さらに、下位階層対応ブロック復号信号拡大部２０１は、読み出した下位階層対応ブロックの復号信号に対して、拡張階層＃２と拡張階層＃１の解像度比に応じて解像度変換した復号信号を生成し、生成した信号をエラー隠蔽信号として復号信号記憶部２０に記憶させる。
本実施形態においては、拡張階層＃２と拡張階層＃１との縦横解像度比が２：１であるため、下位階層対応ブロック復号信号拡大部２０１は、縦横それぞれ２倍に拡大した復号信号を出力する。
下位階層対応ブロック予測モード判定部２０２は、復号信号記憶部２０から下位階層対応ブロックが保有する予測モードを読み出し、読み出した予測モードを予測モード判定結果として復号信号記憶部２０に記憶させる。
ここで、予測モードは、符号化信号に含まれる情報であり、画像の動き予測方式を定める。
代表的な予測モードにはインター予測モードと、イントラ予測モードとがある。
インター予測モードとは、フレーム間の動き情報に基づいて、動き予測をするモードである。
一方、イントラ予測モードとは、フレーム間の画像比較による動き情報に基づかずに、１枚のフレーム内において動き予測をするモードである。
代表的な予測モードにはインター予測モードと、イントラ予測モードとがある。
インター予測モードとは、フレーム間の動き情報に基づいて、動き予測をするモードである。
一方、イントラ予測モードとは、フレーム間の画像比較による動き情報に基づかずに、１枚のフレーム内において動き予測をするモードである。
エラー隠蔽信号生成手順切換え部２０３は、復号可能階層と対応付けられて復号信号記憶部２０に記憶されている符号化信号に含まれる動き予測モードに基づいて、信号加算部２０８（動き合成エラー隠蔽信号生成部）と、下位階層対応ブロック復号信号拡大部２０１と、のうちからいずれかを、エラー隠蔽信号生成部１０２として選択する。
すなわち、エラー隠蔽信号生成手順切換え部２０３は、下位階層対応ブロック予測モード判定部２０２によって生成された予測モード判定結果を復号信号記憶部２０から読み出す。
さらに、エラー隠蔽信号生成手順切換え部２０３は、復号信号記憶部２０から読み出した予測モード判定結果がインター予測モードの場合には、信号加算部２０８によって生成された信号をエラー隠蔽信号として復号信号記憶部２０に記憶させる。
一方、エラー隠蔽信号生成手順切換え部２０３は、復号信号記憶部２０から読み出した予測モード判定結果がイントラ予測モードの場合には、下位階層対応ブロック復号信号拡大部２０１によって生成された解像度変換した復号信号をエラー隠蔽信号として復号信号記憶部２０に記憶させる。
さらに、エラー隠蔽信号生成手順切換え部２０３は、復号信号記憶部２０から読み出した予測モード判定結果がインター予測モードの場合には、信号加算部２０８によって生成された信号をエラー隠蔽信号として復号信号記憶部２０に記憶させる。
一方、エラー隠蔽信号生成手順切換え部２０３は、復号信号記憶部２０から読み出した予測モード判定結果がイントラ予測モードの場合には、下位階層対応ブロック復号信号拡大部２０１によって生成された解像度変換した復号信号をエラー隠蔽信号として復号信号記憶部２０に記憶させる。
下位階層対応ブロック残差信号拡大部２０４（予測残差信号解像度変換部）は、再生用信号の生成に用いられる予測残差信号であって、復号可能階層と対応付けられて復号信号記憶部に記憶されている符号化信号に含まれる動き情報に基づいた予測残差信号を、解像度比に基づいて、解像度変換予測残差信号に変換する。
すなわち、下位階層対応ブロック残差信号拡大部２０４は、復号信号記憶部２０から下位階層対応ブロックが保有する予測残差信号を読み出す。
さらに、下位階層対応ブロック残差信号拡大部２０４は、読み出した下位階層対応ブロックが保有する予測残差信号を、あらかじめ定められた予測残差信号拡大手法によって、拡張階層＃２と拡張階層＃１の解像度比に応じて解像度変換した信号を生成し、生成した信号を復号信号記憶部２０に記憶させる。
さらに、下位階層対応ブロック残差信号拡大部２０４は、読み出した下位階層対応ブロックが保有する予測残差信号を、あらかじめ定められた予測残差信号拡大手法によって、拡張階層＃２と拡張階層＃１の解像度比に応じて解像度変換した信号を生成し、生成した信号を復号信号記憶部２０に記憶させる。
予測残差信号拡大手法の例としては、ＳＶＣにおいて階層間予測に利用するアップサンプルフィルタをはじめとする線形フィルタによる拡大手法や、超解像度手法などが挙げられる。
下位階層対応ブロック動き情報スケーリング部２０５（動き情報解像度変換部）は、再生用信号の生成に用いられる動き情報であって、復号可能階層と対応付けられて復号信号記憶部２０に記憶されている符号化信号に含まれる動き情報を、再生階層と復号可能階層との解像度比に基づいて、解像度変換動き情報に変換する。
すなわち、下位階層対応ブロック動き情報スケーリング部２０５は、復号信号記憶部２０から下位階層対応ブロックが保有する動き情報を読み出す。
さらに、下位階層対応ブロック動き情報スケーリング部２０５は、読み出した下位階層対応ブロックが保有する動き情報を、あらかじめ定められた動き情報のスケーリング（解像度変換）方法によって、再生階層（拡張階層＃２）と復号可能階層（拡張階層＃１）の解像度比に応じて解像度変換した信号を解像度変換後の動き情報を生成する。
さらに、下位階層対応ブロック動き情報スケーリング部２０５は、生成した解像度変換後の動き情報を、復号信号記憶部２０に記憶させる。
さらに、下位階層対応ブロック動き情報スケーリング部２０５は、読み出した下位階層対応ブロックが保有する動き情報を、あらかじめ定められた動き情報のスケーリング（解像度変換）方法によって、再生階層（拡張階層＃２）と復号可能階層（拡張階層＃１）の解像度比に応じて解像度変換した信号を解像度変換後の動き情報を生成する。
さらに、下位階層対応ブロック動き情報スケーリング部２０５は、生成した解像度変換後の動き情報を、復号信号記憶部２０に記憶させる。
ここで、動き情報とは、動きベクトル、動き予測の参照フレームインデックス、予測モード、ブロック分割形状に代表される動き補償に用いる情報のことである。
予測モード及び参照フレームインデックスは、下位階層対応ブロックに対応付けられた情報をそのまま継承し、動きベクトル及びブロック分割形状は解像度比に応じて解像度変換する。
本実施形態においては、拡張階層＃２と拡張階層＃１との縦横解像度比が２：１であるため、下位階層対応ブロックに対応付けられた動きベクトルを（ｍｘ，ｍｙ）とすると、解像度変換された動きベクトルは（２ｍｘ，２ｍｙ）となる。
予測モード及び参照フレームインデックスは、下位階層対応ブロックに対応付けられた情報をそのまま継承し、動きベクトル及びブロック分割形状は解像度比に応じて解像度変換する。
本実施形態においては、拡張階層＃２と拡張階層＃１との縦横解像度比が２：１であるため、下位階層対応ブロックに対応付けられた動きベクトルを（ｍｘ，ｍｙ）とすると、解像度変換された動きベクトルは（２ｍｘ，２ｍｙ）となる。
補正ベクトル算出部２０６（補正動き情報算出部）は、解像度変換動き情報を補正する情報である、補正動き情報を算出する。
すなわち、補正ベクトル算出部２０６は、下位階層対応ブロックの復号信号の拡大信号、予測残差信号の拡大信号、解像度変換後の動き情報、復号エラー発生前に復号信号記憶部２０に記憶された再生用信号、及びその他補正に必要となる所定の情報を復号信号記憶部２０から読み出す。
さらに、補正ベクトル算出部２０６は、復号信号記憶部２０から読み出したこれらの信号及び情報基づいて解像度変換後の動き情報を補正する補正動き情報（補正ベクトル）を生成し、復号信号記憶部２０に記憶させる。
補正ベクトル算出部２０６の詳細な構成は、後述する［補正ベクトル算出部２０６の構成］で説明する。
さらに、補正ベクトル算出部２０６は、復号信号記憶部２０から読み出したこれらの信号及び情報基づいて解像度変換後の動き情報を補正する補正動き情報（補正ベクトル）を生成し、復号信号記憶部２０に記憶させる。
補正ベクトル算出部２０６の詳細な構成は、後述する［補正ベクトル算出部２０６の構成］で説明する。
動き補償部２０７（動き補償信号生成部）は、解像度変換動き情報を補正動き情報によって補正した補正後の動き情報に基づいて、再生階層に対応付けられた信号である動き補償信号を生成する。
すなわち、動き補償部２０７は、解像度変換後の動き情報と、補正動き情報（補正ベクトル）と、復号エラー発生前に復号信号記憶部２０に記憶された動き情報とを復号信号記憶部２０から読み出す。
さらに、動き補償部２０７は、復号信号記憶部２０から読み出したこれらの信号及び情報基づいて、用いてエラー隠蔽処理対象のマクロブロックに対する動き補償信号を生成し、復号信号記憶部２０に記憶させる。
さらに、動き補償部２０７は、復号信号記憶部２０から読み出したこれらの信号及び情報基づいて、用いてエラー隠蔽処理対象のマクロブロックに対する動き補償信号を生成し、復号信号記憶部２０に記憶させる。
信号加算部２０８は、動き補償信号と解像度変換予測残差信号とに基づいて、エラー隠蔽信号を生成する。
すなわち、信号加算部２０８は、動き補償部２０７によって復号信号記憶部２０に記憶された動き補償信号と、下位階層対応ブロック残差信号拡大部２０４によって復号信号記憶部２０に記憶された予測残差信号の拡大信号を復号信号記憶部２０から読み出す。
さらに、信号加算部２０８は、復号信号記憶部２０から読み出したこれらの信号を加算した信号を生成し、復号信号記憶部２０に記憶させる。
さらに、信号加算部２０８は、復号信号記憶部２０から読み出したこれらの信号を加算した信号を生成し、復号信号記憶部２０に記憶させる。
［補正ベクトル算出部２０６の構成］
次に、図５を参照して、図３に示す各マクロブロックにおける、図４に示す補正ベクトル算出部２０６の詳細な構成について説明する。
補正ベクトル算出部２０６は、下位階層対応ブロック予測残差信号絶対値和算出部３０１と、階層解像度比算出部３０２と、下位階層対応ブロック動きベクトルノルム算出部３０３と、補正ベクトル探索範囲決定部３０４と、補正ベクトル探索部３０５とを備えている。
次に、図５を参照して、図３に示す各マクロブロックにおける、図４に示す補正ベクトル算出部２０６の詳細な構成について説明する。
補正ベクトル算出部２０６は、下位階層対応ブロック予測残差信号絶対値和算出部３０１と、階層解像度比算出部３０２と、下位階層対応ブロック動きベクトルノルム算出部３０３と、補正ベクトル探索範囲決定部３０４と、補正ベクトル探索部３０５とを備えている。
下位階層対応ブロック予測残差信号絶対値和算出部３０１は、下位階層対応ブロックの各画素における予測残差信号を復号信号記憶部２０から読み出す。
次に、下位階層対応ブロック予測残差信号絶対値和算出部３０１は、復号信号記憶部２０から読み出した各画素における予測残差信号に基づいて、これら予測残差信号の絶対値の総和（ＳＡＤ：Sum of Absolute Distance）を算出し、算出したＳＡＤを復号信号記憶部２０に記憶させる。
なお、復号信号記憶部２０に記憶された、下位階層対応ブロックが保有する予測残差信号を拡大した信号に対してＳＡＤを計算してもよい。
次に、下位階層対応ブロック予測残差信号絶対値和算出部３０１は、復号信号記憶部２０から読み出した各画素における予測残差信号に基づいて、これら予測残差信号の絶対値の総和（ＳＡＤ：Sum of Absolute Distance）を算出し、算出したＳＡＤを復号信号記憶部２０に記憶させる。
なお、復号信号記憶部２０に記憶された、下位階層対応ブロックが保有する予測残差信号を拡大した信号に対してＳＡＤを計算してもよい。
階層解像度比算出部３０２は、復号信号記憶部２０から、再生階層の解像度と復号可能階層の解像度を読み出す。
次に、階層解像度比算出部３０２は、復号信号記憶部２０から読み出した再生階層の解像度と復号可能階層の解像度との縦横比を算出し、算出した解像度の縦横比を復号信号記憶部２０に記憶させる。
次に、階層解像度比算出部３０２は、復号信号記憶部２０から読み出した再生階層の解像度と復号可能階層の解像度との縦横比を算出し、算出した解像度の縦横比を復号信号記憶部２０に記憶させる。
下位階層対応ブロック動きベクトルノルム算出部３０３は、復号信号記憶部２０に記憶された下位階層対応ブロックが保有する動きベクトルを読み出す。
次に、下位階層対応ブロック動きベクトルノルム算出部３０３は、読み出した動きベクトルのノルムを算出し、算出した動きベクトルノルムを復号信号記憶部２０に記憶させる。
ここで、ノルムの代表例としてはユークリッド距離が挙げられる。
次に、下位階層対応ブロック動きベクトルノルム算出部３０３は、読み出した動きベクトルのノルムを算出し、算出した動きベクトルノルムを復号信号記憶部２０に記憶させる。
ここで、ノルムの代表例としてはユークリッド距離が挙げられる。
補正ベクトル探索範囲決定部３０４（探索座標範囲決定部）は、探索中心座標と、探索座標範囲と、コスト関数とに基づいてブロックマッチング結果座標を算出するブロックマッチングにおける探索座標範囲として、前記動き情報、前記予測残差信号、又は前記解像度比に基づいたブロックマッチング探索座標範囲、を決定する。
すなわち、補正ベクトル探索範囲決定部３０４は、復号信号記憶部２０から、予測残差信号のＳＡＤの値と、縦横解像度比と、動きベクトルノルムと、探索範囲決定のためのしきい値群を読み出す。
次に、補正ベクトル探索範囲決定部３０４は、復号信号記憶部２０から読み出した、予測残差信号のＳＡＤの値と、縦横解像度比と、動きベクトルノルムと、探索範囲決定のためのしきい値群とに基づいて、補正ベクトルの探索のための探索範囲を決定する。
次に、補正ベクトル探索範囲決定部３０４は、決定した探索範囲を復号信号記憶部２０に記憶させる。
次に、補正ベクトル探索範囲決定部３０４は、復号信号記憶部２０から読み出した、予測残差信号のＳＡＤの値と、縦横解像度比と、動きベクトルノルムと、探索範囲決定のためのしきい値群とに基づいて、補正ベクトルの探索のための探索範囲を決定する。
次に、補正ベクトル探索範囲決定部３０４は、決定した探索範囲を復号信号記憶部２０に記憶させる。
ここで、予測残差信号のＳＡＤの値とは、下位階層対応ブロック予測残差信号絶対値和算出部３０１によって出力された下位階層対応ブロックの予測残差信号のＳＡＤの値である。
また、縦横解像度比とは、階層解像度比算出部３０２によって出力された再生階層と復号可能階層の縦横解像度比である。
また、動きベクトルノルムとは、下位階層対応ブロック動きベクトルノルム算出部３０３によって出力された下位階層対応ブロックの動きベクトルノルムである。
また、しきい値群は、あらかじめ外部モジュールによって与えられるものとし、経験的な値が設定される外部設定値として定められ、又は本発明とは別のモジュール内にて計算されるといった方法等で決定される。
また、縦横解像度比とは、階層解像度比算出部３０２によって出力された再生階層と復号可能階層の縦横解像度比である。
また、動きベクトルノルムとは、下位階層対応ブロック動きベクトルノルム算出部３０３によって出力された下位階層対応ブロックの動きベクトルノルムである。
また、しきい値群は、あらかじめ外部モジュールによって与えられるものとし、経験的な値が設定される外部設定値として定められ、又は本発明とは別のモジュール内にて計算されるといった方法等で決定される。
補正ベクトル探索部３０５（補正動き情報探索部）は、解像度変換動き情報によって指定されるブロックマッチング探索中心座標を探索中心座標とし、ブロックマッチング探索座標範囲を探索座標範囲とするブロックマッチングの結果、コスト関数の値が最小となる座標をブロックマッチング結果座標として探索する。
すなわち、補正ベクトル探索部３０５は、復号信号を拡大した信号と、予測残差信号を拡大した信号と、解像度変換した動きベクトルと、探索範囲とを復号信号記憶部２０から読み出す。
次に、補正ベクトル探索部３０５は、復号信号記憶部２０から読み出した、復号信号を拡大した信号と、予測残差信号を拡大した信号と、解像度変換した動きベクトルとに基づいてブロックマッチング探索中心座標を決定する。
次に、補正ベクトル探索部３０５は、ブロックマッチング探索中心座標と、探索範囲に基づいてブロックマッチングを実行し、コスト関数の値が最小となる座標をブロックマッチング結果座標として探索する。
次に、補正ベクトル探索部３０５は、復号信号記憶部２０から読み出した、復号信号を拡大した信号と、予測残差信号を拡大した信号と、解像度変換した動きベクトルとに基づいてブロックマッチング探索中心座標を決定する。
次に、補正ベクトル探索部３０５は、ブロックマッチング探索中心座標と、探索範囲に基づいてブロックマッチングを実行し、コスト関数の値が最小となる座標をブロックマッチング結果座標として探索する。
補正ベクトル決定部３０６（補正動き情報決定部）は、ブロックマッチング結果座標とブロックマッチング探索中心座標との差を補正動き情報として決定する。
すなわち、補正ベクトル決定部３０６は、ブロックマッチング結果座標と、ブロックマッチング探索中心座標との差に基づいて、補正ベクトル（補正動き情報）を決定する。
次に、補正ベクトル決定部３０６は、決定した補正ベクトルを復号信号記憶部２０に記憶させる。
すなわち、補正ベクトル決定部３０６は、ブロックマッチング結果座標と、ブロックマッチング探索中心座標との差に基づいて、補正ベクトル（補正動き情報）を決定する。
次に、補正ベクトル決定部３０６は、決定した補正ベクトルを復号信号記憶部２０に記憶させる。
ここで、復号信号を拡大した信号とは、下位階層対応ブロック復号信号拡大部２０１によって生成された下位階層対応ブロックの復号信号を拡大した信号である。
また、予測残差信号を拡大した信号とは、下位階層対応ブロック残差信号拡大部２０４によって生成された下位階層対応ブロックの予測残差信号を拡大した信号である。
また、探索範囲とは、補正ベクトル探索範囲決定部３０４によって決定された探索範囲である。
なお、前述の探索範囲は、画像の縦方向と横方向に同じ値を設定しているが、それぞれ異なる値を用いてもよい。
また、予測残差信号を拡大した信号とは、下位階層対応ブロック残差信号拡大部２０４によって生成された下位階層対応ブロックの予測残差信号を拡大した信号である。
また、探索範囲とは、補正ベクトル探索範囲決定部３０４によって決定された探索範囲である。
なお、前述の探索範囲は、画像の縦方向と横方向に同じ値を設定しているが、それぞれ異なる値を用いてもよい。
［映像再生装置１の動作］
次に、図１、図６を参照して、図１に示す映像再生装置１の動作を説明する。
次に、図１、図６を参照して、図１に示す映像再生装置１の動作を説明する。
まず、パケット受信部１１は、符号化パケットを受信する。
次に、パケット受信部１１は、受信した符号化パケットが、基本階層、拡張階層＃１、拡張階層＃２いずれの階層符号化信号を含む符号化パケットであるかを判定し、判定した階層及び受信時刻と符号化パケットとを対応付けて、符号化パケットを符号化パケット記憶部１９に記憶させる（ステップＳ１１）。
次に、パケット受信部１１は、受信した符号化パケットが、基本階層、拡張階層＃１、拡張階層＃２いずれの階層符号化信号を含む符号化パケットであるかを判定し、判定した階層及び受信時刻と符号化パケットとを対応付けて、符号化パケットを符号化パケット記憶部１９に記憶させる（ステップＳ１１）。
すなわち、符号化パケット記憶部１９に記憶される符号化パケットには、所定時刻に受信された符号化パケットであって、所定時刻に対応付けられて符号化パケット記憶部に記憶されている符号化パケットが含まれる。
ステップＳ１２において、パケットロス検出部１２は、符号化パケット記憶部１９から階層及び受信時刻に対応付けられた符号化パケットを読み込み、符号化パケットが正常に受信されているかを判定する。
次に、パケットロス検出部１２は、受信判定結果を示す符号化パケット受信可否フラグを生成して符号化パケット記憶部１９に記憶させる。
次に、パケットロス検出部１２は、受信判定結果を示す符号化パケット受信可否フラグを生成して符号化パケット記憶部１９に記憶させる。
ここで、符号化パケット受信可否フラグは、フラグが真であれば符号化パケットが正常に受信されたことを、フラグが偽であれば正常に受信されなかったことを示す。
なお、符号化パケット受信可否フラグは、受信した符号化パケットの階層に対応させて生成する。すなわち、受信した符号化パケットが、基本階層の符号化パケットであれば、基本階層の符号化パケット受信可否フラグを、拡張階層＃１の符号化パケットであれば、拡張階層＃１の符号化パケット受信可否フラグを、拡張階層＃２の符号化パケットであれば、拡張階層＃２の符号化パケット受信可否フラグを、それぞれ生成する。
パケットロス検出部１２は、基本階層の符号化パケット受信可否フラグの真偽に基づいて、基本階層の符号化パケットがロスしているか否かを判定し、判定結果に基づいて処理を選択する（ステップＳ１３）。
すなわち、パケットロス検出部１２は、フラグが真、つまり基本階層の符号化パケットがロスしている場合は、ステップＳ１４に処理を進める。
一方、パケットロス検出部１２は、フラグが偽、つまり基本階層の符号化パケットがロスしていない場合は、ステップＳ１５に処理を進める。
すなわち、パケットロス検出部１２は、フラグが真、つまり基本階層の符号化パケットがロスしている場合は、ステップＳ１４に処理を進める。
一方、パケットロス検出部１２は、フラグが偽、つまり基本階層の符号化パケットがロスしていない場合は、ステップＳ１５に処理を進める。
ステップＳ１３における判定の結果、基本階層の符号化パケットがロスしている場合、エラー隠蔽処理部１７は、あらかじめ定められたエラー隠蔽処理を適用することによって再生用信号を生成し、生成した再生用信号を再生用信号記憶部２１に記憶させる（ステップＳ１４）。
なお、エラー隠蔽処理部１７が適用するあらかじめ定められたエラー隠蔽処理は、例えば、特許文献１に記載のエラー隠蔽処理である。
なお、エラー隠蔽処理部１７が適用するあらかじめ定められたエラー隠蔽処理は、例えば、特許文献１に記載のエラー隠蔽処理である。
次に、ステップＳ１３における判定の結果、基本階層の符号化パケットがロスしていない場合、パケットロス検出部１２は、拡張階層＃１の符号化パケット受信可否フラグの真偽に基づいて、拡張階層＃１の符号化パケットがロスしているか否かを判定し、判定結果に基づいて処理を選択する（ステップＳ１５）。
すなわち、パケットロス検出部１２は、フラグが真、つまり拡張階層＃１の符号化パケットがロスしている場合は、ステップＳ１６に処理を進める。
一方、パケットロス検出部１２は、フラグが偽、つまり拡張階層＃１の符号化パケットがロスしていない場合は、ステップＳ１７に処理を進める。
すなわち、パケットロス検出部１２は、フラグが真、つまり拡張階層＃１の符号化パケットがロスしている場合は、ステップＳ１６に処理を進める。
一方、パケットロス検出部１２は、フラグが偽、つまり拡張階層＃１の符号化パケットがロスしていない場合は、ステップＳ１７に処理を進める。
基本階層データ復号部１３は、基本階層の符号化パケットに基づいて復号処理をおこなう（ステップＳ１６）。
すなわち、ステップＳ１５における判定の結果、拡張階層＃１の符号化パケットがロスしている場合、基本階層データ復号部１３は、基本階層の符号化信号を保有した符号化パケットを符号化パケット記憶部１９から読み込む。基本階層データ復号部１３は、読み込んだ符号化パケットから基本階層の符号化信号を取り出し、復号処理を行い、基本階層の動き情報と、基本階層の復号信号とを生成する。
さらに、基本階層データ復号部１３は、基本階層の符号化信号と、基本階層の動き情報と、基本階層の復号信号とを、復号信号記憶部２０に記憶させる。
すなわち、ステップＳ１５における判定の結果、拡張階層＃１の符号化パケットがロスしている場合、基本階層データ復号部１３は、基本階層の符号化信号を保有した符号化パケットを符号化パケット記憶部１９から読み込む。基本階層データ復号部１３は、読み込んだ符号化パケットから基本階層の符号化信号を取り出し、復号処理を行い、基本階層の動き情報と、基本階層の復号信号とを生成する。
さらに、基本階層データ復号部１３は、基本階層の符号化信号と、基本階層の動き情報と、基本階層の復号信号とを、復号信号記憶部２０に記憶させる。
ステップＳ１５における判定の結果、拡張階層＃１の符号化パケットがロスしていない場合、パケットロス検出部１２は、拡張階層＃２のパケット受信可否フラグの真偽に基づいて、拡張階層＃２の符号化パケットがロスしているか否かを判定し、判定結果に基づいて処理を選択する。
すなわち、パケットロス検出部１２は、フラグが真、つまり拡張階層＃２の符号化パケットがロスしている場合は、ステップＳ１８に処理を進める。
一方、パケットロス検出部１２は、フラグが偽、つまり拡張階層＃２の符号化パケットがロスしていない場合は、ステップＳ２０に処理を進める（ステップＳ１７）。
すなわち、パケットロス検出部１２は、フラグが真、つまり拡張階層＃２の符号化パケットがロスしている場合は、ステップＳ１８に処理を進める。
一方、パケットロス検出部１２は、フラグが偽、つまり拡張階層＃２の符号化パケットがロスしていない場合は、ステップＳ２０に処理を進める（ステップＳ１７）。
次に、基本階層及び拡張階層＃１の符号化パケットに基づいて復号処理をおこなう（ステップＳ１８）。
すなわち、基本階層データ復号部１３及び拡張階層＃１データ復号部１４は、所定時刻に受信された符号化パケットであって、所定時刻に対応付けられて符号化パケット記憶部１９に記憶されている符号化パケットに基づいて、所定時刻に対応付けられた符号化信号を階層毎に生成するとともに、符号化信号に基づいて、所定時刻に対応付けられた復号信号を階層毎に生成する（復号信号生成ステップ）。
すなわち、基本階層データ復号部１３及び拡張階層＃１データ復号部１４は、所定時刻に受信された符号化パケットであって、所定時刻に対応付けられて符号化パケット記憶部１９に記憶されている符号化パケットに基づいて、所定時刻に対応付けられた符号化信号を階層毎に生成するとともに、符号化信号に基づいて、所定時刻に対応付けられた復号信号を階層毎に生成する（復号信号生成ステップ）。
つまり、ステップＳ１７における判定の結果、拡張階層＃２の符号化パケットがロスしている場合、ステップＳ１８において、基本階層データ復号部１３及び拡張階層＃１データ復号部１４は、次の手順で処理を行う。
まず、ステップＳ１８において、基本階層データ復号部１３は、符号化パケット記憶部１９から基本階層の符号化データを保有した符号化パケットを読み込む。基本階層データ復号部１３は、読み込んだ符号化パケットから基本階層の符号化信号を取り出し、復号処理を行い、基本階層の動き情報と、基本階層の復号信号とを生成する。基本階層の符号化信号と、基本階層の動き情報と、基本階層の復号信号とを、復号信号記憶部２０に記憶させる。
次に、拡張階層＃１データ復号部１４は、符号化パケット記憶部１９から拡張階層＃１の符号化信号を保有した符号化パケットを読み込む。拡張階層＃１データ復号部１４は、読み込んだ符号化パケットから拡張階層＃１の符号化信号を取り出し、復号処理を行い、拡張階層＃１の動き情報と、拡張階層＃１の復号信号とを生成する。拡張階層＃１データ復号部１４は、拡張階層＃１の符号化信号と、拡張階層＃１の動き情報と、拡張階層＃１の復号信号とを、復号信号記憶部２０に記憶させる。
まず、ステップＳ１８において、基本階層データ復号部１３は、符号化パケット記憶部１９から基本階層の符号化データを保有した符号化パケットを読み込む。基本階層データ復号部１３は、読み込んだ符号化パケットから基本階層の符号化信号を取り出し、復号処理を行い、基本階層の動き情報と、基本階層の復号信号とを生成する。基本階層の符号化信号と、基本階層の動き情報と、基本階層の復号信号とを、復号信号記憶部２０に記憶させる。
次に、拡張階層＃１データ復号部１４は、符号化パケット記憶部１９から拡張階層＃１の符号化信号を保有した符号化パケットを読み込む。拡張階層＃１データ復号部１４は、読み込んだ符号化パケットから拡張階層＃１の符号化信号を取り出し、復号処理を行い、拡張階層＃１の動き情報と、拡張階層＃１の復号信号とを生成する。拡張階層＃１データ復号部１４は、拡張階層＃１の符号化信号と、拡張階層＃１の動き情報と、拡張階層＃１の復号信号とを、復号信号記憶部２０に記憶させる。
ステップＳ１９において、エラー隠蔽処理部１６は、所定時刻よりも過去の時刻に対応付けられて復号信号記憶部２０に予め記憶されている過去の符号化信号と、過去の時刻に対応付けられて復号信号記憶部２０に予め記憶されている過去の復号信号と、過去の時刻に対応付けられて再生用信号記憶部２１に予め記憶されている過去の再生用信号と、を取得する（信号取得ステップ）。
すなわち、ステップＳ１９において、エラー隠蔽処理部１６は、次の手順で処理を行う。
まず、エラー隠蔽処理部１６は、過去の基本階層の符号化信号と、過去の基本階層の復号信号とを復号信号記憶部２０から読み込む。
次に、エラー隠蔽処理部１６は、再生用信号記憶部２１から過去の再生階層（拡張階層＃２）の再生用信号を読み込む。
ここで、過去の基本階層の符号化信号及び過去の基本階層の復号信号は、復号エラーが発生する前に基本階層データ復号部１３が復号信号記憶部２０に記憶させた基本階層の符号化信号及び基本階層の復号信号である。
まず、エラー隠蔽処理部１６は、過去の基本階層の符号化信号と、過去の基本階層の復号信号とを復号信号記憶部２０から読み込む。
次に、エラー隠蔽処理部１６は、再生用信号記憶部２１から過去の再生階層（拡張階層＃２）の再生用信号を読み込む。
ここで、過去の基本階層の符号化信号及び過去の基本階層の復号信号は、復号エラーが発生する前に基本階層データ復号部１３が復号信号記憶部２０に記憶させた基本階層の符号化信号及び基本階層の復号信号である。
さらに、ステップＳ１９において、エラー隠蔽処理部１６は、所定時刻に対応付けられた符号化信号と、所定時刻に対応付けられている復号信号と、過去の符号化信号と、過去の復号信号と、過去の再生用信号と、に基づいて所定時刻に対応付けられたエラー隠蔽信号を生成する（エラー隠蔽信号生成ステップ）。
さらに、ステップＳ１９において、エラー隠蔽処理部１６は、エラー隠蔽信号生成ステップにおいて生成されたエラー隠蔽信号に基づいて所定時刻に対応付けられた再生用信号を生成する（再生用信号生成ステップ）。
エラー隠蔽処理ステップＳ１９の詳細な動作は、後述する［エラー隠蔽処理部１６の動作］で説明する。
次に、基本階層データ復号部１３、拡張階層＃１データ復号部１４及び拡張階層＃２データ復号部１５は、基本階層及び拡張階層＃１及び拡張階層＃２の符号化パケットに基づいて復号処理を行う（ステップＳ２０）。
すなわち、ステップＳ１７における判定の結果、拡張階層＃２の符号化パケットがロスしていない場合、基本階層データ復号部１３、拡張階層＃１データ復号部１４及び拡張階層＃２データ復号部１５は、次の手順で処理を行う。
まず、基本階層データ復号部１３は、符号化パケット記憶部１９から基本階層の符号化データを保有した符号化パケットを読み込む。基本階層データ復号部１３は、読み込んだ符号化パケットから基本階層の符号化信号を取り出し、復号処理を行い、基本階層の動き情報と、基本階層の復号信号とを生成する。基本階層データ復号部１３は、基本階層の符号化信号と、基本階層の動き情報と、基本階層の復号信号とを、復号信号記憶部２０に記憶させる。
次に、拡張階層＃１データ復号部１４は、符号化パケット記憶部１９から拡張階層＃１の符号化信号を保有した符号化パケットを読み込む。拡張階層＃１データ復号部１４は、読み込んだ符号化パケットから拡張階層＃１の符号化信号を取り出し、復号処理を行い、拡張階層＃１の動き情報と、拡張階層＃１の復号信号とを生成する。拡張階層＃１データ復号部１４は、拡張階層＃１の符号化信号と、拡張階層＃１の動き情報と、拡張階層＃１の復号信号とを、復号信号記憶部２０に記憶させる。
次に、拡張階層＃２データ復号部１５は、符号化パケット記憶部１９から拡張階層＃２の符号化信号を保有した符号化パケットを読み込む。拡張階層＃２データ復号部１５は、読み込んだ符号化パケットから拡張階層＃２の符号化信号を取り出し、復号処理を行い、拡張階層＃２の動き情報と、拡張階層＃２の復号信号とを生成する。拡張階層＃２データ復号部１５は、拡張階層＃２の符号化信号と、拡張階層＃２の動き情報と、拡張階層＃２の復号信号とを、復号信号記憶部２０に記憶させる。
なお、拡張階層＃２データ復号部１５によって生成される拡張階層＃２の復号信号は、再生用信号となる。
すなわち、ステップＳ１７における判定の結果、拡張階層＃２の符号化パケットがロスしていない場合、基本階層データ復号部１３、拡張階層＃１データ復号部１４及び拡張階層＃２データ復号部１５は、次の手順で処理を行う。
まず、基本階層データ復号部１３は、符号化パケット記憶部１９から基本階層の符号化データを保有した符号化パケットを読み込む。基本階層データ復号部１３は、読み込んだ符号化パケットから基本階層の符号化信号を取り出し、復号処理を行い、基本階層の動き情報と、基本階層の復号信号とを生成する。基本階層データ復号部１３は、基本階層の符号化信号と、基本階層の動き情報と、基本階層の復号信号とを、復号信号記憶部２０に記憶させる。
次に、拡張階層＃１データ復号部１４は、符号化パケット記憶部１９から拡張階層＃１の符号化信号を保有した符号化パケットを読み込む。拡張階層＃１データ復号部１４は、読み込んだ符号化パケットから拡張階層＃１の符号化信号を取り出し、復号処理を行い、拡張階層＃１の動き情報と、拡張階層＃１の復号信号とを生成する。拡張階層＃１データ復号部１４は、拡張階層＃１の符号化信号と、拡張階層＃１の動き情報と、拡張階層＃１の復号信号とを、復号信号記憶部２０に記憶させる。
次に、拡張階層＃２データ復号部１５は、符号化パケット記憶部１９から拡張階層＃２の符号化信号を保有した符号化パケットを読み込む。拡張階層＃２データ復号部１５は、読み込んだ符号化パケットから拡張階層＃２の符号化信号を取り出し、復号処理を行い、拡張階層＃２の動き情報と、拡張階層＃２の復号信号とを生成する。拡張階層＃２データ復号部１５は、拡張階層＃２の符号化信号と、拡張階層＃２の動き情報と、拡張階層＃２の復号信号とを、復号信号記憶部２０に記憶させる。
なお、拡張階層＃２データ復号部１５によって生成される拡張階層＃２の復号信号は、再生用信号となる。
［エラー隠蔽処理部１６の動作］
次に、図３、図８を参照して、図１に示すエラー隠蔽処理部１６の詳細な動作について説明する。
まず、マクロブロック単位のループを開始する。
次に、図３、図８を参照して、図１に示すエラー隠蔽処理部１６の詳細な動作について説明する。
まず、マクロブロック単位のループを開始する。
ステップＳ１０１において、エラー隠蔽信号生成部１０２は、基本階層の動き情報と、基本階層の復号信号と、拡張階層＃１の動き情報と、拡張階層＃１の復号信号とを復号信号記憶部２０から読み込む。
読み込んだ動き情報と復号信号に基づいて、エラー隠蔽処理として、当該マクロブロックのエラー隠蔽信号を生成し、生成したエラー隠蔽信号を復号信号記憶部２０に書き出す。
エラー隠蔽信号生成処理ステップ（ステップＳ１０１）の詳細な動作は後述する［エラー隠蔽信号生成部１０２の動作］で説明する。
読み込んだ動き情報と復号信号に基づいて、エラー隠蔽処理として、当該マクロブロックのエラー隠蔽信号を生成し、生成したエラー隠蔽信号を復号信号記憶部２０に書き出す。
エラー隠蔽信号生成処理ステップ（ステップＳ１０１）の詳細な動作は後述する［エラー隠蔽信号生成部１０２の動作］で説明する。
全マクロブロック処理完了判定部１０１は、フレーム内の全てのマクロブロックについてエラー隠蔽処理が完了したか否かを判定する。
判定の結果、全マクロブロック処理完了判定部１０１は、全てのマクロブロックについてエラー隠蔽処理が終了していれば、ステップＳ１０２に処理を進める。エラー隠蔽処理が終了していなければ、全マクロブロック処理完了判定部１０１は、次のマクロブロックの処理を行うため、ステップＳ１０１に処理を戻す。
判定の結果、全マクロブロック処理完了判定部１０１は、全てのマクロブロックについてエラー隠蔽処理が終了していれば、ステップＳ１０２に処理を進める。エラー隠蔽処理が終了していなければ、全マクロブロック処理完了判定部１０１は、次のマクロブロックの処理を行うため、ステップＳ１０１に処理を戻す。
再生用信号生成部１０３は、エラー隠蔽信号に基づいて所定時刻に対応付けられた再生用信号を生成する（ステップＳ１０２、再生用信号生成ステップ）。
すなわち、ステップＳ１０２において、再生用信号生成部１０３は、全てのマクロブロックについて処理が終了した時点で、フレームの各マクロブロックにおけるエラー隠蔽信号を復号信号記憶部２０から読み込む。再生用信号生成部１０３は、読み込んだエラー隠蔽信号にポストフィルタ処理を実行する。
さらに、再生用信号生成部１０３は、ポストフィルタ処理後の信号を当該時刻の当該フレームの再生用信号として生成し、生成した再生用信号を再生用信号記憶部２１に記憶させる。
すなわち、ステップＳ１０２において、再生用信号生成部１０３は、全てのマクロブロックについて処理が終了した時点で、フレームの各マクロブロックにおけるエラー隠蔽信号を復号信号記憶部２０から読み込む。再生用信号生成部１０３は、読み込んだエラー隠蔽信号にポストフィルタ処理を実行する。
さらに、再生用信号生成部１０３は、ポストフィルタ処理後の信号を当該時刻の当該フレームの再生用信号として生成し、生成した再生用信号を再生用信号記憶部２１に記憶させる。
［エラー隠蔽信号生成部１０２の動作］
次に、図４、図８を参照して、図３に示すエラー隠蔽信号生成部１０２の詳細な動作について説明する。
次に、図４、図８を参照して、図３に示すエラー隠蔽信号生成部１０２の詳細な動作について説明する。
図４に示すステップＳ２０１（復号解像度変換エラー隠蔽信号生成ステップ）において下位階層対応ブロック復号信号拡大部２０１は、エラー隠蔽信号として、復号可能階層に対応付けられ、かつ所定時刻に対応付けられている復号信号を解像度変換した、解像度変換後の復号信号を生成する。
すなわち、ステップＳ２０１において、まず、下位階層対応ブロック復号信号拡大部２０１は、下位階層対応ブロックの復号信号を復号信号記憶部２０から読み込む。下位階層対応ブロック復号信号拡大部２０１は、あらかじめ定められた復号信号拡大手法により、復号信号を拡張階層＃２と拡張階層＃１の解像度比に応じて解像度変換する。下位階層対応ブロック復号信号拡大部２０１は、解像度変換した復号信号に対して必要に応じて有効画素値へのクリッピング処理を行う。
さらに、下位階層対応ブロック復号信号拡大部２０１は、解像度変換した復号信号を出力として復号信号記憶部２０に記憶させる。
すなわち、ステップＳ２０１において、まず、下位階層対応ブロック復号信号拡大部２０１は、下位階層対応ブロックの復号信号を復号信号記憶部２０から読み込む。下位階層対応ブロック復号信号拡大部２０１は、あらかじめ定められた復号信号拡大手法により、復号信号を拡張階層＃２と拡張階層＃１の解像度比に応じて解像度変換する。下位階層対応ブロック復号信号拡大部２０１は、解像度変換した復号信号に対して必要に応じて有効画素値へのクリッピング処理を行う。
さらに、下位階層対応ブロック復号信号拡大部２０１は、解像度変換した復号信号を出力として復号信号記憶部２０に記憶させる。
本実施形態においては、拡張階層＃２と拡張階層＃１との縦横解像度比が２：１であるため、下位階層対応ブロック復号信号拡大部２０１は、縦横それぞれ２倍に拡大した復号信号を出力する。
ここで、復号信号拡大手法の例としては、ＳＶＣにおいて階層間予測に利用するアップサンプルフィルタをはじめとする線形フィルタによる拡大手法や、超解像度手法などが挙げられる。
また、クリッピング処理とは、解像度変換後の信号が有効画素値の範囲を超える場合に、解像度変換後の信号のうち、有効画素範囲を超えた部分を切り取り、有効画素値の範囲内に収める処理のことである。
ここで、復号信号拡大手法の例としては、ＳＶＣにおいて階層間予測に利用するアップサンプルフィルタをはじめとする線形フィルタによる拡大手法や、超解像度手法などが挙げられる。
また、クリッピング処理とは、解像度変換後の信号が有効画素値の範囲を超える場合に、解像度変換後の信号のうち、有効画素範囲を超えた部分を切り取り、有効画素値の範囲内に収める処理のことである。
次に、エラー隠蔽信号生成手順切換え部２０３は、ステップＳ２０８（動き合成エラー隠蔽信号生成ステップ）と、ステップＳ２０１と、のうちからいずれかのステップによって処理するかを、復号可能階層に対応付けられ、かつ所定時刻に対応付けられている画像動き予測モードに応じて切換える（ステップＳ２０２、エラー隠蔽信号生成手順切換えステップ）。
すなわち、下位階層対応ブロック予測モード判定部２０２は、下位階層対応ブロックが保有する予測モードを復号信号記憶部２０から読み込み、予測モードに基づいて処理を選択する。
予測モードがイントラ予測モードである場合は、下位階層対応ブロック予測モード判定部２０２は、ステップＳ２０３に処理を進める。
一方、予測モードがインター予測モードである場合は、下位階層対応ブロック予測モード判定部２０２は、ステップＳ２０４に処理を進める。
すなわち、下位階層対応ブロック予測モード判定部２０２は、下位階層対応ブロックが保有する予測モードを復号信号記憶部２０から読み込み、予測モードに基づいて処理を選択する。
予測モードがイントラ予測モードである場合は、下位階層対応ブロック予測モード判定部２０２は、ステップＳ２０３に処理を進める。
一方、予測モードがインター予測モードである場合は、下位階層対応ブロック予測モード判定部２０２は、ステップＳ２０４に処理を進める。
ステップＳ２０２において、予測モードがイントラ予測モードと判定された場合、エラー隠蔽信号生成手順切換え部２０３は、ステップＳ２０１によって生成された解像度変換後の復号信号を復号信号記憶部２０から読み込み、エラー隠蔽信号として復号信号記憶部２０に記憶させる（ステップＳ２０３）。
次に、下位階層対応ブロック残差信号拡大部２０４は、下位階層対応ブロックの予測残差信号を解像度変換する（ステップＳ２０４）。
すなわち、画像動き予測に基づいた予測残差信号であって、復号可能階層に対応付けられ、かつ所定時刻に対応付けられている予測残差信号を、解像度変換した解像度変換後の予測残差信号、を生成する（予測残差信号解像度変換ステップ）。
具体的には、ステップＳ２０２において、予測モードがインター予測モードと判定された場合、まず、下位階層対応ブロック残差信号拡大部２０４は、下位階層対応ブロックに対応付けられた予測残差信号を復号信号記憶部２０から読み込む。下位階層対応ブロック残差信号拡大部２０４は、あらかじめ定められた予測残差信号拡大手法により、予測残差信号を拡張階層＃２と拡張階層＃１の解像度比に応じて解像度変換する。
さらに、下位階層対応ブロック残差信号拡大部２０４は、解像度変換した予測残差信号を復号信号記憶部２０に記憶させる。
すなわち、画像動き予測に基づいた予測残差信号であって、復号可能階層に対応付けられ、かつ所定時刻に対応付けられている予測残差信号を、解像度変換した解像度変換後の予測残差信号、を生成する（予測残差信号解像度変換ステップ）。
具体的には、ステップＳ２０２において、予測モードがインター予測モードと判定された場合、まず、下位階層対応ブロック残差信号拡大部２０４は、下位階層対応ブロックに対応付けられた予測残差信号を復号信号記憶部２０から読み込む。下位階層対応ブロック残差信号拡大部２０４は、あらかじめ定められた予測残差信号拡大手法により、予測残差信号を拡張階層＃２と拡張階層＃１の解像度比に応じて解像度変換する。
さらに、下位階層対応ブロック残差信号拡大部２０４は、解像度変換した予測残差信号を復号信号記憶部２０に記憶させる。
本実施形態においては、拡張階層＃２と拡張階層＃１との縦横解像度比が２：１であるため、下位階層対応ブロック残差信号拡大部２０４は、縦横それぞれ２倍に拡大した予測残差信号を出力する。
予測残差信号拡大手法の例としては、ＳＶＣにおいて階層間予測に利用するアップサンプルフィルタをはじめとする線形フィルタによる拡大手法や、超解像度手法などが挙げられる。
予測残差信号拡大手法の例としては、ＳＶＣにおいて階層間予測に利用するアップサンプルフィルタをはじめとする線形フィルタによる拡大手法や、超解像度手法などが挙げられる。
ステップＳ２０５（動き情報解像度変換ステップ）において、下位階層対応ブロック動き情報スケーリング部２０５は、解像度変換後の動き情報を生成する。
ここで、解像度変換後の動き情報とは、所定時刻に対応付けられた再生用信号の生成に用いられる動き情報であって、エラー隠蔽信号が生成される対象の階層である再生階層よりも下位の階層である復号可能階層に対応付けられ、かつ所定時刻に対応付けられた動き情報を、再生階層と復号可能階層との解像度比に基づいて解像度変換した、解像度変換後の動き情報である。
ここで、解像度変換後の動き情報とは、所定時刻に対応付けられた再生用信号の生成に用いられる動き情報であって、エラー隠蔽信号が生成される対象の階層である再生階層よりも下位の階層である復号可能階層に対応付けられ、かつ所定時刻に対応付けられた動き情報を、再生階層と復号可能階層との解像度比に基づいて解像度変換した、解像度変換後の動き情報である。
すなわち、ステップＳ２０５において、まず、下位階層対応ブロック動き情報スケーリング部２０５は、下位階層対応ブロックに対応付けられた動き情報を復号信号記憶部２０から読み込む。下位階層対応ブロック動き情報スケーリング部２０５は、あらかじめ定められた動き情報のスケーリング方法により、動き情報を拡張階層＃１と拡張階層＃２との解像度比に応じて解像度変換する。
さらに、下位階層対応ブロック動き情報スケーリング部２０５は、解像度変換した動き情報を復号信号記憶部２０に記憶させる。
さらに、下位階層対応ブロック動き情報スケーリング部２０５は、解像度変換した動き情報を復号信号記憶部２０に記憶させる。
次に、補正ベクトル算出部２０６は、解像度変換後の動き情報を補正する情報である、補正動き情報を算出する（ステップＳ２０６、補正動き情報算出ステップ）。
すなわち、補正ベクトル算出部２０６は、図３に示す参照フレームＦ１２に対応する再生用信号を再生用信号記憶部２１から読み込み、さらに、下位階層対応ブロックの復号信号の拡大信号、予測残差信号の拡大信号、解像度変換した動きベクトル、及びその他補正に必要となる所定の情報を復号信号記憶部２０から読み込む。補正ベクトル算出部２０６は、読み込んだ再生用信号、下位階層対応ブロックの復号信号の拡大信号、予測残差信号の拡大信号、解像度変換した動きベクトル、及びその他補正に必要となる所定の情報に基づいて、解像度変換した動きベクトルを補正する補正ベクトルを求める。
さらに、補正ベクトル算出部２０６は、求めた補正ベクトルを復号信号記憶部２０に記憶させる。
補正ベクトル算出ステップＳ２０６の詳細な動作は、後述する［補正ベクトル算出部２０６の動作］で説明する。
すなわち、補正ベクトル算出部２０６は、図３に示す参照フレームＦ１２に対応する再生用信号を再生用信号記憶部２１から読み込み、さらに、下位階層対応ブロックの復号信号の拡大信号、予測残差信号の拡大信号、解像度変換した動きベクトル、及びその他補正に必要となる所定の情報を復号信号記憶部２０から読み込む。補正ベクトル算出部２０６は、読み込んだ再生用信号、下位階層対応ブロックの復号信号の拡大信号、予測残差信号の拡大信号、解像度変換した動きベクトル、及びその他補正に必要となる所定の情報に基づいて、解像度変換した動きベクトルを補正する補正ベクトルを求める。
さらに、補正ベクトル算出部２０６は、求めた補正ベクトルを復号信号記憶部２０に記憶させる。
補正ベクトル算出ステップＳ２０６の詳細な動作は、後述する［補正ベクトル算出部２０６の動作］で説明する。
ステップＳ２０７（動き補償信号生成ステップ）において、動き補償部２０７は、再生階層に対応付けられている動き補償信号であって、解像度変換後の動き情報を補正動き情報によって補正した補正後の動き情報に基づいた動き補償信号、を生成する。
すなわち、ステップＳ２０７（動き補償信号生成ステップ）において、動き補償部２０７は、解像度変換後の動き情報と、補正ベクトルとを復号信号記憶部２０から読み込む。
次に、動き補償部２０７は、読み込んだ解像度変換後の動き情報と、補正ベクトルに基づいて動き補償を行い、動き補償によって得られた動き補償信号を復号信号記憶部２０に記憶させる。
次に、動き補償部２０７は、読み込んだ解像度変換後の動き情報と、補正ベクトルに基づいて動き補償を行い、動き補償によって得られた動き補償信号を復号信号記憶部２０に記憶させる。
ステップＳ２０８において、信号加算部２０８は、動き補償信号と解像度変換後の予測残差信号とに基づいて、エラー隠蔽信号を生成する。
すなわち、ステップＳ２０８において、信号加算部２０８は、動き補償部２０７における動き補償によって得られた信号と、下位階層対応ブロック残差信号拡大部２０４によって出力された予測残差信号の拡大信号を復号信号記憶部２０から読み込む。信号加算部２０８は、これら動き補償によって得られた信号と予測残差信号の拡大信号とを加算合成した信号を生成する。
さらに、信号加算部２０８は、必要に応じて有効画素値範囲へのクリッピング処理を行い、生成された信号を復号信号記憶部２０に記憶させる。
さらに、信号加算部２０８は、必要に応じて有効画素値範囲へのクリッピング処理を行い、生成された信号を復号信号記憶部２０に記憶させる。
次に、エラー隠蔽信号生成手順切換え部２０３は、信号加算部２０８によって生成された信号を復号信号記憶部２０から読み込み、エラー隠蔽信号として復号信号記憶部２０に記憶させる（ステップＳ２０９）。
［補正ベクトル算出部２０６の動作］
次に、図３、図８、図９を参照して、図３に示す各マクロブロックにおける、図４に示す補正ベクトル算出部２０６の詳細な動作について説明する。
次に、図３、図８、図９を参照して、図３に示す各マクロブロックにおける、図４に示す補正ベクトル算出部２０６の詳細な動作について説明する。
下位階層対応ブロック予測残差信号絶対値和算出部３０１は、下位階層対応ブロックが保有する予測残差信号を復号信号記憶部２０から読み込む。
次に、下位階層対応ブロック予測残差信号絶対値和算出部３０１は、下位階層対応ブロックの各画素における予測残差信号の絶対値を求め、それら予測残差信号のＳＡＤを下位階層対応ブロックにおけるＳＡＤとして求める。
次に、下位階層対応ブロック予測残差信号絶対値和算出部３０１は、求めたＳＡＤを出力として復号信号記憶部２０に記憶させる（ステップＳ３０１）。
次に、下位階層対応ブロック予測残差信号絶対値和算出部３０１は、下位階層対応ブロックの各画素における予測残差信号の絶対値を求め、それら予測残差信号のＳＡＤを下位階層対応ブロックにおけるＳＡＤとして求める。
次に、下位階層対応ブロック予測残差信号絶対値和算出部３０１は、求めたＳＡＤを出力として復号信号記憶部２０に記憶させる（ステップＳ３０１）。
階層解像度比算出部３０２は、再生階層の解像度と復号可能階層の解像度を復号信号記憶部２０から読み込み、両者の縦横の比を算出し、その値を縦横解像度比として復号信号記憶部２０に記憶させる（ステップＳ３０２）。
下位階層対応ブロック動きベクトルノルム算出部３０３は、下位階層対応ブロックが保有する動きベクトルを読み込む。
次に、下位階層対応ブロック動きベクトルノルム算出部３０３は、その動きベクトルに基づいて、動きベクトルのノルムを計算し、その値を出力として復号信号記憶部２０に記憶させる（ステップＳ３０３）。
次に、下位階層対応ブロック動きベクトルノルム算出部３０３は、その動きベクトルに基づいて、動きベクトルのノルムを計算し、その値を出力として復号信号記憶部２０に記憶させる（ステップＳ３０３）。
ステップＳ３０４（探索座標範囲決定ステップ）において、補正ベクトル探索範囲決定部３０４は、探索中心座標と、探索座標範囲と、コスト関数とに基づいてブロックマッチング結果座標を算出するブロックマッチングにおける探索座標範囲として、動き情報、予測残差信号、又は解像度比に基づいたブロックマッチング探索座標範囲、を決定する
すなわち、ステップＳ３０４（探索座標範囲決定ステップ）において、補正ベクトル探索範囲決定部３０４は、予測残差信号のＳＡＤの値と、再生階層と復号可能階層の縦横解像度比と、下位階層対応ブロックの動きベクトルノルムとを復号信号記憶部２０から読み込む。補正ベクトル探索範囲決定部３０４は、探索範囲決定のためのしきい値群を復号信号記憶部２０から読み込む。
さらに、補正ベクトル探索範囲決定部３０４は、補正ベクトルの探索のための探索範囲を決定し、その探索範囲を出力として復号信号記憶部２０に記憶させる。
すなわち、ステップＳ３０４（探索座標範囲決定ステップ）において、補正ベクトル探索範囲決定部３０４は、予測残差信号のＳＡＤの値と、再生階層と復号可能階層の縦横解像度比と、下位階層対応ブロックの動きベクトルノルムとを復号信号記憶部２０から読み込む。補正ベクトル探索範囲決定部３０４は、探索範囲決定のためのしきい値群を復号信号記憶部２０から読み込む。
さらに、補正ベクトル探索範囲決定部３０４は、補正ベクトルの探索のための探索範囲を決定し、その探索範囲を出力として復号信号記憶部２０に記憶させる。
ステップＳ３０５（補正動き情報探索ステップ）において、補正ベクトル探索部３０５（補正動き情報決定部）は、解像度変換後の動き情報によって指定されるブロックマッチング探索中心座標を探索中心座標とし、ブロックマッチング探索座標範囲を探索座標範囲とするブロックマッチングの結果、コスト関数の値が最小となる座標をブロックマッチング結果座標として探索する。
すなわち、ステップＳ３０５（補正動き情報探索ステップ）において、ブロックマッチングを行って補正ベクトルを算出する。
すなわち、ステップＳ３０５（補正動き情報探索ステップ）において、ブロックマッチングを行って補正ベクトルを算出する。
つまり、補正ベクトル探索部３０５は、復号信号を拡大した信号と、予測残差信号を拡大した信号と、解像度変換した動きベクトルと、探索範囲とを復号信号記憶部２０から読み出す。
次に、補正ベクトル探索部３０５（補正動き情報決定部）は、復号信号記憶部２０から読み出した、復号信号を拡大した信号と、予測残差信号を拡大した信号と、解像度変換した動きベクトルと、探索範囲に基づいてブロックマッチングを実行し、ブロックマッチング結果座標を決定する。
次に、補正ベクトル探索部３０５（補正動き情報決定部）は、復号信号記憶部２０から読み出した、復号信号を拡大した信号と、予測残差信号を拡大した信号と、解像度変換した動きベクトルと、探索範囲に基づいてブロックマッチングを実行し、ブロックマッチング結果座標を決定する。
ステップＳ３０６（補正動き情報決定ステップ）において、補正ベクトル決定部３０６は、ブロックマッチング結果座標とブロックマッチング探索中心座標との差を補正動き情報とする。
すなわち、ステップＳ３０６（補正動き情報決定ステップ）において、補正ベクトル決定部３０６は、ブロックマッチング結果座標と、ブロックマッチング探索中心座標との差に基づいて、補正ベクトルを決定する。
次に、補正ベクトル決定部３０６は、決定した補正ベクトルを復号信号記憶部２０に記憶させる。
すなわち、ステップＳ３０６（補正動き情報決定ステップ）において、補正ベクトル決定部３０６は、ブロックマッチング結果座標と、ブロックマッチング探索中心座標との差に基づいて、補正ベクトルを決定する。
次に、補正ベクトル決定部３０６は、決定した補正ベクトルを復号信号記憶部２０に記憶させる。
なお、補正ベクトルの探索範囲決定ステップＳ３０４及びブロックマッチングによる補正ベクトル算出ステップＳ３０５の詳細な動作は、後述する［補正ベクトル探索範囲決定の動作］で説明する。
［補正ベクトル探索範囲決定の動作］
探索範囲の決定手順の一例を、以下に記す。
探索範囲の決定手順の一例を、以下に記す。
下位階層対応ブロックの動きベクトルのノルムｎとするとき、これを複数のレベルに分解する。ここでは、一例としてＭレベルに分解する場合、ＮM-1＞ＮM-2＞・・・＞Ｎ1 という関係性になるＭ−１個のしきい値Ｎm を用意する。そして、以下の（１）のように探索範囲ｓを定める。
ここで、探索範囲Ｓｍは、ノルムレベルｍにおいて、設定する探索範囲であり、あらかじめ外部モジュール等より与えられるものとする。α は、解像度比であり、図３の場合には、α＝１／２である。例えば、Ｍ＝２、Ｎ１＝０、Ｓ１＝０、Ｓ２＝１とすると、動きベクトルのノルムが０の場合は探索をせず、ノルムが０より大きい場合は±１／２画素の範囲で探索を行う設定となる。
動きベクトルのノルムの場合と同様に、下位階層対応ブロックの予測残差信号のＳＡＤの値をレベル分解し、探索範囲を決定することもできる。ＳＡＤの値をＤとし、ＤM-1＞ＤM-2＞・・・＞Ｄ1 となるＭ−１個のしきい値Ｄmを用意するとき、以下の（２）のように探索範囲ｓを定める。
復号信号記憶部２０から下位階層対応ブロックの解像度変換した動きベクトル、下位階層対応ブロックの復号信号を拡大した信号、及び下位階層対応ブロックの予測残差信号を拡大した信号を読み込む。
さらに、補正ベクトル探索範囲決定部３０４によって出力した探索範囲の値を読み込む。
続いて、解像度変換した動きベクトルが指す座標位置を中心として、指定された探索範囲内にて、ブロックマッチングを行う。
さらに、補正ベクトル探索範囲決定部３０４によって出力した探索範囲の値を読み込む。
続いて、解像度変換した動きベクトルが指す座標位置を中心として、指定された探索範囲内にて、ブロックマッチングを行う。
探索位置のブロックの信号をｐ、下位階層対応ブロックの予測残差信号の拡大信号をｅ、下位階層対応ブロックの復号信号の拡大信号をｕとおくと、ブロックマッチングでは、次のように算出される。
この（３）式をコスト関数として設定し、各探索位置において計算し、ＳＡＤの値が最も小さくなる座標と探索中心との差分のベクトルを補正ベクトルとする。決定した補正ベクトルを、出力として復号信号記憶部２０に記憶させる。
以上説明したように、映像再生装置１は、階層構造を有する映像符号化データが入力される場合において、所定時刻の再生階層が再生したいタイミングに復号されていない場合には、映像再生装置１の記憶部１８に蓄積されている当該時刻より過去に受信した符号化パケットに含まれる符号化信号、復号信号や再生用信号、及び、受信された当該時刻の復号可能階層の符号化信号や復号信号などを用いて、当該時刻の再生用信号を生成する。映像再生装置１は、その生成信号を最終的な当該時刻の再生用信号として出力することができる。これにより映像再生装置１は、復号エラーが発生した場合でも、映像の品質の劣化を低減させることができる映像再生装置１を提供できる。
例えば、前述の探索範囲の決定処理は、下位階層対応ブロックの予測残差信号のＳＡＤ の値、所望階層と下位階層の縦横解像度比、下位階層対応ブロックの動きベクトルノルムに基づいて行われたが、探索範囲の決定に影響するパラメータはこれに限らない。
例えば、探索範囲の決定に影響するパラメータは、下位階層対応ブロックの予測モードの情報や、量子化パラメータ、画質推定値、下位階層対応ブロックが保有する動きベクトルが正しい動きを反映している度合いを示す信頼度の値などでもよい
また、探索範囲の決定に影響するパラメータは、当該マクロブロックに対して以前のエラーがどれだけ影響しているかを示すエラー累積値の値でもよい。例えば、当該フレームｔのエラー累積値をｚ（ｔ）とおき、当該フレームｔの参照フレームがフレームｔ−１であるとき、
フレームｔがエラーを含むとき：ｚ（ｔ）=ｚ（ｔ−１）＋１
フレームｔがエラーを含まず、Ｐフレーム又はＢフレームのとき：ｚ（ｔ）=ｚ（ｔ−１）
フレームｔがエラーを含まず、Ｉフレームのとき：ｚ（ｔ）=０
のように、エラー累積値を設定し、別途外部より与えるエラー累積値に対するしきい値の値に応じて、複数のレベルに分解し、探索範囲を決定してもよい。
さらに、これらのパラメータは単独で用いることもできるし、複数を組み合わせて用いることもできる。
また、探索範囲の決定に影響するパラメータは、当該マクロブロックに対して以前のエラーがどれだけ影響しているかを示すエラー累積値の値でもよい。例えば、当該フレームｔのエラー累積値をｚ（ｔ）とおき、当該フレームｔの参照フレームがフレームｔ−１であるとき、
フレームｔがエラーを含むとき：ｚ（ｔ）=ｚ（ｔ−１）＋１
フレームｔがエラーを含まず、Ｐフレーム又はＢフレームのとき：ｚ（ｔ）=ｚ（ｔ−１）
フレームｔがエラーを含まず、Ｉフレームのとき：ｚ（ｔ）=０
のように、エラー累積値を設定し、別途外部より与えるエラー累積値に対するしきい値の値に応じて、複数のレベルに分解し、探索範囲を決定してもよい。
さらに、これらのパラメータは単独で用いることもできるし、複数を組み合わせて用いることもできる。
また、前述の説明は、マクロブロック単位での処理の流れであったが、処理する単位はこれによらない。例えば、スライス単位、フレーム単位、複数フレームを束ねたＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）単位でも構わない。
また、前述は空間スケーラブル符号化の場合であったが、ＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）スケーラブル符号化や時間スケーラブル符号化の場合にも、応用可能である。
また、前述の例は、参照フレーム数が１枚であり、動き情報が片方向予測によって算出された例であったが、参照フレーム数が２枚以上の場合や、双方向予測の場合であっても、同様の手順によって、エラー隠蔽信号を生成することができる。
すなわち、当該マクロブロックにおける再生用信号の生成処理は、他のマクロブロックに依存せず個別に実施できる。
つまり、参照フレーム数が２枚以上の場合も、双方向予測の場合も、その都度、下位階層対応ブロックの動き情報が持つ参照インデックスからマクロブロックごとに参照先を同定し、動き情報の解像度変換とその情報の補正を行い、動き補償を実施し、エラー隠蔽信号を生成することができる。
つまり、参照フレーム数が２枚以上の場合も、双方向予測の場合も、その都度、下位階層対応ブロックの動き情報が持つ参照インデックスからマクロブロックごとに参照先を同定し、動き情報の解像度変換とその情報の補正を行い、動き補償を実施し、エラー隠蔽信号を生成することができる。
また、下位階層対応ブロック残差信号拡大部２０４と、下位階層対応ブロック動き情報スケーリング部２０５の接続は、順序を入れ替えてもよいし、並列して構成してもよい。
また、得られたエラー隠蔽信号をそのまま出力してもよいし、他の手法によって得られたエラー隠蔽信号と重みづけ平均をとってもよい。
例えば、下位階層対応ブロックが保有する予測モードがイントラ予測モードであれば、下位階層対応ブロック復号信号拡大部２０１から出力された信号をエラー隠蔽信号とする。
この信号は、下位階層対応ブロックが保有する予測モードがインター予測モードであったとしても、生成は可能である。
そこで、インター予測モードであった場合には、下位階層対応ブロック復号信号拡大部２０１から出力された信号と、信号加算部２０８から出力された信号との間で重みづけ平均をとり、その後の信号を当該マクロブロックのエラー隠蔽信号として出力してもよい。
この信号は、下位階層対応ブロックが保有する予測モードがインター予測モードであったとしても、生成は可能である。
そこで、インター予測モードであった場合には、下位階層対応ブロック復号信号拡大部２０１から出力された信号と、信号加算部２０８から出力された信号との間で重みづけ平均をとり、その後の信号を当該マクロブロックのエラー隠蔽信号として出力してもよい。
この場合、エラー隠蔽信号生成手順切換え部２０３（重みづけ平均信号生成部）は、復号可能階層と対応付けられて復号信号記憶部２０に記憶されている符号化信号と、復号可能階層と対応付けられて復号信号記憶部２０に記憶されている復号信号と、復号エラー検出前符号化信号と、復号エラー検出前復号信号と、復号エラー検出前再生用信号とに基づいて、信号加算部２０８によって生成されたエラー隠蔽信号と、下位階層対応ブロック復号信号拡大部２０１によって生成されたエラー隠蔽信号とを重みづけ平均して、エラー隠蔽信号を生成する。
すなわち、エラー隠蔽信号生成手順切換え部２０３は、下位階層対応ブロック予測モード判定部２０２によって生成された予測モード判定結果を復号信号記憶部２０から読み出す。エラー隠蔽信号生成手順切換え部２０３は、復号信号記憶部２０から読み出した予測モード判定結果がインター予測モードの場合には、信号加算部２０８によって予め生成された信号と、下位階層対応ブロック復号信号拡大部２０１によって予め生成された解像度変換した復号信号を復号信号記憶部２０から読み出す。エラー隠蔽信号生成手順切換え部２０３は、復号信号記憶部２０から読み出した、信号加算部２０８によって予め生成された信号と、下位階層対応ブロック復号信号拡大部２０１によって予め生成された解像度変換した復号信号との重みづけ平均を行ってエラー隠蔽信号を生成する。
さらに、エラー隠蔽信号生成手順切換え部２０３は、生成したエラー隠蔽信号として復号信号記憶部２０に記憶させる。
さらに、エラー隠蔽信号生成手順切換え部２０３は、生成したエラー隠蔽信号として復号信号記憶部２０に記憶させる。
また、この場合、ステップＳ２０９における処理は、エラー隠蔽信号生成手順切換え部２０３によって、重みづけ平均信号生成ステップとして実行される。
ステップＳ２０９（重みづけ平均信号生成ステップ）において、エラー隠蔽信号生成手順切換え部２０３は、復号可能階層に対応付けられ、かつ所定時刻に対応付けられている符号化信号と、復号可能階層に対応付けられ、かつ所定時刻に対応付けられている復号信号と、過去の符号化信号と、過去の復号信号と、過去の再生用信号とに基づいて、復号解像度変換エラー隠蔽信号生成ステップによって生成されたエラー隠蔽信号と、動き合成エラー隠蔽信号生成ステップによって生成されたエラー隠蔽信号と、を重みづけ平均してエラー隠蔽信号を生成する。
ステップＳ２０９（重みづけ平均信号生成ステップ）において、エラー隠蔽信号生成手順切換え部２０３は、復号可能階層に対応付けられ、かつ所定時刻に対応付けられている符号化信号と、復号可能階層に対応付けられ、かつ所定時刻に対応付けられている復号信号と、過去の符号化信号と、過去の復号信号と、過去の再生用信号とに基づいて、復号解像度変換エラー隠蔽信号生成ステップによって生成されたエラー隠蔽信号と、動き合成エラー隠蔽信号生成ステップによって生成されたエラー隠蔽信号と、を重みづけ平均してエラー隠蔽信号を生成する。
すなわち、ステップＳ２０９（重みづけ平均信号生成ステップ）においては、下位階層対応ブロック予測モード判定部２０２によって生成された予測モード判定結果を復号信号記憶部２０から読み出す。
次に、エラー隠蔽信号生成手順切換え部２０３は、復号信号記憶部２０から読み出した予測モード判定結果がインター予測モードの場合には、信号加算部２０８によって予め生成された信号と、下位階層対応ブロック復号信号拡大部２０１によって予め生成された解像度変換した復号信号を復号信号記憶部２０から読み出す。
次に、エラー隠蔽信号生成手順切換え部２０３は、復号信号記憶部２０から読み出した、信号加算部２０８によって予め生成された信号と、下位階層対応ブロック復号信号拡大部２０１によって予め生成された解像度変換した復号信号との重みづけ平均を行ってエラー隠蔽信号を生成する。
次に、エラー隠蔽信号生成手順切換え部２０３は、復号信号記憶部２０から読み出した予測モード判定結果がインター予測モードの場合には、信号加算部２０８によって予め生成された信号と、下位階層対応ブロック復号信号拡大部２０１によって予め生成された解像度変換した復号信号を復号信号記憶部２０から読み出す。
次に、エラー隠蔽信号生成手順切換え部２０３は、復号信号記憶部２０から読み出した、信号加算部２０８によって予め生成された信号と、下位階層対応ブロック復号信号拡大部２０１によって予め生成された解像度変換した復号信号との重みづけ平均を行ってエラー隠蔽信号を生成する。
なお、コスト関数は（３）式に限られるものではなく、（４）式に示すコスト関数や、Boundary Matching Algorithmに基づくコスト式などが考えられる。絶対値和ではなく、二乗誤差の和であってもよい。
また、特定の画素位置のコストについてはあらかじめオフセットを加えてもよい。例えば、中心となる解像度変換したベクトルが指す座標位置のみ、負のオフセット（offset＜０）を加え、（５）式としてもよい。これにより、確率的に解像度変換したベクトルが指す座標位置が最良となる可能性が高い場合には、補正ベクトルによってズレが発生して性能が低下することを抑止できる。
なお、この映像再生装置１、又は、この映像再生装置１が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、この映像再生装置１、又は、この映像再生装置１が備える各部はメモリ及びＣＰＵ（中央演算装置）により構成され、映像再生装置１、又は、この映像再生装置１が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、図１における映像再生装置１、又は、この映像再生装置１が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、映像再生装置１、又は、この映像再生装置１が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１ 映像再生装置
１１ パケット受信部
１２ パケットロス検出部
１３ 基本階層データ復号部
１４ 拡張階層＃１データ復号部
１５ 拡張階層＃２データ復号部
１６ エラー隠蔽処理部
１７ エラー隠蔽処理部
１８ 記憶部
１９ 符号化パケット記憶部
２０ 復号信号記憶部
２１ 再生用信号記憶部
１０１ 全マクロブロック処理完了判定部
１０２ エラー隠蔽信号生成部
１０３ 再生用信号生成部
２０１ 下位階層対応ブロック復号信号拡大部
２０２ 下位階層対応ブロック予測モード判定部
２０３ エラー隠蔽信号生成手順切換え部
２０４ 下位階層対応ブロック残差信号拡大部
２０５ 下位階層対応ブロック動き情報スケーリング部
２０６ 補正ベクトル算出部
２０７ 動き補償部
２０８ 信号加算部
３０１ 下位階層対応ブロック予測残差信号絶対値和算出部
３０２ 階層解像度比算出部
３０３ 下位階層対応ブロック動きベクトルノルム算出部
３０４ 補正ベクトル探索範囲決定部
３０５ 補正ベクトル探索部
３０６ 補正ベクトル決定部
１１ パケット受信部
１２ パケットロス検出部
１３ 基本階層データ復号部
１４ 拡張階層＃１データ復号部
１５ 拡張階層＃２データ復号部
１６ エラー隠蔽処理部
１７ エラー隠蔽処理部
１８ 記憶部
１９ 符号化パケット記憶部
２０ 復号信号記憶部
２１ 再生用信号記憶部
１０１ 全マクロブロック処理完了判定部
１０２ エラー隠蔽信号生成部
１０３ 再生用信号生成部
２０１ 下位階層対応ブロック復号信号拡大部
２０２ 下位階層対応ブロック予測モード判定部
２０３ エラー隠蔽信号生成手順切換え部
２０４ 下位階層対応ブロック残差信号拡大部
２０５ 下位階層対応ブロック動き情報スケーリング部
２０６ 補正ベクトル算出部
２０７ 動き補償部
２０８ 信号加算部
３０１ 下位階層対応ブロック予測残差信号絶対値和算出部
３０２ 階層解像度比算出部
３０３ 下位階層対応ブロック動きベクトルノルム算出部
３０４ 補正ベクトル探索範囲決定部
３０５ 補正ベクトル探索部
３０６ 補正ベクトル決定部
Claims (9)
- 所定時刻に受信された符号化パケットであって、前記所定時刻に対応付けられて符号化パケット記憶部に記憶されている符号化パケットに基づいて、前記所定時刻に対応付けられた符号化信号を階層毎に生成するとともに、前記符号化信号に基づいて、前記所定時刻に対応付けられた復号信号を階層毎に生成する復号信号生成ステップと、
前記所定時刻よりも過去の時刻に対応付けられて復号信号記憶部に予め記憶されている過去の符号化信号と、前記過去の時刻に対応付けられて復号信号記憶部に予め記憶されている過去の復号信号と、前記過去の時刻に対応付けられて再生用信号記憶部に予め記憶されている過去の再生用信号と、を取得する信号取得ステップと、
前記所定時刻に対応付けられた符号化信号と、前記所定時刻に対応付けられている復号信号と、前記過去の符号化信号と、前記過去の復号信号と、前記過去の再生用信号と、に基づいて前記所定時刻に対応付けられたエラー隠蔽信号を生成するエラー隠蔽信号生成ステップと、
前記エラー隠蔽信号に基づいて前記所定時刻に対応付けられた再生用信号を生成する再生用信号生成ステップと、
を有し、
前記エラー隠蔽信号生成ステップには、
前記所定時刻に対応付けられた再生用信号の生成に用いられる動き情報であって、前記エラー隠蔽信号が生成される対象の階層である再生階層よりも下位の階層である復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられた動き情報を、前記再生階層と前記復号可能階層との解像度比に基づいて解像度変換した、解像度変換後の動き情報を生成する動き情報解像度変換ステップと、
前記解像度変換後の動き情報を補正する情報である、補正動き情報を算出する補正動き情報算出ステップと、
前記再生階層に対応付けられている動き補償信号であって、前記解像度変換後の動き情報を前記補正動き情報によって補正した補正後の動き情報に基づいた動き補償信号、を生成する動き補償信号生成ステップと、
画像動き予測に基づいた予測残差信号であって、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている予測残差信号を、前記解像度変換した解像度変換後の予測残差信号、を生成する予測残差信号解像度変換ステップと、
前記動き補償信号と前記解像度変換後の予測残差信号とに基づいて、前記エラー隠蔽信号を生成する動き合成エラー隠蔽信号生成ステップと、
が含められていることを特徴とする映像再生方法。 - 前記補正動き情報算出ステップには、
探索中心座標と、探索座標範囲と、コスト関数とに基づいてブロックマッチング結果座標を算出するブロックマッチングにおける探索座標範囲として、前記動き情報、前記予測残差信号、又は前記解像度比に基づいたブロックマッチング探索座標範囲、を決定する探索座標範囲決定ステップと、
前記解像度変換後の動き情報によって指定されるブロックマッチング探索中心座標を前記探索中心座標とし、前記ブロックマッチング探索座標範囲を前記探索座標範囲とする前記ブロックマッチングの結果、前記コスト関数の値が最小となる座標を前記ブロックマッチング結果座標として探索する補正動き情報探索ステップと、
前記ブロックマッチング結果座標と前記ブロックマッチング探索中心座標との差を前記補正動き情報として決定する補正動き情報決定ステップと、
が含められていることを特徴とする請求項１に記載の映像再生方法。 - 前記エラー隠蔽信号生成ステップには、更に、
エラー隠蔽信号として、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている復号信号を前記解像度変換した、解像度変換後の復号信号を生成する復号解像度変換エラー隠蔽信号生成ステップと、
前記動き合成エラー隠蔽信号生成ステップと、前記復号解像度変換エラー隠蔽信号生成ステップと、のうちからいずれかのステップによって処理するかを、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている画像動き予測モードに応じて切換えるエラー隠蔽信号生成手順切換えステップと、
が含められていることを特徴とする請求項１又は請求項２に記載の映像再生方法。 - 前記エラー隠蔽信号生成ステップには、更に
エラー隠蔽信号として、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている復号信号を前記解像度変換した、解像度変換後の復号信号を生成する復号解像度変換エラー隠蔽信号生成ステップと、
前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている符号化信号と、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている復号信号と、前記過去の符号化信号と、前記過去の復号信号と、前記過去の再生用信号とに基づいて、前記復号解像度変換エラー隠蔽信号生成ステップによって生成されたエラー隠蔽信号と、前記動き合成エラー隠蔽信号生成ステップによって生成されたエラー隠蔽信号と、を重みづけ平均して前記エラー隠蔽信号を生成する重みづけ平均信号生成ステップと、
が含められていることを特徴とする請求項１又は請求項２に記載の映像再生方法。 - 原画像情報を階層化した符号化信号、及び前記符号化信号を階層毎に復号した復号信号を、前記階層と対応付けて記憶している復号信号記憶部と、
前記符号化信号が再生時刻までに復号されない状態である復号エラーが発生した階層を再生階層として、前記復号エラーの発生を階層毎に検出する復号エラー検出部と、
生成された再生用信号を記憶している再生用信号記憶部と、
前記復号エラー検出部によって前記復号エラーの発生が検出された場合に、前記復号信号記憶部に記憶している符号化信号のうち、前記再生階層と異なる階層である復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号と、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている復号信号と、前記復号エラーの発生を検出する前に前記復号信号記憶部に記憶している符号化信号である復号エラー検出前符号化信号と、前記復号エラーの発生を検出する前に前記復号信号記憶部に記憶している復号信号である復号エラー検出前復号信号と、前記復号エラーの発生を検出する前に前記再生用信号記憶部に記憶している再生用信号である復号エラー検出前再生用信号と、に基づいて、前記再生階層と対応付けられたエラー隠蔽信号を生成するエラー隠蔽信号生成部と、
前記エラー隠蔽信号生成部によって生成されたエラー隠蔽信号に基づいて再生用信号を生成する再生用信号生成部と、
を備え、
前記エラー隠蔽信号生成部は、
前記再生用信号の生成に用いられる動き情報であって、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号に含まれる動き情報を、前記再生階層と前記復号可能階層との解像度比に基づいて、解像度変換動き情報に変換する、動き情報解像度変換部と、
前記解像度変換動き情報を補正する情報である、補正動き情報を算出する補正動き情報算出部と、
前記解像度変換動き情報を前記補正動き情報によって補正した補正後の動き情報に基づいて、前記再生階層に対応付けられた信号である動き補償信号を生成する動き補償信号生成部と、
前記再生用信号の生成に用いられる予測残差信号であって、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号に含まれる動き情報に基づいた予測残差信号を、前記解像度比に基づいて、解像度変換予測残差信号に変換する、予測残差信号解像度変換部と、
前記動き補償信号と前記解像度変換予測残差信号とに基づいて、前記エラー隠蔽信号を生成する動き合成エラー隠蔽信号生成部と、
を備えることを特徴とする映像再生装置。 - 前記補正動き情報算出部は、
探索中心座標と、探索座標範囲と、コスト関数とに基づいてブロックマッチング結果座標を算出するブロックマッチングにおける探索座標範囲として、前記動き情報、前記予測残差信号、又は前記解像度比に基づいたブロックマッチング探索座標範囲、を決定する探索座標範囲決定部と、
前記解像度変換動き情報によって指定されるブロックマッチング探索中心座標を前記探索中心座標とし、前記ブロックマッチング探索座標範囲を前記探索座標範囲とする前記ブロックマッチングの結果、前記コスト関数の値が最小となる座標を前記ブロックマッチング結果座標として探索する補正動き情報探索部と、
前記ブロックマッチング結果座標と前記ブロックマッチング探索中心座標との差を前記補正動き情報として決定する補正動き情報決定部と、
を備えることを特徴とする請求項５に記載の映像再生装置。 - 前記エラー隠蔽信号生成部は、
前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている復号信号を前記解像度比に基づいて解像度変換した信号を、エラー隠蔽信号として生成する復号解像度変換エラー隠蔽信号生成部と、
前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号に含まれる動き予測モードに基づいて、前記動き合成エラー隠蔽信号生成部と、前記復号解像度変換エラー隠蔽信号生成部と、のうちからいずれかを、エラー隠蔽信号生成部として選択するエラー隠蔽信号生成手順切換え部と、
を備えることを特徴とする請求項５又は請求項６に記載の映像再生装置。 - 前記エラー隠蔽信号生成部は、
前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている復号信号を前記解像度比に基づいて解像度変換した信号を、エラー隠蔽信号として生成する復号解像度変換エラー隠蔽信号生成部と、
前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号と、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている復号信号と、前記復号エラー検出前符号化信号と、前記復号エラー検出前復号信号と、前記復号エラー検出前再生用信号とに基づいて、前記動き合成エラー隠蔽信号生成部によって生成されたエラー隠蔽信号と、前記復号解像度変換エラー隠蔽信号生成部によって生成されたエラー隠蔽信号とを重みづけ平均して、前記エラー隠蔽信号を生成する重みづけ平均信号生成部と、
を備えることを特徴とする請求項５又は請求項６に記載の映像再生装置。 - 請求項１から請求項４のうちいずれか１項に記載の映像再生方法を、コンピュータに実行させるための映像再生プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011105149A JP5681557B2 (ja) | 2011-05-10 | 2011-05-10 | 映像再生方法、映像再生装置、及び映像再生プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011105149A JP5681557B2 (ja) | 2011-05-10 | 2011-05-10 | 映像再生方法、映像再生装置、及び映像再生プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012238947A JP2012238947A (ja) | 2012-12-06 |
| JP5681557B2 true JP5681557B2 (ja) | 2015-03-11 |
Family
ID=47461492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011105149A Expired - Fee Related JP5681557B2 (ja) | 2011-05-10 | 2011-05-10 | 映像再生方法、映像再生装置、及び映像再生プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5681557B2 (ja) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101421936B (zh) * | 2006-03-03 | 2016-09-21 | 维德约股份有限公司 | 用于在可缩放视频通信中提供差错弹性、随机接入和率控制的系统和方法 |
| JP2009260519A (ja) * | 2008-04-15 | 2009-11-05 | Panasonic Corp | 画像復号化装置、画像復号化集積回路、画像復号化方法および画像復号化プログラム |
-
2011
- 2011-05-10 JP JP2011105149A patent/JP5681557B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012238947A (ja) | 2012-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5373626B2 (ja) | 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法 | |
| JP2019115060A (ja) | 符号化装置、符号化方法、復号装置、復号方法、及びプログラム | |
| US8311106B2 (en) | Method of encoding and decoding motion picture frames | |
| CA2723910C (en) | Method and system for determining a metric for comparing image blocks in motion compensated video coding | |
| WO2007087619A2 (en) | Projection based techniques and apparatus that generate motion vectors used for video stabilization and encoding | |
| US20080095239A1 (en) | Method for video frame rate conversion | |
| JP6961115B2 (ja) | 画像復号装置、画像復号方法及びプログラム | |
| JP5115519B2 (ja) | 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム | |
| US8139151B2 (en) | Moving image processing apparatus, control method thereof, and program | |
| KR20050025568A (ko) | 프레임의 오류 은닉 장치 및 방법 | |
| JP5547622B2 (ja) | 映像再生方法、映像再生装置、映像再生プログラム及び記録媒体 | |
| US8139643B2 (en) | Motion estimation apparatus and method for moving picture coding | |
| JP5681557B2 (ja) | 映像再生方法、映像再生装置、及び映像再生プログラム | |
| JP5972687B2 (ja) | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム | |
| JP2001016595A (ja) | 動画像符号化装置および復号装置 | |
| JP4624308B2 (ja) | 動画像復号装置及び動画像復号方法 | |
| JP5281597B2 (ja) | 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム | |
| JP2008508787A (ja) | インター符号化系列向けのエラー隠蔽技術 | |
| JP2012120108A (ja) | 補間画像生成装置及びプログラム、並びに、動画像復号装置及びプログラム | |
| JP2006311603A (ja) | 動画像符号化方法と装置及び動画像復号化方法と装置 | |
| JP6071618B2 (ja) | 画像処理装置及びプログラム | |
| KR100229794B1 (ko) | 움직임 벡터 정보에 대한 오류 복원기능을 갖는영상복호화기 | |
| JP2007067664A (ja) | 復号化装置及び復号化方法 | |
| JP2008283302A (ja) | 動画像処理装置及び動画像処理方法 | |
| JP2006262198A (ja) | 動画圧縮符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130606 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130726 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130815 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140603 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5681557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |