JPWO2006112139A1 - 動画像再生装置 - Google Patents

動画像再生装置 Download PDF

Info

Publication number
JPWO2006112139A1
JPWO2006112139A1 JP2007521104A JP2007521104A JPWO2006112139A1 JP WO2006112139 A1 JPWO2006112139 A1 JP WO2006112139A1 JP 2007521104 A JP2007521104 A JP 2007521104A JP 2007521104 A JP2007521104 A JP 2007521104A JP WO2006112139 A1 JPWO2006112139 A1 JP WO2006112139A1
Authority
JP
Japan
Prior art keywords
frame
image
decoded
decoding
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007521104A
Other languages
English (en)
Other versions
JP4642075B2 (ja
Inventor
山本　智幸
智幸 山本
高橋　真毅
真毅 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2006112139A1 publication Critical patent/JPWO2006112139A1/ja
Application granted granted Critical
Publication of JP4642075B2 publication Critical patent/JP4642075B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

異常検出手段により検出された異常が所定の異常である場合（Ｓ４でＮＯ）、リスト修正手段が記憶手段に記憶されている参照画像としての復号後フレームにアクセス可能とするための参照リストを修正し（Ｓ７）、フレーム復号手段は、ｎ番目のフレームが他のフレームを使用して復号されるフレームである場合、ｎ番目のフレームのヘッダ情報に基づいて、ｎ番目のフレームの復号時における参照リストによりアクセスできる記憶手段に記憶されている参照画像としての復号後フレームを使用して、ｎ番目のフレームを復号する（Ｓ５）。

Description

本発明は、符号化データ誤り耐性を備えた動画像再生装置に関する。
ＭＰＥＧ等の符号化データを復号する動画像再生装置において、符号化データの欠落などへの耐性を備えた従来技術として特開平０６−０９８３１３号公報（特許文献１）の技術があげられる。当該技術では、伝送中における符号化データの欠落やビット誤りの発生が原因で画像の復号処理に異常が発生した場合、復号済みの画像を用いて復号処理に異常が発生した部分の画像を補間する。以下では、当該技術を用いた動画像再生装置の構成と動作について説明する。
当該技術を用いた動画像再生装置のブロック図を図９に示している。図９において、動画像再生装置は符号化データを復号してヘッダ情報を生成するヘッダ復号部５１、符号化データとヘッダ情報および参照画像を用いて画像を再構成する画像復号部５２、ヘッダ情報を用いて画像の欠落を検出する画像欠落検出部５７、画像の欠落が検出された場合に、欠落した画像を生成する画像修正部５５、復号された画像を保持し所定のタイミングで外部の表示装置（図示せず）にて表示する画像メモリ５６を備えている。
当該技術においてヘッダ情報とは、動画像を符号化する際に画像単位で付加されたパラメータの集合である。ヘッダ情報には符号化データから画像を復号するために必要な情報が含まれる。ヘッダ情報に含まれるパラメータの例として、フレーム番号や画像サイズ、量子化パラメータなどがある。フレーム番号は当該技術において欠落画像を検出するために用いられるパラメータであり、画像の復号順に一定値ずつ増加する特徴を持つ。
上記特徴により２つの画像それぞれに対応するフレーム番号間の差分を調べることで、２つの画像の間に存在するべき画像の数が分かる。以下では、フレーム番号が数字Ｎである画像のことをフレームＮと呼ぶこととする。
次に、当該技術を用いて符号化された動画像を復号する手順を図１０に示している。図９、図１０を参照しながら、当該技術を説明する。以下ではフレームＭ、フレームＮ（Ｍ、Ｎはいずれも正の整数値であり、Ｍ＜Ｎである。）を動画像再生装置に続けて入力される２つの画像として、動画像再生装置でフレームＮを復号する際の手順を説明する。この場合、フレームＭは既に画像が復号化された状態である。
ステップ（以下、Ｓと称す）５１では、ヘッダ復号部５１は符号化データからヘッダ情報を復号する。続くＳ５２では、画像欠落検出部５７はフレーム番号Ｎとその前に入力され復号したフレーム番号Ｍとの差数を調べる。Ｎ−Ｍ＝１ならばフレームＭ〜Ｎ間の画像が欠落していないと判定し、Ｓ５４に進む。Ｎ−Ｍ＝１でないときはフレームＭ〜Ｎ間の画像が欠落していると判定し、Ｓ５３に進む。Ｓ５３では、画像修正部５５は画像メモリ５６内に記憶されている画像の中で、最も遅く表示される画像の複製を取り、その複製した画像をフレームＭ〜Ｎ間の欠落した画像として代替することで欠落したフレームＭ〜Ｎ間の画像を補間する。
Ｓ５４では、画像復号部５２はヘッダ復号部５１が復号したヘッダ情報に基づいて符号化データから予測残差データや動きベクトルを復号する。そして、予測残差データと動きベクトルと画像メモリ５６内の画像を用いてフレームＮを復号してＳ５５に進む。Ｓ５５では、Ｓ５４で復号したフレームＮを画像メモリ５６に追加して記録させ、所定のタイミングで外部の表示装置（図示せず）に表示させる。
なお、一般的な動画像符号化方式では、符号化対象である画像の部分領域と似た予測画像を復号済領域または参照画像から作成する。そして、前記部分領域と予測画像の差分を予測残差データとして符号化する。参照画像から予測画像を作成する際に、画像を分割した各領域の動きを推定した動きベクトルを利用する方法は動き補償と呼ばれる。また、表示順が符号化対象画像に対して未来と過去それぞれの参照画像を用いて予測画像を生成する手法は両方向予測と呼ばれる。
以上説明したように、従来の動画像再生装置では、復号しようとしている当該画像のフレーム番号と復号しようとしている当該画像の直前に復号された画像のフレーム番号が連続か否かを判定することで画像の欠落を検出する。そして、画像の欠落を検出した場合には画像メモリ５６内に記憶されている画像の中で、最も遅く表示される画像の複製を取り、その複製した画像をフレーム間の欠落した画像として代替することで欠落したフレーム間の画像を補間する。その後に続く画像を復号する場合に欠落した画像が参照画像として必要になったとしても、補間した画像を代替できる。したがって、画像の欠落による参照画像の不足が原因で復号処理が破綻することなく動画像を再生できる。
特開平０６−０９８３１３号公報
上述の従来技術では続けて復号される２つの画像のフレーム番号を調べることで復号中の異常を検出する。しかしながら、続けて復号される２つの画像のフレーム番号が不連続であることで検出される異常が必ずしも符号化データの欠落による画像欠落であるとは限らない。伝送エラーによって符号化データにビット誤りが混入してフレーム番号が本来とは異なる値として復号される復号誤りが発生する場合にもフレーム番号は不連続となる。ところが、従来の動画像再生装置ではフレーム番号の復号誤りが生じた場合でも画像が欠落したと判定し、欠落した画像を画像メモリ内の参照画像を用いて補間する。ここで、以下に示す２つの問題が発生し、再生画像の品質が低下する原因となる。
第一の問題は、画像の表示順の決定にフレーム番号が使われる場合に、画像が本来と異なるタイミングで表示されることである。一例として、フレーム１〜２０から構成される動画像の符号化データにエラーが混入し、復号誤りが生じてフレーム１０がフレーム１００として復号される場合を考える。ここで、画像の表示順と復号順は同じとする。
ビット誤りが混入した符号化データを従来の動画像再生装置に入力した場合、まずフレーム１〜９が本来のタイミングで表示される。次に動画像再生装置はフレーム１０を復号するが、復号誤りによりその画像がフレーム１００であると判定する。そして、フレーム１０〜９９が欠落したと判定し、欠落した画像を画像メモリ５６内に記憶されている画像の中で、最も遅く表示される画像から複製して画像メモリ５６内に記憶し、順次表示されていく。そして、フレーム１０〜９９をすべて表示した後にフレーム１００を表示する。つまり、本来１０番目に表示されるはずであった画像が１００番目に表示される。さらに、復号誤りが生じたフレーム１０に続くフレーム１１〜２０もそれぞれ１０１〜１２０番目に表示される。
第二の問題は、復号誤りが生じた画像に続く画像を復号する際に、復号に必要な参照画像が画像メモリに存在しないことである。この問題が生じるのは、動き補償に複数枚の参照画像を利用可能な符号化方式を用いて符号化された動画像を再生する場合である。この問題について図１１を用いて詳しく説明する。
まず図１１（ａ）は、ビット誤りや欠落がない符号化データを復号する際の動画像再生装置が正常に動作している状態を表している。ここで、画像メモリには４枚の画像を記録可能であるものとする。また、画像の復号には当該画像の直前に復号された４枚の画像が参照画像として利用されるものとする。つまり、図１１（ａ）においてフレーム６の復号に画像メモリ内のフレーム２〜５が用いられる。
図１１（ｂ）は、図１１（ａ）のフレーム６が復号誤りによりフレーム８として復号される場合の動画像再生装置の状態を表している。フレーム８を復号するためにはフレーム４〜７が必要であるが、図１１（ｂ）の状態では画像メモリ内にフレーム６、７が存在しない。そこで従来の動画像再生装置では、図１１（ｃ）に示すようにフレーム２、３を表示して画像メモリから削除し、フレーム５からフレーム６、７を作成してフレーム２、３に代わって画像メモリに追加して記憶させる。画像メモリが図１１（ｃ）の状態であればフレーム８は復号可能になる。
次に、図１１（ｃ）の状態でフレーム８を復号して画像メモリに追加するとフレーム４が表示されて図１１（ｄ）の状態になる。図１１（ｄ）の状態で次に復号する画像はフレーム７である。本来ならばフレーム７の復号時には図１１（ｅ）に示すように、フレーム３〜６が必要である。しかし、図１１（ｄ）の状態でフレーム３、４は画像メモリから出力され表示済みの状態にあり、画像メモリ内に存在しない。したがって、フレーム７の復号品質が大幅に低下することとなる。
以上で説明したように、フレーム番号に復号誤りが生じた場合、従来の動画像再生装置では復号された画像が本来とは異なる順序で表示される問題と、復号誤りが発生した画像に続く画像を復号する際に参照画像の一部が画像メモリに存在しない問題が生じて再生される動画像の品質が低下する課題があった。
本発明は、係る実情に鑑み考え出されたものであり、その目的は、画像の欠落を検出するために用いるフレーム番号に復号誤りが生じた場合でも、画像を本来の表示順で表示可能とし、また、画像復号に必要な参照画像の一部が画像メモリに存在しない場合でも、良好な品質の画像を再生可能とした符号化データ誤り耐性を備えた動画像再生装置を提供することである。
上述の課題を解決するために、この発明のある局面に従うと、複数のフレームから構成される動画像の符号化データを復号して動画像を再生する動画像再生装置であって、複数のフレームの各々のヘッダ情報を、符号化データから順次復号するヘッダ情報復号手段と、複数のフレームを順次復号するためのフレーム復号手段と、フレーム復号手段により復号される復号後フレームを所定数順次記憶可能な記憶手段と、ヘッダ情報復号手段により復号された、ｎ（２以上の自然数）番目のフレームのヘッダ情報を含む少なくとも２つのヘッダ情報に基づいて、フレームに関する異常があるか否かを検出する異常検出手段と、記憶手段に記憶されている１以上の復号後フレームの各々のヘッダ情報と、１以上の復号後フレームの各々の格納アドレスとを関連付けることで、フレーム復号手段が記憶手段に記憶されている参照画像としての復号後フレームにアクセス可能とするための参照リストを生成するリスト生成手段と、異常検出手段により検出された異常が所定の異常である場合、参照リストを修正するリスト修正手段とを備え、フレーム復号手段は、ｎ番目のフレームが他のフレームを使用して復号されるフレームである場合、ｎ番目のフレームのヘッダ情報に基づいて、ｎ番目のフレームの復号時における参照リストによりアクセスできる記憶手段に記憶されている参照画像としての復号後フレームを使用して、ｎ番目のフレームを復号する。
好ましくは、複数のフレームの順序は、フレーム復号手段に復号される順序となっている。
好ましくは、ヘッダ情報は、フレームを特定するためのフレーム番号を含み、リスト生成手段は、記憶手段に記憶されている１以上の復号後フレームの各々のフレーム番号と、１以上の復号後フレームの各々の格納アドレスとを関連付けることで、フレーム復号手段が記憶手段に記憶されている参照画像としての復号後フレームにアクセス可能とするための参照リストを生成する。
好ましくは、ヘッダ情報は、フレームを特定するためのフレーム番号を含み、所定の異常は、フレーム復号手段がｎ番目のフレームを復号する場合にフレーム復号手段に使用される参照画像としての復号後フレームが記憶手段に記憶されていないという異常であり、リスト修正手段は、異常検出手段により検出された異常が所定の異常である場合、参照画像としての復号後フレームのフレーム番号と、記憶手段に記憶されている１以上の復号後フレームのうち、表示のために最も遅く使用されるフレームの格納アドレスとを関連付けることで、参照リストを修正する。
好ましくは、ヘッダ情報は、フレームを特定するためのフレーム番号を含み、所定の異常は、フレーム復号手段がｎ番目のフレームを復号する場合にフレーム復号手段に使用される参照画像としての復号後フレームが記憶手段に記憶されていないという異常であり、リスト修正手段は、異常検出手段により検出された異常が所定の異常である場合、参照画像としての復号後フレームのフレーム番号と、記憶手段に記憶されている１以上の復号後フレームのうち、表示のために使用される順番が参照画像としての復号後フレームに最も近いフレームの格納アドレスとを関連付けることで、参照リストを修正する。
好ましくは、ヘッダ情報は、フレームを特定するためのフレーム番号を含み、異常検出手段は、前記ｎ番目のフレームを含む連続する少なくとも３つのフレームにそれぞれ対応する３つのフレーム番号に基づいて、フレームの欠落があるか否かを判定し、異常検出手段によりフレームの欠落があると判定された場合、記憶手段に記憶されており、フレーム復号手段に使用される参照画像としての１以上の復号後フレームのうち、表示のために最も遅く使用されるフレームを複製することで、欠落したフレームを補間する補間手段をさらに備える。
好ましくは、ヘッダ情報は、フレームを特定するためのフレーム番号を含み、異常検出手段は、ｎ番目のフレームを含む連続する少なくとも３つのフレームにそれぞれ対応する３つのフレーム番号に基づいて、フレームの欠落があるか否かを判定し、補間手段は、異常検出手段により、フレームの欠落があると判定された場合、記憶手段に記憶されており、フレーム復号手段に使用される参照画像としての１以上の復号後フレームのうち、表示のために使用される順番が欠落したフレームに最も近いフレームを複製することで、欠落したフレームを補間する。
好ましくは、ヘッダ情報は、フレームを特定するためのフレーム番号を含み、異常検出手段は、ｎ番目のフレームを含む連続する少なくとも３つのフレームにそれぞれ対応する３つのフレーム番号に基づいて、３つのフレームのうち、記憶手段に記憶されており、かつ、フレーム番号の誤りが生じている復号後フレームがあるか否かを判定する。
好ましくは、異常検出手段によりフレーム番号の誤りが生じている復号後フレームがあると判定された場合、フレーム番号の誤りが生じている復号後フレームのフレーム番号を、３つのフレームのうち、誤りのないフレームのフレーム番号に基づいて修正する番号修正手段をさらに備える。
好ましくは、ヘッダ情報は、フレームを特定するためのフレーム番号を含み、複数のフレームは、フレーム復号手段により参照画像として使用される複数の参照フレームを含み、異常検出手段は、フレーム復号手段により復号されるｎ番目のフレームに対応するフレーム番号と、フレーム復号手段により復号される（ｎ−１）番目のフレームに対応するフレーム番号と、フレーム復号手段により復号された複数の参照フレームのうちｎ番目のフレームに２番目に近い参照フレームに対応するフレーム番号とに基づいて、フレームに関する異常があるか否かを検出する。
好ましくは、異常検出手段により検出された異常は、フレーム復号手段がｎ番目のフレームを復号する場合にフレーム復号手段に使用される参照画像としての復号後フレームが記憶手段に記憶されていないという異常であり、リスト修正手段は、参照画像としての復号後フレームが記憶手段に記憶されていないという異常がある場合、参照画像としての復号後フレームのフレーム番号と、記憶手段に記憶されている１以上の復号後フレームのうち、表示のために最も遅く使用されるフレームの格納アドレスとを関連付けることで、参照リストを修正する。
好ましくは、異常検出手段により検出された異常は、フレームの欠落があるという異常であり、異常検出手段によりフレームの欠落があると判定された場合、記憶手段に記憶されており、フレーム復号手段に使用される参照画像としての１以上の復号後フレームのうち、表示のために最も遅く使用されるフレームを複製することで、欠落したフレームを補間する補間手段をさらに備える。
好ましくは、異常検出手段により検出された異常は、フレーム番号の誤りが生じている復号後フレームがあるという異常であり、フレーム番号の誤りが生じている復号後フレームがある場合、フレーム番号の誤りが生じている復号後フレームのフレーム番号を、ｎ番目のフレーム、（ｎ−１）番目のフレームおよびｎ番目のフレームに２番目に近い参照フレームのうち、誤りのないフレームのフレーム番号に基づいて修正する番号修正手段をさらに備える。
本発明の動画像再生装置では、画像の欠落を検出するために用いるフレーム番号に復号誤りが生じた場合でも、画像を本来の表示順で表示可能である。また、画像復号に必要な参照画像の一部が画像メモリに存在しないため画像品質が低下する問題が生じず、良好な品質の画像を再生可能である。
第１および第２の実施形態における動画像再生装置のブロック構成図である。 第１および第２の実施形態における復号異常検出部のブロック構成図である。 第１および第２の実施形態における参照画像リスト生成部のブロック構成図である。 第１の実施形態における動画像再生装置の動作フローチャートである。 本発明における参照画像リスト修正方法の説明図である。 両方向予測画像が存在する場合の本発明における参照画像リスト修正方法の説明図である。 第２の実施形態の説明に用いる記号の定義説明図である。 第２の実施形態における動画像再生装置の動作フローチャートである。 従来技術における動画像再生装置のブロック構成図である。 従来技術における動画像再生装置の動作フローチャートである。 従来技術における課題の説明図である。
符号の説明
１ ヘッダ復号部、２ 画像復号部、３ 復号異常検出部、４ 参照画像リスト生成部、５ 画像修正部、６ 画像メモリ、８ フレーム番号保持部、９ 保持フレーム番号更新部、１０ 画像欠落可能性有無検出部、１１ 画像欠落判定部、１２ 復号誤り判定部、１３ 参照画像リスト、１４ 参照画像格納アドレス取得部、１５ 参照画像リスト構築部、１６ 参照画像リスト修正部、５７ 画像欠落検出部。
［第１の実施形態］
以下、本発明の第１の実施形態における動画像再生装置について説明する。なお、以下の説明では、動画像再生装置にフレームＬ、Ｍ、Ｎが順に入力されるものとし、復号しようとしている当該画像をフレームＮとする。動画像再生装置により再生される動画像は、複数のフレームから構成される。
本実施形態における動画像再生装置１０００を図１に示している。図１において、第１の実施形態における動画像再生装置１０００は、符号化データを復号してヘッダ情報を生成するヘッダ復号部１と、符号化データとヘッダ情報および参照画像を用いて画像を再構成する画像復号部２と、フレームＬ、Ｍ、Ｎのそれぞれに対応する３つのフレーム番号を保持し、保持する３つのフレーム番号に基づいて、フレームＬ〜Ｍ間の画像欠落の有無、フレームＭ〜Ｎ間の画像が欠落している可能性の有無、フレームＭのフレーム番号への復号誤り発生の有無を検出する復号異常検出部３と、画像の欠落が検出された場合に、欠落した画像を生成する画像修正部５と、復号された画像を保持し所定のタイミングで外部の表示装置（図示せず）にて表示する画像メモリ６と、画像復号部２が画像メモリ６の参照画像にアクセス可能とするためのリストである参照画像リストを生成し、その参照画像リストを保持する参照画像リスト生成部４とを備えている。
具体的には、ヘッダ復号部１は、複数のフレームの各々のヘッダ情報を、符号化データから順次復号する。画像復号部２は、複数のフレームを順次復号する。画像メモリ６は、画像復号部２により復号される復号済フレームを所定数（たとえば、４つ）順次記憶可能なメモリである。
復号異常検出部３は、フレームＮ（ｎ番目のフレーム）を含む連続する少なくとも３つのフレームにそれぞれ対応する３つのフレーム番号に基づいて、フレームの欠落があるか否かを判定する。また、復号異常検出部３は、画像復号部２がフレームＮ（ｎ番目のフレーム）を復号する場合に画像復号部２に使用される参照画像としての復号済フレームが画像メモリ６に記憶されているか否かを判定する。また、復号異常検出部３は、フレームＮ（ｎ番目のフレーム）を含む連続する少なくとも３つのフレームにそれぞれ対応する３つのフレーム番号に基づいて、３つのフレームのうち、画像メモリ６に記憶されており、かつ、フレーム番号の狂い（誤り）が生じている復号済フレームがあるか否かを判定する。
参照画像リスト生成部４は、画像メモリ６に記憶されている１以上の復号済フレームの各々のフレーム番号と、１以上の復号済フレームの各々の格納アドレスとを関連付けることで、画像復号部２が画像メモリ６に記憶されている参照画像としての復号済フレームにアクセス可能とするための参照画像リストを生成する。
また、画像復号部２は、フレームＮ（ｎ番目のフレーム）が他のフレームを使用して復号されるフレームである場合、フレームＮのヘッダ情報に基づいて、フレームＮの復号時における参照画像リストによりアクセスできる画像メモリ６に記憶されている参照画像としての復号済フレームを使用して、フレームＮを復号する。なお、フレームＮのヘッダ情報には、符号化データから画像を復号するために必要な情報（フレームＮを復号するための参照画像のフレーム番号等）が含まれる。
次に本実施形態における動画像再生装置１０００の特徴的な構成要素である復号異常検出部３および参照画像リスト生成部４について詳しく説明する。
復号異常検出部３のブロック図を図２に示している。図２に示すように復号異常検出部３は、フレームＬ〜Ｎのフレーム番号を保持するフレーム番号保持部８と、保持フレーム番号更新部９と、保持されているフレーム番号に基づきフレームＭ〜Ｎ間の画像の欠落している可能性の有無を検出する画像欠落可能性有無検出部１０と、フレームＬ〜Ｍ間の画像欠落の有無を判定する画像欠落判定部１１と、フレームＭのフレーム番号への復号誤り発生の有無を判定する復号誤り判定部１２とから構成されている。
参照画像リスト生成部４のブロック図を図３に示している。図３に示すように参照画像リスト生成部４は、参照画像のフレーム番号と画像メモリ６における当該参照画像の格納アドレスとを関連付けるリストである参照画像リスト１３と、フレーム番号を入力として対応する参照画像の画像メモリ６における格納アドレスを出力する参照画像格納アドレス取得部１４と、画像メモリ６内に存在する各参照画像に対応するフレーム番号と該参照画像の画像メモリにおける格納アドレスとを関連付けることで参照画像リスト１３を構築する参照画像リスト構築部１５と、画像欠落の可能性が有るとの検出結果が入力された場合に参照画像リスト１３を修正する参照画像リスト修正部１６とから構成されている。
次に本実施形態における動画像再生装置の動作について、図４に基づいて説明する。本実施形態では、復号異常検出部３はフレームＬ〜Ｍ間の画像欠落の有無、フレームＭ〜Ｎ間の画像が欠落している可能性の有無、フレームＭのフレーム番号への復号誤り発生の有無の判定に基づいて以下に示す、その１〜その４の４つの場合を検出する。
・その１は、Ｎ−Ｍ＝１で、かつ、Ｍ−Ｌ＝１の場合であり、フレームＬ〜Ｎ間の画像欠落もフレームＭのフレーム番号の復号誤り発生も無いと判定する場合である。
・その２は、Ｎ−Ｍが１以外で、かつＭ−Ｌ＝１の場合であり、フレームＭ〜Ｎ間の画像が欠落している可能性が有ると判定する場合である。
・その３は、Ｎ−Ｌが２以外で、かつ、Ｍ−Ｌが１以外の場合であり、フレームＬ〜Ｍ間の画像が欠落していると判定する場合である。
・その４は、Ｎ−Ｌ＝２で、かつ、Ｍ−Ｌが１以外の場合であり、フレームＭのフレーム番号に復号誤りが生じていると判定する場合である。
復号異常検出部３の検出結果に応じて本実施形態における動画像再生装置の動作は異なる。以下では、復号異常検出部３の各検出結果に対応する動作について処理の流れを図４を参照しながら説明する。
その１の場合、Ｓ１でヘッダ復号部１は入力された符号化データからヘッダ情報を復号する。その後、Ｓ２に進み、復号異常検出部３はフレームＬ〜Ｍ間の画像が欠落している可能性の有無を判定するため、Ｍ−Ｌを演算する。その１の場合は、Ｍ−Ｌ＝１なのでＹＥＳとなり、フレームＬ〜フレームＭにおいて画像が欠落している可能性またはフレームＭにおけるフレーム番号の復号誤りが生じている可能性はいずれも無いと判定してＳ３に進み、画像の欠落の有無を検出する処理（Ｓ８）は行なわない。Ｓ３では、参照画像リスト生成部４は画像メモリ６を調べて参照画像リストを生成し、Ｓ４に進む。Ｓ４では、復号異常検出部３はフレームＭ〜Ｎ間の画像が欠落している可能性の有無を判定するため、Ｎ−Ｍを演算する。その１の場合は、Ｎ−Ｍ＝１なのでＹＥＳとなり、画像が欠落している可能性は無いと判定してＳ５に進む。Ｓ５では、画像復号部２はフレームＮを復号し、Ｓ６に進む。Ｓ６では、復号されたフレームＮは画像メモリ６に保存され、所定のタイミングで外部の表示装置（図示せず）にて表示される。
その２の場合は、Ｓ１でヘッダ復号部１は入力された符号化データからヘッダ情報を復号する。その後、Ｓ２に進み、復号異常検出部３はフレームＬ〜Ｍ間の画像が欠落している可能性の有無を判定するため、Ｍ−Ｌを演算する。その２の場合は、Ｍ−Ｌ＝１なのでＹＥＳとなり、フレームＬ〜フレームＭにおいて画像が欠落している可能性またはフレームＭにおけるフレーム番号の復号誤りが生じている可能性はいずれも無いと判定してＳ３に進み、画像の欠落の有無を検出する処理（Ｓ８）は行なわない。Ｓ３では、参照画像リスト生成部４は画像メモリ６を調べて参照画像リストを生成し、Ｓ４に進む。Ｓ４では、復号異常検出部３はフレームＭ〜Ｎ間の画像が欠落している可能性の有無を判定するため、Ｎ−Ｍを演算する。その２の場合は、Ｎ−Ｍが１以外なのでＮＯとなり、画像が欠落している可能性が有ると判定してＳ７に進む。Ｓ７では、参照画像リスト生成部４が参照画像リスト１３を修正し、Ｓ５に進む。参照画像リスト１３の修正方法については後述する。Ｓ５では、画像復号部２はフレームＮを復号し、Ｓ６に進む。Ｓ６では、復号されたフレームＮは画像メモリ６に保存され、所定のタイミングで外部の表示装置（図示せず）にて表示される。
その３の場合は、Ｓ１でヘッダ復号部１は入力された符号化データからヘッダ情報を復号する。その後、Ｓ２に進み、復号異常検出部３はフレームＬ〜Ｍ間の画像が欠落している可能性の有無を判定するため、Ｍ−Ｌを演算する。その３の場合は、Ｍ−Ｌが１以外なのでＮＯとなり、フレームＬ〜フレームＭにおいて画像が欠落している可能性またはフレームＭにおけるフレーム番号の復号誤りが生じている可能性のいずれかが有ると判定してＳ８に進む。Ｓ８では、復号異常検出部３が、フレームＬ〜Ｍ間の画像の欠落の有無を判定するために、Ｎ−Ｌを演算する。その３の場合は、Ｎ−Ｌが２以外なのでＮＯとなり、フレームＬ〜Ｍ間の画像の欠落が有ると判定して、その旨を画像修正部５に通知し、Ｓ１０に進む。Ｓ１０では、画像修正部５は画像メモリ６内に記憶されている画像の中で、最も遅く表示される画像の複製を取り、その複製した画像をフレームＬ〜Ｍ間の欠落した画像として代替することで欠落したフレームＬ〜Ｍ間の画像を補間し、Ｓ３に進む。
なお、Ｓ１０では、画像修正部５は画像メモリ６内に記憶されている画像の中で、表示のために使用される順番が欠落した画像に最も近い画像の複製を取り、その複製した画像をフレームＬ〜Ｍ間の欠落した画像として代替することで欠落したフレームＬ〜Ｍ間の画像を補間してもよい。
Ｓ３では、参照画像リスト生成部４は画像メモリ６を調べて参照画像リストを生成し、Ｓ４に進む。Ｓ４では、復号異常検出部３はフレームＭ〜Ｎ間の画像が欠落している可能性の有無を判定するため、Ｎ−Ｍを演算する。Ｎ−Ｍ＝１の場合はＹＥＳとなり、画像が欠落している可能性は無いと判定してＳ５に進む。Ｎ−Ｍが１以外の場合はＮＯとなり、画像が欠落している可能性が有ると判定してＳ７に進む。Ｓ７では、参照画像リスト生成部４が参照画像リスト１３を修正し、Ｓ５に進む。参照画像リスト１３の修正方法については後述する。Ｓ５では、画像復号部２はフレームＮを復号し、Ｓ６に進む。Ｓ６では、復号されたフレームＮは画像メモリ６に保存され、所定のタイミングで外部の表示装置（図示せず）にて表示される。
その４の場合は、Ｓ１でヘッダ復号部１は入力された符号化データからヘッダ情報を復号する。その後、Ｓ２に進み、復号異常検出部３はフレームＬ〜Ｍ間の画像が欠落している可能性の有無を判定するため、Ｍ−Ｌを演算する。その４の場合は、Ｍ−Ｌが１以外なのでＮＯとなり、フレームＬ〜フレームＭにおいて画像が欠落している可能性またはフレームＭにおけるフレーム番号の復号誤りが生じている可能性のいずれかが有ると判定してＳ８に進む。Ｓ８では、フレームＬ〜Ｍ間の画像の欠落の有無を判定するために、Ｎ−Ｌを演算する。その４の場合は、Ｎ−Ｌ＝２なのでＹＥＳとなり、フレームＬ〜Ｍ間の画像の欠落は無く、フレームＭにおけるフレーム番号の復号誤りが生じていると判定して、その旨を画像修正部５に通知し、Ｓ９に進む。
Ｓ９では、画像修正部５は画像メモリ６内のフレームＭのフレーム番号をＮ−１に変更し、Ｓ３に進む。このフレーム番号の修正は、また後述するように、例えば、図５（ｅ）に示すように画像メモリ６内にあるフレーム８のフレーム番号を６に修正することである。Ｓ３では、参照画像リスト生成部４は画像メモリ６を調べて参照画像リストを生成し、Ｓ４に進む。Ｓ４では、復号異常検出部３はフレームＭ〜Ｎ間の画像が欠落している可能性の有無を判定するため、Ｎ−Ｍを演算する。Ｓ９で、画像修正部５が画像メモリ６内のフレームＭのフレーム番号をＮ−１に変更したので、Ｎ−Ｍ＝１となっているため、Ｓ４でＹＥＳとなり、画像が欠落している可能性は無いと判定してＳ５に進む。Ｓ５では、画像復号部２はフレームＮを復号し、Ｓ６に進む。Ｓ６では、復号されたフレームＮは画像メモリ６に保存され、所定のタイミングで外部の表示装置（図示せず）にて表示される。
次に、図４のＳ７における参照画像リスト生成部４による参照画像リスト１３の修正方法について詳しく説明する。参照画像リスト１３の修正は以下の手順で行なう。
（１）フレームＮの復号に必要な参照画像のフレーム番号を推定する。画像メモリ６には４枚の画像を記録可能であり、画像の復号には当該画像の直前に復号された４枚の画像が参照画像として利用されるものとするならば、たとえば、図５の（ａ）に示すように、フレーム６の復号には、フレーム２、３、４、５が必要ということになる。
（２）フレームＮの復号に必要な参照画像のうち、画像メモリ６内に存在する画像に関しては、参照画像リスト１３にその画像のフレーム番号とその画像の画像メモリ６における格納アドレスを対応付けて記録する。
（３）フレームＮの復号に必要な参照画像のうち、画像メモリ６内に存在しない画像に関しては、参照画像リスト１３にその画像のフレーム番号と、画像メモリ６内に記憶されている画像の中で最も遅く表示される画像の画像メモリ６における格納アドレスを対応付けて記録することにより参照画像リスト１３を修正する。
例として、図５を用いて参照画像リスト１３の修正方法を説明する。まず、図５（ａ）は画像欠落や復号誤りが生じていない状況においてフレーム６復号時の画像メモリ６と参照画像リスト１３の状態を表している。以下の説明において、画像メモリ６に記録できる画像の数を４とする。また、フレームＮの復号にはフレームＮの直前に復号した４枚の画像を参照画像として用いるものとする。例えば図５（ａ）の状態ではフレーム６の復号に、画像メモリ６内のフレーム２〜５が利用される。
次に図５（ｂ）は図４のＳ４においてＮ−Ｍが１以外を検出した時点での画像メモリ６と参照画像リスト１３の状態を表している。この状態ではフレーム８の復号に必要なフレーム４〜７のうちフレーム６、７が画像メモリ６内に存在しない。そこで参照画像リスト１３においてフレーム６、７のフレーム番号を表示が最も遅い参照画像であるフレーム５の格納アドレスに対応付けることにより参照画像リスト１３を修正する。参照画像リスト１３を修正後の画像メモリ６と参照画像リスト１３の状態は図５（ｃ）に示すようになる。
なお、上述した参照画像リスト１３の修正処理（図４のＳ７）において、参照画像として使用される画像が画像メモリに無い場合の代替画像として画像メモリ６内に記憶されている画像の中で、最も遅く表示される画像を参照画像として用いたが、画像メモリに無いと判定された参照画像が画像メモリにあると仮定した場合の当該参照画像の表示順に最も近い画像を参照画像として用いても構わない。
具体的には、参照画像リスト生成部４は、参照画像として使用される画像が画像メモリに記憶されていない場合、参照画像としての使用される画像（フレーム）のフレーム番号と、画像メモリ６に記憶されている１以上の復号済フレームのうち、表示のために使用される順番が前記参照画像としての復号済フレームに最も近いフレームの格納アドレスとを関連付けることで、参照画像リスト１３を修正する。
復号された順で表示される場合には、「表示が最も遅い参照画像」は「一番遅く復号された参照画像、言い換えれば、最も新しく復号された参照画像」であり、「画像メモリに無いと判定された参照画像が画像メモリにあると仮定した場合の当該参照画像の表示順に最も近い画像」は「画像メモリに無いと判定された参照画像が画像メモリにあると仮定した場合の当該参照画像の復号順に最も近い画像」となるはずである。しかし、通常と異なり、復号順と表示順が一致しない場合はそうとはならない。そこで、画像メモリに無いと判定された参照画像が画像メモリにあると仮定した場合の当該参照画像の表示順に最も近い画像を利用することで、復号順と表示順が一致しない場合でも良好な再生画像が得られる。
例えば図６に示すような両方向予測画像が存在し復号順と表示順とが一致しない符号化データを考える。図６においてフレーム４が欠落したとする。この時点で画像メモリに存在する表示が最も遅い画像はフレーム２であり、欠落したフレーム４に表示順が最も近い画像はフレーム３である。このような場合にフレーム３をフレーム４の代替として用いる方がフレーム２をフレーム４の代替として用いる場合に比べて良好な再生動画像が得られる。
次に、図４のＳ１０における欠落画像の補間方法について説明する。この場合、図５（ｄ）に示すように、Ｌ、ＭおよびＮは、それぞれ、５、８および９であるとする。Ｓ１０では不足しているＭ−Ｌ−１枚の画像を表示が最も遅い参照画像から複製して画像メモリ６へ追加する。例えば図５（ｃ）の状態でフレーム８を復号し、次の復号画像がフレーム９であったとする。フレーム９の復号開始時点で画像メモリにはフレーム３〜５、８があり、そこからフレーム３、４を表示し、フレーム６、７をフレーム５から複製することで図５（ｄ）の状態になる。図５（ｄ）の状態ではフレーム９が復号可能である。
なお、Ｓ１０における欠落画像を補間する方法としては前述した画像メモリ６内の表示が最も遅い参照画像を複製する方法ではなく、該当欠落画像に表示順が最も近い画像メモリ内の参照画像を複製する方法を用いても構わない。
また図４のＳ９における画像メモリに記録されている、今復号しようとしているフレームＮの直前に復号されたフレームＭの復号画像のフレーム番号が狂っていると判定された場合に、当該フレーム番号をＮ−１に修正するのは、例えば、図５（ｅ）に示すように画像メモリ６内にあるフレーム８のフレーム番号を６（＝Ｎ−１＝７−１）に修正することである。このように狂いがないフレーム番号に基づいて、当該狂いであると判定されたフレーム番号を修正する。本実施の形態では、狂いがないフレーム番号としてフレームＮの「Ｎ」を用いて、当該狂いであると判定された、フレームＮの直前に復号されたフレームＭのフレーム番号を「Ｎ−１」に修正する。このフレーム番号の修正は、復号誤りが生じたフレーム６を本来の順序およびタイミングで表示するために必要である。
以上の動作により、本実施形態における動画像再生装置ではフレーム番号の復号誤りが生じた場合でも画像が正しいタイミングで表示されない問題や、画像復号に必要な参照画像の一部が画像メモリに存在しないため画像品質が低下する問題が生じず、良好な品質の画像を再生可能である。
上記効果を確認するために、［発明が解決しようとする課題］欄で記載した、従来技術において問題の生じる符号化データの例を図４の動画像再生装置の動作フローチャートに適用して、本当に課題が解決されたかを確認する。この従来技術において問題の生じる符号化データの例とはフレーム１〜２０から構成される動画像の符号化データにエラーが混入し、復号誤りが生じてフレーム１０がフレーム１００として復号される場合であり、画像の表示順と復号順は同じとするものであった。
今、フレーム１からフレーム９までが正常に復号されて、次にフレーム１０が伝送エラーによって符号化データにビット誤りが混入してフレーム１００として復号されようとしている場合である。この場合、動画像再生装置に入力される順はフレームＬ＝８、Ｍ＝９、Ｎ＝１００の順ということになる。図４のＳ２では、Ｍ−Ｌ＝１であるから、Ｓ３を経由して、Ｓ４に進む。Ｓ４では、Ｎ−Ｍ＝９１となり、１以外であるから、ＮＯとなり、フレーム９〜１００間の画像が欠落している可能性が有ると判定してＳ７に進み、参照画像リストが修正される。なお、この場合は、上述した「その２の場合」に相当する。
「図４のＳ７における参照画像リスト生成部４による参照画像リスト１３の修正方法」について詳しく説明したように、この場合は、
（１）画像メモリ６には４枚の画像を記録可能であり、画像の復号には当該画像の直前に復号された４枚の画像が参照画像として利用されるものとするならば、フレーム１００の復号に必要な参照画像のフレーム番号として、フレーム９６〜フレーム９９が必要ということになる。
（２）フレーム１００の復号に必要な参照画像（フレーム９６〜フレーム９９）はいずれも画像メモリ６内に存在しないので、参照画像リスト１３にその画像のフレーム番号９６〜９９と画像メモリ６内に記憶されている画像の中で、最も遅く表示される画像であるフレーム９の画像の画像メモリ６における格納アドレスを対応付けて記録する。
続けて、Ｓ５において、フレーム１００の画像がフレーム９の画像を参照画像として復号され、Ｓ６において、復号されたフレーム１００の画像が画像メモリ６に追加される。
次に、フレーム１からフレーム９までが正常に復号されて、さらに、フレーム１００がフレーム９を参照画像にして復号され、続けてフレーム１１が復号されようとしている場合である。この場合、動画像再生装置に入力される順はＬ＝９、Ｍ＝１００、Ｎ＝１１の順ということになる。なお、この場合は、上述した「その４の場合」に相当する。
図４のＳ２では、Ｍ−Ｌ＝９１で、１以外であるから、ＮＯとなり、フレームＬ〜フレームＭにおいて画像が欠落している可能性またはフレームＭにおけるフレーム番号の復号誤りが生じている可能性のいずれかが有ると判定してＳ８に進む。Ｓ８では、フレームＬ〜Ｍ（９〜１００）間の画像の欠落の有無を判定するために、Ｎ−Ｌを演算する。この場合は、Ｎ−Ｌ＝２なのでＹＥＳとなり、フレームＬ〜Ｍ間の画像の欠落は無く、フレームＭ（１００）におけるフレーム番号の復号誤りが生じていると判定して、その旨を画像修正部５に通知し、Ｓ９に進む。Ｓ９では、画像修正部５は画像メモリ６内のフレームＭ（１００）のフレーム番号をＮ−１（＝１０）に変更し、Ｓ３に進む。
Ｓ３では、参照画像リスト生成部４は画像メモリ６を調べて参照画像リストを生成し、Ｓ４に進む。Ｓ４では、復号異常検出部３はフレームＭ〜Ｎ（１００を改めた１０〜１１）間の画像が欠落している可能性の有無を判定するため、Ｎ−Ｍを演算する。Ｓ９で、画像修正部５が画像メモリ６内のフレームＭのフレーム番号をＮ−１に変更したので、Ｎ−Ｍ＝１となっているため、Ｓ４でＹＥＳとなり、画像が欠落している可能性は無いと判定してＳ５に進む。Ｓ５では、画像復号部２はフレームＮを復号し、Ｓ６に進む。Ｓ６では、復号されたフレームＮは画像メモリ６に保存され、所定のタイミングで外部の表示装置（図示せず）にて表示される。
上記のように、一時的には、フレーム１０が伝送エラーによって符号化データにビット誤りが混入してフレーム１００として復号されても、次にフレーム１１を復号する際に、正しいフレーム番号であるフレーム１０に修正される。このように、従来技術で課題とされた、「画像の表示順の決定にフレーム番号が使われる場合に、画像が本来と異なるタイミングで表示されること」、「復号誤りが生じた画像に続く画像を復号する際に、復号に必要な参照画像が画像メモリに存在しないために復号品質が大幅に低下すること」はすべて解決されたことを理解できる。また、図４に示す動画像再生装置の動作フローチャートを次々と復号される画像のフレーム番号、ヘッダ情報に適用していけば、画像メモリに記憶されている復号済の画像に関する画像の欠落の有無、画像に関するヘッダ情報の復号誤りの復号異常を検出できることになる。
次に、フレーム１〜２００から構成される動画像の符号化データにおいて、フレーム１からフレーム９までが正常に復号されていたのに、フレーム１０〜９９から構成される動画像の符号化データが本当に欠落した場合を想定し、図４の動画像再生装置の動作フローチャートに適用して、本当に課題が解決されたかを確認する。なお、画像の表示順と復号順は同じとする。
今、次にフレーム９が復号された後、フレーム１０〜９９が本当に欠落し、フレーム１００が復号されようとしている場合である。この場合、動画像再生装置に入力される順はフレームＬ＝８、Ｍ＝９、Ｎ＝１００の順ということになる。図４のＳ２では、Ｍ−Ｌ＝１であるから、Ｓ３を経由して、Ｓ４に進む。Ｓ４では、Ｎ−Ｍ＝９１となり、１以外であるから、ＮＯとなり、フレーム９〜１００間の画像が欠落している可能性が有ると判定してＳ７に進み、参照画像リストが修正される。なお、この場合は、上述した「その２の場合」に相当する。
「図４のＳ７における参照画像リスト生成部４による参照画像リスト１３の修正方法」について詳しく説明したように、この場合は、
（１）画像メモリ６には４枚の画像を記録可能であり、画像の復号には当該画像の直前に復号された４枚の画像が参照画像として利用されるものとするならば、フレーム１００の復号に必要な参照画像のフレーム番号として、フレーム９６〜フレーム９９が必要ということになる。
（２）フレーム１００の復号に必要な参照画像（フレーム９６〜フレーム９９）はいずれも画像メモリ６内に存在しないので、参照画像リスト１３にその画像のフレーム番号９６〜９９と画像メモリ６内に記憶されている画像の中で、最も遅く表示される画像であるフレーム９の画像の画像メモリ６における格納アドレスを対応付けて記録する。
続けて、Ｓ５において、フレーム１００の画像がフレーム９の画像を参照画像として復号され、Ｓ６において、復号されたフレーム１００の画像が画像メモリ６に追加される。
次に、フレーム１からフレーム９までが正常に復号されて、さらに、フレーム１００がフレーム９を参照画像にして復号され、続けてフレーム１０１が復号されようとしている場合である。この場合、動画像再生装置に入力される順はＬ＝９、Ｍ＝１００、Ｎ＝１０１の順ということになる。なお、この場合は、上述した「その３の場合」に相当する。
図４のＳ２では、Ｍ−Ｌ＝９１で、１以外であるから、ＮＯとなり、フレームＬ〜フレームＭにおいて画像が欠落している可能性またはフレームＭにおけるフレーム番号の復号誤りが生じている可能性のいずれかが有ると判定してＳ８に進む。Ｓ８では、フレームＬ〜Ｍ（９〜１００）間の画像の欠落の有無を判定するために、Ｎ−Ｌを演算する。この場合は、Ｎ−Ｌ＝９２なのでＮＯとなり、フレームＬ〜Ｍ間の画像が欠落していると判定され、その旨を画像修正部５に通知し、Ｓ１０に進む。なお、欠落画像した画像枚数は、Ｍ−Ｌ−１を演算し、９０枚と判明し、フレーム１０〜９９を補間する必要があることが判明する。
Ｓ１０では、画像修正部５は画像メモリ６内に記憶されている画像の中で、最も遅く表示される画像の複製を取り、その複製した画像をフレームＬ〜Ｍ間の欠落した画像として代替することで欠落したフレームＬ〜Ｍ間の画像を補間する。Ｓ１０では、画像修正部５は先ず欠落したフレーム１０の画像を補間するために、画像メモリ６内に記憶されている画像の中で、最も遅く表示されるフレーム９の画像から複製して画像メモリ６内に記憶し、次に欠落したフレーム１１の画像を補間するために、画像メモリ６内に記憶されている画像の中で、最も遅く表示されるフレーム１０の画像から複製して画像メモリ６内に記憶し、・・とフレーム１０〜９９の９０枚の画像を補間し、Ｓ３に進む。なお、画像メモリ６の記憶容量をオーバーした画像から順次表示されていく。画像メモリ６には４枚の画像を記録可能としているので、フレーム９７〜１００の画像が画像メモリ６に記憶して保存され、フレーム９６までは表示することになる。
Ｓ３では、参照画像リスト生成部４は画像メモリ６を調べて参照画像リストを生成し、Ｓ４に進む。Ｓ４では、復号異常検出部３はフレーム１００〜１０１（フレームＭ〜Ｎ）間の画像が欠落している可能性の有無を判定するため、Ｎ−Ｍを演算する。１となっているため、Ｓ４でＹＥＳとなり、フレームＭ〜Ｎの画像が欠落している可能性は無いと判定してＳ５に進む。Ｓ５では、画像復号部２はフレーム１０１（フレームＮ）を復号し、Ｓ６に進む。Ｓ６では、復号されたフレームＮは画像メモリ６に保存され、所定のタイミングで外部の表示装置（図示せず）にて表示される。
次に、フレーム１０１までが正常に復号され、フレーム１０２がフレーム１０１を参照画像にして復号されようとしている場合である。この場合、動画像再生装置に入力される順はＬ＝１００、Ｍ＝１０１、Ｎ＝１０２の順ということになる。なお、この場合は、上述した「その１の場合」に相当し、Ｓ２に進み、Ｍ−Ｌ＝１なのでＹＥＳとなり、フレームＬ〜フレームＭにおいて画像が欠落している可能性またはフレームＭにおけるフレーム番号の復号誤りが生じている可能性はいずれも無いと判定し、Ｓ４では、Ｎ−Ｍ＝１なのでＹＥＳとなり、フレームＭ〜Ｎ間の画像が欠落している可能性は無いと判定し、正常な復号が確認される。
上記のように、画像が欠落した場合でも、画像修正部５は画像メモリ６内に記憶されている画像の中で、最も遅く表示される画像の複製を取り、その複製した画像をフレームＬ〜Ｍ間の欠落した画像として代替することで欠落したフレームＬ〜Ｍ間の画像を補間する。上述した欠落画像の補間（図４のＳ１０）において、既に復号され、画像メモリ６内に記憶されている画像の中で、最も遅く表示される画像の複製を取り、その複製した画像を欠落した画像として代替することで欠落した画像を補間するとしているが、最も遅く表示される画像の代わりに欠落した画像に表示順が最も近い画像を用いることにしても構わない。
さらに、本実施形態ではＬ、Ｍ、Ｎと３つ連続したフレーム番号について復号異常を検出しているが、たとえばＫ、Ｌ、Ｍ、Ｎ（但し、Ｋ＜Ｌ＜Ｍ＜Ｎの整数）と４つ連続したフレーム番号についての復号異常を検出することもできる。この場合は、図４においてフレームＬ〜Ｍ間の画像が欠落している可能性の有無を判定するため、Ｍ−Ｌを演算するＳ２の「Ｍ−Ｌ＝１？」を、フレームＫ〜Ｍ間の画像が欠落している可能性の有無を判定するため、Ｍ−Ｋを演算するように、Ｓ２を「Ｍ−Ｋ＝２？」と置き換え、Ｓ２でＮＯとなり、画像が欠落している可能性が有ると判定した場合のＳ８では、フレームＬ〜Ｍ間の画像の欠落の有無を判定するために、Ｎ−Ｌを演算する「Ｎ−Ｌ＝２？」を、フレームＫ〜Ｍ間の画像の欠落の有無を判定するために、Ｎ−Ｋを演算する「Ｎ−Ｋ＝３？」と置き換えればよい。このように３つ以上の連続したフレーム番号についても復号異常を検出することができる。
なお、本実施形態における動画像再生装置において、伝送される符号化データにビット誤りなどが含まれると、画像の一部のみが復号されて残りの部分の復号に失敗する場合がある。フレームＭの一部のみが復号された場合に、フレームＭを破棄してフレームＮ以降の画像の復号を続けても構わない。もしくは、フレームＭの復号に失敗した部分領域をフレームＭの復号済領域または復号済画像を利用して補間し、フレームＭ全体が復号されたものとしてフレームＮ以降の画像の復号を続けても構わない。画像の一部のみしか復号されない問題が発生した場合、一部のみ復号された画像を破棄する方法と復号に失敗した部分領域を補間する方法のいずれを用いても、問題が発生した画像以降の復号処理が破綻しない。特に、復号に失敗した部分領域を補間する方法を用いる場合には、復号された画像を破棄する方法を用いる場合に比べて再生画像の品質が向上する。
以上説明したように、本実施形態における動画像再生装置では、画像の欠落を検出するために上述のフレーム番号を用いた。しかし、画像毎に一意な１つ以上のパラメータの組み合わせであって、異なる画像間でそのパラメータの組み合わせを比較することで画像間に存在すべき画像数が検出できるならば、そのパラメータの組み合わせをフレーム番号の代わりに用いる構成であっても構わない。
［第２の実施形態］
次に、本発明の第２の実施形態における動画像再生装置について説明する。以下では、図７に示すように、動画像再生装置で復号しようとしている当該画像（復号中画像）をフレームＮとし、そのフレームＮの直前に復号された画像（参照画像、非参照画像を問わず）をフレームＰとし、復号済の参照画像の内、フレームＮに対し復号順が２番目に近い参照画像をフレームＬとして説明を行なう。本実施形態における動画像再生装置は、画像の欠落の判定に用いるフレーム番号が参照画像の復号順に増加するパラメータである点が［第１の実施形態］の動画像再生装置と異なる。
図７において、参照画像のフレームにはフレーム番号４（フレームＬ）、５（フレームＭ）、６と付され、非参照画像のフレームには当該非参照画像の直前に復号された参照画像のフレーム番号と同じフレーム番号を用いている。たとえばフレームＰ、Ｎはいずれも非参照画像であるため、その直前に復号された参照画像Ｍのフレーム番号５と同じフレーム番号５を用いている。なお、参照画像とは後に復号される他のフレームの画像を復号するのに必要とされる画像のことをいい、その画像を参照画像とするか非参照画像とするかは予め定められている。一般的な動画像符号化方式において用いられる参照画像の復号順に増加するパラメータの例としては、Ｈ．２６４／ＡＶＣで規定されているシンタックス要素であるｆｒａｍｅ＿ｎｕｍがあげられる。
本実施形態における動画像再生装置の構成は［第１の実施形態］における動画像再生装置１０００の構成と同じであり、図１で表される。それぞれの符号も図１における符号をそのまま流用する。復号異常検出部３はフレームＬ、Ｍ、Ｎ、Ｐそれぞれに対応するフレーム番号を保持し、３つのフレームＬ、Ｐ、Ｎのフレーム番号に基づいて、フレームＬ〜Ｐ間の画像欠落の有無、フレームＰ〜Ｎ間の画像が欠落している可能性の有無、フレームＰのフレーム番号への復号誤り発生の有無を検出する。また、本実施形態における復号異常検出部３の構成、参照画像リスト生成部４の構成も［第１の実施形態］における復号異常検出部３の構成、参照画像リスト生成部４の構成と同じであり、それぞれ図２、図３で表される。それぞれの符号も図２、図３における符号をそのまま流用する。
具体的には、復号異常検出部３は、画像復号部２により復号されるフレームＮ（ｎ番目のフレーム）に対応するフレーム番号と、画像復号部２により復号される（ｎ−１）番目のフレーム（フレームＰ）に対応するフレーム番号と、画像復号部２により復号された復号済の参照画像のうちフレームＮ（ｎ番目のフレーム）に２番目に近い参照画像に対応するフレーム番号とに基づいて、フレームに関する異常があるか否かを検出する。
ここで、検出された異常は、画像復号部２がフレームＮを復号する場合に画像復号部２に使用される参照画像としてのフレームが画像メモリ６に記憶されていないという異常である。また、検出された異常は、フレームの欠落があるという異常である。また、検出された異常は、フレーム番号の誤りが生じている復号済フレームがあるという異常である。
次に本実施形態における動画像再生装置の動作について、図８に基づいて説明する。本実施形態では、復号異常検出部３はフレームＬ〜Ｐ間の画像欠落の有無、フレームＰ〜Ｎ間の画像が欠落している可能性の有無、フレームＰのフレーム番号への復号誤り発生の有無の判定に基づいて以下に示す、その５〜その８の４つの場合を検出する。なお、変数ａの値はフレームＮが参照画像ならば１、参照画像でないならば０とする。
・その５は、Ｎ−Ｐ＝ａで、かつ、Ｐ−Ｌ＝１の場合であり、フレームＬ〜Ｎ間の画像が欠落している可能性が無いと判定する場合である。
・その６は、Ｎ−Ｐがａ以外で、かつＰ−Ｌ＝１の場合であり、フレームＰ〜Ｎ間の画像が欠落している可能性が有ると判定する場合である。
・その７は、Ｎ−Ｌが１＋ａ以外で、かつ、Ｐ−Ｌが１以外の場合であり、フレームＬ〜Ｐ間の画像が欠落していると判定する場合である。
・その８は、Ｎ−Ｌ＝１＋ａで、かつ、Ｐ−Ｌが１以外の場合であり、フレームＰのフレーム番号に復号誤りが生じていると判定する場合である。
復号異常検出部３の検出結果に応じて本実施形態における動画像再生装置の動作は異なる。以下では、復号異常検出部３の各検出結果に対応する動作について処理の流れを説明する。
その５の場合、Ｓ１１でヘッダ復号部１は入力された符号化データからヘッダ情報を復号する。その後、Ｓ１２に進み、フレームＮが参照画像か否かを判定する。Ｓ１２で、フレームＮが参照画像ならＳ１３に進み、ａ＝１とし、フレームＮが参照画像でないならばＳ１４に進み、ａ＝０とする。Ｓ１３、Ｓ１４からＳ１５に進み、復号異常検出部３はフレームＬ〜Ｐ間の画像が欠落している可能性の有無を判定するため、Ｐ−Ｌを演算する。その５の場合は、Ｐ−Ｌ＝１なのでＹＥＳとなり、フレームＬ〜フレームＰにおいて画像が欠落している可能性またはフレームＰにおけるフレーム番号の復号誤りが生じている可能性はいずれも無いと判定してＳ１６に進み、画像の欠落の有無を検出する処理（Ｓ１７）は行なわない。
Ｓ１６では、参照画像リスト生成部４は画像メモリ６を調べて参照画像リストを生成し、Ｓ２０に進む。Ｓ２０では、復号異常検出部３はフレームＰ〜Ｎ間の画像が欠落している可能性の有無を判定するため、Ｎ−Ｐを演算する。その５の場合は、Ｎ−Ｐ＝ａなのでＹＥＳとなり、画像が欠落している可能性は無いと判定してＳ２１に進む。Ｓ２１では、画像復号部２はフレームＮを復号し、Ｓ２３に進む。Ｓ２３では、復号されたフレームＮは画像メモリ６に保存され、所定のタイミングで外部の表示装置（図示せず）にて表示される。
その６の場合は、Ｓ１１でヘッダ復号部１は入力された符号化データからヘッダ情報を復号する。その後、Ｓ１２に進み、フレームＮが参照画像か否かを判定する。Ｓ１２で、フレームＮが参照画像ならＳ１３に進み、ａ＝１とし、フレームＮが参照画像でないならばＳ１４に進み、ａ＝０とする。Ｓ１３、Ｓ１４からＳ１５に進み、復号異常検出部３はフレームＬ〜Ｐ間の画像が欠落している可能性の有無を判定するため、Ｐ−Ｌを演算する。その６の場合は、Ｐ−Ｌ＝１なのでＹＥＳとなり、フレームＬ〜フレームＰにおいて画像が欠落している可能性またはフレームＰにおけるフレーム番号の復号誤りが生じている可能性はいずれも無いと判定してＳ１６に進み、画像の欠落の有無を検出する処理（Ｓ１７）は行なわない。
Ｓ１６では、参照画像リスト生成部４は画像メモリ６を調べて参照画像リスト１３を生成し、Ｓ２０に進む。Ｓ２０では、復号異常検出部３はフレームＰ〜Ｎ間の画像が欠落している可能性の有無を判定するため、Ｎ−Ｐを演算する。その６の場合は、Ｎ−Ｐはａ以外なのでＮＯとなり、画像が欠落している可能性が有ると判定してＳ２２に進む。Ｓ２２では、参照画像リスト生成部４は参照画像リスト１３を修正する。Ｓ２２における参照画像リストの修正方法は［第１の実施形態］の動画像再生装置における参照画像リストの修正方法（図４のＳ７）と同様である。続くＳ２１では、画像復号部２はフレームＮを復号し、Ｓ２３に進む。Ｓ２３では、復号されたフレームＮは画像メモリ６に保存され、所定のタイミングで外部の表示装置（図示せず）にて表示される。
その７の場合は、Ｓ１１でヘッダ復号部１は入力された符号化データからヘッダ情報を復号する。その後、Ｓ１２に進み、フレームＮが参照画像か否かを判定する。Ｓ１２で、フレームＮが参照画像ならＳ１３に進み、ａ＝１とし、フレームＮが参照画像でないならばＳ１４に進み、ａ＝０とする。Ｓ１３、Ｓ１４からＳ１５に進み、復号異常検出部３はフレームＬ〜Ｐ間の画像が欠落している可能性の有無を判定するため、Ｐ−Ｌを演算する。その７の場合は、Ｐ−Ｌが１以外なのでＮＯとなり、フレームＬ〜フレームＰにおいて画像が欠落している可能性またはフレームＰにおけるフレーム番号の復号誤りが生じている可能性のいずれかが有ると判定してＳ１７に進む。Ｓ１７では、フレームＬ〜Ｐ間の画像の欠落の有無を判定するために、Ｎ−Ｌを演算する。その７の場合は、Ｎ−Ｌが１＋ａ以外なのでＮＯとなり、画像の欠落が有ると判定して、その旨を画像修正部５に通知し、Ｓ１９に進む。Ｓ１９では、画像修正部５は画像メモリ６内に記憶されている画像の中で、最も遅く表示される画像の複製を取り、その複製した画像をフレームＬ〜Ｐ間の欠落した画像として代替することで欠落したフレームＬ〜Ｐ間の画像を補間し、Ｓ１６に進む。なお、Ｓ１９における欠落画像の補間方法に関し、本実施形態における動画像再生装置では、［第１の実施形態］（図４のＳ１０）と異なり、欠落した画像が参照画像である場合には補間するが、欠落した画像が参照画像でない非参照画像の場合には補間しない。この点はまた後述する。
Ｓ１６では、参照画像リスト生成部４は画像メモリ６を調べて参照画像リスト１３を生成し、Ｓ２０に進む。Ｓ２０では、復号異常検出部３はフレームＰ〜Ｎ間の画像が欠落している可能性の有無を判定するため、Ｎ−Ｐを演算する。Ｎ−Ｐ＝ａの場合はＹＥＳとなり、フレームＰ〜Ｎ間の画像が欠落している可能性は無いと判定してＳ２１に進む。Ｎ−Ｐがａ以外の場合はＮＯとなり、フレームＰ〜Ｎ間の画像が欠落している可能性があると判定してＳ２２に進む。Ｓ２２では、参照画像リスト生成部４は参照画像リスト１３を修正する。Ｓ２２における参照画像リストの修正方法は［第１の実施形態］の動画像再生装置における参照画像リストの修正方法（図４のＳ７）と同様である。続くＳ２１では、画像復号部２はフレームＮを復号し、Ｓ２３に進む。Ｓ２３では、復号されたフレームＮは画像メモリ６に保存され、所定のタイミングで外部の表示装置（図示せず）にて表示される。
その８の場合は、Ｓ１１でヘッダ復号部１は入力された符号化データからヘッダ情報を復号する。その後、Ｓ１２に進み、フレームＮが参照画像か否かを判定する。Ｓ１２で、フレームＮが参照画像ならＳ１３に進み、ａ＝１とし、フレームＮが参照画像でないならばＳ１４に進み、ａ＝０とする。Ｓ１３、Ｓ１４からＳ１５に進み、復号異常検出部３はフレームＬ〜Ｐ間の画像が欠落している可能性の有無を判定するため、Ｐ−Ｌを演算する。その８の場合は、Ｐ−Ｌが１以外なのでＮＯとなり、フレームＬ〜フレームＰにおいて画像が欠落している可能性またはフレームＰにおけるフレーム番号の復号誤りが生じている可能性のいずれかが有ると判定してＳ１７に進む。Ｓ１７では、フレームＬ〜Ｐ間の画像の欠落の有無を判定するために、Ｎ−Ｌを演算する。その８の場合は、Ｎ−Ｌ＝１＋ａなのでＹＥＳとなり、フレームＬ〜Ｐ間の画像は欠落していないと判定し、フレームＰにおけるフレーム番号の復号誤りが発生していると判定して画像修正部５に通知し、Ｓ１８に進む。Ｓ１８では、画像修正部５はフレームＰのフレーム番号をＮ−ａに変更し、Ｓ１６に進む。
Ｓ１６では、参照画像リスト生成部４は画像メモリ６を調べて参照画像リスト１３を生成し、Ｓ２０に進む。Ｓ２０では、復号異常検出部３はフレームＰ〜Ｎ間の画像が欠落している可能性の有無を判定するため、Ｎ−Ｐを演算する。Ｓ１８で、画像修正部５が画像メモリ６内のフレームＰのフレーム番号をＮ−ａに変更したので、Ｎ−Ｐ＝ａとなっているため、Ｓ２０でＹＥＳとなり、フレームＰ〜Ｎ間の画像が欠落している可能性は無いと判定してＳ２１に進む。Ｓ２１では、画像復号部２はフレームＮを復号し、Ｓ２３に進む。Ｓ２３では、復号されたフレームＮは画像メモリ６に保存され、所定のタイミングで外部の表示装置（図示せず）にて表示される。
本実施形態において、図８のＳ２２における参照画像リストの修正方法は［第１の実施形態］の動画像再生装置における参照画像リストの修正方法（図４のＳ７）と同様である。しかし、図８のＳ１９における欠落画像の補間方法に関しては、［第１の実施形態］における動画像再生装置で用いられる欠落画像の補間方法（図４のＳ１０）と異なるため、以下で詳しく説明する。
本実施形態における動画像再生装置では、欠落した画像が参照画像である場合には補間するが、欠落した画像が参照画像でない非参照画像の場合には補間しない。図８のＳ１９における欠落画像の補間方法において、フレームＬ〜Ｐ間のフレームＬ、Ｐ以外の参照画像の数は、フレームＰが参照画像の場合にはＰ−Ｌ−１、フレームＰが参照画像でない非参照画像の場合にはＰ−Ｌとなる。画像修正部５は前記枚数分に不足する欠落した参照画像を参照画像メモリ内の表示が最も遅い画像を複製することで補間し、画像メモリに記録する。
欠落した非参照画像の補間が必要とされない理由は次の通りである。本実施形態における動画像再生装置では、ある時刻に相当する出力タイミングを持つ非参照画像が画像メモリ内にない場合、直前に表示した画像をそのまま表示し続ける。つまり、欠落した非参照画像については表示時に該当画像の直前に表示された画像に置き換わるため、画像メモリ内で欠落した非参照画像を補間する必要はない。一方、参照画像に関しては、他の画像の復号時に利用されるため、画像メモリ内で補間しておく必要がある。
以上の動作により、本実施形態の動画像再生装置では、フレーム番号が参照画像の復号順に増加する場合に、画像の欠落やフレーム番号の復号誤りに起因する画像品質の低下を防ぐことが可能である。
なお、本実施形態における動画像再生装置においても、［第１の実施形態］の動画像再生装置の場合と同様に、フレームＭの一部のみが復号されて残りの部分の復号に失敗した場合に、一部のみ復号されたフレームＭを画像メモリに記録せずに破棄して、フレームＮ以降の画像の復号を続けても構わない。もしくはフレームＭの復号に失敗した部分をフレームＭの復号済領域または復号済画像を利用して補間し、フレームＭ全体が復号されたものとしてフレームＭ以降の画像の復号を続けても構わない。
上記のように、復号しようとするフレーム画像の復号直前に連続して復号された複数の復号済画像のフレーム番号を用いて、まず復号済画像における画像の欠落可能性または画像のフレーム番号自体が狂っている可能性を判別する。そして、いずれかの可能性が有ると判別された場合には、さらに、復号しようとする画像のフレーム番号と、復号しようとする画像の復号直前に復号された複数の画像のフレーム番号の内の早い時期に復号された参照画像のフレーム番号とを用いて復号済画像における画像欠落かフレーム番号自体の狂いかのいずれが発生したかを判定し、判定結果に対応し、欠落した画像の補間およびフレーム番号自体の狂いの修正のいずれかを行なう。その後、保持する複数の参照画像の画像メモリ６における格納アドレスを求めるための参照画像リストを生成して復号しようとする画像を復号する。
画像復号部２が復号しようとしている復号対象フレーム画像に対応するフレーム番号が、各フレーム画像に予め定められた所定ルールに従った順番で割り当てられたフレーム番号になっていない不適合フレーム番号と判別した場合に、当該判別された不適合フレーム番号から割出される参照画像が画像メモリ６にあるか否かを判別し、無い場合には画像メモリ６に記憶されている復号済画像を参照画像として代替使用して画像複合部２により復号対象画像を復号させる。
［まとめ］
ここで、実施の形態で説明した技術的思想をまとめておく。
（１）順次画像を復号する際に必要となるフレーム番号の狂いの原因として、符号化画像の欠落ばかりでなくフレーム番号自体のデータ化けもあり、そのフレーム番号自体のデータ化けであったにもかかわらず画像データの欠落と誤認して欠落したと判断した数だけの画像データを補間した場合には、補間する必要がないにもかかわらず補間することになる。そのために、補間した画像の表示のために、補間した分以降の画像データの表示の順番が繰り下がってずれてしまい、正規の順番通りに画像表示できない、他の画像の表示が遅れるという、第１の欠点が生じる。
さらに、画像の復号に際してその復号する画像の近隣に既に復号された複数の参照画像データを参照するのであるが、復号すべき画像と参照すべき近隣の復号画像との間に不必要に補間された画像データが介在することとなるために、本来参照すべき近隣の画像データが画像メモリから押し出されて表示された後となる場合があり、本来参照すべき近隣の画像データがなくなって参照できないという第２の欠点が生じる。
（２）そこで、この２つの問題を解決するべく、フレーム番号の狂いの原因が、本当に画像データの欠落であるかまたは欠落ではなくフレーム番号自体のデータ化けであるかを判別する判別機能を持ち、その判別結果にしたがっての原因別の適切な制御処理を行なうようにすることが考えられる。
まず、フレーム番号の狂いの原因を判別するにおいて、次のような自然法則があることを見出した。つまり、画像データの欠落が原因の場合には、異常な番号となっているフレーム番号の次の画像データのフレーム番号は、異常なフレーム番号の１つ前の画像データのフレーム番号よりも３つ以上遅いフレーム番号となっている場合がほとんどであり、一方、フレーム番号自体のデータ化けが原因の場合には、異常なフレーム番号の次の画像データのフレーム番号は異常なフレーム番号の１つ前の画像データのフレーム番号よりも２つ遅い（２加算した値の）フレーム番号であることがほとんどであるという、自然法則を見出した。この自然法則は、ノイズ等によって、フレーム番号のデータ自体が化けてしまうデータ化けの現象が、前後に隣接する画像データの両フレーム番号ともにノイズ化けするという連続したデータ化けが、確率的にほとんど発生しないという経験則を前提にしている。
（３）そこで、本発明では、前述の自然法則を利用し、少なくとも３つの隣接する画像データのフレーム番号同士の整合性をチェックすることにより、フレーム番号の狂いの原因が画像データの欠落かあるいはフレーム番号自体のデータ化けかを判別することを可能とした。
（４）ところが、前述の自然法則に従えば、ある復号順番の画像データを復号する際に、当該画像データのフレーム番号が通し番号でなかった場合に、その原因を突き止めるには、当該画像データのフレーム番号と当該画像データの前後に隣接する画像データのフレーム番号との少なくとも３つのフレーム番号が必要となり、どうしても、復号しようとする画像データよりも１つ後に復号される予定の画像データのフレーム番号が必要となる。したがって、フレーム番号が狂っている画像データを復号する段階では、そのフレーム番号の狂いの原因を断定することができない。
そこで、本発明では、その画像データのフレーム番号の狂いがいずれの原因であったとしても、前述の第１の欠点、第２の欠点を解決できるようにするべく、まず、狂っているフレーム番号と１つ前に復号された画像データのフレーム番号との間の画像データを補完する補完処理を行なうことなく、それに先立って、狂っているフレーム番号の画像データの復号処理を取り合えず優先して実行する。
そして次の画像データの復号順番がきた段階で、その画像データのフレーム番号を入手して、３つのフレーム番号が揃ったところで遅ればせながら既に復号済の画像データのフレーム番号の狂いの原因を判別する。すなわち、取合えず画像データの復号処理を優先実行した、狂っているフレーム番号の次に復号しようとしているフレーム画像のフレーム番号と、前記狂っているフレーム番号を除く既に復号されている画像のフレーム番号とを対比して、当該復号しようとしているフレーム番号が所定ルールに適合している（通し番号である）か否かを判別し、適合していない場合に前記狂っているフレーム番号の発生原因がフレーム画像の欠落と判定する一方、所定ルールに適合している場合に前記狂っているフレーム番号の発生原因がフレーム番号自体のデータ化けであると判定する。
そして、その判別結果、本当に画像データが欠落していたのであれば、その欠落分の画像データをその段階で初めて補間する処理を行なう。一方、フレーム番号の狂いの原因がフレームデータのデータ化けであった場合には、無駄な画像データの補間を一切行なわないようにする。
しかし、狂っている（通し番号でない）フレーム番号の画像データの復号処理を優先実行するにおいて、その狂っているフレーム番号から割出される参照画像データが画像メモリに存在しない場合があり、参照画像が取得できずに装置に破綻を来たしてしまう新たな不都合が生じる。そこで、本発明は、必要な参照画像を画像メモリに存在する画像で代替使用するようにした。異常原因が画像データの欠落である場合を考慮して、画像メモリに存在しない参照画像について、画像メモリに記憶されている復号済画像の内で表示順が最も遅い画像、または画像メモリに記憶されている復号済画像の内、画像メモリに無いと判定された参照画像が画像メモリにあると仮定した場合の当該参照画像の表示順に最も近い画像で代替するようにした。
フレーム番号の狂いが発生し、その原因が画像の欠落である場合に、補間もせずに規格通りに復号処理を行なうと参照画像が取得できずにデコーダが破綻してしまう可能性がある。そのため、従来はフレーム番号の狂いを見つけるとすぐに画像の欠落と判定して画像を補間し、復号が継続できるようにしていた。一方、本発明では実施形態で説明している参照画像リストを使って、画像を補間することなくフレーム番号の狂いが生じた画像を復号している。そうすることで、もし画像の欠落が発生していたとしてもデコーダが破綻することはない。また、フレーム番号化けが発生していたとしても、補間による画像メモリの書きかえが起こらないため、以降の画像を復号する際に用いる参照画像が不足することもなくなる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
ビット誤りが混入した符号化データを従来の動画像再生装置に入力した場合、まずフレーム１〜９が本来のタイミングで表示される。次に動画像再生装置はフレーム１０を復号するが、復号誤りによりその画像がフレーム１００であると判定する。そして、フレーム１０〜９９が欠落したと判定し、欠落した画像を画像メモリ５６内に記憶されている画像の中で、最も遅く表示される画像から複製して画像メモリ５６内に記憶し、順次表示されていく。そして、フレーム１０〜９９をすべて表示した後にフレーム１００を表示する。つまり、本来１０番目に表示されるはずであった画像が１００番目に表示される。さらに、復号誤りが生じたフレーム１０に続くフレーム１１〜２０もそれぞれ１０１〜１１０番目に表示される。

Claims (13)

  1. 複数のフレームから構成される動画像の符号化データを復号して動画像を再生する動画像再生装置であって、
    前記複数のフレームの各々のヘッダ情報を、前記符号化データから順次復号するヘッダ情報復号手段（１）と、
    前記複数のフレームを順次復号するためのフレーム復号手段（２）と、
    前記フレーム復号手段により復号される復号後フレームを所定数順次記憶可能な記憶手段（６）と、
    前記ヘッダ情報復号手段により復号された、ｎ（２以上の自然数）番目のフレームの前記ヘッダ情報を含む少なくとも２つの前記ヘッダ情報に基づいて、フレームに関する異常があるか否かを検出する異常検出手段（３）と、
    前記記憶手段に記憶されている１以上の前記復号後フレームの各々の前記ヘッダ情報と、前記１以上の復号後フレームの各々の格納アドレスとを関連付けることで、前記フレーム復号手段が前記記憶手段に記憶されている参照画像としての復号後フレームにアクセス可能とするための参照リスト（１３）を生成するリスト生成手段（４）と、
    前記異常検出手段により検出された異常が所定の異常である場合、前記参照リストを修正するリスト修正手段（４，１６）とを備え、
    前記フレーム復号手段は、前記ｎ番目のフレームが他のフレームを使用して復号されるフレームである場合、前記ｎ番目のフレームの前記ヘッダ情報に基づいて、前記ｎ番目のフレームの復号時における前記参照リストによりアクセスできる前記記憶手段に記憶されている前記参照画像としての復号後フレームを使用して、前記ｎ番目のフレームを復号する、動画像再生装置。
  2. 前記複数のフレームの順序は、前記フレーム復号手段に復号される順序となっている、請求の範囲第１項に記載の動画像再生装置。
  3. 前記ヘッダ情報は、フレームを特定するためのフレーム番号を含み、
    前記リスト生成手段は、前記記憶手段に記憶されている１以上の前記復号後フレームの各々のフレーム番号と、前記１以上の復号後フレームの各々の格納アドレスとを関連付けることで、前記フレーム復号手段が前記記憶手段に記憶されている参照画像としての復号後フレームにアクセス可能とするための参照リストを生成する、請求の範囲第１項に記載の動画像再生装置。
  4. 前記ヘッダ情報は、フレームを特定するためのフレーム番号を含み、
    前記所定の異常は、前記フレーム復号手段が前記ｎ番目のフレームを復号する場合に前記フレーム復号手段に使用される前記参照画像としての復号後フレームが前記記憶手段に記憶されていないという異常であり、
    前記リスト修正手段は、前記異常検出手段により検出された異常が前記所定の異常である場合、前記参照画像としての復号後フレームのフレーム番号と、前記記憶手段に記憶されている前記１以上の復号後フレームのうち、表示のために最も遅く使用されるフレームの格納アドレスとを関連付けることで、前記参照リストを修正する、請求の範囲第１項に記載の動画像再生装置。
  5. 前記ヘッダ情報は、フレームを特定するためのフレーム番号を含み、
    前記所定の異常は、前記フレーム復号手段が前記ｎ番目のフレームを復号する場合に前記フレーム復号手段に使用される前記参照画像としての復号後フレームが前記記憶手段に記憶されていないという異常であり、
    前記リスト修正手段は、前記異常検出手段により検出された異常が前記所定の異常である場合、前記参照画像としての復号後フレームのフレーム番号と、前記記憶手段に記憶されている前記１以上の復号後フレームのうち、表示のために使用される順番が前記参照画像としての復号後フレームに最も近いフレームの格納アドレスとを関連付けることで、前記参照リストを修正する、請求の範囲第１項に記載の動画像再生装置。
  6. 前記ヘッダ情報は、フレームを特定するためのフレーム番号を含み、
    前記異常検出手段は、前記ｎ番目のフレームを含む連続する少なくとも３つのフレームにそれぞれ対応する３つのフレーム番号に基づいて、フレームの欠落があるか否かを判定し（Ｓ２，Ｓ８）、
    前記異常検出手段によりフレームの欠落があると判定された場合、前記記憶手段に記憶されており、前記フレーム復号手段に使用される前記参照画像としての前記１以上の復号後フレームのうち、表示のために最も遅く使用されるフレームを複製することで、欠落したフレームを補間する補間手段（５）をさらに備える、請求の範囲第１項に記載の動画像再生装置。
  7. 前記ヘッダ情報は、フレームを特定するためのフレーム番号を含み、
    前記異常検出手段は、前記ｎ番目のフレームを含む連続する少なくとも３つのフレームにそれぞれ対応する３つのフレーム番号に基づいて、フレームの欠落があるか否かを判定し（Ｓ２，Ｓ８）、
    前記補間手段は、前記異常検出手段により、フレームの欠落があると判定された場合、前記記憶手段に記憶されており、前記フレーム復号手段に使用される前記参照画像としての前記１以上の復号後フレームのうち、表示のために使用される順番が欠落したフレームに最も近いフレームを複製することで、前記欠落したフレームを補間する、請求の範囲第１項に記載の動画像再生装置。
  8. 前記ヘッダ情報は、フレームを特定するためのフレーム番号を含み、
    前記異常検出手段は、前記ｎ番目のフレームを含む連続する少なくとも３つのフレームにそれぞれ対応する３つのフレーム番号に基づいて、前記３つのフレームのうち、前記記憶手段に記憶されており、かつ、フレーム番号の誤りが生じている復号後フレームがあるか否かを判定する、請求の範囲第１項に記載の動画像再生装置。
  9. 前記異常検出手段により前記フレーム番号の誤りが生じている復号後フレームがあると判定された場合、前記フレーム番号の誤りが生じている復号後フレームのフレーム番号を、前記３つのフレームのうち、誤りのないフレームのフレーム番号に基づいて修正する番号修正手段（５）をさらに備える、請求の範囲第８項に記載の動画像再生装置。
  10. 前記ヘッダ情報は、フレームを特定するためのフレーム番号を含み、
    前記複数のフレームは、前記フレーム復号手段により前記参照画像として使用される複数の参照フレームを含み、
    前記異常検出手段は、前記フレーム復号手段により復号される前記ｎ番目のフレームに対応するフレーム番号と、前記フレーム復号手段により復号される（ｎ−１）番目のフレームに対応するフレーム番号と、前記フレーム復号手段により復号された複数の前記参照フレームのうち前記ｎ番目のフレームに２番目に近い参照フレームに対応するフレーム番号とに基づいて、フレームに関する異常があるか否かを検出する、請求項１に記載の動画像再生装置。
  11. 前記異常検出手段により検出された異常は、前記フレーム復号手段が前記ｎ番目のフレームを復号する場合に前記フレーム復号手段に使用される前記参照画像としての復号後フレームが前記記憶手段に記憶されていないという異常であり、
    前記リスト修正手段は、前記参照画像としての復号後フレームが前記記憶手段に記憶されていないという異常がある場合、前記参照画像としての復号後フレームのフレーム番号と、前記記憶手段に記憶されている前記１以上の復号後フレームのうち、表示のために最も遅く使用されるフレームの格納アドレスとを関連付けることで、前記参照リストを修正する、請求の範囲第１０項に記載の動画像再生装置。
  12. 前記異常検出手段により検出された異常は、フレームの欠落があるという異常であり、
    前記異常検出手段によりフレームの欠落があると判定された場合、前記記憶手段に記憶されており、前記フレーム復号手段に使用される前記参照画像としての前記１以上の復号後フレームのうち、表示のために最も遅く使用されるフレームを複製することで、欠落したフレームを補間する補間手段（５）をさらに備える、請求の範囲第１０項に記載の動画像再生装置。
  13. 前記異常検出手段により検出された異常は、フレーム番号の誤りが生じている復号後フレームがあるという異常であり、
    前記フレーム番号の誤りが生じている復号後フレームがある場合、前記フレーム番号の誤りが生じている復号後フレームのフレーム番号を、前記ｎ番目のフレーム、前記（ｎ−１）番目のフレームおよび前記ｎ番目のフレームに２番目に近い参照フレームのうち、誤りのないフレームのフレーム番号に基づいて修正する番号修正手段（５）をさらに備える、請求の範囲第１０項に記載の動画像再生装置。
JP2007521104A 2005-04-13 2006-02-23 動画像再生装置 Expired - Fee Related JP4642075B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005115335 2005-04-13
JP2005115335 2005-04-13
PCT/JP2006/303221 WO2006112139A1 (ja) 2005-04-13 2006-02-23 動画像再生装置

Publications (2)

Publication Number Publication Date
JPWO2006112139A1 true JPWO2006112139A1 (ja) 2008-12-04
JP4642075B2 JP4642075B2 (ja) 2011-03-02

Family

ID=37114881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007521104A Expired - Fee Related JP4642075B2 (ja) 2005-04-13 2006-02-23 動画像再生装置

Country Status (3)

Country Link
US (1) US20090074078A1 (ja)
JP (1) JP4642075B2 (ja)
WO (1) WO2006112139A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336275A (ja) * 2006-06-15 2007-12-27 Toshiba Corp 動画像再生装置
US8605779B2 (en) 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
JP4676474B2 (ja) * 2007-10-23 2011-04-27 株式会社日立国際電気 画像符号化方法
JP5061355B2 (ja) * 2009-11-24 2012-10-31 株式会社日立国際電気 画像符号化方法、装置およびプログラムならびに画像処理機器
US9516379B2 (en) * 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
JP5590018B2 (ja) * 2011-12-26 2014-09-17 富士通株式会社 動画データ復号装置、情報機器、動画データ復号方法、動画データ復号プログラム
JP6066561B2 (ja) * 2012-01-26 2017-01-25 キヤノン株式会社 映像処理装置、映像処理方法およびプログラム
US20150071351A1 (en) * 2012-04-15 2015-03-12 Samsung Electronics Co., Ltd. Inter prediction method in which reference picture lists can be changed and apparatus for the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698313A (ja) * 1992-09-14 1994-04-08 Sony Corp 動画像復号化装置
JP2004096706A (ja) * 2002-04-16 2004-03-25 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
JP3373130B2 (ja) * 1997-03-24 2003-02-04 沖電気工業株式会社 画像復号化装置
JP2004088722A (ja) * 2002-03-04 2004-03-18 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
JP2004254195A (ja) * 2003-02-21 2004-09-09 Matsushita Electric Ind Co Ltd 動画像符号化装置及び動画像符号化方法並びに動画像伝送システム及び動画像符号化プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698313A (ja) * 1992-09-14 1994-04-08 Sony Corp 動画像復号化装置
JP2004096706A (ja) * 2002-04-16 2004-03-25 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法

Also Published As

Publication number Publication date
JP4642075B2 (ja) 2011-03-02
WO2006112139A1 (ja) 2006-10-26
US20090074078A1 (en) 2009-03-19

Similar Documents

Publication Publication Date Title
JP4642075B2 (ja) 動画像再生装置
US8559527B2 (en) Image display apparatus
JP4799027B2 (ja) 記憶制御回路、記憶制御回路におけるアドレスエラーチェック方法
US7979776B2 (en) Error correction block, method and apparatus for generating error correction block, and error correction method
US8527834B2 (en) Information processing device and information processing method
JPS6276825A (ja) 符号誤り訂正方法
JP6468846B2 (ja) 画像符号化復号システムおよびその診断方法
US20070291852A1 (en) Moving picture reproducing apparatus
JP5080817B2 (ja) ポストビタビエラー訂正方法及びポストビタビ処理器
JP5174076B2 (ja) 計算処理装置、受信処理装置、受信処理方法及び受信処理プログラム
KR100450320B1 (ko) 디지털 티브이용 영상변환과 오류자동보정 장치 및 방법
JP4601512B2 (ja) Ｄｓｖ制御装置およびｄｓｖ制御方法
JP2006340205A (ja) 誤り訂正装置
KR100223821B1 (ko) 디지탈 비데오 디스크 시스템의 에러정정 회로 및 방법
JP2006246400A (ja) 映像データ修復装置と修復方法、及びそれを用いた映像圧縮符号化システム
JP5522725B2 (ja) 端末装置、端末装置の制御方法、及び制御プログラム
US8913075B2 (en) Image display apparatus, image processing apparatus, image processing method, and image processing method
JPH09330569A (ja) ディジタル信号再生方法及びディジタル信号再生装置
JP3913221B2 (ja) 情報処理装置
JP2012009997A (ja) 動画像表示装置及び方法
JP2008542970A (ja) データ誤りを訂正する方法及び装置、並びにディスクを再生する方法及び装置
JPS63174473A (ja) 画像圧縮動作の診断方法
JPH09223368A (ja) ディジタル信号処理方法
KR970017491A (ko) 디지탈기록재생시스템의 오류수정을 위한 제어신호발생방법 및 그 장치
JPH0442621A (ja) 誤り検出訂正回路

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101130

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees