JP4950133B2 - 受信エラー補完型受信機及びプログラム - Google Patents

Description

本発明は、動画像を符号化したストリームを受信中に、何らかの原因で受信ストリーム断となった場合でも、受信機からの出力画像を違和感無く再生することが可能な受信機に関し、特に、ピクチャ単位で符号化され各ピクチャの表示番号（復号後再生される順番）を含めて符号化されたストリームを入力し、受信エラーを補完して復号する受信機及びプログラムに関する。

ＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ１４４９６−１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のような方式に代表される動画像の圧縮符号化処理は、既に符号化された画像ピクチャからの動きを推定して予測信号を生成し（動き補償予測）、予測信号との差分信号にＤＣＴ変換処理を施し、この変換係数を量子化することで圧縮符号化を行う。

ＡＶＣ／Ｈ．２６４では、動き補償予測を行う際に、時間軸上で過去に存在するピクチャを参照ピクチャとするＰピクチャと、時間軸上で未来に存在するピクチャをも参照ピクチャとするＢピクチャ、前後のピクチャとは関係なく、そのピクチャ内のデータのみを参照するＩピクチャがある。

Ｉピクチャ及びＰピクチャは、現画像と同じ順番で符号化処理及び復号処理が施される。Ｂピクチャは、参照ピクチャを先に符号化処理及び復号処理を施すため、原画像の順序とは異なる順番で符号化処理及び復号処理が行われる。

例えば、動画像を受信する受信機は、復号処理を行う際に伝送路エラー等の何らかの原因によりデータストリームが受信できなくなった場合、画像データの欠落が生じる。この欠落した画像データを補完する技術として、１枚の欠落したピクチャと、その欠落したピクチャの直前及び直後のピクチャを用いて予測及び補完を行う技術が知られている（例えば、特許文献１参照）。

特開２００７‐２８８４６２号公報

しかしながら、特許文献１に開示されるような、受信エラーが生じた際の従来の補完技術では、欠落したピクチャの直前及び直後のピクチャを用いて予測及び補完を行うため、複数の連続したピクチャが欠落した場合に違和感のない再生が困難である。特に、特許文献１に開示される技術では、欠落したピクチャの直後のピクチャはエラー無く受信できることが不可欠な構成である。これは、欠落したピクチャが連続した場合の推定が容易ではないことに起因する。

また、特許文献１に開示される技術では、欠落したＩピクチャの補完には、受信した他のＩピクチャから補完し、欠落したＰピクチャの補完には、受信した他のＩピクチャ又はＰピクチャから補完することができるが、欠落したＢピクチャの補完には、違和感なく再生するための有効な手段が特に示されていない。これは、欠落したＢピクチャについて、補完に用いるピクチャの推定が容易ではないことに起因する。

そこで、本発明の目的は、動画像を符号化したストリームを受信中に、何らかの原因で受信ストリーム断となった場合に、欠落したピクチャがＩ，Ｐ，Ｂピクチャのいずれであっても、又、連続して欠落したピクチャを受信する場合にも違和感無く再生する受信エラー補完型の受信機及びプログラムを提供することにある。

本発明の受信機は、動画像を符号化したストリームを受信中に、何らかの原因で受信ストリーム断となった場合でも、受信機（復号機）からの出力画像を違和感無く再生する。また、本発明の受信機は、ピクチャ単位で符号化された各ピクチャの表示番号（復号後再生される順番）を含めて符号化されたストリームを入力する。受信ストリーム断によりピクチャの画像が欠落した場合でも、当該ピクチャを予測、生成及び補完することで違和感のない映像を出力する。

即ち、本発明の受信機は、予め表示順番号が定められた動画像の符号化したストリームを受信して、一連のピクチャの再生のために受信エラーのピクチャを補完する受信機であって、受信する動画像の符号化したストリームの信号断の発生及び復帰を監視する信号断監視手段と、該ストリームの信号断が発生していない時に受信したストリームを復号して、順次、復号した画像データを蓄積する画像データ蓄積手段と、前記蓄積した画像データを、表示順番号に従って並び替える画像データ並び替え手段と、前記画像データ並び替え手段によって蓄積済みの画像データが並び替えられる度に、並び替えた画像データのうち、当該表示順番号の最も大きい値Ｎ（ｍａｘ）と、２番目に大きい値Ｎ（ｓｅｃｏｎｄ）とをそれぞれ特定する第１の表示順番号特定手段と、前記Ｎ（ｍａｘ）と前記Ｎ（ｓｅｃｏｎｄ）との差が１より大きい場合には、表示順番号が前記Ｎ（ｓｅｃｏｎｄ）＋１であるピクチャを、前記信号断の発生に起因して未蓄積のピクチャの表示順番号と推定し、前記Ｎ（ｍａｘ）と前記Ｎ（ｓｅｃｏｎｄ）との差が１である場合には、表示順番号が前記Ｎ（ｍａｘ）＋１であるピクチャを、前記信号断の発生に起因して未蓄積のピクチャの表示順番号と推定する欠落ピクチャ表示順番号推定手段と、前記欠落ピクチャ表示順番号推定手段により、前記未蓄積のピクチャの表示順番号として前記Ｎ（ｓｅｃｏｎｄ）＋１が推定された場合には、表示順番号が前記Ｎ（ｓｅｃｏｎｄ）及び前記Ｎ（ｍａｘ）のピクチャの画像データと動きベクトルとを用いて、表示順番号が前記Ｎ（ｓｅｃｏｎｄ）＋１であるピクチャの画像データを推定して補完ピクチャ画像を生成し、前記未蓄積のピクチャの表示順番号として前記Ｎ（ｍａｘ）＋１が推定された場合には、表示順番号が前記Ｎ（ｍａｘ）のピクチャの画像データと動きベクトルとを用いて、表示順番号が前記Ｎ（ｍａｘ）＋１であるピクチャの画像データを推定して補完ピクチャ画像を生成する欠落ピクチャ画像推定手段とを備え、前記画像データ並び替え手段は、前記補完ピクチャ画像を用いて、蓄積済みの画像データを、表示順番号に従って一連のピクチャの再生のために再び並び替える手段を有することを特徴とする。

また、本発明の受信機において、前記信号断の復帰の直後に受信して復号した画像データにおける表示順番号の値Ｎ（ｎｅｘｔ）と、該表示順番号の画像データの次に受信して復号した画像データにおける表示順番号の値Ｎ（ｎｅｘｔ２）とをそれぞれ区別して特定する第２の表示順番号特定手段を更に備え、前記欠落ピクチャ表示順番号推定手段は、前記信号断が発生して復帰するまでの間は、前記Ｎ（ｍａｘ）及び前記Ｎ（ｓｅｃｏｎｄ）を用いて、前記信号断の発生に起因して未蓄積のピクチャの表示順番号を推定し、前記信号断の復帰後には、前記Ｎ（ｍａｘ）及び前記Ｎ（ｓｅｃｏｎｄ）と、前記Ｎ（ｎｅｘｔ）及び前記Ｎ（ｎｅｘｔ２）とを用いて、前記信号断の発生に起因して未蓄積のピクチャの表示順番号を推定することを特徴とする。

また、本発明の受信機において、一連のピクチャとして当該受信機から外部に出力することが可能に並び替えられ、且つ蓄積されている画像データの出力待ちの枚数の値を検出する出力待ち枚数検出手段を更に備え、前記欠落ピクチャ表示順番号推定手段は、当該受信機から外部に出力するのに保持すべき画像データの枚数として予め定められた出力待ち枚数の下限値と、前記出力待ち枚数検出手段によって検出した出力待ち枚数の値とを比較して、該出力待ち枚数の値が、当該下限値未満の値である場合にのみ、当該信号断に起因して未蓄積の画像データの表示順番号の推定を行うことを特徴とする。

また、本発明の受信機において、前記欠落ピクチャ画像推定手段は、前記推定した表示順番号に対応するピクチャの画像データと、該画像データの推定に用いる画像データとのフレーム間の時間に応じて、前記動きベクトルをスケーリングすることを特徴とする。

更に本発明は、上記受信機として機能させるためのプログラムとしても特徴付けられる。

以下、図面を参照して、本発明による一実施例の受信機を説明する。

図１は、本発明による一実施例の受信機が適用される通信システム例を示す図である。本通信システム例は、本実施例の受信機１と、送信機２と、動画像のネットワークサービス（例えば、ネットワークサービスサイト）を提供するサービスサーバ３とを備える。同図において、本実施例の受信機１は、サービスサーバ３から、例えば動画ファイルをネットワーク（図示する通信網）を経て取得することができ（経路ａ―ｄ）、或いは又、送信機２（例えば、携帯電話や放送局における放送装置など）から、動画像又は静止画像をネットワーク（図示する通信網）を経て取得することができる（経路ｂ―ｄ）。或いは、本実施例の受信機は、送信機２から、所定の搬送波（一例として、放送用搬送波を含み、放送中継された放送波を含む）に多重されている動画像又は静止画像の信号を受信することにより、無線で取得できる（経路ｃ）。

即ち、本実施例の受信機１は、経路ａ―ｄ、経路ｂ―ｄ、又は、経路ｃのいずれかから、動画像又は静止画像を取得でき、そのような動画像又は静止画像の取得方法自体は、周知の手段により実現することができる。ここで、サービスサーバ３は、ネットワークサービス毎に複数備えてもよく、或いは又、本通信システム例の通信網において複数設けてもよいことは云うまでもない。また、必要に応じて、本実施例の受信機１、送信機２及びサービスサーバ３は、相互通信可能としてもよいものである。本発明においては、受信機の構造又は、該受信機を制御する制御プログラムを主題とするものであり、動画像の供給側は如何なる態様であってもよい。

まず、図２及び図３を参照して、本実施例の受信機１の動作概略を説明し、図４〜図３０を参照して本実施例の受信機１について詳細に説明する。

後述する詳細な実施例により明らかとなるが、本実施例の受信機１は、予め表示順番号が定められた動画像の符号化したストリームを受信して、一連のピクチャの再生のために受信エラーのピクチャを補完することができる。従って、本実施例の受信機を携帯端末に適用できるだけでなく、パーソナルコンピュータを用いて実現することもできる。

本実施例の受信機１は、受信する動画像の符号化したストリームの信号断の発生及び復帰を監視し、該ストリームの信号断が発生していない時に受信したストリームを復号して、順次、復号した画像データを蓄積し、蓄積した画像データを、表示順番号に従って並び替え、蓄積済みの画像データが並び替えられる度に、並び替えた画像データのうち、当該表示順番号の最も大きい値（後述するＮ（ｍａｘ））と、２番目に大きい値（Ｎ（ｓｅｃｏｎｄ））とをそれぞれ特定し、特定した２つの値を用いて、信号断の発生に起因して未蓄積のピクチャの表示順番号を推定し、推定に用いた当該特定した各値から、所定の選定基準（後述する動作フロー）に従って蓄積済みの画像データを選定し、選定した画像データと動きベクトルとを用いて、推定した表示順番号に対応するピクチャの画像データを推定し、補完ピクチャ画像として生成し、補完ピクチャ画像を用いて、蓄積済みの画像データを、表示順番号に従って一連のピクチャの再生のために再び並び替える。

尚、本実施例の受信機１は、信号断が発生して復帰するまでの間、特定した２つの値（Ｎ（ｍａｘ），Ｎ（ｓｅｃｏｎｄ））のみから、信号断の発生に起因して未蓄積のピクチャの表示順番号を推定する。

本実施例の受信機１は、信号断の復帰の直後に受信して復号した画像データにおける表示順番号の値（後述するＮ（ｎｅｘｔ））と、該表示順番号の画像データの次に受信して復号した画像データにおける表示順番号の値（後述するＮ（ｎｅｘｔ２））とをそれぞれ区別して特定し、信号断の復帰後には、特定したＮ（ｍａｘ），Ｎ（ｓｅｃｏｎｄ），Ｎ（ｎｅｘｔ），Ｎ（ｎｅｘｔ２）とを用いて、信号断の発生に起因して未蓄積のピクチャの表示順番号を推定する。

本実施例の受信機１は、一連のピクチャとして当該受信機から外部に出力することが可能に並び替えられ、且つ蓄積されている画像データの出力待ちの枚数の値（Ｍ）を検出し、当該受信機から外部に出力するのに保持すべき画像データの枚数として予め定められた出力待ち枚数の下限値（Ｍ’）と、出力待ち枚数の値（Ｍ）とを比較して、該出力待ち枚数の値（Ｍ）が、当該下限値（Ｍ’）未満の値である場合にのみ、当該信号断に起因して未蓄積の画像データの表示順番号の推定を行う。

図２を参照するに、本実施例の受信機１にて、受信したストリームが、表示順番号（ＳＯＣ）で特定される画像データＤ_Ｎ（ピクチャタイプＩ,Ｐ又はＢ）として、順に入力されるとする。図１の例では、本実施例の受信機１の入力順として、表示順番号♯１, ♯４, ♯２, ♯３の順で入力され、且つ、復号されるべきものとする。ここで、例えば、表示順番号♯１の画像データＤ_１はＩ又はＰピクチャ、表示順番号♯４の画像データＤ_４はＩ又はＰピクチャ、表示順番号♯２の画像データＤ_２はＢピクチャであるとし、表示順番号♯３の画像データＤ_３は、ストリーム断（信号断とも称する）が発生して、本実施例の受信機１は受信できなかった場合を考える。

この場合、本実施例の受信機１は、信号断が発生して受信できなかったとしても、表示順番号に従って、即ち、表示順番号♯１, ♯２, ♯３, ♯４の順で画像データＤ_Ｎを再生することができるように、まず♯３の表示順番号であることを推定し、次に、表示順番号♯３に対応する画像データを推定し、推定したピクチャを補完して、表示順番号♯１, ♯２, ♯３, ♯４の順に並び替える。

この受信機１の動作フローを図３に示す。まず、受信機１は、ストリーム断を検出すると（ステップＳ１１）、ストリーム断の発生で受信できなかったピクチャの表示順番号（例えば、図２と対応させて♯３）を指定する（ステップＳ１２）。次に、受信機１は、既に受信していたピクチャ（例えば、図２と対応させて♯２，４）から、推定した表示順番号♯３に対応する画像データを生成する（ステップＳ１３）。最後に、受信機１は、再生のために表示順にピクチャを並び替える（ステップＳ１４）。

ここで、本実施例の受信機１は、以下の説明で明らかとなるが、ピクチャタイプがＩ,Ｐ，Ｂピクチャのいずれであっても極めて高精度でストリームの信号断（ストリーム断とも称する）の発生で受信できなかったピクチャの表示順番号を推定し、更に、欠落した画像データが連続して発生する場合も、表示において違和感のないように、極めて高画質で画像データを再生することができる。

以下、図４〜図３０を参照して、本実施例の受信機１について、より詳細に説明する。

図４に示すように、本実施例の受信機１は、ストリーム断検知部１２と、ピクチャ復号部１３と、復号済みピクチャ蓄積管理部１４と、欠落ピクチャ表示順番号推定部１５と、欠落ピクチャ画像推定部１６と、推定済みピクチャ蓄積管理部１７と、出力可能ピクチャ表示順並べ替え部１８とを備える。

ストリーム断検知部１２は、受信機１によって受信されるストリーム（以下、受信ストリームと称する）を入力して、受信ストリームをそのままピクチャ復号部１３に出力する。ただし、ストリーム断検知部１２は、受信ストリームの信号断を監視しており、受信ストリームの信号断を検出した場合は、ストリームが途切れている旨を、ピクチャ復号部１３を経て復号済みピクチャ蓄積管理部１４に恒常的に通知するとともに、欠落ピクチャ表示順番号推定部１５にも通知する。ここで、受信ストリームの信号断が発生した場合にのみ通知するようにしてもよいし、或いは又、受信ストリームの信号断の有無を表すフラグを定常的に出力するようにしてもよい。また、この受信ストリームの信号断の検出は、例えば受信機１に具備される既知のＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）復調器（図示せず）から、ＢＥＲ（Ｂｉｔ Ｅｒｒｏｒ Ｒａｔｅ）を取得し、ＢＥＲの値が所定の既定値以下であればストリーム断と判断することができる。

ピクチャ復号部１３は、必要に応じて復号済みの画像データを参照ピクチャとして用い、受信ストリームにおける画像データを復号し、復号したピクチャの表示番号と画像データを順次、復号済みピクチャ蓄積管理部１４に送出する。このピクチャ復号部１３からの出力データは、当該復号順に出力される。また、ピクチャ復号部１３は、ストリーム断検知部１２からの通知に従って、ストリーム断が発生した後の復帰した直後に最初に受信したピクチャの表示順番号（以下、Ｎ（ｎｅｘｔ）と称する）と、復帰した直後から２番目に受信したピクチャの表示順番号（以下、Ｎ（ｎｅｘｔ２）と称する）を、欠落ピクチャ表示順番号推定部１５に送出する機能を有する。尚、この機能は、復号済みピクチャ蓄積管理部１４にて実現することもできることは云うまでもない。例えば、図５に示すように、ピクチャ復号部１３は、画像データを表示順番号♯１, ♯４, ♯２, ♯３の順で入力し、且つ、その順で復号し、Ｎ（ｎｅｘｔ）又はＮ（ｎｅｘｔ２）の値を出力する。

復号済みピクチャ蓄積管理部１４は、所定のサイズの内部バッファ（図示せず）を有し、出力可能ピクチャ表示順並べ替え部１８からの制御により、復号済みピクチャの画像データを表示順番号の順に並び替え、該内部バッファに再蓄積する。また、復号済みピクチャ蓄積管理部１４は、出力可能ピクチャ表示順並べ替え部１８からの制御により決定された、該内部バッファに蓄積されたピクチャの表示順番号のうち、最大の値（即ち、表示順が最後のピクチャとなる表示順番号であり、以下、Ｎ（ｍａｘ）と称する）と、２番目に大きい値（即ち、表示順が最後から２番目のピクチャとなる表示順番号であり、以下、Ｎ（ｓｅｃｏｎｄ）と称する）とを欠落ピクチャ表示順番号推定部１５に送出する。尚、内部バッファとして説明するが、外部にメモリを設けてもよいことは云うまでもない。

例えば、図６に示すように、所定のサイズの内部バッファに蓄積されたピクチャが、表示順番号♯１, ♯４, ♯２で蓄積された画像データであれば、Ｎ（ｍａｘ）＝４であり、Ｎ（ｓｅｃｏｎｄ）＝２となる。或いは又、図７に示すように、所定のサイズの内部バッファに蓄積されたピクチャが、表示順番号♯１, ♯４, ♯２, ♯３で蓄積された画像データであれば、Ｎ（ｍａｘ）＝４であり、Ｎ（ｓｅｃｏｎｄ）＝３となる。

欠落ピクチャ表示順番号推定部１５は、ストリーム断検知部１２からストリーム断の情報を受けた時点で、ストリーム断に起因して受信機１が蓄積できなかったピクチャ（以下、欠落ピクチャと称する）の表示順番号（以下、欠落ピクチャ表示順番号と称する）を推定し、推定した欠落ピクチャ表示順番号を欠落ピクチャ画像推定部１６に出力する。尚、欠落ピクチャ表示順番号推定部１５は、欠落ピクチャ表示順番号の推定のために、復号済みピクチャ蓄積管理部１４から取得したＮ（ｍａｘ）及びＮ（ｓｅｃｏｎｄ）の値と、条件によってはピクチャ復号部１３から取得したＮ（ｎｅｘｔ）又はＮ（ｎｅｘｔ２）の値とを用いて推定する。より詳細な推定手順は、後述する。

ただし、欠落ピクチャ表示順番号推定部１５は、受信機１のユーザが予め設定される「出力待ち枚数下限値Ｍ’」を保持している。この出力待ち枚数下限値Ｍ’は、受信機１から図示しない表示装置における画像表示のために、出力可能ピクチャ表示順並べ替え部１８において表示用に蓄積しておくピクチャの数の下限を意味しており、ユーザが任意に決定することができる。この出力待ち枚数下限値Ｍ’を設定することにより、欠落ピクチャ表示順番号推定部１５は、出力可能ピクチャ表示順並べ替え部１８の制御によって決定した出力待ち枚数Ｍを取得して、出力待ち枚数Ｍの値が、出力待ち枚数下限値Ｍ’以下である場合にのみ欠落ピクチャの表示順番号の推定を行い、一方で、出力待ち枚数Ｍの値が、出力待ち枚数下限値Ｍ’より大きい場合には欠落ピクチャの表示順番号の推定を行わず、ストリーム断からの復帰を待つように動作する。

例えば、この出力待ち枚数下限値Ｍ’の値が小さい程、受信機１は、当該表示装置にピクチャを早く送出することになるため、前述した内部バッファのメモリサイズの空きが大きくなる。

欠落ピクチャ画像推定部１６は、欠落ピクチャ表示順番号推定部１５によって推定された欠落ピクチャの表示順番号、並びにＮ（ｎｅｘｔ），Ｎ（ｎｅｘｔ２），Ｎ（ｍａｘ），Ｎ（ｓｅｃｏｎｄ）の各値を取得して、これらの値に応じて後述する所定の選定基準（後述する動作フロー）に従って、既に蓄積されている１つ以上前の、又は１つ以上後の表示順番号の画像データを復号済みピクチャ蓄積管理部１４から取得する。更に、欠落ピクチャ画像推定部１６は、当該取得した既に蓄積されている画像データから動きベクトルを用いて動き補償して、対象となる欠落ピクチャの表示順番号に対応する画像データ（以下、推定ピクチャ画像データと称する）を生成し、推定済みピクチャ蓄積管理部１７に送出する。

推定済みピクチャ蓄積管理部１７は、欠落ピクチャ画像推定部１６から欠落ピクチャ表示順番号及び対応する推定ピクチャ画像データを受け取り、蓄積する。

出力可能ピクチャ表示順並べ替え部１８は、推定済みピクチャ蓄積管理部１７から、欠落ピクチャ表示順番号及び対応する推定ピクチャ画像データを逐次取得し、復号済みピクチャ蓄積管理部１４における内部バッファ内の復号済みピクチャの画像データを、該推定ピクチャ画像データを補完して表示順番号の順に並び替えて、該内部バッファに再蓄積する。更に、出力可能ピクチャ表示順並べ替え部１８は、該内部バッファ内の画像データを表示順番号に従って外部に出力する（図示しない表示装置の再生タイミングに同期して出力する）。

尚、出力可能ピクチャ表示順並べ替え部１８は、表示順番号の順に並び替えた後も欠落ピクチャ表示順番号推定部１５において未受信のピクチャが存在する場合もあるため、所定のサイズの内部バッファに並び替えて蓄積したピクチャの表示順番号のうち、最大の値であるＮ（ｍａｘ）と、２番目に大きい値であるＮ（ｓｅｃｏｎｄ）とを復号済みピクチャ蓄積管理部１４に送出して、Ｎ（ｍａｘ）及びＮ（ｓｅｃｏｎｄ）の値を更新させる。この更新したＮ（ｍａｘ）及びＮ（ｓｅｃｏｎｄ）は、欠落ピクチャ表示順番号推定部１５によって次に推定されるピクチャのために用いられる。

例えば、Ｎ（ｍａｘ）及びＮ（ｓｅｃｏｎｄ）の更新について説明すると、図８を参照するに、出力可能ピクチャ表示順並べ替え部１８は、復号済みピクチャ蓄積管理部１４から逐次取得した画像データＤ_Ｎとして、画像データＤ_１（表示順番号♯１）, 画像データＤ_Ｓ１（信号断発生のため非受信）, 画像データＤ_４（表示順番号♯４）のうち、画像データＤ_Ｓ１（信号断発生のため非受信）について、欠落ピクチャ画像推定部１６によって生成した推定ピクチャ画像データＤ_２（表示順番号♯２）を入力し、表示順番号の順に並び替える。この場合、出力可能ピクチャ表示順並べ替え部１８は、並び替えた画像データのうち、画像データＤ_２（表示順番号♯２）がＮ（ｓｅｃｏｎｄ）の画像データとして、且つ、画像データＤ_４（表示順番号♯４）がＮ（ｍａｘ）の画像データとして、それぞれＮ（ｓｅｃｏｎｄ）＝２，Ｎ（ｍａｘ）＝４を更新した値として復号済みピクチャ蓄積管理部１４に送出する。

更に、出力可能ピクチャ表示順並べ替え部１８は、更新したＮ（ｓｅｃｏｎｄ），Ｎ（ｍａｘ）の値とともに、当該内部バッファに蓄積したピクチャ画像（画像データ）を表示順に、受信機１の外部に出力する度に、表示順番号の順に出力可能な画像データの出力待ち枚数Ｍ（即ち、復号済みピクチャ蓄積管理部１４における内部バッファ内の画像データのうち、欠落ピクチャ画像推定部１６によって生成される画像データが無くとも表示順番号の順に出力することができるピクチャの枚数）を更新し、復号済みピクチャ蓄積管理部１４に送出する。これにより、復号済みピクチャ蓄積管理部１４は、更新したＮ（ｓｅｃｏｎｄ），Ｎ（ｍａｘ）の値と出力待ち枚数Ｍの値とを逐次、欠落ピクチャ表示順番号推定部１５に送出することができる。

例えば、出力待ち枚数Ｍについて説明すると、図９を参照するに、出力可能ピクチャ表示順並べ替え部１８は、画像データＤ_ｎ（表示順番号♯ｎ）, 画像データＤ_Ｓｎ＋１（信号断発生のため非受信）, 画像データＤ_ｎ＋２（表示順番号♯ｎ＋２），画像データＤ_ｎ＋４（表示順番号♯ｎ＋４）のうち、画像データＤ_Ｓｎ＋１（信号断発生のため非受信）について、欠落ピクチャ画像推定部１６によって生成した推定ピクチャ画像データＤ_ｎ＋１（表示順番号♯ｎ＋１）を入力し、表示順番号の順に並び替える。この場合、出力可能ピクチャ表示順並べ替え部１８は、並び替えた画像データのうち、画像データＤ_ｎ〜Ｄ_ｎ＋２は、欠落ピクチャ画像推定部１６からの画像データを得ずとも受信機１の外部に出力可能であるから、出力待ち枚数Ｍ＝３として決定し、復号済みピクチャ蓄積管理部１４に送出する。尚、画像データＤ_ｎより前の画像データは、既に受信機から出力されている。また、図９の例の場合、Ｎ（ｓｅｃｏｎｄ）＝ｎ＋２，Ｎ（ｍａｘ）＝ｎ＋４である。

尚、上述の復号済みピクチャ蓄積管理部１４、推定済みピクチャ蓄積管理部１７、及び出力可能ピクチャ表示順並べ替え部１８は、機能として個別に分けて説明しているが、単一の機能ブロックとして構成することもできる。

ここで、受信機１として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、ストリーム断検知部１２、ピクチャ復号部１３、復号済みピクチャ蓄積管理部１４、欠落ピクチャ表示順番号推定部１５、欠落ピクチャ画像推定部１６、推定済み復号済みピクチャ蓄積管理部１７、及び出力可能ピクチャ表示順並べ替え部１８を制御するための制御部を中央演算処理装置（ＣＰＵ）で構成でき（図示せず）、且つ、ストリーム断検知部１２、ピクチャ復号部１３、復号済みピクチャ蓄積管理部１４、欠落ピクチャ表示順番号推定部１５、欠落ピクチャ画像推定部１６、推定済み推定済み復号済みピクチャ蓄積管理部１７、及び出力可能ピクチャ表示順並べ替え部１８を動作させるのに必要となる画像を適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる（図示せず）。そのような記憶部は、画像復号装置内部のＲＡＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。

また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、ストリーム断検知部１２、ピクチャ復号部１３、復号済みピクチャ蓄積管理部１４、欠落ピクチャ表示順番号推定部１５、欠落ピクチャ画像推定部１６、推定済み復号済みピクチャ蓄積管理部１７、及び出力可能ピクチャ表示順並べ替え部１８の有する機能を実現させることができる。また、そのようなプログラムは、画像復号装置としてのコンピュータで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることもできる。

以下、本実施例の受信機１の動作フローを図１０に示す。

ステップＳ２１にて、ストリーム断検知部１２により、ストリーム断を常時監視しており、ストリーム断が発生しているか否かを判断し、ストリーム断を検出すれば、図１１に示す図示“Ａ”の動作フロー（後述する）を経て、図１０に示す図示“Ｄ”に戻り、ストリーム断が発生していない場合と同様に、ステップＳ２２に進む。

ステップＳ２２にて、ピクチャ復号部１３により、受信したストリームの画像データを復号する。

ステップＳ２３にて、復号済みピクチャ蓄積管理部１４により、所定の内部バッファに順次復号した画像データを蓄積する。

ステップＳ２４にて、出力可能ピクチャ表示順並べ替え部１８により、復号済みピクチャ蓄積管理部１４における内部バッファに蓄積した画像データを表示順に並び替える。

ステップＳ２５にて、出力可能ピクチャ表示順並べ替え部１８により、表示順に並び替え後の画像データから、Ｎ（ｍａｘ）及びＮ（ｓｅｃｏｎｄ）の値を更新する。

ステップＳ２６にて、出力可能ピクチャ表示順並べ替え部１８により、所定の内部バッファに蓄積したピクチャ画像（画像データ）を表示順に、受信機１の外部に出力する。

ステップＳ２７にて、出力可能ピクチャ表示順並べ替え部１８により、受信機１の外部に出力されておらず、表示順に出力可能の画像データの枚数Ｍの値を逐次更新して、復号済みピクチャ蓄積管理部１４に送出する。

ステップＳ２８にて、受信機１が引き続くストリームの受信又は復号動作が必要であるか否かを既知の受信制御（例えば、ユーザによる受信の停止の有無を含む）により行い、引き続くストリームの受信又は復号動作が必要である場合には、ステップＳ２１に戻る。引き続くストリームの受信又は復号動作が必要でない場合は、受信機１の受信動作を終了させることができる。

以下、欠落ピクチャの推定方法と、欠落ピクチャの画像データの推定方法とを順に説明する。

まず、図１１〜図１３を参照して、ストリーム断検知部１２により、ストリーム断を検出した場合の欠落ピクチャの推定方法について説明する。

［ストリーム断情報が入力された時点］
ストリーム断検知部１２により、ストリーム断を検出した場合は、受信機１は、図１１に示す図示“Ａ”からの動作フローに従って、欠落ピクチャの表示順番号を推定し、欠落ピクチャの画像データを生成する。

ステップＳ３１にて、欠落ピクチャ表示順番号推定部１５は、復号済みピクチャ蓄積管理部１４の内部バッファに蓄積されているピクチャのうち、表示順に従って途切れることなく直ちに外部に出力可能な出力待ち枚数Ｍの値を確認する。具体的には、ステップＳ３１にて、予めユーザが設定した出力待ち枚数下限Ｍ’（出力待ち枚数Ｍの下限）より、Ｍの値が下回っているか、又は同じである場合（Ｍ’≧Ｍ）には、ストリーム断を検出後に直ちに欠落ピクチャの推定、作成、及び補完を行うため、ステップＳ３２に進む。ステップＳ３１にて、ＭがＭ’より大きい場合は、欠落ピクチャの推定、作成、及び補完を行わず、ストリーム断からの復帰を待つことになり、ステップＳ４１に進む。

即ち、欠落ピクチャ表示順番号推定部１５は、ストリーム断情報が入力された時点で、ユーザが予め設定した出力待ち枚数下限Ｍ’（出力待ち枚数Ｍの下限）と出力待ち枚数Ｍとを比較する。Ｍ’＜Ｍの場合、ストリーム断検知部１２からのストリーム復帰情報を待つ。

一方、Ｍ’≧Ｍの場合、欠落ピクチャ表示順番号推定部１５は、欠落ピクチャの表示順番号を推定したその画像データを作成するために、まず、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＞１であるか否かを判定し（ステップＳ３２）、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＞１であれば、表示順番号ＸがＸ＝Ｎ（ｓｅｃｏｎｄ）＋１であるピクチャが欠落ピクチャと推定し、欠落ピクチャ表示順番号Ｌ＝Ｎ（ｓｅｃｏｎｄ＋１）を欠落ピクチャ画像推定部１６に出力する。続いて、欠落ピクチャ画像推定部１６は、Ｎ（ｓｅｃｏｎｄ）及びＮ（ｍａｘ）のピクチャの画像データと動きベクトルを用いて、欠落ピクチャの画像データの推定を行い、推定ピクチャ画像データを生成する（ステップＳ３５）。例えば、「パターン１」として図１４に示すように、画像データＤ_Ｓ３の欠落を検出した場合、表示順番号Ｘ＝Ｎ（ｓｅｃｏｎｄ）＋１＝３と推定し、Ｎ（ｓｅｃｏｎｄ）＝２及びＮ（ｍａｘ）＝６のピクチャの画像データと動きベクトルを用いて、表示順番号＃３の画像データを生成する。

また、Ｍ’≧Ｍの場合にて、欠落ピクチャ表示順番号推定部１５は、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＞１であるか否かを判定し（ステップＳ３２）、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝１であれば、表示順番号Ｘ＝Ｎ（ｍａｘ）＋１であるピクチャが欠落ピクチャと推定し、欠落ピクチャ表示順番号Ｌ＝Ｎ（ｍａｘ）＋１を欠落ピクチャ画像推定部１６に出力する。続いて、欠落ピクチャ画像推定部１６は、Ｎ（ｍａｘ）のピクチャの画像データと動きベクトルを用いて欠落ピクチャの画像データの推定を行い、推定ピクチャ画像データを生成する（ステップＳ３５）。例えば、「パターン２」として図１５に示すように、画像データＤ_Ｓ４の欠落を検出した場合、表示順番号Ｘ＝Ｎ（ｍａｘ）＋１＝４と推定し、Ｎ（ｍａｘ）＝３のピクチャの画像データと動きベクトルを用いて、表示順番号＃４の画像データを生成する。

次に、欠落ピクチャ画像推定部１６は、欠落ピクチャの補完のために、生成した推定ピクチャ画像データを表示順番号４の画像データとして推定済みピクチャ蓄積管理部１７に送出する。続いて、出力可能ピクチャ表示順並べ替え部１８は、推定済みピクチャ蓄積管理部１７から、表示順番号４としての推定ピクチャ画像データを取得し、復号済みピクチャ蓄積管理部１４の内部バッファに蓄積された復号済みピクチャの画像データに表示順番号４としての推定ピクチャ画像データを補完し（ステップＳ３６）、表示順番号の順に並び替え（ステップＳ３７）、Ｎ（ｓｅｃｏｎｄ）及びＮ（ｍａｘ）の値を更新する（ステップＳ３８）。さらに、出力可能ピクチャ表示順並べ替え部１８は、該内部バッファに蓄積したピクチャ画像（画像データ）を表示順に、受信機１の外部に出力する度に（ステップＳ３９）、出力待ち枚数Ｍの値を更新する（ステップＳ４０）。復号済みピクチャ蓄積管理部１４は、更新したＮ（ｓｅｃｏｎｄ），Ｎ（ｍａｘ）の値と出力待ち枚数Ｍの値とを逐次、欠落ピクチャ表示順番号推定部１５に送出する。

次に、ステップＳ４１にて、ストリーム断検知部１２により、継続してストリーム断を監視し、ストリーム断が継続している間は、受信機１は、ステップＳ３１〜ステップＳ３２の処理を繰り返すように動作する。ストリーム断検知部１２により、ストリーム復帰を検出した場合、ストリーム復帰直後に受信したピクチャの表示順番号をＮ（ｎｅｘｔ）として（ステップＳ４２）、図１２に示す図示“Ｂ”の動作フロー（又は、選定条件に依存して、図１３に示す図示“Ｃ”の動作フロー）を経て、図１０に示す図示“Ｄ”に戻るように動作する。

次に、図１２を参照して、ストリームの復帰が確認された場合の動作フローについて説明する。

［ストリームの復帰が確認された時点］
前述した図１１に示すステップＳ４２にて、ピクチャ復号部１３は、ストリーム断検知部１２により検出したストリーム復帰の情報に応じて、ストリーム復帰直後に受信したピクチャの表示順番号をＮ（ｎｅｘｔ）に設定する。尚、欠落ピクチャ表示順番号推定部１５は、復号済みピクチャ蓄積管理部１４から、ピクチャが並び替えられる度に取得する、蓄積済みのピクチャの表示順番号の最大値Ｎ(ｍａｘ)と、蓄積済みのピクチャの表示順番号の２番目に大きい値Ｎ（ｓｅｃｏｎｄ）と、出力待ち枚数Ｍとを保持している。

ステップＳ４３，Ｓ４４にて、欠落ピクチャ表示順番号推定部１５は、まず、Ｎ(ｍａｘ)とＮ（ｓｅｃｏｎｄ）とを比較し、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＞１の場合に、Ｎ(ｎｅｘｔ)−Ｎ（ｓｅｃｏｎｄ）＝１であれば、欠落ピクチャはないと判断し、推定動作を行う必要がないため、受信機１は、ストリームの正常受信時の動作に戻る。例えば、図１６に示すように、表示順に並び替えられた画像データＤ_１，Ｄ_２，Ｄ_３，Ｄ_６において、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝６−２＝４＞１であって、Ｎ(ｎｅｘｔ)−Ｎ（ｓｅｃｏｎｄ）＝３−２＝１であるので、欠落ピクチャはないと判断し、未受信の画像データＤＷ４（♯４），ＤＷ５（♯４）を待つ。Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝１の場合は、図１３を参照して後述する。

一方、ステップＳ４３，Ｓ４４，Ｓ４５にて、欠落ピクチャ表示順番号推定部１５は、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＞１の場合に、Ｎ(ｎｅｘｔ)−Ｎ（ｓｅｃｏｎｄ）＞１であって、且つ、Ｎ(ｎｅｘｔ)＜Ｎ（ｍａｘ）であれば、Ｎ(ｓｅｃｏｎｄ)＋１〜Ｎ（ｎｅｘｔ）−１を欠落ピクチャ表示順番号として推定し、出力する（ステップＳ４６）。続いて、欠落ピクチャ画像推定部１６では、Ｎ（ｓｅｃｏｎｄ），Ｎ（ｍａｘ）及びＮ（ｎｅｘｔ）のピクチャの画像データと動きベクトルを用いて推定ピクチャ画像データの生成を行い、出力可能ピクチャ表示順並べ替え部１８は、復号済みピクチャ蓄積管理部１４における蓄積済みの画像データに推定ピクチャ画像データを表示順に補完する（ステップＳ４８）。

例えば、「パターン３」として図１７に示すように、表示順に並び替えられた画像データＤ_１，Ｄ_２，Ｄ_５，Ｄ_７において、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝７−２＝５＞１の場合に、Ｎ(ｎｅｘｔ)−Ｎ（ｓｅｃｏｎｄ）＝５−２＝３＞１であって、且つ、Ｎ(ｎｅｘｔ)＜Ｎ（ｍａｘ）であるので、Ｎ(ｓｅｃｏｎｄ)＋１＝３〜Ｎ（ｎｅｘｔ）−１＝４を欠落ピクチャ表示順番号として推定し、欠落ピクチャ表示順番号＃３，＃４の画像データＤ_Ｓ３，Ｄ_Ｓ４について、表示順番号Ｎ（ｓｅｃｏｎｄ）＝２，Ｎ（ｍａｘ）＝７及びＮ（ｎｅｘｔ）＝５のピクチャの画像データＤ_２，Ｄ_７，Ｄ_５と動きベクトルを用いて表示順番号＃３，＃４に対応する推定ピクチャ画像データの生成する。ステップＳ４８の後、ストリーム正常時の動作に戻る（図示“Ｄ”）。

また一方で、ステップＳ４３，Ｓ４４，Ｓ４５にて、欠落ピクチャ表示順番号推定部１５は、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＞１の場合に、Ｎ(ｎｅｘｔ)−Ｎ（ｓｅｃｏｎｄ）＞１であって、且つ、Ｎ(ｎｅｘｔ)≧Ｎ（ｍａｘ）であれば、Ｎ(ｓｅｃｏｎｄ)＋１〜Ｎ（ｍａｘ）−１を欠落ピクチャ表示順番号として推定し、出力する（ステップＳ４７）。続いて、欠落ピクチャ画像推定部１６では、Ｎ(ｓｅｃｏｎｄ)とＮ（ｍａｘ）のピクチャ画像データと動きベクトルを用いて推定ピクチャ画像データの生成を行い、出力可能ピクチャ表示順並べ替え部１８は、復号済みピクチャ蓄積管理部１４における蓄積済みの画像データに推定ピクチャ画像データを表示順に補完する（ステップＳ４９）。

例えば、「パターン４」として図１８に示すように、表示順に並び替えられた画像データＤ_１，Ｄ_２，Ｄ_５，Ｄ_７において、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝５−２＝３＞１の場合に、Ｎ(ｎｅｘｔ)−Ｎ（ｓｅｃｏｎｄ）＝７−２＝５＞１であって、且つ、Ｎ(ｎｅｘｔ)≧Ｎ（ｍａｘ）であるので、Ｎ(ｓｅｃｏｎｄ)＋１＝３〜Ｎ（ｍａｘ）−１＝４を欠落ピクチャ表示順番号として推定し、欠落ピクチャ表示順番号＃３，＃４の画像データＤ_Ｓ３，Ｄ_Ｓ４について、表示順番号Ｎ（ｓｅｃｏｎｄ）＝２及びＮ（ｍａｘ）＝５のピクチャの画像データＤ_２，Ｄ_５と動きベクトルを用いて表示順番号＃３，＃４に対応する推定ピクチャ画像データの生成する。

次に、欠落ピクチャ表示順番号推定部１５は、ステップＳ４５で欠落ピクチャ表示順番号を推定した後（ステップ３４で「パターン４」として推定ピクチャ画像データの生成及び補完を終了した後）、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＝１の場合に（ステップＳ５０）、Ｎ(ｎｅｘｔ)が順方向予測（Ｉ又はＰ）であれば（ステップＳ５１）、欠落ピクチャはないと判断し、ストリーム正常時の動作に戻る（図示“Ｄ”）。例えば、図１９に示すように、表示順番号＃３，＃４の画像データは補完され、表示順に並び替えられた画像データＤ_１〜Ｄ_６において、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＝６−５＝１であって、Ｎ(ｎｅｘｔ)＝６が順方向予測（Ｉ又はＰ）であるので、欠落ピクチャはないと判断し、ストリーム正常時の動作に戻る（図示“Ｄ”）。

一方、欠落ピクチャ表示順番号推定部１５は、ステップＳ４５で欠落ピクチャ表示順番号を推定した後（ステップ３４で「パターン４」として推定ピクチャ画像データの生成及び補完を終了した後）、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＝１の場合に（ステップＳ５０）、Ｎ(ｎｅｘｔ)が双方向予測（Ｂ）であれば（ステップＳ５１）、Ｎ（ｎｅｘｔ）が参照しているピクチャの表示順番号を欠落ピクチャの表示順番号として推定し、出力する（ステップＳ５２）。続いて、欠落ピクチャ画像推定部１６では、Ｎ（ｍａｘ）のピクチャの画像データと動きベクトルを用いて参照しているピクチャの画像データの推定ピクチャ画像データの生成を行い、出力可能ピクチャ表示順並べ替え部１８は、復号済みピクチャ蓄積管理部１４における蓄積済みの画像データに推定ピクチャ画像データを表示順に補完する（ステップＳ５９）。

例えば、「パターン５」として図２０に示すように、表示順番号＃３，＃４の画像データは補完され、表示順に並び替えられた画像データＤ_１〜Ｄ_６において、Ｎ(ｎｅｘｔ)＝６が双方向予測（Ｂ）であれば、Ｎ（ｎｅｘｔ）が参照しているピクチャの画像データＤＳｎの表示順番号を欠落ピクチャの表示順番号として推定し、Ｎ（ｍａｘ）＝５のピクチャの画像データと動きベクトルを用いて、参照しているピクチャの画像データＤ_Ｓｎの推定ピクチャ画像データを生成する。ステップＳ５９の後、ストリーム正常時の動作に戻る（図示“Ｄ”）。

また、欠落ピクチャ表示順番号推定部１５は、ステップＳ４５で欠落ピクチャ表示順番号を推定した後（ステップ３４で「パターン４」として推定ピクチャ画像データの生成及び補完を終了した後）、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＞１の場合に（ステップＳ５０）、ピクチャ復号部１３によってＮ(ｎｅｘｔ)の次に受信したピクチャの表示順番号をＮ（ｎｅｘｔ２）に設定し（ステップＳ５３）、更にＮ(ｎｅｘｔ)が順方向予測（Ｉ又はＰ）であって（ステップＳ５５）、且つＮ(ｎｅｘｔ２)−Ｎ（ｍａｘ）＝１であれば（ステップＳ５４）、欠落ピクチャはないと判断し、ストリーム正常受信時の動作に戻る（図示“Ｄ”）。

例えば、図２１に示すように、表示順番号＃３，＃４の画像データは補完され、表示順に並び替えられた画像データＤ_１〜Ｄ_６及びＤ_８において、Ｎ(ｎｅｘｔ)＝８の次に受信したピクチャの表示順番号♯６をＮ（ｎｅｘｔ２）として設定し、更にＮ(ｎｅｘｔ)＝８が順方向予測（Ｉ又はＰ）であって、且つＮ(ｎｅｘｔ２)−Ｎ（ｍａｘ）＝６−５＝１であるので、欠落ピクチャはないと判断し、ストリーム正常受信時の動作に戻る（図示“Ｄ”）。

また、欠落ピクチャ表示順番号推定部１５は、ステップＳ４５で欠落ピクチャ表示順番号を推定した後（ステップ３４で「パターン４」として推定ピクチャ画像データの生成及び補完を終了した後）、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＞１の場合に（ステップＳ５０）、Ｎ(ｎｅｘｔ)が順方向予測（Ｉ又はＰ）であって（ステップＳ５５）、Ｎ(ｎｅｘｔ２)−Ｎ（ｍａｘ）＞１、且つＮ(ｎｅｘｔ２)＜Ｎ（ｎｅｘｔ）であれば（ステップＳ５４，５６）、Ｎ（ｍａｘ）＋１〜Ｎ（ｎｅｘｔ２）−１を欠落ピクチャの表示順番号として推定し、出力する（ステップＳ５７）。続いて、欠落ピクチャ画像推定部１６では、Ｎ（ｍａｘ），Ｎ（ｎｅｘｔ），Ｎ（ｎｅｘｔ２）のピクチャの画像データと動きベクトルを用いて欠落ピクチャの画像データの生成を行い、出力可能ピクチャ表示順並べ替え部１８は、復号済みピクチャ蓄積管理部１４における蓄積済みの画像データに推定ピクチャ画像データを表示順に補完する（ステップＳ５９）。

例えば、「パターン６」として図２２に示すように、表示順番号＃３，＃４の画像データは補完され、表示順に並び替えられた画像データＤ_１〜Ｄ_５、Ｄ_７及びＤ_９において、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＝９−５＝４＞１であり、Ｎ(ｎｅｘｔ)＝９が順方向予測（Ｉ又はＰ）であって、Ｎ(ｎｅｘｔ２)−Ｎ（ｍａｘ）＝７−５＝２＞１、且つＮ(ｎｅｘｔ２)＜Ｎ（ｎｅｘｔ）であるので、Ｎ（ｍａｘ）＋１〜Ｎ（ｎｅｘｔ２）−１、この例では表示順番号♯６を欠落ピクチャの表示順番号として推定し、欠落ピクチャ画像推定部１６では、Ｎ（ｍａｘ）＝５，Ｎ（ｎｅｘｔ）＝９，Ｎ（ｎｅｘｔ２）＝７のピクチャの画像データと動きベクトルを用いて欠落ピクチャの画像データＤ_Ｓ６の生成を行う。ステップＳ５９の後、ストリームの正常受信時の動作に戻る（図示“Ｄ”）。

また、欠落ピクチャ表示順番号推定部１５は、ステップＳ４５で欠落ピクチャ表示順番号を推定した後（ステップ３４で「パターン４」として推定ピクチャ画像データの生成及び補完を終了した後）、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＞１の場合に（ステップＳ５０）、Ｎ(ｎｅｘｔ)が順方向予測（Ｉ又はＰ）であって（ステップＳ５５）、Ｎ(ｎｅｘｔ２)−Ｎ（ｍａｘ）＞１、且つＮ(ｎｅｘｔ２)＞Ｎ（ｎｅｘｔ）であれば（ステップＳ５４，Ｓ５５）、Ｎ（ｍａｘ）＋１〜Ｎ（ｎｅｘｔ）−１を欠落ピクチャの表示順番号として推定し、出力する（ステップＳ５８）。続いて、欠落ピクチャ画像推定部１６では、Ｎ（ｍａｘ）及びＮ（ｎｅｘｔ）のピクチャの画像データと動きベクトルを用いて欠落ピクチャの画像データの生成を行い、出力可能ピクチャ表示順並べ替え部１８は、復号済みピクチャ蓄積管理部１４における蓄積済みの画像データに推定ピクチャ画像データを表示順に補完する（ステップＳ５９）。

例えば、「パターン７」として図２３に示すように、表示順番号＃３，＃４の画像データは補完され、表示順に並び替えられた画像データＤ_１〜Ｄ_５、Ｄ_８及びＤ_９において、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＝８−５＝３＞１であり、Ｎ(ｎｅｘｔ)＝８が順方向予測（Ｉ又はＰ）であって、Ｎ(ｎｅｘｔ２)−Ｎ（ｍａｘ）＝９−５＝４＞１、且つＮ(ｎｅｘｔ２)＞Ｎ（ｎｅｘｔ）であるので、Ｎ（ｍａｘ）＋１＝６〜Ｎ（ｎｅｘｔ）−１＝７を欠落ピクチャの表示順番号として推定し、欠落ピクチャ画像推定部１６では、Ｎ（ｍａｘ）＝５及びＮ（ｎｅｘｔ）＝８のピクチャの画像データと動きベクトルを用いて欠落ピクチャの画像データＤ_Ｓ６，Ｄ_Ｓ７の生成を行う。ステップＳ５９の後、ストリームの正常受信時の動作に戻る（図示“Ｄ”）。

また、欠落ピクチャ表示順番号推定部１５は、ステップＳ４５で欠落ピクチャ表示順番号を推定した後（ステップ３４で「パターン４」として推定ピクチャ画像データの生成及び補完を終了した後）、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＞１の場合に（ステップＳ５０）、Ｎ（ｎｅｘｔ）が双方向予測（Ｂ）であれば（ステップＳ５５）、Ｎ（ｎｅｘｔ）が参照しているピクチャの表示順番号とＮ（ｍａｘ）＋１〜Ｎ（ｎｅｘｔ）−１を欠落ピクチャの表示順番号として推定し、出力する（ステップＳ５８）。続いて、欠落ピクチャ画像推定部１６では、Ｎ（ｍａｘ）及びＮ（ｎｅｘｔ）のピクチャの画像データと動きベクトルを用いて欠落ピクチャの画像データの生成を行い、出力可能ピクチャ表示順並べ替え部１８は、復号済みピクチャ蓄積管理部１４における蓄積済みの画像データに推定ピクチャ画像データを表示順に補完する（ステップＳ５９）。

例えば、「パターン８」として図２４に示すように、表示順番号＃３，＃４の画像データは補完され、表示順に並び替えられた画像データＤ_１〜Ｄ_５、Ｄ_８において、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＝８−５＝３＞１であり、Ｎ（ｎｅｘｔ）が双方向予測（Ｂ）であるので、Ｎ（ｎｅｘｔ）＝８が参照しているピクチャの画像データＤ_Ｓｎの表示順番号と、Ｎ（ｍａｘ）＋１＝６〜Ｎ（ｎｅｘｔ）−１＝７とを欠落ピクチャの表示順番号として推定し、出力する。続いて、欠落ピクチャ画像推定部１６では、Ｎ（ｍａｘ）＝５及びＮ（ｎｅｘｔ）＝８のピクチャの画像データと動きベクトルを用いて、欠落ピクチャの画像データＤ_Ｓ６，Ｄ_Ｓ７，Ｄ_Ｓｎの生成を行う。ステップＳ５９の後、ストリームの正常受信時の動作に戻る（図示“Ｄ”）。

次に、ステップＳ４３でストリームの復帰が確認された時点のＮ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝１の場合（図１２における図示“Ｃ”）について、図１３を参照して説明する。

欠落ピクチャ表示順番号推定部１５は、ステップＳ４３でＮ（ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝１の場合に、Ｎ（ｎｅｘｔ)−Ｎ（ｍａｘ）＝１であって（ステップＳ６１）、且つＮ（ｎｅｘｔ）が順方向予測（Ｉ又はＰ）であると判定すると（ステップＳ６２）、ストリームの正常受信時の動作に戻る（図示“Ｄ”）。例えば、図２５に示すように、表示順番号表示順に並び替えられた画像データＤ１〜Ｄ４において、Ｎ（ｎｅｘｔ)−Ｎ（ｍａｘ）＝４−３＝１であって、且つＮ（ｎｅｘｔ）＝４が順方向予測（Ｉ又はＰ）であるので、欠落ピクチャはないと判断する。

一方、欠落ピクチャ表示順番号推定部１５は、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝１の場合に（ステップＳ４３）、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＝１であって（ステップＳ６１）、且つＮ（ｎｅｘｔ）が双方向予測（Ｂ）であれば（ステップＳ６２）、Ｎ（ｎｅｘｔ）が参照しているピクチャの表示順番号を欠落ピクチャの表示順番号として推定し、出力する（ステップＳ６３）。続いて、欠落ピクチャ画像推定部１６では、Ｎ（ｍａｘ）のピクチャの画像データと動きベクトルを用いて欠落ピクチャの画像データの生成を行い、出力可能ピクチャ表示順並べ替え部１８は、復号済みピクチャ蓄積管理部１４における蓄積済みの画像データに推定ピクチャ画像データを表示順に補完する（ステップＳ６９）。

例えば、「パターン９」として図２６に示すように、表示順に並び替えられた画像データＤ_１〜Ｄ_４において、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝３−２＝１であり、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＝４−３＝１であって、且つＮ（ｎｅｘｔ）が双方向予測（Ｂ）であるので、Ｎ（ｎｅｘｔ）が参照しているピクチャの画像データＤ_Ｓｎの表示順番号を欠落ピクチャの表示順番号として推定し、欠落ピクチャ画像推定部１６では、Ｎ（ｍａｘ）＝３のピクチャの画像データと動きベクトルを用いて欠落ピクチャの画像データＤ_Ｓｎの生成を行い、出力可能ピクチャ表示順並べ替え部１８は、復号済みピクチャ蓄積管理部１４における蓄積済みの画像データに推定ピクチャ画像データを表示順に補完する。ステップＳ６９の後、ストリームの正常受信時の動作に戻る（図示“Ｄ”）。

一方、欠落ピクチャ表示順番号推定部１５は、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝１の場合に（ステップＳ４３）、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＞１であれば（ステップＳ６１）、Ｎ(ｎｅｘｔ)の次に受信したピクチャの表示順番号をＮ（ｎｅｘｔ２）として設定する（ステップＳ６４）。続いて、欠落ピクチャ表示順番号推定部１５は、Ｎ(ｎｅｘｔ２)−Ｎ（ｍａｘ）＝１であれば（ステップＳ６５）、ストリームの正常受信時の動作に戻る（図示“Ｄ”）。例えば、図２７に示すように、表示順に並び替えられた画像データＤ_１〜Ｄ_４，Ｄ_７において、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝３−２＝１であり、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＝７−３＞１であって、且つ、Ｎ(ｎｅｘｔ２)−Ｎ（ｍａｘ）＝４−３＝１であるので、欠落ピクチャはないと判断する。

また、欠落ピクチャ表示順番号推定部１５は、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝１の場合に（ステップＳ４３）、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＞１であって（ステップＳ６１）、Ｎ(ｎｅｘｔ)の次に受信したピクチャの表示順番号をＮ（ｎｅｘｔ２）として設定すると（ステップＳ６４）、Ｎ(ｎｅｘｔ２)−Ｎ（ｍａｘ）＞１であって、且つＮ（ｎｅｘｔ２）＜Ｎ（ｎｅｘｔ）であると判定すれば（ステップＳ６５，Ｓ６６）、Ｎ（ｍａｘ）＋１〜Ｎ（ｎｅｘｔ２）−１を欠落ピクチャの表示順番号として推定し、出力する（ステップＳ６７）。続いて、欠落ピクチャ画像推定部１６では、Ｎ（ｍａｘ），Ｎ（ｎｅｘｔ）及びＮ（ｎｅｘｔ２）のピクチャの画像データと動きベクトルを用いて欠落ピクチャの画像データの生成を行い、出力可能ピクチャ表示順並べ替え部１８は、復号済みピクチャ蓄積管理部１４における蓄積済みの画像データに推定ピクチャ画像データを表示順に補完する（ステップＳ６９）。

例えば、「パターン１０」として図２８に示すように、表示順に並び替えられた画像データＤ_１〜Ｄ_３，Ｄ_５，Ｄ_７において、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝３−２＝１であり、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＝７−３＝４＞１であって、Ｎ(ｎｅｘｔ)＝７の次に受信したピクチャの表示順番号が♯５であるとすると、Ｎ（ｎｅｘｔ２）＝５に設定し、Ｎ(ｎｅｘｔ２)−Ｎ（ｍａｘ）＝５−３＝２＞１であって、且つＮ（ｎｅｘｔ２）＜Ｎ（ｎｅｘｔ）であるので、Ｎ（ｍａｘ）＋１〜Ｎ（ｎｅｘｔ２）−１、即ち＃４を欠落ピクチャの表示順番号として推定し、欠落ピクチャ画像推定部１６は、Ｎ（ｍａｘ）＝３，Ｎ（ｎｅｘｔ）＝７及びＮ（ｎｅｘｔ２）＝５のピクチャの画像データと動きベクトルを用いて欠落ピクチャの画像データＤ_Ｓ４の生成を行う。ステップＳ６９の後、ストリームの正常受信時の動作に戻る（図示“Ｄ”）。

欠落ピクチャ表示順番号推定部１５は、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝１の場合に（ステップＳ４３）、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＞１であって（ステップＳ６１）、Ｎ(ｎｅｘｔ)の次に受信したピクチャの表示順番号をＮ（ｎｅｘｔ２）として設定すると（ステップＳ６４）、Ｎ(ｎｅｘｔ２)−Ｎ（ｍａｘ）＞１であって、且つＮ（ｎｅｘｔ２）＞Ｎ（ｎｅｘｔ）であると判定すれば（ステップＳ６５，Ｓ６６）、Ｎ（ｍａｘ）＋１〜Ｎ（ｎｅｘｔ）−１を欠落ピクチャの表示順番号として出力する（ステップＳ６８）。続いて、欠落ピクチャ画像推定部１６では、Ｎ（ｍａｘ）及びＮ（ｎｅｘｔ）のピクチャの画像データと動きベクトルを用いて欠落ピクチャの画像データの生成を行い、出力可能ピクチャ表示順並べ替え部１８は、復号済みピクチャ蓄積管理部１４における蓄積済みの画像データに推定ピクチャ画像データを表示順に補完する（ステップＳ６９）。

例えば、「パターン１１」として図２９に示すように、表示順に並び替えられた画像データＤ_１〜Ｄ_３，Ｄ_５，Ｄ_７において、Ｎ(ｍａｘ)−Ｎ（ｓｅｃｏｎｄ）＝３−２＝１であり、Ｎ(ｎｅｘｔ)−Ｎ（ｍａｘ）＝５−３＝２＞１であって、Ｎ(ｎｅｘｔ)＝５の次に受信したピクチャの表示順番号が♯７であるとすると、Ｎ（ｎｅｘｔ２）＝７に設定し、Ｎ(ｎｅｘｔ２)−Ｎ（ｍａｘ）＝７−３＝４＞１であって、且つＮ（ｎｅｘｔ２）＞Ｎ（ｎｅｘｔ）であるので、Ｎ（ｍａｘ）＋１〜Ｎ（ｎｅｘｔ）−１、即ちこの例では＃４を欠落ピクチャの表示順番号として推定し、欠落ピクチャ画像推定部１６は、Ｎ（ｍａｘ）＝３及びＮ（ｎｅｘｔ）＝５のピクチャの画像データと動きベクトルを用いて欠落ピクチャの画像データＤ_Ｓ４の生成を行う。ステップＳ６９の後、ストリームの正常受信時の動作に戻る（図示“Ｄ”）。

欠落ピクチャ画像推定部１６における欠落ピクチャの画像データの推定の動作について説明を加えると、前述したように、欠落ピクチャの画像データの生成には、欠落ピクチャの少なくとも１つ以上の前又は後のピクチャの画像データと動きベクトルを用いる。本実施例において、欠落ピクチャの画像データを生成するための少なくとも１つ以上の前又は後のピクチャの組み合わせは、以下の５種類となる。
（１）１枚の前ピクチャ（Ｉ又はＰ又はＢ）と１枚の後ろピクチャ（Ｉ又はＰ）の組み合わせ
（２）１枚の前ピクチャ（Ｉ又はＰ又はＢ）と１枚の後ろピクチャ（Ｂ）及び１枚の後ろピクチャ（Ｉ又はＰ）の組み合わせ
（３）１枚の前ピクチャ（Ｉ又はＰ）と１枚の後ろピクチャ（Ｉ又はＰ）の組み合わせ
（４）１枚の前ピクチャ（Ｉ又はＰ）と１枚の後ろピクチャ（Ｂ）及び１枚の後ろピクチャ（Ｉ又はＰ）の組み合わせ
（５）１枚の前ピクチャ（Ｉ又はＰ）のみ

例えば、図３０に示すように、欠落ピクチャ画像推定部１６は、欠落ピクチャの画像データＤ_Ｓｎに対して、１枚の前ピクチャ（Ｉ）の画像データＤ_Ｎと、後ろピクチャ（Ｂ）の画像データＤ_ｎ＋１及び後ろピクチャ（Ｉ）の画像データＤ_ｎ＋２とを用いて動き補償する場合の一例を示す。この場合、フレーム間の時間Ｔを有する画像データＤ_ｎ＋２からの動きベクトルＭＶは、フレーム間の時間ｔを有する動きベクトルｍｖとの間で、ＭＶ＝ｍｖ×Ｔ／ｔで表されるようにスケーリングして動き補償する。

上述した実施例の受信機によれば、動画映像を符号化したストリームを受信中に、何らかの原因で受信ストリーム断となった場合でも、受信機からの出力映像を違和感なく出力ができる。

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。例えば、上述した実施例において、欠落ピクチャの画像データを生成するために、当該欠落ピクチャに時間的に近接する画像データが受信機の外部に未出力で蓄積されている場合、これらの画像データの全てを積極的に用いるように説明したが、必ずしもこれらの画像データの全てを用いるように構成することを義務付けるものではない。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明の受信機によれば、動画像を符号化したストリームを受信中に、何らかの原因で受信ストリーム断となった場合に、欠落したピクチャがＩ，Ｐ，Ｂピクチャのいずれであっても、或いは又連続して欠落したピクチャを受信する場合であっても、違和感無く再生することができるようになるため、符号化したストリームを復号するあらゆる用途に有用である。

本発明による一実施例の受信機が適用される通信システム例を示す図である。 本発明による一実施例の受信機の動作を説明する図である。 本発明による一実施例の受信機の動作を説明する図である。 本発明による一実施例の受信機の構成を示す図である。 本発明による一実施例の受信機における復号動作を説明する図である。 本発明による一実施例の受信機における表示順番号推定動作を説明する図である。 本発明による一実施例の受信機における特定の表示順番号の選定動作を説明する図である。 本発明による一実施例の受信機における特定の表示順番号の更新動作を説明する図である。 本発明による一実施例の受信機における出力待ち枚数について説明する図である。 本発明による一実施例の受信機の動作を示すフローチャートである。 本発明による一実施例の受信機の動作を示すフローチャートである。 本発明による一実施例の受信機の動作を示すフローチャートである。 本発明による一実施例の受信機の動作を示すフローチャートである。 本発明による一実施例の受信機における「パターン１」の表示順番号の推定動作を説明する図である。 本発明による一実施例の受信機における「パターン２」の表示順番号の推定動作を説明する図である。 本発明による一実施例の受信機における正常受信動作に移行する動作を説明する図である。 本発明による一実施例の受信機における「パターン３」の表示順番号の推定動作を説明する図である。 本発明による一実施例の受信機における「パターン４」の表示順番号の推定動作を説明する図である。 本発明による一実施例の受信機における正常受信動作に移行する動作を説明する図である。 本発明による一実施例の受信機における「パターン５」の表示順番号の推定動作を説明する図である。 本発明による一実施例の受信機における正常受信動作に移行する動作を説明する図である。 本発明による一実施例の受信機における「パターン６」の表示順番号の推定動作を説明する図である。 本発明による一実施例の受信機における「パターン７」の表示順番号の推定動作を説明する図である。 本発明による一実施例の受信機における「パターン８」の表示順番号の推定動作を説明する図である。 本発明による一実施例の受信機における正常受信動作に移行する動作を説明する図である。 本発明による一実施例の受信機における「パターン９」の表示順番号の推定動作を説明する図である。 本発明による一実施例の受信機における正常受信動作に移行する動作を説明する図である。 本発明による一実施例の受信機における「パターン１０」の表示順番号の推定動作を説明する図である。 本発明による一実施例の受信機における「パターン１１」の表示順番号の推定動作を説明する図である。 本発明による一実施例の受信機における動きベクトルを用いた推定動作を説明する図である。

符号の説明

１ 受信機
２ 送信機
３ サービスサーバ
１２ ストリーム断検知部
１３ ピクチャ復号部
１４ 復号済みピクチャ蓄積管理部
１５ 欠落ピクチャ表示順番号推定部
１６ 欠落ピクチャ画像推定部
１７ 推定済みピクチャ蓄積管理部
１８ 出力可能ピクチャ表示順並び替え部

Claims (5)

1. 予め表示順番号が定められた動画像の符号化したストリームを受信して、一連のピクチャの再生のために受信エラーのピクチャを補完する受信機であって、
   受信する動画像の符号化したストリームの信号断の発生及び復帰を監視する信号断監視手段と、
   該ストリームの信号断が発生していない時に受信したストリームを復号して、順次、復号した画像データを蓄積する画像データ蓄積手段と、
   前記蓄積した画像データを、表示順番号に従って並び替える画像データ並び替え手段と、
   前記画像データ並び替え手段によって蓄積済みの画像データが並び替えられる度に、並び替えた画像データのうち、当該表示順番号の最も大きい値Ｎ（ｍａｘ）と、２番目に大きい値Ｎ（ｓｅｃｏｎｄ）とをそれぞれ特定する第１の表示順番号特定手段と、
   前記Ｎ（ｍａｘ）と前記Ｎ（ｓｅｃｏｎｄ）との差が１より大きい場合には、表示順番号が前記Ｎ（ｓｅｃｏｎｄ）＋１であるピクチャを、前記信号断の発生に起因して未蓄積のピクチャの表示順番号と推定し、前記Ｎ（ｍａｘ）と前記Ｎ（ｓｅｃｏｎｄ）との差が１である場合には、表示順番号が前記Ｎ（ｍａｘ）＋１であるピクチャを、前記信号断の発生に起因して未蓄積のピクチャの表示順番号と推定する欠落ピクチャ表示順番号推定手段と、
   前記欠落ピクチャ表示順番号推定手段により、前記未蓄積のピクチャの表示順番号として前記Ｎ（ｓｅｃｏｎｄ）＋１が推定された場合には、表示順番号が前記Ｎ（ｓｅｃｏｎｄ）及び前記Ｎ（ｍａｘ）のピクチャの画像データと動きベクトルとを用いて、表示順番号が前記Ｎ（ｓｅｃｏｎｄ）＋１であるピクチャの画像データを推定して補完ピクチャ画像を生成し、前記未蓄積のピクチャの表示順番号として前記Ｎ（ｍａｘ）＋１が推定された場合には、表示順番号が前記Ｎ（ｍａｘ）のピクチャの画像データと動きベクトルとを用いて、表示順番号が前記Ｎ（ｍａｘ）＋１であるピクチャの画像データを推定して補完ピクチャ画像を生成する欠落ピクチャ画像推定手段とを備え、
   前記画像データ並び替え手段は、前記補完ピクチャ画像を用いて、蓄積済みの画像データを、表示順番号に従って一連のピクチャの再生のために再び並び替える手段を有することを特徴とする受信機。
2. 前記信号断の復帰の直後に受信して復号した画像データにおける表示順番号の値Ｎ（ｎｅｘｔ）と、該表示順番号の画像データの次に受信して復号した画像データにおける表示順番号の値Ｎ（ｎｅｘｔ２）とをそれぞれ区別して特定する第２の表示順番号特定手段を更に備え、
   前記欠落ピクチャ表示順番号推定手段は、前記信号断が発生して復帰するまでの間は、前記Ｎ（ｍａｘ）及び前記Ｎ（ｓｅｃｏｎｄ）を用いて、前記信号断の発生に起因して未蓄積のピクチャの表示順番号を推定し、前記信号断の復帰後には、前記Ｎ（ｍａｘ）及び前記Ｎ（ｓｅｃｏｎｄ）と、前記Ｎ（ｎｅｘｔ）及び前記Ｎ（ｎｅｘｔ２）とを用いて、前記信号断の発生に起因して未蓄積のピクチャの表示順番号を推定することを特徴とする、請求項１に記載の受信機。
3. 一連のピクチャとして当該受信機から外部に出力することが可能に並び替えられ、且つ蓄積されている画像データの出力待ちの枚数の値を検出する出力待ち枚数検出手段を更に備え、
   前記欠落ピクチャ表示順番号推定手段は、当該受信機から外部に出力するのに保持すべき画像データの枚数として予め定められた出力待ち枚数の下限値と、前記出力待ち枚数検出手段によって検出した出力待ち枚数の値とを比較して、該出力待ち枚数の値が、当該下限値未満の値である場合にのみ、当該信号断に起因して未蓄積の画像データの表示順番号の推定を行うことを特徴とする、請求項１又は２に記載の受信機。
4. 前記欠落ピクチャ画像推定手段は、前記推定した表示順番号に対応するピクチャの画像データと、該画像データの推定に用いる画像データとのフレーム間の時間に応じて、前記動きベクトルをスケーリングすることを特徴とする、請求項１〜３のいずれか一項に記載の受信機。
5. コンピュータを、請求項１〜４のいずれか一項に記載の受信機として機能させるためのプログラム。

Images