JP4561837B2 - 再生装置、システム、方法、プログラム及びコンピュータ読取可能な記録媒体 - Google Patents

Description

本発明は、再生装置、システム、方法、プログラム及びコンピュータ読取可能な記録媒体に関する。

ストリーミング配信時の多数のフレームからなる受信映像データの異常なフレームにより画質が劣化した部分に対する補間技術を用いて映像を再生する再生装置関連の技術が種々提案されている。関連技術を以下に述べる。
前フレームを用いて補間処理を行なう技術が特許文献１に記載されている。
特許文献１のフレーム間予測復号化装置には、フレーム間予測符号化された画像信号を復号化するに際し、フレーム間差分を積分する為に第１のフレームメモリに記憶するフレームデータより一つ前のフレームデータを記憶する第２のフレームメモリを設け、伝送路エラー発生時に第２のフレームメモリに記憶したフレームデータを出力する構成が記載されている。

このフレーム間予測復号化装置は、エラーを検出した場合、表示装置に送るデータは、エラーが発生する一つ前のデータであるので、表示装置にエラーのない画像が表示される。

画質劣化の補間処理の難易度により、補間処理と再送処理を切り替える技術が特許文献２に記載されている。
特許文献２の映像信号のパケット伝送装置には、伝送路等で紛失しても補間の容易な映像伝送成分でパケットを構成する回路と、紛失すると補間の難しい映像信号成分でパケットを構成する回路と、紛失した場合に画像が劣化する精度の大きいパケットに対してパケットの優先順位表示領域により高い優先順位を与える回路とで構成されている。

この映像信号のパケット伝送装置は、伝送路等でパケット廃棄が起こるような状態となったときには第１群のパケットが先に廃棄される。第１群のパケットは補間が容易で重要な画像情報ではないため、第１のパケットが廃棄されても画質劣化はそれほど大きくない。

リアルタイム性を維持するため、フレーム内に複数存在する画質劣化部分に優先順位を決定して補間処理を行なう技術が特許文献３に記載されている。
特許文献３の画像処理装置は、受信した動画像データから欠陥部分を検出する欠陥検出手段と、動画像データの１つのフレーム内に欠陥部分が複数存在していた場合に、欠陥部分に対して優先順位を決定する決定手段と、決定手段が決定した優先順位に応じて欠陥部分に対して補間処理を行なう補間処理手段とで構成されている。

この画像処理装置の画像伸張処理部は、通信処理部が受信した動画像ストリームデータに対してデコード処理を行い、動画像データを出力する。画像欠陥検出部は、画像伸張処理部が出力する動画像データから欠陥部分を検出する。補間順位決定部は、動画像データの１つのフレーム内に欠陥部分が複数存在していた場合に、欠陥部分に対して補間処理の優先順位を決定する。補間処理部は、補間順位決定部が決定した優先順位に応じて欠陥部分に対して補間処理を行なう。

また、FEC(Forward Error Correction)と呼ばれるあらかじめ送信側のデータに対して、受信側で行なうエラー検出・訂正処理のためにパリティ（冗長データ）を付加し、再送処理を必要とせずに受信済みの正常な他のパケットから欠損を補間する技術がある。

さらに、画像データにエラーが検出された場合に受信側での自律的な規制により見やすい画像を表示する技術が特許文献４に記載されている。
特許文献４の画像受信装置は、符号化された画像データを受信する受信手段と、受信された画像データを再生する再生手段と、再生手段によって得られた画像を表示する表示手段と、受信された画像データのエラーを検出する検出手段と、受信された画像データのエラー耐性の強度を測定する測定手段と、受信された画像データにエラーが検出された場合に、測定されたエラー耐性の強度に応じて、表示手段に表示される画像を切り替える切替手段とで構成されている。

この画像受信装置は、可変長復号部が、フレーム符号化モードを復号し、エラー検出部が、可変長復号部による復号中に画像データのエラーを検出し、受信間隔測定部が、フレーム符号化モードに基づいてキーフレームの受信間隔を測定し、切替制御部が、エラーの有無、フレーム符号化モードおよびランダムアクセス間隔に基づいて、スイッチの接続／切断を制御することにより、表示部に表示される画像を切り替える。

映像及び音声データを送信装置からストリーミング配信し、映像及び音声データを受信し、受信した映像及び音声データに基づき映像及び音声を出力する装置が特許文献５に記載されている。

特許文献５の出力装置は、他の装置から送出されたデータを受信し、受信したデータに対して必要に応じて欠損箇所を補償する欠損補償処理を行った上で、データに基づく出力処理を行なう出力装置において、受信したデータの欠損状況を検出する検出手段と、検出した欠損状況に基づいて、データの出力に係る遅延時間を算出する算出手段と、算出した遅延時間に応じてデータの出力を遅延させる手段とで構成されている。

この出力装置は、映像及び音声データを受信し、受信した映像及び音声データ中で、欠損補償処理により補償することが可能な欠損箇所の個数を検出し、検出した欠損箇所の個数に対応する欠損補償処理に要する時間に基づき、受信した映像及び音声データの出力に対する遅延時間を算出し、映像及び音声データの欠損箇所を補償する欠損補償処理を実行し、欠損補償処理後の映像及び音声データを算出した遅延時間分遅延させた後、出力する。
特開昭６２−０６１４８５号公報 特開平０３−０２２７３５号公報 特開２００６−１７４２８０号公報 特開２００３−２８４０６４号公報 特開２００６−３１９５８３号公報

しかし、テレビ会議等の高いリアルタイム性が要求される場面では、映像データのバッファリング量は可能な限り少ない方がよく、特許文献２に記載の発明のように再送処理を行なうことはバッファリングを多く持つことになりリアルタイム性が損なわれる問題がある。
また、マルチキャストによるストリーミングのように再送処理を行なうことが不可能である場面では、特許文献２に記載の発明のように再送処理を行なうことは不可能である。

また、異常なフレームの量が多く補間処理が不可能である場合や、シーンの切り替わり時は特許文献１や特許文献３に記載の手法では十分な補間処理を行なうことができず、画質劣化を引き起こしてしまうという問題がある。
また、FECでは配信側で付加したパリティに受信側で対応する必要があり、受信側で想定していない種類のパリティが付加されたデータが配信されている場合は、受信側では補間処理を行なうことができないという問題がある。

なお、本明細書で表記している映像データの異常とは、映像データの受信時における到着の遅延という意味ではなく、映像データ自体が失われてしまい受信側には到着しないことや映像データの一部が破壊されていることを意味する。また、フレームの異常とは、映像データの異常のために復号後のフレームが不完全な状態を意味する。
さらに、特許文献４、５に記載の発明では主観的な画質劣化の防止が不十分である。
ここで、「主観的」とはPSNR(Peak Signal Noise Ratio)値等の客観的なフレームの画質評価ではなく、視聴者によるフレームの画質評価である。

さらに、「主観」とは「評価者個人の判断や心理などに依存して採点」を表し、「客観」とは「評価者の主観に左右されずに機械的に採点」を表す。視聴者による視聴時の画質評価は、同じフレームを視聴した場合でも、その画質の受け取り方は個人の判断や心理などに依存するため「主観」であると考えられる。
そこで、本発明の目的は、出力フレームの主観評価値の低下を防止した再生装置、再生システム、再生方法、プログラム、及び記録媒体を提供することにある。

本発明に係る再生装置は、映像データが復号されたフレームについて異常の有無を判断する第１の手段と、前記第１の手段により異常有りと判断された異常フレームについて、補間処理可能か否かを判断する第２の手段と、前記第２の手段により補間処理が不可能と判断された場合に、前記異常フレームの直前のフレームの出力を維持する第３の手段と、を有し、前記第３の手段は、前記第２の手段により補間処理が不可能と判断されたフレームが後続のキーフレームから所定フレーム数以内にある場合に、前記後続のキーフレームが出現するまで、前記異常フレームの直前のフレームの出力を維持し、前記所定フレーム数以内にない場合に、前記異常フレームを出力し、前記所定フレーム数は、キーフレーム間隔内であって、視聴者の選好に応じたフレーム数であることを特徴とする。

本発明に係る再生システムは、ネットワークを介して、上記再生装置と、前記映像データを配信する映像データ配信サーバと、が通信可能に接続されたことを特徴とする。

本発明に係る再生方法は、映像データを復号し、フレーム化して出力する再生装置の再生方法であって、前記再生装置が、復号されたフレームについて異常の有無を判断する異常判断ステップと、前記再生装置が、前記異常判断ステップにて異常有りと判断された異常フレームについて、補間処理可能か否かを判断する補間処理可否判断ステップと、前記再生装置が、前記補間処理可否判断ステップにて補間処理が不可能と判断されたフレームが後続のキーフレームから所定フレーム数以内にある場合に、前記後続のキーフレームが出現するまで、前記異常フレームの直前のフレームの出力を維持し、前記所定フレーム数以内にない場合に、前記異常フレームを出力するように、出力を制御する出力制御ステップと、を含み、前記所定フレーム数は、キーフレーム間隔内であって、視聴者の選好に応じたフレーム数であることを特徴とする。

本発明に係るプログラムは、コンピュータを、映像データが復号されたフレームについて異常の有無を判断する第１の手段と、前記第１の手段により異常有りと判断された異常フレームについて、補間処理可能か否かを判断する第２の手段と、前記第２の手段により補間処理が不可能と判断された場合に、前記異常フレームの直前のフレームの出力を維持する第３の手段として機能させ、前記第３の手段は、前記第２の手段により補間処理が不可能と判断されたフレームが後続のキーフレームから所定フレーム数以内にある場合に、前記後続のキーフレームが出現するまで、前記異常フレームの直前のフレームの出力を維持し、前記所定フレーム数以内にない場合に、前記異常フレームを出力するように機能させ、前記所定フレーム数は、キーフレーム間隔内であって、視聴者の選好に応じたフレーム数であることを特徴とする。

本発明に係るコンピュータ読取可能な記録媒体は、上記プログラムを記録したことを特徴とする。

本発明によれば、再送処理を必要としないため、ストリーミング配信時の受信映像データの異常に対して、リアルタイム性を維持し、また、マルチキャストなどの再送処理が不可能なストリーミング環境においても、出力フレームの品質の劣化を主観的に防止することが可能である。この結果、出力フレームの主観評価値の低下を防止した再生装置、再生システム、再生方法、プログラム、及び記録媒体の提供を実現することができる。

本発明は、ストリーミング配信時の受信映像データの異常なフレームに対して、再送処理を行なうことなく、出力フレームの品質の劣化を主観的に防止した再生装置、再生システム、再生方法、プログラム、及び記録媒体を提供するものである。
〔実施の形態１〕
本実施形態では、ストリーミング配信時の受信映像データの異常なフレームに対しては各種補間処理を行なう場合について説明する。
本実施形態の再生装置は、異常なフレームの量が処理しきれないほど多い場合やシーンの切り替わりにより補間処理が不可能な場合は、フレーム数が次にキーフレームが出現するまで一定の数だけあれば、現在のフレームから次のキーフレームの出現まで新たな画像の出力を行なわないことで、出力映像の主観評価値の低下を防止するものである。
「出力を行なわない」とは、既出力のフレームを維持し、現在の新たなフレームの出力を行なわないという意味である。

ここで、一般にMPEG(Moving Picture Experts Group)データはほぼ定期的にキーフレームが挿入されている。「ほぼ」とはキーフレームから次のキーフレームまでの間のフレーム数は変動しており、定数ではないためである。
さらに、「キーフレーム」はMPEG1/2/4データであればＩフレームと呼ばれ、H.264/AVCデータであればIDRフレームと呼ばれる。

本実施形態では、視聴者がフレームを視聴中に、例えば映像データの異常により例えば0.3秒間フレームが乱れ続ける場合と、0.3秒間フレームが一時停止する場合とでは、後者の方が主観的評価値は高くなることを主眼としている。

一般に、ストリーミングに使用される映像データは、キーフレームと、キーフレーム間の差分情報をもち個数が変動する複数（例えば、キーフレーム間で１５〜９００個）のフレームとから構成される。
キーフレームは、キーフレームが有する情報から元の画像へデコードすることが可能なフレームである。また、差分情報を持つフレームとは、本実施形態では直前のフレームとの差分計算を行って算出される（フレーム間補間）フレームである。すなわち、画質劣化の程度が大きいフレームが出現した場合は、そのフレームから差分計算を行って算出されたフレームの画質も損なわれているため、次のキーフレームが出現するまでの画質は損なわれ続ける結果となり、主観的な映像品質は低下する。
本実施形態では前述した特許文献３における FECのパリティのような送信側の仕様に依存する等の問題はない。

〔構 成〕
本発明に係る再生方法を適用した再生装置を含む再生システムの一実施の形態であるストリーミング配信における構成の一例を図１に示す。
本再生システムは、映像データ配信サーバ１と、再生装置としてのクライアント２−１と、ネットワーク１０とで構成されている。

映像データ配信サーバ１は、映像データ配信機能を有する装置である。
再生装置としてのクライアント２−１は、記憶装置３−１、第１の手段としての映像データ受信装置４−１、第２の手段としての復号装置５、補間処理装置６、キーフレーム間隔算出装置７、第３の手段としてのフレーム出力制御装置８、及びフレーム出力装置９を備えている。
クライアント２−１は、PC（Personal Computer）やSTB(Set Top Box)などの、ストリーミングにより映像を受信でき、映像データ配信サーバ１からの映像データを復号してフレームを出力することが可能な装置である。

記憶装置３−１は、ディスク記憶装置やメモリ記憶装置等を表し、映像データ配信サーバ１等から配信される映像データをはじめ、算出されたキーフレーム間隔など様々な情報を記憶する装置である。
映像データは、いわゆる動画のデータであり、例えば風景のような同一のフレームが連続した画像のデータであってもよく、例えば人物が歩くような異なるフレームが連続した画像のデータであってもよい。
映像受信装置４−１は、ストリーミング配信された映像データを受信する装置であり、映像データの異常なフレームの有無を判断する装置である。映像受信装置４−１にて、映像データ配信サーバ１からストリーミング配信された映像データを受信し受信映像データに欠損等の異常があった際は、復号装置５が記憶装置３−１から映像データを読み出す際に映像データ中に欠損が存在することを判断できるよう、欠損位置も併せて記憶装置３−１に記憶する。
復号装置５は、受信した映像データをフレームに復号する装置（デコーダ）であり、復号されたフレームが、キーフレームか否かを判断する機能を有し、異常なフレームの補間処理が可能か否かを判断する機能を有する。

ここで、復号されたフレームがキーフレームか否かをどのようにして判断するのかについては、コーデックの規格によりさまざまである。ただし通常はデコードの際にデータ内のヘッダ等から判断することが可能である。
補間処理装置６は、復号装置５にて得られる前フレームからの差分情報を用いて補間処理を行なうこと（フレーム間補間）や、フレーム内補間が可能であると判断した場合に画像の補間処理を行なう装置である。ここで、フレーム内補間とは一つのフレームを構成するパケットを用いたフレームの補間処理をいう。

キーフレーム間隔算出装置７は、復号装置５にてキーフレームであると判断された場合に、キーフレームの出現間隔ｍを算出する装置である。また、過去のキーフレームの出現間隔ｍ’と比較し、現在の異常なフレーム（補間処理が不可能なフレームを含む）から何フレーム後にキーフレームが出現するかを算出（概算）することにより予測値を得る装置である。これは、現在の異常なフレームに対して新たなフレームの出力を行なわないことを適用できるか否かを判断するに当たり、キーフレームの出現間隔ｍが決まらないと、その異常なフレームが設定フレーム数Ｘの範囲内に位置するのか否か判断できないためである。

ここで、どのような数式を用いてキーフレームの出現間隔ｍを算出するのかについては、キーフレームの出現間隔の平均を測定することが挙げられる。過去のＰ回の出現回数から算出する場合は、各間隔がＮ（ ）の場合であれば、例えば、キーフレーム間隔Ｓは数式（１）で表される。

また、どのような数式を用いて現在の異常なフレームから何フレーム後にキーフレームが出現するかを算出するのかについては、前回のキーフレームが出現してから現在の異常なフレームが出現するまでのフレーム数をＴとすると、現在のフレームから次回のキーフレームが出現するまでのフレーム数ｎは、数式（２）で表される。
ｎ＝Ｓ―Ｔ …（２）
また、フレーム毎にフレームレートは一定であるので、フレーム数Ｔ、ｎから時刻（位置）を推測することができる。

フレーム出力制御装置８は、補間処理の不可能なフレームから次のキーフレームの出現までのフレーム数が設定フレーム数Ｘ以下の場合には正常なフレームもしくは補間処理済みのフレームを出力できるまで既出力のフレームを維持するようにフレーム出力装置９を制御する。また、映像出力制御装置８は、補間処理の不可能なフレームから次のキーフレームの出現までのフレーム数が設定フレーム数Ｘより大きい場合には、異常なフレームをそのまま出力するようにフレーム出力装置９を制御する。

現在のフレームの出力を行なうか否かを判断するための判断基準は、受信した映像データに異常が有るか否か、異常が有った場合であって、設定フレーム数Ｘが、現在のキーフレームから次のキーフレームまでのフレーム数ｎ以上であるか否か、補間処理が不可能であるか否かである。
つまり受信した映像データに異常があって、補間処理が不可能であって、かつフレーム数ｎが設定フレーム数Ｘ以下の場合には、「映像データを復号したフレームのうちの異常なフレームに対して補間処理が不可能な場合は、正常なフレームもしくは補間処理済みのフレームを出力できるまで既出力のフレームを維持する」ことになる。
これに対して受信した映像データを復号したフレームに異常なフレームがあって、補間処理が不可能であって、かつフレーム数ｎが設定フレーム数Ｘより大きい場合には「既出力のフレームを維持せず」、現在の異常なフレームがそのまま出力される。

フレーム出力制御装置８は上述の条件に従い出力を行なうか制御し、フレーム出力装置９がこれに対して出力を行なう。
フレーム出力装置９は、画像データを外部へ出力する装置（レンダラ）である。

〔動 作〕
図１に示した再生システムにおいて映像データを視聴者が視聴する場合の動作について、図１及び図２を用いて詳細に説明する。図２は図１に示した再生システムに用いられる再生装置の動作を説明するためのフローチャートの一例である。本実施の形態では映像データ配信サーバからの映像データを受信する場合について説明する。したがってステップＳ１０２では映像データの受信を行なうことになる。
まず、クライアント２−１において、視聴者が設定フレーム数Ｘを設定する（ステップＳ１０１）。
映像データ配信サーバ１が映像データを、ネットワーク１０を介してクライアント２−１に配信すると、クライアント２−１において、映像受信装置４−１が映像データを受信する（ステップＳ１０２）。

クライアント２−１において、復号装置５が受信した映像データをフレームにデコードする（ステップＳ１０３）。
ステップＳ１０４において、フレーム出力制御装置８が出力制御中か否か、すなわち既出力のフレームを維持しているかを判断する。これは補間不可能な異常なフレームが連続して出現しているか否かを判断するためである。
フレーム出力制御装置８が出力制御中である場合、ステップＳ１０５にて現在のフレームがキーフレームであるか否かを判断する。これは、キーフレームは単独で正常な画像を出力するだけの情報を有しているからである。ステップＳ１０５で現在のフレームがキーフレームであると判断した場合には、出力制御を解除する（ステップＳ１０６）。

出力解除後、ステップＳ１１７にてキーフレーム間隔算出装置７はキーフレームの出現間隔ｍ、すなわちキーフレームから次のキーフレームまでの間のフレームの数ｍを算出する。これは前述したように現在のフレームから何フレーム後にキーフレームが出現するかを算出（概算）するためである。
ステップＳ１１８において、記憶装置３−１はキーフレームの出現間隔ｍを記憶する。
ステップＳ１１９において、フレーム出力装置９から正常なフレームであるキーフレームが出力される。キーフレームの出力後は、ステップＳ１０２に戻る。

ステップＳ１０５において、現在のフレームがキーフレームでないと判断した場合、ステップＳ１１６にて既出力フレームを出力する。既出力フレームを出力した後ステップＳ１０２に戻る。
ステップＳ１０４において、出力制御中でないと判断した場合、現在のフレームがキーフレームか否かを判断する（ステップＳ１０５）。
現在のフレームがキーフレームであると判断した場合、ステップＳ１１７に進む。
現在のフレームがキーフレームでないと判断した場合、ステップＳ１０８に進む。
ステップＳ１０８において、現在のフレームが異常なフレームか否かを判断し、異常なフレームではないと判断した場合にはステップＳ１１９に進み正常なフレームを出力する。
ステップＳ１０８において、現在のフレームが異常なフレームであると判断した場合、ステップＳ１０９にて復号装置５は補間可能か否かを判断する。

復号装置５が異常なフレームの補間が可能であると判断した場合は、ステップＳ１１０にて補間処理装置６により補間処理が行われる。
ステップＳ１１１において、フレーム出力装置９から補間処理が行われたフレームが出力され、ステップＳ１０２に戻る。
復号装置５が異常なフレームの補間が可能でないと判断した場合は、ステップＳ１１２にてキーフレーム間隔算出装置７は次のフレームまでのフレーム数ｎを算出する。
ステップＳ１１３において、記憶装置３−１は、設定フレーム数Ｘと比較するために次のキーフレームまでのフレーム数ｎを記憶する。
ステップＳ１１４において、フレーム出力制御装置８はフレーム数ｎが設定フレーム数Ｘがフレーム数ｎ以下である（ｎ≦Ｘ）か否かを判断する。すなわち、フレーム出力制御装置８は、フレーム数ｎと予め設定された設定フレーム数Ｘとの大小関係に応じて正常なフレームもしくは補間処理済みのフレームを出力できるまで既出力のフレームを維持するようにフレーム出力装置を制御する。

フレーム出力制御装置８は、フレーム数ｎ≦設定フレーム数Ｘであると判断すると、フレーム出力制御装置８は出力制御をセットする（ステップＳ１１５）。
ステップＳ１１６にて既出力のフレームを映像出力装置９から出力し、ステップＳ１０２に戻る。
フレーム出力制御装置８はフレーム数ｎ≦設定フレーム数Ｘではない（ｎ＞Ｘ）と判断すると、ステップＳ１２０にて異常なフレームをそのまま出力する。異常なフレームの出力後、ステップＳ１０２に戻る。
なお、前フレームからの補間や、フレーム内補間の手法については本明細書では説明を省略する。

上記構成によれば、ストリーミング配信時の受信映像データの異常なフレームに対して、リアルタイム性を維持し、また、マルチキャストなどの再送処理が不可能なストリーミング環境においても、出力フレームの品質の劣化を主観的に防止することが可能である。その理由は、再送処理を必要としないためである。

また、上記構成によれば、異常なフレームが多い場合やシーンの切り替わり時等、補間処理が不可能である場合であっても、出力映像の品質の劣化を主観的に防止することが可能である。その理由は、キーフレームの間隔を取得しておきフレーム出力の制御、すなわち既出力のフレームの出力を維持するためである。

さらに、上記構成によれば、特許文献３のようなFECのパリティのように送信側の仕様に依存することなく、受信側で出力フレームの品質の劣化を主観的に防止することが可能である。その理由は、本発明を実施する際に受信映像データ以外の特別な情報やデータは必要としないためである。

〔実施の形態２〕
〔構 成〕
本発明に係る再生方法を適用した再生装置の他の実施の形態の構成を図３に示す。
尚、図１に示した装置と同様の装置には共通の符号を用いた。
記憶装置に記録されているMPEG2/TS(MPEG2 Transport Stream)(以下、MPEG2-TS形式と称す)でMUX（Multiplex：多重通信化）された映像データを再生する場合について、図３を用いて詳細に説明する。
MPEG2-TS形式は、デジタル放送やストリーミングなど、映像データ配信において一般に広く使われる形式である。

映像データ１１は、再生対象であるMPEG2-TS形式でMUXされた映像データである。
再生装置としてのクライアント２−２は、PCやSTBなどの、フレームを出力することが可能な装置である。
記憶装置３−２は、ディスク記憶装置（例えば、DVD: Digital Versatile Disc）やメモリ記憶装置（例えば、）を表し、算出されたキーフレーム間隔など様々な情報を記憶する装置である。尚、動作プログラムを記憶する記憶装置については省略されている。

映像データ読込装置４―２は、記憶装置３−２から映像データ１０を読み込む装置である。
復号装置５は、映像データ読込装置４―２で読み込んだ映像データ１１を復号する機能、映像データ１０が復号されたフレームが、キーフレームか否かを判断する機能、及び映像データ１１を復号したフレームのうちの異常なフレームの補間処理が可能か否かを判断する機能を有する装置である。
補間処理装置６は、復号装置５にて前フレームからの補間や、フレーム内補間が可能であると判断した場合に画像の補間処理を行なう装置である。

キーフレーム間隔算出装置７は、復号装置５にてキーフレームと判断された場合に、キーフレームの出現間隔を算出する装置である。また、過去のキーフレーム間隔と比較し、現在のフレームから何フレーム後にキーフレームが出現するかを概算する装置である。
フレーム出力制御装置８は、フレーム出力装置９で映像の出力を行なうか否かを判断する装置である。
フレーム出力装置９は、フレームを外部へ出力する装置である。

図３に示した再生装置の具体的な処理手順について図２を参照して述べる。
本実施の形態では、記憶装置の映像データを読み込む場合について説明する。したがって、ステップＳ１０２では映像データの読み込みを行なうことになる。
まず、クライアント２−２において視聴者が設定フレーム数Ｘを設定する（ステップＳ１０１）。
以下クライアント２−２において、映像データ読込装置４−２にて記憶装置３−２から映像データ１１を読み込む（ステップＳ１０２）。
復号装置５は映像データのフレームへのデコードを行なう（ステップＳ１０３）。

ここで、映像データ１１の復号後のフレームの異常の有無は、 MPEG2-TS形式ヘッダのシーケンス番号の連続性をチェックするなどの手法を用いる。異常なフレームがあった際は、復号装置５が映像データ１１中に異常なフレームが存在することが判断できるよう、
異常なフレームの位置を記憶装置３−２が記憶する。

以下、ステップＳ１０４〜Ｓ１２０は、実施の形態１と同様のため、説明を省略する。

なお設定フレーム数Ｘの値は、特定の値に固定される値ではなく、フレームレートやキーフレーム間隔、キーフレーム間のどの程度の範囲から本手法を適応するか否かによって値を変えてよい。フレーム数ｎが設定フレーム数Ｘより大きいと判断した場合（ステップＳ１１４／Ｎ）は出力画像が劣化するため、例えば設定フレーム数Ｘの値をキーフレーム間隔の最大値に設定することで画像の劣化を完全に防止することが可能である。

上記構成によれば、ストリーミング配信時の受信映像データの復号後の異常なフレームに対して、リアルタイム性を維持し、また、マルチキャストなどの再送処理が不可能なストリーミング環境においても、出力フレームの品質の劣化を主観的に防止することが可能である。その理由は、再送処理を必要としないためである。

また、上記構成によれば、異常なフレームの量が多い場合やシーンの切り替わり時等、補間処理が不可能である場合であっても、出力映像の品質の劣化を主観的に防止することが可能である。その理由は、キーフレームの間隔を取得しておき映像出力の制御を行なうためである。

さらに、上記構成によれば、特許文献３のようなFECのパリティのように送信側の仕様に依存することなく、受信側で出力フレームの品質の劣化を主観的に防止することが可能である。その理由は、本発明を実施する際に受信データ以外の特別な情報やデータは必要としないためである。

〔実施の形態３〕
次に本発明の他の実施の形態について図４を参照して述べる。
図４は、本発明に係る再生方法を適用した再生システムに用いられる再生装置の動作を説明するためのフローチャートの他の一例である。
実施形態１に示した再生装置との相違点は、異常なフレームの補間が可能な場合において、直前のキーフレームからの差分情報または後続のキーフレームからの差分情報に基づく補間処理を行なうことができる点である。

本実施の形態は、これにより直前のフレームが補間不可であっても再現可能となる。これは、キーフレームからの差分情報によりデータの補間処理が可能になるためである。キーフレームのデータ及び対象となるフレームがもつキーフレームからの差分情報により補間処理を行う。後続のキーフレームからの差分情報に基づく補間処理の場合には対象となるフレームを含み後続のキーフレームまでのフレームのデータを図示しないバッファメモリに記憶させ、後続するキーフレームのデータ及び対象となるフレームがもつキーフレームとの差分情報を読み出して補間処理を行う。

本実施形態の再生装置の動作について説明する。
まず、クライアント２−１において、視聴者が設定フレーム数Ｘを設定する（ステップＳ２０１）。
映像データ配信サーバ１が映像データを、ネットワーク１０を介してクライアント２−１に配信すると、クライアント２−１において、映像データ受信装置４−１が映像データを受信する（ステップＳ２０２）。
クライアント２−１において、復号装置５が受信した映像データをフレームにデコードする（ステップＳ２０３）。
ステップＳ２０４にて現在のフレームがキーフレームであるか否かを判断する。

現在のフレームがキーフレームであると判断した場合、ステップＳ２０９にてキーフレーム間隔算出装置７はキーフレームの出現間隔ｍ、すなわちキーフレームから次のキーフレームまでの間のフレームの数ｍを算出する。
ステップＳ２１０において、記憶装置３−１はキーフレームの出現間隔ｍを記憶する。
ステップＳ２１６において、フレーム出力装置９から正常なフレームであるキーフレームが出力される。キーフレームの出力後は、ステップＳ２０４に戻る。

現在のフレームがキーフレームでない場合、映像受信装置４−１は現在のフレームが異常なフレームであるか否かを判断する（ステップＳ２０５）。

ここで、対象となる現在のフレームの差分情報の持ち方として、たとえば、次の四つの場合がある。
(1)全てのフレームが直前のキーフレームからの差分情報を持っている。
(2)特定の複数のフレームがキーフレームからの差分情報を持ち、その他のフレームは実施形態１のように直前のフレームからの差分情報を持っている。
(3)キーフレームからの差分情報を持っているフレームのうち、キーフレーム間の前半部分に存在するフレームは直前のキーフレームとの差分情報を持ち、後半部分に存在するフレームは後続のキーフレームとの差分情報を持つ。（キーフレーム間のフレームの数が奇数の場合の中央のフレームが直前のキーフレームの差分情報を持つのか後続のキーフレームの差分情報をもつのかは予め設定されているものとする。）、
(4)キーフレームからの差分情報を持っているフレームのうち、キーフレーム間の前半部分に存在するフレームは直前のキーフレームとの差分情報をもち、後半部分に存在するフレームは後続のキーフレームとの差分情報を持つと共に、一部のフレームたとえば中央の部分にあるフレームは実施形態１のように直前のフレームからの差分情報をもつ。
このため、ステップＳ２０５以下について個別に説明する。

(1) 全てのフレームが直前のキーフレームからの差分情報を持っている場合
現在のフレームが異常なフレームではない場合、フレーム出力装置９から正常なフレームが出力される（ステップＳ２１６）。正常なフレームの出力後は、ステップＳ２０２に戻る。

ステップＳ２０５で現在のフレームが異常なフレームであると判断した場合は、復号装置５は補間可能か否かを判断する（ステップＳ２０６）。
復号装置５が補間可能であると判断した場合、補間処理装置６は、直前のキーフレームからの差分情報にもとづいて補間処理を行なう（ステップＳ２０７）。
ステップＳ２０８において、フレーム出力装置９から補間処理が行われたフレームが出力され、ステップＳ２０２に戻る。
ステップＳ２０６で復号装置５が補間不可能であると判断した場合、キーフレーム間隔算出装置７は次のキーフレームまでのフレーム数ｎを算出する（ステップＳ２１１）。
ステップＳ２１２において、記憶装置３−１は、設定フレーム数Ｘと比較するために次のキーフレームまでのフレーム数ｎを記憶する。

ステップＳ２１３において、フレーム出力制御装置８はフレーム数ｎが設定フレーム数Ｘが以下である（ｎ≦Ｘ）か否かを判断する。すなわち、フレーム出力制御装置８は、フレーム数ｎと予め設定された設定フレーム数Ｘとの大小関係に応じて正常なフレームもしくは補間処理済みのフレームを出力できるまで既出力のフレームを維持するようにフレーム出力装置を制御する（ステップＳ２１４）。
フレーム出力制御装置８はフレーム数ｎ≦設定フレーム数Ｘであると判断すると、ステップＳ２１４にて既出力のフレームをフレーム出力装置９から出力し、ステップＳ２０２
に戻る。
フレーム出力制御装置８はフレーム数ｎ≦設定フレーム数Ｘではない（ｎ＞Ｘ）と判断すると、異常なフレームをそのまま出力し（ステップＳ２１５）、ステップＳ２０２に戻る。

(2) 特定のフレームがキーフレームからの差分情報を持ち、その他のフレームは実施形態１のように直前のフレームからの差分情報を持っている場合
現在のフレームが異常なフレームではない場合、フレーム出力装置９から正常なフレームが出力される（ステップＳ２１６）。正常なフレームの出力後は、ステップＳ２０２に戻る。

ステップＳ２０５で現在のフレームが異常なフレームであると判断した場合は、復号装置５は補間可能か否かを判断する（ステップＳ２０６）。
復号装置５が補間可能であると判断した場合、補間処理装置６は、直前のキーフレームからの差分情報、または直前のフレームからの差分情報にもとづいて補間処理を行なう（ステップＳ２０７）。
ステップＳ２０８において、フレーム出力装置９から補間処理が行われたフレームが出力され、ステップＳ２０２に戻る。
ステップＳ２０６で復号装置５が補間不可能であると判断した場合、キーフレーム間隔算出装置７は次のキーフレームまでのフレーム数ｎを算出する（ステップＳ２１１）。
ステップＳ２１２において、記憶装置３−１は、設定フレーム数Ｘと比較するために次のキーフレームまでのフレーム数ｎを記憶する。

ステップＳ２１３において、フレーム出力制御装置８はフレーム数ｎが設定フレーム数Ｘ以下である（ｎ≦Ｘ）か否かを判断する。すなわち、フレーム出力制御装置８は、フレーム数ｎと予め設定された設定フレーム数Ｘとの大小関係に応じて正常なフレームもしくは補間処理済みのフレームを出力できるまで既出力のフレームを維持するようにフレーム出力装置を制御する。
フレーム出力制御装置８はフレーム数ｎ≦設定フレーム数Ｘであると判断すると、ステップＳ２１４にて既出力のフレームを映像出力装置９から出力し、ステップＳ２０２に戻る。
フレーム出力制御装置８はフレーム数ｎ≦設定フレーム数Ｘではない（ｎ＞Ｘ）と判断すると、異常なフレームをそのまま出力し（ステップＳ２１５）、ステップＳ２０２に戻る。

(3) キーフレームからの差分情報を持っているフレームのうち、キーフレーム間の前半部分に存在するフレームは直前のキーフレームとの差分情報を持ち、後半部分に存在するフレームは後続のキーフレームとの差分情報を持つ場合
現在のフレームが異常なフレームではない場合、フレーム出力装置９から正常なフレームが出力される（ステップＳ２１６）。正常なフレームの出力後は、ステップＳ２０２に戻る。
ステップＳ２０５で現在のフレームが異常なフレームであると判断した場合は、復号装置５は補間可能か否かを判断する（ステップＳ２０６）。
復号装置５が補間可能であると判断した場合、後続のキーフレームからの差分情報にもとづく補間は前述のように、対象となるフレームから後続のキーフレームをバッファメモリに記憶し、これらを読み出して補間処理を行う（ステップＳ２０７）。
ステップＳ２０８において、映像出力装置９から補間処理が行われたフレームが出力され、ステップＳ２０２に戻る。

(4) キーフレームからの差分情報を持っているフレームのうち、キーフレーム間の前半部
分に存在するフレームは直前のキーフレームとの差分情報をもち、後半部分に存在するフレームは後続のキーフレームとの差分情報を持つと共に、中央のフレームは実施形態１のように直前のフレームからの差分情報をもつ場合
現在のフレームが異常なフレームではない場合、フレーム出力装置９から正常なフレームが出力される（ステップＳ２１６）。正常なフレームの出力後は、ステップＳ２０２に戻る。

ステップＳ２０５で現在のフレームが異常なフレームであると判断した場合は、復号装置５は補間可能か否かを判断する（ステップＳ２０６）。
復号装置５が補間可能であると判断した場合、補間処理装置６は、直前のキーフレームからの差分情報、後続のキーフレームからの差分情報、または直前のフレームからの差分情報にもとづいて補間処理を行なう（ステップＳ２０７）。
ステップＳ２０８において、フレーム出力装置９から補間処理が行われたフレームが出力され、ステップＳ２０２に戻る。
ステップＳ２０６で復号装置５が補間不可能であると判断した場合、キーフレーム間隔算出装置７は次のキーフレームまでのフレーム数ｎを算出する（ステップＳ２１１）。
ステップＳ２１２において、記憶装置３−１は、設定フレーム数Ｘと比較するために次のキーフレームまでのフレーム数ｎを記憶する。

ステップＳ２１３において、フレーム出力制御装置８はフレーム数ｎが設定フレーム数Ｘ以下である（ｎ≦Ｘ）か否かを判断する。すなわち、フレーム出力制御装置８は、フレーム数ｎと予め設定された設定フレーム数Ｘとの大小関係に応じて正常なフレームもしくは補間処理済みのフレームを出力できるまで既出力のフレームを維持するようにフレーム出力装置を制御する。
フレーム出力制御装置８はフレーム数ｎ≦設定フレーム数Ｘであると判断すると、ステップＳ２１４にて既出力のフレームをフレーム出力装置９から出力し、ステップＳ２０２に戻る。
フレーム出力制御装置８はフレーム数ｎ≦設定フレーム数Ｘではない（ｎ＞Ｘ）と判断すると、異常なフレームをそのまま出力し（ステップＳ２１５）、ステップＳ２０２に戻る。

＜プログラム及び記録媒体＞
以上で説明した本発明の再生装置は、コンピュータで再生処理を実行させる再生プログラムによって実現される。
再生プログラムの一実施の形態としては、再生装置のコンピュータに、映像データが復号されたフレームのうちの異常が認められるフレームに対して補間処理が不可能な場合は、正常なフレームを出力できるまで既に出力したフレームを維持する処理を実行させるものである。

すなわち、本実施の形態のプログラムは、コンピュータに、
（ａ）映像データが復号されたフレームのうちの異常が認められるフレームに対して補間処理が不可能な場合は、正常なフレームを出力できるまで既に出力したフレームを維持する処理を実行させるプログラムである。

また、コンピュータに、処理（ａ）に加え、
（ｂ）第１の手段がフレームについて異常の有無を判断する処理
（ｃ）第２の手段が第１の手段により異常有りと判断されたフレームについて、補間処理可能か否かを判断する処理
（ｄ）第３の手段が第２の手段にて補間処理が不可能と判断された場合、既に出力したフレームの出力を維持する処理
を実行させてもよい。

また、コンピュータに、処理（ａ）〜（ｄ）に加え、
（ｅ）第３の手段が、第２の手段により補間処理が不可能と判断されたフレームが後続のキーフレームから所定フレーム数以内にある場合に、既に出力したフレームの出力を維持する処理を実行させてもよい。

また、コンピュータに、処理（ａ）〜（ｄ）または処理（ａ）〜（ｅ）に加え
（ｆ）第３の手段が、第２の手段により補間処理が不可能と判断されたフレームが後続のキーフレームから所定フレーム数以内にない場合は、当該フレームを出力する処理を実行させてもよい。

フレームは直前のフレームとの差分情報を有し、
コンピュータに、処理（ａ）〜（ｄ）、（ａ）〜（ｅ）または（ａ）〜（ｆ）に加え、（ｇ）第２の手段が、差分情報を基に補間処理を行ってもよい。

また、コンピュータに、処理（ａ）〜（ｄ）乃至（ａ）〜（ｇ）のいずれかに加え、
（ｈ）第３の手段が、既に出力したフレームの出力を維持する処理を実行した場合、後続のキーフレームが出現するまで出力を維持し続ける処理を実行させてもよい。

また、コンピュータに、処理（ａ）〜（ｅ）乃至（ａ）〜（ｈ）のいずれかに加え、
（ｉ）第１の手段がフレームがキーフレームか否かを判断する処理
（ｊ）キーフレーム間隔算出手段がキーフレームから次のキーフレームが出現するまでのフレーム間隔を算出する処理をさらに実行させてもよい。

フレームは、直前のフレームとの差分情報、直前のキーフレームとの差分情報、後続のキーフレームとの差分情報のうち少なくとも１つを有し、
また、コンピュータに、処理（ａ）〜（ｄ）に加え、
（ｋ）第２の手段が差分情報を基に補間する処理
（ｌ）第３の手段が、正常なフレームを出力できるまで既に出力したフレームの出力を維持する処理を実行させてもよい。

上記構成によれば、ストリーミング配信時の受信映像データの復号後の異常なフレームに対して、リアルタイム性を維持し、また、マルチキャストなどの再送処理が不可能なストリーミング環境においても、出力映像の品質の劣化を主観的に防止することが可能である。その理由は、再送処理を必要としないためである。

また、上記構成によれば、異常なフレームが多い場合やシーンの切り替わり時等、補間処理が不可能である場合であっても、出力映像の品質の劣化を主観的に防止することが可能である。その理由は、キーフレームの間隔を取得しておき映像出力の制御を行なうためである。

さらに、上記構成によれば、FECのパリティのように送信側の仕様に依存することなく、受信側で出力映像の品質の劣化を主観的に防止することが可能である。その理由は、本発明実施の際に受信データ以外の特別な情報やデータは必要としないためである。

コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。

これにより、再生プログラムが実行可能なコンピュータ環境さえあれば、どこにおいて
も本発明の再生装置を実現することができる。
このような再生プログラムは、コンピュータに読み取り可能な記録媒体に記憶されていてもよい。

ここで、記録媒体としては、例えば、CD−ROM（Compact Disc Read Only Memory）、フレキシブルディスク（FD）、CD-R（CD Recordable）、DVD（Digital Versatile Disk）などのコンピュータで読み取り可能な記録媒体が挙げられる。また、HDD（Hard Disc Drive）、フラッシュメモリ、RAM（Random Access Memory）、ROM（Read Only Memory）、FeRAM（強誘電体メモリ）等の半導体メモリが挙げられる。

なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。例えば、上述の説明では、キーフレームから次のキーフレームまでの間のフレーム数が変動する場合について説明したが、本発明ではこれに限定されず、キーフレームから次のキーフレームまでの間のキーフレーム間隔が固定されている場合にも適用可能である。この場合にはキーフレーム間隔算出装置は不要となり、キーフレーム間隔を記憶装置に記憶させておく必要がある。

次に本発明に係る再生装置の実施例について実施形態１，２の場合を中心に述べる。

ここで、設定フレーム数Ｘの単位はキーフレーム間の何分の１、フレーム数、秒 などさまざまな指定ができると考えられる。また、設定フレーム数Ｘを視聴者側で変更できれば、視聴者の好みで画像の劣化防止率を上げるのか、また、画像の動きの滑らかさ（フレームレート）を維持した映像再生を行なうのかをクライアント側で指定できる。

まず、図５に示すように多数（図では７個であるが限定されない）のフレームの中からフレーム１に異常が無く、フレーム２〜５に異常が有り、フレーム６、７に異常が無い場合について説明する。フレーム１、６がキーフレームであるものとする。

図５は、設定フレーム数Ｘが最大フレーム数（例えば９００）である場合のフレーム、異常の有／無、及び補間処理可／不可と、出力制御の適用の有／無及び出力フレームとの関係の一例を示す図である。

フレーム１（キーフレーム）では、異常が無いため、出力制御の適用は無く、フレーム出力装置９からは正常なフレーム１が出力される（実施形態３の場合も同様）。

フレーム２では、異常が有り、補間処理が可能であり、フレーム数ｎ＝４＜設定フレーム数Ｘであるため、出力制御の適用は無く、補間処理装置６で補間処理が施されたフレーム２’がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム３では、異常が有り、補間処理が不可能であり、フレーム数ｎ＝３＜設定フレーム数Ｘであるため、出力制御の適用が有り、前回出力したフレーム２’が維持され、フレーム２’が映像出力装置９から出力される（実施形態３の場合も同様）。

フレーム４では、異常が有り、補間処理が不可能である。この時点で補間処理が不可能であるという判断が２回目となっている。すなわち、実施形態１，２の場合、図２のフローチャートのステップＳ１０４において、出力制御中であると判断され、ステップＳ１０５でキーフレームではないと判断され、ステップＳ１１６に進み、既出力フレームであるフレーム２’を出力する（実施形態３の場合も同様）。

フレーム５では、異常が有り、補間処理が不可能である。この時点で補間処理が不可能であるという判断が３回目となっている。すなわち実施形態１，２の場合、図２のフローチャートのステップＳ１０４において、出力制御中であると判断され、ステップＳ１０５でキーフレームではないと判断され、ステップＳ１１６に進み、既出力フレームであるフレーム２’を出力する（実施形態３の場合も同様）。

フレーム６では、異常が無く、キーフレームであるため、正常なフレーム（キーフレーム）６がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム７では、異常が無いため、出力制御の適用は無く、正常なフレーム７がフレーム出力装置９から出力される（実施形態３の場合も同様）。

設定フレーム数Ｘの値をキーフレーム間隔内、すなわち、フレーム数ｎ以下に設定することで画質は多少低下するものの、フレームの動きの滑らかさを維持した画像の再生を行なうことが可能である。
図６は、設定フレーム数Ｘが２の場合のフレーム、異常の有／無、及び補間処理可／不可と、出力制御の適用の有／無及び出力フレームとの関係の一例を示す図である。

フレーム１では、異常が無いため、出力制御の適用は無く、正常なフレーム（キーフレーム）１がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム２では、異常が有り、補間処理が可能であり、フレーム数ｎ＝４＞設定フレーム数Ｘであるため、出力制御の適用は無く、補間処理されたフレーム２’がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム３では、異常が有り、補間処理が不可能であり、フレーム数ｎ＝３＞設定フレーム数Ｘであるため、図２のフローチャートに従う場合は、フレーム出力装置９から異常なままのフレーム３”が出力される（実施形態３の場合も同様）。

フレーム４では、異常があり、補間処理が不可能である。この時点で補間処理が不可能であるという判断が２回目となっている。すなわち、実施形態３の場合、図２のフローチャートのステップＳ１０４において、出力制御中であると判断され、ステップＳ１０５でキーフレームではないと判断され、ステップＳ１１６に進み、既出力フレームである異常なままのフレーム３”を出力する（実施形態３の場合も同様）。

フレーム５では、異常があり、補間処理が不可能であり、フレーム数ｎ＝１＜設定フレーム数Ｘであるため、図２のフローチャートに従う場合はフレーム出力装置９からは前回のフレームである異常なままのフレーム３”が出力される（実施形態３の場合も同様）。

フレーム６では、異常が無いため、出力制御の適用は無く、正常なフレーム（キーフレーム）６がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム７では、異常が無いため、出力制御の適用は無く、正常なフレーム７がフレーム出力装置９から出力される（実施形態３の場合も同様）。

図７に示すようにフレーム１、２に異常が無く、フレーム３に異常が有り、フレーム４に異常が無く、フレーム５に異常が有り、フレーム６、７に異常が無い場合について説明
する。フレーム１、６がキーフレームであるものとする。
図７は、設定フレーム数Ｘが最大フレーム数（例えば９００）である場合のフレーム、異常の有／無、及び補間処理可／不可と、出力制御の適用の有／無及び出力フレームとの関係の他の一例を示す図である。

フレーム１では、異常が無いため、出力制御の適用は無く、正常なフレーム１がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム２では、異常が無いため、出力制御の適用は無く、正常なフレーム２がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム３では、異常が有り、補間処理が可能であり、フレーム数ｎ＝３＜設定フレーム数Ｘであるため、出力制御の適用がなく、補間処理されたフレーム３’がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム４では、異常が無く補間処理が不可であるため、出力制御の適用が無く、フレーム出力装置９から正常なフレーム４が出力される（実施形態３の場合も同様）。

フレーム５では、異常が有り、補間処理が不可能であり、フレーム数ｎ＝１＜設定フレーム数Ｘであるため、出力制御の適用があり、前回出力した映像が維持され、フレーム４がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム６では、異常が無いため、出力制御の適用は無く、正常なフレーム（キーフレーム）６がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム７では、異常が無いため、出力制御の適用は無く、正常なフレーム７がフレーム出力装置９から出力される（実施形態３の場合も同様）。

図８は、設定フレーム数Ｘが２の場合フレーム、異常の有／無、及び補間処理可／不可と、出力制御の適用の有／無及び出力フレームとの関係の他の一例を示す図である。

フレーム１では、異常が無いため、出力制御の適用は無く、正常なフレーム（キーフレーム）１がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム２では、異常が無いため、出力制御の適用は無く、正常なフレーム２がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム３では、異常が有り、補間処理が可能であり、フレーム数ｎ＝３＞設定フレーム数Ｘであるため、出力制御の適用は無く、補間処理装置６で補間処理が施されたフレーム３’がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム４では、異常が無いため、出力制御の適用は無く、正常なフレーム４がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム５では、異常が有り、補間処理が不可能であり、フレーム数ｎ＝１＜設定フレーム数Ｘであるため、出力制御の適用があり、前回出力したフレームが維持され、フレーム４がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム６では、異常が無いため、出力制御の適用は無く、正常なフレーム（キーフレ
ーム）６がフレーム出力装置９から出力される（実施形態３の場合も同様）。

フレーム７では、異常が無いため、出力制御の適用は無く、正常なフレーム７がフレーム出力装置９から出力される（実施形態３の場合も同様）。

図５〜図８において、フレーム１，２，３，…とは復号したフレームを表し、異常の有/無とは復号したフレーム１，２，３，…を構成するパケットに破壊や欠如が発生したか否かを表し、補間処理可／不可とは、フレームに異常が発生した場合に補間処理が可能か否かを表す。出力制御の適用の有／無とは、次の正常なフレームもしくは補間処理されたフレームが出力できるまで前回出力した映像を出力するか、異常なフレームをそのまま出力するかを表す。また出力フレームとは正常なフレーム１，２，３，…，補間処理が施されたフレーム１’，２’，３’，…，異常なままのフレーム１”，２”，３”，…のうちのいずれかのフレームである。

ここで、実施例１〜４より、設定フレーム数Ｘはフレーム数ｎより大きい方が映像データの異常に対して本発明を適用する回数が多いことが分かる。
このため、一見設定フレーム数Ｘが大きい程優れているように見受けられる。しかし、映像データのコンテンツが例えばサスペンス映画やアクションドラマ等で決定的瞬間を視聴者が見たいというような場合は多少映像データが破壊されていてもフレームが表示されるのがよい場合もあり、次の瞬間をどうしても見たいという場合に前回の場面で停止すると視聴者に不満が残る。また、前述したように画面が停止することにより滑らかさが減少する。
したがって、画質よりも決定的瞬間を見たいという視聴者は設定フレーム数Ｘを最小限度とすればよく、画質を優先したいという視聴者は設定フレーム数Ｘをフレーム数ｎの最大値とするのがよい。

〔作用効果〕
本発明による第一の効果は、ストリーミング配信時の受信映像データのフレームの異常に対して、リアルタイム性を維持し、また、マルチキャストなどの再送処理が不可能なストリーミング環境においても、出力フレームの品質の劣化を主観的に防止することが可能である。その理由は、再送処理を必要としないためである。

本発明による第二の効果は、異常なフレーム量が多い場合やシーンの切り替わり時等、補間処理が不可能である場合であっても、出力フレームの品質の劣化を主観的に防止することが可能である。その理由は、キーフレームの間隔を取得しておきフレーム出力の制御を行なうためである。

本発明による第三の効果は、FECのパリティのように送信側の仕様に依存することなく、受信側で出力映像の品質の劣化を主観的に防止することが可能である。その理由は、本発明実施の際に受信データ以外の特別な情報やデータは必要としないためである。

なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。例えば、上述した実施の形態は、ストリーミング配信の場合で説明したが、本発明はストリーミングに限らず、記憶装置上の映像データであっても異常なフレームの発生箇所が判断できる形式の映像データであれば、適応が可能である。
記憶装置上の映像データに異常が存在する場合、ストリーミングの再送処理に相当する再読み込みを行なうことが不可能であり、本発明が有効である。

本発明は、本方式はストリーミングシステム全般に適応可能である。また記憶装置上のデータであっても異常なフレームの発生が判断できる形式の映像データに適応可能である。

本発明に係る再生方法を適用した再生システムの一実施の形態であるストリーミング配信における構成図の一例である。 図１及び図３に示した再生システムに用いられる再生装置の動作を説明するためのフローチャートの一例である。 本発明に係る再生方法を適用した再生装置の他の実施の形態であるストリーミング配信における構成図の一例である。 本発明に係る再生方法を適用した再生システムに用いられる再生装置の動作を説明するためのフローチャートの他の一例である。 設定フレーム数Ｘが最大フレーム数である場合のフレーム、異常の有／無、及び補間処理可／不可と、出力制御の適用の有／無及び出力フレームとの関係の一例を示す図である。 設定フレーム数Ｘがフレーム数ｎ以下である場合のフレーム、異常の有／無、及び補間処理可／不可と、出力制御の適用の有／無及び出力フレームとの関係の一例を示す図である。 設定フレーム数Ｘが最大フレーム数である場合のフレーム、異常の有／無、及び補間処理可／不可と、出力制御の適用の有／無及び出力フレームとの関係の他の一例を示す図である。 設定フレーム数Ｘがフレーム数ｎ以下である場合フレーム、異常の有／無、及び補間処理可／不可と、出力制御の適用の有／無及び出力フレームとの関係の他の一例を示す図である。

符号の説明

１ 映像データ配信サーバ
２−１、２−２ クライアント（再生装置）
３−１、３−２ 記憶装置
４ 映像データ受信装置
５ 復号装置
６ 補間処理装置
７ キーフレーム間隔算出装置
８ フレーム出力制御装置
９ フレーム出力装置
１０ ネットワーク
１１ 映像データ

Claims (7)

1. 映像データが復号されたフレームについて異常の有無を判断する第１の手段と、
   前記第１の手段により異常有りと判断された異常フレームについて、補間処理可能か否かを判断する第２の手段と、
   前記第２の手段により補間処理が不可能と判断された場合に、前記異常フレームの直前のフレームの出力を維持する第３の手段と、
   を有し、
   前記第３の手段は、前記第２の手段により補間処理が不可能と判断されたフレームが後続のキーフレームから所定フレーム数以内にある場合に、前記後続のキーフレームが出現するまで、前記異常フレームの直前のフレームの出力を維持し、前記所定フレーム数以内にない場合に、前記異常フレームを出力し、
   前記所定フレーム数は、キーフレーム間隔内であって、視聴者の選好に応じたフレーム数であることを特徴とする、再生装置。
2. 前記フレームは直前のフレームとの差分情報を有し、
   前記第２の手段は、前記補間処理を、前記異常フレームに先行又は後続する１つめのキーフレーム、及び、該キーフレームから前記異常フレームまでのフレームの差分情報に基づいて、行うことを特徴とする、請求項１記載の再生装置。
3. 前記映像データは、ネットワークから配信される映像データ又は記憶媒体から読み出される映像データであることを特徴とする、請求項１又は２記載の再生装置。
4. ネットワークを介して、
   請求項１から３のいずれか１項記載の再生装置と、
   前記映像データを配信する映像データ配信サーバと、が通信可能に接続されたことを特徴とする、再生システム。
5. 映像データを復号し、フレーム化して出力する再生装置の再生方法であって、
   前記再生装置が、復号されたフレームについて異常の有無を判断する異常判断ステップと、
   前記再生装置が、前記異常判断ステップにて異常有りと判断された異常フレームについて、補間処理可能か否かを判断する補間処理可否判断ステップと、
   前記再生装置が、前記補間処理可否判断ステップにて補間処理が不可能と判断されたフレームが後続のキーフレームから所定フレーム数以内にある場合に、前記後続のキーフレームが出現するまで、前記異常フレームの直前のフレームの出力を維持し、前記所定フレーム数以内にない場合に、前記異常フレームを出力するように、出力を制御する出力制御ステップと、
   を含み、
   前記所定フレーム数は、キーフレーム間隔内であって、視聴者の選好に応じたフレーム数であることを特徴とする、再生方法。
6. コンピュータを、
   映像データが復号されたフレームについて異常の有無を判断する第１の手段と、
   前記第１の手段により異常有りと判断された異常フレームについて、補間処理可能か否かを判断する第２の手段と、
   前記第２の手段により補間処理が不可能と判断された場合に、前記異常フレームの直前のフレームの出力を維持する第３の手段として機能させ、
   前記第３の手段は、前記第２の手段により補間処理が不可能と判断されたフレームが後続のキーフレームから所定フレーム数以内にある場合に、前記後続のキーフレームが出現するまで、前記異常フレームの直前のフレームの出力を維持し、前記所定フレーム数以内にない場合に、前記異常フレームを出力するように機能させ、
   前記所定フレーム数は、キーフレーム間隔内であって、視聴者の選好に応じたフレーム数であることを特徴とする、プログラム。
7. 請求項６記載のプログラムを記録したことを特徴とするコンピュータ読取可能な記録媒体。

Images