JP4891352B2

JP4891352B2 - 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体

Info

Publication number: JP4891352B2
Application number: JP2008558577A
Authority: JP
Inventors: 一成牛木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2007-08-22
Filing date: 2008-08-22
Publication date: 2012-03-07
Anticipated expiration: 2028-08-22
Also published as: CA2668003A1; WO2009025357A1; KR101008608B1; EP2077672A4; KR20090084845A; JPWO2009025357A1; US20100166388A1; CN101558657A; EP2077672A1; CN101558657B; CA2668003C; US8320747B2; EP2077672B1

Description

本発明は、映像通信技術に関し、特に映像信号を複数種別のフレームに圧縮符号化して得られたエレメンタリストリームをＴＳパケットに変換して送信する映像通信技術に関する。

電波を用いたデジタル放送などの映像配信や通信ネットワークを用いたデジタル放送などの映像配信では、ＭＰＥＧ−２規格（ISO/IEC 13818）やＨ．２４６などの圧縮符号化方式を用いた場合、元の映像がＩ，Ｐ，Ｂなどのフレーム（ピクチャ）に圧縮符号化されてエレメンタリストリーム（Elementary Stream）が生成され、ＴＳパケット（Transport Stream Packet）と呼ばれるパケットに分割して配信される。

このような映像配信において、著作権的な配慮が必要な場合には、ＴＳパケットのうち映像データや音声データが格納されるペイロード部分が暗号化される。暗号化されたＴＳパケットは受信端末で受信後に復号され、最終的に映像として出力され、視聴者に供与される。
これらの映像アプリケーションでは、電波を用いた映像配信であれば大気状態が悪化した場合、またネットワークを用いた映像配信ではネットワークや端末でパケットの損失や遅延が生じた場合、いずれも映像品質が劣化して、サービス品質が劣化する。したがって、安定したサービスを提供するため、一定の映像品質を確保するよう通信ネットワークや端末の品質を管理する必要がある。

このような品質管理では、大気状態やネットワーク品質（例えば、パケット損失や遅延）がユーザの視聴する映像品質にどのような影響を及ぼしているかを測定し、品質状態を管理する必要がある。
大気状態やネットワークあるいは端末でＴＳパケット損失が生じた場合、高能率符号化により映像圧縮して伝送している映像信号はフレーム間の動き予測符号化を用いており、前後のフレーム情報を使うことから１パケット損失による映像品質劣化が１映像フレームにとどまらず、複数フレームに及ぶ場合がある。

このような場合、次映像フレームではパケット損失が生じていないにも係わらず復号された映像では品質劣化が生じるため、大気状態やネットワーク上のパケット損失発生状況と映像アプリケーションでの劣化発生状況とは必ずしも対応していない。したがって、大気状態やネットワーク品質とアプリケーション品質の対応関係を精度よく求めるためには、符号化情報に基づき品質劣化の影響範囲を正確に把握する必要がある。

符号化情報に基づき品質劣化の影響範囲を把握する技術として、各パケットにフレーム種別情報を付加して配信し、受信側では当該フレーム種別情報を得て、劣化が発生したフレーム種別と前後フレーム状況から、劣化が波及するフレーム数を計算する手法が提案されている（例えば、特開２００６−３３７２２号公報など参照）。この手法は、フレーム種別情報を各パケットに付加する必要があるため、汎用性に乏しい。
これに対して、従来、符号化情報に基づき品質劣化の影響範囲を把握する技術として、劣化が発生したフレーム種別と前後フレーム状況から、劣化が波及するフレーム数を計算する手法が提案されている（例えば、特開２００７−６０４７５号公報など参照）。

しかしながら、このような従来技術では、ＴＳパケットのペイロード部を解析して、エレメンタリストリームの各フレームのフレーム種別を把握しているため、ペイロード部が暗号化されている場合には、適用できないという問題点があった。
本発明はこのような課題を解決するためのものであり、ＴＳパケットのペイロード部が暗号化されている場合でも各フレームのフレーム種別を把握でき、劣化フレームの波及を考慮した映像品質を推定できる映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体を提供することを目的としている。

このような目的を達成するために、本発明にかかる映像品質推定方法は、映像信号を複数種別のフレームに圧縮符号化して得られたエレメンタリストリームをＴＳパケットに変換して送信する映像通信について、演算処理部と記憶部とを有する映像品質推定装置により、当該ＴＳパケットに基づき映像品質を推定する際に用いる映像品質推定方法であって、記憶部により、当該エレメンタリストリームのフレーム構成を記憶する記憶ステップと、演算処理部により、入力された当該映像通信のＴＳパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するＴＳパケットの数を当該フレームのフレームデータ量として計数し、これらフレームのフレームデータ量の大小関係に基づきフレーム種別を判定するフレーム種別判定ステップと、演算処理部により、このフレーム種別判定ステップで得られた各フレームのフレーム種別、記憶部から読み出した当該エレメンタリストリームのフレーム構成、および当該映像通信のＴＳパケットから検出したＴＳパケットの損失状況に基づいて、当該映像通信に関する映像品質を推定する映像品質推定ステップとを備えている。

また、本発明にかかる映像品質推定装置は、映像信号を複数種別のフレームに圧縮符号化して得られたエレメンタリストリームをＴＳパケットに変換して送信する映像通信について、当該ＴＳパケットに基づき映像品質を推定する映像品質推定装置であって、当該エレメンタリストリームのフレーム構成を記憶する記憶部と、入力された当該映像通信のＴＳパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するＴＳパケットの数を当該フレームのフレームデータ量として計数し、これらフレームのフレームデータ量の大小関係に基づきフレーム種別を判定するフレーム種別判定部と、このフレーム種別判定部で得られた各フレームのフレーム種別、記憶部から読み出した当該エレメンタリストリームのフレーム構成、および当該映像通信のＴＳパケットから検出したＴＳパケットの損失状況に基づいて、当該映像通信に関する映像品質を推定する映像品質推定部とを備えている。

また、本発明にかかるフレーム種別判定方法は、映像信号を複数種別のフレームに圧縮符号化して得られたエレメンタリストリームをＴＳパケットに変換して送信する映像通信について、演算処理部と記憶部とを有する処理装置により、当該ＴＳパケットに基づき各フレームの種別を判定するフレーム種別判定方法であって、記憶部により、当該エレメンタリストリームのフレーム構成を記憶する記憶ステップと、演算処理部により、入力された当該映像通信のＴＳパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するＴＳパケットの数を当該フレームのフレームデータ量として計数し、これらフレームのフレームデータ量の大小関係に基づきフレーム種別を判定するフレーム種別判定ステップとを備えている。

また、本発明にかかる記録媒体は、映像信号を複数種別のフレームに圧縮符号化して得られたエレメンタリストリームをＴＳパケットに変換して送信する映像通信について、演算処理部と記憶部とを有し、当該ＴＳパケットに基づき映像品質を推定する映像品質推定装置のコンピュータに、記憶部により、当該エレメンタリストリームのフレーム構成を記憶する記憶ステップと、演算処理部により、入力された当該映像通信のＴＳパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するＴＳパケットの数を当該フレームのフレームデータ量として計数し、これらフレームのフレームデータ量の大小関係に基づきフレーム種別を判定するフレーム種別判定ステップと、演算処理部により、このフレーム種別判定ステップで得られた各フレームのフレーム種別、記憶部から読み出した当該エレメンタリストリームのフレーム構成、および当該映像通信のＴＳパケットから検出したＴＳパケットの損失状況に基づいて、当該映像通信に関する映像品質を推定する映像品質推定ステップとを実行させるプログラムが記録されている。

また、本発明にかかる他の記録媒体は、映像信号を複数種別のフレームに圧縮符号化して得られたエレメンタリストリームをＴＳパケットに変換して送信する映像通信について、演算処理部と記憶部とを有し、当該ＴＳパケットに基づき各フレームの種別を判定する処理装置のコンピュータに、記憶部により、当該エレメンタリストリームのフレーム構成を記憶する記憶ステップと、演算処理部により、入力された当該映像通信のＴＳパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するＴＳパケットの数を当該フレームのフレームデータ量として計数し、これらフレームのフレームデータ量の大小関係に基づきフレーム種別を判定するフレーム種別判定ステップとを実行させるプログラムが記録されている。

本発明によれば、ＴＳパケットのペイロード部が暗号化されている場合でも、暗号化されていないＴＳヘッダ部から得られる情報を元にして、各フレームのフレーム種別を把握でき、劣化フレームの波及を考慮して精度よく映像品質を推定できる。

図１は、本発明の第１の実施例にかかる映像品質推定装置の構成を示すブロック図である。図２は、本発明にかかる映像品質推定装置が適用されるＩＰＴＶシステムの構成例である。図３は、本発明にかかる映像品質推定装置が適用されるデジタル放送システムの構成例である。図４は、本発明の第１の実施例にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。図５は、本発明の第１の実施例にかかる映像品質推定装置のＴＳパケット取得処理を示すフローチャートである。図６は、ＴＳパケットのパケット構造例である。図７は、本発明の第１の実施例にかかる映像品質推定装置のフレーム種別判定処理を示すフローチャートである。図８Ａは、本発明の第１の実施例にかかる映像品質推定装置のフレーム種別判定処理の一部を示す説明図である。図８Ｂは、本発明の第１の実施例にかかる映像品質推定装置のフレーム種別判定処理の他の一部を示す説明図である。図８Ｃは、本発明の第１の実施例にかかる映像品質推定装置のフレーム種別判定処理の他の一部を示す説明図である。図８Ｄは、本発明の第１の実施例にかかる映像品質推定装置のフレーム種別判定処理の他の一部を示す説明図である。図８Ｅは、本発明の第１の実施例にかかる映像品質推定装置のフレーム種別判定処理の他の一部を示す説明図である。図９は、本発明の第２の実施例にかかる映像品質推定装置のフレーム種別判定処理を示すフローチャートである。図１０は、本発明の第２の実施例にかかる映像品質推定装置の出現パターン別フレーム種別判定処理を示すフローチャートである。図１１は、本発明の第２の実施例にかかる映像品質推定装置の例外フレーム種別判定処理を示すフローチャートである。図１２は、本発明の第２の実施例にかかる映像品質推定装置の連続Ｂフレーム再判定処理を示すフローチャートである。図１３は、本発明の第３の実施例にかる映像品質推定装置のフレーム種別判定処理を示すフローチャートである。図１４は、本発明の第３の実施例にかかる映像品質推定装置のＩフレーム判定処理を示すフローチャートである。図１５は、本発明の第３の実施例にかかる映像品質推定装置のＰ，Ｂフレーム判定処理を示すフローチャートである。図１６は、本発明の第３の実施例にかかる映像品質推定装置のＰ，Ｂフレーム判定処理を示す説明図である。図１７Ａは、本発明の第３の実施例にかかる映像品質推定装置のＰ，Ｂフレーム判定処理の一部を示す説明図である。図１７Ｂは、本発明の第３の実施例にかかる映像品質推定装置のＰ，Ｂフレーム判定処理の他の一部を示す説明図である。図１８は、本発明の第３の実施例にかる映像品質推定装置の判定期間学習処理を示すフローチャートである。図１９は、本発明の第３の実施例にかる映像品質推定装置の調整係数学習処理を示すフローチャートである。図２０は、本発明の第４の実施例にかる映像品質推定装置のフレーム種別判定処理を示すフローチャートである。図２１は、本発明の第４の実施例にかかる映像品質推定装置のＰフレーム判定処理を示すフローチャートである。図２２は、本発明の第４の実施例にかかる映像品質推定装置のＰフレーム判定処理を示す説明図である。図２３Ａは、本発明の第４の実施例にかかる映像品質推定装置のＰフレーム判定処理の一部を示す説明図である。図２３Ｂは、本発明の第４の実施例にかかる映像品質推定装置のＰフレーム判定処理の一部を示す説明図である。図２３Ｃは、本発明の第４の実施例にかかる映像品質推定装置のＰフレーム判定処理の一部を示す説明図である。図２３Ｄは、本発明の第４の実施例にかかる映像品質推定装置のＰフレーム判定処理の一部を示す説明図である。図２３Ｅは、本発明の第４の実施例にかかる映像品質推定装置のＰフレーム判定処理の一部を示す説明図である。図２４は、本発明の第５の実施例にかかる映像品質推定装置のフレーム種別判定処理を示すフローチャートである。図２５は、本発明の第６の実施例にかかる映像品質推定装置のフレーム種別判定処理を示すフローチャートである。図２６は、本発明の第６の実施例にかかる映像品質推定装置のＩフレーム判定処理を示すフローチャートである。図２７は、本発明の第７の実施例にかかる映像品質推定装置のフレーム種別判定処理を示す説明図である。図２８は、本発明の第７の実施例にかかる映像品質推定装置のＴＳパケット取得処理を示すフローチャートである。図２９は、本発明の第７の実施例にかかる映像品質推定装置のフレーム種別判定処理を示すフローチャートである。図３０は、本発明の第７の実施例にかかる映像品質推定装置のフレーム種別判定処理を示す説明図である。図３１は、本発明の第７の実施例にかかる映像品質推定装置の最適補間パターン選択処理を示すフローチャートである。図３２は、本発明の第７の実施例にかかる映像品質推定装置のフレーム種別判定処理例（ロスなし）を示す説明図である。図３３Ａは、本発明の第７の実施例にかかる映像品質推定装置のフレーム種別判定処理例（Ｉフレーム先頭でのみロス）を示す説明図である。図３３Ｂは、本発明の第７の実施例にかかる映像品質推定装置のフレーム種別判定処理例（Ｉフレーム先頭から複数ロス）を示す説明図である。図３４Ａは、本発明の第７の実施例にかかる映像品質推定装置のフレーム種別判定処理例（ＢまたはＰフレーム先頭でのみロス）を示す説明図である。図３４Ｂは、本発明の第７の実施例にかかる映像品質推定装置のフレーム種別判定処理例（ＢまたはＰフレーム先頭で複数ロス）を示す説明図である。図３５は、本発明の第７の実施例にかかる映像品質推定装置のフレーム種別判定処理例（Ｉ，Ｂ，Ｐフレーム先頭で複数ロス）を示す説明図である。図３６Ａは、本発明の第８の実施例にかかる映像品質推定装置のフレーム種別判定処理例（Ｉフレーム先頭でのみロス）を示す説明図である。図３６Ｂは、本発明の第８の実施例にかかる映像品質推定装置のフレーム種別判定処理例（Ｉフレーム先頭から複数ロス）を示す説明図である。図３７Ａは、本発明の第８の実施例にかかる映像品質推定装置のフレーム種別判定処理例（ＢまたはＰフレーム先頭でのみロス）を示す説明図である。図３７Ｂは、本発明の第８の実施例にかかる映像品質推定装置のフレーム種別判定処理例（ＢまたはＰフレーム先頭で複数ロス）を示す説明図である。図３８は、本発明の第８の実施例にかかる映像品質推定装置のフレーム種別判定処理例（Ｉ，Ｂ，Ｐフレーム先頭で複数ロス）を示す説明図である。

次に、本発明の実施例について図面を参照して説明する。
［第１の実施例］
まず、図１を参照して、本発明の第１の実施例にかかる映像品質推定装置について説明する。
この映像品質推定装置１０は、入力されたデータを演算処理するコンピュータなどの情報処理装置からなり、映像信号を複数種別のフレーム（ピクチャ）に圧縮符号化して得られたエレメンタリストリームをＴＳパケットに変換して、送信装置から受信装置へ、インターネットなどのパケット通信網やデジタル放送を介して送信する映像通信について、当該ＴＳパケットに基づき映像品質を推定する機能を備えている。

映像品質推定装置１０には、主な機能部として、通信インターフェース部（以下、通信Ｉ／Ｆ部という）１１、操作入力部１２、画面表示部１３、記憶部１４、および演算処理部１５が設けられている。また、演算処理部１５には、主な処理部として、ＴＳパケット取得部１５Ａ、フレーム種別判定部１５Ｂ、および映像品質推定部１５Ｃが設けられている。

本実施例は、フレーム種別判定部１５Ｂにより、入力された当該映像通信のＴＳパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するＴＳパケットの数を当該フレームのフレームデータ量として計数し、これらフレームのフレームデータ量の大小関係に基づきフレーム種別を判定し、映像品質推定部１５Ｃにより、フレーム種別判定部１５Ｂで得られた各フレームのフレーム種別、記憶部１４から読み出した当該エレメンタリストリームのフレーム構成、および当該映像通信のＴＳパケットから検出したＴＳパケットの損失状況に基づいて、当該映像通信に関する映像品質を推定するようにしたものである。

本発明にかかる映像品質推定装置は、ＩＰＴＶシステムやデジタル放送システムで用いられる。図２のＩＰＴＶシステムは、インターネットテレビシステムなど、映像信号をＩＰパケット化しパケット通信網３Ａを介して配信する映像配信システムであり、パケット通信網３Ａに接続された送信装置（ＩＰＴＶ放送局）１Ａと受信装置２Ａとから構成されている。
送信装置１Ａでは、ＭＰＥＧ−２規格（ISO/IEC 13818）に基づいて、映像信号をエンコードすることにより複数種別のフレームに圧縮符号化されたエレメンタリストリームが生成された後、このエレメンタリストリームをＴＳパケットに変換され、そのペイロード部が暗号化された後、ＩＰパケットに格納してパケット通信網３Ａへ送信される。

受信装置２Ａでは、パケット通信網３Ａから受信したＩＰパケットからＴＳパケットが取り出されてペイロード部が復号され、得られたＴＳパケットからエレメンタリストリームが生成されてデコードされることにより、所望の映像信号が生成される。
映像品質推定装置１０は、パケット通信網３Ａに接続されて、対象となる映像通信のＩＰパケットをキャプチャしてＴＳパケットを取り出し、これらＴＳパケットに基づいてフレーム種別を識別し、その識別結果を用いて映像品質を推定する。この場合、図２に示すように、受信装置２Ａ内に映像品質推定装置１０を設け、受信装置２Ａで生成されたＴＳパケットに基づいてフレーム種別を識別し、その識別結果を用いて映像品質を推定することもできる。

図３のデジタル放送システムは、地上波デジタル放送や衛生放送など、映像信号を圧縮符号化し無線放送網３Ｂを介して配信する映像配信システムであり、無線放送網３Ｂに接続された送信装置（デジタル放送局）１Ｂと受信装置（ＴＶ受信機）２Ｂとから構成されている。
送信装置１Ｂでは、前述したＩＰＴＶシステムの送信装置１Ａと同様にして映像信号からエレメンタリストリームが生成され、このエレメンタリストリームにＯＦＤＭなどの変調が行われた後、放送電波として無線放送網３Ｂへ送信される。

受信装置２Ｂでは、無線放送網３Ｂから受信した放送電波を復調してエレメンタリストリームを生成し、この後、前述したＩＰＴＶシステムの受信装置２Ａと同様にして所望の映像信号が生成される。
映像品質推定装置１０は、無線放送網３Ｂからの放送電波を受信して復調することによりエレメンタリストリームを生成し、得られたエレメンタリストリームからＴＳパケットを取り出し、これらＴＳパケットに基づいてフレーム種別を識別し、その識別結果を用いて映像品質を推定する。この場合、図２に示すように、無線放送網３Ｂと映像品質推定装置１０との間に無線放送網３Ｂからの放送電波を受信して復調することにより、対象となる映像通信のＩＰパケットを生成する受信機を設けてもよい。

また、受信装置２Ｂ内に映像品質推定装置１０を設け、受信装置２Ｂで生成されたＴＳパケットに基づいてフレーム種別を識別し、その識別結果を用いて映像品質を推定することもできる。この際、無線放送網３Ｂからの放送電波を受信して復調することにより、対象となる映像通信のＩＰパケットを生成する機能を映像品質推定装置１０内に設けてもよい。

［映像品質推定装置の構成］
次に、図１を参照して、本発明の第１の実施例にかかる映像品質推定装置の構成について詳細に説明する。ここでは、図２に示したＩＰＴＶ網に適用される場合を例として説明する。
映像品質推定装置１０には、主な機能部として、通信Ｉ／Ｆ部１１、操作入力部１２、画面表示部１３、記憶部１４、および演算処理部１５が設けられている。

通信Ｉ／Ｆ部１１は、専用の通信回路からなり、パケット通信網を介して各種ＩＰパケットを送受信する機能を有している。図３に示すようなデジタル放送システムに適用する場合、通信Ｉ／Ｆ部１１に、放送電波を受信して復調することによりＩＰパケットを生成する機能を設けてもよい。

操作入力部１２は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部１５へ出力する機能を有している。
画面表示部１３は、ＬＣＤやＰＤＰなどの画面表示装置からなり、演算処理部１５からの指示に応じて、操作メニューや映像品質推定結果などの各種情報を画面表示する機能を有している。

記憶部１４は、ハードディスクやメモリなどの記憶装置からなり、演算処理部１５での各種処理に用いる処理情報やプログラム１４Ｐを記憶する機能を有している。プログラム１４Ｐは、映像品質推定装置１０に設けられている通信Ｉ／Ｆ部１１などのデータ入出力機能を介して外部装置や記録媒体（図示せず）から予め読み込まれて記憶部１４に格納されている。
記憶部１４で記憶される主な処理情報としては、フレーム構成１４Ａ、処理対象ＰＩＤ１４Ｂ、フレームデータ量１４Ｃ、フレームデータ量配列１４Ｄ、フレーム種別判定結果配列１４Ｆ、および映像品質推定値１４Ｇがある。

フレーム構成１４Ａは、ＧＯＰ情報など、エレメンタリストリームにおけるフレーム順序を示す構成情報であり、対象となる映像通信に応じた内容が、操作入力部１２や通信Ｉ／Ｆ部１１を介して予め入力され記憶部１４に保存される。
処理対象ＰＩＤ１４Ｂは、処理対象となるエレメンタリストリームのＴＳパケットを識別するための識別情報であり、操作入力部１２や通信Ｉ／Ｆ部１１を介して予め入力され記憶部１４に保存される。ＰＩＤ（packet_indicator）については、受信した各ＴＳパケットに格納されているＰＩＤを集計し、その最も受信数の多いＰＩＤを処理対象ＰＩＤ１４Ｂとして用いてもよく、ＴＳパケットで通知されるＰＭＴ（Program Map Table）から処理対象ＰＩＤ１４Ｂを取得してもよい。

フレームデータ量１４Ｃは、フレーム種別判定部１５Ｂにおいて、ＴＳパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するＴＳパケットの数を計数した値である。
フレームデータ量配列１４Ｄは、個々のフレームのフレームデータ量を各フレームの到着順（再生順）に並べた配列データである。
判定用配列１４Ｅは、フレームデータ量配列１４Ｄからフレームデータ量をフレーム種別判定用として取り出した配列データである。
判定結果配列１４Ｆは、フレームデータ量配列１４Ｄの各フレームについてそれぞれのフレーム種別の判定結果を示す配列データである。
映像品質推定値１４Ｇは、映像品質推定部１５Ｃで推定された映像品質値である。

演算処理部１５は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部１４のプログラム１４Ｐを読み込んでマイクロプロセッサで実行することにより、上記ハードウェアとプログラム１４Ｐを協働させることにより、ＴＳパケット取得部１５Ａ、フレーム種別判定部１５Ｂ、映像品質推定部１５Ｃなどの各種処理部を実現する機能を有している。

ＴＳパケット取得部１５Ａは、通信Ｉ／Ｆ部１１から出力されたＩＰパケットからＴＳパケットを取り出す機能と、これらＴＳパケットのうち記憶部１４の処理対象ＰＩＤ１４Ｂと一致するＰＩＤを有するＴＳパケットを取得する機能と有している。
フレーム種別判定部１５Ｂは、ＴＳパケット取得部１５Ａで取得したＴＳパケットに含まれるフレーム開始位置を検出する機能と、このフレーム開始位置に基づいて個々のフレームを構成するＴＳパケットの数を当該フレームのフレームデータ量として計数し、記憶部１４のフレームデータ量配列１４Ｄへ保存する機能と、これらフレームのフレームデータ量の大小関係に基づき各フレームのフレーム種別を判定する機能とを有している。

映像品質推定部１５Ｃは、ＴＳパケット取得部１５Ａで取得した各ＴＳパケットからＴＳパケットの損失状況を確認する機能と、このＴＳパケット損失状況、フレーム種別判定部１５Ｂで得られた各フレームのフレーム種別、および記憶部１４から読み出した当該エレメンタリストリームのフレーム構成１４Ａに基づいて、当該映像通信に関する映像品質を推定する機能と、この推定値を映像品質推定値１４Ｇとして記憶部１４へ保存する機能とを有している。映像品質推定部１５Ｃにおける映像品質推定処理については、例えば特許文献２などの公知の技術を用いればよく、ここでの詳細な説明は省略する。

［第１の実施例の動作］
次に、図４を参照して、本発明の第１の実施例にかかる映像品質推定装置の動作について説明する。

［映像品質推定処理］
映像品質推定装置１０の演算処理部１５は、操作入力部１２で検出された映像品質推定の開始を指示するオペレータ操作に応じて、図４に示した映像品質推定処理を開始する。

演算処理部１５は、まず、ＴＳパケット取得部１５Ａにより、記憶部１４から処理対象ＰＩＤ１４Ｂを読み出し（ステップ１００）、通信Ｉ／Ｆ部１１で受信されたＩＰパケットから処理対象となるＴＳパケットを取得するため、後述するＴＳパケット取得処理を実行する（ステップ１０１）。
続いて、演算処理部１５は、フレーム種別判定部１５Ｂにより、ＴＳパケット取得部１５Ａで取得したＴＳパケットについて後述するフレーム種別判定処理を実行することにより、処理対象となるエレメンタリストリームの各フレームの種別を判定する（ステップ１０２）。

次に、演算処理部１５は、映像品質の推定に用いる品質推定期間分のフレームについて、フレーム種別の判定が終了したか判断し（ステップ１０３）、終了していない場合には（ステップ１０３：ＮＯ）、ステップ１０１へ戻って処理を継続する。
一方、フレーム種別判定が終了した場合（ステップ１０３：ＹＥＳ）、演算処理部１５は、映像品質推定部１５Ｃにより、ＴＳパケット取得部１５Ａで取得した各ＴＳパケットからＴＳパケットの損失状況を確認する（ステップ１０３）。

この後、映像品質推定部１５Ｃは、記憶部１４の判定結果配列１４Ｆを各フレームのフレーム種別として読み出し（ステップ１０４）、ＴＳパケット損失状況、各フレームのフレーム種別、および記憶部１４から読み出した当該エレメンタリストリームのフレーム構成１４Ａに基づいて、当該映像通信に関する映像品質を推定して（ステップ１０５）、この推定値を映像品質推定値１４Ｇとして記憶部１４へ保存し（ステップ１０６）、一連の映像品質推定処理を終了する。

［ＴＳパケット取得処理］
次に、図５を参照して、本発明の第１の実施例にかかる映像品質推定装置のＴＳパケット取得処理について説明する。
演算処理部１５のＴＳパケット取得部１５Ａは、図４のステップ１０１におけるＴＳパケット取得処理において、まず、通信Ｉ／Ｆ部１１から出力されたＩＰパケットから新たなＴＳパケットを取り出し（ステップ１１０）、当該ＴＳパケットのＴＳヘッダ部からＰＩＤを取得する（ステップ１１１）。

図６に示すように、ＴＳパケットは、ＩＴＵ−ＴＲｅｃ．Ｈ．２２２規格で規定されているとおり、各種識別情報が格納されているＴＳヘッダ部と、各種拡張情報が格納されるアダプテーションフィールド（Adaptation Field）部と、エレメンタリストリームが格納されるＴＳペイロード部とから構成されている。ＴＳペイロード部は暗号化されているため、そのデータ内容を解析することはできない。一方、ＴＳヘッダ部とアダプテーションフィールド部は暗号化されていないため、そのデータ内容を解析することができる。

ＴＳヘッダ部には、フレームの開始位置を示す識別情報として、その先頭から１０ビット目に、payload_unit_start_indicator（ＰＵＳＩ）情報が格納されている。このpayload_unit_start_indicator情報が「１」を示す場合、当該ＴＳパケットのＴＳペイロード部にＰＥＳヘッダが含まれている。このＰＥＳヘッダは、映像・音声データの切れ目を示すものであり、エンコーダによってエレメンタリストリーム上で現れる機会が異なる。ここでは、ＰＥＳヘッダがフレーム開始点を示すエンコーダ、例えばＴａｎｂｅｒ社ＥＮ５０９０や、サイエンティフィックアトランタ社Ｄ９０５４などのエンコーダを対象としている。なお、ＰＥＳヘッダがフレーム開始点を示していないエンコーダであったとしても、なんらかの法則性をもってフレーム開始点と類推できる場合は、その法則性に則りフレーム開始点と見なせばよい。

また、ＴＳヘッダ部には、当該ＴＳパケットのＴＳペイロード部に格納されているデータ内容の種別を示す識別情報として、その先頭１２ビット目から１３ビット分にＰＩＤ（packet_indicator）が格納されている。このＰＩＤを検査することにより、当該ＴＳパケットのＴＳペイロードに、圧縮符号化されたフレームデータが可能されていることを識別できる。
また、ＴＳヘッダ部には、同一ＰＩＤを持つＴＳパケットの通番を示す情報として、その先頭２８ビット目から４ビット分に連続性指標（ＣＣ：continuity_counter）が格納されている。

また、ＴＳヘッダ部には、上記アダプテーションフィールド部とＴＳペイロード部の有無を示す識別情報として、その先頭２６ビット目から２ビット分に、アダプテーションフィールド制御情報（ＡＦＣ：adaptation_field_control）が格納されている。
アダプテーションフィールド部には、ＲＡＩ（random_access_indicator）情報とＥＳＰＩ（elementary_stream_priority_indicator）情報が格納されている。これら情報は、共にＩフレームの先頭を示す識別情報であり、一部のＣＯＤＥＣで付加的に用いられる。

一方、ＲＴＰ（Real-time Transport Protocol／RFC3550）では、リアルタイムに音声や動画を送受信するためのトランスポート層プロトコルが規定されており、ＵＤＰ（user datagram protocol）の上位プロトコルとして利用する。ＲＴＰでは、図６に示すように、ＲＴＰヘッダとＲＴＰペイロードからなるＲＴＰパケットを、ＵＤＰに基づいてＩＰパケットへ格納する階層構造を用いている。したがって、ＴＳパケットは、ＩＰパケット内のＲＴＰパケットのＲＴＰペイロード部に、それぞれの通信方式に応じた数（例えば７個）ずつ格納されてパケット通信網３Ａへ送信される。

ＲＴＰヘッダには、対象となるリアルタイムアプリケーションのアプリケーションデータの境界を示す識別情報として、その先頭９ビット目から１ビット分に、マーカービット（ＭＢ：Markerbit）情報が格納されている。
また、ＲＴＰヘッダには、ＲＴＰパケットの通番を示す情報として、その先頭１７ビット目から１６ビット分にＲＴＰシーケンス番号（ＲＴＰ−ＳＥＱ：RTP-Sequence Number）が格納されている。

ＴＳパケット取得部１５Ａは、取得したＰＩＤと記憶部１４の処理対象ＰＩＤとを比較し（ステップ１１２）、両ＰＩＤが不一致の場合には（ステップ１１２：ＮＯ）、ステップ１１０へ戻って次のＴＳパケットに対する処理へ移行する。
一方、両ＰＩＤが一致した場合（ステップ１１２：ＹＥＳ）、ＴＳパケット取得部１５Ａは、当該ＴＳパケットを処理対象のＴＳパケットとして記憶部１４へ一次保存し（ステップ１１３）、一連のＴＳパケット取得処理を終了する。

［フレーム種別判定処理］
次に、図７および図８Ａ〜図８Ｅを参照して、本発明の第１の実施例にかかる映像品質推定装置のフレーム種別判定処理について説明する。
演算処理部１５のフレーム種別判定部１５Ｂは、図４のステップ１０２におけるフレーム種別判定処理において、図７のフレーム種別判定処理を実行する。
まず、ＴＳパケット取得部１５Ａで取得したＴＳパケットを記憶部１４から読み出し、そのＴＳヘッダ部からpayload_unit_start_indicator情報を取得する（ステップ１２０）。

ここで、payload_unit_start_indicator情報が「１」でない場合（ステップ１２１：ＮＯ）、当該ＴＳパケットがフレーム先頭のＴＳパケットではないことから、フレーム種別判定部１５Ｂは、記憶部１４のフレームデータ量１４Ｃに「１」を加えて当該フレームのＴＳパケット数を計数し（ステップ１２２）、図５のステップ１１０へ戻って次のＴＳパケットに対する処理へ移行する。
一方、payload_unit_start_indicator情報が「１」の場合（ステップ１２１：ＹＥＳ）、フレーム種別判定部１５Ｂは、記憶部１４のフレームデータ量１４Ｃをフレームデータ量配列１４Ｄの末尾に新たな配列データとして格納した後（ステップ１２３）、フレームデータ量１４Ｃをゼロクリアする（ステップ１２４）。

次に、フレーム種別判定部１５Ｂは、フレームデータ量配列１４Ｄの配列長と記憶部１４のフレーム構成１４Ａで規定されている最大ＧＯＰ長とを比較する（ステップ１２５）。ここで、フレームデータ量配列１４Ｄの配列長が最大ＧＯＰ長以下の場合（ステップ１２５：ＮＯ）、図５のステップ１１０へ戻って次のＴＳパケットに対する処理へ移行する。

一方、フレームデータ量配列１４Ｄの配列長が最大ＧＯＰ長より大きい場合（ステップ１２５：ＹＥＳ）、フレーム種別判定部１５Ｂは、図８Ａに示すように、フレームデータ量配列１４Ｄのうち先頭から例えば最大ＧＯＰ長に相当する判定期間分、ここではフレームＦ１〜Ｆ１７の配列データ（フレームデータ量）を記憶部１４の判定用配列１４Ｅへ移動させる（ステップ１３０）。

次に、フレーム種別判定部１５Ｂは、図８Ｂに示すように、判定用配列１４Ｅの配列データのうち、フレームデータ量が最大値、すなわちフレームＦ１５の配列データを選択して、当該フレームデータ量に対応するフレームがＩフレームであると判定し、記憶部１４の判定結果配列１４Ｆの当該フレーム（Ｆ１５）に対応する配列データとしてＩフレームを示すフレーム種別情報を格納する（ステップ１３１）。

エレメンタリストリームにおいて、Ｉフレームは、フレーム間予測により圧縮されていないフレームデータから構成されている。このため、フレーム間予測により圧縮されているＰフレームやＢフレームと比較して、そのデータ量が数倍以上大きい。このため、最大ＧＯＰ長など、Ｉフレームが１つしか現れない期間、すなわちエレメンタリストリームにおけるＩフレーム間隔以下の判定期間において、フレームデータ量が最大のフレームをＩフレームとして特定することができる。

続いて、フレーム種別判定部１５Ｂは、図８Ｃに示すように、判定結果配列１４Ｆの配列データのうち、先頭からＩフレーム直前までの各フレーム、すなわちフレームＦ１〜Ｆ１４に対応する配列データ（フレームデータ量）を選択し（ステップ１３２）、これら配列データのうち、周囲よりフレームデータ量が大きいものをＰフレームと判定し、記憶部１４の判定結果配列１４Ｆの当該フレーム（Ｆ１５）に対応する配列データとしてＩフレームを示すフレーム種別情報を格納する（ステップ１３３）。

エレメンタリストリームにおいて、ＰフレームとＢフレームとを比較すると、時刻順に応じた順方向動き補償予測を用いて圧縮符号化されたＰフレームは、順方向および逆方向の双方向動き補償予測を用いて圧縮符号化されたＢフレームと比較して、そのデータ量が大きくなる。このため、Ｉフレームが現れない判定期間において、各フレームのフレームデータ量間の大小関係が、１つのＰフレームと複数のＢフレームからなる所定の判定用フレームパターンと一致した場合、判定用フレームパターンのＰフレームに対応するフレームをＰフレームとして特定することができる。

例えば、一般的なＧＯＰ構成において出現する「ＩＢＢＰＢＢ」というフレームパターンのうち、「ＢＢＰＢ」という判定用フレームパターンをフレームデータ量の増減遷移で捉えた場合、Ｐフレームは各Ｂフレームよりフレームデータ量が大きくなる。図８Ｃの場合、フレームＦ１〜Ｆ４のフレームデータ量は「１０」，「２０」，「６０」，「２５」であり、この大小関係は、フレームＦ１＜フレームＦ３、フレームＦ２＜フレームＦ３、フレームＦ３＞フレームＦ４であり、判定用フレームパターン「ＢＢＰＢ」のフレームデータ量増減遷移と一致する。したがって、判定用フレームパターン「ＢＢＰＢ」のフレームＰに相当するフレームＦ３がＰフレームと判定できる。

したがって、処理対象となるエレメンタリストリームのＧＯＰ構成に含まれる判定用フレームパターンについて、判定用フレームパターン長Ｎ個分の連続するフレームを判定対象フレームとして当該判定期間のうちから選択して、この判定対象フレームのフレームデータ量の大小関係と当該判定用フレームパターンとを比較し、その一致に応じてＰフレームを特定できる。また、判定対象フレームの選択位置を順次ずらして上記比較を繰り返すことにより、Ｉフレームが現れない判定期間におけるすべてのＰフレームを特定することが可能となる。

判定用フレームパターンについては、ＧＯＰ構成のうち、Ｐフレームの直前に連続して存在するすべてのＢフレームと、Ｐフレームの後ろに存在する１つのＢフレームとからなるパターンを用いればよい。例えば「ＩＢＢＢＰＢＢＢ」というＧＯＰ構成の場合、Ｐフレームの直前に連続する３つのＢフレームと、Ｐフレームの後ろの１つのＢフレームから、「ＢＢＢＰＢ」という判定用フレームパターンを構成すればよい。このような判定用フレームパターンを用いることにより、Ｂフレームのみからなるフレームデータ量の増大を誤検出することなく、他のＢフレームに対するＰフレームよるフレームデータ量の増大を正確に検出することができる。

このようにして、Ｐフレームを判定した後、フレーム種別判定部１５Ｂは、図８Ｄに示すように、判定期間すなわちステップ１３２で選択したフレームＦ１〜Ｆ１４のうちステップ１３３でＰフレームと判定されていない、他の未判定フレーム（Ｆ１，Ｆ２，Ｆ４，Ｆ５，Ｆ７，Ｆ８，Ｆ１０，Ｆ１１，Ｆ１３，Ｆ１４）をＢフレームと判定し、記憶部１４の判定結果配列１４ＦのこれらＢフレームに対応する配列データとしてＢフレームを示すフレーム種別情報を格納する（ステップ１３４）。

続いて、フレーム種別判定部１５Ｂは、図８Ｅに示すように、判定が終了したフレーム（Ｆ１〜Ｆ１５）に対応するフレームデータ量を、記憶部１４のフレームデータ量配列１４Ｄから削除し（ステップ１３５）、一連のフレーム種別判定処理を終了する。

［第１の実施例の効果］
このように、本実施例は、フレーム種別判定部１５Ｂにより、入力された当該映像通信のＴＳパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するＴＳパケットの数を当該フレームのフレームデータ量として計数し、これらフレームのフレームデータ量の大小関係に基づきフレーム種別を判定し、映像品質推定部１５Ｃにより、フレーム種別判定部１５Ｂで得られた各フレームのフレーム種別、記憶部１４から読み出した当該エレメンタリストリームのフレーム構成１４Ａ、および当該映像通信のＴＳパケットから検出したＴＳパケットの損失状況に基づいて、当該映像通信に関する映像品質を推定するようにしたので、ＴＳパケットのペイロード部が暗号化されている場合でも各フレームのフレーム種別を把握でき、劣化フレームの波及を考慮して精度よく映像品質を推定できる。

また、本実施例では、当該エレメンタリストリームにおけるＩフレーム間隔以下の判定期間において時間的に連続する各フレームのうち、フレームデータ量が最大のフレームをＩフレームと判定し、さらには判定期間として、当該エレメンタリストリームにおける最大ＧＯＰ長を用いるようにしたので、Ｉフレームを正確に特定することが可能となる。また、計算量も少ないため、実装における制限が低くなる。

また、本実施例では、当該エレメンタリストリームのフレーム構成に、複数のＢフレーム、１つのＰフレーム、および１つのＢフレームからなるＮ（Ｎは４以上の整数）個のフレームが時間的にそれぞれ連続する判定用フレームパターンを含む場合、Ｉフレームを含まない時間的に連続するＮ個のフレームについて、先頭からＮ−２個目までの各フレームおよびＮ個目のフレームのフレームデータ量のすべてがＮ−１個目のフレームのフレームデータ量より小さい場合、Ｎ−１個目のフレームをＰフレームと判定するようにしたので、Ｐフレームを正確に特定することが可能となる。また、計算量も少ないため、実装における制限が低くなる。

また、本実施例では、Ｉフレームを含まない時間的に連続する所定数のフレームのうち、Ｐフレームと判定されなかった残りのフレームをＢフレームと判定するようにしたので、Ｂフレームを正確に特定することが可能となる。また、計算量も少ないため、実装における制限が低くなる。

また、本実施例では、ＴＳパケットのヘッダ部に含まれているpayload_unit_start_indicator情報の値に基づいてフレーム開始位置を検出するようにしたので、各フレームのフレームデータ量を正確に計数することが可能となる。

［第２の実施例］
次に、本発明の第２の実施例にかかる映像品質推定装置について説明する。
第１の実施例では、フレーム種別を判定する場合、ＧＯＰ構成がフレームの出現パターン「ＩＢＢＰＢＢ」からほとんど崩れない一般的な圧縮符号化方式の場合を前提として説明した。本実施例では、ＧＯＰ構成に上記以外の出現パターンが含まれる場合を例として説明する。

本実施例にかかる映像品質推定装置は、演算処理部１５のフレーム種別判定部１５Ｂでのフレーム種別判定処理において、異なる複数の出現パターンごとに、当該出現パターン内に含まれるフレームの位置とフレームデータ量との関係を示す判定基準を予め設定しておき、これら判定基準が、Ｉフレームを含まない時間的に連続する複数のフレームについて成立するか検査し、成立した判定基準に対応する出現パターンに基づき当該フレームの種別を判定する。

この際、判定基準としては、当該出現パターン内の所定位置にある複数フレームのフレームデータ量の平均値に基づき算出したしきい値と、当該出現パターン内の各フレームのフレームデータ量との比較結果、すなわち両者の大小関係から構成されている。この判定基準について、予め記憶部１４に保存しておき、必要に応じて記憶部１４からフレーム種別判定部１５Ｂが読み出して用いればよい。
なお、本実施例にかかる映像品質推定装置の構成については、演算処理部１５のフレーム種別判定部１５Ｂにおける判定処理の内容が異なるものの、その他の構成については第１の実施例（図１参照）と同等であり、ここでの詳細な説明は省略する。

［第２の実施例の動作］
次に、図９を参照して、本発明の第２の実施例にかかる映像品質推定装置のフレーム種別判定処理について説明する。図９において、前述した図７と同じまたは同等部分には同一符号を付してある。

演算処理部１５のフレーム種別判定部１５Ｂは、図４のステップ１０２におけるフレーム種別判定処理において、前述した図７のステップ１２０〜１２５と同様の処理を実行する。
ステップ１２５において、フレームデータ量配列１４Ｄの配列長が最大ＧＯＰ長より大きい場合（ステップ１２５：ＹＥＳ）、フレーム種別判定部１５Ｂは、図８Ａに示すように、フレームデータ量配列１４Ｄのうち先頭から最大ＧＯＰ長分、すなわちフレームＦ１〜Ｆ１７の配列データ（フレームデータ量）を記憶部１４の判定用配列１４Ｅへ移動させる（ステップ１３０）。

続いて、フレーム種別判定部１５Ｂは、図８Ｃに示すように、判定結果配列１４Ｆの配列データのうち、先頭からＩフレーム直前までの各フレーム、すなわちフレームＦ１〜Ｆ１４に対応する配列データ（フレームデータ量）を選択し（ステップ１３２）、これら配列データの先頭を判定対象フレーム先頭位置に設定して、後述する図１０の出現パターン別のフレーム種別判定処理を実行する（ステップ２００）。

この出現パターン別のフレーム種別判定処理において、判定対象フレーム先頭位置から所定数フレームについて、いずれの出現パターンの判定基準も成立しなかった場合、すなわち判定が失敗した場合（ステップ２０１：ＮＯ）、フレーム種別判定部１５Ｂは、出現パターン別フレーム種別判定処理の例外処理として、後述する図１１の例外フレーム種別判定処理を実行する（ステップ２０２）。

一方、ステップ２００において、判定対象フレーム先頭位置から所定数フレームについて、いずれかの出現パターンの判定基準が成立した場合、すなわち判定が成功した場合（ステップ２０１：ＹＥＳ）、およびステップ２０２の後、フレーム種別判定部１５Ｂは、ステップ１３２で選択されたすべての配列データについて判定が終了したか判断する（ステップ２０３）。

ここで、すべての配列データについて判定が終了していない場合（ステップ２０３：ＮＯ）、フレーム種別判定部１５Ｂは、ステップ２００に戻って新たに設定された判定対象フレーム先頭位置から出現パターン別のフレーム種別判定処理を繰り返し実行する。
また、ステップ１３２で選択されたすべての配列データについて判定が終了した場合（ステップ２０３：ＹＥＳ）、フレーム種別判定部１５Ｂは、判定が終了した各配列データについて、後述する図１２の連続Ｂフレーム再判定処理を実行する（ステップ２０４）。

［出現パターン別フレーム種別判定処理］
次に、図１０を参照して、本発明の第２の実施例にかかる映像品質推定装置の出現パターン別フレーム種別判定処理について説明する。
演算処理部１５のフレーム種別判定部１５Ｂは、図９のステップ２００において、図１０の出現パターン別フレーム種別判定処理を実行する。
まず、フレーム種別判定部１５Ｂは、ＧＯＰ構成が「ＩＢＢＰＢ」の場合の定常的な開始パターンである出現パターン「ＢＢＰ」について、現在選択されている判定対象フレーム先頭位置から所定数フレームに対して当該出現パターンの判定基準が成立するか否かを判定する（ステップ２１０）。

具体的には、判定対象フレーム先頭位置がＩフレーム直後であって、当該判定対象フレーム先頭位置から２つ分のフレーム（ＢＢ相当）、例えば図８Ｃの判定用配列１４Ｅの配列データのうち先頭から２つ分の配列データ（Ｆ１，Ｆ２）について、フレームデータ量の平均値を算出し、この平均値に例えば１．２になどの所定係数を積算して下限値（しきい値）を算出する。次に、この下限値と、判定対象フレーム先頭位置から３つ目のフレーム、例えば図８Ｃの判定用配列１４Ｅの配列データのうち先頭から３つ目の配列データ（Ｆ３）のフレームデータ量と比較する。

ここで、このフレームデータ量が下限値より大きい場合、当該判定対象フレーム先頭位置から３つ分のフレームを「ＢＢＰ」と判定する。この際、平均値の算出に用いるフレームは上記に限定されるものではなく、例えば判定対象フレーム先頭位置から３つ分のフレームの平均値を用いてもよい。また、しきい値算出時の所定係数も１．２に限定されるものではなく、当該システムや映像に応じた値を選択すればよい。

このようにして、判定基準が成立して判定が成功した場合（ステップ２１１：ＹＥＳ）、記憶部１４の判定結果配列１４Ｆの当該フレームに上記判定結果に応じたフレーム種別情報を格納し（ステップ２２０）、新たな判定対象フレーム先頭位置を選択し（ステップ２２１）、一連の出現パターン別フレーム種別判定処理を終了する。

なお、ステップ２２１では、判定結果のフレーム種別のうち、最後のフレームのフレーム種別がＰフレームの場合、当該Ｐフレームを新たな判定対象フレーム先頭位置とし、最後のフレームのフレーム種別がＰフレーム以外の場合、当該Ｐフレームの次フレームを新たな判定対象フレーム先頭位置とする。これにより、最後のフレームのフレーム種別がＰフレームの場合には、当該Ｐフレームが先頭フレームとして再利用されるため、再利用しない場合と比較して、誤差のない安定したフレーム種別判定が可能となる。

一方、ステップ２１０において、判定基準が成立せずフレーム種別判定に失敗した場合（ステップ２１１：ＮＯ）、フレーム種別判定部１５Ｂは、現在選択されている判定対象フレーム先頭位置から所定数フレームに対してＰフレームが連続する出現パターンの判定基準が成立するか否かを判定する（ステップ２１２）。

具体的には、判定対象フレーム先頭位置から所定数フレームについて、フレームデータ量の平均値を算出し、この平均値に１．２などの所定係数を積算して上限値（しきい値）を算出するとともに、この平均値に０．８などの所定係数を積算して下限値（しきい値）を算出する。次に、判定対象フレーム先頭位置から所定数のフレームについて、上下限値とフレームデータ量と個々に比較する。ここで、各フレームデータ量が上下限値の範囲内に納まっている場合、当該判定対象フレーム先頭位置から所定数フレームをすべてＰフレームと判定する。

この際、平均値算出および判定に用いるフレーム数は、判定対象フレーム先頭位置から次のＩフレームまでを最長とし、判定対象フレーム先頭位置から所定最低数（例えば４つ）を最短として、最長から最短までフレーム数を徐々に減らして繰り返し判定し、判定が成立した時点で終了すればよい。また、しきい値算出時の所定係数も１．２や０．８に限定されるものではなく、当該システムや映像に応じた値を選択すればよい。

このようにして、判定基準が成立して判定が成功した場合（ステップ２１３：ＹＥＳ）、記憶部１４の判定結果配列１４Ｆの当該フレームに上記判定結果に応じたフレーム種別情報を格納し（ステップ２２０）、次の判定用の判定対象フレーム先頭位置を選択し（ステップ２２１）、一連の出現パターン別フレーム種別判定処理を終了する。

一方、ステップ２１２において、判定基準が成立せずフレーム種別判定に失敗した場合（ステップ２１３：ＮＯ）、フレーム種別判定部１５Ｂは、ＧＯＰ構成が「ＩＢＢＰＢＢ」での定常的な中間パターンである「ＰＢＢＰ」について、現在選択されている判定対象フレーム先頭位置から所定数フレームに対して当該出現パターンの判定基準が成立するか否かを判定する（ステップ２１４）。

具体的には、判定対象フレーム先頭位置の次から２つ分のフレーム（ＢＢ相当）について、フレームデータ量の平均値を算出し、この平均値に例えば１．２になどの所定係数を積算して下限値（しきい値）を算出する。次に、この下限値と、判定対象フレーム先頭位置のフレーム（Ｐ相当）および判定対象フレーム先頭位置から３つ目のフレーム（Ｐ相当）とをそれぞれ比較する。ここで、これらフレームのフレームデータ量の両方が下限値より大きい場合、当該判定対象フレーム先頭位置から４つ分のフレームを「ＰＢＢＰ」と判定する。この際、平均値の算出に用いるフレームは上記に限定されるものではなく、例えば判定対象フレーム先頭位置の次から３つ分のフレームの平均値を用いてもよい。また、しきい値算出時の所定係数も１．２に限定されるものではなく、当該システムや映像に応じた値を選択すればよい。

このようにして、判定基準が成立して判定が成功した場合（ステップ２１５：ＹＥＳ）、記憶部１４の判定結果配列１４Ｆの当該フレームに上記判定結果に応じたフレーム種別情報を格納し（ステップ２２０）、次の判定用の判定対象フレーム先頭位置を選択し（ステップ２２１）、一連の出現パターン別フレーム種別判定処理を終了する。

一方、ステップ２１４において、判定基準が成立せずフレーム種別判定に失敗した場合（ステップ２１５：ＮＯ）、フレーム種別判定部１５Ｂは、ＧＯＰ構成が「ＩＢＢＰＢＢ」での定常的な中間パターンである「ＰＢＢ」について、現在選択されている判定対象フレーム先頭位置から所定数フレームに対して当該出現パターンの判定基準が成立するか否かを判定する（ステップ２１６）。

具体的には、判定対象フレーム先頭位置の次から２つ分のフレーム（ＢＢ相当）について、フレームデータ量の平均値を算出し、この平均値に例えば１．２になどの所定係数を積算して下限値（しきい値）を算出する。次に、この下限値と、判定対象フレーム先頭位置のフレーム（Ｐ相当）とを比較する。ここで、当該フレームのフレームデータ量が下限値より大きい場合、当該判定対象フレーム先頭位置から３つ分のフレームを「ＰＢＢ」と判定する。この際、平均値の算出に用いるフレームは上記に限定されるものではなく、例えば判定対象フレーム先頭位置から３つ分のフレームの平均値を用いてもよい。また、しきい値算出時の所定係数も１．２に限定されるものではなく、当該システムや映像に応じた値を選択すればよい。

このようにして、判定基準が成立して判定が成功した場合（ステップ２１７：ＹＥＳ）、記憶部１４の判定結果配列１４Ｆの当該フレームに上記判定結果に応じたフレーム種別情報を格納し（ステップ２２０）、次の判定用の判定対象フレーム先頭位置を選択し（ステップ２２１）、一連の出現パターン別フレーム種別判定処理を終了する。

一方、ステップ２１６において、判定基準が成立せずフレーム種別判定に失敗した場合（ステップ２１７：ＮＯ）、フレーム種別判定部１５Ｂは、ＧＯＰ構成が「ＩＢＢＰＢＢ」が崩れた例外パターンである「ＰＰＢＢＰ」について、現在選択されている判定対象フレーム先頭位置から所定数フレームに対して当該出現パターンの判定基準が成立するか否かを判定する（ステップ２１８）。

具体的には、判定対象フレーム先頭位置の次の次から２つ分のフレーム（ＢＢ相当）について、フレームデータ量の平均値を算出し、この平均値に例えば１．２になどの所定係数を積算して下限値（しきい値）を算出する。次に、この下限値と、判定対象フレーム先頭位置から２つ分のフレーム（Ｐ相当）および判定対象フレーム先頭位置から５つ目のフレーム（Ｐ相当）とを比較する。ここで、これらフレームのフレームデータ量が下限値より大きい場合、当該判定対象フレーム先頭位置から５つ分のフレームを「ＰＰＢＢＰ」と判定する。この際、平均値の算出に用いるフレームは上記に限定されるものではなく、例えば判定対象フレーム先頭位置の次から４つ分のフレームの平均値を用いてもよい。また、しきい値算出時の所定係数も１．２に限定されるものではなく、当該システムや映像に応じた値を選択すればよい。

このようにして、判定基準が成立して判定が成功した場合（ステップ２１９：ＹＥＳ）、記憶部１４の判定結果配列１４Ｆの当該フレームに上記判定結果に応じたフレーム種別情報を格納し（ステップ２２０）、次の判定用の判定対象フレーム先頭位置を選択し（ステップ２２１）、一連の出現パターン別フレーム種別判定処理を終了する。
一方、ステップ２１８において、判定基準が成立せずフレーム種別判定に失敗した場合（ステップ２１９：ＮＯ）、一連の出現パターン別フレーム種別判定処理を終了する。

［例外フレーム種別判定処理］
次に、図１１を参照して、本発明の第２の実施例にかかる映像品質推定装置の例外フレーム種別判定処理について説明する。
演算処理部１５のフレーム種別判定部１５Ｂは、図９のステップ２０２において、図１１の例外フレーム種別判定処理を実行する。
まず、フレーム種別判定部１５Ｂは、判定対象フレーム先頭位置のフレームに対して、ＰフレームとＢフレームに関する各フレームデータ量のそれぞれの平均値を用いたＰフレームとＢフレームの判定基準が成立するか否かを判定する（ステップ２３０）。

具体的には、フレーム種別がすでに確定している記憶部１４の判定結果配列１４Ｆから所定範囲内に位置する所定数のＰフレームを選択し、これらＰフレームについて記憶部１４の判定用配列１４Ｅにおけるフレームデータ量を参照してその平均値を算出するとともに、当該所定範囲内に位置する所定数のＰフレームについてフレームデータ量の平均値を算出する。次に、これら２つの平均値の平均値をしきい値とし、記憶部１４の判定用配列１４Ｅにおける判定対象フレーム先頭位置のフレームのフレームデータ量がしきい値より大きければＰフレームと判定し、当該フレームデータ量がしきい値より小さければＢフレームと判定する。この際、判定対象フレーム先頭位置からの複数のフレームについて同一判定基準で判定してもよい。

このようにして、判定基準が成立して判定が成功した場合（ステップ２３１：ＹＥＳ）、記憶部１４の判定結果配列１４Ｆの当該フレームに上記判定結果に応じたフレーム種別情報を格納し（ステップ２３７）、判定できた最後のフレームの次のフレームを新たな判定対象フレーム先頭位置として選択し（ステップ２３８）、一連の例外フレーム種別判定処理を終了する。

一方、ステップ２３０において、判定基準が成立せずフレーム種別判定に失敗した場合（ステップ２３１：ＮＯ）、フレーム種別判定部１５Ｂは、判定対象フレーム先頭位置のフレームに対して、Ｐフレームに関する各フレームデータ量の平均値を用いたＰフレームの判定基準が成立するか否かを判定する（ステップ２３２）。

具体的には、当該ＧＯＰの範囲内に位置する直前Ｐフレームから遡った所定数のＰフレームについてフレームデータ量の平均値を算出し、この平均値に例えば１．２になどの所定係数を積算して上限値（しきい値）を算出するとともに、この平均値に０．８などの所定係数を積算して下限値（しきい値）を算出する。次に、判定対象フレーム先頭位置のフレームについて、上下限値とフレームデータ量と個々に比較する。ここで、各フレームデータ量が上下限値の範囲内に納まっている場合、当該判定対象フレーム先頭位置のフレームをＰフレームと判定する。この際、判定対象フレーム先頭位置からの複数のフレームについて同一判定基準で判定してもよい。

このようにして、判定基準が成立して判定が成功した場合（ステップ２３３：ＹＥＳ）、記憶部１４の判定結果配列１４Ｆの当該フレームに上記判定結果に応じたフレーム種別情報を格納し（ステップ２３７）、判定できた最後のフレームの次のフレームを新たな判定対象フレーム先頭位置として選択し（ステップ２３８）、一連の例外フレーム種別判定処理を終了する。

一方、ステップ２３２において、判定基準が成立せずフレーム種別判定に失敗した場合（ステップ２３３：ＮＯ）、フレーム種別判定部１５Ｂは、判定対象フレーム先頭位置のフレームに対して、Ｂフレームに関する各フレームデータ量の平均値を用いたＢフレームの判定基準が成立するか否かを判定する（ステップ２３４）。

具体的には、当該ＧＯＰの範囲内に位置する直前Ｐフレームから遡った所定数のＢフレームについてフレームデータ量の平均値を算出し、この平均値に例えば１．２になどの所定係数を積算して上限値（しきい値）を算出する。次に、判定対象フレーム先頭位置のフレームについて、上限値とフレームデータ量と個々に比較する。ここで、各フレームデータ量が上限値より小さい場合、当該判定対象フレーム先頭位置のフレームをＢフレームと判定する。この際、判定対象フレーム先頭位置からの複数のフレームについて同一判定基準で判定してもよい。

このようにして、判定基準が成立して判定が成功した場合（ステップ２３５：ＹＥＳ）、記憶部１４の判定結果配列１４Ｆの当該フレームに上記判定結果に応じたフレーム種別情報を格納し（ステップ２３７）、判定できた最後のフレームの次のフレームを新たな判定対象フレーム先頭位置として選択し（ステップ２３８）、一連の例外フレーム種別判定処理を終了する。

一方、ステップ２３４において、判定基準が成立せずフレーム種別判定に失敗した場合（ステップ２３５：ＮＯ）、フレーム種別判定部１５Ｂは、判定対象フレーム先頭位置のフレームをＰフレームと判定し（ステップ２３６）、記憶部１４の判定結果配列１４Ｆの当該フレームに上記判定結果に応じたフレーム種別情報を格納し（ステップ２３７）、判定できた最後のフレームの次のフレームを新たな判定対象フレーム先頭位置として選択し（ステップ２３８）、一連の例外フレーム種別判定処理を終了する。

［連続Ｂフレーム再判定処理］
次に、図１２を参照して、本発明の第２の実施例にかかる映像品質推定装置の連続Ｂフレーム再判定処理について説明する。
演算処理部１５のフレーム種別判定部１５Ｂは、図９のステップ２０４において、図１２の連続Ｂフレーム再判定処理を実行する。
まず、フレーム種別判定部１５Ｂは、記憶部１４の判定結果配列１４Ｆにおける配列データを参照し、ＧＯＰ構成の最後において、Ｂフレームが３個または４個連続するという判定基準が成立するか否かを判定する。ここで、この判定基準が成立した場合にはこれらＢフレームを「ＢＢＰ」（３個の場合）または「ＢＢＰＰ」（４個の場合）と再判定して、記憶部１４の判定結果配列１４Ｆの当該フレームに上記判定結果に応じたフレーム種別情報を更新する（ステップ２４０）。

次に、フレーム種別判定部１５Ｂは、図９のステップ１３２で選択された配列データ（フレームデータ量）の先頭を再判定対象フレーム先頭位置に設定し（ステップ２４１）、記憶部１４の判定結果配列１４Ｆにおける配列データのうち、当該再判定対象フレーム先頭位置からＢフレームが、５個または８個連続するという判定基準が成立するか否かを判定する。ここで、この判定基準が成立した場合にはこれらＢフレームを「ＢＢＰＢＢ」（５個の場合）または「ＢＢＰＢＢＰＢＢ」（８個の場合）と再判定して、記憶部１４の判定結果配列１４Ｆの当該フレームに上記判定結果に応じたフレーム種別情報を更新する（ステップ２４２）。

このようにして、判定基準が成立して判定が成功した場合（ステップ２４３：ＹＥＳ）、フレーム種別判定部１５Ｂは、ステップ２４１で選択されたすべての配列データについて判定が終了したか判断する（ステップ２０３）。
ここで、すべての配列データについて判定が終了していない場合（ステップ２４５：ＮＯ）、フレーム種別判定部１５Ｂは、次の再判定対象フレーム先頭位置を選択し（ステップ２４６）、ステップ２４２に戻って新たに設定された再判定対象フレーム先頭位置から処理を繰り返し実行する。

一方、ステップ２４３において、判定基準が成立せずフレーム種別再判定に失敗した場合（ステップ２４３：ＮＯ）、フレーム種別判定部１５Ｂは、再判定対象フレーム先頭位置からＢフレームが、３個、４個、６個、または７個連続するという判定基準が成立するか否かを判定する。ここで、この判定基準が成立した場合にはこれらＢフレームを「ＢＢＰ」（３個の場合）、「ＢＢＰＢ」（４個の場合）、「ＢＢＰＢＢＰ」（６個の場合）、または「ＢＢＰＢＢＰＢＢ」（８個の場合）と再判定して、記憶部１４の判定結果配列１４Ｆの当該フレームに上記判定結果に応じたフレーム種別情報を更新する（ステップ２４４）。

この後、フレーム種別判定部１５Ｂは、ステップ２４１で選択されたすべての配列データについて判定が終了したか判断する（ステップ２０３）。
ここで、すべての配列データについて判定が終了していない場合（ステップ２４５：ＮＯ）、フレーム種別判定部１５Ｂは、次の再判定対象フレーム先頭位置を選択し（ステップ２４６）、ステップ２４２に戻って新たに設定された再判定対象フレーム先頭位置から処理を繰り返し実行する。
また、ステップ２４５において、すべての配列データについて判定が終了した場合（ステップ２４５：ＹＥＳ）、一連の連続Ｂフレーム再判定処理を終了する。

［第２の実施例の効果］
このように、本実施例は、演算処理部１５のフレーム種別判定部１５Ｂでのフレーム種別判定処理において、異なる複数の出現パターンごとに、当該出現パターン内に含まれるフレームの位置とフレームデータ量との関係を示す判定基準を予め設定しておき、Ｉフレームを含まない時間的に連続する所定数のフレームについて、各出現パターンの判定基準により検査し、判定基準が成立した出現パターンに基づき当該フレームの種別を判定するようにしたので、ＧＯＰ構成として一般的なフレーム出現パターン以外の出現パターンが含まれる場合でも、これらフレームの種別を判定することが可能となる。

また、判定基準として、所定範囲内に位置する複数フレームのフレームデータ量の平均値に基づいて算出したしきい値と、当該出現パターン内のフレームのフレームデータ量との比較結果、すなわち両者の大小関係から構成するようにしたので、極めて簡素な演算処理でフレーム種別を判定することができる。

［第３の実施例］
次に、本発明の第３の実施例にかかる映像品質推定装置について説明する。
第１、第２の実施例では、判定対象フレームの前後フレームとのフレームデータ量の増減関係に基づいて、判定対象フレームのフレーム種別を判定する場合を例として説明した。本実施例では、しきい値に基づきＰフレームとＢフレームを判別するフレーム種別判定方法と、フレーム種別判定方法に用いる係数の学習方法を説明する。
なお、本実施例にかかる映像品質推定装置の構成については、演算処理部１５のフレーム種別判定部１５Ｂにおける処理の内容が異なるものの、その他の構成については第１の実施例（図１参照）と同等であり、ここでの詳細な説明は省略する。

［第３の実施例の動作］
次に、本発明の第３の実施例にかかる映像品質推定装置の動作について説明する。
本実施例にかかる映像品質推定装置１０では、演算処理部１５のフレーム種別判定部１５Ｂにおいて、判定対象フレームのフレーム種別を判定する場合、Ｉフレーム判定処理とＰ，Ｂフレーム判定処理の２つのフレーム判定処理を用いる。

Ｉフレーム判定処理は、Ｉフレームを判定するためのフレーム判定方法であり、係数として、Ｉフレーム検索範囲を示す判定期間を用いる。この判定期間としては、最大ＧＯＰ長を示す値が用いられる。
また、Ｐ，Ｂフレーム判定処理は、ＰフレームおよびＢフレームを判定するためのフレーム判定処理であり、係数として、ＰフレームとＢフレームをフレームデータ量で区別するためのしきい値を調整する調整係数を用いる。

判定期間および調整係数については、フレーム判定処理の実行に先だって予め学習して記憶部１４に保存しておくことが望ましいが、標準的な値を外部から入力して記憶部１４に保存しておくこともできる。これら判定期間および調整係数の学習は、判定期間の学習を行った後、調整係数の学習を行うという、２段階の学習処理を順に行う。

［フレーム種別判定処理］
まず、図１３を参照して、本発明の第３の実施例にかる映像品質推定装置のフレーム種別判定処理について説明する。図１３において、前述の図７と同じまたは同等部分には同一符号を付してある。
演算処理部１５のフレーム種別判定部１５Ｂは、図４のステップ１０２におけるフレーム種別判定処理において、図１３のフレーム種別判定処理を実行する。

まず、フレーム種別判定部１５Ｂは、ＴＳパケット取得部１５Ａで取得したＴＳパケットを記憶部１４から読み出し、そのＴＳヘッダ部からpayload_unit_start_indicator情報を取得する（ステップ１２０）。
ここで、payload_unit_start_indicator情報が「１」でない場合（ステップ１２１：ＮＯ）、当該ＴＳパケットがフレーム先頭のＴＳパケットではないことから、フレーム種別判定部１５Ｂは、記憶部１４のフレームデータ量１４Ｃに「１」を加えて当該フレームのＴＳパケット数を計数し（ステップ１２２）、図５のステップ１１０へ戻って次のＴＳパケットに対する処理へ移行する。

一方、payload_unit_start_indicator情報が「１」の場合（ステップ１２１：ＹＥＳ）、フレーム種別判定部１５Ｂは、記憶部１４のフレームデータ量１４Ｃをフレームデータ量配列１４Ｄの末尾に新たな配列データとして格納した後（ステップ１２３）、フレームデータ量１４Ｃをゼロクリアする（ステップ１２４）。

次に、フレーム種別判定部１５Ｂは、係数として与えられた判定期間を用いた、後述する図１４のＩフレーム判定処理を実行した後（ステップ３００）、係数として調整係数を用いた、後述する図１５のＰ，Ｂフレーム判定処理を実行する（ステップ３０１）。
これにより、フレームデータ量配列１４Ｄのうち次に現れるＩフレームまでの各フレームについて、Ｉ，Ｐ，Ｂフレームのいずれかを示すフレーム種別判定結果が記憶部１４の判定結果配列１４Ｆに格納される。

続いて、フレーム種別判定部１５Ｂは、前述した図８Ｅに示すように、判定が終了したフレームに対応するフレームデータ量を、記憶部１４のフレームデータ量配列１４Ｄから削除し（ステップ１３５）、一連のフレーム種別判定処理を終了する。

［Ｉフレーム判定処理］
次に、図１４を参照して、本発明の第３の実施例にかかる映像品質推定装置のＩフレーム判定処理について説明する。
演算処理部１５のフレーム種別判定部１５Ｂは、図１３のステップ３００におけるＩフレーム判定処理において、図１４のＩフレーム判定処理を実行する。

まず、フレーム種別判定部１５Ｂは、記憶部１４のフレームデータ量配列１４Ｄの配列長、すなわちデータ数と、係数として与えられた判定期間、ここでは最大ＧＯＰ長とを比較する（ステップ３１０）。
ここで、配列長が最大ＧＯＰ長未満の場合（ステップ３１０：ＮＯ）、フレーム種別判定部１５Ｂは、図５のステップ１１０へ戻って次のＴＳパケットに対する処理へ移行する。

一方、配列長が最大ＧＯＰ長以上の場合（ステップ３１０：ＹＥＳ）、フレーム種別判定部１５Ｂは、前述した図８Ａに示すように、最大ＧＯＰ長分のデータ（Ｆ１〜Ｆ１７）を、記憶部１４のフレームデータ量配列１４Ｄから判定用配列１４Ｅへ格納する（ステップ３１１）。
続いて、フレーム種別判定部１５Ｂは、前述した図８Ｂに示すように、判定用配列１４Ｅのうち、フレームデータ量が最大値を示すデータ（Ｆ１５）に対応するフレームをＩフレームと判定して、その判定結果を記憶部１４の判定結果配列１４Ｆへ格納し（ステップ３１２）、一連のＩフレーム判定処理を終了する。

［Ｐ，Ｂフレーム判定処理］
次に、図１５，図１６，図１７Ａ，図１７Ｂを参照して、本発明の第３の実施例にかかる映像品質推定装置のＰ，Ｂフレーム判定処理について説明する。
演算処理部１５のフレーム種別判定部１５Ｂは、図１３のステップ３０１におけるＰ，Ｂフレーム判定処理において、図１５のＰ，Ｂフレーム判定処理を実行する。

まず、フレーム種別判定部１５Ｂは、図１６および図１７Ａに示すように、記憶部１４の判定用配列１４Ｅのうち、その先頭フレームから上記Ｉフレーム判定処理でＩフレームと判定されたフレームまでのフレームデータ量について単純平均値を算出する（ステップ３２０）。図１７Ａの例では、フレームＦ１〜Ｆ１４の単純平均値が算出されている。
続いて、フレーム種別判定部１５Ｂは、求めた単純平均値に、係数として与えられた調整係数を乗算することにより、Ｐ，Ｂフレーム判定用のしきい値を算出する（ステップ３２１）。

次に、フレーム種別判定部１５Ｂは、図１７Ｂに示すように、判定用配列１４Ｅの先頭フレームを選択し（ステップ３２２）、この選択フレームのフレームデータ量としきい値とを比較する（ステップ３２３）。
ここで、選択フレームのフレームデータ量がしきい値より大きい場合（ステップ３２３：ＹＥＳ）、フレーム種別判定部１５Ｂは、選択フレームをＰフレームと判定し、記憶部１４の判定結果配列１４Ｆの当該選択フレームに、Ｐフレームを示すフレーム種別情報を格納する（ステップ３２４）。

図１７Ｂの例では、フレームＦ３，Ｆ６，Ｆ９，Ｆ１２のフレームデータ量がしきい値より大きいため、これらフレームがＰフレームと判定されている。また、これら以外のフレームＦ１，Ｆ２，Ｆ４，Ｆ５，Ｆ７，Ｆ８，Ｆ１０，Ｆ１１，Ｆ１３，Ｆ１４のフレームデータ量がしきい値以下であるため、これらフレームがＢフレームと判定されている。

一方、選択フレームのフレームデータ量がしきい値以下の場合（ステップ３２３：ＮＯ）、フレーム種別判定部１５Ｂは、選択フレームをＢフレームと判定し、記憶部１４の判定結果配列１４Ｆの当該選択フレームに、Ｂフレームを示すフレーム種別情報を格納するする（ステップ３２５）。

この後、フレーム種別判定部１５Ｂは、判定用配列１４Ｅの最後尾フレームまで、しきい値によるフレーム種別判定を行ったか判断し（ステップ３２６）、最後尾フレームまで判定していない場合（ステップ３２６：ＮＯ）、フレーム種別判定部１５Ｂは、判定用配列１４Ｅから次のフレームを選択し（ステップ３２７）、ステップ３２３へ戻る。
また、最後尾フレームまで判定が終了した場合（ステップ３２６：ＹＥＳ）、一連のＰ，Ｂフレーム判定処理を終了する。

［判定期間学習方法］
図１８を参照して、本発明の第３の実施例にかる映像品質推定装置の判定期間学習方法について説明する。
この判定期間学習処理は、処理対象となるエレメンタリストリームのうち、予め与えられた学習期間分のＴＳパケットについて、Ｉフレームごとに次のＩフレームまでのフレーム数をカウントし、その最大値すなわち最長ＧＯＰを、Ｉフレーム判定処理において係数として用いる判定期間として学習する。

映像品質推定装置１０の演算処理部１５は、フレーム種別判定部１５Ｂにより、対象フレームのフレーム種別を判定する際、前もって図１８の判定期間学習処理を実行する。ここでは、判定期間学習処理を実行する前に、処理対象となるエレメンタリストリームのＴＳパケットを識別するための識別情報として、記憶部１４に処理対象ＰＩＤ１４Ｂが保存されているものとする。

まず、フレーム種別判定部１５Ｂは、判定期間をゼロクリアするとともに暫定フレーム数に１を設定して、判定期間および暫定フレーム数を初期化し（ステップ３５０）、ＴＳパケット取得部１５Ａにより、前述した図５のＴＳパケット取得処理を実行して、処理対象ＰＩＤ１４Ｂを持つＴＳパケットを取得する（ステップ３５１）。
次に、フレーム種別判定部１５Ｂは、フレーム種別判定部１５Ｂで取得したＴＳパケットを記憶部１４から読み出し、そのＴＳヘッダ部のpayload_unit_start_indicator情報に基づいて、フレーム先頭のＴＳパケットか否か判定する（ステップ３５２）。ここで、フレーム先頭のＴＳパケットではない場合（ステップ３５２：ＮＯ）、ステップ３５１に戻る。

また、取得したＴＳパケットがフレーム先頭であった場合（ステップ３５２：ＹＥＳ）、フレーム種別判定部１５Ｂは、当該ＴＳパケットを解析してフレーム種別を取得する（ステップ３５３）。
ここで、取得したフレーム種別がＩフレーム以外のフレームを示す場合（ステップ３５４：ＮＯ）、フレーム種別判定部１５Ｂは、暫定フレーム数に１を加算して（ステップ３５５）、ステップ３０１へ戻る。

一方、取得したフレーム種別がＩフレームを示す場合（ステップ３５４：ＹＥＳ）、フレーム種別判定部１５Ｂは、暫定フレーム数と判定期間とを比較し（ステップ３５６）、暫定フレーム数が判定期間より大きい場合にのみ（ステップ３５６：ＹＥＳ）、フレーム種別判定部１５Ｂは、判定期間に暫定フレーム数を格納する（ステップ３５７）。
この後、フレーム種別判定部１５Ｂは、暫定フレーム数を１に初期化し（ステップ３５８）、学習期間分のＴＳパケットの処理が終了していない場合（ステップ３５９：ＮＯ）、ステップ３０１へ戻る。また、学習期間分のＴＳパケットの処理が終了した場合（ステップ３０９：ＹＥＳ）、一連の判定期間学習処理を終了する。

これにより、処理対象となるエレメンタリストリームのＴＳパケットのうち、Ｉフレームから次のＩフレームまでのフレーム数がカウントされ、その最大値、すなわち最長ＧＯＰが判定期間として学習される。

［調整係数学習方法］
次に、図１９を参照して、本発明の第３の実施例にかる映像品質推定装置の調整係数学習方法について説明する。
この調整係数学習処理は、Ｐ，Ｂフレーム判定処理において、係数として用いる調整係数を学習するための処理である。

ここでは、与えられた範囲で順次選択した暫定調整係数を用いて、フレーム種別判定処理と同等の処理を実行することにより、予め与えられた学習期間について各フレームのフレーム種別を推定し、非暗号ストリームから取得した実際のフレーム種別、すなわち正解に対する推定結果の誤判定率を算出し、この誤判定率が最も小さい暫定調整係数を、真の調整係数として学習する場合について説明する。

映像品質推定装置１０の演算処理部１５は、フレーム種別判定部１５Ｂにより、対象フレームのフレーム種別を判定する際、前もって図１９の調整係数学習処理を実行する。ここでは、調整係数学習処理を実行する前に、処理対象となるエレメンタリストリームのＴＳパケットを識別するための識別情報として、記憶部１４に処理対象ＰＩＤ１４Ｂが保存されているとともに、前述した図１８の判定期間学習処理により判定期間が得られているものとする。

まず、フレーム種別判定部１５Ｂは、暫定誤判定率に適当な初期値を設定した後、（ステップ３７０）、暫定調整係数として与えられた範囲から未選択の値を設定し（ステップ３７１）、ＴＳパケット取得部１５Ａにより、前述した図５のＴＳパケット取得処理を実行して、処理対象ＰＩＤ１４Ｂを持つＴＳパケットを取得する（ステップ３７２）。

次に、フレーム種別判定部１５Ｂは、図１３のステップ１２０〜３０１と同様の処理を実行する（ステップ３７３）。この際、調整係数に代えて暫定調整係数を用いる。
これにより、フレームデータ量配列１４Ｄのうち次に現れるＩフレームまでの各フレームについて、Ｉ，Ｐ，Ｂフレームのいずれかを示すフレーム種別判定結果が記憶部１４の判定結果配列１４Ｆに格納される。

この後、フレーム種別判定部１５Ｂは、得られたフレーム種別の推定結果と、予め用意しておいた、処理対象となるエレメンタリストリームの非暗号ストリームから取得した実際のフレーム種別、すなわち正解と比較し、この正解に対する推定結果の誤判定率を算出する（ステップ３７４）。この際、誤判定率は、［推定を誤ったフレーム数］÷［推定対象とした総フレーム数］で求められる。
ここで、フレーム種別判定部１５Ｂは、求めた誤判定率と暫定誤判定率とを比較し（ステップ３７５）、誤判定率が暫定誤判定率より小さい場合にのみ（ステップ３７５：ＹＥＳ）、調整係数に暫定調整係数を格納する（ステップ３７６）。

続いて、フレーム種別判定部１５Ｂは、判定が終了したフレーム（Ｆ１〜Ｆ１５）に対応するフレームデータ量を、記憶部１４のフレームデータ量配列１４Ｄから削除する（ステップ３７７）。
この後、学習期間分のＴＳパケットの処理が終了していない場合（ステップ３７８：ＮＯ）、ステップ３７２へ戻る。また、学習期間分のＴＳパケットの処理が終了した場合（ステップ３７８：ＹＥＳ）、すべての暫定調整係数を選択したか判断する（ステップ３７８）。

ここで、すべての暫定調整係数を選択していない場合（ステップ３７８：ＮＯ）、フレーム種別判定部１５Ｂは、ステップ３７１へ戻る。また、すべての暫定調整係数の選択が終了した場合（ステップ３７８：ＹＥＳ）、一連の調整係数学習処理を終了する。
これにより、処理対象となるエレメンタリストリームのＴＳパケットに対するフレーム種別推定において、その誤判定率が最も小さい調整係数が学習される。

［第３の実施例の効果］
このように、本実施例は、演算処理部１５のフレーム種別判定部１５Ｂでのフレーム種別判定処理において、当該エレメンタリストリームにおけるＩフレームを判定した後、各フレームのフレームデータ量としきい値とを比較することにより、ＰフレームとＢフレームとを判別するようにしたので、エレメンタリストリームのＧＯＰ構成として特定のフレームパターンが存在しない場合でも、ペイロード部が暗号化されているＴＳパケットに基づき各フレームのフレーム種別を把握できる。

また、本実施例では、ＰフレームとＢフレームの判定時、所定範囲内に位置する複数フレームのフレームデータ量の平均値に基づいて算出したしきい値と、当該出現パターン内のフレームのフレームデータ量との比較結果、すなわち両者の大小関係に基づきＰフレームとＢフレームを判別するようにしたので、極めて簡素な演算処理でフレーム種別を判定することができる。

［第４の実施例］
次に、本発明の第４の実施例にかかる映像品質推定装置について説明する。
第３の実施例では、しきい値に基づきＰフレームとＢフレームを判別するＰ，Ｂフレーム判定処理を用いる場合を例として説明した。本実施例では、上記Ｐ，Ｂフレーム判定処理に代えて、フレームデータ量が所定の判定範囲内で一定となる連続フレームをＰフレームと判定するＰフレーム判定処理を用いる場合について説明する。
なお、本実施例にかかる映像品質推定装置の構成については、演算処理部１５のフレーム種別判定部１５Ｂにおける処理の内容が異なるものの、その他の構成については第１の実施例（図１参照）と同等であり、ここでの詳細な説明は省略する。

［第４の実施例の動作］
次に、本発明の第４の実施例にかかる映像品質推定装置の動作について説明する。
本実施例にかかる映像品質推定装置１０では、演算処理部１５のフレーム種別判定部１５Ｂにおいて、判定対象フレームのフレーム種別を判定する場合、Ｉフレーム判定処理とＰ，Ｂフレーム判定処理の２つのフレーム判定処理を用いる。

Ｉフレーム判定処理は、Ｉフレームを判定するためのフレーム判定方法であり、第３の実施例で説明した、図１４のＩフレーム判定処理と同一である。
また、Ｐフレーム判定処理は、Ｐフレームを判定するためのフレーム判定処理であり、係数として、連続Ｐフレームの先頭位置をフレームデータ量で判定するためのしきい値を調整する調整係数Ａと、連続Ｐフレームの先頭位置から終了位置までの探索範囲内のフレームがすべてＰフレームか否かをフレームデータ量で判定するための判定範囲を調整する調整係数Ｂと、連続Ｐフレームの先頭位置ら終了位置までの探索範囲として最低限必要なフレーム数を示す下限フレーム数とを用いる。

調整係数Ａ、調整係数Ｂ、および下限フレーム数については、フレーム判定処理の実行に先だって予め学習して記憶部１４に保存しておくことが望ましいが、標準的な値を外部から入力して記憶部１４に保存しておくこともできる。

［フレーム種別判定処理］
まず、図２０を参照して、本発明の第４の実施例にかる映像品質推定装置のフレーム種別判定処理について説明する。図２０において、前述の図１３と同じまたは同等部分には同一符号を付してある。
演算処理部１５のフレーム種別判定部１５Ｂは、図４のステップ１０２におけるフレーム種別判定処理において、図２０のフレーム種別判定処理を実行する。

次に、フレーム種別判定部１５Ｂは、係数として与えられた判定期間を用いた、後述する図１４のＩフレーム判定処理を実行した後（ステップ３００）、係数として調整係数Ａ、調整係数Ｂ、および下限フレーム数を用いた、後述する図２１のＰフレーム判定処理を実行する（ステップ４００）。
これにより、フレームデータ量配列１４Ｄのうち次に現れるＩフレームまでの各フレームについて、Ｉ，Ｐフレームのいずれかを示すフレーム種別判定結果が記憶部１４の判定結果配列１４Ｆに格納される。

このようにして、ＩフレームとＰフレームを判定した後、フレーム種別判定部１５Ｂは、フレームデータ量配列１４Ｄのうち次に現れるＩフレームまでの各フレームのうち、ＩフレームまたはＰフレームと判定されていない、他の未判定フレームをＢフレームと判定し、この判定結果を記憶部１４の判定結果配列１４Ｆに格納する（ステップ１３４）。
続いて、フレーム種別判定部１５Ｂは、判定が終了したフレームに対応するフレームデータ量を、記憶部１４のフレームデータ量配列１４Ｄから削除し（ステップ１３５）、一連のフレーム種別判定処理を終了する。

［Ｐフレーム判定処理］
次に、図２１，図２２，図２３Ａ〜図２３Ｅを参照して、本発明の第４の実施例にかかる映像品質推定装置のＰフレーム判定処理について説明する。
演算処理部１５のフレーム種別判定部１５Ｂは、図２０のステップ４００におけるＰフレーム判定処理において、図２１のＰフレーム判定処理を実行する。

まず、フレーム種別判定部１５Ｂは、図２２および図２３Ａに示すように、記憶部１４の判定用配列１４Ｅのうち、その先頭フレームから上記Ｉフレーム判定処理でＩフレームと判定されたフレームまでのフレームデータ量に関する単純平均値を全平均値として算出し、この全平均値に、係数として与えられた調整係数Ａを乗算することにより、連続Ｐフレームの先頭位置を判定するためのしきい値を算出する（ステップ４１０）。図２３Ａの例では、フレームＦ１〜Ｆ１４のフレームデータ量の合計「５００」がフレーム数「１４」で除算されて、全平均値「３５．７」が求められている。また、この全平均値に調整係数Ａ「０．７」が乗算され、しきい値として「３５．７×０．７＝２５．０」が求められている。

続いて、フレーム種別判定部１５Ｂは、記憶部１４の判定用配列１４Ｅの先頭フレームを、Ｐフレームが連続すると予想される範囲、すなわち探索範囲の先頭位置として選択し（ステップ４１１）、図２３Ｂに示すように、先頭位置のフレームのフレームデータ量としきい値とを比較する（ステップ４１２）。図２３Ｂの例では、フレームＦ１〜Ｆ１４のフレームデータ量と、ステップ４１０で求めたしきい値とが比較されている。この際、フレームＦ１，Ｆ２のフレームデータ量がしきい値以下のため、先頭位置がそれぞれ１フレーム後ろに設定される。また、フレームＦ３のフレームデータ量がしきい値を上回るため、このフレームＦ３が探索範囲の先頭位置として選択されるとともに、フレームＦ３がＰフレームと判定されている。

ここで、先頭位置のフレームのフレームデータ量がしきい値を下回る場合（ステップ４１２：ＮＯ）、フレーム種別判定部１５Ｂは、先頭位置を１つ後ろに設定した後（ステップ４２２）、ステップ４０２へ戻る。
また、先頭位置のフレームのフレームデータ量がしきい値以上の場合（ステップ４１２：ＹＥＳ）、フレーム種別判定部１５Ｂは、先頭位置のフレームがフレーム種別未判定の場合にのみ（ステップ４１３：ＹＥＳ）、先頭位置のフレームをＰフレームと判定し、この判定結果を記憶部１４の判定結果配列１４Ｆへ格納する（ステップ４１４）。

この後、フレーム種別判定部１５Ｂは、先頭位置から次のＩフレームの直前フレームまでのフレーム数と下限フレーム数とを比較し（ステップ４１５）、当該フレーム数が下限フレーム数を下回った場合（ステップ４１５：ＮＯ）、一連のＰフレーム判定処理を終了する。

一方、フレーム数が下限フレーム数以上の場合（ステップ４１５：ＹＥＳ）、フレーム種別判定部１５Ｂは、次のＩフレームの直前フレームを、Ｐフレームが連続すると予想される範囲、すなわち探索範囲の終了位置として選択する（ステップ４１６）。
続いて、フレーム種別判定部１５Ｂは、図２３Ｃに示すように、先頭位置から終了位置までの探索範囲における各フレームのフレームデータ量に関する平均値を探索平均値として算出し、この探索平均値に、係数として与えられた調整係数Ｂを乗算することにより、連続Ｐフレーム判定用の判定範囲を算出する（ステップ４１７）。

図２３Ｃの例では、探索範囲内のフレームＦ３〜Ｆ１４のフレームデータ量の合計値「４７０」がフレーム数「１１」で除算されて、探索平均値「３９．２」が求められている。また、この探索平均値に調整係数Ｂが乗算されて判定範囲幅が求められ、探索平均値に判定範囲幅を加減算することにより、判定範囲「３３．３〜４５．１」が求められている。

次に、フレーム種別判定部１５Ｂは、図２３Ｄに示すように、先頭位置から終了位置までの探索範囲における各フレームのフレームデータ量と判定範囲とを比較する（ステップ４１８）。図２３Ｄの例では、ステップ４１６で確定した探索範囲に属するフレームＦ３〜Ｆ１４と、ステップ４１７で求めた判定範囲「３３．３〜４５．１」とをそれぞれ比較している。
これらフレームのフレームデータ量のすべてが判定範囲内である場合（ステップ４１８：ＹＥＳ）、フレーム種別判定部１５Ｂは、探索範囲内の各フレームを連続するＰフレームとして判定し、この判定結果を記憶部１４の判定結果配列１４Ｆに格納し（ステップ４１９）、ステップ４２２へ移行して、先頭位置が１フレーム後ろに設定された新たな探索範囲に関する連続Ｐフレームの判定を実行する。

一方、これらフレームのフレームデータ量のいずれかが判定範囲外である場合（ステップ４１８：ＮＯ）、図２３Ｅに示すように、フレーム種別判定部１５Ｂは、終了位置を１フレーム手前に設定し（ステップ４２０）、探索範囲に含まれるフレーム数と下限フレーム数を比較する（ステップ４２１）。図２３Ｅの例では、まず、フレームＦ３〜Ｆ１４の探索範囲については、これらフレームのフレームデータ量が判定範囲外であるため、終了位置が１フレーム手前のフレームＦ１３に設定されている。続くＦ３〜Ｆ１３，Ｆ３〜Ｆ１２，Ｆ３〜Ｆ１１，Ｆ３〜Ｆ１０の探索範囲についても、同様に判定されて終了位置がそれぞれ１フレーム手前に設定される。そして、フレームＦ３〜Ｆ９の探索範囲においてはじめて、すべてのフレームのフレームデータ量が判定範囲内となり、これらフレームＦ３〜Ｆ９が連続するＰフレームとして判定されている。

ここで、当該フレーム数が下限フレーム数以上の場合（ステップ４２１：ＹＥＳ）、ステップ４１８へ戻って、１フレーム狭くなった新たな探索範囲に関する連続Ｐフレームの判定を実行し、当該フレーム数が下限フレーム数を下回った場合（ステップ４２１：ＮＯ）、ステップ４２２へ移行して、先頭位置が１フレーム後ろに設定された新たな探索範囲に関する連続Ｐフレームの判定を実行する。

［係数学習処理］
次に、本発明の第４の実施例にかかる映像品質推定装置の係数学習処理について説明する。
本実施例のフレーム種別判定処理で用いる調整係数Ａ、調整係数Ｂ、下限フレーム数の学習については、第３の実施例で説明した、図１９の調整係数学習処理のうちの調整係数を、本実施例で用いる調整係数Ａ、調整係数Ｂ、下限フレーム数にそれぞれ置き換えて実行すればよく、ここでの処理の詳細についての説明は省略する。

この際、これら調整係数Ａ、調整係数Ｂ、および下限フレーム数の学習は、第３の実施例で説明した、図１８の判定期間学習処理により、Ｉフレーム判定処理で用いる判定期間を学習した後、調整係数Ａ、調整係数Ｂ、下限フレーム数の学習を行うという、２段階の学習処理を順に行う。
また、調整係数Ａ、調整係数Ｂ、下限フレーム数の学習については、これら調整係数Ａ、調整係数Ｂ、下限フレーム数の組合せにそれぞれ仮の値を与えて、前述した図２１のＰフレーム判定処理を実行し、その判定結果に対する誤判定率が小さくなる組合せを選択すればよい。

［第４の実施例の効果］
このように、本実施例では、演算処理部１５のフレーム種別判定部１５Ｂでのフレーム種別判定処理において、当該エレメンタリストリームにおけるＩフレームを判定した後、先頭位置のフレームのフレームデータ量が所定のしきい値以上であって、かつ先頭位置から終了位置までのすべてのフレームのフレームデータ量が所定の判定範囲内に含まれる、所定数以上連続するフレームを、すべてＰフレームと判定するようにしたので、エレメンタリストリームのＧＯＰ構成として特定のフレームパターンが存在しない場合でも、ペイロード部が暗号化されているＴＳパケットに基づき各フレームのフレーム種別を把握できる。

特に、Ｐフレームが一定数以上連続して発生した場合、これらＰフレームの情報量はＢフレーム程度まで小さくなり、第３の実施例で用いたＰ，Ｂフレーム判定処理において、正確に判定ではない場合がある。本実施例では、このような連続するＰフレームについては、それぞれのフレームデータ量間でばらつきが少ないことに着目し、フレームデータ量が所定の判定範囲内に含まれる、所定数以上連続するフレームをＰフレームと判定するようにしたので、連続Ｐフレームを正確に判定することが可能となる。

また、本実施例では、フレーム種別判定処理の対象となる全対象フレームのフレームデータ量の平均値に基づいて算出したしきい値を、全対象フレームの先頭フレームのフレームデータ量から順に比較し、その比較結果に基づき当該フレームを探索範囲の先頭フレームとして選択するか否かを判定するようにしたので、極めて簡素な演算処理で探索範囲の先頭フレームを選択することができる。

また、本実施例では、先頭位置から終了位置までの探索範囲内に含まれるフレームのフレームデータ量の平均値に基づいて判定範囲を算出するようにしたので、極めて簡素な演算処理で、連続するＰフレームを正確に探索することが可能となる。

［第５の実施例］
次に、本発明の第５の実施例にかかる映像品質推定装置について説明する。
第３の実施例では、フレーム種別判定処理において、Ｉフレーム判定処理を行った後、Ｐ，Ｂフレーム判定処理を行う場合を例として説明し、第４の実施例では、フレーム種別判定処理において、Ｉフレーム判定処理を行った後、Ｐフレーム判定処理を行う場合を例として説明した。本実施例では、フレーム種別判定処理において、Ｉフレーム判定処理を行った後、Ｐ，Ｂフレーム判定処理を実行し、その後、Ｐフレーム判定処理を行う場合を例として説明する。

なお、本実施例にかかる映像品質推定装置の構成については、演算処理部１５のフレーム種別判定部１５Ｂにおける処理の内容が異なるものの、その他の構成については第１の実施例（図１参照）と同等であり、ここでの詳細な説明は省略する。
また、本実施例のフレーム種別判定処理では、Ｉフレーム判定処理として図１４と同一のＩフレーム判定処理を用い、Ｐ，Ｂフレーム判定処理として図１５と同一のＰ，Ｂフレーム判定処理を用い、またＰフレーム判定処理として図２１と同一のＰフレーム判定処理を用いる。これら判定処理および判定処理に用いる各種係数の学習処理の詳細についての説明は省略する。

［第５の実施例］
次に、図２４を参照して、本発明の第５の実施例にかかる映像品質推定装置のフレーム種別判定処理について説明する。図２４において、前述の図１３および図２０と同じまたは同等部分には同一符号を付してある。
演算処理部１５のフレーム種別判定部１５Ｂは、図４のステップ１０２におけるフレーム種別判定処理において、図２４のフレーム種別判定処理を実行する。

次に、フレーム種別判定部１５Ｂは、係数として与えられた判定期間を用いた、図１４のＩフレーム判定処理を実行した後（ステップ３００）、係数として調整係数を用いた、前述の図１５のＰ，Ｂフレーム判定処理を実行する（ステップ３０１）。さらにその後、係数として調整係数Ａ、調整係数Ｂ、および下限フレーム数を用いた、図２１のＰフレーム判定処理を実行する（ステップ４００）。
これにより、フレームデータ量配列１４Ｄのうち次に現れるＩフレームまでの各フレームについて、Ｉ，Ｐ，Ｂフレームのいずれかを示すフレーム種別判定結果が記憶部１４の判定結果配列１４Ｆに格納される。

このようにして、Ｉ，Ｐ，Ｂフレームを判定した後、フレーム種別判定部１５Ｂは、判定が終了したフレームに対応するフレームデータ量を、記憶部１４のフレームデータ量配列１４Ｄから削除し（ステップ１３５）、一連のフレーム種別判定処理を終了する。

［第５の実施例の効果］
このように、本実施例では、演算処理部１５のフレーム種別判定部１５Ｂでのフレーム種別判定処理において、当該エレメンタリストリームにおけるＩフレームを判定した後、各フレームのフレームデータ量としきい値とを比較することにより、ＰフレームとＢフレームとを判別し、先頭位置のフレームのフレームデータ量が所定のしきい値以上であって、かつ先頭位置から終了位置までのすべてのフレームのフレームデータ量が所定の判定範囲内に含まれる、所定数以上連続するフレームを、すべてＰフレームと判定するようにしたので、エレメンタリストリームのＧＯＰ構成として特定のフレームパターンが存在しない場合でも、ペイロード部が暗号化されているＴＳパケットに基づき各フレームのフレーム種別を把握できる。

また、Ｐフレームが一定数以上連続して発生した場合、これらＰフレームの情報量はＢフレーム程度まで小さくなり、Ｐ，Ｂフレーム判定処理において、正確に判定ではない場合がある。本実施例では、このような連続するＰフレームについては、それぞれのフレームデータ量間でばらつきが少ないことに着目し、フレームデータ量が所定の判定範囲内に含まれる、所定数以上連続するフレームをＰフレームと判定するようにしたので、連続Ｐフレームを正確に判定することが可能となる。

［第６の実施例］
次に、図２５を参照して、本発明の第６の実施例にかかる映像品質推定装置について説明する。図２５において、前述の図１３と同じまたは同等部分には同一符号を付してある。

第３の実施例では、図１３に示したように、複数のＴＳパケットに分割して格納された各フレームについて、ＴＳパケットのＴＳヘッダ部に格納されているpayload_unit_start_indicator情報に基づきフレーム区切り判定し、これらフレーム区切りごとにフレームデータ量を求め、最大ＧＯＰ長のうちフレームデータ量が最大値を示すフレームをＩフレームと判定する場合について説明した。また、payload_unit_start_indicator（ＰＵＳＩ）情報と同様のフレーム識別情報として、図６に示したような、ＲＴＰヘッダのマーカービット（ＭＢ：Markerbit）情報を用いることも可能である。

一方、リアルタイムアプリケーションで用いる一部のＣＯＤＥＣでは、Ｉフレームの先頭を示す識別情報として、ＴＳヘッダ部のアダプテーションフィールド部内の、ＲＡＩ（random_access_indicator）情報またはＥＳＰＩ（elementary_stream_priority_indicator）情報を使用可能な場合がある。本実施例では、第３の実施例を基本として、これらＲＡＩ情報またはＥＳＰＩ情報を用いてＩフレームを判定する場合について説明する。
なお、本実施例にかかる映像品質推定装置の構成については、演算処理部１５のフレーム種別判定部１５Ｂにおける処理の内容が異なるものの、その他の構成については第１の実施例（図１参照）と同等であり、ここでの詳細な説明は省略する。

［フレーム種別判定処理］
まず、図２５を参照して、本発明の第６の実施例にかる映像品質推定装置のフレーム種別判定処理について説明する。
演算処理部１５のフレーム種別判定部１５Ｂは、図４のステップ１０２におけるフレーム種別判定処理において、図２５のフレーム種別判定処理を実行する。

フレーム種別判定部１５Ｂは、まず、ＴＳパケット取得部１５Ａで取得したＴＳパケットを記憶部１４から読み出し、そのＴＳヘッダ部からpayload_unit_start_indicator情報を取得する（ステップ１２０）。
ここで、payload_unit_start_indicator情報が「１」でない場合（ステップ１２１：ＮＯ）、当該ＴＳパケットがフレーム先頭のＴＳパケットではないことから、フレーム種別判定部１５Ｂは、記憶部１４のフレームデータ量１４Ｃに「１」を加えて当該フレームのＴＳパケット数を計数する（ステップ１２２）。

この後、フレーム種別判定部１５Ｂは、記憶部１４の設定情報に基づいて、当該ストリームのＣＯＤＥＣにおいて、前述のＲＡＩ情報またはＥＳＰＩ情報を利用可能か判定し（ステップ６００）、ＲＡＩ／ＥＳＰＩ情報が利用不可能であれば（ステップ６００：ＮＯ）、図５のステップ１１０へ戻って次のＴＳパケットに対する処理へ移行する。
また、当該ストリームのＣＯＤＥＣにおいて、ＲＡＩ／ＥＳＰＩ情報を利用可能な場合には（ステップ６００：ＹＥＳ）、フレーム種別判定部１５Ｂは、ＲＡＩ／ＥＳＰＩ情報をＴＳヘッダ部から取得し、当該ＲＡＩ／ＥＳＰＩ情報が「１」でない場合（ステップ６０１：ＮＯ）、当該ＴＳパケットのフレームがＩフレームではないことが確認されたことから、図５のステップ１１０へ戻って次のＴＳパケットに対する処理へ移行する。

一方、当該ＲＡＩ／ＥＳＰＩ情報が「１」の場合（ステップ６０１：ＹＥＳ）、フレーム種別判定部１５Ｂは、当該ＴＳパケットのフレームがＩフレームであることが確認されたことから、そのフレーム種別判定結果を記憶部１４のＩフレーム先頭情報配列の末尾に新たな配列データとして、Ｉフレームを示す値「Ｉ」を格納する（ステップ６０２）。このＩフレーム先頭情報配列は、判定用配列１４Ｅと同様の配列であり、payload_unit_start_indicator情報で識別したフレーム区切りごとに、当該フレームがＩフレームか否かを示す配列である。この後、図５のステップ１１０へ戻って次のＴＳパケットに対する処理へ移行する。

また、ステップ１２１において、payload_unit_start_indicator情報が「１」の場合（ステップ１２１：ＹＥＳ）、フレーム種別判定部１５Ｂは、記憶部１４のフレームデータ量１４Ｃをフレームデータ量配列１４Ｄの末尾に新たな配列データとして格納した後（ステップ１２３）、フレームデータ量１４Ｃをゼロクリアする（ステップ１２４）。

続いて、フレーム種別判定部１５Ｂは、フレーム種別判定が終了した各フレームに対応するフレームデータ量を、記憶部１４のフレームデータ量配列１４Ｄから削除する（ステップ１３５）。
この後、フレーム種別判定部１５Ｂは、ステップ６００と同様にして、当該ストリームのＣＯＤＥＣにおいてＲＡＩ／ＥＳＰＩ情報が利用可能か確認し（ステップ６１０）、ＲＡＩ／ＥＳＰＩ情報が利用可能な場合にのみ（ステップ６１０：ＹＥＳ）、記憶部１４のＩフレーム先頭情報配列をクリアし（ステップ６１１）、一連のフレーム種別判定処理を終了する。

［Ｉフレーム判定処理］
次に、図２６を参照して、本発明の第６の実施例にかかる映像品質推定装置のＩフレーム判定処理について説明する。
演算処理部１５のフレーム種別判定部１５Ｂは、図１３のステップ３００におけるＩフレーム判定処理において、図２６のＩフレーム判定処理を実行する。

一方、配列長が最大ＧＯＰ長以上の場合（ステップ３１０：ＹＥＳ）、フレーム種別判定部１５Ｂは、前述した図８Ａに示すように、最大ＧＯＰ長分のデータ（Ｆ１〜Ｆ１７）を、記憶部１４のフレームデータ量配列１４Ｄから判定用配列１４Ｅへ格納する（ステップ３１１）。
続いて、フレーム種別判定部１５Ｂは、ステップ６００と同様にして、当該ストリームのＣＯＤＥＣにおいてＲＡＩ／ＥＳＰＩ情報が利用可能か確認し（ステップ６２０）、ＲＡＩ／ＥＳＰＩ情報が利用可能な場合（ステップ６２０：ＹＥＳ）、記憶部１４のＩフレーム先頭情報配列に格納されているＩフレーム判定結果を記憶部１４の判定結果配列１４Ｆへ格納し（ステップ６２１）、一連のＩフレーム判定処理を終了する。

一方、ＲＡＩ／ＥＳＰＩ情報が利用不可能な場合（ステップ６２０：ＮＯ）、フレーム種別判定部１５Ｂは、前述した図８Ｂに示すように、判定用配列１４Ｅのうち、フレームデータ量が最大値を示すデータ（Ｆ１５）に対応するフレームをＩフレームと判定して、その判定結果を記憶部１４の判定結果配列１４Ｆへ格納し（ステップ３１２）、一連のＩフレーム判定処理を終了する。

［第６の実施例の効果］
このように、本実施例は、演算処理部１５のフレーム種別判定部１５Ｂでのフレーム種別判定処理において、ＴＳヘッダ部のアダプテーションフィールド部内のＲＡＩ情報またはＥＳＰＩ情報に基づいてＩフレームを判定するようにしたので、Ｉフレームの判定処理を簡略化できるとともに、高い判定精度を得ることが可能となる。

また、本実施例では、図２４のステップ６１０，６２０および図２５のステップ６３０において、ＲＡＩ／ＥＳＰＩ情報の利用可否を逐次判定する場合を例として説明したが、本実施例にかかる映像品質推定装置を、ＲＡＩ／ＥＳＰＩ情報が利用可能な環境でのみ用いる場合には、上記判定処理と図２４のステップ３１２を省くことができる。

また、本実施例では、第３の実施例で説明した図１３のフレーム種別判定処理に適応した場合を例として説明したが、第４の実施例や第５の実施例にも、以上と同様にして適用可能であり、同様の作用効果が得られる。
例えば、第４の実施例では、前述した図２０のステップ１２２の後段に、図２５のステップ６００〜６０２を追加し、図２０のステップ１３５の後段に、図２５のステップ６１０，６１１を追加し、図２０のステップ３００として、図２６のＩフレーム判定処理を実行すればよい。また、第５の実施例では、前述した図２４のステップ１２２の後段に、図２５のステップ６００〜６０２を追加し、図２４のステップ１３５の後段に、図２５のステップ６１０，６１１を追加し、図２４のステップ３００として、図２６のＩフレーム判定処理を実行すればよい。

［第７の実施例］
次に、本発明の第７の実施例にかかる映像品質推定装置について説明する。
第３の実施例では、図１３に示したように、複数のＴＳパケットに分割して格納された各フレームについて、フレーム開始位置を示すpayload_unit_start_indicator情報などのフレーム区切り判定情報に基づきフレーム区切り判定する場合について説明した。この場合、payload_unit_start_indicator情報を格納するＩＰパケットのロスが発生した際、payload_unit_start_indicator情報に基づいて、フレーム開始位置すなわちフレーム区切りを判定することができなくなる。

図２７において、送信側は、所定のＧＯＰ構成に基づいてフレームを複数のＩＰパケットに分割して順に送信している。この場合、典型ＧＯＰ長が１５フレームであり、フレームＦ１〜Ｆ１５が１つのＧＯＰ構成となる。これらフレームのうち、フレームＦ３の先頭パケットでロスＡが発生し、フレームＦ４の先頭パケットでロスＢが発生し、フレームＦ４内のパケットでロスＣ，Ｄが発生している。したがって、２つのフレーム区切りを含む４つのロスＡ，Ｂ，Ｃ，Ｄが発生したことになる。
受信側では、ロスＡ，Ｂによりフレーム区切り判定情報であるpayload_unit_start_indicator情報が欠落したため、送信側フレームＦ２−Ｆ４が１つのフレームＦ２として見えてしまう。このため、フレーム種別判定の精度が低下する原因となる。

図２７の例では、図６で述べたＲＴＰシーケンス番号（ＲＴＰ−ＳＥＱ：RTP-Sequence Number）およびＴＳヘッダの連続性指標（ＣＣ：continuity_counter）からＴＳパケットのロスとしてパケットロスＡ〜Ｄが検出できる。また、次のＩフレーム（Ｆ１６）までに受信したフレーム数「１３」と典型ＧＯＰ長である１５フレームを比較して、ロスしたフレーム数「２」を確認できる。したがって、４つのパケットロスＡ〜Ｄのうちフレーム区切りを含むパケットロスは２つとなるため、フレーム区切り判定情報がどのＩＰパケットロスで欠損したかを想定したパターン、すなわち区切り補間パターンは、４×３／２＝６通りとなる。

本実施例は、これら区切り補間パターンのそれぞれについて、当該区切りパターンでフレームを区切った場合のフレーム構成についてフレーム種別判定処理を実行し、得られたフレーム種別判定結果が予め設定されているＧＯＰ構成に合致したものを、フレーム種別判定結果として選択する場合について説明する。
なお、本実施例にかかる映像品質推定装置の構成については、演算処理部１５のフレーム種別判定部１５Ｂにおける処理の内容が異なるものの、その他の構成については第１の実施例（図１参照）と同等であり、ここでの詳細な説明は省略する。

［ＴＳパケット取得処理］
まず、図２８を参照して、本発明の第７の実施例にかかる映像品質推定装置のＴＳパケット取得処理について説明する。図２８において、前述の図５と同じまたは同等部分には同一符号を付してある。

演算処理部１５のＴＳパケット取得部１５Ａは、図４のステップ１０１におけるＴＳパケット取得処理において、まず、通信Ｉ／Ｆ部１１から出力されたＩＰパケットから、当該ＩＰパケットに格納されているすべてのＴＳパケットの取り出しが終了したか確認し（ステップ７００）、すべてのＴＳパケットの取り出しが終了していない場合には（ステップ７００：ＮＯ）、後述するステップ１１０へ移行する。

一方、すべてのＴＳパケットの取り出しが終了した場合（ステップ７００：ＹＥＳ）、ＴＳパケット取得部１５Ａは、通信Ｉ／Ｆ部１１から出力された新たなＩＰパケットを１つ取り込み（ステップ７０１）、この新たなＩＰパケットのＲＴＰシーケンス番号（ＲＴＰ−ＳＥＱ）と直前ＩＰパケットのＲＴＰシーケンス番号との差分が１より大きいか否か確認する（ステップ７０２）。ＲＴＰシーケンス番号はＩＰパケットの送信順に連番で付与されていることから、ＩＰパケットが正常に受信されている場合、双方のＲＴＰシーケンス番号差は１となる。したがって、ＲＴＰシーケンス番号差が１より大きい場合には直前ＩＰパケットがパケットロスしたことを確認できる。

ここで、双方のＲＴＰシーケンス番号差が１より大きい場合（ステップ７０２：ＹＥＳ）、ＴＳパケット取得部１５Ａは、記憶部１４のロス有無フラグに「１」を格納し（ステップ７０３）、ＲＴＰシーケンス番号差が１より大きくない場合（ステップ７０２：ＮＯ）、ＴＳパケット取得部１５Ａは、記憶部１４のロス有無フラグに「０」を格納する（ステップ７０４）。
ロス有無フラグは、現在ＴＳパケットを取得中のＩＰパケットの直前で、ＩＰパケットロスが発生したか否かを示す情報であり、値「１」でパケットロス発生有りを示し、値「０」でパケットロス発生有りを示す。図２８の処理例では、新たなＩＰパケットが取得されるごとにロス有無フラグの値が更新される。

この後、ＴＳパケット取得部１５Ａは、当該ＩＰパケットから新たなＴＳパケットを取り出し（ステップ１１０）、当該ＴＳパケットのＴＳヘッダ部からＰＩＤを取得する（ステップ１１１）。
続いて、ＴＳパケット取得部１５Ａは、取得したＰＩＤと記憶部１４の処理対象ＰＩＤとを比較し（ステップ１１２）、両ＰＩＤが不一致の場合には（ステップ１１２：ＮＯ）、ステップ７００へ戻って次のＴＳパケットに対する処理へ移行する。
一方、両ＰＩＤが一致した場合（ステップ１１２：ＹＥＳ）、ＴＳパケット取得部１５Ａは、当該ＴＳパケットを処理対象のＴＳパケットとして記憶部１４へ一次保存し（ステップ１１３）、一連のＴＳパケット取得処理を終了する。

［フレーム種別判定処理］
次に、図２９および図３０を参照して、本発明の第７の実施例にかる映像品質推定装置のフレーム種別判定処理について説明する。図２９において、前述の図２５と同じまたは同等部分には同一符号を付してある。
演算処理部１５のフレーム種別判定部１５Ｂは、図４のステップ１０２におけるフレーム種別判定処理において、図２９のフレーム種別判定処理を実行する。

フレーム種別判定部１５Ｂは、まず、記憶部１４から前述した図２８のＴＳパケット取得処理で更新したロス有無フラグを読み出し、その値が直前ＩＰパケットのパケットロス発生有りを示す「１」である場合（ステップ７１０：ＹＥＳ）、フレーム種別判定部１５Ｂは、記憶部１４のフレームデータ量１４Ｃを、記憶部１４の暫定フレームデータ量配列の末尾に新たな配列データとして格納するとともに（ステップ７１１）、記憶部１４の区切り種別配列に「ロス」を格納し（ステップ７１２）、フレームデータ量１４Ｃをゼロクリアした後（ステップ７１３）、図２８のステップ７００へ戻って次のＴＳパケットに対する処理へ移行する。

これにより、ロス有無フラグに基づき検出したＩＰパケットロスまでに連続して受信した１つ以上のＴＳパケットのブロックが暫定フレームとして識別され、そのフレームデータ量が暫定フレームデータ量配列に格納されるとともに、その区切り種別が区切り種別配列に格納される
暫定フレームデータ量配列は、図３０に示すように、１つのＧＯＰ構成内で、ＴＳヘッダ部のpayload_unit_start_indicator情報（またはＲＴＰヘッダのマーカービット（ＭＢ）情報）に基づき区別できた正常なフレームと、ロス有無フラグに基づき検出したＩＰパケットロスで区別した一時的なフレームとからなる暫定フレームについて、当該暫定フレームに関するフレームデータ量を示す配列データである。

また、区切り種別配列は、図３０に示すように、暫定フレームごとに、当該暫定フレームに関する区切りの種別を示す種別情報を示す配列データであり、当該暫定フレームがpayload_unit_start_indicator情報に基づき区別できた正常なフレームの場合には値「ＰＵＳＩ」を示し、ＩＰパケットロスで区別されたフレームの場合には値「ロス」を示す。なお、図３０の例では、ＩＰパケットのうちＲＴＰシーケンス番号が「７６」、「８１」、「９１」、「９５」の４つのＩＰパケットでパケットロスが発生しており、これらは図２７で示したパケットロスＡ，Ｂ，Ｃ，Ｄに相当している。これらパケットロスが、区切り種別配列のうち暫定フレームｆ３，ｆ４，ｆ５，ｆ６に対応する値「ロス」に現れている。

一方、ステップ７１０において、ロス有無フラグの値が直前ＩＰパケットのパケットロス発生なしを示す「０」である場合（ステップ７１０：ＮＯ）、フレーム種別判定部１５Ｂは、ＴＳパケット取得部１５Ａで取得したＴＳパケットを記憶部１４から読み出し、そのＴＳヘッダ部からpayload_unit_start_indicator情報を取得する（ステップ１２０）。
ここで、payload_unit_start_indicator情報が「１」でない場合（ステップ１２１：ＮＯ）、当該ＴＳパケットがフレーム先頭のＴＳパケットではないことから、フレーム種別判定部１５Ｂは、記憶部１４のフレームデータ量１４Ｃに「１」を加えて当該フレームのＴＳパケット数を計数する（ステップ１２２）

この後、フレーム種別判定部１５Ｂは、記憶部１４の設定情報に基づいて、当該ストリームのＣＯＤＥＣにおいて、前述のＲＡＩ情報またはＥＳＰＩ情報を利用可能か判定し（ステップ６００）、ＲＡＩ／ＥＳＰＩ情報が利用不可能であれば（ステップ６００：ＮＯ）、図２８のステップ７００へ戻って次のＴＳパケットに対する処理へ移行する。
また、当該ストリームのＣＯＤＥＣにおいて、ＲＡＩ／ＥＳＰＩ情報を利用可能な場合には（ステップ６００：ＹＥＳ）、フレーム種別判定部１５Ｂは、ＲＡＩ／ＥＳＰＩ情報をＴＳヘッダ部から取得し、当該ＲＡＩ／ＥＳＰＩ情報が「１」でない場合（ステップ６０１：ＮＯ）、当該ＴＳパケットのフレームがＩフレームではないことが確認されたことから、図２８のステップ７００へ戻って次のＴＳパケットに対する処理へ移行する。

一方、当該ＲＡＩ／ＥＳＰＩ情報が「１」の場合（ステップ６０１：ＹＥＳ）、フレーム種別判定部１５Ｂは、当該ＴＳパケットのフレームがＩフレームであることが確認されたことから、そのフレーム種別判定結果を記憶部１４のＩフレーム先頭情報配列の末尾に新たな配列データとして、Ｉフレームを示す値「Ｉ」を格納する（ステップ６０２）。このＩフレーム先頭情報配列は、判定用配列１４Ｅと同様の配列であり、payload_unit_start_indicator情報で識別したフレーム区切りごとに、当該フレームがＩフレームか否かを示す配列である。この後、図２８のステップ７００へ戻って次のＴＳパケットに対する処理へ移行する。

また、ステップ１２１において、payload_unit_start_indicator情報が「１」の場合（ステップ１２１：ＹＥＳ）、フレーム種別判定部１５Ｂは、記憶部１４のフレームデータ量１４Ｃを、記憶部１４の暫定フレームデータ量配列の末尾に新たな配列データとして格納するとともに（ステップ７２０）、記憶部１４の区切り種別配列に「ＰＵＳＩ」を格納し（ステップ７２１）、フレームデータ量１４Ｃをゼロクリアする（ステップ１２４）。
これにより、payload_unit_start_indicator情報に基づき検出した正常なフレームが暫定フレームとして識別され、そのフレームデータ量が暫定フレームデータ量配列に格納されるとともに、その区切り種別が区切り種別配列に格納される。

次に、フレーム種別判定部１５Ｂは、後述する図３１の最適補間パターン選択処理を実行することにより（ステップ７２２）、フレーム区切り判定情報がどのＩＰパケットロスで欠損したかを想定した区切り補間パターンを作成して、これら区切り補間パターンのうちから最適補間パターンを選択し、当該最適補間パターンによるフレーム判定結果を記憶部１４から取得する（ステップ７２３）。

［最適補間パターン選択処理］
次に、図３１を参照して、本発明の第７の実施例にかかる映像品質推定装置の最適補間パターン選択処理について説明する。
演算処理部１５のフレーム種別判定部１５Ｂは、図２９のステップ７２２における最適補間パターン選択処理において、図３１の最適補間パターン選択処理を実行する。

フレーム種別判定部１５Ｂは、まず、記憶部１４の区切り種別配列を参照して、暫定フレームのうち値「ＰＵＳＩ」を示す正常区切りフレーム数を計数することにより暫定ＧＯＰ長を算出し（ステップ７３０）、係数として与えられた判定期間、ここでは最大ＧＯＰ長（１７フレーム）とを比較する（ステップ７３１）。
ここで、暫定ＧＯＰ長が最大ＧＯＰ長未満の場合（ステップ７３１：ＮＯ）、フレーム種別判定部１５Ｂは、図２８のステップ７００へ戻って次のＴＳパケットに対する処理へ移行する。

一方、暫定ＧＯＰ長が最大ＧＯＰ長以上の場合（ステップ７３１：ＹＥＳ）、フレーム種別判定部１５Ｂは、最大ＧＯＰ長分に相当する配列データを、記憶部１４の暫定フレームデータ量配列から判定用配列１４Ｅへ格納する（ステップ７３２）。
この場合、暫定フレームデータ量配列には、ＩＰパケットロスをフレーム区切りとする暫定フレームに関する配列データも含まれていることから、配列先頭から数えて最大ＧＯＰ長分の配列データを選択すると１つのＧＯＰ構成分の暫定フレームを正確に選択できない場合がある。

したがって、暫定フレームを余分に選択するために、例えば、区切り種別配列の値が「ＰＵＳＩ」を示す暫定フレームの数で計数して、配列先頭から最大ＧＯＰ長数までの暫定フレーム分の配列データを選択すればよい。
図３０の例では、最大ＧＯＰ長を１７フレームとした場合、区切り種別配列の値が「ＰＵＳＩ」を示す暫定フレームで数えると、暫定フレームｆ２１が先頭（ｆ１）から１７個目に相当する。このため、暫定フレームｆ１〜ｆ２１が暫定フレームデータ量配列から判定用配列１４Ｅへ格納される。

次に、フレーム種別判定部１５Ｂは、記憶部１４の判定用配列１４Ｅの内容に基づいて、Ｉフレーム判定処理を行う（ステップ７３３）。このＩフレーム判定処理において、フレーム種別判定部１５Ｂは、前述した図２６のＩフレーム判定処理のうち、ステップ６２０，６２１，３１２のみを実行する。
これにより、判定用配列１４Ｅ内の各暫定フレームのうち、次のＧＯＰ構成の先頭に位置するＩフレームが検出される。したがって、図３０の例では、暫定フレームｆ１８がＩフレームとして判定され、記憶部１４のＩフレーム先頭情報配列のうち、暫定フレームｆ１８の配列データにＩフレームを示す値「Ｉ」が格納される。

続いて、フレーム種別判定部１５Ｂは、記憶部１４の区切り種別配列に基づいて、ロスフレーム分、すなわち値が「ロス」を示す暫定フレームに対する区切り補間パターンを作成する（ステップ７３４）。

具体的には、フレーム種別判定部１５Ｂは、まず、記憶部１４のＩフレーム先頭情報配列を参照して、暫定フレームｆ１のＩフレームから次のＩフレーム直前の暫定フレームｆ１８までを１つのＧＯＰ構成と見なし、記憶部１４の区切り種別配列のうち、値が「ＰＵＳＩ」を示す暫定フレーム数をＧＯＰ長として計数し、記憶部１４に予め設定されている典型ＧＯＰ長との差分から、ロスフレーム数を算出する。

次に、フレーム種別判定部１５Ｂは、記憶部１４の区切り種別配列のうち、値が「ロス」を示す暫定フレームのうちからロスフレーム数分を選択する全組み合わせを、区切り補間パターンとして作成し、記憶部１４へ保存する。
図３０の例において、ＧＯＰ長は１３フレームとなるから、典型ＧＯＰ長が１５フレームの場合、ロスフレーム数は２となる。したがって、値「ロス」を示す暫定フレームｆ２〜ｆ６のうち、いずれか２つの暫定フレームの先頭で、payload_unit_start_indicator情報が欠落したことになる。このため、区切り補間パターンとして、Ｐ１〜Ｐ６の６通り（４×３／２）が作成される。

このようにして、区切り補間パターンを作成した後、フレーム種別判定部１５Ｂは、記憶部１４から未処理（未判定）の区切り補間パターンを１つ選択し（ステップ７３５）、この区切り補間パターンに基づき、記憶部１４の判定用配列１４Ｅを更新する（ステップ７３６）。
例えば、区切り補間パターンとして、図３０のＰ１を選択した場合、暫定フレームｆ２，ｆ３，ｆ４から送信側フレームＦ２が構成され、暫定フレームｆ５から送信側フレームＦ３が構成され、暫定フレームｆ６から送信側フレームＦ４が構成される。

このため、記憶部１４の暫定フレームデータ量配列のうち、暫定フレームｆ２，ｆ３，ｆ４のフレームデータ量の合計が、判定用配列１４ＥのうちフレームＦ２のフレームデータ量として格納される。同様に、暫定フレームｆ５，ｆ６のフレームデータ量が、判定用配列１４ＥのうちフレームＦ３，Ｆ４のフレームデータ量としてそれぞれ格納される。また、このほか最大ＧＯＰ長分に相当する暫定フレームｆ１，ｆ７〜ｆ２０のフレームデータ量も、判定用配列１４Ｅのうち対応するフレームのフレームデータ量としてそれぞれ格納される。

続いて、フレーム種別判定部１５Ｂは、更新した判定用配列１４Ｅの内容に基づいて、Ｉフレーム判定処理を行った後（ステップ７３７）、Ｐ，Ｂフレーム判定処理を行い（ステップ７３４）、得られたフレーム種別判定結果を、記憶部１４の判定結果配列１４Ｆから読み出し、当該区切り補間パターンに関連付けて記憶部１４へ保存する（ステップ７３８）。この際、フレーム種別判定部１５Ｂは、ステップ７３７のＩフレーム判定処理において、前述した図２６のＩフレーム判定処理を実行し、ステップ７３４のＰ，Ｂフレーム判定処理において、前述した図１５のＰ，Ｂフレーム判定処理を実行する。

この後、フレーム種別判定部１５Ｂは、すべての区切り補間パターンについて、フレーム種別判定処理が終了したか確認し（ステップ７３９）、未処理の区切り補間パターンが残っている場合には（ステップ７３９：ＮＯ）、ステップ７３５へ戻って未処理の区切り補間パターンに対するフレーム種別判定を実行する。
また、すべての区切り補間パターンに対するフレーム種別判定が終了した場合には（ステップ７３９：ＹＥＳ）、区切り補間パターンごとに得られたフレーム種別判定結果のうち、記憶部１４に予め設定されている典型ＧＯＰ構成と合致するものを、最適補間パターンとして選択して記憶部１４に保存し（ステップ７４０）、一連の最適補間パターン選択処理を終了する。

典型的なＧＯＰ構成としては、例えばフレーム種別が「ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ」で、ＧＯＰ長が１５フレームからなる構成があり、１つまたは複数のＧＯＰ構成を記憶部１４に予め設定しておけばよい。図３０の例では、区切り補間パターンＰ６の場合、暫定フレームｆ２から送信側フレームＦ２が構成され、暫定フレームｆ３から送信側フレームＦ３が構成され、暫定フレームｆ４，ｆ５，ｆ６から送信側フレームＦ４が構成される。これにより、フレームＦ２，Ｆ３，Ｆ４のフレームデータ量は、それぞれ１０，１５，７０となるため、フレーム種別判定結果が上記典型ＧＯＰ構成と合致する。

［第７の実施例の効果］
このように、本実施例では、演算処理部１５のフレーム種別判定部１５Ｂでのフレーム種別判定処理において、当該エレメンタリストリームで発生したパケットロスを検出し、フレーム開始位置を示すフレーム区切り判定情報がどのパケットロスで欠損したかを想定し、この想定結果に応じて得られたフレーム開始位置に基づいてフレーム種別判定を行うようにしたので、通信ネットワークでＩＰパケットのロスが発生した際に、フレーム区切り判定情報が欠損した場合でも、精度の高いフレーム種別判定を行うことが可能となる。

また、フレーム区切り判定情報がどのパケットロスで欠損したかを想定した区切り補間パターンを複数作成して、これら区切り補間パターンに応じたフレーム開始位置に基づいて区切り補間パターンごとにフレーム種別判定を行い、得られたフレーム種別判定結果のうちから、記憶部１４に予め設定されている典型ＧＯＰ構成と合致する最適補間パターンのフレーム種別判定結果を選択するようにしたので、より精度の高いフレーム種別判定を行うことが可能となる。

また、本実施例では、第３の実施例をベースとした第６の実施例で説明した図１３のフレーム種別判定処理に適応した場合を例として説明したが、第４の実施例や第５の実施例をベースとした第６の実施例にも、以上と同様にして適用可能であり、同様の作用効果が得られる。
例えば、第４の実施例をベースとする場合には、前述した図３１のステップ３０１に代えて、前述した図２０のステップ４００およびステップ１３４を実行すればよい。また、第５の実施例をベースとする場合には、前述した図３１のステップ３０１の直後に、前述した図２４のステップ４００およびステップ１３４を実行すればよい。

［フレーム種別判定処理例］
次に、本発明の第７の実施例にかる映像品質推定装置のフレーム種別判定処理例について説明する。
以下では、第６の実施例で説明した、ＴＳパケットのアダプテーションフィールドに格納されているＲＡＩ情報やＥＳＰＩ情報などのＩフレーム識別情報を用いてＩフレームを識別する場合に適用される第１のフレーム種別判定処理例について説明し、上記Ｉフレーム識別情報を用いないでＩフレームを識別する場合に適用される第２のフレーム種別判定処理例について説明する。

［第１のフレーム種別判定処理例］
まず、図３２、図３３Ａ、図３３Ｂ、図３４Ａ、図３４Ｂ、および図３５を参照して、第６の実施例で説明した、ＲＡＩ情報やＥＳＰＩ情報などのＩフレーム識別情報を用いてＩフレームを識別する場合に用いられる第１のフレーム種別判定処理例について説明する。
ここでは、当該ストリーム内の各フレームは、ＴＳヘッダ部のpayload_unit_start_indicator（ＰＵＳＩ）情報やＲＴＰヘッダのマーカービット（ＭＢ：Markerbit）情報などのフレーム識別情報（ＰＵＳＩ／ＭＢ）により識別され、そのうちＩフレームは、ＴＳパケットのアダプテーションフィールドのＩフレーム識別情報（ＲＡＩ／ＥＳＰＩ）に基づき識別される。なお、ＧＯＰ内のフレーム種別出現パターンにおいて、繰り返し出現する「ＩＢＢＰＢＢ」などの典型的な出現パターンが存在するものとする。

まず、図３２を参照して、パケットロスが発生していない場合について説明する。
図３２に示すように、パケットロスが発生していない場合、Ｉフレーム識別情報に基づきフレームＦ１がＩフレームであると認識された後、それ以降の最大ＧＯＰ長（例えば１７フレーム）以内においてＩフレーム識別情報が検出される。したがって、Ｉフレーム識別情報が検出フレームされたフレームＦ１６がＩフレームであると認識できる。

次に、図３３Ａおよび図３３Ｂを参照して、Ｉフレーム先頭でパケットロスが発生した場合について説明する。
図３３Ａに示すように、Ｉフレーム（Ｆ１６）の先頭ＩＰパケットのみがロスした場合、Ｉフレーム識別情報に基づきフレームＦ１がＩフレームであると認識された後、それ以降の最大ＧＯＰ長以内においてＩフレーム識別情報が検出されない。したがって、ロスしたＩＰパケットは、Ｉフレーム識別情報とフレーム識別情報を含んでいたと認識できる。
図３３Ａの場合の認識は、Ｉフレームの先頭ＩＰパケットのみロスした場合だけでなく、Ｉフレームの先頭ＩＰパケットと、当該先頭ＩＰパケットに連続する１つの次ＩＰパケットからなる、合計２つの連続するＩＰパケットのみがロスした場合にも適用できる。

一方、図３３Ｂに示すように、Ｉフレーム（Ｆ１６）の先頭ＩＰパケットと、当該先頭ＩＰパケットに連続する複数の次ＩＰパケット（映像データ）からなる、合計３つ以上の連続するＩＰパケットのみがロスした場合、Ｉフレーム識別情報に基づきフレームＦ１がＩフレームであると認識された後、それ以降の最大ＧＯＰ長以内においてＩフレーム識別情報が検出されない。したがって、ロスしたＩＰパケットのうちのいずれか１つはＩフレーム識別情報とフレーム識別情報を含んでいたと認識できる。

続いて、ロスした各ＩＰパケットにフレーム識別情報（ＰＵＳＩ／ＭＢ）が含まれていたと見なしてフレーム種別判定を行い、その判定結果が「ＩＢＢＰＢＢ」の出現パターンであったならば、これらＩＰパケットのうち先頭ＩＰパケットにＩフレーム識別情報（ＲＡＩ／ＥＳＰＩ）が含まれていたと認識できる。なお、このフレーム種別判定では、「ＩＢＢＰＢＢで構成された際の典型ＧＯＰ長＝フレーム識別情報の個数＋フレーム識別情報を含むと見なしたロスＩＰパケットの個数」という条件を満たす組み合わせについて、総当たりでフレーム種別判定を行う。もし、上記条件を満たす組み合わせが複数存在する場合には、フレーム種別（Ｐ，Ｂ）ごとのフレーム内データ量のバラツキが少ない組み合わせの判定結果を選択すればよい。

次に、図３４Ａおよび図３４Ｂを参照して、Ｉフレーム先頭ではパケットロスが発生せず、Ｂ，Ｐフレーム先頭でパケットロスが発生した場合について説明する。
図３４Ａに示すように、Ｉフレーム（Ｆ１６）の先頭ＩＰパケットはロスせず、Ｂフレーム（Ｆ２）の先頭ＩＰパケットのみがロスした場合、Ｉフレーム識別情報に基づきフレームＦ１がＩフレームであると認識された後、それ以降の最大ＧＯＰ長（例えば１７フレーム）以内においてＩフレーム識別情報が検出される。したがって、Ｉフレーム識別情報が検出フレームされたフレームＦ１６がＩフレームであると認識できる。

続いて、ロスした各ＩＰパケットにフレーム識別情報（ＰＵＳＩ／ＭＢ）が含まれていたと見なしてフレーム種別判定を行い、その判定結果が「ＩＢＢＰＢＢ」の出現パターンであったならば、これらＩＰパケットにフレーム識別情報（ＰＵＳＩ／ＭＢ）が含まれていたと認識できる。
図３４Ａの場合の認識は、Ｂフレームの先頭ＩＰパケットのみロスした場合だけでなく、Ｐフレームの先頭ＩＰパケットのみロスした場合にも適用できる。さらに、Ｂ，Ｐフレームの先頭ＩＰパケットと、当該先頭ＩＰパケットに連続する１つの次ＩＰパケットからなる、合計２つの連続するＩＰパケットのみがロスした場合にも適用できる。

一方、図３４Ｂに示すように、Ｉフレーム（Ｆ１６）の先頭ＩＰパケットはロスせず、Ｂフレーム（Ｆ２）の先頭ＩＰパケットと、Ｐフレーム（Ｆ７）の先頭ＩＰパケットとを含む、合計２つ以上のＩＰパケットがロスした場合、Ｉフレーム識別情報に基づきフレームＦ１がＩフレームであると認識された後、それ以降の最大ＧＯＰ長（例えば１７フレーム）以内においてＩフレーム識別情報が検出される。したがって、Ｉフレーム識別情報が検出されたフレームＦ１６がＩフレームであると認識できる。

続いて、ロスした各ＩＰパケットにフレーム識別情報（ＰＵＳＩ／ＭＢ）が含まれていたと見なしてフレーム種別判定を行い、その判定結果が「ＩＢＢＰＢＢ」の出現パターンであったならば、これらＩＰパケットにフレーム識別情報（ＰＵＳＩ／ＭＢ）が含まれていたと認識できる。なお、このフレーム種別判定では、「ＩＢＢＰＢＢで構成された際の典型ＧＯＰ長＝フレーム識別情報の個数＋フレーム識別情報を含むと見なしたロスＩＰパケットの個数」という条件を満たす組み合わせについて、総当たりでフレーム種別判定を行う。もし、上記条件を満たす組み合わせが複数存在する場合には、フレーム種別（Ｐ，Ｂ）ごとのフレーム内データ量のバラツキが少ない組み合わせの判定結果を選択すればよい。

図３４Ｂの場合の認識は、Ｂフレームの先頭ＩＰパケットとＰフレームの先頭ＩＰパケットでロスした場合だけでなく、２つのＢフレームの先頭ＩＰパケットでロスした場合や２つのＰフレームの先頭ＩＰパケットでロスした場合にも適用できる。さらに、ロスしたＢ，Ｐフレームの先頭ＩＰパケットのいずれかで、当該先頭ＩＰパケットに連続する１つ以上のＩＰパケットがロスしている場合にも適用できる。

次に、図３５を参照して、Ｉフレーム先頭と、Ｂ，Ｐフレーム先頭でパケットロスが発生した場合について説明する。
図３５に示すように、Ｂフレーム（Ｆ２）の先頭ＩＰパケットと、Ｐフレーム（Ｆ７）の中間ＩＰパケット（映像データ）と、Ｉフレーム（Ｆ１６）の先頭ＩＰパケットとがロスした場合、Ｉフレーム識別情報に基づきフレームＦ１がＩフレームであると認識された後、それ以降の最大ＧＯＰ長以内においてＩフレーム識別情報が検出されない。したがって、これらロスした各ＩＰパケットのうちいずれか１つは、Ｉフレーム識別情報とフレーム識別情報を含んでおり、その他のＩＰパケットはフレーム識別情報を含んでいたと認識できる。

続いて、ロスした各ＩＰパケットにフレーム識別情報（ＰＵＳＩ／ＭＢ）が含まれていたと見なしてフレーム種別判定を行い、その判定結果が「ＩＢＢＰＢＢ」の出現パターンであったならば、これらＩＰパケットにフレーム識別情報が含まれていたと認識できる。なお、このフレーム種別判定では、「ＩＢＢＰＢＢで構成された際の典型ＧＯＰ長＝フレーム識別情報の個数＋フレーム識別情報を含むと見なしたロスＩＰパケットの個数」という条件を満たす組み合わせについて、総当たりでフレーム種別判定を行う。もし、上記条件を満たす組み合わせが複数存在する場合には、フレーム種別（Ｐ，Ｂ）ごとのフレーム内データ量のバラツキが少ない組み合わせの判定結果を選択すればよい。

なお、典型ＧＯＰ長の位置にあったロスＩＰパケットは、フレーム識別情報（ＰＵＳＩ／ＭＢ）とＩフレーム識別情報（ＲＡＩ／ＥＳＰＩ）が含まれていたと認識できる。
また、図３５の場合の認識は、ロスしたＩ，Ｂ，Ｐフレームの先頭ＩＰパケットのいずれかで、当該先頭ＩＰパケットに連続する１つ以上のＩＰパケットがロスしている場合にも適用できる。

［第２のフレーム種別判定処理例］
次に、図３６Ａ、図３６Ｂ、図３７Ａ、図３７Ｂ、図３８を参照して、第６の実施例で説明した、ＲＡＩ情報やＥＳＰＩ情報などのＩフレーム識別情報を用いないでＩフレームを識別する場合に用いられる第２のフレーム種別判定処理例について説明する。
ここでは、当該ストリーム内の各フレームは、ＴＳヘッダ部のpayload_unit_start_indicator（ＰＵＳＩ）情報やＲＴＰヘッダのマーカービット（ＭＢ：Markerbit）情報などのフレーム識別情報（ＰＵＳＩ／ＭＢ）により識別され、そのうちＩフレームは、フレームデータ量に基づき識別される。なお、ＧＯＰ内のフレーム種別出現パターンにおいて、繰り返し出現する「ＩＢＢＰＢＢ」などの典型的な出現パターンが存在するものとする。

まず、図３６Ａおよび図３６Ｂを参照して、Ｉフレーム先頭でパケットロスが発生した場合について説明する。
図３６Ａに示すように、Ｉフレーム（Ｆ１６）の先頭ＩＰパケットのみがロスした場合、フレームＦ１がＩフレームであると認識された後、それ以降の最大ＧＯＰ長以内において、フレームデータ量が最大のフレーム（Ｆ１６）をＩフレームと仮定できる。また、仮定したＩフレームの内部にＩＰパケットのロスが含まれているため、そのＩＰパケットにフレーム識別情報（ＰＵＳＩ／ＭＢ）が含まれていたと見なす。

続いて、ロスしたＩＰパケットにフレーム識別情報が含まれていたと見なしてフレーム種別判定を行い、その判定結果が「ＩＢＢＰＢＢ」の出現パターンであったならば、当該ＩＰパケットにフレーム識別情報が含まれていたと認識できる。
図３６Ａの場合の認識は、Ｉフレームの先頭ＩＰパケットのみロスした場合だけでなく、Ｉフレームの先頭ＩＰパケットと、当該先頭ＩＰパケットに連続する１つの次ＩＰパケットからなる、合計２つの連続するＩＰパケットのみがロスした場合にも適用できる。

一方、図３６Ｂに示すように、Ｉフレーム（Ｆ１６）の先頭ＩＰパケットと、当該先頭ＩＰパケットに連続する複数の次ＩＰパケット（映像データ）からなる、合計３つ以上の連続するＩＰパケットのみがロスした場合、フレームＦ１がＩフレームであると認識された後、それ以降の最大ＧＯＰ長以内において、フレームデータ量が最大のフレーム（Ｆ１６）をＩフレームと仮定できる。また、仮定したＩフレームの内部にＩＰパケットのロスが含まれているため、そのＩＰパケットにフレーム識別情報（ＰＵＳＩ／ＭＢ）が含まれていたと見なす。

続いて、ロスした各ＩＰパケットにフレーム識別情報が含まれていたと見なしてフレーム種別判定を行い、その判定結果が「ＩＢＢＰＢＢ」の出現パターンであったならば、各ＩＰパケットにフレーム識別情報が含まれていたと認識できる。なお、このフレーム種別判定では、「ＩＢＢＰＢＢで構成された際の典型ＧＯＰ長＝フレーム識別情報の個数＋フレーム識別情報を含むと見なしたロスＩＰパケットの個数」という条件を満たす組み合わせについて、総当たりでフレーム種別判定を行う。もし、上記条件を満たす組み合わせが複数存在する場合には、フレーム種別（Ｐ，Ｂ）ごとのフレーム内データ量のバラツキが少ない組み合わせの判定結果を選択すればよい。

次に、図３７Ａおよび図３７Ｂを参照して、Ｉフレーム先頭ではパケットロスが発生せず、Ｂ，Ｐフレーム先頭でパケットロスが発生した場合について説明する。
図３７Ａに示すように、Ｉフレーム（Ｆ１６）の先頭ＩＰパケットはロスせず、Ｐフレーム（Ｆ７）の先頭ＩＰパケットのみがロスした場合、フレームＦ１がＩフレームであると認識された後、それ以降の最大ＧＯＰ長以内において、フレームデータ量が最大のフレーム（Ｆ１６）をＩフレームと認識できる。また、Ｉフレーム（フレームＦ１）からのＧＯＰ内にＩＰパケットのロスが含まれているため、そのＩＰパケットにフレーム識別情報（ＰＵＳＩ／ＭＢ）が含まれていたと見なす。

続いて、ロスしたＩＰパケットにフレーム識別情報が含まれていたと見なしてフレーム種別判定を行い、その判定結果が「ＩＢＢＰＢＢ」の出現パターンであったならば、当該ＩＰパケットにフレーム識別情報が含まれていたと認識できる。なお、このフレーム種別判定では、「ＩＢＢＰＢＢで構成された際の典型ＧＯＰ長＝フレーム識別情報の個数＋フレーム識別情報を含むと見なしたロスＩＰパケットの個数」という条件を満たす組み合わせについて、総当たりでフレーム種別判定を行う。もし、上記条件を満たす組み合わせが複数存在する場合には、フレーム種別（Ｐ，Ｂ）ごとのフレーム内データ量のバラツキが少ない組み合わせの判定結果を選択すればよい。

図３７Ａの場合の認識は、Ｂフレームの先頭ＩＰパケットのみロスした場合だけでなく、Ｐフレームの先頭ＩＰパケットのみロスした場合にも適用できる。さらに、Ｂ，Ｐフレームの先頭ＩＰパケットと、当該先頭ＩＰパケットに連続する１つの次ＩＰパケットからなる、合計２つの連続するＩＰパケットのみがロスした場合にも適用できる。

一方、図３７Ｂに示すように、Ｉフレーム（Ｆ１６）の先頭ＩＰパケットはロスせず、Ｂフレーム（Ｆ２）の先頭ＩＰパケットと、Ｐフレーム（Ｆ７）の先頭ＩＰパケットとを含む、合計２つ以上のＩＰパケットがロスした場合、フレームＦ１がＩフレームであると認識された後、それ以降の最大ＧＯＰ長以内において、フレームデータ量が最大のフレーム（Ｆ１６）をＩフレームと認識できる。また、Ｉフレーム（フレームＦ１）からのＧＯＰ内にＩＰパケットのロスが含まれているため、そのＩＰパケットにフレーム識別情報（ＰＵＳＩ／ＭＢ）が含まれていたと見なす。

図３７Ｂの場合の認識は、Ｂフレームの先頭ＩＰパケットとＰフレームの先頭ＩＰパケットでロスした場合だけでなく、２つのＢフレームの先頭ＩＰパケットでロスした場合や２つのＰフレームの先頭ＩＰパケットでロスした場合にも適用できる。さらに、ロスしたＢ，Ｐフレームの先頭ＩＰパケットのいずれかで、当該先頭ＩＰパケットに連続する１つ以上のＩＰパケットがロスしている場合にも適用できる。

次に、図３８を参照して、Ｉフレーム先頭と、Ｂ，Ｐフレーム先頭でパケットロスが発生した場合について説明する。
図３８に示すように、Ｂフレーム（Ｆ２）の先頭ＩＰパケットと、Ｐフレーム（Ｆ７）の中間ＩＰパケット（映像データ）と、Ｉフレーム（Ｆ１６）の先頭ＩＰパケットとがロスした場合、Ｉフレーム識別情報に基づきフレームＦ１がＩフレームであると認識された後、それ以降の最大ＧＯＰ長以内において、フレームデータ量が最大のフレーム（Ｆ１６）をＩフレームと認識できる。また、Ｉフレーム（フレームＦ１）からのＧＯＰ内にＩＰパケットのロスが含まれているため、そのＩＰパケットにフレーム識別情報（ＰＵＳＩ／ＭＢ）が含まれていたと見なす。

続いて、ロスした各ＩＰパケットにフレーム識別情報が含まれていたと見なしてフレーム種別判定を行い、その判定結果が「ＩＢＢＰＢＢ」の出現パターンであったならば、各ＩＰパケットにフレーム識別情報が含まれていたと認識できる。なお、このフレーム種別判定では、「ＩＢＢＰＢＢで構成された際の典型ＧＯＰ長＝フレーム識別情報の個数＋フレーム識別情報を含むと見なしたロスＩＰパケットの個数」という条件を満たす組み合わせについて、総当たりでフレーム種別判定を行う。もし、上記条件を満たす組み合わせが複数存在する場合には、フレーム種別（Ｐ，Ｂ）ごとのフレーム内データ量のバラツキが少ない組み合わせの判定結果を選択すればよい。
また、図３８の場合の認識は、ロスしたＩ，Ｂ，Ｐフレームの先頭ＩＰパケットのいずれかで、当該先頭ＩＰパケットに連続する１つ以上のＩＰパケットがロスしている場合にも適用できる。

なお、以上の各実施例において、しきい値を用いた大小関係比較の詳細については、任意に設定すればよい。例えば、しきい値以上や、しきい値以下という判定については、しきい値を上回る、あるいはしきい値を下回るという判定に置き換えてもよい。また、このことは、しきい値に限らず判定範囲など、他の値を用いた大小関係を比較する際についても、同様である。

通信ネットワークを介して映像データをやり取りする映像アプリケーションでの映像品質の推定に有用であり、特に、電波を用いたデジタル放送などの映像配信や通信ネットワークを用いたデジタル放送のＩＰ再送信など映像配信での映像品質の推定に適している。

Claims

映像信号を複数種別のフレームに圧縮符号化して得られたエレメンタリストリームをＴＳパケットに変換して送信する映像通信について、演算処理部と記憶部とを有する映像品質推定装置により、当該ＴＳパケットに基づき映像品質を推定する際に用いる映像品質推定方法であって、
前記記憶部により、当該エレメンタリストリームのフレーム構成を記憶する記憶ステップと、
前記演算処理部により、入力された当該映像通信のＴＳパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するＴＳパケットの数を当該フレームのフレームデータ量として計数し、これらフレームのフレームデータ量の大小関係に基づきフレーム種別を判定するフレーム種別判定ステップと、
前記演算処理部により、このフレーム種別判定ステップで得られた各フレームのフレーム種別、前記記憶部から読み出した当該エレメンタリストリームのフレーム構成、および当該映像通信のＴＳパケットから検出したＴＳパケットの損失状況に基づいて、当該映像通信に関する映像品質を推定する映像品質推定ステップと
を備えることを特徴とする映像品質推定方法。
請求項１に記載の映像品質推定方法において、
前記フレーム種別判定ステップは、当該エレメンタリストリームにおけるＩフレーム間隔以下の判定期間において時間的に連続する各フレームのうち、フレームデータ量が最大のフレームをＩフレームと判定するステップを備えることを特徴とする映像品質推定方法。
請求項２に記載の映像品質推定方法において、
前記判定期間は、当該エレメンタリストリームにおける最大ＧＯＰ長からなることを特徴とする映像品質推定方法。
請求項１に記載の映像品質推定方法において、
前記フレーム種別判定ステップは、Ｉフレームを含まない時間的に連続する所定数のフレームについて、当該エレメンタリストリームのフレーム構成と当該フレームのフレームデータ量の大小関係のパターンとの一致に応じて、ＰフレームおよびＢフレームを判定するステップを備えることを特徴とする映像品質推定方法。
請求項４に記載の映像品質推定方法において、
前記フレーム種別判定ステップは、当該エレメンタリストリームのフレーム構成に、複数のＢフレーム、１つのＰフレーム、および１つのＢフレームからなるＮ（Ｎは４以上の整数）個のフレームが時間的にそれぞれ連続する判定用フレームパターンを含む場合、Ｉフレームを含まない時間的に連続するＮ個のフレームについて、先頭からＮ−２個目までの各フレームおよびＮ個目のフレームのフレームデータ量のすべてがＮ−１個目のフレームのフレームデータ量より小さい場合、Ｎ−１個目のフレームをＰフレームと判定するステップを備えることを特徴とする映像品質推定方法。
請求項４に記載の映像品質推定方法において、
前記フレーム種別判定ステップは、Ｉフレームを含まない時間的に連続する所定数のフレームのうち、Ｐフレームと判定されなかった残りのフレームをＢフレームと判定するステップを備えることを特徴とする映像品質推定方法。
請求項１に記載の映像品質推定方法において、
前記フレーム種別判定ステップは、異なる複数の出現パターンごとに予め設定されている、当該出現パターン内に含まれるフレームの位置とフレームデータ量との関係を示す判定基準が、当該エレメンタリストリームのうちＩフレームを含まない時間的に連続する複数のフレームについて成立するか検査し、成立した判定基準に対応する出現パターンに基づき当該フレームの種別を判定するステップを備えることを特徴とする映像品質推定方法。
請求項７に記載の映像品質推定方法において、
前記判定基準は、当該エレメンタリストリームの所定範囲内に位置する複数フレームのフレームデータ量の平均値に基づいて算出したしきい値と、当該出現パターン内のフレームのフレームデータ量との大小関係から構成されていることを特徴とする映像品質推定方法。
請求項１に記載の映像品質推定方法において、
前記フレーム種別判定ステップは、前記ＴＳパケットのヘッダ部に含まれているpayload_unit_start_indicator情報の値に基づいてフレーム開始位置を検出するステップを備えることを特徴とする映像品質推定方法。
請求項１に記載の映像品質推定方法において、
前記フレーム種別判定ステップは、Ｉフレームを含まない時間的に連続する個々のフレームについて、当該フレームのフレームデータ量と所定のしきい値とを比較し、その比較結果に基づき当該フレームをＰフレームまたはＢフレームと判定するステップを備えることを特徴とする映像品質推定方法。
請求項１に記載の映像品質推定方法において、
前記フレーム種別判定ステップは、Ｉフレームを含まない時間的に連続する個々のフレームのうち、先頭位置のフレームのフレームデータ量が所定のしきい値以上であって、かつ前記先頭位置から終了位置までのすべてのフレームのフレームデータ量が所定の判定範囲内に含まれる、所定数以上連続するフレームを、すべてＰフレームと判定するステップを備えることを特徴とする映像品質推定方法。
請求項１に記載の映像品質推定方法において、
前記フレーム種別判定ステップは、前記ＴＳパケットのアダプテーションフィールド部に含まれているＲＡＩ（random_access_indicator）情報またはＥＳＰＩ（elementary_stream_priority_indicator）情報の値に基づいてＩフレームを判定するステップを備えることを特徴とする映像品質推定方法。
請求項１に記載の映像品質推定方法において、
前記フレーム種別判定ステップは、当該エレメンタリストリームで発生したパケットロスを検出して、前記フレーム開始位置を示すフレーム区切り判定情報がどのパケットロスで欠損したかを想定し、この想定結果に応じて得られたフレーム開始位置に基づいて前記フレーム種別判定を行うステップを備えることを特徴とする映像品質推定方法。
請求項１３に記載の映像品質推定方法において、
前記フレーム種別判定ステップは、前記フレーム区切り判定情報がどのパケットロスで欠損したかを想定した区切り補間パターンを複数作成して、これら区切り補間パターンに応じたフレーム開始位置に基づいて区切り補間パターンごとに前記フレーム種別判定を行い、得られたフレーム種別判定結果のうちから、前記記憶部に予め設定されている典型ＧＯＰ構成と合致する最適補間パターンのフレーム種別判定結果を選択するステップを備えることを特徴とする映像品質推定方法。
映像信号を複数種別のフレームに圧縮符号化して得られたエレメンタリストリームをＴＳパケットに変換して送信する映像通信について、当該ＴＳパケットに基づき映像品質を推定する映像品質推定装置であって、
当該エレメンタリストリームのフレーム構成を記憶する記憶部と、
入力された当該映像通信のＴＳパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するＴＳパケットの数を当該フレームのフレームデータ量として計数し、これらフレームのフレームデータ量の大小関係に基づきフレーム種別を判定するフレーム種別判定部と、
このフレーム種別判定部で得られた各フレームのフレーム種別、前記記憶部から読み出した当該エレメンタリストリームのフレーム構成、および当該映像通信のＴＳパケットから検出したＴＳパケットの損失状況に基づいて、当該映像通信に関する映像品質を推定する映像品質推定部と
を備えることを特徴とする映像品質推定装置。
映像信号を複数種別のフレームに圧縮符号化して得られたエレメンタリストリームをＴＳパケットに変換して送信する映像通信について、演算処理部と記憶部とを有する処理装置により、当該ＴＳパケットに基づき各フレームの種別を判定するフレーム種別判定方法であって、
前記記憶部により、当該エレメンタリストリームのフレーム構成を記憶する記憶ステップと、
前記演算処理部により、入力された当該映像通信のＴＳパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するＴＳパケットの数を当該フレームのフレームデータ量として計数し、これらフレームのフレームデータ量の大小関係に基づきフレーム種別を判定するフレーム種別判定ステップと
を備えることを特徴とするフレーム種別判定方法。
映像信号を複数種別のフレームに圧縮符号化して得られたエレメンタリストリームをＴＳパケットに変換して送信する映像通信について、演算処理部と記憶部とを有し、当該ＴＳパケットに基づき映像品質を推定する映像品質推定装置のコンピュータに、
前記記憶部により、当該エレメンタリストリームのフレーム構成を記憶する記憶ステップと、
前記演算処理部により、入力された当該映像通信のＴＳパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するＴＳパケットの数を当該フレームのフレームデータ量として計数し、これらフレームのフレームデータ量の大小関係に基づきフレーム種別を判定するフレーム種別判定ステップと、
前記演算処理部により、このフレーム種別判定ステップで得られた各フレームのフレーム種別、前記記憶部から読み出した当該エレメンタリストリームのフレーム構成、および当該映像通信のＴＳパケットから検出したＴＳパケットの損失状況に基づいて、当該映像通信に関する映像品質を推定する映像品質推定ステップと
を実行させるプログラムを記録した記録媒体。
映像信号を複数種別のフレームに圧縮符号化して得られたエレメンタリストリームをＴＳパケットに変換して送信する映像通信について、演算処理部と記憶部とを有し、当該ＴＳパケットに基づき各フレームの種別を判定する処理装置のコンピュータに、
前記記憶部により、当該エレメンタリストリームのフレーム構成を記憶する記憶ステップと、
前記演算処理部により、入力された当該映像通信のＴＳパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するＴＳパケットの数を当該フレームのフレームデータ量として計数し、これらフレームのフレームデータ量の大小関係に基づきフレーム種別を判定するフレーム種別判定ステップと
を実行させるプログラムを記録した記録媒体。