JP5472120B2 - ピクチャタイプ推定装置、方法、及びプログラム - Google Patents

ピクチャタイプ推定装置、方法、及びプログラム Download PDF

Info

Publication number
JP5472120B2
JP5472120B2 JP2010548400A JP2010548400A JP5472120B2 JP 5472120 B2 JP5472120 B2 JP 5472120B2 JP 2010548400 A JP2010548400 A JP 2010548400A JP 2010548400 A JP2010548400 A JP 2010548400A JP 5472120 B2 JP5472120 B2 JP 5472120B2
Authority
JP
Japan
Prior art keywords
picture type
code amount
frame
target video
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010548400A
Other languages
English (en)
Other versions
JPWO2010087129A1 (ja
Inventor
尚司 谷内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010548400A priority Critical patent/JP5472120B2/ja
Publication of JPWO2010087129A1 publication Critical patent/JPWO2010087129A1/ja
Application granted granted Critical
Publication of JP5472120B2 publication Critical patent/JP5472120B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、ピクチャタイプ推定装置、方法、及びプログラムが格納された記憶媒体に関し、特に、連続するビデオパケットによって構成されるビデオフレームのピクチャタイプを推定するピクチャタイプ推定装置、方法、及びプログラムが格納された記憶媒体に関する。
近年、ＮＧＮ（Next Generation Network）網を利用したＩＰＴＶ（Internet Protocol TeleVision）放送（地デジＩＰ再送信）が考えられている。その理由の一つは、地上アナログ放送が停波する２０１１年に向けて円滑に地上デジタル放送に移行させることである。また、別の理由は、地上アナログ放送の視聴可能エリアに対し地上デジタル放送のカバー率を１００％にするためである。
これまでの映像配信サービスは、ネットワークがベストエフォート型であり、映像視聴者への品質保証を行なう事はほぼ不可能とされていた。しかしながら、ＮＧＮ網を利用する事によって、ＱｏＳ（Quality Of Service）が保証されるようになる。それにより、電波を利用した放送ＴＶ（TeleVision）サービスと同等の品質保証を映像視聴者に対し行なうことが可能となった。
また、現行の放送ＴＶサービスは、放送局が送信所から送出される電波の強度、建物及び地形によって視聴可能エリアを計算できる。さらに、現行の放送ＴＶサービスにおける受信品質は、幾つかの観測地点で試験を行い、机上の計算結果と比較評価を行うことにより、映像品質保証を行うことが可能であった。しかしながら、ＩＰＴＶサービスにおいてはコンテンツ送出から各家庭のＴＶ受像機の入り口までに複数のプロバイダが介在する。そのため、それぞれのプロバイダ間での品質保証を行なう必要がある。尚、図１１は、ＩＰＴＶ−ＧＳＩ（Internet Protocol TeleVision Global Standards Initiative）に記載されているＩＰＴＶサービスの監視ポイントを示すブロック図である。図１１では、コンテンツプロバイダ９３からのコンテンツデータが、ＬｏｃａｌＣｏｎｔｅｎｔＡｃｑｕｉｓｉｔｉｏｎ９１及びサービスプロバイダ９２、又は、サービスプロバイダ９４を経由してネットワークプロバイダ９５によりエンドユーザ９６へ届くことを表している。また、図１１では、ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）勧告として品質監視ポイントＰＴ１乃至ＰＴ５という５箇所を設定している。
ここで、ＩＰＴＶサービスの監視に関連する技術を以下に挙げる。まず、特許文献１には、テレビジョン放送の通信の信頼性を向上させる送受信システムが開示されている。特許文献１にかかる送受信システムは、通信パケットのシークエンスナンバーの番号を確認することで、連続性を判断し、通信パケットの欠落を検出するものである。
また、特許文献２には、通信パケット損失時の映像品質推定の精度向上を図る映像品質管理システムが開示されている。特許文献２にかかる映像品質管理システムは、損失パケットの生成番号から損失パケットの数を求め、損失パケットの情報量と１映像フレームの平均情報量から１映像フレーム内の品質劣化度合いを推定するものである。
また、特許文献３には、パケット列に変換されて送られてくる映像信号の品質を推定する映像品質推定装置が開示されている。特許文献３にかかる映像品質推定装置は、映像フレーム識別手段により、復号された映像信号における損失パケットについて、フレーム番号及びフレーム種別を識別するものである。
また、特許文献４には、所望の映像品質を得るための符号化ビットレートの推定方法が開示されている。また、特許文献５には、品質推定対象となる映像の動きを考慮して高精度の映像品質推定を実現する映像品質の推定方法が開示されている。
非特許文献１には、暗号化映像ストリームを対象に、ＴＳ（Transport Stream）ヘッダ情報を用いてフレーム種別を推定する映像フレーム種別推定手法が開示されている。非特許文献１にかかる映像フレーム種別推定手法は、ＴＳパケットの非暗号化部分（ＴＳヘッダ）に存在するフレーム開始点に関わる情報を取得することで、フレーム開始点を識別し、データ量の比較によりフレーム種別を推定するものである。
特開２００４−２８２５３８号公報 特開２００６−０３３７２２号公報 特開２００７−０１９８０２号公報 特開２００７−３０６１０９号公報 特開２００８−００５１０８号公報
牛木一成，富永聡子，林孝典，"ＴＳヘッダ情報を用いた映像フレーム種別推定法の有効性検証 パケットレイヤ映像品質客観評価モデルの確立に向けて"，電子情報通信学会技術研究報告，vol. 107，no. 312，CQ2007-74，pp. 15-19，2007年11月.
非特許文献１では、ネットワークで配信される符号化映像データが暗号化されている場合にはＴＳパケットヘッダのピクチャ先頭フラグを検出し、映像符号化された画像毎の符号量を測定することにより映像符号化タイプを推定している。しかしながら、非特許文献１では、パケットロスが発生し、ＴＳパケットのピクチャ先頭フラグが検出できなかった場合、映像符号化された画像の先頭が検出できないため、映像符号化タイプの推定を誤る場合があった。具体的には、パケットロスなどの原因によりＴＳパケットビデオヘッダの内、ｐａｙｌｏａｄ＿ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒが'１'にセットされているＴＳパケットが伝送されていない場合には、ビデオ開始点が検出できなくなる。そのため、ビデオピクチャタイプを誤判定してしまうという課題があった。また、特許文献１乃至５には、このような課題及び解決手段が示唆されていない。
本発明は、このような問題点を解決するためになされたものであり、連続するビデオパケットによって構成されるビデオフレームのピクチャタイプを推定し、映像品質の監視効果を高めることができるピクチャタイプ推定装置、方法、及びプログラムが格納された記憶媒体を提供することを目的とする。
本発明の第１の態様にかかるピクチャタイプ推定装置は、連続して入力される複数のビデオパケットに含まれるフレーム境界情報の検出結果に基づいて、前記フレーム境界情報によって規定される対象ビデオフレームの符号量を算出するフレーム符号量算出部と、前記対象ビデオフレームの符号量を当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定する境界情報欠落判定部と、前記境界情報欠落判定部の判定結果に応じて、前記対象ビデオフレームのピクチャタイプを推定するピクチャタイプ推定部と、を備える。
本発明の第２の態様にかかるピクチャタイプ推定方法は、連続して入力される複数のビデオパケットに含まれるフレーム境界情報の検出結果に基づいて、前記フレーム境界情報によって規定される対象ビデオフレームの符号量を算出するフレーム符号量算出ステップと、前記対象ビデオフレームの符号量を当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定する境界情報欠落判定ステップと、前記境界情報欠落判定ステップの判定結果に応じて、前記対象ビデオフレームのピクチャタイプを推定するピクチャタイプ推定ステップと、を備える。
本発明の第３の態様にかかるピクチャタイプ推定プログラムが格納された記憶媒体は、連続して入力される複数のビデオパケットに含まれるフレーム境界情報の検出結果に基づいて、前記フレーム境界情報によって規定される対象ビデオフレームの符号量を算出するフレーム符号量算出処理と、前記対象ビデオフレームの符号量を当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定する境界情報欠落判定処理と、前記境界情報欠落判定処理の判定結果に応じて、前記対象ビデオフレームのピクチャタイプを推定するピクチャタイプ推定処理と、をコンピュータに実行させる。
本発明の第４の態様にかかるピクチャタイプ推定装置は、連続して入力される複数のビデオパケットに含まれるフレーム境界情報の検出結果に基づいて、前記フレーム境界情報によって規定される対象ビデオフレームの符号量を算出するフレーム符号量算出部と、前記対象ビデオフレームの符号量を第１のフレーム数以上の当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定し、当該判定結果に応じて、前記対象ビデオフレームのピクチャタイプを仮推定するピクチャタイプ仮推定部と、前記対象ビデオフレームが処理開始から前記第１のフレーム数より多い第２のフレーム数以降のものである場合、前記ピクチャタイプ仮推定部により仮推定された仮推定結果により、前記対象ビデオフレームのピクチャタイプを推定するピクチャタイプ本推定部と、を備える。
本発明の第５の態様にかかるピクチャタイプ推定方法は、連続して入力される複数のビデオパケットに含まれるフレーム境界情報の検出結果に基づいて、前記フレーム境界情報によって規定される対象ビデオフレームの符号量を算出するフレーム符号量算出ステップと、前記対象ビデオフレームの符号量を第１のフレーム数以上の当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定し、当該判定結果に応じて、前記対象ビデオフレームのピクチャタイプを仮推定するピクチャタイプ仮推定ステップと、前記対象ビデオフレームが処理開始から前記第１のフレーム数より多い第２のフレーム数以降のものである場合、前記ピクチャタイプ仮推定ステップにより仮推定された仮推定結果により、前記対象ビデオフレームのピクチャタイプを推定するピクチャタイプ本推定ステップと、を備える。
本発明の第６の態様にかかるピクチャタイプ推定プログラムが格納された記憶媒体は、連続して入力される複数のビデオパケットに含まれるフレーム境界情報の検出結果に基づいて、前記フレーム境界情報によって規定される対象ビデオフレームの符号量を算出するフレーム符号量算出処理と、前記対象ビデオフレームの符号量を第１のフレーム数以上の当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定し、当該判定結果に応じて、前記対象ビデオフレームのピクチャタイプを仮推定するピクチャタイプ仮推定処理と、前記対象ビデオフレームが処理開始から前記第１のフレーム数より多い第２のフレーム数以降のものである場合、前記ピクチャタイプ仮推定処理により仮推定された仮推定結果により、前記対象ビデオフレームのピクチャタイプを推定するピクチャタイプ本推定処理と、をコンピュータに実行させる。
本発明によれば、連続するビデオパケットによって構成されるビデオフレームのピクチャタイプを推定し、映像品質の監視効果を高めることができるピクチャタイプ推定装置、方法、及びプログラムが格納された記憶媒体を提供することができる。例えば、ＩＰネットワークを介して配信される暗号化された符号化映像データについて、パケットロスが発生し、ＴＳパケットのピクチャ先頭フラグが検出できない可能性がある。その場合であっても、暗号化を解くことなくＴＳパケットヘッダを解析し、エラーが発生した前後の映像パケット情報やオーディオパケット情報を用いて、エラーが発生したパケットに映像データの先頭情報が含まれているか否かを推定することができる。そのため、映像品質の監視効果を高めることができる。
本発明の実施の形態１にかかるピクチャタイプ推定装置の構成を示すブロック図である。 ＩＳＯ／ＩＥＣ１３８１８−１に記載されているＴＳパケット構造を示す図である。 本発明の実施の形態１にかかるピクチャタイプ推定装置の一実施例のハードウェア構成を示すブロック図である。 本発明の実施の形態１にかかるピクチャタイプ推定処理の流れを示すフローチャートである。 本発明の実施の形態２にかかるピクチャタイプ推定装置の構成を示すブロック図である。 本発明の実施の形態２にかかるピクチャタイプ推定処理の流れを示すフローチャートである。 本発明の実施の形態２にかかるピクチャタイプ推定処理の内、フレームの先頭フラグを含まない場合における詳細な処理の流れを示すフローチャートである。 本発明の実施の形態２にかかるピクチャタイプ推定方法における判定条件の例を示す図である。 本発明の実施の形態２にかかるビデオピクチャタイプ推定方法に用いるＴＳストリームのビデオの配置とオーディオの配置の一例を示す図である。 本発明の実施の形態２にかかるピクチャタイプ推定装置の設置場所の例を示す図である。 ＩＰＴＶ−ＧＳＩに記載されているＩＰＴＶサービスの監視ポイントを示すブロック図である。 本発明の実施の形態３にかかるピクチャタイプ推定装置の構成を示すブロック図である。 本発明の実施の形態３にかかるピクチャタイプ推定処理の内、フレームの先頭フラグを含まない場合における詳細な処理の流れを示すフローチャートである。 本発明の実施の形態３にかかるピクチャタイプ推定方法における判定条件の例を示す図である。
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付与されており、説明の明確化のため、必要に応じて重複説明は省略する。
＜発明の実施の形態１＞
図１は、本発明の実施の形態１にかかるピクチャタイプ推定装置１００の構成を示すブロック図である。ピクチャタイプ推定装置１００は、暗号化されたビデオデータを含む複数のビデオパケットを入力し、複数のビデオパケットにおけるビデオフレームについて、異なる複数のピクチャタイプのいずれかを推定するものである。
映像データは、複数の画面データで表現され、一つの画面データは、複数のフレームにより表現される。そして、フレームは、所定のピクチャタイプのいずれかに該当する。ピクチャタイプとは、例えば、ＭＰＥＧ２（Moving Picture Experts Group phase 2）システムに規定されるＩピクチャ、Ｐピクチャ及びＢピクチャである。但し、本発明にかかるピクチャタイプは、これに限定されない。すなわち、画面データは、複数のピクチャタイプのフレームにより表現されるものである。ここで、フレームは、転送するために所定のサイズごとの複数のビデオデータに分割されたものである。そして、ビデオパケットとは、暗号化されたビデオデータと、当該ビデオデータの属性情報を含めた非暗号化情報であるヘッダ情報とを含めたものとする。
ここで、本発明の実施の形態１で対象となるビデオパケットの一例として、図２にＩＳＯ／ＩＥＣ（International Organization for Standardization／International Electrotechnical Commission）１３８１８−１に記載されているＴＳ（Transport Stream）パケット構造を示す。図２は、７つのＴＳパケットがＩＰ（Internet Protocol）パケット化されている場合を示す。また、ＴＳパケットは、先頭に非暗号化情報のヘッダ情報に相当するＴＳヘッダを備え、ＴＳヘッダの後に暗号化されたビデオデータに相当するデータバイトを備える。
ここで、ピクチャタイプ推定装置１００に入力される複数のビデオパケットは、一連の映像を表現するために連続性をもって入力されるものとする。つまり、連続するビデオパケットに含まれるビデオデータは、所定のピクチャタイプのフレームとなる。そして、本発明の実施の形態１では、入力されるビデオパケットに一部の欠落がある場合を対象とする。
図１に戻って、ピクチャタイプ推定装置１００は、フレーム符号量算出部１０１と、境界情報欠落判定部１０２と、ピクチャタイプ推定部１０３とを備える。
フレーム符号量算出部１０１は、連続して入力される複数のビデオパケットに含まれるフレーム境界情報の検出結果に基づいて、フレーム境界情報によって規定される対象ビデオフレームの符号量を算出する。言い換えると、フレーム符号量算出部１０１は、ビデオパケットに含まれるフレームの境界を規定する境界情報により定められる対象ビデオフレームに属するビデオパケットに連続性がない場合、連続性がある場合のパケット数分の符号量を加算して当該対象ビデオフレームのフレーム符号量を算出する。ここで、境界情報とは、例えば、フレームの先頭のビデオパケットに付加されるフレーム開始位置を示すもの、又は、フレームの末尾のビデオパケットに付加されるフレーム終了位置を示すもの、のいずれか又は両方であるとよい。また、フレーム符号量とは、対象ビデオフレームに属するビデオパケットの数や、データサイズの合計などであるとよい。
境界情報欠落判定部１０２は、対象ビデオフレームの符号量を当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定する。ここで、統計量とは、例えば、対象ビデオフレーム以前のフレームにおけるフレーム符号量の平均値であるフレーム平均符号量であればよい。また、例えば、境界情報欠落判定部１０２は、対象ビデオフレームのフレーム符号量がフレーム平均符号量に比べて著しく大きいと判定された場合は、本来、２つのフレームであるものが、境界情報を含むビデオパケットが欠落し、入力されなかったために１つのフレームと認識されたと判定する。
ピクチャタイプ推定部１０３は、境界情報欠落判定部１０２による判定結果に応じて、対象ビデオフレームのピクチャタイプを推定する。例えば、判定結果が対象ビデオフレームにおいて境界情報を含むビデオパケットが欠落していたことを示す場合、半分にしたフレーム符号量と、フレーム平均符号量の比率からＩピクチャ、Ｐピクチャ又はＢピクチャのいずれかを推定する。尚、推定の基準は、これに限定されない。
また、ピクチャタイプ推定部１０３は、対象ビデオフレームの符号量が複数のビデオフレームを含むものとみなして、対象ビデオフレームのピクチャタイプを推定するとよい。
上述したフレーム符号量算出部１０１、境界情報欠落判定部１０２及びピクチャタイプ推定部１０３は、ピクチャタイプ推定装置１００を構成するコンピュータとその上で動作するプログラムとで実現することができる。図３は、本発明の実施の形態１にかかるピクチャタイプ推定装置の一実施例のハードウェア構成を示すブロック図である。
図３において、ピクチャタイプ推定装置１００は、ＣＰＵ（Central Processing Unit）１１と、ＲＡＭ（Random Access Memory）１２と、ＲＯＭ（Read Only Memory）１３と、通信部１４と、ハードディスク１５とを備える。また、ハードディスク１５は、不揮発性記憶装置であり、ＯＳ（Operating System）１５１及びピクチャタイプ推定処理が実装されたピクチャタイプ推定プログラム１５２が格納されている。
ＣＰＵ１１は、ピクチャタイプ推定装置１００における各種処理、すなわち、ＲＡＭ１２、ＲＯＭ１３、通信部１４、及びハードディスク１５へのアクセス等を制御する。通信部１４は、ピクチャタイプ推定装置１００に入力されるビデオパケット等の映像データを受信する。
ピクチャタイプ推定装置１００は、ＣＰＵ１１が、ＲＡＭ１２、ＲＯＭ１３又はハードディスク１５に格納されたＯＳ１５１及びピクチャタイプ推定プログラム１５２を読み込み、実行する。これにより、ピクチャタイプ推定装置１００は、ピクチャタイプ推定処理を含む各種処理を行なうことができる。
図４は、本発明の実施の形態１にかかるピクチャタイプ推定処理の流れを示すフローチャートである。まず、フレーム符号量算出部１０１は、フレーム境界情報の検出結果に基づいて、対象ビデオフレームの符号量を算出する（Ｓ１１）。次に、境界情報欠落判定部１０２は、対象ビデオフレーム内に境界情報を含むパケットが欠落しているか否かを判定する（Ｓ１２）。その後、ピクチャタイプ推定部１０３は、判定結果に応じて、対象ビデオフレームのピクチャタイプを推定する（Ｓ１３）。
尚、ＴＳパケットは、コンテンツの保護の観点より、ＩＰＴＶサービスでビデオ配信する際にｄａｔａ＿ｂｙｔｅの部分が暗号化処理を施されており、ＴＳヘッダ部分のみ解析可能となっている。そのため、ＴＳヘッダ部のｃｏｎｔｉｎｕｉｔｙ＿ｃｏｕｎｔｅｒ値によりパケットの連続性を検出し、ｐａｙｌｏａｄ＿ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒによりビデオストリームのフレーム先頭位置を検出することができる。
このように、本発明の実施の形態１により、連続するビデオパケットによって構成されるビデオフレームのピクチャタイプを推定し、映像品質の監視効果を高めることができる。
＜発明の実施の形態２＞
図５は、本発明の実施の形態２にかかるピクチャタイプ推定装置２００の構成を示すブロック図である。本発明の実施の形態２にかかるピクチャタイプ推定装置２００は、ＩＰネットワークによって圧縮符号化された映像データを含むビデオ配信サービスを提供する際、伝送路上においてパケットロスなどの要因による映像品質劣化度を推定するために暗号化された映像データを復号することなくピクチャタイプを推定するものである。本発明の実施の形態２にかかるピクチャタイプ推定装置２００は、ＩＰＴＶサービスにより、図２に示したようなＩＳＯ／ＩＥＣ１３８１８−１に規定されているＴＳパケットをＩＰパケット化した映像音声ストリームに含まれるＩＰパケットデータｄ１を入力するものとする。但し、本発明の実施の形態２が対象とするビデオパケットは、これに限定されない。
ピクチャタイプ推定装置２００は、ＩＰパケットヘッダ解析部１、ＴＳパケットヘッダ解析部２、ＴＳパケット分離部３、ＴＳパケットビデオヘッダ解析部４、ビデオフレーム開始点探索部５、ビデオ符号量統計処理部６、ビデオピクチャタイプ推定部７及びＴＳパケットオーディオヘッダ解析部８を備える。
ＩＰパケットヘッダ解析部１は、ＩＰマルチキャストで伝送されているＩＰパケットデータｄ１を入力し、ＩＰパケットデータｄ１内のＩＰパケットヘッダ及びＵＤＰ（User Datagram Protocol）／ＲＴＰ（Real-time Transport Protocol）パケットヘッダを解析し、ＴＳパケットデータｄ２を出力する。その際、ＩＰパケットヘッダ解析部１は、ＩＰパケットヘッダ及びＵＤＰ／ＲＴＰパケットヘッダからピクチャタイプを推定するためのＩＰＴＶサービスパケットのフィルタリングを行う。つまり、ＩＰパケットヘッダ解析部１は、ピクチャタイプを推定する目的の映像音声パケットが含まれるＴＳパケットデータｄ２を分離して出力する。
ＴＳパケットヘッダ解析部２は、ＴＳパケットデータｄ２のＴＳパケットヘッダからビデオデータ又はオーディオデータを識別するＰＩＤデータｄ３を検出して出力する。ＩＰパケットヘッダ解析部１により出力されたＴＳパケットデータｄ２には、圧縮されたビデオデータや、オーディオデータ及びその他番組情報データ等の構成データが含まれている。そのため、ＴＳパケットヘッダ解析部２は、ＴＳパケットデータｄ２に含まれる番組情報データを解析し、ＴＳパケットのそれぞれ構成データに対応するＰＩＤデータｄ３を出力する。
ＴＳパケット分離部３は、ＴＳパケットデータｄ２に含まれる圧縮データが、ビデオデータ又はオーディオデータであるかを、ＰＩＤデータｄ３により判定し、ビデオＴＳパケットデータｄ４及びオーディオＴＳパケットデータｄ９として分離して出力する。
ＴＳパケットビデオヘッダ解析部４は、ビデオＴＳパケットデータｄ４に含まれるヘッダ情報から、ビデオパケットの連続性を示す連続性カウンタやビデオストリームのフレーム先頭位置情報などを含むビデオＴＳパケット情報ｄ５を抽出して出力する。ここで、フレーム先頭位置情報は、フレームの境界を規定する境界情報である。フレーム先頭位置情報は、当該ビデオパケットがフレームの先頭である場合に設定されるフラグであり、例えば、ＴＳパケットにおけるｐａｙｌｏａｄ＿ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒが"１"であることにより表現すればよい。また、連続性カウンタは、例えば、ＴＳパケットにおけるｃｏｎｔｉｎｕｉｔｙ＿ｃｏｕｎｔｅｒ値であればよい。
ＴＳパケットオーディオヘッダ解析部８は、オーディオＴＳパケットデータｄ９に含まれるヘッダ情報から、オーディオパケットの連続性カウンタやオーディオストリームのフレーム先頭位置情報などを表すオーディオＴＳパケット情報ｄ１０を抽出して出力する。
ビデオフレーム開始点探索部５は、ビデオＴＳパケット情報ｄ５がフレーム先頭位置情報を含むか否かを判定し、判定結果であるビデオフレーム開始点情報ｄ６を出力する。
ビデオ符号量統計処理部６は、ビデオフレーム開始点情報ｄ６に応じて、対象ビデオフレームにおけるビデオフレーム符号量及び対象ビデオフレーム以前のフレームにおけるビデオフレーム符号量の平均値であるビデオフレーム符号量平均値ｄ７を算出して出力する。具体的には、ビデオ符号量統計処理部６は、ビデオＴＳパケット情報ｄ５がフレーム先頭位置情報を含む場合に、ビデオフレーム単位のデータバイト数であるビデオフレーム符号量に当該ビデオパケットのデータバイト数を加算する。
ここで、ビデオ符号量統計処理部６は、処理対象のＴＳパケットが直前に処理したＴＳパケットとの間に連続性がない場合、ビデオフレーム符号量に連続性がある場合のパケット数分の符号量を加算する。
また、ビデオ符号量統計処理部６は、ビデオＴＳパケット情報ｄ５がフレーム先頭位置情報を含まない場合に、ビデオフレーム符号量を用いて、ビデオフレーム符号量平均値ｄ７を算出する。つまり、ピクチャタイプ推定装置１００は、フレーム先頭位置情報を含むビデオパケットから次のフレーム先頭位置情報を含むビデオパケットの直前のビデオパケットまでの間を一つの対象ビデオフレームとして認識する。
尚、ビデオ符号量統計処理部６は、ビデオフレーム開始点情報ｄ６から少なくとも３０フレーム以上のビデオフレーム符号量が算出された場合に、ビデオフレーム符号量平均値Ｓ７を出力するとよい。これにより、フレーム平均符号量の信頼性が高まり、ピクチャタイプの推定の精度が高まる。
ビデオピクチャタイプ推定部７は、ビデオフレーム開始点情報ｄ６に含まれるビデオフレーム符号量と、ビデオフレーム符号量平均値ｄ７とに基づいて、対象ビデオフレームにフレーム先頭位置情報を含むビデオパケットが欠落しているか否かを判定する。すなわち、ビデオピクチャタイプ推定部７は、対象ビデオフレームが元々、２フレーム以上であったか否かを判定する。
また、ビデオピクチャタイプ推定部７は、ＴＳパケットオーディオヘッダ解析部８により出力されたオーディオＴＳパケット情報ｄ１０をさらに用いて、対象ビデオフレームにフレーム先頭位置情報を含むビデオパケットが欠落しているか否かを判定してもよい。
そして、ビデオピクチャタイプ推定部７は、フレーム先頭位置情報を含むビデオパケットが欠落していたと判定された場合に、前記対象ビデオフレームのフレーム符号量を調整し、当該調整したフレーム符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを推定する。
また、ビデオピクチャタイプ推定部７は、ＴＳパケットオーディオヘッダ解析部８により出力されたオーディオＴＳパケット情報ｄ１０をさらに用いて、当該対象ビデオフレームのピクチャタイプを推定してもよい。これにより、ピクチャタイプの推定の精度を上げることができる。
ビデオピクチャタイプ推定部７は、ビデオフレーム符号量が１２フレーム以上の周期でビデオフレーム符号量の平均値の１５０％以上となるビデオフレームをＩピクチャと推定する。また、ビデオピクチャタイプ推定部７は、その他のビデオフレーム符号量でビデオフレーム符号量平均値の１５０％未満かつ９０％以上をとなるビデオフレームをＰピクチャと推定する。さらに、ビデオピクチャタイプ推定部７は、それ以外のビデオフレームをＢピクチャと推定する。そして、ビデオピクチャタイプ推定部７は、推定したピクチャタイプであるビデオピクチャタイプｄ８を出力する。これにより、適切なピクチャタイプの推定をすることができる。
上述したＩＰパケットヘッダ解析部１、ＴＳパケットヘッダ解析部２、ＴＳパケット分離部３、ＴＳパケットビデオヘッダ解析部４、ビデオフレーム開始点探索部５、ビデオ符号量統計処理部６、ビデオピクチャタイプ推定部７及びＴＳパケットオーディオヘッダ解析部８は、ピクチャタイプ推定装置２００を構成するコンピュータとその上で動作するプログラムとで実現することができる。尚、本発明の実施の形態２にかかるピクチャタイプ推定装置２００の一実施例のハードウェア構成は、図３と同様であるため、図示および説明を省略する。
図６は、本発明の実施の形態２にかかるピクチャタイプ推定処理の流れを示すフローチャートである。また、図７は、図６に示すピクチャタイプ推定処理の内、フレームの先頭フラグを含まない場合（Ｓ１０６でＹＥＳの場合）における詳細な処理の流れを示すフローチャートである。以下の説明では、適宜、図６及び図７を参照するものとする。まず、ＩＰパケットヘッダ解析部１は、ＩＰパケットヘッダ解析処理を行う（Ｓ１０１）。具体的には、ＩＰパケットヘッダ解析部１は、ネットワークを介して受信したＩＰパケットに対して、監視する目的のマルチキャストアドレスデータから目的のＩＰパケットを抽出する。
次に、ＴＳパケットヘッダ解析部２は、ＭＰＥＧ−２ＴＳＤｅＭＵＸ処理を行う（Ｓ１０２）。具体的には、ＴＳパケットヘッダ解析部２は、受信したＩＰパケットからＭＰＥＧ−２ＴＳを分離し、ＭＰＥＧ−２ＴＳヘッダを解析し、目的の映像コンテンツのビデオストリーム及びオーディオストリームが格納されているパケットのＰＩＤを検出する。
そして、ＴＳパケット分離部３は、ＭＰＥＧ−２ＴＳテーブル解析処理を行う（Ｓ１０３）。具体的には、ＴＳパケット分離部３は、ステップＳ１０２で検出されたＰＩＤに基づき、ビデオストリームとオーディオストリームが含まれるＭＰＥＧ−２ＴＳパケットを抽出する。すなわち、ＴＳパケット分離部３は、ビデオＴＳパケットデータｄ４及びオーディオＴＳパケットデータｄ９を出力する。
ここで、オーディオＴＳパケットデータｄ９について、ＴＳパケットオーディオヘッダ解析部８は、オーディオパケットの連続性を検査するためにＭＰＥＧ−２ＴＳヘッダ解析処理を行う（Ｓ１０４）。具体的には、ＴＳパケットオーディオヘッダ解析部８は、オーディオストリームが含まれるＭＰＥＧ−２ＴＳパケットヘッダの連続性カウンタであるｃｏｎｔｉｎｕｉｔｙ＿ｃｏｕｎｔｅｒ値を検出し、オーディオパケットの連続性を監視する。また、ＴＳパケットオーディオヘッダ解析部８は、現在処理を行っているオーディオパケットの連続性カウンタと、直前に処理を行ったオーディオパケットの連続性カウンタとの差分値γを算出する。そして、ＴＳパケットオーディオヘッダ解析部８は、差分値γをオーディオパケットごとに一時的にＲＡＭ１２等の記憶領域に格納する。
また、ビデオＴＳパケットデータｄ４について、ＴＳパケットビデオヘッダ解析部４は、ビデオパケットの連続性を検査するためにＭＰＥＧ−２ＴＳヘッダ解析処理を行う（Ｓ１０５）。具体的には、ＴＳパケットビデオヘッダ解析部４は、ビデオストリームが含まれるＭＰＥＧ−２ＴＳパケットヘッダの連続性カウンタであるｃｏｎｔｉｎｕｉｔｙ＿ｃｏｕｎｔｅｒ値を検出し、ビデオパケットの連続性を監視する。また、ＴＳパケットビデオヘッダ解析部４は、現在処理を行っているビデオパケットの連続性カウンタと、直前に処理を行ったビデオパケットの連続性カウンタとの差分値βを算出する。そして、ＴＳパケットビデオヘッダ解析部４は、差分値βをビデオパケットごとに一時的にＲＡＭ１２等の記憶領域に格納する。
続いて、ビデオフレーム開始点探索部５は、ビデオＴＳパケットデータｄ４のヘッダ情報がフレーム先頭位置情報を含むか否かを判定する（Ｓ１０６）。具体的には、ビデオフレーム開始点探索部５は、ＭＰＥＧ−２ＴＳヘッダのｐａｙｌｏａｄ＿ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒフラグを検出し、"１"であれば、ビデオフレームの開始点と判定する。
ステップＳ１０６において、フレーム先頭位置情報を含まないと判定された場合、ビデオ符号量統計処理部６は、ビデオフレーム符号量演算処理を行う（Ｓ１０７）。具体的には、ビデオ符号量統計処理部６は、ＭＰＥＧ−２ＴＳパケットの最大データバイト数である１８４バイトを、ビデオフレーム符号量αに加算する。または、ビデオフレーム開始点探索部５は、ＴＳパケットヘッダのａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌフラグを参照し、ＴＳパケット内のデータバイト数を算出し、算出したデータバイト数をビデオフレーム符号量に加算するようにしてもよい。これにより、正確な符号量を算出することができる。
次に、ビデオ符号量統計処理部６は、ビデオパケットに連続性があるか否かを判定する（Ｓ１０８）。具体的には、ビデオ符号量統計処理部６は、差分値βが１より大きい場合、連続性がないと判定する。
ステップＳ１０８において、ビデオパケットに連続性がないと判定された場合、ビデオ符号量統計処理部６は、パケットロス分の符号量をビデオフレーム符号量に加算する（Ｓ１０９）。つまり、ビデオ符号量統計処理部６は、ビデオパケット不連続時の符号量を予測し、加算を行う。具体的には、ビデオ符号量統計処理部６は、不連続なＴＳパケットの数（差分値β−１）にＭＰＥＧ−２ＴＳパケットの最大データバイト数１８４を乗じた値をビデオフレーム符号量に加算する。その後、次のＴＳパケットがある場合、ピクチャタイプ推定装置２００は、引き続き当該ピクチャタイプ推定処理を続ける。
ステップＳ１０６において、フレーム先頭位置情報を含むと判定された場合、ピクチャタイプ推定装置２００は、図７に示すピクチャタイプ推定詳細処理を実行する（Ｓ１３０）。すなわち、まず、ビデオ符号量統計処理部６は、ビデオフレームの平均符号量演算処理を行う（Ｓ１１０）。具体的には、ビデオ符号量統計処理部６は、ビデオフレーム符号量αを処理済みのフレームの符号量の総数に加算し、フレーム総数により除算することにより、フレーム平均符号量Ｍを算出する。
その後、ビデオピクチャタイプ推定部７は、パケットロス有無の判断処理を行う（Ｓ１１１）。具体的には、ビデオピクチャタイプ推定部７は、処理フレームに属するビデオパケットについて差分値βが１よりも大きいものがある場合に、パケットロス有と判定する。
ステップＳ１１１において、パケットロス無と判定された場合、ビデオピクチャタイプ推定部７は、ビデオフレーム符号量αとフレーム平均符号量Ｍの比較処理を行う（Ｓ１１２）。そして、ビデオピクチャタイプ推定部７は、比較結果に応じて、当該対象ビデオフレームのピクチャタイプを推定する（Ｓ１１３）。ここで、ピクチャタイプを推定するための判断基準について例示する。例えば、ビデオピクチャタイプ推定部７は、ビデオフレーム符号量αがフレーム平均符号量Ｍを１．５倍した値より大きいとの比較結果である場合、Ｉピクチャと推定する。また、ビデオピクチャタイプ推定部７は、ビデオフレーム符号量αがフレーム平均符号量Ｍを１．５倍した値以下であり、かつ、フレーム平均符号量Ｍを０．９倍した値より大きいとの比較結果である場合、Ｐピクチャと推定する。さらに、ビデオピクチャタイプ推定部７は、ビデオフレーム符号量αがフレーム平均符号量Ｍを０．９倍した値以下との比較結果である場合、Ｂピクチャと推定する。
尚、映像データにおいて、Ｉピクチャは、所定の周期、例えば１５フレーム周期で出現する場合がある。そのため、ビデオピクチャタイプ推定部７は、過去のフレームにおいて、所定の周期でＩピクチャと推定されたフレームが続いた場合には、上記の判断基準に該当しないとしても、対象ビデオフレームを周期に照らし合わせるとＩピクチャに該当する場合には、Ｉピクチャと推定しても良い。同様に、ビデオピクチャタイプ推定部７は、過去のフレームにおいて、所定の周期（例えば３フレーム周期）でＰピクチャと推定されたフレームが続いた場合には、上記の判断基準に該当しないとしても、対象ビデオフレームを周期に照らし合わせるとＰピクチャに該当する場合には、Ｐピクチャと推定しても良い。
その後、図６に戻り、ビデオピクチャタイプ推定部７は、ビデオフレーム符号量の初期化処理を行う（Ｓ１１４）。具体的には、ビデオピクチャタイプ推定部７は、ビデオフレーム符号量αに１８４を設定する。
ステップＳ１１１において、パケットロス有と判定された場合、ビデオピクチャタイプ推定部７は、フレーム先頭位置情報を含むビデオパケットが欠落していたと仮定した場合のビデオフレーム符号量α'を算出する（Ｓ１１５）。具体的には、ビデオピクチャタイプ推定部７は、ビデオフレーム符号量αを２で除算してビデオフレーム符号量α'を算出する。すなわち、ここでは、ステップＳ１０６乃至Ｓ１０９により算出されたビデオフレーム符号量αには、２フレーム分の符号量になっていると仮定している。
続いて、ビデオピクチャタイプ推定部７は、ビデオフレーム符号量αとフレーム平均符号量Ｍの比較処理、及び、ビデオフレーム符号量α'とフレーム平均符号量Ｍの比較処理を行い、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性について判定する（Ｓ１１６）。ここで、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性の判断基準について例示する。例えば、ビデオピクチャタイプ推定部７は、ビデオフレーム符号量αがフレーム平均符号量Ｍを２倍した値より大きいとの比較結果である場合、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性が高いと判定する。また、ビデオピクチャタイプ推定部７は、ビデオフレーム符号量α'がフレーム平均符号量Ｍを０．５倍した値より小さいとの比較結果である場合、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性が低いと判定する。
そして、ビデオピクチャタイプ推定部７は、オーディオパケットに連続性があるか否かを判定する（Ｓ１１７）。具体的には、ビデオピクチャタイプ推定部７は、差分値γが１より大きい場合、連続性がないと判定する。ステップＳ１１７において、オーディオパケットに連続性があると判定された場合、ビデオピクチャタイプ推定部７は、比較結果と、過去フレームのピクチャタイプの出現順序とからピクチャタイプを推定する（Ｓ１１８）。
ステップＳ１１７において、オーディオパケットに連続性がないと判定された場合、ビデオピクチャタイプ推定部７は、比較結果と、過去フレームのピクチャタイプの出現順序と、Ｉピクチャの周期情報とからピクチャタイプを推定する（Ｓ１１９）。このとき、ビデオピクチャタイプ推定部７は、ビデオフレーム符号量α'を用いて、当該対象ビデオフレームのピクチャタイプを推定するとよい。さらに、ビデオピクチャタイプ推定部７は、当該対象ビデオフレームのピクチャタイプの推定結果を次回以降の推定に利用しないことが望ましい。その理由は、パケットロス有、つまり、ビデオパケットに連続性がなく、オーディオパケットにも連続性がない場合は、対象ビデオフレームの推定精度が低いと考えられるからである。
その後、ビデオピクチャタイプ推定部７は、フレーム先頭位置情報を含むビデオパケットが欠落していたと判定した場合に、ビデオフレーム単位の平均符号量演算処理を行う（Ｓ１２０）。具体的には、ビデオピクチャタイプ推定部７は、処理済みのフレームの符号量の総数に、フレーム総数に１加えた値より除算することにより、フレーム平均符号量Ｍを算出する。その後、ビデオピクチャタイプ推定部７は、ステップＳ１１４を行う。
以上の処理によって、ＭＰＥＧ−２ＴＳヘッダからビデオフレームのピクチャタイプを推定することができる。
尚、ステップＳ１１７において、オーディオパケットに連続性があると判定された場合、ビデオピクチャタイプ推定部７は、対象ビデオフレームにオーディオパケットが複数含まれるか否かを判定するとよい。そして、対象ビデオフレームにオーディオパケットが複数含まれる場合に、対象ビデオフレームのフレーム符号量を調整し、当該調整したフレーム符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを推定するとよい。
尚、ピクチャタイプ推定部７は、ステップＳ１１６において、フレーム先頭位置情報を含むビデオパケットが欠落していなかったと判定し、オーディオパケットに連続性があり、対象ビデオフレームにオーディオパケットが複数含まれる場合に、対象ビデオフレームのフレーム符号量を調整せずに、すなわち、ビデオフレーム符号量α'を算出せずに、ビデオフレーム符号量αとフレーム平均符号量Ｍとに基づいて、当該対象ビデオフレームのピクチャタイプを推定するとよい。
ここで、上述した判定条件と推定方法をまとめたものを図８に示す。まず、オーディオパケットの連続性がない場合、ピクチャタイプ推定部７は、ステップＳ１１９の処理を行う。また、オーディオパケットの連続性があり、対象ビデオフレームにオーディオパケットが複数含まれない場合、ピクチャタイプ推定部７は、ステップＳ１１８の処理を行う。そして、オーディオパケットの連続性があり、対象ビデオフレームにオーディオパケットが複数含まれ、ビデオフレーム符号量αがフレーム平均符号量Ｍを２倍した値より大きいとの比較結果である場合、Ｉピクチャ又はＰピクチャの可能性が高くなるようにして、ピクチャタイプ推定部７は、ステップＳ１１８の処理を行う。
オーディオデータは、固定長で符号化されているため、ＴＳパケットに挿入されるタイミングがフレーム単位でほぼ一定である。一方、ビデオパケットは、フレーム単位の符号量が大きく異なる。そのため、フレーム内にオーディオパケットが含まれる割合が多い場合（フレーム内に複数のオーディオパケットが含まれる場合）には、そのピクチャに割り当てられている符号量が多いことを示す。よって、ＩピクチャもしくはＰピクチャである可能性が高くなる。
また、図８において、オーディオパケットの連続性があり、対象ビデオフレームにオーディオパケットが複数含まれる場合でも、ビデオフレーム符号量α'がフレーム平均符号量Ｍを０．５倍した値より小さいとの比較結果である場合、ピクチャタイプ推定部７は、ステップＳ１１３の処理を行う。
尚、図８において、フレーム先頭位置情報を含むビデオパケットが欠落していたと判定した場合、ピクチャタイプ推定部７は、ビデオフレーム符号量αではなく、ビデオフレーム符号量α'を用いて推定する。
尚、ＴＳパケットビデオヘッダ解析部４は、ビデオＴＳパケット情報ｄ５に、優先度情報であるｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙを含めて抽出しても良い。その場合、ステップＳ１１１の処理の前に、対象ビデオフレームのピクチャタイプがＩピクチャであると推定できる。その理由は、ストリームによっては、優先度情報であるｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙによりＩピクチャを示す場合があるからである。これにより、容易かつ確実にＩピクチャの推定ができ、精度を向上することができる。
尚、ピクチャタイプ推定部７は、必ずしもステップＳ１１５においてビデオフレーム符号量α'を算出する必要はない。その場合、ステップＳ１１６において、ビデオフレーム符号量αがフレーム平均符号量Ｍより小さいとの比較結果である場合、ピクチャタイプ推定部７は、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性が低いと判定し、その後、ピクチャタイプを推定する際に、ビデオフレーム符号量αを調整して、ビデオフレーム符号量α'を算出すればよい。また、ステップＳ１１６において、フレーム先頭位置情報を含むビデオパケットが欠落していなかったと判定した場合に、ピクチャタイプ推定部７は、対象ビデオフレームのフレーム符号量を調整せずに、すなわち、ビデオフレーム符号量α'を算出せずに、ビデオフレーム符号量αとフレーム平均符号量Ｍとに基づいて、当該対象ビデオフレームのピクチャタイプを推定するとよい。
図９は、本発明の実施の形態２にかかるビデオピクチャタイプ推定方法に用いるＴＳストリームのビデオの配置とオーディオの配置の一例を示す図である。ビデオフレーム先頭位置ＶＦｓ１、ＶＦｓ２、ＶＦｓ３、ＶＦｓ４、ＶＦｓ５及びＶＦｓ６は、境界情報であり、ビデオフレームの開始点を示している。つまり、境界情報に挟まれた複数のＴＳパケットが一つのフレームであることを示す。図９では、ピクチャタイプが、"ＩＢＢＰＢＢ"となっていることを示す。
ここで、ＩＰパケットストリームにおいて４番目のパケットがエラーとして伝送されなかった場合、ピクチャタイプ推定装置２００は、オーディオパケット（カウンタ"３"）及びビデオストリームのピクチャヘッダが含まれるパケット（カウンタ"２１"）が入力されないことになる。
このとき、ピクチャタイプ推定装置２００が処理するビデオパケットは、ビデオ連続カウンタ値"１７"の次にビデオ連続カウンタ値"２３"となり、差分値βは６となる。そのため、ピクチャタイプ推定装置２００は、５つのビデオパケットが失われていると判定する。同様に、ピクチャタイプ推定装置２００が処理するオーディオパケットは、オーディオ連続カウンタ値"２"の次にオーディオ連続カウンタ値"４"となり、差分値γは２となる。そのため、ピクチャタイプ推定装置２００は、１つのオーディオパケットが失われていると判定する。
また、ピクチャタイプ推定装置２００は、このときのビデオフレーム符号量を次のように算出する。まず、ビデオフレーム先頭位置ＶＦｓ１及びＶＦｓ２の間のフレームのパケット数は、１６となる。次に、ビデオフレーム先頭位置ＶＦｓ２及びＶＦｓ４の間のフレームのパケット数は、１２となる。これは、ピクチャタイプ推定装置２００に入力されたビデオパケットが７であるが、ビデオ連続カウンタ値の差分から５パケット分のパケット数をビデオフレーム符号量に加算するためである。さらに、ビデオフレーム先頭位置ＶＦｓ４及びＶＦｓ５の間のフレームのパケット数は、１０となる。
ここで、ビデオフレーム先頭位置ＶＦｓ１及びＶＦｓ２の間のフレームは、Ｉピクチャと推定される。また、既に処理済みのフレームにおけるフレーム平均符号量が９である場合、ビデオフレーム先頭位置ＶＦｓ２及びＶＦｓ４の間のフレームは、直前がＩピクチャにも関わらず、１２が９より大きいとの比較結果であるため、フレーム先頭位置情報を含むビデオパケットが欠落していたと判定され、共にＢピクチャと推定される。
本発明の実施形態は、ＩＰネットワークにより圧縮符号化されたＴＶサービスをリアルタイムに伝送するＩＰマルチキャストを利用したＩＰＴＶ放送サービスに適用することができる。例えば、ＩＰユニキャストを利用したリアルタイムＶｏＤ（Video On Demand）サービスや予め各家庭にＴＶサービスデータをダウンロードして視聴するダウンロードサービスに利用しても良い。
図１０は、本発明の実施の形態２にかかるピクチャタイプ推定装置の実施例である映像コンテンツ品質監視装置の設置場所の例を示す図である。ここでは、サービスプロバイダ５１は、ネットワークプロバイダ５２を介して、エンドユーザ５３へ映像コンテンツ５１１を配信する場合を示す。
サービスプロバイダ５１は、映像コンテンツ５１１をエッジルータ５１２からネットワークプロバイダ５２へ送信する。ここでは、映像コンテンツ５１１は、ＩＰマルチキャストで伝送され、ＭＰＥＧ−２ＴＳに変換されて伝送される。ネットワークプロバイダ５２は、ＩＰコアネットワーク網５２１、エッジルータ５２２、ＩＰアクセスネットワーク網５２３及びエッジルータ５２４を経由して、映像コンテンツ５１１をエンドユーザ５３へ伝送する。エンドユーザ５３は、ホームゲートウェイ５３１及びＳＴＢ（Set Top Box）５３２を経由して、ＴＶ５３３に映像コンテンツ５１１を表示する。
ネットワークプロバイダ５２では、ＩＰコアネットワーク網５２１やＩＰアクセスネットワーク網５２３といわれるネットワークで接続されている為、ネットワークトラフィックの影響や、ネットワーク内での機器の異常により、映像サービスに影響を与えるようなパケットロスが発生する可能性がある。また、ネットワーク内に流れる映像コンテンツは、暗号化されており、映像ストリームの詳細を監視するには、暗号化されたストリームを復号化し、監視する必要がある。さらに、映像コンテンツ内には、エンドユーザがデコードを開始した場合には、途中でパケットロスなどによりエラーが発生しても映像の乱れがないデータがある。そして、符号化されたビデオデータのピクチャタイプにより視覚的に気づかない場合がある。そのため、ネットワークプロバイダ５２において、エッジルータ５２２及び５２４に接続した本発明の実施の形態２にかかる映像コンテンツ品質監視装置５２５及び５２６を設置する。これにより、データエラーの位置によりエンドユーザ５３のＴＶの画面が乱れる前にネットワーク品質劣化の兆候を検出することが可能になる。よって、ネットワークを監視して、サービス品質を向上させることができる。
このように、本発明の実施の形態２により、連続するビデオパケットによって構成されるビデオフレームのピクチャタイプを推定し、映像品質の監視効果を高めることができる。さらに、本発明の実施の形態２では、オーディオパケットの連続性や対象ビデオフレーム内のオーディオパケット数を判定に用いることで、ピクチャタイプの推定の精度を高めることができる。
＜発明の実施の形態３＞
図１２は、本発明の実施の形態３にかかるピクチャタイプ推定装置２０１の構成を示すブロック図である。本発明の実施の形態３にかかるピクチャタイプ推定装置２０１は、ＩＰネットワークによって圧縮符号化された映像データを含むビデオ配信サービスを提供する際、伝送路上においてパケットロスなどの要因による映像品質劣化度を推定するために暗号化された映像データを復号することなくピクチャタイプを推定するものである。本発明の実施の形態３にかかるピクチャタイプ推定装置２０１は、ＩＰＴＶサービスにより、図２に示したようなＩＳＯ／ＩＥＣ１３８１８−１に規定されているＴＳパケットをＩＰパケット化した映像音声ストリームに含まれるＩＰパケットデータｄ１を入力するものとする。但し、本発明の実施の形態３が対象とするビデオパケットは、これに限定されない。
ピクチャタイプ推定装置２０１は、ＩＰパケットヘッダ解析部１、ＴＳパケットヘッダ解析部２、ＴＳパケット分離部３、ＴＳパケットビデオヘッダ解析部４、ビデオフレーム開始点探索部５、ビデオ符号量統計処理部６、ビデオピクチャタイプ仮推定部９、ビデオピクチャタイプ本推定部１０及びＴＳパケットオーディオヘッダ解析部８を備える。
尚、ＩＰパケットヘッダ解析部１、ＴＳパケットヘッダ解析部２、ＴＳパケット分離部３、ＴＳパケットビデオヘッダ解析部４、ビデオフレーム開始点探索部５、ビデオ符号量統計処理部６、及びＴＳパケットオーディオヘッダ解析部８の各々の処理は、本発明の実施の形態２と同様の動作をするものであるため、詳細な説明を省略する。
ビデオピクチャタイプ仮推定部９は、対象ビデオフレームの符号量を第１のフレーム数（ｎ）以上の当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、境界情報を含むビデオパケットが欠落していたか否かを判定し、当該判定結果に応じて、対象ビデオフレームのピクチャタイプを仮推定する。
ビデオピクチャタイプ本推定部１０は、対象ビデオフレームが処理開始から第１のフレーム数（ｎ）より多い第２のフレーム数（Ｌ）以降のものである場合、ピクチャタイプ仮推定部９により仮推定された仮推定結果により、対象ビデオフレームのピクチャタイプを推定する。
尚、ビデオピクチャタイプ仮推定部９は、判定結果が境界情報を含むビデオパケットが欠落していたことを示す場合、対象ビデオフレームの符号量が複数のビデオフレームを含むものとみなして、対象ビデオフレームのピクチャタイプを仮推定するとよい。
また、ビデオピクチャタイプ仮推定部９は、ビデオフレーム開始点情報ｄ６に含まれるビデオフレーム符号量と、ビデオフレーム符号量平均値ｄ７とに基づいて、対象ビデオフレームにフレーム先頭位置情報を含むビデオパケットが欠落しているか否かを判定する。すなわち、ビデオピクチャタイプ仮推定部７は、対象ビデオフレームが元々、２フレーム以上であったか否かを判定する。
また、ビデオピクチャタイプ仮推定部９は、ＴＳパケットオーディオヘッダ解析部８により出力されたオーディオＴＳパケット情報ｄ１０をさらに用いて、対象ビデオフレームにフレーム先頭位置情報を含むビデオパケットが欠落しているか否かを判定してもよい。
そして、ビデオピクチャタイプ仮推定部９は、フレーム先頭位置情報を含むビデオパケットが欠落していたと判定された場合に、前記対象ビデオフレームのフレーム符号量を調整し、当該調整したフレーム符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを仮に推定する。
また、ビデオピクチャタイプ仮推定部９は、ＴＳパケットオーディオヘッダ解析部８により出力されたオーディオＴＳパケット情報ｄ１０をさらに用いて、当該対象ビデオフレームのピクチャタイプを推定してもよい。これにより、ピクチャタイプの推定の精度を上げることができる。
ビデオピクチャタイプ仮推定部９は、ビデオ符号化方式がＨ．２６４の場合においてビデオフレーム符号量がビデオフレーム符号量の平均値の２００％以上となるビデオフレームをＩピクチャと仮推定し、ビデオ符号化方式がＭＰＥＧ−２の場合においてビデオフレーム符号量がビデオフレーム符号量の平均値の１５０％以上となるビデオフレームをＩピクチャと仮推定する。また、ビデオピクチャタイプ仮推定部９は、ビデオ符号化方式がＨ．２６４の場合においてビデオフレーム符号量がビデオフレーム符号量の平均値の８０％未満となるビデオフレームをＢピクチャと仮推定し、ビデオ符号化方式がＭＰＥＧ−２の場合においてビデオフレーム符号量がビデオフレーム符号量の平均値の９０％未満となるビデオフレームをＢピクチャと仮推定する。さらに、ビデオピクチャタイプ仮推定部９は、それ以外のビデオフレームをＰピクチャと仮推定する。そして、ビデオピクチャタイプ仮推定部９は、仮に推定したピクチャタイプであるビデオピクチャタイプ仮推定情報ｄ１１を出力する。
ビデオピクチャタイプ本推定部１０は、仮に推定したビデオピクチャタイプ仮推定情報ｄ１１がＩピクチャである場合、これまで推定したＩピクチャタイプのフレーム間隔の平均値をＮと、前回推定したＩピクチャと今回仮に推定したＩピクチャとのフレーム間隔が一致した場合にはＩピクチャとし、ビデオピクチャタイプｄ８を出力する。
また、ビデオピクチャタイプ本推定部１０は、仮に推定したビデオピクチャタイプ仮推定情報ｄ１１がＰピクチャである場合、これまで推定したＩピクチャタイプのフレーム間隔の平均値Ｎと、前回推定したＩピクチャと今回仮に推定したＰピクチャとのフレーム間隔が一致した場合にはＩピクチャとし、ビデオピクチャタイプｄ８を出力する。また、一致しない場合には、これまで推定したＰピクチャタイプのフレーム間隔の平均値Ｄと、前回推定したＩピクチャ又はＰピクチャと入力されたＰピクチャとのフレーム間隔が一致した場合にはＰピクチャとし、ビデオピクチャタイプｄ８を出力する。
さらに、ビデオピクチャタイプ本推定部１０は、仮に推定したビデオピクチャタイプ仮推定情報ｄ１１がＢピクチャである場合、これまで推定したＰピクチャタイプのフレーム間隔の平均値Ｄと、前回推定したＩピクチャ又はＰピクチャと入力されたＢピクチャとのフレーム間隔が一致した場合にはＰピクチャとし、ビデオピクチャタイプｄ８を出力する。また、それ以外はＢピクチャとし、ビデオピクチャタイプｄ８を出力する。これにより、適切なピクチャタイプの推定をすることができる。
上述したＩＰパケットヘッダ解析部１、ＴＳパケットヘッダ解析部２、ＴＳパケット分離部３、ＴＳパケットビデオヘッダ解析部４、ビデオフレーム開始点探索部５、ビデオ符号量統計処理部６、ビデオピクチャタイプ仮推定部９、ビデオピクチャタイプ本推定部１０及びＴＳパケットオーディオヘッダ解析部８は、ピクチャタイプ推定装置２０１を構成するコンピュータとその上で動作するプログラムとで実現することができる。尚、本発明の実施の形態３にかかるピクチャタイプ推定装置２０１の一実施例のハードウェア構成は、図３と同様であるため、図示および説明を省略する。
図１３は、本発明の実施の形態３にかかるピクチャタイプ推定処理の内、フレームの先頭フラグを含まない場合（図６のＳ１０６でＹＥＳの場合）における詳細な処理の流れを示すフローチャートである。尚、図６のステップＳ１０１からステップＳ１０９までの処理は本発明の実施の形態２と同様であるため説明を省略する。
図１３において、まず、ビデオ符号量統計処理部６は、統計処理開始からｎフレーム以上経過したか否かを判定する（Ｓ１２１）。ｎフレーム以上経過していないと判定された場合には、ビデオ符号量統計処理部６は、ビデオフレームの平均符号量演算処理を行う(Ｓ１２８)。具体的には、ビデオ符号量統計処理部６は、ビデオフレーム符号量αを処理済みのフレームの符号量の総数に加算し、フレーム総数により除算することにより、フレーム平均符号量Ｍを算出する。また、ｎフレームとは６以上の整数であればよいが、あまり大きな値をとるとその分ピクチャタイプ推定結果出力に遅延が生じることになる。
ステップＳ１２１において、ｎフレーム以上経過していると判定された場合には、ビデオピクチャタイプ仮推定部９は、パケットロス有無の判断処理を行う(Ｓ１１１)。具体的には、ビデオピクチャタイプ仮推定部９は、処理フレームに属するビデオＴＳパケットについて差分値βが１よりも大きいものがある場合に、パケットロス有と判定する。
ステップＳ１１１において、パケットロス無と判定された場合、ビデオピクチャタイプ仮推定部９は、ビデオフレーム符号量αとフレーム平均符号量Ｍの比較処理を行う(Ｓ１１２)。そして、ビデオピクチャタイプ仮推定部９は、比較結果に応じて、当該対象ビデオフレームのピクチャタイプを仮推定する(Ｓ１２２)。ここで、ピクチャタイプを仮推定するための判断基準について例示する。まず、ビデオピクチャタイプ仮推定部９は、ビデオ符号化方式により判定基準を変更できるものとする。そして、例えば、ビデオ符号化方式がＨ．２６４符号化方式である場合において、ビデオピクチャタイプ仮推定部９は、ビデオフレーム符号量αがフレーム平均符号量Ｍを２倍した値より大きいとの比較結果である場合、Ｉピクチャと仮推定する。また、ビデオピクチャタイプ仮推定部９は、ビデオフレーム符号量αがビデオフレーム平均符号量Ｍを０．８倍した値より小さいとの比較結果であるの場合、Ｂピクチャと仮推定する。また、いずれにもあてはまらない場合にＰピクチャと仮推定する。また、ビデオ符号化方式がＭＰＥＧ−２符号化方式である場合において、ビデオピクチャタイプ仮推定部９は、ビデオフレーム符号量αがフレーム平均符号量Ｍを１．５倍した値より大きいとの比較結果である場合、Ｉピクチャと仮推定する。また、ビデオピクチャタイプ仮推定部９は、ビデオフレーム符号量αがビデオフレーム平均符号量Ｍを０．９倍した値より小さいとの比較結果である場合、Ｂピクチャと仮推定する。また、いずれにもあてはまらない場合にＰピクチャと仮推定する。
また、ステップＳ１１１において、パケットロス有と判定された場合、ビデオピクチャタイプ仮推定部９は、ビデオフレーム符号量αとフレーム平均符号量Ｍの比較処理を行う(Ｓ１２３)。そして、ビデオピクチャタイプ仮推定部９は、比較結果に応じて、当該対象ビデオフレームのフレーム先頭位置情報を含むビデオパケットが欠落していたかどうか判定する。
そして、ビデオピクチャタイプ仮推定部９は、オーディオパケットに連続性があるか否かを判定する(Ｓ１１７)。具体的には、ビデオピクチャタイプ仮推定部９は、差分値γが１より大きい場合、連続性がないと判定する。ステップＳ１１７において、オーディオパケットに連続性があると判定された場合、ビデオピクチャタイプ仮推定部９は、比較結果と、過去フレームのピクチャタイプの出現順序とからピクチャタイプを仮推定する(Ｓ１２４)。また、ステップＳ１１７において、オーディオパケットに連続性がないと判定された場合、ビデオピクチャタイプ仮推定部９は、比較結果と、過去フレームのピクチャタイプの出現順序とＩピクチャの周期情報とからピクチャタイプを仮推定する(Ｓ１２５)。
ステップＳ１２４において、ビデオピクチャタイプ仮推定部９は、ビデオフレーム符号量αとビデオフレーム平均符号量Ｍとを比較し、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性について判定する。ここで、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性の判断基準について例示する。例えば、ビデオ符号化方式がＨ．２６４の場合において、ビデオフレーム符号量αがフレーム平均符号量Ｍを２倍した値より大きいとの比較結果である場合、ビデオピクチャタイプ仮推定部９は、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性が高いと判定する。このとき、これまで推定したＩピクチャタイプのフレーム間隔の平均値がＮであり、前回推定したＩピクチャと現在のフレームとの差分がＮの場合には、ビデオピクチャタイプ仮推定部９は、当該フレーム番号のピクチャタイプをＩピクチャと仮推定し、当該フレーム番号に１を加えたフレーム番号をＢピクチャと仮推定する。また、前回推定したＩピクチャと現在のフレームとの差分がＮ−１の場合には、ビデオピクチャタイプ仮推定部９は、当該フレーム番号のピクチャタイプをＢピクチャと仮推定し、当該フレーム番号に１を加えたフレーム番号のピクチャタイプをＩピクチャと仮推定する。さらに、前回推定したＩピクチャと現在のフレームとの差分がＮまたはＮ−１でない場合には、ビデオピクチャタイプ仮推定部９は、当該フレーム番号およびフレーム番号に１を加えたフレーム番号を、それぞれＰピクチャと仮推定する。
次に、ビデオ符号化方式がＭＰＥＧ−２の場合において、ビデオフレーム符号量αがフレーム平均符号量Ｍを１．５倍した値より大きいとの比較結果である場合には、これまで推定したＩピクチャタイプのフレーム間隔の平均値であるＮであり、前回推定したＩピクチャと現在のフレームとの差分がＮの場合には、ビデオピクチャタイプ仮推定部９は、フレーム先頭位置情報を含むビデオパケットが欠落していないと判定し、当該フレームのピクチャタイプをＩピクチャと仮推定する。それ以外の場合には、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性が高いと判定する。このとき、これまで推定したＰピクチャタイプのフレーム間隔の平均値がＬであり、前回推定したＩピクチャ又はＰピクチャと現在のフレームとの差分がＺの場合には、ビデオピクチャタイプ仮推定部９は、当該フレーム番号のピクチャタイプをＰピクチャと仮推定する。このとき、Ｚが１である場合には当該フレーム番号に１を加えたフレーム番号のピクチャタイプをＰピクチャと仮推定する。また、Ｚが１より大きい場合には当該フレーム番号に１を加えたフレーム番号のピクチャタイプをＢピクチャと仮推定する。
次に、ビデオフレーム符号量αがフレーム平均符号量Ｍを０．９倍した値より大きいとの比較結果である場合には、これまで推定したＰピクチャタイプのフレーム間隔の平均値がＺであり、前回推定したＩピクチャ又はＰピクチャと現在のフレームとの差分がＺの場合には、ビデオピクチャタイプ仮推定部９は、フレーム先頭位置情報を含むビデオパケットが欠落していないと判定し、当該フレームのピクチャタイプをＰピクチャと仮推定する。それ以外の場合には、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性が高いと判定する。このとき、これまで推定したＰピクチャタイプのフレーム間隔の平均値がＺであり、前回推定したＩピクチャ又はＰピクチャと現在のフレームとの差分がＺの場合には、ビデオピクチャタイプ仮推定部９は、当該フレーム番号のピクチャタイプをＰピクチャと仮推定する。このとき、Ｚが１である場合には当該フレーム番号に１を加えたフレーム番号のピクチャタイプをＰピクチャと仮推定する。また、Ｚが１より大きい場合には当該フレーム番号に１を加えたフレーム番号のピクチャタイプをＢピクチャと仮推定する。
そして、ビデオフレーム符号量αがフレーム平均符号量Ｍを０．９倍した値より小さいとの比較結果である場合には、ビデオピクチャタイプ仮推定部９は、フレーム先頭位置情報を含むビデオパケットが欠落していない可能性が高いと判定し、当該フレーム番号のピクチャタイプをＢピクチャと仮推定する。
ステップＳ１２５において、ビデオピクチャタイプ仮推定部９は、ビデオフレーム符号量αとビデオフレーム平均符号量Ｍとを比較し、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性について判定する。ここで、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性の判断基準について例示する。例えば、ビデオ符号化方式がＨ．２６４の場合において、ビデオフレーム符号量αがフレーム平均符号量Ｍを２倍した値より大きいとの比較結果である場合、ビデオピクチャタイプ仮推定部９は、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性が高いと判定する。このとき、これまで推定したＩピクチャタイプのフレーム間隔の平均値がＮであり、前回推定したＩピクチャと現在のフレームとの差分がＮの場合には、ビデオピクチャタイプ仮推定部９は、当該フレーム番号のピクチャタイプをＩピクチャと仮推定し、当該フレーム番号に１を加えたフレーム番号をＢピクチャと仮推定する。また、前回推定したＩピクチャと現在のフレームとの差分がＮ−１の場合には、ビデオピクチャタイプ仮推定部９は、当該フレーム番号のピクチャタイプをＢピクチャと仮推定し、当該フレーム番号に１を加えたフレーム番号のピクチャタイプをＩピクチャと仮推定する。さらに、前回推定したＩピクチャと現在のフレームとの差分がＮまたはＮ−１でない場合には、ビデオピクチャタイプ仮推定部９は、当該フレーム番号およびフレーム番号に１を加えたフレーム番号を、それぞれＰピクチャと仮推定する。
次に、ビデオ符号化方式がＭＰＥＧ−２の場合において、ビデオフレーム符号量αがフレーム平均符号量Ｍを１．５倍した値より大きいとの比較結果である場合には、これまで推定したＩピクチャタイプのフレーム間隔の平均値であるＮであり、前回推定したＩピクチャと現在のフレームとの差分がＮの場合には、ビデオピクチャタイプ仮推定部９は、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性が低いと判定し、当該フレームのピクチャタイプをＩピクチャと仮推定する。それ以外の場合には、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性が高いと判定する。このとき、これまで推定したＰピクチャタイプのフレーム間隔の平均値がＺであり、前回推定したＩピクチャ又はＰピクチャと現在のフレームとの差分がＺの場合には、ビデオピクチャタイプ仮推定部９は、当該フレーム番号のピクチャタイプをＰピクチャと仮推定する。このとき、Ｚが１である場合には当該フレーム番号に１を加えたフレーム番号のピクチャタイプをＰピクチャと仮推定する。また、Ｚが１より大きい場合には当該フレーム番号に１を加えたフレーム番号のピクチャタイプをＢピクチャと仮推定する。
次に、ビデオフレーム符号量αがフレーム平均符号量Ｍを０．９倍した値より大きいとの比較結果である場合には、これまで推定したＰピクチャタイプのフレーム間隔の平均値がＺであり、前回推定したＩピクチャ又はＰピクチャと現在のフレームとの差分がＺの場合には、ビデオピクチャタイプ仮推定部９は、フレーム先頭位置情報を含むビデオパケットが欠落した可能性が低いと判定し、当該フレームのピクチャタイプをＰピクチャと仮推定する。それ以外の場合には、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性が高いと判定する。このとき、これまで推定したＰピクチャタイプのフレーム間隔の平均値がＺであり、前回推定したＩピクチャ又はＰピクチャと現在のフレームとの差分がＺの場合には、ビデオピクチャタイプ仮推定部９は、当該フレーム番号のピクチャタイプをＰピクチャと仮推定する。このとき、Ｚが１である場合には当該フレーム番号に１を加えたフレーム番号のピクチャタイプをＰピクチャと仮推定する。また、Ｚが１より大きい場合には当該フレーム番号に１を加えたフレーム番号のピクチャタイプをＢピクチャと仮推定する。
そして、ビデオフレーム符号量αがフレーム平均符号量Ｍを０．９倍した値より小さいとの比較結果である場合には、これまで推定したＰピクチャタイプのフレーム間隔の平均値がＬであり、Ｚが２より大きい場合で、前回推定したＩピクチャ又はＰピクチャと現在のフレームとの差分がＺ−２の場合には、ビデオピクチャタイプ仮推定部９は、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性が高いと判定し、当該フレーム番号のピクチャタイプ及び当該フレーム番号に１を加えたフレーム番号のピクチャタイプをＢピクチャと仮推定する。それ以外はフレーム先頭位置情報を含むビデオパケットが欠落していた可能性が低いと判定し、当該フレーム番号をＰピクチャと仮推定する。
次に、ビデオピクチャタイプ本推定部１０は、処理開始からＬフレーム以上経過したか否かを判定する（Ｓ１２６）。処理開始からＬフレーム以上経過したと判定された場合には、ビデオピクチャタイプ本推定部１０は、ステップＳ１２２、Ｓ１２４またはＳ１２５で仮推定されたピクチャタイプの出現順序からビデオピクチャタイプを推定する（Ｓ１２７）。処理開始後、Ｌフレーム経過までのフレームの中で最大符号量のピクチャタイプがＩピクチャと仮推定されている場合には、当該のフレームをＩピクチャとし、そのフレームを基準にピクチャタイプを推定していく。Ｉピクチャと判定したフレーム番号がＬ／２以下の場合にはフレーム数がＬ／２まで推定を継続する。
また、ステップＳ１２６においてＬフレーム以上経過していないと判定された場合又はステップＳ１２７の後には、ビデオピクチャタイプ本推定部１０は、ビデオフレームの平均符号量演算処理を行う(Ｓ１２８)。具体的には、ビデオ符号量統計処理部６は、ビデオフレーム符号量αを処理済みのフレームの符号量の総数に加算し、フレーム総数により除算することにより、フレーム平均符号量Ｍを算出する。但し、ステップＳ１２４またはＳ１２５のステップを通り、フレーム先頭位置情報を含むビデオパケットが欠落していた可能性が高いと判定された場合は、フレームの符号量の総数をフレーム総数に１を加えた値で乗算することにより、フレーム平均符号量Ｍを算出する。Ｌは、ビデオ符号量統計処理部６で統計処理開始を遅延させたｎより大きな値で、ビデオ符号化方式がＨ．２６４の場合には一般的なＧＯＰ間隔である３０以上、ＭＰＥＧ−２の場合には１５以上であるとよい。
その後、図６に戻り、ビデオピクチャタイプ推定部７は、ビデオフレーム符号量の初期化処理を行う(Ｓ１１４)。具体的には、ビデオピクチャタイプ推定部７は、ビデオフレーム符号量αに１８４を設定する。
以上の処理によって、ＭＰＥＧ−２ＴＳヘッダからビデオフレームのピクチャタイプを推定することができる。
尚、ステップＳ１１７において、オーディオパケットに連続性があると判定された場合、ビデオピクチャタイプ仮推定部９は、対象ビデオフレームにオーディオパケットが複数含まれるか否かを判定するとよい。そして、対象ビデオフレームにオーディオパケットが複数含まれる場合に、対象ビデオフレームのフレーク符号量を調整し、当該調整したフレーム符合量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを推定するとよい。
ここで、上述した判定条件と推定方法をまとめたものを図１４に示す。まず、オーディオパケットの連続性がない場合、ピクチャタイプ仮推定部９は、ステップＳ１２５の処理を行う。また、オーディオパケットの連続性があり、対象ビデオフレームにオーディオパケットが複数ない場合、ピクチャタイプ推定部７は、ステップＳ１２４の処理を行う。そして、オーディオパケットの連続性があり、対象ビデオフレームにオーディオパケットが複数あり、ビデオフレーム符号量αがフレーム平均符号量Ｍを２倍した値より大きいとの比較結果である場合、ＩピクチャまたはＰピクチャの可能性が高くなるようにして、ピクチャタイプ本推定部１０で、ステップＳ１２７の処理を行う。
オーディオデータは、固定長で符号化されているため、ＴＳパケットに挿入されるタイミングがフレーム単位でほぼ一定である。一方、ビデオパケットは、フレーム単位の符号量が大きく異なる。そのため、フレーム内にオーディオパケットが含まれる割合が多い場合（フレーム内に複数のオーディオパケットが含まれる場合）には、そのピクチャに割り当てられている符号量が多いことを示す。よってＩピクチャもしくはＰピクチャである可能性が高くなる。
尚、ＴＳパケットビデオヘッダ解析部４は、ビデオＴＳパケット情報ｄ５に、優先度情報であるｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙを含めて抽出してもよい。その場合、ステップＳ１１１の処理の前に、対象ビデオフレームのピクチャタイプがＩピクチャであると推定できる。その理由は、ストリームによっては、優先度情報であるｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙによりＩピクチャを示す場合があるからである。これにより、容易かつ確実にＩピクチャの推定ができ、精度を向上することができる。
本発明は、ＩＰＴＶサービス品質を監視するために、ネットワークのトラフィック等の原因によりパケットロスが発生した場合に、映像ストリームの暗号化を解くことなく映像品質の推定評価を行うことでネットワーク中のサービス品質を推定する用途に適用できる。
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態で説明したコンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。また、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＢＤ(Blu-ray(登録商標) Disc)、ＲＯＭ（Read Only Memory）カートリッジ、バッテリバックアップ付きＲＡＭ（Random Access Memory）メモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等が含まれる。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれる。
この出願は、２００９年２月２日に出願された日本出願特願２００９−０２１５０４と、２００９年７月１７日に出願された日本出願特願２００９−１６８５３８とを基礎とする優先権を主張し、その開示の全てをここに取り込む。
１００ ピクチャタイプ推定装置
１０１ フレーム符号量算出部
１０２ 境界情報欠落判定部
１０３ ピクチャタイプ推定部
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１４ 通信部
１５ ハードディスク
１５１ ＯＳ
１５２ ピクチャタイプ推定プログラム
５１ サービスプロバイダ
５１１ コンテンツデータ
５１２ エッジルータ
５２ ネットワークプロバイダ
５２１ ＩＰコアネットワーク網
５２２ エッジルータ
５２３ ＩＰアクセスネットワーク網
５２４ エッジルータ
５２５ 映像コンテンツ品質監視装置
５２６ 映像コンテンツ品質監視装置
５３ エンドユーザ
５３１ ホームゲートウェイ
５３２ ＳＴＢ
５３３ ＴＶ
２００ ピクチャタイプ推定装置
２０１ ピクチャタイプ推定装置
１ ＩＰパケットヘッダ解析部
２ ＴＳパケットヘッダ解析部
３ ＴＳパケット分離部
４ ＴＳパケットビデオヘッダ解析部
５ ビデオフレーム開始点探索部
６ ビデオ符号量統計処理部
７ ビデオピクチャタイプ推定部
８ ＴＳパケットオーディオヘッダ解析部
９ ビデオピクチャタイプ仮推定部
１０ ビデオピクチャタイプ本推定部
ｄ１ ＩＰパケットデータ
ｄ２ ＴＳパケットデータ
ｄ３ ＰＩＤデータ
ｄ４ ビデオＴＳパケットデータ
ｄ５ ビデオＴＳパケット情報
ｄ６ ビデオフレーム開始点情報
ｄ７ ビデオフレーム符号量平均値
ｄ８ ビデオピクチャタイプ
ｄ９ オーディオＴＳパケットデータ
ｄ１０ オーディオＴＳパケット情報
ｄ１１ ビデオピクチャタイプ仮推定情報
ＶＦｓ１ 境界情報
ＶＦｓ２ 境界情報
ＶＦｓ３ 境界情報
ＶＦｓ４ 境界情報
ＶＦｓ５ 境界情報
ＶＦｓ６ 境界情報
９１ ＬｏｃａｌＣｏｎｔｅｎｔＡｃｑｕｉｓｉｔｉｏｎ
９２ サービスプロバイダ
９３ コンテンツプロバイダ
９４ サービスプロバイダ
９５ ネットワークプロバイダ
９６ エンドユーザ
ＰＴ１、ＰＴ２、ＰＴ３、ＰＴ４、ＰＴ５ 品質監視ポイント
α ビデオフレーム符号量
α' ビデオフレーム符号量
β 差分値
γ 差分値
Ｍ フレーム平均符号量

Claims (50)

  1. 連続して入力される複数のビデオパケットに含まれるフレーム境界情報の検出結果に基づいて、前記フレーム境界情報によって規定される対象ビデオフレームの符号量を算出するフレーム符号量算出手段と、
    前記対象ビデオフレームの符号量を当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定する境界情報欠落判定手段と、
    前記境界情報欠落判定手段の判定結果に応じて、前記対象ビデオフレームのピクチャタイプを推定するピクチャタイプ推定手段と、
    を備えるピクチャタイプ推定装置。
  2. 前記ピクチャタイプ推定手段は、前記判定結果が前記境界情報を含むビデオパケットが欠落していたことを示す場合、前記対象ビデオフレームの符号量が複数のビデオフレームを含むものとみなして、前記対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項１に記載のピクチャタイプ推定装置。
  3. 前記ピクチャタイプ推定手段は、前記判定結果が前記境界情報を含むビデオパケットが欠落していたことを示す場合、修正された前記対象ビデオフレームの符号量に基づいて、前記対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項１又は２に記載のピクチャタイプ推定装置。
  4. 前記ピクチャタイプ推定手段は、前記判定結果が前記境界情報を含むビデオパケットが欠落していたことを示す場合、前記対象ビデオフレームの符号量を修正し、当該修正した符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項１乃至３のいずれか１項に記載のピクチャタイプ推定装置。
  5. 前記境界情報欠落判定手段は、前記対象ビデオフレームの符号量を前記対象ビデオフレーム以前のフレームにおける符号量の平均値である平均符号量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定する、ことを特徴とする請求項１乃至４のいずれか１項に記載のピクチャタイプ推定装置。
  6. 前記フレーム符号量算出手段は、入力される複数のビデオパケット内でのパケット欠落の検出結果にさらに基づいて、前記対象ビデオフレームの符号量を算出する、ことを特徴とする請求項１乃至５のいずれか１項に記載のピクチャタイプ推定装置。
  7. 前記フレーム符号量算出手段は、前記検出結果がパケット欠落を示す場合、欠落したパケット数分の符号量を加算して前記対象ビデオフレームの符号量を算出する、ことを特徴とする請求項６に記載のピクチャタイプ推定装置。
  8. 前記ピクチャタイプ推定手段は、当該ピクチャタイプ推定装置に入力されるオーディオデータを含むオーディオパケットをさらに用いて、前記対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項１乃至７のいずれか１項に記載のピクチャタイプ推定装置。
  9. 前記ピクチャタイプ推定手段は、前記入力されるオーディオパケットに連続性がない場合、前記対象ビデオフレームの符号量を修正し、当該修正した符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項８に記載のピクチャタイプ推定装置。
  10. 前記ピクチャタイプ推定手段は、前記入力されるオーディオパケットに連続性があり、前記対象ビデオフレームにオーディオパケットが複数含まれる場合に、前記対象ビデオフレームの符号量を修正し、当該修正した符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項８又は９に記載のピクチャタイプ推定装置。
  11. 前記ピクチャタイプ推定手段は、前記対象ビデオフレームの符号量が、前記対象ビデオフレームの符号量を前記対象ビデオフレーム以前のフレームにおける符号量の平均値である平均符号量の１５０％以上である場合に、当該対象ビデオフレームのピクチャタイプをＩピクチャであると推定する、ことを特徴とする請求項１乃至１０のいずれか１項に記載のピクチャタイプ推定装置。
  12. 前記ピクチャタイプ推定手段は、前記対象ビデオフレームの符号量が、前記平均符号量の１５０％未満かつ９０％以上である場合に、当該対象ビデオフレームのピクチャタイプをＰピクチャであると推定する、ことを特徴とする請求項１１に記載のピクチャタイプ推定装置。
  13. 前記ピクチャタイプ推定手段は、前記ビデオパケットのヘッダ情報に含まれる優先度情報に基づいて、当該対象ビデオフレームのピクチャタイプをＩピクチャであると推定する、ことを特徴とする請求項１乃至１２のいずれか１項に記載のピクチャタイプ推定装置。
  14. 連続して入力される複数のビデオパケットに含まれるフレーム境界情報の検出結果に基づいて、前記フレーム境界情報によって規定される対象ビデオフレームの符号量を算出するフレーム符号量算出ステップと、
    前記対象ビデオフレームの符号量を当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定する境界情報欠落判定ステップと、
    前記境界情報欠落判定ステップの判定結果に応じて、前記対象ビデオフレームのピクチャタイプを推定するピクチャタイプ推定ステップと、
    を備えるピクチャタイプ推定方法。
  15. 前記ピクチャタイプ推定ステップは、前記判定結果が前記境界情報を含むビデオパケットが欠落していたことを示す場合、前記対象ビデオフレームの符号量が複数のビデオフレームを含むものとみなして、前記対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項１４に記載のピクチャタイプ推定方法。
  16. 前記ピクチャタイプ推定ステップは、前記判定結果が前記境界情報を含むビデオパケットが欠落していたことを示す場合、修正された前記対象ビデオフレームの符号量に基づいて、前記対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項１４又は１５に記載のピクチャタイプ推定方法。
  17. 前記ピクチャタイプ推定ステップは、前記判定結果が前記境界情報を含むビデオパケットが欠落していたことを示す場合、前記対象ビデオフレームの符号量を修正し、当該修正した符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項１４乃至１６のいずれか１項に記載のピクチャタイプ推定方法。
  18. 前記境界情報欠落判定ステップは、前記対象ビデオフレームの符号量を前記対象ビデオフレーム以前のフレームにおける符号量の平均値である平均符号量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定する、ことを特徴とする請求項１４乃至１７のいずれか１項に記載のピクチャタイプ推定方法。
  19. 前記フレーム符号量算出ステップは、入力される複数のビデオパケット内でのパケット欠落の検出結果にさらに基づいて、前記対象ビデオフレームの符号量を算出する、ことを特徴とする請求項１４乃至１８のいずれか１項に記載のピクチャタイプ推定方法。
  20. 前記フレーム符号量算出ステップは、前記検出結果がパケット欠落を示す場合、欠落したパケット数分の符号量を加算して前記対象ビデオフレームの符号量を算出する、ことを特徴とする請求項１９に記載のピクチャタイプ推定方法。
  21. 前記ピクチャタイプ推定ステップは、当該ピクチャタイプ推定方法に入力されるオーディオデータを含むオーディオパケットをさらに用いて、前記対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項１４乃至２０のいずれか１項に記載のピクチャタイプ推定方法。
  22. 前記ピクチャタイプ推定ステップは、前記入力されるオーディオパケットに連続性がない場合、前記対象ビデオフレームの符号量を修正し、当該修正した符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項２１に記載のピクチャタイプ推定方法。
  23. 前記ピクチャタイプ推定ステップは、前記入力されるオーディオパケットに連続性があり、前記対象ビデオフレームにオーディオパケットが複数含まれる場合に、前記対象ビデオフレームの符号量を修正し、当該修正した符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項２１又は２２に記載のピクチャタイプ推定方法。
  24. 連続して入力される複数のビデオパケットに含まれるフレーム境界情報の検出結果に基づいて、前記フレーム境界情報によって規定される対象ビデオフレームの符号量を算出するフレーム符号量算出処理と、
    前記対象ビデオフレームの符号量を当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定する境界情報欠落判定処理と、
    前記境界情報欠落判定処理の判定結果に応じて、前記対象ビデオフレームのピクチャタイプを推定するピクチャタイプ推定処理と、
    をコンピュータに実行させるピクチャタイプ推定プログラム。
  25. 前記ピクチャタイプ推定処理は、前記判定結果が前記境界情報を含むビデオパケットが欠落していたことを示す場合、前記対象ビデオフレームの符号量が複数のビデオフレームを含むものとみなして、前記対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項２４に記載のピクチャタイプ推定プログラム。
  26. 前記ピクチャタイプ推定処理は、前記判定結果が前記境界情報を含むビデオパケットが欠落していたことを示す場合、修正された前記対象ビデオフレームの符号量に基づいて、前記対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項２４又は２５に記載のピクチャタイプ推定プログラム。
  27. 前記ピクチャタイプ推定処理は、前記判定結果が前記境界情報を含むビデオパケットが欠落していたことを示す場合、前記対象ビデオフレームの符号量を修正し、当該修正した符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項２４乃至２６のいずれか１項に記載のピクチャタイプ推定プログラム。
  28. 前記境界情報欠落判定処理は、前記対象ビデオフレームの符号量を前記対象ビデオフレーム以前のフレームにおける符号量の平均値である平均符号量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定する、ことを特徴とする請求項２４乃至２７のいずれか１項に記載のピクチャタイプ推定プログラム。
  29. 前記フレーム符号量算出処理は、入力される複数のビデオパケット内でのパケット欠落の検出結果にさらに基づいて、前記対象ビデオフレームの符号量を算出する、ことを特徴とする請求項２４乃至２８のいずれか１項に記載のピクチャタイプ推定プログラム。
  30. 前記フレーム符号量算出処理は、前記検出結果がパケット欠落を示す場合、欠落したパケット数分の符号量を加算して前記対象ビデオフレームの符号量を算出する、ことを特徴とする請求項２９に記載のピクチャタイプ推定プログラム。
  31. 前記ピクチャタイプ推定処理は、当該ピクチャタイプ推定方法に入力されるオーディオデータを含むオーディオパケットをさらに用いて、前記対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項２４乃至３０のいずれか１項に記載のピクチャタイプ推定プログラム。
  32. 前記ピクチャタイプ推定処理は、前記入力されるオーディオパケットに連続性がない場合、前記対象ビデオフレームの符号量を修正し、当該修正した符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを推定する、ことを特徴とする請求項３１に記載のピクチャタイプ推定プログラム。
  33. 前記ピクチャタイプ推定処理は、前記入力されるオーディオパケットに連続性があり、前記対象ビデオフレームにオーディオパケットが複数含まれる場合に、前記対象ビデオフレームの符号量を修正し、当該修正した符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを推定する、
    ことを特徴とする請求項３１又は３２に記載のピクチャタイプ推定プログラム。
  34. 連続して入力される複数のビデオパケットに含まれるフレーム境界情報の検出結果に基づいて、前記フレーム境界情報によって規定される対象ビデオフレームの符号量を算出するフレーム符号量算出手段と、
    前記対象ビデオフレームの符号量を第１のフレーム数以上の当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定し、当該判定結果に応じて、前記対象ビデオフレームのピクチャタイプを仮推定するピクチャタイプ仮推定手段と、
    前記対象ビデオフレームが処理開始から前記第１のフレーム数より多い第２のフレーム数以降のものである場合、前記ピクチャタイプ仮推定手段により仮推定された仮推定結果により、前記対象ビデオフレームのピクチャタイプを推定するピクチャタイプ本推定手段と、
    を備えるピクチャタイプ推定装置。
  35. 前記ピクチャタイプ仮推定手段は、前記判定結果が前記境界情報を含むビデオパケットが欠落していたことを示す場合、前記対象ビデオフレームの符号量が複数のビデオフレームを含むものとみなして、前記対象ビデオフレームのピクチャタイプを仮推定する、ことを特徴とする請求項３４に記載のピクチャタイプ推定装置。
  36. 前記ピクチャタイプ仮推定手段は、前記第１のフレーム数を６フレーム以上の整数とする、ことを特徴とする請求項３４又は３５に記載のピクチャタイプ推定装置。
  37. 前記ピクチャタイプ本推定手段は、前記第２のフレーム数を１５フレーム以上の整数とする、ことを特徴とする請求項３４乃至３６のいずれか１項に記載のピクチャタイプ推定装置。
  38. 前記ピクチャタイプ仮推定手段は、前記対象ビデオフレームの符号量を前記対象ビデオフレーム以前のフレームにおける符号量の平均値である平均符号量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定する、ことを特徴とする請求項３４乃至３７のいずれか１項に記載のピクチャタイプ推定装置。
  39. 前記フレーム符号量算出手段は、入力される複数のビデオパケット内でのパケット欠落の検出結果にさらに基づいて、前記対象ビデオフレームの符号量を算出する、ことを特徴とする請求項３４乃至３８のいずれか１項に記載のピクチャタイプ推定装置。
  40. 前記フレーム符号量算出手段は、前記検出結果がパケット欠落を示す場合、欠落したパケット数分の符号量を加算して前記対象ビデオフレームの符号量を算出する、ことを特徴とする請求項３９に記載のピクチャタイプ推定装置。
  41. 前記ピクチャタイプ仮推定手段は、当該ピクチャタイプ推定装置に入力されるオーディオデータを含むオーディオパケットをさらに用いて、前記対象ビデオフレームのピクチャタイプを仮推定する、ことを特徴とする請求項３４乃至４０のいずれか１項に記載のピクチャタイプ推定装置。
  42. 前記ピクチャタイプ仮推定手段は、前記入力されるオーディオパケットに連続性がない場合、前記対象ビデオフレームの符号量を修正し、当該修正した符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを仮推定する、ことを特徴とする請求項４１に記載のピクチャタイプ推定装置。
  43. 前記ピクチャタイプ仮推定手段は、前記入力されるオーディオパケットに連続性があり、前記対象ビデオフレームにオーディオパケットが複数含まれる場合に、前記対象ビデオフレームの符号量を修正し、当該修正した符号量と過去の連続するフレーム間のピクチャタイプの出現順序とから当該対象ビデオフレームのピクチャタイプを仮推定する、ことを特徴とする請求項４２に記載のピクチャタイプ推定装置。
  44. 前記ピクチャタイプ仮推定手段は、前記対象ビデオ符号化方式がＭＰＥＧ−２方式である場合、前記対象ビデオフレームの符号量が、前記対象ビデオフレームの符号量を前記対象ビデオフレーム以前のフレームにおける符号量の平均値である平均符号量の１５０％以上である場合に、当該対象ビデオフレームのピクチャタイプをＩピクチャであると推定する、ことを特徴とする請求項３４乃至４３のいずれか１項に記載のピクチャタイプ推定装置。
  45. 前記ピクチャタイプ仮推定手段は、前記対象ビデオ符号化方式がＨ．２６４方式である場合、前記対象ビデオフレームの符号量が、前記対象ビデオフレームの符号量を前記対象ビデオフレーム以前のフレームにおける符号量の平均値である平均符号量の２００％以上である場合に、当該対象ビデオフレームのピクチャタイプをＩピクチャであると推定する、ことを特徴とする請求項３４乃至４３のいずれか１項に記載のピクチャタイプ推定装置。
  46. 前記ピクチャタイプ仮推定手段は、前記対象ビデオ符号化方式がＭＰＥＧ−２方式である場合、前記対象ビデオフレームの符号量が、前記平均符号量の９０％未満である場合に、当該対象ビデオフレームのピクチャタイプをＢピクチャであると推定する、ことを特徴とする請求項４４に記載のピクチャタイプ推定装置。
  47. 前記ピクチャタイプ仮推定手段は、前記対象ビデオ符号化方式がＨ．２６４方式である場合、前記対象ビデオフレームの符号量が、前記平均符号量の８０％未満である場合に、当該対象ビデオフレームのピクチャタイプをＢピクチャであると推定する、ことを特徴とする請求項４５に記載のピクチャタイプ推定装置。
  48. 前記ピクチャタイプ仮推定手段は、前記ビデオパケットのヘッダ情報に含まれる優先度情報に基づいて、当該対象ビデオフレームのピクチャタイプをＩピクチャであると推定する、ことを特徴とする請求項３４乃至４７のいずれか１項に記載のピクチャタイプ推定装置。
  49. 連続して入力される複数のビデオパケットに含まれるフレーム境界情報の検出結果に基づいて、前記フレーム境界情報によって規定される対象ビデオフレームの符号量を算出するフレーム符号量算出ステップと、
    前記対象ビデオフレームの符号量を第１のフレーム数以上の当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定し、当該判定結果に応じて、前記対象ビデオフレームのピクチャタイプを仮推定するピクチャタイプ仮推定ステップと、
    前記対象ビデオフレームが処理開始から前記第１のフレーム数より多い第２のフレーム数以降のものである場合、前記ピクチャタイプ仮推定ステップにより仮推定された仮推定結果により、前記対象ビデオフレームのピクチャタイプを推定するピクチャタイプ本推定ステップと、
    を備えるピクチャタイプ推定方法。
  50. 連続して入力される複数のビデオパケットに含まれるフレーム境界情報の検出結果に基づいて、前記フレーム境界情報によって規定される対象ビデオフレームの符号量を算出するフレーム符号量算出処理と、
    前記対象ビデオフレームの符号量を第１のフレーム数以上の当該対象ビデオフレーム以外のビデオフレームの符号量に関する統計量と比較することにより、前記境界情報を含むビデオパケットが欠落していたか否かを判定し、当該判定結果に応じて、前記対象ビデオフレームのピクチャタイプを仮推定するピクチャタイプ仮推定処理と、
    前記対象ビデオフレームが処理開始から前記第１のフレーム数より多い第２のフレーム数以降のものである場合、前記ピクチャタイプ仮推定処理により仮推定された仮推定結果により、前記対象ビデオフレームのピクチャタイプを推定するピクチャタイプ本推定処理と、
    をコンピュータに実行させるピクチャタイプ推定プログラム。
JP2010548400A 2009-02-02 2010-01-20 ピクチャタイプ推定装置、方法、及びプログラム Active JP5472120B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010548400A JP5472120B2 (ja) 2009-02-02 2010-01-20 ピクチャタイプ推定装置、方法、及びプログラム

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2009021504 2009-02-02
JP2009021504 2009-02-02
JP2009168538 2009-07-17
JP2009168538 2009-07-17
PCT/JP2010/000303 WO2010087129A1 (ja) 2009-02-02 2010-01-20 ピクチャタイプ推定装置、方法、及びプログラムが格納された記憶媒体
JP2010548400A JP5472120B2 (ja) 2009-02-02 2010-01-20 ピクチャタイプ推定装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2010087129A1 JPWO2010087129A1 (ja) 2012-08-02
JP5472120B2 true JP5472120B2 (ja) 2014-04-16

Family

ID=42395395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010548400A Active JP5472120B2 (ja) 2009-02-02 2010-01-20 ピクチャタイプ推定装置、方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP5472120B2 (ja)
WO (1) WO2010087129A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011114444A (ja) * 2009-11-25 2011-06-09 Fujitsu Ltd 情報処理装置，情報生成方法，およびプログラム
JP5394991B2 (ja) * 2010-06-04 2014-01-22 日本電信電話株式会社 映像フレーム種別推定用調整係数算出方法、装置、およびプログラム
JP6215898B2 (ja) 2015-11-16 2017-10-18 株式会社Pfu 映像処理装置、映像処理システム、および、映像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359603A (ja) * 2001-05-31 2002-12-13 Mitsubishi Electric Corp ストリーム変換装置
JP2003111081A (ja) * 2001-09-28 2003-04-11 Nippon Hoso Kyokai <Nhk> ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器
JP2003153266A (ja) * 2001-11-08 2003-05-23 Nippon Hoso Kyokai <Nhk> 符号化パラメータの解析方法及び解析装置
WO2009025357A1 (ja) * 2007-08-22 2009-02-26 Nippon Telegraph And Telephone Corporation 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359603A (ja) * 2001-05-31 2002-12-13 Mitsubishi Electric Corp ストリーム変換装置
JP2003111081A (ja) * 2001-09-28 2003-04-11 Nippon Hoso Kyokai <Nhk> ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器
JP2003153266A (ja) * 2001-11-08 2003-05-23 Nippon Hoso Kyokai <Nhk> 符号化パラメータの解析方法及び解析装置
WO2009025357A1 (ja) * 2007-08-22 2009-02-26 Nippon Telegraph And Telephone Corporation 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体

Also Published As

Publication number Publication date
JPWO2010087129A1 (ja) 2012-08-02
WO2010087129A1 (ja) 2010-08-05

Similar Documents

Publication Publication Date Title
US8819714B2 (en) Ratings and quality measurements for digital broadcast viewers
US9565482B1 (en) Adaptive profile switching system and method for media streaming over IP networks
US8254464B2 (en) Image quality estimation apparatus and image quality estimation method
EP2731346A2 (en) Micro-filtering of streaming entertainment content based on parental control setting
US9577682B2 (en) Adaptive forward error correction (FEC) system and method
US6754280B2 (en) Method for dealing with missing or untimely synchronization signals in digital communications systems
KR20110090596A (ko) 지터 보정 방법 및 장치
US9648391B2 (en) Multimedia content broadcast procedure
JP5472120B2 (ja) ピクチャタイプ推定装置、方法、及びプログラム
US10148797B2 (en) Method and device for receiving media packets in multimedia system
US20100299448A1 (en) Device for the streaming reception of audio and/or video data packets
KR20190046510A (ko) 패킷 손실 복구를 개선하기 위한 장치 및 방법
KR102350570B1 (ko) 영상프레임의 손실을 측정하기 위한 iptv 셋탑박스 및 그 동작방법
EP3509232A1 (en) Data processing device and data processing method
KR101008976B1 (ko) 멀티미디어 스트리밍 시스템에서의 에러 검출 방법
Go et al. Cross-layer packet prioritization for error-resilient transmission of IPTV system over wireless network
Porter et al. HYBRID TCP/UDP video transport for H. 264/AVC content delivery in burst loss networks
WO2017061280A1 (ja) 受信装置および方法
KR101700370B1 (ko) 지터 보정 방법 및 장치
WO2021107912A1 (en) Adaptive delay support for splicer
JP2013062738A (ja) 映像パケットのフレーム種別判別方法及び監視サーバ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140120

R150 Certificate of patent or registration of utility model

Ref document number: 5472120

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150