JP4317995B2

JP4317995B2 - ストリーム解析装置とストリーム解析表示方法

Info

Publication number: JP4317995B2
Application number: JP2007127307A
Authority: JP
Inventors: 芳明加藤
Original assignee: Tektronix Inc
Current assignee: Tektronix Inc
Priority date: 2007-05-11
Filing date: 2007-05-11
Publication date: 2009-08-19
Anticipated expiration: 2027-05-11
Also published as: WO2008141251A3; CN101682795A; US7835403B2; EP2147560A2; CN101682795B; EP2147560B1; US20090122714A1; JP2008283577A; WO2008141251A2

Description

この発明は、ストリーム解析装置とストリーム解析表示方法に関する。詳しくは、トランスポートストリームパケットから抽出したＰＣＲを用いて算出したＰＣＲ時間と経過時間を座標軸とする座標面上に、前記アクセスユニットを示す矩形状表示を設けるものとして、この矩形状表示の辺でアクセスユニットの到着時間とタイムスタンプの時間を示すことで、トランスポートストリームの解析を容易に行えるようにするものである。

図１は、トランスポートストリームの構成を示している。ＩＳＯ(International Organization for Standardization)／ＩＥＣ(International Electrotechnical Commission)１３８１８−１で規格化されているトランスポートストリームは、トランスポートストリームパケット（ＴＳパケット）で構成されている。ＴＳパケットは、図１の（Ａ）に示すように１８８バイトの固定長のパケットとされており、図１の（Ｂ）に示すように、ＴＳヘッダとアダプテーションフィールドおよび／またはペイロードで構成されている。ＴＳパケットのＴＳヘッダは、ＴＳパケットの先頭を検出するための同期バイト、パケット中のビットエラーの有無を示す誤り表示、パケット識別のためのＰＩＤ(Packet Identifier)等で構成される。

図１の（Ｃ）は、アダプテーションフィールドの構成を示している。アダプテーションフィールドは、個別ストリームに関する付加情報やスタッフィング・バイト（無効データ・バイト）を示すことができるようにした領域である。このアダプテーションフィールドには、アダプテーションフィールドの長さを示すアダプテーションフィールド長、同じＰＩＤのパケットでシステムクロックがリセットされて、新たな内容になることを示す不連続表示、ビデオのシーケンスヘッダやオーディオのフレームの始まりを示すランダムアクセス表示、個別ストリームの重要部分を示すストリーム優先表示が設けられている。さらに、アダプテーションフィールドには、オプションフィールドに設けられている情報の識別等を可能とするフラグ情報、およびオプションフィールドの情報が設けられている。

図１の（Ｄ）は、オプションフィールドの構成を示している。オプションフィールドには、時間基準情報であるＰＣＲ(Program Clock Reference)が設けられている。このＰＣＲは、トランスポートストリームの受信側で２７ＭＨｚのシステムクロックを再現するための情報であり、２７ＭＨｚのシステムクロックを３３ビットで符号化したものである。なお、ＰＣＲはＰＣＲbaseとＰＣＲextensionという２つのフィールドで構成されている。このＰＣＲの値は、ストリームの時間軸におけるパケットの発生時間を表しており、時間の単位は２７ＭＨｚ(3.7037nsec)のＳＴＣ(System Time Clock)を積算したカウンタ値で表されている。

また、オプションフィールドには、オリジナルなＰＣＲを示すＯＰＣＲ、編集可能な点までの同一ＰＩＤのトランスポートパケット数を示すスプライス・カウントダウン等も設けられている。

図１の（Ｂ)において、ＴＳヘッダに続くペイロードは、映像や音声のビットストリームであるＰＥＳ(Packetized Elementary Stream)のパケットデータで構成される。

図２は、ＰＥＳパケットの構成を示している。ＰＥＳパケットは、パケットの開始を示すパケット開始コード、パケット長、再生出力の時間管理情報であるＰＴＳ(Presentation Time Stamp)や復号の時間管理情報であるＤＴＳ(Decoding Time Stamp)が設けられているか否かを示すフラグ情報等、ＰＥＳヘッダの長さを示すＰＥＳヘッダ長、ＰＴＳ、ＤＴＳ、ＰＴＳやＤＴＳの有無にかかわらずパケットのデータ長を一定とするためのスタッフィングバイト、および映像や音声のビットストリーム（ＥＳ:Elementary Stream)からなるパケットデータで構成される。

ここで、トランスポートストリームから映像データのパケットと音声データのパケットを分離する場合、ＴＳヘッダで設けられているパケット識別用のＰＩＤを利用することで、映像データのパケットと音声データのパケットを分離できる。また、ＴＳパケットが複数のコンテンツのデータで構成されているときであっても、ＰＩＤに基づいて所望のコンテンツの映像や音声のパケットを分離できる。具体的には、ＰＩＤ＝「０ｘ０００」であるＰＡＴ(Program Association Table)を受信する。このＰＡＴは、トランスポートストリームに含まれるチャネルの構成や、チャネルの詳細情報を示すＰＭＴ(Program Mapped Table)のＰＩＤを示すものである。このため、ＰＡＴで示されたＰＭＴのＰＩＤを用いることで、所望のチャネルのＰＭＴを示すＴＳパケットを選択できる。

ＰＭＴは、番組を構成する映像や音声のビットストリームがどのような規格に応じたものであるかを示すストリーム形式識別子や、映像や音声のビットストリームのＰＩＤを有しており、このＰＭＴで示されたＰＩＤを利用して、所望のチャネルの映像や音声のパケットを分離できる。

また、コンテンツ等に関する情報を示すパケットがトランスポートストリームに含まれているとき、例えば現在伝送されている番組の番組名、番組の開始時刻、番組の時間長、番組内容、番組のジャンル等を示すＥＩＴ(Event Information Table)セッションが含まれているとき、ＰＩＤに基づいてＥＩＴセッションを分離すればよい。

このようにして分離した映像のパケットや音声のパケットから、映像や音声のＰＥＳパケットのデータを取り出してエレメンタリストリームを復号化することで、映像データや音声データを得ることができる。また、エレメンタリストリームに含まれているピクチャヘッダのピクチャタイプから例えばＩピクチャ，Ｐピクチャ，Ｂピクチャのいずれであるかを判別できる。

図３は、ＭＰＥＧシステムにおけるトランスポートストリームシステムターゲットデコーダ(ＴＳＴＤ:Transport System Target Decoder）のリファレンス・モデルの一部を示したものである。

トランスポートストリームシステムターゲットデコーダ１０のデマルチプレクサ１１は、ＰＩＤに基づいて映像や音声のパケットを分離して、映像のパケットをトランスポートバッファ（ＴＢn）１２、音声のパケットをトランスポートバッファ（ＴＢn）１６に供給する。トランスポートバッファ（ＴＢn）１２は、供給された映像のパケットを蓄積して、一定のレートで多重バッファ（ＭＢn）１３に供給する。多重バッファ（ＭＢn）１３は、多重ジッタとＰＥＳオーバヘッド分のバッファを行い、エレメンタリストリームバッファ（ＥＢn）１４へのデータ転送速度の整合性がとれるように機能する。エレメンタリストリームバッファ（ＥＢn）１４は、ＶＢＶ(Video Buffering Verifier)バッファに相当するものであり、ビデオデコーダ１５で映像のエレメンタリストリームをデコードするとき、オーバフローやアンダーフローが生じないようにするためのバッファである。トランスポートバッファ（ＴＢn）１６は、供給された音声のパケットを蓄積して、一定のレートでバッファ（Ｂn）１７に供給する。バッファ（Ｂn）１７は、オーディオデコーダ１８で音声のエレメンタリストリームをデコードするとき、オーバフローやアンダーフローが生じないようにするためのバッファである。

ビデオデコーダ１５，オーディオデコーダ１８は、タイムスタンプＰＴＳ/ＤＴＳの時間情報にしたがってバッファから映像・音声データを取り出して復号および再生を行う。映像や音声にはそれぞれアクセスユニットと呼ばれる復号・再生の単位があり、ＤＴＳではアクセスユニットの復号時間、ＰＴＳでは再生時間が示されている。このタイムスタンプＰＴＳ/ＤＴＳは、９０ＫＨｚ単位のクロックを３３ビットで符号化したもので、ＰＣＲをリファレンスとしてタイミング同期が行われる。

このようなトランスポートストリームを解析するトランスポートストリーム解析では、ＰＣＲ解析やＰＥＳ解析等が行われている。

図４はＰＣＲ解析結果であり、ＰＣＲの到着時間とＰＣＲに基づいて算出したＰＣＲ時間の関係を示している。なお、図４では経過時間を横軸、ＰＣＲ時間を縦軸とした座標面上にＰＣＲ表示を設けている。ＰＣＲ時間は、ＰＣＲに記述されているカウント値とシステムクロック（２７ＭＨｚ）の１周期分の時間を乗算した時間である。ここで、ＰＣＲが正確であるとき、ＰＣＲ1，ＰＣＲ２・・・の到着時間と各ＰＣＲに基づいて算出されたＰＣＲ時間は比例関係となり、ＰＣＲ表示は略直線上に並ぶことになる。このため、トランスポートストリームの受信側では、ＰＣＲとＳＴＣの誤差が「０」となるようにＳＴＣを制御することで、トランスポートストリームの送信側とトランスポートストリームの受信側を同期させることができる。

また、例えば非特許文献１では図５に示すようにＰＣＲ精度の解析結果を示すことが行われている。この解析では、ＰＣＲパケットが存在するストリーム上の位置（ＰＣＲの到着時間）毎に、到着時間とＰＣＲに基づいて算出したＰＣＲ時間との時間差（ＳＴＣカウント値とＰＣＲが示すカウント値のカウント誤差）を示したものである。なお、図５において、横軸は到着時間を示しており、縦軸は到着時間とＰＣＲ時間との時間差（ＳＴＣのカウント値とＰＣＲが示すカウント値のカウント誤差）を示している。ここで、ＳＴＣはＰＣＲとの誤差が「０」となるように制御されることから、ＰＣＲが正確な値であるときは時間差（カウント誤差）が図５に示すようにほぼ「０」となる。また、時間差（カウント誤差）が大きいときはＰＣＲが正確な値でないことを容易に識別できる。

また、例えば非特許文献１では、図６に示すようにタイムスタンプＰＴＳ/ＤＴＳの解析結果を示すことが行われている。なお、図６では、ＰＴＳ/ＤＴＳ値（PTS/DTS×11.11μsec）を時間軸（横軸）としてアクセスユニット毎に配置している。また、縦軸はアクセスユニットにおいてＤＴＳ値からＰＴＳ値までの経過時間を示している。なお、×印はＰＴＳ、＋印はＤＴＳをそれぞれ示している。さらに図６では、カーソルが位置するアクセスユニットについてのサマリ表示を設けて、アクセスユニットに関する種々の情報が表示される。

図７は、タイムスタンプＰＴＳ／ＤＴＳの解析結果の他の表示方法を示している。なお図７では、横軸を時間軸として、アクセスユニットの到着時間と各アクセスユニットに記述されたタイムスタンプＰＴＳ／ＤＴＳで示された時間関係を示したものである。図７において「Ａ」で示される位置はアクセスユニットの到着時間であり、各アクセスユニットに記述されたＰＴＳで示された時間を「Ｐ」、ＤＴＳで示された時間を「Ｄ」の位置で示している。

また、特許文献１では、所定のパケットが連続してなるトランスポートストリームを解析するデータ解析装置が開示されている。

特開２０００−３０７６４３号公報テクトロニクス社、"ＭＰＥＧテスト・システムＭＴＳ４００シリーズ"、［online］、［平成１９年４月１８日検索］、インターネット、＜ＵＲＬ：http://www.tektronix.co.jp/cgi-bin/frame.cgi?body=/products/video_test/mts400.html＞

ところで、従来のアナライザではトランスポートストリーム解析を行う場合、トランスポートストリームの階層に存在するＰＣＲ解析を行うことができるが、ＰＥＳの階層におけるタイムスタンプＰＴＳ／ＤＴＳを解析する機能が設けられていない。またＰＥＳ解析を行う場合、タイムスタンプＰＴＳ／ＤＴＳを解析して時間軸上に配置して表示する機能が設けられているが、ＴＳ階層におけるＰＣＲとの関係を解析する機能は設けられていない。

このため、階層間に跨る関係を解析する機能が設けられていないとタイミング同期に障害があるストリームを解析する場合、ＰＣＲとタイムスタンプＰＴＳ／ＤＴＳに関係する問題を容易に検証することができない。

また、図７に示すように、アクセスユニットの到着時刻とタイムスタンプＰＴＳ／ＤＴＳで示された時刻を、参照するＰＣＲの時間軸上に表示することでタイミング問題の解析を行うようにした場合、１つのアクセスユニットに基づき到着時刻とタイムスタンプＰＴＳ／ＤＴＳで示された時刻を表示できるように時間軸のスケールを設定すると、例えばアクセスユニットの到着時刻とタイムスタンプＰＴＳ／ＤＴＳで示された時刻の時間差が次第に離れていくような変化が生じたときには、アクセスユニットの到着時刻とタイムスタンプＰＴＳ／ＤＴＳで示された時刻の関係を表示できなくなってしまう。

そこで、この発明ではトランスポートストリームの解析を容易に行うことができるストリーム解析装置とストリーム解析表示方法を提供するものである。

この発明に係るストリーム解析装置は、トランスポートストリームパケットからヘッダ情報を抽出するパケットヘッダ抽出処理手段と、前記トランスポートストリームパケットからタイムスタンプを抽出するタイムスタンプ抽出処理手段と、前記トランスポートストリームパケットで伝送されるコンテンツデータの再生タイミングの基準となるクロック信号を生成するクロック生成処理手段と、前記パケットヘッダ抽出処理手段で抽出されたＰＣＲと前記クロック信号と前記タイムスタンプを用いて前記トランスポートストリームパケットで伝送されるアクセスユニットの解析を行う解析処理手段を有し、前記解析処理手段は、経過時間と前記ＰＣＲを用いて算出したＰＣＲ時間を座標軸とする座標面上に、前記アクセスユニットを示す矩形状表示を設けた解析結果表示の表示信号を生成して、該矩形状表示の辺で該アクセスユニットの到着時間とタイムスタンプの時間を示したものである。

また、この発明に係るストリーム解析表示方法は、トランスポートストリームの解析を行うストリーム解析装置のストリーム解析表示方法であって、トランスポートストリームパケットのヘッダ情報から抽出したＰＣＲを用いて算出したＰＣＲ時間と経過時間とを座標軸とする座標面を設ける工程と、前記座標面上に前記アクセスユニットを示す矩形状表示を設ける工程を有し、前記矩形状表示の辺で該アクセスユニットの到着時間とタイムスタンプの時間を示すものとしたものである。

よって、この発明の概念は、次のようなものである。
（１）トランスポートストリームパケットからヘッダ情報を抽出するパケットヘッダ抽出処理手段と；前記トランスポートストリームパケットからタイムスタンプを抽出するタイムスタンプ抽出処理手段と；前記トランスポートストリームパケットで伝送されるコンテンツデータの再生タイミングの基準となるクロック信号を生成するクロック生成処理手段と；前記パケットヘッダ抽出処理手段で抽出されたＰＣＲ(Program Clock Reference)と前記クロック信号と前記タイムスタンプを用いて、前記トランスポートストリームパケットで伝送されるアクセスユニットの解析を行う解析処理手段を有し；前記解析処理手段は、経過時間と前記ＰＣＲを用いて算出したＰＣＲ時間を座標軸とする座標面上に、前記アクセスユニットを示す矩形状表示を設けた解析結果表示の表示信号を生成して、該矩形状表示の辺で該アクセスユニットの到着時間とタイムスタンプの時間を示したことを特徴とするストリーム解析装置。
（２）前記解析処理手段は、前記アクセスユニットのデータがフレーム内予測符号化とフレーム間順方向予測符号化と双方向予測符号化のいずれのピクチャタイプであるかを識別可能として前記矩形状表示を設けることを特徴とする概念１記載のストリーム解析装置。
（３）前記解析処理手段は、前記ＰＣＲの到着時刻と前記ＰＣＲ時間に基づきＰＣＲ表示を前記解析結果表示に設けることを特徴とする概念１記載のストリーム解析装置。
（４）前記解析処理手段は、前記パケットヘッダ抽出処理手段で抽出されたＰＩＤ(Packet Identifier)によって前記トランスポートストリームパケットを区分して、ＰＩＤ毎に前記経過時間を座標軸として前記トランスポートストリームパケットの到着時間を示す表示を前記解析結果表示に設けた
ことを特徴とする概念１記載のストリーム解析装置。
（５）前記トランスポートストリームパケットからＴＯＴ(Time Offset Table)またはＴＤＴ(Time and Data Table)のパケットを抽出するパケット抽出処理手段を設け；前記解析処理手段は、前記パケット抽出処理手段で抽出されたＴＯＴまたはＴＤＴのパケットによって示された現在時刻に基づく時刻表示の座標軸を、前記到着時間を示す座標軸にリンクさせて前記解析結果表示に設けたことを特徴とする概念１記載のストリーム解析装置。
（６）ユーザインタフェース処理手段を設け；前記解析処理手段は、前記ユーザインタフェース処理手段によって、前記アクセスユニットを示す矩形状表示が選択されたとき、該選択された矩形状表示に対応するアクセスユニットの情報表示を前記解析結果表示に設けたことを特徴とする概念１記載のストリーム解析装置。
（７）前記アクセスユニットのデコードを行うデコード処理手段と；前記解析結果表示と前記デコード処理手段のデコード結果を示す表示を合成する表示処理手段と；ユーザインタフェース処理手段を設け、
前記ユーザインタフェース処理手段によって、再生するアクセスユニットが指示されたとき、前記デコード処理手段は前記指示されたアクセスユニットのデコードを行い、前記解析結果表示は前記指示されたアクセスユニットを識別可能に表示することを特徴とする概念１記載のストリーム解析装置。
（８）トランスポートストリームの解析を行うストリーム解析装置のストリーム解析表示方法において；経過時間とトランスポートストリームパケットのヘッダ情報から抽出したＰＣＲ(Program Clock Reference)を用いて算出したＰＣＲ時間を座標軸とする座標面を設ける工程と；前記座標面上に前記アクセスユニットを示す矩形状表示を設ける工程を有し、前記矩形状表示の辺で該アクセスユニットの到着時間とタイムスタンプの時間を示すものとしたことを特徴とするストリーム解析表示方法。
（９）前記矩形状表示は、前記アクセスユニットのデータがフレーム内予測符号化とフレーム間順方向予測符号化と双方向予測符号化のいずれのピクチャタイプであるか識別可能として設けたことを特徴とする概念８記載のストリーム解析表示方法。
（１０）前記ＰＣＲの到着時刻と前記ＰＣＲ時間に基づきＰＣＲ表示を前記解析結果表示に設けることを特徴とする概念８記載のストリーム解析表示方法。
（１１）前記ヘッダ情報に含まれるＰＩＤ(Packet Identifier)によって前記トランスポートストリームパケットが区分されており、ＰＩＤ毎に前記経過時間を座標軸として前記トランスポートストリームパケットの到着時間を表示する工程を設けたことを特徴とする概念８記載のストリーム解析表示方法。
（１２）前記トランスポートストリームパケットから抽出されたＴＯＴ(Time Offset Table)またはＴＤＴ(Time and Data Table)のパケットによって示された現在時刻に基づく時刻表示の座標軸を、前記到着時間を示す座標軸にリンクして表示させる工程を設けたことを特徴とする概念８記載のストリーム解析表示方法。
（１３）ユーザインタフェース処理手段によって、前記アクセスユニットを示す矩形状表示が選択されたとき、該選択された矩形状表示に対応するアクセスユニットの情報表示を行う工程を設けたことを特徴とする概念８記載のストリーム解析表示方法。
（１４）ユーザインタフェース処理手段によって、再生するアクセスユニットが指示されたとき、該指示されたアクセスユニットのデコード結果を表示する工程を設けたことを特徴とする概念８記載のストリーム解析表示方法。

この発明によれば、トランスポートストリームパケットのヘッダ情報から抽出したＰＣＲを用いて算出したＰＣＲ時間と経過時間とを座標軸とする座標面上にアクセスユニットを示す矩形状表示が設けられて、この矩形状表示の辺でアクセスユニットの到着時間とタイムスタンプの時間が示される。このため、トランスポートストリームの解析を容易に行うことができる。

以下、図を参照しながら、この発明の実施の一形態について説明する。図８は、ストリーム解析装置の機能ブロック図である。なお図８において各処理部は、ハードウェアあるいはソフトウェアのいずれで構成するものとしてもよい。

トランスポートストリームＴＳは、ストリーム解析装置２０のパケットヘッダ抽出処理部２１に供給される。パケットヘッダ抽出処理部２１は、トランスポートストリームパケット（ＴＳパケット）のヘッダのアダプテーションフィールドに設けられているＰＣＲフラグによって、ＰＣＲが設けられていることを判別したとき、ヘッダからＰＣＲを抽出してクロック生成処理部２２に供給する。また、ＴＳパケットのヘッダに含まれているＰＩＤに基づき、ペイロードのデータが所望の映像や音声の符号化ストリームであることを判別したとき、このペイロードのデータＤpyを分離してタイムスタンプ／パケット抽出処理部２３に供給する。

クロック生成処理部２２は、２７ＭＨｚの発振器を用いて構成されており、この発振器で生成されたクロック信号のカウント値とＰＣＲが示すＳＴＣを比較して、差分が「０」となるように発振器を制御して、トランスポートストリームＴＳに同期した２７ＭＨｚのＳＴＣ(System Time Clock)を生成してデコード処理部２４と解析処理部２５に供給する。なお、解析処理部２５には、パケットヘッダ抽出処理部２１から供給されたＰＣＲも供給する。

タイムスタンプ／パケット抽出処理部２３は、パケットヘッダ抽出処理部２１から供給されたデータＤpyを順次用いることでＰＥＳパケットを復元する。また、タイムスタンプ／パケット抽出処理部２３は、ＰＥＳヘッダに設けられているＰＴＳ＆ＤＴＳフラグによって、ＰＴＳやＤＴＳが設けられていることを判別したとき、ＰＥＳヘッダからタイムスタンプＰＴＳ／ＤＴＳを抽出してデコード処理部２４と解析処理部２５に供給する。さらに、タイムスタンプ／パケット抽出処理部２３は、ＰＥＳパケットから映像や音声のパケットデータＤpdをデコード処理部２４に供給する。また、ＴＯＴ(Time Offset Table)やＴＤＴ(Time and Date Table)のパケットデータＤttを解析処理部２５に供給する。

デコード処理部２４は、クロック生成処理部２２から供給されたＳＴＣがタイムスタンプ／パケット抽出処理部２３から供給されたＤＴＳと一致するタイミングで、タイムスタンプ／パケット抽出処理部２３から供給されたパケットデータＤpdのデコード処理を行い、ＳＴＣがＰＴＳと一致するタイミングで、デコード処理後の信号例えば映像データＤvを表示処理部２６に供給する。

解析処理部２５は、クロック生成処理部２２から供給されたＰＣＲやＳＴＣ、およびタイムスタンプ／パケット抽出処理部２３から供給されたタイムスタンプＰＴＳ／ＤＴＳを用いて、トランスポートストリームの階層におけるＰＣＲやＰＥＳの階層におけるタイムスタンプ等を階層横断的に解析して、システム・タイミングとの関係を容易に把握できるように解析結果表示の表示データＤmを生成して表示処理部２６に供給する。

表示処理部２６は、デコード処理部２４から供給された映像データＤvや解析処理部２５から供給された表示データＤmを用いて表示駆動信号Ｄrvを生成して、この表示駆動信号Ｄrvを表示デバイス３０に供給することで、表示デバイス３０の画面上に、映像や解析結果を表示させる。

制御処理部２７には、ユーザインタフェース部２８が接続されている。ユーザインタフェース部２８は操作キーやタッチパネル等で構成されており、ユーザ操作に応じた操作信号ＰＳを制御処理部２７に供給する。

制御処理部２７は、ユーザ操作に応じた解析や解析結果表示が行われるように、操作信号ＰＳに基づき制御信号ＣＴを生成して各処理部の動作を制御する。

次に、解析処理部２５の動作について説明する。解析処理部２５は、アクセスユニットの到着時間をタイムスタンプＰＴＳ／ＤＴＳの関係を容易に把握できるように、アクセスユニットを図９に示すように矩形状に表示して、一方の軸方向で到着時間、他方の軸方向でタイムスタンプＰＴＳ／ＤＴＳを示すものとする。例えばアクセスユニット表示である矩形状表示において、左辺はアクセスユニットの開始である最初のデータバイトが届いた時間、右辺はアクセスユニットの終了である最後のデータバイトが届いた時間を示すものとする。また、矩形状表示の下辺はＤＴＳ、上辺はＰＴＳを示すものとする。このため、アクセスユニットの伝送に時間を要する場合には横長の矩形状表示となり、タイムスタンプＰＴＳ／ＤＴＳで示された時刻の時間差が大きくなると縦長の矩形状表示となる。

また、矩形状のアクセスユニット表示では、アクセスユニットのデータがフレーム内予測符号化とフレーム間順方向予測符号化と双方向予測符号化のいずれのピクチャタイプであるか識別可能とする。例えば矩形状表示にフレーム内予測符号化のピクチャ（Ｉピクチャ）であることを示す記号「Ｉ」、フレーム間順方向予測符号化のピクチャ（Ｐピクチャ）であることを示す記号「Ｐ」、双方向予測符号化のピクチャ（Ｂピクチャ）であることを示す記号「Ｂ」を設ける。このように、映像符号化タイプを示す表示を設けるものとすれば、アクセスユニットのデータがいずれのピクチャタイプのデータであるか容易に識別できる。また、ピクチャタイプの表示では、ピクチャ毎に矩形状表示の色や輝度を異なるものとして、いずれのピクチャタイプであるか識別可能とするものとしてもよい。

なお、双方向予測符号化のピクチャはＰＴＳのみ設定されておりＤＴＳは設けられていない。したがって、双方向予測符号化のピクチャを示すアクセスユニットの矩形状表示では、上辺のみでＰＴＳを示すものとして下辺は例えばＰＴＳから所定時間前の位置となるように設定する。

図１０は、図４に示すＰＣＲの到着時間とＰＣＲ時間の解析結果に、アクセスユニット表示を設けたものである。なお、図１０において横軸は経過時間である。また、縦軸はＰＣＲ時間である。この表示方法において経過時間を求める方法としては、固定ビットレートの場合にはパケットの積算値により予測可能であり、バリアブルビットレートのトランスポートストリームの場合には、ＴＳパケット到着時にタイムスタンプを記録しておき、このタイムスタンプにより得られる時間情報を使用することで対応する。

ここで、アクセスユニットを示す矩形状表示の上辺と下辺は、タイムスタンプＰＴＳ／ＤＴＳを示している。すなわち、アクセスユニットを示す矩形状表示の上辺と下辺によって図６のタイムスタンプＰＴＳ／ＤＴＳの解析結果を示すものとなる。また、図１０の縦軸におけるタイムスタンプＰＴＳ／ＤＴＳで示された時間を横軸に配置すると、アクセスユニットの到着時間とタイムスタンプＰＴＳ／ＤＴＳの関係が明らかとなる。

例えば、アクセスユニットＡＵ-Iが時点ｔ1から時点ｔ2までの期間で到着するものであり、ＤＴＳによって示された時間が時点ｔdts、ＰＴＳによって示された時間が時点ｔptsであるとき、ＤＴＳによって示された時間を横軸に配置すると、時点ｔdtsは時点ｔ3に配置される。また、ＰＴＳによって示された時間を横軸に配置すると、時点ｔptsは時点ｔ4に配置される。したがって、アクセスユニットＡＵ-Iの到着が完了してから時間（ｔ3−ｔ2）が経過したときアクセスユニットＡＵ-Iのデコードが行われて、アクセスユニットＡＵ-Iの到着が完了してから時間（ｔ4−ｔ2）が経過したときデコードされたアクセスユニットＡＵ-Iの信号が出力されることが明らかとなる。

また、ＰＣＲの到着時刻とＰＣＲ時間に基づきＰＣＲ表示、例えばＰＣＲ1〜ＰＣＲ9が同じ時間軸で表示されていることから、トランスポートストリームの階層におけるＰＣＲやＰＥＳの階層におけるタイムスタンプ等を階層横断的に解析して、システム・タイミングとの関係を容易に把握できる。

ところで、アクセスユニットの到着時間とＰＴＳによって示される時間との時間差は、基本的に一定の間隔でストリームが生成されている。したがって、この時間差を測定して平均値を求め、平均値から大きく逸脱した値を検出することで、再多重の誤りなど異常なタイムスタンプを発見することができる。

さらに、２９．９７フレーム/秒で生成された映像ストリームの場合、タイムスタンプＰＴＳ／ＤＴＳは、９０ＫＨｚ単位のクロックを３３ビットで符号化したものであるから、１フレームは３００３クロックに相当する。すなわち、ＰＴＳカウンタは表示フレームの順でアクセスユニット毎に３００３カウント積算されることとなる。このタイムスタンプＰＴＳ／ＤＴＳは、ＰＣＲと連動する時間上の位置を示すものであるから、ＰＴＳで記述されているカウント値の変化特性は、図１１の破線で示す変化特性ＣＢptsとなり、ＰＣＲで記述されているカウント値の変化特性ＣＢpcrと平行して上昇する。したがって、変化特性ＣＢptsと変化特性ＣＢpcrの差分平均値Ｄtcから逸脱した値を検出することによっても障害を発見することができる。

ここで、障害が発生したか否か容易に識別できるように、異常通知領域ＡＲＭを予め図１１のように設定しておき、アクセスユニットを示す矩形状表示の表示位置が異常通知領域ＡＲＭに含まれるようになったときには、表示色の切り換えやアラーム表示あるいは音声等で、障害が発生したことを通知する。

異常通知領域ＡＲＭは、例えば受信装置の特性に応じてユーザが設定できるようにする。ここで、ＳＴＣに基づく時間に対してＰＣＲの誤差が所定時間範囲を超える領域を異常通知領域ＡＲＭとする。すなわち、変化特性ＣＢpcrに対して所定時間範囲を超える領域を異常通知領域ＡＲＭとする。このように、異常通知領域ＡＲＭを設定すれば、ＰＣＲが異常な値を示したときには、ＰＣＲ表示である○印マークの位置が異常通知領域ＡＲＭの位置となり、異常を容易に識別できる。

また、アクセスユニットの到着時間とＰＴＳによって示される時間との時間差が所定時間範囲を超える領域を異常通知領域ＡＲＭとするものとしてもよい。このように、異常通知領域ＡＲＭを設定すれば、タイムスタンプＰＴＳ／ＤＴＳが異常な値を示したときには、アクセスユニットを示す矩形状表示が異常通知領域ＡＲＭまで延びたものとなり、異常を容易に識別できる。

なお、ＰＣＲの到着を示す○印マークの位置が異常通知領域ＡＲＭの位置となったり、アクセスユニットを示す矩形状表示が異常通知領域ＡＲＭまで延びたものとなったとき、異常発生を示す警告文字や、表示色の切り換え等を行うものとすれば、異常の発生を容易かつ確実に把握できる。

プログラムを構成する要素は、ＰＣＲと映像および音声以外に字幕やデータなどがあり、これらのパケットを分離する場合、ＴＳヘッダで設けられているパケット識別用のＰＩＤが用いてパケットが分離される。また、ＰＩＤ＝「０ｘ０００」であるＰＡＴで示されたＰＭＴのＰＩＤを用いることで、所望のチャネルのＰＭＴを示すＴＳパケットを選択できる。

ＰＭＴは、番組を構成する映像や音声のビットストリームがどのような規格に応じたものであるかを示すストリーム形式識別子や、映像や音声のビットストリームのＰＩＤを有しており、このＰＭＴで示されたＰＩＤを利用してフィルタ処理を行えば、所望のチャネルの映像や音声のパケットを分離できる。

図１２はＴＳパケットの解析結果を示したものである。ここで横軸は時間、縦軸はＰＩＤの種類を示している。この解析結果では、ＰＭＴ，ＰＣＲ，映像(VIDEO)，音声(AUDIO)，字幕(PES)，データ(DATA1,DATA2)の各ＴＳパケットを到着時間順に並べて一覧表示している。したがって、アクセスユニットを伝送するＴＳパケットとＰＭＴの関係を詳細に解析することが可能となる。なお、ＰＭＴはプログラムが更新されるとバージョン番号が更新される。したがって、バージョン番号の違いを識別可能とする表示、例えば色分け表示とすれば、ＰＭＴセクションのバージョン番号の違いを視覚的に容易に把握することができる。

図１３は、解析結果表示として図１１に示す解析結果と図１２に示す解析結果を並べて配置したものである。トランスポートストリームでは、番組配列情報ＳＩ(Service Information)として、現在時刻を示すＴＯＴやＴＤＴが伝送されている。また、ＰＣＲは相対的な時間情報である。したがって、ＴＯＴやＴＤＴで示された現在時刻に基づく時刻表示の座標軸と、到着時間を示す座標軸とリンクすることで、解析結果を時刻と関係付けて表示できる。

図１３の座標表示ＧＨ1は、ＴＯＴやＴＤＴで示された現在時刻に基づく時刻表示の座標軸である。この座標表示ＧＨ1における時間範囲ＴＷが、座標表示ＧＨ2の表示時間範囲に対応するものとされており、座標表示ＧＨ2の時間でアクセスユニット等の到着時間が判別可能とされている。また、座標表示ＧＨ3は、ＰＣＲ時間やタイムスタンプＰＴＳ／ＤＴＳで示された時間の座標を示したものである。

座標表示ＧＨ1と座標表示ＧＨ2，ＧＨ3はリンクされており、図１３に示すように時刻「１９：００：００」を基準としたとき、座標表示ＧＨ2，ＧＨ3における「０００」の位置は、「１９：００：００」の時刻を示すものとされている。

解析表示ＧＪ1では、座標表示ＧＨ2，ＧＨ3の時間に対応させてアクセスユニットを示す矩形状表示を行う。したがって、矩形状表示の左辺の座標からアクセスユニットの最初のデータバイトが届いた時刻を判別できる。また、矩形状表示の右辺の座標からアクセスユニットの最後のデータバイトが届いた時刻を判別できる。また、矩形状表示の上辺の座標からデコード後のデータが出力される時刻を判別できる。さらにアクセスユニットがＩピクチャやＰピクチャのデータであるときには、矩形状表示の下辺の座標からデコードが行われる時刻を判別できる。例えばアクセスユニットＡＵ29については、最初のデータバイトが届いた時刻が略「１８：５９：５９：５８０」、最後のデータバイトが届いた時刻が略「１８：５９：５９：６６０」、デコード後のデータが出力される時刻が「１９：００：００：０００」、デコードが行われる時刻が略「１８：５９：５９：９４０」であることを、解析表示ＧＪ1と座標表示ＧＨ1〜ＧＨ3から容易に判別できる。

解析表示ＧＪ2では、座標表示ＧＨ2の時間に対応させて、ＰＭＴ，ＰＣＲ，映像(VIDEO)，音声(AUDIO)，字幕(PES)，データ(DATA1,DATA2)の各ＴＳパケットを到着時間順に並べて一覧表示している。したがって、アクセスユニットを伝送するＴＳパケットとＰＭＴの関係を詳細に解析することが可能となるだけでなく、各ＴＳパケットの到着時刻を判別できる。さらに、プログラム番号のバーションアップによりＰＭＴの更新が行われたときに、バージョン表示の更新や、更新前と更新後のＰＭＴのパケットが識別可能に表示される。このため、バーションアップがどのようなタイミングで開始されているか視覚的に容易に把握することができる。

また、図１３ではサマリ表示ＧＪ3が設けられている。このサマリ表示ＧＪ3は、ユーザ操作によってアクセスユニットが選択されたとき、例えば図示せずも画面上にカーソルを表示させて、このカーソルを所望のアクセスユニットに対応する矩形状表示の位置として、該アクセスユニットを選択する操作がなされたとき、選択されたアクセスユニットに関する情報を表示する。例えばアクセスユニットＡＵ29が選択されたとき、アクセスユニット番号、ＰＥＳパケット番号、ストリームタイプやピクチャタイプ、最初のデータバイトが届いたときと最後のデータバイトが届いたときのカウント値、ＤＴＳやＰＴＳで示されたカウント値等の情報が表示される。

さらに、図１３ではポップアップ表示ＧＪ4が設けられており、ユーザ操作によってＰＣＲ表示が選択されたとき、選択されたＰＣＲに関する情報を表示する。例えばＰＣＲ2の表示が選択されたとき、このＰＣＲ1に対応するＰＣＲbaseとＰＣＲextensionという２つのフィールドが示す値やパケット番号等がポップアップ表示される。

ところで、図１３の表示では、パケットの到着時刻やデコードの開始時刻、デコード後のデータ出力時刻等を把握することはできるが、どのような映像や音声のデータであるか把握することができない。そこで、どのような映像や音声のデータであるか把握できるようにデコード結果を解析結果表示に設けた場合について次に説明する。

図１４は、デコード結果を解析結果表示に設けた場合を示している。映像や音声波形の表示では、例えば解析表示ＧＪ2に替えて、映像や音声波形を示す解析表示ＧＪ5を設ける。また、解析表示ＧＪ5では、座標表示ＧＨ1において時間範囲ＴＷを設定したときの基準となる時刻に再生される映像と前後のフレームの映像を表示する。また基準となる時刻の前後に再生される音声波形を表示する。

このように、映像や音声波形を表示することでアクセスユニットがどのようなコンテンツ内容を示すデータであるかも、容易に確認できる。

トランスポートストリームの構成を示す図である。ＰＥＳパケットの構成を示す図である。トランスポートストリームシステムターゲットデコーダのリファレンス・モデルの一部を示す図である。ＰＣＲ解析結果を示す図である。ＰＣＲ精度の解析結果を示す図である。タイムスタンプＰＴＳ/ＤＴＳの解析結果を示す図である。タイムスタンプＰＴＳ/ＤＴＳの解析結果の他の表示方法を示す図である。ストリーム解析装置の構成を示す図である。アクセスユニット表示を示す図である。ＰＣＲ解析結果にアクセスユニット表示を設けた場合を示す図である。異常通知領域を設定した場合を示す図である。ＴＳパケット解析結果を示す図である。解析結果表示を示す図である。デコード結果を解析結果表示に設けた図である。

１０・・・トランスポートストリームシステムターゲットデコーダ、１１・・・デマルチプレクサ、１２，１６・・・トランスポートバッファ（ＴＢn）、１３・・・多重バッファ（ＭＢn）、１４・・・エレメンタリストリームバッファ（ＥＢn）、１５・・・ビデオデコーダ、１７・・・バッファ（Ｂn）、１８・・・オーディオデコーダ、２０・・・ストリーム解析装置、２１・・・パケットヘッダ抽出処理部、２２・・・クロック生成処理部、２３・・・タイムスタンプ／パケット抽出処理部、２４・・・デコード処理部、２５・・・解析処理部、２６・・・表示処理部、２７・・・制御処理部、２８・・・ユーザインタフェース部、３０・・・表示デバイス

Claims

トランスポートストリームパケットからヘッダ情報を抽出するパケットヘッダ抽出処理手段と、
前記トランスポートストリームパケットからタイムスタンプを抽出するタイムスタンプ抽出処理手段と、
前記トランスポートストリームパケットで伝送されるコンテンツデータの再生タイミングの基準となるクロック信号を生成するクロック生成処理手段と、
前記パケットヘッダ抽出処理手段で抽出されたＰＣＲ(Program Clock Reference)と前記クロック信号と前記タイムスタンプを用いて、前記トランスポートストリームパケットで伝送されるアクセスユニットの解析を行う解析処理手段を有し、
前記解析処理手段は、経過時間と前記ＰＣＲを用いて算出したＰＣＲ時間を座標軸とする座標面上に、前記アクセスユニットを示す矩形状表示を設けた解析結果表示の表示信号を生成して、該矩形状表示の辺で該アクセスユニットの到着時間とタイムスタンプの時間を示した
ことを特徴とするストリーム解析装置。
トランスポートストリームの解析を行うストリーム解析装置のストリーム解析表示方法において、
経過時間とトランスポートストリームパケットのヘッダ情報から抽出したＰＣＲ(Program Clock Reference)を用いて算出したＰＣＲ時間を座標軸とする座標面を設ける工程と、
前記座標面上に前記アクセスユニットを示す矩形状表示を設ける工程を有し、前記矩形状表示の辺で該アクセスユニットの到着時間とタイムスタンプの時間を示すものとした
ことを特徴とするストリーム解析表示方法。