JP5296123B2 - 帯域外ディレクトリ情報を使用するエラー耐性の改良 - Google Patents

帯域外ディレクトリ情報を使用するエラー耐性の改良 Download PDF

Info

Publication number
JP5296123B2
JP5296123B2 JP2011045097A JP2011045097A JP5296123B2 JP 5296123 B2 JP5296123 B2 JP 5296123B2 JP 2011045097 A JP2011045097 A JP 2011045097A JP 2011045097 A JP2011045097 A JP 2011045097A JP 5296123 B2 JP5296123 B2 JP 5296123B2
Authority
JP
Japan
Prior art keywords
packet
multimedia data
directory
packets
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011045097A
Other languages
English (en)
Other versions
JP2011135609A (ja
Inventor
サディ・エム.・ナガラジ
アムノン・シルバーガー
ブルース・コリンズ
ゴードン・ケント・ウォーカー
マイク・ルーカス
ビジャヤラクシュミ・アール.・ラビーンドラン
ファン・シ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2011135609A publication Critical patent/JP2011135609A/ja
Application granted granted Critical
Publication of JP5296123B2 publication Critical patent/JP5296123B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0078Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
    • H04L1/0083Formatting with frames or packets; Protocol or part of protocol for error control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS

Description

関連出願の記載
この特許出願は、2006年4月4日に出願された、「帯域外ディレクトリ情報を使用するエラー耐性の改良(Improving Error Resilience Using Out of Band Directory Information)」と題され、かつこの譲受人に譲渡された仮特許出願第60/789,454号と、2005年5月13日に出願された、「帯域外ディレクトリ情報を使用してパケットエラー耐性を改良するための方法および装置(Methods and Apparatus for Improving Packet Error Resiliency Using Out-Of-Band Directory Information)」と題され、かつこの譲受人に譲渡された仮特許出願第60/680,809号の優先権を主張するものであり、両者とも参照として本明細書に組み込まれる。
本発明は、エラー管理スキームによってデジタルデータを符号化および復号化するための方法および装置に関する。
インターネットおよび無線通信の爆発的成長および大成功ならびにマルチメディアサービスに対する需要の増加によって、インターネットおよびモバイル/無線チャネルでのストリーミングメディアは大きく注目されるようになった。異種インターネットプロトコル(IP)ネットワークにおいて、ビデオはサーバーによって提供されて、1つ以上のクライアントによってストリーミングされることが可能である。有線接続はダイアルアップ、サービス統合デジタルネットワーク(ISDN)、ケーブル、デジタル加入者ラインプロトコル(総称してxDSLと称される)、ファイバ、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)などを含む。送信モードはユニキャストまたはマルチキャストのいずれかであってもよい。
モバイル/無線通信は異種IPネットワークに類似している。モバイル/無線チャネルでのマルチメディアコンテンツのトランスポートは、これらのチャネルはしばしば、マルチパスフェージング、シャドーイング、シンボル間干渉および雑音外乱によって著しい障害があるため、極めて困難である。移動性および競合するトラフィックなどの他の理由もまた帯域幅のばらつきおよび損失を引き起こす。チャネル雑音、およびサービス提供されているユーザー数はチャネル環境の時変プロパティを判断する。
異種IPネットワークおよびモバイル通信システムの両方におけるより高いデータレートおよびより高いサービス品質という要求は急速に大きくなりつつある。しかしながら、遅延時間の制限、送信電力の制限、帯域幅の制限およびマルチパスフェージングなどの要因は、実用システムによって取り扱われるデータレートを制限し続ける。マルチメディア通信において、特にエラーが発生しやすい環境では、単一の復号値のエラーも空間的かつ時間的に伝搬するアーチファクトの復号化につながる恐れがあるため、送信メディアのエラー耐性は所望のサービス品質を提供する際に重大なことである。必要なデータレートを維持しつつエラーを削減するために種々の符号化手段が使用されてきたが、これらの技術のすべては、復号器側に入ってくるエラーによる問題に悩まされている。
ソース符号器の使用によって、データが圧縮される、つまり、最大数のビットを使用することによって、続いて、これらのビットを受信する際の所与のエラー確率に対する送信チャネルの容量を最大化する傾向があるチャネル符合器によって最大情報を搬送する。
チャネルコード化、例えばリードソロモン符号化が、ソースコード化データの堅牢性を改良するために使用される。ジョイントソースチャネルコード化方法が、様々なエラー保護レベルを様々な重要性レベルのソースコード化データに提供したり、パケットを分割およびドロップすることによって使用可能なネットワーク帯域幅へのコード化ビデオデータのレート適合を可能にしたりするために使用されてきた。これは、共通のトランスポートプロトコルが破損データをソース復号器に配信しないためである。
(例えば、MPEG−4における)リバーシブル可変長コード化などのソースコード化技術が、破損パケットが実際に受信される場合にパケットを逆に復号化することによってエラー回復に使用されてきた。ソースコード化技術によるコード化効率の妥協があり、これは所与のビットレートの復号化ビデオの品質に変換する。
(総称してMPEG−xと称される)MPEG−1,MPEG−2、MPEG−4、(総称してH.26xと称される)H.261、H.262、H.263およびH.264などのハイブリッドコード化標準は、復号器でエラーを取り扱う主要方法としてビットストリームにおいて再同期ポイントを使用する。
初期破損を上回るデータ損失をもたらす恐れのあるもう1つの理由は、不正確なコードワードエミュレーションによるものである。初期ビットエラー位置の識別は簡単なタスクではなく、MAC層や物理層コンポーネントにおけるビットエラー位置の識別をサポートする特殊設計なしでは通常不可能である。ゆえに、ビットストリーム破損を検出すると、復号器は、次の再同期ポイントを発見するためのビットストリームにおいて、また相当量の潜在的に健全なデータを必ずスキップするプロセスにおいて復号化を停止して進まなければならない場合がある。オリジナルと同じ長さの異なるコードワード、つまり真正なコードワードのエミュレーションは上記イベント系列に対して問題がないように見えるが、これは実際にはそうではない。この種のエラーが復号器の正確なビットストリーム解釈の不具合をもたらす場合が多数ある。例えば、最新コードにおいては、その値がビットストリームの後続部分の構文に影響するビットストリーム(圧縮関連パラメータ)に複数のオブジェクトがある。ゆえに、このようなオブジェクトの不正確な値は不正確なビットストリーム解釈をもたらす恐れがある。
ハイブリッドコード化標準で一般的に使用される可変パケット長ゆえに、可変長パケットを復号化するのに必要な情報(例えば、パケット長および/または同期情報)は、ビットストリームを適切に復号化するために復号装置に送信されなければならない。共通のトランスポートプロトコルは、この必要な可変パケット長および/または同期情報を配信するための種々の層のヘッダー情報(例えば、トランスポート層ヘッダーおよび/または同期層ヘッダー)に左右されるため、ソース復号器は誤りビットストリームを取り扱う能力が制限されており、パケットのドロップおよび再同期化は最も一般的な解決策である。同期損失および不正確なコードワードエミュレーションなどの問題ゆえにエラー伝搬およびデータ損失につながるビットエラーを取り扱うための改良された方法が必要とされる。
マルチメディアデータを処理するための方法が提供される。該方法は、該マルチメディアデータを受信することと、該マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成することとを含む。一部の態様では、該方法はさらに、該マルチメディアデータを送信することと、該ディレクトリを送信することとを含む。
マルチメディアデータを処理するためのプロセッサが提供される。該プロセッサは、該マルチメディアデータを受信し、該マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成するように構成されている。一部の態様では、該プロセッサはまた、該マルチメディアデータを送信し、かつ該ディレクトリを送信するように構成されている。
マルチメディアデータを処理するための装置が提供される。該装置は、該マルチメディアデータを受信する受信機と、該マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成する生成器とを含む。一部の態様では、該装置はまた、該マルチメディアデータおよび該ディレクトリを送信する送信機を含む。
マルチメディアデータを処理するための装置が提供される、該装置は、該マルチメディアデータを受信する手段と、該マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成する手段とを含む。一部の態様では、該装置はまた、該マルチメディアデータおよび該ディレクトリを送信する手段を含む。
マルチメディアデータを処理するための方法を具現化するコンピュータ読み取り可能な媒体が提供される。該方法は、該マルチメディアデータを受信することと、該マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成することとを含む。一部の態様では、該方法はまた、該マルチメディアデータを送信することと、該ディレクトリを送信することとを含む。
マルチメディアデータを処理するための方法が提供される。該方法は、マルチメディアデータストリームを受信することと、該マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信することとを含む。一部の態様では、該方法はまた、該ディレクトリを使用して該マルチメディアデータストリームの一部を復号化することを含む。
マルチメディアデータを処理するためのプロセッサが提供される。該プロセッサは、マルチメディアデータストリームを受信し、かつ該マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信するように構成されている。一部の態様では、該プロセッサはまた、該ディレクトリを使用して該マルチメディアデータストリームの一部を復号化するように構成されている。
マルチメディアデータを処理するための装置が提供される。該装置は、マルチメディアデータストリームを受信し、かつ該マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信する受信機と、該受信されたディレクトリの少なくとも一部を記憶するメモリとを含む。一部の態様では、該装置はまた、該ディレクトリを使用して該マルチメディアデータストリームの少なくとも一部を復号化する復号器を含む。
マルチメディアデータを処理するための装置が提供される。該装置は、マルチメディアデータストリームを受信し、かつ該マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信する手段と、該ディレクトリの少なくとも一部を記憶する手段とを含む。一部の態様では、該装置はまた、該ディレクトリを使用して該マルチメディアデータストリームの少なくとも一部を復号化する手段を含む。
マルチメディアデータを処理するための方法を具現化するコンピュータ読み取り可能な媒体が提供される。該方法は、マルチメディアデータストリームを受信することと、該マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信することとを含む。一部の態様では、該方法はまた、該ディレクトリを使用して該マルチメディアデータストリームの一部を復号化することを含む。
ストリーミングビデオを配信するための通信システムの一例の図である。 図1の符号器デバイス105および復号器デバイス110にタスクを分割するのに使用される多層プロトコルスタックの一例のブロック図である。 ストリーミングマルチメディアデータを処理するための方法の一例を図示するフロー図である。 多層パケット化スキームの一例の図である。 ストリーミングマルチメディアデータを処理するための方法の一例を図示するフロー図である。 マルチメディアデータを処理するための装置の一例を図示するブロック図を示している。 マルチメディアデータを処理するための装置の別の例を図示するブロック図を示している。
マルチメディアデータストリームを復号化する際のパケットエラー耐性を改良するための方法および装置について説明する。符号器デバイスは、マルチメディアデータストリームの1つ以上の層(例えば、トランスポート層および/または同期層)に含有されている種々のパケットと関連したヘッダー情報を識別可能である。ヘッダー情報はパケットサイズ、パケット番号、パケット内の別のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレートあるいは1グループのパケットにおける関連パケット数を含むことがある。ヘッダー情報のディレクトリが生成されて、復号器に送信されて、データストリーム内のオリジナルヘッダー情報の一部が送信中に失われたり、エラー受信されたりする場合に使用される。一部の態様では、ヘッダー情報を含むディレクトリは、オリジナルヘッダーを含むデータパケットが送信される通信リンク以外のチャネルなどの通信リンクで送信される。従って、ディレクトリを受信する復号器は、受信されたマルチメディアデータストリームにおけるデータパケットを検索するためにヘッダー情報を使用してもよい。誤りパケットが復号器によって受信される場合には、復号器は、失われたデータの回復を容易にするためにディレクトリヘッダー情報を使用してもよい。以下の説明では、実施形態の徹底した理解を提供するための具体的な詳細が与えられる。しかしながら、実施形態はこれらの具体的な詳細なしに実践可能であることが当業者に理解されるであろう。例えば、電気コンポーネントは、不必要な詳細によって実施形態を妨害しないように、ブロック図に示されてもよい。他の例では、このようなコンポーネントや他の構造および技術が、実施形態をさらに説明するために詳細に示されてもよい。個別ブロックで示されている電気コンポーネントは再配列、および/または1つのコンポーネントに結合されてもよいことが当業者に理解されるであろう。
一部の実施形態は、フローチャート、フロー図、構造図またはブロック図で示されているプロセスとして説明されてもよい点に注目する。フローチャートは順次プロセスとして動作を説明してもよいが、動作の多くは平行してつまり同時に実行可能であり、またプロセスは反復可能である。加えて、動作の順序は並べ替えられてもよい。プロセスは、この動作が完了されると終了される。プロセスは、方法、機能、手順、サブルーチン、サブプログラムなどに相当することもある。プロセスが機能に相当する場合、この終了は、呼び出し機能やメイン機能への機能のリターンに相当する。
図1は、ストリーミングビデオを配信するための通信システムの一例の図である。システム100は符号器デバイス105および復号器デバイス110を含む。符号器デバイス105および復号器デバイス110などの通信デバイスは、タスクを分散させるために使用される多層プロトコルスタックを使用してもよい。符号器デバイス105および復号器デバイス110における上層コンポーネントは、例えばビデオやオーディオ符号器および/または復号器などの複数のアプリケーションを含んでもよい。一部の実施形態は、同時に復号化されることを意味する複数の情報ストリームを含むことがある。これらの場合、複数のストリームの同期タスクもまた上層コンポーネントで実行されてもよい。符号器デバイス105において、上層コンポーネントは、無線ネットワークおよび/または有線ネットワーク150で送信されるビットストリームに符号化タイミング情報を提供してもよい。復号器デバイス110において、上層コンポーネントは複数の情報ストリームを、関連アプリケーションがこれらをほぼ同時に復号化するように解析してもよい。
符号器デバイス105の下層コンポーネントはエラー耐性を提供する種々のスキームを含んでもよい。有線および/または無線ネットワーク150などのエラーが発生しやすいチャネルは、復号器デバイス110によって受信されるビットストリームにエラーを導入してしまう場合がある。下層コンポーネントに提供されたこのようなエラー耐性スキームは1つ以上のエラーコントロールコード化スキーム、インタリーブスキーム、および当業者に公知の他のスキームを含んでもよい。復号器デバイス110の下層コンポーネントは、エラーの検出および補正を可能にする、対応するエラー復号コンポーネントを含んでもよい。有線および/または無線ネットワーク150で導入されるエラーには、復号器デバイス110の下層コンポーネントによって補正可能でないものもある。補正可能でないエラーについては、符号器デバイス105の下層コンポーネントによる破損コンポーネントの再送信リクエストなどの解決策が、状況によっては実行可能ではない場合がある。
図2は、符号器デバイス105および復号器デバイス110にタスクを分割するのに使用される多層プロトコルスタックの一例のブロック図である。符号器デバイス105の上層コンポーネントはアプリケーション層206および同期層207のうちの1つ以上に分散される。符号化デバイス105の下層コンポーネントはトランスポート層216、ストリームおよび/またはメディアアクセスコントロール(MAC)層217および物理層218のうちの1つ以上に分散される。同様に、復号器デバイス110の上層コンポーネントはアプリケーション層211および同期層212のうちの1つ以上に分散される。復号器デバイス110の下層コンポーネントはトランスポート層221、ストリームおよび/またはメディアアクセスコントロール(MAC)層222および物理層223のうちの1つ以上に分散される。当業者はこれらの層について認識し、かつこれらの間での種々のタスクの割り当てについて精通している。
図1および2を参照すると、符号器デバイス105はさらにヘッダー情報識別子115と、ヘッダーディレクトリ生成器120と、マルチメディア符号器125と、メモリコンポーネント130と、プロセッサ135と、受信機/送信機140とを含む。プロセッサ135は概して、例示的符号器デバイス105の動作全体をコントロールする。
ヘッダー情報識別子コンポーネント115は、例えば種々の通信層に関連するヘッダーにおいて、マルチメディアデータのパケット化に関する情報を識別する。一部の例では、パケット化が種々のレベルで実行されて、複数のデータストリームが符号化プロセスで分解(解析)され、少なくとも部分的には、符号器の種々の層によって追加されたヘッダー情報を使用して復号中に再構築される。例えば、同期層207は、複数のタイプのパケットを同時に復号化可能な複数の復号器コンポーネントとリンクしている複数のタイプのパケットを識別するヘッダー情報を追加してもよい。同期層のヘッダー情報は、データシーケンス時間、データシーケンス期間、目的復号器コンポーネント(例えば、オーディオ、ビデオおよびクローズドキャプション)、フレーム番号、パケット番号および他の情報を識別するフィールドを含んでもよい。同期層パケットは一部の例では可変長である場合もある。これは、例えば可変長コード化スキームを含むデジタル圧縮スキームなどの種々の符号化スキームに起因する場合がある。
ヘッダー情報識別子115によって識別可能な他のタイプのパケットは、トランスポート層216で利用可能なような固定長パケットを含んでもよい。トランスポート層パケットは、種々のエラーコード化スキーム、変調スキーム、および固定長パケットを使用する他のスキームをサポートするために固定長であってもよい。トランスポートヘッダーは、単一の同期層パケットから解析されたトランスポート層パケット数を識別する情報を含有してもよい。同期層パケットが可変長である場合、データを含むのに必要なトランスポート層パケット数も可変である場合もある。
ヘッダー情報識別子115はまた、種々のパケットの、例えばビットまたはバイト単位の長さを識別するために復号器によって使用される情報を識別可能である。一部のパケットは可変長であり、また異なるソースからの固定長パケットさえも長さが異なる場合があるため、パケット長はパケットを再構築するために必要とされる場合がある。パケット長情報の性質に応じて、別のパケット内の複数のパケットの位置(例えば、同期層パケットがより大きな複数のトランスポート層パケットの位置)はまた、(例えば累積パケットサイズ情報を使用して)間接的に、または直接的に判断されてもよい。ヘッダー情報コンポーネント115によって識別される種々の形態のヘッダー情報を復号器が使用する様子に関する詳細について後述する。
ヘッダーディレクトリ生成器120は、ヘッダー情報識別子115によって識別された情報の少なくとも一部を用いて、ディレクトリを生成する。ディレクトリは、アプリケーション層206、同期層207およびトランスポート層217などの種々の層と関連したヘッダー情報を含んでもよい。エラー受信された誤りパケットのサイズの識別、再同期するために次の使用可能なパケットの識別などを含む種々のエラーからの回復の際に、情報は復号器デバイスによって使用されてもよい。ヘッダーディレクトリからのヘッダー情報は、データストリーム内の損失された、または誤ったオリジナルヘッダー情報を置換するために使用可能である。
マルチメディア符号器125は、空間ドメインから、DCT(離散コサイン変換)の場合の周波数ドメインなどの別のドメインにビデオ(またはオーディオやクローズドキャプションテキスト)データを変換および/または量子化する変換器/量子化器コンポーネントを含むサブコンポーネントを含んでもよい。マルチメディア符号器はまたエントロピー符号器コンポーネントを含むこともある。エントロピー符号器コンポーネントはコンテクスト適合可変長コード化(CAVLC)を使用してもよい。符号化データは、量子化データ、変換データ、圧縮データまたはこれらの組み合わせを含んでもよい。メモリコンポーネント130は、符号化される未加工ビデオデータ、送信される符号化ビデオデータ、ヘッダー情報、ヘッダーディレクトリ、あるいは種々の符号化コンポーネントによって操作中の中間データなどの情報を記憶するために使用される。
本例では、受信機/送信機コンポーネント140は、符号化されるデータを外部ソース145から受信するために使用される回路および/またはロジックを含む。外部ソース145は例えば、外部メモリ、インターネット、ライブビデオおよび/またはオーディオ供給であってもよく、またデータ受信は有線および/または無線通信を含むことが可能である。送信機140はまた回路および/またはロジック、例えば、符号化データをネットワーク150で送信する(Tx)送信機を含む。ネットワーク150は、電話、ケーブルおよび光ファイバなどの有線システムや無線システムの一部であってもよい。無線通信システムの場合、ネットワーク150は例えば、符号分割多重アクセス(CDMAまたはCDMA2000)通信システムの一部を備えることが可能であり、あるいはまたシステムは周波数分割多重アクセス(FDMA)システム、直交周波数分割多重アクセス(OFDMA)システム、サービス業向けのGSM(登録商標)/GPRS(汎用パケット無線サービス)/EDGE(拡張データGSM(登録商標)環境)やTETRA(地上波基幹無線)モバイル電話技術などの時分割多重アクセス(TDMA)システム、広帯域符号分割多重アクセス(WCDMA)、高データレート(1xEV−DOや1xEV−DOゴールドマルチキャスト)システム、あるいは一般的には、技術の組み合わせを用いる任意の無線通信システムであってもよい。
送信データは、ビデオ、オーディオおよび/またはクローズドキャプションなどの複数のビットストリームを含むことがある。一部の例では、送信データはまたヘッダーディレクトリの少なくとも一部を含む。一部の例では、ヘッダーディレクトリは、複数のビットストリームが送信されるチャネルとは異なるチャネル(虚または実)で送信される。
符号器デバイス105は説明目的の簡略例である点に注目すべきである。従って、図1および/または2に示されている符号器デバイス105の1つ以上の要素は省略、並べ替えおよび/または結合されてもよい。例えば、プロセッサコンポーネント135は符号器デバイス105の外部にあってもよい。
復号器デバイス110は、ヘッダー情報識別子155、パケットロケータ160、マルチメディア復号器165、メモリコンポーネント170、フラッガー(flagger)172、受信機175、プロセッサ180および解析器182を含む、符号器デバイス105と類似のコンポーネントを含む。復号器デバイス110は、ネットワーク150で、または外部記憶装置185から送信された符号化マルチメディアデータを受信する。受信機175は、ネットワーク150と関連して符号化データを受信する(Rx)ために使用される回路および/またはロジック、ならびに、外部記憶装置185から符号化データを受信するためのロジックを含む。外部記憶装置185は例えば、外部RAMまたはROM、あるいは遠隔サーバーであってもよい。マルチメディアビットストリームの受信に加えて、受信機175は、ヘッダーディレクトリ生成器120で生成されたヘッダーディレクトリを受信することができる。
マルチメディア復号器165は、受信された符号化マルチメディアビットストリームを復号化する際に使用される回路および/またはロジックを含む。マルチメディア復号器165のサブコンポーネントは、逆量子化コンポーネント、逆変換コンポーネントおよび種々のエラー回復コンポーネントを含んでもよい。正しく受信されたパケットは、アプリケーション層211の対応するコンポーネントによって復号化可能である。エラー回復コンポーネントは、(リードソロモン符号化および/またはターボコード化などの)低レベルのエラー検出および補正コンポーネント、ならびに、下層方法によって補正不可能なデータを置換および/または隠蔽するために使用される上層エラー回復および/またはエラー隠蔽を含むことがある。種々のエラー回復コンポーネントは、符号器デバイス105のヘッダーディレクトリ生成器120によって生成されたヘッダーディレクトリに含有されている情報から利点を享受することがある。マルチメディア復号器165のサブコンポーネントは、アプリケーション層211、同期層212、トランスポート層221、ストリーム/MAC層222、物理層223またはこれらの組み合わせに存在してもよい。
ヘッダー情報識別子155は、受信されたヘッダーディレクトリに含有されている情報(例えば、ヘッダー情報)を識別する際に使用される回路および/またはロジックを含む。誤りパケットが復号器デバイス110によって受信される場合、ヘッダー情報識別子155は、ビットストリームにおける後続パケットの位置を識別するために使用可能なヘッダーディレクトリにおける情報を識別する。ヘッダーディレクトリにおけるヘッダー情報はまた、誤りパケットにおける誤受信ヘッダー情報を置換したり、パケットにおける余分な誤受信ヘッダーを検索および除去したりするために使用されてもよい。パケットロケータ160は、識別されたヘッダーディレクトリ情報を使用してパケットを検索する際に使用される回路および/またはロジックを含む。一部の例では、誤った低レベルパケット(例えば、トランスポート層および/または同期層パケット)内に配置されている高次層パケット(例えば、アプリケーション層パケット)が誤りであるとフラグ付けされることがある。フラッガー172は、誤りパケットにフラグ付けする際に使用される回路および/またはロジックを含む。別の誤りパケットにおける位置ゆえに誤りと思われるパケットにフラグ付けすることによって、高次層コンポーネント(例えば、アプリケーション層コンポーネント)はエラー回復判定をしてもよい。アプリケーション層211コンポーネントは、誤ったアプリケーション層パケットを検索して種々のエラー回復動作を実行する際にヘッダーディレクトリ情報およびパケットロケータ160を使用してもよい。
複数のビットストリームは復号器デバイス110によって受信されることもあるため、誤りパケットは複数のビットストリームで検索されることもある。解析器182は、正しく受信されたパケットおよび誤りパケットを解析して、これらをマルチメディア復号器165の適切なアプリケーション層211コンポーネントに転送するために下層ならびに同期層212で使用されてもよい。加えて、必要なヘッダーディレクトリ情報もまたトランスポート層221から上層(例えば、同期層212および/またはアプリケーション層211)に転送されてもよく、エラー回復および/またはビットストリームの再同期の目的で誤りパケットの識別を可能にする。トランスポート層221は通常、上層に転送されるパケットからトランスポート層ヘッダー情報を除去する。
復号化マルチメディアデータはディスプレイコンポーネント190によって表示され、外部記憶装置185に記憶され、あるいは内部メモリコンポーネント170に記憶されることが可能である。ディスプレイコンポーネント190は復号器デバイス110の一体化部分であってもよい。ディスプレイコンポーネント190は、ディスプレイスクリーンおよび/またはスピーカーを含む、ビデオおよび/またはオーディオディスプレイハードウェアおよびロジックなどのパーツを含む。ディスプレイコンポーネント190はまた外部周辺デバイスであってもよい。本例では、受信機175はまた、復号化マルチメディアデータを外部記憶コンポーネント185やディスプレイコンポーネント190に通信するために使用されるロジックを含む。
復号器デバイス110は説明目的の簡略例である点に注目すべきである。従って、図1および/または2に示されている復号器デバイス110の1つ以上の要素は省略、並べ替えおよび/または結合されてもよい。例えば、プロセッサ180は復号器デバイス110の外部にあってもよい。
図3は、ストリーミングマルチメディアデータを処理するための方法の一例を図示するフロー図である。方法300は、エラー耐性を改良するために復号器で使用するためのヘッダー情報を備えるディレクトリを生成するための方法である。方法300は、状態305でマルチメディアデータのビットストリームを受信することによって開始する。複数のビットストリーム、例えばビデオ、オーディオおよび/またはクローズドキャプションテキストが単一のビットストリームに含まれてもよい。図1の受信機/送信機140などの受信手段は状態305でマルチメディアビットストリームを受信してもよい。
状態305でビットストリームを受信した後、この方法は、ビットストリームにおけるマルチメディアデータと関連したヘッダー情報をオプショナル状態310で識別する。上述のように、ヘッダー情報は複数の層からの情報を含んでもよい。図4は、多層パケット化スキームの一例の図を示している。本例では、アプリケーション層パケット405Aおよび405Bは固定および/または可変長パケットであってもよい。同期層は同期層ヘッダー(同期ヘッダー)410を各アプリケーション層パケット405Aおよび405Bに添付して、同期層パケット406Aおよび406Bをもたらす(図4の同期層パケット406Aおよび406Bはそれぞれ同期層ヘッダー410と、アプリケーション層パケット405Aおよび405Bとを含む)。同期層パケット406Aおよび406Bは次いでトランスポート層に入力される。本例では、トランスポート層パケットは固定長である。トランスポート層は同期層パケットを、トランスポート層パケットサイズに対応する部分に分解し、トランスポート層ヘッダー415を、得られるトランスポート層パケットに添付する。本例では、アプリケーション層パケット405Aを備える同期層パケット406Aは2つのトランスポート層パケット420Aおよび420Bに分解され、ここでパケット420Bは同期層パケット406Aの残りの部分425Bおよび同期層パケット406Bの第1の部分425Cを含む。本例では、追加のトランスポート層ヘッダー415がトランスポート層パケット420Bの部分425Cに添付され、次の同期層パケット406Bの開始に先立つ。第3のトランスポート層パケット420Dは、同期層パケット406Bの次の部分425Dを含む。
同期層ヘッダー410およびトランスポート層ヘッダー415は、復号器が同期層パケットおよびアプリケーション層パケットを再構築できるようにするための類似の情報を含むことがある。ヘッダーは、パケットサイズ、パケット番号、パケット内のヘッダー位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレートおよび/または1グループの多数の関連パケットなどの情報を含んでもよい。加えて、ヘッダー情報は、ビデオビットストリーム、オーディオビットストリームおよび/またはクローズドキャプションビットストリームに属するものとして関連パケットを識別するストリーム識別情報を含んでもよい。
図1のヘッダー情報識別子115などの識別手段は、オプショナル状態310でマルチメディアビットストリームにおけるヘッダー情報を識別することができる。
方法300は次いで、状態310で識別されたマルチメディアビットストリームにおけるヘッダー情報の少なくとも一部に基づいて、状態315でヘッダー情報ディレクトリを生成する。ディレクトリは複数の層、例えばアプリケーション層、同期層および/またはトランスポート層からのヘッダーならびに他のタイプのヘッダーに関する情報を含んでもよい。ディレクトリに含有されている情報は、誤りデータを含むビットストリームにおけるパケット境界を検索し、欠落しているヘッダー情報を置換し、および/または誤ったヘッダー情報を除去したりするために復号器によって使用可能である。
一部の例では、ヘッダー情報ディレクトリは、パケットの各々の境界を識別する情報を含有しており、パケットは任意の層(例えば、トランスポート、同期、アプリケーションまたはこれらの組み合わせ)からのものであってもよい。パケット当たりのヘッダー情報は、このヘッダーが対応する層、パケットのサイズ、このパケット内に配置された他のパケットならびに上記情報を識別することができる。他の例では、個別ディレクトリ、またはディレクトリの異なる部分は層(例えば、トランスポート層ディレクトリ、同期層ディレクトリなど)を分離するためのものであってもよい。
状態315で生成されたようなトランスポート層ディレクトリの一例について次に説明する。本例は、図4に示されている同期層とトランスポート層の関係を表している。図4に示されたような一部の例では(例えば、固定長トランスポート層パケット、つまり122バイト/パケットを有するシステム)、各トランスポート層ヘッダーは固定長(例えば、1バイト長)であり、各トランスポート層パケットの少なくとも開始時に現れる。ヘッダーのフォーマットはEND FLAGフィールドを含んでもよく、この場合END FLAGフィールドは、現在のパケットが同期層パケットの最終セグメントであれば1に、そうでなければ0に設定可能な1ビットフラグであってもよい。トランスポート層ヘッダーはまた、同期層パケットの最終セグメントによって使用されるビット数を示すことが可能なBYTE_OFFSETフィールドを含むことがある(これはまた、トランスポート層パケット420Bにおける第2のトランスポート層ヘッダー415がパケット部分425Bと425Cの間にある図4に示されるように、次のトランスポート層ヘッダーが発見される場所を示す)。トランスポート層パケットが128バイト未満である場合、7ビットBYTE_OFFSETフィールドで十分であろう。現在のトランスポート層パケットに追加トランスポートヘッダーがなければ、BYTE_OFFSETフィールドはトランスポート層パケットの長さに設定されてもよい。
このトランスポートヘッダー情報によって生成されたディレクトリは表1に列挙されているフィールドを含んでもよい。
Figure 0005296123
NUMBER_OF_PACKETSフィールドは、ヘッダーディレクトリメッセージによってカバーされるビットストリームで送信されるパケット数、つまりPACKET_OFFSETおよびBYTE_OFFSETの後続レコードを表している。PACKET_OFFSETフィールドエントリはパケットグループにおける次のパケットを指す。PACKET_OFFSETは、パケットの終了境界へのバイトまたはビット数、あるいは他のデータユニット数であってもよい。BYTE_OFFSETフィールドは、図4のトランスポート層パケット部分425Aと425C間のトランスポート層ヘッダー415などのパケット内の余分なトランスポート層ヘッダーを検索するために使用される。本例では、BYTE_OFFSETの有効範囲は1乃至121である。2つ以上の余分なトランスポート層ヘッダーが単一のトランスポート層パケット内で生じる場合、単一のパケット内のBYTE_OFFSETエントリ数を定義する別のフィールドが使用可能である。一部の例では、PACKET_OFFSETおよび/またはBYTE_OFFSET値は累積的であり、すべての事前アドバンスを含む最後に検索されたパケットヘッダー位置から、ビットストリームのアドバンスまでの距離を表す。
フィールドのサイズは事前設定されても、可変的であってもよい。例えば、NUMBER_OF_PACKETSフィールドは1バイトに制限されることがあるが、この場合1グループ最大255個の連番パケットが、フィールドが反復する前に表されてもよい。従って、255個を超すトランスポート層パケットが(図4に示されている例示的解析を使用する)単一の同期層パケットのデータに適合するために必要とされることがある場合、より多くのビットが必要とされることがある。ディレクトリは、所定のグループの関連パケットについて、表1に示されているようなエントリセットのうちの1つを含んでもよい。例えば、表1の情報によって表されている各パケットは、フレームやスライスなどの1グループのビデオデータに含まれてもよい。また、オーディオやクローズドキャプションビットストリームは、類似のフィールドを含む個別ディレクトリを有してもよい。
固定トランスポート層ヘッダーを有するこのような例において、上層コンポーネント(例えば、同期層および/またはアプリケーション層)は、配信中のヘッダーをストリップして、これに応じてヘッダーディレクトリにおけるPACKET_OFFSETおよびBYTE_OFFSETエントリを調整するためにこの既知の固定ヘッダーサイズを使用することができる。
状態315で生成される同期層ヘッダーディレクトリの一例について次に説明する。本例では、単一の同期層パケット(例えば、同期層ヘッダー410およびアプリケーション層パケット405A)は1フレームのデータのビデオ、オーディオおよび/またはクローズドキャプションデータを含む。他の分割データグループ(例えば、フレームの一部)もまた同期層パケットに含まれてもよい。同期層ヘッダーディレクトリは、上記表1に列挙されているものに類似のフィールドを含むことができる。本例では、しかしながら、パケットおよび関連ヘッダーは同期層パケットおよびヘッダーを表している。同期層パケットは、ブロックとも称される(トランスポートヘッダーがストリップされている)多数のトランスポート層パケットからなる。同期層ヘッダーディレクトリフィールドの一例が表2に列挙されている。
Figure 0005296123
NUMBER_OF_PACKETSフィールドは、BLOCK_OFFSETおよびBYTE_OFFSETの後続レコードによってカバーされるトランスポート層パケット数を表している。加えて、NUMBER_OF_PACKETSフィールドもまた、同時に表示されるビデオ、オーディオおよび/またはクローズドキャプションデータのフレームにおけるトランスポート層パケット数を表している。トランスポート層パケットのサイズが固定である例において、アドバンスへのビット数は、本例のように、パケット数を特定することによって分かる。BLOCK_OFFSETフィールドは、カバーされている同期層パケットグループにおける次の同期層パケット(および、本例では次のマルチメディアフレーム)を指している。1グループの同期層パケットは所定数のフレームであってもよい。BLOCK_OFFSETはまた多数のバイトまたはビットであっても、他の数のデータユニットであってもよい。BYTE_OFFSETフィールドは、図4に示されているトランスポート層パケット420Bに含まれている(同期ヘッダー410およびアプリケーション層パケット405Bを含む)第2の同期層パケット406Bの開始を備える部分425Cなどのトランスポート層パケット内に生じる場合に、次の同期層パケットの開始を検索するために使用される。一部の例では、BLOCK_OFFSET値は累積的であり、すべての事前アドバンスを含む最後に検索されたブロック位置から、ビットストリームにおけるアドバンスまでのトランスポート層パケット数を表している。
フィールドのサイズは事前設定されても、可変的でもよい。例えば、NUMBER_OF_PACKETSフィールドは1バイトに制限されることがあるが、この場合、1グループ最大255個の連番トランスポート層パケットが、フィールドが反復する前に表されてもよい。従って、255個を超すトランスポート層パケットが、(図4に示されている例示的解析を使用して)単一の同期層パケットのデータに適合するために必要とされる場合、より多くのビットが必要とされることがある。ディレクトリは、所定のグループの関連パケットに対して、表1に示されているような複数のエントリセットのうちの1つを含有してもよい。例えば、表1の情報によって表されている各パケットは、フレームやスライスなどの1グループのビデオデータに含まれてもよい。また、オーディオやクローズドキャプションビットストリームは、類似のフィールドを含む個別ディレクトリを有してもよい。
表2に含有されているデータに加えて、同期層ヘッダーディレクトリ、または表2のヘッダーディレクトリ情報を含むメッセージはまた、表3に列挙されている同期層ヘッダーディレクトリフィールドのうちの1つ以上を含んでもよい。
Figure 0005296123
図1に示されているヘッダーディレクトリ生成器などの生成手段は状態315においてヘッダー情報ディレクトリを生成してもよい。
方法300は、マルチメディアデータストリームが送信されるオプショナル状態320へと継続する。図1と関連して上述されたように、マルチメディアデータは有線および/または無線ネットワーク150で送信されてもよい。本例では、ヘッダーディレクトリはオプショナル状態325で送信される。一部の例では、状態320でのマルチメディアデータの送信および状態325でのヘッダーディレクトリの送信は別個のチャネルで実行される。これは、異なるエラー保護レベルを提供したりチャネルダイバーシティを提供したりするために実行されてもよく、このことは受信機におけるエラー耐性を改良することができる。一部の例では、マルチメディアデータストリームやヘッダーディレクトリの一方または両方が仮想チャネルで(それぞれ状態320または325で)送信可能である。仮想チャネルは、マルチメディアデータおよびヘッダーディレクトリに対して個別調整可能なエラー保護を提供する自由度を提供することができる。図1に示されている受信機/送信機140などの送信手段は、オプショナル状態320でマルチメディアデータストリームを送信し、ならびにオプショナル状態325でヘッダーディレクトリを送信してもよい。
図3に示されているフローチャートに図示されているブロックのうちのいずれか1つは省略、並べ替え、または1つ以上の他のブロックと結合されてもよい点に注目すべきである。
図5は、ストリーミングマルチメディアデータを処理するための方法の一例を図示するフロー図である。方法500は、図1に示されている復号器デバイス110によって実行可能である。方法500は、復号器デバイス110のエラー耐性を改良するための、上記方法300を使用して生成されたヘッダー情報ディレクトリの使用を図示している。復号器デバイス110は状態505で、ビデオ、オーディオおよび/またはクローズドキャプションデータを備えるマルチメディアデータストリームを受信する。データは上記のように符号化されてもよく、ここで符号化データは量子化データ、変換データ、圧縮データおよびこれらの組み合わせを含む。マルチメディアデータはパケット化データを含んでもよく、ここでパケット化は複数のレベルで実行可能である。図1に示されている受信機175などの受信手段は状態505でマルチメディアデータを受信してもよい。
復号器デバイス110はまた、状態510でヘッダー情報ディレクトリを受信する。ヘッダー情報ディレクトリは、上記表1、2および3に示され、かつ説明されているフィールドのうちの1つ以上を含むメッセージに含有されてもよい。ディレクトリは、表1に示されているようなトランスポート層ヘッダーディレクトリ、および表2および3に示されているような同期層ヘッダーディレクトリなどの個別パーツで受信されてもよい。ヘッダー情報ディレクトリは、マルチメディアデータが受信される505のと同じチャネルで受信されてもよい。ヘッダー情報ディレクトリは、マルチメディアデータが受信されたのとは異なるチャネルで受信されてもよい。一部の例では、マルチメディアデータおよびヘッダー情報ディレクトリの一方または両方は仮想チャネルで(それぞれ状態505および510で)受信可能である。ヘッダー情報ディレクトリを受信した後、ヘッダー情報ディレクトリの一部または全部は状態510でメモリに記憶されてもよい。図1に示されているメモリモジュール180や外部記憶装置モジュール185などのメモリ記憶手段は、状態510でヘッダー情報ディレクトリを記憶するために使用されてもよい。
オプショナル状態515において、マルチメディアデータを受信した後、復号器デバイス110は、ネットワーク150で送信中にビットストリームに導入されたエラーを検出および補正してもよい。当業者に公知の種々のエラー検出および補正スキームが、エラーを検出及び補正するために使用されてもよい。一部のエラーは補正不可能である場合があり、また誤りパケットをもたらすこともある。誤りパケットは、図1に示されているフラッガー172などのフラグ手段によって(例えば、パケットが誤っていることを示す値にフィールドを設定することによって)マークされてもよい。誤りパケットを誤りとしてマークすることによって、上層コンポーネントは、より容易に誤りパケットを識別して、エラー回復スキームを開始することができる。誤りパケットはまた、上層において、フラグ情報なしで誤りであると識別されることもある。
オプショナル状態520において、正確なパケットおよび誤りパケットが上層(例えば、同期層およびアプリケーション層)に転送される。マルチメディアデータのパケットの転送に加えて、ヘッダー情報ディレクトリもまた、必要ならば転送されるか、少なくとも、上層に使用可能にされる。上層に転送されたマルチメディアパケットはストリップされた1つ以上の下層ヘッダーを有することがあり、またパケットサイズに関するヘッダーディレクトリ情報は、下層ヘッダーの除去を反映するように修正されてもよい。
復号器デバイス110は状態525において、正しく受信されたマルチメディアデータパケットを復号化する。復号化は逆量子化、逆変換、圧縮解除およびこれらの組み合わせを含んでもよい。マルチメディアデータパケットは、同時に復号化および再生可能な複数のビットストリーム(例えば、ビデオ、オーディオおよび/またはクローズドキャプション)にあってもよい。誤りパケットが状態520で転送されたため、復号化はエラー回復まで遅延されてもよく、および/または復号化の再同期化が生じる可能性がある。
誤りデータに遭遇すると、ヘッダーディレクトリ情報が、誤りデータからよりうまく回復するために、(パケット境界位置を識別することによって)個々の後続パケットを識別し、また場合によっては、目的とするアプリケーション層コンポーネントを識別するために使用可能である。復号器デバイス110はオプショナル状態530において、ビットストリームの誤りパケットと関連したヘッダー情報ディレクトリに含有されているヘッダー情報を識別する。復号器デバイス110は次いで、オプショナル状態535において、例えばヘッダーディレクトリに含有されているPACKET_OFFSET情報を使用して識別パケットを検索して、ビットストリームにおける後続パケットに進む。状態530での識別は、エラーに遭遇する場合には、トランスポート層、同期層およびアプリケーション層を含む任意の層で実行可能である。
図4を参照して、(部分的トランスポート層パケット部分425Bおよび425Cを含む)第2のトランスポート層パケット420Bが誤っているとする。誤っているため、復号器は、トランスポート層パケット420Bの中間に余分なトランスポート層ヘッダー415があることを知らない場合がある。上記のように、余分なトランスポート層ヘッダー415は、同期ヘッダー410およびアプリケーション層パケット405Bを含む第2の同期層パケット406Bの開始である。ヘッダー情報ディレクトリの使用によって、余分なトランスポート層ヘッダー415の位置は、誤ったトランスポート層パケット420Bと関連したヘッダー情報レコードの(表1に示されている)BYTE_OFFSETフィールドを参照して識別可能である。トランスポート層は次いで、状態535において、余分なトランスポート層パケットヘッダーを検索して、誤ったトランスポート層パケットを解析し、トランスポート層ヘッダーをストリップして、両者とも誤りであるとフラグ付けされた2つの同期層パケットを同期層に転送する。同期層は次いで、表2および3に示されている情報を使用してアプリケーション層コンポーネントを識別して、誤ったアプリケーション層パケット405Aおよび405Bをこれらの適切なアプリケーション層コンポーネントに転送することができる。図1に示されている解析器182などの解析手段は上記の解析を実行可能である。
本例におけるように、状態530での識別は、表3に示されているSTREAM_IDなどの情報がヘッダー情報ディレクトリに含まれている場合に、少なくとも部分的に同期層で生じる可能性がある。個々のアプリケーション層パケットはフラグ付けされて、復号目的であったアプリケーションコンポーネントに転送されてもよい。他の例では、ディレクトリヘッダー情報は、状態535でのパケットのヘッダー情報および位置の識別が生じる可能性のあるアプリケーション層コンポーネントに転送されることがある(また場合によっては任意の下層ヘッダーデータの除去を反映するように調整されてもよい)。図1に示されているヘッダー情報識別子155などの識別手段は、誤りデータに続いて検索されるパケット(または複数のパケット)と関連したディレクトリヘッダー情報を識別することができる530。図1に示されているパケットロケータ160などの検索手段は、状態535において(複数の)後続パケットを検索することができる。
ディレクトリヘッダー情報を識別して、1つ以上の後続パケットを検索した後、方法500は、オプショナル状態540において誤りパケットを回復し、および/または後続パケットでの復号化を再開するためにエラー回復を実行することができる。アプリケーション層コンポーネントは、これらのエラー回復スキームを改良するために識別および検索されたパケットを利用することができる。一部の例では、識別および検索されたパケットは誤りではない場合があり、復号器は、ヘッダーディレクトリ情報を使用して取得されたパケットによって復号化を継続することができる。(可変長パケットの場合に)使用可能でないパケットの位置を単に識別できるということは、誤っているビットストリームのエリアを識別するために使用可能である。これらのエリアを識別することによって、エラー回復方法は、破棄される場合もあるビットストリームの誤りエラーに続いて検索されたデータの一部を保存および/または置換することができる場合がある。
図5に示されているフローチャートに図示されているブロックのうちのいずれか1つは省略、並べ替え、または1つ以上の他のブロックと結合されてもよい点に注目すべきである。
一例は、マルチメディアデータを処理するための装置を提供する。この例示的装置は、マルチメディアデータを受信する手段と、ディレクトリを生成する手段とを含み、この場合ディレクトリは、マルチメディアデータと関連したヘッダー情報の少なくとも一部を含んでいる。マルチメディアデータを受信する手段は、図1の受信機/送信機140を備えてもよい。ディレクトリを生成する手段は、図1のヘッダーディレクトリ生成器120を備えてもよい。
一例は、マルチメディアデータを処理するための装置を提供する。この例示的装置は、マルチメディアデータストリームを受信する手段と、マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信する手段とを含む。例示的装置はまた、ディレクトリの少なくとも一部を記憶する手段を含む。受信手段は、図1の受信機175を備えてもよい。ディレクトリを記憶する手段は図1のメモリモジュール170を備えてもよい。
図6は、マルチメディアデータを処理するための装置の一例を図示するブロック図を示している。図6の例示的装置600は、マルチメディアデータを受信する手段と、ディレクトリを生成する手段とを含んでおり、この場合ディレクトリは、マルチメディアデータと関連したヘッダー情報の少なくとも一部を含む。マルチメディアデータを受信する手段は図6の受信機605を備えてもよい。ディレクトリを生成する手段は図6のヘッダーディレクトリ生成器610を備えてもよい。
図7は、マルチメディアデータを処理するための装置の一例を図示するブロック図を示している。例示的装置は、マルチメディアデータストリームを受信し、かつマルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信する手段を含む。例示的装置はまた、ディレクトリの少なくとも一部を記憶する手段を含む。受信手段は図7の受信機705を備えてもよい。ディレクトリを記憶する手段は図7のメモリ記憶装置モジュール710を備えてもよい。
上記の例は、ヘッダーおよびヘッダー情報によって示されており、ここではヘッダーはパケットの前にあるものとして描かれている。ヘッダー情報は、パケットの他の位置、あるいはパケットとは別個のビットストリームにある点に注目すべきである。
当業者は、情報および信号が様々な異なるテクノロジーおよび技術のいずれかを使用して表されてもよいことを理解するであろう。例えば、上記説明全体で参照されてもよいデータ、命令、コマンド、情報、信号、ビット、シンボルおよびチップは、電圧、電流、電磁波、磁界または磁性粒子、光学場または光学粒子、あるいはこれらの組み合わせによって表されてもよい。
当業者はさらに、本明細書に開示されている実施例と関連して説明されている種々の例示的ロジックブロック、モジュールおよびアルゴリズムステップが、電子ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコードまたはこれらの組み合わせとして具現化可能であることを認識するであろう。ハードウェアおよびソフトウェアのこの互換性を明確に図示するために、種々の例示的コンポーネント、ブロック、モジュール、回路およびステップが、概してこれらの機能性に関して上述されている。このような機能性がハードウェアまたはソフトウェアのいずれによって具現化されるかは、システム全体に及ぼされる具体的なアプリケーションおよび設計の制約に左右される。当業者は、具体的なアプリケーションごとに種々の方法で上記機能性を具現化することができるが、このような具現化決定は、開示されている方法の範囲から逸脱するものとして解釈されるべきではない。
本明細書に開示されている実施例と関連して説明されている種々の例示的ロジックブロック、コンポーネント、モジュール及び回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブルロジックデバイス、離散ゲートまたはトランジスタロジック、離散ハードウェアコンポーネント、あるいは、本明細書に説明されている機能を実行するように設計されているこれらの組み合わせによって具現化または実行されてもよい。汎用プロセッサはマイクロプロセッサであってもよいが、代替例では、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラまたは状態マシーンであってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、DSPおよびマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと関連した1つ以上のマイクロプロセッサ、あるいは他のこのような構成として具現化されてもよい。
本明細書に開示されている実施例と関連して説明されている方法やアルゴリズムのステップはハードウェアで直接、プロセッサによって実行されるソフトウェアモジュール、あるいはこれら2つの組み合わせで具現化されてもよい。ソフトウェアモジュールはRAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、あるいは当業界で公知の他の形態の記憶媒体にあってもよい。例示的記憶媒体は、プロセッサが記憶媒体から情報を読み取り、かつこれに情報を書き込めるように、プロセッサに結合されている。代替例では、記憶媒体はプロセッサと一体的であってもよい。プロセッサおよび記憶媒体は特定用途向け集積回路(ASIC)にあってもよい。ASICは無線モデムにあってもよい。代替例では、プロセッサおよび記憶媒体は無線モデムに離散コンポーネントとして存在してもよい。
開示されている実施例に関する先行の説明は、当業者が、開示されている方法および装置を作成または使用することができるようにするために提供される。これらの実施例の種々の修正は当業者には容易に明らかであり、本明細書に定義されている原理は他の実施例に適用されてもよく、またさらなる要素が追加されてもよい。
このように、マルチメディアビットストリームと関連したヘッダー情報を備えるヘッダー情報ディレクトリを生成するための方法および装置と、ヘッダー情報ディレクトリを受信および使用してマルチメディアビットストリームのエラー管理を提供するための方法および装置について説明された。
以下に他の実施形態を示す。
[1]マルチメディアデータを処理するための方法であって、
前記マルチメディアデータを受信することと、
前記マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成することとを備える方法。
[2]前記マルチメディアデータを送信することと、
前記ディレクトリを送信することとをさらに備える、[1]の方法。
[3]前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、[1]の方法。
[4]前記マルチメディアデータを送信することが、第1の通信リンクで送信することを備えており、前記ディレクトリを送信することが、第2の通信リンクで送信することを備える、[2]の方法。
[5]前記第1または第2の通信リンクが仮想チャネルを備える、[4]の方法。
[6]前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータのパケットを識別するストリーム識別情報を備える、[1]の方法。
[7]前記ディレクトリがさらに複数のレコードを備えており、レコードが、前記マルチメディアデータのパケットの位置に関する情報を備える、[1]の方法。
[8]前記ディレクトリ情報を含むメッセージを識別する情報を送信することをさらに備える、[1]の方法。
[9]マルチメディアデータを処理するためのプロセッサであって、
前記マルチメディアデータを受信し、
前記マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成するように構成されているプロセッサ。
[10]前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、[9]のプロセッサ。
[11]前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータのパケットを識別するストリーム識別情報を備える、[9]のプロセッサ。
[12]前記ディレクトリがさらに複数のレコードを備えており、レコードが、前記マルチメディアデータのパケットの位置に関する情報を備える、[9]のプロセッサ。
[13]マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信する受信機と、
前記マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成する生成器とを備える装置。
[14]前記マルチメディアデータおよび前記ディレクトリを送信する送信機をさらに備える、[13]の装置。
[15]前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、[13]の装置。
[16]前記送信機が前記マルチメディアデータを第1の通信リンクで送信し、かつ前記ディレクトリを第2の通信リンクで送信し、前記第1および第2の通信リンクが仮想チャネルを備える、[14]の装置。
[17]前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータのパケットを識別するストリーム識別情報を備える、[13]の装置。
[18]前記ディレクトリがさらに複数のレコードを備えており、レコードが、前記マルチメディアデータのパケットの位置に関する情報を備える、[13]の装置。
[19]前記送信機が、前記ディレクトリ情報を含むメッセージを識別する情報を送信する、[14]の装置。
[20]マルチメディアデータを処理するための装置であって、
前記マルチメディアデータを受信する手段と、
前記マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成する手段とを備える装置。
[21]前記マルチメディアデータおよび前記ディレクトリを送信する手段をさらに備える、[20]の装置。
[22]前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、[20]の装置。
[23]前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータのパケットを識別するストリーム識別情報を備える、[20]の装置。
[24]前記ディレクトリがさらに複数のレコードを備えており、レコードが、前記マルチメディアデータのパケットの位置に関する情報を備える、[20]の装置。
[25]前記送信手段がさらに、前記ディレクトリ情報を含むメッセージを識別する情報を送信する手段を備える、[21]の装置。
[26]マルチメディアデータを処理するための方法を具現化するコンピュータ読み取り可能な媒体であって、前記方法が、
前記マルチメディアデータを受信することと、
前記マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成することとを備えるコンピュータ読み取り可能な媒体。
[27]前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、[26]のコンピュータ読み取り可能な媒体。
[28]前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータのパケットを識別するストリーム識別情報を備える、[26]のコンピュータ読み取り可能な媒体。
[29]前記ディレクトリがさらに複数のレコードを備えており、レコードが、前記マルチメディアデータのパケットの位置に関する情報を備える、[26]のコンピュータ読み取り可能な媒体。
[30]マルチメディアデータを処理するための方法であって、
マルチメディアデータストリームを受信することと、
前記マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信することとを備える方法。
[31]前記ディレクトリを使用して前記マルチメディアデータストリームの少なくとも一部を復号化することをさらに備える、[30]の方法。
[32]前記ディレクトリがさらに複数のレコードを備えており、レコードが、前記マルチメディアデータストリームのパケットの位置に関する情報を備える、[30]の方法。
[33]前記複数の受信レコードのうちの1つ以上に基づいて前記マルチメディアデータストリームにおけるパケットを検索することをさらに備える、[32]の方法。
[34]前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、[30]の方法。
[35]前記マルチメディアデータストリームを受信することが第1の通信リンクで受信することを備えており、前記ディレクトリを受信することが第2の通信リンクで受信することを備える、[30]の方法。
[36]前記第1および第2の通信リンクが仮想チャネルを備える、[35]の方法。
[37]前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータストリームのパケットを識別するストリーム識別情報を備える、[30]の方法。
[38]前記マルチメディアデータストリームが複数のパケットを備えており、前記パケットのうちの少なくとも1つが誤っている方法であって、
前記マルチメディアデータストリームにおける前記誤りパケットに続いて検索されるパケットと関連した前記ディレクトリ情報の一部を識別することと、
前記マルチメディアデータストリームにおける前記後続パケットを検索する際にディレクトリ情報の前記識別部分を使用することとをさらに備える、[30]の方法。
[39]前記後続パケットが前記誤りパケット内にある方法であって、
前記誤りパケットから前記後続パケットを解析することと、
前記解析されたパケットを誤りであるとフラグ付けすることとをさらに備える、[38]の方法。
[40]マルチメディアデータを処理するためのプロセッサであって、
マルチメディアデータストリームを受信し、
前記マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信するように構成されているプロセッサ。
[41]前記プロセッサがさらに、前記ディレクトリを使用して前記マルチメディアデータストリームの少なくとも一部を復号化するように構成されている、[40]のプロセッサ。
[42]前記ディレクトリがさらに複数のレコードを備えており、レコードが前記マルチメディアデータストリームのパケットの位置に関する情報を備えており、また前記プロセッサがさらに、前記複数の受信レコードのうちの1つ以上に基づいて前記マルチメディアデータストリームの前記パケットのうちの1つを検索するように構成されている、[40]のプロセッサ。
[43]前記マルチメディアデータストリームが複数のパケットを備えており、前記パケットのうちの少なくとも1つが誤っているプロセッサであって、さらに、
前記マルチメディアデータストリームの前記誤りパケットに続いて検索されるパケットと関連した前記ディレクトリ情報の一部を識別し、
ディレクトリ情報の前記識別部分を使用して前記マルチメディアデータストリームの前記後続パケットを検索するように構成されている、[40]のプロセッサ。
[44]前記後続パケットが前記誤りパケット内にあるプロセッサであって、さらに、
前記誤りパケットから前記後続パケットを解析し、
前記解析されたパケットを誤りであるとフラグ付けするように構成されている、[43]のプロセッサ。
[45]マルチメディアデータを処理するための装置であって、
マルチメディアデータストリームを受信し、かつ前記マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信する受信機と、
前記受信されたディレクトリの少なくとも一部を記憶するメモリとを備える装置。
[46]前記ディレクトリを使用して前記マルチメディアデータストリームの少なくとも一部を復号化する復号器をさらに備える、[45]の装置。
[47]前記ディレクトリがさらに複数のレコードを備えており、レコードが、前記マルチメディアデータストリームのパケットの位置に関する情報を備える、[45]の装置。
[48]前記複数の受信されたレコードのうちの1つ以上に基づいて前記マルチメディアデータストリームの前記パケットのうちの1つを検索するロケータをさらに備える、[47]の装置。
[49]前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、[45]の装置。
[50]前記ディレクトリがさらに、オーディオパケット、ビデオパケット及びクローズドキャプションパケットとして前記マルチメディアデータストリームのパケットを識別するストリーム識別情報を備える、[45]の装置。
[51]前記マルチメディアデータストリームが複数のパケットを備えており、前記パケットのうちの少なくとも1つが誤っている装置であって、
前記マルチメディアデータストリームの前記誤りパケットに続いて検索されるパケットと関連した前記ディレクトリヘッダー情報の一部を識別する識別子と、
ディレクトリヘッダー情報の前記識別部分を使用して前記マルチメディアデータストリームの前記後続パケットを検索するロケータとをさらに備える、[45]の装置。
[52]前記後続パケットが前記誤りパケット内にある装置であって、
前記誤りパケットから前記後続パケットを解析する解析器と、
前記解析されたパケットを誤りであるとフラグ付けするフラッガーとをさらに備える、[51]の装置。
[53]マルチメディアデータを処理するための装置であって、
マルチメディアデータストリームを受信し、かつ前記マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信する手段と、
前記ディレクトリの少なくとも一部を記憶する手段とを備える装置。
[54]前記ディレクトリを使用して前記マルチメディアデータストリームの少なくとも一部を復号化する手段をさらに備える、[53]の装置。
[55]前記ディレクトリがさらに複数のレコードを備えており、レコードが前記マルチメディアデータストリームのパケットの位置に関する情報を備える、[53]の装置。
[56]前記複数の受信されたレコードのうちの1つ以上に基づいて前記マルチメディアデータストリームのパケットを検索する手段をさらに備える、[55]の装置。
[57]前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、[53]の装置。
[58]前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータストリームのパケットを識別するストリーム識別情報を備える、[53]の装置。
[59]前記マルチメディアデータストリームが複数のパケットを備えており、前記パケットのうちの少なくとも1つが誤っている装置であって、
前記マルチメディアデータストリームの前記誤りパケットに続いて検索されるパケットと関連した前記ディレクトリ情報の一部を識別する手段と、
ディレクトリ情報の前記識別部分を使用して前記マルチメディアデータストリームの前記後続パケットを検索する手段とをさらに備える、[53]の装置。
[60]前記後続パケットが前記誤りパケット内にある装置であって、
前記誤りパケットから前記後続パケットを解析する手段と、
前記解析されたパケットを誤りであるとフラグ付けする手段とをさらに備える、[59]の装置。
[61]マルチメディアデータを処理するための方法を具現化するコンピュータ読み取り可能な媒体であって、前記方法が、
マルチメディアデータストリームを受信することと、
前記マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信することとを備えるコンピュータ読み取り可能な媒体。
[62]前記方法がさらに、前記ディレクトリを使用して前記マルチメディアデータストリームの少なくとも一部を復号化することを備える、[61]のコンピュータ読み取り可能な媒体。
[63]前記ディレクトリがさらに複数のレコードを備えており、レコードが前記マルチメディアデータストリームのパケットの位置に関する情報を備えており、前記方法がさらに、前記複数の受信されたレコードのうちの1つ以上に基づいて前記マルチメディアデータストリームのパケットを検索することを備える、[61]のコンピュータ読み取り可能な媒体。
[64]前記マルチメディアデータストリームが複数のパケットを備えており、前記パケットのうちの少なくとも1つが誤っており、前記方法がさらに、
前記マルチメディアデータストリームの前記誤りパケットに続いて検索されるパケットと関連した前記ディレクトリ情報の一部を識別することと、
前記マルチメディアデータストリームの前記後続パケットを検索する際にディレクトリ情報の前記識別部分を使用することとを備える、[61]のコンピュータ読み取り可能な媒体。
[65]前記後続パケットが前記誤りパケット内にあり、前記方法がさらに、
前記誤りパケットから前記後続パケットを解析することと、
前記解析されたパケットを誤りであるとフラグ付けすることとを備える、[64]のコンピュータ読み取り可能な媒体。

Claims (47)

  1. マルチメディアデータを処理するための方法であって、
    前記マルチメディアデータを受信することと、
    前記マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成することと、ここにおいて、前記ディレクトリがさらに複数のレコードを備えており、レコードが、前記マルチメディアデータのパケットの位置に関する情報を備え、前記複数の受信レコードのうちの1つ以上に基づいて前記メルチメディアデータストリームにおけるパケットを検索することと、
    を具備し、
    前記ディレクトリは、多層プロトコルスタックを構成するアプリケーション層、同期層、およびトランスポート層のうちの少なくとも2以上の層ディレクトリを備え、前記2以上の層ディレクトリの各々は前記マルチメディアデータパケットの位置に関する情報を備え、前記2以上のディレクトリの1つ以上に基づいて前記マルチメディアデータにおけるパケットを検索する、
    方法。
  2. 前記マルチメディアデータを送信することと、
    前記ディレクトリを送信することとをさらに備える、請求項1に記載の方法。
  3. 前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、請求項1に記載の方法。
  4. 前記マルチメディアデータを送信することが、第1の通信リンクで送信することを備えており、前記ディレクトリを送信することが、第2の通信リンクで送信することを備える、請求項2に記載の方法。
  5. 前記第1または第2の通信リンクが仮想チャネルを備える、請求項4に記載の方法。
  6. 前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータのパケットを識別するストリーム識別情報を備える、請求項1に記載の方法。
  7. 前記ディレクトリ情報を含むメッセージを識別する情報を送信することをさらに備える、請求項1に記載の方法。
  8. マルチメディアデータを処理するためのプロセッサであって、
    前記マルチメディアデータを受信し、
    前記マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成するように構成されているプロセッサ、ここにおいて、前記ディレクトリがさらに複数のレコードを備えており、レコードが、前記マルチメディアデータのパケットの位置に関する情報を備え、前記複数の受信レコードのうちの1つ以上に基づいて前記マルチメディアデータストリームにおけるパケットを検索する、ここにおいて、前記ディレクトリは、多層プロトコルスタックを構成するアプリケーション層、同期層、およびトランスポート層のうちの少なくとも2以上の層ディレクトリを備え、前記2以上の層ディレクトリの各々は前記マルチメディアデータパケットの位置に関する情報を備え、前記2以上のディレクトリの1つ以上に基づいて前記マルチメディアデータにおけるパケットを検索する、
    プロセッサ。
  9. 前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、請求項8に記載のプロセッサ。
  10. 前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータのパケットを識別するストリーム識別情報を備える、請求項8に記載のプロセッサ。
  11. マルチメディアデータを処理するための装置であって、
    前記マルチメディアデータを受信する受信機と、
    前記マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成する生成器と、ここにおいて、前記ディレクトリがさらに複数のレコードを備えており、レコードが、前記マルチメディアデータのパケットの位置に関する情報を備え、前記複数の受信レコードのうちの1つ以上に基づいて前記マルチメディアストリームにおけるパケットを検索する、ここにおいて、前記ディレクトリは、多層プロトコルスタックを構成するアプリケーション層、同期層、およびトランスポート層のうちの少なくとも2以上の層ディレクトリを備え、前記2以上の層ディレクトリの各々は前記マルチメディアデータパケットの位置に関する情報を備え、前記2以上のディレクトリの1つ以上に基づいて前記マルチメディアデータにおけるパケットを検索する、
    装置。
  12. 前記マルチメディアデータおよび前記ディレクトリを送信する送信機をさらに備える、請求項11に記載の装置。
  13. 前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、請求項11に記載の装置。
  14. 前記送信機が前記マルチメディアデータを第1の通信リンクで送信し、かつ前記ディレクトリを第2の通信リンクで送信し、前記第1および第2の通信リンクが仮想チャネルを備える、請求項12に記載の装置。
  15. 前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータのパケットを識別するストリーム識別情報を備える、請求項11に記載の装置。
  16. 前記送信機が、前記ディレクトリ情報を含むメッセージを識別する情報を送信する、請求項12に記載の装置。
  17. マルチメディアデータを処理するための装置であって、
    前記マルチメディアデータを受信する手段と、
    前記マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成する手段と、ここにおいて、前記ディレクトリがさらに複数のレコードを備えており、レコードが、前記マルチメディアデータのパケットの位置に関する情報を備え、前記複数の受信レコードのうちの1つ以上に基づいて前記マルチ目ディストリームにおけるパケットを検索する、ここにおいて、前記ディレクトリは、多層プロトコルスタックを構成するアプリケーション層、同期層、およびトランスポート層のうちの少なくとも2以上の層ディレクトリを備え、前記2以上の層ディレクトリの各々は前記マルチメディアデータパケットの位置に関する情報を備え、前記2以上のディレクトリの1つ以上に基づいて前記マルチメディアデータにおけるパケットを検索する、
    装置。
  18. 前記マルチメディアデータおよび前記ディレクトリを送信する手段をさらに備える、請求項17に記載の装置。
  19. 前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、請求項17に記載の装置。
  20. 前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータのパケットを識別するストリーム識別情報を備える、請求項17に記載の装置。
  21. 前記送信手段がさらに、前記ディレクトリ情報を含むメッセージを識別する情報を送信する手段を備える、請求項18に記載の装置。
  22. マルチメディアデータを処理するための方法を具現化するコンピュータ読み取り可能な記録媒体であって、前記方法が、
    前記マルチメディアデータを受信することと、
    前記マルチメディアデータと関連したヘッダー情報の少なくとも一部を備えるディレクトリを生成することとを備え、
    前記ディレクトリは、多層プロトコルスタックを構成するアプリケーション層、同期層、およびトランスポート層のうちの少なくとも2以上の層ディレクトリを備え、前記2以上の層ディレクトリの各々は前記マルチメディアデータパケットの位置に関する情報を備え、前記2以上のディレクトリの1つ以上に基づいて前記マルチメディアデータにおけるパケットを検索する、コンピュータ読み取り可能な記録媒体。
  23. 前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、請求項22に記載のコンピュータ読み取り可能な記録媒体。
  24. 前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータのパケットを識別するストリーム識別情報を備える、請求項22に記載のコンピュータ読み取り可能な記録媒体。
  25. 前記ディレクトリがさらに複数のレコードを備えており、レコードが、前記マルチメディアデータのパケットの位置に関する情報を備える、請求項22に記載のコンピュータ読み取り可能な記録媒体。
  26. マルチメディアデータを処理するための方法であって、
    マルチメディアデータストリームを受信することと、
    前記マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信することと、ここにおいて、前記ディレクトリがさらに複数のレコードを備えており、レコードが、前記マルチメディアデータストリームのパケットの位置に関する情報を備える、
    前記複数の受信レコードのうちの1つ以上に基づいて前記マルチメディアデータストリームにおけるパケットを検索することと、
    を具備し、
    前記ディレクトリは、多層プロトコルスタックを構成するアプリケーション層、同期層、およびトランスポート層のうちの少なくとも2以上の層ディレクトリを備え、前記2以上の層ディレクトリの各々は前記マルチメディアデータパケットの位置に関する情報を備え、前記2以上のディレクトリの1つ以上に基づいて前記マルチメディアデータにおけるパケットを検索する、方法。
  27. 前記ディレクトリを使用して前記マルチメディアデータストリームの少なくとも一部を復号化することをさらに備える、請求項26に記載の方法。
  28. 前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、請求項26に記載の方法。
  29. 前記マルチメディアデータストリームを受信することが第1の通信リンクで受信することを備えており、前記ディレクトリを受信することが第2の通信リンクで受信することを備える、請求項26に記載の方法。
  30. 前記第1および第2の通信リンクが仮想チャネルを備える、請求項29に記載の方法。
  31. 前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータストリームのパケットを識別するストリーム識別情報を備える、請求項26に記載の方法。
  32. 前記マルチメディアデータストリームが複数のパケットを備えており、前記パケットのうちの少なくとも1つが誤っている方法であって、
    前記マルチメディアデータストリームにおける前記誤りパケットに続いて検索されるパケットと関連した前記ディレクトリ情報の一部を識別することと、
    前記マルチメディアデータストリームにおける前記後続パケットを検索する際にディレクトリ情報の前記識別部分を使用することとをさらに備える、請求項26に記載の方法。
  33. 前記後続パケットが前記誤りパケット内にある方法であって、
    前記誤りパケットから前記後続パケットを解析することと、
    前記解析されたパケットを誤りであるとフラグ付けすることとをさらに備える、請求項32に記載の方法。
  34. マルチメディアデータを処理するためのプロセッサであって、
    マルチメディアデータストリームを受信し、
    前記マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信するように構成されているプロセッサ、ここにおいて、前記ディレクトリがさらに複数のレコードを備えており、レコードが前記マルチメディアデータストリームのパケットの位置に関する情報を備えており、また前記プロセッサがさらに、前記複数の受信レコードのうちの1つ以上に基づいて前記マルチメディアデータストリームの前記パケットのうちの1つを検索するように構成されている、ここにおいて、前記ディレクトリは、多層プロトコルスタックを構成するアプリケーション層、同期層、およびトランスポート層のうちの少なくとも2以上の層ディレクトリを備え、前記2以上の層ディレクトリの各々は前記マルチメディアデータパケットの位置に関する情報を備え、前記2以上のディレクトリの1つ以上に基づいて前記マルチメディアデータにおけるパケットを検索する、プロセッサ。
  35. 前記プロセッサがさらに、前記ディレクトリを使用して前記マルチメディアデータストリームの少なくとも一部を復号化するように構成されている、請求項34に記載のプロセッサ。
  36. 前記マルチメディアデータストリームが複数のパケットを備えており、前記パケットのうちの少なくとも1つが誤っているプロセッサであって、さらに、
    前記マルチメディアデータストリームの前記誤りパケットに続いて検索されるパケットと関連した前記ディレクトリ情報の一部を識別し、
    ディレクトリ情報の前記識別部分を使用して前記マルチメディアデータストリームの前記後続パケットを検索するように構成されている、請求項34に記載のプロセッサ。
  37. 前記後続パケットが前記誤りパケット内にあるプロセッサであって、さらに、
    前記誤りパケットから前記後続パケットを解析し、
    前記解析されたパケットを誤りであるとフラグ付けするように構成されている、請求項36に記載のプロセッサ。
  38. マルチメディアデータを処理するための装置であって、
    マルチメディアデータストリームを受信し、かつ前記マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信する手段と、
    前記ディレクトリの少なくとも一部を記憶する手段と、ここにおいて、前記ディレクトリがさらに複数のレコードを備えており、レコードが前記マルチメディアデータストリームのパケットの位置に関する情報を備える、
    前記複数の受信されたレコードのうちの1つ以上に基づいて前記マルチメディアデータストリームのパケットを検索する手段と、
    を具備する、ここにおいて、前記ディレクトリは、多層プロトコルスタックを構成するアプリケーション層、同期層、およびトランスポート層のうちの少なくとも2以上の層ディレクトリを備え、前記2以上の層ディレクトリの各々は前記マルチメディアデータパケットの位置に関する情報を備え、前記2以上のディレクトリの1つ以上に基づいて前記マルチメディアデータにおけるパケットを検索する、装置。
  39. 前記ディレクトリを使用して前記マルチメディアデータストリームの少なくとも一部を復号化する手段をさらに備える、請求項38に記載の装置。
  40. 前記ヘッダー情報が、パケットサイズ、パケット番号、パケット内のヘッダーの位置、データシーケンス時間、データシーケンス期間、フレーム時間、フレーム番号、ランダムアクセスポイントフラグ、フレームレート、および1グループの多数の関連パケットのうちの1つ以上を備える、請求項38に記載の装置。
  41. 前記ディレクトリがさらに、オーディオパケット、ビデオパケットおよびクローズドキャプションパケットのうちの少なくとも1つとして前記マルチメディアデータストリームのパケットを識別するストリーム識別情報を備える、請求項38に記載の装置。
  42. 前記マルチメディアデータストリームが複数のパケットを備えており、前記パケットのうちの少なくとも1つが誤っている装置であって、
    前記マルチメディアデータストリームの前記誤りパケットに続いて検索されるパケットと関連した前記ディレクトリ情報の一部を識別する手段と、
    ディレクトリ情報の前記識別部分を使用して前記マルチメディアデータストリームの前記後続パケットを検索する手段とをさらに備える、請求項38に記載の装置。
  43. 前記後続パケットが前記誤りパケット内にある装置であって、
    前記誤りパケットから前記後続パケットを解析する手段と、
    前記解析されたパケットを誤りであるとフラグ付けする手段とをさらに備える、請求項42に記載の装置。
  44. マルチメディアデータを処理するための方法を具現化するコンピュータ読み取り可能な記録媒体であって、前記方法が、
    マルチメディアデータストリームを受信することと、
    前記マルチメディアデータストリームと関連したヘッダー情報の少なくとも一部を備えるディレクトリを受信することと、ここにおいて、前記ディレクトリがさらに複数のレコードを備えており、レコードが前記マルチメディアデータストリームのパケットの位置に関する情報を備えており、前記方法がさらに、前記複数の受信されたレコードのうちの1つ以上に基づいて前記マルチメディアデータストリームのパケットを検索することを備える、
    とを具備し、
    前記ディレクトリは、多層プロトコルスタックを構成するアプリケーション層、同期層、およびトランスポート層のうちの少なくとも2以上の層ディレクトリを備え、前記2以上の層ディレクトリの各々は前記マルチメディアデータパケットの位置に関する情報を備え、前記2以上のディレクトリの1つ以上に基づいて前記マルチメディアデータにおけるパケットを検索する、コンピュータ読み取り可能な記録媒体。
  45. 前記方法がさらに、前記ディレクトリを使用して前記マルチメディアデータストリームの少なくとも一部を復号化することを備える、請求項44に記載のコンピュータ読み取り可能な記録媒体。
  46. 前記マルチメディアデータストリームが複数のパケットを備えており、前記パケットのうちの少なくとも1つが誤っており、前記方法がさらに、
    前記マルチメディアデータストリームの前記誤りパケットに続いて検索されるパケットと関連した前記ディレクトリ情報の一部を識別することと、
    前記マルチメディアデータストリームの前記後続パケットを検索する際にディレクトリ情報の前記識別部分を使用することとを備える、請求項44に記載のコンピュータ読み取り可能な記録媒体。
  47. 前記後続パケットが前記誤りパケット内にあり、前記方法がさらに、
    前記誤りパケットから前記後続パケットを解析することと、
    前記解析されたパケットを誤りであるとフラグ付けすることとを備える、請求項46に記載のコンピュータ読み取り可能な記録媒体。
JP2011045097A 2005-05-13 2011-03-02 帯域外ディレクトリ情報を使用するエラー耐性の改良 Active JP5296123B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US68080905P 2005-05-13 2005-05-13
US60/680,809 2005-05-13
US78945406P 2006-04-04 2006-04-04
US60/789,454 2006-04-04

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008511471A Division JP2008546231A (ja) 2005-05-13 2006-05-15 帯域外ディレクトリ情報を使用するエラー耐性の改良

Publications (2)

Publication Number Publication Date
JP2011135609A JP2011135609A (ja) 2011-07-07
JP5296123B2 true JP5296123B2 (ja) 2013-09-25

Family

ID=37432019

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008511471A Withdrawn JP2008546231A (ja) 2005-05-13 2006-05-15 帯域外ディレクトリ情報を使用するエラー耐性の改良
JP2011045097A Active JP5296123B2 (ja) 2005-05-13 2011-03-02 帯域外ディレクトリ情報を使用するエラー耐性の改良

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2008511471A Withdrawn JP2008546231A (ja) 2005-05-13 2006-05-15 帯域外ディレクトリ情報を使用するエラー耐性の改良

Country Status (8)

Country Link
US (1) US8976858B2 (ja)
EP (1) EP1882343B1 (ja)
JP (2) JP2008546231A (ja)
KR (1) KR100926017B1 (ja)
DK (1) DK1882343T3 (ja)
ES (1) ES2739006T3 (ja)
HU (1) HUE045392T2 (ja)
WO (1) WO2006124854A2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724658B1 (en) 2005-08-31 2010-05-25 Chelsio Communications, Inc. Protocol offload transmit traffic management
US7660306B1 (en) 2006-01-12 2010-02-09 Chelsio Communications, Inc. Virtualizing the operation of intelligent network interface circuitry
US7706328B2 (en) 2006-01-04 2010-04-27 Qualcomm Incorporated Methods and apparatus for position location in a wireless network
JP4912075B2 (ja) * 2006-08-11 2012-04-04 パナソニック株式会社 復号装置
US8935406B1 (en) 2007-04-16 2015-01-13 Chelsio Communications, Inc. Network adaptor configured for connection establishment offload
US8589587B1 (en) * 2007-05-11 2013-11-19 Chelsio Communications, Inc. Protocol offload in intelligent network adaptor, including application level signalling
US8060644B1 (en) 2007-05-11 2011-11-15 Chelsio Communications, Inc. Intelligent network adaptor with end-to-end flow control
US20090028100A1 (en) * 2007-07-25 2009-01-29 Qualcomm Incorporated Methods and apparatus for transmitter identification in a wireless network
US8230125B2 (en) * 2007-10-30 2012-07-24 Mediatek Inc. Methods for reserving index memory space in AVI recording apparatus
US20090274099A1 (en) * 2008-05-02 2009-11-05 Qualcomm Incorporated Methods and apparatus for communicating transmitter information in a communication network
US8406245B2 (en) * 2009-07-09 2013-03-26 Qualcomm Incorporated System and method of transmitting content from a mobile device to a wireless display
US9357275B2 (en) 2011-09-06 2016-05-31 Qualcomm Incorporated Network streaming of coded video data
KR102147475B1 (ko) * 2012-07-11 2020-08-26 한국전자통신연구원 Mpeg 데이터를 처리하는 방법 및 시스템
US9807421B2 (en) * 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
KR20160010440A (ko) * 2013-05-22 2016-01-27 엘지전자 주식회사 Ip 기반의 디지털 방송 시스템에서 계층간 시그널링 데이터 처리 방법 및 장치
US20150195549A1 (en) * 2014-01-08 2015-07-09 Qualcomm Incorporated Support of non-hevc base layer in hevc multi-layer extensions
EP2961176B1 (en) * 2014-06-23 2017-01-11 Harman Becker Automotive Systems GmbH Correcting errors in a digital media transport stream
KR102191878B1 (ko) * 2014-07-04 2020-12-16 삼성전자주식회사 멀티미디어 시스템에서 미디어 패킷을 수신하는 방법 및 장치
US9645878B2 (en) * 2014-07-09 2017-05-09 Qualcomm Incorporated Error handling for files exchanged over a network
WO2016128803A1 (en) * 2015-02-11 2016-08-18 Expway Method of handling packet losses in transmissions based on dash standard and flute protocol
US11115343B2 (en) * 2017-10-05 2021-09-07 Cisco Technology, Inc. Transport layer providing deterministic transport across multiple deterministic data links
CN108600773B (zh) * 2018-04-25 2021-08-10 腾讯科技(深圳)有限公司 字幕数据推送方法、字幕展示方法、装置、设备及介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2685082B2 (ja) 1991-03-12 1997-12-03 沖電気工業株式会社 Stm信号とatm信号の変換/逆変換方式
JPH08191284A (ja) 1995-01-10 1996-07-23 Hitachi Ltd Atm/stm変換方法及び装置
US6029200A (en) * 1998-03-09 2000-02-22 Microsoft Corporation Automatic protocol rollover in streaming multimedia data delivery system
FI105962B (fi) * 1998-06-30 2000-10-31 Nokia Mobile Phones Ltd Virheiden ilmaisu multipleksattuja signaaleja vastaanotettaessa
WO2000055854A1 (fr) * 1999-03-17 2000-09-21 Kabushiki Kaisha Toshiba Procede d'enregistrement de donnees en fluxet de leur structure
GB9930788D0 (en) * 1999-12-30 2000-02-16 Koninkl Philips Electronics Nv Method and apparatus for converting data streams
US20050203927A1 (en) * 2000-07-24 2005-09-15 Vivcom, Inc. Fast metadata generation and delivery
US20020174434A1 (en) * 2001-05-18 2002-11-21 Tsu-Chang Lee Virtual broadband communication through bundling of a group of circuit switching and packet switching channels
US7631242B2 (en) * 2001-06-22 2009-12-08 Broadcom Corporation System, method and computer program product for mitigating burst noise in a communications system
JP3654230B2 (ja) 2001-10-18 2005-06-02 日本電気株式会社 通信システム
US20040167925A1 (en) * 2003-02-21 2004-08-26 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
GB2386275B (en) 2002-03-05 2004-03-17 Motorola Inc Scalable video transmissions
DE10312030A1 (de) 2003-03-18 2004-09-30 Robert Bosch Gmbh Verfahren zur Übertragung von Multimedia-Objekten und digitaler Empfänger für Multimedia-Objekte
US7292692B2 (en) * 2003-03-25 2007-11-06 Sony Corporation Content scrambling with minimal impact on legacy devices
GB2406488A (en) * 2003-09-29 2005-03-30 Nokia Corp Sigalling in a communications network
US7222285B2 (en) * 2004-03-17 2007-05-22 Microsoft Corporation Layered multiple description coding

Also Published As

Publication number Publication date
WO2006124854A3 (en) 2007-11-15
EP1882343A2 (en) 2008-01-30
US20060268841A1 (en) 2006-11-30
EP1882343B1 (en) 2019-05-01
DK1882343T3 (da) 2019-07-29
ES2739006T3 (es) 2020-01-28
KR20080025370A (ko) 2008-03-20
US8976858B2 (en) 2015-03-10
KR100926017B1 (ko) 2009-11-11
JP2011135609A (ja) 2011-07-07
JP2008546231A (ja) 2008-12-18
EP1882343A4 (en) 2016-11-30
WO2006124854A2 (en) 2006-11-23
HUE045392T2 (hu) 2019-12-30

Similar Documents

Publication Publication Date Title
JP5296123B2 (ja) 帯域外ディレクトリ情報を使用するエラー耐性の改良
US9246630B2 (en) Method, device, and system for forward error correction
US7751324B2 (en) Packet stream arrangement in multimedia transmission
JP5738929B2 (ja) ストリーミングマルチメディアにおける最適エラー管理のためのデコーダアーキテクチャ
US7779336B2 (en) Assembling forward error correction frames
Bormann et al. RTP payload format for the 1998 version of ITU-T Rec. H. 263 video (H. 263+)
KR100998454B1 (ko) 인 밴드 에러 패턴을 사용한 에러 복원
WO2008063687A2 (en) Frame level multimedia decoding with frame information table
KR20080059508A (ko) 데이터 통신시스템, 데이터 송신장치, 데이터 송신방법 및패킷 사이즈 및 용장도 결정방법
KR20170117116A (ko) Dash 표준 및 flute 프로토콜에 기초한 전송 시 패킷 손실을 처리하는 방법
WO2016077072A1 (en) Delivering partially received segments of streamed media data
JP5344541B2 (ja) データ送信装置、送信方法及びプログラム
Bormann et al. RFC2429: RTP Payload Format for the 1998 Version of ITU-T Rec. H. 263 Video (H. 263+)
CN101218798A (zh) 使用频带外的目录信息改进抗错性
Deisher et al. Network Working Group Request for Comments: 2429 C. Bormann Category: Standards Track Univ. Bremen L. Cline

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130612

R150 Certificate of patent or registration of utility model

Ref document number: 5296123

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250