JP3730977B2 - データ伝送方法およびデータ処理方法 - Google Patents

Description

本発明は、映像や音声、データの伝送路誤り、記録媒体誤りの耐性を高めるデータ伝送方法およびデータ処理方法に関するものである。

従来からＣＤなどの記録分野では再生信号がバイト単位の誤りになるため、バイト単位の誤り訂正符号であるリードソロモン符号が広く利用されている。また、通信分野では伝送路における誤りがランダムに発生することから、ランダム訂正符号であるＢＣＨ符号と畳み込み符号が用いられる。これに対して、放送、特に地上放送路には様々な妨害があり、デジタル伝送路としては劣悪である。

このように、従来から映像や音声の伝送路誤り、記録媒体誤りに対して、誤り検出や訂正符号、再送によりこれらの問題を解決してきた。しかし、誤り検出や訂正符号を用いることにより、誤り検出や訂正能力は強化されるが、処理時間がかかる。また、再送を行う場合、無線のように伝搬遅延が大きい通信状況では再送による遅延が無視できない。

従来例として、衛星放送ではＭＰＥＧ２（誤り訂正方法に関しては標準化外）が用いられ、誤り訂正の符号化方式の処理手順は次のようになる（藤原洋 監修：実践ＭＰＥＧ教科書、アスキー）。

（１）固定長のデータパケット毎に同期パケットを付加し、８パケット毎に同期バイトに周期性を持たせて（同期反転）、同期をとりやすくする。

（２）エネルギー拡散を行うことで、データ部に同期信号と同じパターンが連続して現れた場合、同期が乱されることを防ぎ、周波数スペクトラムを平均して分散させる（１、０パターンが、偏りなく分布すること）。

（３）誤り訂正（外符号）はリードソロモン（ＲＳ）を用いる。

（４）リードソロモン（ＲＳ）の誤り訂正能力を高めるためにインターリーブで誤りを拡散させる。

（５）内符号誤り訂正には畳み込み符号化を用いる（復号にはビタービ復号を用いる）。

このように、畳み込み符号で訂正できなかったバースト状の誤りを、バースト誤り訂正符号であるＲＳ符号で効率よく訂正する。ソフトウェア実装で実現された端末や携帯端末では、誤り訂正の処理のために端末に対してかなりの負担になる。この点を考慮して、情報の種類（メディアの違い、ヘッダ部分、データ部分など）や重要度に応じて誤り検出や訂正方式を変更できることが望ましい。

インターネットは、パケット単位での伝送が行われており、パケットに誤りが検出された場合にはパケットは廃棄される（インターネットの場合、ＩＰ（インターネット・プロトコル：Internet Protocol)パケットと呼ばれる）。

ＩＰパケットはEthernetのような伝送路誤りが小さく、比較的高速な伝送路を仮定して設計されているため、簡単な誤り検出しか導入されていない（このため無線環境では伝送路誤りに対して弱い）。

また、伝送路が輻輳（混雑）した場合も中継端末でパケットが廃棄される。パケット損失に対して耐性を高めて伝送品質を向上させる方式として、音声データを符号化方式、タイムスタンプが異なる符号化データを同一のパケットに格納して伝送する方式が提案されている（冗長な音声データのためのＲＴＰ(Realtime Transport Protocol)ペイロード（データ形式）：（"RTP Payload for Redundant Audio Data"、 RFC2198、Internet Engineering Task Force））。

問題点としては映像には適用できない点と、重要な情報を必要なだけ選択的に繰り返して伝送できない点があげられる。さらに、パケット間の演算結果を伝送パケットとして伝送する方式が提案されている（前方誤り訂正のためのＲＴＰペイロード・フォーマット（An RTP Payload Format for Generic Forward Error Correction、 Internet Draft、Internet Engineering Task Force））。

同様に、問題点として重要な情報を必要なだけ選択的に繰り返して伝送できない点があげられる。

移動体通信を考慮した伝送プロトコルとして、Ｈ．２２３（低ビットレートのマルチメディア通信のための多重化プロトコル：（Multiplexing Protocol For Low Bitrate Multimedia Communication、Telecommunication Standardization Sector of ITU））があげられ、伝送するメディアの種類（映像、音声など）に応じて誤り耐性を変更する方式が提案されている。

特に、Ｈ．２２３ Annex Bでは、伝送パケットのヘッダに対する誤り耐性を高める目的で、以前の伝送パケットのヘッダ情報をコピーして、新たに伝送する伝送パケットのヘッダのオプションヘッダとして伝送する方式が提案されている。ヘッダ部分をコピーして伝送することでヘッダ部分が保護される。データの部分に関しては、誤り検出や誤り訂正符号（ＣＲＣ（ Cyclic Redundancy Check）による誤り検出、畳み込み符号による誤り訂正）、再送を用いた方式で誤り耐性を強化する（Ｈ．２２３ Annex C）。

さらに、データの重要度や優先度に応じて異なる誤り訂正符号化を行う方式が提案されている（誤り訂正符号化装置、誤り訂正復号装置及び通信システム（特開平９−１１６４４０号公報）、デジタル信号伝送方式及びそれに用いる通信装置並び受信装置（特開平７−３３６４００号公報））。

この方式では、誤り訂正符号の処理を行うデータは必要最小限度に抑制でき、従来の方式より処理量を低減できる。しかし、優先度を対応づけるデータに対する粒度（たとえば、映像に対しては、フレーム単位、ＧＯＢ単位など）が不明もしくはビットストリーム単位である。また、誤り検出や誤り訂正符号を用いる方式であるため、端末での誤り検出、訂正符号の処理のための負荷、処理にかかる遅延時間に問題がある。

ＡＴＭ（非同期伝送モード）では、ＡＴＭのセルパケットを再送する際に再送要求の対象となるパケットのコピーを複数回送信する方式が提案されている。同じ再送要求を複数回送信することで、信頼性を向上させることが可能である（伊藤誠、ＡＴＭ網におけるＭＰＥＧ２映像伝送のための再送制御方式、電子情報通信学会 信学技法ＩＮ９７−６７）。再送要求に対して、すべてのセルパケットが再送されるため、再送要求が増大すると伝送パケットの増大が課題となる。

既存のインターネットプロトコルの利用を前提とした場合、誤り耐性に対してはパケット損失に対して、どのような対策を講じるかという議論しかできないため、根本的な解決が難しい。それに対して、ＩＰ（インターネット・プロトコル：Internet Protocol)自身に対して誤り耐性を強化する方式が提案され（ＲＳ符号とインターリーブの適用）、データ伝送に対する誤り耐性の強化が可能になっている（誤りのない大規模マルチキャストアーキテクチャと前方誤り訂正技術の応用、電子情報通信学会 信学技法ＳＳＥ９７−１３０）。

しかし、映像のようにメディアによっては強力な誤り訂正は不要であるため、ＩＰパケットで伝送するメディアの種類に応じた誤り耐性を実施することで、誤り検出や誤り訂正のために発生する端末の負荷や遅延を抑制できる。

従来の技術では、Ｈ．２２３のように伝送するデータの種類（映像、音声、テキストなど）に応じて誤り訂正符号の符号化方式を変更したり再送を行っていた。しかし、誤り検出や訂正符号を強化することにより誤り検出や訂正能力は強化されるが、処理時間がかかる。また、再送を行う場合、無線のように伝搬遅延が大きい通信状況では再送による遅延が無視できない。これに対して、再送や誤り検出、訂正符号を用いない方式として、従来から、音声データを異なる符号化方式で符号化して重複伝送したり、パケットのヘッダ部分のコピーを繰り返し伝送する方式、再送するパケットを繰り返し伝送する方式などが提案されてきた。しかし、選択的な重複伝送を行っていなかったため、映像や音声を対象とした伝送の場合、重複する伝送量が無視できない。

この課題に対し、本発明では、同一のデータを優先度、映像のフレームタイプ、符号化方式などに応じて選択的に異なるパケットに繰り返し格納、もしくはデータをパケット化して繰り返し伝送、記録することで解決する。

つまり、符号化されたビットストリーム毎の優先度や、ビットストリームを構成するフレーム毎の優先度を用いて、重要度の高いデータを選択し、時間をずらして繰り返し伝送、記録することで、伝送量を無駄に増大させることなく、パケット損失やデータ誤りに対する耐性を強化できる。本方式は、新たに送信するデータパケットだけではなく、再送するデータパケットに適用してもよい。

また、従来、インターネットでは伝送パケットに誤りが検出されると、その伝送パケットは廃棄される。伝送パケットに対して新たな誤り検出や訂正符号方式を用いることで、誤り耐性は強化されるが、伝送ヘッダ等伝送形式が変更され、従来の技術では、この点に関しては考慮されていなかった。

そこで、本発明では、伝送パケットに含まれる情報に対して、誤り検出もしくは訂正符号の演算を行い、伝送パケットの先頭に新たな伝送ヘッダを付加し、誤り検出もしくは訂正符号の演算結果をあわせて伝送する。

伝送パケットに含まれるデータの種別の情報に応じて誤り検出もしくは誤り訂正符号の演算方法を変更することで、過剰な誤り耐性を施す必要がなくなる。

また、さまざまな誤り検出や訂正に対応するために、伝送パケットに誤り訂正を行う機能が付加されていることを表す識別情報や、その種類を伝送ヘッダで識別できるようにすることでインターネットプロトコルの誤り耐性を多様化する。

具体的には、インターネットではＵＤＰ（User Datagram Protocol）パケットで簡単なチェックサムを用いて誤りが検出されると、そのＵＤＰパケットは廃棄される。ＩＰパケットにより情報は伝送されるが、伝送されるデータには伝送に対する信頼性の点から、ＵＤＰ（前述のようにパケットに誤りがあると廃棄される）とＴＣＰ(Transmission Control Protocol：パケット損失が発生すると再送処理を行う)の２つが利用されている（伝送の際には、ＩＰヘッダの後に、ＵＤＰもしくはＴＣＰのヘッダ、実際のデータが順に続く）。

インターネットで用いられるＩＰパケットを、衛星放送、Ｈ．２２３のようにＦＥＣ（前方誤り訂正：Forward Error Correction）やインターリーブなどの手法により、ＩＰパケットの誤り訂正能力を強化できるが、伝送ヘッダが従来から使用されているＩＰパケットとは異なった伝送形式（フォーマット）となるため解釈できなくなる。

そこで、伝送するデータの種類に応じてＩＰ（Internet Protocol)自身をカプセル化（ＩＰパケットをデータとして扱い、ＩＰパケットの先頭に新たに通信ヘッダを追加する）して誤り訂正符号化を行ったり、ＩＰパケットに誤り訂正を行う機能が付加されていることを表す識別情報や、その種類をＩＰヘッダで識別できるようにすることでインターネットプロトコルの誤り耐性を強化する。

なお、誤り検出、訂正に関する処理を通信ヘッダ（ＩＰ、ＵＤＰ、ＴＣＰの各ヘッダ）とデータ部分に対して、それぞれ異なる方式を使用してもよいし、誤り検出、訂正を使用しなくてもよい。

データの重要度や優先度に応じて異なる誤り訂正符号化を行う方式が提案されている。

これにより、誤り訂正符号の処理を行うデータは必要最小限度に抑制でき、従来の方式より処理量を低減できる。しかし、優先度を対応づけるデータに対する粒度（たとえば、映像に対しては、フレーム単位、ＧＯＢ単位など）が不明もしくはビットストリーム単位である。

そこで、映像のフレーム毎に対応させた優先度に応じて、誤り検出もしくは誤り訂正の方式を変更することで、優先度の適用範囲を明確にし、適用範囲の粒度を細かくできる。

本発明は、無線ＬＡＮ、携帯電話、衛星通信、衛星放送、ｘＤＳＬ（電話回線を用いた高速な伝送路）、ＣＡＴＶ（有線テレビ：cable TV）などの誤り耐性が必要とされる伝送路で利用でき、送受信の端末だけではなく中継装置を含めてもよい。

本発明に係るデータ伝送方法は、映像および／または音声に係る時系列データのデータ区分と、前記データ区分の処理を行う順序を表す優先度に基づいて、前記データ区分の伝送回数を決定し、前記決定した伝送回数に関する情報と前記データ区分とを伝送するデータ伝送方法において、前記優先度は、符号化されたビットストリーム毎の優先度と、ビットストリームを構成するフレーム毎の優先度により決定されることを特徴とする。

また、本発明に係るデータ処理方法は、映像に係る時系列データのデータ区分と、前記データ区分が何回繰り返し伝送されるかを示す情報とを受信し、前記情報に基づいて前記データ区分の保持もしくは廃棄の処理を行うデータ処理方法において、前記データ区分が何回繰り返し伝送されるかを示す前記情報は、前記データ区分間で処理を行う順序を表す優先度に対応付けられて決定されており、前記優先度は、符号化されたビットストリーム毎の優先度と、ビットストリームを構成するフレーム毎の優先度により決定されることを特徴とする。

本発明によれば、過剰な伝送を抑制しつつ、映像や音声の伝送・記録の誤り耐性を高めることができる。

以下、本発明の実施の形態について図面を参照して説明する。図１は、データ処理装置が出力する伝送もしくは記録フォーマットを示す図である。

従来、再送や誤り検出、訂正符号を用いない誤り耐性方式として、音声データを異なる符号化方式で符号化して重複伝送したり、パケットのヘッダ部分のコピーを繰り返し伝送する方式、再送要求を繰り返し伝送する方式などが提案されてきた。

しかしながら、選択的な重複伝送を行っていなかったため、映像や音声を対象とした伝送の場合、重複する伝送量が無視できない。この課題に対し、本発明では、同一のデータを優先度、映像のフレームタイプ、符号化方式などに応じて選択的に異なるパケットに繰り返し格納、もしくはデータをパケット化して繰り返し伝送、記録することで解決する。

本発明では、重要度の高いパケットを時間をずらして繰り返し伝送、記録することでパケット損失やデータ誤りに対する耐性を強化する。

図１（Ａ）の例では、データ区分（ａ）の重要度が高く、データ区分（ｂ）、（ｃ）、（ｄ）のそれぞれとともに同一のパケット中に格納している。

なお、重要度は、利用者が予め定めた処理の順序を示す優先度（たとえば、符号化されたビットストリーム（時系列データのデータ列）毎の優先度や、ビットストリームを構成するフレーム（時系列データのデータ区分）毎の優先度）、フレームタイプ（フレーム内符号化、フレーム間符号化）、符号化ヘッダと符号化データ、符号化方式、伝送するビットストリームを識別するための識別子（たとえば、ＲＴＰで定義される同期送信元識別子：ＳＳＲＣ；synchronization source identifier）、発生データ量であってよい。

また、データ区分の単位としては、映像や音声のフレーム単位、映像であればＧＯＢ単位、ＭＢ単位であってよい。音声であれば、有音区間と無音区間であってよい。

なお、データ区分（ａ）はパケット化して独立に繰り返し伝送、記録してもよい。また、図１（Ｂ）のように、同一データ区分を同一のパケットに繰り返し格納してもよい。

図１（Ｃ）は繰り返し伝送されるデータ区分が何回繰り返し伝送されるかを受信側へ通知するために、繰り返し伝送されるデータ区分を送信する前に伝送されるパケットの通信ヘッダに繰り返し伝送するパケットのＳＮ（シリアル番号）と繰り返し送信する回数を記述している。

この情報はいくつかの送信パケットに繰り返し記述してもよい（繰り返し同じデータが送付されるかを通知するためのフラグであってもよい）。

なお、これらの情報は、図１（Ｄ）で示したようにデータの伝送とは独立に制御プロトコルで伝送してもよい。

図１（Ｄ）の例の表現方法では優先度などの情報に対してデータ区分の繰り返し伝送が何回行われるかを示している。例では、「優先度 ２」のデータ区分に対して繰り返し伝送される回数を３としている。これにより、受信側でデータ区分の保持、廃棄の管理が容易になる。

図１（Ｅ）に示すように、２つ以上のデータ区分を同一のパケットに格納する際に、格納されているデータ区分の優先度、フレームタイプ、データ種別の少なくともいずれかに関する情報をパケットの先頭部分に記述し、伝送、記録することで格納されているデータ区分の内容判定が高速化できる。

図２はパケット間の演算による誤り耐性について説明する図である。データのデータ区分に、処理を行う順序を表す優先度を対応付け、優先度に応じて、２つ以上のデータ区分間で演算（排他的論理和）を行って、演算結果を伝送することで重要なパケットの修復処理ができる。演算結果が記述されたパケットと、伝送パケットの２つのうち１つを受信できれば、失われたもう１つのパケットが復元できる。優先度を反映させるため、従来の発明に比べて選択的な処理が可能となり、過剰な伝送が抑制できる。

図３はインターネットプロトコルの誤り耐性を示す図である。インターネットでは伝送パケットに誤りが検出されると、その伝送パケットは廃棄される。伝送パケットに対して新たな誤り検出や訂正符号方式を用いることで、誤り耐性は強化されるが、伝送ヘッダなど伝送形式の変更が新たに必要になる。従来の技術では、この点に関しては考慮されていなかった。

そこで、伝送パケットに含まれる情報に対して、誤り検出もしくは訂正符号の演算を行い、伝送パケットの先頭に新たな伝送ヘッダを付加し、誤り検出もしくは訂正符号の演算結果をあわせて伝送する。

伝送パケットに含まれるデータの種別の情報に応じて誤り検出もしくは誤り訂正符号の演算方法を変更することで、過剰な誤り耐性を施す必要がなくなる。

また、様々な誤り検出、訂正方式に対応するため、伝送パケットに誤り訂正を行う機能が付加されていることを表す識別情報や、その種類を伝送ヘッダで識別できるようにすることでインターネットプロトコルの誤り耐性を多様化する。

図３（Ａ）では、ＩＰパケットに対する誤り訂正符号の演算を行い、ＩＰパケットの先頭に伝送ヘッダを付加し（２地点間だけならシリアル番号だけでもよい、簡単な伝送ヘッダのチェックサムや誤り訂正を施してもよい）、誤り訂正符号の演算結果をあわせて伝送する際に、ＩＰパケットに含まれるデータの種別に応じて、誤り検出の方法（たとえば、パリティ、ＣＲＣなど）や誤り訂正符号の演算方法（たとえば、ＢＣＨ、リードソロモン、畳み込み符号化、ビタービ復号化など）を変更することで伝送するデータの種類（映像、音声、テキストなど）、伝送パケットの部位（ヘッダ、ペイロード）に応じたインターネットプロトコルに対する誤り耐性が可能になる（通信ヘッダに使用した誤り耐性の方式や有無を記述する識別子やフラグを設けても、端末間のプロトコルで通知してもよい）。

なお、ＰＰＰ（Point-to-Point Protocol）の伝送枠組みを利用して、伝送するデータ種別に応じてＰＰＰの誤り耐性を強化してもよい。

また、データ種別の判定は、ＩＰパケット中のＲＴＰ(Realtime Transport Protocol)の伝送ヘッダ、もしくは予め定めた伝送ヘッダ（ユーザが独自に定義したもの、またはＲＴＰ以外の伝送プロトコル）の有無もしくはデータ種別（ＲＴＰならばペイロードタイプで識別する）によって判断すればよい。

また、インターネットで用いられるＩＰパケットを、衛星放送、Ｈ．２２３のようにＦＥＣなどの手法により、ＩＰの誤り検出や訂正能力を強化することが期待できるが、本質的にＩＰとは異なった形式になる。

そこで、図３（Ｂ）では、ＩＰヘッダを拡張するか（ＩＰｖ６では拡張ヘッダとして登録することで対処可能）、ＩＰのプロトコルタイプ（ＩＰデータグラム）を新たに定義することで、ＩＰに誤り耐性を施すことが可能となる。

図３（Ｃ）に示すように、Ｈ．２２３では、誤り検出や訂正の方法に関しては、ヘッダ部分とペイロード部分を区別して、異なる誤り検出、訂正の手法を導入している。

ＩＰパケットに対する誤り訂正に関しても、対象とする情報の部位（ヘッダ部（ＩＰ、ＵＤＰ、ＴＣＰ）、伝送されるデータ（ＵＤＰ、ＴＣＰを伝送されるデータとしてもよい））、メディア毎に異なる誤り検出、誤り訂正の手法を導入してもよい。

加えて、Ｈ．２２３伝送パケットをＩＰパケットの伝送データとして伝送することで、ＩＰを用いない通信環境との透過的な通信が可能になる。先と同様、ＩＰのプロトコルタイプにＨ．２２３を新たに定義する必要がある。

なお、ＩＰアドレス、電話番号、インターネットのポート番号を対応づけて管理することで、端末間の対応関係の管理が可能となりインターネットとＨ．２２３との相互接続が可能となる。

最後に、従来、データの重要度や優先度に応じて異なる誤り訂正符号化を行う方式が提案されている。これにより、誤り訂正符号の処理を行うデータは必要最小限度に抑制でき、従来の方式より処理量を低減できる。

しかし、優先度を対応づけるデータに対する粒度（例えば、映像に対しては、フレーム単位、ＧＯＢ単位等）が不明もしくはビットストリーム単位である。

そこで、映像のフレーム毎に対応させた優先度に応じて、誤り検出もしくは誤り訂正の方式を変更することで、優先度の適用範囲を明確にし、適用範囲の粒度を細かくできる。

以上説明してきたとおり、本発明に係るデータ伝送方法およびデータ処理方法は、映像や音声の伝送・記録の誤り耐性を高めることができるという効果を有する有用な方法である。

（Ａ）〜（Ｅ）本発明の実施の形態におけるデータ処理装置が出力する伝送もしくは記録フォーマットを示す図 同パケット間の演算による誤り耐性を示す図 （Ａ）〜（Ｃ）同インターネットプロトコルの誤り耐性を示す図

Claims (7)

1. 映像および／または音声に係る時系列データのデータ区分と、前記データ区分の処理を行う順序を表す優先度に基づいて、前記データ区分の伝送回数を決定し、前記決定した伝送回数に関する情報と前記データ区分とを伝送するデータ伝送方法であって、
   前記優先度は、符号化されたビットストリーム毎の優先度と、ビットストリームを構成するフレーム毎の優先度により決定されることを特徴とするデータ伝送方法。
2. 二つ以上の前記データ区分をパケットとして受信し、前記決定した伝送回数に関する情報は、前記パケットの通信ヘッダに記述されていることを特徴とする請求項１記載のデータ伝送方法。
3. 前記優先度が高い二つ以上の前記データ区分間で、選択的に誤り検出または誤り訂正の演算を行って、演算結果を伝送する請求項１または２に記載のデータ伝送方法。
4. 前記演算は、排他的論理和の演算であることを特徴とする請求項３記載のデータ伝送方法。
5. 前記優先度は、フレーム内符号化であるか、フレーム間符号化であるかを示すフレームタイプに応じて決定することを特徴とする請求項１から４のいずれか１項に記載のデータ伝送方法。
6. 映像に係る時系列データのデータ区分と、前記データ区分が何回繰り返し伝送されるかを示す情報とを受信し、前記情報に基づいて前記データ区分の保持もしくは廃棄の処理を行うデータ処理方法であって、
   前記データ区分が何回繰り返し伝送されるかを示す前記情報は、前記データ区分間で処理を行う順序を表す優先度に対応付けられて決定されており、
   前記優先度は、符号化されたビットストリーム毎の優先度と、ビットストリームを構成するフレーム毎の優先度により決定されることを特徴とするデータ処理方法。
7. 二つ以上の前記データ区分をパケットとして受信し、前記データ区分が何回繰り返し伝送されるかを示す前記情報は、前記パケットの通信ヘッダに記述されていることを特徴とする請求項６記載のデータ処理方法。

Images