JPWO2005122455A1 - 双方向通信方法と装置、システムならびにプログラム - Google Patents
双方向通信方法と装置、システムならびにプログラム Download PDFInfo
- Publication number
- JPWO2005122455A1 JPWO2005122455A1 JP2006514618A JP2006514618A JPWO2005122455A1 JP WO2005122455 A1 JPWO2005122455 A1 JP WO2005122455A1 JP 2006514618 A JP2006514618 A JP 2006514618A JP 2006514618 A JP2006514618 A JP 2006514618A JP WO2005122455 A1 JPWO2005122455 A1 JP WO2005122455A1
- Authority
- JP
- Japan
- Prior art keywords
- error correction
- data
- encoded data
- correction code
- code data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L5/00—Arrangements affording multiple use of the transmission path
- H04L5/14—Two-way operation using the same type of signal, i.e. duplex
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0056—Systems characterized by the type of code used
- H04L1/0071—Use of interleaving
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0023—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the signalling
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Quality & Reliability (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Error Detection And Correction (AREA)
Abstract
伝送路102を経由して通信する双方向通信装置101、103は、符号化部と復号部を備え、インタリーバとデ・インタリーバ、もしくは、誤り訂正符号化部と復号部の少なくとも一方の組み合わせを備え、インタリーブ処理単位、インタリーブの順序、もしくは、誤り訂正符号化方式、誤り生成符号生成単位、符号化レートフレームレート、標本化周波数を、送受信で、非対称に設定することができ、それぞれ、伝送路102の状態、利用者の遅延要求、品質要求に応じた通信を行うことができる。
Description
本発明は、双方向通信方法と装置、システムならびにコンピュータ・プログラムに関する。より詳しくは、本発明は、ネットワークを経由した画像や音声等の双方向通信において、伝送路で発生するデータの損失によって生じる、メディアの品質の劣化の抑制、安定した品質での通信の実現に好適な双方向通信方法と装置、システムならびにコンピュータ・プログラムに関する。さらに、本発明は、伝送路の状態、利用者の遅延/品質の要求に合わせて、双方向のそれぞれの品質の維持と遅延の増加のトレードオフによる設定を可能にする方法およびその装置ならびにプログラムに関する。
近年、ネットワークを経由し、パケットで画像や音声の符号化データを通信する、いわゆるVoIP(Voice over IP)やTVoIP(TV over IP)と呼ばれる双方向通信が急速に普及してきている。こうした双方向通信に用いられる符号化方式にはいくつかの種類がある。例えば動画像の符号化方式として、フレーム間予測に基づいた高能率圧縮による符号化データを伝送する方法が多く用いられている。これらの方式では、時間的に前後のフレームから符号化画像を予測して得られた予測パラメータと予測残差画像データを符号化することで、時間方向の相関が高い動画像データの情報量を削減する。さらに、予測残差画像データを変換符号化や量子化により高能率に圧縮符号化することで、少ない伝送帯域での通信を可能としている。
その代表例としてはMPEG(Moving Picture Experts Group)−1、MPEG−2、MPEG−4等の圧縮符号化方式を用いる方法がある。これらの圧縮符号化方式では、入力画像フレームをマクロブロックとよばれる一定サイズの矩形領域単位で動き補償によるフレーム間予測が行われる。得られた動きベクトルと、予測残差画像データに2次元離散コサイン変換および量子化を施して圧縮した信号データが可変長符号化される。
また、音声に関しても、G.722や、G.729、AMR−NB(Adaptive Multi Rate−Narrow Band)、AMR−WB(Adaptive Multi Rate−Wide Band)や、MPEG−4_AAC(Advanced Audio Codec)等の音声(音楽)符号化方式がある。それぞれ所定のサンプル量に対して、高い効率の符号化を行い、少ない伝送帯域で音声品質の高い音声データの伝送を可能にしている。
このような画像や音声の符号化データを、パケット交換方式を利用したIP(Internet Protocol)ネットワークへ配信する方法は多数ある。
また今後は、PHS(Personal Handyphone System)や携帯電話、又はこれらを通信手段として利用する携帯端末等よりなる移動局が、無線基地局と無線チャネルを介して接続される移動通信システムにおける双方向通信システムへと展開していくことが考えられる。
なお、後述されるSIP(Session Initiation Protocol)/SDP(Session Description Protocol)については技術文献1(M.Handley,H.Schulzrinne,E.Schooler,J.Rosenberg,″SIP:Session Initiation Protocol″,RFC2543,March 1999,インターネットURL<http://www.ietf.org/rfc/rfc2543.txt>)及び技術文献2(M.Handley,V.Jacobson,″SDP:Session Description Protocol″,RFC2327,April 1998,インターネットURL<http://www.ietf.org/rfc/rfc2327.txt>)が参照される。また、後述されるRTPについては、技術文献3(H.Schulzrinne,S.Casner,R.Frederick,V.Jacobson,″RTP:A Transport Protocol for Real−Time Applications″,RFC3550,January 2003,インターネットURL<http://www.ietf.org/rfc/rfc3550.txt>)が参照される。
従来の双方向通信においては、伝送路でのデータの誤りや、伝送パケットの欠落が発生すると、受信した符号化データを正しく復号できず、メディアの品質劣化が発生してしまう。
また、双方向通信であるため、遅延を一定以下に抑える必要があり、失われたデータの再送を要求し、再送データすることも困難である。
さらに、画像や音声の符号化方式に、フレーム間予測を利用している場合、一度発生した画像や音声の乱れが、後続フレームにも伝搬してしまう問題がある。
これに対して、伝送路へ送信する前に、インタリーブ処理を行い、無線伝送路で発生するバースト的な損失を、インタリーブ処理単位内で散らし、連続したデータ損失が起きないようにする方法や、FEC(Forwards Error Correction)等の誤り訂正符号を用いて、誤りもしくは損失したデータを復元する方法もある。しかし、これをそのまま適用すると、遅延の増加につながり、双方向通信としての使用が難しくなってしまう。
従って、本発明の目的は、上記の事情を考慮してなされたものであり、本発明の主たる目的は、それぞれの利用者の求める、メディアの品質、遅延、帯域、遅延への要求のトレードオフによる設定に基づき、できるだけ安定した品質で双方向通信する方法、装置、システム、プログラムを提供することにある。
また、本発明の他の目的は、上りリンクと下りリンクとが非対称の伝送路でも、品質と遅延に対する使用者の要求に対応できる双方向通信の方法、装置、システム、プログラムを提供することにある。
本発明のさらに別の目的は、伝送路の変動するデータ誤り、もしくは損失状態に合わせて、品質の安定性と、処理遅延の増加を抑制した双方向通信の方法、装置、システム、プログラムを提供することにある。
その代表例としてはMPEG(Moving Picture Experts Group)−1、MPEG−2、MPEG−4等の圧縮符号化方式を用いる方法がある。これらの圧縮符号化方式では、入力画像フレームをマクロブロックとよばれる一定サイズの矩形領域単位で動き補償によるフレーム間予測が行われる。得られた動きベクトルと、予測残差画像データに2次元離散コサイン変換および量子化を施して圧縮した信号データが可変長符号化される。
また、音声に関しても、G.722や、G.729、AMR−NB(Adaptive Multi Rate−Narrow Band)、AMR−WB(Adaptive Multi Rate−Wide Band)や、MPEG−4_AAC(Advanced Audio Codec)等の音声(音楽)符号化方式がある。それぞれ所定のサンプル量に対して、高い効率の符号化を行い、少ない伝送帯域で音声品質の高い音声データの伝送を可能にしている。
このような画像や音声の符号化データを、パケット交換方式を利用したIP(Internet Protocol)ネットワークへ配信する方法は多数ある。
また今後は、PHS(Personal Handyphone System)や携帯電話、又はこれらを通信手段として利用する携帯端末等よりなる移動局が、無線基地局と無線チャネルを介して接続される移動通信システムにおける双方向通信システムへと展開していくことが考えられる。
なお、後述されるSIP(Session Initiation Protocol)/SDP(Session Description Protocol)については技術文献1(M.Handley,H.Schulzrinne,E.Schooler,J.Rosenberg,″SIP:Session Initiation Protocol″,RFC2543,March 1999,インターネットURL<http://www.ietf.org/rfc/rfc2543.txt>)及び技術文献2(M.Handley,V.Jacobson,″SDP:Session Description Protocol″,RFC2327,April 1998,インターネットURL<http://www.ietf.org/rfc/rfc2327.txt>)が参照される。また、後述されるRTPについては、技術文献3(H.Schulzrinne,S.Casner,R.Frederick,V.Jacobson,″RTP:A Transport Protocol for Real−Time Applications″,RFC3550,January 2003,インターネットURL<http://www.ietf.org/rfc/rfc3550.txt>)が参照される。
従来の双方向通信においては、伝送路でのデータの誤りや、伝送パケットの欠落が発生すると、受信した符号化データを正しく復号できず、メディアの品質劣化が発生してしまう。
また、双方向通信であるため、遅延を一定以下に抑える必要があり、失われたデータの再送を要求し、再送データすることも困難である。
さらに、画像や音声の符号化方式に、フレーム間予測を利用している場合、一度発生した画像や音声の乱れが、後続フレームにも伝搬してしまう問題がある。
これに対して、伝送路へ送信する前に、インタリーブ処理を行い、無線伝送路で発生するバースト的な損失を、インタリーブ処理単位内で散らし、連続したデータ損失が起きないようにする方法や、FEC(Forwards Error Correction)等の誤り訂正符号を用いて、誤りもしくは損失したデータを復元する方法もある。しかし、これをそのまま適用すると、遅延の増加につながり、双方向通信としての使用が難しくなってしまう。
従って、本発明の目的は、上記の事情を考慮してなされたものであり、本発明の主たる目的は、それぞれの利用者の求める、メディアの品質、遅延、帯域、遅延への要求のトレードオフによる設定に基づき、できるだけ安定した品質で双方向通信する方法、装置、システム、プログラムを提供することにある。
また、本発明の他の目的は、上りリンクと下りリンクとが非対称の伝送路でも、品質と遅延に対する使用者の要求に対応できる双方向通信の方法、装置、システム、プログラムを提供することにある。
本発明のさらに別の目的は、伝送路の変動するデータ誤り、もしくは損失状態に合わせて、品質の安定性と、処理遅延の増加を抑制した双方向通信の方法、装置、システム、プログラムを提供することにある。
第1の態様では、本発明による通信システムは、メディアの信号をキャプチャする手段と、キャプチャしたメディアデータを符号化する手段と、インタリーブ処理手段と、伝送路への送信手段と、伝送路からの受信手段と、デ・インタリーブ処理手段と、符号化データを復号する手段と、復号されたメディアデータを再生する手段と、を備え、さらに、符号化手段での符号化設定、インタリーブ処理設定、送信手段での送信設定を設定する手段と、前記符号化設定、前記インタリーブ処理設定、前記送信設定、符号化データの受信状況、の少なくとも1つを通知する手段と、を備えた構成としてもよく、キャプチャしたメディアの信号を符号化して送信し、符号化データを受信して復号し、再生する。
第2の態様では、本発明による通信システムは、メディアの信号をキャプチャする手段と、キャプチャしたメディアデータを符号化する手段と、符号化データから誤り訂正符号データを生成する手段と、伝送路への送信手段と、伝送路からの受信手段と、受信した符号化データに誤りもしくは欠落がある場合、誤り訂正符号を用いて当該データを復元する手段と、符号化データを復号する手段と、復号されたメディアデータを再生する手段と、を備え、さらに、符号化手段での符号化設定、誤り訂正符号データ生成処理設定、送信手段での送信設定を設定する手段と、前記符号化設定、前記誤り訂正符号データ生成処理設定、前記送信設定、符号化データの受信状況、の少なくとも1つを通知する手段と、を備えていてもよく、キャプチャしたメディアの信号を符号化して送信し、符号化データを受信して復号し、再生する。
第3の態様では、本発明による通信システムは、伝送路を介して通信する少なくとも2つの通信装置を備えた双方向通信システムにおいて、前記2つの通信装置の少なくとも一方が、入力されたメディアを符号化する符号化手段と、符号化データを所定の単位でインタリーブ処理するインタリーブ手段と、インタリーブされた符号化データを前記伝送路に出力する送信手段と、を備え、前記2つの通信装置の少なくとも他方が、前記伝送路から前記符号化データを受信する受信手段と、受信され、インタリーブ処理された符号化データを、所定の方法で元に並び替えるデ・インタリーブ手段と、符号化データを復号し復号データを出力する復号手段と、前記復号データを再生する再生手段と、を備えている。
第4の態様では、本発明による通信方法は、入力されたメディアを符号化するステップと、符号化データを所定の単位でインタリーブするステップと、インタリーブされた符号化データを出力するステップと、符号化データを受信するステップと、受信された符号化データを、所定の方法でデ・インタリーブするステップと、符号化データを復号し再生するステップと、を有する。
第5態様では、本発明によるコンピュータ・プログラムは、双方向通信装置を構成するコンピュータ(プロセッサ)に、入力されたメディアを符号化する処理と、符号化データを所定の単位でインタリーブする処理と、インタリーブされた符号化データを出力する処理と、前記符号化データを受信する処理と、受信された符号化データを、所定の方法でデ・インタリーブする処理と、符号化データを復号し再生する処理と、を実行させるプログラムからなる。
本発明において、送信する符号化データと受信する符号化データとで、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の内の少なくとも1つが異なる構成としてもよい。
本発明において、利用可能な伝送路帯域、伝送路でのデータ損失パターン、または、入力手段を介して入力された利用者からの要求、の少なくともいずれか1つにより、符号化データの
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)フレームレート、
E)標本化周波数、
の少なくとも1つを設定するようにしてもよい。
本発明において、呼接続処理により、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つの設定情報を通信相手に通知する、ようにしてもよい。
本発明において、呼接続処理により、通信相手から
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つの設定情報を得て、受信した符号化データを復号するようにしてもよい。
本発明において、受信した符号化データの損失率、バースト長を含む受信データの到着状況を通信相手へ送信し、
通信相手から前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つを再設定する、ようにしてもよい。
本発明において、符号化データの順序を表すシーケンス番号を付与するか、もしくは順序がわかるフォーマットに従って、符号化データを送信するようにしてもよい。
本発明において、前記符号化データから所定の単位で誤り訂正符号データを生成するステップと、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力するステップと、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信するステップと、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元するステップと、
符号化データを復号するステップと、
を有する、ようにしてもよい。
本発明において、送信する前記誤り訂正符号データと受信する前記誤り訂正符号データとで、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つが異なるようにしてもよい。
本発明において、
利用可能な伝送路帯域、または、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか1つにより、誤り訂正符号データの、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つを設定する、ようにしてもよい。
本発明において、呼接続処理により、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つの設定情報を通信相手に通知するようにしてもよい。
本発明において、呼接続処理により、通信相手の
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つの設定情報を得て、損失がある場合の符号化データを復元するようにしてもよい。
本発明において、損失率、バースト長を含む受信データの到着状況を通信相手へ送信し、前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つを再設定するようにしてもよい。
本発明において、符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手に通知し、
符号化データおよび、誤り訂正符号データに、対応する前記識別子を付与して送信するようにしてもよい。
第2の態様では、本発明による通信システムは、メディアの信号をキャプチャする手段と、キャプチャしたメディアデータを符号化する手段と、符号化データから誤り訂正符号データを生成する手段と、伝送路への送信手段と、伝送路からの受信手段と、受信した符号化データに誤りもしくは欠落がある場合、誤り訂正符号を用いて当該データを復元する手段と、符号化データを復号する手段と、復号されたメディアデータを再生する手段と、を備え、さらに、符号化手段での符号化設定、誤り訂正符号データ生成処理設定、送信手段での送信設定を設定する手段と、前記符号化設定、前記誤り訂正符号データ生成処理設定、前記送信設定、符号化データの受信状況、の少なくとも1つを通知する手段と、を備えていてもよく、キャプチャしたメディアの信号を符号化して送信し、符号化データを受信して復号し、再生する。
第3の態様では、本発明による通信システムは、伝送路を介して通信する少なくとも2つの通信装置を備えた双方向通信システムにおいて、前記2つの通信装置の少なくとも一方が、入力されたメディアを符号化する符号化手段と、符号化データを所定の単位でインタリーブ処理するインタリーブ手段と、インタリーブされた符号化データを前記伝送路に出力する送信手段と、を備え、前記2つの通信装置の少なくとも他方が、前記伝送路から前記符号化データを受信する受信手段と、受信され、インタリーブ処理された符号化データを、所定の方法で元に並び替えるデ・インタリーブ手段と、符号化データを復号し復号データを出力する復号手段と、前記復号データを再生する再生手段と、を備えている。
第4の態様では、本発明による通信方法は、入力されたメディアを符号化するステップと、符号化データを所定の単位でインタリーブするステップと、インタリーブされた符号化データを出力するステップと、符号化データを受信するステップと、受信された符号化データを、所定の方法でデ・インタリーブするステップと、符号化データを復号し再生するステップと、を有する。
第5態様では、本発明によるコンピュータ・プログラムは、双方向通信装置を構成するコンピュータ(プロセッサ)に、入力されたメディアを符号化する処理と、符号化データを所定の単位でインタリーブする処理と、インタリーブされた符号化データを出力する処理と、前記符号化データを受信する処理と、受信された符号化データを、所定の方法でデ・インタリーブする処理と、符号化データを復号し再生する処理と、を実行させるプログラムからなる。
本発明において、送信する符号化データと受信する符号化データとで、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の内の少なくとも1つが異なる構成としてもよい。
本発明において、利用可能な伝送路帯域、伝送路でのデータ損失パターン、または、入力手段を介して入力された利用者からの要求、の少なくともいずれか1つにより、符号化データの
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)フレームレート、
E)標本化周波数、
の少なくとも1つを設定するようにしてもよい。
本発明において、呼接続処理により、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つの設定情報を通信相手に通知する、ようにしてもよい。
本発明において、呼接続処理により、通信相手から
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つの設定情報を得て、受信した符号化データを復号するようにしてもよい。
本発明において、受信した符号化データの損失率、バースト長を含む受信データの到着状況を通信相手へ送信し、
通信相手から前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つを再設定する、ようにしてもよい。
本発明において、符号化データの順序を表すシーケンス番号を付与するか、もしくは順序がわかるフォーマットに従って、符号化データを送信するようにしてもよい。
本発明において、前記符号化データから所定の単位で誤り訂正符号データを生成するステップと、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力するステップと、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信するステップと、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元するステップと、
符号化データを復号するステップと、
を有する、ようにしてもよい。
本発明において、送信する前記誤り訂正符号データと受信する前記誤り訂正符号データとで、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つが異なるようにしてもよい。
本発明において、
利用可能な伝送路帯域、または、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか1つにより、誤り訂正符号データの、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つを設定する、ようにしてもよい。
本発明において、呼接続処理により、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つの設定情報を通信相手に通知するようにしてもよい。
本発明において、呼接続処理により、通信相手の
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つの設定情報を得て、損失がある場合の符号化データを復元するようにしてもよい。
本発明において、損失率、バースト長を含む受信データの到着状況を通信相手へ送信し、前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つを再設定するようにしてもよい。
本発明において、符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手に通知し、
符号化データおよび、誤り訂正符号データに、対応する前記識別子を付与して送信するようにしてもよい。
図1は本発明の第1、第2の実施の形態のシステム構成を示す図である。
図2は本発明の第1の実施例の双方向通信装置の構成を示す図である。
図3は本発明の第1の実施例の双方向通信装置の処理を説明するための図である。
図4は本発明の第2の実施例の双方向通信装置の構成を示す図である。
図5は本発明の第2の実施例の双方向通信装置の処理を説明するための図である。
図6は本発明の第2の実施例の双方向通信装置の変形例を示す図である。
図2は本発明の第1の実施例の双方向通信装置の構成を示す図である。
図3は本発明の第1の実施例の双方向通信装置の処理を説明するための図である。
図4は本発明の第2の実施例の双方向通信装置の構成を示す図である。
図5は本発明の第2の実施例の双方向通信装置の処理を説明するための図である。
図6は本発明の第2の実施例の双方向通信装置の変形例を示す図である。
[第1の実施の形態]
本発明に好適な実施の形態について説明する。本発明の第1の実施例に係る通信システムは、メディアの信号をキャプチャする手段(203)と、キャプチャしたメディアデータを符号化する符号化手段(204)と、インタリーブ処理手段(206)と、伝送路への送信手段(207)と、伝送路からの受信手段(208)と、デ・インタリーブ処理手段(209)と、符号化データを復号する復号手段(211)と、復号されたメディアデータを再生する手段(212)とを有し、さらに符号化手段(204)での符号化設定、インタリーブ処理手段(206)でのインタリーブ処理設定、送信手段(207)での送信設定を行なう手段(202)と、前記符号化設定、前記インタリーブ処理設定、前記送信設定、符号化データの受信状況、の少なくとも1つを通知する手段(202)と、を有し、キャプチャしたメディアの信号を符号化して送信し、符号化データを受信して復号し、再生する。
図1は、本発明の第1の実施例のシステム構成を示す図である。図1に示すように、本発明の第1の実施例のシステムは、双方向通信装置と伝送路を備え、呼接続サーバを含んでいてもよい。本実施例では、双方向通信装置101、双方向通信装置103、呼接続サーバ装置104は、IP(Internet Protocol)網である伝送路102に接続されている。双方向通信装置101、103は、パケット交換により符号化データおよび、呼接続データを送受信する端末であり、呼接続サーバ装置104は、例えばSIP(Session Initiation Protocol)/SDP(Session Description Protocol)による呼接続データを処理して双方向通信装置101と双方向通信装置103との間の通信を確立する端末であるとする(SIP/SDPについては、非特許文献1、2を参照)。なお、双方向通信装置101と双方向通信装置103とが、互いに相手装置のIPアドレスや、符号化データの受信ポート番号、送受信するメディアの符号化方式や符号化オプションをあらかじめ知っている場合、呼接続サーバ装置104は不要となる。
図2は、図1の双方向通信装置101、103の構成を示す図である。図2の双方向通信装置101、103は同一構成である。図2では、一つの双方向通信装置(参照符号201)のみが示されている。図2に示すように、この双方向通信装置201は、設定・呼接続処理部202、メディア信号キャプチャ部203、メディア符号化部204、パケット化処理部205、インタリーバ206、送信部207、受信部208、デ・インタリーバ209、ペイロード抽出部210、メディア復号部211、再生部212を備えている。
例えば、図示されないカメラや、マイクロフォン等からの画像や音声信号は、メディア信号キャプチャ部203で、アナログデジタル変換され、キャプチャされる。当該変換は、設定・呼接続処理部202で設定され、通信相手の双方向通信装置へ通知され、もしくは、あらかじめ定められた、
・フレームレート、
・標本化周波数、
・量子化ビット数
に基づいて行われる。
キャプチャされたメディアデータは、メディア符号化部204で、設定・呼接続処理部202で設定され、通信相手の双方向通信装置へ通知された、もしくは、あらかじめ定められた、
・符号化方式、
・ビットレート、
・例えばMPEG−4符号化方式でのデータ・パーティショニングや再同期マーカの有無、RVLC(Reversible Variable Length Code)のような符号化オプション等
の符号化設定に基づき、符号化される。
符号化された符号化データは、設定・呼接続処理部202で設定された、もしくはあらかじめ定められたメディアデータ単位、ペイロードフォーマットに従い、符号化データの順序がわかるようなシーケンス番号を付与して、パケット化処理部205でパケット化される。
ここで、例えば、RTP(Real−time Transport Protocol)に基づいたパケット化を採用すれば、RTPヘッダに含まれるシーケンス番号で符号化データの順序を示すことができる(RTPについては、非特許文献3を参照)。
パケット化された符号化データは、通信相手の双方向通信装置から通知された、もしくは、あらかじめ定められた、宛先アドレス、ポートに向けて送信部207から、伝送路214へ出力する。
双方向通信装置201は、設定・呼接続処理部202で決められた、もしくは、あらかじめ定められた、ポートにより、受信部208で伝送路214からパケットを受信する。デ・インタリーバ209は、パケットに付与されたシーケンス番号に基づいて、インタリーブ処理されたパケットを並べ替える。
デ・インタリーバ209で並べ替えられたパケットは、
ペイロード抽出部210で符号化データを抽出され、設定・呼接続処理部202で得られる通信相手の双方向通信装置から通知され、もしくは、あらかじめ定められた、
・メディア符号化方式、
・符号化オプション、
に基づいて、メディア復号部211で復号される。
また、前記パケットは、
設定・呼接続処理部202で得られる通信相手の双方向通信装置から通知され、もしくは、あらかじめ定められた、
・フレームレート、
・標本化周波数、
・量子化ビット数
に基づいて再生される。
図3は、本実施例におけるインタリーバ206、デ・インタリーバ209の処理を説明するための説明図である。図3を参照して、図2のインタリーバ206、デ・インタリーバ209での処理の内容を説明する。
図3に示すように、符号化データからなる入力ストリーム301は、インタリーバ302により、例えば、送信ストリーム303のように、インタリーブされる。この場合のインタリーブ処理単位は「9」となり、9個の符号化データ単位ごとに、インタリーブ処理が行われる。このため、その分の処理遅延が発生する。ここで示すインタリーブ処理の単位や、インタリーブの順序は、あくまで一例であり、処理単位や順序がこれらの設定値に制限されるものではない。送信ストリーム303は、伝送路304を経由して通信相手へと送信される。
伝送路304において、送信ストリームに対して、バースト的なデータ誤り、もしくは損失が発生した場合、通信相手に対して、受信ストリーム305のようなストリームが受信される。ここで、受信ストリーム305を構成する符号化データ7、2、5は、伝送路でデータ誤り、もしくは損失が発生したことを示している。
デ・インタリーバ306は、符号データを、本来の順序に並び替え、デ・インタリーブ後ストリーム307を得る。この結果、バースト的なデータ誤り/損失が分散し、連続的なデータの誤り/損失に比べて、メディアの品質の劣化を小さく抑えることができる。
これは、特に、音声符号化データに対して有効であり、連続的なデータ誤り/損失による長時間の音質の劣化を、散在させることで、聴覚的に知覚させ難くする。
ここで、インタリーブ処理単位を、伝送路で発生するデータ誤り、もしくは、損失のバースト長より長く設定すればより効果的である。すなわちインタリーブ処理単位を大きくすることで、伝送路でのデータ誤り、もしくは、損失のバースト長に対応できる幅を広げることができる。これに対して、インタリーブ処理単位を大きくすると、処理遅延は増大する。そのため、ある一対の双方向通信装置で、再生されるメディアに求められる品質が、互いに異なる場合、それぞれ通信相手の求める品質に合わせたインタリーブ処理サイズを設定することで、遅延を削減することができる。
例えば、図1において、双方向通信装置101で再生されるメディアの品質への要求が高く、双方向通信装置103で再生されるメディアの品質への要求が低い場合、双方向通信装置101では、インタリーブ処理単位を小さくするか、あるいは、インタリーブ処理を行わず、双方向通信装置103では、伝送路102でのデータ誤り/損失のバースト長に対応できるインタリーブ処理単位を設定することで、互いのメディア再生品質要求を満たしつつ、往復の遅延を削減することが可能である。
また、インタリーブ処理単位は、伝送路によって設定を変えることが望ましく、そのため、
・上りリンクと下りリンクで異なった伝送路を用いる場合や、
・上りリンクと下りリンクとが、異なったデータ誤り/損失特性を有する場合には、
インタリーブ処理単位を非対称とすることで、品質を安定させつつ、遅延を削減することが可能となる。
同様に、遅延を削減するため、メディア信号キャプチャ部203で、画像をキャプチャするフレームレートや音声をキャプチャする標本化周波数を高くすることもできる。
画像のフレームレートを高くした場合、ビットレートに変化がなければ、通信相手の双方向通信装置で再生される1フレーム当りの画質は低くなるが、遅延は、削減される。
また、例えば音声を、AACで符号化する場合、音声の標本化周波数を高くすると、単位時間当たりの符号化データ単位数は増加するため、オーバヘッドが増加し、やはり、ビットレートに変化がなければ、メディアに割り当てるビットレートは低下し、通信相手の双方向通信装置で再生される音質は低下するが、遅延は削減される。
そのため、インタリーブ処理単位と同様に、
・画像のフレームレートや、
・音声の標本化周波数
は、通信相手の求める品質の要求に合わせて設定し、通信相手の双方向通信装置へ設定・呼接続処理部202で通知することで、品質と遅延の要求のトレードオフによる設定で通信を行うことができる。
さらに、受信部208で受信される符号化データの
・データ誤り/損失率、
・誤り/損失バースト長等、
の統計情報を、受信状況送受信部213で、例えばRTCP(RTP Control Protocol)のSR(Sender Report)や、RR(Receiver Report)で、通信相手の双方向通信装置に通知することにより、通信中にインタリーブ処理単位を変更することも可能である(RTCPについては、非特許文献3を参照)。
ここで、インタリーブ処理単位の変更は、送信側ではインタリーブ単位の切れ目で容易に変更ができ、受信側では、サイズの拡大については、インタリーブのバッファを拡大することで対応できる。しかし、受信側でのサイズの縮小は、再生音の途切れをできるだけ小さく抑えてサイズを変更することが求められる。そのため、デ・インタリーバ209でのバッファの最後尾が空であれば、この部分から削減し、バッファに受信データが詰まっている場合、無音もしくは、値の小さい無音に近いレベルの受信データから削減することで、音の途切れを小さく抑えたバッファサイズの変更が可能となる。
この結果、データ誤り/損失パターンが変動する伝送路においても、効果的なメディアの品質安定化と、遅延の削減を実現することができる。
なお、伝送路214では、データ誤りは発生しても、データ損失は発生せず、かつパケットデータの順序の入れ替えも発生しない場合、インタリーバ206でのインタリーブ順を、設定・呼接続処理部202から通信相手の双方向通信装置に通知するか、もしくは、あらかじめ定めておけば、パケット化処理部205でのシーケンス番号の付与は不要となる。
さらに、AMRのように、符号化方式によっては、ペイロードフォーマット処理の仕組みに、インタリーブ/デ・インタリーブ処理が含まれている場合があり、その場合、インタリーバ206とデ・インタリーバ209は不要となる。この場合、SDPのa=fmtp属性に、
“interleaving=”
にて、インタリーブ処理単位を記述し、通信相手に通知すればよい。
また、双方向通信装置201における、設定・呼接続処理部202と、メディア信号キャプチャ部203と、メディア符号化部204と、パケット化処理部205と、インタリーバ206と、送信部207と、受信部208と、デ・インタリーバ209と、ペイロード抽出部210と、メディア復号部211と、再生部212について、双方向通信装置201を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよいことは勿論である。
[第2の実施例]
本発明の第2の実施例に係る通信システムは、メディアの信号をキャプチャする手段(203)と、キャプチャしたメディアデータを符号化する手段(204)と、符号化データから誤り訂正符号データを生成する手段(403)と、伝送路への送信手段(207)と、伝送路からの受信手段(208)と、受信した符号化データに誤りもしくは欠落がある場合、誤り訂正符号を用いて当該データを復元する手段(404)と、符号化データを復号する手段(211)と、復号されたメディアデータを再生する手段(212)とを備え、さらに、符号化手段(204)での符号化設定、誤り訂正符号データ生成処理設定、送信手段(207)での送信設定を設定する手段(402)と、前記符号化設定、前記誤り訂正符号データ生成処理設定、前記送信設定、符号化データの受信状況、の少なくとも1つを通知する手段(402)と、を備えていてもよい。キャプチャしたメディアの信号は符号化され送信される。受信された当該符号化データは復号化され、再生される。
以下、次に本発明の第2の実施例について具体的に、上記した第1の実施例と異なる箇所のみ、図面を参照しながら説明する。
図4は、本発明の第2の実施例の双方向通信装置(図1の101、103)の構成を示す図である。図4に示されるように、本実施例に係る双方向通信装置401は、図2に示した前記第1の実施例に係る双方向通信装置201のインタリーバ206およびデ・インタリーバ209の代わりに、それぞれ誤り訂正符号化部403と誤り訂正復号部404を備えている。以下、本実施例を、主に図2の前記第1の実施例との相違点について説明し、同一部分の説明は適宜省略する。
誤り訂正符号化部403は、設定・呼接続処理部402で設定され、通信相手の双方向通信装置へ通知された、もしくはあらかじめ定められた誤り訂正符号化方式、誤り訂正符号データ生成単位に基づき、パケット化された符号化データから誤り訂正符号データを生成し、符号化データと共に送信部207から伝送路214へと出力する。ここで、誤り訂正符号化方式には、例えばLDPC(Low Density Parity Check)方式やリード・ソロモン符号等のようなFEC(Forward Error Correction)と呼ばれる符号が用いられることが一般的である。誤り訂正符号については、既存の技術を用いるため、ここでの詳細な説明は省略する。
図5は、本実施例における誤り訂正符号化部403、誤り訂正復号部404の処理を説明するための説明図である。次に、図5に示すように、図4に示した本実施例における誤り訂正符号化部403、誤り訂正復号部404での処理の内容を説明する。ここでは、誤り訂正符号化方式の例として、LDPC方式を用いて説明するが、誤り訂正符号化方式がLDPC方式に限定されないことは勿論である。
図5に示すように、符号化データから成る入力ストリーム501から、誤り訂正符号化部502で、誤り訂正符号を生成することによって、伝送路504へ送信するストリームは、送信ストリーム503のようになる。ここで、誤り訂正符号を生成する単位は「6」であり、6個の符号化データ単位ごとに誤り訂正符号化が行われるため、その分の処理遅延が発生する。
また、本実施例では、6個の符号化データ単位から3個の誤り訂正符号データ単位を生成しているが、誤り訂正符号生成単位ごとの誤り訂正データの個数は、あくまで一例であり、かかる個数にのみ制限されるものでないことは勿論である。
送信ストリーム503は、伝送路504を経由して通信相手へと送信される。
伝送路504が、例えば無線伝送路で、送信ストリームに対してデータ誤り、もしくは損失が発生した場合、通信相手では受信ストリーム505のようなストリームが受信される。ここで、受信ストリーム505を構成する符号化データ3、4、5は、伝送路でデータ誤り、もしくは損失が発生したことを示している。
誤り訂正復号部506は、正しく受信された符号化データおよび、誤り訂正符号データより、データ誤り/損失の発生した符号化データ3、4、5を復元する。この結果、伝送路での誤り/損失の影響はなくなり、本来のメディアの品質での再生が可能となる。
受信ストリーム505で、メディアの符号化データと、誤り訂正符号データを区別するため、例えば、RTP(Real−time Transport Protocol)に基づいたパケット化を採用するならば、RTPヘッダに含まれるペイロードタイプ、もしくはSSRC(Synchronization Source identifier)、またはCSRC(Contributing Source identifier)を識別子として用いて、メディアの符号化データと誤り訂正符号データに異なった値を設定し、データの種別と値との組み合わせを通信相手に通知することにより、誤り訂正復号部506で、メディアの符号化データと誤り訂正符号データの識別が可能となる。
図6は、図4に示した本実施例の変形例を示す図である。図6に示すように、双方向通信装置601は、メディアの符号化データと、誤り訂正符号データとを、それぞれメディア符号送信部604、誤り訂正符号送信部605から別々のセッション、もしくは別々の伝送路で送信する。前記両符号化データをそれぞれメディア符号受信部606、誤り訂正符号受信部607から受信して、誤り訂正復号部608で、誤りもしくは、損失の影響を受けたメディア符号化データを復元するようにしてもよい。この場合、メディア符号化データと、誤り訂正符号データとを識別する識別子がなくても、送受信するセッションもしくは、伝送路から、データの種別を判断することができる。
さらに、誤り訂正符号化方式によっては、メディアの符号化データを送らず、誤り訂正符号データのみ送信すればよいという符号化方式もある。かかる符号化方式の場合は、メディア符号送信部604とメディア符号受信部606との間で送受信されるメディア符号化データは不要となる。
ここで、LDPC方式により、誤り訂正符号データを生成する検査行列は、伝送路で発生するデータ誤り、もしくは損失のパターンに合わせて用意することが効果的である。さらに検査行列によって、メディアの符号化データに対する誤り訂正符号データ量、誤り訂正符号データを生成する単位が決定される。
誤り訂正符号データの生成には、誤り訂正符号データ生成単位分の処理遅延が必要である。生成単位を大きくすることで、より少ない誤り訂正符号データのデータ量で、データ誤り/損失からの復元率を高くすることができるが、その一方で遅延は増大する。そのため、ある一対の双方向通信装置で再生されるメディアに求められる品質が、互いに異なる場合、それぞれ通信相手の求める品質に合わせた検査行列を設定することで、遅延が削減できる場合がある。
例えば、図1において、双方向通信装置101で再生されるメディアの品質への要求は高く、双方向通信装置103で再生されるメディアの品質への要求が低い場合、双方向通信装置101では、誤り訂正符号生成単位が小さくなるような検査行列を設定するか、あるいは、誤り訂正符号データ生成処理を行わない。双方向通信装置103では、伝送路102でのデータ誤り/損失のパターンに合わせて、適切な誤り訂正符号データ生成量と生成単位となる検査行列を設定することで、互いのメディア再生品質要求を満たしつつ、往復の遅延を削減することが可能である。
また、伝送帯域に限りがある場合、メディアの符号化と、誤り訂正符号データにおいて、ビットレートの割り振りを変えることで、メディアの品質の安定性と、品質の高さとのトレードオフを決めることができる。これも互いの双方向通信装置それぞれで再生されるメディアへの要求に応じて設定できる。
前述したように、検査行列は、伝送路によって設定を変えることが好ましく、そのため、上りリンクと下りリンクで異なった伝送路を用いる場合や、上りリンクと下りリンクとが、異なったデータ誤り/損失特性を有する場合は、やはり検査行列を非対称とすることで、品質を安定させつつ、遅延を削減することが可能となる。
本実施例において、画像をキャプチャするフレームレート、音声をキャプチャする標本化周波数については、前記第1の実施例と同様である。
さらに、受信部208で受信される符号化データのデータ誤り/損失率、誤り/損失バースト長等の統計情報を、例えばRTCP(RTP Control Protocol)のSR(Sender Report)やRR(Receiver Report)で、通信相手の双方向通信装置に通知することにより、伝送路の誤り/損失特性を把握することが可能となる。このように設定・呼接続処理部202により、前記統計情報を前記通信相手の双方向通信装置へ通知することによって、
通信中に誤り訂正符号化方式を変更することを可能にし、
通信中に検査行列を変更する、すなわち、誤り訂正符号データのビットレート、生成の単位を変更することを可能にし、
誤り訂正符号データの送信を停止/再開することも可能である。
例えば、伝送路の状態が良好で、メディアの符号化データが十分な品質で送受信できる場合、誤り訂正符号データの送信を停止し、伝送路の状態が悪化した場合には、誤り訂正符号データの送信を再開することも可能である。
また、誤り訂正符号データを選択的に送信したりすることも可能であり、データ誤り/損失パターンが変動する伝送路においても、効果的なメディアの品質安定化と遅延の削減をすることができる。
なお、本実施例に係る双方向通信装置において、図2の前記第1の実施例で説明したインタリーブ処理(インタリーバ206)、デ・インタリーブ処理(デ・インタリーバ209)を組み合わせてもよい。
また、双方向通信装置401における、設定・呼接続処理部402と、メディア信号キャプチャ部203と、メディア符号化部204と、パケット化処理部205と、誤り訂正符号化部403と、送信部207と、受信部208と、誤り訂正復号部404と、ペイロード抽出部210と、メディア復号部211と、再生部212について、双方向通信装置401を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよい。双方向通信装置401は、例えば音声通信装置を構成する。
また、双方向通信装置601における、設定・呼接続処理部602と、メディア信号キャプチャ部203と、メディア符号化部204と、パケット化処理部205と、誤り訂正符号化部603と、メディア符号送信部604と、誤り訂正符号送信部605と、メディア符号受信部606と、誤り訂正符号受信部607と、誤り訂正復号部608と、ペイロード抽出部210と、メディア復号部211と、再生部212について、双方向通信装置601を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよい。双方向通信装置601は、例えば音声通信装置を構成する。
以上本発明を上記各実施例に即して説明したが、本発明は、上記実施例の構成にのみに限定されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
本発明によれば、利用者の求める、メディアの品質、遅延、帯域、遅延への要求のトレードオフによる設定に基づき、できるだけ安定した品質で双方向通信を実現することができる。
また、本発明によれば、上りリンクと下りリンクとが非対称の伝送路でも、品質と遅延に対する使用者の要求に対応できる双方向通信を実現することができる。
さらに、本発明によれば、変動する伝送路でのデータ誤り/損失に合わせて、品質の安定性と、処理遅延の増加を抑制した双方向通信を実現することができる。
本発明に好適な実施の形態について説明する。本発明の第1の実施例に係る通信システムは、メディアの信号をキャプチャする手段(203)と、キャプチャしたメディアデータを符号化する符号化手段(204)と、インタリーブ処理手段(206)と、伝送路への送信手段(207)と、伝送路からの受信手段(208)と、デ・インタリーブ処理手段(209)と、符号化データを復号する復号手段(211)と、復号されたメディアデータを再生する手段(212)とを有し、さらに符号化手段(204)での符号化設定、インタリーブ処理手段(206)でのインタリーブ処理設定、送信手段(207)での送信設定を行なう手段(202)と、前記符号化設定、前記インタリーブ処理設定、前記送信設定、符号化データの受信状況、の少なくとも1つを通知する手段(202)と、を有し、キャプチャしたメディアの信号を符号化して送信し、符号化データを受信して復号し、再生する。
図1は、本発明の第1の実施例のシステム構成を示す図である。図1に示すように、本発明の第1の実施例のシステムは、双方向通信装置と伝送路を備え、呼接続サーバを含んでいてもよい。本実施例では、双方向通信装置101、双方向通信装置103、呼接続サーバ装置104は、IP(Internet Protocol)網である伝送路102に接続されている。双方向通信装置101、103は、パケット交換により符号化データおよび、呼接続データを送受信する端末であり、呼接続サーバ装置104は、例えばSIP(Session Initiation Protocol)/SDP(Session Description Protocol)による呼接続データを処理して双方向通信装置101と双方向通信装置103との間の通信を確立する端末であるとする(SIP/SDPについては、非特許文献1、2を参照)。なお、双方向通信装置101と双方向通信装置103とが、互いに相手装置のIPアドレスや、符号化データの受信ポート番号、送受信するメディアの符号化方式や符号化オプションをあらかじめ知っている場合、呼接続サーバ装置104は不要となる。
図2は、図1の双方向通信装置101、103の構成を示す図である。図2の双方向通信装置101、103は同一構成である。図2では、一つの双方向通信装置(参照符号201)のみが示されている。図2に示すように、この双方向通信装置201は、設定・呼接続処理部202、メディア信号キャプチャ部203、メディア符号化部204、パケット化処理部205、インタリーバ206、送信部207、受信部208、デ・インタリーバ209、ペイロード抽出部210、メディア復号部211、再生部212を備えている。
例えば、図示されないカメラや、マイクロフォン等からの画像や音声信号は、メディア信号キャプチャ部203で、アナログデジタル変換され、キャプチャされる。当該変換は、設定・呼接続処理部202で設定され、通信相手の双方向通信装置へ通知され、もしくは、あらかじめ定められた、
・フレームレート、
・標本化周波数、
・量子化ビット数
に基づいて行われる。
キャプチャされたメディアデータは、メディア符号化部204で、設定・呼接続処理部202で設定され、通信相手の双方向通信装置へ通知された、もしくは、あらかじめ定められた、
・符号化方式、
・ビットレート、
・例えばMPEG−4符号化方式でのデータ・パーティショニングや再同期マーカの有無、RVLC(Reversible Variable Length Code)のような符号化オプション等
の符号化設定に基づき、符号化される。
符号化された符号化データは、設定・呼接続処理部202で設定された、もしくはあらかじめ定められたメディアデータ単位、ペイロードフォーマットに従い、符号化データの順序がわかるようなシーケンス番号を付与して、パケット化処理部205でパケット化される。
ここで、例えば、RTP(Real−time Transport Protocol)に基づいたパケット化を採用すれば、RTPヘッダに含まれるシーケンス番号で符号化データの順序を示すことができる(RTPについては、非特許文献3を参照)。
パケット化された符号化データは、通信相手の双方向通信装置から通知された、もしくは、あらかじめ定められた、宛先アドレス、ポートに向けて送信部207から、伝送路214へ出力する。
双方向通信装置201は、設定・呼接続処理部202で決められた、もしくは、あらかじめ定められた、ポートにより、受信部208で伝送路214からパケットを受信する。デ・インタリーバ209は、パケットに付与されたシーケンス番号に基づいて、インタリーブ処理されたパケットを並べ替える。
デ・インタリーバ209で並べ替えられたパケットは、
ペイロード抽出部210で符号化データを抽出され、設定・呼接続処理部202で得られる通信相手の双方向通信装置から通知され、もしくは、あらかじめ定められた、
・メディア符号化方式、
・符号化オプション、
に基づいて、メディア復号部211で復号される。
また、前記パケットは、
設定・呼接続処理部202で得られる通信相手の双方向通信装置から通知され、もしくは、あらかじめ定められた、
・フレームレート、
・標本化周波数、
・量子化ビット数
に基づいて再生される。
図3は、本実施例におけるインタリーバ206、デ・インタリーバ209の処理を説明するための説明図である。図3を参照して、図2のインタリーバ206、デ・インタリーバ209での処理の内容を説明する。
図3に示すように、符号化データからなる入力ストリーム301は、インタリーバ302により、例えば、送信ストリーム303のように、インタリーブされる。この場合のインタリーブ処理単位は「9」となり、9個の符号化データ単位ごとに、インタリーブ処理が行われる。このため、その分の処理遅延が発生する。ここで示すインタリーブ処理の単位や、インタリーブの順序は、あくまで一例であり、処理単位や順序がこれらの設定値に制限されるものではない。送信ストリーム303は、伝送路304を経由して通信相手へと送信される。
伝送路304において、送信ストリームに対して、バースト的なデータ誤り、もしくは損失が発生した場合、通信相手に対して、受信ストリーム305のようなストリームが受信される。ここで、受信ストリーム305を構成する符号化データ7、2、5は、伝送路でデータ誤り、もしくは損失が発生したことを示している。
デ・インタリーバ306は、符号データを、本来の順序に並び替え、デ・インタリーブ後ストリーム307を得る。この結果、バースト的なデータ誤り/損失が分散し、連続的なデータの誤り/損失に比べて、メディアの品質の劣化を小さく抑えることができる。
これは、特に、音声符号化データに対して有効であり、連続的なデータ誤り/損失による長時間の音質の劣化を、散在させることで、聴覚的に知覚させ難くする。
ここで、インタリーブ処理単位を、伝送路で発生するデータ誤り、もしくは、損失のバースト長より長く設定すればより効果的である。すなわちインタリーブ処理単位を大きくすることで、伝送路でのデータ誤り、もしくは、損失のバースト長に対応できる幅を広げることができる。これに対して、インタリーブ処理単位を大きくすると、処理遅延は増大する。そのため、ある一対の双方向通信装置で、再生されるメディアに求められる品質が、互いに異なる場合、それぞれ通信相手の求める品質に合わせたインタリーブ処理サイズを設定することで、遅延を削減することができる。
例えば、図1において、双方向通信装置101で再生されるメディアの品質への要求が高く、双方向通信装置103で再生されるメディアの品質への要求が低い場合、双方向通信装置101では、インタリーブ処理単位を小さくするか、あるいは、インタリーブ処理を行わず、双方向通信装置103では、伝送路102でのデータ誤り/損失のバースト長に対応できるインタリーブ処理単位を設定することで、互いのメディア再生品質要求を満たしつつ、往復の遅延を削減することが可能である。
また、インタリーブ処理単位は、伝送路によって設定を変えることが望ましく、そのため、
・上りリンクと下りリンクで異なった伝送路を用いる場合や、
・上りリンクと下りリンクとが、異なったデータ誤り/損失特性を有する場合には、
インタリーブ処理単位を非対称とすることで、品質を安定させつつ、遅延を削減することが可能となる。
同様に、遅延を削減するため、メディア信号キャプチャ部203で、画像をキャプチャするフレームレートや音声をキャプチャする標本化周波数を高くすることもできる。
画像のフレームレートを高くした場合、ビットレートに変化がなければ、通信相手の双方向通信装置で再生される1フレーム当りの画質は低くなるが、遅延は、削減される。
また、例えば音声を、AACで符号化する場合、音声の標本化周波数を高くすると、単位時間当たりの符号化データ単位数は増加するため、オーバヘッドが増加し、やはり、ビットレートに変化がなければ、メディアに割り当てるビットレートは低下し、通信相手の双方向通信装置で再生される音質は低下するが、遅延は削減される。
そのため、インタリーブ処理単位と同様に、
・画像のフレームレートや、
・音声の標本化周波数
は、通信相手の求める品質の要求に合わせて設定し、通信相手の双方向通信装置へ設定・呼接続処理部202で通知することで、品質と遅延の要求のトレードオフによる設定で通信を行うことができる。
さらに、受信部208で受信される符号化データの
・データ誤り/損失率、
・誤り/損失バースト長等、
の統計情報を、受信状況送受信部213で、例えばRTCP(RTP Control Protocol)のSR(Sender Report)や、RR(Receiver Report)で、通信相手の双方向通信装置に通知することにより、通信中にインタリーブ処理単位を変更することも可能である(RTCPについては、非特許文献3を参照)。
ここで、インタリーブ処理単位の変更は、送信側ではインタリーブ単位の切れ目で容易に変更ができ、受信側では、サイズの拡大については、インタリーブのバッファを拡大することで対応できる。しかし、受信側でのサイズの縮小は、再生音の途切れをできるだけ小さく抑えてサイズを変更することが求められる。そのため、デ・インタリーバ209でのバッファの最後尾が空であれば、この部分から削減し、バッファに受信データが詰まっている場合、無音もしくは、値の小さい無音に近いレベルの受信データから削減することで、音の途切れを小さく抑えたバッファサイズの変更が可能となる。
この結果、データ誤り/損失パターンが変動する伝送路においても、効果的なメディアの品質安定化と、遅延の削減を実現することができる。
なお、伝送路214では、データ誤りは発生しても、データ損失は発生せず、かつパケットデータの順序の入れ替えも発生しない場合、インタリーバ206でのインタリーブ順を、設定・呼接続処理部202から通信相手の双方向通信装置に通知するか、もしくは、あらかじめ定めておけば、パケット化処理部205でのシーケンス番号の付与は不要となる。
さらに、AMRのように、符号化方式によっては、ペイロードフォーマット処理の仕組みに、インタリーブ/デ・インタリーブ処理が含まれている場合があり、その場合、インタリーバ206とデ・インタリーバ209は不要となる。この場合、SDPのa=fmtp属性に、
“interleaving=”
にて、インタリーブ処理単位を記述し、通信相手に通知すればよい。
また、双方向通信装置201における、設定・呼接続処理部202と、メディア信号キャプチャ部203と、メディア符号化部204と、パケット化処理部205と、インタリーバ206と、送信部207と、受信部208と、デ・インタリーバ209と、ペイロード抽出部210と、メディア復号部211と、再生部212について、双方向通信装置201を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよいことは勿論である。
[第2の実施例]
本発明の第2の実施例に係る通信システムは、メディアの信号をキャプチャする手段(203)と、キャプチャしたメディアデータを符号化する手段(204)と、符号化データから誤り訂正符号データを生成する手段(403)と、伝送路への送信手段(207)と、伝送路からの受信手段(208)と、受信した符号化データに誤りもしくは欠落がある場合、誤り訂正符号を用いて当該データを復元する手段(404)と、符号化データを復号する手段(211)と、復号されたメディアデータを再生する手段(212)とを備え、さらに、符号化手段(204)での符号化設定、誤り訂正符号データ生成処理設定、送信手段(207)での送信設定を設定する手段(402)と、前記符号化設定、前記誤り訂正符号データ生成処理設定、前記送信設定、符号化データの受信状況、の少なくとも1つを通知する手段(402)と、を備えていてもよい。キャプチャしたメディアの信号は符号化され送信される。受信された当該符号化データは復号化され、再生される。
以下、次に本発明の第2の実施例について具体的に、上記した第1の実施例と異なる箇所のみ、図面を参照しながら説明する。
図4は、本発明の第2の実施例の双方向通信装置(図1の101、103)の構成を示す図である。図4に示されるように、本実施例に係る双方向通信装置401は、図2に示した前記第1の実施例に係る双方向通信装置201のインタリーバ206およびデ・インタリーバ209の代わりに、それぞれ誤り訂正符号化部403と誤り訂正復号部404を備えている。以下、本実施例を、主に図2の前記第1の実施例との相違点について説明し、同一部分の説明は適宜省略する。
誤り訂正符号化部403は、設定・呼接続処理部402で設定され、通信相手の双方向通信装置へ通知された、もしくはあらかじめ定められた誤り訂正符号化方式、誤り訂正符号データ生成単位に基づき、パケット化された符号化データから誤り訂正符号データを生成し、符号化データと共に送信部207から伝送路214へと出力する。ここで、誤り訂正符号化方式には、例えばLDPC(Low Density Parity Check)方式やリード・ソロモン符号等のようなFEC(Forward Error Correction)と呼ばれる符号が用いられることが一般的である。誤り訂正符号については、既存の技術を用いるため、ここでの詳細な説明は省略する。
図5は、本実施例における誤り訂正符号化部403、誤り訂正復号部404の処理を説明するための説明図である。次に、図5に示すように、図4に示した本実施例における誤り訂正符号化部403、誤り訂正復号部404での処理の内容を説明する。ここでは、誤り訂正符号化方式の例として、LDPC方式を用いて説明するが、誤り訂正符号化方式がLDPC方式に限定されないことは勿論である。
図5に示すように、符号化データから成る入力ストリーム501から、誤り訂正符号化部502で、誤り訂正符号を生成することによって、伝送路504へ送信するストリームは、送信ストリーム503のようになる。ここで、誤り訂正符号を生成する単位は「6」であり、6個の符号化データ単位ごとに誤り訂正符号化が行われるため、その分の処理遅延が発生する。
また、本実施例では、6個の符号化データ単位から3個の誤り訂正符号データ単位を生成しているが、誤り訂正符号生成単位ごとの誤り訂正データの個数は、あくまで一例であり、かかる個数にのみ制限されるものでないことは勿論である。
送信ストリーム503は、伝送路504を経由して通信相手へと送信される。
伝送路504が、例えば無線伝送路で、送信ストリームに対してデータ誤り、もしくは損失が発生した場合、通信相手では受信ストリーム505のようなストリームが受信される。ここで、受信ストリーム505を構成する符号化データ3、4、5は、伝送路でデータ誤り、もしくは損失が発生したことを示している。
誤り訂正復号部506は、正しく受信された符号化データおよび、誤り訂正符号データより、データ誤り/損失の発生した符号化データ3、4、5を復元する。この結果、伝送路での誤り/損失の影響はなくなり、本来のメディアの品質での再生が可能となる。
受信ストリーム505で、メディアの符号化データと、誤り訂正符号データを区別するため、例えば、RTP(Real−time Transport Protocol)に基づいたパケット化を採用するならば、RTPヘッダに含まれるペイロードタイプ、もしくはSSRC(Synchronization Source identifier)、またはCSRC(Contributing Source identifier)を識別子として用いて、メディアの符号化データと誤り訂正符号データに異なった値を設定し、データの種別と値との組み合わせを通信相手に通知することにより、誤り訂正復号部506で、メディアの符号化データと誤り訂正符号データの識別が可能となる。
図6は、図4に示した本実施例の変形例を示す図である。図6に示すように、双方向通信装置601は、メディアの符号化データと、誤り訂正符号データとを、それぞれメディア符号送信部604、誤り訂正符号送信部605から別々のセッション、もしくは別々の伝送路で送信する。前記両符号化データをそれぞれメディア符号受信部606、誤り訂正符号受信部607から受信して、誤り訂正復号部608で、誤りもしくは、損失の影響を受けたメディア符号化データを復元するようにしてもよい。この場合、メディア符号化データと、誤り訂正符号データとを識別する識別子がなくても、送受信するセッションもしくは、伝送路から、データの種別を判断することができる。
さらに、誤り訂正符号化方式によっては、メディアの符号化データを送らず、誤り訂正符号データのみ送信すればよいという符号化方式もある。かかる符号化方式の場合は、メディア符号送信部604とメディア符号受信部606との間で送受信されるメディア符号化データは不要となる。
ここで、LDPC方式により、誤り訂正符号データを生成する検査行列は、伝送路で発生するデータ誤り、もしくは損失のパターンに合わせて用意することが効果的である。さらに検査行列によって、メディアの符号化データに対する誤り訂正符号データ量、誤り訂正符号データを生成する単位が決定される。
誤り訂正符号データの生成には、誤り訂正符号データ生成単位分の処理遅延が必要である。生成単位を大きくすることで、より少ない誤り訂正符号データのデータ量で、データ誤り/損失からの復元率を高くすることができるが、その一方で遅延は増大する。そのため、ある一対の双方向通信装置で再生されるメディアに求められる品質が、互いに異なる場合、それぞれ通信相手の求める品質に合わせた検査行列を設定することで、遅延が削減できる場合がある。
例えば、図1において、双方向通信装置101で再生されるメディアの品質への要求は高く、双方向通信装置103で再生されるメディアの品質への要求が低い場合、双方向通信装置101では、誤り訂正符号生成単位が小さくなるような検査行列を設定するか、あるいは、誤り訂正符号データ生成処理を行わない。双方向通信装置103では、伝送路102でのデータ誤り/損失のパターンに合わせて、適切な誤り訂正符号データ生成量と生成単位となる検査行列を設定することで、互いのメディア再生品質要求を満たしつつ、往復の遅延を削減することが可能である。
また、伝送帯域に限りがある場合、メディアの符号化と、誤り訂正符号データにおいて、ビットレートの割り振りを変えることで、メディアの品質の安定性と、品質の高さとのトレードオフを決めることができる。これも互いの双方向通信装置それぞれで再生されるメディアへの要求に応じて設定できる。
前述したように、検査行列は、伝送路によって設定を変えることが好ましく、そのため、上りリンクと下りリンクで異なった伝送路を用いる場合や、上りリンクと下りリンクとが、異なったデータ誤り/損失特性を有する場合は、やはり検査行列を非対称とすることで、品質を安定させつつ、遅延を削減することが可能となる。
本実施例において、画像をキャプチャするフレームレート、音声をキャプチャする標本化周波数については、前記第1の実施例と同様である。
さらに、受信部208で受信される符号化データのデータ誤り/損失率、誤り/損失バースト長等の統計情報を、例えばRTCP(RTP Control Protocol)のSR(Sender Report)やRR(Receiver Report)で、通信相手の双方向通信装置に通知することにより、伝送路の誤り/損失特性を把握することが可能となる。このように設定・呼接続処理部202により、前記統計情報を前記通信相手の双方向通信装置へ通知することによって、
通信中に誤り訂正符号化方式を変更することを可能にし、
通信中に検査行列を変更する、すなわち、誤り訂正符号データのビットレート、生成の単位を変更することを可能にし、
誤り訂正符号データの送信を停止/再開することも可能である。
例えば、伝送路の状態が良好で、メディアの符号化データが十分な品質で送受信できる場合、誤り訂正符号データの送信を停止し、伝送路の状態が悪化した場合には、誤り訂正符号データの送信を再開することも可能である。
また、誤り訂正符号データを選択的に送信したりすることも可能であり、データ誤り/損失パターンが変動する伝送路においても、効果的なメディアの品質安定化と遅延の削減をすることができる。
なお、本実施例に係る双方向通信装置において、図2の前記第1の実施例で説明したインタリーブ処理(インタリーバ206)、デ・インタリーブ処理(デ・インタリーバ209)を組み合わせてもよい。
また、双方向通信装置401における、設定・呼接続処理部402と、メディア信号キャプチャ部203と、メディア符号化部204と、パケット化処理部205と、誤り訂正符号化部403と、送信部207と、受信部208と、誤り訂正復号部404と、ペイロード抽出部210と、メディア復号部211と、再生部212について、双方向通信装置401を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよい。双方向通信装置401は、例えば音声通信装置を構成する。
また、双方向通信装置601における、設定・呼接続処理部602と、メディア信号キャプチャ部203と、メディア符号化部204と、パケット化処理部205と、誤り訂正符号化部603と、メディア符号送信部604と、誤り訂正符号送信部605と、メディア符号受信部606と、誤り訂正符号受信部607と、誤り訂正復号部608と、ペイロード抽出部210と、メディア復号部211と、再生部212について、双方向通信装置601を構成するコンピュータで実行されるプログラム制御により、それぞれの機能、処理を実現するようにしてもよい。双方向通信装置601は、例えば音声通信装置を構成する。
以上本発明を上記各実施例に即して説明したが、本発明は、上記実施例の構成にのみに限定されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
本発明によれば、利用者の求める、メディアの品質、遅延、帯域、遅延への要求のトレードオフによる設定に基づき、できるだけ安定した品質で双方向通信を実現することができる。
また、本発明によれば、上りリンクと下りリンクとが非対称の伝送路でも、品質と遅延に対する使用者の要求に対応できる双方向通信を実現することができる。
さらに、本発明によれば、変動する伝送路でのデータ誤り/損失に合わせて、品質の安定性と、処理遅延の増加を抑制した双方向通信を実現することができる。
Claims (69)
- 入力されたメディアを符号化するステップと、
符号化データを所定の単位でインタリーブするステップと、
インタリーブされた符号化データを出力するステップと、
符号化データを受信するステップと、
受信された符号化データを、所定の方法でデ・インタリーブするステップと、
符号化データを復号し再生するステップと、
を有する、ことを特徴とする双方向通信方法。 - 送信する符号化データと受信する符号化データとで、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の内の少なくとも1つが異なる、ことを特徴とする請求項1に記載の双方向通信方法。 - 利用可能な伝送路帯域、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか1つにより、符号化データの
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)フレームレート、
E)標本化周波数、
の少なくとも1つを設定する、ことを特徴とする請求項1または2に記載の双方向通信方法。 - 呼接続処理により、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つの設定情報を通信相手に通知する、ことを特徴とする請求項1乃至3のいずれか1項に記載の双方向通信方法。 - 呼接続処理により、通信相手から
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つの設定情報を得て、受信した符号化データを復号することを特徴とする請求項1乃至4のいずれか1項に記載の双方向通信方法。 - 受信した符号化データの損失率、バースト長を含む受信データの到着状況を
通信相手へ送信し、
前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つを再設定する、ことを特徴とする請求項1乃至4のいずれか1項記載の双方向通信方法。 - 符号化データの順序を表すシーケンス番号を付与するか、または、符号化データの順序がわかるフォーマットに従って、符号化データを送信する、ことを特徴とする請求項1乃至6のいずれか1項に記載の双方向通信方法。
- 符号化データから所定の単位で誤り訂正符号データを生成するステップと、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力するステップと、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信するステップと、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元するステップと、
符号化データを復号するステップと、
を有する、ことを特徴とする請求項1乃至5に記載の双方向通信方法。 - 送信する誤り訂正符号データと受信する誤り訂正符号データとで、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つが異なる、ことを特徴とする請求項8に記載の双方向通信方法。 - 利用可能な伝送路帯域、または、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求の少なくともいずれか1つにより、誤り訂正符号データの、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つを設定する、ことを特徴とする請求項8または9に記載の双方向通信方法。 - 呼接続処理により、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つの設定情報を、通信相手に通知することを特徴とする請求項8乃至10のいずれか1項に記載の双方向通信方法。 - 呼接続処理により、通信相手の
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つの設定情報を得て、損失がある場合の符号化データを復元する、ことを特徴とする請求項8乃至11のいずれか1項に記載の双方向通信方法。 - 損失率、バースト長を含む受信データの到着状況を通信相手へ送信し、
前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つを再設定する、ことを特徴とする請求項8乃至12のいずれか1項記載の双方向通信方法。 - 符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手に通知し、
符号化データおよび誤り訂正符号データに対応する前記識別子を付与して送信する、ことを特徴とする請求項8乃至13のいずれか1項に記載の双方向通信方法。 - 前記インタリーブ処理の単位を変更するにあたり、
前記符号化データの送信側では、インタリーブ単位の切れ目を変更することで行い、
前記符号化データの受信側では、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する、ことを特徴とする、請求項2乃至6のいずれか1項に記載の双方向通信方法。 - 前記符号化データが音声符号化データを含み、
前記符号化データの受信側では、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで、音の途切れを抑制する、ことを特徴とする請求項15に記載の双方向通信方法。 - 入力されたメディアを符号化して出力する符号化手段と、
前記符号化手段からの符号化データを所定の単位でインタリーブ処理するインタリーブ手段と、
前記インタリーブ手段で並び替えられた符号化データを送信する送信手段と、
前記符号化データを受信する受信手段と、
前記受信手段で受信された、インタリーブ処理された符号化データを元に並び替えるデ・インタリーブ手段と、
前記デ・インタリーブ手段からの符号化データを復号し復号データを出力する復号手段と、
前記復号手段からの復号データを再生する再生手段と、
を備えている、ことを特徴とする双方向通信装置。 - 送信する符号化データと受信する符号化データとで、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の内の少なくとも1つが異なる、ことを特徴とする請求項17に記載の双方向通信装置。 - 利用可能な伝送路帯域、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか1つにより、符号化データの
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)フレームレート
E)標本化周波数、
の少なくとも1つを設定する、ことを特徴とする請求項17または18に記載の双方向通信装置。 - 呼接続処理により、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つの設定情報を通信相手に通知する手段を備えている、ことを特徴とする請求項17乃至19のいずれか1項に記載の双方向通信装置。 - 呼接続処理により、通信相手から、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つの設定情報を得て、受信した符号化データを復号する手段を備えている、ことを特徴とする請求項17乃至20のいずれか1項に記載の双方向通信装置。 - 受信した符号化データの損失率、バースト長を含む受信データの到着状況を通信相手へ送信する手段と、
前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つを再設定する手段を備えている、ことを特徴とする請求項17乃至20のいずれか1項記載の双方向通信装置。 - 符号化データの順序を表すシーケンス番号を付与するか、または、符号化データの順序がわかるフォーマットに従って、符号化データを送信する手段を備えている、ことを特徴とする請求項17乃至22のいずれか1項に記載の双方向通信装置。
- 前記符号化データから所定の単位で誤り訂正符号データを生成する手段と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力する手段と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信する手段と、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元する手段と、
符号化データを復号する手段と、
を有する、ことを特徴とする請求項17乃至21に記載の双方向通信装置。 - 送信する前記誤り訂正符号データと受信する前記誤り訂正符号データとで、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つが異なる、ことを特徴とする請求項24に記載の双方向通信装置。 - 利用可能な伝送路帯域、または、伝送路でのデータ損失パターン、または、入力手段を介して入力された利用者からの要求の少なくともいずれか1つにより、誤り訂正符号データの、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つを設定する手段を備えている、ことを特徴とする請求項24または25に記載の双方向通信装置。 - 呼接続処理により、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つの設定情報を通信相手に通知する手段を備えている、ことを特徴とする請求項24乃至26のいずれか1項に記載の双方向通信装置。 - 呼接続処理により、通信相手の
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つの設定情報を得て、損失がある場合の符号化データを復元する手段を備えている、ことを特徴とする請求項24乃至27のいずれか1項に記載の双方向通信装置。 - 損失率、バースト長を含む受信データの到着状況を通信相手へ送信する手段と、
前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つを再設定する手段を備えている、ことを特徴とする請求項24乃至28のいずれか1項記載の双方向通信装置。 - 符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手に通知する手段と、
符号化データおよび誤り訂正符号データに、対応する前記識別子を付与して送信する手段を備えている、ことを特徴とする請求項24乃至29のいずれか1項に記載の双方向通信装置。 - 前記インタリーブ処理の単位を変更する手段として、前記符号化データの送信側は、インタリーブ単位の切れ目を変更する手段を備え、
前記符号化データの受信側は、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する手段を備えている、ことを特徴とする、請求項19乃至23のいずれか1項に記載の双方向通信装置。 - 前記符号化データが音声符号化データを含み、前記符号化データの受信側は、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで音の途切れを抑制する手段を備えている、ことを特徴とする、請求項31に記載の双方向通信装置。
- 伝送路を介して通信する少なくとも2つの通信装置を備えた双方向通信システムにおいて、
前記2つの通信装置の少なくとも一方が、入力されたメディアを符号化する符号化手段と、
符号化データを所定の単位でインタリーブ処理するインタリーブ手段と、
インタリーブされた符号化データを前記伝送路に出力する送信手段と、
を備え、
前記2つの通信装置の少なくとも他方が、前記伝送路から前記符号化データを受信する受信手段と、
受信され、インタリーブ処理された符号化データを、所定の方法で元に並び替えるデ・インタリーブ手段と、
符号化データを復号し復号データを出力する復号手段と、
前記復号データを再生する再生手段と、
を備えている、ことを特徴とする双方向通信システム。 - 前記2つの通信装置の1つの通信装置が送信する符号化データと相手の通信装置が受信する符号化データとで、 A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の内の少なくとも1つが異なる、ことを特徴とする請求項33に記載の双方向通信システム。 - 前記2つの通信装置の少なくとも1つが、
利用可能な伝送路の帯域、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか1つにより、符号化データの
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)フレームレート、
E)標本化周波数、
の少なくとも1つを設定する手段を備えている、ことを特徴とする請求項33または34に記載の双方向通信システム。 - 前記2つの通信装置の少なくとも1つが、呼接続処理により、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つの設定情報を、通信相手の通信装置に通知する手段を備えている、ことを特徴とする請求項33乃至35のいずれか1項に記載の双方向通信システム。 - 前記2つの通信装置の少なくとも1つが、呼接続処理により、通信相手の通信装置から
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つの設定情報を得て、受信した符号化データを復号する手段を備えている、ことを特徴とする請求項33乃至36のいずれか1項に記載の双方向通信システム。 - 前記2つの通信装置の少なくとも1つが、受信した符号化データの損失率、バースト長を含む受信データの到着状況を通信相手の通信装置へ送信する手段と、
通信相手の通信装置から、前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つを再設定する手段を備えている、ことを特徴とする請求項33乃至36のいずれか1項記載の双方向通信システム。 - 前記2つの通信装置の少なくとも1つが、符号化データの順序を表すシーケンス番号を付与するか、または、順序がわかるフォーマットに従って、符号化データを送信する手段を備えている、ことを特徴とする請求項36乃至38のいずれか1項に記載の双方向通信システム。
- 前記2つの通信装置の少なくとも1つが、前記符号化データから所定の単位で誤り訂正符号データを生成する手段と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力する手段と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信する手段と、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元する手段と、
符号化データを復号する手段と、
を有することを特徴とする請求項33乃至37に記載の双方向通信システム。 - 送信する前記誤り訂正符号データと受信する前記誤り訂正符号データとで、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つが異なる、ことを特徴とする請求項40に記載の双方向通信システム。 - 前記2つの通信装置の少なくとも1つが、
利用可能な伝送路帯域、または、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか1つにより、誤り訂正符号データの、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つを設定する、ことを特徴とする請求項40または41に記載の双方向通信システム。 - 前記2つの通信装置の少なくとも1つが、
呼接続処理により、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つの設定情報を通信相手の通信装置に通知する手段を備えている、ことを特徴とする請求項39乃至42のいずれか1項に記載の双方向通信システム。 - 前記2つの通信装置の少なくとも1つが、
呼接続処理により、通信相手の通信装置の
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つの設定情報を得て、損失がある場合の符号化データを復元する手段を備えている、ことを特徴とする請求項40乃至43のいずれか1項に記載の双方向通信システム。 - 前記2つの通信装置の少なくとも1つが、
損失率、バースト長を含む受信データの到着状況を通信相手の通信装置へ送信する手段と、
通信相手の通信装置から前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つを再設定する手段を備えている、ことを特徴とする請求項40乃至44のいずれか1項記載の双方向通信システム。 - 前記2つの通信装置の少なくとも1つが、
符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手の通信装置に通知する手段と、
符号化データおよび、誤り訂正符号データに、対応する前記識別子を付与して送信する手段と、
を備えている、ことを特徴とする請求項40乃至45のいずれか1項に記載の双方向通信システム。 - 前記インタリーブ処理の単位を変更する手段として、前記符号化データの送信側は、インタリーブ単位の切れ目を変更する手段を備え、
前記符号化データの受信側は、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する手段を備えている、ことを特徴とする、請求項34乃至38のいずれか1項に記載の双方向通信システム。 - 前記符号化データが音声符号化データを含み、前記符号化データの受信側は、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで音の途切れを抑制する手段を備えている、ことを特徴とする、請求項47に記載の双方向通信システム。
- 双方向通信装置を構成するコンピュータに、
入力されたメディアを符号化する処理と、
符号化データを所定の単位でインタリーブする処理と、
インタリーブされた符号化データを出力する処理と、
前記符号化データを受信する処理と、
受信された符号化データを、所定の方法でデ・インタリーブする処理と、
符号化データを復号し再生する処理と、
を実行させるプログラム。 - 請求項49記載のプログラムにおいて、
送信する符号化データと受信する符号化データとで、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の内の少なくとも1つが異なる、プログラム。 - 請求項49又は50記載のプログラムにおいて、
利用可能な伝送路帯域、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、
の少なくともいずれか1つにより、符号化データの
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)フレームレート、
E)標本化周波数、
の少なくとも1つを設定する処理を、前記コンピュータに実行させるプログラム。 - 請求項49乃至51のいずれか1項に記載のプログラムにおいて、
呼接続処理により、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つの設定情報を通信相手に通知する処理を、前記コンピュータに実行させるプログラム。 - 請求項49乃至51のいずれか1項に記載のプログラムにおいて、
呼接続処理により、通信相手から、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つの設定情報を得て、受信した符号化データを復号する処理を、前記コンピュータに実行させるプログラム。 - 請求項49乃至52のいずれか1項に記載のプログラムにおいて、
受信した符号化データの損失率、バースト長を含む受信データの到着状況を通信相手へ送信する処理と、
通信相手から前記到着状況を受信すると、該到着状況にしたがって、送信する符号化データの、
A)インタリーブ処理の有無、
B)インタリーブ処理の単位、
C)インタリーブの順序、
D)ビットレート、
E)フレームレート、
F)標本化周波数、
の少なくとも1つを再設定する処理を、前記コンピュータに実行させるプログラム。 - 請求項49乃至54のいずれか1項に記載のプログラムにおいて、
符号化データの順序を表すシーケンス番号を付与するか、または、符号化データの順序がわかるフォーマットに従って符号化データを送信する処理を、前記コンピュータに実行させるプログラム。 - 請求項49乃至53のいずれか1項に記載のプログラムにおいて、
前記符号化データから所定の単位で誤り訂正符号データを生成する処理と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を出力する処理と、
符号化データおよび誤り訂正符号データの少なくとも一方の少なくとも一部を受信する処理と、
受信された符号化データに損失がある場合、正常に受信できた符号化データおよび誤り訂正符号データの少なくとも一方から、損失した符号化データを復元する処理と、
符号化データを復号する処理と、
を前記コンピュータに実行させるプログラム。 - 請求項56に記載のプログラムにおいて、
送信する前記誤り訂正符号データと受信する前記誤り訂正符号データとで、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つが異なるプログラム。 - 請求項56または57に記載のプログラムにおいて、
利用可能な伝送路帯域、または、
伝送路でのデータ損失パターン、または、
入力手段を介して入力された利用者からの要求、の少なくともいずれか1つにより、誤り訂正符号データの、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つを設定する処理を、前記コンピュータに実行させるプログラム。 - 請求項56乃至58のいずれか1項に記載のプログラムにおいて、
呼接続処理により、
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つの設定情報を通信相手に通知する処理を、前記コンピュータに実行させるプログラム。 - 請求項56乃至59のいずれか1項に記載のプログラムにおいて、
呼接続処理により、通信相手の
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つの設定情報を得て、損失がある場合の符号化データを復元する処理を、前記コンピュータに実行させるプログラム。 - 請求項56乃至60のいずれか1項に記載のプログラムにおいて、
損失率、バースト長を含む受信データの到着状況を通信相手へ送信する処理と、
通信相手からの前記到着状況を受信すると、該到着状況にしたがって送信する誤り訂正符号データの
A)誤り訂正符号化方式、
B)誤り訂正符号データ送信の有無、
C)誤り訂正符号データのビットレート、
D)誤り訂正符号データ生成の単位、
の少なくとも1つを再設定する処理と、
を前記コンピュータに実行させるプログラム。 - 請求項56乃至61のいずれか1項に記載のプログラムにおいて、
符号化データと誤り訂正符号データとを識別するための識別子の対応関係を通信相手に通知する処理と、
符号化データおよび、誤り訂正符号データに、対応する前記識別子を付与して送信する処理とを、
前記コンピュータに実行させるプログラム。 - 請求項50乃至54のいずれか1項に記載のプログラムにおいて、
前記インタリーブ処理の単位を変更するにあたり前記符号化データの送信側において、インタリーブ単位の切れ目を変更する処理と、
前記符号化データの受信側において、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する処理と、
を前記コンピュータに実行させるプログラム。 - 請求項63記載のプログラムにおいて、
前記符号化データが音声符号化データを含み、前記符号化データの受信側は、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで音の途切れを抑制する処理を、前記コンピュータに実行させるプログラム。 - メディア信号をキャプチャするメディアキャプチャ手段と、
キャプチャしたメディアデータを符号化するメディア符号化手段と、
前記メディア符号化手段で符号化されたデータを並び替えるインタリーブ手段と、
前記インタリーブ手段から出力される符号化データを伝送路へ送信する送信手段と、
前記伝送路から符号化データを受信する受信手段と、
受信された符号化データをもとに並び替えるデ・インタリーブ手段と、
前記デ・インタリーブ手段で並び替えが行われた符号化データを復号するメディア復号手段と、
前記メディア復号手段で復号されたメディアデータを再生する手段と、
前記メディア符号化手段での符号化設定、前記インタリーブ手段でのインタリーブ処理設定、前記送信手段での送信設定のうちの少なくとも1つを可変に設定する手段と、
前記符号化設定、前記インタリーブ処理設定、前記送信設定、符号化データの受信状況、の少なくとも1つを通信相手に通知する手段と、
を備えている、ことを特徴とする通信システム。 - メディア信号をキャプチャするメディアキャプチャ手段と、
キャプチャしたメディアデータを符号化するメディア符号化手段と、
前記メディア符号化手段からの符号化データを受け誤り訂正符号データを生成する誤り訂正符号化手段と、
前記符号化データ及び誤り訂正符号データを伝送路へ送信する送信手段と、
前記伝送路から前記符号化データ及び前記誤り訂正符号データを受信する受信手段と、
前記受信された符号化データに誤りもしくは欠落がある場合、前記誤り訂正符号を用いて符号化データを復元する誤り訂正復号手段と、
前記受信符号化データまたは復元された前記符号化データを復号するメディア復号手段と、
復号されたメディアデータを再生する手段と、
前記メディア符号化手段での符号化設定、誤り訂正符号データ生成処理の設定、前記送信手段での送信設定のうちの少なくとも1つを可変に設定する手段と、
前記符号化設定、前記誤り訂正符号データ生成処理設定、前記送信設定、符号化データの受信状況、の少なくとも1つを通信相手に通知する手段と、
を備えている、ことを特徴とする通信システム。 - 前記符号化データと前記誤り訂正符号データとをそれぞれ別々のセッションまたは別々の伝送路で送信する手段を備えている、ことを特徴とする請求項66記載の通信システム。
- 前記インタリーブ処理設定として、前記インタリーブ手段でのインタリーブ単位の切れ目を変更する手段を備え、
前記デ・インタリーブ手段について、符号化データを格納するバッファのサイズを可変させ、前記インタリーブ処理の単位のサイズの拡大については、前記バッファを拡大することで対応し、サイズの縮小は、再生信号の途切れを抑えて前記バッファのサイズを変更する手段を備えている、ことを特徴とする、請求項65に記載の通信システム。 - 前記符号化データが音声符号化データを含み、前記符号化データの受信側では、前記バッファに空の部分があれば、前記空の部分から削減し、前記バッファに受信符号化データが詰まっている場合、無音もしく無音に近いレベルの受信データから削減することで音の途切れを抑制する手段を備えている、ことを特徴とする、請求項68に記載の通信システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004176035 | 2004-06-14 | ||
JP2004176035 | 2004-06-14 | ||
PCT/JP2005/011186 WO2005122455A1 (ja) | 2004-06-14 | 2005-06-13 | 双方向通信方法と装置、システムならびにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2005122455A1 true JPWO2005122455A1 (ja) | 2008-04-10 |
Family
ID=35503460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006514618A Pending JPWO2005122455A1 (ja) | 2004-06-14 | 2005-06-13 | 双方向通信方法と装置、システムならびにプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20070198878A1 (ja) |
EP (1) | EP1775870A4 (ja) |
JP (1) | JPWO2005122455A1 (ja) |
KR (1) | KR100937060B1 (ja) |
CN (1) | CN1969493B (ja) |
WO (1) | WO2005122455A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106330376B (zh) * | 2011-02-15 | 2017-12-01 | 瑞典爱立信有限公司 | 通信网络中的时间同步的方法、系统和节点 |
JP2013062737A (ja) * | 2011-09-14 | 2013-04-04 | Nec Corp | 信号送受信回路 |
US8954832B1 (en) | 2012-09-05 | 2015-02-10 | L-3 Communications Corp. | Asymmetric distance coding |
KR102108380B1 (ko) * | 2014-02-04 | 2020-05-08 | 삼성전자주식회사 | 송신 데이터 오류를 복구하도록 작동하는 인터페이스 회로 |
JP6508347B2 (ja) | 2015-09-17 | 2019-05-08 | 日本電気株式会社 | 端局装置およびその制御方法ならびに端局装置の制御プログラム |
US20170324425A1 (en) * | 2016-05-06 | 2017-11-09 | Infineon Technologies Ag | Embedded parity matrix generator |
US10992724B2 (en) * | 2017-01-20 | 2021-04-27 | Hanwha Techwin Co., Ltd. | Media playback apparatus and method including delay prevention system |
CN113438054B (zh) * | 2021-06-23 | 2022-08-16 | 杭州海康威视数字技术股份有限公司 | 数据传输方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09298526A (ja) * | 1996-03-07 | 1997-11-18 | Kokusai Denshin Denwa Co Ltd <Kdd> | データ通信における誤り制御方法及び装置 |
JPH11164373A (ja) * | 1997-09-21 | 1999-06-18 | Lucent Technol Inc | 通信システム |
WO2003027884A1 (en) * | 2001-09-27 | 2003-04-03 | Eg Technology, Inc | System and method of quality of service signaling between client and server devices |
WO2003028296A1 (en) * | 2001-09-27 | 2003-04-03 | Eg Technology, Inc. | Communication system and techniques for transmission from source to destination |
JP2003179580A (ja) * | 2001-12-12 | 2003-06-27 | Sony Corp | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS574629A (en) * | 1980-05-21 | 1982-01-11 | Sony Corp | Data transmitting method capable of correction of error |
US5933567A (en) * | 1993-01-13 | 1999-08-03 | Hitachi America, Ltd. | Method and apparatus for controlling the position of the heads of a digital video tape recorder during trick play operation and for recording digital data on a tape |
CA2131674A1 (en) * | 1993-09-10 | 1995-03-11 | Kalyan Ganesan | High performance error control coding in channel encoders and decoders |
JPH07170503A (ja) * | 1993-12-15 | 1995-07-04 | Sony Corp | 受信装置 |
FR2718906B1 (fr) * | 1994-04-13 | 1996-05-24 | Alcatel Mobile Comm France | Procédé d'adaptation de l'interface air, dans un système de radiocommunication avec des mobiles, station de base, station mobile et mode de transmission correspondants. |
US5926205A (en) * | 1994-10-19 | 1999-07-20 | Imedia Corporation | Method and apparatus for encoding and formatting data representing a video program to provide multiple overlapping presentations of the video program |
US6154661A (en) * | 1997-12-10 | 2000-11-28 | Arraycomm, Inc. | Transmitting on the downlink using one or more weight vectors determined to achieve a desired radiation pattern |
US6067646A (en) * | 1998-04-17 | 2000-05-23 | Ameritech Corporation | Method and system for adaptive interleaving |
JP4031136B2 (ja) * | 1999-01-14 | 2008-01-09 | 株式会社東芝 | 符号化・復号化装置及びディスク記憶装置 |
CA2368027C (en) * | 1999-04-06 | 2006-03-28 | Beong-Jo Kim | 2-dimensional interleaving apparatus and method |
EP1126717A1 (en) * | 2000-02-16 | 2001-08-22 | Lucent Technologies Inc. | Mobile radio telecommunication system with real-time video service |
US20020136276A1 (en) * | 2000-03-09 | 2002-09-26 | Franceschini Michael R. | Frequency domain direct sequence spread spectrum with flexible time frequency code |
GB2371947B (en) * | 2001-02-01 | 2005-02-23 | Fujitsu Ltd | Communications systems |
JP3670989B2 (ja) * | 2001-09-06 | 2005-07-13 | 三洋電機株式会社 | ディジタル放送受信装置 |
JP2003188855A (ja) * | 2001-12-19 | 2003-07-04 | Nec Mobiling Ltd | 移動体通信の誤り訂正制御方式 |
JP3815344B2 (ja) * | 2002-02-21 | 2006-08-30 | 株式会社日立製作所 | 多値変調に適した符号語マッピング方法 |
US20050251725A1 (en) * | 2004-05-06 | 2005-11-10 | Genieview Inc. | Signal processing methods and systems |
US7447978B2 (en) * | 2004-11-16 | 2008-11-04 | Nokia Corporation | Buffering packets of a media stream |
CA2593247A1 (en) * | 2005-01-10 | 2006-11-16 | Quartics, Inc. | Integrated architecture for the unified processing of visual media |
-
2005
- 2005-06-13 JP JP2006514618A patent/JPWO2005122455A1/ja active Pending
- 2005-06-13 EP EP05751225A patent/EP1775870A4/en not_active Withdrawn
- 2005-06-13 WO PCT/JP2005/011186 patent/WO2005122455A1/ja active Application Filing
- 2005-06-13 KR KR1020077000861A patent/KR100937060B1/ko not_active IP Right Cessation
- 2005-06-13 US US11/570,494 patent/US20070198878A1/en not_active Abandoned
- 2005-06-13 CN CN2005800192161A patent/CN1969493B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09298526A (ja) * | 1996-03-07 | 1997-11-18 | Kokusai Denshin Denwa Co Ltd <Kdd> | データ通信における誤り制御方法及び装置 |
JPH11164373A (ja) * | 1997-09-21 | 1999-06-18 | Lucent Technol Inc | 通信システム |
WO2003027884A1 (en) * | 2001-09-27 | 2003-04-03 | Eg Technology, Inc | System and method of quality of service signaling between client and server devices |
WO2003028296A1 (en) * | 2001-09-27 | 2003-04-03 | Eg Technology, Inc. | Communication system and techniques for transmission from source to destination |
JP2003179580A (ja) * | 2001-12-12 | 2003-06-27 | Sony Corp | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
Non-Patent Citations (1)
Title |
---|
秋本 高明: "N−ISDN用マルチメディアオンデマンド(MOD)技術", NTT R&D, vol. 第44巻第9号, JPN6009068164, 10 September 1995 (1995-09-10), pages 803 - 812, ISSN: 0001504454 * |
Also Published As
Publication number | Publication date |
---|---|
KR100937060B1 (ko) | 2010-01-15 |
WO2005122455A1 (ja) | 2005-12-22 |
EP1775870A4 (en) | 2012-11-07 |
US20070198878A1 (en) | 2007-08-23 |
WO2005122455B1 (ja) | 2006-03-30 |
KR20070037617A (ko) | 2007-04-05 |
CN1969493B (zh) | 2011-01-26 |
EP1775870A1 (en) | 2007-04-18 |
CN1969493A (zh) | 2007-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8503538B2 (en) | Method, apparatus, system, and program for content encoding, content distribution, and content reception | |
JP4367657B2 (ja) | 音声通信方法及び装置 | |
CA2566125C (en) | Header compression of multimedia data transmitted over a wireless communication system | |
KR100927159B1 (ko) | 데이터 전송 | |
US8341684B2 (en) | Method and device for transmitting data | |
KR100937060B1 (ko) | 쌍방향 통신 방법과 장치, 시스템 및 프로그램을 기억한 기억 매체 | |
CN101536088B (zh) | 用于提供冗余管理的系统和方法 | |
EP1742476A1 (en) | Scalable video coding streaming system and transmission mechanism of the same system | |
JP5109787B2 (ja) | データ伝送システム、プログラム及び方法 | |
JP5021765B2 (ja) | 逆方向リンクおよび順方向リンクのビデオデータエラーを区別するエラーフィルタ | |
JP2008546230A (ja) | インバンド誤りパターンを使用する誤り回復のための装置と方法 | |
JPWO2005050346A1 (ja) | コンテンツ配信及び受信装置,コンテンツ送受信システム,コンテンツ配信及び受信方法,コンテンツ配信及び受信用プログラム | |
JP4049378B2 (ja) | 双方向画像通信システムにおけるサーバ及びその処理方法並びにプログラム | |
JP2004120148A (ja) | マルチメディアコンテンツ送信装置およびマルチメディアコンテンツ受信装置 | |
Korhonen | New methods for robust audio streaming in a wireless environment | |
JP2009055469A (ja) | 送信端末 | |
Balaouras et al. | Multimedia transport protocols for wireless networks | |
Liang et al. | Real-time communication: Internet protocol voice and video telephony and teleconferencing | |
Taylor et al. | VSHAPER: an efficient method of serving video streams shaped for diverse wireless communication conditions | |
Jammeh et al. | Transporting real time transcoded video over the Internet using end-to-end control | |
Lyonnet et al. | Architecture Considerations for Video Conferencing in the Internet with Wireless Links | |
Seferoğlu | Multimedia streaming over wireless channels | |
Zheng et al. | 5 Streaming Video over Wireless Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090610 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090810 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100106 |