WO2008072469A1

WO2008072469A1 - メディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバ

Info

Publication number: WO2008072469A1
Application number: PCT/JP2007/072873
Authority: WO
Inventors: Kazunori Ozawa
Original assignee: Nec Corporation
Priority date: 2006-12-11
Filing date: 2007-11-27
Publication date: 2008-06-19
Also published as: CN101554007A; JP2012165429A; KR20090089397A; JPWO2008072469A1; BRPI0718336A2; MX2009005900A; US20100027618A1; EP2093920A1; KR101153694B1; RU2009126574A

Abstract

　パケットロスの発生によるメディアの品質劣化を防止するメディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、メディアサーバ装置を提供する。　各パケットに格納される符号化データ及び冗長データの設定、及び音声符号化部及び冗長データ生成部の少なくともいずれか１つの符号化ビットレートの設定をメディア送受信装置間で交換する接続呼処理部と、メディア送受信装置間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくといずれか１つを復号化する音声復号化部とを有し、メディア送受信装置間で交換されたパケットに格納されるデータの設定に基づいて各パケットから符号化データ及び冗長データを分離し、該冗長データで欠落した符号化データを補填することにより、メディア符号化データをＩＰ網を介してパケットで転送する場合に、パケットロスが発生しても、メディア品質の劣化を防止する。

Description

明細書

メディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーノく

技術分野

[0001] 本発明は、符号化されたメディア（音声や映像など）データをパケットで送受信する方法及び装置に関し、パケットロスが発生する場合でもメディア品質の劣化を防止して伝送することができるメディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバに関する。背景技術

[0002] 近年、音声や映像などのメディア信号を効率よぐかつ高品質で圧縮伝送する方法がモパイル網、ブロードバンド網を問わず普及している。音声信号を効率良ぐかつ高音質で圧縮伝送する方法として、モパイル網では AMR-NB (Adaptive Multi-Rate NarrowBand)符号化方式力ブロードバンド網では ITU-T G.729などの CS_ACELP ( Conjugate structure and Algebraic し ode Excited Linear Prediction)符^ 匕方式 , どが使用されている。現在、ブロードバンド網を中心に普及し、かつモパイル網でも導入される予定の IP電話は、これらの符号化方式で符号化した音声データを、 IP Onte met Protocol)網を介して転送する。 IP網を介して音声データを転送する場合に、例えば AMR-NBで符号化した音声データをパケット化するための規格として、 IETF RF C1889 RTP (Real-time Transport Protocol)や IETF RFC3016 AMRペイロードフォーマットが定められている。また、画像符号化方式としては、 ITU— T規格の H.263符号化方式や MPEG規格の MPEG-4方式が普及しており、今後、さらに符号化効率の高い ITU-T H.264 (MPEG-4 AVC)方式が導入されると予想される。なお、 IETFは、 Inte met Engineering i ask Forceの Β¾· 、ある。ま 7こ、 RFし (ま、 Request rorし ommentsの略である。まに、 ITUは、 International Telecommunication Unionの略である。まに、 MPE Gは、 Motion Picture Experts Groupの略である。 [0003] 特許文献 1では、パケット冗長化によるロス改善方法およびシステムが提案されている。この方法では、まず、送信する音声等のリアルタイム性を持つデータを n分割した nパケットと、該データの排他論理和からなる冗長化パケットの n+ 1パケットを併せて送信する。次に、 1パケットのロスが発生しても残りの n—1パケットと冗長化パケットとの排他論理和により、ロスパケットを再生して、データロスを低減する。また、 n分割したパケットと冗長化パケットの n+ 1パケットのうち、 2つ以上のパケットロスが発生しても n分割したパケットの!/、ずれかを受信した場合には、パケットを正し!/、時間位置で復号化する。

[0004] 特許文献 2では、パケットデータ通信における損失データ補填方式が提案されている。この方式では、再送機能を有しておらず、かつ、シーケンス番号を有しているプロトコルを用いてパケットデータ通信を行なうに際し、時系列的に連続する複数 N個のデータ片を備えるパケットデータを生成して送信する。また、パケットデータを受信し、受信したパケットデータ内のシーケンス番号に基づき、当該パケットデータが前回受信したパケットデータの後続のパケットデータであるか否かを判定する。そして、当該パケットデータが前回受信したパケットデータの後続のパケットデータではないと判定されるパケット損失発生時に、受信したパケットデータ内のデータ片を用いてパケット損失に係るデータを補填する。

[0005] 特許文献 3では、無線ネットワークシステムが提案されている。このシステムは、第 1 及び第 2の無線通信装置が無線ネットワークを介してパケット通信を行う無線ネットヮークシステムである。第 1の無線通信装置は、送信しょうとするパケットをコピー処理して複数の同一パケットを生成し、その複数の同一パケットを、異なる複数のネットヮーク経路に送出する。第 2の無線通信装置は、 1又は複数のネットワーク経路からのパケットを受信し、その受信パケットを監視し、過去に受信したパケットと同一の受信パケットを廃棄する。

特許文献 1 :特開 2002— 261819号公報

特許文献 2：特開 2003— 163714号公幸

特許文献 3 :特開 2005— 318395号公報

発明の開示発明が解決しょうとする課題

[0006] しかしながら、上記メディア符号化方式では、符号化したデータを IETF規格の RFC 3016や RFC1886を用いて RTPパケット化して IP網を介して転送する場合、 IP網で発生するパケットロスを回避することができない。例えば、音声符号化方式で圧縮符号化された音声データに対してパケットロスが発生した場合、音声符号化データは、例えば、 20ms毎のフレーム単位または複数個のフレームで損失する。そのため、パケットロスを含む音声データを受信側で復号すると、音質が極めて劣化する。

[0007] また、音声符号化方式の受信側は誤り隠蔽手段を搭載しており、パケットロスと判断されると誤り隠蔽を起動させて音切れや音飛びを防止するが、音声符号化方式は過去の信号からの予測を用いて符号化効率を高めた方式であるため、原理的にバケツトロスゃ誤りに弱ぐかつ誤り隠蔽方式自体も不十分なものである。そのため、パケットロス率が数％をこえると、誤り隠蔽しても、音質の劣化が明らかに検知できてしまうという問題点があった。

[0008] また、画像符号化方式では音声よりもさらにパケット損失の影響が大きぐ画像符号化データを含んだパケットが損失すると、特に予測フレーム（Pフレーム）では受信側で大幅な画質劣化が発生するという問題があった。

[0009] 本発明は、上記事情に鑑みてなされたものであり、メディア符号化データを IP網を介してパケットで転送する場合に、パケットロスが発生しても、メディア品質の劣化を防止するメディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、メディアサーバを提供することを目白勺としている。

課題を解決するための手段

[0010] かかる目的を達成するために、本発明の第 1のメディア送受信方法は、送信装置と受信装置の間で通信を行なうメディア送受信方法であって、送信装置にて、入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化工程と、送信装置にて、符号化データに対して冗長データを生成する冗長データ生成工程と、送信装置にて、符号化データ及び冗長データを 1つのパケットに格納するパケット格納工程と、送信装置にて、接続呼処理を用いて、符号化データ及び冗長データの少なくとも 1つの符号化ビットレートの設定を受信装置へ通知する接続呼処理工程と、送信装置にて、パケットを受信装置へ送信するパケット送信工程と、受信装置にて、送信装置から送信されたパケットを受信するパケット受信工程と、受信装置にて、送信装置と受信装置の間で交換された符号化ビットレートの設定に基づいてパケットに格納された符号化データと冗長データとを分離するデータ分離工程と、受信装置にて、パケットの送信中にロスが発生した場合は、符号化データのロスを冗長データで補填するデータ補填工程と、受信装置にて、送信装置と受信装置の間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくとも 1つを復号化する復号化工程と、を有することを特徴とする。

[0011] 本発明の第 2のメディア送受信方法は、本発明の第 1のメディア送受信方法において、信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする。

[0012] 本発明の第 2のメディア送受信方法は、本発明の第 1のメディア送受信方法において、送信装置にて、パケットに冗長データを複数格納して送信することを特徴とする。

[0013] 本発明の第 3のメディア送受信方法は、本発明の第 1のメディア送受信方法において、送信装置にて、パケットに符号化データを複数格納して送信することを特徴とす

[0014] 本発明の第 4のメディア送受信方法は、本発明の第 1のメディア送受信方法において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とする。

[0015] 本発明の第 1のメディア送信方法は、受信装置との間で通信を行なうメディア送信方法であって、入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化工程と、符号化データに対して冗長データを生成する冗長データ生成工程と、符号化データ及び冗長データを 1つのパケットに格納するパケット格納工程と、接続呼処理を用いて、符号化データ及び冗長データの少なくとも 1つの符号化ビットレートの設定を受信装置へ通知する接続呼処理工程と、パケットを受信装置へ送信するパケット送信工程と、を有することを特徴とする。

[0016] 本発明の第 2のメディア送信方法は、本発明の第 1のメディア送信方法において、信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする。 [0017] 本発明の第 3のメディア送信方法は、本発明の第 1のメディア送信方法において、パケット格納工程では、パケットに冗長データを複数格納することを特徴とする。

[0018] 本発明の第 4のメディア送信方法は、本発明の第 1のメディア送信方法において、パケット格納工程では、パケットに符号化データを複数格納することを特徴とする。

[0019] 本発明の第 5のメディア送信方法は、本発明の第 1のメディア送信方法において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とす

[0020] 本発明の第 1のメディア受信方法は、送信装置との間で通信を行なうメディア受信方法であって、送信装置から送信されたパケットを受信するパケット受信工程と、送信装置との間で交換された符号化ビットレートの設定に基づいてパケットに格納された符号化データと冗長データとを分離するデータ分離工程と、パケットの送信中に口スが発生した場合は、符号化データのロスを冗長データで補填するデータ補填工程と、送信装置と間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくとも 1つを復号化する復号化工程と、を有することを特徴とする

[0021] 本発明の第 2のメディア受信方法は、本発明の第 1のメディア受信方法において、符号化データは、音声信号及び画像信号のいずれかが符号化されたデータであることを特徴とする。

[0022] 本発明の第 3のメディア受信方法は、本発明の第 1のメディア受信方法において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とす

[0023] 本発明の第 1のメディア送受信装置は、入力された信号を所定のフレーム長に分割し、各フレームを符号化した符号化データを作成する符号化部と、符号化データに対して冗長データを生成する冗長データ生成部と、符号化データ及び冗長データ力つのパケットに格納されたパケットを送受信するデータ送受信部とを有するメディァ送受信装置にぉレ、て、各パケットに格納される符号化データ及び冗長データの設定、及び符号化部及び冗長データ生成部の少なくとも 1つの符号化ビットレートの設定をメディア送受信装置間で交換する接続呼処理部と、メディア送受信装置間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくとも 1つを復号化する復号化部とを有し、データ送受信部は、メディア送受信装置間で交換されたパケットに格納されるデータの設定に基づいてパケットに格納された記符号化データと冗長データとを分離し、パケットの送信中にロスが発生した場合は、符号化データのロスを冗長データで補填することを特徴とする。

[0024] 本発明の第 2のメディア送受信装置は、本発明の第 1のメディア送受信装置において、信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする。

[0025] 本発明の第 3のメディア送受信装置は、本発明の第 1のメディア送受信装置において、データ送受信部は、各パケットに複数の冗長データを格納して送信することを特徴とする。

[0026] 本発明の第 4のメディア送受信装置は、本発明の第 1のメディア送受信装置において、データ送受信部は、各パケットに複数の符号化データを格納して送信することを特徴とする。

[0027] 本発明の第 5のメディア送受信装置は、本発明の第 1のメディア送受信装置において、符号化部及び冗長データ生成部においてデータを符号化する符号化ビットレートが異なることを特徴とする。

[0028] 本発明の第 1のメディア送信装置は、受信装置との間で通信を行なうメディア送信装置であって、入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化手段と、符号化データに対して冗長データを生成する冗長データ生成手段と、符号化データ及び冗長データを 1つのパケットに格納するパケット格納手段と、接続呼処理を用いて、符号化データ及び冗長データの少なくとも 1つの符号化ビットレートの設定を受信装置へ通知する接続呼処理手段と、パケットを受信装置へ送信するパケット送信手段と、を有することを特徴とする。

[0029] 本発明の第 2のメディア送信装置は、本発明の第 1のメディア送信装置において、信号は、音声信号及び画像信号のレ、ずれかであることを特徴とする。

[0030] 本発明の第 3のメディア送信装置は、本発明の第 1のメディア送信装置において、パケット格納手段では、パケットに冗長データを複数格納することを特徴とする。

[0031] 本発明の第 4のメディア送信装置は、本発明の第 1のメディア送信装置において、パケット格納手段は、パケットに符号化データを複数格納することを特徴とする。

[0032] 本発明の第 5のメディア送信装置は、本発明の第 1のメディア送信装置において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とす

[0033] 本発明の第 1のメディア受信装置は、送信装置との間で通信を行なうメディア受信装置であって、送信装置から送信されたパケットを受信するパケット受信手段と、送信装置との間で交換された符号化ビットレートの設定に基づいてパケットに格納された符号化データと冗長データとを分離するデータ分離手段と、パケットの送信中に口スが発生した場合は、符号化データのロスを冗長データで補填するデータ補填手段と、送信装置と間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくとも 1つを復号化する復号化手段と、を有することを特徴とする

[0034] 本発明の第 2のメディア受信装置は、本発明の第 1のメディア受信装置において、符号化データは、音声信号及び画像信号のいずれかが符号化されたデータであることを特徴とする。

[0035] 本発明の第 3のメディア受信装置は、本発明の第 1のメディア受信装置において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とす

[0036] 本発明のゲートウェイ装置は、本発明の第 1から第 5のいずれ力、 1つのメディア送受信装置、本発明の第 1から第 5のいずれ力、 1つのメディア送信装置、本発明の第 1から第 3のいずれ力、 1つのメディア受信装置のうちのいずれかを有することを特徴とする

[0037] 本発明のメディアサーバは、本発明の第 1から第 5のいずれ力、 1つのメディア送受信装置、本発明の第 1から第 5のいずれ力、 1つのメディア送信装置、本発明の第 1から第 3のいずれ力、 1つのメディア受信装置のうちのいずれかを有することを特徴とする。発明の効果

[0038] 本発明は、メディア符号化データを、 IP網を介してパケットで転送する場合に、パケットロスが発生しても、メディア品質の劣化を防止できる。発明を実施するための最良の形態

[0039] まず、第 1の実施形態に係るメディア送受信装置の構成及び動作について説明す

[0040] 図 1は、本実施形態に係るメディア送受信装置のシステム構成を示す図である。また、図 8は、本実施形態に係るメディア送受信装置 (送信側及び受信側）の動作を示す図である。なお、本実施形態においては、メディア信号として音声信号を扱う場合の例を示すが、これに限定されるものではない。例えば、画像信号でもよいし、音声及び画像（静止画 ·動画）のうち少なくとも 1つを含む信号でもよい。

[0041] 図 1において、音声送受信装置 101及び 109は、それぞれ音声データ送信部と音声データ受信部の両方を含むが、説明の簡略化のために、 101には音声送信部のみを示し、 109には音声受信部のみを示している。よって、以下の説明では、音声送受信装置 101は送信側とし、音声送受信装置 109は受信側として説明する。また、 1 01には、音声復号化部を有するように構成してもよい。本実施形態において、音声送受信装置 101及び 109は、 IP (Internet Protocol)網による伝送路 108に接続されている。また、 IP伝送プロトコルを RTP (Rea卜 time Transport Protocol) /UDP (User Datagram Protocol) /IPとして説明する力伝送プロトコルが RTP/UDPに限定されるものでない。

[0042] 音声送受信装置 101は、入力された音声信号を音声符号化部 104でフレームごとに区切り、各フレームを符号化して音声符号化データを作成する（図 8のステップ S 1 )。ここで、音声符号化方式としては、 AMR-NBなどの周知の方式を使用することができる。フレーム長は、 AMR-NBの場合、 20msとなる力他の符号化方式の場合は符号化方式に固有のフレーム長、又は予め定められたフレーム長を使用する。

[0043] 冗長データ生成部 106では、入力された音声信号又は音声符号化データに対し冗長データを生成する（図 8のステップ S2)。冗長データの生成は色々な構成が考えられる。例えば、音声符号化部 104で作成された音声符号化データと同じものを冗長データとして重複して使う方法、音声符号化データよりも低レ、ビットレートで符号化した音声信号を冗長データとする方法、音声符号化データと冗長データのフレームタイミングをずらす方法等がある。 [0044] ここで、これらの設定は予め定めておくこともできるし、後述の接続呼処理を用いて、送信側から受信側、又は受信側から送信側に通知することもできる。

[0045] 音声データ送信部 107は、少なくとも一つ（少なくとも 1フレーム）の音声符号化データ、及び少なくとも一つ（少なくとも 1フレーム）の冗長データを同一の RTP/UDP パケットに格納する（図 8のステップ S3)。ここで、音声データのフレーム数や冗長データのフレーム数の設定、音声データと冗長データの時間的なずらし量の設定等は、予め定めておくこともできるし、後述の接続呼処理で設定することもできる。

[0046] 接続呼処理を用いて送信側と受信側で前記設定をやりとりする構成をとる場合、接続呼処理部 102は、前記設定を音声送受信装置 109へ通知する（図 8のステップ S4 )。例えば、前記設定を通知する方法として、 SDP (Session Description Protocol)を用いて通知する方法がある。 SDPの内容は IETF RFC2327などを参照することができる。 SDP以外にも他の周知の方法を使用してもよい。例えば、 RTPペイロードフォーマットヘッダ（AMRの場合における RTPペイロードフォーマットの規格は RFC3267) に独自の記述を追加して前記設定を通知することもできる。

[0047] 音声データ送信管理部 103は、接続呼処理部 102から上記設定の内容が通知されると、音声符号化部 104及び冗長データ生成部 106に対し、音声の 1つのフレームのデータに対して冗長データを何フレーム分発生させる力、を指示する。また、音声データ送信部 107に対し、音声の 1つのフレームに対して冗長データを何フレーム分付加するの力、、それらの順番をどう並べるのかにつ!/、て指示を行なう。

[0048] また、受信側の音声送受信装置 109の接続呼処理 110から送信側の音声送受信装置 101の接続呼処理部 102に対し接続呼処理を行なう構成にすることもできる。

[0049] 呼接続開始時において、音声送受信装置 109の接続呼処理部 110は、接続呼処理部 102から前記設定などについての通知を受信し（図 8のステップ S5)、設定値（設定の内容を示す情報。設定情報)を音声データ ·冗長データ受信部 111及び音声復号化部 112に出力する。

[0050] 音声送受信装置 101の音声データ送信部 107からパケットが伝送路 108を介して送信されると（図 8のステップ S6)、音声データ'冗長データ受信部 111は、伝送路 1 08からパケットを受信し（図 8のステップ S7)、接続呼処理部 110からの設定情報を受信し、該設定情報に基づき、パケットから音声データと冗長データを分離する（図 8 のステップ S8)。また、音声データ'冗長データ受信部 111は、内部にバッファメモリを有し、分離した音声データ及び冗長データをバッファメモリに書き込む。ノッファメモリへの書き込み処理は、次のように行なう。

[0051] ここで、例えば、音声データと冗長データがそれぞれ 1フレームずつパケットに格納され、かつこれらが 1フレーム分ずれて送信されているものとする。この場合は、第 N フレームの音声データと第 N— 1フレームの冗長データを受信する。例えば、現時点より 1フレーム前の時点でパケットロスが発生してパケットが受信できなかった場合（図 8のステップ S9/YES)、第 N—1フレームの音声データと第 N— 2フレームの冗長データが受信できなかったことになる。そこで、現時点で受信した第 N— 1フレームの冗長データを以て、ロスした分の音声データ（第 N— 1フレームの音声データ）の補填し、第 N— 1フレームの冗長データと第 Nフレームの音声データをバッファに入力する (図 8のステップ S10)。もし、 1フレーム前のパケット及び現時点のパケットの両者ともにパケットロスが発生せずに正しく受信できた場合は（図 8のステップ S9/NO)、第 N—1フレームの冗長データを廃棄し、第 Nフレームの音声データをバッファメモリに書き込む（図 8のステップ Sl l)。このような処理の後で、バッファメモリに書き込んだデータを音声復号化部 112に出力する。

[0052] 音声復号化部 112は、音声データ'冗長データ受信部 111においてバッファメモリに書き込まれたデータを受信し、フレーム毎に順番に音声復号器 (音声デコーダ）に出力し、音声復号器はデータを復号化して再生音声信号を算出して出力する（図 8 のステップ S 12)。

[0053] 次に、第 2の実施形態に係るメディア送受信装置の構成及び動作について説明す

[0054] 図 2は、本実施形態に係るメディア送受信装置のシステム構成を示す図である。また、図 8は、本実施形態に係るメディア送受信装置 (送信側及び受信側）の動作を示す図である。なお、本実施形態においては、メディア信号として画像信号を扱う場合の例を示すが、これに限定されるものではない。例えば、音声信号でもよいし、音声及び画像（静止画 ·動画）のうち少なくとも 1つを含む信号でもよい。 [0055] 図 1と同じ符号を付した構成要素は、図 1と同様の動作を行なうため、ここでは説明を省略する。画像送受信装置 601及び 709は、それぞれ画像データ送信部及び画像データ受信部の両方を含むが、説明の簡略化のために、画像送受信装置 601には画像データ送信部 607のみを示し、画像送受信装置 709には画像データ ·冗長データ受信部 711のみを示している。よって、以下の説明では、音声送受信装置 601 は送信側とし、音声送受信装置 709は受信側として説明する。また、 601には、画像復号化部を有するように構成してもよい。画像送受信装置 601及び 709は、 IP (Inter net Protocol)網による伝送路 108に接続されている。また、本実施形態では、 IP伝フロトコノレを R i'P (Realtime lYansport Protocol) / iJDP (User Datagram Protoco 1) /IPとして説明する力 S、伝送プロトコルは RTP/UDPに限定されるものではない。

[0056] 画像送受信装置 601は、入力された画像信号を画像符号化部 604で符号化して画像符号化データを作成する（図 8のステップ Sl)。ここで、画像符号化方式としては、 MPEG-4, H.263や H.264などの周知の方式を使用することができる。

[0057] 冗長データ生成部 605では、入力された画像信号又は画像符号化データに対して冗長データを生成する（図 8のステップ S2)。冗長データの生成は色々な構成が考えられる。例えば、画像符号化部 604で作成された画像符号化データと同じものを冗長データとして重複して使う方法、画像符号化データよりも低レ、ビットレートで符号化した画像信号を冗長データとする方法、画像符号化データと冗長データの時間タイミングをずらす方法等がある。これらの設定は予め定めておくこともできるし、後述の接続呼処理を用いて、送信側から受信側または、受信側から送信側に通知することもできる。

[0058] 画像データ送信部 607は、少なくとも一個（例えば、少なくとも 1ビデオパケット）の画像符号化データ、及び少なくとも一個（例えば、少なくとも 1ビデオパケット）の冗長データを同一の RTP/UDPパケットに格納する（図 8のステップ S3)。ここで、画像符号化データの個数 (例えば、ビデオパケット数）、冗長データの個数 (例えば、ビデォパケット数)の設定、画像符号化データと冗長データの時間的なずらし量の設定等は、予め定めておくこともできるし、後述の接続呼処理で設定することもできる。

[0059] 接続呼処理により送信側と受信側とで該設定をやりとりする構成をとる場合、接続呼処理部 602は、該設定を画像送受信装置 709へ通知する（図 8のステップ S4)。例えば、該設定を通知する方法として、 SDPを用いて通知する方法がある。 SDPの内容は IETF RFC2327などを参照することができる。 SDP以外にも他の周知の方法を使用してもよい。例えば、 RTPペイロードフォーマットヘッダ（MPEG-4の場合における R TPペイロードフォーマットの規格は RFC3267)に独自の記述を追加して該設定を通失口することあでさる。

[0060] 画像データ送信管理部 603は、接続呼処理部 602から上記設定の内容が通知されると、画像符号化部 604及び冗長データ生成部 605に対し、画像の 1つのビデオパケットのデータに対して冗長データを何ビデオパケット分発生させるかを指示する。また、画像データ送信部 607に対し、画像の 1つのビデオパケットに対して冗長データ（冗長パケット）をレ、くつ分付加するのか、それらの順番をどう並べるのかにつ!/、て指示を行なう。

[0061] また、受信側の画像送受信装置 709において、接続呼処理部 710から、送信側の画像送受信装置 601の接続呼処理部 602に対し接続呼処理を行なう構成にすることもできる。

[0062] 呼接続開始時において、画像送受信装置 709の接続呼処理部 710は、接続呼処理部 602から前記設定などについての通知を受信し（図 8のステップ S5)、設定値を画像データ ·冗長データ受信部 711、及び画像復号化部 712に出力する。

[0063] 画像送受信装置 601の画像データ送信部 607からパケットが伝送路 606を介して送信されると（図 8のステップ S6)、画像データ'冗長データ受信部 711は、伝送路 1 08からパケットを受信し（図 8のステップ S7)、かつ呼接続処理部 710から設定情報を受信すると、該設定情報に基づき、パケットから画像データと冗長データを分離する（図 8のステップ S8)。また、画像データ'冗長データ受信部 711は、内部にバッファメモリを有し、分離した画像データ及び冗長データをバッファメモリに書き込む。バッファメモリへの書き込みは、以下の方法により行なう。

[0064] ここで、例えば、画像データと冗長データがそれぞれ 1ビデオパケットずつパケットに格納され、かつこれらが 1ビデオパケット分ずれて送信されている場合について説明する。画像データ'冗長データ受信部 711は、第 Nのビデオパケットデータと第 N 1の冗長データを受信する。

[0065] そして、現時点より 1ビデオパケット前の時点でパケットロスが発生し、パケットが受信できなかった場合（図 8のステップ S9/YES)、第 N— 1のビデオパケットデータと第 N— 2の冗長データが受信できなかったことになる。そこで、現時点で受信した第 N— 1の冗長データを以て、ロスした分の画像データ（第 N— 1フレームの画像データ )の補填し、第 N—1の冗長データと第 Nのビデオパケットデータをバッファに入力する（図 8のステップ S 10)。

[0066] 一方、 1ビデオパケット前のパケット及び現時点のパケットの両者ともにパケットロスが発生せず、正しく受信できた場合は（図 8のステップ S9/NO)、第 N 1の冗長データを廃棄し、第 Nのビデオパケットデータ（画像符号化データ）のみをバッファメモリに書き込む（図 8のステップ Sl l)。その後、バッファメモリに書き込んだデータを画像復号化部 712に出力する。

[0067] 画像復号化部 712は、画像データ'冗長データ受信部 711においてバッファメモリに書き込まれたデータを受信し、例えば、ビデオパケット毎に順番に画像復号器 (画像デコーダ）に出力し、画像復号器はデータを復号化して再生画像声信号を出力する（図 8のステップ S 12)。

[0068] 本実施形態では、画像信号のみを扱う場合の構成を記載したが、音声信号と画像信号の両者を扱う場合も同様の構成を用いることができるので、ここでは説明を省略する。

[0069] 図 3は、図 1に示す音声データ送信部 107における RTPペイロードデータの具体的な構成を示す図である。なお、図 3では、 RTPペイロードデータに音声データを追加した場合について記載する力 S、画像データの場合も同様の構成を用いることができる

[0070] 図 3に示すパケット 201は、同一の RTPパケットに音声データ及び冗長データが格納されている。同図では、 RTPペイロードデータに、音声符号化データ S l (n)を 1つ (第 Nフレーム目 )及び冗長データ Rl (n)を 1つ（第 N— 1フレーム目 )が追加された構成を示しているが、複数の音声符号化データ及び複数の冗長データを RTPペイ口ードデータに追加した構成とすることも可能である。 [0071] 図 4に示すパケット 301は、同一の RTPパケットに音声データ及び複数の冗長データが格納されている。図 4では、 RTPペイロードデータに、音声符号化データ Sl (n) を 1つ（第 Nフレーム目 )、及び冗長データ Rl (n)を 2つ（例えば、第 N— 1フレーム目と第 N— 2フレーム目）が追加された構成を示している。なお、冗長データの個数は 2 以上であってもよい。なお、本図では音声データの場合について記載するが、画像データの場合も同様の構成を用いることができる。

[0072] 図 5に示すパケット 401は、同一の RTPパケットに複数の音声データ及び複数の冗長データが格納されている。図 5では、 RTPペイロードデータに、音声符号化データ S 1 (n)を 2つ（第 Nフレーム目と第 N+ 1フレーム目 )、及び冗長データ Rl (n)を 2つ（例えば、第 N—1フレーム目と第 Nフレーム目）が追加された構成を示している。音声符号化データの個数は 2以上でもよいし、冗長データの個数は 2以上でもよい。なお、本図では音声データの場合について記載するが、画像データの場合も同様の構成を用いること力 Sでさる。

[0073] 図 6は、 RTPパケット内における RTPペイロードデータの並べ方の一例を示す図である。図 6では、図 3に示した複数の RTPパケットを集めて 1つの UDPパケットに格納した場合の例を示す。なお、図 6では、 2つの RTPパケットを 1つの UDPに格納する例を示している力 S、 2つ以上の RTPパケットを 1つの UDPに格納してもよい。さらに、 RTPパケットは、図 3と図 4に示す RTPパケットの組み合わせや、図 3と図 5に示す R TPパケットの組み合わせや、図 4と図 5に示す RTPパケットの組み合わせでもよい。なお、本図では音声データの場合について記載するが、画像データの場合も同様の構成を用いることができる。

[0074] 図 7は、上述の実施形態に係るメディア送受信装置をメディアサーバ装置又はグートウエイ装置に適用した場合の構成を示す図である。図 7では、音声データを送受信する場合について記載するが、画像データの場合も同様の構成を用いることができ

[0075] メディアサーバ装置又はゲートウェイ装置は、入力された音声信号を音声データ送信部 107からパケットとして IP網 108に出力する。図 7において、符号 501はメディアサーバ装置又はゲートウェイ装置を示す。メディアサーバ装置又はゲートウェイ装置 501には、音声信号又は符号化されたビットストリームが入力される。

[0076] そして、メディアサーバ装置又はゲートウェイ装置 501は、音声信号が符号化されたビットストリーム又は符号化されたビットストリームを出力する。音声符号化'冗長データ生成部 520は、符号化されたビットストリームをコピーして冗長データを作成する力、、または符号化されたビットストリームを一旦復号化した上で異なるビットレートで再符号化して冗長データを作成して出力する。

[0077] 音声データ送信管理部 503は、接続呼処理部 102から上記設定の内容が通知されると、音声符号化'冗長データ生成部 520に対し、音声の 1つのフレームのデータに対して冗長データを何フレーム分発生させるかを指示する。また、音声データ送信部 107に対し、音声の 1つのフレームに対して冗長データ（冗長フレーム）をいくつ分付加するの力、、それらの順番をどう並べるのかにつ!/、て指示を行なう。

[0078] 符号 509は、メディアの配信を受ける端末を示し、メディアサーバ装置またはゲートウェイ装置 501に接続される。図 7において、図 1と同じ番号の構成要素は、図 1と同じ動作をするため、ここでは説明を省略する。なお、画像信号のみを扱う場合や、音声信号と画像信号の両方をあつ力、う場合においても、その構成は同様である。

[0079] 上述の構成によれば、メディアデータの送受信において、 IP網でのパケットロスに起因するメディア品質の劣化を防ぐことが可能である。また、メディア送受信装置にお V、て必要となる演算量の増大を防ぎ、かつ上記の効果を得ることができる。

[0080] 以上、本発明の実施形態について説明したが、上記実施形態に限定されるものではなく、その要旨を逸脱しな!/、範囲にお!/、て種々の変形が可能である。

[0081] 例えば、上述した実施形態における制御動作は、ハードウェア、または、ソフトゥェァ、あるいは、両者の複合構成によって実行することも可能である。なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハ一ドウエアに組み込まれているコンピュータ内のメモリにインストールして実行させる力、、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

[0082] このプログラムは、例えば、記録媒体としてのハードディスクや ROM (Read Only M emory)に予め記録しておくことが可能である。あるいは、プログラムは、フロッピー（登録商標）ディスク、 CD— ROM(Compact Disc Read Only Memory), MO(Magneto O ptical)ディスク， DVD(Digital Versatile Disc),磁気ディスク、半導体メモリなどのリム一バブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することが可能である。なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、 LAN(Local Area Network),インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。

[0083] また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

[0084] また、上記実施形態で説明した、送信側のメディア送受信装置と受信側のメディア送受信装置とで構成されるメディア送受信システムは、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。

[0085] この出願 (ま、 2006年 12月 11曰 ίこ出願された曰本出願特願 2006— 333708を基礎とする優先権を主張し、その開示を全てここに取り込む。

図面の簡単な説明

[0086] [図 1]第 1の実施形態に係るメディア送受信装置のシステム構成を示すブロック図である。

[図 2]第 2の実施形態に係るメディア送受信装置のシステム構成を示すブロック図である。

[図 3]本実施形態に係るメディア送受信装置間で送受信される RTPペイロードデータに追加される RTPパケットの構成を示す図である。

[図 4]本実施形態に係るメディア送受信装置間で送受信される RTPペイロードデータに追加される RTPパケットの構成を示す図である。

[図 5]本実施形態に係るメディア送受信装置間で送受信される RTPペイロードデータに追加される RTPパケットの構成を示す図である。 [図 6]本実施形態に係るメディア送受信装置間で送受信される RTPペイロードデータに追加される RTPパケットの構成を示す図である。

園 7]本実施形態に係るメディア送受信装置をメディアサーバ装置又はゲートウェイ装置に搭載した場合の構成を示すブロック図である。

[図 8]本実施形態に係るメディア送受信装置 (送信側及び受信側）の動作を示すシーケンス図である。

符号の説明

101 , 109 メディア送受信装置

102, 110 接続処理部

103 音声データ送信管理部

104 音声符号化部

106 冗長データ生成部

107 音声データ送信部

108 IP網

111 音声データ ·冗長データ受信部

112 音声復号化部

Claims

請求の範囲

[1] 送信装置と受信装置の間で通信を行なうメディア送受信方法であって、

前記送信装置にて、入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化工程と、

前記送信装置にて、前記符号化データに対して冗長データを生成する冗長データ生成工程と、

前記送信装置にて、前記符号化データ及び前記冗長データを 1つのパケットに格納するパケット格納工程と、

前記送信装置にて、接続呼処理を用いて、前記符号化データ及び前記冗長データの少なくとも 1つの符号化ビットレートの設定を前記受信装置へ通知する接続呼処理工程と、

前記送信装置にて、前記パケットを前記受信装置へ送信するパケット送信工程と、前記受信装置にて、前記送信装置から送信されたパケットを受信するパケット受信工程と、

前記受信装置にて、前記送信装置と前記受信装置の間で交換された前記符号化ビットレートの設定に基づいて前記パケットに格納された前記符号化データと前記冗長データとを分離するデータ分離工程と、

前記受信装置にて、前記パケットの送信中にロスが発生した場合は、前記符号化データのロスを前記冗長データで補填するデータ補填工程と、

前記受信装置にて、前記送信装置と前記受信装置の間で交換された前記符号化ビットレートの設定に基づいて前記符号化データ及び前記冗長データの少なくとも 1 つを復号化する復号化工程と、

を有することを特徴とするメディア送受信方法。

[2] 前記信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする請求項 1記載のメディア送受信方法。

[3] 前記送信装置にて、前記パケットに前記冗長データを複数格納して送信することを特徴とする請求項 1記載のメディア送受信方法。

[4] 前記送信装置にて、前記パケットに前記符号化データを複数格納して送信することを特徴とする請求項 1記載のメディア送受信方法。

[5] 前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項 1記載のメディア送受信方法。

[6] 受信装置との間で通信を行なうメディア送信方法であって、

入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化工程と、

前記符号化データに対して冗長データを生成する冗長データ生成工程と、前記符号化データ及び前記冗長データを 1つのパケットに格納するパケット格納ェ程と、

接続呼処理を用いて、前記符号化データ及び前記冗長データの少なくとも 1つの符号化ビットレートの設定を前記受信装置へ通知する接続呼処理工程と、

前記パケットを前記受信装置へ送信するパケット送信工程と、

を有することを特徴とするメディア送信方法。

[7] 前記信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする請求項 6記載のメディア送信方法。

[8] 前記パケット格納工程では、前記パケットに前記冗長データを複数格納することを特徴とする請求項 6記載のメディア送信方法。

[9] 前記パケット格納工程では、前記パケットに前記符号化データを複数格納することを特徴とする請求項 6記載のメディア送信方法。

[10] 前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項 6記載のメディア送信方法。

[11] 送信装置との間で通信を行なうメディア受信方法であって、

前記送信装置から送信されたパケットを受信するパケット受信工程と、

前記送信装置との間で交換された前記符号化ビットレートの設定に基づいて前記パケットに格納された前記符号化データと前記冗長データとを分離するデータ分離工程と、

前記パケットの送信中にロスが発生した場合は、前記符号化データのロスを前記冗長データで補填するデータ補填工程と、前記送信装置と間で交換された前記符号化ビットレートの設定に基づいて前記符号化データ及び前記冗長データの少なくとも 1つを復号化する復号化工程と、を有することを特徴とするメディア受信方法。

[12] 前記符号化データは、音声信号及び画像信号のいずれかが符号化されたデータであることを特徴とする請求項 11記載のメディア受信方法。

[13] 前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項 11記載のメディア受信方法。

[14] 入力された信号を所定のフレーム長に分割し、各フレームを符号化した符号化データを作成する符号化部と、前記符号化データに対して冗長データを生成する冗長データ生成部と、前記符号化データ及び前記冗長データが 1つのパケットに格納されたパケットを送受信するデータ送受信部とを有するメディア送受信装置において、前記各パケットに格納される前記符号化データ及び前記冗長データの設定、及び前記符号化部及び前記冗長データ生成部の少なくとも 1つの符号化ビットレートの設定を前記メディア送受信装置間で交換する接続呼処理部と、

前記メディア送受信装置間で交換された前記符号化ビットレートの設定に基づいて前記符号化データ及び前記冗長データの少なくとも 1つを復号化する復号化部とを有し、

前記データ送受信部は、前記メディア送受信装置間で交換された前記パケットに格納されるデータの設定に基づいて前記パケットに格納された記符号化データと前記冗長データとを分離し、前記パケットの送信中にロスが発生した場合は、前記符号化データのロスを前記冗長データで補填することを特徴とするメディア送受信装置。

[15] 前記信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする請求項 14記載のメディア送受信装置。

[16] 前記データ送受信部は、前記各パケットに複数の前記冗長データを格納して送信することを特徴とする請求項 14記載のメディア送受信装置。

[17] 前記データ送受信部は、前記各パケットに複数の前記符号化データを格納して送信することを特徴とする請求項 14記載のメディア送受信装置。

[18] 前記符号化部及び前記冗長データ生成部においてデータを符号化する前記符号化ビットレートが異なることを特徴とする請求項 14記載のメディア送受信装置。

[19] 受信装置との間で通信を行なうメディア送信装置であって、

入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化手段と、

前記符号化データに対して冗長データを生成する冗長データ生成手段と、前記符号化データ及び前記冗長データを 1つのパケットに格納するパケット格納手段と、

接続呼処理を用いて、前記符号化データ及び前記冗長データの少なくとも 1つの符号化ビットレートの設定を前記受信装置へ通知する接続呼処理手段と、

前記パケットを前記受信装置へ送信するパケット送信手段と、

を有することを特徴とするメディア送信装置。

[20] 前記信号は、音声信号及び画像信号のいずれかであることを特徴とする請求項 19 記載のメティア ¾信装置。

[21] 前記パケット格納手段では、前記パケットに前記冗長データを複数格納することを特徴とする請求項 19記載のメディア送信装置。

[22] 前記パケット格納手段は、前記パケットに前記符号化データを複数格納することを特徴とする請求項 19記載のメディア送信装置。

[23] 前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項 19記載のメディア送信装置。

[24] 送信装置との間で通信を行なうメディア受信装置であって、

前記送信装置から送信されたパケットを受信するパケット受信手段と、

前記送信装置との間で交換された前記符号化ビットレートの設定に基づいて前記パケットに格納された前記符号化データと前記冗長データとを分離するデータ分離手段と、

前記パケットの送信中にロスが発生した場合は、前記符号化データのロスを前記冗長データで補填するデータ補填手段と、

前記送信装置と間で交換された前記符号化ビットレートの設定に基づいて前記符号化データ及び前記冗長データの少なくとも 1つを復号化する復号化手段と、を有することを特徴とするメディア受信装置。

[25] 前記符号化データは、音声信号及び画像信号のいずれかが符号化されたデータであることを特徴とする請求項 24記載のメディア受信装置。

[26] 前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項 24記載のメディア受信装置。

[27] 請求項 14から 18のいずれか 1項記載のメディア送受信装置、請求項 19から 23のいずれか 1項記載のメディア送信装置、請求項 24から 26のいずれか 1項記載のメディァ受信装置のうちのいずれかを有することを特徴とするゲートウェイ装置。

[28] 請求項 14か 18のいずれか 1項記載のメディア送受信装置、請求項 19から 23のいずれか 1項記載のメディア送信装置、請求項 24から 26のいずれか 1項記載のメディァ受信装置のうちのいずれかを有することを特徴とするメディアサーバ。