JPWO2008072469A1 - メディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバ - Google Patents

メディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバ Download PDF

Info

Publication number
JPWO2008072469A1
JPWO2008072469A1 JP2008549238A JP2008549238A JPWO2008072469A1 JP WO2008072469 A1 JPWO2008072469 A1 JP WO2008072469A1 JP 2008549238 A JP2008549238 A JP 2008549238A JP 2008549238 A JP2008549238 A JP 2008549238A JP WO2008072469 A1 JPWO2008072469 A1 JP WO2008072469A1
Authority
JP
Japan
Prior art keywords
data
media
packet
transmission
redundant data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008549238A
Other languages
English (en)
Inventor
一範 小澤
一範 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2008072469A1 publication Critical patent/JPWO2008072469A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/08—Arrangements for detecting or preventing errors in the information received by repeating transmission, e.g. Verdan system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0075—Transmission of coding parameters to receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Telephonic Communication Services (AREA)
  • Communication Control (AREA)

Abstract

パケットロスの発生によるメディアの品質劣化を防止するメディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、メディアサーバ装置を提供する。各パケットに格納される符号化データ及び冗長データの設定、及び音声符号化部及び冗長データ生成部の少なくともいずれか１つの符号化ビットレートの設定をメディア送受信装置間で交換する接続呼処理部と、メディア送受信装置間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくといずれか１つを復号化する音声復号化部とを有し、メディア送受信装置間で交換されたパケットに格納されるデータの設定に基づいて各パケットから符号化データ及び冗長データを分離し、該冗長データで欠落した符号化データを補填することにより、メディア符号化データをＩＰ網を介してパケットで転送する場合に、パケットロスが発生しても、メディア品質の劣化を防止する。

Description

本発明は、符号化されたメディア（音声や映像など）データをパケットで送受信する方法及び装置に関し、パケットロスが発生する場合でもメディア品質の劣化を防止して伝送することができるメディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバに関する。
近年、音声や映像などのメディア信号を効率よく、かつ高品質で圧縮伝送する方法がモバイル網、ブロードバンド網を問わず普及している。音声信号を効率良く、かつ高音質で圧縮伝送する方法として、モバイル網ではAMR-NB（Adaptive Multi-Rate NarrowBand）符号化方式が、ブロードバンド網ではITU-T G.729などのCS-ACELP（Conjugate Structure and Algebraic Code Excited Linear Prediction）符号化方式などが使用されている。現在、ブロードバンド網を中心に普及し、かつモバイル網でも導入される予定のＩＰ電話は、これらの符号化方式で符号化した音声データを、ＩＰ（Internet Protocol）網を介して転送する。ＩＰ網を介して音声データを転送する場合に、例えばAMR-NBで符号化した音声データをパケット化するための規格として、IETF RFC1889 RTP（Real-time Transport Protocol）やIETF RFC3016 AMRペイロードフォーマットが定められている。また、画像符号化方式としては、ITU−T規格のH.263符号化方式やMPEG規格のMPEG-4方式が普及しており、今後、さらに符号化効率の高いITU-T H.264（MPEG-4 AVC）方式が導入されると予想される。なお、IETFは、Internet Engineering Task Forceの略である。また、RFCは、Request For Commentsの略である。また、ITUは、International Telecommunication Unionの略である。また、MPEGは、Motion Picture Experts Groupの略である。
特許文献１では、パケット冗長化によるロス改善方法およびシステムが提案されている。この方法では、まず、送信する音声等のリアルタイム性を持つデータをｎ分割したｎパケットと、該データの排他論理和からなる冗長化パケットのｎ＋１パケットを併せて送信する。次に、１パケットのロスが発生しても残りのｎ−１パケットと冗長化パケットとの排他論理和により、ロスパケットを再生して、データロスを低減する。また、ｎ分割したパケットと冗長化パケットのｎ＋１パケットのうち、２つ以上のパケットロスが発生してもｎ分割したパケットのいずれかを受信した場合には、パケットを正しい時間位置で復号化する。
特許文献２では、パケットデータ通信における損失データ補填方式が提案されている。この方式では、再送機能を有しておらず、かつ、シーケンス番号を有しているプロトコルを用いてパケットデータ通信を行なうに際し、時系列的に連続する複数Ｎ個のデータ片を備えるパケットデータを生成して送信する。また、パケットデータを受信し、受信したパケットデータ内のシーケンス番号に基づき、当該パケットデータが前回受信したパケットデータの後続のパケットデータであるか否かを判定する。そして、当該パケットデータが前回受信したパケットデータの後続のパケットデータではないと判定されるパケット損失発生時に、受信したパケットデータ内のデータ片を用いてパケット損失に係るデータを補填する。
特許文献３では、無線ネットワークシステムが提案されている。このシステムは、第１及び第２の無線通信装置が無線ネットワークを介してパケット通信を行う無線ネットワークシステムである。第１の無線通信装置は、送信しようとするパケットをコピー処理して複数の同一パケットを生成し、その複数の同一パケットを、異なる複数のネットワーク経路に送出する。第２の無線通信装置は、１又は複数のネットワーク経路からのパケットを受信し、その受信パケットを監視し、過去に受信したパケットと同一の受信パケットを廃棄する。
特開２００２−２６１８１９号公報 特開２００３−１６３７１４号公報 特開２００５−３１８３９５号公報
しかしながら、上記メディア符号化方式では、符号化したデータをIETF規格のRFC3016やRFC1886を用いてＲＴＰパケット化してＩＰ網を介して転送する場合、ＩＰ網で発生するパケットロスを回避することができない。例えば、音声符号化方式で圧縮符号化された音声データに対してパケットロスが発生した場合、音声符号化データは、例えば、２０ｍｓ毎のフレーム単位または複数個のフレームで損失する。そのため、パケットロスを含む音声データを受信側で復号すると、音質が極めて劣化する。
また、音声符号化方式の受信側は誤り隠蔽手段を搭載しており、パケットロスと判断されると誤り隠蔽を起動させて音切れや音飛びを防止するが、音声符号化方式は過去の信号からの予測を用いて符号化効率を高めた方式であるため、原理的にパケットロスや誤りに弱く、かつ誤り隠蔽方式自体も不十分なものである。そのため、パケットロス率が数％をこえると、誤り隠蔽しても、音質の劣化が明らかに検知できてしまうという問題点があった。
また、画像符号化方式では音声よりもさらにパケット損失の影響が大きく、画像符号化データを含んだパケットが損失すると、特に予測フレーム（Ｐフレーム）では受信側で大幅な画質劣化が発生するという問題があった。
本発明は、上記事情に鑑みてなされたものであり、メディア符号化データをＩＰ網を介してパケットで転送する場合に、パケットロスが発生しても、メディア品質の劣化を防止するメディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、メディアサーバを提供することを目的としている。
かかる目的を達成するために、本発明の第１のメディア送受信方法は、送信装置と受信装置の間で通信を行なうメディア送受信方法であって、送信装置にて、入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化工程と、送信装置にて、符号化データに対して冗長データを生成する冗長データ生成工程と、送信装置にて、符号化データ及び冗長データを１つのパケットに格納するパケット格納工程と、送信装置にて、接続呼処理を用いて、符号化データ及び冗長データの少なくとも１つの符号化ビットレートの設定を受信装置へ通知する接続呼処理工程と、送信装置にて、パケットを受信装置へ送信するパケット送信工程と、受信装置にて、送信装置から送信されたパケットを受信するパケット受信工程と、受信装置にて、送信装置と受信装置の間で交換された符号化ビットレートの設定に基づいてパケットに格納された符号化データと冗長データとを分離するデータ分離工程と、受信装置にて、パケットの送信中にロスが発生した場合は、符号化データのロスを冗長データで補填するデータ補填工程と、受信装置にて、送信装置と受信装置の間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくとも１つを復号化する復号化工程と、を有することを特徴とする。
本発明の第２のメディア送受信方法は、本発明の第１のメディア送受信方法において、信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする。
本発明の第２のメディア送受信方法は、本発明の第１のメディア送受信方法において、送信装置にて、パケットに冗長データを複数格納して送信することを特徴とする。
本発明の第３のメディア送受信方法は、本発明の第１のメディア送受信方法において、送信装置にて、パケットに符号化データを複数格納して送信することを特徴とする。
本発明の第４のメディア送受信方法は、本発明の第１のメディア送受信方法において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とする。
本発明の第１のメディア送信方法は、受信装置との間で通信を行なうメディア送信方法であって、入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化工程と、符号化データに対して冗長データを生成する冗長データ生成工程と、符号化データ及び冗長データを１つのパケットに格納するパケット格納工程と、接続呼処理を用いて、符号化データ及び冗長データの少なくとも１つの符号化ビットレートの設定を受信装置へ通知する接続呼処理工程と、パケットを受信装置へ送信するパケット送信工程と、を有することを特徴とする。
本発明の第２のメディア送信方法は、本発明の第１のメディア送信方法において、信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする。
本発明の第３のメディア送信方法は、本発明の第１のメディア送信方法において、パケット格納工程では、パケットに冗長データを複数格納することを特徴とする。
本発明の第４のメディア送信方法は、本発明の第１のメディア送信方法において、パケット格納工程では、パケットに符号化データを複数格納することを特徴とする。
本発明の第５のメディア送信方法は、本発明の第１のメディア送信方法において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とする。
本発明の第１のメディア受信方法は、送信装置との間で通信を行なうメディア受信方法であって、送信装置から送信されたパケットを受信するパケット受信工程と、送信装置との間で交換された符号化ビットレートの設定に基づいてパケットに格納された符号化データと冗長データとを分離するデータ分離工程と、パケットの送信中にロスが発生した場合は、符号化データのロスを冗長データで補填するデータ補填工程と、送信装置と間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくとも１つを復号化する復号化工程と、を有することを特徴とする。
本発明の第２のメディア受信方法は、本発明の第１のメディア受信方法において、符号化データは、音声信号及び画像信号のいずれかが符号化されたデータであることを特徴とする。
本発明の第３のメディア受信方法は、本発明の第１のメディア受信方法において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とする。
本発明の第１のメディア送受信装置は、入力された信号を所定のフレーム長に分割し、各フレームを符号化した符号化データを作成する符号化部と、符号化データに対して冗長データを生成する冗長データ生成部と、符号化データ及び冗長データが１つのパケットに格納されたパケットを送受信するデータ送受信部とを有するメディア送受信装置において、各パケットに格納される符号化データ及び冗長データの設定、及び符号化部及び冗長データ生成部の少なくとも１つの符号化ビットレートの設定をメディア送受信装置間で交換する接続呼処理部と、メディア送受信装置間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくとも１つを復号化する復号化部とを有し、データ送受信部は、メディア送受信装置間で交換されたパケットに格納されるデータの設定に基づいてパケットに格納された記符号化データと冗長データとを分離し、パケットの送信中にロスが発生した場合は、符号化データのロスを冗長データで補填することを特徴とする。
本発明の第２のメディア送受信装置は、本発明の第１のメディア送受信装置において、信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする。
本発明の第３のメディア送受信装置は、本発明の第１のメディア送受信装置において、データ送受信部は、各パケットに複数の冗長データを格納して送信することを特徴とする。
本発明の第４のメディア送受信装置は、本発明の第１のメディア送受信装置において、データ送受信部は、各パケットに複数の符号化データを格納して送信することを特徴とする。
本発明の第５のメディア送受信装置は、本発明の第１のメディア送受信装置において、符号化部及び冗長データ生成部においてデータを符号化する符号化ビットレートが異なることを特徴とする。
本発明の第１のメディア送信装置は、受信装置との間で通信を行なうメディア送信装置であって、入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化手段と、符号化データに対して冗長データを生成する冗長データ生成手段と、符号化データ及び冗長データを１つのパケットに格納するパケット格納手段と、接続呼処理を用いて、符号化データ及び冗長データの少なくとも１つの符号化ビットレートの設定を受信装置へ通知する接続呼処理手段と、パケットを受信装置へ送信するパケット送信手段と、を有することを特徴とする。
本発明の第２のメディア送信装置は、本発明の第１のメディア送信装置において、信号は、音声信号及び画像信号のいずれかであることを特徴とする。
本発明の第３のメディア送信装置は、本発明の第１のメディア送信装置において、パケット格納手段では、パケットに冗長データを複数格納することを特徴とする。
本発明の第４のメディア送信装置は、本発明の第１のメディア送信装置において、パケット格納手段は、パケットに符号化データを複数格納することを特徴とする。
本発明の第５のメディア送信装置は、本発明の第１のメディア送信装置において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とする。
本発明の第１のメディア受信装置は、送信装置との間で通信を行なうメディア受信装置であって、送信装置から送信されたパケットを受信するパケット受信手段と、送信装置との間で交換された符号化ビットレートの設定に基づいてパケットに格納された符号化データと冗長データとを分離するデータ分離手段と、パケットの送信中にロスが発生した場合は、符号化データのロスを冗長データで補填するデータ補填手段と、送信装置と間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくとも１つを復号化する復号化手段と、を有することを特徴とする。
本発明の第２のメディア受信装置は、本発明の第１のメディア受信装置において、符号化データは、音声信号及び画像信号のいずれかが符号化されたデータであることを特徴とする。
本発明の第３のメディア受信装置は、本発明の第１のメディア受信装置において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とする。
本発明のゲートウェイ装置は、本発明の第１から第５のいずれか１つのメディア送受信装置、本発明の第１から第５のいずれか１つのメディア送信装置、本発明の第１から第３のいずれか１つのメディア受信装置のうちのいずれかを有することを特徴とする。
本発明のメディアサーバは、本発明の第１から第５のいずれか１つのメディア送受信装置、本発明の第１から第５のいずれか１つのメディア送信装置、本発明の第１から第３のいずれか１つのメディア受信装置のうちのいずれかを有することを特徴とする。
本発明は、メディア符号化データを、ＩＰ網を介してパケットで転送する場合に、パケットロスが発生しても、メディア品質の劣化を防止できる。
まず、第１の実施形態に係るメディア送受信装置の構成及び動作について説明する。
図１は、本実施形態に係るメディア送受信装置のシステム構成を示す図である。また、図８は、本実施形態に係るメディア送受信装置（送信側及び受信側）の動作を示す図である。なお、本実施形態においては、メディア信号として音声信号を扱う場合の例を示すが、これに限定されるものではない。例えば、画像信号でもよいし、音声及び画像（静止画・動画）のうち少なくとも１つを含む信号でもよい。
図１において、音声送受信装置１０１及び１０９は、それぞれ音声データ送信部と音声データ受信部の両方を含むが、説明の簡略化のために、１０１には音声送信部のみを示し、１０９には音声受信部のみを示している。よって、以下の説明では、音声送受信装置１０１は送信側とし、音声送受信装置１０９は受信側として説明する。また、１０１には、音声復号化部を有するように構成してもよい。本実施形態において、音声送受信装置１０１及び１０９は、ＩＰ（Internet Protocol）網による伝送路１０８に接続されている。また、ＩＰ伝送プロトコルをＲＴＰ（Real-time Transport Protocol）／ＵＤＰ（User Datagram Protocol）／ＩＰとして説明するが、伝送プロトコルがＲＴＰ／ＵＤＰに限定されるものでない。
音声送受信装置１０１は、入力された音声信号を音声符号化部１０４でフレームごとに区切り、各フレームを符号化して音声符号化データを作成する（図８のステップＳ１）。ここで、音声符号化方式としては、AMR-NBなどの周知の方式を使用することができる。フレーム長は、AMR-NBの場合、２０ｍｓとなるが、他の符号化方式の場合は符号化方式に固有のフレーム長、又は予め定められたフレーム長を使用する。
冗長データ生成部１０６では、入力された音声信号又は音声符号化データに対し冗長データを生成する（図８のステップＳ２）。冗長データの生成は色々な構成が考えられる。例えば、音声符号化部１０４で作成された音声符号化データと同じものを冗長データとして重複して使う方法、音声符号化データよりも低いビットレートで符号化した音声信号を冗長データとする方法、音声符号化データと冗長データのフレームタイミングをずらす方法等がある。
ここで、これらの設定は予め定めておくこともできるし、後述の接続呼処理を用いて、送信側から受信側、又は受信側から送信側に通知することもできる。
音声データ送信部１０７は、少なくとも一つ（少なくとも１フレーム）の音声符号化データ、及び少なくとも一つ（少なくとも１フレーム）の冗長データを同一のＲＴＰ／ＵＤＰパケットに格納する（図８のステップＳ３）。ここで、音声データのフレーム数や冗長データのフレーム数の設定、音声データと冗長データの時間的なずらし量の設定等は、予め定めておくこともできるし、後述の接続呼処理で設定することもできる。
接続呼処理を用いて送信側と受信側で前記設定をやりとりする構成をとる場合、接続呼処理部１０２は、前記設定を音声送受信装置１０９へ通知する（図８のステップＳ４）。例えば、前記設定を通知する方法として、ＳＤＰ（Session Description Protocol）を用いて通知する方法がある。ＳＤＰの内容はIETF RFC2327などを参照することができる。ＳＤＰ以外にも他の周知の方法を使用してもよい。例えば、ＲＴＰペイロードフォーマットヘッダ（ＡＭＲの場合におけるＲＴＰペイロードフォーマットの規格はRFC3267）に独自の記述を追加して前記設定を通知することもできる。
音声データ送信管理部１０３は、接続呼処理部１０２から上記設定の内容が通知されると、音声符号化部１０４及び冗長データ生成部１０６に対し、音声の１つのフレームのデータに対して冗長データを何フレーム分発生させるかを指示する。また、音声データ送信部１０７に対し、音声の１つのフレームに対して冗長データを何フレーム分付加するのか、それらの順番をどう並べるのかについて指示を行なう。
また、受信側の音声送受信装置１０９の接続呼処理１１０から送信側の音声送受信装置１０１の接続呼処理部１０２に対し接続呼処理を行なう構成にすることもできる。
呼接続開始時において、音声送受信装置１０９の接続呼処理部１１０は、接続呼処理部１０２から前記設定などについての通知を受信し（図８のステップＳ５）、設定値（設定の内容を示す情報。設定情報）を音声データ・冗長データ受信部１１１及び音声復号化部１１２に出力する。
音声送受信装置１０１の音声データ送信部１０７からパケットが伝送路１０８を介して送信されると（図８のステップＳ６）、音声データ・冗長データ受信部１１１は、伝送路１０８からパケットを受信し（図８のステップＳ７）、接続呼処理部１１０からの設定情報を受信し、該設定情報に基づき、パケットから音声データと冗長データを分離する（図８のステップＳ８）。また、音声データ・冗長データ受信部１１１は、内部にバッファメモリを有し、分離した音声データ及び冗長データをバッファメモリに書き込む。バッファメモリへの書き込み処理は、次のように行なう。
ここで、例えば、音声データと冗長データがそれぞれ１フレームずつパケットに格納され、かつこれらが１フレーム分ずれて送信されているものとする。この場合は、第Ｎフレームの音声データと第Ｎ−１フレームの冗長データを受信する。例えば、現時点より１フレーム前の時点でパケットロスが発生してパケットが受信できなかった場合（図８のステップＳ９／ＹＥＳ）、第Ｎ−１フレームの音声データと第Ｎ−２フレームの冗長データが受信できなかったことになる。そこで、現時点で受信した第Ｎ−１フレームの冗長データを以て、ロスした分の音声データ（第Ｎ−１フレームの音声データ）の補填し、第Ｎ−１フレームの冗長データと第Ｎフレームの音声データをバッファに入力する（図８のステップＳ１０）。もし、１フレーム前のパケット及び現時点のパケットの両者ともにパケットロスが発生せずに正しく受信できた場合は（図８のステップＳ９／ＮＯ）、第Ｎ−１フレームの冗長データを廃棄し、第Ｎフレームの音声データをバッファメモリに書き込む（図８のステップＳ１１）。このような処理の後で、バッファメモリに書き込んだデータを音声復号化部１１２に出力する。
音声復号化部１１２は、音声データ・冗長データ受信部１１１においてバッファメモリに書き込まれたデータを受信し、フレーム毎に順番に音声復号器（音声デコーダ）に出力し、音声復号器はデータを復号化して再生音声信号を算出して出力する（図８のステップＳ１２）。
次に、第２の実施形態に係るメディア送受信装置の構成及び動作について説明する。
図２は、本実施形態に係るメディア送受信装置のシステム構成を示す図である。また、図８は、本実施形態に係るメディア送受信装置（送信側及び受信側）の動作を示す図である。なお、本実施形態においては、メディア信号として画像信号を扱う場合の例を示すが、これに限定されるものではない。例えば、音声信号でもよいし、音声及び画像（静止画・動画）のうち少なくとも１つを含む信号でもよい。
図１と同じ符号を付した構成要素は、図１と同様の動作を行なうため、ここでは説明を省略する。画像送受信装置６０１及び７０９は、それぞれ画像データ送信部及び画像データ受信部の両方を含むが、説明の簡略化のために、画像送受信装置６０１には画像データ送信部６０７のみを示し、画像送受信装置７０９には画像データ・冗長データ受信部７１１のみを示している。よって、以下の説明では、音声送受信装置６０１は送信側とし、音声送受信装置７０９は受信側として説明する。また、６０１には、画像復号化部を有するように構成してもよい。画像送受信装置６０１及び７０９は、ＩＰ（Internet Protocol）網による伝送路１０８に接続されている。また、本実施形態では、ＩＰ伝送プロトコルをＲＴＰ（Real-time Transport Protocol）／ＵＤＰ（User Datagram Protocol）／ＩＰとして説明するが、伝送プロトコルはＲＴＰ／ＵＤＰに限定されるものではない。
画像送受信装置６０１は、入力された画像信号を画像符号化部６０４で符号化して画像符号化データを作成する（図８のステップＳ１）。ここで、画像符号化方式としては、MPEG-4、H.263やH.264などの周知の方式を使用することができる。
冗長データ生成部６０５では、入力された画像信号又は画像符号化データに対して冗長データを生成する（図８のステップＳ２）。冗長データの生成は色々な構成が考えられる。例えば、画像符号化部６０４で作成された画像符号化データと同じものを冗長データとして重複して使う方法、画像符号化データよりも低いビットレートで符号化した画像信号を冗長データとする方法、画像符号化データと冗長データの時間タイミングをずらす方法等がある。これらの設定は予め定めておくこともできるし、後述の接続呼処理を用いて、送信側から受信側または、受信側から送信側に通知することもできる。
画像データ送信部６０７は、少なくとも一個（例えば、少なくとも１ビデオパケット）の画像符号化データ、及び少なくとも一個（例えば、少なくとも１ビデオパケット）の冗長データを同一のＲＴＰ／ＵＤＰパケットに格納する（図８のステップＳ３）。ここで、画像符号化データの個数（例えば、ビデオパケット数）、冗長データの個数（例えば、ビデオパケット数）の設定、画像符号化データと冗長データの時間的なずらし量の設定等は、予め定めておくこともできるし、後述の接続呼処理で設定することもできる。
接続呼処理により送信側と受信側とで該設定をやりとりする構成をとる場合、接続呼処理部６０２は、該設定を画像送受信装置７０９へ通知する（図８のステップＳ４）。例えば、該設定を通知する方法として、ＳＤＰを用いて通知する方法がある。ＳＤＰの内容はIETF RFC2327などを参照することができる。ＳＤＰ以外にも他の周知の方法を使用してもよい。例えば、ＲＴＰペイロードフォーマットヘッダ（MPEG-4の場合におけるＲＴＰペイロードフォーマットの規格はRFC3267）に独自の記述を追加して該設定を通知することもできる。
画像データ送信管理部６０３は、接続呼処理部６０２から上記設定の内容が通知されると、画像符号化部６０４及び冗長データ生成部６０５に対し、画像の１つのビデオパケットのデータに対して冗長データを何ビデオパケット分発生させるかを指示する。また、画像データ送信部６０７に対し、画像の１つのビデオパケットに対して冗長データ（冗長パケット）をいくつ分付加するのか、それらの順番をどう並べるのかについて指示を行なう。
また、受信側の画像送受信装置７０９において、接続呼処理部７１０から、送信側の画像送受信装置６０１の接続呼処理部６０２に対し接続呼処理を行なう構成にすることもできる。
呼接続開始時において、画像送受信装置７０９の接続呼処理部７１０は、接続呼処理部６０２から前記設定などについての通知を受信し（図８のステップＳ５）、設定値を画像データ・冗長データ受信部７１１、及び画像復号化部７１２に出力する。
画像送受信装置６０１の画像データ送信部６０７からパケットが伝送路６０６を介して送信されると（図８のステップＳ６）、画像データ・冗長データ受信部７１１は、伝送路１０８からパケットを受信し（図８のステップＳ７）、かつ呼接続処理部７１０から設定情報を受信すると、該設定情報に基づき、パケットから画像データと冗長データを分離する（図８のステップＳ８）。また、画像データ・冗長データ受信部７１１は、内部にバッファメモリを有し、分離した画像データ及び冗長データをバッファメモリに書き込む。バッファメモリへの書き込みは、以下の方法により行なう。
ここで、例えば、画像データと冗長データがそれぞれ１ビデオパケットずつパケットに格納され、かつこれらが１ビデオパケット分ずれて送信されている場合について説明する。画像データ・冗長データ受信部７１１は、第Ｎのビデオパケットデータと第Ｎ−１の冗長データを受信する。
そして、現時点より１ビデオパケット前の時点でパケットロスが発生し、パケットが受信できなかった場合（図８のステップＳ９／ＹＥＳ）、第Ｎ−１のビデオパケットデータと第Ｎ−２の冗長データが受信できなかったことになる。そこで、現時点で受信した第Ｎ−１の冗長データを以て、ロスした分の画像データ（第Ｎ−１フレームの画像データ）の補填し、第Ｎ−１の冗長データと第Ｎのビデオパケットデータをバッファに入力する（図８のステップＳ１０）。
一方、１ビデオパケット前のパケット及び現時点のパケットの両者ともにパケットロスが発生せず、正しく受信できた場合は（図８のステップＳ９／ＮＯ）、第Ｎ−１の冗長データを廃棄し、第Ｎのビデオパケットデータ（画像符号化データ）のみをバッファメモリに書き込む（図８のステップＳ１１）。その後、バッファメモリに書き込んだデータを画像復号化部７１２に出力する。
画像復号化部７１２は、画像データ・冗長データ受信部７１１においてバッファメモリに書き込まれたデータを受信し、例えば、ビデオパケット毎に順番に画像復号器（画像デコーダ）に出力し、画像復号器はデータを復号化して再生画像声信号を出力する（図８のステップＳ１２）。
本実施形態では、画像信号のみを扱う場合の構成を記載したが、音声信号と画像信号の両者を扱う場合も同様の構成を用いることができるので、ここでは説明を省略する。
図３は、図１に示す音声データ送信部１０７におけるＲＴＰペイロードデータの具体的な構成を示す図である。なお、図３では、ＲＴＰペイロードデータに音声データを追加した場合について記載するが、画像データの場合も同様の構成を用いることができる。
図３に示すパケット２０１は、同一のＲＴＰパケットに音声データ及び冗長データが格納されている。同図では、ＲＴＰペイロードデータに、音声符号化データＳ１（ｎ）を１つ（第Ｎフレーム目）及び冗長データＲ１（ｎ）を１つ（第Ｎ−１フレーム目）が追加された構成を示しているが、複数の音声符号化データ及び複数の冗長データをＲＴＰペイロードデータに追加した構成とすることも可能である。
図４に示すパケット３０１は、同一のＲＴＰパケットに音声データ及び複数の冗長データが格納されている。図４では、ＲＴＰペイロードデータに、音声符号化データＳ１（ｎ）を１つ（第Ｎフレーム目）、及び冗長データＲ１（ｎ）を２つ（例えば、第Ｎ−１フレーム目と第Ｎ−２フレーム目）が追加された構成を示している。なお、冗長データの個数は２以上であってもよい。なお、本図では音声データの場合について記載するが、画像データの場合も同様の構成を用いることができる。
図５に示すパケット４０１は、同一のＲＴＰパケットに複数の音声データ及び複数の冗長データが格納されている。図５では、ＲＴＰペイロードデータに、音声符号化データＳ１（ｎ）を２つ（第Ｎフレーム目と第Ｎ＋１フレーム目）、及び冗長データＲ１（ｎ）を２つ（例えば、第Ｎ−１フレーム目と第Ｎフレーム目）が追加された構成を示している。音声符号化データの個数は２以上でもよいし、冗長データの個数は２以上でもよい。なお、本図では音声データの場合について記載するが、画像データの場合も同様の構成を用いることができる。
図６は、ＲＴＰパケット内におけるＲＴＰペイロードデータの並べ方の一例を示す図である。図６では、図３に示した複数のＲＴＰパケットを集めて１つのＵＤＰパケットに格納した場合の例を示す。なお、図６では、２つのＲＴＰパケットを１つのＵＤＰに格納する例を示しているが、２つ以上のＲＴＰパケットを１つのＵＤＰに格納してもよい。さらに、ＲＴＰパケットは、図３と図４に示すＲＴＰパケットの組み合わせや、図３と図５に示すＲＴＰパケットの組み合わせや、図４と図５に示すＲＴＰパケットの組み合わせでもよい。なお、本図では音声データの場合について記載するが、画像データの場合も同様の構成を用いることができる。
図７は、上述の実施形態に係るメディア送受信装置をメディアサーバ装置又はゲートウェイ装置に適用した場合の構成を示す図である。図７では、音声データを送受信する場合について記載するが、画像データの場合も同様の構成を用いることができる。
メディアサーバ装置又はゲートウェイ装置は、入力された音声信号を音声データ送信部１０７からパケットとしてＩＰ網１０８に出力する。図７において、符号５０１はメディアサーバ装置又はゲートウェイ装置を示す。メディアサーバ装置又はゲートウェイ装置５０１には、音声信号又は符号化されたビットストリームが入力される。
そして、メディアサーバ装置又はゲートウェイ装置５０１は、音声信号が符号化されたビットストリーム又は符号化されたビットストリームを出力する。音声符号化・冗長データ生成部５２０は、符号化されたビットストリームをコピーして冗長データを作成するか、または符号化されたビットストリームを一旦復号化した上で異なるビットレートで再符号化して冗長データを作成して出力する。
音声データ送信管理部５０３は、接続呼処理部１０２から上記設定の内容が通知されると、音声符号化・冗長データ生成部５２０に対し、音声の１つのフレームのデータに対して冗長データを何フレーム分発生させるかを指示する。また、音声データ送信部１０７に対し、音声の１つのフレームに対して冗長データ（冗長フレーム）をいくつ分付加するのか、それらの順番をどう並べるのかについて指示を行なう。
符号５０９は、メディアの配信を受ける端末を示し、メディアサーバ装置またはゲートウェイ装置５０１に接続される。図７において、図１と同じ番号の構成要素は、図１と同じ動作をするため、ここでは説明を省略する。なお、画像信号のみを扱う場合や、音声信号と画像信号の両方をあつかう場合においても、その構成は同様である。
上述の構成によれば、メディアデータの送受信において、ＩＰ網でのパケットロスに起因するメディア品質の劣化を防ぐことが可能である。また、メディア送受信装置において必要となる演算量の増大を防ぎ、かつ上記の効果を得ることができる。
以上、本発明の実施形態について説明したが、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。
例えば、上述した実施形態における制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
このプログラムは、例えば、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto Optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。
また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。
また、上記実施形態で説明した、送信側のメディア送受信装置と受信側のメディア送受信装置とで構成されるメディア送受信システムは、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。
この出願は、２００６年１２月１１日に出願された日本出願特願２００６−３３３７０８を基礎とする優先権を主張し、その開示を全てここに取り込む。
第１の実施形態に係るメディア送受信装置のシステム構成を示すブロック図である。 第２の実施形態に係るメディア送受信装置のシステム構成を示すブロック図である。 本実施形態に係るメディア送受信装置間で送受信されるＲＴＰペイロードデータに追加されるＲＴＰパケットの構成を示す図である。 本実施形態に係るメディア送受信装置間で送受信されるＲＴＰペイロードデータに追加されるＲＴＰパケットの構成を示す図である。 本実施形態に係るメディア送受信装置間で送受信されるＲＴＰペイロードデータに追加されるＲＴＰパケットの構成を示す図である。 本実施形態に係るメディア送受信装置間で送受信されるＲＴＰペイロードデータに追加されるＲＴＰパケットの構成を示す図である。 本実施形態に係るメディア送受信装置をメディアサーバ装置又はゲートウェイ装置に搭載した場合の構成を示すブロック図である。 本実施形態に係るメディア送受信装置（送信側及び受信側）の動作を示すシーケンス図である。
符号の説明
１０１，１０９ メディア送受信装置
１０２，１１０ 接続処理部
１０３ 音声データ送信管理部
１０４ 音声符号化部
１０６ 冗長データ生成部
１０７ 音声データ送信部
１０８ ＩＰ網
１１１ 音声データ・冗長データ受信部
１１２ 音声復号化部

Claims (28)

  1. 送信装置と受信装置の間で通信を行なうメディア送受信方法であって、
    前記送信装置にて、入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化工程と、
    前記送信装置にて、前記符号化データに対して冗長データを生成する冗長データ生成工程と、
    前記送信装置にて、前記符号化データ及び前記冗長データを１つのパケットに格納するパケット格納工程と、
    前記送信装置にて、接続呼処理を用いて、前記符号化データ及び前記冗長データの少なくとも１つの符号化ビットレートの設定を前記受信装置へ通知する接続呼処理工程と、
    前記送信装置にて、前記パケットを前記受信装置へ送信するパケット送信工程と、
    前記受信装置にて、前記送信装置から送信されたパケットを受信するパケット受信工程と、
    前記受信装置にて、前記送信装置と前記受信装置の間で交換された前記符号化ビットレートの設定に基づいて前記パケットに格納された前記符号化データと前記冗長データとを分離するデータ分離工程と、
    前記受信装置にて、前記パケットの送信中にロスが発生した場合は、前記符号化データのロスを前記冗長データで補填するデータ補填工程と、
    前記受信装置にて、前記送信装置と前記受信装置の間で交換された前記符号化ビットレートの設定に基づいて前記符号化データ及び前記冗長データの少なくとも１つを復号化する復号化工程と、
    を有することを特徴とするメディア送受信方法。
  2. 前記信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする請求項１記載のメディア送受信方法。
  3. 前記送信装置にて、前記パケットに前記冗長データを複数格納して送信することを特徴とする請求項１記載のメディア送受信方法。
  4. 前記送信装置にて、前記パケットに前記符号化データを複数格納して送信することを特徴とする請求項１記載のメディア送受信方法。
  5. 前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項１記載のメディア送受信方法。
  6. 受信装置との間で通信を行なうメディア送信方法であって、
    入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化工程と、
    前記符号化データに対して冗長データを生成する冗長データ生成工程と、
    前記符号化データ及び前記冗長データを１つのパケットに格納するパケット格納工程と、
    接続呼処理を用いて、前記符号化データ及び前記冗長データの少なくとも１つの符号化ビットレートの設定を前記受信装置へ通知する接続呼処理工程と、
    前記パケットを前記受信装置へ送信するパケット送信工程と、
    を有することを特徴とするメディア送信方法。
  7. 前記信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする請求項６記載のメディア送信方法。
  8. 前記パケット格納工程では、前記パケットに前記冗長データを複数格納することを特徴とする請求項６記載のメディア送信方法。
  9. 前記パケット格納工程では、前記パケットに前記符号化データを複数格納することを特徴とする請求項６記載のメディア送信方法。
  10. 前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項６記載のメディア送信方法。
  11. 送信装置との間で通信を行なうメディア受信方法であって、
    前記送信装置から送信されたパケットを受信するパケット受信工程と、
    前記送信装置との間で交換された前記符号化ビットレートの設定に基づいて前記パケットに格納された前記符号化データと前記冗長データとを分離するデータ分離工程と、
    前記パケットの送信中にロスが発生した場合は、前記符号化データのロスを前記冗長データで補填するデータ補填工程と、
    前記送信装置と間で交換された前記符号化ビットレートの設定に基づいて前記符号化データ及び前記冗長データの少なくとも１つを復号化する復号化工程と、
    を有することを特徴とするメディア受信方法。
  12. 前記符号化データは、音声信号及び画像信号のいずれかが符号化されたデータであることを特徴とする請求項１１記載のメディア受信方法。
  13. 前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項１１記載のメディア受信方法。
  14. 入力された信号を所定のフレーム長に分割し、各フレームを符号化した符号化データを作成する符号化部と、前記符号化データに対して冗長データを生成する冗長データ生成部と、前記符号化データ及び前記冗長データが１つのパケットに格納されたパケットを送受信するデータ送受信部とを有するメディア送受信装置において、
    前記各パケットに格納される前記符号化データ及び前記冗長データの設定、及び前記符号化部及び前記冗長データ生成部の少なくとも１つの符号化ビットレートの設定を前記メディア送受信装置間で交換する接続呼処理部と、
    前記メディア送受信装置間で交換された前記符号化ビットレートの設定に基づいて前記符号化データ及び前記冗長データの少なくとも１つを復号化する復号化部とを有し、
    前記データ送受信部は、前記メディア送受信装置間で交換された前記パケットに格納されるデータの設定に基づいて前記パケットに格納された記符号化データと前記冗長データとを分離し、前記パケットの送信中にロスが発生した場合は、前記符号化データのロスを前記冗長データで補填することを特徴とするメディア送受信装置。
  15. 前記信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする請求項１４記載のメディア送受信装置。
  16. 前記データ送受信部は、前記各パケットに複数の前記冗長データを格納して送信することを特徴とする請求項１４記載のメディア送受信装置。
  17. 前記データ送受信部は、前記各パケットに複数の前記符号化データを格納して送信することを特徴とする請求項１４記載のメディア送受信装置。
  18. 前記符号化部及び前記冗長データ生成部においてデータを符号化する前記符号化ビットレートが異なることを特徴とする請求項１４記載のメディア送受信装置。
  19. 受信装置との間で通信を行なうメディア送信装置であって、
    入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化手段と、
    前記符号化データに対して冗長データを生成する冗長データ生成手段と、
    前記符号化データ及び前記冗長データを１つのパケットに格納するパケット格納手段と、
    接続呼処理を用いて、前記符号化データ及び前記冗長データの少なくとも１つの符号化ビットレートの設定を前記受信装置へ通知する接続呼処理手段と、
    前記パケットを前記受信装置へ送信するパケット送信手段と、
    を有することを特徴とするメディア送信装置。
  20. 前記信号は、音声信号及び画像信号のいずれかであることを特徴とする請求項１９記載のメディア送信装置。
  21. 前記パケット格納手段では、前記パケットに前記冗長データを複数格納することを特徴とする請求項１９記載のメディア送信装置。
  22. 前記パケット格納手段は、前記パケットに前記符号化データを複数格納することを特徴とする請求項１９記載のメディア送信装置。
  23. 前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項１９記載のメディア送信装置。
  24. 送信装置との間で通信を行なうメディア受信装置であって、
    前記送信装置から送信されたパケットを受信するパケット受信手段と、
    前記送信装置との間で交換された前記符号化ビットレートの設定に基づいて前記パケットに格納された前記符号化データと前記冗長データとを分離するデータ分離手段と、
    前記パケットの送信中にロスが発生した場合は、前記符号化データのロスを前記冗長データで補填するデータ補填手段と、
    前記送信装置と間で交換された前記符号化ビットレートの設定に基づいて前記符号化データ及び前記冗長データの少なくとも１つを復号化する復号化手段と、
    を有することを特徴とするメディア受信装置。
  25. 前記符号化データは、音声信号及び画像信号のいずれかが符号化されたデータであることを特徴とする請求項２４記載のメディア受信装置。
  26. 前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項２４記載のメディア受信装置。
  27. 請求項１４から１８のいずれか１項記載のメディア送受信装置、請求項１９から２３のいずれか１項記載のメディア送信装置、請求項２４から２６のいずれか１項記載のメディア受信装置のうちのいずれかを有することを特徴とするゲートウェイ装置。
  28. 請求項１４か１８のいずれか１項記載のメディア送受信装置、請求項１９から２３のいずれか１項記載のメディア送信装置、請求項２４から２６のいずれか１項記載のメディア受信装置のうちのいずれかを有することを特徴とするメディアサーバ。
JP2008549238A 2006-12-11 2007-11-27 メディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバ Pending JPWO2008072469A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006333708 2006-12-11
JP2006333708 2006-12-11
PCT/JP2007/072873 WO2008072469A1 (ja) 2006-12-11 2007-11-27 メディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012083723A Division JP2012165429A (ja) 2006-12-11 2012-04-02 メディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバ

Publications (1)

Publication Number Publication Date
JPWO2008072469A1 true JPWO2008072469A1 (ja) 2010-03-25

Family

ID=39511494

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008549238A Pending JPWO2008072469A1 (ja) 2006-12-11 2007-11-27 メディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバ
JP2012083723A Withdrawn JP2012165429A (ja) 2006-12-11 2012-04-02 メディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012083723A Withdrawn JP2012165429A (ja) 2006-12-11 2012-04-02 メディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバ

Country Status (9)

Country Link
US (1) US20100027618A1 (ja)
EP (1) EP2093920A1 (ja)
JP (2) JPWO2008072469A1 (ja)
KR (1) KR101153694B1 (ja)
CN (1) CN101554007A (ja)
BR (1) BRPI0718336A2 (ja)
MX (1) MX2009005900A (ja)
RU (1) RU2009126574A (ja)
WO (1) WO2008072469A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223201B (zh) * 2010-04-15 2014-01-01 中兴通讯股份有限公司 一种编解码器能力协商方法及终端
ITTO20120901A1 (it) * 2012-10-15 2014-04-16 Rai Radiotelevisione Italiana Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica
KR102017746B1 (ko) * 2012-11-14 2019-09-04 한국전자통신연구원 유사도 산출 방법 및 그 장치
US9756356B2 (en) * 2013-06-24 2017-09-05 Dialogic Corporation Application-assisted spatio-temporal error concealment for RTP video
JP2021057695A (ja) * 2019-09-27 2021-04-08 沖電気工業株式会社 処理装置、処理システム、処理プログラムおよび処理方法
CN112187817B (zh) * 2020-10-09 2023-03-31 厦门亿联网络技术股份有限公司 流媒体数据传输方法、装置、设备及存储介质
CN116846038A (zh) * 2023-08-29 2023-10-03 武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) 一种电池数据的采集与传输方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247131A (ja) * 1996-03-07 1997-09-19 Toshiba Corp データ通信装置
JP2000078116A (ja) * 1998-08-31 2000-03-14 Fujitsu Ltd ディジタル放送用送信・受信再生方法及びディジタル放送用送信・受信再生システム並びにディジタル放送用送信装置及びディジタル放送用受信再生装置
WO2003030534A1 (en) * 2001-09-28 2003-04-10 Matsushita Electric Industrial Co., Ltd. Transmission/reception system for digital broadcast
JP2003318851A (ja) * 2002-04-26 2003-11-07 Nec Corp オーディオデータの符号変換伝送方法と符号変換受信方法及び装置とシステムならびにプログラム
JP2003533916A (ja) * 2000-05-11 2003-11-11 テレフォンアクチーボラゲット エル エム エリクソン（パブル） スピーチ符号化における前方向誤り訂正
WO2005074291A1 (ja) * 2004-01-28 2005-08-11 Nec Corporation コンテンツの符号化、配信及び受信方法と装置とシステムならびにプログラム
WO2005074182A1 (ja) * 2004-01-28 2005-08-11 Nec Corporation コンテンツの配信方法、エンコード方法及び受信再生方法と装置並びにプログラム
US20060088093A1 (en) * 2004-10-26 2006-04-27 Nokia Corporation Packet loss compensation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002261819A (ja) * 2001-02-28 2002-09-13 Nippon Telegr & Teleph Corp <Ntt> パケット冗長化によるロス改善方法及びシステム
JP2003163714A (ja) 2001-11-27 2003-06-06 Fujitsu I-Network Systems Ltd パケットデータ通信における損失データ補填方式
JP4407369B2 (ja) 2004-04-30 2010-02-03 沖電気工業株式会社 無線ネットワークシステム、無線ネットワークシステムのパケットロス軽減方法、及び、無線通信装置
JP2006333708A (ja) 2005-05-31 2006-12-14 Oide Takehisa 植栽用マットの形成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247131A (ja) * 1996-03-07 1997-09-19 Toshiba Corp データ通信装置
JP2000078116A (ja) * 1998-08-31 2000-03-14 Fujitsu Ltd ディジタル放送用送信・受信再生方法及びディジタル放送用送信・受信再生システム並びにディジタル放送用送信装置及びディジタル放送用受信再生装置
JP2003533916A (ja) * 2000-05-11 2003-11-11 テレフォンアクチーボラゲット エル エム エリクソン（パブル） スピーチ符号化における前方向誤り訂正
WO2003030534A1 (en) * 2001-09-28 2003-04-10 Matsushita Electric Industrial Co., Ltd. Transmission/reception system for digital broadcast
JP2003318851A (ja) * 2002-04-26 2003-11-07 Nec Corp オーディオデータの符号変換伝送方法と符号変換受信方法及び装置とシステムならびにプログラム
WO2005074291A1 (ja) * 2004-01-28 2005-08-11 Nec Corporation コンテンツの符号化、配信及び受信方法と装置とシステムならびにプログラム
WO2005074182A1 (ja) * 2004-01-28 2005-08-11 Nec Corporation コンテンツの配信方法、エンコード方法及び受信再生方法と装置並びにプログラム
US20060088093A1 (en) * 2004-10-26 2006-04-27 Nokia Corporation Packet loss compensation

Also Published As

Publication number Publication date
US20100027618A1 (en) 2010-02-04
JP2012165429A (ja) 2012-08-30
KR20090089397A (ko) 2009-08-21
WO2008072469A1 (ja) 2008-06-19
BRPI0718336A2 (pt) 2013-11-19
RU2009126574A (ru) 2011-01-20
CN101554007A (zh) 2009-10-07
MX2009005900A (es) 2009-06-19
KR101153694B1 (ko) 2012-06-18
EP2093920A1 (en) 2009-08-26

Similar Documents

Publication Publication Date Title
US8503538B2 (en) Method, apparatus, system, and program for content encoding, content distribution, and content reception
JP2012165429A (ja) メディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバ
CN106656422B (zh) 一种动态调整fec冗余度的流媒体传输方法
KR100680671B1 (ko) 에러 정정용 데이터의 생성 방법 및 생성 장치와 생성 프로그램을 저장한 컴퓨터 판독가능한 기록 매체
JP4367657B2 (ja) 音声通信方法及び装置
JP4328602B2 (ja) パケットエラー訂正装置及び方法
WO2003067894A1 (en) Image coding method and apparatus and image decoding method and apparatus
JP2001189713A (ja) データ伝送装置およびデータ伝送方法
KR20090124993A (ko) 송신 장치, 송신 방법 및 수신 장치
JP2009521833A (ja) ネットワーク処理ノード、及び、パケットを処理する方法
JP2009512265A (ja) ネットワーク上の動画データ伝送制御システムとその方法
CN101611612A (zh) 聚合媒体数据单元的向后兼容特性
JP2006319992A (ja) マルチメディアストリーミングサービスのためのパケット転送装置及びその方法
JP4041137B2 (ja) 映像符号化・送信装置，映像符号化・送信方法，映像符号化・送信プログラムおよびその記録媒体
KR100937060B1 (ko) 쌍방향 통신 방법과 장치, 시스템 및 프로그램을 기억한 기억 매체
WO2004112420A1 (ja) メディア信号の受信装置、送信装置及び送受信システム
JP5890208B2 (ja) パケット送信装置、パケット受信装置及びパケット伝送システム
KR20080052043A (ko) Ａｖ 데이터 스트리밍 방법 및 장치
JP4956849B2 (ja) 画像復号装置およびパケット損失補償方法
JP2006319463A (ja) パケット伝送方法及びパケット受信装置
JP2004120148A (ja) マルチメディアコンテンツ送信装置およびマルチメディアコンテンツ受信装置
KR100916312B1 (ko) 적응적 가중 오류 정정 부호화 및 다중 표현열 부호화를사용한 비디오 전송 장치 및 그 방법
JP2008193450A (ja) 通信装置、パケット通信システム、プログラムおよび記録媒体
JP2000316033A (ja) 送信装置、受信装置、データ伝送システム、及びデータ伝送方法
EP1648171A1 (en) A method of encoding and decoding of data packets using length field

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20110705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120605