JP4655006B2 - Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法 - Google Patents

Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法 Download PDF

Info

Publication number
JP4655006B2
JP4655006B2 JP2006225970A JP2006225970A JP4655006B2 JP 4655006 B2 JP4655006 B2 JP 4655006B2 JP 2006225970 A JP2006225970 A JP 2006225970A JP 2006225970 A JP2006225970 A JP 2006225970A JP 4655006 B2 JP4655006 B2 JP 4655006B2
Authority
JP
Japan
Prior art keywords
stream
fec
synchronization
timing
reception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006225970A
Other languages
English (en)
Other versions
JP2008053872A (ja
Inventor
延幸 長藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2006225970A priority Critical patent/JP4655006B2/ja
Priority to US11/882,178 priority patent/US8514945B2/en
Publication of JP2008053872A publication Critical patent/JP2008053872A/ja
Application granted granted Critical
Publication of JP4655006B2 publication Critical patent/JP4655006B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明はIPストリーム送受信システム、IPストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法に関し、特にIP(Internet Protocol)ストリームの受信処理のタイミング同期化に関する。
IPネットワーク上等でリアルタイムに映像、音声ストリーム等を送受信する場合には、一般的にUDP(User Datagram Protocol)パケットが用いられ、また映像、音声ストリームはMPEG2(Moving Pictures Expert Group−2)−TS(Transport Stream)に代表される符号化データや非圧縮(PCM:Pulse Code Modulation)データ等が用いられている。
このIPストリームの受信処理における同期タイミング(例えば、TSタイムスタンプ等)は、UDPより上位で定義されるプロトコル[例えば、RTP(Real−time Tramsport Protocol)等]上で付加されている。この場合、IPストリームとしては、図8(a)に示すようなRTPヘッダを付加する例や図8(b)に示すような独自ヘッダを付加する例がある。
図8(a)に示すIPストリームは、「IPヘッダ」、「UDPヘッダ」、「RTPヘッダ」、「PAYLOAD(映像、音声等)」から構成され、同期タイミングが「RTPヘッダ」に挿入される。図8(b)に示すIPストリームは、「IPヘッダ」、「UDPヘッダ」、「独自ヘッダ」、「PAYLOAD(映像、音声等)」から構成され、同期タイミングが「独自ヘッダ」に挿入される。尚、上記の同期タイミングの代わりに、例えば、RTPヘッダ上のシーケンス番号先頭や独自ヘッダの同期フラグ等を用いることも可能である。
IPストリームを受信する装置の構成例を図9に示す。図9において、映像/音声受信装置3はIP網100からIPパケットを受信するUDP/IP受信回路31と、受信したIPパケットからFEC(Forward Error Correction:順方向誤り訂正)復号するFEC復号回路32と、FEC復号して誤り訂正が行われたTSパケットから映像/音声の復号処理を行う映像/音声復号処理回路33とを含んで構成されている。
このIPストリームの同期タイミング(受信処理タイミング)は、IPストリームを受信した直後のFEC復号処理等(ブロック、フレーミング処理)に必要となる。ここで、ブロックとはn個のTSパケットからなる組を指している。また、FEC復号処理等にて、後述する誤り訂正処理が行われてロストしたTSパケットの復元が行われる(例えば、特許文献1参照)。
上記の同期タイミングは、送信側でTSパケットの先頭バイト到達時の時間を、送信直前に、TSタイムスタンプとして付加し、受信側でTSタイムスタンプを再生し、TSパケット先頭に付加されているタイムスタンプ情報を見ながら、送信時(TSタイムスタンプ付加時)とパケット間隔が同じになるように、FIFO(First In First Out)等を使って制御している。ここで、タイムスタンプ情報は27MHz、カウント値32bitで表現される。これは、一般的に、タイムスタンプ付きTS(TTS)と呼ばれることがある。
従来のTSタイムスタンプの付加例を図10に示している。この図10に示す例の場合、TSパケット#0のTSタイムスタンプをt0、TSパケット#1のTSタイムスタンプをt1とし、TSパケット#0をFIFOから読出して開始した時間をtAとすると、TSパケット#1のFIFOから読出すタイミングtBは、
tB=tA+(t1−t0)
という式によって算出される。
また、FEC処理においては、一般にリード・ソロモン符号やLDPC(low density parity check)符号等の「線形符号」を利用することができる。以下、LDPC符号を例に取ってパケットレベル(1パケット=符号語の1ビット)の誤り訂正動作について簡単に説明する。
まず、FEC処理に、パケット「0」〜「6」が入力されると、図11に示すように、予め設定された検査行列を基に冗長パケット「7」〜「9」が作成される。この例の場合、冗長パケット「7」はパケット「1」とパケット「3」とパケット「5」との排他的論理和(eXclusive OR)をとることで算出され、冗長パケット「8」はパケット「2」とパケット「4」とパケット「6」との排他的論理和をとることで算出され、冗長パケット「9」はパケット「0」とパケット「3」とパケット「6」との排他的論理和をとることで算出される。
受信側では、図12に示すように、冗長パケット「7」〜「9」が付加されかつパケット「0」,「3」,「6」がロストしたIPストリームを受信すると、受信パケットのシーケンス番号をみて受信したパケットの位置に‘0’を書込むことでエラーリストを作成する。この時、エラーリストの初期値を‘1’とする。この場合、パケット「0」,「3」,「6」がロストしているので、エラーリストは‘1001001000’となる。
このエラーリストと上記の検査行列とを突き合わせ、エラーリストを頭から順にリードし、エラーリストが‘1’の部分に対応する「列」に重み(‘1’)があれば、それを「エラー重み」(丸で囲んだ箇所)と定義し、「エラー重み」が行毎に幾つあるかをカウントしていく(行エラー重み数)。
図12に示す例では、検査行列の1行目の行エラー重み数が「1」、検査行列の2行目の行エラー重み数が「1」、検査行列の3行目の行エラー重み数が「3」となる。この結果から、検査行列の1行目及び2行目が復元可能と判断され、それぞれ検査行列の1行目及び2行目の「エラー重み」以外の重み(‘1’)の部分のパケットの排他的論理和をとることでロストしたパケット「3」,「6」を復元する。この例の場合、ロストしたパケット「3」はパケット「1」とパケット「5」とパケット「7」との排他的論理和をとることで復元され、ロストしたパケット「6」はパケット「2」とパケット「4」とパケット「8」との排他的論理和をとることで復元される。
以上の処理はFEC処理における「サーチ」と呼ばれており、1回目の「サーチ」ではロストしたパケット「3」,「6」が復元されたこととなる。続いて、FEC処理では、2回目の「サーチ」が行われるが、その際に、ロストしたパケット「3」,「6」が復元されたので、復元されたパケット「3」,「6」の位置に‘0’を書込むことでエラーリストを更新する。
2回目の「サーチ」でも、上記と同様に、エラーリストと上記の検査行列とを突き合わせ、エラーリストを頭から順にリードし、エラーリストが‘1’の部分に対応する「列」に重み(‘1’)があれば、それを「エラー重み」(丸で囲んだ箇所)と定義し、「エラー重み」が行毎に幾つあるかをカウントしていく(行エラー重み数)。
図13に示す例では、検査行列の1行目の行エラー重み数が「0」、検査行列の2行目の行エラー重み数が「0」、検査行列の3行目の行エラー重み数が「1」となる。この結果から、検査行列の3行目が復元可能と判断され、検査行列の3行目の「エラー重み」以外の重み(‘1’)の部分のパケットの排他的論理和をとることでロストしたパケット「0」を復元する。この例の場合、ロストしたパケット「0」はパケット「3」とパケット「6」とパケット「9」との排他的論理和をとることで復元される。
以上に示したように、LDPCのような誤り訂正処理では、エラー訂正可能なパターンがなくなるまで何度もサーチを繰り返し行う。しかしながら、LDPCのような誤り訂正処理時間には、図14に示すように、リアルタイムで処理する場合、限りがあるため(1FECブロック時間)、各FECブロックの訂正開始時間を規定する必要がある。この場合、各FECブロックの訂正開始時間はFEC出力タイミング(=TSタイムスタンプ再生タイミング)より決定される。
図14において、FEC処理はFEC入力、FEC訂正、FEC出力が順次行われる。つまり、まず、FEC入力#1の処理が行われ、FEC入力#1の処理が終了すると、FEC入力#2の処理とFEC訂正#1の処理とが行われる。続いて、FEC入力#2の処理が終了すると、FEC入力#3の処理とFEC訂正#2の処理とFEC出力#1の処理とが行われる。このように、FEC処理では、FEC入力、FEC訂正、FEC出力各々の処理が順次行われる。
特開2005−210219号公報
上述した従来のIPストリームの受信装置では、LDPCのような誤り訂正処理の場合、図14に示すように、エラー訂正可能なパターンがなくなるまで何度もサーチが繰り返し行われるが、次のブロックの訂正開始タイミングがあるため、特にリアルタイムに処理を行う場合、誤り訂正処理時間に限りがある。
この場合、IPストリームの受信がネットワークジッタ、パケット順序入れ替わり、パケットロス等によって不安定な状態になると、安定的・効果的に誤り訂正等の処理を行うことが困難となる。具体的には、誤り訂正処理時間を充分に確保することが難しくなる場合があり、前のブロックの受信処理の時間がネットワークジッタで延びてしまうと、そのブロックに続くブロックの誤り訂正処理時間が充分に確保できなくなる等の影響を与えてしまう。誤り訂正処理時間が短くなると、サーチの繰り返し回数が減ることとなり、誤り訂正能力が弱くなってしまうこととなる。
そこで、本発明の目的は上記の問題点を解消し、IPストリームの受信が不安定な状態になっても、送信側に同期化した信号タイミングを安定的に生成することができ、処理タイミングの安定化及び誤り訂正処理能力の安定化を図ることができるIPストリーム送受信システム、IPストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法を提供することにある。
本発明によるIPストリーム送受信システムは、受信IP(Internet Protocol)ストリームの入力時にその受信処理タイミングにて前記受信IPストリームを受信した直後のFEC(Forward Error Correction:順方向誤り訂正)復号処理を少なくとも行うIPストリーム受信装置を含むIPストリーム送受信システムであって、
前記IPストリーム受信装置は、前記FEC復号処理の後段のTS(Transport Stream)タイムスロット再生処理で確定されるTS同期を基に前記受信処理タイミングを生成する回路を備えている。
本発明によるIPストリーム受信装置は、受信IP(Internet Protocol)ストリームの入力時にその受信処理タイミングにて前記受信IPストリームを受信した直後のFEC(Forward Error Correction:順方向誤り訂正)復号処理を少なくとも行うIPストリーム受信装置であって、
前記FEC復号処理の後段のTS(Transport Stream)タイムスロット再生処理で確定されるTS同期を基に前記受信処理タイミングを生成する回路を備えている。
本発明による受信処理タイミング同期化方法は、受信IP(Internet Protocol)ストリームの入力時にその受信処理タイミングにて前記受信IPストリームを受信した直後のFEC(Forward Error Correction:順方向誤り訂正)復号処理を少なくとも行うIPストリーム受信装置を含むIPストリーム送受信システムに用いられる受信処理タイミング同期化方法であって、
前記IPストリーム受信装置が、前記FEC復号処理の後段のTS(Transport Stream)タイムスロット再生処理で確定されるTS同期を基に前記受信処理タイミングを生成する処理を実行している。
すなわち、本発明のIPストリーム送受信システムは、受信IP(Internet Protocol)ストリーム入力がネットワークジッタ、パケット順序入れ替わり、パケットロス等によって不安定な状態となっても、送信側に同期化した信号タイミングを安定的に生成することを特徴とする。ここで、受信IPストリームは、その中身が映像、音声ストリーム等のUDP(User Datagram Protocol)パケットであり、映像、音声ストリームはMPEG2(Moving Pictures Expert Group−2)−TS(Transport Stream)に代表される符号化データや非圧縮(PCM:Pulse Code Modulation)データ等である。
上記のIPストリームの受信処理における同期タイミング(例えば、TSタイムスタンプ等)は、UDPより上位で定義されるプロトコル[例えば、RTP(Real−time Tramsport Protocol)等]上で付加されている。尚、上記の同期タイミングの代わりに、例えば、RTPヘッダ上のシーケンス番号先頭や独自ヘッダの同期フラグ等を用いることも可能である。
また、同期タイミング(受信処理タイミング)は、IPストリームを受信した直後のFEC(Forward Error Correction:順方向誤り訂正)復号処理等(ブロック、フレーミング処理)に必要となる。ここで、ブロックとはn個のTSパケットからなる組を指している。
より具体的説明すると、本発明のIPストリーム送受信システムでは、上記のFEC復号処理の後段のTSタイムスロット再生処理で確定されるTS同期を基に正確な受信処理タイミング(ブロック同期)を生成している。つまり、本発明のIPストリーム送受信システムでは、TSタイムスタンプ再生部で各TSパケットに付加されている時間情報を基に正確な時間間隔でTSパケットを出力しており、この正確なTS同期を基にブロック同期を生成してFEC復号処理に送出している。
TS同期がn周期経過した時点で、FEC出力処理#1が完了すると、FEC出力処理#2が開始され、FEC訂正処理#3が開始される。この場合、FEC入力処理#4が開始されている。これからさらに、TS同期がn周期経過した時点で、FEC出力処理#2が完了すると、FEC出力処理#3が開始され、FEC訂正処理#4が開始される。
これによって、本発明のIPストリーム送受信システムでは、上述した正確なTS同期タイミングによってFEC処理の開始タイミングを規定しているので、処理タイミングの安定化を図ることが可能となり、受信IPストリーム入力のネットワークジッタやパケットロス等の影響を受けなくなる。つまり、本発明のIPストリーム送受信システムでは、受信IPストリーム入力がネットワークジッタ、パケット順序入れ替わり、パケットロス等によって不安定な状態でも、送信側に同期化した信号タイミングを安定的に生成することが可能となる。
尚、上述した正確なTS同期を得るまでの間、本発明のIPストリーム送受信システムでは、送信側が実際のIPストリームを送信する前に、予め設定された所定数のダミーのIPストリームを送信し、受信側がダミーのIPストリームの同期タイミング(受信処理タイミング)を測定し、その測定結果を平均化したものを仮同期タイミングとしてFEC処理に与えることで、FEC入力、FEC訂正、FEC出力を仮同期タイミングに同期させて行うことで、TS同期を得るようにしている。
本発明は、上記のような構成及び動作とすることで、IPストリームの受信が不安定な状態になっても、送信側に同期化した信号タイミングを安定的に生成することができ、処理タイミングの安定化及び誤り訂正処理能力の安定化を図ることができるという効果が得られる。
次に、本発明の実施例について図面を参照して説明する。図1は本発明の一実施例によるIPストリーム送信装置の構成例を示すブロック図であり、図2は本発明の一実施例によるIPストリーム受信装置の構成例を示すブロック図である。図1及び図2においては、IPストリーム送信装置及びIPストリーム受信装置として、映像/音声送信装置1及び映像/音声受信装置2の構成例を示している。
図1において、映像/音声送信装置1は映像/音声入力及び映像フレーム同期を基に映像/音声の符号化処理を行う映像/音声符号化処理回路(Moving Pictures Expert Group−2)11と、映像/音声符号化処理回路11からのMPEG2−TS(Transport Stream)パケット(以下、TSパケットとする)にTSタイムスタンプを付加するTSタイムスタンプ付加回路12と、TSパケットに冗長パケットを付加するFEC(Forward Error Correction:順方向誤り訂正)符号化回路13と、TSパケットにRTP(Real−time Tramsport Protocol)ヘッダを付加するRTP化回路14と、UDP(User Datagram Protocol)ヘッダやIP(Internet Protocol)ヘッダを付加してIP網100に送信するUDP/IP送信回路15とを含んで構成されている。
映像/音声符号化処理回路11は映像/音声入力及び映像フレーム同期を基に映像/音声の符号化処理を行い、TSパケットとTS同期とをTSタイムスタンプ付加回路12に送出する。TSタイムスタンプ付加回路12はTSパケットとTS同期とを受取ると、TSパケットの先頭バイト到達時の時間を、TSパケットの送信直前に、TSタイムスタンプとして付加し、そのTSパケットをFEC符号化回路13に送出する。また、TSタイムスタンプ付加回路12はTS同期がn周期経過した時点でブロック同期をFEC符号化回路13に送出する。
FEC符号化回路13はTSパケットとブロック同期とを受取ると、従来の技術で説明したように、TSパケットに付加する冗長パケットを生成し、その冗長パケットをTSパケットに付加してRTP化回路14に送出する。冗長パケットが付加されたTSパケットはRTP化回路14でRTPヘッダが付加され、UDP/IP送信回路15でUDPヘッダやIPヘッダが付加されてIPパケットとしてIP網100に送信される。
図2において、映像/音声受信装置2はIP網100からIPパケットを受信するUDP/IP受信回路21と、受信したIPパケットからRTPヘッダを外してTSパケットを取出すRTP受信回路22と、予め設定された所定数(例えば、5ブロック等)のダミーのTSパケットから仮同期タイミングを生成する仮同期タイミング生成回路23と、TSパケットからFEC復号するFEC復号回路24と、FEC復号して誤り訂正が行われたTSパケットからTSタイムスタンプを抽出してTS同期を生成するTSタイムスタンプ再生回路25と、映像/音声の復号処理を行う映像/音声復号処理回路(MPEG2)26とを含んで構成されている。
UDP/IP受信回路21はIP網100からIPパケットを受信すると、IPパケットからUDPヘッダやIPヘッダを外してRTP受信回路22に送出する。RTP受信回路22はUDPヘッダやIPヘッダが外されたパケットからRTPヘッダを外してTSパケットを取出し、先頭から所定数のダミーのTSパケットを仮同期タイミング生成回路23に送り、それ以降のTSパケットをFEC復号回路24に送る。
仮同期タイミング生成回路23は所定数のダミーのTSパケットの同期タイミング(受信処理タイミング)を測定し、その測定結果を平均化したものを仮同期タイミングとしてFEC復号回路24に与える。FEC復号回路24は、上述した従来の技術と同様に、FEC入力処理、FEC訂正処理、FEC出力処理を実行してTSパケットの誤り訂正(TSパケットの復元等)を行い、誤り訂正したTSパケットをTSタイムスタンプ再生回路25に送る。
TSタイムスタンプ再生回路25はFEC復号して誤り訂正が行われたTSパケットを映像/音声復号処理回路26に送るとともに、そのTSパケットからTSタイムスタンプを抽出してTS同期を生成し、そのTS同期がn周期経過する毎にブロック同期をFEC復号回路24に与える。映像/音声復号処理回路26はTSパケットを受取ると、TSパケットに対して映像/音声の復号処理を行い、映像/音声を図示せぬ他の回路に出力するとともに、映像フレーム同期を再生して他の回路に出力する。
ここで、FEC復号回路24は、TSタイムスタンプ再生回路25からブロック同期が送られてくるまでは仮同期タイミング生成回路23からの仮同期タイミングに同期して上記のFEC入力処理、FEC訂正処理、FEC出力処理を実行し、ブロック同期が送られてくると、それ以降、ブロック同期に同期して上記のFEC入力処理、FEC訂正処理、FEC出力処理を実行する。
図3は図1の映像/音声送信装置1の処理動作を示すタイミングチャートであり、図4は図2の映像/音声受信装置2の処理動作を示すタイミングチャートであり、図5は図2の映像/音声受信装置2の処理動作を示すフローチャートである。これら図1〜図5を参照して本発明の一実施例によるIPストリーム送受信システムの動作について説明する。
映像/音声送信装置1においては、図3に示すように、映像/音声符号化処理回路11が映像/音声入力及び映像フレーム同期を基に映像/音声の符号化処理を行い、TSパケット(1,・・・,n)とTS同期(t1,t2,t3,・・・)とをTSタイムスタンプ付加回路12に送出する。
TSタイムスタンプ付加回路12はTSパケットとTS同期とを受取ると、TSパケットの先頭バイト到達時の時間を、TSパケットの送信直前に、TSタイムスタンプとして付加し、そのTSパケットをFEC符号化回路13に送出する。また、TSタイムスタンプ付加回路12はTS同期がn周期経過した時点でブロック同期をFEC符号化回路13に送出する。
FEC符号化回路13はTSパケットとブロック同期とを受取ると、FEC入力処理、FEC訂正符号生成処理、FEC出力処理からなるブロック同期処理を実行する。この場合、FEC符号化回路13はFEC訂正符号生成処理にて、上記の従来の技術で説明したように(図11参照)、TSパケットに付加する冗長パケットを生成し、その冗長パケットをTSパケットに付加してRTP化回路14に送出する。
冗長パケットが付加されたTSパケットはRTP化回路14でRTPヘッダが付加され(RTP化)、UDP/IP送信回路15でUDPヘッダやIPヘッダが付加されて(UDP/IP化)、IPパケットとしてIP網100に送信される。
映像/音声受信装置2においては、図4に示すように、UDP/IP受信回路21がIP網100からIPパケットを受信すると、IPパケットからUDPヘッダやIPヘッダを外してRTP受信回路22に送出する。RTP受信回路22はUDPヘッダやIPヘッダが外されたパケットからRTPヘッダを外してTSパケットを取出し、先頭から所定数のダミーのTSパケットを仮同期タイミング生成回路23に送り、それ以降のTSパケットをFEC復号回路24に送る。
仮同期タイミング生成回路23は所定数のダミーのTSパケットの同期タイミング(受信処理タイミング)を測定し、その測定結果を平均化したものを仮同期タイミングとしてFEC復号回路24に与える。FEC復号回路24は、上述した従来の技術と同様に(図12及び図13参照)、FEC入力処理(FEC入力#1,#2,#3,#4,・・・)、FEC訂正処理(FEC訂正処理#1,#2,#3,・・・)、FEC出力処理(FEC出力#1,#2,・・・)を実行してTSパケットの誤り訂正(TSパケットの復元等)を行い、誤り訂正したTSパケットをTSタイムスタンプ再生回路25に送る。
TSタイムスタンプ再生回路25はFEC復号して誤り訂正が行われたTSパケット(1,・・・,n)を映像/音声復号処理回路26に送るとともに、そのTSパケットからTSタイムスタンプを抽出してTS同期(t1,t2,t3,・・・,tn)を生成し、そのTS同期がn周期経過する毎にブロック同期をFEC復号回路24に与える。本実施例では、このTSタイムスタンプ再生回路25による最初のTSタイムスタンプ再生によって、1FEC分(FEC出力#1)の正確な時間再生が行われ、FEC出力#2の開始タイミングとFEC訂正処理#3の開始タイミングとが確定する。
映像/音声復号処理回路26はTSパケットを受取ると、TSパケットに対して映像/音声の復号処理を行い、映像/音声を図示せぬ他の回路に出力するとともに、映像フレーム同期を再生して他の回路に出力する。
ここで、FEC復号回路24は、TSタイムスタンプ再生回路25からブロック同期が送られてくるまでは仮同期タイミング生成回路23からの仮同期タイミングに同期して上記のFEC入力処理(FEC入力#1,#2,#3)、FEC訂正処理(FEC訂正処理#1,#2)、FEC出力処理(FEC出力#1)を開始し、ブロック同期が送られてくると、それ以降、ブロック同期に同期して上記のFEC入力処理(FEC入力#4)、FEC訂正処理(FEC訂正処理#3)、FEC出力処理(FEC出力#2)を開始する。
次に、図5を参照して映像/音声受信装置2の処理動作について説明する。映像/音声受信装置2では、同期化処理を開始し、予め設定された映像/音声送信装置1からのダミーブロックを所定数受信すると(図5ステップS1)、仮同期タイミング生成回路23において所定数のダミーのTSパケットの同期タイミング(受信処理タイミング)を測定し、所定数のダミーブロックの受信時間の平均化によって仮同期タイミングを生成する(図5ステップS2)。
映像/音声受信装置2では、FEC復号回路24において、仮同期タイミング#1にてFEC入力処理#1を開始し(図4参照)(図5ステップS3)、仮同期タイミング#2にてFEC入力処理#2を開始し、FEC訂正処理#1を開始する(図4参照)(図5ステップS4)。
また、映像/音声受信装置2では、FEC復号回路24において、仮同期タイミング#3にてFEC入力処理#3を開始し、FEC訂正処理#2を開始し、FEC出力処理#1を開始する(図4参照)(図5ステップS5)。この後、映像/音声受信装置2では、TS同期がn周期経過すると(図5ステップS6)、仮同期タイミング生成回路23において仮同期タイミングを停止し、TSタイムスタンプ再生回路25においてFEC復号回路24のFEC出力処理#1によってTS同期がとられるので、FEC復号回路24ではそのTS同期に基づくブロック同期にてFEC入力処理、FEC訂正処理、FEC出力処理を続行する(図4参照)(図5ステップS7)。
映像/音声受信装置2では、FEC復号回路24でのFEC入力処理、FEC訂正処理、FEC出力処理の続行によって、IPストリームが終了すると(図5ステップS8)、処理を終了し、IPストリームが終了しなければ(図5ステップS8)、ステップS6に戻ってTS同期がn周期経過する毎にブロック同期が送出されるので、FEC復号回路24においてFEC入力処理、FEC訂正処理、FEC出力処理が続行される。
図6は本発明の一実施例によるFEC復号回路24のFEC出力処理#1によってTS同期がとられた後の動作を説明するための図であり、図7は本発明の一実施例による効果を説明するための図である。
このように、本実施例では、上記のように、正確な受信処理タイミング(ブロック同期)が生成されるため、図6に示すように、TSタイムスタンプ再生回路25で各TSパケットに付加されている時間情報から、正確な時間間隔でのTSパケットの出力=正確なTS同期生成が行われる。
したがって、本実施例では、TS同期がn周期経過した時点で、「FEC出力処理#1完了」、「FEC出力処理#2開始」、「FEC訂正処理#3開始」が行われ、さらにTS同期がn周期経過した時点で、「FEC出力処理#2完了」、「FEC出力処理#3開始」、「FEC訂正処理#4開始」が行われる。
以降、本実施例では、図6に示すように、下流処理(TSタイムスタンプ再生回路25の処理)で確定した正確な同期タイミングを上流処理(FEC復号回路24の処理)に反映しているので、正確にTS同期がn周期経過する毎にFEC出力処理、FEC訂正処理が行われる。
これによって、本実施例では、正確なTS同期タイミングからFEC処理開始タイミングが規定されるので、処理タイミングの安定化を図ることができる。この場合、本実施例では、図7に示すように、下流処理(TSタイムスタンプ再生回路25の処理)で確定した正確な同期タイミングを用いているため、従来の処理で受けていた受信IP入力のネットワークジッタやパケットロス等の影響を受けることがなくなる。
本発明の一実施例によるIPストリーム送信装置の構成例を示すブロック図である。 本発明の一実施例によるIPストリーム受信装置の構成例を示すブロック図である。 図1の映像/音声送信装置の処理動作を示すタイミングチャートである。 図2の映像/音声受信装置の処理動作を示すタイミングチャートである。 図2の映像/音声受信装置の処理動作を示すフローチャートである。 本発明の一実施例によるFEC復号回路のFEC出力処理#1によってTS同期がとられた後の動作を説明するための図である。 本発明の一実施例による効果を説明するための図である。 (a),(b)は従来のIPストリームの構成例を示す図である。 従来のIPストリーム受信装置の構成例を示すブロック図である。 従来のTSタイムスタンプの付加例を示す図である。 従来のFEC処理の処理例を示す図である。 従来のFEC処理の処理例を示す図である。 従来のFEC処理の処理例を示す図である。 従来のFEC処理の流れを示す図である。
符号の説明
1 映像/音声送信装置
2 映像/音声受信装置
11 映像/音声符号化処理回路
12 TSタイムスタンプ付加回路
13 FEC符号化回路
14 RTP化回路
15 UDP/IP送信回路
21 UDP/IP受信回路
22 RTP受信回路
23 仮同期タイミング生成回路
24 FEC復号回路
25 TSタイムスタンプ再生回路
26 映像/音声復号処理回路
100 IP網

Claims (21)

  1. 受信IP(Internet Protocol)ストリームの入力時にその受信処理タイミングにて前記受信IPストリームを受信した直後のFEC(Forward Error Correction:順方向誤り訂正)復号処理を少なくとも行うIPストリーム受信装置を含むIPストリーム送受信システムであって、
    前記IPストリーム受信装置は、前記FEC復号処理の後段のTS(Transport Stream)タイムスロット再生処理で確定されるTS同期を基に前記受信処理タイミングを生成する回路を有することを特徴とするIPストリーム送受信システム。
  2. 前記TSタイムスロット再生処理において、各TSパケットに付加されている時間情報に基づいた時間間隔で前記TSパケットを出力し、前記時間情報に基づくTS同期を基にブロック同期を生成して前記FEC復号処理に付与することを特徴とする請求項1記載のIPストリーム送受信システム。
  3. 前記受信処理タイミングは、少なくとも前記TSパケットに付加されたTSタイムスタンプ、前記受信IPストリームのRTP(Real−time Tramsport Protocol)ヘッダ上のシーケンス番号先頭、前記受信IPストリームの独自ヘッダの同期フラグのうちのいずれかを用いて生成されることを特徴とする請求項1または請求項2記載のIPストリーム送受信システム。
  4. 前記IPストリーム受信装置は、予め設定された所定数のダミーのIPストリームの受信処理タイミングを測定しかつその測定結果に基づいた仮同期タイミングを生成して前記FEC復号処理に付与する回路を含み、
    前記FEC復号処理は、前記TS同期が確定されるまでの間、前記仮同期タイミングにて処理を行うことを特徴とする請求項1から請求項3のいずれか記載のIPストリーム送受信システム。
  5. 前記受信IPストリームは、少なくとも映像及び音声ストリームのUDP(User Datagram Protocol)パケットであることを特徴とする請求項1から請求項4のいずれか記載のIPストリーム送受信システム。
  6. 前記映像及び音声ストリームは、MPEG2(Moving Pictures Expert Group−2)−TS(Transport Stream)を含む符号化データ及び非圧縮データであることを特徴とする請求項5記載のIPストリーム送受信システム。
  7. 前記FEC復号処理は、FEC入力処理とFEC訂正処理とFEC出力処理とを順次行い、
    前記FEC出力処理が行われた後に前記TSタイムスロット再生処理で前記TS同期が確定されることを特徴とする請求項1から請求項6のいずれか記載のIPストリーム送受信システム。
  8. 受信IP(Internet Protocol)ストリームの入力時にその受信処理タイミングにて前記受信IPストリームを受信した直後のFEC(Forward Error Correction:順方向誤り訂正)復号処理を少なくとも行うIPストリーム受信装置であって、
    前記FEC復号処理の後段のTS(Transport Stream)タイムスロット再生処理で確定されるTS同期を基に前記受信処理タイミングを生成する回路を有することを特徴とするIPストリーム受信装置。
  9. 前記TSタイムスロット再生処理において、各TSパケットに付加されている時間情報に基づいた時間間隔で前記TSパケットを出力し、前記時間情報に基づくTS同期を基にブロック同期を生成して前記FEC復号処理に付与することを特徴とする請求項8記載のIPストリーム受信装置。
  10. 前記受信処理タイミングは、少なくとも前記TSパケットに付加されたTSタイムスタンプ、前記受信IPストリームのRTP(Real−time Tramsport Protocol)ヘッダ上のシーケンス番号先頭、前記受信IPストリームの独自ヘッダの同期フラグのうちのいずれかを用いて生成されることを特徴とする請求項8または請求項9記載のIPストリーム受信装置。
  11. 予め設定された所定数のダミーのIPストリームの受信処理タイミングを測定しかつその測定結果に基づいた仮同期タイミングを生成して前記FEC復号処理に付与する回路を含み、
    前記FEC復号処理において、前記TS同期が確定されるまでの間、前記仮同期タイミングにて処理を行うことを特徴とする請求項8から請求項10のいずれか記載のIPストリーム受信装置。
  12. 前記受信IPストリームが、少なくとも映像及び音声ストリームのUDP(User Datagram Protocol)パケットであることを特徴とする請求項8から請求項11のいずれか記載のIPストリーム受信装置。
  13. 前記映像及び音声ストリームが、MPEG2(Moving Pictures Expert Group−2)−TS(Transport Stream)を含む符号化データ及び非圧縮データであることを特徴とする請求項12記載のIPストリーム受信装置。
  14. 前記FEC復号処理において、FEC入力処理とFEC訂正処理とFEC出力処理とを順次行い、
    前記FEC出力処理が行われた後に前記TSタイムスロット再生処理で前記TS同期が確定されることを特徴とする請求項8から請求項13のいずれか記載のIPストリーム受信装置。
  15. 受信IP(Internet Protocol)ストリームの入力時にその受信処理タイミングにて前記受信IPストリームを受信した直後のFEC(Forward Error Correction:順方向誤り訂正)復号処理を少なくとも行うIPストリーム受信装置を含むIPストリーム送受信システムに用いられる受信処理タイミング同期化方法であって、
    前記IPストリーム受信装置が、前記FEC復号処理の後段のTS(Transport Stream)タイムスロット再生処理で確定されるTS同期を基に前記受信処理タイミングを生成する処理を実行することを特徴とする受信処理タイミング同期化方法。
  16. 前記TSタイムスロット再生処理において、各TSパケットに付加されている時間情報に基づいた時間間隔で前記TSパケットを出力し、前記時間情報に基づくTS同期を基にブロック同期を生成して前記FEC復号処理に付与することを特徴とする請求項15記載の受信処理タイミング同期化方法。
  17. 前記受信処理タイミングが、少なくとも前記TSパケットに付加されたTSタイムスタンプ、前記受信IPストリームのRTP(Real−time Tramsport Protocol)ヘッダ上のシーケンス番号先頭、前記受信IPストリームの独自ヘッダの同期フラグのうちのいずれかを用いて生成されることを特徴とする請求項15または請求項16記載の受信処理タイミング同期化方法。
  18. 前記IPストリーム受信装置が、予め設定された所定数のダミーのIPストリームの受信処理タイミングを測定しかつその測定結果に基づいた仮同期タイミングを生成して前記FEC復号処理に付与する処理を実行し、
    前記FEC復号処理は、前記TS同期が確定されるまでの間、前記仮同期タイミングにて処理を行うことを特徴とする請求項15から請求項17のいずれか記載の受信処理タイミング同期化方法。
  19. 前記受信IPストリームが、少なくとも映像及び音声ストリームのUDP(User Datagram Protocol)パケットであることを特徴とする請求項15から請求項18のいずれか記載の受信処理タイミング同期化方法。
  20. 前記映像及び音声ストリームが、MPEG2(Moving Pictures Expert Group−2)−TS(Transport Stream)を含む符号化データ及び非圧縮データであることを特徴とする請求項19記載の受信処理タイミング同期化方法。
  21. 前記FEC復号処理において、FEC入力処理とFEC訂正処理とFEC出力処理とを順次行い、
    前記FEC出力処理が行われた後に前記TSタイムスロット再生処理で前記TS同期が確定されることを特徴とする請求項15から請求項20のいずれか記載の受信処理タイミング同期化方法。
JP2006225970A 2006-08-23 2006-08-23 Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法 Active JP4655006B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006225970A JP4655006B2 (ja) 2006-08-23 2006-08-23 Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法
US11/882,178 US8514945B2 (en) 2006-08-23 2007-07-31 IP stream tramsmitting/receiving system, IP stream receiving device and receiving process timing synchronization method used for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006225970A JP4655006B2 (ja) 2006-08-23 2006-08-23 Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法

Publications (2)

Publication Number Publication Date
JP2008053872A JP2008053872A (ja) 2008-03-06
JP4655006B2 true JP4655006B2 (ja) 2011-03-23

Family

ID=39113421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006225970A Active JP4655006B2 (ja) 2006-08-23 2006-08-23 Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法

Country Status (2)

Country Link
US (1) US8514945B2 (ja)
JP (1) JP4655006B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4655006B2 (ja) * 2006-08-23 2011-03-23 日本電気株式会社 Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法
JP5380862B2 (ja) * 2008-03-05 2014-01-08 日本電気株式会社 Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法
JP2012257041A (ja) * 2011-06-08 2012-12-27 Sony Corp 通信装置、通信システム、通信方法及びプログラム
JP2014093584A (ja) * 2012-11-01 2014-05-19 Sony Corp 送信装置、送信方法、受信装置、受信方法およびコンピュータプログラム
CN105393480B (zh) * 2013-07-18 2019-08-06 三星电子株式会社 用于在多媒体通信系统中发送/接收分组的装置和方法
US20150062353A1 (en) * 2013-08-30 2015-03-05 Microsoft Corporation Audio video playback synchronization for encoded media
KR102582483B1 (ko) * 2018-08-23 2023-09-26 삼성전자주식회사 무선 통신 방법 및 이를 지원하는 전자 장치
CN112511573B (zh) * 2021-02-08 2021-05-11 全时云商务服务股份有限公司 一种udp数据包的传输控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210219A (ja) * 2004-01-20 2005-08-04 Sony Corp 送受信システム、送信装置および方法、受信装置および方法、記録媒体、並びにプログラム
WO2005096516A1 (ja) * 2004-04-02 2005-10-13 Matsushita Electric Industrial Co., Ltd. 受信装置
JP2007221676A (ja) * 2006-02-20 2007-08-30 Toshiba Corp コンテンツ送信装置、コンテンツ送信装置、およびその方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4759014A (en) * 1987-05-28 1988-07-19 Ampex Corporation Asynchronous-to-synchronous digital data multiplexer/demultiplexer with asynchronous clock regeneration
JP4407007B2 (ja) * 2000-05-02 2010-02-03 ソニー株式会社 データ送信装置及び方法
JP3846578B2 (ja) * 2002-07-30 2006-11-15 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US8090857B2 (en) * 2003-11-24 2012-01-03 Qualcomm Atheros, Inc. Medium access control layer that encapsulates data from a plurality of received data units into a plurality of independently transmittable blocks
US7539187B2 (en) * 2004-07-07 2009-05-26 Qvidium Technologies, Inc. System and method for low-latency content-sensitive forward error correction
US8199781B2 (en) * 2004-12-14 2012-06-12 Samsung Electronics Co., Ltd Device and method for demultiplexing received transport stream in digital broadcasting receiver
EP1768285A1 (en) * 2005-09-23 2007-03-28 Udcast Method and device for processing a DVB-H (Digital Video Broadcasting - Handheld) compliant transport stream
JP2007104085A (ja) * 2005-09-30 2007-04-19 Toshiba Corp 通信回線を用いるデジタル放送方法およびその装置
US8566887B2 (en) * 2005-12-09 2013-10-22 Time Warner Cable Enterprises Llc Caption data delivery apparatus and methods
US8755675B2 (en) * 2006-04-20 2014-06-17 Texas Instruments Incorporated Flexible and efficient memory utilization for high bandwidth receivers, integrated circuits, systems, methods and processes of manufacture
JP4655006B2 (ja) * 2006-08-23 2011-03-23 日本電気株式会社 Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210219A (ja) * 2004-01-20 2005-08-04 Sony Corp 送受信システム、送信装置および方法、受信装置および方法、記録媒体、並びにプログラム
WO2005096516A1 (ja) * 2004-04-02 2005-10-13 Matsushita Electric Industrial Co., Ltd. 受信装置
JP2007221676A (ja) * 2006-02-20 2007-08-30 Toshiba Corp コンテンツ送信装置、コンテンツ送信装置、およびその方法

Also Published As

Publication number Publication date
JP2008053872A (ja) 2008-03-06
US8514945B2 (en) 2013-08-20
US20080049846A1 (en) 2008-02-28

Similar Documents

Publication Publication Date Title
JP4655006B2 (ja) Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法
JP5380862B2 (ja) Ipストリーム送受信システム、ipストリーム受信装置及びそれらに用いる受信処理タイミング同期化方法
US7539925B2 (en) Transmission apparatus and method, reception apparatus and method, storage medium, and program
US9300421B2 (en) Methods to achieve accurate time stamp in IEEE 1588 for system with FEC encoder
US8261162B2 (en) Decoding device, decoding method, and media data delivery system
JP2006042306A (ja) 映像配信システム、映像配信装置、映像受信装置、映像配信方法、映像受信方法、映像配信プログラム及び映像受信プログラム
EP3228037A1 (en) Method and apparatus for removing jitter in audio data transmission
JP2008160235A (ja) チューナのビットエラーレート測定の方法及び装置
US7215683B2 (en) Method and apparatus for protecting against packet losses in packet-oriented data transmission
JP2010531087A (ja) 一定のビットレートのストリームの伝送のためのシステム及び方法
CN106571893A (zh) 一种语音数据的编解码方法
US10623535B2 (en) Signal processing apparatus and signal processing method
JP2007324876A (ja) データ送信装置、データ受信装置、データ送信方法、データ受信方法、及びプログラム
JP2004120675A (ja) 試験用パケット発生装置
JP5239405B2 (ja) Ts受信装置及びそれに用いるタイミング再生方法
JP3977784B2 (ja) リアルタイムパケット処理装置及びその方法
JP2009141453A (ja) データ伝送装置、データ送信装置、データ受信装置及びデータ伝送システム
JP5082715B2 (ja) 受信装置、受信方法およびコンピュータプログラム
JP2002016917A (ja) 動画像の時間情報復号方法
US20070268902A1 (en) Generation of valid program clock reference time stamps for duplicate transport stream packets
JP4747085B2 (ja) 誤り訂正符号回路
JP2004312684A (ja) Wanでの大容量パケット伝送装置、wanでの大容量パケット送信方法及び受信方法、並びにwanでの大容量パケット送受信方法
JP2010245838A (ja) 映像伝送システム、送信装置、受信装置及び保持時間制御方法
JP2005110055A (ja) 受信装置及び受信データ制御方法
JP4971705B2 (ja) コンテンツ受信装置、コンテンツ送信装置、基本データ同期方法及びコンテンツ受信プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4655006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350