JPH09331524A - ディジタル信号符号化方法、編集方法、及び伝送方法 - Google Patents
ディジタル信号符号化方法、編集方法、及び伝送方法Info
- Publication number
- JPH09331524A JPH09331524A JP15253496A JP15253496A JPH09331524A JP H09331524 A JPH09331524 A JP H09331524A JP 15253496 A JP15253496 A JP 15253496A JP 15253496 A JP15253496 A JP 15253496A JP H09331524 A JPH09331524 A JP H09331524A
- Authority
- JP
- Japan
- Prior art keywords
- buffer
- bit stream
- bitstream
- time
- digital signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64746—Control signals issued by the network directed to the server or the client
- H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
- H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
Abstract
(57)【要約】
【課題】 複数のビデオのビットストリームを結合する
際に、デコーダバッファを破綻させずにシームレスな結
合を可能とする。 【解決手段】 符号化装置１０からの第１のビットスト
リームの後に符号化装置２０からの第２のビットストリ
ームを結合する場合に、符号化部１２は、端子１４から
の制御信号に応じて、第１のビットストリームの終端付
近で第２のビットストリームのスタートアップに必要な
デコーダバッファ量を確保するための制限を加えて符号
化し、符号化部２２は、端子２４からの制御信号に応じ
て、第２のビットストリームの先頭付近で第２のビット
ストリームのスタートアップに必要なデコーダバッファ
量を確保するための制限を加えて符号化する。
際に、デコーダバッファを破綻させずにシームレスな結
合を可能とする。 【解決手段】 符号化装置１０からの第１のビットスト
リームの後に符号化装置２０からの第２のビットストリ
ームを結合する場合に、符号化部１２は、端子１４から
の制御信号に応じて、第１のビットストリームの終端付
近で第２のビットストリームのスタートアップに必要な
デコーダバッファ量を確保するための制限を加えて符号
化し、符号化部２２は、端子２４からの制御信号に応じ
て、第２のビットストリームの先頭付近で第２のビット
ストリームのスタートアップに必要なデコーダバッファ
量を確保するための制限を加えて符号化する。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像信号及び音
響信号等を、例えば光磁気ディスクや磁気テープ等の記
録媒体に記録し、これを再生してディスプレイに表示し
たり、テレビ会議システム、テレビ電話システム、放送
用機器等、動画像信号及び音響信号等を伝送路を介して
送信側から受信側に伝送し、受信側において、これを受
信し、表示する場合等に用いて好適なディジタル信号符
号化方法、編集方法、及び伝送方法に関する。
響信号等を、例えば光磁気ディスクや磁気テープ等の記
録媒体に記録し、これを再生してディスプレイに表示し
たり、テレビ会議システム、テレビ電話システム、放送
用機器等、動画像信号及び音響信号等を伝送路を介して
送信側から受信側に伝送し、受信側において、これを受
信し、表示する場合等に用いて好適なディジタル信号符
号化方法、編集方法、及び伝送方法に関する。
【０００２】
【従来の技術】近年において、例えば、画像信号や音響
信号を、所定の標準規格の圧縮方式を用いて圧縮してデ
ィジタルのビットストリームデータを生成し、必要に応
じてこれらを多重化して伝送することが行われる。
信号を、所定の標準規格の圧縮方式を用いて圧縮してデ
ィジタルのビットストリームデータを生成し、必要に応
じてこれらを多重化して伝送することが行われる。
【０００３】上記標準規格の具体例としては、ＭＰＥＧ
（Moving Picture Coding ExpertsGroup ）規格を挙げ
ることができる。このＭＰＥＧとは、ＩＳＯ／ＩＥＣ
ＪＴＣ１／ＳＣ29（International Organization for S
tandardization / International Electrotechnical Co
mmission, Joint Technical Committee 1 / Sub Commit
tee 29：国際標準化機構／国際電気標準会議 合同技術
委員会１／専門部会２９）の蓄積用動画像符号化の検討
組織の略称であり、ＭＰＥＧ１標準としてISO11172が、
ＭＰＥＧ２標準としてISO13818がある。これらの国際標
準において、マルチメディア多重化の項目でISO11172-1
及びISO13818-1が、映像の項目でISO11172-2及びISO138
18-2が、また音声の項目でISO11172-3及びISO13818-3が
それぞれ標準化されている。
（Moving Picture Coding ExpertsGroup ）規格を挙げ
ることができる。このＭＰＥＧとは、ＩＳＯ／ＩＥＣ
ＪＴＣ１／ＳＣ29（International Organization for S
tandardization / International Electrotechnical Co
mmission, Joint Technical Committee 1 / Sub Commit
tee 29：国際標準化機構／国際電気標準会議 合同技術
委員会１／専門部会２９）の蓄積用動画像符号化の検討
組織の略称であり、ＭＰＥＧ１標準としてISO11172が、
ＭＰＥＧ２標準としてISO13818がある。これらの国際標
準において、マルチメディア多重化の項目でISO11172-1
及びISO13818-1が、映像の項目でISO11172-2及びISO138
18-2が、また音声の項目でISO11172-3及びISO13818-3が
それぞれ標準化されている。
【０００４】ここで、画像圧縮符号化規格としてのISO1
1172-2又はISO13818-2においては、画像信号を、画像
（フレーム又はフィールド）単位で、画像の時間および
空間方向の相関を利用して、圧縮符号化を行うものであ
る。
1172-2又はISO13818-2においては、画像信号を、画像
（フレーム又はフィールド）単位で、画像の時間および
空間方向の相関を利用して、圧縮符号化を行うものであ
る。
【０００５】このような画像信号を圧縮符号化して、デ
ィジタルの符号化ビットストリームを生成し、記録媒体
あるいは伝送媒体などのメディアを介して、得られたビ
ットストリームを復号するために用いられる装置全体の
概略構成を、図５に示している。
ィジタルの符号化ビットストリームを生成し、記録媒体
あるいは伝送媒体などのメディアを介して、得られたビ
ットストリームを復号するために用いられる装置全体の
概略構成を、図５に示している。
【０００６】この図５において、入力端子１０１に供給
された画像信号は、上述したいわゆるＭＰＥＧ１（ISO1
1172-2）又はＭＰＥＧ２（ISO13818-2）に対応した符号
化部１０２に送られて圧縮符号化される。この場合に、
各画像が圧縮の単位となるが、この圧縮符号化された画
像データの大きさは一定ではないので、出力段に送信バ
ッファ１０３を設けて、このバッファの占有量を符号化
装置にフィードバックさせることによって、送信バッフ
ァ１０３をオーバーフロー／アンダーフローさせないよ
うに画像の符号量を調整している。また、この符号量の
調節によって、送信バッファ１０３の出力段からは、安
定したビットレートでのビットストリームが出力され
る。
された画像信号は、上述したいわゆるＭＰＥＧ１（ISO1
1172-2）又はＭＰＥＧ２（ISO13818-2）に対応した符号
化部１０２に送られて圧縮符号化される。この場合に、
各画像が圧縮の単位となるが、この圧縮符号化された画
像データの大きさは一定ではないので、出力段に送信バ
ッファ１０３を設けて、このバッファの占有量を符号化
装置にフィードバックさせることによって、送信バッフ
ァ１０３をオーバーフロー／アンダーフローさせないよ
うに画像の符号量を調整している。また、この符号量の
調節によって、送信バッファ１０３の出力段からは、安
定したビットレートでのビットストリームが出力され
る。
【０００７】出力された符号化ビットストリームは、伝
送媒体や蓄積媒体等のメディア１０５を介して、復号側
に送られる。復号側では、符号化と全く逆の操作を行
う。すなわち、一定レートで送られてきたビットストリ
ームを受信バッファ１０６が受け取り、復号装置１０７
が受信バッファ１０６から符号化単位である符号化画像
データ（アクセスユニット：ＡＵ）単位で読み出しを行
う。従って、受信バッファ１０６からの読み出しは間欠
的になる。この読み出された画像データは、復号装置１
０７によって元の画像データに復元され、出力端子１０
８より取り出される。
送媒体や蓄積媒体等のメディア１０５を介して、復号側
に送られる。復号側では、符号化と全く逆の操作を行
う。すなわち、一定レートで送られてきたビットストリ
ームを受信バッファ１０６が受け取り、復号装置１０７
が受信バッファ１０６から符号化単位である符号化画像
データ（アクセスユニット：ＡＵ）単位で読み出しを行
う。従って、受信バッファ１０６からの読み出しは間欠
的になる。この読み出された画像データは、復号装置１
０７によって元の画像データに復元され、出力端子１０
８より取り出される。
【０００８】次に、図６は、上記図５の復号側の受信バ
ッファ（デコーダバッファ）１０６の動作を説明するた
めの図である。この図６は、受信バッファ１０６に入力
された画像ビットストリームの占有率を図示したもので
ある。この受信バッファ１０６には、一定レートで画像
データが入力され、この一定レートの入力が右上がりの
直線で示されている。それぞれの画像データＰ1,Ｐ2,Ｐ
3,…は、基本的には、予め決められた各々の復号時刻ｔ
1,ｔ2,ｔ3,…に、符号化単位（アクセスユニット単位：
ＡＵ単位）でバッファから引き抜かれる。このため、バ
ッファ占有量は、図６に示すように鋸歯状の軌跡を描く
ことになる。
ッファ（デコーダバッファ）１０６の動作を説明するた
めの図である。この図６は、受信バッファ１０６に入力
された画像ビットストリームの占有率を図示したもので
ある。この受信バッファ１０６には、一定レートで画像
データが入力され、この一定レートの入力が右上がりの
直線で示されている。それぞれの画像データＰ1,Ｐ2,Ｐ
3,…は、基本的には、予め決められた各々の復号時刻ｔ
1,ｔ2,ｔ3,…に、符号化単位（アクセスユニット単位：
ＡＵ単位）でバッファから引き抜かれる。このため、バ
ッファ占有量は、図６に示すように鋸歯状の軌跡を描く
ことになる。
【０００９】このようなデコーダバッファをオーバーフ
ローやアンダーフローさせないように符号化する、とい
う内容が、上記規格ISO11172-2又はISO13818-2のAnnex
C に規定されるＶＢＶ（Video Buffer Verifier） の規
定である。この内容は、ビットストリームが上記ＭＰＥ
Ｇの条件を満足していると認定されるための必要条件と
なる。
ローやアンダーフローさせないように符号化する、とい
う内容が、上記規格ISO11172-2又はISO13818-2のAnnex
C に規定されるＶＢＶ（Video Buffer Verifier） の規
定である。この内容は、ビットストリームが上記ＭＰＥ
Ｇの条件を満足していると認定されるための必要条件と
なる。
【００１０】
【発明が解決しようとする課題】ところで、上述したよ
うなＭＰＥＧ１（ISO11172-2）、ＭＰＥＧ２（ISO13818
-2）の規格に基づいて符号化された画像信号を複数扱う
場合に、別々の系で独立に符号化されたビットストリー
ムを結合することは、一般的に困難である。特に、結合
点において、連続して画像が静止（フリーズ）せずに結
合される、いわゆるシームレスな結合というのは、何ら
制限を加えないで生成したビットストリームでは殆ど不
可能である。
うなＭＰＥＧ１（ISO11172-2）、ＭＰＥＧ２（ISO13818
-2）の規格に基づいて符号化された画像信号を複数扱う
場合に、別々の系で独立に符号化されたビットストリー
ムを結合することは、一般的に困難である。特に、結合
点において、連続して画像が静止（フリーズ）せずに結
合される、いわゆるシームレスな結合というのは、何ら
制限を加えないで生成したビットストリームでは殆ど不
可能である。
【００１１】図７は、単純に２つのビットストリームを
結合した例を示している。この図７の例においては、時
間的に前の第１のビットストリームＢＳ1 の表示終了の
直後に、次の第２のビットストリームＢＳ2 の復号を開
始した場合を示している。一般にビットストリームの先
頭では、バッファにある程度のデータを蓄積してから復
号を開始するためのスタートアップディレイという待ち
時間が必要である。このため、結合点Ｊでは、このディ
レイの分、次の復号画像の復号／表示が遅れることにな
り、表示フレームが数フレーム分静止（フリーズ）する
という現象が生じる。従って、このような場合、いわゆ
るシームレスな再生が行えない。なお、この図７におい
て、図中の時点ｘ1 でデータ供給が停止して、結合点Ｊ
で第１のビットストリームＢＳ1 の最後のピクチャが引
き抜かれ、時点ｘ2 でフレームをフリーズ（静止）して
ビットストリームを結合し、次の時点ｘ3 で第２のビッ
トストリームＢＳ2 の最初のピクチャが引き抜かれてい
る。
結合した例を示している。この図７の例においては、時
間的に前の第１のビットストリームＢＳ1 の表示終了の
直後に、次の第２のビットストリームＢＳ2 の復号を開
始した場合を示している。一般にビットストリームの先
頭では、バッファにある程度のデータを蓄積してから復
号を開始するためのスタートアップディレイという待ち
時間が必要である。このため、結合点Ｊでは、このディ
レイの分、次の復号画像の復号／表示が遅れることにな
り、表示フレームが数フレーム分静止（フリーズ）する
という現象が生じる。従って、このような場合、いわゆ
るシームレスな再生が行えない。なお、この図７におい
て、図中の時点ｘ1 でデータ供給が停止して、結合点Ｊ
で第１のビットストリームＢＳ1 の最後のピクチャが引
き抜かれ、時点ｘ2 でフレームをフリーズ（静止）して
ビットストリームを結合し、次の時点ｘ3 で第２のビッ
トストリームＢＳ2 の最初のピクチャが引き抜かれてい
る。
【００１２】次に、図８は、上記図７と同様なビットス
トリームをシームレスに再生するために、上記スタート
アップディレイの分だけバッファへのデータ入力を前倒
しした例を示している。この図８の例では、シームレス
な再生を優先したため、時間的に後のビットストリーム
ＢＳ2 の先頭の画像の復号が、時間的に前のビットスト
リームＢＳ1 の最後の画像の復号（図８中の結合点Ｊ）
から、１／ＦＲ分（ただし、ＦＲはフレームレート）の
時間後（図８中の時点ｘ2） に復号されるようになって
いる。この場合、ビットストリームＢＳ1 の最後の画像
（結合点Ｊで引き抜かれるピクチャ）の復号より前（図
８中の時点ｘ1） に、ビットストリームＢＳ2 がバッフ
ァに入力されるために、ビットストリームＢＳ1 の最後
の画像の復号時（結合点Ｊ）に、デコーダバッファの占
有量がオーバーフローを引き起こすことになる。
トリームをシームレスに再生するために、上記スタート
アップディレイの分だけバッファへのデータ入力を前倒
しした例を示している。この図８の例では、シームレス
な再生を優先したため、時間的に後のビットストリーム
ＢＳ2 の先頭の画像の復号が、時間的に前のビットスト
リームＢＳ1 の最後の画像の復号（図８中の結合点Ｊ）
から、１／ＦＲ分（ただし、ＦＲはフレームレート）の
時間後（図８中の時点ｘ2） に復号されるようになって
いる。この場合、ビットストリームＢＳ1 の最後の画像
（結合点Ｊで引き抜かれるピクチャ）の復号より前（図
８中の時点ｘ1） に、ビットストリームＢＳ2 がバッフ
ァに入力されるために、ビットストリームＢＳ1 の最後
の画像の復号時（結合点Ｊ）に、デコーダバッファの占
有量がオーバーフローを引き起こすことになる。
【００１３】すなわち、従来の符号化方法で符号化され
た画像信号のビットストリームをシームレスに結合する
ことは、一般的にほぼ不可能であった。
た画像信号のビットストリームをシームレスに結合する
ことは、一般的にほぼ不可能であった。
【００１４】本発明は、上述したような実情に鑑みてな
されたものであり、２つの画像信号のビットストリーム
を結合する場合に、デコーダバッファの占有量がオーバ
ーフローやアンダーフローすることなく、また静止画を
挟むことなくシームレスに結合が行えるようなディジタ
ル信号符号化方法、編集方法、及び伝送方法の提供を目
的とするものである。
されたものであり、２つの画像信号のビットストリーム
を結合する場合に、デコーダバッファの占有量がオーバ
ーフローやアンダーフローすることなく、また静止画を
挟むことなくシームレスに結合が行えるようなディジタ
ル信号符号化方法、編集方法、及び伝送方法の提供を目
的とするものである。
【００１５】
【課題を解決するための手段】上記の課題を解決するた
めに、本発明は、ディジタル信号のビットストリームを
符号化して出力する場合に、圧縮符号化された複数のビ
ットストリームを結合する場合の時間的に前となる第１
のビットストリームの終端付近のデコーダバッファ占有
量に対して、第１の所定の制限を設けて符号化すること
を特徴としている。
めに、本発明は、ディジタル信号のビットストリームを
符号化して出力する場合に、圧縮符号化された複数のビ
ットストリームを結合する場合の時間的に前となる第１
のビットストリームの終端付近のデコーダバッファ占有
量に対して、第１の所定の制限を設けて符号化すること
を特徴としている。
【００１６】また、本発明は、圧縮符号化された複数の
ビットストリームを結合する場合の時間的に後となる第
２のビットストリームの先頭付近のデコーダバッファ占
有量に対して、第２の所定の制限を設けて符号化するこ
とを特徴とする。
ビットストリームを結合する場合の時間的に後となる第
２のビットストリームの先頭付近のデコーダバッファ占
有量に対して、第２の所定の制限を設けて符号化するこ
とを特徴とする。
【００１７】ここで、上記第１、第２の制限は、結合さ
れる時間的に後の上記第２のビットストリームのスター
トアップに必要なデコーダバッファ量を確保するための
制限である。より具体的には、上記第１の所定の制限と
しては、結合される時間的に後の第２のビットストリー
ムのスタートアップに必要なバッファ量をα、符号化ビ
ットレートをＲB 、上記第１のビットストリームの最後
の画像のバッファからの引き抜き時刻をＴとするとき、
Ｔ−（α／ＲB ）の時刻からバッファ占有量の制限が開
始され、この時刻をｔ＝０とするときのバッファ占有量
をＢＯ(t) とし、バッファの全容量をＢＦとするとき、
ＢＯ(t)＝ＢＦ−ＲB×ｔとなるような制限を加えて上記
第１のビットストリームの終端付近を符号化する。ま
た、上記第２の所定の制限としては、結合される時間的
に後の第２のビットストリームの先頭の画像のバッファ
からの引き抜き時刻をＴ’とし、フレームレートをＲF
とするとき、Ｔ’−１／ＲF の時刻におけるバッファ占
有量βが、上記第２のビットストリームのスタートアッ
プに必要なバッファ量αに対して、β＜αとなるような
制限を加えて上記第２のビットストリームの先頭付近を
符号化する。
れる時間的に後の上記第２のビットストリームのスター
トアップに必要なデコーダバッファ量を確保するための
制限である。より具体的には、上記第１の所定の制限と
しては、結合される時間的に後の第２のビットストリー
ムのスタートアップに必要なバッファ量をα、符号化ビ
ットレートをＲB 、上記第１のビットストリームの最後
の画像のバッファからの引き抜き時刻をＴとするとき、
Ｔ−（α／ＲB ）の時刻からバッファ占有量の制限が開
始され、この時刻をｔ＝０とするときのバッファ占有量
をＢＯ(t) とし、バッファの全容量をＢＦとするとき、
ＢＯ(t)＝ＢＦ−ＲB×ｔとなるような制限を加えて上記
第１のビットストリームの終端付近を符号化する。ま
た、上記第２の所定の制限としては、結合される時間的
に後の第２のビットストリームの先頭の画像のバッファ
からの引き抜き時刻をＴ’とし、フレームレートをＲF
とするとき、Ｔ’−１／ＲF の時刻におけるバッファ占
有量βが、上記第２のビットストリームのスタートアッ
プに必要なバッファ量αに対して、β＜αとなるような
制限を加えて上記第２のビットストリームの先頭付近を
符号化する。
【００１８】また、本発明は、制限を加えて符号化され
た上記第１のビットストリームと上記第２のビットスト
リームとを結合する際に、上記第１のビットストリーム
の最後に付加されているsequence_end_code （シーケン
スエンドコード）を削除し、上記バッファ量α、βに対
して、（α−β）及び削除された上記sequence_end_cod
e 分の充填ビットをビットストリームに加えて結合する
ことを特徴とする。
た上記第１のビットストリームと上記第２のビットスト
リームとを結合する際に、上記第１のビットストリーム
の最後に付加されているsequence_end_code （シーケン
スエンドコード）を削除し、上記バッファ量α、βに対
して、（α−β）及び削除された上記sequence_end_cod
e 分の充填ビットをビットストリームに加えて結合する
ことを特徴とする。
【００１９】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら説明する。
て図面を参照しながら説明する。
【００２０】図１は、本発明の実施の形態を説明するた
めの図である。この図１に示す実施の形態においては、
入力端子１１に供給された第１の画像信号を符号化装置
１０で符号化して得られた第１のビットストリームの後
に、入力端子２１に供給された第２の画像信号を符号化
装置２０で符号化して得られた第２のビットストリーム
を結合する場合を想定している。
めの図である。この図１に示す実施の形態においては、
入力端子１１に供給された第１の画像信号を符号化装置
１０で符号化して得られた第１のビットストリームの後
に、入力端子２１に供給された第２の画像信号を符号化
装置２０で符号化して得られた第２のビットストリーム
を結合する場合を想定している。
【００２１】図１の符号化装置１０の入力端子１１に供
給された第１の画像信号は、上述したいわゆるＭＰＥＧ
１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に対応
した符号化部１２に送られて圧縮符号化され、第１のビ
ットストリームとして取り出される。この場合に、各画
像が圧縮の単位となるが、この圧縮符号化された画像デ
ータの大きさは一定ではないので、出力段に送信バッフ
ァ１３を設けて、このバッファの占有量を符号化にフィ
ードバックさせることによって、送信バッファ１３をオ
ーバーフロー／アンダーフローさせないように画像の符
号量を調整している。このとき、上記第１の画像信号を
符号化して得られる第１のビットストリームの終端付近
のデコーダバッファ占有量に対して制限を設けて符号化
しており、特に、第１のビットストリームの後に連結さ
れる第２のビットストリームのスタートアップに必要と
されるデコーダバッファ量を確保するための制限を、第
１のビットストリームの終端付近のバッファ占有量に対
して設けている。この制限については、端子１４からの
制御信号に応じて施されるものであるが、その内容につ
いては図２を参照しながら後述する。
給された第１の画像信号は、上述したいわゆるＭＰＥＧ
１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に対応
した符号化部１２に送られて圧縮符号化され、第１のビ
ットストリームとして取り出される。この場合に、各画
像が圧縮の単位となるが、この圧縮符号化された画像デ
ータの大きさは一定ではないので、出力段に送信バッフ
ァ１３を設けて、このバッファの占有量を符号化にフィ
ードバックさせることによって、送信バッファ１３をオ
ーバーフロー／アンダーフローさせないように画像の符
号量を調整している。このとき、上記第１の画像信号を
符号化して得られる第１のビットストリームの終端付近
のデコーダバッファ占有量に対して制限を設けて符号化
しており、特に、第１のビットストリームの後に連結さ
れる第２のビットストリームのスタートアップに必要と
されるデコーダバッファ量を確保するための制限を、第
１のビットストリームの終端付近のバッファ占有量に対
して設けている。この制限については、端子１４からの
制御信号に応じて施されるものであるが、その内容につ
いては図２を参照しながら後述する。
【００２２】また、符号化装置２０の入力端子２１に供
給された第２の画像信号は、上述と同様にＭＰＥＧ１
（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に対応し
た符号化部２２に送られて圧縮符号化され、第２のビッ
トストリームとされるが、出力段に送信バッファ２３を
設けて、このバッファの占有量を符号化装置にフィード
バックさせることによって、送信バッファ２３をオーバ
ーフロー／アンダーフローさせないように画像の符号量
を調整している。このとき、第２のビットストリームの
終端付近のバッファ占有量に対して制限を設けており、
特に、上記第２のビットストリームのスタートアップに
必要とされるバッファ量を確保するための制限を、第２
のビットストリームの終端付近のバッファ占有量に対し
て設けている。この制限については、端子２４からの制
御信号に応じて施されるものであるが、その内容につい
ては図３を参照しながら後述する。
給された第２の画像信号は、上述と同様にＭＰＥＧ１
（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に対応し
た符号化部２２に送られて圧縮符号化され、第２のビッ
トストリームとされるが、出力段に送信バッファ２３を
設けて、このバッファの占有量を符号化装置にフィード
バックさせることによって、送信バッファ２３をオーバ
ーフロー／アンダーフローさせないように画像の符号量
を調整している。このとき、第２のビットストリームの
終端付近のバッファ占有量に対して制限を設けており、
特に、上記第２のビットストリームのスタートアップに
必要とされるバッファ量を確保するための制限を、第２
のビットストリームの終端付近のバッファ占有量に対し
て設けている。この制限については、端子２４からの制
御信号に応じて施されるものであるが、その内容につい
ては図３を参照しながら後述する。
【００２３】これらの符号化装置１０からの第１のビッ
トストリーム及び符号化装置２０からの第２のビットス
トリームは、ビットストリーム結合部３０において第１
のビットストリームの後に第２のビットストリームの順
に結合され、出力端子３６より取り出される。この結合
については、図４を参照しながら後述する。
トストリーム及び符号化装置２０からの第２のビットス
トリームは、ビットストリーム結合部３０において第１
のビットストリームの後に第２のビットストリームの順
に結合され、出力端子３６より取り出される。この結合
については、図４を参照しながら後述する。
【００２４】すなわち、結合部３０で結合する第１、第
２のビットストリームの時間的に前の第１のビットスト
リームの終端近傍でのバッファ占有量にある制限を設け
て符号化装置１０で符号化しておき、なおかつ時間的に
後ろの第２のビットストリームの先頭部分でのバッファ
占有量にある制限を設けて符号化装置２０で符号化して
おくことによって、上記ＭＰＥＧ１（ISO11172-2）又は
ＭＰＥＧ２（ISO13818-2）に規定されるＶＢＶ（Video
Buffer Verifier） の規定を守り、かつシームレスに、
すなわち画像の表示がフリーズ等を伴わず連続して行え
るように結合するわけである。
２のビットストリームの時間的に前の第１のビットスト
リームの終端近傍でのバッファ占有量にある制限を設け
て符号化装置１０で符号化しておき、なおかつ時間的に
後ろの第２のビットストリームの先頭部分でのバッファ
占有量にある制限を設けて符号化装置２０で符号化して
おくことによって、上記ＭＰＥＧ１（ISO11172-2）又は
ＭＰＥＧ２（ISO13818-2）に規定されるＶＢＶ（Video
Buffer Verifier） の規定を守り、かつシームレスに、
すなわち画像の表示がフリーズ等を伴わず連続して行え
るように結合するわけである。
【００２５】これは、結合点においてシームレスな結合
を行った場合、上述した従来例に説明したようなデコー
ダバッファのオーバーフローが起きる可能性があるた
め、シームレス結合に必要なスタートアップに必要とさ
れるバッファ量を予め見込んで、結合点の前後における
符号化制御を行うものである。
を行った場合、上述した従来例に説明したようなデコー
ダバッファのオーバーフローが起きる可能性があるた
め、シームレス結合に必要なスタートアップに必要とさ
れるバッファ量を予め見込んで、結合点の前後における
符号化制御を行うものである。
【００２６】具体的には、結合点Ｊの前に位置する第１
のビットストリームＢＳ1 の終わり付近のビットレート
を、図２に示すように制限する。ここで、予め決められ
た、連結される後ろの第２のビットストリームをシーム
レスに連結した場合のスタートアップに必要なバッファ
量をαとする。このバッファ量αは、現実の運用におい
て適当な値を設定する。符号化ビットレートをＲB で表
し、バッファの全容量をＢＦとし、最後の画像のバッフ
ァからの引き抜き時刻をＴとする。
のビットストリームＢＳ1 の終わり付近のビットレート
を、図２に示すように制限する。ここで、予め決められ
た、連結される後ろの第２のビットストリームをシーム
レスに連結した場合のスタートアップに必要なバッファ
量をαとする。このバッファ量αは、現実の運用におい
て適当な値を設定する。符号化ビットレートをＲB で表
し、バッファの全容量をＢＦとし、最後の画像のバッフ
ァからの引き抜き時刻をＴとする。
【００２７】この場合、結合点Ｊの時刻をＴとすると、
バッファ占有量の制限としては、 Ｔ−（α／ＲB ） の時刻から開始され、この時刻をｔ＝０として、時間が
進む方向を正とし、バッファの占有量はｔの関数として
表されるため、これをＢＯ(t) とすると、 ＢＯ(t)＝ＢＦ−ＲB ×ｔ となるような制限を加えて、結合よりも時間的に前のビ
ットストリームの終端近傍を符号化する。これが結合点
の前における第１のビットストリームＢＳ1 への制限と
なる。図１においては、端子１４からの制御信号が符号
化部１２に与えられることにより、ビットストリームの
終端付近の符号化の際に、上述したような制限が加えら
れる。
バッファ占有量の制限としては、 Ｔ−（α／ＲB ） の時刻から開始され、この時刻をｔ＝０として、時間が
進む方向を正とし、バッファの占有量はｔの関数として
表されるため、これをＢＯ(t) とすると、 ＢＯ(t)＝ＢＦ−ＲB ×ｔ となるような制限を加えて、結合よりも時間的に前のビ
ットストリームの終端近傍を符号化する。これが結合点
の前における第１のビットストリームＢＳ1 への制限と
なる。図１においては、端子１４からの制御信号が符号
化部１２に与えられることにより、ビットストリームの
終端付近の符号化の際に、上述したような制限が加えら
れる。
【００２８】同様に、結合点Ｊの後ろに位置する第２の
ビットストリームＢＳ2 の先頭付近のビットレートを、
図３に示すように制限する。最初のフレームの表示時刻
の１／ＲF 前のバッファ占有量が上記αより小さいよう
に、スタートアップ時のビットレートを制限しておくわ
けである。すなわち、後ろの第２のビットストリームＢ
Ｓ2 の先頭のピクチャのバッファからの引き抜き時刻を
Ｔ’とし、フレームレートをＲF とした場合に、（Ｔ’
−１／ＲF ）の時刻におけるバッファ占有量βが、予め
決められた第２のビットストリームＢＳ2 をシームレス
に連結した場合のスタートアップに必要なバッファ量α
に対して、β＜αとなるような制限を加えて、後ろの第
２のビットストリームＢＳ2 の先頭部分を符号化する。
図１においては、端子２４からの制御信号が符号化部２
２に与えられることにより、ビットストリームの先頭付
近の符号化の際に、上述したような制限が加えられる。
ビットストリームＢＳ2 の先頭付近のビットレートを、
図３に示すように制限する。最初のフレームの表示時刻
の１／ＲF 前のバッファ占有量が上記αより小さいよう
に、スタートアップ時のビットレートを制限しておくわ
けである。すなわち、後ろの第２のビットストリームＢ
Ｓ2 の先頭のピクチャのバッファからの引き抜き時刻を
Ｔ’とし、フレームレートをＲF とした場合に、（Ｔ’
−１／ＲF ）の時刻におけるバッファ占有量βが、予め
決められた第２のビットストリームＢＳ2 をシームレス
に連結した場合のスタートアップに必要なバッファ量α
に対して、β＜αとなるような制限を加えて、後ろの第
２のビットストリームＢＳ2 の先頭部分を符号化する。
図１においては、端子２４からの制御信号が符号化部２
２に与えられることにより、ビットストリームの先頭付
近の符号化の際に、上述したような制限が加えられる。
【００２９】この図３中のＶＢＶ_dilayとは、上記ＭＰ
ＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に
規定されるＶＢＶ（Video Buffer Verifier） の規定に
より、デコーダ側のバッファにおいて引き抜かれるピク
チャに対して必要とされるバッファ蓄積量を時間で示し
たものであり、デコーダにビットストリームが供給が開
始されてＶＢＶ_dilayの期間が経過した時刻（Ｔ’）
に、最初の表示単位のピクチャがバッファから引き抜か
れ、復号される。
ＥＧ１（ISO11172-2）又はＭＰＥＧ２（ISO13818-2）に
規定されるＶＢＶ（Video Buffer Verifier） の規定に
より、デコーダ側のバッファにおいて引き抜かれるピク
チャに対して必要とされるバッファ蓄積量を時間で示し
たものであり、デコーダにビットストリームが供給が開
始されてＶＢＶ_dilayの期間が経過した時刻（Ｔ’）
に、最初の表示単位のピクチャがバッファから引き抜か
れ、復号される。
【００３０】以上の図２、図３と共に説明したような制
限が加えられて符号化された第１、第２のビットストリ
ームを、図１のビットストリーム結合部３０に送って結
合する場合の具体例について、図４を参照しながら説明
する。
限が加えられて符号化された第１、第２のビットストリ
ームを、図１のビットストリーム結合部３０に送って結
合する場合の具体例について、図４を参照しながら説明
する。
【００３１】図４は、上述した条件に従ってエンコード
したものを結合した具体例を示している。この場合、前
の第１のビットストリームＢＳ1 の最後の部分では、上
記αの分のバッファ占有量と、これを時間換算したα／
ＲB の分のスタートアップディレイをマージンとして持
っているために、後ろの第２のビットストリームＢＳ2
を結合しても、バッファのオーバーフローを引き起こす
ことはない。また、実際の結合では、前の第１のビット
ストリームＢＳ1 の最後の部分のsequence_end_code
（シーケンスエンドコード）を削除し、削除されたsequ
ence_end_code と（α−β）の分については、ビット充
填（bit stuffing）を行うことで、整合性の保たれた結
合が可能となる。
したものを結合した具体例を示している。この場合、前
の第１のビットストリームＢＳ1 の最後の部分では、上
記αの分のバッファ占有量と、これを時間換算したα／
ＲB の分のスタートアップディレイをマージンとして持
っているために、後ろの第２のビットストリームＢＳ2
を結合しても、バッファのオーバーフローを引き起こす
ことはない。また、実際の結合では、前の第１のビット
ストリームＢＳ1 の最後の部分のsequence_end_code
（シーケンスエンドコード）を削除し、削除されたsequ
ence_end_code と（α−β）の分については、ビット充
填（bit stuffing）を行うことで、整合性の保たれた結
合が可能となる。
【００３２】すなわち、第１のビットストリームＢＳ1
の最後のレートコントロールを、上記αを用いたオーバ
ーフローレベルＢＯ(t) に抑え込むように第１の符号化
装置１０で符号化し、第２のビットストリームＢＳ2 の
先頭で、時刻（Ｔ’−１／ＲF ）でのバッファ占有量β
が上記αより小さくなる（β＜α）ように第２の符号化
装置２０で符号化することにより、シームレスな結合を
行ってもバッファがオーバーフローしないことが保証さ
れ、αとβとの差分及び上記削除された第１のビットス
トリームＢＳ1 び終端の部分のsequence_end_code につ
いては、無効データ（例えば０等）を充填することで、
ＭＰＥＧのＶＢＶ（Video Buffer Verifier） の規定の
整合性を保ったままでビットストリームの結合を実現し
ている。
の最後のレートコントロールを、上記αを用いたオーバ
ーフローレベルＢＯ(t) に抑え込むように第１の符号化
装置１０で符号化し、第２のビットストリームＢＳ2 の
先頭で、時刻（Ｔ’−１／ＲF ）でのバッファ占有量β
が上記αより小さくなる（β＜α）ように第２の符号化
装置２０で符号化することにより、シームレスな結合を
行ってもバッファがオーバーフローしないことが保証さ
れ、αとβとの差分及び上記削除された第１のビットス
トリームＢＳ1 び終端の部分のsequence_end_code につ
いては、無効データ（例えば０等）を充填することで、
ＭＰＥＧのＶＢＶ（Video Buffer Verifier） の規定の
整合性を保ったままでビットストリームの結合を実現し
ている。
【００３３】ここで、図１のビットストリーム結合部３
０においては、符号化装置１０からの第１のビットスト
リームＢＳ1 の最後の部分のsequence_end_code をデマ
ルチプレクサ３１で検出してＣＰＵ３５に送っており、
符号化装置２０からの第２のビットストリームＢＳ2 の
先頭の部分のsequence_start_code （シーケンススター
トコード）をデマルチプレクサ３２で検出してＣＰＵ３
５に送っている。これらのデマルチプレクサ３１、３２
からの第１、第２のビットストリームＢＳ1 、ＢＳ
2 は、切換スイッチ３４の被選択端子ａ，ｂにそれぞれ
送られており、切換スイッチ３４の第３の被選択端子ｃ
には、ビット充填回路３３からの充填用ビットが供給さ
れている。この切換スイッチ３４は、ＣＰＵ３５からの
制御信号により切換制御されており、ＣＰＵ３５は、デ
マルチプレクサ３１、３２からの第１のビットストリー
ムＢＳ1 の最後の部分のsequence_end_code や、第２の
ビットストリームＢＳ2 の先頭の部分のsequence_start
_code に基づいて、切換スイッチ３４を被選択端子ａか
らｃを介してｂに順次切換接続することにより、第１の
ビットストリームＢＳ1 の最後の部分のsequence_end_c
ode を削除すると共に、このsequence_end_code と上記
α−βの分を、ビット充填回路３３からの充填ビット
（スタッフィングビット）ＳＴで補充して、第２のビッ
トストリームＢＳ2に連結している。切換スイッチ３４
からの出力ビットストリームは、出力端子３６を介して
取り出される。
０においては、符号化装置１０からの第１のビットスト
リームＢＳ1 の最後の部分のsequence_end_code をデマ
ルチプレクサ３１で検出してＣＰＵ３５に送っており、
符号化装置２０からの第２のビットストリームＢＳ2 の
先頭の部分のsequence_start_code （シーケンススター
トコード）をデマルチプレクサ３２で検出してＣＰＵ３
５に送っている。これらのデマルチプレクサ３１、３２
からの第１、第２のビットストリームＢＳ1 、ＢＳ
2 は、切換スイッチ３４の被選択端子ａ，ｂにそれぞれ
送られており、切換スイッチ３４の第３の被選択端子ｃ
には、ビット充填回路３３からの充填用ビットが供給さ
れている。この切換スイッチ３４は、ＣＰＵ３５からの
制御信号により切換制御されており、ＣＰＵ３５は、デ
マルチプレクサ３１、３２からの第１のビットストリー
ムＢＳ1 の最後の部分のsequence_end_code や、第２の
ビットストリームＢＳ2 の先頭の部分のsequence_start
_code に基づいて、切換スイッチ３４を被選択端子ａか
らｃを介してｂに順次切換接続することにより、第１の
ビットストリームＢＳ1 の最後の部分のsequence_end_c
ode を削除すると共に、このsequence_end_code と上記
α−βの分を、ビット充填回路３３からの充填ビット
（スタッフィングビット）ＳＴで補充して、第２のビッ
トストリームＢＳ2に連結している。切換スイッチ３４
からの出力ビットストリームは、出力端子３６を介して
取り出される。
【００３４】ところで、以上は符号化装置１０から出力
された第１のビットストリームの後に符号化装置２０か
ら出力された第２のビットストリームを連結した場合の
例であるが、符号化装置２０から出力されたビットスト
リームの後に符号化装置１０から出力されたビットスト
リームを結合する場合には、符号化装置２０から出力さ
れるビットストリームの終端付近で上記バッファ量αに
基づくオーバーフローレベルＢＯ(t) に抑え込むように
符号化装置２０での符号化を制限し、符号化装置１０か
ら出力されるビットストリームの先頭で、時刻（Ｔ’−
１／ＲF ）での上記バッファ占有量βが上記αより小さ
くなる（β＜α）ように符号化装置１０での符号化を制
限すればよい。この場合には、ビットストリーム結合部
３０は、デマルチプレクサ３２が符号化装置２０から出
力されたビットストリームの終端の部分のsequence_end
_code を検出してＣＰＵ３５に送り、デマルチプレクサ
３１が符号化装置１０から出力されたビットストリーム
の先頭の部分のsequence_start_code を検出してＣＰＵ
３５に送ることになる。これらの情報に基づいて、ＣＰ
Ｕ３５は、切換スイッチ３４の被選択端子ｂからｃを経
てａの順に切換制御し、符号化装置２０から出力された
ビットストリームの終端の部分のsequence_end_code を
削除して、ビット充填回路３３からの充填ビットをこの
sequence_end_code と（α−β）の分だけ充填した後
に、符号化装置１０から出力されたビットストリームを
連結して、出力端子３６に送る。
された第１のビットストリームの後に符号化装置２０か
ら出力された第２のビットストリームを連結した場合の
例であるが、符号化装置２０から出力されたビットスト
リームの後に符号化装置１０から出力されたビットスト
リームを結合する場合には、符号化装置２０から出力さ
れるビットストリームの終端付近で上記バッファ量αに
基づくオーバーフローレベルＢＯ(t) に抑え込むように
符号化装置２０での符号化を制限し、符号化装置１０か
ら出力されるビットストリームの先頭で、時刻（Ｔ’−
１／ＲF ）での上記バッファ占有量βが上記αより小さ
くなる（β＜α）ように符号化装置１０での符号化を制
限すればよい。この場合には、ビットストリーム結合部
３０は、デマルチプレクサ３２が符号化装置２０から出
力されたビットストリームの終端の部分のsequence_end
_code を検出してＣＰＵ３５に送り、デマルチプレクサ
３１が符号化装置１０から出力されたビットストリーム
の先頭の部分のsequence_start_code を検出してＣＰＵ
３５に送ることになる。これらの情報に基づいて、ＣＰ
Ｕ３５は、切換スイッチ３４の被選択端子ｂからｃを経
てａの順に切換制御し、符号化装置２０から出力された
ビットストリームの終端の部分のsequence_end_code を
削除して、ビット充填回路３３からの充填ビットをこの
sequence_end_code と（α−β）の分だけ充填した後
に、符号化装置１０から出力されたビットストリームを
連結して、出力端子３６に送る。
【００３５】また、符号化装置１０から出力される１つ
のビットストリームについて、当該ビットストリームの
先頭部分に上記図３の制限を加えた符号化を施し、該ビ
ットストリームの終端部分に上記図２の制限を加えた符
号化を施すことにより、当該ビットストリームの前後に
それぞれ他のビットストリームを結合することができる
ようになる。
のビットストリームについて、当該ビットストリームの
先頭部分に上記図３の制限を加えた符号化を施し、該ビ
ットストリームの終端部分に上記図２の制限を加えた符
号化を施すことにより、当該ビットストリームの前後に
それぞれ他のビットストリームを結合することができる
ようになる。
【００３６】上述したような図１の構成が適用されるシ
ステムの具体例としては、例えば放送衛星等を介してメ
インの放送局とローカルの放送局とが結ばれて成るよう
な放送ネットワークを挙げることができる。この放送ネ
ットワークにおいて、メインの放送局からの番組を符号
化装置１０で符号化して各ローカル局に提供し、各ロー
カル局では、それぞれの地域毎のローカルニュースやＣ
Ｍ等を符号化装置２０で符号化したものを結合して出力
端子３６より取り出し、それぞれの地域内に送出する。
このとき、メインの局からの放送番組のビットストリー
ムの終端部分については、バッファ占有量が上記図２と
共に説明したＢＯ(t)＝ＢＦ−ＲB ｔ を越えない制限が
加えられた符号化が施されており、この後に結合される
ローカル局からの信号のビットストリームの先頭部分に
ついては、上記図３と共に説明したように、上記時刻
（Ｔ’−１／ＲF ）でのバッファ占有量βが上記バッフ
ァ量αを越えない（β＜α）ような制限が加えられた符
号化が施されており、これらが結合部３０でビット充填
を含めてシームレスに結合されて得られたビットストリ
ームについては、デコード時にバッファの破綻がない、
すなわちバッファのオーバーフローやアンダーフローが
生じない。
ステムの具体例としては、例えば放送衛星等を介してメ
インの放送局とローカルの放送局とが結ばれて成るよう
な放送ネットワークを挙げることができる。この放送ネ
ットワークにおいて、メインの放送局からの番組を符号
化装置１０で符号化して各ローカル局に提供し、各ロー
カル局では、それぞれの地域毎のローカルニュースやＣ
Ｍ等を符号化装置２０で符号化したものを結合して出力
端子３６より取り出し、それぞれの地域内に送出する。
このとき、メインの局からの放送番組のビットストリー
ムの終端部分については、バッファ占有量が上記図２と
共に説明したＢＯ(t)＝ＢＦ−ＲB ｔ を越えない制限が
加えられた符号化が施されており、この後に結合される
ローカル局からの信号のビットストリームの先頭部分に
ついては、上記図３と共に説明したように、上記時刻
（Ｔ’−１／ＲF ）でのバッファ占有量βが上記バッフ
ァ量αを越えない（β＜α）ような制限が加えられた符
号化が施されており、これらが結合部３０でビット充填
を含めてシームレスに結合されて得られたビットストリ
ームについては、デコード時にバッファの破綻がない、
すなわちバッファのオーバーフローやアンダーフローが
生じない。
【００３７】以上説明したような実施の形態によれば、
画像信号を上記ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ
２（ISO13818-2）を用いて圧縮符号化された２本のビデ
オのビットストリームを結合する場合に、上記ＶＢＶ
（Video Buffer Verifier） の規定を守り、かつ画像の
表示がフリーズ（静止）などを伴わずに連続して行える
ようなシームレスに結合することがができる。
画像信号を上記ＭＰＥＧ１（ISO11172-2）又はＭＰＥＧ
２（ISO13818-2）を用いて圧縮符号化された２本のビデ
オのビットストリームを結合する場合に、上記ＶＢＶ
（Video Buffer Verifier） の規定を守り、かつ画像の
表示がフリーズ（静止）などを伴わずに連続して行える
ようなシームレスに結合することがができる。
【００３８】
【発明の効果】本発明によれば、複数のビットストリー
ムを結合する場合に、結合点の前の第１のビットストリ
ームの終端付近のデコーダバッファ占有量に対して、第
１の所定の制限を設けて符号化し、また、結合点の後の
第２のビットストリームの先頭付近のデコーダバッファ
占有量に対して、第２の所定の制限を設けて符号化して
いるため、シームレスな結合をバッファの破綻無く行う
ことができる。
ムを結合する場合に、結合点の前の第１のビットストリ
ームの終端付近のデコーダバッファ占有量に対して、第
１の所定の制限を設けて符号化し、また、結合点の後の
第２のビットストリームの先頭付近のデコーダバッファ
占有量に対して、第２の所定の制限を設けて符号化して
いるため、シームレスな結合をバッファの破綻無く行う
ことができる。
【００３９】ここで、第１、第２の制限は、第２のビッ
トストリームのスタートアップに必要なデコーダバッフ
ァ量を確保するための制限であり、このような制限を加
えて符号化された第１、第２のビットストリームを結合
することにより、ＭＰＥＧ１（ISO11172-2）又はＭＰＥ
Ｇ２（ISO13818-2）を用いて圧縮符号化された２本のビ
デオのビットストリームを、ＶＢＶ（Video Buffer Ver
ifier） の規定を守り、かつ画像の表示がフリーズ（静
止）などを伴わずに連続してビットストリームの結合が
行える。
トストリームのスタートアップに必要なデコーダバッフ
ァ量を確保するための制限であり、このような制限を加
えて符号化された第１、第２のビットストリームを結合
することにより、ＭＰＥＧ１（ISO11172-2）又はＭＰＥ
Ｇ２（ISO13818-2）を用いて圧縮符号化された２本のビ
デオのビットストリームを、ＶＢＶ（Video Buffer Ver
ifier） の規定を守り、かつ画像の表示がフリーズ（静
止）などを伴わずに連続してビットストリームの結合が
行える。
【図１】本発明の実施の形態を説明するための２系統の
符号化装置からのビットストリームを結合するシステム
の概略構成を示すブロック図である。
符号化装置からのビットストリームを結合するシステム
の概略構成を示すブロック図である。
【図２】本発明の実施の形態における結合点の前の第１
のビットストリームの符号化の際の制限を説明するため
の図である。
のビットストリームの符号化の際の制限を説明するため
の図である。
【図３】本発明の実施の形態における結合点の後の第２
のビットストリームの符号化の際の制限を説明するため
の図である。
のビットストリームの符号化の際の制限を説明するため
の図である。
【図４】本発明の実施の形態における第１のビットスト
リームと第２のビットストリームとの結合を説明するた
めの図である。
リームと第２のビットストリームとの結合を説明するた
めの図である。
【図５】画像信号符号化装置及び復号装置から成るシス
テムの概略構成を示すブロック図である。
テムの概略構成を示すブロック図である。
【図６】受信バッファ（デコーダバッファ）のバッファ
占有量の変化を示す図である。
占有量の変化を示す図である。
【図７】２つのビットストリームのフレームのフリーズ
（静止）を伴う結合の例を説明するための図である。
（静止）を伴う結合の例を説明するための図である。
【図８】２つのビットストリームをシームレスに結合す
る場合の例を説明するための図である。
る場合の例を説明するための図である。
１０，２０ 符号化装置、 １２，２２ 符号化部、
１３，２３ 送信バッファ、 ３０ ビットストリーム
結合部、 ３１，３２ デマルチプレクサ、３３ ビッ
ト充填回路、 ３４ 切換スイッチ、 ３５ ＣＰＵ
１３，２３ 送信バッファ、 ３０ ビットストリーム
結合部、 ３１，３２ デマルチプレクサ、３３ ビッ
ト充填回路、 ３４ 切換スイッチ、 ３５ ＣＰＵ
Claims (12)
- 【請求項１】 ディジタル信号のビットストリームを符
号化するディジタル信号符号化方法において、 圧縮符号化された複数のビットストリームを結合する場
合の時間的に前となる第１のビットストリームの終端付
近でのバッファ占有量に対して、所定の制限を設けて符
号化することを特徴とするディジタル信号符号化方法。 - 【請求項２】 上記所定の制限は、結合される時間的に
後の第２のビットストリームのスタートアップに必要な
バッファ量を確保するための制限であることを特徴とす
る請求項１記載のディジタル信号符号化方法。 - 【請求項３】 上記所定の制限としては、結合される時
間的に後の第２のビットストリームのスタートアップに
必要なバッファ量をα、符号化ビットレートをＲB 、上
記第１のビットストリームの最後の画像のバッファから
の引き抜き時刻をＴとするとき、Ｔ−（α／ＲB ）の時
刻からバッファ占有量の制限が開始され、この時刻をｔ
＝０とするときのバッファ占有量をＢＯ(t) とし、バッ
ファの全容量をＢＦとするとき、ＢＯ(t)＝ＢＦ−ＲB
×ｔ となるような制限を加えて上記第１のビットスト
リームの終端付近を符号化することを特徴とする請求項
１記載のディジタル信号符号化方法。 - 【請求項４】 ディジタル信号のビットストリームを符
号化するディジタル信号符号化方法において、 圧縮符号化された複数のビットストリームを結合する場
合の時間的に後となる第２のビットストリームの先頭付
近でのバッファ占有量に対して、所定の制限を設けて符
号化することを特徴とするディジタル信号符号化方法。 - 【請求項５】 上記所定の制限は、結合される時間的に
後の上記第２のビットストリームのスタートアップに必
要なバッファ量を確保するための制限であることを特徴
とする請求項４記載のディジタル信号符号化方法。 - 【請求項６】 上記所定の制限としては、結合される時
間的に後の第２のビットストリームの先頭の画像のバッ
ファからの引き抜き時刻をＴ’とし、フレームレートを
ＲF とするとき、Ｔ’−１／ＲF の時刻におけるバッフ
ァ占有量βが、上記第２のビットストリームのスタート
アップに必要なバッファ量αに対して、β＜αとなるよ
うな制限を加えて上記第２のビットストリームの先頭付
近を符号化することを特徴とする請求項４記載のディジ
タル信号符号化方法。 - 【請求項７】 複数のディジタル信号をそれぞれ圧縮符
号化して得られた複数のビットストリームを結合して出
力するディジタル信号編集方法において、 結合される時間的に前の第１のビットストリームの終端
付近でのバッファ占有量に対して、所定の制限を設けて
符号化し、 結合される時間的に後の第２のビットストリームの先頭
付近でのバッファ占有量に対して、所定の制限を設けて
符号化することを特徴とするディジタル信号編集方法。 - 【請求項８】 上記第１のビットストリームの終端付近
でのバッファ占有量に対する所定の制限は、結合される
時間的に後の上記第２のビットストリームのスタートア
ップに必要なバッファ量を確保するための制限であり、 上記第２のビットストリームの先頭付近でのバッファ占
有量に対する所定の制限は、結合される時間的に後の上
記第２のビットストリームのスタートアップに必要なバ
ッファ量を確保するための制限であることを特徴とする
請求項７記載のディジタル信号編集方法。 - 【請求項９】 上記第１のビットストリームの終端付近
でのバッファ占有量に対する所定の制限としては、結合
される時間的に後の上記第２のビットストリームのスタ
ートアップに必要なバッファ量をα、符号化ビットレー
トをＲB 、上記第１のビットストリームの最後の画像の
バッファからの引き抜き時刻をＴとするとき、Ｔ−（α
／ＲB ）の時刻からバッファ占有量の制限が開始され、
この時刻をｔ＝０とするときのバッファ占有量をＢＯ
(t) とし、バッファの全容量をＢＦとするとき、ＢＯ
(t)＝ＢＦ−ＲB ×ｔ となるような制限を加えて上記第
１のビットストリームの終端付近を符号化し、 上記第２のビットストリームの先頭付近でのバッファ占
有量に対する所定の制限としては、結合される時間的に
後の第２のビットストリームの先頭の画像のバッファか
らの引き抜き時刻をＴ’とし、フレームレートをＲF と
するとき、Ｔ’−１／ＲF の時刻におけるバッファ占有
量βが、上記第２のビットストリームのスタートアップ
に必要なバッファ量αに対して、β＜αとなるような制
限を加えて上記第２のビットストリームの先頭付近を符
号化することを特徴とする請求項７記載のディジタル信
号編集方法。 - 【請求項１０】 上記制限を加えて符号化された上記第
１のビットストリームと上記第２のビットストリームと
を結合する際に、 上記第１のビットストリームの最後に付加されているse
quence_end_code を削除し、 上記バッファ量α、βに対して、（α−β）及び削除さ
れた上記sequence_end_code 分の充填ビットをビットス
トリームに加えて結合することを特徴とする請求項７記
載のディジタル信号編集方法。 - 【請求項１１】 ディジタル信号のビットストリームを
符号化して出力し伝送するディジタル信号伝送方法にお
いて、 圧縮符号化された複数のビットストリームを結合するた
めの１つのビットストリームの終端付近で、バッファ占
有量に対して第１の所定の制限を設けて符号化するとと
もに、該ビットストリームの先頭付近で、バッファ占有
量に対して第２の所定の制限を設けて符号化することを
特徴とするディジタル信号符号化方法。 - 【請求項１２】 上記第１の所定の制限としては、結合
される時間的に後の他のビットストリームのスタートア
ップに必要なバッファ量をα、符号化ビットレートをＲ
B 、現ビットストリームの最後の画像のバッファからの
引き抜き時刻をＴとするとき、Ｔ−（α／ＲB ）の時刻
からバッファ占有量の制限が開始され、この時刻をｔ＝
０とするときのバッファ占有量をＢＯ(t) とし、バッフ
ァの全容量をＢＦとするとき、ＢＯ(t)＝ＢＦ−ＲB ×
ｔ となるような制限を加えて現ビットストリームの終
端付近を符号化し、 上記第２の所定の制限としては、現ビットストリームの
先頭の画像のバッファからの引き抜き時刻をＴ’とし、
フレームレートをＲF とするとき、Ｔ’−１／ＲF の時
刻におけるバッファ占有量βが、当該ビットストリーム
のスタートアップに必要なバッファ量αに対して、β＜
αとなるような制限を加えて当該ビットストリームの先
頭付近を符号化することを特徴とする請求項１１記載の
ディジタル信号伝送方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15253496A JP3668556B2 (ja) | 1996-06-13 | 1996-06-13 | ディジタル信号符号化方法 |
| US08/896,511 US6532242B1 (en) | 1996-06-13 | 1997-06-11 | Method for encoding, editing and transmitting digital signals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15253496A JP3668556B2 (ja) | 1996-06-13 | 1996-06-13 | ディジタル信号符号化方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005069728A Division JP4371066B2 (ja) | 2005-03-11 | 2005-03-11 | 編集装置及び編集方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09331524A true JPH09331524A (ja) | 1997-12-22 |
| JP3668556B2 JP3668556B2 (ja) | 2005-07-06 |
Family
ID=15542551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15253496A Expired - Fee Related JP3668556B2 (ja) | 1996-06-13 | 1996-06-13 | ディジタル信号符号化方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6532242B1 (ja) |
| JP (1) | JP3668556B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006077621A1 (ja) * | 2005-01-18 | 2006-07-27 | Mitsubishi Denki Kabushiki Kaisha | 多重化装置及び受信装置 |
| US7280743B2 (en) | 2001-11-09 | 2007-10-09 | Kabushiki Kaisha Toshiba | Data recording apparatus for recording stream data in which dummy data is inserted and data recording apparatus for recording end code in place of dummy code |
| US8311104B2 (en) | 2005-08-22 | 2012-11-13 | Sony Corporation | Information processing apparatus and method, recording medium, and program |
| WO2015133325A1 (ja) * | 2014-03-07 | 2015-09-11 | ソニー株式会社 | 画像符号化装置および方法、並びに、画像処理装置および方法 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60139632D1 (de) * | 2000-11-29 | 2009-10-01 | British Telecomm | Übertragen und empfangen von echtzeitdaten |
| US20050021830A1 (en) * | 2001-09-21 | 2005-01-27 | Eduardo Urzaiz | Data communications method and system using buffer size to calculate transmission rate for congestion control |
| AU2002365821A1 (en) * | 2001-11-30 | 2003-06-17 | British Telecommunications Public Limited Company | Data transmission |
| KR100475412B1 (ko) * | 2002-03-11 | 2005-03-10 | 주식회사 럭스퍼트 | 상부 펌핑방식의 광소자 |
| CN100471266C (zh) * | 2002-03-27 | 2009-03-18 | 英国电讯有限公司 | 用于存储流式传输系统的数据源的方法 |
| EP1359722A1 (en) * | 2002-03-27 | 2003-11-05 | BRITISH TELECOMMUNICATIONS public limited company | Data streaming system and method |
| GB0306296D0 (en) * | 2003-03-19 | 2003-04-23 | British Telecomm | Data transmission |
| JP2008136110A (ja) * | 2006-11-29 | 2008-06-12 | Sanyo Electric Co Ltd | 映像信号処理回路 |
| JP5152402B2 (ja) * | 2009-02-27 | 2013-02-27 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69422960T2 (de) * | 1993-12-01 | 2000-06-15 | Matsushita Electric Ind Co Ltd | Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern |
| US5534944A (en) * | 1994-07-15 | 1996-07-09 | Matsushita Electric Corporation Of America | Method of splicing MPEG encoded video |
| GB9424436D0 (en) * | 1994-12-02 | 1995-01-18 | Philips Electronics | Video editing buffer management |
| GB9424429D0 (en) * | 1994-12-02 | 1995-01-18 | Philips Electronics Uk Ltd | Audio/video timing discrepancy management |
| US5859660A (en) * | 1996-02-29 | 1999-01-12 | Perkins; Michael G. | Non-seamless splicing of audio-video transport streams |
-
1996
- 1996-06-13 JP JP15253496A patent/JP3668556B2/ja not_active Expired - Fee Related
-
1997
- 1997-06-11 US US08/896,511 patent/US6532242B1/en not_active Expired - Lifetime
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7280743B2 (en) | 2001-11-09 | 2007-10-09 | Kabushiki Kaisha Toshiba | Data recording apparatus for recording stream data in which dummy data is inserted and data recording apparatus for recording end code in place of dummy code |
| WO2006077621A1 (ja) * | 2005-01-18 | 2006-07-27 | Mitsubishi Denki Kabushiki Kaisha | 多重化装置及び受信装置 |
| US8369341B2 (en) | 2005-01-18 | 2013-02-05 | Mitsubishi Electric Corporation | Multiplexing apparatus and receiving apparatus |
| US8311104B2 (en) | 2005-08-22 | 2012-11-13 | Sony Corporation | Information processing apparatus and method, recording medium, and program |
| WO2015133325A1 (ja) * | 2014-03-07 | 2015-09-11 | ソニー株式会社 | 画像符号化装置および方法、並びに、画像処理装置および方法 |
| KR20160130990A (ko) * | 2014-03-07 | 2016-11-15 | 소니 주식회사 | 화상 부호화 장치 및 방법과 화상 처리 장치 및 방법 |
| JPWO2015133325A1 (ja) * | 2014-03-07 | 2017-04-06 | ソニー株式会社 | 画像符号化装置および方法、並びに、画像処理装置および方法 |
| US10375406B2 (en) | 2014-03-07 | 2019-08-06 | Sony Corporation | Image encoding device and method, and image processing device and method for enabling bitstream concatenation |
| US10764594B2 (en) | 2014-03-07 | 2020-09-01 | Sony Corporation | Image encoding device and method, and image processing device and method for enabling bitstream concatenation |
Also Published As
| Publication number | Publication date |
|---|---|
| US6532242B1 (en) | 2003-03-11 |
| JP3668556B2 (ja) | 2005-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4232209B2 (ja) | 圧縮画像データの編集装置及び圧縮画像データの編集方法 | |
| US7072571B2 (en) | Data reproduction transmission apparatus and data reproduction transmission method | |
| EP0913058B1 (en) | Video signal compression | |
| JPH11511605A (ja) | ビットレートを低減された信号間のスイッチング方法 | |
| JP3668556B2 (ja) | ディジタル信号符号化方法 | |
| US6483945B1 (en) | Moving picture encoding method and apparatus | |
| US6754239B2 (en) | Multiplexing apparatus and method, transmitting apparatus and method, and recording medium | |
| US7333711B2 (en) | Data distribution apparatus and method, and data distribution system | |
| US20090232223A1 (en) | Moving Image Conversion Method, Moving Image Convesion Apparatus, Moving Image Conversion System, and Server Apparatus, and Program | |
| US6940901B2 (en) | Apparatus and method for information processing | |
| US7403563B2 (en) | Image decoding method and apparatus, and television receiver utilizing the same | |
| US7269839B2 (en) | Data distribution apparatus and method, and data distribution system | |
| JPH10191331A (ja) | 画像データの符号化方法及び装置 | |
| JP4371066B2 (ja) | 編集装置及び編集方法 | |
| JPH11177921A (ja) | ディジタルデータ編集方法、ディジタルデータ編集装置 | |
| JPH08163558A (ja) | 画像復号装置 | |
| JP2000287172A (ja) | 画像データ処理装置 | |
| JPH08191434A (ja) | 動画／音声符号化データ多重化方法及び動画／音声符号化データ多重化装置 | |
| JP2002077827A (ja) | データ配信装置及び方法、データ配信システム | |
| JP3594017B2 (ja) | ビットストリームの伝送方法及び伝送システム | |
| KR100345312B1 (ko) | 개방된 지오피 구조를 가지는 비디오 스트림의 끊어 잇기방법 | |
| Wells | Transparent concatenation of MPEG compression | |
| Reid | An MPEG-2 digital decoder design: A practical approach with emphasis on elementary stream data flows | |
| JPH11187395A (ja) | 可変転送レート圧縮情報復号装置 | |
| JP2002112221A (ja) | データ伝送方法及び装置、データ伝送システム、伝送媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040322 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041022 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041117 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050411 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080415 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100415 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110415 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120415 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130415 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |