JP4180399B2 - ビット列伝送装置 - Google Patents

ビット列伝送装置 Download PDF

Info

Publication number
JP4180399B2
JP4180399B2 JP2003047576A JP2003047576A JP4180399B2 JP 4180399 B2 JP4180399 B2 JP 4180399B2 JP 2003047576 A JP2003047576 A JP 2003047576A JP 2003047576 A JP2003047576 A JP 2003047576A JP 4180399 B2 JP4180399 B2 JP 4180399B2
Authority
JP
Japan
Prior art keywords
bit string
transmission
transmission channel
unit
message flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003047576A
Other languages
English (en)
Other versions
JP2004260426A (ja
Inventor
一博 松崎
豊和 菅井
嘉明 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2003047576A priority Critical patent/JP4180399B2/ja
Publication of JP2004260426A publication Critical patent/JP2004260426A/ja
Application granted granted Critical
Publication of JP4180399B2 publication Critical patent/JP4180399B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Time-Division Multiplex Systems (AREA)
  • Communication Control (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、ビット列を複数の有線回線または無線回線で伝送するビット列伝送装置に関するものである。例えば、放送波とインターネットを用いて番組を伝送する放送サービスや、性能の異なる端末向けに複数の伝送チャンネルを用いてコンテンツを伝送し、高機能受信端末では全伝送チャンネルからビット列を受信してコンテンツを再合成して生成する一方、低機能受信端末では一部の伝送チャンネルからのビット列のみを受信して再生するコンテンツの階層伝送サービスにおけるビット列の送信方法及び受信方法に関するものである。
【0002】
【従来の技術】
従来の装置は、N個のデータ信号を、チャネルの使用/未使用の状態に応じて、チャネル単位に切り替えて1つの時系列信号として合成するデータ切り替え方式において、1フレーム当りのデータチャネルの使用効率を向上する。データ信号出力装置A1、A2が、特定パターン挿入回路3a、3bにより、未使用のチャネルに特定パターンを挿入したデータ信号S1、S2を出力し、合成装置A4は、入力したデータ信号S1、S2からチャネル単位に特定パターンを特定パターン検出回路5a、5bで検出する。この検出結果は特定パターン判定回路6に提供され、これにより選択回路7を制御して利用チャネルのシーケンスで1本のデータ信号を出力する(例えば、特許文献1参照)。
【0003】
【特許文献1】
特開平5−336060号公報(第1頁、図1)
【0004】
【発明が解決しようとする課題】
従来の方式では、伝送するデータが伝送チャンネル間で時間的に重ならないことを前提とし、受信側では各伝送チャンネル上の特定パターンの有無をもとに伝送チャンネルを切り替えてデータを受信して一連のデータを再合成しているため、各伝送チャンネルで伝送されるデータが可変ビットレートである場合や、伝送チャンネル間でデータの時間的な重なりがある場合には受信側での処理が破綻する可能性があるという問題点があった。
【0005】
この発明は、上述のような課題を解決するためになされたもので、第1の目的は、伝送チャンネルの帯域的な制約から一連のビット列を1つの伝送チャンネルで伝送できない場合、ビット列を複数の伝送チャンネルに振り分けて伝送し、受信側で元のビット列を容易に合成再生することができるビット列伝送装置を得るものである。
【0006】
また、この発明は、上述のような課題を解決するためになされたもので、第2の目的は、ビット列を複数の伝送チャンネルに振り分けて伝送することにより、高機能受信端末では全伝送チャンネルから受信したビット列を再合成して再生する一方、低機能受信端末では一部の伝送チャンネルからのビット列のみを受信して再生するというように性能の異なるあらゆる受信端末においても、受信端末の性能に合ったビット列を受信して再生することができるビット列伝送装置を得るものである。
【0007】
さらに、この発明は、上述のような課題を解決するためになされたもので、第3の目的は、各伝送チャンネルで伝送するビット列は固定ビットレートでも可変ビットレートでもよく、伝送チャンネル間でデータの時間的な重なりがあっても、受信側で破綻なくビット列を受信して合成再生することができるビット列伝送装置を得るものである。
【0008】
【課題を解決するための手段】
この発明に係るビット列伝送装置は、複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、前記伝送チャンネル選択情報に基づいて、ビット列を伝送する際に、伝送チャンネルの切り替えが発生して伝送チャンネル内で前記ビット列の連続性が途切れる場合、前記ビット列の連続性が途切れる箇所に連続性が途切れることを通知するメッセージフラグを挿入するメッセージフラグ生成部と、前記メッセージフラグが挿入されたビット列を送信する送信部とを設け、前記メッセージフラグ生成部は、前記ビット列の途中で伝送チャンネルを切り替える前に、前記ビット列の連続性が途切れる箇所に切り替え先の伝送チャンネルに関する情報を通知するメッセージフラグを挿入するものである。
【0009】
【発明の実施の形態】
実施の形態1.
この発明の実施の形態1に係るビット列伝送装置について図面を参照しながら説明する。図1は、この発明の実施の形態1に係るビット列伝送装置の構成を示す図である。なお、各図中、同一符号は同一又は相当部分を示す。
【0010】
図1において、このビット列伝送装置は、パケット化部11と、多重化バッファ12と、多重化部13と、伝送チャンネル選択部14と、メッセージフラグ生成部15と、送信部16とを備える。
【0011】
また、同図において、パケット化部11a、11b、11mは、各符号化ビット列101a、101b、101mを固定長のパケットに格納してパケット列102a、102b、102mを生成する。多重化バッファ12a、12b、12mは、パケット列102a、102b、102mを一時的に蓄える。
【0012】
また、同図において、多重化部13は、パケット列102a、102b、102mを多重化する。伝送チャンネル選択部14は、複数の伝送チャンネルの中から1つの伝送チャンネルを選択する。メッセージフラグ生成部15は、伝送チャンネル選択情報105にしたがってメッセージフラグ106を生成する。送信部16a、16b、16nは、多重化ビット列103を送信する。
【0013】
つぎに、この実施の形態1に係るビット列伝送装置の動作について図面を参照しながら説明する。
【0014】
パケット化部11a、11b、11mでは、符号化ビット列101a、101b、101mをユニット(例えば、映像フレームや、音声処理フレーム、オブジェクト)単位に分離し、分離した各ユニットを固定長のパケットに格納して、パケット列102a、102b、102mを生成する。
【0015】
図2は、この発明の実施の形態1に係るビット列伝送装置のパケット化部の動作を説明するための図である。
【0016】
この図2は、符号化ビット列からパケット列への生成を説明する。まず、符号化ビット列101からユニットを分離し、分離した各ユニットにユニットパケットヘッダ201を付与する。このユニットパケットヘッダ201には、ユニットの生成時刻やユニットの再生タイミングに関する時刻情報202と、優先度情報203が含まれる。この優先度情報203は、符号化ビット列単位に付与されるストリーム間優先度情報と、ユニット単位に付与されるストリーム内優先度情報からなる。
【0017】
次に、ユニットとユニットパケットヘッダ201からなるユニットパケットを固定長のパケットに格納する。このとき、各パケットには常に1種類のユニットを格納し、ユニットパケットの先頭が常にパケットペイロード207の先頭に来るように格納する。このパケットペイロード207の途中でユニットの末尾になった場合には、ダミーデータ208をスタッフィングする。パケットヘッダ204には、パケットペイロード207に格納したマルチメディア情報を識別するためのパケットデータ識別情報205と、各パケットの送出順に値がカウントアップするカウント情報206が含まれる。
【0018】
多重化部13では、各パケット列102a、102b、102mをユニットパケットヘッダ201中の優先度情報203に格納されたストリーム間優先度情報と、各多重化バッファ12a、12b、12mの蓄積量を通知する多重化バッファ蓄積情報104とに基づきパケット単位に多重化して多重化ビット列103を生成する。
【0019】
伝送チャンネル選択部14では、ユニットパケットヘッダ201中の優先度情報203と多重化バッファ蓄積情報104とに基づきユニット単位に複数の伝送チャンネルの中から1つの伝送チャンネルを選択する。
【0020】
図3は、優先度情報203の構成要素であるストリーム間優先度とストリーム内優先度を説明するための図である。
【0021】
図3の左側に示すストリーム間優先度(P)は、符号化ビット列毎、すなわち、マルチメディア情報毎に優先度が与えられ、デフォルトとなる伝送チャンネルの指定と、多重化時の優先順位を与える。
【0022】
図3の右側に示すストリーム内優先度(p)は、ユニット毎に優先度が与えられ、別伝送チャンネルで伝送可能なユニットを、優先順位をつけて指定する。また、伝送可能な伝送チャンネルをストリーム内優先度毎に指定しておいてもよい。
【0023】
m本の符号化ビット列(S,S,・・・,S)に対するパケット列を多重化して生成した多重化ビット列(SMUX)を優先度情報203と多重化バッファ蓄積情報104に基づき2つの伝送チャンネルに振り分けて伝送する場合について、多重化部13での多重化制御及び伝送チャンネル選択部14での伝送チャンネルの振り分け制御を図4〜図8のフローチャートを用いて説明する。
【0024】
図4は、この発明の実施の形態1に係るビット列伝送装置の多重化制御及び伝送チャンネルの振り分け制御の全体動作を示すフローチャートである。
【0025】
図4のステップ401において、初期設定がされる。各符号化ビット列(S,S,・・・,S)に対する多重化バッファ蓄積量をF、F、・・・、Fとおく。また、各多重化バッファのオーバフロー閾値をO、O、・・・、O[bit]、多重化制御閾値をT11、・・・、T1k、T21、・・・、T2k、・・・、Tm1、・・・、Tmk[bit]を初期設定しておく。オーバフロー閾値と多重化制御閾値の大小関係は、Ti1≦Ti2≦・・・≦Tik≦O(for i=1、・・・、m)を満足する。ストリーム間優先度(P)は1〜K、ストリーム内優先度(p)は1〜kとし、値が大きい程、優先度が高くなる。
【0026】
次に、ステップ402において、符号化ビット列(S,S,・・・,S)毎のパケット列が各多重化バッファ12に入力される。
【0027】
次に、ステップ403〜409において、多重化バッファ蓄積量Fの状態によって、処理1(多重化バッファ蓄積量Fがオーバフロー閾値Oを超えた場合)、処理2(多重化バッファ蓄積量Fがオーバフロー閾値Oを超えそうな場合)、処理3(多重化バッファに余裕がある場合)、処理4(一部の多重化バッファに余裕がなくなってきた場合)に分けて処理が行われる。
【0028】
そして、ステップ410において、入力ビット列が無く、かつ多重化バッファ12が全て空かどうかが判断され、入力ビット列が無く、かつ多重化バッファ12が全て空の場合は処理を終了し、そうでない場合にはステップ402へ戻る。
【0029】
2つの伝送チャンネルを用意し、通常伝送チャンネルをデフォルトで使用するもの、補助伝送チャンネルを通常伝送チャンネルでの伝送が帯域的に困難になった場合に使用するものとして両伝送チャンネルを使い分ける。通常伝送チャンネルは固定ビットレート伝送する伝送チャンネルとし、伝送するパケットがない場合にはパケットペイロード207にダミーデータ208が入ったヌルパケットを伝送する。補助伝送チャンネルはベストエフォート型とする。
【0030】
図5は、この発明の実施の形態1に係るビット列伝送装置の処理1(多重化バッファ蓄積量がオーバフロー閾値を超えた場合)の動作を示すフローチャートである。
【0031】
多重化バッファがオーバフロー状態のビット列については、多重化バッファに入力するパケットを廃棄すると共に、オーバフロー状態の多重化バッファとストリーム間優先度P=Kの符号化ビット列に対応する多重化バッファからラウンドロビンでパケットを選択して伝送する。伝送チャンネルの切り替えはユニット単位に行い、ストリーム間優先度P=K−1かつストリーム内優先度p<kの場合に補助伝送チャンネルで伝送する。
【0032】
すなわち、図5のステップ501において、多重化バッファ12がオーバフロー状態のビット列については、多重化バッファ12に入力するパケット102を廃棄する。
【0033】
次に、ステップ502において、オーバフロー状態の多重化バッファ12とストリーム間優先度P=Kの符号化ビット列に対応する多重化バッファ12からラウンドロビンでパケットを選択する。
【0034】
次に、ステップ503において、多重化バッファ12が全て空かどうかが判断される。全て空の場合は、ステップ509へ進み、全て空でない場合には、次のステップ504へ進む。
【0035】
次に、ステップ504において、選択したパケットがユニットの先頭を格納しているかどうかが判断される。ユニットの先頭を格納していない場合は、ステップ508へ進み、ユニットの先頭を格納している場合には、次のステップ505へ進む。
【0036】
次に、ステップ505〜507において、選択したパケットのストリーム間優先度がP=K−1かつストリーム内優先度がp<kの場合に補助伝送チャンネルで伝送する。一方、そうでない場合には、通常伝送チャンネルで伝送する。
【0037】
ステップ508において、該ユニットの先頭を格納したパケットを通常伝送チャンネルで伝送しているかどうかが判断される。通常伝送チャンネルで伝送している場合は、ステップ507へ進み、通常伝送チャンネルで伝送していない場合には、ステップ506へ進む。
【0038】
ステップ509において、ヌルパケットを生成してステップ507へ進む。
【0039】
図6は、この発明の実施の形態1に係るビット列伝送装置の処理2(多重化バッファ蓄積量がオーバフロー閾値を超えそうな場合)の動作を示すフローチャートである。
【0040】
多重化バッファ蓄積量が多重化制御閾値Tik(for i=1、・・・、m)を越えている多重化バッファ12とストリーム間優先度P=Kの符号化ビット列に対応する多重化バッファ12からラウンドロビンでパケットを選択して伝送する。
【0041】
すなわち、図6のステップ601において、多重化バッファ蓄積量Fが多重化制御閾値Tik(for i=1、・・・、m)を越えている多重化バッファ12とストリーム間優先度P=Kの符号化ビット列に対応する多重化バッファ12からラウンドロビンでパケットを選択する。
【0042】
次に、ステップ602において、多重化バッファ12が全て空かどうかが判断される。全て空の場合は、ステップ608へ進み、全て空でない場合には、次のステップ603へ進む。
【0043】
次に、ステップ603において、選択したパケットがユニットの先頭を格納しているかどうかが判断される。ユニットの先頭を格納していない場合は、ステップ607へ進み、ユニットの先頭を格納している場合には、次のステップ604へ進む。
【0044】
次に、ステップ604〜606において、選択したパケットのストリーム間優先度がP=K−1かつストリーム内優先度がp<kの場合に補助伝送チャンネルで伝送する。一方、そうでない場合には、通常伝送チャンネルで伝送する。
【0045】
ステップ607において、該ユニットの先頭を格納したパケットを通常伝送チャンネルで伝送しているかどうかが判断される。通常伝送チャンネルで伝送している場合は、ステップ606へ進み、通常伝送チャンネルで伝送していない場合には、ステップ605へ進む。
【0046】
ステップ608において、ヌルパケットを生成してステップ606へ進む。
【0047】
図7は、この発明の実施の形態1に係るビット列伝送装置の処理3(多重化バッファに余裕がある場合)の動作を示すフローチャートである。
【0048】
ストリーム間優先度Pの高いパケットから優先的に選択し、ユニット単位に通常伝送チャンネルを振り分けて伝送する。
【0049】
すなわち、図7のステップ701において、多重化バッファ12が全て空かどうかが判断される。全て空の場合は、ステップ707へ進み、全て空でない場合には、次のステップ702へ進む。
【0050】
次に、ステップ702において、ストリーム間優先度Pの最も高いパケットが選択される。
【0051】
次に、ステップ703において、選択したパケットがユニットの先頭を格納しているかどうかが判断される。ユニットの先頭を格納している場合は、ステップ706へ進み、ユニットの先頭を格納していない場合には、次のステップ704へ進む。
【0052】
次に、ステップ704〜706において、該ユニットの先頭を格納したパケットを通常伝送チャンネルで伝送しているかどうかが判断される。通常伝送チャンネルで伝送している場合は、通常伝送チャンネルで伝送する。通常伝送チャンネルで伝送していない場合には、補助伝送チャンネルで伝送する。
【0053】
ステップ707において、ヌルパケットを生成してステップ706へ進む。
【0054】
図8は、この発明の実施の形態1に係るビット列伝送装置の処理4(一部の多重化バッファに余裕がなくなってきた場合)の動作を示すフローチャートである。
【0055】
多重化バッファ蓄積量F(i=1、…、m)がTij<F≦T j+1(j=1、…、k−1)となる多重化バッファとストリーム間優先度P=Kの符号化ビット列に対応する多重化バッファからラウンドロビンでパケットを選択して伝送する。多重化バッファ蓄積量F(i=1、…、m)がTij<F≦T j+1(j=1、…、k−1)となるパケットについてはストリーム内優先度p≦jの部分をユニット単位で補助伝送チャンネルに切り替えて伝送する。これにより、多重化バッファ蓄積量にしたがってストリーム内優先度pの小さいパケットから順に補助伝送チャンネルに振り分けられて伝送される。
【0056】
すなわち、図8のステップ801において、多重化バッファ蓄積量F(i=1、…、m)がTij<F≦T j+1(j=1、…、k−1)となる多重化バッファとストリーム間優先度P=Kの符号化ビット列に対応する多重化バッファを選択する。
【0057】
次に、ステップ802において、多重化バッファ12からラウンドロビンでパケットを選択する。
【0058】
次に、ステップ803において、多重化バッファ12が全て空かどうかが判断される。全て空の場合は、ステップ812へ進み、全て空でない場合には、次のステップ804へ進む。
【0059】
次に、ステップ804〜806において、Tij<F≦T j+1となる多重化バッファからパケットを選択しているかどうかが判断される。パケットを選択している場合はL=jとし、パケットを選択していない場合はL=0とする。
【0060】
次に、ステップ807において、選択したパケットがユニットの先頭を格納しているかどうかが判断される。ユニットの先頭を格納していない場合は、ステップ811へ進み、ユニットの先頭を格納している場合には、次のステップ808へ進む。
【0061】
次に、ステップ808〜810において、選択したパケットのストリーム間優先度がP<K−1かつストリーム内優先度がp<Lの場合に補助伝送チャンネルで伝送する。一方、そうでない場合には、通常伝送チャンネルで伝送する。
【0062】
ステップ811において、該ユニットの先頭を格納したパケットを通常伝送チャンネルで伝送しているかどうかが判断される。通常伝送チャンネルで伝送している場合は、ステップ810へ進み、通常伝送チャンネルで伝送していない場合には、ステップ809へ進む。
【0063】
ステップ812において、ヌルパケットを生成してステップ810へ進む。
【0064】
メッセージフラグ生成部15では、伝送チャンネル選択部14から出力される伝送チャンネル選択情報105を参照して、多重化ビット列103の途中で伝送チャンネルが切り替わる際にメッセージフラグ106を生成して多重化ビット列103に挿入する。
【0065】
図9は、多重化ビット列を3つの伝送チャンネル(#1〜#3)に振り分けて伝送する場合のメッセージフラグの挿入方法を説明するための図である。
【0066】
多重化ビット列は、3種類のマルチメディア情報(A、V、D)が固定長パケットベースに多重化されており、各固定長パケットには0〜15の値を有するカウント情報206が付与されている。
【0067】
図9では、伝送チャンネル#2で、マルチメディア情報Vのユニット#2及びマルチメディア情報Dのユニット#5が伝送され、伝送チャンネル#3で、マルチメディア情報Dのユニット#3とユニット#4が伝送され、それ以外のマルチメディア情報の各ユニットは全て伝送チャンネル#1で伝送される場合を示している。
【0068】
このとき、マルチメディア情報Vのユニット#1の末尾を格納したパケットの後に後続のユニット(ユニット#2)が伝送チャンネル#2で伝送されることを示すメッセージフラグ106aを挿入して伝送チャンネル#1で伝送し、伝送チャンネル#2ではマルチメディア情報Vのユニット#2の先頭を格納したパケットの前にマルチメディア情報Vの伝送チャンネルが#1〜#2に切り替わったことを示すメッセージフラグ106bを挿入して伝送する。
【0069】
同様に、マルチメディア情報Vの伝送が伝送チャンネル#2から#1に切り替わるところでは、メッセージフラグ106cとメッセージフラグ106dを挿入してマルチメディア情報Vの伝送が伝送チャンネル#2から#1に切り替わることを通知する。マルチメディア情報Dの伝送についても同様で、伝送チャンネルが切り替わるところにメッセージフラグ106e、106f、106g、106hを挿入する。
【0070】
すなわち、複数の伝送チャンネルの中から1つの伝送チャンネルを選択して1つまたは複数のビット列を伝送する際に、伝送チャンネルの切り替えが発生して伝送チャンネル内でビット列の連続性が途切れる場合、ビット列の連続性が途切れる箇所に連続性が途切れることを通知するメッセージフラグを挿入して伝送する。
【0071】
複数のビット列が多重化された多重化ビット列を複数の伝送チャンネルの中から1つの伝送チャンネルを選択して伝送する際に、伝送チャンネルの切り替えが発生して多重化ビット列の構成要素であるビット列の連続性が伝送チャンネル内で途切れる場合、同一ビット列内の後続ユニットが別伝送チャンネルで伝送されることを通知するメッセージフラグを伝送する。
【0072】
マルチメディア情報を構成する各ユニット(例えば、映像フレームや、音声処理フレーム、オブジェクト)を1つまたは複数のパケットに格納し、パケットに格納した各マルチメディア情報を識別するためのパケットデータ識別情報を各パケットに付与してパケット多重された多重化ストリームに対し、多重化ストリーム内のユニット単位に複数の伝送チャンネルの中から1つの伝送チャンネルを選択して多重化ストリームを伝送する際に、同一のパケット識別情報を有するユニットの伝送チャンネルが切り替わった場合、該ユニットと同一のパケット識別情報を有する一つ前のユニットの末尾のデータを格納したパケットの後に、同一のパケット識別情報を有する後続ユニットが別伝送チャンネルで伝送されることを通知するメッセージフラグを伝送する。
【0073】
受信側の一実施例では、受信部により、伝送チャンネル#1乃至#3からパケットを受信して、メッセージフラグ分離部により、分離されたメッセージフラグと、パケットヘッダ分離部により、分離されたパケットデータ識別情報205を参照して、符号化ビット列生成部により、マルチメディア情報V、A、D毎にパケットを振り分け、パケットヘッダ201を除去してユニットパケット列を生成し、さらにユニットパケットヘッダ201を除去してマルチメディア情報毎の符号化ビット列を生成する。各マルチメディア情報はユニットパケットヘッダ内の時刻情報202に基づき復号、再生することによって各マルチメディア情報が同期再生される。
【0074】
受信側で多重化ビット列を再生する場合には、例えば、一旦、マルチメディア情報V、A、D毎にパケットを振り分けた後、ユニットパケットヘッダを検出して各ユニットに付与された時刻情報202を参照してマルチメディア情報間の各ユニットの時間的な順序を決定した上で再多重する。この場合、必ずしも送信側で付与したカウント情報順にパケットが並ばないため、再度カウント情報を振り直すか、カウント情報順になるようパケットの再配置を行う。
【0075】
一実施例では、送信側でメッセージフラグを定期的に各伝送チャンネルに挿入して、各マルチメディア情報のユニットがどの伝送チャンネルで伝送しているかを通知するようにする。これによって、途中から受信を始めた場合でも、メッセージフラグを参照して各マルチメディア情報が伝送されている伝送チャンネルを識別して受信することができる。
【0076】
また、この定期的に挿入するメッセージフラグに各カウント情報をどの伝送チャンネルで伝送しているかを示す情報を格納することによって、受信側では、各伝送チャンネルで受信したパケットを、メッセージフラグを参照してカウント情報の順に並べて送信側と同一の多重化ビット列を再生することができる。
【0077】
送信部16a、16b、16nでは、多重化ビット列103を各伝送チャンネルに応じた送信信号107a、107b、107nに変換して送出する。
【0078】
この実施の形態1によれば、伝送チャンネルのトラフィック状態に応じてビット列を複数の伝送チャンネルに切り替えて伝送し、受信側でこれらのビット列を再合成できるようにしたので、伝送チャンネルの帯域的な制約から一部の情報の伝送をやめたり、時間的に遅延させて帯域に余裕が出てきたところで伝送するといった処理が不要になり、伝送チャンネルの帯域に左右されない情報伝送が可能となる。
【0079】
また、複数の伝送チャンネルを使って情報伝送をする場合、従来の方式では伝送する情報が伝送チャンネル間で時間的に重ならないことを前提として、受信側では各伝送チャンネル上の特定パターンの有無をもとに伝送チャンネルを切り替えてデータを受信して一連のデータを再合成していたが、本実施の形態1によれば、各伝送チャンネルで伝送されるビット列は固定ビットレートでも可変ビットレートでもよく、伝送チャンネル間でデータの時間的な重なりがあっても、受信側ではメッセージフラグをもとに破綻なくビット列を受信して合成再生することが可能である。
【0080】
さらに、ストリーム間優先度情報とストリーム内優先度情報を使えば、低機能受信端末で受信可能な部分をベースとなる伝送チャンネルで伝送し、受信端末の性能(グレード)に応じて伝送チャンネルを使い分けるという階層伝送が可能で、受信端末の性能に応じた視聴サービス、例えば、複数伝送チャンネルを使ったマルチ解像度サービスや、多言語放送サービス、地域情報サービスなど、が可能になる。
【0081】
実施の形態2.
この発明の実施の形態2に係るビット列伝送装置について図面を参照しながら説明する。図10は、この発明の実施の形態2に係るビット列伝送装置の構成を示す図である。
【0082】
本実施の形態2では、メッセージフラグ生成部15で生成したメッセージフラグ106を送信部16a、16b、16mに入力して、伝送チャンネルの切り替えによって送信信号107a、107b、107mが途切れる箇所にメッセージフラグ106を挿入する。他の構成は、上記の実施の形態1と同様である。
【0083】
本実施の形態2によれば、受信側では、各伝送チャンネルからのパケットを受信してユニット単位のデータ(すなわち、ユニットパケット)に再合成する際、伝送チャンネルが切り替わるところにメッセージフラグが挿入されているため、メッセージフラグを検出すると同時にメッセージフラグにしたがって伝送チャンネルを切り替えて次のユニットを検出することができる。これに対し、メッセージフラグが挿入されない場合は、伝送チャンネルが切り替わったことを即座にかつ容易に認識することが困難である。
【0084】
なお、上記実施の形態1及び2では、伝送チャンネルのトラフィック状態に応じて伝送チャンネルを振り分けるために多重化バッファ蓄積情報104を参照していたが、多重化バッファ蓄積情報の代わりに各送信部16a、16b、16n内に設けた送信バッファの蓄積情報を使用してもよい。また、受信端末から伝送路を介して提供される伝送遅延や伝送品質に関する情報を利用してもよい。
【0085】
【発明の効果】
この発明に係るビット列伝送装置は、以上説明したとおり、伝送チャンネルのトラフィック状態に応じてビット列を複数の伝送チャンネルに切り替えて伝送し、受信側でこれらのビット列を再合成できるようにしたので、伝送チャンネルの帯域的な制約から一部の情報の伝送をやめたり、時間的に遅延させて帯域に余裕が出てきたところで伝送するといった処理が不要になり、伝送チャンネルの帯域に左右されない情報伝送が可能となるという効果を奏する。
【図面の簡単な説明】
【図1】 この発明の実施の形態1に係るビット列伝送装置の構成を示す図である。
【図2】 この発明の実施の形態1に係るビット列伝送装置のパケット化部の動作を説明するための図である。
【図3】 この発明の実施の形態1に係るビット列伝送装置の優先度情報の構成要素であるストリーム間優先度とストリーム内優先度を説明するための図である。
【図4】 この発明の実施の形態1に係るビット列伝送装置の多重化制御及び伝送チャンネルの振り分け制御の全体動作を示すフローチャートである。
【図5】 この発明の実施の形態1に係るビット列伝送装置の処理1(多重化バッファ蓄積量がオーバフロー閾値を超えた場合)の動作を示すフローチャートである。
【図6】 この発明の実施の形態1に係るビット列伝送装置の処理2(多重化バッファ蓄積量がオーバフロー閾値を超えそうな場合)の動作を示すフローチャートである。
【図7】 この発明の実施の形態1に係るビット列伝送装置の処理3(多重化バッファに余裕がある場合)の動作を示すフローチャートである。
【図8】 この発明の実施の形態1に係るビット列伝送装置の処理4(一部の多重化バッファに余裕がなくなってきた場合)の動作を示すフローチャートである。
【図9】 この発明の実施の形態1に係るビット列伝送装置において多重化ビット列を3つの伝送チャンネルに振り分けて伝送する場合のメッセージフラグの挿入方法を説明するための図である。
【図10】 この発明の実施の形態2に係るビット列伝送装置の構成を示す図である。
【符号の説明】
11a、11b、11m パケット化部、12a、12b、12m 多重化バッファ、13 多重化部、14 伝送チャンネル選択部、15 メッセージフラグ生成部、16a、16b、16n 送信部、101a、101b、101m 符号化ビット列、102a、102b、102m パケット列、103 多重化ビット列、104 多重化バッファ蓄積情報、105 伝送チャンネル選択情報、106 メッセージフラグ、107a、107b、107n 送信信号、201 ユニットパケットヘッダ、202 時刻情報、203 優先度情報、204 パケットヘッダ、205 パケットデータ識別情報、206 カウント情報、207 パケットペイロード、208 ダミーデータ。

Claims (16)

  1. 複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
    前記伝送チャンネル選択情報に基づいて、ビット列を伝送する際に、伝送チャンネルの切り替えが発生して伝送チャンネル内で前記ビット列の連続性が途切れる場合、前記ビット列の連続性が途切れる箇所に連続性が途切れることを通知するメッセージフラグを挿入するメッセージフラグ生成部と、
    前記メッセージフラグが挿入されたビット列を送信する送信部とを備え
    前記メッセージフラグ生成部は、前記ビット列の途中で伝送チャンネルを切り替える前に、前記ビット列の連続性が途切れる箇所に切り替え先の伝送チャンネルに関する情報を通知するメッセージフラグを挿入する
    ことを特徴とするビット列伝送装置。
  2. ビット列を多重化して多重化ビット列を生成する多重化部と、
    複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
    前記伝送チャンネル選択情報に基づいて、前記多重化ビット列を伝送する際に、伝送チャンネルの切り替えが発生して前記多重化ビット列の構成要素であるビット列の連続性が伝送チャンネル内で途切れる場合、同一ビット列内の残りが別伝送チャンネルで伝送されることを通知するメッセージフラグを前記多重化ビット列に挿入するメッセージフラグ生成部と、
    前記メッセージフラグが挿入された多重化ビット列を送信する送信部とを備え
    前記メッセージフラグ生成部は、前記ビット列の途中で伝送チャンネルを切り替える前に、前記ビット列の連続性が途切れる箇所に切り替え先の伝送チャンネルに関する情報を通知するメッセージフラグを挿入する
    ことを特徴とするビット列伝送装置。
  3. 符号化ビット列をパケットに格納してパケット列を生成するパケット化部と、
    前記パケット列を一時的に蓄えるとともに、その蓄積量を表す多重化バッファ蓄積情報を出力する多重化バッファと、
    前記多重化バッファ蓄積情報に基づいて前記パケット列をパケット単位に多重化して多重化ビット列を生成する多重化部と、
    前記多重化バッファ蓄積情報に基づいて複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
    前記伝送チャンネル選択情報に基づいて前記多重化ビット列の途中で伝送チャンネルが切り替わる際にメッセージフラグを生成して前記多重化ビット列に挿入するメッセージフラグ生成部と、
    前記メッセージフラグが挿入された多重化ビット列を送信する送信部とを備え
    前記メッセージフラグ生成部は、前記ビット列の途中で伝送チャンネルを切り替える前に、前記ビット列の連続性が途切れる箇所に切り替え先の伝送チャンネルに関する情報を通知するメッセージフラグを挿入する
    ことを特徴とするビット列伝送装置。
  4. 符号化ビット列をユニット単位に分離し、この分離した各ユニットを1つ乃至複数のパケットに格納してパケット列を生成するパケット化部と、
    前記パケット列を一時的に蓄えるとともに、その蓄積量を表す多重化バッファ蓄積情報を出力する多重化バッファと、
    前記多重化バッファ蓄積情報に基づいて前記パケット列をパケット単位に多重化して多重化ビット列を生成する多重化部と、
    前記多重化バッファ蓄積情報に基づいてユニット単位に複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
    前記伝送チャンネル選択情報に基づいて前記多重化ビット列の途中で伝送チャンネルが切り替わる際にメッセージフラグを生成して前記多重化ビット列に挿入するメッセージフラグ生成部と、
    前記メッセージフラグが挿入された多重化ビット列を各伝送チャンネルに応じた送信信号に変換して送信する送信部とを備え
    前記メッセージフラグ生成部は、前記ビット列の途中で伝送チャンネルを切り替える前に、前記ビット列の連続性が途切れる箇所に切り替え先の伝送チャンネルに関する情報を通知するメッセージフラグを挿入する
    ことを特徴とするビット列伝送装置。
  5. 前記パケット化部は、マルチメディア情報を構成する各ユニットに時刻情報を付与し、各ユニットを1つ乃至複数のパケットに格納し、パケットの送信順に値がカウントアップするカウント情報をパケット毎に付与する
    ことを特徴とする請求項4記載のビット列伝送装置。
  6. 符号化ビット列をユニット単位に分離し、この分離した各ユニットを1つ乃至複数のパケットに格納してパケット列を生成するパケット化部と、
    前記パケット列を一時的に蓄えるとともに、その蓄積量を表す多重化バッファ蓄積情報を出力する多重化バッファと、
    前記多重化バッファ蓄積情報に基づいて前記パケット列をパケット単位に多重化して多重化ビット列を生成する多重化部と、
    前記多重化バッファ蓄積情報に基づいてユニット単位に複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
    前記伝送チャンネル選択情報に基づいて前記多重化ビット列の途中で伝送チャンネルが切り替わる際にメッセージフラグを生成して前記多重化ビット列に挿入するメッセージフラグ生成部と、
    前記メッセージフラグが挿入された多重化ビット列を各伝送チャンネルに応じた送信信号に変換して送信する送信部とを備え、
    前記パケット化部は、ビット列毎に第1の優先度情報を付与するともに、ユニット毎に第2の優先度情報を付与し、
    前記伝送チャンネル選択部は、前記第1及び第2の優先度情報と、前記多重化バッファ蓄積情報に基づいてユニット単位に複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択する
    ことを特徴とするビット列伝送装置。
  7. 前記伝送チャンネル選択部は、伝送チャンネルのトラフィック状態に応じて、ストリーム間優先度の低いビット列を選択し、この選択したビット列においてストリーム内優先度の低いユニットを別の伝送チャンネルに振り向ける
    ことを特徴とする請求項6記載のビット列伝送装置。
  8. 複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
    前記伝送チャンネル選択情報に基づいて、ビット列を伝送する際に、伝送チャンネルの切り替えが発生して伝送チャンネル内で前記ビット列の連続性が途切れる場合、前記ビット列の連続性が途切れる箇所に連続性が途切れることを通知するメッセージフラグを挿入するメッセージフラグ生成部と、
    前記メッセージフラグが挿入されたビット列を送信する送信部とを備え、
    前記メッセージフラグ生成部は、前記ビット列の途中で伝送チャンネルを切り替えたに、この切り替え後のビット列の先頭に切り替え前の伝送チャンネルに関する情報を通知するメッセージフラグを挿入する
    ことを特徴とするビット列伝送装置。
  9. ビット列を多重化して多重化ビット列を生成する多重化部と、
    複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
    前記伝送チャンネル選択情報に基づいて、前記多重化ビット列を伝送する際に、伝送チャンネルの切り替えが発生して前記多重化ビット列の構成要素であるビット列の連続性が伝送チャンネル内で途切れる場合、同一ビット列内の残りが別伝送チャンネルで伝送されることを通知するメッセージフラグを前記多重化ビット列に挿入するメッセージフラグ生成部と、
    前記メッセージフラグが挿入された多重化ビット列を送信する送信部とを備え、
    前記メッセージフラグ生成部は、前記ビット列の途中で伝送チャンネルを切り替えた後に、この切り替え後のビット列の先頭に切り替え前の伝送チャンネルに関する情報を通知するメッセージフラグを挿入する
    ことを特徴とするビット列伝送装置。
  10. 符号化ビット列をパケットに格納してパケット列を生成するパケット化部と、
    前記パケット列を一時的に蓄えるとともに、その蓄積量を表す多重化バッファ蓄積情報を出力する多重化バッファと、
    前記多重化バッファ蓄積情報に基づいて前記パケット列をパケット単位に多重化して多重化ビット列を生成する多重化部と、
    前記多重化バッファ蓄積情報に基づいて複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
    前記伝送チャンネル選択情報に基づいて前記多重化ビット列の途中で伝送チャンネルが切り替わる際にメッセージフラグを生成して前記多重化ビット列に挿入するメッセージフラグ生成部と、
    前記メッセージフラグが挿入された多重化ビット列を送信する送信部とを備え、
    前記メッセージフラグ生成部は、前記ビット列の途中で伝送チャンネルを切り替えた後に、この切り替え後のビット列の先頭に切り替え前の伝送チャンネルに関する情報を通知するメッセージフラグを挿入する
    ことを特徴とするビット列伝送装置。
  11. 符号化ビット列をユニット単位に分離し、この分離した各ユニットを1つ乃至複数のパケットに格納してパケット列を生成するパケット化部と、
    前記パケット列を一時的に蓄えるとともに、その蓄積量を表す多重化バッファ蓄積情報を出力する多重化バッファと、
    前記多重化バッファ蓄積情報に基づいて前記パケット列をパケット単位に多重化して多重化ビット列を生成する多重化部と、
    前記多重化バッファ蓄積情報に基づいてユニット単位に複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
    前記伝送チャンネル選択情報に基づいて前記多重化ビット列の途中で伝送チャンネルが切り替わる際にメッセージフラグを生成して前記多重化ビット列に挿入するメッセージフラグ生成部と、
    前記メッセージフラグが挿入された多重化ビット列を各伝送チャンネルに応じた送信信号に変換して送信する送信部とを備え、
    前記メッセージフラグ生成部は、前記ビット列の途中で伝送チャンネルを切り替えた後に、この切り替え後のビット列の先頭に切り替え前の伝送チャンネルに関する情報を通知するメッセージフラグを挿入する
    ことを特徴とするビット列伝送装置。
  12. 複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
    前記伝送チャンネル選択情報に基づいて、ビット列を伝送する際に、伝送チャンネルの切り替えが発生して伝送チャンネル内で前記ビット列の連続性が途切れる場合、前記ビット列の連続性が途切れる箇所に連続性が途切れることを通知するメッセージフラグを挿入するメッセージフラグ生成部と、
    前記メッセージフラグが挿入されたビット列を送信する送信部とを備え、
    前記メッセージフラグ生成部は、前記ビット列を伝送するのに使用する一連の伝送チャンネルの情報を通知するメッセージフラグを定期的に挿入する
    ことを特徴とするビット列伝送装置。
  13. ビット列を多重化して多重化ビット列を生成する多重化部と、
    複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
    前記伝送チャンネル選択情報に基づいて、前記多重化ビット列を伝送する際に、伝送チャンネルの切り替えが発生して前記多重化ビット列の構成要素であるビット列の連続性が伝送チャンネル内で途切れる場合、同一ビット列内の残りが別伝送チャンネルで伝送されることを通知するメッセージフラグを前記多重化ビット列に挿入するメッセージフラグ生成部と、
    前記メッセージフラグが挿入された多重化ビット列を送信する送信部とを備え、
    前記メッセージフラグ生成部は、前記ビット列を伝送するのに使用する一連の伝送チャンネルの情報を通知するメッセージフラグを定期的に挿入する
    ことを特徴とするビット列伝送装置
  14. 符号化ビット列をパケットに格納してパケット列を生成するパケット化部と、
    前記パケット列を一時的に蓄えるとともに、その蓄積量を表す多重化バッファ蓄積情報を出力する多重化バッファと、
    前記多重化バッファ蓄積情報に基づいて前記パケット列をパケット単位に多重化して多重化ビット列を生成する多重化部と、
    前記多重化バッファ蓄積情報に基づいて複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
    前記伝送チャンネル選択情報に基づいて前記多重化ビット列の途中で伝送チャンネルが切り替わる際にメッセージフラグを生成して前記多重化ビット列に挿入するメッセージフラグ生成部と、
    前記メッセージフラグが挿入された多重化ビット列を送信する送信部とを備え、
    前記メッセージフラグ生成部は、前記ビット列を伝送するのに使用する一連の伝送チャンネルの情報を通知するメッセージフラグを定期的に挿入する
    ことを特徴とするビット列伝送装置
  15. 符号化ビット列をユニット単位に分離し、この分離した各ユニットを1つ乃至複数のパケットに格納してパケット列を生成するパケット化部と、
    前記パケット列を一時的に蓄えるとともに、その蓄積量を表す多重化バッファ蓄積情報を出力する多重化バッファと、
    前記多重化バッファ蓄積情報に基づいて前記パケット列をパケット単位に多重化して多重化ビット列を生成する多重化部と、
    前記多重化バッファ蓄積情報に基づいてユニット単位に複数の伝送チャンネルの中から1つまたは幾つかの伝送チャンネルを選択するとともに、その選択した伝送チャンネルを表す伝送チャンネル選択情報を出力する伝送チャンネル選択部と、
    前記伝送チャンネル選択情報に基づいて前記多重化ビット列の途中で伝送チャンネルが切り替わる際にメッセージフラグを生成して前記多重化ビット列に挿入するメッセージフラグ生成部と、
    前記メッセージフラグが挿入された多重化ビット列を各伝送チャンネルに応じた送信信号に変換して送信する送信部とを備え
    前記メッセージフラグ生成部は、前記ビット列を伝送するのに使用する一連の伝送チャンネルの情報を通知するメッセージフラグを定期的に挿入する
    ことを特徴とするビット列伝送装置。
  16. 前記メッセージフラグ生成部は、前記ビット列の一部分が他の伝送チャンネル上で伝送されている場合、その他の伝送チャンネルの情報を通知するメッセージフラグを定期的に挿入する
    ことを特徴とする請求項12、13、14又は15記載のビット列伝送装置。
JP2003047576A 2003-02-25 2003-02-25 ビット列伝送装置 Expired - Fee Related JP4180399B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003047576A JP4180399B2 (ja) 2003-02-25 2003-02-25 ビット列伝送装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003047576A JP4180399B2 (ja) 2003-02-25 2003-02-25 ビット列伝送装置

Publications (2)

Publication Number Publication Date
JP2004260426A JP2004260426A (ja) 2004-09-16
JP4180399B2 true JP4180399B2 (ja) 2008-11-12

Family

ID=33113794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003047576A Expired - Fee Related JP4180399B2 (ja) 2003-02-25 2003-02-25 ビット列伝送装置

Country Status (1)

Country Link
JP (1) JP4180399B2 (ja)

Also Published As

Publication number Publication date
JP2004260426A (ja) 2004-09-16

Similar Documents

Publication Publication Date Title
CA2730953C (en) Dynamic qos in a network distributing streamed content
JP3434653B2 (ja) マルチメディアデータ蓄積伝送方法及び装置
US7035278B2 (en) Method and apparatus for forming and utilizing a slotted MPEG transport stream
JP2003338830A (ja) メディア送信方法、メディア受信方法、メディア送信装置及びメディア受信装置
WO2008007877A1 (en) Apparatus and method for transmitting media data and apparatus and method for receiving media data
JP2000500632A (ja) フォーマット済みリアルタイム・ビデオと共にデータを多重化し分配する方法および装置
KR100358119B1 (ko) 디지털 데이터 방송 서비스를 위한 데이터 스트리밍 장치및 그 방법
CA2625025C (en) Ip broadcast system, and multiplexer, receiving apparatus and method used in ip broadcast system
US20060161676A1 (en) Apparatus for IP streaming capable of smoothing multimedia stream
JP2002535934A (ja) リファレンス信号情報を規定時間間隔で配信する方法および装置
JP4180399B2 (ja) ビット列伝送装置
JP4391412B2 (ja) ディジタルストリームの動的多重化方法
JP4192766B2 (ja) 受信装置および方法、記録媒体、並びにプログラム
KR100579132B1 (ko) 타이밍정보 지터 방지를 위한 멀티미디어데이터전송스트림의 계층적 전송 장치 및 그 방법과, 계층적으로전송된 멀티미디어데이터 전송스트림의 복원 장치 및 그방법
JP6635036B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2004320394A (ja) デジタル放送送信システム,デジタル放送の受信装置,デジタル放送再生方法
JP4439564B2 (ja) Ip放送システム及びこのip放送システムで使用される多重化装置及び受信装置及び方法
JP2008016894A (ja) 送信装置及び受信装置
KR20100047141A (ko) Mpeg-2 타입 포맷을 따르는 멀티미디어 데이터를 전송하는 멀티플렉싱된 패킷 스트림을 처리하는 방법
JP4035802B2 (ja) パケット生成装置及びパケット再生装置並びにそれらの方法
KR102001067B1 (ko) 방송 신호 송신을 위한 다중화 방법 및 그 장치
KR20070040103A (ko) 압축 스트림의 복호방법
JP5084547B2 (ja) 配信制御システムにおける送出側装置、送出方法、配信制御システムにおける受信端末、受信方法、プログラムおよびそのプログラムを記録した記録媒体
JP3543716B2 (ja) ストリーム生成方法及び装置
JP2003264820A (ja) デジタル画像の配信方法及び配信装置ならびに受信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080826

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080827

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130905

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees