JP5209882B2 - 番組配信システムおよび番組配信プログラム - Google Patents
番組配信システムおよび番組配信プログラム Download PDFInfo
- Publication number
- JP5209882B2 JP5209882B2 JP2007028625A JP2007028625A JP5209882B2 JP 5209882 B2 JP5209882 B2 JP 5209882B2 JP 2007028625 A JP2007028625 A JP 2007028625A JP 2007028625 A JP2007028625 A JP 2007028625A JP 5209882 B2 JP5209882 B2 JP 5209882B2
- Authority
- JP
- Japan
- Prior art keywords
- distribution
- content
- program
- frame
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Description
従来のコンテンツ転送型の配信技術は、配信する番組コンテンツデータをコンテンツ転送により番組配信システムからクライアントシステムに一括ダウンロードさせる技術であり、クライアントシステムは番組コンテンツデータのダウンロードが完全に終ってから再生を始める必要があった。このコンテンツ転送型の番組配信技術は、転送する番組コンテンツデータが大容量のコンテンツデータである場合にはダウンロードに必要な時間が長くなり実用に耐えない場合もある。
送信制御部1010は後述する再生リスト1040を参照して現在の時刻に応じた番組コンテンツの該当部分のデータを特定し、ストリーミングサーバ1030に対して配信すべきデータを記憶部1020から取り出して受け渡し、ストリーミング配信を制御する部分である。
記憶部1020に記憶されている番組コンテンツデータはストリーミング配信に適した形式に圧縮されたエンコード済みのコンテンツデータとなっている。番組コンテンツとしては撮影したビデオ映像、編集したビデオ映像、CGアニメーションなど多様のものがある。
ストリーミングサーバ1030は送信制御部1010から配信するデータを受けてストリーミングデータとして配信する。ネットワークとのインターフェイスも備えている。
再生リスト1040は番組コンテンツの再生順序を記述したものであり、再生する時間情報を持つことも可能である。つまり、配信する番組コンテンツとその配信予定時間が記述されており、いわゆるテレビ欄などの番組配信表と位置付けることもできる。
送信制御部1010は再生リスト1040を参照しつつ、現在時刻に配信すべきコンテンツの該当部分のデータを特定する。例えば番組コンテンツデータAの終盤部分であったとすると記憶部1020からエンコード済コンテンツA1021Aの該当部分のデータを取得する。送信制御部1010は取得した該当部分のデータをストリーミングサーバ1030に渡し、ストリーミングサーバ1030からクライアントシステムに対してストリーミングデータが配信される。
時刻が進むたび、送信制御部1010は再生リスト1040を参照し、現在時刻に配信されるべき番組コンテンツの該当部分のデータを特定し、記憶部1020から当該データを取得してストリーミングサーバ1030に渡す。
このように、再生リスト1040の記述に従って次々と、エンコード済コンテンツA、エンコード済コンテンツB、エンコード済コンテンツCとストリーミング配信されて行き、クライアントシステムでは再生リスト1040があたかもTV番組の配信予定リストのように位置付けられる。
しかし、従来のストリーミング配信技術では、テレビジョン放送のようにあらかじめ決められた配信予定リストに従って時刻通りに番組コンテンツをストリーミング配信する場合、番組コンテンツ配信の連続性が完全には保てず、クライアントシステムのモニタでの表示において、番組コンテンツの配信開始時のみならず、番組コンテンツと番組コンテンツの谷間においても毎回、「黒み」や「切れ目」のバッファリングが生じてしまう現象が知られている。
まず、ストリーミング配信の開始時にバッファリングが発生する理由について説明し、次に従来のストリーミング配信技術において番組コンテンツと番組コンテンツの谷間において「黒み」や「切れ目」が生じる理由について説明する。
番組配信システム1000は、記憶部1020、番組コンテンツのエンコード済コンテンツ1021、ストリーミングサーバ1030を備えている。クライアントシステム1100は受信部1110およびバッファ1120を備えている。番組配信システム1000とクライアントシステム1100はネットワーク1200を介してつながっている。
バッファ1120に所定データ量のバッファリングができれば、所定の再生ソフトウェアにより再生を始める(図13の[4]モニタ表示開始)。
上記のような番組コンテンツと番組コンテンツの谷間においてバッファリング処理に伴う「黒み」や「切れ目」が発生することは好ましくなく、通常の地上波や衛星波のテレビジョン放送ではこのような「黒み」や「切れ目」が発生しないことからインターネット放送の弱点の一つとされている。また、この番組と番組の谷間は、広告コンテンツを流すいわゆる広告枠であることが通例であり、数秒間の「黒み」や「切れ目」であってもその影響は大きいと言わざるを得ない。
特に、番組コンテンツを一箇所で集中的に製作する環境ではなく、ネットワークを介して、ローカルシステムで作成した多様な番組コンテンツデータを収集するとともに収集した番組コンテンツデータの配信順序などを動的かつ柔軟に編集・変更する環境での適用が可能である番組配信システムを提供することを目的とする。
起動時にゼロクリアされ経過時間を通しタイムとしてカウントしてゆくシステムタイマと、
複数個のエンコード済み配信コンテンツを記憶したコンテンツ記憶部と、
前記配信コンテンツの配信予定リストを編集する配信予定リスト編集部と、
前記配信予定リストに従い配信開始時刻に達した前記配信コンテンツを前記コンテンツ記憶部から読み込んで動的にデコード処理するデコード部と、
前記デコード部が逐次にデコード処理しているフレームデータを逐次に受け取り、先頭フレームに対しては前記配信開始時刻における前記通しタイム値を付与し、各後続フレームに対しては前記先頭フレームに付与された前記通しタイム値に前記各後続フレームに予め与えられている先頭フレームからの経過時間であるタイムスタンプ時間を合算した値を付与することにより、各フレームデータに対して通しフレーム番号情報を与えるフレーム番号管理部と、
前記フレーム番号管理部により通しフレーム番号が与えられたフレームデータを逐次に受け取り、次々と動的に所定の音声レートと映像レートにて再びエンコード処理する再エンコード部と、
前記再エンコード部から供給されるデータをストリーミング配信するストリーミング配信部とを備えたものである。
以下、一般にストリーミング配信において番組コンテンツと番組コンテンツの谷間においてクライアントシステムでの再生表示に黒みや切れ目が生じる理由を解析する。
例えば、先行の番組コンテンツAが既に再生表示されているとする(図1(a))。ここで、先行の番組コンテンツAの配信が終了し、後続の番組コンテンツBのストリーミングデータが受信されたとする(図1(b))。
後続の番組コンテンツBのストリーミングデータの先頭にはヘッダが付されているので、再生ソフトウェアは当該ヘッダを受信することにより新たな番組コンテンツBのストリーミング再生処理が始まることを認識し、新たなコンテンツ再生に向けて処理を開始する。現在普及している再生ソフトウェアは新たなコンテンツのヘッダを読み込めば、新たなストリーミング再生処理に向けた再生ソフトウェアのパラメタ調整の時間確保のため、現在バッファに存在する先行の番組コンテンツデータを破棄し、新たに後続の番組コンテンツデータのバッファリング処理を開始する仕組みとなっている(図1(b))。このバッファリング処理の間「黒み」や「切れ目」が発生する。
一般的にはストリーミング配信されるデータの映像レートと音声レートは多様である。ニュース取材の過程で製作したビデオ映像、ミュージックビデオクリップ、アニメーション映像、コンピュータグラフィック映像など製作の過程や目的に応じて映像の画質と音声の音質にはバリエーションがある。クライアントシステムの再生ソフトは音声レートおよび映像レートに合わせてデコード・再生処理する必要があり、音声レートおよび映像レートの異なるエンコード済コンテンツが受信されるとクライアントシステムの再生ソフトは新たなレートに対応するためパラメタを調整する必要が生じる。
次に、本発明の番組配信システムのクライアントシステムの再生表示においてシームレスなストリーミング配信を実現する原理を説明する。
本発明の番組配信システムでは、配信番組を一日の配信が開始された以後でも動的に変更し得るものであることが前提であるところ、各番組コンテンツには予め通し番号は付さず、配信時刻に達して配信処理を行なう段階で初めて各フレームに通し番号を付しつつ配信処理を行なうという特徴を持つ。
このエンコード済みコンテンツA,B,Cは、現時点で有効な配信予定リストに従って配信時刻になるとその順にデコード部40に渡される。デコード部40はエンコード済みコンテンツをデコード処理し、フレームデータ単位に分解してゆく。フレームデータ単位に分解されてしまえば各々のフレームデータは一枚の画像データであり、元のエンコード済みコンテンツの違いには依存しない。つまり、元のエンコード済みコンテンツがエンコード済みコンテンツAであってもエンコード済みコンテンツBであってもフレームデータにすると一枚の画像データである。
デコード部40は上記したように、現時点で有効な配信予定リストに従い配信開始時刻に達した配信コンテンツをコンテンツ記憶部から読み込んで動的にデコード処理を開始する。
フレーム番号管理部50はデコード部40からフレームデータを逐次に受け取り通し番号を付与して行くが、ここで、配信コンテンツの先頭フレームに対して通し番号を付与するルールと後続フレームに対して通し番号を付与するルールは異なる。
先頭フレームに対しては配信開始時刻においてシステムタイマ10を参照してシステムタイマの値をそのまま通しタイム値として付与する。ここで、通しタイムとは、番組配信システムが起動された時点をゼロとしたシステム稼動の経過時間を言う。例えば、ミリ秒単位の数値とする。いま、番組配信システムが6:00に起動され番組Aが配信開始された場合は、当該配信開始時刻において通しタイムを参照すると“0000000(msec)”であり、番組Aの先頭フレームには通し番号として“0000000”が付与される。番組Bが7:00に配信されるならば当該配信開始時刻において通しタイムを参照すると“3600000(msec)”であり番組Bの先頭フレームには通し番号として“3600000”が付与される。同様に、番組Cが8:00に配信されるならば当該配信開始時刻において通しタイムを参照すると“7200000(msec)”であり番組Cの先頭フレームには通し番号として“7200000”が付与される。
配信される番組コンテンツの後続フレームには、先頭フレームに与えられた通しタイム(T)と予め与えられている先頭フレームからの経過時間であるタイムスタンプ時間(S)を合算した値(T+S)を付与する。
再エンコード部60により再エンコードされた再エンコード済みデータは、ストリーミング配信部70により番組コンテンツのつなぎ目が連続したものとしてストリーミング配信される。
以上が本発明の番組配信システムのクライアントシステムの再生表示においてシームレスなストリーミング配信を実現する原理である。
次に、ローカルシステムとセンタシステムを用いたネットワーク分散環境における本発明の番組配信システムの構成例を説明する。
図4は、ローカルシステム200とセンタシステム100を用いたネットワーク分散環境における本発明の番組配信システムの構成例を示す図である。
図4の構成は、システムタイマ10、タイマ11、コンテンツ記憶部20、配信予定リスト編集部30、デコード部40、フレーム番号管理部50、再エンコード部60、ストリーミング配信部70を備えた構成となっている。
タイマは現在時刻を刻むものであり、デコード部40が参照して現在時刻を把握し、配信予定リストでの各番組コンテンツの配信開始を検知するために用いる。
コンテンツ記憶部20には複数個のエンコード済み配信コンテンツが記憶されている。この例ではエンコード済み配信コンテンツA,B,・・・,Lの12個のコンテンツが記憶されている。なお、ローカルシステム200からエンコード済みコンテンツがアップロードされ、当該アップロードされたエンコード済み配信コンテンツを格納することも好ましい。分散環境においてはローカルシステム200側で配信番組を編集し、アップロードしてセンタシステム側から配信するという利用形態もあり得るからである。
再エンコード部60はフレーム番号管理部50によりフレーム番号が与えられたフレームデータを逐次に受け取り、エンコード処理に必要な複数個のフレームデータが集積すると次々と動的に所定の音声レートと映像レートにて再びエンコード処理するものである。例えば、MPEGでは前後複数枚のフレームを集めて非圧縮フレーム(Iフレーム)とイントラ圧縮フレーム(Pフレーム)とインター圧縮フレーム(Bフレーム)を決めて圧縮するので、1枚のフレームデータを入手しただけではエンコードできず、前後の複数枚のフレームを集めて圧縮するが、再エンコード部60は必要な前後複数枚のフレームを受け入れて再エンコードする。
ストリーミング配信部70は、再エンコード部60から供給されるエンコード済みデータをストリーミング配信するものである。
実施例1に示した番組配信システムの番組配信の流れを整理しておく。
図6は実施例1にかかる番組配信システムのセンタシステムでの処理を中心とした処理の流れを示すフローチャートである。
前提として、コンテンツ記憶部20には既にエンコード処理番組コンテンツが記憶されており、配信予定リスト31の編集処理は完了しているものとする。
この起動と同時にシステムタイマ10の計数値が一旦ゼロクリアされ、経過時間のカウントアップを開始する(ステップS2)。番組配信システム100の起動時から終了時まで途切れずに経過時間をカウントアップする。
デコード部40は配信予定リスト31から配信すべき番組コンテンツを把握し、コンテンツ記憶部20にアクセスし、当該番組コンテンツのデコードを行なう(ステップS4)。いま、8時になり、新たな番組コンテンツCの配信開始が検知され、デコード部40がコンテンツ記憶部20にアクセスし、番組コンテンツCのコンテンツのデコードを開始したものとする。
ストリーミングサーバ70は再エンコード部60から再エンコード処理したデータを受け取り、クライアントシステム200に対して番組コンテンツデータを配信する(ステップS8)。つまり、現在時刻に合わせて配信すべきデータがストリーミングサーバ70からクライアントシステム200に対してシームレスなストリーミングデータとして配信され続ける。
時刻が進むたび上記処理を繰り返す(ステップS3へ戻る)。
以上がストリーミングデータ配信の流れの概要である。
図7は本発明の第1の番組配信システム100からストリーミング配信された番組コンテンツのクライアントコンピュータでの再生処理を模式的に示す図である。
まず比較のために配信予定リスト編集部30による変更がない場合の配信を説明する。図8は、10時における配信予定リスト編集部30による変更がなく、当初の配信予定リスト31の通り、番組コンテンツEが配信される場合の流れを模式的に示す図である。
第1の方法は、単純に配信コンテンツの一つとして広告コンテンツを位置づける方法である。本発明の番組配信システムでは、配信コンテンツの内容が、映画などのコンテンツか広告などのコンテンツかの違いには依存しないので、広告コンテンツを挿入することができる。
図10に示すように、例えば、4つの配信コンテンツのうち第1番目の配信コンテンツを番組コンテンツAとし、第2番目の配信コンテンツを広告コンテンツAとし、第3番目の配信コンテンツを広告コンテンツBとし、第4番目の配信コンテンツを番組コンテンツBとした例である。番組コンテンツの配信、広告コンテンツの配信は実施例1に示したように処理され、シームレスなストリーミングとして配信される。
ただし、この方法では、番組コンテンツ自体は、配信が始まるとその配信が終わるまで広告を挿入することはできない。つまり、2時間の映画を配信する場合、2時間は映画を流し続け、その後でないと広告を配信することはできない。
20 コンテンツ記憶部
30 配信予定リスト編集部
31 配信予定リスト
40 デコード部
50 フレーム番号管理部
60 再エンコード部
70 ストリーミングサーバ
100 センタシステム
200 ローカルシステム
Claims (4)
- 起動時にゼロクリアされ経過時間を通しタイムとしてカウントしてゆくシステムタイマと、
複数個のエンコード済み配信コンテンツを記憶したコンテンツ記憶部と、
前記配信コンテンツの配信予定リストを編集する配信予定リスト編集部と、
前記配信予定リストに従い配信開始時刻に達した前記配信コンテンツを前記コンテンツ記憶部から読み込んで動的にデコード処理するデコード部と、
前記デコード部が逐次にデコード処理しているフレームデータを逐次に受け取り、先頭フレームに対しては前記配信開始時刻における前記通しタイム値をそのまま付与し、各後続フレームに対しては前記先頭フレームに付与された前記通しタイム値に前記各後続フレームに予め与えられている先頭フレームからの経過時間であるタイムスタンプ時間を合算した値を付与することにより、各フレームデータに対して通しフレーム番号情報を与えるフレーム番号管理部と、
前記フレーム番号管理部により通しフレーム番号が与えられたフレームデータを逐次に受け取り、次々と動的に所定の音声レートと映像レートにて再びエンコード処理する再エンコード部と、
前記再エンコード部から供給されるデータをストリーミング配信するストリーミング配信部とを備えた番組配信システム。 - 前記配信コンテンツが、番組コンテンツのコンテンツである番組コンテンツと、広告コンテンツのコンテンツである広告コンテンツを含み、
前記配信予定リスト編集部が、前記番組コンテンツ間に前記広告コンテンツを挟み込む形で配信予定リストを編集することを特徴とする請求項1に記載の番組配信システム。 - 前記配信コンテンツが、番組コンテンツのコンテンツである番組コンテンツと、広告コンテンツのコンテンツである広告コンテンツを含み、
前記配信予定リスト編集部が、一つの前記番組コンテンツを複数個に分割し、その間に前記広告コンテンツを挟み込む形で配信予定リストを編集することを特徴とする請求項1または2に記載の番組配信システム。 - 起動時にシステムタイマをゼロクリアし、経過時間を通しタイムとしてカウントしてゆくシステムタイム処理ステップと、
コンテンツ記憶部に複数個のエンコード済み配信コンテンツを記憶するコンテンツ記憶処理ステップと、
前記配信コンテンツの配信予定リストを編集する配信予定編集処理ステップと、
前記配信予定リストに従い配信開始時刻に達した前記配信コンテンツを前記コンテンツ記憶部から読み込んで動的にデコード処理するデコード処理ステップと、
前記デコード処理ステップにより逐次にデコード処理されたフレームデータを逐次に受け取り、先頭フレームに対しては前記配信開始時刻における前記通しタイム値をそのまま付与し、各後続フレームに対しては前記先頭フレームに付与された前記通しタイム値に前記各後続フレームに予め与えられている先頭フレームからの経過時間であるタイムスタンプ時間を合算した値を付与することにより、各フレームデータに対して通しフレーム番号情報を与えるフレーム番号管理処理ステップと、
前記フレーム番号管理処理ステップによりフレーム番号が与えられたフレームデータを逐次に受け取り、次々と動的に所定の音声レートと映像レートにて再びエンコード処理する再エンコード処理ステップと、
前記再エンコード処理ステップから供給されるデータをストリーミング配信するストリーミング配信処理ステップとを備えた番組配信プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007028625A JP5209882B2 (ja) | 2007-02-07 | 2007-02-07 | 番組配信システムおよび番組配信プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007028625A JP5209882B2 (ja) | 2007-02-07 | 2007-02-07 | 番組配信システムおよび番組配信プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008193616A JP2008193616A (ja) | 2008-08-21 |
JP5209882B2 true JP5209882B2 (ja) | 2013-06-12 |
Family
ID=39753242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007028625A Expired - Fee Related JP5209882B2 (ja) | 2007-02-07 | 2007-02-07 | 番組配信システムおよび番組配信プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5209882B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010124312A (ja) * | 2008-11-20 | 2010-06-03 | Oki Networks Co Ltd | ストリーム配信装置、プログラム、及び方法、並びにストリーム配信システム |
US10171710B2 (en) | 2012-04-04 | 2019-01-01 | Mitsubishi Electric Corporation | Device and method for digital data distribution, device and method for digital data reproduction, synchronized reproduction system, program, and recording medium |
JP6087395B2 (ja) * | 2015-06-17 | 2017-03-01 | ソフトバンク株式会社 | 動画像配信装置、及びプログラム |
JP2020150565A (ja) * | 2020-06-18 | 2020-09-17 | Nl技研株式会社 | コンテンツの受信装置および配信装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003018567A (ja) * | 2001-06-29 | 2003-01-17 | Matsushita Electric Ind Co Ltd | データ再生装置及びデータ送信装置 |
JP2006262319A (ja) * | 2005-03-18 | 2006-09-28 | Toshiba Corp | 放送信号送出システム |
US20070011604A1 (en) * | 2005-07-05 | 2007-01-11 | Fu-Sheng Chiu | Content integration with format and protocol conversion system |
-
2007
- 2007-02-07 JP JP2007028625A patent/JP5209882B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008193616A (ja) | 2008-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230344888A1 (en) | Apparatus, system, and method for multi-bitrate content streaming | |
US8768146B2 (en) | Strategies for controlling presentation of media information based on a sampling of customer playback behavior | |
US7870589B2 (en) | Method for providing commentary audio and additional or replacement video content | |
US7818770B2 (en) | Methods, apparatus, and program products to support a shared viewing experience from remote locations | |
EP0984584A1 (en) | Internet multimedia broadcast system | |
WO1999066722A1 (en) | Broadcasting method and broadcast receiver | |
US20010004417A1 (en) | Video editing system | |
US20060112325A1 (en) | Method and apparatus for controlling an experiential data stream in a social space | |
US20040128701A1 (en) | Client device and server device | |
US20070217759A1 (en) | Reverse Playback of Video Data | |
JP2002010182A (ja) | データ蓄積方法およびそれを実現した受信装置および放送システム | |
US7814517B2 (en) | Method and apparatus for associating commentary audio with a position in an experiential data stream | |
JP2005516488A (ja) | パーソナライズされたアドレス可能なコンテンツを持つディジタルテレビジョンシステム | |
US7882530B2 (en) | Method, apparatus, and program products for socially synchronizing an experiential data stream | |
US7043747B1 (en) | Methods and apparatus for information broadcasting and reception | |
JP2003510982A (ja) | ビデオオンデマンド用の実施可能なシステム | |
JP5209882B2 (ja) | 番組配信システムおよび番組配信プログラム | |
US20060112343A1 (en) | Methods, apparatus, and program products for aligning presentation of separately recorded experiential data streams | |
US7814518B2 (en) | Methods, apparatus, and program products for presenting replacement content instead of a portion of a recorded content | |
US6871234B1 (en) | Information distribution control system, and information distribution control method | |
JP4280443B2 (ja) | デジタル媒体広告を統計多重ストリームに挿入する方法および装置 | |
US7818771B2 (en) | Methods, apparatus, and program products for controlling presentation of an experiential data stream responsive to conversations in a shared social space | |
JP2004159057A (ja) | 再生情報配信システム及び再生情報配信方法 | |
JP2009060411A (ja) | Vodシステムおよびvodシステムにおけるコンテンツ配信方法 | |
JP4057032B2 (ja) | 番組配信システムおよび番組配信プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120907 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121211 |
|
R155 | Notification before disposition of declining of application |
Free format text: JAPANESE INTERMEDIATE CODE: R155 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130222 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |