JP4326686B2 - 放送番組文字情報配信システム、放送番組文字情報配信用サーバおよび放送番組文字情報配信方法 - Google Patents

放送番組文字情報配信システム、放送番組文字情報配信用サーバおよび放送番組文字情報配信方法 Download PDF

Info

Publication number
JP4326686B2
JP4326686B2 JP2000365815A JP2000365815A JP4326686B2 JP 4326686 B2 JP4326686 B2 JP 4326686B2 JP 2000365815 A JP2000365815 A JP 2000365815A JP 2000365815 A JP2000365815 A JP 2000365815A JP 4326686 B2 JP4326686 B2 JP 4326686B2
Authority
JP
Japan
Prior art keywords
broadcast program
character information
broadcast
program
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000365815A
Other languages
English (en)
Other versions
JP2002171235A (ja
Inventor
彰男 安藤
真一 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2000365815A priority Critical patent/JP4326686B2/ja
Publication of JP2002171235A publication Critical patent/JP2002171235A/ja
Application granted granted Critical
Publication of JP4326686B2 publication Critical patent/JP4326686B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、放送番組の中の音声を音声認識し、その音声認識結果たとえば、字を放送文字情報として配信する音声認識結果配信システム、音声認識結果配信用サーバおよび音声認識結果配信方法に関する。
【0002】
【従来の技術】
従来、ニュース番組については、放送局に設置した音声認識装置によって、放送文字情報を生成し、また、非リアルタイム番組については、事前に字幕原稿を作成して、上記放送文字情報や字幕原稿を文字多重放送の形態で送信装置から受信装置に送信している。受信装置側では、受信した文字多重放送に基き、映像と字幕を表示している。
【0003】
例として図1にNHK(日本放送協会)が実施している音声認識を利用したニュース字幕放送の形態を示す。図1において、放送音声(アナウンサーの声)6は音声認識装置1により音声認識される。音声認識結果が放送文字情報として文字多重放送用の信号に変換されて、映像信号に文字多重放送エンコーダ7により多重化される。文字多重放送エンコーダ7の出力が放送電波8を介して送信される。
【0004】
音声認識装置1は、音響モデル2、言語モデル・発音辞書4を使用して音声認識を行う。音響モデルは音声を分析して得られる音響データと、音声の読み(発音)とを互いに関連付けて記載した情報ファイルである。このような音声認識装置としては特開平6−1412240号公報が知られている。
【0005】
言語モデル2、単語の出現の割合や単語間のつながりの割合を単語に関連付けて記載した情報ファイルである。発音辞書は読みに対応する漢字(かな混じり漢字やひらがなの文字列を含む)を記載した情報ファイルである。発音辞書は漢字辞書や単語辞書とも呼ばれる。音響モデルは、アナウンサーの音声(信号)を記憶したデータベース3の登録音声から作成される。言語モデルや発音辞書はニュース原稿5に基き作成される。
【0006】
一方、受信側では文字多重デコーダ9によって、放送電波から文字多重放送の信号を取出して放送文字情報およテレビ映像信号を再現する。放送文字情報およびテレビ映像信号が字幕表示装置(たとえば、テレビ受像機)で合成されて、表示される。
【0007】
【発明が解決しようとする課題】
従来の字幕放送は、文字多重放送を利用して実施されているが、放送文字情報を文字データとして取出すことは容易ではない。また、字幕表示装置10に表示される放送文字情報の文字の大きさは、固定であり、ユーザが自由に変更することはできない。
【0008】
そこで、本発明の目的は、字幕などの音声に対応した放送文字情報を放送とは別個にユーザに提供することができる放送文字情報配信システム、音声認識結果配信用サーバおよび音声認識結果配信方法を提供することにある。
【0009】
【課題を解決するための手段】
このような目的を達成するために、請求項1の放送番組文字情報配信システムは、放送局側に設置され、放送番組で使用される音声の内容を示す放送番組文字情報を前記放送番組とは別の通信系統において該放送番組と並行して配信可能な放送番組文字情報配信用サーバであって、前記放送番組文字情報は、前記放送番組がリアルタイム番組の場合には、前記放送番組文字情報配信用サーバに接続された音声認識装置による音声認識によって、該放送番組文字情報を受信する情報処理機器が文字として識別可能な文字コードとして生成され、前記放送番組が非リアルタイム番組の場合には、事前原稿に基づいて前記文字コードとして生成される、放送番組文字情報配信用サーバと、前記放送番組文字情報配信用サーバが提供する放送番組文字情報を、前記別の通信系統で受信する前記情報処理機器とを具えたことを特徴とする。
【0011】
請求項放送番組文字情報配信サーバは、放送局側に設置され、放送番組で使用される音声の内容を示す放送番組文字情報を配信可能な放送番組文字情報配信用サーバにおいて、クライアントからの放送番組文字情報の要求を受け付ける手段と、当該要求に応じて前記放送番組文字情報を、前記放送番組とは別の通信系統において該放送番組と並行して送信する送信手段であって、前記放送番組文字情報は、前記放送番組がリアルタイム番組の場合には、前記放送番組文字情報配信用サーバに接続された音声認識装置による音声認識によって、該放送番組文字情報を受信する情報処理機器が文字として識別可能な文字コードとして生成され、前記放送番組が非リアルタイム番組の場合には、事前原稿に基づいて前記文字コードとして生成される、送信手段とを具えたことを特徴とする。
【0013】
請求項放送番組文字情報配信方法は、放送番組で使用される音声の内容を示す放送番組文字情報を、放送局側に設置された放送番組文字情報配信サーバから前記放送番組とは別の通信系統において該放送番組と並行して配信するステップであって、前記放送番組文字情報は、前記放送番組がリアルタイム番組の場合には、前記放送番組文字情報配信用サーバに接続された音声認識装置による音声認識によって、該放送番組文字情報を受信する情報処理機器が文字として識別可能な文字コードとして生成され、前記放送番組が非リアルタイム番組の場合には、事前原稿に基づいて前記文字コードとして生成される、ステップと、前記放送番組文字情報配信用サーバが提供する放送番組文字情報を、前記別の通信系統で情報処理装置により受信するステップとを含むことを特徴とする。
【0015】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【0016】
放送番組の映像・音声信号は不図示の放送の送信機に送られるだけでなく、リアルタイム番組の場合には、音声信号が音声認識装置12に送られる。非リアルタイム番組の場合には、事前原稿13がパーソナルコンピュータの文書処理機能により作成されて文字コード情報の形態(いわゆる文字情報)に文字化される。音声認識装置12の音声認識結果または事前原稿は文字コード列の形態でLAN(広域ネットワーク)15およびインターネットやデータチャンネルを介してユーザのパーソナルコンピュータに送られる。パーソナルコンピュータ18は受信した音声認識結果を内部/または外部の記憶装置20に記憶することができる。
【0017】
また、必要に応じて、パーソナルコンピュータ19のディスプレイ(文字表示装置)19や映像/音声装置(テレビ等)17により受信した文字情報を表示する。なお、リアルタイム放送の音声認識結果を表示させる場合には、パーソナルコンピュータ18で、テレビ等から受信したテレビ映像信号とインターネット等から受信した文字情報を合成して放送文字情報として表示することができる。テレビ映像信号は放送映像・音声11またはデータ放送16から得られる。なお、音声認識装置は図1で示した音響モデル等を使用する音声認識装置とすることができる。
【0018】
より具体的なシステム構成を図3に示す。図3において、放送文字情報配信用サーバ100および音声認識装置101は放送局側に設置されている。音声認識装置は、放送信号の中の音声信号を入力し、従来と同様の音声認識処理を行い、文字コード形態の音声認識結果を放送文字情報配信用サーバ100に出力する。
【0019】
放送文字情報配信用サーバ100には市販されているサーバ用の汎用コンピュータを使用することができる。放送文字情報配信用サーバ100には、インターネット等の通信ネットワーク201を介して通信を行うための通信用プログラム、たとえば、WEBサーバと呼ばれる通信用プログラムと、ゲートウェイプログラムを有する。
【0020】
通信プログラムの機能としては、放送文字情報配信用サーバ100内のハードディスクに保存されているHTML文書の中のユーザのパーソナルコンピュータ300から指示されたHTML文書をパーソナルコンピュータ300に送信する処理、パーソナルコンピュータ300から送信された情報処理命令をゲートウェイプログラムに引き渡す処理を有する。通信プログラムも市販のプログラムを使用することができる。
【0021】
ゲートウェイプログラムは、ユーザのパーソナルコンピュータ300から送られた情報処理命令を実行する。ゲートウェイプログラムも市販のプログラムを使用することができるが、このプログラムにより実行する文字情報の配信処理が新規特徴となる。
【0022】
通信ネットワーク201は本実施形態では、インターネットを想定しているが、一般公衆電話回線その他、通信を行うことができる有線、無線等の放送電波とは異なる通信系統を使用することができる。
【0023】
パーソナルコンピュータ300はユーザ側あるいは放送局の支局などに配置される。パーソナルコンピュータ300はクライアント(サーバと対となる用語)として動作する。パーソナルコンピュータ300にはブラウザと呼ばれ、情報配信用サーバ100上のHTML文書を読み出し、表示する通信プログラムと、放送文字情報とテレビ映像信号を合成して表示する画像処理用プログラムが搭載されている。
【0024】
パーソナルコンピュータ300にはテレビ受像機301が接続されており、パーソナルコンピュータ301は、テレビ受像機からテレビ映像信号を入力する。後述するが、放送文字情報配信用サーバ100から配信された放送文字情報と、テレビ受像機301から入力したテレビ映像信号がパーソナルコンピュータ300で合成されてパーソナルコンピュータ300のディスプレイに表示される。
【0025】
このようなシステム構成の動作を図4〜図6を参照して説明する。図4は放送文字情報配信サーバ100の動作手順を示す。図5はパーソナルコンピュータ300の動作手順を示す。図6はパーソナルコンピュータ300のディスプレイの放送文字情報選択画面を示す。
【0026】
なお、放送文字情報配信用サーバ100が提供する文字情報の配信サービスは会員制を採っており、会員のユーザにはログイン用のユーザIDとパスワードが予め割り当てられているものとする。
【0027】
ユーザはパーソナルコンピュータ300に搭載されいるブラウザを使用して、放送文字情報配信用サーバ100にアクセスする。このアクセスに応じて、放送文字情報配信用サーバ100は、ログイン用のユーザIDおよびパスワードを促すHTML文書をパーソナルコンピュータ300に送信する。パーソナルコンピュータ300は送信されたユーザID入力用のHTML文書をディスプレイに表示してユーザによるユーザIDとパスワードの入力を受け付ける。受け付けたユーザIDとパスワードがパーソナルコンピュータ300から放送文字情報配信用サーバ100に送られる。
【0028】
放送文字情報配信用サーバ100は、WEBサーバを介してゲートウェイプログラムに受信したユーザIDとパスワードを引き渡す。ゲートウェイプログラムにより内部ハードディスクに登録されているユーザIDおよびパスワードと、受信したユーザIDとパスワードによる個人認証が行われる。ユーザIDおよびパスワードが一致した場合に、パーソナルコンピュータ300の放送文字情報配信用サーバ100に対するログインが許可される(図4のステップS10,図5のステップS100)。
【0029】
これによりHTML文書の先頭ページが放送文字情報配信用サーバ100から、パーソナルコンピュータ300に送られる。パーソナルコンピュータ300は、受信したHTML文書をブラウザにより図6に示すようにディスプレイに表示する。
【0030】
図6において、200は放送文字情報の種類を示す案内情報であり、たとえば、リアルタイムで放送文字情報を提供する場合、テレビチャンネルを示す文字列、非リアルタイムで放送文字情報を提供する場合には、テレビ番組名を示す文字列が案内情報として使用される。
【0031】
201は、放送文字情報の送信を指示するボタンスイッチであり、ユーザがマウスを操作して、このスイッチを操作すると、操作されたボタンスイッチに対応する放送文字情報の送信指示命令がパーソナルコンピュータ300から放送文字情報配信用サーバ100に送られる。
【0032】
放送文字情報配信用サーバ100のWEBサーバがこの送信指示命令を受け取ると、ゲートウェイプログラムに送信指示命令を引き渡す。ゲートウェイプログラムは、引き渡された送信指示命令の示す種類の放送文字情報(パーソナルコンピュータ300側で選択された放送文字情報)を、取り出して、WEBサーバを介してパーソナルコンピュータに送信する(図4のステップS20→S30)。
【0033】
ユーザにより選択された放送文字情報が、リアルタイムでの放送文字情報、たとえば、現在放送されているニュース番組の字幕情報の場合は、ニュース番組放送の音声用の音声認識装置101からアナウンサーの音声の音声認識結果を入力し、パーソナルコンピュータ300に送信する。
【0034】
一方、非リアルタイムの放送文字情報の送信が指示された場合には、ゲートウェイプログラムは、放送文字情報配信用サーバ100内のハードディスクに保存されている指示された放送文字情報、たとえば、ニュース番組のアナウンサーの放送用原稿をユーザのパーソナルコンピュータ300に送信する(図4のステップS40)。
【0035】
リアルタイムの放送文字情報を図5のステップS120で受け取ったパーソナルコンピュータ300は、テレビ受像機301から所望のテレビ映像信号を入力し、画像処理用プログラムにより、受信した放送文字情報とテレビ映像信号を合成する。より具体的には、文字コード形態の放送文字情報を、文字コードに対応する文字のイメージに変換した後、文字のイメージをテレビ映像信号中に合成する。この合成処理はパーソナルコンピュータ上のビデオメモリ上で行われる。
【0036】
ビデオメモリ上で合成された映像信号がパーソナルコンピュータ300のディスプレイに表示される(図5のステップS130→S140)。
【0037】
一方、非リアルタイムの放送文字情報をクライアント300が受信した場合には、テレビ映像に変わり、予めパーソナルコンピュータ300内に用意している静止画イメージ、あるいは放送文字情報配信用サーバ100から受信した静止画イメージと、受信した放送文字情報を合成して、合成イメージをディスプレイに表示させる(図5のステップS130→S140)。
【0038】
以下、パーソナルコンピュータ300のユーザが終了を指示するまで、放送文字情報配信用サーバ100は図4のステップ30〜S40の処理を繰り返して放送文字情報を送信する。クライアント300は図5のステップ120〜S150の処理を繰り返す。
【0039】
これにより、ユーザは、現在放送されているテレビ放送とその放送文字情報や過去に放送されたテレビ放送の放送文字情報をディスプレイで目視で見ることができる。
【0040】
上述の実施形態の外に次の形態を実施することができる。
【0041】
1)上述の実施形態ではテレビ映像に放送文字情報を字幕情報として合成する例であったが、放送文字情報を文書としてパーソナルコンピュータ300で受信することができる。この場合は、図6の表示画面の中に、単に文書としての放送文字情報を案内する。ボタンスイッチ201により文書としての放送文字情報がユーザにより選択された場合、放送文字情報配信用サーバ100から送られる放送文字情報をパーソナルコンピュータ300により内部のハードディスクに保存する。
【0042】
このような情報処理をHTML文書に定義しておくことにより、ユーザは、字幕情報付テレビ映像を見ることができるだけでなく、ハードディスクに記憶された文字情報を、ワープロソフトなどにより文字の大きさを変換して、ディスプレイに表示させることができる。
【0043】
2)上述の実施形態では専用の音声認識装置101を番組/または放送チャンネルごとに用意しているが、音声認識装置をパーソナルコンピュータに搭載された音声認識プログラムにより実現してもよい。
【0044】
3)上述の実施形態では、放送文字情報を受信する情報処理機器としてパーソナルコンピュータを説明したが、通信機能を有する他の情報処理機器、たとえば、携帯電話、携帯用情報端末、テレビ受像機、サーバ等各種の情報処理機器を使用することができる。
【0045】
【発明の効果】
以上、説明したように、本発明によれば、たとえば、テレビ放送電波とは別のインタネットなどの通信系統により字幕などの放送文字情報を提供できるので、放送文字情報を受信する情報処理機器では、放送文字情報をテレビ映像と合成したり、放送文字情報を単独で表示し、また、放送文字情報の事態をワープロソフトにより変更することも可能となる。また、情報処理機器として携帯電話を使用すると、任意の場所で、リアルタイムで放送されているニュースを文字の形態の文字情報で知ることができる。
【図面の簡単な説明】
【図1】従来例の字幕配信方法を示すブロック図である。
【図2】本発明実施形態の放送文字情報配信方法を示すブロック図である。
【図3】本発明実施形態の具体的なシステム構成を示すブロック図である。
【図4】放送文字情報配信用サーバの動作手順を示すフローチャートである。
【図5】放送文字情報を受け取るパーソナルコンピュータの動作手順を示すフローチャートである。
【図6】表示画面の一例を示す説明図である。
【符号の説明】
100 情報配信用サーバ
101 音声認識装置
200 通信ネットワーク
300 パーソナルコンピュータ
301 テレビ受像機

Claims (3)

  1. 放送局側に設置され、放送番組で使用される音声の内容を示す放送番組文字情報を前記放送番組とは別の通信系統において該放送番組と並行して配信可能な放送番組文字情報配信用サーバであって、前記放送番組文字情報は、前記放送番組がリアルタイム番組の場合には、前記放送番組文字情報配信用サーバに接続された音声認識装置による音声認識によって、該放送番組文字情報を受信する情報処理機器が文字として識別可能な文字コードとして生成され、前記放送番組が非リアルタイム番組の場合には、事前原稿に基づいて前記文字コードとして生成される、放送番組文字情報配信用サーバと、
    前記放送番組文字情報配信用サーバが提供する放送番組文字情報を、前記別の通信系統で受信する前記情報処理機器と
    を具えたことを特徴とする放送番組文字情報配信システム。
  2. 放送局側に設置され、放送番組で使用される音声の内容を示す放送番組文字情報を配信可能な放送番組文字情報配信用サーバにおいて、
    クライアントからの放送番組文字情報の要求を受け付ける手段と、
    当該要求に応じて前記放送番組文字情報を、前記放送番組とは別の通信系統において該放送番組と並行して送信する送信手段であって、前記放送番組文字情報は、前記放送番組がリアルタイム番組の場合には、前記放送番組文字情報配信用サーバに接続された音声認識装置による音声認識によって、該放送番組文字情報を受信する情報処理機器が文字として識別可能な文字コードとして生成され、前記放送番組が非リアルタイム番組の場合には、事前原稿に基づいて前記文字コードとして生成される、送信手段
    を具えたことを特徴とする放送番組文字情報配信サーバ。
  3. 放送番組で使用される音声の内容を示す放送番組文字情報を、放送局側に設置された放送番組文字情報配信サーバから前記放送番組とは別の通信系統において該放送番組と並行して配信するステップであって、前記放送番組文字情報は、前記放送番組がリアルタイム番組の場合には、前記放送番組文字情報配信用サーバに接続された音声認識装置による音声認識によって、該放送番組文字情報を受信する情報処理機器が文字として識別可能な文字コードとして生成され、前記放送番組が非リアルタイム番組の場合には、事前原稿に基づいて前記文字コードとして生成される、ステップと
    前記放送番組文字情報配信用サーバが提供する放送番組文字情報を、前記別の通信系統で情報処理装置により受信するステップと
    を含むことを特徴とする放送番組文字情報配信方法。
JP2000365815A 2000-11-30 2000-11-30 放送番組文字情報配信システム、放送番組文字情報配信用サーバおよび放送番組文字情報配信方法 Expired - Fee Related JP4326686B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000365815A JP4326686B2 (ja) 2000-11-30 2000-11-30 放送番組文字情報配信システム、放送番組文字情報配信用サーバおよび放送番組文字情報配信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000365815A JP4326686B2 (ja) 2000-11-30 2000-11-30 放送番組文字情報配信システム、放送番組文字情報配信用サーバおよび放送番組文字情報配信方法

Publications (2)

Publication Number Publication Date
JP2002171235A JP2002171235A (ja) 2002-06-14
JP4326686B2 true JP4326686B2 (ja) 2009-09-09

Family

ID=18836524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000365815A Expired - Fee Related JP4326686B2 (ja) 2000-11-30 2000-11-30 放送番組文字情報配信システム、放送番組文字情報配信用サーバおよび放送番組文字情報配信方法

Country Status (1)

Country Link
JP (1) JP4326686B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4544166B2 (ja) * 2006-01-30 2010-09-15 ダイキン工業株式会社 放送画像生成方法、放送画像生成プログラム及び放送画像生成装置
JP6157444B2 (ja) * 2014-12-08 2017-07-05 関西テレビ放送株式会社 字幕送出装置及びその制御プログラム、並びに字幕配信システム

Also Published As

Publication number Publication date
JP2002171235A (ja) 2002-06-14

Similar Documents

Publication Publication Date Title
US6559866B2 (en) System and method for providing foreign language support for a remote control device
KR100706967B1 (ko) 이동통신망에서 3d 캐릭터를 이용한 뉴스 정보를 제공하는방법 및 시스템
TWI249729B (en) Voice browser dialog enabler for a communication system
EP1143679B1 (en) A conversational portal for providing conversational browsing and multimedia broadcast on demand
TW200820216A (en) Improved methods and apparatus for delivering audio information
KR20010112438A (ko) 정보 분배 방법, 정보 분배 시스템, 정보 분배 서버, 이동통신망 시스템 및 통신 서비스 제공 방법
JP4792247B2 (ja) コンテンツ視聴システム及びコンテンツの視聴方法
KR100844056B1 (ko) 표시 회답 시스템, 프로그램 표시 장치 및 프로그램 표시프로그램을 저장한 기록 매체
AU2018333668B2 (en) Information processing device and information processing method
KR20170135598A (ko) 특정인의 합성된 가상 음성을 이용한 음성 대화 시스템 및 방법
CN114121028A (zh) 语音播放方法、装置、设备以及存储介质
KR20070097280A (ko) 표시 회답 시스템, 프로그램 표시 장치 및 프로그램 표시프로그램을 저장한 기록 매체
JP2001022374A (ja) 電子番組ガイドの操作装置および電子番組ガイドの送信装置
JP4159043B2 (ja) テレビジョン放送システム
JP4326686B2 (ja) 放送番組文字情報配信システム、放送番組文字情報配信用サーバおよび放送番組文字情報配信方法
JPH10322478A (ja) 音声によるハイパーテキストアクセス装置
KR20060045032A (ko) 이동 단말기를 이용한 방송 참여 방법 및 방송 참여를 위한서비스 제공 장치 및 그를 포함하는 시스템
KR20020027445A (ko) 멀티미디어 공중단말기를 이용한 모바일 콘텐츠 다운로드시스템 및 그 방법
JPH11250068A (ja) 情報処理装置および方法、並びに記録媒体
JP2002108601A (ja) 情報処理システム及び装置及び方法
KR101695020B1 (ko) 커뮤니티 서비스 제공 방법 및 장치
JPH10322617A (ja) 映像音響機器
KR100705901B1 (ko) 이동통신 단말기 및 텔레비젼을 위한 문자 및 음성정보서비스 시스템
KR20170139250A (ko) 대리인을 이용하여 특정인의 음성 합성을 통한 가상 음성 대화 시스템 및 방법
JP2002182684A (ja) 音声認識用データ配信システム、方法および音声認識用データ配信サーバ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071016

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090529

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090610

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140619

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees