JP5344996B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP5344996B2
JP5344996B2 JP2009131797A JP2009131797A JP5344996B2 JP 5344996 B2 JP5344996 B2 JP 5344996B2 JP 2009131797 A JP2009131797 A JP 2009131797A JP 2009131797 A JP2009131797 A JP 2009131797A JP 5344996 B2 JP5344996 B2 JP 5344996B2
Authority
JP
Japan
Prior art keywords
unit
service
information
program
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009131797A
Other languages
English (en)
Other versions
JP2010278945A (ja
Inventor
智子 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009131797A priority Critical patent/JP5344996B2/ja
Publication of JP2010278945A publication Critical patent/JP2010278945A/ja
Application granted granted Critical
Publication of JP5344996B2 publication Critical patent/JP5344996B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、情報処理装置に関し、特に、番組内容に関連した情報を取得して番組の映像とともに表示する情報処理装置に関する。
従来では、視聴中の放送番組データ中に出現する様々な情報の中でユーザが気になった話題、言葉等に関するキーワードのリストを表示でき、且つそのキーワードのリストを用いてインターネットからの情報検索を行うことが可能な情報処理装置について開示されている(例えば、特許文献1参照)。
また、コンテンツの時間経過と同期して秒単位で変化するテレビ番組の「シーン」や「コーナー」と時間的に同期したキーワードの抽出方法と、それに基づくウェブページなどの所定の形態のコンテンツの検索・表示を行う情報検索方法、情報表示装置及びプログラムが開示されている(例えば、特許文献2参照)。
特開2009−38502号公報 特開2009−10797号公報
しかし、特許文献1では、ユーザによる所定の操作によってキーワードを選択した場合のみにおいてインターネットから情報検索を行うため、放送番組データからのキーワードの選択はユーザが行う必要があった。また、特許文献2では、キーワードの選択を情報処理装置内に備えられたCPUの処理によって行うため、情報処理装置におけるその他の処理速度を低下させてしまうことがあり得る。
本発明は、これらの問題を解決するためになされたものであり、番組に関連した情報を取得して表示する際のユーザによる操作を軽減するとともに、処理負荷の少ない情報処理装置を提供することを目的とする。
上記の課題を解決するために、本発明による情報処理装置は、デジタル放送の番組内容に関連する番組関連情報を前記番組の映像とともに表示させ、デジタル放送信号を受信するデジタル放送受信部と、デジタル放送信号に含まれる番組内容情報を取得する情報取得部と、番組内容情報が文章または単語のいずれであるのかを判断し、文章であると判断された場合において、インターネット上の文章解析サービスの中から任意の文章解析サービスを選択し、当該選択した文章解析サービスに対応したクエリーを生成して選択した文章解析サービスに送信した後、選択した文章解析サービスから取得したレスポンスを解析して単語を抽出する意味解析部と、意味解析部で抽出された単語から番組関連情報の対象となる単語を選択するためのインターネット上のサービスの中から任意のサービスを選択し、当該選択したサービスに対応したクエリーを生成して選択したサービスに送信した後、選択したサービスから取得したレスポンスを解析して番組関連情報の対象となる単語を選択する対象選択部と、対象選択部で選択された単語に関連する情報を提供するインターネット上のサービスの中から任意のサービスを選択し、当該選択したサービスに対応したクエリーを生成して選択したサービスに送信した後、選択したサービスから取得したレスポンスを解析して番組関連情報を抽出する対象調査部と、番組関連情報と番組映像とを合成して出力する合成部とを備える
本発明によると、番組内容情報が文章または単語のいずれであるのかを判断し、文章であると判断された場合において、インターネット上の文章解析サービスの中から任意の文章解析サービスを選択し、当該選択した文章解析サービスに対応したクエリーを生成して選択した文章解析サービスに送信した後、選択した文章解析サービスから取得したレスポンスを解析して単語を抽出する意味解析部と、意味解析部で抽出された単語から番組関連情報の対象となる単語を選択するためのインターネット上のサービスの中から任意のサービスを選択し、当該選択したサービスに対応したクエリーを生成して選択したサービスに送信した後、選択したサービスから取得したレスポンスを解析して番組関連情報の対象となる単語を選択する対象選択部と、対象選択部で選択された単語に関連する情報を提供するインターネット上のサービスの中から任意のサービスを選択し、当該選択したサービスに対応したクエリーを生成して選択したサービスに送信した後、選択したサービスから取得したレスポンスを解析して番組関連情報を抽出する対象調査部とを備えるため、番組に関連した情報を取得して表示する際のユーザによる操作を軽減するとともに、処理負荷の少ない情報処理装置を提供することが可能となる。

本発明の実施形態1による情報処理装置のブロック図である。 本発明の実施形態1による意味解析部のフローチャートである。 本発明の実施形態1による対象選択部のフローチャートである。 本発明の実施形態1による対象調査部のフローチャートである。 本発明の実施形態2による情報処理装置のブロック図である。 本発明の実施形態2によるサービス追加部のフローチャートである。 本発明の実施形態3による対象選択部のフローチャートである。
本発明の実施形態について、図面を用いて以下に説明する。
〈実施形態1〉
図1は、本発明の実施形態1による情報処理装置1のブロック図である。図1に示すように、本実施形態1による情報処理装置1は、デジタル放送の番組内容に関連する番組関連情報を前記番組の映像とともに表示させ、デジタル放送信号を受信するデジタル放送受信部10と、デジタル放送信号に含まれる番組内容情報を取得する情報取得部11と、番組内容情報から単語を抽出する意味解析部12と、意味解析部12で抽出された単語から番組関連情報の対象となる単語を選択する対象選択部13と、対象選択部13で選択された単語に基づいて番組関連情報を調査して抽出する対象調査部14と、番組関連情報と番組映像とを合成して出力する合成部18とを備え、意味解析部12、対象選択部13、および対象調査部14のそれぞれにおける処理は、インターネット2上の任意のサービスを利用することを特徴としている。
次に、本実施形態1による情報処理装置1の動作について説明する。
デジタル放送受信部10では、例えば、情報処理装置1に備えられた受信アンテナ(図示せず)などによって受信した、放送局から送信されたデジタル放送信号に含まれるデータが入力される。入力されたデータには、映像、音声、各種SI(Service Information:番組配列情報)、字幕、データ放送などのデータが含まれており、これらのデータが混在して入力される。これらのデータは、情報取得部11に出力される。なお、デジタル放送信号は、必ずしも放送の形態で配信される必要はなく、ネットワークを通じて配信されたり、番組やコンテンツといった任意の単位で個別に配信されてもよい。
情報取得部11では、デジタル放送受信部10から入力された各種データの中から、放送番組の内容に関連する情報(番組内容情報)を取得する。当該情報としては、字幕データ、セクションデータ(SI情報データ、特に、電子番組表などの提示に用いられているEIT(Event Information Table)セクション、SDT(Service Description Table)セクションなどを用いることができる)、文字スーパー、データ放送などから抽出した文字列情報などがある。また、映像データ映像データに含まれる画像を認識することによって得られる、動画像の意味内容を表す文字列情報や動画像に含まれる文字列(例えば、テロップなど)を抽出した文字列情報を用いることができる。
意味解析部12では、情報取得部11から入力された番組内容情報から単語を抽出する。図2は、本発明の実施形態1による意味解析部12のフローチャートである。図2(a)に示すように、ステップS121において、情報取得部11から番組内容情報が入力されると、当該番組内容情報の意味を解析する(番組内容情報から単語を抽出する)ための処理が開始されステップS122に移行する。
ステップS122において、入力された情報が文章または単語のいずれであるのかを判断する。そして、文章であると判断された場合はステップS123に移行し、単語であると判断された場合はステップS124に移行して処理を終了する。
ステップS123において、ステップS122にて判断された文章を番組内容を意味し得る単語に分解する。ここで、番組内容を意味し得る単語とは、例えば、文章中に含まれる名詞(特に、時刻や場所を表す名詞や人名など)である。
図2(b)は、ステップS123における処理の詳細を示したフローチャートである。図2(b)に示すように、ステップS1231において、ステップS122にて判断された文章から単語を抽出する処理を開始してステップS1232に移行する。
ステップS1232において、インターネット2上の文章解析サービスの中から何れの文章解析方法を使用するのかを選択する。なお、サービスの選択は、ユーザ操作によるものでもよく、固定的に選択されてもよく、また、自動的に選択されてもよい。例えば、Yahoo!Japanが提供する「日本語形態素解析 Web API」などがある。
ステップS1233において、ステップS1232にて選択された文章解析サービスに対応したクエリー形式を生成する。例えば、上記の「日本語形態素解析 Web API」では、解析対象となる文章を規定のURI(Uniform Resource Identifier)形式に埋め込むクエリー形式となっている。また、SOAP(Simple Object Access Protocol)コマンドを使用した形式であってもよい。
ステップS1234において、ステップS1233にて生成したクエリーをネットワークIF部15を介してインターネット2上のサービス提供サイトに送信する。
ステップS1235において、ステップS1234にて送信したクエリーのサービス提供サイトからのレスポンスをネットワークIF部15を介して取得する。例えば、前述の「日本語形態素解析 Web API」では、規定形式であるXML形式で送信される。
ステップS1236において、ステップS1235にて取得したレスポンスの内容を解析する。解析の内容としては、取得したレスポンスには元の文章を単語に分解した情報が含まれているため、それらの単語を取り出す処理を行う。ステップS1236の後、ステップS1237に移行して処理を終了する。
対象選択部13では、意味解析部12で抽出された単語から、デジタル放送の番組内容に関連する情報(番組関連情報)の対象となる単語を選択する。図3は、本発明の実施形態1による対象選択部13のフローチャートである。図3に示すように、ステップS131において、意味解析部12から入力された単語から番組関連情報の対象となる単語を選択する処理が開始されステップS132に移行する。
ステップS132において、番組関連情報の対象となる単語を選択するために単語の重み付けを行うインターネット2上のサービスの中から何れのサービスを利用するのかを選択する。なお、サービスの選択は、ユーザ操作によるものでもよく、固定的に選択されてもよく、また、自動的に選択されてもよい。例えば、対象となる単語を選択するための全体的なアプローチとして、検索エンジンの単語ヒット数を元にシンプソン係数を計算して単語間の近さ(相関関係の強さ)を算出し、算出した結果に基づいて番組関連情報の対象となる単語を選択した場合において、ステップS132での選択としては、例えば検索エンジンの単語ヒット数を得ることができる「ウェブ検索」などがある。
ステップS133において、ステップS132にて選択されたサービスに対応したクエリー形式を生成する。
ステップS134において、ステップS133にて生成したクエリーをインターネット2上のサービス提供サイトにネットワークIF部15を介して送信する。
ステップS135において、ステップS134にて送信したクエリーのサービス提供サイトからレスポンスをネットワークIF部15を介して取得する。
ステップS136において、ステップS135にて取得したレスポンスの内容を解析する。解析の内容としては、上記のアプローチの場合では、取得したレスポンスから検索ヒット数を抽出し、抽出した検索ヒット数に基づいて対象となる単語を選択する処理を行う。ステップS136の後、ステップS137に移行して処理を終了する。
対象調査部14では、対象選択部13で選択された単語に基づいて番組関連情報を調査して抽出する。図4は、本発明の実施形態1による対象調査部14のフローチャートである。図4に示すように、ステップS141において、対象選択部13にて選択された単語が入力されると、当該単語に基づいて番組関連情報を調査して抽出する処理が開始されるとステップS142に移行する。
ステップS142において、対象選択部13で選択された単語に関連する情報を提供するインターネット2上のサービスの中から何れのサービスを利用するのかを選択する。なお、サービスの選択は、ユーザ操作によるものでもよく、固定的に選択されてもよく、また、自動的に選択されてもよい。
例えば、対象選択部13で選択された単語に関連する情報を提供するサービスとしては、選択された単語の意味内容を解説・説明するような辞書・辞典でもよく、選択された単語がインターネット2内で検索された数やランキングでもよく、選択された単語が含まれたニュースやブログでもよく、選択された単語が場所情報であった場合には当該場所を示す地図情報でもよく、選択された単語を購入できるサイト情報やショッピング情報でもよい。また、上記の他、選択された単語に基づく関連情報を得るサービスであればいかなるサービスであってもよい。
ステップS143において、ステップS142にて選択されたサービスに対応したクエリー形式を生成する。
ステップS144において、ステップS143にて生成したクエリーをインターネット2上のサービス提供サイトにネットワークIF部15を介して送信する。
ステップS145において、ステップS144にて送信したクエリーのサービス提供サイトからレスポンスをネットワークIF部15を介して取得する。
ステップS146において、ステップS145にて取得したレスポンスの内容を解析する。解析の内容としては、上記のサービスの内の辞書サービスを利用した場合は、取得したレスポンスから単語の意味情報を抽出する処理を行う。ステップS146の後、ステップS147に移行して処理を終了する。
結果描画部16では、対象調査部14で抽出された番組関連情報が入力され、入力された番組関連情報の内容をグラフィックス基盤上に描画する。そして、描画されたブラフィックスデータは、合成表示部18(合成部)に出力される。
デジタル放送提示部17では、デジタル放送受信部10から出力されたデジタル放送信号が入力され、入力されたデジタル放送信号の内容をビデオ表示データなどの提示データに変換する。変換した提示データは、合成表示部18に出力される。
合成表示部18(合成部)では、結果描画部16から出力されたグラフィックスデータ(番組関連情報)と、デジタル放送提示部17から出力された提示データ(番組映像)とが入力され、両データを合成して1つの画面データを生成する。生成した画面データは、情報処理装置1の外部に出力される。
以上のことから、意味解析部12、対象選択部13、および対象調査部14のそれぞれにおける処理をインターネット2上の任意のサービスを利用して行っているため、番組に関連した情報を取得して表示する際のユーザによる操作を軽減するとともに、情報処理装置1の処理負荷が軽減される。
〈実施形態2〉
本発明の実施形態2では、情報処理装置1が、意味解析部12、対象選択部13、または対象調査部14にて使用するサービスをインターネット2上から取得して追加するサービス追加部19を備えていることを特徴としている。その他の構成および動作は実施形態1と同様であるため、ここでは説明を省略する。
図5は、本発明の実施形態2による情報処理装置1のブロック図である。図5に示すように、サービス追加部19は、意味解析部12、対象選択部13、または対象調査部14にて使用するサービスをネットワークIF部15を介して取得し、各部のサービスを格納している箇所(図示せず)に出力して追加する。
図6は、本発明の実施形態2によるサービス追加部19のフローチャートである。図6に示すように、ステップS191において、意味解析部12、対象選択部13、または対象調査部14に対してサービスを追加する場合に処理が開始され、ステップS192に移行する。
ステップS192において、情報処理装置1が意味解析部12、対象選択部13、または対象調査部14に追加するサービスを選択する。なお、サービスの選択は、ユーザによる選択でもよく、図示しないインターネット2上に存在する装置からの指示による選択でもよく、また、情報処理装置1が自動的に追加サービスを検索する、例えば、UDDI(Universal Description Discoverry and Integration)を用いたWSDL(Web Services Description Language)の検索などのウェブサービスの提供サービス検索機能を利用した選択であってもよい。
ステップS193において、ステップS192にて選択されたサービスの情報をネットワークIF部15を介してインターネット2上から取得する。ここで、サービスの情報とは、ウェブサービスの処理内容やサービスのクエリー/レスポンスの形式のことであり、例えばWSDLの内容である。
ステップS194において、ステップS193にて取得されたサービス情報を、例えば、意味解析部12にて選択される文章解析方法のサービスの対象となるように意味解析部12に格納される。
以上のことから、意味解析部12、対象選択部13、または対象調査部14に対して新規に選択するサービスを追加することができるため、新たな番組関連情報をユーザに提供することが可能となる。
〈実施形態3〉
本発明の実施形態3では、対象選択部13が番組関連情報の対象となる単語を選択する際において、ユーザの嗜好情報を加味する処理を追加して行うことを特徴としている。その他の構成および動作は、実施形態1または実施形態2と同様であるため、ここでは説明を省略する。
図7は、本発明の実施形態3による対象選択部13のフローチャートである。図7に示すように、本実施形態3による対象選択部13における処理と、実施形態1および実施形態2による対象選択部13における処理(図3)とは、ステップS136の後にステップS138の処理を追加していることが異なる。その他のステップにおける処理は同様であるため、ここでは説明を省略する。
ステップS138において、ステップS136にて選択された単語に対して、別途取得したユーザ嗜好データ(嗜好情報)によって重み付けを行う。すなわち、ユーザの嗜好に合うように単語を選択する(単語を絞り込む)。ユーザ嗜好データは、例えば、ユーザが直接入力したものでもよく、ユーザが以前選択した番組関連情報のリストでもよく、また、ユーザが以前視聴した番組の内容などから得られた情報でもよい。
以上のことから、番組関連情報の対象となる単語を選択する際において、ユーザ嗜好情報を加味する処理を行うことによって、ユーザが興味を有する番組関連情報を提示することが可能となる。
この発明は、情報の収集および/または解析結果の表示に利用できる。特に、インターネットなどを経由して情報を収集する情報収集方法、収集された情報を解析する情報解析方法、および収集・解析された情報を表示する情報表示装置、並びに情報収集、解析や表示を実行するプログラムに利用でき、特にテレビジョン受像機のように放送番組などのコンテンツを表示する装置に利用できる。
1 情報処理装置、2 インターネット、10 デジタル放送受信部、11 情報取得部、12 意味解析部、13 対象選択部、14 対象調査部、15 ネットワークIF部、16 結果描画部、17 デジタル放送提示部、18 合成表示部、19 サービス追加部。

Claims (3)

  1. デジタル放送の番組内容に関連する番組関連情報を前記番組の映像とともに表示させる情報処理装置において、
    前記デジタル放送信号を受信するデジタル放送受信部と、
    前記デジタル放送信号に含まれる番組内容情報を取得する情報取得部と、
    前記番組内容情報が文章または単語のいずれであるのかを判断し、前記文章であると判断された場合において、インターネット上の文章解析サービスの中から任意の前記文章解析サービスを選択し、当該選択した前記文章解析サービスに対応したクエリーを生成して前記選択した前記文章解析サービスに送信した後、前記選択した前記文章解析サービスから取得したレスポンスを解析して単語を抽出する意味解析部と、
    前記意味解析部で抽出された単語から前記番組関連情報の対象となる単語を選択するための前記インターネット上のサービスの中から任意の前記サービスを選択し、当該選択した前記サービスに対応したクエリーを生成して前記選択した前記サービスに送信した後、前記選択した前記サービスから取得したレスポンスを解析して前記番組関連情報の対象となる単語を選択する対象選択部と、
    前記対象選択部で選択された単語に関連する情報を提供する前記インターネット上のサービスの中から任意の前記サービスを選択し、当該選択した前記サービスに対応したクエリーを生成して前記選択したサービスに送信した後、前記選択したサービスから取得したレスポンスを解析して前記番組関連情報を抽出する対象調査部と、
    前記番組関連情報と前記番組映像とを合成して出力する合成部と、
    を備える、情報処理装置。
  2. 前記意味解析部、前記対象選択部、または前記対象調査部に追加する前記サービスを選択し、当該選択した前記サービスのクエリー/レスポンスの形式を示す情報を前記インターネット上から取得し、取得した前記情報を前記意味解析部、前記対象選択部、または前記対象調査部に格納することで、前記選択した前記サービスを前記意味解析部、前記対象選択部、または前記対象調査部に追加するサービス追加部をさらに備えることを特徴とする、請求項1に記載の情報処理装置。
  3. 前記対象選択部は、前記番組関連情報の対象となる単語を選択する際において、ユーザの嗜好情報を加味する処理を追加して行うことを特徴とする、請求項1または2に記載の情報処理装置。
JP2009131797A 2009-06-01 2009-06-01 情報処理装置 Expired - Fee Related JP5344996B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009131797A JP5344996B2 (ja) 2009-06-01 2009-06-01 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009131797A JP5344996B2 (ja) 2009-06-01 2009-06-01 情報処理装置

Publications (2)

Publication Number Publication Date
JP2010278945A JP2010278945A (ja) 2010-12-09
JP5344996B2 true JP5344996B2 (ja) 2013-11-20

Family

ID=43425444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009131797A Expired - Fee Related JP5344996B2 (ja) 2009-06-01 2009-06-01 情報処理装置

Country Status (1)

Country Link
JP (1) JP5344996B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3908919B2 (ja) * 2000-05-10 2007-04-25 株式会社アルカディア 形態素解析システムと形態素解析方法
JP2002374506A (ja) * 2001-06-13 2002-12-26 Matsushita Electric Ind Co Ltd 情報獲得方法、情報獲得システム、媒体及びプログラム
JP4045805B2 (ja) * 2002-01-11 2008-02-13 日本電気株式会社 テレビ受信機およびテレビアプリケーション制御方法
JP2006186426A (ja) * 2004-12-24 2006-07-13 Toshiba Corp 情報検索表示装置、情報検索表示方法および情報検索表示プログラム
JP2009026233A (ja) * 2007-07-23 2009-02-05 Design Exchange Co Ltd 検索用キーワード自動生成システム、検索用キーワード自動生成方法、及び検索用キーワード自動生成プログラム

Also Published As

Publication number Publication date
JP2010278945A (ja) 2010-12-09

Similar Documents

Publication Publication Date Title
US11917242B2 (en) Identification and presentation of content associated with currently playing television programs
KR101644789B1 (ko) 방송 프로그램 연관 정보 제공 장치 및 방법
US7725467B2 (en) Information search system, information processing apparatus and method, and information search apparatus and method
CN101296362B (zh) 向用户提供对可能感兴趣的信息的访问的方法与系统
KR101460613B1 (ko) 로컬 네트워크내의 장치의 사용자에게 적절한 정보를제공하는 방법 및 시스템
JP2009232250A (ja) 番組情報表示装置および番組情報表示方法
US8396868B2 (en) Information processing apparatus and information processing method
JP2006319456A (ja) キーワード提供システム及びプログラム
EP3358475A1 (en) Information processing device, information processing method and program
JP5344937B2 (ja) テレビ番組のメタ情報に基づく検索方法、検索システム、及び検索ターム生成装置
JP5185891B2 (ja) コンテンツ提供装置、コンテンツ提供方法およびコンテンツ提供プログラム
KR101703742B1 (ko) 사용자 기반 재핑광고 분석 및 제공시스템
JP5344996B2 (ja) 情報処理装置
US8863193B2 (en) Information processing apparatus, broadcast receiving apparatus and information processing method
JPH10301944A (ja) Wwwブラウザ装置
JP5600498B2 (ja) 情報選択装置、サーバ装置、情報選択方法、及びプログラム
JP6440459B2 (ja) 検索装置、検索方法及び検索プログラム
KR100207696B1 (ko) 인터넷 한글 캡션 tv를 이용한 캡션의 하이퍼링크된 정보 획득방법
KR20200023094A (ko) 간편 이미지 검색 방법 및 이를 지원하는 서비스 장치
JP2011145813A (ja) 検索支援装置及び検索支援方法
JP2011188346A (ja) テレビジョンシステム及びその情報表示方法
JP2005157690A (ja) 電子機器装置及び情報提供方法
KR20140095675A (ko) 셋톱박스와 연동하는 컨텐츠 추천 시스템 및 그 방법
JP2009060368A (ja) 視聴者評価収集装置、視聴者評価収集方法、及び視聴者評価収集プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130813

R150 Certificate of patent or registration of utility model

Ref document number: 5344996

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees