JP4129356B2 - 放送情報提供システム、放送情報提供方法、放送情報提供装置及び放送情報提供プログラム - Google Patents
放送情報提供システム、放送情報提供方法、放送情報提供装置及び放送情報提供プログラム Download PDFInfo
- Publication number
- JP4129356B2 JP4129356B2 JP2002010348A JP2002010348A JP4129356B2 JP 4129356 B2 JP4129356 B2 JP 4129356B2 JP 2002010348 A JP2002010348 A JP 2002010348A JP 2002010348 A JP2002010348 A JP 2002010348A JP 4129356 B2 JP4129356 B2 JP 4129356B2
- Authority
- JP
- Japan
- Prior art keywords
- broadcast information
- emotion
- keyword
- information providing
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、利用者が発話した音声情報から利用者の感情を推論し、推論した利用者の感情に基づいて所定の放送情報を出力等する放送情報提供システム、放送情報提供方法、放送情報提供装置及び放送情報提供プログラムに関する。
【0002】
【従来の技術】
従来から、利用者は、番組リストの一覧が掲載されている雑誌を見て、自己が視聴を希望する番組にチャンネルを合わせることによって希望する番組を視聴することができる。また、利用者は、自己がある番組を録音したい場合は、録音をするためのセッティングを操作ボタンを通じて行えば希望する番組をビデオテープ等に録音することができる。
【0003】
【発明が解決しようとする課題】
しかしながら、従来からのテレビ、ビデオ等の家電機器は、自己が視聴したい放送番組等を操作ボタンを用いて逐一選択しなければならず、操作上の煩雑さを拭えない感があった。特に、利用者が放送番組を視聴する際には、視聴者は、片手でリモコンを持ち、他方の手で番組リストが掲載された雑誌を持っていたため、更に操作上の煩雑さを助長させていた。このため、利用者から発話された音声情報を解析し、解析した結果に基づいて利用者が要求する放送番組を受信等することができる家電機器の開発が望まれていた。
【0004】
そこで、本発明は以上の点に鑑みてなされたものであり、利用者が入力した文字列に基づいて特定のキーワードを抽出し、抽出したキーワードに基づいてそのキーワードに対して利用者が抱く感情度を推論して、推論した感情度又は前記キーワードとに基づいて利用者が要求する情報を受信等することのできる放送情報提供システム、放送情報提供方法及び放送情報提供プログラムを提供することを課題とする。
【0005】
【課題を解決するための手段】
本願に係る発明は、上記課題を解決すべくなされたものであり、電子機器(放送情報提供装置)が、複数の放送局から放送された映像、音声等を含む複数の放送情報の中から、利用者の要求に応じて前記放送情報を受信する際に、前記利用者から入力された文字列を認識し、各前記放送情報に関連付けられた各キーワード群と該各放送情報を配信する前記各放送局とを対応付けるリストテーブルを記憶し、認識した前記文字列と前記リストテーブルとを照合し、該文字列の中から所定のキーワードを抽出し、抽出した前記キーワードに基づいて、該キーワードに対応付けられた前記放送局を選局し、選局した前記放送局から前記キーワードに関連付けられた前記放送情報を受信し、受信した前記放送情報を出力することを特徴とするものである。尚、電子機器は、受信した前記放送情報を記憶するものであってもよい。
【0006】
このような本願に係る発明によれば、電子機器が、利用者から発話された内容に含まれる文字列の中から所定のキーワードを抽出し、抽出された前記キーワードに関連付けられた前記放送情報を受信するので、電子機器は、利用者が要求する放送情報(例えば、番組)を的確に受信し出力することができる。
【0007】
また、利用者は、電子機器が自己の音声に反応して自動的に自己の要求するチャンネルに切り替えてくれるので、リモコンを用いてチャンネルを切り替える際の煩雑さを解消することができる。
【0008】
本願に係る発明は、電子機器が、抽出された前記キーワードを含む前記文字列に基づいて、該キーワードに対して前記利用者が抱く感情の度合いを示す感情度を認識し、認識した前記感情度と該感情度に関連付けられた前記キーワードとを記憶し、記憶している前記感情度に関連付けられている前記キーワードに基づいて、該キーワードに対応付けられている前記放送局を選局することを特徴とするものである。
【0009】
このような本願に係る発明によれば、電子機器が、利用者が発話した内容に含まれるキーワードに関連付けられている前記感情度に応じて、該キーワードに対応付けられた前記放送局を選局することができるので、電子機器は、例えば、利用者の感情度が高い(興奮している状態など)場合は、より利用者の感情度を高ぶらせるような放送情報を放送している放送局を選局することができ、利用者の要求によりマッチした放送情報を提供することができる。
【0010】
尚、電子機器は、抽出された前記キーワードが所定の数以上になった場合に、各該キーワードに関連付けられた前記放送情報を受信するものであってもよい。これにより、電子機器は、抽出された前記キーワードが所定の数以上になった場合に、各該キーワードに関連付けられた前記放送情報を取得するので、利用者が要求する情報を的確に絞り込んでから提供することができる。
【0011】
本願に係る発明は、電子機器が、各前記放送情報に関連付けられた各見出し群を列記した見出しテーブルを記憶し、認識した前記文字列と前記見出しテーブルとを照合し、前記文字列の中から所定の見出しを抽出し、抽出した前記見出しに基づいて、該見出しに関連付けられた前記放送情報を情報記憶手段から取得し、取得した該放送情報を再生するものである。
【0012】
このような本願に係る発明によれば、電子機器が、利用者が発話した内容と一致する前記見出しリストを抽出し、抽出した該見出しリストに関連付けられた前記放送情報を情報記憶手段から取得して、取得した前記放送情報を再生するので、利用者は、例えば、情報記憶手段(例えば、ビデオテープ)に蓄積されている各種番組等のうち、自己が見たい番組内容を発話すれば電子機器が自動的に該当する番組を再生(頭出し再生)してくれることとなり、かかる”頭出し再生”をする際の操作上の煩雑さを解消することができる。
【0013】
また、電子機器は、前記感情度に関連付けられたキーワードを用いて、そのキーワードに関連付けられた放送情報を再生することもできるので、利用者の要求に応じた放送情報を的確に再生することができる。
【0014】
尚、前記感情度は、文字列に含まれる強調語に基づいて定めるものであってもよい。これにより、電子機器は、文字列に含まれる強調語に基づいて感情度を定めることができるので、例えば強調語である副詞又は感嘆詞などにより、利用者の感情の程度を把握することができる。
【0015】
本願に係る発明は、抽出された前記見出しを含む前記文字列に基づいて、該見出しに対して前記利用者が抱く前記感情度を認識し、認識された前記感情度を前記見出しに関連付けて記憶し、記憶されている前記感情度に関連付けられた前記見出しに基づいて、該見出しに関連付けられた前記放送情報を前記情報記録手段から取得し、取得した放送情報を再生することができる。
【0016】
このような本願に係る発明によれば、電子機器が、感情度に関連付けられた見出しに基づいて、その見出しに関連付けられた放送情報を情報記憶手段から取得し、取得した放送情報を再生することもできるので、利用者の要求に応じた放送情報をより的確に再生することができる。
【0017】
【発明の実施の形態】
[放送情報提供システム(放送情報提供装置も含む)の基本構成]
本発明に係る放送情報提供システムについて図面を参照しながら説明する。図1は、本実施形態に係る放送情報提供システムの概略構成図である。
【0018】
同図に示すように、放送情報提供システムは、複数の放送局200a〜200c(本実施形態では、単に「放送局200」と省略する)から放送された映像、音声等を含む複数の放送情報の中から、利用者の要求に応じて放送情報を受信するものであって、利用者から入力された文字列を認識する音声認識部102(文字認識手段)と、各放送情報に関連付けられた各キーワード群と各放送情報を配信する各放送局200とを対応付けるリストテーブルを記憶した情報データベース108(リスト記憶手段)と、音声認識部102で認識された文字列とリストテーブルとを照合し、該文字列の中から所定のキーワードを抽出し、抽出したキーワードに基づいてキーワードに対応付けられた放送局200を選局する推論エンジン104(キーワード抽出手段、選局手段)と、推論エンジン104で選局された放送局200からキーワードに関連付けられた放送情報を受信する受信部105(受信手段)とを含む電子機器100(放送情報提供装置)と放送局200とを備えている。尚、この放送情報提供システムは、家庭内で用いられる家電機器においても適用することができる。
【0019】
電子機器100は、利用者が発話した内容から、所定のキーワードを抽出し、抽出したキーワードに対する利用者の感情の度合いを示す感情度を推論し、推論した感情度又は前記キーワードに基づいて、それら感情度又はキーワードに対応する放送情報を放送局200から受信等するものである。尚、この電子機器100は、例えば、テレビ、ビデオ、ビデオ付きテレビ、パーソナルコンピュータなどが挙げられる。
【0020】
電子機器100は、本実施形態では、上述した音声認識部102、推論エンジン104、情報データベース108以外にも、入力部101、音声認識辞書記憶部103、個人認識部109、個人認識辞書記憶部110、録音部111、受信部105、感情情報データベース106、出力部107、情報データベース108を有している。
【0021】
入力部101は、利用者の音声情報を取得する取得手段である。具体的に入力部101は、利用者の音声情報を取得し、取得した音声情報を音声信号として音声認識部102に出力する。音声認識部102は、入力部101で取得した音声情報に基づいて、その音声信号に対応する文字列を特定する音声認識手段である。
【0022】
具体的には、音声信号が入力された音声認識部102は、入力された音声信号を解析し、解析した音声信号に対応する文字列を、音声認識辞書記憶部103に格納されている辞書を用いて特定し、特定した文字列を文字列信号として推論エンジン104に出力する。
【0023】
音声認識辞書記憶部103は、標準的な音声信号に対応する辞書を格納しているものである。受信部105は、推論エンジン104で選局された放送局200からキーワードに関連付けられた放送情報を受信する受信手段である。出力部107は、受信部107で受信された放送情報を出力するものであり、例えば、ディスプレイ、スピーカ等が挙げられる。
【0024】
尚、音声認識部102は、利用者が操作部(例えば、キーボード)を通じて入力した文字列を特定する文字認識手段でもある。更に、音声辞書記憶部103は、利用者が操作部を通じて入力した文字列に対応する辞書を格納するものでもある。これにより、利用者は、電子機器100に対して発話するだけでなく、操作部から文字を入力することによっても、電子機器100から所定の放送情報を取得することができる。
【0025】
感情情報データベース106は、利用者が抱く感情に関係する情報を感情情報として利用者毎に蓄積するものであり、例えば、ハードディスク、CD−ROMなどが挙げられる。
【0026】
ここで、感情情報データベース106には、図7に示すように、「感情履歴テーブル」と、「時制履歴テーブル」とを有している。同図に示す「感情履歴テーブル」は、本実施形態では、文字列に含まれる所定のキーワードと、そのキーワードに対して利用者が抱いている感情の度合いを示す感情度とを利用者毎に蓄積するものである。
【0027】
また、同図に示す「時制履歴テーブル」は、本実施形態では、文字列に含まれる所定のキーワードと、キーワードに対して利用者が抱いている感情度とを、その感情度が発生した時制(例えば、現在、過去、未来)毎、利用者毎に蓄積するものである。尚、感情情報は、本実施形態では、同図に示す「感情の度合い」「キーワード」「文字列の時制」を意味するものとする。
【0028】
情報データベース106は、各放送情報に関連付けられた各キーワード群と各放送情報を配信する各放送局200とを対応付けるリストテーブルを記憶したリスト記憶手段である。このキーワード群には、例えば放送局200を選局するための放送チャンネルの一覧を示したチャンネルリスト等が含まれ、放送情報には、例えば、所定のチャンネルからなる映像、音声等を含む放送番組等が挙げられる。
【0029】
尚、このキーワード群には、例えば、ビデオテープの内部に記録されている内容の一覧を示した録音リスト、ネットワークを通じて映像や音声などのマルチメディアデータの一覧を示したストリーミングリスト等(リスト)をも含めてもよい。
【0030】
個人認識部109は、音声情報を発話した利用者を特定するものである。具体的には、入力部101から音声信号が入力された個人認識部109は、入力された音声信号を解析し、解析した音声信号に基づいて、音声情報を発話した利用者を、個人認識辞書記憶部110に格納されている辞書を用いて特定し、特定した利用者を利用者信号として推論エンジン104に出力する。
【0031】
ここで、個人認識辞書記憶部110は、利用者を特定するための利用者データを予め記憶するものであり、この利用者データには、例えば各利用者が発話した50音の周波数、波高値などが含まれる。
【0032】
即ち、個人認識部109は、入力された音声信号に対応する音声情報を、個人認識辞書記憶部110に記憶されている利用者データと照合し、音声情報に近い利用者データを抽出して、抽出した利用者データに基づいて所定の音声情報を発話した利用者を特定する。利用者を特定した個人認識部109は、特定した利用者を利用者信号として推論エンジン104に出力する。
【0033】
個人認識部109から利用者信号が入力された推論エンジン104は、入力された利用者信号に基づいて、利用者信号に対応する利用者毎に、音声認識部102から入力された文字列信号に対応する文字列から、利用者の感情の度合い、感情度に関係するキーワード、感情度が発生した時期(時制)を推論し、推論した各内容を感情情報データベース106に蓄積する。
【0034】
前記推論エンジン104は、音声認識部102で特定した文字列の中から、所定のキーワードを抽出し、抽出したキーワードに対する利用者の感情の度合いを示す感情度を推論し、推論した感情度又は前記キーワードとに基づいて、それら感情度又はキーワードに対応付けられた放送局200を選局するものである。
【0035】
この推論エンジン104は、本実施形態では、文脈を解読するための文脈辞書、言語の類似関係を調べるための類似関係辞書、言葉文節解析に関する辞書、言葉の形態素解析(各品詞、活用形、分類、連接)に関わる辞書を有しており、これらの辞書を基に、利用者が発話した言葉の意味内容を解読し、解読した意味内容から利用者が抱く感情を推論し、利用者に質問するのに適した文を作成するものである。
【0036】
即ち、言葉の意味内容を解読した推論エンジン104は、解読した意味内容に基づいて、解読された意味の結束性、話題の変化、利用者の感情を形成する言語、今までの会話の統計などにより、利用者が抱く感情を推論し、利用者に質問するのに適した文を作成する。
【0037】
また、推論エンジン104は、人工知能、ニューラルネットワークによって構成されているものでもあり、利用者との間で交わされた言語(単語、文など)をニューラルネットに学習させ、その学習された言語に基づいて、利用者に質問をする内容を作成することができる。
【0038】
更に、推論エンジン104は、解読した言葉の意味内容が曖昧な表現であると判断した場合は、ファジー機能を用いて、曖昧な表現に対応した質問内容をも作成することもできる。尚、推論エンジン104に有する上記機能の実行は、後述するAI推論部104f、選局部104gが主に担っている。
【0039】
具体的には、音声認識部102から文字列信号が入力された推論エンジン104は、入力された文字列信号に対応する文字列を構成する要素に基づいて、利用者の感情、利用者がその感情を抱いた時期、文字列に含まれるキーワードを分別する。これらの”利用者の感情”、”利用者がその感情を抱いた時期(時制)”、”文字列に含まれるキーワード”は、本実施形態では、感情情報を意味するものとする。
【0040】
ここで、「利用者の感情」(感情の度合い)には、例えば、関心/無関心、喜ぶ/つまらない等が挙げられる。また、「利用者の感情」には、利用者が抱く感情の程度(感情度)も含まれているものであり、例えば、すごく関心がある/関心がある/関心がない/全く関心がない等が含まれている。
【0041】
この「感情の程度」は、本実施形態では、利用者がプラス的な感情を強く持っている場合をP1(P;Positive)〔例えば、とても関心がある〕、利用者がプラス的な感情を単に持っている場合をP2〔例えば、関心がある〕、利用者がマイナス的な感情を単に持っている場合をN1(N;Negative)〔例えば、関心がない〕、利用者がマイナス的な感情を強く持っている場合をN2と表現することにする。
また、「利用者がその感情を抱いた時期(時制)」には、例えば、現在・過去・未来が挙げられる。更に、文字列に含まれるキーワードは、例えば、春、夏、秋、冬、読書、スポーツなどが挙げられる。文字列を構成する要素から、利用者の感情に関する情報を分別した推論エンジン104は、利用者の感情に関する情報に基づいて、利用者が抱いている感情を推論する。
【0042】
例えば、推論エンジン104が出力部107を通じて利用者に対し、”何か興味ある番組は?”と質問した場合に、利用者が”何かあるかな?”と返事をした場合は、推論エンジン104は、利用者は何の番組に興味があるのか悩んでいるな、と判断し、更に質問内容を深めていくため次の質問をする。
【0043】
推論エンジン104は、出力部107を通じて利用者に対し、”スポーツは何をやっていたの?”と次に質問した場合に、利用者が”昔は楽しくサッカーをやっていたよ”と返事をした場合は、推論エンジン104は、利用者はサッカー関係に興味があるな、と推論し次々と質問(会話)をしていく。
【0044】
利用者に対して様々な質問をした推論エンジン104は、利用者からの返事の内容に基づいて、その返事毎に「利用者の感情」「感情の度合い」「利用者がその感情を抱いた時期」に分別し、分別した感情情報を利用者毎に感情情報データベース106に蓄積する。
【0045】
その後、推論エンジン104は、所定の感情度に関連付けられたキーワードが一つ、又は所定の数以上になった場合に、前記キーワードに対応付けられた放送局200を選局する。受信部105は、推論エンジン104で選局(放送チャンネルを特定)された放送局200からキーワードに関連付けられた放送情報(例えば、特定のチャンネルからなる番組)を受信する。
【0046】
具体的には、推論エンジン104は、音声認識部102で認識された文字列と情報データベース108に記憶されている「リストテーブル」にある複数のリストとを照合し、文字列の中から前記リストと一致するキーワードを抽出する。所定のキーワードを抽出した推論エンジン104は、抽出したキーワードに対応付けられている放送局200を選局する。
【0047】
抽出したキーワードは、上述の如く、リストテーブルの中にあるリストと一致しており、このキーワードは、放送局200(特定のチャンネル)及び放送情報(例えば、特定のチャンネルからなる放送番組など)と関連付けられているものであるので、推論エンジン104は、抽出したキーワードを用いて、そのキーワードに対応付けられている放送局200を選局することができる。
【0048】
また、推論エンジン104は、感情情報データベース106に蓄積されている感情情報(図7中の「感情履歴テーブル」を参照)の中から、高い「感情の程度」に関連付けられたキーワード(P1、P2)を取得し、取得したキーワードが一つ、或いは所定の数以上になった場合に、各キーワードに対応付けられた放送局200を選局することもできる。
【0049】
更に、推論エンジン104は、高い感情度と、その高い感情度が発生した時期とに関連付けられたキーワードが一つ、或いは所定の数以上になった場合に、前記キーワードに対応付けられた放送局200を選局することもできる。
【0050】
具体的には、推論エンジン104は、例えば、感情情報データベース106に蓄積されている「利用者がその感情を抱いた時期(時期)」「感情の程度」の中から、「感情の程度」が高い(P1、P2)キーワードであり、更にその感情度が発生した時期が”現在”のもののみを取得し、取得したキーワードが一つ或いは所定の数以上になった場合に、そのキーワードに対応付けられた放送局200を選局する。
【0051】
これにより、推論エンジン104は、出力部107を通じて、利用者が抱いている感情度、その感情度が発生した時制を推論し、その推論した感情度、感情度が発生した時制に関連するキーワードを用いて所定の放送局200を選局することで、電子機器100は、”ある時制”における利用者の感情にマッチした放送情報を的確に放送局200から受信し、受信した放送情報を出力部107に出力することができる。
【0052】
また、利用者は、推論エンジン104を通じて、会話を行うことにより所定の放送情報を出力させることができるので、自己の望む放送情報が出力されるまでの時間を楽しく過ごすことができる。
【0053】
尚、推論エンジン104は、感情情報データベース106に蓄積されている感情情報が、ある時制(例えば、過去)の情報に偏っている場合は、違う時制(例えば、現在)における感情を利用者から聞き出し、その聞き出した感情を構成するキーワードに基づいて、そのキーワードに対応付けられている放送局200を選局することができる。
【0054】
上記推論エンジン104は、本実施形態では、図2に示すように、文節認識部104aと、時制解釈部104bと、類別部104cと、強調語検出部104dと、感情判定部104eと、AI推論部104fと、選局部104gと、再生部104hとを有している。
【0055】
文節認識部104aは、文を解析し、解析した文に基づいて、文から把握される言葉の意味空間を認識するものである。ここで、文の解析とは、文の形態要素、例えば品詞、活用形、分類、連接関係を解析することを意味する。言葉の意味空間は、文脈、文の類似関係、文の学習パターンから把握するものである。
【0056】
更に、文節認識部104aは、上記認識により、文と文との間を認識するものである。具体的には、文から把握される言葉の意味空間を認識した音声認識部102から文字列信号が入力された文節認識部104aは、入力された文字列信号に基づいて、文字列信号に対応する文と文との間を認識する。
【0057】
この認識は、本実施形態では、文と文との間にはある程度の時間間隔があるので、その時間間隔に基づいて文と文との間を区別するものである。例えば、文字信号に対応する文が、”今日は暑いな・・・アイスを食べよう”というものである場合は、文節認識部104aは、上記文の中で時間間隔がある部分”・・・”を文の区切りと認識し、”今日は暑いな”と”アイスを食べよう”との文に分けることを行う。
【0058】
文と文との間を認識した文節認識部104aは、文を1文毎に区分けして、1文毎に区分けした文を文体信号として時制解釈部104b、類別部104c、強調語検出部104d、感情判定部104eに出力する。
【0059】
類別部104cは、文字列から利用者の感情の種類を判別するものである。具体的には、文節認識部104aから文体信号が入力された類別部104cは、入力された文体信号に対応する文に基づいて、文に含まれる要素から感情に関係するフレーズを抜き出し、この抜き出したフレーズがどのような感情の類別に属するものであるかを特定する。
【0060】
この感情の類別は、本実施形態では、例えば図3に示す「感情類別テーブル」に従って類別する。感情類別テーブルは、例えば、利用者がプラス的な感情要素を意味していることを示す「プラス要素P(P;Positive)」、利用者がマイナス的な感情要素を意味していることを示す「マイナス要素N(N;Negative)」を有している。
【0061】
このプラス要素Pには、例えば、いいね、良い、ほっとする、最高、喜ぶ、気になる等が含まれる。また、マイナス要素Nには、例えば、だめ、悪い、まいる、最低、つまらない、気にならない(無関心)等が含まれる。類別部104cは、上記の「感情類別テーブル」に基づいて、文の中からどのような感情が含まれているのかを類別し、この類別した結果を類別信号として感情判定部104eに出力する。
【0062】
強調語検出部104dは、文字列から感情の強弱を特徴付ける要素を抽出するものである。具体的には、文節認識部104aから文体信号が入力された強調語検出部104dは、入力された文体信号に対応する文に基づいて、その文を構成する要素の中に、強調語があるか否かを検出する。
【0063】
この強調語の検出は、本実施形態では、例えば図4に示す「強調語テーブル」に従って行うことができる。この「強調語テーブル」には、同図に示すように、例えば、すげー、ちょー、うひょー、わおー、ひえー、めっちゃ、すごく、とても、かなり等の副詞、感嘆詞が含まれる。強調語検出部104dは、上記の「強調語テーブル」に基づいて、1文の中にある強調語を検出し、検出した強調語を強調語検出信号として感情判定部104eに出力する。
【0064】
感情判定部104eは、自部で抽出したキーワードを含む文字列に基づいて、そのキーワードに対して利用者が抱く感情の度合いを示す感情度を認識する感情認識手段である。具体的には、類別部104c、強調語検出部104d、文節認識部104aから類別信号、強調語検出信号、文体信号が入力された感情判定部104eは、入力された類別信号、強調語検出信号、文体信号に基づいて、利用者の感情の程度(感情度)を判定する。
【0065】
この感情の程度(感情度)の判定は、本実施形態では、例えば図5に示す「感情度テーブル」に従って行うことができる。この「感情度テーブル」には、例えば、同図に示すように、判定要素(利用者の感情)と、「感情の度合い(感情度)」とを有している。
【0066】
判定要素は、利用者の感情を左右するフレーズを意味するものであり、例えば、同図に示すように、関心/無関心、喜ぶ/つまらない、最高/最低、ほっとする/まいる等が挙げられる。この判定要素は、上述した「利用者の感情」と同義の意味である。
【0067】
例えば、「感情の度合い」は、上述の如く、同図に示すように、判定要素が「関心/無関心」である場合は、感情の程度は、すごく関心がある(P1)、関心がある(P2)、関心がない(N1)、全く関心がない(N2)と類別することができる。
【0068】
感情判定部104eは、入力された文体信号に対応する文字列が”昔はサッカーを楽しくやっていたよ”である場合は、その文字列を、情報データベース108に蓄積されているキーワード群と照合し、文字列の中からキーワード群と共通する(例えば、サッカー)キーワードを抽出する。
【0069】
感情判定部104eは、類別信号に対応する「感情の類別」、強調語検出信号に対応する強調語に基づいて、上記「感情度テーブル」を参照し、抽出したキーワードに対し利用者が抱いている感情度を判定し、判定した結果(P1、P2、N1、N2)を感情判定信号としてAI推論部104fに出力する。
【0070】
例えば、文体信号に対応する文字列が”昔はサッカーを楽しくやっていたよ”である場合は、類別部104cは、”やっていた”という文字列を検出し、強調語検出部104dは、”楽しく”という文字列を検出する。感情判断部104eは、類別部104cで検出された”やっていた”と、強調語検出部104dで検出した”楽しく”とに基づいて、図5のテーブルを参照し、抽出したキーワード(サッカー)に対する利用者の感情度がP1であると判断する。感情判定部104eは、上記判断した「感情の程度」とキーワードとを含む感情情報を感情情報信号としてAI推論部104fに出力する。
【0071】
AI推論部104fは、感情判定部104eで判定された利用者の「感情の度合い」、文字列のキーワードから、そのキーワードに対して利用者が抱く感情を推論する。具体的には、感情判定部104eから感情情報信号が入力されたAI推論部104fは、入力された感情情報信号に対応する感情情報に基づいて、例えば上記結果より「感情の度合い」がP1(楽しくやっていた)、キーワードが”サッカー”である場合は、利用者はサッカーについて興味があるな、と推論する。
【0072】
尚、AI推論部104fは、例えば、文字列のキーワード、又はそのキーワードに対し利用者が抱いている感情度に基づいて、前記キーワードと最も関係するフレーズ(推論の内容を示す予め定められた内容)を感情情報データベース106から抽出して、その抽出したフレーズを推論の内容とすることができる。
【0073】
感情判定部104eから感情情報信号が入力されたAI推論部104fは、入力された感情情報信号に対応するキーワード・キーワードに対する利用者の感情度を、個人認識部109から入力されて利用者信号に対応する利用者に関連付けて感情情報データベース106に蓄積する(図7中の「感情履歴テーブル」を参照)。
【0074】
尚、AI推論部104fは、上記推論により、興味がある分野について更に質問内容を深めていき、感情判定部104eから入力されたキーワードとそのキーワードに対して利用者が抱いている感情度とを、文字列を発話した利用者毎に感情情報データベース106に蓄積することもできる。
【0075】
時制解釈部104bは、利用者の抱く感情度が発生した時期(時制)を解釈するものである。具体的には、文節認識部104aから文体信号が入力された時制解釈部104bは、入力された文体信号に対応する文字列に基づいて、その文字列に対応する事象がどの時制(時点)に該当するのかを解釈する。この解釈は、本実施形態では、図6に示す「時制テーブル」に従って行うものとする。
【0076】
この「時制テーブル」は、同図に示すように、アスペクト、テンス、ムードから構成されるものであり、文字列に対応する時制は、これらの構成要素に基づいて特定することができる。
【0077】
ここで、アスペクトAとは、既にある事象が完了していることを示す完成相(A1)と、利用者の発話時においてもある事象が継続していることを示す継続相(A2)とから構成されるものである。また、テンスTとは、非過去時制(T1)と、過去時制(T2)とから構成されるものである。更に、ムードMとは、叙述法M1(断定法(M2)、推量法(M3))と、実行法M6(意志・勧誘(M4)、命令(M4))とから構成されるものである。
【0078】
例えば、時制解釈部104bは、”昔はサッカーを楽しくしていたよ”という文字列を解釈する場合は、図6を参照し、”〜いた”の文字から断定M2−過去T2(判断▲1▼)であると判断し、”〜していた”の文字から完成相A2(判断▲2▼;過去における継続性)に該当すると判断する。そして、これらの判断を行った時制解釈部104bは、判断した時制(判断▲1▼、判断▲2▼)を時制信号としてAI推論部104fに出力する。
【0079】
時制解釈部104bと感情判断部104eとからそれぞれ時制信号と感情情報信号とが入力されたAI推論部104fは、入力された時制信号に対応する「判断された時制」と、入力された感情情報信号に対応する「感情の度合い」「キーワード」とに基づいて、ある時制において、キーワードに対し利用者が抱いている感情度と、その感情度が発生した時期とを推論する。
【0080】
例えば、AI推論部104fは、”昔はサッカーを楽しくやっていたよ”の文字列から利用者の感情度を推論する場合は、時制解釈部104b、類別部104c及び強調語解釈部104dで文字列の要素が解釈された結果、「判断された時制」が上記判断▲1▼(断定M2−過去T2;過去に何かを行っていたこと)、判断▲2▼(完成相A2;何かを継続して行っていたこと)、「感情の度合い」がP1(〜を楽しくやっていた)、更に、「キーワード」がサッカーであるという結果が導かれるので、「利用者は過去(判断▲1▼)においてサッカー(キーワード)を継続(判断▲2▼)してやっていた時期があるな、利用者はサッカーに興味があるのでは」、と推論する。
【0081】
この推論をしたAI推論部104fは、利用者が過去においてサッカーに興味がある、と推論したので、過去におけるサッカーについての質問を導きだし、導いた質問を次々に行い質問の内容を深めていく。例えば、サッカーに関係する質問としては、好きなサッカーチーム、好きな選手などが挙げられる。
【0082】
尚、質問内容は、予め感情情報データベース106に蓄積されているものであり、AI推論部104fは、推論した結果に対応する質問内容を取得し、取得した質問内容を出力部107に出力することで、利用者に対し質問することができる。
【0083】
利用者に対して様々な質問を行ったAI推論部104fは、利用者から回答のあった回答内容を、「判断された時制」「感情の度合い」「キーワード」毎に感情情報データベース106に蓄積する(図7中の「時制履歴テーブル」を参照)。
【0084】
これにより、AI推論部104fは、利用者が発話した文字列に含まれる「感情の度合い」「キーワード」だけではなく、「判断された時制」をも含めて利用者の感情を判断するので、例えば利用者が過去においてはどのような感情を抱いていたのかを把握することができ、更に、過去から現在に至るまでの感情の変化をも把握することができる。
【0085】
即ち、AI推論部104fは、利用者が過去における事柄において「感情の度合い」が高かった場合には、例えば、「現在においての感情は変わっていないか」と推論し、現在における利用者の感情を判断付ける質問を行い、現在における利用者がどのような感情を抱いているのかを把握することができる。
【0086】
また、上記よりAI推論部104fは、利用者からの回答に含まれるキーワード、特に利用者の感情に関係するキーワードを多く収集することができ、後述する選局部104gは、AI推論部104fで推論された利用者の感情に関係するキーワードを用いて所定の放送局200を選局することができ、利用者が要求する放送情報をより的確に該当する放送局200から取得し、取得した放送情報を出力部107に出力、又は録音部111に録音することができる。
【0087】
更に、AI推論部104fは、出力部107を通じて、利用者が抱いている感情度、その感情度が発生した時制を推論し、それらの内容を感情情報データベース106に蓄積するので、後述する選局部104gは、感情情報データベース106に蓄積されている感情度・時制に関連するキーワードを用いて所定の放送情報を取得することができ、”ある時制”における利用者の感情にマッチした放送情報を的確に放送局200から取得し、取得した放送情報を外部に出力することができる。
【0088】
加えて、利用者は、入力部101を通じて、AI推論部104fに文字情報を入力(例えば、音声入力、操作部からの入力)すれば、AI推論部104fが利用者の感情度を推論し、その推論に応じて異なった質問をするので、あたかも人間と会話しているような雰囲気を味わうことができ、ある放送情報についての情報が出力されるまでの時間を楽しく過ごすことができる。
【0089】
選局部104gは、感情情報データベース106に記憶されているキーワード、又は感情度に関連付けられているキーワードに基づいて、そのキーワードに対応付けられた放送局200を選局する選局手段である。また、選局部104gは、感情度に関連付けられたキーワードが所定の数以上になった場合に、各キーワードに対応付けられた放送局200を選局する選局手段でもある。
【0090】
具体的には、選局部104gは、感情情報データベース106に蓄積されている「感情履歴テーブル」(図7参照)の中から、「感情の度合い」を示す値(P1、P2、N1、N2)と、その値に関連付けられたキーワード(又は高い感情度に関連付けられたキーワードなど)とを取得する。
【0091】
「感情の度合い」と、その値に関連付けられたキーワードとを取得した選局部104gは、取得した「感情の度合い」に対応するキーワードが一つ又は所定の個数以上になった場合に、それらのキーワードに対応付けられた放送局200を選局する。その後、受信部105は、選局部104gで選局された放送局200から該当する放送情報(例えば、ニュース番組など)を放送局200から受信し、受信した放送情報を出力部107に出力、又は録音部111(情報記録手段)に記録させる。
【0092】
これにより、選局部104gは、キーワードに関連付けられた利用者の感情度に応じて、そのキーワードに関連付けられた放送情報を選局することができるので、受信部105は、利用者の要求に応じた放送情報を該当する放送局200から的確に取得することができる。
【0093】
更に、選局部104gは、感情情報データベース106に蓄積されている「時制履歴テーブル」の中から、時制毎に「感情の度合い」を示す値と、その値に関連付けられたキーワードとを取得する。
【0094】
時制毎に「感情の度合い」を示す値と、その値に関連付けられたキーワードとを取得した選局部104gは、時制毎に取得した「感情の度合い」のうち、ある時制に対応するキーワードが一つ又は所定の数値以上になった場合に、それらのキーワードに対応付けられた放送局200を選局する。
【0095】
例えば、選局部104gは、取得した「感情の度合い」のうち、「過去」におけるP1又はP2に対応するキーワードが5個以上になった場合に、それらのキーワードに対応付けられた放送局200を選局する。
【0096】
放送局200は、所定の番組を放送するものであり、例えば、所定の放送内容を各家庭に配信している放送管理センター等が挙げられる。尚、放送局200は、ネットワーク上に分散配置されたWebサーバを管理しているサーバ管理センターであってもよい。
【0097】
[放送情報提供システムを用いた放送情報提供方法]
上記構成を有する放送情報提供システムによる放送情報提供方法は、以下の手順により実施することができる。図8は、本実施形態に係る放送情報提供方法の手順を示すフロー図である。先ず、入力部101が利用者の音声情報を取得するステップを行う(S101)。具体的に入力部101は、利用者の音声情報を取得し、取得した音声情報を音声信号として音声認識部102に出力する。
【0098】
次いで、音声認識部102が入力部101で取得した音声情報に基づいて、その音声情報に対応する文字列を特定するステップを行う(S102)。具体的には、音声信号が入力された音声認識部102は、入力された音声信号を解析し、解析した音声信号に対応する文字列を、音声認識辞書記憶部103に格納されている辞書を用いて特定し、特定した文字列を文字列信号として推論エンジン104に出力する。
【0099】
次いで、推論エンジン104が、音声認識部102で特定した文字列の中から、所定のキーワードを抽出し、抽出したキーワードに対する利用者の感情の度合いを示す感情度を推論し、推論した感情度又は前記キーワードに基づいて、それら感情度又はキーワードに対応付けられた放送局200を選局するステップを行う(S103)。ここで行う処理は、図9に基づいて説明する。
【0100】
推論エンジン104では、先ず、図9に示すように、文節認識部104aが、文を解析し、解析した文に基づいて、文から把握される言葉の意味空間を認識するステップを行う(S200)。次いで、文節認識部104aが上記認識により文と文との間を認識するステップを行う(S201)。具体的には、文から把握される言葉の意味空間を把握した文節認識部104aは、入力された文字信号に基づいて、文字信号に対応する文と文との間を認識する。
【0101】
この認識は、本実施形態では、文と文との間にはある程度の時間間隔があるので、その時間間隔に基づいて文と文との間を区別するものである。例えば、文字信号に対応する文が、”今日は暑いな・・・アイスを食べよう”というものである場合は、文節認識部104aは、上記文の中で時間間隔がある部分”・・・”を文の区切りと認識し、”今日は暑いな”と”アイスを食べよう”との文に分けることを行う。
【0102】
文と文との間を認識した文節認識部104aは、文を1文毎に区分けして、1文毎に区分けした文を文体信号として時制解釈部104b、類別部104c、強調語検出部104d、感情判定部104eに出力する。
【0103】
次いで、類別部104cが、文字列から利用者の感情の種類を判別するステップを行う(S202)。具体的には、文節認識部104aから文体信号が入力された類別部104cは、入力された文体信号に対応する文に基づいて、文に含まれる要素から感情に関係するフレーズを抜き出し、この抜き出したフレーズがどのような感情の類別に属するものであるかを特定する。
【0104】
類別部104cは、図3に示す「感情類別テーブル」に基づいて、1文の中からどのような感情が含まれているのかを類別し、この類別した結果を類別信号として感情判定部104eに出力する。
【0105】
次いで、強調語検出部104dが、文字列から感情の強弱を特徴付ける要素を抽出するステップを行う(S203)。具体的には、文節認識部104aから文体信号が入力された強調語検出部104dは、入力された文体信号に対応する文に基づいて、その文を構成する要素の中に、強調語があるか否かを検出する。
【0106】
強調語検出部104dは、図4に示す「強調語テーブル」に基づいて、1文の中にある強調語を検出し、検出した強調語を強調語検出信号として感情判定部107に出力する。
【0107】
次いで、感情判定部104eが、所定のキーワードに対して利用者が抱く感情度を判定するステップを行う(S204)。具体的に、感情判定部104eは、入力された文体信号に対応する文字列が”昔はサッカーを楽しくやっていたよ”である場合は、その文字列を、情報データベース108に蓄積されているキーワード群と照合し、文字列の中からキーワード群と共通(例えば、サッカー)するキーワードを抽出する。
【0108】
その後、感情判定部104eは、類別信号に対応する「感情の類別」、強調語検出信号に対応する強調語に基づいて、上記「感情度テーブル」を参照し、抽出したキーワードに対し利用者が抱いている感情度を判定し、判定した結果(P1、P2、N1、N2)を感情判定信号としてAI推論部104fに出力する。
【0109】
次いで、AI推論部104fが、感情判定部104eで判定された利用者の「感情の度合い」、文字列のキーワードから、利用者が抱く感情を推論するステップを行う(S205)。
【0110】
具体的には、感情判定部104eから感情情報信号が入力されたAI推論部104fは、入力された感情情報信号に対応する感情情報に基づいて、例えば上記結果より「感情の度合い」がP1(楽しくやっていた)、キーワードが”サッカー”である場合は、利用者はサッカーについて興味があるな、と推論する。
【0111】
そして、AI推論部104fは、上記推論により、興味がある分野について更に質問内容を深めていき、利用者が抱いている感情に対応するキーワードを聞き出し、聞き出した感情に対応するキーワードを感情情報データベース106に蓄積していく。
【0112】
尚、AI推論部104fは、利用者の抱く感情度が発生した時期(時制)を含めて、利用者が抱く感情を推論してもよい。具体的には、文節認識部104aから文体信号が入力された時制解釈部104bは、入力された文体信号に対応する文字列に基づいて、その文字列に対応する事象がどの時制(時点)に該当するのかを解釈する。この解釈は、本実施形態では、図6に示す「時制テーブル」に従って行うものとする。
【0113】
例えば、時制解釈部104bは、”昔はサッカーを楽しくしていたよ”という文字列を解釈する場合は、図6を参照し、”〜いた”の文字から断定M2−過去T2(判断▲1▼)であると判断し、”〜していた”の文字から完成相A2(判断▲2▼;過去における継続性)に該当すると判断(解釈)する。そして、これらの判断を行った時制解釈部104bは、判断した時制(判断▲1▼、判断▲2▼)を時制信号としてAI推論部104fに出力する。
【0114】
そして、時制解釈部104bと感情判断部104eとからそれぞれ時制信号と感情情報信号とが入力されたAI推論部104fは、入力された時制信号に対応する「判断された時制」と、入力された感情情報信号に対応する「感情の度合い」「キーワード」とに基づいて、キーワードに対し利用者が抱いている感情度と、その感情度が発生した時期とを推論する。
【0115】
例えば、AI推論部104fは、”昔はサッカーを楽しくやっていたよ”の文字列から利用者の感情度を推論する場合は、時制解釈部104b、類別部104c及び強調語解釈部104dで文字列の要素が解釈された結果、「判断された時制」が上記判断▲1▼(断定M2−過去T2;過去に何かを行っていたこと)、判断▲2▼(完成相A2;何かを継続して行っていたこと)、「感情の度合い」がP1(〜を楽しくやっていた)、更に、「キーワード」がサッカーであるという結果が導かれるので、「利用者は過去(判断▲1▼)においてサッカー(キーワード)を継続(判断▲2▼)してやっていた時期があるな、利用者はサッカーに興味があるのでは」、と推論する。
【0116】
この推論をしたAI推論部104fは、利用者が過去においてサッカーに興味がある、と推論したので、過去におけるサッカーについての質問を導きだし、導いた質問を次々に行い質問の内容を深めていく。例えば、サッカーに関係する質問としては、好きなサッカーチーム、好きな選手などが挙げられる。
【0117】
利用者に対して様々な質問を行ったAI推論部104fは、利用者から回答のあった回答内容を、「判断された時制」「感情の度合い」「キーワード」毎に感情情報データベース106に蓄積する(図7中の「時制履歴テーブル」を参照)。
【0118】
これにより、AI推論部104fは、利用者が発話した文字列に含まれる「感情の度合い」「キーワード」だけではなく、「判断された時制」をも含めて利用者の感情を判断するので、例えば利用者が過去においてはどのような感情を抱いていたのかを把握することができ、更に、過去から現在に至るまでの感情の変化をも把握することができる。
【0119】
即ち、AI推論部104fは、利用者が過去における事柄において「感情の度合い」が高かった場合には、例えば、「現在においての感情は変わっていないか」と推論し、現在における利用者の感情を判断付ける質問を行い、現在における利用者がどのような感情を抱いているのかを把握することができる。
【0120】
更に、上記よりAI推論部104fは、利用者からの回答に含まれるキーワード、特に利用者の感情に関係するキーワードを多く収集することができ、後述する選局部104gは、AI推論部104fで推論された”ある時制”における利用者の感情に関係するキーワードを用いて所定の放送局200を選局することができる。
【0121】
加えて、利用者は、入力部101を通じて、AI推論部104fに文字情報を入力(例えば、音声入力、操作部からの入力)すれば、AI推論部104fが利用者の感情度を推論し、その推論に応じて異なった質問をするので、あたかも人間と会話しているような雰囲気を味わうことができ、ある放送情報についての情報が出力されるまでの時間を楽しく過ごすことができる。
【0122】
次いで、選局部104gは、感情情報データベース106に記憶されているキーワード、又は感情度に関連付けられているキーワードに基づいて、そのキーワードに対応付けられた放送局200を選局するステップを行う(S206)。尚、選局部104gは、感情度に関連付けられたキーワードが所定の数以上になった場合に、各キーワードに対応付けられた放送局200を選局するステップを行ってもよい。
【0123】
具体的には、選局部104gは、感情情報データベース106に蓄積されている「感情履歴テーブル」(図7参照)の中から、「感情の度合い」を示す値(P1、P2、N1、N2)と、その値に関連付けられたキーワード(又は高い感情度に関連付けられたキーワードなど)とを取得する。
【0124】
そして、「感情の度合い」と、その値に関連付けられたキーワードとを取得した選局部104gは、取得した「感情の度合い」に対応するキーワードが一つ又は所定の個数以上になった場合に、それらのキーワードに対応付けられた放送局200を選局し、出力部107は、選局部104gで選局された放送局200から該当する放送情報(例えば、ニュース番組など)を受信し、受信した放送情報を出力部107に出力、又は録音部111に録音させる。
【0125】
これにより、選局部104gは、キーワードに関連付けられた利用者の感情度に応じて、そのキーワードに対応付けられた放送局200を選局することができるので、受信部105は、より利用者の要求に応じた放送情報を選局された放送局200から受信することができる。
【0126】
また、選局部104gは、感情情報データベース106に蓄積されている「時制履歴テーブル」の中から、時制毎に「感情の度合い」を示す値と、その値に関連付けられたキーワードとを取得することができる。
【0127】
その後、例えば、選局部104gは、取得した「感情の度合い」のうち、「過去」におけるP1又はP2に対応するキーワードが5個以上になった場合に、それらのキーワードに対応付けられた放送局200を選局する。
【0128】
これにより、時制毎に「感情の度合い」を示す値と、その値に関連付けられたキーワードとを取得した選局部104gは、時制毎に取得した「感情の度合い」のうち、ある時制に対応するキーワードが一つ又は所定の数値以上になった場合に、それらのキーワードに対応付けられた放送局200を選局することができる。
【0129】
[放送情報提供システム、放送情報提供方法及び放送情報提供装置による作用及び効果]
このような本実施形態に係る発明によれば、推論エンジン104が、利用者が発話した内容に含まれる文字列の中から所定のキーワードを抽出し、抽出されたキーワードに対応付けられた放送局200を選局することができるので、受信部105は、推論エンジン104で選局された放送局200から、利用者が要求する放送情報を的確に受信することができる。
【0130】
また、推論エンジン104が、利用者が発話した内容に含まれるキーワードに関連付けられている感情度に応じて、該キーワードに対応付けられた放送局200を選局することができるので、受信部105は、推論エンジン104で選局された放送局200から、例えば、利用者の感情度が高い(興奮している状態など)場合は、より利用者の感情度を高ぶらせるような放送情報を受信することができ、利用者の要求によりマッチした放送情報を提供することができる。
【0131】
また、推論エンジン104は、抽出されたキーワードが所定の数以上になった場合に、各キーワードに対応付けられた放送局200を選局することができるので、利用者が要求する放送局200を的確に選局することができる。
【0132】
更に、AI推論部104fは、利用者が発話した文字列に含まれる「感情の度合い」「キーワード」だけではなく、「判断された時制」をも含めて利用者の感情を判断するので、例えば利用者が過去においてはどのような感情を抱いていたのかを把握することができ、更に、過去から現在に至るまでの感情の変化をも把握することができる。
【0133】
加えて、選局部104gは、利用者が発話した文字列に含まれる「感情の度合い」「キーワード」だけではなく、「判断された時制」をも含めてキーワードに関連付けられた放送情報を取得することができるので、”ある時制”における利用者の感情度に関連付けられたキーワードに基づいて、そのキーワードに対応付けられた放送局200を選局することができる。
【0134】
最後に、感情判定部104eは、文字列に含まれる強調語に基づいて感情度を定めることができるので、例えば強調語である副詞又は感嘆詞などにより、利用者の感情の程度を的確に把握することができる。
【0135】
[変更例]
尚、本発明は、上記実施形態に限定されるものではなく、受信部105で取得した各放送情報を録音し、録音されている各放送情報に関連付けられた各見出し群を列記した見出しテーブルを記憶する録音部111(見出し記憶手段)を備え、感情判定部104e(キーワード抽出手段)には、音声認識部102で認識された文字列と見出しテーブルとを照合し、文字列の中から所定の見出しを抽出する機能を備え、更に、再生部104hには、感情判定部104eで抽出された見出しに基づいて、該見出しに関連付けられた放送情報を録音部111から取得し、取得した該放送情報を再生する機能を備えるものであってもよい。
【0136】
これにより、感情判定部104eが音声認識部102で認識した文字列と一致する見出しリストを抽出し、再生部104hが感情判定部104eで抽出された見出しリストに基づいて、該見出しリストに関連付けられた放送情報を録音部111の中から取得して、取得した前記放送情報を再生するので、利用者は、例えば、録音部111に蓄積されている各種録画番組等のうち、自己が見たい番組内容を発話すれば、再生部104hが自動的に該当する番組を再生(頭出し再生)してくれることとなり、かかる頭出し再生する際の操作上の煩雑さを解消することができる。
【0137】
尚、感情判定部104eは、文字列から抽出した見出しを含む文字列に基づいて、見出しに対して利用者が抱く感情度を認識し、上記録音部111は、感情判定部104eで認識された感情度を見出しに関連付けて記憶し、更に、再生部104hは、録音部111で記憶された感情度に関連付けられた見出しに基づいて、該見出しに関連付けられた放送情報を取得し、取得した放送情報を再生するものであってもよい。
【0138】
これにより、再生部104hは、感情度に関連付けられた見出しを用いて、その見出しに関連付けられた放送情報を取得し、取得した放送情報を再生することもできるので、利用者の要求に応じた放送情報をより的確に再生することができる。
【0139】
[放送情報提供プログラム]
尚、上記放送情報提供方法で説明したステップは、パーソナルコンピュータ等の汎用コンピュータで、所定のプログラム言語で記述された専用プログラムを実行することにより実現することができる。
【0140】
このような本実施形態に係る放送情報提供プログラムによれば、利用者が入力した文字列に基づいて特定のキーワードを抽出し、抽出したキーワードに基づいてそのキーワードに対して利用者が抱く感情度を推論して、推論した感情度とキーワードとに基づいて利用者が要求する放送情報を出力等できるという作用効果を奏する放送情報提供システム及び放送情報提供方法を一般的な汎用コンピュータで容易に実現することができる。
【0141】
尚、放送情報提供プログラムは、記録媒体に記録することができる。この記録媒体は、図10に示すように、例えば、ハードディスク300、フロッピィーディスク400、コンパクトディスク500、ICチップ600、カセットテープ700などが挙げられる。このような情報提供プログラムを記録した記録媒体によれば、情報提供プログラムの保存、運搬、販売などを容易に行うことができる。
【0142】
【発明の効果】
以上説明したように、本発明によれば、利用者が入力した文字列に基づいて特定のキーワードを抽出し、抽出したキーワードに基づいてそのキーワードに対して利用者が抱く感情度を推論して、推論した感情度と前記キーワードとに基づいて利用者が要求する放送情報を出力等するができる。
【図面の簡単な説明】
【図1】本実施形態に係る放送情報提供システムの概略構成を示すブロック図である。
【図2】本実施形態における推論エンジンの内部構造を示すブロック図である。
【図3】本実施形態における類別部で格納している感情類別テーブルの内容を示した図である。
【図4】本実施形態における強調語検出部で格納している強調語テーブルの内容を示した図である。
【図5】本実施形態における感情判定部で格納している感情度テーブルの内容を示した図である。
【図6】本実施形態における時制解釈部で格納している時制テーブルの内容を示した図である。
【図7】本実施形態における感情情報データベースで蓄積する「感情履歴テーブル」及び「時制履歴テーブル」の内容を示した図である。
【図8】本実施形態に係る放送情報提供方法の手順を示したフロー図である。
【図9】本実施形態における推論エンジンの内部で処理されている手順を示したフロー図である。
【図10】本実施形態における放送情報提供プログラムを格納した記録媒体を示した図である。
【符号の説明】
100…電子機器、101…入力部、102…音声認識部、103…音声認識辞書記憶部、104…推論エンジン、104a…文節認識部、104b…時制解釈部、104c…類別部、104d…強調語検出部、104e…感情判定部、104f…AI推論部、104g…選局部、105…受信部、106…感情情報データベース、107…出力部、108…情報データベース、109…個人認識部、110…個人認識辞書記憶部、200…放送局、300…ハードディスク、400…フロッピィーディスク、500…コンパクトディスク、600…ICチップ、700…カセットテープ
Claims (32)
- 複数の放送局から放送された映像、音声等を含む複数の放送情報の中から、利用者の要求に応じて前記放送情報を受信する放送情報提供システムであって、
前記利用者から入力された文字列を認識する文字認識手段と、
各前記放送情報に関連付けられた各キーワード群と該各放送情報を配信する前記各放送局とを対応付けるリストテーブルを記憶したリスト記憶手段と、
前記文字認識手段で認識された前記文字列と前記リストテーブルとを照合し、該文字列の中から所定のキーワードを抽出するキーワード抽出手段と、
前記キーワード抽出手段で抽出された前記キーワードに基づいて、該キーワードに対応付けられた前記放送局を選局する選局手段と、
前記選局手段で選局された前記放送局から前記キーワードに関連付けられた前記放送情報を受信する受信手段と、
前記受信手段で受信された前記放送情報を出力する出力手段とを備えるとともに、
さらに、前記放送情報提供システムは、
前記キーワード抽出手段で抽出された前記キーワードを含む前記文字列に基づいて、該キーワードに対して前記利用者が抱く感情の度合いを示す感情度を認識する感情認識手段と、
前記感情認識手段で認識された前記感情度と、該感情度に関連付けられた前記キーワードとを記憶する感情記憶手段とを有し、
前記感情認識手段は、前記キーワードを含む前記文字列に基づいて、前記感情度の発生時期に係る過去、現在、及び未来の時制を認識し、前記キーワードに対する感情度に関連付ける推論エンジンとして機能し、
前記感情記憶手段は、前記推論エンジンにより関連づけられた、利用者のキーワードに対する感情度と当該感情度の発生時期に係る前記時制とを利用者毎及び時制毎に蓄積するための感情情報データベースとして機能し、
前記選局手段は、前記感情記憶手段に記憶されている現在の時制の感情度に関連付けられている前記キーワードに基づいて、該キーワードに対応付けられている前記放送局を選局することを特徴とする放送情報提供システム。 - 請求項1に記載の放送情報提供システムであって、
前記推論エンジンは、利用者の前記キーワードに対する現在の時制の感情度を、現在と異なる時制の感情度から推論するため前記利用者へ感情度が変化しているか否かを判断する質問文を出力することを特徴とする放送情報提供システム。 - 請求項1に記載の放送情報提供システムであって、
前記推論エンジンは、感情情報データベースに蓄積されている利用者の感情度が、特定の時制に多く偏っている場合は、前記特定の時制と異なる時制における感情度を前記利用者に入力させる質問文を出力することを特徴とする放送情報提供システム。 - 請求項1乃至請求項3のいずれかに記載の放送情報提供システムであって、
前記選局手段は、前記キーワード抽出手段で抽出された前記キーワードが所定の数以上になった場合に、各該キーワードに対応付けられた前記放送局を選局することを特徴とする放送情報提供システム。 - 請求項1乃至請求項4のいずれかに記載の放送情報提供システムであって、
前記受信手段で取得した前記放送情報を記憶する情報記憶手段を有することを特徴とする放送情報提供システム。 - 請求項5に記載の放送情報提供システムであって、
前記情報記憶手段に記憶されている各前記放送情報に関連付けられた各見出し群を列記した見出しテーブルを記憶する見出し記憶手段を有し、
前記キーワード抽出手段は、前記文字認識手段で認識された前記文字列と前記見出しテーブルとを照合し、前記文字列の中から所定の見出しを抽出し、
前記キーワード抽出手段で抽出された前記見出しに基づいて、該見出しに関連付けられた前記放送情報を前記情報記録手段から取得し、取得した該放送情報を再生する再生手段を有することを特徴とする放送情報提供システム。 - 請求項6に記載の放送情報提供システムであって、
前記感情認識手段は、前記キーワード抽出手段で抽出された前記見出しを含む前記文字列に基づいて、該見出しに対して前記利用者が抱く前記感情度を認識し、
前記見出し記憶手段は、前記感情認識手段で認識された前記感情度を前記見出しに関連付けて記憶し、
前記再生手段は、前記リスト記憶手段で記憶されている前記感情度に関連付けられた前記見出しに基づいて、該見出しに関連付けられた前記放送情報を前記情報記録手段から取得し、取得した放送情報を再生する
ことを特徴とする放送情報提供システム。 - 請求項1乃至請求項7のいずれかに記載の放送情報提供システムであって、
前記感情度は、前記文字列に含まれる副詞又は感嘆詞からなる強調語に基づいて定めることを特徴とする放送情報提供システム。 - 複数の放送局から放送された映像、音声等を含む複数の放送情報の中から、利用者の要求に応じて前記放送情報を受信する放送情報提供方法であって、
前記利用者から入力された文字列を認識するステップと、
各前記放送情報に関連付けられた各キーワード群と該各放送情報を配信する前記各放送局とを対応付けるリストテーブルを記憶するステップと、
認識された前記文字列と前記リストテーブルとを照合し、該文字列の中から所定のキーワードを抽出するステップと、
抽出された前記キーワードに基づいて、該キーワードに対応付けられた前記放送局を選局するステップと、
選局された前記放送局から前記キーワードに関連付けられた前記放送情報を受信するステップと、
受信された前記放送情報を出力するステップとを放送情報提供システムが実行するとともに、
さらに、前記放送情報提供方法は、
前記キーワードを抽出ステップで抽出された前記キーワードを含む前記文字列に基づいて、該キーワードに対して前記利用者が抱く感情の度合いを示す感情度を認識する感情認識ステップと、
前記感情認識ステップで認識された前記感情度と、該感情度に関連付けられた前記キーワードとを記憶する感情記憶ステップとを前記放送情報提供システムが実行し、
前記感情認識ステップは、前記キーワードを含む前記文字列に基づいて、前記感情度の発生時期に係る過去、現在、及び未来の時制を認識し、前記キーワードに対する感情度に関連付ける推論エンジンによる推論ステップとして機能し、
前記感情記憶ステップは、前記推論エンジンによる推論ステップにより関連づけられた、利用者のキーワードに対する感情度と当該感情度の発生時期に係る前記時制とを利用者毎及び時制毎に感情情報データベースに蓄積し、
前記感情記憶ステップで記憶されている現在の時制の感情度に関連付けられている前記キーワードに基づいて、該キーワードに対応付けられている前記放送局を選局することを特徴とする放送情報提供方法。 - 請求項9に記載の放送情報提供方法であって、
前記推論エンジンによる推論ステップは、利用者の前記キーワードに対する現在の時制の感情度を、現在と異なる時制の感情度から推論するため前記利用者へ感情度が変化しているか否かを判断する質問文を出力することを特徴とする放送情報提供方法。 - 請求項9に記載の放送情報提供方法であって、
前記推論エンジンによる推論ステップは、感情情報データベースに蓄積されている利用者の感情度が、特定の時制に多く偏っている場合は、前記特定の時制と異なる時制における感情度を前記利用者に入力させる質問文を出力することを特徴とする放送情報提供方法。 - 請求項9乃至請求項11のいずれかに記載の放送情報提供方法であって、
抽出された前記キーワードが所定の数以上になった場合に、各該キーワードに対応付けられた前記放送局を選局するステップを前記放送情報提供システムが実行することを特徴とする放送情報提供方法。 - 請求項9乃至請求項12のいずれかに記載の放送情報提供方法であって、
取得した前記放送情報を記憶するステップを前記放送情報提供システムが実行することを特徴とする放送情報提供方法。 - 請求項13に記載の放送情報提供方法であって、
記憶されている各前記放送情報に関連付けられた各見出し群を列記した見出しテーブルを記憶するステップと、
認識された前記文字列と前記見出しテーブルとを照合し、前記文字列の中から所定の見出しを抽出するステップと、
抽出された前記見出しに基づいて、該見出しに関連付けられた前記放送情報を取得し、取得した該放送情報を再生するステップとを前記放送情報提供システムが実行することを特徴とする放送情報提供方法。 - 請求項14に記載の放送情報提供方法であって、
抽出された前記見出しを含む前記文字列に基づいて、該見出しに対して前記利用者が抱く前記感情度を認識するステップと、
認識された前記感情度を前記見出しに関連付けて記憶するステップと、
記憶されている前記感情度に関連付けられた前記見出しに基づいて、該見出しに関連付けられた前記放送情報を取得し、取得した放送情報を再生するステップとを前記放送情報提供システムが実行することを特徴とする放送情報提供方法。 - 請求項9乃至請求項15のいずれかに記載の放送情報提供方法であって、
前記文字列に含まれる副詞又は感嘆詞からなる強調語に基づいて前記感情度を定めるステップを前記放送情報提供システムが実行することを特徴とする放送情報提供方法。 - 複数の放送局から放送された映像、音声等を含む複数の放送情報の中から、利用者の要求に応じて前記放送情報を受信する放送情報提供装置であって、
前記利用者から入力された文字列を認識する文字認識手段と、
各前記放送情報に関連付けられた各キーワード群と該各放送情報を配信する前記各放送局とを対応付けるリストテーブルを記憶したリスト記憶手段と、
前記文字認識手段で認識された前記文字列と前記リストテーブルとを照合し、該文字列の中から所定のキーワードを抽出するキーワード抽出手段と、
前記キーワード抽出手段で抽出された前記キーワードに基づいて、該キーワードに対応付けられた前記放送局を選局する選局手段と、
前記選局手段で選局された前記放送局から前記キーワードに関連付けられた前記放送情報を受信する受信手段と、
前記受信手段で受信された前記放送情報を出力する出力手段とを有するとともに、
さらに、前記放送情報提供装置は、
前記キーワード抽出手段で抽出された前記キーワードを含む前記文字列に基づいて、該キーワードに対して前記利用者が抱く感情の度合いを示す感情度を認識する感情認識手段と、
前記感情認識手段で認識された前記感情度と、該感情度に関連付けられた前記キーワードとを記憶する感情記憶手段とを有し、
前記感情認識手段は、前記キーワードを含む前記文字列に基づいて、前記感情度の発生時期に係る過去、現在、及び未来の時制を認識し、前記キーワードに対する感情度に関連付ける推論エンジンとして機能し、
前記感情記憶手段は、前記推論エンジンにより関連づけられた、利用者のキーワードに対する感情度と当該感情度の発生時期に係る前記時制とを利用者毎及び時制毎に蓄積するための感情情報データベースとして機能し、
前記選局手段は、前記感情記憶手段に記憶されている現在の時制の感情度に関連付けられている前記キーワードに基づいて、該キーワードに対応付けられている前記放送局を選局することを特徴とする放送情報提供装置。 - 請求項17に記載の放送情報提供装置であって、
前記推論エンジンは、利用者の前記キーワードに対する現在の時制の感情度を、現在と異なる時制の感情度から推論するため前記利用者へ感情度が変化しているか否かを判断する質問文を出力することを特徴とする放送情報提供装置。 - 請求項17に記載の放送情報提供装置であって、
前記推論エンジンは、感情情報データベースに蓄積されている利用者の感情度が、特定の時制に多く偏っている場合は、前記特定の時制と異なる時制における感情度を前記利用者に入力させる質問文を出力することを特徴とする放送情報提供装置。 - 請求項17乃至請求項19のいずれかに記載の放送情報提供装置であって、
前記選局手段は、前記キーワード抽出手段で抽出された前記キーワードが所定の数以上になった場合に、各該キーワードに対応付けられた前記放送局を選局することを特徴とする放送情報提供装置。 - 請求項17乃至請求項20のいずれかに記載の放送情報提供装置であって、
前記受信手段で取得した前記放送情報を記憶する情報記憶手段を有することを特徴とする放送情報提供装置。 - 請求項21に記載の放送情報提供装置であって、
前記情報記憶手段に記憶されている各前記放送情報に関連付けられた各見出し群を列記した見出しテーブルを記憶する見出し記憶手段を有し、
前記キーワード抽出手段は、前記文字認識手段で認識された前記文字列と前記見出しテーブルとを照合し、前記文字列の中から所定の見出しを抽出し、
前記キーワード抽出手段で抽出された前記見出しに基づいて、該見出しに関連付けられた前記放送情報を前記情報記録手段から取得し、取得した該放送情報を再生する再生手段を有することを特徴とする放送情報提供装置。 - 請求項22に記載の放送情報提供装置であって、
前記感情認識手段は、前記キーワード抽出手段で抽出された前記見出しを含む前記文字列に基づいて、該見出しに対して前記利用者が抱く前記感情度を認識し、
前記見出し記憶手段は、前記感情認識手段で認識された前記感情度を前記見出しに関連付けて記憶し、
前記再生手段は、前記リスト記憶手段で記憶されている前記感情度に関連付けられた前記見出しに基づいて、該見出しに関連付けられた前記放送情報を前記情報記録手段から取得し、取得した放送情報を再生することを特徴とする放送情報提供装置。 - 請求項17乃至請求項23のいずれかに記載の放送情報提供装置であって、
前記感情度は、前記文字列に含まれる副詞又は感嘆詞からなる強調語に基づいて定めることを特徴とする放送情報提供装置。 - 複数の放送局から放送された映像、音声等を含む複数の放送情報の中から、利用者の要求に応じて前記放送情報を受信する放送情報提供プログラムであって、コンピュータに、
前記利用者から入力された文字列を認識するステップと、
各前記放送情報に関連付けられた各キーワード群と該各放送情報を配信する前記各放送局とを対応付けるリストテーブルを記憶するステップと、
認識された前記文字列と前記リストテーブルとを照合し、該文字列の中から所定のキーワードを抽出するステップと、
抽出された前記キーワードに基づいて、該キーワードに対応付けられた前記放送局を選局するステップと、
選局された前記放送局から前記キーワードに関連付けられた前記放送情報を受信するステップと、
受信された前記放送情報を出力するステップとを実行させ、
さらに、前記放送情報提供プログラムは、コンピュータに、
前記キーワード抽出するステップで抽出された前記キーワードを含む前記文字列に基づいて、該キーワードに対して前記利用者が抱く感情の度合いを示す感情度を認識する感情認識ステップと、
前記感情認識ステップで認識された前記感情度と、該感情度に関連付けられた前記キーワードとを記憶する感情記憶ステップとを実行させ、
前記感情認識ステップは、前記キーワードを含む前記文字列に基づいて、前記感情度の発生時期に係る過去、現在、及び未来の時制を認識し、前記キーワードに対する感情度に関連付ける推論エンジンによる推論ステップとして実行させ、
前記感情記憶ステップは、前記推論エンジンによる推論ステップにより関連づけられた、利用者のキーワードに対する感情度と当該感情度の発生時期に係る前記時制とを利用者毎及び時制毎に感情情報データベースに蓄積することを実行させ、
前記感情記憶ステップで記憶されている現在の時制の感情度に関連付けられている前記キーワードに基づいて、該キーワードに対応付けられている前記放送局を選局することを実行させるための放送情報提供プログラム。 - 請求項25に記載の放送情報提供プログラムであって、
前記推論エンジンによる推論ステップは、利用者の前記キーワードに対する現在の時制の感情度を、現在と異なる時制の感情度から推論するため前記利用者へ感情度が変化しているか否かを判断する質問文の出力を実行することを特徴とする放送情報提供プログラム。 - 請求項25に記載の放送情報提供プログラムであって、
前記推論エンジンによる推論ステップは、感情情報データベースに蓄積されている利用者の感情度が、特定の時制に多く偏っている場合は、前記特定の時制と異なる時制における感情度を前記利用者に入力させる質問文の出力を実行することを特徴とする放送情報提供プログラム。 - 請求項25乃至請求項27のいずれかに記載の放送情報提供プログラムであって、
抽出された前記キーワードが所定の数以上になった場合に、各該キーワードに対応付けられた前記放送局を選局するステップを実行させるための放送情報提供プログラム。 - 請求項25乃至請求項28のいずれかに記載の放送情報提供プログラムであって、
取得した前記放送情報を記憶するステップを実行させるための放送情報提供プログラム。 - 請求項29に記載の放送情報提供プログラムであって、
記憶されている各前記放送情報に関連付けられた各見出し群を列記した見出しテーブルを記憶するステップと、
認識された前記文字列と前記見出しテーブルとを照合し、前記文字列の中から所定の見出しを抽出するステップと、
抽出された前記見出しに基づいて、該見出しに関連付けられた前記放送情報を取得し、取得した該放送情報を再生するステップとを実行させるための放送情報提供プログラム。 - 請求項30に記載の放送情報提供プログラムであって、
抽出された前記見出しを含む前記文字列に基づいて、該見出しに対して前記利用者が抱く前記感情度を認識するステップと、
認識された前記感情度を前記見出しに関連付けて記憶するステップと、
記憶されている前記感情度に関連付けられた前記見出しに基づいて、該見出しに関連付けられた前記放送情報を取得し、取得した放送情報を再生するステップとを実行させるための放送情報提供プログラム。 - 請求項25乃至請求項31のいずれかに記載の放送情報提供プログラムであって、
前記文字列に含まれる副詞又は感嘆詞からなる強調語に基づいて前記感情度を定めるステップを実行させるための放送情報提供プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002010348A JP4129356B2 (ja) | 2002-01-18 | 2002-01-18 | 放送情報提供システム、放送情報提供方法、放送情報提供装置及び放送情報提供プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002010348A JP4129356B2 (ja) | 2002-01-18 | 2002-01-18 | 放送情報提供システム、放送情報提供方法、放送情報提供装置及び放送情報提供プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003219288A JP2003219288A (ja) | 2003-07-31 |
JP4129356B2 true JP4129356B2 (ja) | 2008-08-06 |
Family
ID=27648114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002010348A Expired - Lifetime JP4129356B2 (ja) | 2002-01-18 | 2002-01-18 | 放送情報提供システム、放送情報提供方法、放送情報提供装置及び放送情報提供プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4129356B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006330060A (ja) * | 2005-05-23 | 2006-12-07 | Univ Waseda | 音声合成装置、音声処理装置、およびプログラム |
JP2009064186A (ja) * | 2007-09-05 | 2009-03-26 | Mazda Motor Corp | 車両用対話システム |
KR101160193B1 (ko) * | 2010-10-28 | 2012-06-26 | (주)엠씨에스로직 | 감성적 음성합성 장치 및 그 방법 |
JP7017755B2 (ja) * | 2018-01-24 | 2022-02-09 | 株式会社見果てぬ夢 | 放送波受信装置、放送受信方法、及び、放送受信プログラム |
-
2002
- 2002-01-18 JP JP2002010348A patent/JP4129356B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003219288A (ja) | 2003-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11197036B2 (en) | Multimedia stream analysis and retrieval | |
JP7498640B2 (ja) | ローカライズされたコンテキストのビデオ注釈を生成するためのシステム及び方法 | |
US9824150B2 (en) | Systems and methods for providing information discovery and retrieval | |
US9009054B2 (en) | Program endpoint time detection apparatus and method, and program information retrieval system | |
US8340974B2 (en) | Device, system and method for providing targeted advertisements and content based on user speech data | |
JP4024679B2 (ja) | トランスクリプト情報内で観察されたキューを使用する番組分類方法および装置 | |
US20050131688A1 (en) | Apparatus and method for classifying an audio signal | |
JP2005512233A (ja) | 映像プログラムにおいて人物に関する情報を検索するためのシステムおよび方法 | |
CN106462609A (zh) | 用于呈现与媒体内容相关的音乐项的方法、系统和介质 | |
JP2007519047A (ja) | 会話の話題を決定して関連するコンテンツを取得して提示する方法及びシステム | |
JP2004526373A (ja) | マルチメディアコンテンツ情報に基づいたビデオプログラムのパレンタル制御システム | |
JP2004516727A (ja) | トランスクリプト情報のシンタックスに基づく番組分類方法および装置 | |
JP2004528640A (ja) | 自動ビデオ検索の方法、システム、アーキテクチャ及びコンピュータプログラムプロダクト | |
US20240062748A1 (en) | Age-sensitive automatic speech recognition | |
CN111930974A (zh) | 一种音视频类型的推荐方法、装置、设备及存储介质 | |
US7962330B2 (en) | Apparatus and method for automatic dissection of segmented audio signals | |
JP4129356B2 (ja) | 放送情報提供システム、放送情報提供方法、放送情報提供装置及び放送情報提供プログラム | |
CN109800326B (zh) | 一种视频处理方法、装置、设备和存储介质 | |
JP4451037B2 (ja) | 情報検索システム及び情報検索方法 | |
JP2004289530A (ja) | 記録再生装置 | |
JP2004514350A (ja) | 番組の要約と索引付け | |
JP3838775B2 (ja) | マルチメディア処理装置、記録媒体 | |
Sano et al. | Automatic real-time selection and annotation of highlight scenes in televised soccer | |
WO2020240996A1 (ja) | 情報処理装置、情報処理方法、および、プログラム | |
JP4205370B2 (ja) | 会話制御システム、会話制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041014 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080519 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4129356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |