JP5715526B2 - 対話処理装置、対話処理方法、及び対話処理プログラム - Google Patents
対話処理装置、対話処理方法、及び対話処理プログラム Download PDFInfo
- Publication number
- JP5715526B2 JP5715526B2 JP2011175395A JP2011175395A JP5715526B2 JP 5715526 B2 JP5715526 B2 JP 5715526B2 JP 2011175395 A JP2011175395 A JP 2011175395A JP 2011175395 A JP2011175395 A JP 2011175395A JP 5715526 B2 JP5715526 B2 JP 5715526B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- processing
- expert
- presentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
対話行動制御部は、音声認識結果を各エキスパートに配布し、選択したトピックと各エキスパートが選択される確からしさを表すスコアに基づいてエキスパートを選択する。エキスパートとは、利用者との対話において予め定めた種類の処理、又は利用者によって指示された種類の動作を行うための処理を行うモジュール(構成部)である。
(3)本発明のその他の態様は、前記要求理解エキスパート部の処理を継続するか否かの判定は、前記認識結果に肯定発話情報を含むか否かを示す特徴量に基づき、前記要求理解エキスパート部の選択は、前記認識結果に前記所定の題目を含むか否かを示す特徴量を用いて推定された適合性に基づくことを特徴とする(1)又は(2)の対話処理装置。
本発明のその他の態様(3)によれば、さらに利用者の発話に適したエキスパート部を選択することができる。
本発明のその他の態様(4)によれば、さらに現在予め定めた種類の処理を行っていないエキスパート部が利用者の発話に適したエキスパート部である可能性を考慮して、利用者の発話に適したエキスパート部を選択することができる。
本発明のその他の態様(5)によれば、さらに利用者の発話と、発話に対する応答が異なるエキスパート部の中から、利用者の発話に適したエキスパート部を選択することができる。
また、本実施形態は、さらに推定した適合性に基づいて現在処理を行っているエキスパート部の処理を継続するか否かを判定する。
図1は、本実施形態に係る対話処理装置1の構成を示す概略図である。
対話処理装置1は、音声入力部101、音声認識部102、動作理解部103、エキスパート部104−1、エキスパート部104−2、エキスパート部104−3、タスク計画部106、情報出力部107及び情報提示部108を含んで構成される。
なお、エキスパート部104−1〜104−3を総称する場合や区別しない場合には、エキスパート部104−1〜104−3又は単にエキスパート部104と呼ぶ。
音声認識部102は、音声入力部101から入力された音響信号に基づいて認識した音声認識情報を生成し、生成した音声認識情報を動作理解部103に出力する。音声認識部102の構成については後述する。
処理継続信号が処理を継続しないことを示す場合、動作理解部103は、入力された適合性情報に基づいて処理を開始するエキスパート部104を選択する。
なお、どのエキスパート部104も処理を行っておらず処理継続信号が入力されない場合(例えば、初期状態)、動作理解部103は、予め設定されたエキスパート部104を当初処理を開始するエキスパート部104と選択する。
動作理解部103は、選択したエキスパート部104に、処理を開始することを示す起動信号を出力する。
エキスパート部104は、次のように共通の処理を行う機能をさらに有する。エキスパート部104は、動作理解部103から起動信号を入力された場合、動作理解部103から入力された音声認識情報に基づき予め設定された処理を行う。この処理は、エキスパート部104が備える動作処理部1045(後述)が行い、出力パターン情報を生成する。処理選択部107から処理選択信号を入力されたとき、生成した出力パターン信号を処理選択部107に出力する。起動信号が入力されたエキスパート部(処理を行うエキスパート部)は、動作理解部103から入力された音声認識情報に基づき処理を継続するか否か判定し、その処理を継続するか否かを示す処理継続信号を生成する。そのエキスパート部は、生成した処理継続信号を動作理解部103に出力する。
動作理解部103から起動信号が入力されないエキスパート部(処理を行わないエキスパート部)は、動作理解部103から入力された音声認識情報に基づいて適合性情報を推定し、推定した適合性情報を動作理解部103に出力する。
情報提示部108は、情報出力部107から入力された出力パターン情報を利用者が知覚可能な形態に変換して利用者に提示する。出力パターン情報が、応答情報のように形態がテキスト列を備える場合には、その応答情報に対してテキスト音声合成を行って音声信号を生成する。情報提示部108は生成した音声信号に基づく音を再生する。但し、出力パターン情報が指示可能情報である場合には、情報提示部108は出力パターン上右方を表す文字の画像に変換し、変換した画像を表示する。指示可能情報とは、利用者が発話によって情報提示部108に実行させることができる情報である。指示可能情報の例については後述する。出力パターン情報が、画像情報である場合には、その画像信号に基づく画像を表示する。
図2は、本実施形態に係る対話処理を示すフローチャートである。
(ステップS101)音声入力部101は、受信した音波を音響信号に変換し、変換した音響信号を音声認識部102に出力する。その後、ステップS102に進む。
(ステップS102)音声認識部102は、音声入力部101から入力された音響信号に基づいて認識した音声認識情報を生成し、生成した音声認識情報を発話区間毎に動作理解部103に出力する。その後、ステップS103に進む。
(ステップS105)エキスパート部104は、動作理解部103から入力された音声認識情報に基づき予め設定された処理を行う。エキスパート部104は、自部が備える動作処理部1045において処理を行って出力パターン情報を生成する。処理選択部107から処理選択信号を入力されたとき、生成した出力パターン情報を処理選択部107に出力する。その後、ステップS106に進む。
(ステップS106)エキスパート部104は、動作理解部103から入力された音声認識情報に基づき処理を継続するか否か判定し、その処理を継続するか否かを示す処理継続信号を生成する。そのエキスパート部104は、生成した処理継続信号を動作理解部103に出力する。その後、ステップS107に進む。
(ステップS108)動作理解部103は、現在予め設定された処理を行っていないエキスパート部104から適合性情報を入力される。動作理解部103は、現在予め設定された処理を行っているエキスパート部104から処理を継続するか否かを示す処理継続信号を入力される。処理継続信号が処理を継続しないこと(非継続)を示す場合、動作理解部103は、入力された適合性情報に基づいて次回起動するエキスパート部104を選択する。動作理解部103は選択したエキスパート部104に、処理を開始することを示す起動信号を出力する。その後、ステップS109に進む。
(ステップS110)情報提示部108は、情報出力部107から入力された出力パターン情報を利用者が知覚可能な形態に変換して利用者に提示する。その後、処理を終了する。
図3は、本実施形態に係る音声認識部102の構成の一例を示す概略図である。
音声認識部102は、特徴量算出部1021、音響モデル記憶部1022、音素決定部1023、単語情報記憶部(単語辞書)1024、言語モデル記憶部1025、単語決定部1026を含んで構成される。
特徴量算出部1021は、音声入力部101から入力された音響信号に基づいてフレーム(例えば20ms)毎に音響特徴量(例えば、メル周波数ケプストラム(Mel frequency cepstral coefficient;MFCC))を算出する。特徴量算出部1021は、算出した音響特徴量を音素決定部1023に出力する。
音素決定部1023は、特徴量算出部1021から入力された音響特徴量に対応する対数確率値のセットを含む音素情報を音響モデル記憶部1022から読み出す。音素決定部1023は、音響モデル記憶部1022から読み出した対数確率値を入力された音響特徴量の順番に加算して音響スコア(尤度)を算出する。音素決定部1023は、音響スコアが1番目からM(Mは予め設定された1以上の整数)番目に大きい音素情報と各々の音響スコアを関連付けて音素候補情報として単語決定部1026及び動作理解部103に出力する。
言語モデル記憶部1025には、複数(例えば3個)の単語情報の組と対数確率値(単語信頼度)のセット(単語間の接続制約)を複数個備える言語モデルが予め記憶されている。
単語決定部1026は、音素決定部1023から入力された音素候補情報に含まれる音素情報の組に対応する単語情報を単語情報記憶部1024から読み出す。単語決定部1026は、読み出した単語情報の組に対応する単語信頼度を言語モデル記憶部1025から読み出し、読み出した単語信頼度を入力された音素候補情報が表す単語の順に加算して言語スコアを算出する。単語決定部1026は、算出した言語スコアが1番目からN(Nは予め定めた1以上の整数)番目に大きい単語情報と各々の言語スコアを単語候補情報と定める。単語決定部1026は、定めた単語候補情報に含まれる各単語情報の音素情報の組に対応する音響スコアを、入力された音素候補情報から抽出する。単語決定部1026は、定めた単語候補情報と抽出した音素候補情報を音声認識情報として動作理解部103に出力する。
図4は、本実施形態に係る動作理解部103が行うエキスパート選択処理を示すフローチャートである。
(ステップS201)動作理解部103は、音声認識部102から入力された音声認識情報を各エキスパート部104−1〜104−3に出力する。その後、ステップS202に進む。
入力された処理継続信号が、そのエキスパート部104の処理を継続することを示す(例えば、信号値1)場合(ステップS203 Y)、動作理解部103は、処理を終了する。入力された処理継続信号が、そのエキスパート部104の処理を継続しないことを示す(例えば、信号値0)場合(ステップS203 N)、ステップS204に進む。
図5は、本実施形態に係るエキスパート部104の構成を示す概略図である。
エキスパート部104は、特徴量生成部1041、処理情報記憶部1042、適合性推定部1043、処理継続判定部1044、動作処理部1045及び対話履歴記憶部1046を含んで構成される。
特徴量生成部1041は、動作理解部103から起動信号を入力されたとき、又は処理継続判定部1044から処理を継続することを示す処理継続信号を入力されたとき、生成した特徴量情報を処理継続判定部1044に出力する。つまり、該当するエキスパート部104(具体的には動作処理部1045)が処理を行う場合に、処理継続判定部1044が処理の継続・非継続を判定する。
なお、後述するように特徴量生成部1041が出力する特徴量情報が含む特徴量の組は、適合性推定部1043に出力するものと処理継続判定部1044に出力するものとで異なってもよい。
確率値Pは、特徴量の線形結合値(a0+Σl=1 nalFl)が増加するに従って単調に増加し、最小値0から最大値1までの間の実数値である。この線形結合値が∞に近づくと、確率値Pは1に漸近し、この線形結合値が−∞に近づくとPは0に漸近する。
適合性推定部1043は、推定した適合性情報を動作理解部103に出力する。
以下の説明では、各機能部(特徴量生成部1041等)を、各エキスパート部104毎に区別する場合には、特徴量生成部1041−1等と呼ぶ。ここで、末尾の−1等は、エキスパート部104−1等を示す。
図6は、本実施形態に係るRUエキスパート部104−1の処理情報記憶部1042−1が記憶する処理情報の一例を表す概念図である。
図6に示すように、処理情報記憶部1042−1は、発話パターン情報として質問情報、肯定発話情報、否定発話情報を記憶する。処理情報記憶部1042−1は、質問情報と対応付けて応答情報を出力パターン情報として記憶する。
質問情報とは、利用者が対話処理装置1に対して質問する内容を表す情報である。図6の最上行の「グリニッジ ニ ツイテ オシエテ クダサイ」とは、利用者が「グリニッジ」について質問することを表す質問情報である。そのうち、質問情報の一部として含まれ下線が付された部分「グリニッジ」、「オシエテ」は、キーワード情報を示す。キーワード情報とは、質問情報として必須であり、動作処理部1045−1が検索の手がかりとして音声認識情報に含まれる単語情報と照合する語句を表す情報である。
動作処理部1045−1は、肯定発話情報を読み出した場合、記憶した処理要求情報の候補「グリニッジ」、「セツメイ」を処理要求情報と定め、定めた処理要求情報をタスク計画部106に出力する。
動作処理部1045−1は、否定発話情報を読み出した場合、記憶した処理要求情報の候補「グリニッジ」、「セツメイ」を自部が備える記憶部から削除する。
ここで、QAエキスパート部104−2の処理情報記憶部1042−2が記憶する処理情報について動作処理部1045が行う処理とともに説明する。
図7は、本実施形態に係るQAエキスパート部104−2の処理情報記憶部1042−2が記憶する処理情報の一例を表す概念図である。
図7に示すように、処理情報記憶部1042−2は、発話パターン情報として質問情報、肯定発話情報、否定発話情報、相槌情報を記憶する。処理情報記憶部1042−2は、質問情報と対応付けて応答情報と提示情報を出力パターン情報として記憶する。
図7の最上行の「イタリア ノ セカイイサン ノ リスト ヲ ミセテ クダサイ」とは、利用者が「イタリアの世界遺産のリストを見せ」ることを要求する質問情報である。そのうち、質問情報の一部として含まれ下線が付された部分「イタリア」、「セカイイサン」、「リスト」、「ミセテ」は、キーワード情報を示す。
第3行の「ドノ チイキ ノ リスト ガ ミタイ カ オッシャッテ クダサイ」とは、提示している画像情報を参照してどの地域のリストを提示すべきか利用者に対して指示を促す応答情報である。
図7の第5行の「ハイ」、「ウン」とは、直前に提示された応答情報又は提示情報に対しする肯定発話情報である。第6行の「イイエ」、「イヤ」とは、直前に提示された応答情報又は提示情報に対する否定発話情報である。
図7の第7行の「ナルホド」、「ソウデスネ」とは、直前に提示された応答情報に対して利用者が反応を示す相槌情報である。
動作処理部1045−2は、入力された音声認識情報に含まれる単語情報として「いいえ」を含む場合、処理情報記憶部1042−2から「イイエ」を示す否定発話情報を読み出す。動作処理部1045−2は、読み出した否定発話情報を対話履歴記憶部1046−2に時刻情報と対応付けて記憶する。
動作処理部1045−2は、入力された音声認識情報に含まれる単語情報として「なるほど」を含む場合、処理情報記憶部1042−2から「ナルホド」を示す相槌情報を読み出す。動作処理部1045−2は、読み出した相槌情報を対話履歴記憶部1046−2に時刻情報と対応付けて記憶する。
動作情報記憶部1042−3に記憶されている動作情報は、最初に出力すべき応答情報と提示情報の組を初期出力情報として含む。IPエキスパート部104−3は、タスク計画部106から処理を開始することを指示する起動信号が入力された場合、初期出力情報を情報出力部107に出力し、対話履歴記憶部1046−3に記憶する。
図8は、本実施形態に係るIPエキスパート部104−3の処理情報記憶部1042−3が記憶する処理情報の一例を表す概念図である。
図8に示すように、処理情報記憶部1042−3は、発話パターン情報として質問情報、指示可能情報を記憶する。処理情報記憶部1042−3は、応答情報と提示情報を出力パターン情報として記憶する。処理情報記憶部1042−3は、質問情報と対応付けて記憶する応答情報と提示情報を出力パターン情報として記憶する。
図8の第4行の「グリニッジヒョウジュンジ ッテ ナンデスカ?」とは、利用者が対話処理装置1に対してグリニッジ標準時に対して問い合わせる質問情報である。そのうち、質問情報の一部として含まれ下線が付された部分「グリニッジヒョウジュンジ」、「ナンデスカ」は、キーワード情報を示す。
図8の第7行の「トマル」、「ツギ」、「モドル」、「モウイチド」とは、利用者1が提示情報を提示する処理の形態を指示する指示可能情報である。「トマル」とは、画像情報の提示を停止することを指示する情報である。「ツギ」とは、現在提示されている画像情報の直後に提示される画像情報を提示することを指示する情報である。「モドル」とは、現在提示されている画像情報の直前に提示される画像情報を提示することを指示する情報である。「モウイチド」とは、現在提示している画像情報を再度初頭から提示することを指示する情報である。
動作処理部1045−3は、入力された音声認識情報に含まれる単語情報として「グリニッジヒョウジュンジ」及び「ナンデスカ」を含む場合、処理情報記憶部1042−3から「グリニッジヒョウジュンジ ッテ ナンデスカ?」を示す質問情報を読み出す。動作処理部1045−3は、この質問情報に対応する応答情報として「グリニッジテンモンダイ デノ ヘイキンタイヨウジ ノ コトデス」を示す応答情報とグリニッジ天文台の内容を示す画像情報を提示情報として読み出す。動作処理部1045−3は、この読み出した応答情報と提示情報を出力パターン情報として情報出力部107に出力し、読み出した質問情報を発話パターン情報として、応答情報及び提示情報を出力パターン情報として、時刻情報と対応付けて対話履歴記憶部1046−3に記憶する。
動作処理部1045−3は、入力された音声認識情報に含まれる単語情報として「ツギ」を含む場合、処理情報記憶部1042−3から「ツギ」を示す指示可能情報を読み出す。動作処理部1045−3は、現在出力している提示情報よりも後に提示されるべき提示情報を出力パターン情報として情報出力部107へ出力する。動作処理部1045−3は、読み出した指示可能情報を対話履歴記憶部1046−3に出力パターン情報として時刻情報と対応付けて記憶する。
動作処理部1045−3は、入力された音声認識情報に含まれる単語情報として「モドル」を含む場合、処理情報記憶部1042−3から「モドル」を示す指示可能情報を読み出す。動作処理部1045−3は、現在出力している提示情報よりも前に提示されるべき提示情報を出力パターン情報として情報出力部107へ出力する。動作処理部1045−3は、読み出した指示可能情報を対話履歴記憶部1046−3に出力パターン情報として時刻情報と対応付けて記憶する。
動作処理部1045−3は、入力された音声認識情報に含まれる単語情報として「モウイチド」を含む場合、処理情報記憶部1042から「モウイチド」を示す指示可能情報を読み出す。動作処理部1045−3は、現在出力している提示情報を初頭から再度、出力パターン情報として情報出力部107へ出力する。動作処理部1045−3は、読み出した指示可能情報を対話履歴記憶部1046に出力パターン情報として時刻情報と対応付けて記憶する。
以下の説明において、特徴量Fi,rxは、入力された音声認識情報に基づく特徴量情報である。特徴量Fi,hxは、対話履歴記憶部1046から読み出した対話履歴情報に基づく特徴量情報である。SRRi,jは、音声認識情報においてエキスパートクラスiにおいてj番目に言語スコアが高い単語情報及び対応する音素情報である。エキスパートクラスとは、エキスパート部の種類を意味する。iは、エキスパートクラスの何れかを示すインデックスである。iがRUのとき、RUエキスパート部104−1を示す。iがQAのとき、QAエキスパート部104−2を示す。i=IPのとき、IPエキスパート部104−3を示す。SRRi,allは、音声認識情報においてエキスパートクラスiにおいて1番目からN番目に言語スコアが高い単語情報及び対応する音素情報の全てである。SRRlv,jは、大語彙言語モデルを用いた発話検証用の音声認識情報においてj番目に言語スコアが高い単語情報及び対応する音素情報の全てである。大語彙言語モデルとは、言語モデル記憶部1025に記憶される言語モデルであって、このモデルを構成する単語列に用いられる単語の種類の数(例えば、60、250語、)が多い言語モデルである(通常の言語モデルでは、例えば5、000語)。
図9の最左列から右側へ順に、関連があるエキスパートクラス(種類)、特徴量、内容を示す。図9の最左列においてエキスパートクラスが共通とは、RUエキスパート部104−1、QAエキスパート部104−2、IPエキスパート部104−3が共通に生成する特徴量情報を示す。
図9の上から第3行の特徴量Fi,r2は、SRRi,jに含まれる単語情報としてフィラーが含まれるかどうかを示す特徴量である。フィラーとは、意図をもった発話の間に挟みこむ語句、例えば「ええと」、「あのう」である。SRRi,1にフィラーが含まれる場合、Fi,r2の値が1であり、SRRi,1にフィラーが含まれない場合、Fi,r2の値が0である。
図9の上から第5行の特徴量Fi,r4は、SRRi,1に含まれる単語情報に係る単語信頼度の平均値を示す。
図9の上から第6行の特徴量Fi,r5は、SRRi,1に含まれる音韻情報に係る音響スコアを発話区間の時間で除算した値を示す。
図9の上から第7行の特徴量Fi,r6は、SRRi,1の言語スコアを示す。
図9の上から第8行の特徴量Fi,r7は、SRRi,1に含まれる単語数を示す。
図9の上から第9行の特徴量Fi,r8は、SRRi,allに含まれる単語数を示す。
図9の上から第10行の特徴量Fi,r9は、特徴量Fi,r5と、SRRlv,1の音響スコアを発話区間の時間で除算した値との差分値を示す。
図10の最左列から右側へ順に、関連があるエキスパートクラス(種類)、特徴量、内容を示す。図10の最左列においてエキスパートクラスがRUとは、RUエキスパート部104−1の特徴量生成部1041−1のみが生成する特徴量情報を示す。
図10の上から第2行の特徴量FRU,r10は、SRRRU,1が肯定発話情報を含むかどうかを示す特徴量である。SRRRU,1が肯定発話情報を含む場合、FRU,r10の値が1であり、SRRRU,1が肯定発話情報を含まない場合、FRU,r10の値が0である。特徴量生成部1041−1は、SRRRU,1が肯定発話情報を含むかどうかを判断するために、処理情報記憶部1042−1に記憶されている肯定発話情報と、SRRRU,1に含まれる単語情報を照合する。
図10の上から第5行の特徴量FRU,r13は、SRRRU,1に世界遺産の名称が含まれているか否かを示す特徴量である。SRRRU,1に世界遺産の名称が含まれている場合、FRU,r13は値1であり、SRRRU,1に世界遺産の名称が含まれていない場合、FRU,r13は値0である。特徴量生成部1041−1は、SRRRU,1が世界遺産の名称を含むかどうかを判断するために、処理情報記憶部1042−1に記憶されている質問情報に含まれるキーワードのうち世界遺産の名称を示す部分と照合する。
図10の上から第9行の特徴量FRU,h4は、特徴量FRU,h3を特徴量FRU,h2で除算した特徴量である。
図11の最左列から右側へ順に、関連があるエキスパートクラス(種類)、特徴量、内容を示す。図11の最左列においてエキスパートクラスがIPとは、IPエキスパート部104−3の特徴量生成部1041−3のみが生成する特徴量情報を示す。
図11の上から第3行の特徴量FIP,r11は、質問情報に含まれるキーワードと照合する単語であって、SRRIP,jに含まれる単語情報における単語数を、SRRIP,jに含まれる単語数で除算した値を、全ての認識結果jにわたる総和をとり、さらに認識結果の個数で除算した値である。この質問情報とは、処理情報記憶部1042−3に記憶されている質問情報である。これは、特徴量FIP,r12〜FIP,r16においても同様である。
図11の上から第5行の特徴量FIP,r13は、質問情報に含まれるキーワードkと照合する単語であって、SRRIP,allに含まれる単語情報における単語数の全認識候補内での個数を、認識結果の個数で除算した値であって、キーワードk間の最大値を示す。
図11の上から第7行の特徴量FIP,r15は、質問情報に含まれるキーワードkに照合する単語であって第1候補SRRIP,1に含まれる単語情報における単語に対応する単語信頼度のキーワードk間の最小値である。
図11の上から第8行の特徴量FIP,r16は、質問情報に含まれるキーワードkに照合する単語であって第1候補SRRIP,1に含まれる単語情報における単語に対応する単語信頼度のキーワードk間の最大値である。
図11の上から第9行の特徴量FIP,h1は、IPエキスパート部104−3が既出(即ち対話処理装置1が動作開始以降、予め設定された処理を行ったことがある)であるか否かを示す特徴量である。IPエキスパート部104−3が既出である場合、特徴量FIP,h1は値1である。IPエキスパート部104−3が既出でない場合、特徴量FIP,h1は値0である。IPエキスパート部104−3が既出であるか否かを判断するために、特徴量生成部1041は対話履歴記憶部1046−3から読み出した対話履歴情報に質問情報等の発話パターン情報及び応答情報等の出力パターン情報が含まれているか否かを判断する。
図12の最左列から右側へ順に、関連があるエキスパートクラス(種類)、特徴量、内容を示す。図12の最左列においてエキスパートクラスがQAとは、QAエキスパート部104−2の特徴量生成部1041−2のみが生成する特徴量情報を示す。
図12の上から第3行の特徴量FQA,r11は、質問情報に含まれるキーワードと照合する単語であって、SRRQA,jに含まれる単語情報における単語数を、SRRQA,jに含まれる単語数で除算した値を、全ての認識結果jにわたる総和をとり、さらに認識結果の個数で除算した値である。この質問情報とは、処理情報記憶部1042−2に記憶されている質問情報である。これは、特徴量FQA,r12〜FQA,r16においても同様である。
図12の上から第5行の特徴量FQA,r13は、質問情報に含まれるキーワードkと照合する単語であって、SRRQA,allに含まれる単語情報における単語数の全認識候補内での個数を、認識結果の個数で除算した値であって、キーワードk間の最大値を示す。
図12の上から第7行の特徴量FQA,r15は、質問情報に含まれるキーワードkに照合する単語であって第1候補SRRQA,1に含まれる単語情報における単語に対応する単語信頼度のキーワードk間の最小値である。
図12の上から第8行の特徴量FQA,r16は、SRRIP,1に含まれる単語情報における単語が相槌情報であるか否かを示す特徴量である。SRRIP,1に含まれる単語情報における単語が相槌情報である場合、特徴量FQA,r16の値は1である。SRRIP,1に含まれる単語情報における単語が相槌情報ではない場合、特徴量FQA,r16の値は0である。特徴量生成部1041−2は、SRRIP,1に含まれる単語情報における単語が相槌情報であるかどうかを判断するために、処理情報記憶部1042−2に記憶されている相槌情報と、SRRIP,1に含まれる単語情報を照合する。
図12の上から第12行の特徴量FQA,h4は、特徴量FQA,h3を特徴量FQA,h2で除算した特徴量である。
具体的には、RUエキスパート部104−1の適合性推定部1043−1は、特徴量FRU,r1−FRU,r13、FRU,h2−FRU,h4を、式(1)の特徴量F1−Fnに代入して確率値Pを算出する。処理継続判定部1044−1は、特徴量FRU,r1−FRU,r13、FRU,h1−FRU,h4を、特徴量ベクトルFの要素値として処理を継続するか否か判断する。
具体的には、QAエキスパート部104−2の適合性推定部1043−2は、特徴量FQA,r1−FQA,r16、FQA,h2−FQA,h4を、式(1)の特徴量F1−Fnに代入して確率値Pを算出する。処理継続判定部1044−2は、特徴量FQA,r1−FQA,r16、FQA,h1−FQA,h4を、特徴量ベクトルFの要素値として処理を継続するか否か判断する。
図13の最上行は、最左列から右側へ順に、特徴量、適合性推定、継続・非継続判定を示す。図13の最左列の第2行以降の行は、RUエキスパート部104−1が用いる特徴量の候補としてFRU,r1,...FRU,r13,FRU,h1,...,FRU,h4,Faを示す。ここで、特徴量Faとは、(具体的には動作処理部1045が)予め設定した処理を行わないエキスパート部104が推定した適合性情報(確率値P)の最大値を示す。
図13において、−印は該当する情報がないことを示す。図13の左から第2列において、○は適合性推定に用いる特徴量であることを示す。図13の左から第3列において、○は継続・非継続判断に用いる特徴量であることを示す。
即ち、図13は、適合性推定部1043−1は、適合性情報(確率値P)を算出する際に特徴量FRU,r2,...FRU,r6,FRU,r8,FRU,r13を用いることを示す。従って、特徴量生成部1041は、これらの特徴量情報を生成し、生成した特徴量情報を適合性推定部1043に出力する。
また、図13は、処理継続判定部1044−1は、処理の継続・非継続を判定する際に特徴量FRU,r1,FRU,r2,FRU,r4,FRU,r5,FRU,h1,FRU,h2,Faを用いることを示す。従って、特徴量生成部1041−1は、特徴量FRU,r1,FRU,r2,FRU,r4,FRU,r5,FRU,h1,FRU,h2を表す特徴量情報を生成し、生成した特徴量情報を処理継続判定部1044−1に出力する。
図14の最上行は、最左列から右側へ順に、特徴量、適合性推定、継続・非継続判定を示す。図14の最左列の第2行以降の行は、IPエキスパート部104−3が用いる特徴量の候補としてFIP,r1,...FIP,r16,FIP,h1,Faを示す。
図14において、−印は該当する情報がないことを示す。図14の左から第2列において、○は適合性推定に用いる特徴量であることを示す。図14の左から第3列において、○は継続非継続判定に用いる特徴量であることを示す。
即ち、図14は、適合性推定部1043−3は、適合性情報(確率値P)を算出する際に特徴量FIP,r2,FIP,r4,FIP,r6,...FIP,r10,FIP,r12,...FIP,r14を用いることを示す。従って、特徴量生成部1041−1は、これらの特徴量情報を生成し、生成した特徴量情報を適合性推定部1043−3に出力する。
また、図14は、処理継続判定部1044−3は、処理の継続・非継続を判定する際に特徴量FIP,r1,...FIP,r8,Faを用いることを示す。従って、特徴量生成部1041−3は、特徴量FIP,r1,...FIP,r8を表す特徴量情報を生成し、生成した特徴量情報を処理継続判定部1044−3に出力する。
図15の最上行は、最左列から右側へ順に、特徴量、適合性推定、継続・非継続判定を示す。図15の最左列の第2行以降の行は、QAエキスパート部104−2が用いる特徴量の候補としてFQA,r1,...FQA,r16,FQA,h1,...FQA,h4,Faを示す。
図15において、−印は該当する情報がないことを示す。図15の左から第2列において、○は適合性推定に用いる特徴量であることを示す。図15の左から第3列において、○は継続・非継続判定に用いる特徴量であることを示す。
即ち、図15は、適合性推定部1043−2は、適合性情報(確率値P)を算出する際に特徴量FQA,r2,...FQA,r4,FQA,r6,...FQA,r8,FQA,r10,FQA,r13,...FQA,r15を用いることを示す。従って、特徴量生成部1041−2は、これらの特徴量情報を生成し、生成した特徴量情報を適合性推定部1043−2に出力する。
また、図15は、処理継続判定部1044−2は、処理の継続・非継続を判定する際に特徴量FQA,r1,...FQA,r6,FQA,h1,Faを用いることを示す。従って、特徴量生成部1041−2は、特徴量FQA,r1,...FQA,r6,FQA,h1を表す特徴量情報を生成し、生成した特徴量情報を処理継続判定部1044−2に出力する。
しかし、本実施形態ではこれには限られず、動作理解部103は、各エキスパート部104−1〜104−3から音声認識情報に基づいて生成した特徴量情報を入力されるようにしてもよい。このとき、動作理解部103は、処理継続判定部1044と同様に現在予め設定された処理を行っているエキスパート部から入力された特徴量情報に基づき処理継続信号を生成し、適合性推定部1043と同様に現在予め設定された処理を行っていないエキスパート部から入力された特徴量情報に基づき適合性情報を生成する。この場合、各エキスパート部104−1〜104−3は、適合性推定部1043と処理継続判定部1044を省略してもよい。
図16は、本実施形態に係る対話処理装置1による対話の一例を示す表である。
図16は、最左列から右側へ順に、発話主体、発話(動作)、選択エキスパートを示す。選択エキスパートとは、予め設定された処理を行うエキスパート部104として動作理解部103が選択したエキスパート部104である。
図16の第2行は、対話処理装置1が、利用者に対して「こんにちは、イタリア、ギリシャと他の地域の有名な世界遺産についての質問にお答えします。また、いくつかの世界遺産について詳しく説明できます。何でも聞いてみて下さい。」という音声を提示することを示す。これにより、対話処理装置1は利用者に対して問合せを促す。図16の第2行は、この選択エキスパートがQAエキスパート部104−1であることを示す。
図16の第3行は、対話処理装置1が上述の音声を受けて利用者が発話した「イタリアの世界遺産のリストを見せて下さい。」を示す音声を認識し、対話処理装置1はイタリアの世界遺産のリストを画像で表示することを示す。図16の第3行は、この選択エキスパートがQAエキスパート部104−1であることを示す。
図16の第5行は、対話処理装置1が上述の音声を受けて利用者が発話した「他に何が聞けますか?」、を示す音声を認識し、対話処理装置1はイタリアの世界遺産のリストを画像で表示することを示す。図16の第5行は、この選択エキスパートがQAエキスパート部104−1であることを示す。
これにより、対話処理装置1は世界遺産に関する質問を利用者に対して促す。図16の第6行は、この選択エキスパートがQAエキスパート部104−1であることを示す。
図16の第8行は、対話処理装置1が「海事都市グリニッジの説明ですね?」という音声を提示し、利用者に認識した情報の確認を促す。図16の第8行は、この処理に係るエキスパート部がRUエキスパート部104−1であることを示す。
図16の第9行は、対話処理装置1が、利用者が発話した「はい」という音声を認識し、認識した情報が肯定応答情報であることを認識する。図16の第9行は、この選択エキスパートがRUエキスパート部104−1であることを示す。
図16の第11行は、対話処理装置1が、利用者が発話した「グリニッジ標準時ってなんですか?」という音声を認識することを示す。図16の第11行は、この選択エキスパートが104−3であることを示す。
図16の第12行は、対話処理装置1が「グリニッジ天文台での平均太陽時です。」という音声を、利用者の発話に対する応答情報として提示することを示す。図16の第12行は、この選択エキスパートがIPエキスパート部104−3であることを示す。
図17は、本実施形態に係る対話処理装置1が選択したエキスパート部104の回数の一例を示す表である。
図17の各列は、対話処理装置1が選択したエキスパート部104(選択エキスパート)を示す。図17の各行は、正解として既知のエキスパート部104(正解エキスパート)を示す。選択エキスパート、正解エキスパートの種類は、それぞれRUエキスパート部104−1を1種類(RU)、QAエキスパート部104−2を1種類(QA)、IPエキスパート部104−3を8種類(IP1〜IP8)、計10種類である。IP1〜IP8は、各々異なる処理情報(質問情報、応答情報、提示情報)を記憶し出力する。 図17の第3〜12行、第3〜12列の各欄は、その行の正解エキスパートに対してその列の選択エキスパートと選択した回数を示す。図17の第13列は、全選択エキスパートにわたる正解エキスパート毎の回数の合計値(試行回数)を示す。図17の第13行は、全正解エキスパートにわたる選択エキスパート毎の選択された回数の合計値を示す。従って、図17の第3〜12行の各対角要素は、エキスパート部毎の正しく選択された回数を示す。
図18において、用いたエキスパート部の個数及び種類、試行回数、各行各列の配列は、図17が示す結果と同様である。
図18によれば、RUについては、234回中128回が正解である。QAについては、1025回中951回が正解である。IP1については、12回中4回が正解である。IP2については、22回中7回が正解である。IP3については、72回中21回が正解である。IP4については、80回中19回が正解である。IP5については、29回中12回が正解である。IP6については、35回中9回が正解である。IP7については、57回中15回が正解である。IP8については、17回中1回が正解である。従って、全エキスパート部104にわたる正答率は73.72%である。これより本実施形態では全エキスパート部104にわたる正答率が11.37%向上している。
対話処理装置1が備える他の機能部、例えば、特徴量算出部1021、音素決定部1023、単語決定部1026、動作理解部103タスク計画部106、及び情報出力部107を実現する、別個のコンピュータシステムを備え、そのコンピュータシステムを用いて実現されるものであってもよい。その場合、対話処理装置1を実現するプログラムとは別個のプログラムを用いて実現する。
また、上述した実施形態における対話処理装置1の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。対話処理装置1の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
1021…特徴量算出部、1022…音響モデル記憶部、1023…音素決定部、
1024…単語情報記憶部、1025…言語モデル記憶部、1026…単語決定部、
103…動作理解部、104(104−1〜104−3)エキスパート部、
104−1…RUエキスパート部、104−2…QAエキスパート部、
104−3…IPエキスパート部、
1041(1041−1〜1041−3)…特徴量生成部、
1042(1042−1〜1042−3)…処理情報記憶部、
1043(1043−1〜1043−3)…適合性推定部、
1044(1044−1〜1044−3)…処理継続判定部、
1045(1045−1〜1045−3)…動作処理部、
1046(1046−1〜1046−3)…対話履歴記憶部、
106…タスク計画部、107…情報出力部、108…情報提示部
Claims (7)
- 音声を入力する音声入力部と、
前記音声入力部が入力した音声を認識する音声認識部と、
予め定めた処理を行うエキスパート部であって、前記処理を行う場合、前記音声認識部が認識した認識結果に基づいて前記処理を継続するか否かを判定し、前記処理を行わない場合、前記音声認識部が認識した認識結果に基づいて適合性を推定する複数のエキスパート部と、
前記複数のエキスパート部のうち、前記処理を行う場合、前記処理を継続しないと判断したエキスパート部があるとき、前記複数のエキスパート部のうち前記処理を行わない場合に推定した適合性に基づいて前記処理を行うエキスパート部を選択する動作理解部と、
タスク計画部と、を備え、
前記複数のエキスパート部は、要求理解エキスパート部とインタラクティブプレゼンテーション部とを含み、
前記インタラクティブプレゼンテーション部は、
所定の題目に関する提示情報、及び前記提示情報に対する処理の形態を示す指示可能情報を記憶する動作情報記憶部と、
前記認識結果に含まれる単語と一致する指示可能情報が示す形態で前記提示情報を処理する動作処理部と、を備え、
前記要求理解エキスパート部は、
キーワードを含んだ質問内容を表す質問情報及び肯定発話情報を記憶し、キーワードを含んだ応答情報を前記質問情報と対応付けて記憶した処理情報記憶部と、
前記認識結果に含まれる単語と一致するキーワードを含んだ質問情報を前記処理情報記憶部から検索し、その後の認識結果に肯定発話情報が含まれる場合、検索した質問情報に含まれるキーワードを前記インタラクティブプレゼンテーション部の処理の開始を示す処理要求情報と定める動作処理部と、を備え、
前記タスク計画部は、
処理要求情報とインタラクティブプレゼンテーション部の識別情報とを対応付けて記憶
する記憶部から、前記要求理解エキスパート部の動作処理部が定めた処理要求情報に対応する識別情報が示すインタラクティブプレゼンテーション部を起動させる
ことを特徴とする対話処理装置。 - 音声を入力する音声入力部と、
前記音声入力部が入力した音声を認識する音声認識部と、
予め定めた処理を行う機能を備える複数のエキスパート部のうち前記処理を行うエキスパート部について、前記音声認識部が認識した認識結果に基づいて前記処理を継続するか否かを判定し、
前記処理を継続しないと判断した場合、前記複数のエキスパート部のうち前記処理を行わないエキスパート部の各々について、前記音声認識部が認識した認識結果に基づいて適合性を推定し、前記推定した適合性に基づいて前記処理を行うエキスパート部を選択する動作理解部と、
タスク計画部と、を備え、
前記複数のエキスパート部は、要求理解エキスパート部とインタラクティブプレゼンテーション部とを含み、
前記インタラクティブプレゼンテーション部は、
所定の題目に関する提示情報、及び前記提示情報に対する処理の形態を示す指示可能情報を記憶する動作情報記憶部と、
前記認識結果に含まれる単語と一致する指示可能情報が示す形態で前記提示情報を処理する動作処理部と、を備え、
前記要求理解エキスパート部は、
キーワードを含んだ質問内容を表す質問情報及び肯定発話情報を記憶し、キーワードを含んだ応答情報を前記質問情報と対応付けて記憶した処理情報記憶部と、
前記認識結果に含まれる単語と一致するキーワードを含んだ質問情報を前記処理情報記憶部から検索し、その後の認識結果に肯定発話情報が含まれる場合、検索した質問情報に含まれるキーワードを前記インタラクティブプレゼンテーション部の処理の開始を示す処理要求情報と定める動作処理部と、を備え、
前記タスク計画部は、
処理要求情報とインタラクティブプレゼンテーション部の識別情報とを対応付けて記憶
する記憶部から、前記要求理解エキスパート部の動作処理部が定めた処理要求情報に対応する識別情報が示すインタラクティブプレゼンテーション部を起動させる
ことを特徴とする対話処理装置。 - 前記要求理解エキスパート部の処理を継続するか否かの判定は、前記認識結果に肯定発話情報を含むか否かを示す特徴量に基づき、
前記要求理解エキスパート部の選択は、前記認識結果に前記所定の題目を含むか否かを示す特徴量を用いて推定された適合性に基づく
ことを特徴とする請求項1又は2に記載の対話処理装置。 - 前記動作理解部は、前記推定した適合性に基づいて前記処理を継続するか否かを判定すること
を特徴とする請求項3に記載の対話処理装置。 - 前記複数のエキスパート部において前記処理情報記憶部に記憶された
質問情報及び応答情報が各々異なること
を特徴とする請求項4記載の対話処理装置。 - 予め定めた処理を行う機能を有する複数のエキスパート部を備える対話処理装置における対話処理方法において、
前記対話処理装置が、入力した音声を認識する第1の過程と、
前記複数のエキスパート部のうち前記処理を行うエキスパート部が、前記認識した認識結果に基づいて前記処理を継続するか否かを判定する第2の過程と、
前記処理を行うエキスパート部が前記処理を継続しないと判断した場合、前記複数のエキスパート部のうち前記処理を行わないエキスパート部の各々が、前記認識した認識結果に基づいて適合性を推定する第3の過程と、
前記対話処理装置が、前記推定した適合性に基づいて前記処理を行うエキスパート部を選択する第4の過程と
第5の過程と、を有し、
前記複数のエキスパート部は、要求理解エキスパート部とインタラクティブプレゼンテーション部とを含み、
前記インタラクティブプレゼンテーション部は、
所定の題目に関する提示情報、及び前記提示情報に対する処理の形態を示す指示可能情報を記憶する動作情報記憶部を備え、
前記認識結果に含まれる単語と一致する指示可能情報が示す形態で前記提示情報を処理し、
前記要求理解エキスパート部は、
キーワードを含んだ質問内容を表す質問情報及び肯定発話情報を記憶し、キーワードを含んだ応答情報を前記質問情報と対応付けて記憶した処理情報記憶部を備え、
前記認識結果に含まれる単語と一致するキーワードを含んだ質問情報を前記処理情報記憶部から検索し、その後の認識結果に肯定発話情報が含まれる場合、検索した質問情報に含まれるキーワードを前記インタラクティブプレゼンテーション部の処理の開始を示す処理要求情報と定め、
前記第5の過程は、
前記対話処理装置が、処理要求情報とインタラクティブプレゼンテーション部の識別情報とを対応付けて記憶する記憶部から、前記要求理解エキスパート部が定めた処理要求情報に対応する識別情報が示すインタラクティブプレゼンテーション部を起動させること
を特徴とする対話処理方法。 - 予め定めた処理を行う機能を有する複数のエキスパート部を備える対話処理装置のコンピュータに、
入力した音声を認識する手順、
前記複数のエキスパート部のうち前記処理を行うエキスパート部について、前記認識した認識結果に基づいて処理を継続するか否かを判定する手順、
前記処理を継続しないと判断した場合、前記複数のエキスパート部のうち前記処理を行わないエキスパート部の各々について、前記認識した認識結果に基づいて適合性を推定する手順、
前記推定した適合性に基づいて前記処理を行うエキスパート部を選択する手順、
タスク計画手順、を実行させるための対話処理プログラムであって、
前記複数のエキスパート部は、要求理解エキスパート部とインタラクティブプレゼンテーション部とを含み、
前記インタラクティブプレゼンテーション部は、
所定の題目に関する提示情報、及び前記提示情報に対する処理の形態を示す指示可能情報を記憶する動作情報記憶部を備え、
前記認識結果に含まれる単語と一致する指示可能情報が示す形態で前記提示情報を処理し、
前記要求理解エキスパート部は、
キーワードを含んだ質問内容を表す質問情報及び肯定発話情報を記憶し、キーワードを含んだ応答情報を前記質問情報と対応付けて記憶した処理情報記憶部を備え、
前記認識結果に含まれる単語と一致するキーワードを含んだ質問情報を前記処理情報記憶部から検索し、その後の認識結果に肯定発話情報が含まれる場合、検索した質問情報に含まれるキーワードを前記インタラクティブプレゼンテーション部の処理の開始を示す処理要求情報と定め、
前記タスク計画手順は、
処理要求情報とインタラクティブプレゼンテーション部の識別情報とを対応付けて記憶する記憶部から、前記要求理解エキスパート部が定めた処理要求情報に対応する識別情報が示すインタラクティブプレゼンテーション部を起動させる手順である
対話処理プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US37292610A | 2010-08-12 | 2010-08-12 | |
US61/372,926 | 2010-08-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012042952A JP2012042952A (ja) | 2012-03-01 |
JP5715526B2 true JP5715526B2 (ja) | 2015-05-07 |
Family
ID=45899252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011175395A Active JP5715526B2 (ja) | 2010-08-12 | 2011-08-10 | 対話処理装置、対話処理方法、及び対話処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5715526B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5887253B2 (ja) | 2012-11-16 | 2016-03-16 | 本田技研工業株式会社 | メッセージ処理装置 |
JP6682104B2 (ja) * | 2016-05-20 | 2020-04-15 | 日本電信電話株式会社 | 対話方法、対話システム、対話装置、およびプログラム |
US20210216589A1 (en) * | 2018-06-06 | 2021-07-15 | Sony Corporation | Information processing apparatus, information processing method, program, and dialog system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000305872A (ja) * | 1999-04-20 | 2000-11-02 | Fujitsu Ltd | 電子メールシステム、電子メール処理装置、電子メール処理方法および電子メール処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2003167875A (ja) * | 2001-12-04 | 2003-06-13 | Aruze Corp | 翻訳サービスを提供するサーバー、及び同サーバーに利用されるプログラム記憶媒体、並びに同サーバーを利用した翻訳システム |
US8352273B2 (en) * | 2005-07-26 | 2013-01-08 | Honda Motor Co., Ltd. | Device, method, and program for performing interaction between user and machine |
JP5386692B2 (ja) * | 2007-08-31 | 2014-01-15 | 独立行政法人情報通信研究機構 | 対話型学習装置 |
-
2011
- 2011-08-10 JP JP2011175395A patent/JP5715526B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012042952A (ja) | 2012-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7698136B1 (en) | Methods and apparatus for flexible speech recognition | |
US8244522B2 (en) | Language understanding device | |
CN106796788B (zh) | 基于用户反馈来改善自动语音识别 | |
US9640175B2 (en) | Pronunciation learning from user correction | |
US8768700B1 (en) | Voice search engine interface for scoring search hypotheses | |
KR100668297B1 (ko) | 음성인식방법 및 장치 | |
US8024184B2 (en) | Speech recognition device, speech recognition method, computer-executable program for causing computer to execute recognition method, and storage medium | |
US10650802B2 (en) | Voice recognition method, recording medium, voice recognition device, and robot | |
US9542931B2 (en) | Leveraging interaction context to improve recognition confidence scores | |
US6178401B1 (en) | Method for reducing search complexity in a speech recognition system | |
Nakano et al. | A two-stage domain selection framework for extensible multi-domain spoken dialogue systems | |
CA2511733A1 (en) | System and method for spelling recognition using speech and non-speech input | |
JP2011158902A (ja) | 音声認識装置、音声認識方法、及び音声認識ロボット | |
US20050004799A1 (en) | System and method for a spoken language interface to a large database of changing records | |
US10417345B1 (en) | Providing customer service agents with customer-personalized result of spoken language intent | |
JP5715526B2 (ja) | 対話処理装置、対話処理方法、及び対話処理プログラム | |
López-Cózar et al. | Testing the performance of spoken dialogue systems by means of an artificially simulated user | |
JP6696803B2 (ja) | 音声処理装置および音声処理方法 | |
Walker et al. | Semi-supervised model training for unbounded conversational speech recognition | |
Rabiner et al. | Statistical methods for the recognition and understanding of speech | |
JP4042435B2 (ja) | 音声自動質問応答装置 | |
Gilbert et al. | Your mobile virtual assistant just got smarter! | |
JP4947545B2 (ja) | 音声認識装置及びコンピュータプログラム | |
Guo et al. | Keyword spotting in auto-attendant system. | |
JP7172168B2 (ja) | 対話装置、対話装置制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140924 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5715526 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |