JP4038399B2 - Face image display device, face image display method and program - Google Patents
Face image display device, face image display method and program Download PDFInfo
- Publication number
- JP4038399B2 JP4038399B2 JP2002181785A JP2002181785A JP4038399B2 JP 4038399 B2 JP4038399 B2 JP 4038399B2 JP 2002181785 A JP2002181785 A JP 2002181785A JP 2002181785 A JP2002181785 A JP 2002181785A JP 4038399 B2 JP4038399 B2 JP 4038399B2
- Authority
- JP
- Japan
- Prior art keywords
- morpheme
- morpheme information
- information
- unit
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、利用者から入力された音声等の入力情報に基づいて、利用者に対して抱く感情度等を所定の段階にランク付し、そのランク付した大きさに応じて、特定の顔画像を画面上に表示させる顔画像表示装置、顔画像表示方法及びプログラムに関する。
【0002】
【従来の技術】
従来から、利用者がロボットに対して発話することによって、そのロボットは、ロボットの頭部に配備された表示部を用いて、表示部で表示されている顔の表情を変化させ、発話相手である利用者に対して喜怒哀楽を表現することができる。これにより、利用者が発話することにより、ロボットにある表示部で表示されている顔画像が変化するので、利用者は、恰も他の利用者との間で発話しているような感覚を味わうことができる。
【0003】
【発明が解決しようとする課題】
しかしながら、従来からのロボット等に表示される顔画像は、利用者からの発話内容に反応して任意に表示されるものであるので、利用者は、その顔画像が機械的に画面上に表示されたものであるという認識を拭えず、人間等のリアルに変化する表情として見ることができなかった。
【0004】
一方、利用者からの発話内容に応じて、表示部で表示させる顔画像が変化すれば、利用者は、表示されている顔画像が発話内容に対応して多様に変化するため、その多様に変化する顔画像を、より人間に近いものの表情として見ることができ、恰も他の利用者との間で会話をしているような感覚を味わうことができる。
【0005】
ところが、表示部で表示されている顔画像が、利用者からの発話内容に基づいて変化したとしても、その顔画像の表情は、発話内容に含まれる特有のキーワードに基づいて単に変化するだけであるので、ロボットが利用者に対して抱く感情度等を表情に反映しているわけではない。このため、利用者は、恰も他の利用者との間で会話をしているようなリアルな感覚を味わうことができなかった。
【0006】
そこで、本願発明は以上の点に鑑みてなされたものであり、利用者から入力された音声等の入力情報に基づいて、この入力情報から把握される意味内容に関連付けられている予め作成された回答内容等を検索し、この検索の頻度の大きさに応じてランク付を行い、このランク付した大きさを利用者に対する感情度等として顔画像の表情に反映させて、利用者に対しては恰も他の利用者との間で会話をしているようなリアルな感覚を与えさせることのできる顔画像表示装置、顔画像表示方法及びプログラムを提供することを課題とする。
【0007】
【課題を解決するための手段】
本願に係る発明は、上記課題を解決するためになされたものであり、人間、動物等の顔の画像からなる顔画像には、文字、数値などの符号がそれぞれに対応付けられており、顔画像を予め複数記憶し、利用者から入力された音声等の入力情報に基づいて入力情報を示す文字列を特定し、特定された文字列に基づいて、文字列の最小単位を構成する少なくとも一つの形態素を第一形態素情報として抽出し、一つの文字、複数の文字列又はこれらの組み合わせからなる形態素を示す第二形態素情報を予め複数記憶し、抽出された第一形態素情報と各第二形態素情報とを照合し、各第二形態素情報の中から、第一形態素情報を含む第二形態素情報を検索し、検索された検索結果に基づいて、各第二形態素情報の中から、第一形態素情報を含む第二形態素情報が検索される頻度の大きさに応じてランク付し、そのランク付されたランクに基づいて、ランクと予め記憶された各符号とを照合し、各符号の中から、ランクと一致する符号を取得し、取得された符号に基づいて、符号に対応付けられた顔画像を画面上に表示させることを特徴とする。
【0008】
尚、上記検索される頻度が低い場合には、低いランクにランク付けし、検索される頻度が高い場合には、高いランクにランク付することが好ましい。また、ランク付けられたランクの大きさを入力情報に対する理解度として出力すること、又はランク付けられたランクの大きさを利用者に対して抱く感情度若しくは対立度として出力することが好ましい。
【0009】
このような本願に係る発明によれば、顔画像表示装置が、各第二形態素情報の中から、第一形態素情報を含む第二形態素情報が検索される頻度の大きさに応じてランク付し、そのランクと予め記憶された各符号とを照合し、各符号の中から、ランクと一致する符号を取得し、取得された符号に基づいて、符号に対応付けられた顔画像を画面上に表示させることができるので、顔画像表示装置は、上記検索結果を参照してランク付けたランクを、利用者に対して抱く感情度等とすれば、この感情度等の大きさに応じて該当する顔画像を画面上に表示させることができる。
【0010】
即ち、顔画像表示装置は、利用者に対する感情度等に応じて画面上に表示させる顔画像を切り替えることができるので、例えば現在ランク付けられているランクが最低であれば、その最低のランクに関連付けられている顔画像(怒った顔からなる表情)を画面上に表示させることができる。また結果的には、画面上に表示されている顔画像の表情がランクの大きさに応じて変化するので、利用者は、恰も他の利用者の顔色を伺いながら会話をしているようなリアルな感覚を味わうことができる。
【0011】
更に、顔画像表示装置が、第一形態素情報と各第二形態素情報との間で行われた検索履歴に基づいて、ランク付された大きさを感情度等として出力することができるので、顔画像表示装置を開発する開発者は、利用者に対して抱く感情度等を顔画像表示装置で計算させるための複雑なアルゴリズム又はニューラルネットワーク等を開発する必要がなくなり、結果的には本発明を達成する装置を開発するための開発時間を短縮させることができる。
【0012】
尚、第一形態素情報を含む第二形態素情報とは、第二形態素情報が第一形態素情報をそのまま含む場合のみならず、第二形態素情報が第一形態素情報を構成する少なくとも一つの形態素を含む場合をも意味するものとする。
【0013】
【発明の実施の形態】
[第一実施形態]
(会話制御システムの基本構成)
本発明に係る会話制御システムについて図面を参照しながら説明する。図1は、本実施形態に係る会話制御装置1(ランク付装置)を有する会話制御システムの概略構成図である。
【0014】
同図に示すように、会話制御装置1は、入力部100と、音声認識部200と、会話制御部300と、文解析部400と、会話データベース500と、出力部600と、音声認識辞書記憶部700とを備えている。
【0015】
尚、本実施形態では、説明の便宜上、利用者の発話内容(この発話内容は、入力情報の一種)に限定して説明するが、この利用者の発話内容に限定されるものではなく、キーボード等から入力された入力情報であってもよい。従って、以下に示す「発話内容」は、「発話内容」を「入力情報」に置き換えて説明することもできる。
【0016】
同様にして、後述の説明では、説明の便宜上、「発話文のタイプ」(発話種類)に限定して説明するが、この「発話文のタイプ」に限定されるのではなく、キーボードなどから入力された入力情報の種類を示す「入力種類」であってもよい。従って、以下に示す「発話文のタイプ」(発話種類)は、「発話種類」を「入力種類」に置き換えて説明することもできる。
【0017】
入力部100は、利用者からの入力情報を取得する取得手段であり、本実施形態では、マイクロホン、キーボード等が挙げられる。この入力部100は、利用者から入力された入力情報(音声以外)に基づいて、入力情報を示す文字列を特定する文字認識手段でもある。
【0018】
ここで、入力情報とは、キーボード等を通じて入力された文字、記号、音声等を意味するものである。具体的に、入力部100は、入力された入力情報(音声以外)に基づいて入力情報を示す文字列を特定し、特定した文字列を文字列信号として会話制御部300に出力する。また、利用者からの発話内容(この発話内容は、音声からなるものであり、入力情報の一種である)をマイクロホンなどで取得した入力部100は、取得した発話内容を構成する音声を音声信号として音声認識部200に出力する。
【0019】
音声認識部200は、入力部100で取得した発話内容に基づいて、発話内容に対応する文字列を特定する文字認識手段である。具体的には、入力部100から音声信号が入力された音声認識部200は、入力された音声信号を解析し、解析した音声信号に対応する文字列を、音声認識辞書記憶部700に格納されている辞書を用いて特定し、特定した文字列を文字列信号として会話制御部300に出力する。音声認識辞書記憶部700は、標準的な音声信号に対応する辞書を格納しているものである。
【0020】
前記文解析部400は、入力部100又は音声認識部200で特定された文字列を解析するものであり、本実施形態では、図2に示すように、形態素抽出部410と、文節解析部420と、文構造解析部430と、発話種類判定部440と、形態素データベース450と、発話種類データベース460とを有している。
【0021】
形態素抽出部410は、入力部100又は音声認識部200で特定された文字列に基づいて、文字列の最小単位を構成する各形態素を第一形態素情報として抽出する形態素抽出手段である。
【0022】
具体的に、管理部310から文字列信号が入力された形態素抽出部410は、入力された文字列信号に対応する文字列の中から各形態素を抽出する。ここで、形態素とは、本実施形態では、文字列に現された語構成の最小単位を意味するものとする。この語構成の最小単位としては、図3に示すように、例えば、名詞、形容詞、動詞などの品詞が挙げられる。各形態素は、本実施形態では、m1、m2、・・・、mlと表現する。
【0023】
即ち、形態素抽出部410は、入力された文字列信号に対応する文字列と、形態素データベース450に予め格納されている名詞、形容詞、動詞などの形態素群とを照合し、文字列の中から形態素群と一致する各形態素(m1、m2、・・・)を抽出し、抽出した各形態素を抽出信号として文節解析部420に出力する。
【0024】
文節解析部420は、形態素抽出部410で抽出された各形態素に基づいて、各形態素を文節形式に変換する変換手段である。具体的に、形態素抽出部410から抽出信号が入力された文節解析部420は、入力された抽出信号に対応する各形態素を用いて文節形式にまとめる。
【0025】
ここで、文節形式とは、本実施形態では、日本語文法において、自立語又は自立語に一つ以上の付属語がついた文、或いは、日本語文法の意味を崩さない程度に文字列をできるだけ細かく区切った一区切りの文を意味する。この文節は、本実施形態では、p1、p2、・・・pkと表現する。
【0026】
即ち、文節解析部420は、図4に示すように、入力された抽出信号に対応する各形態素に基づいて各形態素の係り受け要素(例えば、が・は・を・・)を抽出し、抽出した係り受け要素に基づいて各形態素を各文節にまとめることを行う。
【0027】
各形態素を各文節にまとめた文節解析部420は、各形態素をまとめた各文節と、各文節を構成する各形態素とを含む文型情報を文型信号として文構造解析部430及び発話種類判定部440に出力する。
【0028】
文構造解析部430は、文節解析部420で分節された第一形態素情報の各形態素を主体格、対象格などの各属性に分類する分類手段である。具体的に、文節解析部420から文型信号が入力された文構造解析部430は、入力された文型信号に対応する各形態素と各形態素からなる文節とに基づいて、文節に含まれる各形態素の「格構成」を決定する。
【0029】
ここで、「格構成」とは、文節における実質的な概念を示す格(属性)を意味するものであり、本実施形態では、例えば、主語・主格を意味するサブジェクト(主体格)、対象を意味するオブジェクト(対象格)、動作を意味するアクション、時間を意味するタイム(ムード、テンス、アスペクトなどからなるもの)、場所を意味するロケーション等が挙げられる。本実施形態では、サブジェクト、オブジェクト、アクションの三要素の「格」(格構成)に対応付けられた各形態素を第一形態素情報とする。
【0030】
即ち、文構造解析部430は、図5に示すように、例えば、各形態素の係り受け要素が”が”又は”は”である場合は、その係り受け要素の前にある形態素がサブジェクト(主語又は主格)であると判断する。また、文構造解析部430は、例えば、各形態素の係り受け要素が”の”又は”を”である場合は、その係り受け要素の前にある形態素がオブジェクト(対象)であると判断する。
【0031】
更に、文構造解析部430は、例えば、各形態素の係り受け要素が”する”である場合は、その係り受け要素の前にある形態素がアクション(述語;この述語は動詞、形容詞などから構成される)であると判断する。
【0032】
各文節を構成する各形態素の「格構成」を決定した文構造解析部430は、決定した「格構成」に対応付けられた第一形態素情報に基づいて、後述する話題(トピック)の範囲を特定させるための話題検索命令信号を反射的判定部320に出力する。
【0033】
発話種類判定部440は、文節解析部420で特定された文節に基づいて、発話内容(入力情報)の種類を示す発話種類(入力種類)を特定する種類特定手段である。具体的に、文節解析部420から入力された文型信号に対応する各形態素と各形態素から構成される文節とに基づいて、「発話文のタイプ」(発話種類)を判定する。
【0034】
ここで、「発話文のタイプ」は、本実施形態では、図6に示すように、陳述文(D;Declaration)、感想文(I;Impression)、条件文(C;Condition)、結果文(E;Effect)、時間文(T;Time)、場所文(L;Location)、反発文(N;Negation)、肯定文(A;Answer)、疑問文(Q;Question)などから構成されるものである。
【0035】
陳述文とは、利用者の意見又は考えなどからなる文を意味するものであり、本実施形態では、図6に示すように、例えば”佐藤が好きだ”などの文が挙げられる。感想文とは、利用者が抱く感想からなる文を意味するものである。場所文とは、場所的な要素からなる文を意味するものである。
【0036】
結果文とは、話題に対して文が結果の要素を含む文から構成されるものを意味する。時間文とは、話題に関わる時間的な要素を含む文から構成されるものを意味する。
【0037】
条件文とは、一つの発話を話題と捉えた場合に、話題の前提、話題が成立している条件や理由などの要素を含む文から構成されるものを意味する。反発文とは、利用者の発話相手に対して反発するような要素を含む文から構成されるものを意味する。各「発話文のタイプ」についての例文は、図6に示すと通りである。
【0038】
即ち、発話種類判定部440は、入力された文型信号に対応する各文節に基づいて、その各文節と発話種類データベース460に格納されている各辞書とを照合し、各文節の中から、各辞書に関係する文要素を抽出する。各文節の中から各辞書に関係する文要素を抽出した発話種類判定部440は、抽出した文要素に基づいて、「発話文のタイプ」を判定する。文要素とは、文字列の種類を特定するための文の種別を意味し、文要素は、本実施形態では、上記説明した定義句(〜のことだ)などが挙げられる。
【0039】
ここで、上記発話種類データベース460は、図7に示すように、定義句(例えば、〜のことだ)に関係する辞書を備えた定義表現事例辞書、肯定句(例えば、賛成、同感、ピンポーン)に関係する辞書を備えた肯定事例辞書、結果句(例えば、それで、だから)に関係する辞書を備えた結果表現事例辞書、挨拶句(例えば、こんにちは)に関係する辞書を備えた挨拶辞書、否定句(例えば、馬鹿言うんじゃないよ、反対)に関係する辞書を備えた否定事例辞書などから構成され、各辞書は、「発話文のタイプ」と関連付けられている。
【0040】
これにより、発話種類判定部440は、文節と発話種類データベース460に格納されている各辞書とを照合し、文節の中から各辞書に関連する文要素を抽出し、抽出した文要素に関連付けられた判定の種類を参照することで、「発話文のタイプ」を判定することができる。
【0041】
この発話種類判定部440は、後述する話題検索部360からの指示に基づいて、該当する利用者に特定の回答文を検索させるための回答検索命令信号を回答文検索部370に出力する。
【0042】
前記会話データベース500は、一つの文字、複数の文字列又はこれらの組み合わせからなる形態素を示す第二形態素情報と、発話内容に対する利用者への回答内容とを予め相互に関連付けて複数記憶する回答記憶手段(談話記憶手段)である。また、会話データベース500は、複数の回答内容に対応付けられた各回答内容の種類を示す回答種類を、第二形態素情報に関連付けて予め複数記憶する回答記憶手段(談話記憶手段)でもある。
【0043】
更に、会話データベース500は、利用者から入力されるであろう入力内容又は利用者への回答内容に関連性のある範囲を構成する形態素を示す談話範囲(キーワード)を予め複数記憶する談話記憶手段でもある。この談話範囲(キーワード)には、一つの文字、複数の文字列又はこれらの組み合わせからなる形態素を示す第二形態素情報が複数関連付けられ、各第二形態素情報には、利用者への回答内容がそれぞれに関連付けてられている。
【0044】
更にまた、会話データベース500は、第二形態素情報を構成する各要素を、主格からなる主体各、目的格からなる対象格などの属性に分類して記憶する回答記憶手段(談話記憶手段)でもある。
【0045】
この会話データベース500は、図8に示すように、本実施形態では、大きく分けると、利用者から発話されるであろう発話内容又は利用者への回答内容について関連性のある範囲を意味する談話範囲(ディスコース)と、利用者が発話している内容に最も密接な関連性のある範囲を意味する話題(トピック)とから構成されている。同図に示すように、”談話範囲”は、本実施形態では、”話題”の上位概念として位置付けるものとする。
【0046】
各談話範囲は、図9に示すように、階層構造となるように構成することができる。同図に示すように、例えば、ある談話範囲(映画)に対する上位概念の談話範囲(娯楽)は、上の階層構造に位置するようにし、談話範囲(映画)に対する下位概念の談話範囲(映画の属性、上映映画)は、下の階層構造に位置するようにすることができる。即ち、各談話範囲は、本実施形態では、他の談話範囲との間で上位概念、下位概念、同義語、対義語の関係が明確となる階層位置に配置することかできる。
【0047】
上述の如く、談話範囲は、各話題から構成されるものであり、本実施形態では、例えば、談話範囲がA映画名であれば、”A映画名”に関係する複数の話題を含んでいる。
【0048】
この話題は、一つの文字、複数の文字列又はこれらの組み合わせからなる形態素、即ち、利用者から発話されるであろう発話内容を構成する各形態素を意味するものであり、本実施形態では、サブジェクト(主体格)、オブジェクト(対象格)、アクションの「格」(属性)に対応付けられた各形態素からなるものである。これら三要素に対応付けられた各形態素は、本実施形態では、話題タイトル(この話題タイトルは、”話題”の下位概念に相当するものである)(第二形態素情報)と表現することにする。
【0049】
尚、話題タイトルには、上記三要素に対応付けられた各形態素に限定されるものではなく、他の「格」、即ち、時間を意味するタイム(テンス、ムード、アスペクトなどからなるもの)、場所を意味するロケーション、条件を意味するコンディション、感想を意味するインプレッション、結果を意味するエフェクトなどに対応付けられた各形態素を有してもよい。
【0050】
この話題タイトル(第二形態素情報)は、本実施形態では、会話データベース500に予め格納されているものであり、上記第一形態素情報(利用者が発話した発話内容から導かれたもの)とは区別されるものである。
【0051】
例えば、話題タイトルは、談話範囲が”A映画名”である場合には、図10に示すように、サブジェクト(A映画名)、オブジェクト(監督)、アクション(素晴らしい){これは、”A映画名の監督は素晴らしい”を意味する}から構成されるものである。
【0052】
話題タイトルのうち、「格構成」(サブジェクト、オブジェクト、アクションなど)に対応付けられた形態素がない場合は、その部分については、本実施形態では、”*”を示すことにする。
【0053】
例えば、{A映画名って?}の文を話題タイトル(サブジェクト;オブジェクト;アクション)に変換すると、{A映画名って?}の文のうち、”A映画名”がサブジェクトとして特定することができるが、その他”オブジェクト””アクション”は文の要素になっていないので、話題タイトルは、”サブジェクト”(A映画名);”オブジェクト”なし(*);”アクション”なし(*)となる(図10参照)。
【0054】
回答文とは、利用者に対して回答する回答文(回答内容)を意味するものであり、本実施形態では、各話題タイトル(第二形態素情報)に関連付けられている(図8参照)。回答文は、本実施形態では、図11に示すように、利用者から発話された発話文のタイプに対応した回答をするために、陳述文(D;Declaration)、感想文(I;Impression)、条件文(C;Condition)、結果文(E;Effect)、時間文(T;Time)、場所文(L;Location)、否定文(N;Negation)、肯定文(A;Answer)、質問文(Q;Question)などのタイプ(回答種類)に分類されている。
【0055】
即ち、各回答文は、図12に示すように、例えば、談話範囲(佐藤){下位概念;ホームラン、上位概念;草野球、同義語;パンダ佐藤・佐藤選手・パンダ}及び各話題タイトルと関連付けられている。
【0056】
同図に示すように、例えば、話題タイトル1−1が{(佐藤;*;好きだ):これは、上述の如く(サブジェクト;オブジェクト;アクション)の順番からなるものである。この順番は、以下同様とする}である場合は、その話題タイトル1−1に対応する回答文1−1は、(DA;陳述肯定文”佐藤が好きです”)、(IA;感想肯定文”佐藤がとても好きです”)、(CA;条件肯定文”佐藤のホームランはとても印象的だからです”)、(EA;結果肯定文”いつも佐藤の出る試合をテレビ観戦してしまいます”)、(TA;時間肯定文”実は、甲子園での5打席連続敬遠から好きになっています”)、(LA;場所肯定文”打撃に立ったときの真剣な顔が好きですね”)、(NA;反発肯定文”佐藤を嫌いな人とは話したくないですね、さよなら”)などが挙げられる。
【0057】
前記会話制御部300は、本実施形態では、図2に示すように、管理部310と、反射的判定部320と、鸚鵡返し判定部330と、談話範囲決定部340と、省略文補完部350と、話題検索部360と、回答文検索部370とを有している。
【0058】
前記管理部310は、会話制御部300の全体を制御するものである。具体的に、入力部100又は音声認識部200から文字列信号が入力された管理部310は、入力された文字列信号を形態素抽出部410に出力する。また、管理部310は、回答文検索部370で検索された回答文を出力部600に出力する。
【0059】
反射的判定部320は、形態素抽出部410で抽出された第一形態素情報と各定型内容を照合し、各定型内容の中から、第一形態素情報を含む定型内容を検索する定型取得手段である。
【0060】
ここで、定型内容とは、利用者からの発話内容に対して定型的な内容を回答するための反射要素情報を意味し、この反射要素情報は、反射要素データベース801(定型記憶手段)に予め複数記憶されている。反射要素情報としては、本実施形態では、図13に示すように、例えば”おはよう”、”こんにちは”、”こんばんわ”、”やあ”などの「挨拶的要素」、「なるほど」、「本当?」などの「定型的要素」などが挙げられる。
【0061】
具体的に、文構造解析部430から話題検索命令信号が入力された反射的判定部320は、入力された話題検索命令信号に含まれる第一形態素情報と反射要素データベース801に記憶されている各反射要素情報とを照合し、各反射要素情報の中から、第一形態素情報を含む反射要素情報を検索し、検索した反射要素情報を管理部310に出力する。
【0062】
即ち、反射要素情報をD1、第一形態素情報をWとすると、反射的判定部320は、W∩D1≠0の関係が成立していると判断した場合は、上記反射的な回答を行うための処理を行う。
【0063】
例えば、利用者が”おはよう”という発話内容を発した場合には、反射的判定部320は、発話内容”おはよう”と各反射要素情報とを照合し、各反射要素情報の中から、発話内容”おはよう”を含む(と一致する)反射要素情報”おはよう”を検索し、検索した反射要素情報”おはよう”を管理部310に出力する。
【0064】
反射的判定部320は、各反射要素情報の中から、発話内容を含む反射要素情報を検索することができない場合には、文構造解析部430から入力された話題検索命令信号を鸚鵡返し判定部330に出力する。
【0065】
鸚鵡返し判定部330は、形態素抽出部410で抽出された現在の第一形態素情報と、鸚鵡返し要素データベース802に記憶されている過去の回答内容とを照合し、現在の第一形態素情報が過去の回答内容に含まれる場合には、合意内容を取得する定型取得手段である。
【0066】
ここで、鸚鵡返しとは、本実施形態では、利用者の発話内容をそのまま(又はそれに近い内容を)言い返すことを意味する。鸚鵡返し要素は、本実施形態では、直前に会話制御装置1から出力された回答内容を構成する第一形態素情報などからなるのもであり、図14に示すように、例えば、”馬は美しい”(馬;美しい;*)、”佐藤が好きです”(佐藤;*;好きです)などが挙げられる。
【0067】
また、鸚鵡返し要素データベース802は、利用者から入力された入力情報に合意するための合意内容を予め記憶する合意記憶手段でもある。合意内容には、例えば、前回、利用者から入力された入力情報(利用者により前回の入力情報が”A映画名の監督はS氏ですか”である場合には、合意内容としては、”A映画名の監督はS氏です”)、又は ”その通りです”、”本当です”などが挙げられる。
【0068】
具体的に、反射的判定部320から話題検索命令信号が入力された鸚鵡返し判定部330は、各鸚鵡返し要素毎に、入力された話題検索命令信号に含まれる第一形態素情報と鸚鵡返し要素を構成する各形態素とを照合し、鸚鵡返し要素の中に第一形態素情報が含まれているかを判断する(図14参照)。
【0069】
鸚鵡返し判定部330は、各鸚鵡返し要素の中に第一形態素情報が含まれていると判断した場合には、合意内容を取得し、取得した合意内容からなる回答文を管理部310に出力(鸚鵡返し処理)する。即ち、鸚鵡返し要素(前回の回答文など)をS、第一形態素情報をWとすると、鸚鵡返し判定部330は、W⊂S≠0の関係が成立している場合には、上記に示す鸚鵡返し処理を行う。
【0070】
例えば、会話制御装置1が回答文として”A映画名の監督はS氏です”(A映画名の監督;S氏;*)(この順番は、サブジェクト;オブジェクト;アクションの順番、以下同様とする)を出力し、その後、利用者が出力された回答内容に対して”A映画名の監督はS氏ですか”(A映画名の監督;S氏;*)と発話した場合には、鸚鵡返し判定部330は、利用者の第一形態素情報(A映画名の監督;S氏;*)と回答文の各形態素(A映画名の監督;S氏;*)とが一致しているので、利用者は回答内容に対して鸚鵡返しを行っていると断定し、記憶されている合意内容”その通りです”などを取得し、取得した合意内容を出力する。
【0071】
また、鸚鵡返し判定部330は、形態素抽出部410で抽出された現在の第一形態素情報と、鸚鵡返し要素データベース802に記憶されている過去の第一形態素情報とを照合し、現在の第一形態素情報が過去の第一形態素情報に含まれる場合には、反発内容を取得する定型取得手段でもある。
【0072】
具体的には、利用者が”馬は美しい”という発話内容を発話し、会話制御装置1が回答内容として”馬は躍動感があって良いですね”の内容を出力した場合に、後に利用者が”馬は美しい”という発話内容を繰り返したときは、鸚鵡返し判定部330は、現在の発話内容”馬は美しい”を構成する各形態素(第一形態素情報){馬;美しい;*}と前の発話内容”馬は美しい”を構成する各形態素(第一形態素情報){馬;美しい;*}とが一致しているので、利用者は会話制御装置1からの回答内容”馬は躍動感があって良いですね”については全く聞いていないものと断定することができる。
【0073】
この場合、鸚鵡返し判定部330は、利用者が会話制御装置1からの回答内容を聞いていないので、記憶された反発内容(例えば、同じ内容を繰り返さないでよ”など)取得し、取得した反発内容を出力することができる。
【0074】
一方、鸚鵡返し判定部330は、第一形態素情報が前回の回答文の内容と同一、又は第一形態素情報が前回の第一形態素情報と同一でないと判断した場合には、反射的判定部320から入力された話題検索命令信号を談話範囲決定部340に出力する。
【0075】
尚、上記の鸚鵡返し判定部330は、「会話制御装置1の回答内容」に対して利用者が鸚鵡返しを行った場合の処理を示してきたが、更に以下の処理も行うことができる。例えば、出力部600が”馬は美しい”という回答文を出力した場合、この回答文に対して利用者が”どうして馬は美しいの?”、”どうして美しいの?”、又は”どうして?”と発話した場合に対して行う鸚鵡返し判定部330の処理である。
【0076】
この場合、鸚鵡返し判定部330は、出力した回答文S”馬は美しい”と利用者からの発話内容W(”どうして馬は美しいの?(疑問文)”又は”どうして美しいの?(疑問文)”)とを照合すると、W⊂S≠0、c≠0(このcは、Wの発話種類を意味し、この発話種類は、後述する発話種類判定部440で判定されるものである。発話種類には、後述するように、例えば、疑問文などが挙げられる。)の関係が成立するので、”条件付”の鸚鵡返し処理(回答内容に対して利用者が疑問文付きの鸚鵡返しを行った場合の処理)を行う。
【0077】
”条件付”の鸚鵡返し処理としては、例えば、会話制御装置1が”馬は美しいね”の回答文を出力した場合に、上記利用者が”どうして馬は美しいの?”の発話内容を発したときは、利用者の疑問等を解消するため、鸚鵡返し判定部330が”だって馬は美しいじゃない”などの回答文を鸚鵡返し要素データベース802の中から取得し、取得した回答文を管理部310に出力する処理を行う。
【0078】
談話範囲決定部340は、文節解析部420で抽出された第一形態素と各談話範囲とを照合し、各談話範囲の中から、第一形態素情報に含まれる形態素と一致する談話範囲を検索する談話検索手段である。
【0079】
具体的に、鸚鵡返し判定部330から話題検索命令信号が入力された談話範囲決定部340は、入力された談話検索命令信号に基づいて、利用者の談話範囲を決定する。即ち、談話範囲決定部340は、入力された検索命令信号に基づいて、会話データベース500の中から、利用者が発話している内容について関連性のある範囲(談話範囲)を検索する。
【0080】
例えば、談話範囲決定部340は、入力された話題検索命令信号に含まれる第一形態素情報が(面白い映画;*;*){面白い映画はある?}である場合には、第一形態素情報に含まれる”映画”が会話データベース500に記憶されている談話範囲群に含まれているかを判定する。
【0081】
談話範囲決定部340は、第一形態素情報に含まれる”映画”が会話データベース500に記憶されている談話範囲群に含まれている場合には、上記”映画”を談話範囲として決定し、決定した談話範囲を話題検索命令信号に含めて省略文補完部350に出力する。
【0082】
談話範囲決定部340は、第一形態素情報に含まれる”映画”の談話範囲が会話データベース500に記憶されている談話範囲群に含まれていないと判断した場合には、第一形態素情報に関係する回答文を会話データベース500から取得し、取得した回答文を管理部310に出力する。
【0083】
これにより、後述する話題検索部360は、談話範囲決定部340で決定された”談話範囲”に属する各「話題タイトル」と、文構造解析部430で特定された第一形態素情報とを照合することができるので、”全て”の「話題タイトル」(第二形態素情報)と第一形態素情報とを照合する必要がなくなり、後述する回答文検索部370は、最終的な回答文を検索するまでの時間を短縮することができる。
【0084】
省略文補完部350は、文節解析部420で抽出された第一形態素情報に基づいて第一形態素情報を構成する各属性(サブジェクト、オブジェクト、アクションなど)の中から、形態素を含まない属性を検索する属性検索手段である。また、省略文補完部350は、検索した属性に基づいて、属性に、談話範囲決定部340で検索された談話範囲を構成する形態素を付加する形態素付加手段でもある。
【0085】
具体的に、談話範囲決定部340から話題検索命令信号が入力された省略文補完部350は、入力された談話検索命令信号に含まれる第一形態素情報に基づいて、第一形態素情報からなる発話内容が省略文であるかを判定し、第一形態素情報からなる発話内容が省略文である場合には、第一形態素情報が属する談話範囲の形態素を、第一形態素情報に付加する。
【0086】
例えば、省略文補完部350は、入力された話題検索命令信号に含まれる第一形態素情報を構成する形態素が(監督;*;*)(監督は?)(この文は、”何の”監督であるかが不明であるので、省略文を意味する。)である場合には、談話範囲決定部340で決定された談話範囲(A映画名;このA映画名は映画のタイトルを示すものである)に属する第一形態素情報であれば、第一形態素情報を構成する形態素に、決定された談話範囲(A映画名)を第一形態素情報に付加(”A映画名”の監督;*;*)する。
【0087】
即ち、第一形態素情報をW、決定された談話範囲をD、現在の談話範囲をdとすると、省略文補完部350は、W⊂(d∈D)の関係が成り立つ場合には、第一形態素情報WをW∪(d∈D)=W’に変換し、変換後の第一形態素情報を話題検索命令信号に含めて話題検索部360に出力する。省略文補完部350は、入力された話題命令信号に含まれる第一形態素情報に対応する発話内容が省略文でないと判断した場合には、入力された話題検索命令信号を話題検索部360に出力する。
【0088】
これにより、第一形態素情報が省略文であり、日本語として明解でない場合であっても、省略文補完部350は、第一形態素情報がある談話範囲に属している場合には、その談話範囲D(A映画名)を第一形態素情報W(監督;*;*)に付加し、第一形態素情報をW’(A映画名の監督;*;*){A映画名の監督は?}として扱うことができるので、利用者の発話内容が省略文である場合であっても、決定されている談話範囲に基づいて省略文を補完することができ、省略文を明確にすることができる。
【0089】
このため、省略文補完部350が、第一形態素情報を構成する発話内容が省略文であっても、第一形態素情報を構成する発話内容が適正な日本語となるように、第一形態素情報に特定の形態素を補完することができるので、話題検索部360は、補完後の第一形態素情報に基づいて、第一形態素情報に関連する最適な「話題タイトル」(第二形態素情報)を取得することができ、回答文検索部370は、話題検索部360で取得された「話題タイトル」に基づいて利用者の発話内容により適した回答内容を出力することができる。
【0090】
話題検索部360は、文節解析部420で抽出された第一形態素情報又は省略文補完部350で補完された第一形態素情報と、各第二形態素情報とを照合し、各第二形態素情報の中から、第一形態素情報を構成する形態素を含む第二形態素情報を検索する第一検索手段である。
【0091】
具体的に、省略文補完部350から話題検索命令信号が入力された話題検索部360は、入力された話題検索命令信号に含まれる第一形態素情報に基づいて、談話範囲決定部340で決定された談話範囲に属する各「話題タイトル」(第二形態素情報)の中から、第一形態素情報の形態素を含む「話題タイトル」を検索し、この検索結果を検索結果信号として回答文検索部370及び発話種類判定部440に出力する。
【0092】
例えば、第一形態素情報を構成する「格構成」が(佐藤;*;好きだ){佐藤は好きだ}である場合には、話題検索部360は、図12に示すように、上記「格構成」に属する各形態素(佐藤;*;好きだ)と談話範囲(佐藤)に属する各話題タイトル1−1〜1−4とを照合し、各話題タイトル1−1〜1−4の中から「格構成」に属する各形態素(佐藤;*;好きだ)と一致(又は近似)する話題タイトル1−1(佐藤;*;好きだ)を検索し、この検索結果を検索結果信号として回答文検索部370及び発話種類判定部440に出力する。
【0093】
話題検索部360から検索結果信号が入力された発話種類判定部440は、入力された検索結果信号に基づいて、該当する利用者に対して回答する特定の回答文を検索させるための回答検索命令信号(この回答検索命令信号には、判定した「発話文のタイプ」も含まれる)を回答文検索部370に出力する。
【0094】
回答文検索部370は、話題検索部360で検索された第二形態素情報(話題タイトル)に基づいて、第二形態素情報に関連付けられた回答文を取得する回答取得手段である。また、回答文検索部370は、話題検索部360で検索された第二形態素情報に基づいて、特定された利用者の発話種類と第二形態素情報に関連付けられた各回答種類とを照合し、各回答種類の中から、利用者の発話種類と一致する回答種類を検索する第二検索手段でもある。
【0095】
具体的に、話題検索部360から検索結果信号と、発話種類判定部440から回答検索命令信号とが入力された回答文検索部370は、入力された検索結果信号に対応する話題タイトル(検索結果によるもの;第二形態素情報)と回答検索命令信号に対応する「発話文のタイプ」(発話種類)とに基づいて、その「話題タイトル」に関連付けられている回答文群(各回答内容)の中から、「発話文のタイプ」(DA、IA、CAなど)と一致する回答種類(この回答種類は、図11に示す「回答文のタイプ」を意味する)からなる回答文を検索する。
【0096】
例えば、回答文検索部370は、検索結果に対応する話題タイトルが図12に示す話題タイトル1−1(佐藤;*;好きだ)である場合は、その話題タイトル1−1に関連付けられている回答文1−1(DA、IA、CAなど)の中から、発話種類判定部440で判定された「発話文のタイプ」(例えばDA;発話種類)と一致する回答種類(DA)からなる回答文1−1(DA;(私も)佐藤が好きです)を検索し、この検索した回答文を回答文信号として管理部310に出力する。
【0097】
回答文検索部370から回答文信号が入力された管理部310は、入力された回答文信号を出力部600に出力する。また、反射的判定部320から反射要素情報、又は鸚鵡返し判定部330から鸚鵡返し処理の内容が入力された管理部310は、入力された反射要素情報に対応する回答文、入力された鸚鵡返し処理の内容に対応する回答文を出力部600に出力する。
【0098】
出力部600は、回答文検索部370で取得された回答文を出力する出力手段であり、本実施形態では、例えば、スピーカ、ディスプレイなどが挙げられる。具体的に、管理部310から回答文が入力された出力部600は、入力された回答文{例えば、私も佐藤が好きです}を出力する。
【0099】
(会話制御装置を用いた会話制御方法)
上記構成を有する会話制御装置1による会話制御方法は、以下の手順により実施することができる。図15は、本実施形態に係る会話制御方法の手順を示すフロー図である。
【0100】
先ず、入力部100が、利用者からの発話内容を取得するステップを行う(S101)。具体的に入力部100は、利用者の発話内容を構成する音声を取得し、取得した音声を音声信号として音声認識部200に出力する。また、入力部100は、利用者から入力された入力情報(音声以外)に基づいて、入力情報(音声以外)に対応する文字列を特定し、特定した文字列を文字列信号として会話制御部300に出力する。
【0101】
次いで、音声認識部200が、入力部100で取得した発話内容に基づいて、発話内容に対応する文字列を特定するステップを行う(S102)。具体的には、入力部100から音声信号が入力された音声認識部200は、入力された音声信号を解析し、解析した音声信号に対応する文字列を、音声認識辞書記憶部700に格納されている辞書を用いて特定し、特定した文字列を文字列信号として会話制御部300に出力する。
【0102】
そして、形態素抽出部410が、音声認識部200で特定された文字列に基づいて、文字列の最小単位を構成する各形態素を第一形態素情報として抽出するステップを行う(S103)。
【0103】
具体的に、管理部310から文字列信号が入力された形態素抽出部410は、入力された文字列信号に対応する文字列と、形態素データベース450に予め格納されている名詞、形容詞、動詞などの形態素群とを照合し、文字列の中から形態素群と一致する各形態素(m1、m2、・・・)を抽出し、抽出した各形態素を抽出信号として文節解析部420に出力する。
【0104】
そして、文節解析部420は、形態素抽出部410で抽出された各形態素に基づいて、各形態素を文節形式にまとめるステップを行う(S104)。具体的に、形態素抽出部410から抽出信号が入力された文節解析部420は、入力された抽出信号に対応する各形態素を用いて文節形式にまとめる。
【0105】
即ち、文節解析部420は、図4に示すように、入力された抽出信号に対応する各形態素に基づいて各形態素の係り受け要素(例えば、が・は・を・・)を抽出し、抽出した係り受け要素に基づいて各形態素を各文節にまとめることを行う。
【0106】
各形態素を各文節にまとめた文節解析部420は、各形態素をまとめた各文節と、各文節を構成する各形態素とを含む文型情報を文型信号として文構造解析部430及び発話種類判定部440に出力する。
【0107】
その後、文構造解析部430が、文節解析部420で分節された第一形態素情報の各形態素を主体格、対象格などの各属性に分類するステップを行う(S105)。具体的に、文節解析部420から文型信号が入力された文構造解析部430は、入力された文型信号に対応する各形態素と各形態素からなる文節とに基づいて、文節に含まれる各形態素の「格構成」を決定する。
【0108】
即ち、文構造解析部430は、図5に示すように、例えば、各形態素の係り受け要素が”が”又は”は”である場合は、その係り受け要素の前にある形態素がサブジェクト(主語又は主格)であると判断する。また、文構造解析部430は、例えば、各形態素の係り受け要素が”の”又は”を”である場合は、その係り受け要素の前にある形態素がオブジェクト(対象)であると判断する。
【0109】
更に、文構造解析部430は、例えば、各形態素の係り受け要素が”する”である場合は、その係り受け要素の前にある形態素がアクション(述語;この述語は動詞、形容詞などから構成される)であると判断する。
【0110】
各文節を構成する各形態素の「格構成」を決定した文構造解析部430は、決定した「格構成」に対応付けられた第一形態素情報に基づいて、後述する話題(トピック)の範囲を特定させるための話題検索命令信号を話題検索部360に出力する。
【0111】
次いで、発話種類判定部440は、文節解析部420で特定された文節に基づいて、発話内容の種類を示す発話種類を特定するステップを行う(S106)。具体的に、文節解析部420から入力された文型信号に対応する各形態素と各形態素から構成される文節とに基づいて、「発話文のタイプ」(発話種類)を判定する。
【0112】
即ち、発話種類判定部440は、入力された文型信号に対応する各文節に基づいて、その各文節と発話種類データベース460に格納されている各辞書とを照合し、各文節の中から、各辞書に関係する文要素を抽出する。各文節の中から各辞書に関係する文要素を抽出した発話種類判定部440は、抽出した文要素に基づいて、「発話文のタイプ」を判定する。
【0113】
この発話種類判定部440は、後述する話題検索部360からの指示に基づいて、該当する利用者に特定の回答文を検索させるための回答検索命令信号を回答文検索部370に出力する。
【0114】
次いで、反射的判定部320が、形態素抽出部410で抽出された第一形態素情報と各定型内容を照合し、各定型内容の中から、第一形態素情報を含む定型内容を検索するステップを行う(S107;反射的処理)。
【0115】
具体的に、文構造解析部430から話題検索命令信号が入力された反射的判定部320は、入力された話題検索命令信号に含まれる第一形態素情報と反射要素データベース801に記憶されている各反射要素情報(定型内容)とを照合し、各反射要素情報の中から、第一形態素情報を含む反射要素情報を検索し、検索した反射要素情報を管理部310に出力する。
【0116】
反射的判定部320は、各反射要素情報の中から、第一形態素情報を含む反射要素情報を検索することができない場合には、文構造解析部430から入力された話題検索命令信号を鸚鵡返し判定部330に出力する。
【0117】
次いで、鸚鵡返し判定部330が、形態素抽出部410で抽出された第一形態素情報と各鸚鵡返し要素を照合し、各鸚鵡返し要素の中から、第一形態素情報を含む鸚鵡返し要素を検索するステップを行う(S108;鸚鵡返し処理)。
【0118】
鸚鵡返し判定部330は、各鸚鵡返し要素の中に第一形態素情報が含まれていると判断した場合には、第一形態素情報を含む鸚鵡返し要素を取得し、取得した鸚鵡返し要素からなる回答文を管理部310に出力(鸚鵡返し処理)する。即ち、鸚鵡返し要素(前回出力された回答文、前回利用者が発話した発話内容など)をS、第一形態素情報をWとすると、鸚鵡返し判定部330は、W⊂S≠0の関係が成立している場合には、上記に示す鸚鵡返し処理を行う。
【0119】
一方、鸚鵡返し判定部330は、各鸚鵡返し要素の中に第一形態素情報が含まれていないと判断した場合には、反射的判定部320から入力された話題検索命令信号を談話範囲決定部340に出力する。
【0120】
そして、談話範囲決定部340が、文節解析部420で抽出された第一形態素と各談話範囲とを照合し、各談話範囲の中から、第一形態素情報を含む談話範囲を検索するステップを行う(S109)。
【0121】
具体的に、鸚鵡返し判定部330から話題検索命令信号が入力された談話範囲決定部340は、入力された検索命令信号に基づいて、会話データベース500の中から、利用者が発話している内容について関連性のある範囲(談話範囲)を検索する。
【0122】
例えば、談話範囲決定部340は、入力された話題検索命令信号に含まれる第一形態素情報が(面白い映画;*;*){面白い映画はある?}である場合には、第一形態素情報に含まれる”映画”が会話データベース500に記憶されている談話範囲群に含まれているかを判定する。
【0123】
談話範囲決定部340は、第一形態素情報に含まれる”映画”が会話データベース500に記憶されている談話範囲群に含まれている場合には、上記”映画”を談話範囲として決定し、決定した談話範囲を話題検索命令信号に含めて省略文補完部350に出力する。
【0124】
談話範囲決定部340は、第一形態素情報に含まれる”映画”の談話範囲が会話データベース500に記憶されている談話範囲群に含まれていないと判断した場合には、第一形態素情報に関係する回答文を会話データベース500から取得し、取得した回答文を管理部310に出力する。
【0125】
次いで、省略文補完部350が、文節解析部420で抽出された第一形態素情報に基づいて第一形態素情報を構成する各属性(サブジェクト、オブジェクト、アクションなど)の中から、形態素を含まない属性を検索するステップを行う。その後、省略文補完部350が、検索した形態素を含まない属性に基づいて、その属性に、談話範囲決定部340で検索された談話範囲を構成する形態素を付加するステップを行う(S110;省略文を補完)。
【0126】
具体的に、談話範囲決定部340から話題検索命令信号が入力された省略文補完部350は、入力された談話検索命令信号に含まれる第一形態素情報に基づいて、第一形態素情報からなる発話内容が省略文であるかを判定し、第一形態素情報からなる発話内容が省略文である場合には、第一形態素情報が属する談話範囲の形態素を、第一形態素情報に付加する。
【0127】
例えば、省略文補完部350は、入力された話題検索命令信号に含まれる第一形態素情報を構成する形態素が(監督;*;*)(監督は?)(この文は、”何の”監督であるかが不明であるので、省略文を意味する。)である場合には、談話範囲決定部340で決定された談話範囲(A映画名;このA映画名は映画のタイトルを示すものである)に属する第一形態素情報であれば、第一形態素情報を構成する形態素に、決定された談話範囲の形態素(A映画名)を第一形態素情報に付加(”A映画名”の監督;*;*)する。
【0128】
即ち、第一形態素情報をW、決定された談話範囲をD、現在の談話範囲をdとすると、省略文補完部350は、W⊂(d∈D)の関係が成り立つ場合には、第一形態素情報WをW∪(d∈D)=W’に変換し、変換後の第一形態素情報を話題検索命令信号に含めて話題検索部360に出力する。省略文補完部350は、入力された話題命令信号に含まれる第一形態素情報に対応する発話内容が省略文でないと判断した場合には、入力された話題検索命令信号を話題検索部360に出力する。
【0129】
次いで、話題検索部360が、文節解析部420で抽出された第一形態素情報又は省略文補完部350で補完された第一形態素情報と、各第二形態素情報とを照合し、各第二形態素情報の中から、第一形態素情報を構成する形態素を含む第二形態素情報を検索するステップを行う(S111)。
【0130】
具体的に、省略文補完部350から話題検索命令信号が入力された話題検索部360は、入力された話題検索命令信号に含まれる第一形態素情報に基づいて、談話範囲決定部340で決定された談話範囲に属する各「話題タイトル」(第二形態素情報)の中から、第一形態素情報の形態素を含む「話題タイトル」を検索し、この検索結果を検索結果信号として回答文検索部370及び発話種類判定部440に出力する。
【0131】
例えば、第一形態素情報を構成する「格構成」が(佐藤;*;好きだ){佐藤は好きだ}である場合には、話題検索部360は、図12に示すように、上記「格構成」に属する各形態素(佐藤;*;好きだ)と談話範囲(佐藤)に属する各話題タイトル1−1〜1−4とを照合し、各話題タイトル1−1〜1−4の中から「格構成」に属する各形態素(佐藤;*;好きだ)と一致(又は近似)する話題タイトル1−1(佐藤;*;好きだ)を検索し、この検索結果を検索結果信号として回答文検索部370及び発話種類判定部440に出力する。
【0132】
話題検索部360から検索結果信号が入力された発話種類判定部440は、入力された検索結果信号に基づいて、該当する利用者に対して回答する特定の回答文を検索させるための回答検索命令信号(この回答検索命令信号には、判定した「発話文のタイプ」も含まれる)を回答文検索部370に出力する。
【0133】
そして、回答文検索部370が、話題検索部360で検索された第二形態素情報に基づいて、特定された利用者の発話種類と第二形態素情報に関連付けられた各回答種類とを照合し、各回答種類の中から、利用者の発話種類と一致する回答種類を検索し、検索した回答種類に関連付けられている回答文を取得するステップを行う(S112)。
【0134】
具体的に、話題検索部360から検索結果信号と、発話種類判定部440から回答検索命令信号とが入力された回答文検索部370は、入力された検索結果信号に対応する話題タイトル(検索結果によるもの;第二形態素情報)と回答検索命令信号に対応する「発話文のタイプ」(発話種類)とに基づいて、その「話題タイトル」に関連付けられている回答文群(各回答内容)の中から、「発話文のタイプ」(DA、IA、CAなど)と一致する回答種類(この回答種類は、図11に示す「回答文のタイプ」を意味する)からなる回答文を検索する。
【0135】
例えば、回答文検索部370は、検索結果に対応する話題タイトルが図12に示す話題タイトル1−1(佐藤;*;好きだ)である場合は、その話題タイトル1−1に関連付けられている回答文1−1(DA、IA、CAなど)の中から、発話種類判定部440で判定された「発話文のタイプ」(例えばDA;発話種類)と一致する回答種類(DA)からなる回答文1−1(DA;(私も)佐藤が好きです)を検索し、この検索した回答文を回答文信号として管理部310に出力する。
【0136】
次いで、回答文検索部370から回答文信号が入力された管理部310は、入力された回答文信号を出力部600に出力する。また、反射的判定部320から反射要素情報、又は鸚鵡返し判定部330から鸚鵡返し処理の内容が入力された管理部310は、入力された反射要素情報に対応する回答文、入力された鸚鵡返し処理の内容に対応する回答文を出力部600に出力する。管理部310から回答文が入力された出力部600は、入力された回答文{例えば、私も佐藤が好きです}を出力する(S113)。
【0137】
(会話制御システム及び会話制御方法による作用及び効果)
上記構成を有する本願に係る発明によれば、反射的判定部320が、利用者から発話された発話内容を構成する第一形態素情報と予め記憶された各定型内容とを照合し、各定型内容の中から、第一形態素情報を含む定型内容を検索することができるので、反射的判定部320は、例えば第一形態素情報が”こんにちは”などの定型内容である場合には、この定型内容と同一の定型内容”こんにちは”等を回答することができる。
【0138】
また、反射的判定部320は、利用者の発話内容が定型内容である場合には、その定型内容(挨拶など)を回答するので、利用者は、最初に、会話制御装置1との間で意思の疎通をしているような感覚を味わうことができる。
【0139】
また、鸚鵡返し判定部330が、現在の第一形態素情報と過去の回答内容とを照合し、現在の第一形態素情報が過去の回答内容に含まれていない場合には、予め記憶してある合意内容を取得することができるので、鸚鵡返し判定部330は、利用者から現在入力された入力情報と過去の回答内容とが一致していれば、利用者が過去の回答内容に対して鸚鵡返し(利用者が回答内容に対して聞き直していること)の入力情報を入力したものと断定することができる。
【0140】
この場合、鸚鵡返し判定部330は、利用者が過去の回答内容に対して鸚鵡返しを行っているので、記憶されている合意内容を取得し、取得した合意内容(例えば、”その通りです”など)を出力することができる。これにより、利用者は、会話制御装置1から出力された回答内容の意味が分からなければ、もう一度聞き直して、再度回答内容を効き直すことができるので、恰も他の利用者と会話しているような感覚を味わうことができる。
【0141】
また、鸚鵡返し判定部330が、現在の第一形態素情報と過去の第一形態素情報とを照合し、現在の第一形態素情報が過去の第一形態素情報に含まれる場合には、反発内容を取得することができるので、鸚鵡返し判定部330は、前回入力された入力情報が今回入力された入力情報に含まれている場合には、利用者が前の入力情報と同一の内容を反復して入力したものと判断することができ、利用者が会話制御装置からの回答内容に対して適切に回答していないものと断定することができる。
【0142】
この場合、鸚鵡返し判定部330は、利用者が前回の回答内容に対して適切に回答していないので、利用者に対して反発するため、記憶されている反発内容を取得し、取得した反発内容を出力する。これにより、利用者は、会話制御装置1からの回答内容に対して適切な入力情報を入力しなければ、会話制御装置1から反発内容が出力されるので、恰も他の利用者と会話しているような感覚を味わうことができる。
【0143】
また、話題検索部360は、第一形態素情報と近似する第二形態素情報を検索するには、”談話範囲”に属する各第二形態素情報と第一形態素情報とを照合すればよく、”全て”の第二形態素情報と第一形態素情報とを照合する必要がないので、第一形態素情報と近似している第二形態素情報を検索するまでの時間を短縮することができる。
【0144】
この結果、話題検索部360が、第一形態素情報と近似している第二形態素情報を短時間で検索(ピンポイント検索)することができるので、回答文検索部370は、話題検索部360で検索された第二形態素情報に基づいて第二形態素情報に関連付けられている回答文を短時間で取得することができ、会話制御装置1は、利用者からの発話内容に対して迅速に回答することができる。
【0145】
また、話題検索部360が、各第二形態素情報の中から、第一形態素情報を構成する形態素(利用者の発話内容を構成する要素)を含む第二形態素情報を検索し、回答文検索部370が、話題検索部360で検索された第二形態素情報に基づいて、第二形態素情報に関連付けられた回答内容を取得することができるので、回答文検索部370は、利用者の発話内容を構成する各形態素(第一形態素情報)に基づいて、各形態素により構築される意味空間(主体、対象等)を考慮し、かかる意味空間に基づいて予め作成された回答内容を取得することができることとなり、単に発話内容の全体をキーワードとして、そのキーワードに関連付けられた回答内容を取得するよりも、より発話内容に適した回答内容を取得することができる。
【0146】
また、話題検索部360は、第一形態素情報を含む第二形態素情報を検索するので、利用者の発話内容と完全に一致する第二形態素情報を検索する必要がなく、会話制御装置1を開発する開発者は、利用者から発話されるであろう発話内容に対応する膨大な回答内容を予め記憶する必要がなくなり、記憶部の容量を低減させることができる。
【0147】
更に、回答文検索部370が、”談話範囲”に属する各第二形態素情報に関連付けられた回答種類(陳述、肯定、場所、反発など)の中から、利用者の発話種類と一致する回答種類を検索し、検索した回答種類に基づいて回答種類に対応付けられた回答内容を取得することができるので、会話制御装置1は、利用者の会話内容を構成する発話種類、例えば、利用者が単に意見を述べたもの、利用者が抱く感想からなるもの、利用者が場所的な要素を述べたものなどに基づいて、複数の回答内容の中から利用者の発話種類にマッチした回答内容を取得することができることとなり、該当する利用者に対してより最適な回答をすることができる。
【0148】
更にまた、回答文検索部370は、談話範囲決定部340で検索された”談話範囲”にのみ属する各第二形態素情報に関連付けられた回答種類の中から、利用者の発話種類と一致する回答種類を検索(ピンポイント検索が可能)するだけでよいので、”全て”の第二形態素情報に関連付けられた回答種類と利用者の発話種類とを逐一検索する必要がなくなり、利用者の発話種類に対応する最適な回答内容を短時間で取得することができる。
【0149】
最後に、省略文補完部350は、利用者の発話内容を構成する第一形態素情報が省略文であり、日本語として明解でない場合であっても、第一形態素情報がある談話範囲に属している場合には、その談話範囲を第一形態素情報に付加し、省略文からなる第一形態素情報を補完することができる。
【0150】
これにより、省略文補完部350は、第一形態素情報を構成する発話内容が省略文であっても、第一形態素情報を構成する発話内容が適正な日本語となるように、第一形態素情報に特定の形態素(談話範囲を構成する形態素など)を補完することができるので、話題検索部360は、省略文補完部350で補完された補完後の第一形態素情報に基づいて、第一形態素情報に関連する最適な第二形態素情報を取得することができ、回答文検索部370は、話題検索部360で取得された第二形態素情報に基づいて利用者の発話内容により適した回答内容を出力することができる。
【0151】
この結果、会話制御装置1は、利用者からの入力情報が省略文であったとしても、ニューロネットワーク、AI知能などの機能を用いることなく、過去の検索結果を通じて、その省略文が何を意味するのかを推論することができ、会話制御装置1の開発者は、ニューロネットワーク、AI知能を搭載する必要がないので、会話制御装置1のシステムをより簡便に構築することができる。
【0152】
[変更例]
尚、本発明は、上記実施形態に限定されるものではなく、以下に示すような変更を加えることができる。
【0153】
(第一変更例)
本変更例においては、会話データベース500は、複数の形態素の集合からなる集合群の全体を示す要素情報を、集合群に関連付けて複数記憶する要素記憶手段であってもよい。更に、形態素抽出部410は、文字列から抽出した形態素と各集合群とを照合し、各集合群中から、抽出された形態素を含む集合群を選択し、選択した集合群に関連付けられた要素情報を第一形態素情報として抽出してもよい。
【0154】
図16に示すように、利用者が発話した文字列に含まれる各形態素には、類似しているものがある。例えば、図16に示すように、集合群の全体を示す要素情報を「贈答」とすると、「贈答」は、プレゼント、贈り物、御歳暮、御中元、お祝いなど(集合群)と相互に類似しているので、形態素抽出部410は、「贈答」に類似する形態素(上記のプレゼントなど)がある場合には、その類似する形態素については、「贈答」として取り扱うことができる。
【0155】
即ち、形態素抽出部410は、例えば、文字列から抽出した形態素が「プレゼント」である場合には、図16に示すように、「プレゼント」を代表する要素情報が「贈答」であるので、上記「プレゼント」を「贈答」に置き換えることができる。
【0156】
これにより、形態素抽出部410が相互に類似する形態素を整理することができるので、会話制御装置を開発する開発者は、相互に類似した各第一形態素情報から把握される意味空間に対応した第二形態素情報及び第二形態素情報に関係する回答内容を逐一作成する必要がなくなり、結果的に、記憶部に格納させるデータ量を低減させることができる。
【0157】
(第二変更例)
図17に示すように、本変更例においては、割合計算部361と、選択部362とを話題検索部360に備えてもよい。
【0158】
割合計算部361は、形態素抽出部410で抽出された第一形態素情報と各第二情報とを照合し、各第二形態素情報毎に、第二形態素情報に対して第一形態素情報が占める割合を計算する計算手段である。
【0159】
具体的に、文構造解析部430から話題検索命令信号が入力された割合計算部361は、図17に示すように、入力された話題検索命令信号に含まれる第一形態素情報に基づいて、第一形態素情報と会話データベース500に格納されている談話範囲に属する各話題タイトル(第二形態素情報)とを照合し、各話題タイトル毎に、それぞれの話題タイトルの中に、第一形態素情報が占める割合を計算する。
【0160】
例えば、図17に示すように、利用者から発話された発話文を構成する第一形態素情報が(佐藤;*;好きだ){佐藤は好きだ}である場合は、割合計算部361は、「格構成」に属する各形態素(佐藤;*;好きだ)と話題タイトルに含まれる各形態素(佐藤;*;好きだ)とを照合し、上記話題タイトルに、「格構成」に属する各形態素(佐藤;*;好きだ)が含まれる割合を、100%であると計算する。割合計算部361は、これらの計算を話題タイトル毎に行い、計算した各割合を割合信号として選択部362に出力する。
【0161】
選択部362は、割合計算部361で各第二形態素情報毎に計算された各割合の大きさに応じて、各第二形態素情報の中から、一の第二形態素情報を選択する選択手段である。
【0162】
具体的に、割合計算部361から割合信号が入力された選択部362は、入力された割合信号に含まれる各割合(「格構成」の要素/「話題タイトル」の要素×100)の中から、例えば割合の高い話題タイトルを選択する(図18参照)。割合の高い話題タイトルを選択した選択部362は、選択した話題タイトルを検索結果信号として回答文検索部370及び発話種類判定部440に出力する。回答文検索部370は、選択部362で選択された話題タイトルに基づいて、話題タイトルに関連付けられた回答文を取得する。
【0163】
これにより、選択部362が、各第二形態素情報毎に、第二形態素情報に対して第一形態素情報が占める割合を計算し、各第二形態素情報毎に計算された各割合の大きさに応じて、各第二形態素情報の中から、一の第二形態素情報を選択することができるので、選択部362は、例えば、第一形態素情報(利用者の発話内容を構成するもの)が第二形態素情報に占める割合の大きい第二形態素情報を、複数ある第二形態素情報群の中から取得することができれば、第一形態素情報から把握される意味空間を踏襲した第二形態素情報をより的確に取得することができ、結果的に、回答文検索部370は、利用者の発話内容に対して最適な回答をすることができる。
【0164】
また、選択部362は、複数の話題タイトルの中から、割合計算部361で計算された割合の高い話題タイトルを選択することができるので、利用者の発話文に含まれる「格構成」に属する各形態素と会話データベース500に格納されている各話題タイトルとが完全に一致しなくても、「格構成」に属する各形態素に密接する話題タイトルを取得することができる。
【0165】
この結果、選択部362が第一形態素情報を構成する「格構成」に密接する話題タイトルを取得することができるので、会話制御装置1を開発する開発者は、第一形態素情報を構成する「格構成」と完全に一致する話題タイトルを会話データベース500に逐一格納する必要がなくなるので、会話データベース500の容量を低減させることができる。
【0166】
更に、割合計算部361は、談話範囲決定部340で検索された”談話範囲”にのみ属する各第二形態素情報毎に、第二形態素情報に対して第一形態素情報が占める割合を計算するので、”全て”の第二形態素情報に対して第一形態素情報が占める割合を計算する必要がなくなり、第一形態素情報から構成される意味空間を踏襲した第二形態素情報をより短時間で取得することができ、結果的に、取得した第二形態素情報に基づいて利用者からの発話内容に対しての最適な回答内容を迅速に出力することができる。
【0167】
尚、割合計算部361は、分類された各属性に属する第一形態素情報の各形態素と、予め記憶された各属性に属する各第二形態素情報の各形態素とを各属性毎に照合し、各第二形態素情報の中から、少なくとも一の属性に第一形態素情報の各形態素を含む第二形態素情報を検索する第一検索手段であってもよい。
【0168】
具体的に、話題検索命令信号が入力された割合計算部361は、入力された話題検索命令信号に含まれる「格構成」の各「格」(サブジェクト;オブジェクト;アクション)毎に、その「格」に属する各形態素と、同一の「格」からなる話題タイトルの「格」に属する各形態素とを照合し、互いの「格」を構成する形態素が同一か否かを判定する。
【0169】
例えば、図19に示すように、割合計算部361は、「格構成」の「格」の形態素が(犬;人;噛んだ){犬が人を噛んだ}である場合は、それらの形態素”犬”、”人”、”噛んだ”と、それらの形態素を構成する「格」と同一の「格」からなる話題タイトルの形態素”犬”、”人”、”噛んだ”とを照合し、話題タイトルを構成する各形態素”犬”、”人”、”噛んだ”のうち、各形態素に対応する「格」と同一の「格」からなる「格構成」の形態素”犬”、”人”、”噛んだ”と一致している割合を算出(100%)する。
【0170】
もし、話題タイトルを構成する要素が(人;犬;噛んだ){人が犬を噛んだ}である場合には、割合計算部361は、上記と同様の手順により、二つの格に属する形態素が異なるので、「格構成」を構成する形態素と「話題タイトル」との「格」毎の一致度を33%であると算出する(図19参照)。
【0171】
割合を計算した割合計算部361は、各割合の中から、割合の高い話題タイトルを選択し、選択した話題タイトルを検索結果信号として回答文検索部370及び発話種類判定部440に出力する。
【0172】
これにより、割合計算部361が、分類された各「格構成」(主体格、対象格など)に属する第一形態素情報の各形態素と、予め記憶された話題タイトルとを各「格」毎に照合し、各話題タイトルの中から、少なくとも一の「格」に第一形態素情報の各形態素を含む第二形態素情報を検索することができるので、割合計算部361は、通常の語順とは異なるものから構成される発話内容、例えば”人が犬を噛む”である場合には、主体格の形態素が”人”、対象格の形態素が”犬”であることから、その各「格」と一致する第二形態素情報を検索することができ、その第二形態素情報(人;犬;噛む)に関連付けられている回答内容{”本当に?”又は”意味がよくわかんないよ”など}を取得することができる。
【0173】
即ち、割合計算部361は、識別が困難な発話内容、例えば”人が犬を噛む”と”犬が人を噛む”とを識別することができるので、その識別した発話内容に最適な回答、前者については例えば”本当に?”、後者については例えば”大丈夫?”をすることができる。
【0174】
また、割合計算部361は、”談話範囲”に属する各第二形態素情報の中から、少なくとも一の属性に第一形態素情報の形態素を含む第二形態素情報を検索すればよいので、”全て”の第二形態素情報の中から、一の第二形態素情報を取得する必要がなくなり、第一形態素情報から構成される意味空間を踏襲した第二形態素情報をより短時間で取得することができ、結果的に、会話制御装置1は、取得した第二形態素情報に基づいて利用者からの発話内容に対しての最適な回答内容を迅速に出力することができる。
【0175】
(第三変更例)
図20に示すように、本変更例においては、上記実施形態及び上記各変更例に限定されるものではなく、会話制御装置1a,1bにある通信部800と、通信ネットワーク1000を介して通信部800との間でデータの送受信をするための通信部900と、通信部900に接続された各会話データベース500b〜500dと、サーバ2a〜2cとを備えてもよい(会話制御システム)。
【0176】
ここで、通信ネットワーク1000とは、データを送受信する通信網を意味するものであり、本実施形態では、例えば、インターネットなどが挙げられる。
【0177】
尚、本変更例では、便宜上、会話制御装置1a,1b、会話データベース500b〜500d、サーバ2a〜2cを限定しているが、これに限定されるものではなく、更に他の会話データベースを設けてもよい。このサーバ2a〜2cには、会話データベース500a〜500dに記憶されている内容と同様の内容が記憶されている。
【0178】
これにより、会話制御部300は、会話制御装置1aの内部に配置してある会話データベース500aのみならず、通信ネットワーク1000を介して、他の会話制御装置1b、会話データベース500b〜500d、サーバ2a〜2cをも参照することができるので、例えば、会話データベース500aの中から、話題検索命令信号に含まれる「格構成」に属する各形態素(第一形態素情報)と関連する談話範囲を検索することができない場合であっても、他の会話制御装置1b、会話データベース500b〜500d、サーバ2a〜2cを参照することにより、上記第一形態素情報と関連する談話範囲を検索することができ、利用者の発話文により適した回答文を検索することができる。
【0179】
(第四変更例)
文構造解析部430は、特定した第一形態素情報を構成する各「格構成」及び各「格構成」に対応付けられた各形態素を会話データベース500に記憶するものであってもよい。回答文検索部370は、検索した回答文を構成する各「格構成」及び各「格構成」に対応付けられた各形態素を会話データベース500に記憶するものであってもよい。
【0180】
談話範囲決定部340は、検索した談話範囲を会話データベース500に記憶するものであってもよい。話題検索部360は、検索した第二形態素情報を会話データベース500に記憶するものであってもよい。
【0181】
上記第一形態素情報と、第二形態素情報と、第一形態素情報又は第二形態素情報を構成する各「格構成」及び各「格構成」に対応付けられた各形態素と、検索した回答文を構成する各「格構成」及び各「格構成」に対応付けられた各形態素と、検索した談話範囲とは、それらを相互に関連付けて履歴形態素情報として会話データベース500に記憶することができる。
【0182】
省略文補完部350は、文節解析部420で抽出された第一形態素情報に基づいて第一形態素情報を構成する各属性(サブジェクト、オブジェクト、アクションなど;格構成)の中から、形態素を含まない属性を検索し、検索した属性に基づいてその属性に、会話データベース500に記憶された履歴形態素情報を付加するものであってもよい。
【0183】
具体的に、談話範囲決定部340から話題検索命令信号が入力された省略文補完部350は、入力された談話検索命令信号に含まれる第一形態素情報に基づいて、第一形態素情報からなる発話内容が省略文であるかを判定し、第一形態素情報からなる発話内容が省略文(例えば、サブジェクト、オブジェクト、又はアクションに所定の形態素を有しないなど)である場合には、会話データベース500に記憶されている履歴形態情報を、第一形態素情報に付加する。
【0184】
即ち、履歴形態情報に含まれるサブジェクトをS1、オブジェクトをO1、アクションA1、談話範囲をD1とし、省略された第一形態素情報をWとすると、補完後の第一形態素情報W1は、S1∪W、O1∪W、A1∪W、又はD1∪Wとして表現することができる。
【0185】
話題検索部360は、省略文補完部350で補完された第一形態素情報W1と各第二形態素情報とを照合し、各「話題タイトル」(第二形態素情報)の中から、第一形態素情報W1を含む第二形態素情報を検索し、検索した話題タイトルを検索結果信号として回答文検索部370及び発話種類判定部440に出力する。
【0186】
これにより、第一形態素情報からなる発話内容が省略文であり、日本語として明解でない場合であっても、省略文補完部350は、会話データベース500に記憶されている履歴形態情報を用いて、省略された第一形態素情報の形態素を補完することができるので、省略された第一形態素情報からなる発話内容を明確にすることができる。
【0187】
このため、省略文補完部350が、第一形態素情報を構成する発話内容が省略文である場合には、第一形態素情報からなる発話内容が適正な日本語となるように、第一形態素情報に省略された形態素を補完することができるので、話題検索部360は、形態素が補完された第一形態素情報に基づいて、その第一形態素情報と関連する最適な「話題タイトル」(第二形態素情報)を取得することができ、回答文検索部370は、話題検索部360で取得された最適な「話題タイトル」に基づいて、利用者の発話内容により適した回答内容を出力することができる。
【0188】
(第五変更例)
話題検索部360は、図21に示すように、削除部363と、談話付加部364とを備えてもよい。削除部363は、検索した第二形態素情報に基づいて、第二形態素情報と談話範囲決定部340で検索された談話範囲とを照合し、第二形態素情報を構成する各形態素の中から、談話範囲と一致する形態素を削除する削除手段である。
【0189】
具体的に、省略文補完部350から話題検索命令信号が入力された話題検索部360は、入力された話題検索命令信号に含まれる第一形態素情報と、談話範囲決定部340で決定された談話範囲に属する各第二形態素情報とを照合し、各第二形態素情報の中から、第一形態素情報と一致する第二形態素情報を検索する。
【0190】
そして、削除部363は、検索された第二形態素情報に基づいて、その第二形態素情報と談話範囲決定部340で決定された談話範囲を構成する形態素とを照合し、第二形態素情報の中から、談話範囲を構成する形態素と一致する形態素を削除し、形態素が削除された第二形態素情報を削除信号として談話付加部364に出力する。
【0191】
即ち、削除部363は、第二形態素情報を構成する各形態素t1から、談話範囲決定部340で決定された現在の談話範囲D2(このD2は、形態素からなるものである)を取り除く(取り除いた結果をt2とすると、t2=t1−D2)。
【0192】
談話付加部364は、削除部363で形態素が削除された第二形態素情報に基づいて、談話範囲決定部340で検索された談話範囲に関連付けられた他の談話範囲を取得し、取得した他の談話範囲を構成する形態素を、第二形態素情報に付加する談話付加手段である。
【0193】
具体的には、現在の談話範囲D2が回答文K1と関連性のある談話範囲をDKとすると、回答文K1又は現在の談話範囲D2と関連性(兄弟関係にあるもの)のある他の談話範囲D3は、D3=D2∪DKとして表現することができるので、他の談話範囲D3を構成する形態素を付加した後の第二形態素情報W2は、W2=t2∪D3とすることができる。
【0194】
例えば、第二形態素情報を構成する各形態素t1が(A映画名;*;面白い){A映画名は面白い?}であり、談話範囲決定部340で決定された現在の談話範囲D2が(A映画名)である場合には、削除部363は、先ず、各形態素t1(A映画名;*;面白い)から談話範囲D2(A映画名)を削除し、削除した結果をt2(*;*;面白い)とする(t2=t1−D2)。
【0195】
現在の談話範囲D2(A映画名)と関連性のある他の談話範囲D3が”B映画名”である場合には、他の談話範囲D3を構成する形態素を付加した後の第二形態素情報W2は、t2∪D3であるので、(B映画名;*;面白い){B映画名は面白い?}とすることができる。
【0196】
これにより、利用者の発話内容が”A映画名は面白い?”である場合には、談話付加部364は、利用者の発話内容を構成する各形態素(A映画名;*;面白い)と一致する第二形態素情報(A映画名;*;面白い)を、他の第二形態素情報(B映画名;*;面白い){B映画名は面白い?}に変更することができるので、回答文検索部370は、談話付加部364で変更された第二形態素情報に関連付けられた回答文(例えば、”B映画名は面白いよ”)を取得し、取得した回答文を出力することができる。
【0197】
この結果、回答文検索部370は、利用者の発話内容に対する回答文を出力するわけではないが、談話付加部364で付加された形態素を含む第二形態素情報に基づいて、発話内容に関連する回答文を出力することができるので、利用者の発話内容に対する回答内容が会話データベース500に記憶されていない場合であっても、利用者の発話内容に関連する回答内容を取得することができ、出力部600は、回答文検索部370で検索された回答文に基づいて、さらに人間味のある回答文を出力することができる。
【0198】
尚、談話付加部364は、形態素が削除された第二形態素情報に他の談話範囲を付加するものだけに限定されるものではなく、形態素が削除された第二形態素情報に履歴形態素情報(会話データベース500に記憶されている)を付加するものであってもよい。
【0199】
(第六変更例)
話題検索部360は、各第二形態素情報の中から、第一形態素情報を含む第二形態素情報を検索することができない場合に、第一形態素情報と各回答内容とを照合し、各回答内容の中から、第一形態素情報を含む回答内容を検索することができたときは、検索した回答内容に関連付けられている第二形態素情報を取得する第一検索手段であってもよい。
【0200】
具体的に、省略文補完部350から話題検索命令信号が入力された話題検索部360は、入力された話題検索命令信号に含まれる第一形態素情報に基づいて、第一形態素情報と各第二形態素情報とを照合し、各第二形態素情報の中から、第一形態素情報と一致する第二形態素情報を取得することができない場合には、図22に示すように、第一形態素情報と、第二形態素情報に関連付けられている回答文とを照合する。
【0201】
この照合により、話題検索部360は、回答文の中に第一形態素情報を構成する形態素(アクション又はアクションに対応付けられた形態素)が含まれていると判断した場合には、その回答文に関連付けられている第二形態素情報を検索する。
【0202】
これにより、話題検索部360は、各第二形態素情報の中から、第一形態素情報と一致する第二形態素情報を検索することができなくても、各回答文の中から、第一形態素情報を構成する形態素(アクション又はアクションに対応付けられた形態素)を含む回答文を特定し、この特定した回答文に関連付けられている第二形態素情報を検索することができるので、利用者の発話内容を構成する第一形態素情報に対応する第二形態素情報を適切に検索することができる。
【0203】
この結果、話題検索部360が第一形態素情報に対応する最適な第二形態素情報を検索することができるので、回答文検索部370は、話題検索部360で検索された最適な第二形態素情報に基づいて、利用者の発話内容に対する適切な回答内容を取得することができる。
【0204】
[プログラム]
上記会話制御システム及び会話制御方法で説明した内容は、パーソナルコンピュータ等の汎用コンピュータにおいて、所定のプログラム言語を利用するための専用プログラムを実行することにより実現することができる。
【0205】
ここで、プログラム言語としては、本実施形態では、利用者が求める話題、ある事柄において利用者に対して抱く感情度、又は陳述文、肯定文、疑問文、反発文などの種類をその意味内容に応じて形態素と関連付けて階層的にデータベースに蓄積するための言語、例えば、発明者らが開発したDKML(Discourse Knowledge Markup Language)、XML(eXtensible Markup Language)、C言語等が挙げられる。
【0206】
即ち、会話制御装置1は、各会話データベース500a〜500dに格納されているデータ(第二形態素情報、定型内容、回答文、回答種類、集合群、談話範囲、要素情報などの記憶情報)、その他の各部を、DKML(Discourse Knowledge Markup Language)等で構築し、この構築した記憶情報等を利用するためのプログラムを実行することにより実現することができる。
【0207】
このような本実施形態に係るプログラムによれば、利用者の発話内容を構成する各形態素を特定し、特定した各形態素から把握される意味内容を解析して、解析した意味内容に関連付けられている予め作成された回答内容を出力することで、利用者の発話内容に対応する最適な回答内容を出力することができるという作用効果を奏する会話制御装置、会話制御システム及び会話制御方法を一般的な汎用コンピュータで容易に実現することができる。
【0208】
また、会話制御装置1を開発する開発者は、利用者の発話内容に対する回答内容を検索するための第二形態素情報等を、データベースにおいて前記言語を用いて階層的に構築することができるので、会話制御装置1は、利用者の発話内容に基づいて発話内容に対する回答内容を、階層的な手順を経てデータベースから取得することができる。
【0209】
即ち、会話制御装置1は、利用者の発話内容の階層(例えば、データベースに蓄積されている第二形態素情報に対して上位概念にあるのか、又は下位概念にあるのか)を見極めて、見極めた階層に基づいて予め蓄積された各回答内容の中から、適切な回答内容を取得することができる。
【0210】
このため、会話制御装置1は、利用者の発話内容からなる第一形態素情報と、予め記憶されている”全て”の第二形態素情報とを逐一照合することなく、ある特定の階層に属する各第二形態素情報と第一形態素情報とを照合すればよいので、第一形態素情報と近似する第二形態素情報を短時間で取得することができる。
【0211】
更に、上記通信部800と通信部900との間の通信は、通信ネットワーク1000を介して、DKML等からなるプロトコルによってデータを送受信してもよい。これにより、会話制御装置1は、例えば、会話制御装置1に利用者の発話内容に適した回答内容がない場合には、通信ネットワーク1000を通じて、DKML等の約束事に従って、利用者の発話内容に適した回答内容(DKMLなどで記述されたもの)を検索し、検索した回答内容を取得することができる(図20参照)。
【0212】
尚、プログラムは、記録媒体に記録することができる。この記録媒体は、図23に示すように、例えば、ハードディスク1100、フレキシブルディスク1200、コンパクトディスク1300、ICチップ1400、カセットテープ1500などが挙げられる。このようなプログラムを記録した記録媒体によれば、プログラムの保存、運搬、販売などを容易に行うことができる。
【0213】
[第二実施形態]
(情報処理システムの基本構成)
本発明の第二実施形態について図面を参照しながら説明する。図24は、本実施形態に係る情報処理システム(会話制御システム)の内部構造を示したものである。同図に示すように、情報処理システムは、第一実施形態における会話制御装置1(情報処理装置)の内部構造とほぼ同じであるが、会話制御部300にランク付部380(ランク付手段)を有する点で相違する。この相違する点以外は、第一実施形態及び変更例の構造と同じであるので、相違する点以外の構造についての説明は、省略する。
【0214】
第一実施形態では、会話制御装置1が、利用者からの入力情報に基づいて入力情報に対応する最適な回答文を取得する処理について説明したが、本実施形態では、会話制御部300にあるランク付部380が、利用者からの入力情報に基づいて利用者に対して抱く感情度等をランク付する処理について説明する。具体的な説明は以下の通りである。
【0215】
ランク付部380は、利用者から入力された入力情報に基づいて、利用者に対して抱く感情度等としてランク付するものであり、本実施形態では、図24に示すように、感情状態判定部381と、理解状態判定部382と、対立状態判定部383とを有する。ここで、感情度とは、会話制御装置1が入力情報に対して抱く感情の度合いを意味するものである。この感情度は、本実施形態では、入力情報に基づいて後述する感情状態判定部381により一義的に判定される。
【0216】
このランク付部380は、談話データベースに格納されている「談話イベント」テーブルに基づいて、利用者に対して抱く感情度等を判定する。ここで、「談話イベント」テーブルは、図25に示すように、本実施形態では、第一形態素情報が談話範囲と関連性(結束性)を有する要因となることを示す結束要因(cohere)、第一形態素情報が現在の談話範囲と関連性を有しない要因となることを示す話題変更(shift)からなるものである。
【0217】
具体的に、結束要因は、図26に示すように、本実施形態では、結束要因(−)と結束要因(+)とからなる。結束要因(−)は、同図に示すように、第一形態素情報が前の談話範囲に属し、その話題タイトルに属する「感情度 低」に関連付けられた話題タイトルが話題検索部360で検索されたことを意味する。ここで、「感情度 低」とは、会話制御装置1が、話題タイトルに対して抱く感情度を低く(例えば、会話制御装置1が話題タイトルに対して余り関心がない場合など)設定していることを意味する。
【0218】
結束要因(+)は、同図に示すように、第一形態素情報が前の談話範囲に属し、その談話範囲に属する「感情度 高」に関連付けられた話題タイトルが話題検索部360で検索されたことを意味する。ここで、「感情度 高」とは、会話制御装置1が、話題タイトルに対して抱く感情度を高く(例えば、会話制御装置1が話題タイトルに対して関心がある場合など)設定していることを意味する。
【0219】
これら結束要因(−)(+)は、図26に示すように、鸚鵡返し判定部330による”条件付”鸚鵡返し処理の結果、省略文補完部350による省略文補完処理の結果に基づいて、ランク付部380で決定される。
【0220】
また、話題変更は、図26に示すように、話題変更(−)と話題変更(+)とからなるものである。話題変更(−)は、同図に示すように、話題検索部360で検索された現在の話題タイトルが、後に「感情度 低」に関連付けられた他の話題タイトルに変更されたことを意味する。
【0221】
話題変更(+)は、同図に示すように、話題検索部360で検索された現在の話題タイトルが、後に「感情度 高」に関連付けられた他の話題タイトルに変更されたことを意味する。これら話題変更(−)(+)は、図26に示すように、談話範囲決定部340による談話範囲の検索結果に基づいてランク付部380で決定されるものである。
【0222】
また、「談話範囲イベント」テーブルは、上記の他に、第一形態素情報が現在の話題を中断する要因となることを示す中断要因(interruput)、第一形態素情報が第二形態素情報よりも難解な情報となることを示す難解要因(harass)、第一形態素情報が第二形態素情報に対して対立する要因となることを示す対立要因(oppose)等からなるものである。
【0223】
図24に示すように、中断要因は、鸚鵡返し判定部330による鸚鵡返し処理、反射的判定部320による反射的処理に基づいて、ランク付部380により決定される。難解要因は、話題検索部360による話題タイトル(第二形態素情報)の検索結果に基づいて、ランク付部380により決定されるものである。対立要因は、発話種類判定部440による発話種類の判定に基づいて、ランク付部380により決定されるものである。
【0224】
感情状態判定部381は、話題検索部360による検索結果に基づいて、各第二形態素情報の中から、第一形態素情報を含む第二形態素情報が検索される頻度の大きさに応じてランク付するランク付手段である。
【0225】
感情状態判定部381は、検索される頻度が低い場合には、低いランクにランク付し、検索される頻度が高い場合には、高いランクにランク付するランク付手段でもある。このランクの大きさは、利用者に対して抱く感情度、入力情報に対する理解度、利用者との間で感じる対立度として表現することができる。
【0226】
感情状態判定部381で判定する感情度は、本実施形態では、図27に示すように、6段階にランク付することができる。この感情度は、利用者に対して抱く感情度が高く(良くなる方向)なればなる程、同図に示す数値が上昇する方向に位置付けれれるものである。
【0227】
従って、感情度がe(0)からe(3)へと遷移することによって、利用者に対して抱く感情度が高くなることを意味する。一方、感情度がe(0)からe(−2)へと遷移することによって、利用者に対して抱く感情度が低くなることを意味する。6段階のうち、基準となる感情度は、本実施形態では、e(0)であるとする。
【0228】
また、感情度のランク付は、本実施形態では、感情マイナス要因、感情プラス要因、話題変更(+)(−)を用いて行うものとする。この感情マイナス要因は、本実施形態では、上記説明した中断要因、難解要因、対立要因、結束要因(−)、話題変更(−)からなるものとする。感情プラス要因は、結束要因(+)、話題変更(+)からなるものである。
【0229】
尚、同図では、話題変更(−)(+)により感情度が二段階以上、遷移しているが、これは、現在の話題タイトルから「感情度 ”とても”低い」又は「感情度 ”とても”高い」に関連付けられた話題タイトルが選択されたときに、感情度が2段階以上、遷移されるものである。
【0230】
具体的に、感情状態判定部381は、話題検索部360で第一形態素情報を含む第二形態素情報が検索されない場合には、利用者に対して抱く感情度を低いランクにランク付する。
【0231】
即ち、話題検索部360で第一形態素情報を含む第二形態素情報が検索されないということは、利用者から入力された入力情報を構成する第一形態素情報が予め記憶されている各第二形態素情報よりも難解(harass)であると擬似的に断定することができるので、感情状態判定部381は、利用者から入力された入力情報(第一形態素情報)が感情マイナス要因(難解要因)であると判断し、利用者に対して抱く感情度を低い方に設定する。
【0232】
一方、感情状態判定部381は、話題検索部360で第一形態素情報を含む第二形態素情報が検索された場合には、利用者に対して抱く感情度を高いランクにランク付する。
【0233】
即ち、話題検索部360で第一形態素情報を含む第二形態素情報が検索されたということは、利用者から入力された入力情報を構成する第一形態素情報が予め記憶されている各第二形態素情報よりも容易であると擬似的に断定することができるので、感情状態判定部381は、利用者から入力された入力情報を理解することができると判断し、利用者に対して抱く感情度を高い方に設定する。
【0234】
また、感情状態判定部381は、談話範囲決定部340(関連性判定手段)による判定結果に基づいてランク付するランク付手段でもある。この談話範囲決定部340は、本実施形態では、検索した談話範囲を示す第一談話範囲と、その後に検索した談話範囲を示す第二談話範囲とを照合し、第二談話範囲が第一談話範囲と関連性を有するかについて判定する関連性判定手段である。
【0235】
具体的に、感情状態判定部381は、談話範囲決定部340で第二談話範囲が第一談話範囲と関連性を有しないと判定された場合には、例えば利用者に対して抱く感情度を低いランクにランク付する。
【0236】
即ち、談話範囲決定部340で第二話題範囲が第一話題範囲と関連性を有しないと判定されたということは、第一形態素情報を含む現在の談話範囲(第二談話範囲)がその前の談話範囲(第一談話範囲)とは異なる(前後関係の話題に結束姓がない;これは”話題変更”ともいう)ものであると擬似的に断定することができるので、感情状態判定部381は、第二談話範囲に属する第一形態素情報が「感情度 低」に関連付けられた話題タイトル(第二形態素情報)に含まれる場合には、第一形態素情報が感情マイナス要因(話題変更(−))であると判断し、利用者に対して抱く感情度を低い方に設定する(図26、図27参照)。
【0237】
これにより、話題変更(−)は、現在の談話範囲が他の談話範囲に変更され、変更された後の談話範囲に属する第一形態素情報が会話制御装置1にとっては面白くない内容であることを意味する。
【0238】
この場合、感情状態判定部381は、第二談話範囲に属する第一形態素情報が「感情度 高」に関連付けられた話題タイトル(第二形態素情報)に含まれる場合には、第一形態素情報が感情プラス要因(話題変更(+))であると判断し、利用者に対して抱く感情度を高い方に設定することもできる。
【0239】
これにより、話題変更(+)は、現在の談話範囲が他の談話範囲に変更され、変更された後の談話範囲に属する第一形態素情報が会話制御装置1にとっては面白い内容であることを意味する。
【0240】
一方、感情状態判定部381は、談話範囲決定部340で第二談話範囲が第一談話範囲と関連性を有すると判定された場合には、例えば利用者に対して抱く感情度を高いランクにランク付する。
【0241】
即ち、談話範囲決定部340で第二話題範囲が第一話題範囲と関連性を有すると判定されたということは、第一形態素情報を含む現在の談話範囲(第二談話範囲)がその前の談話範囲(第一談話範囲)と実質的に同一(前後関係の話題に結束性がある)のものであると擬似的に断定することができるので、感情状態判定部381は、第二談話範囲に属する第一形態素情報が「感情度 高」に関連付けられた話題タイトル(第二形態素情報)に含まれる場合には、第一形態素情報が感情プラス要因(結束要因(+))であると判断し、利用者に対して抱く感情度を高い方に設定する(図26、図27参照)。
【0242】
これにより、結束要因(+)は、現在の談話範囲がその前の談話範囲と実質的に同一であり、現在の談話範囲に属する第一形態素情報が会話制御装置1にとっては面白い内容であることを意味する。
【0243】
この場合、感情状態判定部381は、第二談話範囲に属する第一形態素情報が「感情度 低」に関連付けられた話題タイトル(第二形態素情報)に含まれる場合には、第一形態素情報が感情マイナス要因(結束要因(−))であると判断し、利用者に対して抱く感情度を低い方に設定することもできる。
【0244】
これにより、結束要因(−)は、現在の談話範囲がその前の談話範囲と実質的に同一であるが、現在の談話範囲に属する第一形態素情報が会話制御装置1にとっては面白くない内容であることを意味する。
【0245】
また、感情状態判定部381は、省略文補完部350で談話範囲を構成する形態素が第一形態素情報に付加された結果に基づいてランクにランク付するランク付手段でもある。
【0246】
具体的に、省略文補完部350が、文構造解析部430で抽出された第一形態素情報を構成する各属性(主格からなる主体格、目的格からなる対象格など)の中から、形態素を含まない属性を検索する。省略文補完部350が、検索した属性に基づいて、その属性に、談話範囲決定部340で検索された談話範囲を構成する形態素を付加する。
【0247】
感情状態判定部381は、省略文補完部350で談話範囲を構成する形態素が第一形態素情報に付加された場合には、利用者に対して抱く感情度を高いランクにランク付する。
【0248】
即ち、省略文補完部350で第一形態素情報からなる入力情報が省略文(第一形態素情報に談話範囲が付加された場合には、この形態素が付加される前の第一形態素情報からなる入力情報は省略文であることを意味する)であると判断されたということは、利用者は、現在の談話範囲に属していることを前提に、現在の談話範囲に属する入力情報を入力しているものと考えられるので、この段階で入力された入力された入力情報は、現在の談話範囲からなる形態素を省略した省略文である傾向が高い(詳述は、第一実施形態における”省略文補完部350”の項を参照のこと)。
【0249】
そこで、感情状態判定部381は、省略文補完部350で第一形態素情報が省略文であると判断された場合には、現在の談話範囲がその前の談話範囲と実質的に同一であると擬似的に断定し、この第一形態素情報が前の談話範囲と関連性を有する結束要因であると判断する。この場合、感情状態判定部381は、結束要因が結束要因(+)であれば、利用者に対して抱く感情度を高い方へと設定し、結束要因が結束要因(−)であれば、利用者に対して抱く感情度を低い方へと設定することができる。
【0250】
更に、感情状態判定部381は、反射的判定部320又は鸚鵡返し判定部330による検索結果に基づいて、第一形態素情報を含む定型内容又は鸚鵡返し要素が検索される頻度の大きさに応じてランク付するランク付手段でもある。この反射的判定部320は、抽出された第一形態素情報と各定型内容とを照合し、各定型内容の中から、第一形態素情報を含む反射的要素情報を検索する定型取得手段である。
【0251】
具体的に、反射的判定部320が各定型内容の中から第一形態素情報と一致する定型内容を検索した場合には、感情状態判定部381は、利用者に対して抱く感情度を低いランクにランク付ける。
【0252】
即ち、反射的判定部320で第一形態素情報と一致する定型内容が検索されたということは、第一形態素情報が現在の話題を中断させるための要素(中断要因;interrupt)であると擬似的に断定することができるので、感情状態判定部381は、この第一形態素情報が感情マイナス要因(中断要因)であると判断し、利用者に対して抱く感情度を低い方に設定する(図26、図27参照)。例えば利用者が会話の途中で話題とは全く関係ない”おはよう”(定型内容)を入力した場合には、”おはよう”が中断要因となる。
【0253】
また、鸚鵡返し判定部330は、形態素抽出部410で抽出された現在の第一形態素情報が、形態素抽出部410で抽出された過去の回答内容(この過去の第一形態素情報(鸚鵡返し要素)は、鸚鵡返し要素データベース802に記憶されている)に含まれるかを判定するものである。
【0254】
鸚鵡返し判定部330が、現在の第一形態素情報が過去の回答内容に含まれると判定した場合には、感情状態判定部381は、利用者が過去の回答内容に対して鸚鵡返し(利用者が回答内容に対して聞き直していること)しており、第一形態素情報が現在の話題を中断させるための中断要因であると擬似的に断定することができる。
【0255】
この場合、感情状態判定部381は、現在の第一形態素情報が感情マイナス要因(中断要因)であるので、利用者に対して抱く感情度を低い方に設定する。(図26、図27参照)。
【0256】
更に、鸚鵡返し判定部330が、形態素抽出部410で抽出された現在の形態素情報が過去の第一形態素情報(この過去の第一形態素情報は、鸚鵡返し要素データベース802に記憶されている)に含まれると判定した場合には、感情状態判定部381は、現在の第一形態素情報が過去の第一形態素情報に含まれるので、現在の話題とは関係なく、利用者が過去の入力情報と同一の入力情報を反復して入力しているものと判断することができる。
【0257】
この場合、感情状態判定部381は、反復して入力された入力情報が中断要因であると判断し、利用者に対して抱く感情度を低い方に設定する(詳述は、第一実施形態における”鸚鵡返し処理”を参照のこと)。
【0258】
尚、鸚鵡返し判定部330又は反射的判定部320が各定型内容の中から第一形態素情報と一致する定型内容を検索できない場合には、感情状態判定部381は、利用者に対して抱く感情度を高いランクにランク付してもよい。
【0259】
更にまた、感情状態判定部381は、発話種類判定部440で特定された入力情報が反発文などの反発要素である場合には、利用者に対して抱く感情度を低いランクにランク付するものでもある。
【0260】
ここで、反発要素とは、会話制御装置1から出力される回答内容に対して利用者が反発するための要素を意味するものであり、本実施形態では、例えば、利用者の入力情報が回答内容に対して反発的な文であることを示す反発文、利用者の入力情報が回答内容に対して否定的な文であることを示す否定文等からなるものである。
【0261】
即ち、発話種類判定部440で利用者から入力された入力情報の入力種類が反発要素からなるものであると特定されたということは、利用者と会話制御装置1とが対立(oppose)していると擬似的に断定することができるので、感情状態判定部381は、この第一形態素情報が感情マイナス要因(対立要因)であると判断し、利用者に対して抱く感情度を低い方に設定する(図26、図27参照)。
【0262】
理解状態判定部382は、話題検索部360で各第二形態素情報の中から第一形態素情報を含む第二形態素情報が検索されない場合には、利用者から入力された入力情報が難解(harass)(難解要因)であると判断し、入力情報に対する理解度を低いランクにランク付するランク付手段である。
【0263】
即ち、話題検索部360で各第二形態素情報の中から第一形態素情報を含む第二形態素情報が検索されないということは、第一形態素情報が第二形態素情報よりも難解であると擬似的に断定することができるので、理解状態判定部382は、この第一形態素情報が難解要因であると判断し、入力情報に対する理解度を低い方へと設定する。
【0264】
尚、理解状態判定部382は、話題検索部360で各第二形態素情報の中から第一形態素情報を含む第二形態素情報が検索された場合には、利用者から入力された入力情報が容易であると判断し、入力情報に対する理解度を高いランクにランク付てもよい。また、理解状態判定部382は、第一形態素情報が結束要因へと話題変更する要因である場合には、入力情報に対する理解度を高いランクにランク付てもよい。
【0265】
ここで、理解度とは、利用者から入力された入力情報に対する理解の度合いを意味するものである。この理解度は、図28に示すように、本実施形態では、4段階にランク付することができる。
【0266】
数値が大きくなればなる程(r(−2)からr(1)への方向)、入力情報に対してより理解が深まる方向(理解が明確に張る方向)にあることを意味する。一方、数値が小さくなればなる程(r(1)からr(−2)、入力情報に対してより理解がされなくなる方向(理解が不明確になる方向)にあることを意味する。
【0267】
具体的に理解状態判定部382は、同図に示すように、r(0)を基準とし、第一形態素情報が難解要因であると判断した場合には、理解度を低い方向へと遷移(ランク付)させ、第一形態素情報が結束要因へと話題変更する要因であると判断した場合には、理解度を高い方向へと遷移させる。
【0268】
また、理解状態判定部382は、第一形態素情報が中断要因又は対立要因であると判断した場合には、第一形態素情報は入力情報の理解に何ら寄与していないので、理解度のランクを現状のままに維持する(同図参照)。更に、理解状態判定部382は、感情度がプラスの方向に遷移した場合には、理解度のランクを高いランクへと遷移させる。
【0269】
尚、難解要因、結束要因、話題変更、中断要因及び対立要因は、上記感情状態判定部381の項で説明した内容と同様であるので、この説明は、省略する。
【0270】
対立状態判定部383は、発話種類判定部440で特定された入力情報が反発文などの反発要素(oppose;対立要因とも呼ぶ)である場合には、利用者との間の対立度を高いランクにランク付するものである。また、対立状態判定部383は、発話種類判定部440で特定された入力情報が反発文などの反発要素でない場合には、利用者との間の対立度を低いランクにランク付するものでもある。
【0271】
ここで、対立度とは、会話制御装置1が利用者に対して抱く対立の度合いを意味するものである。この対立度は、図29に示すように、本実施形態では、5段階にランク付することができる。数値が大きくなればなる程、利用者に対して抱く対立度が低く(弱く)なる方向にあることを意味する。一方、数値が小さくなればなる程、利用者に対して抱く対立度が高く(強く)なる方向にあることを意味する。
【0272】
具体的に対立状態判定部383は、同図に示すように、O(0)を基準とし、第一形態素情報が対立要因であると判断した場合には、対立度を低い方へと遷移(ランク付)させる。また、対立状態判定部383は、第一形態素情報が対立要因ではなく、結束要因へと談話変更する要因(反発要素でない)であると判断した場合には、対立度を高い方へと遷移させる。
【0273】
更に、第一形態素情報に対する感情度が感情状態判定部381により高い方向へ設定された場合には、対立状態判定部383は、対立度を低い(対立度が弱い)方へと設定することができる。また、第一形態素情報に対する感情度が感情状態判定部381により低い方向へ設定された場合には、対立状態判定部383は、対立度を高い(対立度が強い)方へと設定することもできる。
【0274】
また、対立状態判定部383は、第一形態素情報が中断要因又は難解要因である場合には、第一形態素情報は回答内容に対して反発するものではないので、対立度のランクを現状のままに維持する(同図参照)。
【0275】
上記感情状態判定部381、理解状態判定部382又は対立状態判定部383は、それぞれ判定した感情度、理解度、対立度を出力部600に出力し、出力部は、入力された感情度、理解度、対立度を表示等させる。
【0276】
(情報処理システムを用いた情報処理方法)
上記構成を有する情報処理システムによる情報処理方法は、以下の手順により実施することができる。図30は、本実施形態に係るランク付方法の手順を示すフロー図である。
【0277】
同図に示すように、先ず、入力部100が、利用者から入力された入力情報を取得するステップを行う(S201)。そして、形態素抽出部410が、入力部100で取得された入力情報に基づいて、入力情報を構成する各形態素を抽出するステップを行う(S202)。
【0278】
その後、文構造解析部430が、形態素抽出部410で抽出された各形態素に基づいて、各形態素を文節形式にまとめるステップを行う(S203)。一つの文節形式に属する各形態素は、本実施形態では、第一形態素情報であるとする。
【0279】
次いで、反射的判定部320が、文構造解析部430で特定された第一形態素情報に基づいて、反射的処理をするステップを行う(S204、S205)。そして、鸚鵡返し判定部330が、文構造解析部430で特定された第一形態素情報に基づいて、鸚鵡返し処理、又は条件付鸚鵡返し処理をするステップを行う(S206)。
【0280】
その後、談話範囲決定部340が、第一形態素情報と各談話範囲とを照合し、各談話範囲の中から、第一形態素情報を含む談話範囲を検索するステップを行う(S207)。更に、省略文補完部350が、第一形態素情報からなる入力情報が省略文である場合には、この第一形態素情報に談話範囲からなる形態素を付加するステップを行う(S208)。
【0281】
そして、話題検索部360が、特定された第一形態素情報又は形態素が付加された第一形態素情報に基づいて、第一形態素情報と各第二形態素情報とを照合し、各第二形態素情報の中から、第一形態素情報を含む第二形態素情報を検索するステップを行う(S209)。上記S201〜S208の具体的な処理は、第一実施形態で説明した”会話制御方法”の内容と同様であるので、これらの処理の詳細は省略する。
【0282】
次いで、感情状態判定部381が、反射的判定部320、鸚鵡返し判定部330、談話範囲決定部340、省略文補完部350又は話題検索部360による検索結果に基づいて、利用に対して抱く感情度をランク付するステップを行う(S210)。具体的に、感情状態判定部381は、話題検索部360で第一形態素情報を含む第二形態素情報が検索されない場合には、利用者に対して抱く感情度を低いランクにランク付する。
【0283】
即ち、話題検索部360で第一形態素情報を含む第二形態素情報が検索されないということは、利用者から入力された入力情報を構成する第一形態素情報が予め記憶されている各第二形態素情報よりも難解(harass)であると擬似的に断定することができるので、感情状態判定部381は、利用者から入力された入力情報(第一形態素情報)が感情マイナス要因(難解要因)であると判断し、利用者に対して抱く感情度を低い方に設定する。
【0284】
一方、感情状態判定部381は、話題検索部360で第一形態素情報を含む第二形態素情報が検索された場合には、利用者に対して抱く感情度を高いランクにランク付する。
【0285】
即ち、話題検索部360で第一形態素情報を含む第二形態素情報が検索されたということは、利用者から入力された入力情報を構成する第一形態素情報が予め記憶されている各第二形態素情報よりも容易であると擬似的に断定することができるので、感情状態判定部381は、利用者から入力された入力情報を理解することができると判断し、利用者に対して抱く感情度を高い方に設定する。
【0286】
また、感情状態判定部381は、談話範囲決定部340による判定結果に基づいて、利用者に対して抱く感情度をランク付するステップも行うことができる。この談話範囲決定部340は、本実施形態では、検索した談話範囲を示す第一談話範囲と、その後に検索した談話範囲を示す第二談話範囲とを照合し、第二談話範囲が第一談話範囲と関連性を有するかについて判定するものである。
【0287】
具体的に、感情状態判定部381は、談話範囲決定部340で第二談話範囲が第一談話範囲と関連性を有しないと判定された場合には、利用者に対して抱く感情度を低いランクにランク付する。
【0288】
即ち、談話範囲決定部340で第二話題範囲が第一話題範囲と関連性を有しないと判定されたということは、第一形態素情報を含む現在の談話範囲(第二談話範囲)がその前の談話範囲(第一談話範囲)とは異なる(前後関係の話題に結束姓がない;これは”話題変更”ともいう)ものであると擬似的に断定することができるので、感情状態判定部381は、第二談話範囲に属する第一形態素情報が「感情度 低」に関連付けられた話題タイトル(第二形態素情報)に含まれる場合には、第一形態素情報が感情マイナス要因(話題変更(−))であると判断し、利用者に対して抱く感情度を低い方に設定する(図26、図27参照)。
【0289】
これにより、話題変更(−)は、現在の談話範囲が他の談話範囲に変更され、変更された後の談話範囲に属する第一形態素情報が会話制御装置1にとっては面白くない内容であることを意味する。
【0290】
この場合、感情状態判定部381は、第二談話範囲に属する第一形態素情報が「感情度 高」に関連付けられた話題タイトル(第二形態素情報)に含まれる場合には、第一形態素情報が感情プラス要因(話題変更(+))であると判断し、利用者に対して抱く感情度を高い方に設定することもできる。
【0291】
これにより、話題変更(+)は、現在の談話範囲が他の談話範囲に変更され、変更された後の談話範囲に属する第一形態素情報が会話制御装置1にとっては面白い内容であることを意味する。
【0292】
一方、感情状態判定部381は、談話範囲決定部340で第二談話範囲が第一談話範囲と関連性を有すると判定された場合には、利用者に対して抱く感情度を高いランクにランク付する。
【0293】
即ち、談話範囲決定部340で第二話題範囲が第一話題範囲と関連性を有すると判定されたということは、第一形態素情報を含む現在の談話範囲(第二談話範囲)がその前の談話範囲(第一談話範囲)と実質的に同一(前後関係の話題に結束性がある)のものであると擬似的に断定することができるので、感情状態判定部381は、第二談話範囲に属する第一形態素情報が「感情度 高」に関連付けられた話題タイトル(第二形態素情報)に含まれる場合には、第一形態素情報が感情プラス要因(結束要因(+))であると判断し、利用者に対して抱く感情度を高い方に設定する(図26、図27参照)。
【0294】
これにより、結束要因(+)は、現在の談話範囲がその前の談話範囲と実質的に同一であり、現在の談話範囲に属する第一形態素情報が会話制御装置1にとっては面白い内容であることを意味する。
【0295】
この場合、感情状態判定部381は、第二談話範囲に属する第一形態素情報が「感情度 低」に関連付けられた話題タイトル(第二形態素情報)に含まれる場合には、第一形態素情報が感情マイナス要因(結束要因(−))であると判断し、利用者に対して抱く感情度を低い方に設定することもできる。
【0296】
これにより、結束要因(−)は、現在の談話範囲がその前の談話範囲と実質的に同一であるが、現在の談話範囲に属する第一形態素情報が会話制御装置1にとっては面白くない内容であることを意味する。
【0297】
また、感情状態判定部381は、省略文補完部350で談話範囲を構成する形態素が第一形態素情報に付加された場合には、利用者に対して抱く感情度を高いランクにランク付するステップも行うことができる。
【0298】
具体的に、省略文補完部350が、文構造解析部430で抽出された第一形態素情報を構成する各属性(主格からなる主体格、目的格からなる対象格など)の中から、形態素を含まない属性を検索する。省略文補完部350が、検索した属性に基づいて、その属性に、談話範囲決定部340で検索された談話範囲を構成する形態素を付加する。感情状態判定部381は、省略文補完部350で談話範囲を構成する形態素が第一形態素情報に付加された場合には、利用者に対して抱く感情度を高いランクにランク付する。
【0299】
即ち、省略文補完部350で第一形態素情報からなる入力情報が省略文(第一形態素情報に談話範囲が付加された場合には、この形態素が付加される前の第一形態素情報からなる入力情報は省略文であることを意味する)であると判断されたということは、利用者は、現在の談話範囲に属していることを前提に、現在の談話範囲に属する入力情報を入力しているものと考えられるので、この段階で入力された入力された入力情報は、現在の談話範囲からなる形態素を省略した省略文である傾向が高い(詳述は、第一実施形態における”省略文補完部350”の項を参照のこと)。
【0300】
そこで、感情状態判定部381は、省略文補完部350で第一形態素情報が省略文であると判断された場合には、現在の談話範囲がその前の談話範囲と実質的に同一であると擬似的に断定し、この第一形態素情報が前の談話範囲と関連性を有する結束要因であると判断する。この場合、感情状態判定部381は、結束要因が結束要因(+)であれば、利用者に対して抱く感情度を高い方へと設定し、結束要因が結束要因(−)であれば、利用者に対して抱く感情度を低い方へと設定することができる。
【0301】
更に、感情状態判定部381は、反射的判定部320又は鸚鵡返し判定部330による検索結果に基づいて、利用者に対して抱く感情度をランク付するステップも行うことができる。この反射的判定部320は、抽出された第一形態素情報と各定型内容とを照合し、各定型内容に中から、第一形態素情報を含む反射的要素情報を検索する定型取得手段である。
【0302】
具体的に、反射的判定部320が各定型内容の中から第一形態素情報と一致する定型内容を検索した場合には、感情状態判定部381は、利用者に対して抱く感情度を低いランクにランク付ける。
【0303】
即ち、反射的判定部320で第一形態素情報と一致する定型内容が検索されたということは、第一形態素情報が現在の話題を中断させるための要素(中断要因;interrupt)であると擬似的に断定することができるので、感情状態判定部381は、この第一形態素情報が感情マイナス要因(中断要因)であると判断し、利用者に対して抱く感情度を低い方に設定する(図26、図27参照)。例えば利用者が会話の途中で話題とは全く関係ない”おはよう”(定型内容)を入力した場合には、”おはよう”が中断要因となる。
【0304】
また、鸚鵡返し判定部330は、形態素抽出部410で抽出された現在の第一形態素情報が、形態素抽出部410で抽出された過去の回答内容(この過去の第一形態素情報は、鸚鵡返し要素データベース802に記憶されている)に含まれるかを判定するものでもある。
【0305】
鸚鵡返し判定部330が、現在の第一形態素情報が過去の回答内容に含まれると判定した場合には、感情状態判定部381は、現在の第一形態素情報が過去の回答内容に含まれるので、利用者が過去の回答内容に対して鸚鵡返し(利用者が回答内容に対して聞き直していること)しており、第一形態素情報が現在の話題を中断させるための中断要因であると擬似的に断定することができる。
【0306】
この場合、感情状態判定部381は、現在の第一形態素情報が感情マイナス要因(中断要因)であるので、利用者に対して抱く感情度を低い方に設定する。(図26、図27参照)。
【0307】
更に、鸚鵡返し判定部330が、形態素抽出部410で抽出された現在の形態素情報と過去の第一形態素情報とを照合し、現在の第一形態素情報が過去の第一形態素情報に含まれると判定した場合には、感情状態判定部381は、現在の第一形態素情報が過去の第一形態素情報に含まれるので、現在の話題とは関係なく、利用者が過去の入力情報と同一の入力情報を単に反復して入力しているものと判断することができる。この場合、感情状態判定部381は、反復して入力された入力情報が中断要因であるので、利用者に対して抱く感情度を低い方に設定する。
【0308】
尚、反射的判定部320が各定型内容の中から第一形態素情報と一致する定型内容を検索できない場合には、感情状態判定部381は、利用者に対して抱く感情度を高いランクにランク付してもよい。鸚鵡返し判定部330が現在の第一形態素情報と一致する過去の第一形態素情報又は過去の回答内容を検索できない場合には、感情状態判定部381は、利用者に対して抱く感情度を高いランクにランク付してもよい。
【0309】
更にまた、感情状態判定部381は、発話種類判定部440で特定された入力情報が反発文などの反発要素である場合には、利用者に対して抱く感情度を低いランクにランク付するステップも行うことができる。
【0310】
即ち、発話種類判定部440で利用者から入力された入力情報の入力種類が反発要素からなるものであると特定されたということは、利用者と会話制御装置1とが対立(oppose)していると擬似的に断定することができるので、感情状態判定部381は、この第一形態素情報が感情マイナス要因(対立要因)であると判断し、利用者に対して抱く感情度を低い方に設定する(図26、図27参照)。
【0311】
次いで、理解状態判定部382が、話題検索部360で各第二形態素情報の中から第一形態素情報を含む第二形態素情報が検索されない場合には、利用者から入力された入力情報が難解(harass)(難解要因)であると判断し、入力情報に対する理解度を低いランクにランク付するステップを行う(S211)。
【0312】
具体的には、話題検索部360で各第二形態素情報の中から第一形態素情報を含む第二形態素情報が検索されないということは、第一形態素情報が第二形態素情報よりも難解であると擬似的に断定することができるので、理解状態判定部382は、この第一形態素情報が難解要因であると判断し、入力情報に対する理解度を低い方へと設定する。
【0313】
尚、理解状態判定部382は、話題検索部360で各第二形態素情報の中から第一形態素情報を含む第二形態素情報が検索された場合には、利用者から入力された入力情報が容易であると判断し、入力情報に対する理解度を高いランクにランク付てもよい。また、理解状態判定部382は、第一形態素情報が結束要因へと話題変更する要因である場合には、入力情報に対する理解度を高いランクにランク付てもよい。
【0314】
次いで、対立状態判定部383が、発話種類判定部440で特定された入力情報が反発文などの反発要素(oppose;対立要因とも呼ぶ)である場合には、利用者との間の対立度を高いランクにランク付するステップを行う(S212)。また、対立状態判定部383は、発話種類判定部440で特定された入力情報が反発文などの反発要素でない場合には、利用者との間の対立度を低いランクにランク付するステップを行う。
【0315】
その後、上記感情状態判定部381、理解状態判定部382又は対立状態判定部383は、それぞれ判定した感情度、理解度、対立度を出力部600に出力し、出力部は、入力された感情度、理解度、対立度を表示等するステップを行う(S213)。
【0316】
(情報処理システム及び情報処理方法による作用及び効果)
このような本実施形態に係る発明によれば、反射的判定部320、鸚鵡返し判定部330又は話題検索部360が、第一形態素情報と各第二形態素情報とを照合し、各第二形態素情報の中から、第一形態素情報を含む第二形態素情報を検索し、感情状態判定部381が、各第二形態素情報の中から、第一形態素情報を含む第二形態素情報が検索される頻度の大きさに応じて、利用者に対して抱く感情度等としてランク付することができるので、感情状態判定部381は、例えば、ランク付した大きさを利用者に対して抱く感情度として出力(例えば、画面、音声など)することができれば、会話制御装置1は、擬似的に利用者に対して抱く感情度を特定するものとして利用することができる。
【0317】
また、情報処理システムを開発する開発者は、第一形態素情報と各第二形態素情報との間で行われた検索履歴に基づいて、例えば簡単に感情度としてランク付することができるので、利用者に対して抱く感情度等を情報処理システムで計算させるための複雑なアルゴリズム又はニューラルネットワーク等を開発する必要がなくなり、結果的には本システムを開発するための開発時間を短縮させることができる。
【0318】
また、談話範囲決定部340が、最初に検索された第一形態素情報と関連する第一談話範囲と、後に検索された第一形態素情報と関連する第二談話範囲との間で関連性を有するかを判定し、感情状態判定部381が、談話範囲決定部340で判定された結果に基づいて利用者に対して抱く感情度をランク付するので、感情状態判定部381は、第一形態素情報と各第二形態素情報とを照合したことによる検索結果に基づいて、利用者に対して抱く感情度をランク付するよりも、より適切に利用者に対して抱く感情度をランク付することができる。
【0319】
例えば、感情状態判定部381は、第二談話範囲が第一談話範囲との間で関連性を有していなければ、現在の入力情報(利用者から入力されたもの)と前に入力された入力情報とは全く異なる内容であると判断することができるので、利用者はある話題に対して一貫性のないことを入力しているものと擬似的に断定することができ、利用者に対して抱く感情度を低く(悪い方向)設定することができる。
【0320】
一方、感情状態判定部381は、第二談話範囲が第一談話範囲との間で関連性を有していれば、現在の入力情報(利用者から入力されたもの)と前に入力された入力情報とは関連性を有すると判断することができるので、利用者はある話題に対して一貫性のあることを入力しているものと擬似的に断定することができ、利用者に対して抱く感情度を高く(良い方向)設定することができる。
【0321】
更に、感情状態判定部381は、省略文補完部350により第一形態素情報を構成する各属性に談話範囲の形態素が付加された場合には、第一形態素情報からなる入力情報が省略文であると判断することができ、利用者は前に検索された談話範囲を前提に入力情報を入力しているものと判断することができる。
【0322】
このため、感情状態判定部381は、入力情報からなる第一形態素情報が省略文である場合には、前に検索された談話範囲を前提に入力情報を入力しているものと判断することができるので、利用者はある話題に対して一貫性のあることを入力しているものと擬似的に断定することができ、利用者に対して抱く感情度を高く(良い方向)設定することができる。
【0323】
更にまた、反射的判定部320が、第一形態素情報と各定型内容とを照合し、各定型内容の中から、第一形態素情報を含む定型内容を検索し、感情状態判定部381が、この検索結果に基づいて利用者に対して抱く感情度をランク付するので、感情状態判定部381は、例えば、第一形態素情報を含む定型内容が検索された場合には、利用者はある話題に対して中断させるための入力情報を入力したものと擬似的に断定することができるので、利用者に対して抱く感情度を低いランクにランク付することができ、結果的には利用者に対して抱く感情度をより適切にランク付することができる。
【0324】
一方、反射的判定部320が、第一形態素情報を含む定型内容を検索することができない場合には、感情状態判定部381は、利用者はある話題に対して中断させるための入力情報を入力しておらず、現在の話題に対して真剣に回答しているものと擬似的に断定することができるので、利用者に対して抱く感情度を高いランクにランク付することができる。
【0325】
更に、発話種類判定部440が、入力情報の種類を示す入力種類を特定し、特定された入力種類が反発文などの反発要素である場合には、感情状態判定部381は、利用者に対して抱く感情度を低いランクにランクすることができ、利用者に対して抱く感情度をより適切にランク付することができる。
【0326】
更にまた、理解状態判定部382は、話題検索部360で第一形態素情報を含む第二形態素情報が検索されない場合には、第一形態素情報と関連する第二形態素情報が予め記憶されていないことを意味するので、第一形態素情報からなる入力情報が第二形態素情報からなる文よりも難解であると擬似的に断定することができる。
【0327】
このため、理解状態判定部382は、第一形態素情報からなる入力情報を理解することができないため、利用者はある話題に対して意味の分からないことを入力していると擬似的に断定することができ、入力情報に対する理解度を低いランクにランク付することができる。
【0328】
また、理解状態判定部382が、話題検索部360で第一形態素情報と関連する第二形態素情報を検索することができた場合には、理解状態判定部382は、利用者はある話題に対して意味の分かることを入力しているものと擬似的に断定することができ、入力情報に対する理解度を高いランクにランク付することができる。
【0329】
また、会話制御装置1を開発する開発者は、利用者の入力情報に対する回答内容を検索するための第二形態素情報等を、DKML等の言語を用いて階層的に構築することができるので、会話制御装置1は、利用者の入力情報に対応する第一形態素情報に基づいて第一形態素情報に関連する第二形態素情報等を、階層的な手順を経てデータベースから検索することができる。
【0330】
即ち、反射的判定部320、鸚鵡返し判定部330、談話範囲決定部340又は話題検索部360は、入力情報に対応する第一形態素情報の階層(例えば、データベースに蓄積されている第二形態素情報に対して上位概念にあるのか、又は下位概念にあるのか)を見極めて、見極めた階層に基づいて予め蓄積された各第二形態素情報の中から、適切な第二形態素情報を検索することができる。
【0331】
このため、反射的判定部320、鸚鵡返し判定部330、談話範囲決定部340又は話題検索部360は、利用者の入力情報からなる第一形態素情報と、予め記憶されている”全て”の第二形態素情報とを逐一照合することなく、ある特定の階層に属する”特定”の各第二形態素情報と第一形態素情報とを照合すればよいので、第一形態素情報と近似する第二形態素情報を短時間で検索することができ、結果には、検索結果に基づいて利用者に対して抱く感情度等を短時間でランク付することができる。
【0332】
更に、鸚鵡返し判定部330が、現在の第一形態素情報と過去の回答内容とを照合し、現在の第一形態素情報が過去の回答内容に含まれると判定した場合には、感情状態判定部381は、利用者が過去の回答内容に対して鸚鵡返し(利用者が回答内容に対して聞き直していること)しているものと擬似的に断定することができる。
【0333】
この場合、感情状態判定部381は、利用者が過去の回答内容に対して鸚鵡返しを行っているので、利用者はある話題に対して中断させるための入力情報を入力したものと擬似的に断定することができ、利用者に対して抱く感情度を低いランクにランク付することができ、結果的には利用者に対して抱く感情度をより適切にランク付することができる。
【0334】
最後に、鸚鵡返し判定部330が、現在の第一形態素情報と過去の第一形態素情報とを照合し、現在の第一形態素情報が過去の第一形態素情報に含まれる場合には、感情状態判定部381は、利用者が単に過去に入力した入力情報を、会話制御装置1からの回答内容とは全く関係なく再入力したものと擬似的に断定することができる。
【0335】
この場合、感情状態判定部381は、会話制御装置1からの回答内容とは全く関係なく、利用者が前の入力情報と同一の入力情報を単に反復して入力しているだけであるので、利用者に対して抱く感情度を低いランクにランク付することができ、結果的には利用者に対して抱く感情度をより適切にランク付することができる。
【0336】
[第三実施形態]
(顔画像表示装置の基本構成)
本発明の実施形態について図面を参照しながら説明する。図31は、本実施形態に係る顔画像表示装置を示す概略構成図である。同図に示すように、本実施形態に係る顔画像装置は、第二実施形態における会話制御装置1(情報処理装置)の内部構造とほぼ同じであるが、顔画像取得部371と、顔画像データベース501とを有する点で相違する。この相違する点以外は、第一実施形態、変更例及び第二実施形態の構造と同じであるので、相違する点以外の構造についての説明は省略する。
【0337】
本実施形態では、ランク付部380(感情状態判定部381、理解状態判定部382、対立状態判定部383)が、利用者から入力された音声等の入力情報に基づいて利用者に対して抱く感情度等をランク付する処理について説明したが、本実施形態では、顔画像取得部371が、ランク付部380でランク付けられたランクの大きさに基づいて、そのランクの大きさに対応付けられた顔画像を取得し、出力部600が、顔画像取得部371で取得された顔画像を画面上に表示させる処理について説明する。具体的な説明は以下の通りである。
【0338】
ここで、複数の顔画像には、文字、数値などの符号がそれぞれに対応付けられており、その各顔画像は、予め顔画像データベース501に記憶されている。この符合は、本実施形態では、数値を意味するものとする。具体的には、本実施形態では、図32に示すように、符号、「顔画像の表情」及びそれらに対応付けられた顔画像からなる対応テーブルが顔画像データベース501に記憶されている。
【0339】
即ち、同図に示すように、各符号2〜−2のそれぞれには、各「顔の表情」、例えば「抜群の笑顔」/「微笑んだ顔」/「普通の顔」/「しかめっ面」/「ふくれ顔」が対応付けられており、これらの「顔画像の表情」に対応する画像が顔画像1〜5として顔画像データベース501に記憶されている。同図に示す各符号は、本実施形態では、感情状態判定部381でランク付けられる各ランクの大きさと同様の大きさを有するものであり、この各符号の大きさは、各ランクの大きさのそれぞれに対応付けられている。
【0340】
同様にして、図33に示すように、各符号1〜−2のそれぞれには、各「顔の表情」、例えば「得意顔」/「普通の顔」/「ピンとこない顔」/「混乱している顔」が対応付けられており、これらの「顔画像の表情」に対応する画像が顔画像11〜14として顔画像データベース501に記憶されている。同図に示す各符号は、本実施形態では、理解状態判定部382でランク付けられる各ランクの大きさと同様の大きさを有するものであり、この各符号の大きさは、各ランクの大きさのそれぞれに対応付けられている。
【0341】
更に同様にして、図34に示すように、各符号2〜−2のそれぞれには、「顔の表情」、例えば「大変友好的な顔」/「友好的な顔」/「普通の顔」/「敵対的な顔」/「大変敵対的な顔」が対応付けられており、これらの「顔画像の表情」に対応する画像が顔画像21〜25として顔画像データベース501に記憶することもできる。同図に示す各符号は、本実施形態では、対立状態判定部383でランク付けられる各ランクの大きさと同様の大きさを有するものであり、この各符号の大きさは、各ランクの大きさのそれぞれに対応付けられている。
【0342】
前記顔画像取得部371は、ランク付部380でランク付されたランクに基づいて、そのランクと予め記憶された各符号とを照合し、各符号の中から、ランクと一致する前記符号を取得する符号取得手段である。また、顔画像取得部371は、取得した符号に基づいて、その符号に対応付けられた顔画像を画面上に表示させる表示手段でもある。尚、ランク付けする処理は、上記第二実施形態における「ランク付部380」で説明した処理と同様であるので、詳細な説明については省略する。
【0343】
具体的に、感情状態判定部381からランク付信号が入力された顔画像取得部371は、本実施形態では、図32に示すように、例えば、入力されたランク付信号に対応する感情度のランク(1)と、顔画像データベース501に記憶されている各符号2〜−2とを照合し、各符号2〜−2の中から、その感情度のランク(1)と一致する符号(1)を取得する。この符号(1)を取得した顔画像取得部371は、取得した符号(1)に基づいて、その符号(1)に対応付けられた顔画像2を取得し、取得した顔画像2を出力部600に出力する。
【0344】
同様にして、理解状態判定部382からランク付信号が入力された顔画像取得部371は、本実施形態では、図33に示すように、例えば、入力されたランク付信号に対応する理解度のランク(1)と、顔画像データベース501に記憶されている各符号1〜−2とを照合し、各符号1〜−2の中から、その理解度のランク(1)と一致する符号(1)を取得する。この符号(1)を取得した顔画像取得部371は、取得した符号(1)に基づいて、その符号(1)に対応付けられた顔画像11を取得し、取得した顔画像11を出力部600に出力する。
【0345】
更に同様にして、対立状態判定部383からランク付信号が入力された顔画像取得部371は、本実施形態では、図34に示すように、例えば、入力されたランク付信号に対応する対立度のランク(−1)と、顔画像データベース501に記憶されている各符号2〜−2とを照合し、各符号2〜−2の中から、その対立度のランク(−1)と一致する符号(−1)を取得する。
【0346】
この符号(−1)を取得した顔画像取得部371は、取得した符号(−1)に基づいて、その符号(−1)に対応付けられた顔画像24を取得し、取得した顔画像24を出力部600に出力する。顔画像取得部371から顔画像が入力された出力部600は、入力された顔画像を画面上に表示する。
【0347】
尚、顔画像データベース501に記憶させる各顔画像は、上記の如く、各符号の大きさに応じて、顔にある目、鼻等の各部位からなる表現が連続的に変化している画像であることが好ましい。この顔は、人間の顔のみならず、動物の顔であっても良い。これにより、各顔画像の表情が各符号の大きさに応じて変化しているので、出力部600は、そのランクに応じた顔画像の表情を画面上に表示することができ、利用者は、画面上に表示されている顔画像を見て、恰も他の利用者と会話をしているような感覚を味わうことができる。
【0348】
(顔画像表示装置を用いた顔画像表示方法)
上記構成を有する顔画像表示装置による顔画像表示方法は、以下の手順により実施することができる。図35は、本実施形態に係る顔画像表示方法の手順を示すフロー図である。
【0349】
同図に示すように、先ず、入力部100が、利用者から入力された発話内容を取得するステップを行う(S301)。そして、形態素抽出部410が、入力部100で取得された発話内容に基づいて、発話内容を構成する文字列を特定し、特定した文字列の中から各形態素を抽出するステップを行う(S302、S303)。
【0350】
その後、文節解析部420が、形態素抽出部410で抽出された各形態素に基づいて、各形態素を文節形式にまとめるステップを行う(S304)。一つの文節形式に属する各形態素は、本実施形態では、まとめて第一形態素情報とする。S301〜S304の処理は、第一実施形態で説明したS101〜S104の処理と同じである。このため、これらの処理についての詳細な説明は省略する。
【0351】
次いで、ランク付部380が、反射的判定部320、鸚鵡返し判定部330、談話範囲決定部340、省略文補完部350又は話題検索部360による検索結果に基づいて、利用に対して抱く感情度等をランク付するステップを行う(S305)。このS305の処理については、上記第二実施形態における「情報処理方法」で説明したランク付の処理と同様であるので、詳細な説明は省略する。
【0352】
そして、顔画像取得部371が、ランク付部380でランク付されたランクに基づいて、そのランクと予め記憶された各符号とを照合し、各符号の中から、ランクと一致する前記符号を取得するステップを行う。その後、顔画像取得部371が、取得した符号に基づいて、その符号に対応付けられた顔画像を画面上に表示させるステップを行う(S306)。
【0353】
具体的に、感情状態判定部381からランク付信号が入力された顔画像取得部371は、本実施形態では、図32に示すように、例えば、入力されたランク付信号に対応する感情度のランク(1)と、顔画像データベース501に記憶されている各符号2〜−2とを照合し、各符号2〜−2の中から、その感情度のランク(1)と一致する符号(1)を取得する。
【0354】
この符号(1)を取得した顔画像取得部371は、取得した符号(1)に基づいて、その符号(1)に対応付けられた顔画像2を取得し、取得した顔画像2を出力部600に出力する。ここで、理解状態判定部382又は対立状態判定部383からランク付信号が入力された顔画像取得部371は、上記と同様の処理を行うので、詳細な説明については省略する。
【0355】
(顔画像表示装置及び顔画像表示方法による作用及び効果)
このような本願に係る発明によれば、顔画像取得部371が、ランク付部380でランク付けられたランクと予め記憶された各符号とを照合し、各符号の中から、そのランクと一致する符号を取得し、その符号に対応付けられた顔画像を画面上に表示させることができるので、顔画像取得部371は、ランク付部380でランク付されたランクを、利用者に対して抱く感情度等とすれば、この感情度等の大きさに応じて該当する顔画像を画面上に表示させることができる。
【0356】
即ち、顔画像取得部371は、利用者に対する感情度等に応じて画面上に表示させる顔画像を切り替えることができるので、例えば現在ランク付けられているランクが最低であれば、その最低のランクに関連付けられている顔画像(怒った顔からなる表情を有する画像など)を画面上に表示させることができる。
【0357】
この結果、画面上に表示されている顔画像の表情は、上記の如く、ランク付部380でランク付けられたランクの大きさによって変化するので、利用者は、恰も他の利用者の顔色を伺いながら会話をしているようなリアルな感覚を味わうことができる。更に、利用者は、顔画像表示装置がランク付けているランクを上げさせて、例えば画面上に表示される顔画像を「抜群の笑顔」にさせるために、顔画像表示装置に向かって一生懸命話すことにも繋がり、結果的には退屈な時間を顔画像表示装置との間で会話をすることによって楽しく過すことができる。
【0358】
更に、顔画像表示装置が、第一形態素情報と各第二形態素情報との間で行われた検索履歴に基づいて、ランク付された大きさを感情度等として出力することができるので、顔画像表示装置を開発する開発者は、利用者に対して抱く感情度等を顔画像表示装置で計算させるための複雑なアルゴリズム又はニューラルネットワーク等を開発する必要がなくなり、結果的には本発明を達成する装置を開発するための開発時間を短縮させることができる。
【0359】
尚、第一形態素情報を含む第二形態素情報とは、第二形態素情報が第一形態素情報をそのまま含む場合のみならず、第二形態素情報が第一形態素情報を構成する少なくとも一つの形態素を含む場合をも意味するものとする。
【0360】
【発明の効果】
以上説明したように、本発明によれば、利用者から入力された音声等の入力情報に基づいて、この入力情報から把握される意味内容に関連付けられている予め作成された回答内容等を検索し、この検索の頻度の大きさに応じてランク付を行い、このランク付した大きさを利用者に対する感情度等として顔画像の表情に反映させることができる。この結果、利用者は、恰も他の利用者との間で会話をしているようなリアルな感覚を味わうことができる。
【図面の簡単な説明】
【図1】第一実施形態に係る会話制御装置の概略構成を示すブロック図である。
【図2】第一実施形態における会話制御部及び文解析部の内部構造を示すブロック図である。
【図3】第一実施形態における形態素抽出部で抽出する各形態素の内容をを示す図である。
【図4】第一実施形態における文節解析部で抽出する各文節の内容を示す図である。
【図5】第一実施形態における文構造解析部で特定する「格」の内容を示す図である。
【図6】第一実施形態における発話種類判定部で特定する「発話文のタイプ」を示す図である。
【図7】第一実施形態における発話種類データベースで格納する各辞書の内容を示す図である。
【図8】第一実施形態における会話データベースの内部で構築される階層構造の内容を示す図である。
【図9】第一実施形態における会話データベースの内部で構築される階層構造の詳細な関係を示す図である。
【図10】第一実施形態における会話データベースの内部で構築される「話題タイトル」の内容を示す図である。
【図11】第一実施形態における会話データベースの内部で構築される「話題タイトル」に関連付けられている「回答文のタイプ」の内容を示す図である。
【図12】第一実施形態における会話データベースの内部で構築される「談話範囲」に属する「話題タイトル」及び「回答文」の内容を示す図である。
【図13】第一実施形態における反射要素データベースで記憶する反射要素情報の内容を示す図である。
【図14】第一実施形態における鸚鵡返し要素データベースで記憶する鸚鵡返し要素、鸚鵡返し要素の形態素の内容を示す図である。
【図15】第一実施形態に係る会話制御方法の処理手順を示すフロー図である。
【図16】第一変更例における形態素抽出部で整理する発話内容を示す図である。
【図17】第二変更例における話題検索部の内部構成を示す図である。
【図18】第二変更例における割合計算部が「格構成」に属する各形態素と各「話題タイトル」とを「話題タイトル」毎に照合する様子を示す図である。
【図19】第二変更例における割合計算部が「各構成」に属する各形態素と「話題タイトル」に属する各形態素とを「格」毎に照合する様子を示す図である。
【図20】第三変更例における会話制御システムの概略構成を示す図である。
【図21】第六変更例における話題検索部の内部構成を示す図である。
【図22】第六変更例における話題検索部が第一形態素情報と、第二形態素情報又は回答文とを照合する様子を示す図である。
【図23】本実施形態におけるプログラムを格納する記録媒体を示す図である。
【図24】第二実施形態における会話制御部及び文解析部の内部構造を示すブロック図である。
【図25】第二実施形態における談話イベントデータベースで記憶されている「談話イベントテーブル」の内容を示す図である。
【図26】第二実施形態における「話題変更」と「結束要因」との関係を示す図である。
【図27】第二実施形態における感情状態判定部で判定する感情度のランクを示す図である。
【図28】第二実施形態における理解状態判定部で判定する理解度のランクを示す図である。
【図29】第二実施形態における対立状態判定部で判定する対立度のランクを示す図である。
【図30】第二実施形態におけるランク付方法の処理手順を示すフロー図である。
【図31】第三実施形態における顔画像表示装置の概略構成を示す図である。
【図32】第三実施形態における顔画像データベースで記憶されている対応テーブルの内容を示す図である(その一)。
【図33】第三実施形態における顔画像データベースで記憶されている対応テーブルの内容を示す図である(その二)。
【図34】第三実施形態における顔画像データベースで記憶されている対応テーブルの内容を示す図である(その三)。
【図35】第三実施形態における顔画像表示方法の処理手順を示すフロー図である。
【符号の説明】
1…会話制御装置、100…入力部、200…音声認識部、300…会話制御部、310…管理部、320…反射的判定部、330…判定部、340…談話範囲決定部、350…省略文補完部、360…話題検索部、361…割合計算部、362…選択部、363…削除部、364…談話付加部、370…回答文検索部、371…顔画像取得部、380…ランク付部、381…感情状態判定部、382…理解状態判定部、383…対立状態判定部、400…文解析部、410…形態素抽出部、420…文節解析部、430…文構造解析部、440…発話種類判定部、450…形態素データベース、460…発話種類データベース、500…会話データベース、501…顔画像データベース、600…出力部、700…音声認識辞書記憶部、800…通信部、801…反射要素データベース、802…鸚鵡返し要素データベース、900…通信部、1000…通信ネットワーク、1100…ハードディスク、1200…フレキシブルディスク、1300…コンパクトディスク、1400…ICチップ、1500…カセットテープ[0001]
BACKGROUND OF THE INVENTION
The present invention ranks a feeling level or the like held for a user at a predetermined stage based on input information such as voice input from the user, and determines a specific face according to the ranked size. The present invention relates to a face image display device that displays an image on a screen, a face image display method, and a program.
[0002]
[Prior art]
Conventionally, when a user speaks to a robot, the robot changes the facial expression displayed on the display unit using the display unit provided on the robot's head, Can express emotions to a certain user. As a result, the face image displayed on the display unit in the robot changes as the user speaks, so that the user can feel as if he / she is speaking with another user. be able to.
[0003]
[Problems to be solved by the invention]
However, since the face image displayed on a conventional robot or the like is arbitrarily displayed in response to the utterance content from the user, the user can mechanically display the face image on the screen. I couldn't wipe out the perception that it was made, and I couldn't see it as a realistic expression of humans.
[0004]
On the other hand, if the face image displayed on the display unit changes according to the utterance content from the user, the user can change the displayed face image in various ways according to the utterance content. The changing face image can be seen as a facial expression that is closer to a human being, and the user can also feel like having a conversation with other users.
[0005]
However, even if the face image displayed on the display section changes based on the utterance content from the user, the facial expression of the face image simply changes based on a specific keyword included in the utterance content. Because there is, it does not reflect the degree of emotion that the robot has to the user in the facial expression. For this reason, the user has not been able to experience a realistic feeling as if the user is having a conversation with another user.
[0006]
Therefore, the present invention has been made in view of the above points, and based on input information such as voice input from the user, it has been created in advance that is associated with the meaning content grasped from this input information. Search the contents of answers, etc., rank them according to the frequency of this search, and reflect this rank in the facial expression as the degree of emotion to the user. An object of the present invention is to provide a face image display device, a face image display method, and a program capable of giving a realistic feeling as if a user is having a conversation with another user.
[0007]
[Means for Solving the Problems]
The invention according to the present application has been made in order to solve the above-described problem, and a face image formed of a face image of a human being, an animal, or the like is associated with a code such as a character or a numerical value, respectively. A plurality of images are stored in advance, a character string indicating input information is specified based on input information such as voice input from a user, and at least one of the minimum units of the character string is configured based on the specified character string One morpheme is extracted as first morpheme information, a plurality of second morpheme information indicating a morpheme composed of one character, a plurality of character strings, or a combination thereof is stored in advance, and the extracted first morpheme information and each second morpheme Information is collated, second morpheme information including the first morpheme information is retrieved from each second morpheme information, and the first morpheme is retrieved from each second morpheme information based on the retrieved search result. Second form with information The element information is ranked according to the frequency of the search, and the rank is compared with each pre-stored code based on the ranked rank, and the rank matches with the rank. A code is acquired, and based on the acquired code, a face image associated with the code is displayed on the screen.
[0008]
In addition, when the said search frequency is low, it ranks to a low rank, and when a search frequency is high, it is preferable to rank to a high rank. Moreover, it is preferable to output the rank of the ranked rank as the degree of understanding of the input information, or to output the rank of the ranked rank as the degree of emotion or confrontation held for the user.
[0009]
According to the invention according to the present application, the face image display device ranks according to the frequency with which the second morpheme information including the first morpheme information is searched from the second morpheme information. The rank is compared with each code stored in advance, and a code matching the rank is obtained from each code, and the face image associated with the code is displayed on the screen based on the obtained code. Since it can be displayed, the face image display device corresponds to the magnitude of the emotion level, etc., if the rank ranked with reference to the search result is the emotion level held for the user. The face image to be displayed can be displayed on the screen.
[0010]
That is, the face image display device can switch the face image to be displayed on the screen according to the degree of emotion to the user. For example, if the currently ranked rank is the lowest, the face image is displayed at the lowest rank. Associated face images (expressions consisting of angry faces) can be displayed on the screen. Also, as a result, the facial expression displayed on the screen changes according to the size of the rank, so that the user is talking while listening to other people's complexions. You can taste a real sense.
[0011]
Furthermore, since the face image display device can output the ranked size as the emotion degree based on the search history performed between the first morpheme information and each second morpheme information, The developer who develops the image display device does not need to develop a complicated algorithm or neural network for causing the face image display device to calculate the degree of emotion held by the user. Development time for developing a device to achieve can be shortened.
[0012]
The second morpheme information including the first morpheme information includes not only the case where the second morpheme information includes the first morpheme information as it is, but the second morpheme information includes at least one morpheme constituting the first morpheme information. It also means a case.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
[First embodiment]
(Basic configuration of conversation control system)
A conversation control system according to the present invention will be described with reference to the drawings. FIG. 1 is a schematic configuration diagram of a conversation control system having a conversation control apparatus 1 (ranked apparatus) according to the present embodiment.
[0014]
As shown in the figure, the
[0015]
In the present embodiment, for convenience of explanation, the description is limited to the user's utterance content (this utterance content is a kind of input information), but is not limited to the user's utterance content, and the keyboard. The input information may be input from the above. Therefore, the “utterance content” shown below can be described by replacing “utterance content” with “input information”.
[0016]
Similarly, in the following description, for convenience of explanation, the description will be limited to the “spoken sentence type” (speech type), but is not limited to this “spoken sentence type”, and input from a keyboard or the like. It may be an “input type” indicating the type of input information. Accordingly, the following “speech sentence type” (speech type) can be described by replacing “speech type” with “input type”.
[0017]
The
[0018]
Here, the input information means characters, symbols, voices and the like input through a keyboard or the like. Specifically, the
[0019]
The
[0020]
The
[0021]
The
[0022]
Specifically, the
[0023]
That is, the
[0024]
The
[0025]
Here, in this embodiment, the phrase format is a sentence in which the independent grammar or one or more attached words are attached to the independent grammar in the Japanese grammar, or a character string that does not destroy the meaning of the Japanese grammar. Means a sentence that is separated as finely as possible. This clause is expressed as p1, p2,... Pk in this embodiment.
[0026]
That is, as shown in FIG. 4, the
[0027]
The
[0028]
The sentence
[0029]
Here, the “case structure” means a case (attribute) indicating a substantial concept in the clause. In the present embodiment, for example, a subject (subject) that represents a subject / subject, Object meaning (object case), action meaning motion, time meaning time (thing consisting of mood, tense, aspect, etc.), location meaning place, and the like. In this embodiment, each morpheme associated with the “case” (case configuration) of the three elements of the subject, the object, and the action is used as the first morpheme information.
[0030]
That is, as shown in FIG. 5, for example, when the dependency element of each morpheme is “” or “is”, the sentence
[0031]
Further, for example, when the dependency element of each morpheme is “Yes”, the sentence
[0032]
The sentence
[0033]
The utterance
[0034]
In this embodiment, as shown in FIG. 6, the “spoken sentence type” is a statement sentence (D; Declaration), an impression sentence (I; Impression), a conditional sentence (C; Condition), and a result sentence ( E; Effect, time sentence (T; Time), location sentence (L; Location), repulsion sentence (N; Negation), affirmative sentence (A; Answer), question sentence (Q; Question) It is.
[0035]
The statement sentence means a sentence composed of a user's opinion or idea, and in this embodiment, as shown in FIG. 6, for example, a sentence such as “I like Sato” can be cited. An impression sentence means the sentence which consists of an impression which a user holds. A place sentence means a sentence made up of place elements.
[0036]
A result sentence means a sentence composed of sentences including a result element for a topic. A time sentence means a sentence composed of sentences including temporal elements related to a topic.
[0037]
The conditional sentence means a sentence composed of sentences including elements such as a premise of a topic, a condition and a reason why the topic is established, when one utterance is regarded as a topic. The repulsive sentence means a sentence composed of a sentence including an element that repels a user's utterance partner. An example sentence for each “spoken sentence type” is as shown in FIG.
[0038]
That is, the utterance
[0039]
Here, as shown in FIG. 7, the
[0040]
As a result, the utterance
[0041]
The utterance
[0042]
The
[0043]
Furthermore, the
[0044]
Furthermore, the
[0045]
As shown in FIG. 8, in the present embodiment, the
[0046]
Each discourse range can be configured to have a hierarchical structure as shown in FIG. As shown in the figure, for example, a higher level discourse range (entertainment) for a certain discourse range (movie) is positioned in the upper hierarchical structure, and a lower level discourse range (movie) for the discourse range (movie). The attribute (movie) can be located in the lower hierarchical structure. That is, in the present embodiment, each discourse range can be arranged at a hierarchical position where the relationship between the higher concept, the lower concept, the synonym, and the synonym becomes clear with other discourse ranges.
[0047]
As described above, the discourse range is composed of each topic. In the present embodiment, for example, if the discourse range is an A movie name, it includes a plurality of topics related to “A movie name”. .
[0048]
This topic means a morpheme composed of a single character, a plurality of character strings, or a combination thereof, that is, each morpheme constituting speech content that will be uttered by the user. Each morpheme is associated with a subject (subject), an object (target case), and an action “case” (attribute). In this embodiment, each morpheme associated with these three elements is expressed as a topic title (this topic title corresponds to a subordinate concept of “topic”) (second morpheme information). .
[0049]
Note that the topic title is not limited to each morpheme associated with the above three elements, but other “cases”, that is, time meaning time (consisting of tense, mood, aspect, etc.), Each morpheme may be associated with a location meaning a place, a condition meaning a condition, an impression meaning an impression, an effect meaning a result, and the like.
[0050]
In this embodiment, the topic title (second morpheme information) is stored in advance in the
[0051]
For example, if the talk range is “A movie name”, as shown in FIG. 10, the subject title is subject (A movie name), object (director), action (great) {this is “A movie name” The director of the name is composed of "meaning great".
[0052]
If there is no morpheme associated with “case composition” (subject, object, action, etc.) among the topic titles, “*” is indicated for the portion in the present embodiment.
[0053]
For example, {A movie name? } Is converted into a topic title (subject; object; action). }, “A movie name” can be specified as a subject, but “object” and “action” are not elements of the sentence, so the topic title is “subject” (A movie name) “No object” (*); no “action” (*) (see FIG. 10).
[0054]
The answer sentence means an answer sentence (answer contents) to be answered to the user, and is associated with each topic title (second morpheme information) in this embodiment (see FIG. 8). In this embodiment, as shown in FIG. 11, the answer sentence is a statement sentence (D; Declaration) or an impression sentence (I; Impression) in order to make an answer corresponding to the type of utterance sentence uttered by the user. , Conditional statement (C; Condition), result statement (E; Effect), time statement (T; Time), location statement (L; Location), negative statement (N; Negation), affirmative statement (A; Answer), question It is classified into types (answer types) such as sentences (Q).
[0055]
That is, as shown in FIG. 12, each answer sentence is associated with, for example, a discourse range (Sato) {subordinate concept; home run, superordinate concept; grass baseball, synonym; panda Sato, Sato player, panda} and each topic title. It has been.
[0056]
As shown in the figure, for example, the topic title 1-1 is {(Sato; *; I like): this consists of the order of (subject; object; action) as described above. If the order is the same below, the answer sentence 1-1 corresponding to the topic title 1-1 is (DA; statement affirmation “I like Sato”), (IA; comment affirmation) "I like Sato very much"), (CA; conditional affirmation sentence "Sato's home run is very impressive"), (EA; a result affirming sentence "I always watch Sato's games on TV"), (TA: Time affirmative sentence "I actually like it from the five-bats continual refrain in Koshien"), (LA; Place affirmative sentence "I like the serious face when standing on the blow"), (NA A repulsive affirmative sentence "I don't want to talk to people who don't like Sato, goodbye").
[0057]
In the present embodiment, as shown in FIG. 2, the
[0058]
The
[0059]
The
[0060]
Here, the standard content means reflection element information for replying a standard content to the utterance content from the user, and this reflection element information is stored in the reflection element database 801 (standard storage means) in advance. A plurality are stored. As the reflective element information, in the present embodiment, as shown in FIG. 13, for example, "Good morning", "Hello", "Good evening", "greeting elements" such as "Hey", "I see", "Really?""Typicalelements" such as
[0061]
Specifically, the
[0062]
That is, assuming that the reflection element information is D1 and the first morpheme information is W, the
[0063]
For example, when the user utters the utterance content “Good morning”, the
[0064]
When the
[0065]
The
[0066]
Here, “turnback” means to say back the content of the user's utterance as it is (or content close to it) in this embodiment. In this embodiment, the return element is composed of the first morpheme information that constitutes the response content output from the
[0067]
Further, the
[0068]
Specifically, the
[0069]
If it is determined that the first morpheme information is included in each return element, the
[0070]
For example, the
[0071]
Further, the
[0072]
Specifically, when the user utters the utterance content “Horse is beautiful” and the
[0073]
In this case, since the user has not heard the response content from the
[0074]
On the other hand, if the
[0075]
In addition, although the said
[0076]
In this case, the
[0077]
For example, when the
[0078]
The discourse
[0079]
Specifically, the conversation
[0080]
For example, the conversation
[0081]
When the “movie” included in the first morpheme information is included in the conversation range group stored in the
[0082]
When the conversation
[0083]
Thereby, the
[0084]
The abbreviated
[0085]
Specifically, the abbreviated
[0086]
For example, the abbreviation
[0087]
That is, assuming that the first morpheme information is W, the determined discourse range is D, and the current discourse range is d, the abbreviated
[0088]
Thereby, even if the first morpheme information is an abbreviated sentence and it is not clear as Japanese, the abbreviated
[0089]
For this reason, the first morpheme information is set so that the abbreviated
[0090]
The
[0091]
Specifically, the
[0092]
For example, when the “case configuration” constituting the first morpheme information is (Sato; *; I like) {I like Sato}, the
[0093]
The utterance
[0094]
The answer
[0095]
Specifically, the answer
[0096]
For example, when the topic title corresponding to the search result is the topic title 1-1 (Sato; *; I like) shown in FIG. 12, the answer
[0097]
The
[0098]
The
[0099]
(Conversation control method using conversation control device)
The conversation control method by the
[0100]
First, the
[0101]
Next, the
[0102]
And the
[0103]
Specifically, the
[0104]
Then, the
[0105]
That is, as shown in FIG. 4, the
[0106]
The
[0107]
Thereafter, the sentence
[0108]
That is, as shown in FIG. 5, for example, when the dependency element of each morpheme is “” or “is”, the sentence
[0109]
Further, for example, when the dependency element of each morpheme is “Yes”, the sentence
[0110]
The sentence
[0111]
Next, the utterance
[0112]
That is, the utterance
[0113]
The utterance
[0114]
Next, the
[0115]
Specifically, the
[0116]
When the reflection element information cannot be searched for the reflection element information including the first morpheme information from the reflection element information, the
[0117]
Next, the
[0118]
When it is determined that the first morpheme information is included in each return element, the
[0119]
On the other hand, when determining that the first morpheme information is not included in each return element, the
[0120]
Then, the discourse
[0121]
Specifically, the conversation
[0122]
For example, the conversation
[0123]
When the “movie” included in the first morpheme information is included in the conversation range group stored in the
[0124]
When the conversation
[0125]
Next, the abbreviation
[0126]
Specifically, the abbreviated
[0127]
For example, the abbreviation
[0128]
That is, assuming that the first morpheme information is W, the determined discourse range is D, and the current discourse range is d, the abbreviated
[0129]
Next, the
[0130]
Specifically, the
[0131]
For example, when the “case configuration” constituting the first morpheme information is (Sato; *; I like) {I like Sato}, the
[0132]
The utterance
[0133]
Then, the answer
[0134]
Specifically, the answer
[0135]
For example, when the topic title corresponding to the search result is the topic title 1-1 (Sato; *; I like) shown in FIG. 12, the answer
[0136]
Next, the
[0137]
(Operation and effect of conversation control system and conversation control method)
According to the invention according to the present application having the above-described configuration, the
[0138]
In addition, when the user's utterance content is a fixed content, the
[0139]
Further, the
[0140]
In this case, the
[0141]
Further, the
[0142]
In this case, since the user does not appropriately reply to the previous response content, the
[0143]
Further, in order to search for the second morpheme information approximate to the first morpheme information, the
[0144]
As a result, the
[0145]
Moreover, the
[0146]
Further, since the
[0147]
Furthermore, the answer
[0148]
Furthermore, the answer
[0149]
Finally, the abbreviated
[0150]
Thus, the abbreviated
[0151]
As a result, even if the input information from the user is an abbreviated sentence, the
[0152]
[Example of change]
In addition, this invention is not limited to the said embodiment, The change as shown below can be added.
[0153]
(First change example)
In this modification, the
[0154]
As shown in FIG. 16, some morphemes included in the character string uttered by the user are similar. For example, as shown in FIG. 16, if the element information indicating the entire group is “gift”, the “gift” is similar to a present, gift, year-end gift, mid-year gift, celebration, etc. (group). Therefore, when there is a morpheme similar to “gift” (such as the present), the
[0155]
That is, for example, when the morpheme extracted from the character string is “present”, the
[0156]
This allows the
[0157]
(Second modified example)
As shown in FIG. 17, in the present modification example, the
[0158]
The
[0159]
Specifically, the
[0160]
For example, as shown in FIG. 17, when the first morpheme information constituting the utterance sentence uttered by the user is (Sato; *; I like) {I like Sato}, the
[0161]
The
[0162]
Specifically, the
[0163]
Thereby, the
[0164]
Further, since the
[0165]
As a result, since the
[0166]
Further, the
[0167]
The
[0168]
Specifically, the
[0169]
For example, as illustrated in FIG. 19, when the “case” morpheme of “case configuration” is (dog; person; bitten) {dog bites a person}, the
[0170]
If the element constituting the topic title is (person; dog; bite) {person bites the dog}, the
[0171]
The
[0172]
As a result, the
[0173]
That is, since the
[0174]
Further, the
[0175]
(Third change example)
As shown in FIG. 20, the present modification is not limited to the above embodiment and each of the modifications described above, and the
[0176]
Here, the
[0177]
In this modified example, the
[0178]
Thereby, the
[0179]
(Fourth change example)
The sentence
[0180]
The conversation
[0181]
The first morpheme information, the second morpheme information, each “case composition” that constitutes the first morpheme information or the second morpheme information, each morpheme associated with each “case composition”, and the retrieved answer sentence Each “case structure” to be configured, each morpheme associated with each “case structure”, and the searched discourse range can be stored in the
[0182]
The abbreviated
[0183]
Specifically, the abbreviated
[0184]
That is, assuming that the subject included in the history form information is S1, the object is O1, the action A1, the discourse range is D1, and the omitted first morpheme information is W, the supplemented first morpheme information W1 is S1SW , O1∪W, A1∪W, or D1∪W.
[0185]
The
[0186]
Thereby, even if the utterance content composed of the first morpheme information is an abbreviated sentence and is not clear as Japanese, the abbreviated
[0187]
For this reason, when the abbreviated
[0188]
(Fifth change example)
The
[0189]
Specifically, the
[0190]
Then, based on the searched second morpheme information, the
[0191]
That is, the
[0192]
The
[0193]
Specifically, when the current discourse range D2 is related to the answer sentence K1, and the discourse range is DK, other discourses related to the answer sentence K1 or the current discourse range D2 (those that have a sibling relationship). Since the range D3 can be expressed as D3 = D2∪DK, the second morpheme information W2 after adding the morpheme constituting the other discourse range D3 can be set to W2 = t2∪D3.
[0194]
For example, each morpheme t1 constituting the second morpheme information is (A movie name; *; interesting) {A movie name is interesting? }, And the current discourse range D2 determined by the discourse
[0195]
When the other conversation range D3 related to the current conversation range D2 (A movie name) is “B movie name”, the second morpheme information after adding the morpheme constituting the other conversation range D3 W2 is t2∪D3, so (B movie name; *; funny) {B movie name is interesting? }.
[0196]
Thereby, when the user's utterance content is “A movie name is interesting?”, The
[0197]
As a result, the answer
[0198]
Note that the
[0199]
(Sixth change example)
When the
[0200]
Specifically, the
[0201]
When the
[0202]
Thereby, even if the
[0203]
As a result, since the
[0204]
[program]
The contents described in the conversation control system and the conversation control method can be realized by executing a dedicated program for using a predetermined program language in a general-purpose computer such as a personal computer.
[0205]
Here, as the programming language, in this embodiment, the topic requested by the user, the degree of emotion held for the user in a certain matter, or the type of statement, affirmative sentence, question sentence, repulsive sentence, etc. Languages that are hierarchically stored in a database in association with morphemes, for example, DKML (Discourse Knowledge Markup Language), XML (eXtensible Markup Language), C language, etc., developed by the inventors.
[0206]
That is, the
[0207]
According to such a program according to the present embodiment, each morpheme constituting the utterance content of the user is identified, the semantic content grasped from each identified morpheme is analyzed, and associated with the analyzed semantic content. A conversation control device, a conversation control system, and a conversation control method that have the effect of being able to output the optimum answer contents corresponding to the user's utterance contents by outputting the answer contents prepared in advance. It can be easily realized by a general purpose computer.
[0208]
In addition, since the developer who develops the
[0209]
In other words, the
[0210]
For this reason, the
[0211]
Furthermore, communication between the
[0212]
The program can be recorded on a recording medium. As shown in FIG. 23, examples of the recording medium include a
[0213]
[Second Embodiment]
(Basic configuration of information processing system)
A second embodiment of the present invention will be described with reference to the drawings. FIG. 24 shows the internal structure of the information processing system (conversation control system) according to this embodiment. As shown in the figure, the information processing system is substantially the same as the internal structure of the conversation control device 1 (information processing device) in the first embodiment, but the
[0214]
In the first embodiment, the
[0215]
The
[0216]
The
[0217]
Specifically, as shown in FIG. 26, the binding factor includes a binding factor (−) and a binding factor (+) in the present embodiment. In the cohesive factor (−), as shown in the figure, the
[0218]
In the cohesive factor (+), as shown in the figure, the
[0219]
As shown in FIG. 26, these binding factors (−) and (+) are ranked based on the result of the “conditional” return processing by the
[0220]
Moreover, the topic change is made up of topic change (−) and topic change (+) as shown in FIG. The topic change (−) means that the current topic title searched by the
[0221]
The topic change (+) means that the current topic title searched by the
[0222]
In addition to the above, the “Discourse Scope Event” table has an interrupt factor indicating that the first morpheme information interrupts the current topic, and the first morpheme information is more difficult than the second morpheme information. This is composed of a difficult factor (harass) indicating that the first morpheme information is a conflicting factor (oppose) indicating that the first morpheme information is a conflicting factor with respect to the second morpheme information.
[0223]
As illustrated in FIG. 24, the interruption factor is determined by the
[0224]
The emotion
[0225]
The emotion
[0226]
In the present embodiment, the emotion level determined by the emotion
[0227]
Therefore, when the emotion level transitions from e (0) to e (3), it means that the emotion level held for the user increases. On the other hand, when the emotion level transitions from e (0) to e (-2), it means that the emotion level held for the user is lowered. Of the six levels, the reference emotion level is e (0) in the present embodiment.
[0228]
In the present embodiment, the ranking of the emotion level is performed using an emotion minus factor, an emotion plus factor, and topic change (+) (−). In this embodiment, this negative emotion factor is assumed to be the above-described interruption factor, difficult factor, conflict factor, cohesion factor (-), and topic change (-). The emotion plus factor consists of a cohesion factor (+) and a topic change (+).
[0229]
In the figure, the topic level (-) (+) changes the emotion level by two or more levels. This indicates that the current topic title is “Emotion level” is very “low” or “Emotion level” is very high. When a topic title associated with “high” is selected, the emotion level is changed in two or more stages.
[0230]
Specifically, when the second morpheme information including the first morpheme information is not searched by the
[0231]
That is, the fact that the second morpheme information including the first morpheme information is not searched by the
[0232]
On the other hand, when the second morpheme information including the first morpheme information is searched by the
[0233]
That is, the fact that the second morpheme information including the first morpheme information is searched by the
[0234]
The emotional
[0235]
Specifically, the emotion
[0236]
That is, the fact that the second topic range is determined not to be related to the first topic range by the conversation
[0237]
As a result, the topic change (−) indicates that the current conversation range is changed to another conversation range, and the first morpheme information belonging to the changed conversation range is content that is not interesting for the
[0238]
In this case, if the first morpheme information belonging to the second discourse range is included in the topic title (second morpheme information) associated with “high emotion level”, the emotion
[0239]
As a result, topic change (+) means that the current discourse range is changed to another discourse range, and the first morpheme information belonging to the changed discourse range has interesting contents for the
[0240]
On the other hand, if it is determined by the conversation
[0241]
In other words, the fact that the second topic range is determined to be related to the first topic range by the conversation
[0242]
Thus, the cohesion factor (+) is that the current conversation range is substantially the same as the previous conversation range, and the first morpheme information belonging to the current conversation range is interesting for the
[0243]
In this case, when the first morpheme information belonging to the second discourse range is included in the topic title (second morpheme information) associated with “low emotion level”, the emotion
[0244]
As a result, the cohesion factor (−) is such that the current discourse range is substantially the same as the previous discourse range, but the first morpheme information belonging to the current discourse range is not interesting for the
[0245]
The emotional
[0246]
Specifically, the abbreviated
[0247]
When the
[0248]
That is, the input information consisting of the first morpheme information in the abbreviated
[0249]
Therefore, when the abbreviated
[0250]
Furthermore, the emotional
[0251]
Specifically, when the
[0252]
That is, the fact that the fixed content that matches the first morpheme information is retrieved by the
[0253]
Further, the
[0254]
When the
[0255]
In this case, since the current first morpheme information is an emotion minus factor (interruption factor), the emotion
[0256]
Further, the
[0257]
In this case, the emotional
[0258]
When the
[0259]
Furthermore, when the input information specified by the utterance
[0260]
Here, the repulsion element means an element for the user to repel the response content output from the
[0261]
That is, the fact that the input type of the input information input from the user is specified by the utterance
[0262]
When the
[0263]
That is, the fact that the second morpheme information including the first morpheme information is not searched from the respective second morpheme information by the
[0264]
The understanding
[0265]
Here, the degree of understanding means the degree of understanding of the input information input from the user. As shown in FIG. 28, the degree of understanding can be ranked in four levels in this embodiment.
[0266]
The larger the numerical value (the direction from r (−2) to r (1)), the more the input information is understood (the direction in which the understanding is clearly extended). On the other hand, the smaller the numerical value (from r (1) to r (-2)), the more the input information is understood (the direction in which the understanding is unclear).
[0267]
Specifically, as shown in the figure, when the understanding
[0268]
When the understanding
[0269]
In addition, since a difficult factor, a cohesion factor, a topic change, a discontinuation factor, and a conflict factor are the same as the content demonstrated in the term of the said emotion
[0270]
When the input information specified by the utterance
[0271]
Here, the degree of confrontation means the degree of confrontation that the
[0272]
Specifically, as shown in the figure, when the conflict
[0273]
Furthermore, when the emotion level for the first morpheme information is set in a higher direction by the emotion
[0274]
Further, the conflict
[0275]
The emotion
[0276]
(Information processing method using information processing system)
The information processing method by the information processing system having the above configuration can be implemented by the following procedure. FIG. 30 is a flowchart showing the procedure of the ranking method according to this embodiment.
[0277]
As shown in the figure, first, the
[0278]
Thereafter, the sentence
[0279]
Next, the
[0280]
After that, the discourse
[0281]
Then, the
[0282]
Next, the emotional
[0283]
That is, the fact that the second morpheme information including the first morpheme information is not searched by the
[0284]
On the other hand, when the second morpheme information including the first morpheme information is searched by the
[0285]
That is, the fact that the second morpheme information including the first morpheme information is searched by the
[0286]
In addition, the emotional
[0287]
Specifically, the emotion
[0288]
That is, the fact that the second topic range is determined not to be related to the first topic range by the conversation
[0289]
As a result, the topic change (−) indicates that the current conversation range is changed to another conversation range, and the first morpheme information belonging to the changed conversation range is content that is not interesting for the
[0290]
In this case, if the first morpheme information belonging to the second discourse range is included in the topic title (second morpheme information) associated with “high emotion level”, the emotion
[0291]
As a result, topic change (+) means that the current discourse range is changed to another discourse range, and the first morpheme information belonging to the changed discourse range has interesting contents for the
[0292]
On the other hand, the emotional
[0293]
In other words, the fact that the second topic range is determined to be related to the first topic range by the conversation
[0294]
Thus, the cohesion factor (+) is that the current conversation range is substantially the same as the previous conversation range, and the first morpheme information belonging to the current conversation range is interesting for the
[0295]
In this case, when the first morpheme information belonging to the second discourse range is included in the topic title (second morpheme information) associated with “low emotion level”, the emotion
[0296]
As a result, the cohesion factor (−) is such that the current discourse range is substantially the same as the previous discourse range, but the first morpheme information belonging to the current discourse range is not interesting for the
[0297]
In addition, when the
[0298]
Specifically, the abbreviated
[0299]
That is, the input information consisting of the first morpheme information in the abbreviated
[0300]
Therefore, when the abbreviated
[0301]
Furthermore, the emotional
[0302]
Specifically, when the
[0303]
That is, the fact that the fixed content that matches the first morpheme information is retrieved by the
[0304]
Further, the
[0305]
When the
[0306]
In this case, since the current first morpheme information is an emotion minus factor (interruption factor), the emotion
[0307]
Further, the
[0308]
In addition, when the
[0309]
Furthermore, when the input information specified by the utterance
[0310]
That is, the fact that the input type of the input information input from the user is specified by the utterance
[0311]
Next, when the understanding
[0312]
Specifically, when the second morpheme information including the first morpheme information is not searched from the second morpheme information by the
[0313]
The understanding
[0314]
Next, when the confrontation
[0315]
Thereafter, the emotion
[0316]
(Operations and effects of information processing system and information processing method)
According to the invention according to the present embodiment, the
[0317]
In addition, developers who develop information processing systems can easily rank, for example, as the emotion level based on the search history performed between the first morpheme information and each second morpheme information. It is no longer necessary to develop a complex algorithm or neural network to calculate the emotion level etc. held by the information processing system, and as a result, the development time for developing this system can be shortened. .
[0318]
The discourse
[0319]
For example, if the second discourse range has no relationship with the first discourse range, the emotional
[0320]
On the other hand, if the second discourse range has relevance with the first discourse range, the emotional
[0321]
Furthermore, when the abbreviation sentence morpheme is added to each attribute constituting the first morpheme information by the abbreviated
[0322]
For this reason, when the first morpheme information consisting of input information is an abbreviated sentence, the emotional
[0323]
Furthermore, the
[0324]
On the other hand, when the
[0325]
Furthermore, when the utterance
[0326]
Furthermore, when the second morpheme information including the first morpheme information is not searched by the
[0327]
For this reason, since the understanding
[0328]
When the understanding
[0329]
Moreover, since the developer who develops the
[0330]
That is, the
[0331]
For this reason, the
[0332]
Furthermore, when the
[0333]
In this case, the emotional
[0334]
Finally, the
[0335]
In this case, the emotional
[0336]
[Third embodiment]
(Basic configuration of face image display device)
Embodiments of the present invention will be described with reference to the drawings. FIG. 31 is a schematic configuration diagram showing a face image display device according to the present embodiment. As shown in the figure, the face image device according to the present embodiment is substantially the same as the internal structure of the conversation control device 1 (information processing device) in the second embodiment, but the face
[0337]
In the present embodiment, the ranking unit 380 (emotion
[0338]
Here, a plurality of face images are associated with codes such as characters and numerical values, and each face image is stored in the
[0339]
That is, as shown in the figure, each of the
[0340]
Similarly, as shown in FIG. 33, each of the
[0341]
Similarly, as shown in FIG. 34, each of the
[0342]
The face
[0343]
Specifically, in the present embodiment, the face
[0344]
Similarly, in this embodiment, the face
[0345]
Further, similarly, in the present embodiment, the face
[0346]
The face
[0347]
Note that each face image stored in the
[0348]
(Face image display method using face image display device)
The face image display method by the face image display device having the above configuration can be implemented by the following procedure. FIG. 35 is a flowchart showing the procedure of the face image display method according to the present embodiment.
[0349]
As shown in the figure, first, the
[0350]
Thereafter, the
[0351]
Next, the
[0352]
Then, the face
[0353]
Specifically, in the present embodiment, the face
[0354]
The face
[0355]
(Operation and effect of face image display device and face image display method)
According to the invention according to the present application, the face
[0356]
That is, since the face
[0357]
As a result, the expression of the face image displayed on the screen changes depending on the rank ranked by the
[0358]
Furthermore, since the face image display device can output the ranked size as the emotion degree based on the search history performed between the first morpheme information and each second morpheme information, The developer who develops the image display device does not need to develop a complicated algorithm or neural network for causing the face image display device to calculate the degree of emotion held by the user. Development time for developing a device to achieve can be shortened.
[0359]
The second morpheme information including the first morpheme information includes not only the case where the second morpheme information includes the first morpheme information as it is, but the second morpheme information includes at least one morpheme constituting the first morpheme information. It also means a case.
[0360]
【The invention's effect】
As described above, according to the present invention, based on input information such as voice input from the user, a search is made for the response contents created in advance associated with the meaning contents grasped from the input information. Then, ranking is performed according to the frequency of the search, and the ranked size can be reflected in the facial image expression as the degree of emotion to the user. As a result, the user can experience a realistic feeling as if the user is having a conversation with another user.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a conversation control device according to a first embodiment.
FIG. 2 is a block diagram showing an internal structure of a conversation control unit and a sentence analysis unit in the first embodiment.
FIG. 3 is a diagram showing the contents of each morpheme extracted by a morpheme extraction unit in the first embodiment.
FIG. 4 is a diagram showing the contents of each phrase extracted by a phrase analysis unit in the first embodiment.
FIG. 5 is a diagram showing the contents of “case” specified by the sentence structure analysis unit in the first embodiment.
FIG. 6 is a diagram showing an “uttered sentence type” specified by an utterance type determining unit in the first embodiment.
FIG. 7 is a diagram showing the contents of each dictionary stored in the utterance type database in the first embodiment.
FIG. 8 is a diagram showing the contents of a hierarchical structure built inside the conversation database in the first embodiment.
FIG. 9 is a diagram showing a detailed relationship of a hierarchical structure built inside the conversation database in the first embodiment.
FIG. 10 is a diagram showing the content of a “topic title” built inside the conversation database in the first embodiment.
FIG. 11 is a diagram showing the content of “answer sentence type” associated with “topic title” built inside the conversation database in the first embodiment.
FIG. 12 is a diagram showing the contents of “topic title” and “answer text” belonging to “discourse range” built inside the conversation database in the first embodiment.
FIG. 13 is a diagram showing the contents of reflection element information stored in the reflection element database in the first embodiment.
FIG. 14 is a diagram showing the contents of a wrapping element and a morpheme of the wrapping element stored in the wrapping element database in the first embodiment.
FIG. 15 is a flowchart showing a processing procedure of the conversation control method according to the first embodiment.
FIG. 16 is a diagram showing utterance contents organized by a morpheme extraction unit in the first modification.
FIG. 17 is a diagram illustrating an internal configuration of a topic search unit in a second modified example.
FIG. 18 is a diagram illustrating a state in which the ratio calculation unit in the second modification collates each morpheme belonging to “case configuration” and each “topic title” for each “topic title”.
FIG. 19 is a diagram illustrating a state in which the ratio calculation unit in the second modified example collates each morpheme belonging to “each component” and each morpheme belonging to “topic title” for each “case”.
FIG. 20 is a diagram showing a schematic configuration of a conversation control system in a third modified example.
FIG. 21 is a diagram illustrating an internal configuration of a topic search unit in a sixth modified example.
FIG. 22 is a diagram illustrating a state in which the topic search unit in the sixth modification collates first morpheme information with second morpheme information or an answer sentence.
FIG. 23 is a diagram showing a recording medium for storing a program in the present embodiment.
FIG. 24 is a block diagram showing an internal structure of a conversation control unit and a sentence analysis unit in the second embodiment.
FIG. 25 is a diagram showing the contents of a “discourse event table” stored in the discourse event database in the second embodiment.
FIG. 26 is a diagram showing a relationship between “topic change” and “cohesion factor” in the second embodiment.
FIG. 27 is a diagram showing the rank of emotion level determined by an emotion state determination unit in the second embodiment.
FIG. 28 is a diagram illustrating a rank of understanding level determined by an understanding state determination unit according to the second embodiment.
FIG. 29 is a diagram illustrating a rank of conflict levels determined by a conflict state determination unit according to the second embodiment.
FIG. 30 is a flowchart showing a processing procedure of a ranking method in the second embodiment.
FIG. 31 is a diagram showing a schematic configuration of a face image display device in a third embodiment.
FIG. 32 is a diagram showing the contents of a correspondence table stored in the face image database in the third embodiment (No. 1).
FIG. 33 is a diagram showing the contents of a correspondence table stored in the face image database in the third embodiment (No. 2).
FIG. 34 is a view showing the contents of a correspondence table stored in the face image database in the third embodiment (No. 3).
FIG. 35 is a flowchart showing a processing procedure of a face image display method in the third embodiment.
[Explanation of symbols]
DESCRIPTION OF
Claims (12)
利用者から入力された音声等の入力情報に基づいて、該入力情報を示す文字列を特定する文字認識手段と、
前記文字認識手段で特定された前記文字列に基づいて、該文字列の最小単位を構成する少なくとも一つの形態素を第一形態素情報として抽出する形態素抽出手段と、
一つの文字、複数の文字列又はこれらの組み合わせからなる形態素を示す第二形態素情報を予め複数記憶する形態素記憶手段と、
前記形態素抽出手段で抽出された前記第一形態素情報と前記各第二形態素情報とを照合し、該各第二形態素情報の中から、該第一形態素情報を含む前記第二形態素情報を検索する第一検索手段と、
前記第一検索手段で検索された検索結果に基づいて、前記各第二形態素情報の中から、前記第一形態素情報を含む前記第二形態素情報が検索される頻度の大きさに応じてランク付するランク付手段と、
前記ランク付手段でランク付されたランクに基づいて、該ランクと予め記憶された前記各符号とを照合し、該各符号の中から、該ランクと一致する前記符号を取得する符号取得手段と、
前記符号取得手段で取得された前記符号に基づいて、該符号に対応付けられた前記顔画像を画面上に表示させる表示手段と
を有することを特徴とする顔画像表示装置。Face images made up of face images of humans, animals, etc. are respectively associated with codes such as characters and numerical values, and face image storage means for storing a plurality of face images in advance,
Character recognition means for identifying a character string indicating the input information based on input information such as voice input from a user;
Based on the character string specified by the character recognition means, morpheme extraction means for extracting at least one morpheme constituting the minimum unit of the character string as first morpheme information;
Morpheme storage means for storing in advance a plurality of second morpheme information indicating a morpheme consisting of one character, a plurality of character strings, or a combination thereof;
The first morpheme information extracted by the morpheme extraction unit and the second morpheme information are collated, and the second morpheme information including the first morpheme information is searched from the second morpheme information. A first search means;
Based on the search result searched by the first search means, ranking is performed according to the frequency with which the second morpheme information including the first morpheme information is searched from the second morpheme information. Ranking means to
Code acquisition means for collating the rank with each code stored in advance based on the rank ranked by the ranking means, and acquiring the code matching the rank from the codes; ,
A face image display device comprising: display means for displaying the face image associated with the code on the screen based on the code acquired by the code acquisition means.
前記ランク付手段は、検索される前記頻度が低い場合には、低いランクにランク付けし、検索される前記頻度が高い場合には、高いランクにランク付することを特徴とする顔画像表示装置。The face image display device according to claim 1,
The ranking means ranks a low rank when the frequency of searching is low, and ranks a high rank when the frequency of searching is high. .
前記ランク付手段は、ランク付した大きさを前記入力情報に対する理解度として出力することを特徴とする顔画像表示装置。The face image display device according to claim 1 or 2,
The ranking means outputs the ranked size as an understanding level for the input information.
前記ランク付手段は、ランク付した大きさを前記利用者に対して抱く感情度又は対立度として出力することを特徴とする顔画像表示装置。The face image display device according to claim 1 or 2,
The said ranking means outputs the magnitude | size rank | ranked as the feeling degree or confrontation degree which holds with respect to the said user, The face image display apparatus characterized by the above-mentioned.
一つの文字、複数の文字列又はこれらの組み合わせからなる形態素を示す第二形態素情報を予め複数記憶するステップと、
利用者から入力された音声等の入力情報に基づいて、該入力情報を示す文字列を特定するステップと、
特定された前記文字列に基づいて、該文字列の最小単位を構成する少なくとも一つの形態素を第一形態素情報として抽出するステップと、
抽出された前記第一形態素情報と前記各第二形態素情報とを照合し、該各第二形態素情報の中から、該第一形態素情報を含む前記第二形態素情報を検索するステップと、
検索された検索結果に基づいて、前記各第二形態素情報の中から、前記第一形態素情報を含む前記第二形態素情報が検索される頻度の大きさに応じてランク付するステップと、
ランク付されたランクに基づいて、該ランクと予め記憶された前記各符号とを照合し、該各符号の中から、該ランクと一致する前記符号を取得するステップと、
取得された前記符号に基づいて、該符号に対応付けられた前記顔画像を画面上に表示させるステップと
を有することを特徴とする顔画像表示方法。A face image formed of a face image of a human, an animal, or the like is associated with a code such as a character or a numerical value, and stores a plurality of the face images in advance.
Storing in advance a plurality of second morpheme information indicating a morpheme consisting of one character, a plurality of character strings, or a combination thereof;
Identifying a character string indicating the input information based on input information such as voice input from a user;
Extracting at least one morpheme constituting the minimum unit of the character string as first morpheme information based on the identified character string;
Collating the extracted first morpheme information with each second morpheme information, and searching the second morpheme information including the first morpheme information from the second morpheme information;
Based on the retrieved search results, the second morpheme information is ranked among the second morpheme information according to the frequency with which the second morpheme information including the first morpheme information is retrieved;
Collating the rank with each of the previously stored codes based on the ranked rank, and obtaining the code that matches the rank from the codes;
And displaying the face image associated with the code on the screen based on the acquired code.
検索される前記頻度が低い場合には、低いランクにランク付けし、検索される前記頻度が高い場合には、高いランクにランク付することを特徴とする顔画像表示方法。The face image display method according to claim 5,
A face image display method characterized by ranking a low rank when the frequency of searching is low and ranking a high rank when the frequency of searching is high.
ランク付けられたランクの大きさを前記入力情報に対する理解度とすることを特徴とする顔画像表示方法。A face image display method according to any one of claims 5 and 6,
A face image display method characterized in that a rank of the ranked rank is used as an understanding level of the input information.
ランク付けられたランクの大きさを前記利用者に対して抱く感情度又は対立度とすることを特徴とする顔画像表示方法。A face image display method according to any one of claims 5 and 6,
A face image display method characterized in that the rank of the ranked rank is set as an emotion level or a confrontation level for the user.
人間、動物等の顔の画像からなる顔画像には、文字、数値などの符号がそれぞれに対応付けられており、該顔画像を予め複数記憶するステップと、
一つの文字、複数の文字列又はこれらの組み合わせからなる形態素を示す第二形態素情報を予め複数記憶するステップと、
利用者から入力された音声等の入力情報に基づいて、該入力情報を示す文字列を特定するステップと、
特定された前記文字列に基づいて、該文字列の最小単位を構成する少なくとも一つの形態素を第一形態素情報として抽出するステップと、
抽出された前記第一形態素情報と前記各第二形態素情報とを照合し、該各第二形態素情報の中から、該第一形態素情報を含む前記第二形態素情報を検索するステップと、
検索された検索結果に基づいて、前記各第二形態素情報の中から、前記第一形態素情報を含む前記第二形態素情報が検索される頻度の大きさに応じてランク付するステップと、
ランク付されたランクに基づいて、該ランクと予め記憶された前記各符号とを照合し、該各符号の中から、該ランクと一致する前記符号を取得するステップと、
取得された前記符号に基づいて、該符号に対応付けられた前記顔画像を画面上に表示させるステップと
を有する処理を実行させるためのプログラム。On the computer,
A face image formed of a face image of a human, an animal, or the like is associated with a code such as a character or a numerical value, and stores a plurality of the face images in advance.
Storing in advance a plurality of second morpheme information indicating a morpheme consisting of one character, a plurality of character strings, or a combination thereof;
Identifying a character string indicating the input information based on input information such as voice input from a user;
Extracting at least one morpheme constituting the minimum unit of the character string as first morpheme information based on the identified character string;
Collating the extracted first morpheme information with each second morpheme information, and searching the second morpheme information including the first morpheme information from the second morpheme information;
Based on the retrieved search results, the second morpheme information is ranked among the second morpheme information according to the frequency with which the second morpheme information including the first morpheme information is retrieved;
Collating the rank with each of the previously stored codes based on the ranked rank, and obtaining the code that matches the rank from the codes;
A program for executing a process including a step of displaying, on the screen, the face image associated with the code based on the acquired code.
検索される前記頻度が低い場合には、低いランクにランク付けし、検索される前記頻度が高い場合には、高いランクにランク付する処理を実行させるためのプログラム。The program according to claim 9, wherein
A program for executing a process of ranking a low rank when the frequency to be searched is low and ranking a high rank when the frequency to be searched is high.
ランク付けられたランクの大きさを前記入力情報に対する理解度とすることを特徴とするプログラム。A program according to any one of claims 9 and 10,
A program characterized in that a rank of the ranked rank is used as an understanding level for the input information.
ランク付けられたランクの大きさを前記利用者に対して抱く感情度又は対立度とすることを特徴とするプログラム。A program according to any one of claims 9 and 10,
A program characterized in that the rank of the ranked rank is the degree of emotion or confrontation held for the user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002181785A JP4038399B2 (en) | 2002-06-21 | 2002-06-21 | Face image display device, face image display method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002181785A JP4038399B2 (en) | 2002-06-21 | 2002-06-21 | Face image display device, face image display method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004029147A JP2004029147A (en) | 2004-01-29 |
JP4038399B2 true JP4038399B2 (en) | 2008-01-23 |
Family
ID=31178539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002181785A Expired - Lifetime JP4038399B2 (en) | 2002-06-21 | 2002-06-21 | Face image display device, face image display method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4038399B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015176058A (en) * | 2014-03-17 | 2015-10-05 | 株式会社東芝 | Electronic apparatus and method and program |
JP6391386B2 (en) * | 2014-09-22 | 2018-09-19 | シャープ株式会社 | Server, server control method, and server control program |
-
2002
- 2002-06-21 JP JP2002181785A patent/JP4038399B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004029147A (en) | 2004-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2003085550A1 (en) | Conversation control system and conversation control method | |
JP4279883B2 (en) | Conversation control system, conversation control method, program, and recording medium recording program | |
JP3997105B2 (en) | Conversation control system, conversation control device | |
JP4038399B2 (en) | Face image display device, face image display method and program | |
JP2004258902A (en) | Conversation controller, and conversation control method | |
JP4110012B2 (en) | Conversation control device and conversation control method | |
JP4913850B2 (en) | Information processing system and information processing method | |
JP4110011B2 (en) | Conversation control device and conversation control method | |
JP3923378B2 (en) | Robot control apparatus, robot control method and program | |
JP4413486B2 (en) | Home appliance control device, home appliance control method and program | |
JP4434553B2 (en) | Information processing system, information processing apparatus, information processing method, program, and recording medium recording the program | |
JP4188622B2 (en) | Access system and access control method | |
JP4205370B2 (en) | Conversation control system, conversation control method and program | |
JP4109964B2 (en) | Information output device, information output method, and program | |
JP3927067B2 (en) | Conversation control system, conversation control device, conversation control method, program, and recording medium recording program | |
JP3947421B2 (en) | Conversation control system, conversation control method, program, and recording medium recording program | |
JP4274760B2 (en) | Map output device, map output method and program | |
JP4402868B2 (en) | Information acquisition apparatus, information acquisition method, and program | |
JP2004097614A (en) | Game device, game control method, and program | |
JP4832701B2 (en) | Game machine, game control method, control program | |
JP4253487B2 (en) | Information acquisition device | |
JP4116367B2 (en) | Conversation control system, conversation control method, program | |
JP4243079B2 (en) | Premium discharging device, premium discharging control method and program | |
JP2004062685A (en) | Information processing system, information processing method and program | |
JP4316839B2 (en) | Conversation control device and conversation control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4038399 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
S631 | Written request for registration of reclamation of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313631 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131109 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |