JP6759907B2 - 情報提示装置及びプログラム - Google Patents
情報提示装置及びプログラム Download PDFInfo
- Publication number
- JP6759907B2 JP6759907B2 JP2016177384A JP2016177384A JP6759907B2 JP 6759907 B2 JP6759907 B2 JP 6759907B2 JP 2016177384 A JP2016177384 A JP 2016177384A JP 2016177384 A JP2016177384 A JP 2016177384A JP 6759907 B2 JP6759907 B2 JP 6759907B2
- Authority
- JP
- Japan
- Prior art keywords
- reaction
- data
- priority
- classification
- presentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、情報提示装置及びプログラムに関する。
従来、応答情報に対する音声態様（返答時間、音量、話速）に基づいて、ユーザの反応の良し悪しを評価し、応答情報の優先度を変更する対話装置が開示されている（例えば、特許文献１）。
音声態様のみでは、ユーザの反応の把握に限界があり、応答情報がそのユーザに適さない可能性があった。
そこで、本発明は、ユーザに対してより適した情報を提示することが可能な情報提示装置及びプログラムを提供することを目的とする。
本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、人の分類ごとに、提示データと、前記提示データの優先度とを対応付けて記憶する提示データ記憶部と、対象者の分類を特定する分類特定手段と、前記分類特定手段が特定した前記対象者の分類に対応する提示データを、対応付けられた優先度を参照して前記提示データ記憶部から抽出して出力する提示データ出力手段と、前記対象者の反応を示すデータを取得する反応取得手段と、前記反応取得手段が取得した前記反応を示すデータに基づいて、前記提示データ記憶部の前記優先度を変更する優先度変更手段と、を備える情報提示装置である。
第２の発明は、第１の発明の情報提示装置において、前記反応取得手段は、前記提示データ出力手段が前記提示データを出力する前後での前記対象者の反応を示すデータを取得し、前記優先度変更手段は、前記反応取得手段が取得した前記提示データを出力した前後での反応を示すデータの反応変化に基づいて、前記提示データ記憶部の前記優先度を変更すること、を特徴とする情報提示装置である。
第３の発明は、第１の発明又は第２の発明の情報提示装置において、前記対象者を含む画像を分析する画像分析手段と、前記画像分析手段による分析結果に基づいて、前記対象者の特徴を取得する特徴取得手段と、を備え、前記分類特定手段は、前記特徴取得手段が取得した特徴に基づいて、前記対象者の前記分類を特定すること、を特徴とする情報提示装置である。
第４の発明は、第１の発明から第３の発明までのいずれかの情報提示装置において、分類ごとに質問文と対応する回答とを記憶した質問文データ記憶部と、前記質問文データ記憶部に記憶された１以上の前記質問文を出力する質問文出力手段と、を備え、前記分類特定手段は、前記反応取得手段が取得した前記質問文に対する前記対象者の回答に基づいて、前記対象者の分類を特定すること、を特徴とする情報提示装置である。
第５の発明は、第１の発明から第４の発明までのいずれかの情報提示装置において、前記反応取得手段は、前記対象者の反応を示すデータを、前記対象者を含む画像及び必要に応じて音声を分析することにより取得すること、を特徴とする情報提示装置である。
第６の発明は、第１の発明から第５の発明までのいずれかの情報提示装置において、人の反応を示す反応データと、優先度の変更値とを対応付けた優先度補正データ記憶部を備え、前記優先度変更手段は、前記反応取得手段が取得した前記反応を示すデータに基づく前記変更値を、前記優先度補正データ記憶部から抽出して、前記提示データ記憶部の前記優先度に適用すること、を特徴とする情報提示装置である。
第７の発明は、第６の発明の情報提示装置において、前記優先度補正データ記憶部は、前記分類ごとに前記反応データに対する前記変更値を記憶すること、を特徴とする情報提示装置である。
第８の発明は、第１の発明から第７の発明までのいずれかの情報提示装置において、前記優先度変更手段は、前記反応取得手段が取得した前記反応を示すデータが肯定的な反応を示す場合に、前記優先度を高く変更し、前記反応を示すデータが否定的な反応を示す場合に、前記優先度を低く変更すること、を特徴とする情報提示装置である。
第９の発明は、第１の発明から第８の発明までのいずれかの情報提示装置としてコンピュータを機能させるためのプログラムである。
第１の発明は、人の分類ごとに、提示データと、前記提示データの優先度とを対応付けて記憶する提示データ記憶部と、対象者の分類を特定する分類特定手段と、前記分類特定手段が特定した前記対象者の分類に対応する提示データを、対応付けられた優先度を参照して前記提示データ記憶部から抽出して出力する提示データ出力手段と、前記対象者の反応を示すデータを取得する反応取得手段と、前記反応取得手段が取得した前記反応を示すデータに基づいて、前記提示データ記憶部の前記優先度を変更する優先度変更手段と、を備える情報提示装置である。
第２の発明は、第１の発明の情報提示装置において、前記反応取得手段は、前記提示データ出力手段が前記提示データを出力する前後での前記対象者の反応を示すデータを取得し、前記優先度変更手段は、前記反応取得手段が取得した前記提示データを出力した前後での反応を示すデータの反応変化に基づいて、前記提示データ記憶部の前記優先度を変更すること、を特徴とする情報提示装置である。
第３の発明は、第１の発明又は第２の発明の情報提示装置において、前記対象者を含む画像を分析する画像分析手段と、前記画像分析手段による分析結果に基づいて、前記対象者の特徴を取得する特徴取得手段と、を備え、前記分類特定手段は、前記特徴取得手段が取得した特徴に基づいて、前記対象者の前記分類を特定すること、を特徴とする情報提示装置である。
第４の発明は、第１の発明から第３の発明までのいずれかの情報提示装置において、分類ごとに質問文と対応する回答とを記憶した質問文データ記憶部と、前記質問文データ記憶部に記憶された１以上の前記質問文を出力する質問文出力手段と、を備え、前記分類特定手段は、前記反応取得手段が取得した前記質問文に対する前記対象者の回答に基づいて、前記対象者の分類を特定すること、を特徴とする情報提示装置である。
第５の発明は、第１の発明から第４の発明までのいずれかの情報提示装置において、前記反応取得手段は、前記対象者の反応を示すデータを、前記対象者を含む画像及び必要に応じて音声を分析することにより取得すること、を特徴とする情報提示装置である。
第６の発明は、第１の発明から第５の発明までのいずれかの情報提示装置において、人の反応を示す反応データと、優先度の変更値とを対応付けた優先度補正データ記憶部を備え、前記優先度変更手段は、前記反応取得手段が取得した前記反応を示すデータに基づく前記変更値を、前記優先度補正データ記憶部から抽出して、前記提示データ記憶部の前記優先度に適用すること、を特徴とする情報提示装置である。
第７の発明は、第６の発明の情報提示装置において、前記優先度補正データ記憶部は、前記分類ごとに前記反応データに対する前記変更値を記憶すること、を特徴とする情報提示装置である。
第８の発明は、第１の発明から第７の発明までのいずれかの情報提示装置において、前記優先度変更手段は、前記反応取得手段が取得した前記反応を示すデータが肯定的な反応を示す場合に、前記優先度を高く変更し、前記反応を示すデータが否定的な反応を示す場合に、前記優先度を低く変更すること、を特徴とする情報提示装置である。
第９の発明は、第１の発明から第８の発明までのいずれかの情報提示装置としてコンピュータを機能させるためのプログラムである。
本発明によれば、ユーザに対してより適した情報を提示することが可能な情報提示装置及びプログラムを提供することができる。
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
＜情報提示システム１００＞
図１は、本実施形態に係る情報提示システム１００の運用に適する場面例を示す図である。
図２は、本実施形態に係る情報提示システム１００の機能ブロック図である。
図３は、本実施形態に係るサーバ１の記憶部２０の例を示す図である。
（実施形態）
＜情報提示システム１００＞
図１は、本実施形態に係る情報提示システム１００の運用に適する場面例を示す図である。
図２は、本実施形態に係る情報提示システム１００の機能ブロック図である。
図３は、本実施形態に係るサーバ１の記憶部２０の例を示す図である。
情報提示システム１００（情報提示装置）は、ロボット４を用いたシステムである。ロボット４は、例えば、展示場内、店舗内等のスペースＳに配置されている。図１に示す例では、ロボット４は、書籍が並んだスペースＳに配置されている。
ロボット４は、例えば、高さが１ｍ程度の人型のロボットである。
そして、ロボット４は、スペースＳにいるユーザＰ（対象者）を含む画像を取得して、ユーザＰに適した書籍に関する情報を、ユーザＰに対して提示する。
図２に示すように、情報提示システム１００は、サーバ１と、ロボット４とを備え、サーバ１と、ロボット４とは、通信ネットワークＮを介して接続されている。
ロボット４は、例えば、高さが１ｍ程度の人型のロボットである。
そして、ロボット４は、スペースＳにいるユーザＰ（対象者）を含む画像を取得して、ユーザＰに適した書籍に関する情報を、ユーザＰに対して提示する。
図２に示すように、情報提示システム１００は、サーバ１と、ロボット４とを備え、サーバ１と、ロボット４とは、通信ネットワークＮを介して接続されている。
＜サーバ１＞
サーバ１は、ロボット４がユーザＰに対して提示する情報を管理し、ユーザＰの反応から提示する情報を学習する装置である。サーバ１は、ロボット４から画像及び音声データを受信する。そして、サーバ１は、画像データに含まれるユーザＰに適する提示データを、ユーザＰの分類と優先度とに基づいて抽出し、ロボット４に送信する。また、サーバ１は、提示データをロボット４が提示した後に取得した画像及び音声データを受信して、提示データに関する学習をする。
サーバ１は、ロボット４がユーザＰに対して提示する情報を管理し、ユーザＰの反応から提示する情報を学習する装置である。サーバ１は、ロボット４から画像及び音声データを受信する。そして、サーバ１は、画像データに含まれるユーザＰに適する提示データを、ユーザＰの分類と優先度とに基づいて抽出し、ロボット４に送信する。また、サーバ１は、提示データをロボット４が提示した後に取得した画像及び音声データを受信して、提示データに関する学習をする。
サーバ１は、制御部１０と、記憶部２０と、通信インタフェース部２９とを備える。
制御部１０は、サーバ１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部１０は、ロボット取得データ受信部１１と、取得データ分析部１２（画像分析手段）と、特徴取得部１３（特徴取得手段）と、分類特定部１４（分類特定手段）と、提示データ決定部１５と、提示データ送信部１６と、反応取得部１７（反応取得手段）と、優先度更新部１８（優先度変更手段）とを備える。
制御部１０は、サーバ１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部１０は、ロボット取得データ受信部１１と、取得データ分析部１２（画像分析手段）と、特徴取得部１３（特徴取得手段）と、分類特定部１４（分類特定手段）と、提示データ決定部１５と、提示データ送信部１６と、反応取得部１７（反応取得手段）と、優先度更新部１８（優先度変更手段）とを備える。
ロボット取得データ受信部１１は、ロボット４から画像及び音声データを受信する。
取得データ分析部１２は、ロボット取得データ受信部１１が受信した画像データを分析する。具体的には、取得データ分析部１２は、画像データに人を含むか否かを分析する。
特徴取得部１３は、取得データ分析部１２が分析した画像データの分析結果と、音声データとから、画像及び音声に含まれるユーザＰの特徴を取得する。
分類特定部１４は、特徴取得部１３が取得したユーザＰの特徴に基づいて、ユーザＰの分類を特定する。
提示データ決定部１５は、分類特定部１４が特定したユーザＰの分類と、優先度とに基づいて、提示データ記憶部２２の提示データを決定する。
提示データ送信部１６は、提示データ決定部１５が決定した提示データを、提示データ記憶部２２から抽出して、ロボット４に対して送信する。
取得データ分析部１２は、ロボット取得データ受信部１１が受信した画像データを分析する。具体的には、取得データ分析部１２は、画像データに人を含むか否かを分析する。
特徴取得部１３は、取得データ分析部１２が分析した画像データの分析結果と、音声データとから、画像及び音声に含まれるユーザＰの特徴を取得する。
分類特定部１４は、特徴取得部１３が取得したユーザＰの特徴に基づいて、ユーザＰの分類を特定する。
提示データ決定部１５は、分類特定部１４が特定したユーザＰの分類と、優先度とに基づいて、提示データ記憶部２２の提示データを決定する。
提示データ送信部１６は、提示データ決定部１５が決定した提示データを、提示データ記憶部２２から抽出して、ロボット４に対して送信する。
反応取得部１７は、取得データ分析部１２が分析した画像及び音声データの分析結果から、画像に含まれるユーザＰの反応を示すデータを取得する。より具体的には、反応取得部１７は、ロボット４が提示データを出力した後のユーザＰを含む画像及び音声データを分析した結果によって、ユーザＰの反応を示すデータを取得する。また、反応取得部１７は、ロボット４が提示データを出力する前後でのユーザＰを含む画像及び音声データを分析した結果によって、ユーザＰの反応を示すデータを取得してもよい。ユーザＰの反応を示すデータとしては、例えば、ジェスチャ、表情、発話内容等が該当する。
優先度更新部１８は、反応取得部１７が取得した反応を示すデータに基づいて、提示データ記憶部２２に記憶された優先度を変更する。より具体的には、優先度更新部１８は、反応を示すデータが肯定的な反応を示す場合に、優先度を上げる（高くする）変更をし、否定的な反応を示す場合に、優先度を下げる（低くする）変更をする。また、優先度更新部１８は、より肯定的な反応には、優先度をより高く変更し、より否定的な反応には、優先度をより低く変更する。
優先度更新部１８は、反応取得部１７が取得した反応を示すデータに基づいて、提示データ記憶部２２に記憶された優先度を変更する。より具体的には、優先度更新部１８は、反応を示すデータが肯定的な反応を示す場合に、優先度を上げる（高くする）変更をし、否定的な反応を示す場合に、優先度を下げる（低くする）変更をする。また、優先度更新部１８は、より肯定的な反応には、優先度をより高く変更し、より否定的な反応には、優先度をより低く変更する。
記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部２０は、プログラム記憶部２１と、提示データ記憶部２２と、優先度補正データ記憶部２３とを備える。
プログラム記憶部２１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部２１は、上述した制御部１０の各種機能を実行するための提示プログラム２１ａ（プログラム）を記憶している。
記憶部２０は、プログラム記憶部２１と、提示データ記憶部２２と、優先度補正データ記憶部２３とを備える。
プログラム記憶部２１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部２１は、上述した制御部１０の各種機能を実行するための提示プログラム２１ａ（プログラム）を記憶している。
提示データ記憶部２２は、ロボット４がユーザＰに対して提示する提示データを記憶する記憶領域である。
図３（Ａ）に示すように、提示データ記憶部２２は、ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）に対応付けて、分類と、優先度と、提示データとを記憶している。
ＩＤは、レコードを一意に決定するための識別情報である。
分類は、人の属性や印象を表すものであり、人の特徴から決定される。
優先度は、提示データを抽出する度合いを示し、優先度が高いほど、抽出度合いが高くなる。なお、この例では、優先度は、０以上１以下の数値で示されているが、これに限定されない。
提示データは、ロボット４がユーザＰに対して出力するデータであって、例えば、音声データである。この例では、提示データは、ユーザＰに適する書籍のジャンルを含むデータである。
図３（Ａ）に示すように、提示データ記憶部２２は、ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）に対応付けて、分類と、優先度と、提示データとを記憶している。
ＩＤは、レコードを一意に決定するための識別情報である。
分類は、人の属性や印象を表すものであり、人の特徴から決定される。
優先度は、提示データを抽出する度合いを示し、優先度が高いほど、抽出度合いが高くなる。なお、この例では、優先度は、０以上１以下の数値で示されているが、これに限定されない。
提示データは、ロボット４がユーザＰに対して出力するデータであって、例えば、音声データである。この例では、提示データは、ユーザＰに適する書籍のジャンルを含むデータである。
図２に戻り、優先度補正データ記憶部２３は、提示データ記憶部２２の優先度を変更するための優先度変更値を記憶する記憶領域である。
図３（Ｂ）に示すように、優先度補正データ記憶部２３は、反応データと、優先度変更値とを対応付けて記憶する。
反応データは、人の反応を示すデータであり、例えば、ジェスチャ、表情、発話内容等が該当する。
優先度変更値は、提示データ記憶部２２の優先度に適用させる値である。この例では、１桁の数字で表しているが、これに限定されるものではない。優先度変更値は、反応データが肯定的な良い反応であるほど、プラスの値が大きい。例えば、反応が「うなずき」より「驚いた顔」の方が、プラスの値がより大きくなっている。他方、反応データが否定的な悪い反応であるほど、優先度変更値は、マイナスの値が大きい。例えば、反応が「首ふり」より「首かしげ」の方が、マイナスの値がより大きくなっている。
図２に戻り、通信インタフェース部２９は、ロボット４との間の通信を行うためのインタフェースである。
図３（Ｂ）に示すように、優先度補正データ記憶部２３は、反応データと、優先度変更値とを対応付けて記憶する。
反応データは、人の反応を示すデータであり、例えば、ジェスチャ、表情、発話内容等が該当する。
優先度変更値は、提示データ記憶部２２の優先度に適用させる値である。この例では、１桁の数字で表しているが、これに限定されるものではない。優先度変更値は、反応データが肯定的な良い反応であるほど、プラスの値が大きい。例えば、反応が「うなずき」より「驚いた顔」の方が、プラスの値がより大きくなっている。他方、反応データが否定的な悪い反応であるほど、優先度変更値は、マイナスの値が大きい。例えば、反応が「首ふり」より「首かしげ」の方が、マイナスの値がより大きくなっている。
図２に戻り、通信インタフェース部２９は、ロボット４との間の通信を行うためのインタフェースである。
＜ロボット４＞
ロボット４は、ユーザＰの画像及び音声データを取得してサーバ１に送信し、サーバ１から受信した提示データを出力する。
ロボット４は、制御部４０と、記憶部５０と、カメラ５２と、マイク５３と、スピーカ５４と、モータ部５５と、通信インタフェース部５９とを備える。
制御部４０は、ロボット４の全体を制御するＣＰＵである。制御部４０は、記憶部５０に記憶されているＯＳやアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
ロボット４は、ユーザＰの画像及び音声データを取得してサーバ１に送信し、サーバ１から受信した提示データを出力する。
ロボット４は、制御部４０と、記憶部５０と、カメラ５２と、マイク５３と、スピーカ５４と、モータ部５５と、通信インタフェース部５９とを備える。
制御部４０は、ロボット４の全体を制御するＣＰＵである。制御部４０は、記憶部５０に記憶されているＯＳやアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部４０は、取得データ送信部４１と、提示データ受信部４２と、出力制御部４３（提示データ出力手段）とを備える。
取得データ送信部４１は、カメラ５２により取得した画像データと、マイク５３により取得した音声データとを、サーバ１に対して送信する。
提示データ受信部４２は、サーバ１から提示データを受信する。
出力制御部４３は、提示データ受信部４２が受信した提示データを、スピーカ５４を介して出力する。
取得データ送信部４１は、カメラ５２により取得した画像データと、マイク５３により取得した音声データとを、サーバ１に対して送信する。
提示データ受信部４２は、サーバ１から提示データを受信する。
出力制御部４３は、提示データ受信部４２が受信した提示データを、スピーカ５４を介して出力する。
記憶部５０は、制御部４０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
カメラ５２は、撮影装置である。カメラ５２は、例えば、ロボット４の目の部分に対応する位置に設けられている。そして、カメラ５２は、ロボット４が向いた方向の被写体を撮影する。
マイク５３は、集音装置である。マイク５３は、例えば、ロボット４の耳の部分に対応する位置に設けられている。マイク５３は、ロボット４の周辺の音声を集音する。
スピーカ５４は、音声出力装置である。スピーカ５４は、例えば、ロボット４の口の部分に対応する位置に設けられている。そして、スピーカ５４は、制御部４０（出力制御部４３）の指示に基づいて音声を出力する。
カメラ５２は、撮影装置である。カメラ５２は、例えば、ロボット４の目の部分に対応する位置に設けられている。そして、カメラ５２は、ロボット４が向いた方向の被写体を撮影する。
マイク５３は、集音装置である。マイク５３は、例えば、ロボット４の耳の部分に対応する位置に設けられている。マイク５３は、ロボット４の周辺の音声を集音する。
スピーカ５４は、音声出力装置である。スピーカ５４は、例えば、ロボット４の口の部分に対応する位置に設けられている。そして、スピーカ５４は、制御部４０（出力制御部４３）の指示に基づいて音声を出力する。
モータ部５５は、ロボット４に動作をさせるためのモータである。モータ部５５は、制御部４０によって制御され、例えば、頭部モータや、足部モータ等（図示せず）を備える。頭部モータは、スペースＳ内の被写体を撮影するために、頭部を上下左右に動かす。また、足部モータは、ロボット４の足部にあり、ロボット４を移動させる。
通信インタフェース部５９は、サーバ１との間の通信を行うためのインタフェースである。
通信ネットワークＮは、例えば、無線通信網等である。
通信インタフェース部５９は、サーバ１との間の通信を行うためのインタフェースである。
通信ネットワークＮは、例えば、無線通信網等である。
＜情報提示システム１００の処理＞
次に、情報提示システム１００の処理について説明する。
図４及び図５は、本実施形態に係る情報提示システム１００での情報提示処理を示すフローチャートである。
この情報提示処理は、適宜のタイミングで処理を開始する。情報提示処理は、適宜のタイミングとして、例えば、ロボット４の図示しない電源がＯＮになっている間には、常に行ってもよいし、５分おき等の時間間隔をおいて行ってもよい。また、提示データを出力するまでは、常に実行し、提示データを出力した場合には、少しの時間間隔を空けて行ってもよい。
次に、情報提示システム１００の処理について説明する。
図４及び図５は、本実施形態に係る情報提示システム１００での情報提示処理を示すフローチャートである。
この情報提示処理は、適宜のタイミングで処理を開始する。情報提示処理は、適宜のタイミングとして、例えば、ロボット４の図示しない電源がＯＮになっている間には、常に行ってもよいし、５分おき等の時間間隔をおいて行ってもよい。また、提示データを出力するまでは、常に実行し、提示データを出力した場合には、少しの時間間隔を空けて行ってもよい。
図４のステップＳ（以下、「Ｓ」という。）１０において、ロボット４の制御部４０は、画像及び音声データを取得する。制御部４０は、カメラ５２から画像データを取得し、マイク５３から音声データを取得する。
Ｓ１１において、制御部４０（取得データ送信部４１）は、サーバ１に対して画像及び音声データを送信する。その後、制御部４０は、処理をＳ１３に移す。
Ｓ１１において、制御部４０（取得データ送信部４１）は、サーバ１に対して画像及び音声データを送信する。その後、制御部４０は、処理をＳ１３に移す。
Ｓ２０において、サーバ１の制御部１０（ロボット取得データ受信部１１）は、ロボット４が送信した画像及び音声データを受信する。
Ｓ２１において、制御部１０（取得データ分析部１２）は、受信した画像データを分析する。制御部１０は、分析処理として、例えば、公知の人検出や、顔検出の技術を用いることで、画像の人物を特定する処理を行う。
Ｓ２２において、制御部１０は、Ｓ２１による分析結果として、画像に人物を含むか否かを判断する。人物を含むと判断した場合（Ｓ２２：ＹＥＳ）には、制御部１０は、処理をＳ２３に移す。他方、人物を含まないと判断した場合（Ｓ２２：ＮＯ）には、制御部１０は、本処理を終了する。なお、人物を含むと判断した場合には、制御部１０は、その人物をユーザＰにする。また、複数の人物を含むと判断した場合には、制御部１０は、そのうちの１人をユーザＰにする。その際、制御部１０は、例えば、ロボット４に最も近い人物を、ユーザＰにする。
Ｓ２１において、制御部１０（取得データ分析部１２）は、受信した画像データを分析する。制御部１０は、分析処理として、例えば、公知の人検出や、顔検出の技術を用いることで、画像の人物を特定する処理を行う。
Ｓ２２において、制御部１０は、Ｓ２１による分析結果として、画像に人物を含むか否かを判断する。人物を含むと判断した場合（Ｓ２２：ＹＥＳ）には、制御部１０は、処理をＳ２３に移す。他方、人物を含まないと判断した場合（Ｓ２２：ＮＯ）には、制御部１０は、本処理を終了する。なお、人物を含むと判断した場合には、制御部１０は、その人物をユーザＰにする。また、複数の人物を含むと判断した場合には、制御部１０は、そのうちの１人をユーザＰにする。その際、制御部１０は、例えば、ロボット４に最も近い人物を、ユーザＰにする。
Ｓ２３において、制御部１０（特徴取得部１３）は、ユーザＰの特徴を、画像データ及び音声データから取得する。そして、制御部１０（分類特定部１４）は、ユーザＰの特徴から分類を特定する。
ユーザＰの特徴は、例えば、画像データを分析することにより得られる年代や性別に関するものや、カラーマッチングによる印象判定等がある。カラーマッチングによる印象判定は、例えば、色と、その色が与える印象に関する形容詞とを対応付けたデータを用いて、画像データから得られた色に基づいて印象を判定する。印象判定により得られる結果は、具体例として、「クラシック−ダンディ」、「プリティ−子供らしい」、「ナチュラル−新鮮」等がある。
また、ユーザＰの特徴は、例えば、音声データを分析することにより得られるその人物の母国に関するものがある。これは、音声データから言語を判定することで、日本語であれば、日本人であり、中国語であれば、中国人である等を得ることができる。
そして、分類は、人の特徴に対応付けた複数のカテゴリであり、予め定められている。制御部１０は、その分類のうち、ユーザＰの特徴に最も合うものを、ユーザＰの分類として特定する。
ユーザＰの特徴は、例えば、画像データを分析することにより得られる年代や性別に関するものや、カラーマッチングによる印象判定等がある。カラーマッチングによる印象判定は、例えば、色と、その色が与える印象に関する形容詞とを対応付けたデータを用いて、画像データから得られた色に基づいて印象を判定する。印象判定により得られる結果は、具体例として、「クラシック−ダンディ」、「プリティ−子供らしい」、「ナチュラル−新鮮」等がある。
また、ユーザＰの特徴は、例えば、音声データを分析することにより得られるその人物の母国に関するものがある。これは、音声データから言語を判定することで、日本語であれば、日本人であり、中国語であれば、中国人である等を得ることができる。
そして、分類は、人の特徴に対応付けた複数のカテゴリであり、予め定められている。制御部１０は、その分類のうち、ユーザＰの特徴に最も合うものを、ユーザＰの分類として特定する。
Ｓ２４において、制御部１０（提示データ決定部１５）は、特定した分類と、優先度とに基づいて、提示データ記憶部２２の提示データを決定する。
例えば、Ｓ２３で特定した分類が、「３０代男性 クラシック」であれば、制御部１０は、図３（Ａ）に示す提示データ記憶部２２を参照して、優先度が最も高いＩＤが「Ｒ０３０１」であるレコード２２ａの提示データを決定してもよい。
ここで、提示データを決定するのに用いる手法としては、どのようなものでもよい。しかし、頻度は少なくてもよいが、優先度が低いものをも選ぶものであることが望ましい。具体的な手法としては、例えば、公知のＡ／Ｂテストや、バンディットアルゴリズム等を用いてもよい。
Ｓ２５において、制御部１０（提示データ送信部１６）は、決定した提示データを提示データ記憶部２２から抽出し、ロボット４に対して提示データを送信する。その後、制御部１０は、処理を図５のＳ３０に移す。
例えば、Ｓ２３で特定した分類が、「３０代男性 クラシック」であれば、制御部１０は、図３（Ａ）に示す提示データ記憶部２２を参照して、優先度が最も高いＩＤが「Ｒ０３０１」であるレコード２２ａの提示データを決定してもよい。
ここで、提示データを決定するのに用いる手法としては、どのようなものでもよい。しかし、頻度は少なくてもよいが、優先度が低いものをも選ぶものであることが望ましい。具体的な手法としては、例えば、公知のＡ／Ｂテストや、バンディットアルゴリズム等を用いてもよい。
Ｓ２５において、制御部１０（提示データ送信部１６）は、決定した提示データを提示データ記憶部２２から抽出し、ロボット４に対して提示データを送信する。その後、制御部１０は、処理を図５のＳ３０に移す。
Ｓ１３において、制御部４０（提示データ受信部４２）は、指定時間内に提示データを受信したか否かを判断する。指定時間とは、サーバ１での処理時間を考慮した時間をいい、例えば、１０秒等である。提示データを受信した場合（Ｓ１３：ＹＥＳ）には、制御部４０は、処理をＳ１４に移す。他方、提示データを受信しなかった場合（Ｓ１３：ＮＯ）には、制御部４０は、本処理を終了する。なお、提示データを受信しなかった場合は、例えば、ロボット４が送信した画像データに、人を含まなかった場合が該当する。その他、提示データを受信しなかった場合としては、サーバ１に不具合が発生した場合や、ロボット４とサーバ１との間の通信に問題があった場合等が考えられる。
Ｓ１４において、制御部４０（出力制御部４３）は、サーバ１から受信した提示データを、スピーカ５４を介して音声出力する。なお、制御部４０は、提示データを出力している際に、モータ部５５を駆動させて、頭や足を動かす動作をしてもよい。
このように、情報提示システム１００は、画像に含まれるユーザＰの特徴から、分類と優先度とによってユーザＰに適した提示データを、ロボット４から音声として出力させることができる。
このように、情報提示システム１００は、画像に含まれるユーザＰの特徴から、分類と優先度とによってユーザＰに適した提示データを、ロボット４から音声として出力させることができる。
図５のＳ１５において、制御部４０は、画像及び音声データを取得する。制御部４０は、例えば、Ｓ１４の処理による提示データを出力前後の画像及び音声データを取得してもよい。
Ｓ１６において、制御部４０（取得データ送信部４１）は、サーバ１に対して取得した画像及び音声データを送信する。その後、制御部４０は、本処理を終了する。
Ｓ１６において、制御部４０（取得データ送信部４１）は、サーバ１に対して取得した画像及び音声データを送信する。その後、制御部４０は、本処理を終了する。
Ｓ３０において、サーバ１の制御部１０（ロボット取得データ受信部１１）は、ロボット４が送信した画像及び音声データを受信する。
Ｓ３１において、制御部１０（取得データ分析部１２）は、受信した画像及び音声データを分析する。具体的には、制御部１０は、画像にユーザＰを含んでいるか否かを分析する。また、制御部１０は、画像にユーザＰを含んでいる場合に、ユーザＰの動作や表情を分析し、また、音声を分析する。
Ｓ３２において、制御部１０は、分析結果として、画像に先のユーザであるユーザＰを含むか否かを判断する。ユーザＰを含むと判断した場合（Ｓ３２：ＹＥＳ）には、制御部１０は、処理をＳ３３に移す。他方、ユーザＰを含まないと判断した場合（Ｓ３２：ＮＯ）には、制御部１０は、本処理を終了する。ここで、ユーザＰを含まない場合とは、例えば、ロボット４が提示データを出力する前に、ユーザＰが移動して、ロボット４のカメラ５２が撮影する画角外に移動した場合等が該当する。
Ｓ３１において、制御部１０（取得データ分析部１２）は、受信した画像及び音声データを分析する。具体的には、制御部１０は、画像にユーザＰを含んでいるか否かを分析する。また、制御部１０は、画像にユーザＰを含んでいる場合に、ユーザＰの動作や表情を分析し、また、音声を分析する。
Ｓ３２において、制御部１０は、分析結果として、画像に先のユーザであるユーザＰを含むか否かを判断する。ユーザＰを含むと判断した場合（Ｓ３２：ＹＥＳ）には、制御部１０は、処理をＳ３３に移す。他方、ユーザＰを含まないと判断した場合（Ｓ３２：ＮＯ）には、制御部１０は、本処理を終了する。ここで、ユーザＰを含まない場合とは、例えば、ロボット４が提示データを出力する前に、ユーザＰが移動して、ロボット４のカメラ５２が撮影する画角外に移動した場合等が該当する。
Ｓ３３において、制御部１０（反応取得部１７）は、Ｓ３１による分析結果として、ユーザＰの反応を示すデータを取得する。ユーザＰの反応を示すデータは、例えば、ユーザＰの動作（ジェスチャ）、ユーザＰの表情、ユーザＰの発話内容である。
Ｓ３４において、制御部１０は、優先度補正データ記憶部２３に、Ｓ３３で取得した反応を示すデータを含むか否かを判断する。反応を示すデータを含む場合（Ｓ３４：ＹＥＳ）には、制御部１０は、処理をＳ３５に移す。他方、反応を示すデータを含まない場合（Ｓ３４：ＮＯ）には、制御部１０は、本処理を終了する。
Ｓ３４において、制御部１０は、優先度補正データ記憶部２３に、Ｓ３３で取得した反応を示すデータを含むか否かを判断する。反応を示すデータを含む場合（Ｓ３４：ＹＥＳ）には、制御部１０は、処理をＳ３５に移す。他方、反応を示すデータを含まない場合（Ｓ３４：ＮＯ）には、制御部１０は、本処理を終了する。
具体的には、Ｓ３３で取得したユーザＰの反応を示すデータが、例えば、「首かしげ」のジェスチャであれば、図３（Ｂ）の優先度補正データ記憶部２３の反応データに「首かしげ」があるので、制御部１０は、反応を示すデータを含むと判断する。他方、Ｓ３３で取得したユーザＰの反応を示すデータが、例えば、「無表情」であれば、図３（Ｂ）の優先度補正データ記憶部２３の反応データにはなく、制御部１０は、反応を示すデータを含まないと判断する。
Ｓ３５において、制御部１０（優先度更新部１８）は、提示データ記憶部２２のうち、該当するレコードの優先度を更新する。具体的には、制御部１０は、提示データ記憶部２２にある「３０代男性 クラシック」のうち書籍ジャンル「小説」の優先度に、優先度補正データ記憶部２３の「首かしげ」の更新値「−２」を適用する。これにより、提示データ記憶部２２にある「３０代男性 クラシック」のうち書籍ジャンル「小説」の優先度は、低く設定される。その後、制御部１０は、本処理を終了する。
Ｓ３５において、制御部１０（優先度更新部１８）は、提示データ記憶部２２のうち、該当するレコードの優先度を更新する。具体的には、制御部１０は、提示データ記憶部２２にある「３０代男性 クラシック」のうち書籍ジャンル「小説」の優先度に、優先度補正データ記憶部２３の「首かしげ」の更新値「−２」を適用する。これにより、提示データ記憶部２２にある「３０代男性 クラシック」のうち書籍ジャンル「小説」の優先度は、低く設定される。その後、制御部１０は、本処理を終了する。
このように、情報提示システム１００は、提示データを出力した後のユーザＰの反応によって、提示データの優先度を変更する。よって、よりユーザＰの属する分類に合った提示データを、次に出力しやすくできる。
なお、情報提示処理は、ユーザＰの特徴を示す分類に基づいて、優先度を考慮して、ロボット４がユーザＰに対して話しかけを行うものである。その後のロボット４とユーザＰとの対話は、ロボット４や、サーバ１に有する他のアプリケーションプログラム等を用いて行ってもよい。
なお、情報提示処理は、ユーザＰの特徴を示す分類に基づいて、優先度を考慮して、ロボット４がユーザＰに対して話しかけを行うものである。その後のロボット４とユーザＰとの対話は、ロボット４や、サーバ１に有する他のアプリケーションプログラム等を用いて行ってもよい。
＜優先度更新処理＞
次に、上述した、提示データに対するユーザＰの反応に基づいて、提示データ記憶部２２の優先度を更新する処理について、具体例により説明する。
図６は、本実施形態に係る提示データ記憶部２２の元になる提示ルールの例を示す図である。
図６（Ａ）は、情報提示システム１００の構築時の提示ルール７１を示す。この提示ルール７１は、例えば、属性が３０代男性のものである。提示ルール７１は、縦軸を印象語とし、横軸を書籍ジャンルにした表である。なお、この例での分類は、属性と、印象語とによるものである。そして、縦軸と横軸とが交差するセルは、優先度を表す数値を示す。図３（Ａ）に示す提示データ記憶部２２は、この提示ルール７１を、データベース化したものである。具体的には、図３（Ａ）のレコード２２ａは、図６（Ａ）のセル７１ａに対応し、図３（Ａ）のレコード２２ｂ，２２ｃは、それぞれ図６（Ａ）のセル７１ｂ，７１ｃに対応する。
提示ルール７１を参照し、例えば、印象語が「ワイルド」である場合、優先度が高いのは、セル７１ｗであり、それは、書籍ジャンルが「社会」である。よって、情報提示システム１００は、この分類に属するユーザＰに対して、書籍ジャンルが「社会」であることを示す提示データを、高い頻度で提示する。
次に、上述した、提示データに対するユーザＰの反応に基づいて、提示データ記憶部２２の優先度を更新する処理について、具体例により説明する。
図６は、本実施形態に係る提示データ記憶部２２の元になる提示ルールの例を示す図である。
図６（Ａ）は、情報提示システム１００の構築時の提示ルール７１を示す。この提示ルール７１は、例えば、属性が３０代男性のものである。提示ルール７１は、縦軸を印象語とし、横軸を書籍ジャンルにした表である。なお、この例での分類は、属性と、印象語とによるものである。そして、縦軸と横軸とが交差するセルは、優先度を表す数値を示す。図３（Ａ）に示す提示データ記憶部２２は、この提示ルール７１を、データベース化したものである。具体的には、図３（Ａ）のレコード２２ａは、図６（Ａ）のセル７１ａに対応し、図３（Ａ）のレコード２２ｂ，２２ｃは、それぞれ図６（Ａ）のセル７１ｂ，７１ｃに対応する。
提示ルール７１を参照し、例えば、印象語が「ワイルド」である場合、優先度が高いのは、セル７１ｗであり、それは、書籍ジャンルが「社会」である。よって、情報提示システム１００は、この分類に属するユーザＰに対して、書籍ジャンルが「社会」であることを示す提示データを、高い頻度で提示する。
図６（Ｂ）は、図４及び図５で説明した情報提示処理を何回も行った後の提示ルール７２の例を示す。つまり、提示ルール７２は、提示ルール７１に対して学習した学習後のものである。
提示ルール７２を参照し、例えば、印象語が「ワイルド」である場合、優先度が高いのは、セル７２ｗであり、それは、書籍ジャンルが「社会」である。しかし、提示ルール７２のセル７２ｗは、提示ルール７１のセル７１ｗと比較して、優先度を表す数値が下がっている。また、印象語が「ワイルド」である場合、書籍ジャンルが「小説」や、「暮らし・実用」についても、数値が向上している。この数値が大きいほど、その分類のユーザの反応が肯定的であったことを示す。よって、情報提示システム１００は、この分類に属するユーザＰに対して、書籍ジャンルが「社会」であることを示す提示データの他に、「小説」や、「暮らし・実用」であることを示す提示データを、他のものよりも高い頻度で提示する。
提示ルール７２を参照し、例えば、印象語が「ワイルド」である場合、優先度が高いのは、セル７２ｗであり、それは、書籍ジャンルが「社会」である。しかし、提示ルール７２のセル７２ｗは、提示ルール７１のセル７１ｗと比較して、優先度を表す数値が下がっている。また、印象語が「ワイルド」である場合、書籍ジャンルが「小説」や、「暮らし・実用」についても、数値が向上している。この数値が大きいほど、その分類のユーザの反応が肯定的であったことを示す。よって、情報提示システム１００は、この分類に属するユーザＰに対して、書籍ジャンルが「社会」であることを示す提示データの他に、「小説」や、「暮らし・実用」であることを示す提示データを、他のものよりも高い頻度で提示する。
このように、本実施形態の情報提示システム１００によれば、以下のような効果がある。
（１）サーバ１が、ユーザＰの分類の提示データを、優先度に基づいて提示データ記憶部２２から抽出して送信し、ロボット４が提示データを音声出力する。よって、ロボット４がユーザＰに対して、ユーザＰに合う、適した情報を提示することができる。また、ロボット４がユーザＰに話かけをするように演出できる。
（２）提示データ記憶部２２は、分類ごとに優先度に対応付けて提示データを記憶しているので、サーバ１は、高い優先度に対する提示データを、高い頻度で出力することができる。
（３）提示データを出力した後のユーザＰの反応を取得して、提示データ記憶部２２の提示データに対する優先度を変更する。よって、ユーザＰの反応によって、優先度を変更することができる。
（１）サーバ１が、ユーザＰの分類の提示データを、優先度に基づいて提示データ記憶部２２から抽出して送信し、ロボット４が提示データを音声出力する。よって、ロボット４がユーザＰに対して、ユーザＰに合う、適した情報を提示することができる。また、ロボット４がユーザＰに話かけをするように演出できる。
（２）提示データ記憶部２２は、分類ごとに優先度に対応付けて提示データを記憶しているので、サーバ１は、高い優先度に対する提示データを、高い頻度で出力することができる。
（３）提示データを出力した後のユーザＰの反応を取得して、提示データ記憶部２２の提示データに対する優先度を変更する。よって、ユーザＰの反応によって、優先度を変更することができる。
（４）ユーザＰの反応を、画像データや音声データから取得する。よって、提示データに対するユーザＰのジェスチャや、発話内容を、ユーザＰの反応として取得できる。
（５）人の反応を示す反応データと、優先度の変更値とを対応付けた優先度補正データ記憶部２３を用いて、ユーザＰの反応を、提示データ記憶部２２の優先度に適用するので、ユーザＰの反応を数値化して、優先度に反映できる。
（６）ユーザＰを含む画像データ及び音声データから、ユーザＰの特徴を取得して、分類を特定できる。よって、ユーザＰの分類にあった提示データを出力できる。
（５）人の反応を示す反応データと、優先度の変更値とを対応付けた優先度補正データ記憶部２３を用いて、ユーザＰの反応を、提示データ記憶部２２の優先度に適用するので、ユーザＰの反応を数値化して、優先度に反映できる。
（６）ユーザＰを含む画像データ及び音声データから、ユーザＰの特徴を取得して、分類を特定できる。よって、ユーザＰの分類にあった提示データを出力できる。
（７）ユーザＰの反応が肯定的であれば、優先度が高くなるように提示データ記憶部２２を更新し、ユーザＰの反応が否定的であれば、優先度が低くなるように提示データ記憶部２２を更新する。よって、ユーザＰの反応によって、サーバ１が学習することで、提示データ記憶部２２の内容を学習した結果を反映させたものにできる。
（８）提示データ記憶部２２を最適化していくことで、時代に即して分類の提示データに対するユーザＰの反応が変化しても、それぞれの時代に対応できるものになる。
（８）提示データ記憶部２２を最適化していくことで、時代に即して分類の提示データに対するユーザＰの反応が変化しても、それぞれの時代に対応できるものになる。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
（変形形態）
（１）本実施形態では、ロボットがカメラ、マイク及びスピーカを備え、サーバで各種処理を行うものを例に説明したが、これに限定されない。サーバで行っている各種処理の全てを、ロボットにさせてもよい。また、サーバで行っている各種処理を、ロボットと、サーバとにより分担して行ってもよい。
（２）本実施形態では、ロボットのカメラを用いるものとして説明したが、これに限定されない。サーバが、ロボット以外のカメラから画像を受信してもよい。その場合には、カメラの位置は、コミュニケーションロボットの近傍にあることが望ましい。また、ロボットは、移動をしてユーザの近傍に近づくようにしてもよい。
（３）本実施形態では、ロボットがスピーカを備え、提示データを音声出力するものを例に説明したが、これに限定されない。ロボットにディスプレイを備え、提示データをディスプレイに出力するようにしてもよい。
（４）本実施形態では、ロボットが提示データを出力するものを例に説明したが、これに限定されない。例えば、デジタルサイネージ等の表示装置が提示データを出力するものであってもよい。
（１）本実施形態では、ロボットがカメラ、マイク及びスピーカを備え、サーバで各種処理を行うものを例に説明したが、これに限定されない。サーバで行っている各種処理の全てを、ロボットにさせてもよい。また、サーバで行っている各種処理を、ロボットと、サーバとにより分担して行ってもよい。
（２）本実施形態では、ロボットのカメラを用いるものとして説明したが、これに限定されない。サーバが、ロボット以外のカメラから画像を受信してもよい。その場合には、カメラの位置は、コミュニケーションロボットの近傍にあることが望ましい。また、ロボットは、移動をしてユーザの近傍に近づくようにしてもよい。
（３）本実施形態では、ロボットがスピーカを備え、提示データを音声出力するものを例に説明したが、これに限定されない。ロボットにディスプレイを備え、提示データをディスプレイに出力するようにしてもよい。
（４）本実施形態では、ロボットが提示データを出力するものを例に説明したが、これに限定されない。例えば、デジタルサイネージ等の表示装置が提示データを出力するものであってもよい。
（５）本実施形態では、適宜のタイミングで取得した画像を用いるものを例に説明したが、これに限定されない。例えば、動画データを用いてもよい。その場合には、動画データから複数の画像を取得して、画像ごとに画像分析処理をすればよい。
（６）本実施形態では、取得した画像に含まれる１のユーザに対して、画像分析処理をして分類を特定するものを例に説明したが、これに限定されない。例えば、取得した画像に含まれる全てのユーザを１つのグループとし、そのグループの特徴から分類を特定して、情報を提示するようにしてもよい。その場合には、提示データ記憶部には、分類を、複数人（グループ）の属性や印象を表すものにすればよい。
（６）本実施形態では、取得した画像に含まれる１のユーザに対して、画像分析処理をして分類を特定するものを例に説明したが、これに限定されない。例えば、取得した画像に含まれる全てのユーザを１つのグループとし、そのグループの特徴から分類を特定して、情報を提示するようにしてもよい。その場合には、提示データ記憶部には、分類を、複数人（グループ）の属性や印象を表すものにすればよい。
（７）本実施形態では、ロボットから取得した画像及び音声データに基づいてユーザの分類を特定するものを例に説明したが、これに限定されない。例えば、ユーザに分類の入力を求めるものであってもよい。この場合、例えば、ロボットがタッチパネルディスプレイを備え、そこにユーザの属性情報等（例えば、年齢、性別等）をユーザに直接入力してもらったり、ユーザが喋った属性情報等を音声認識したりすることで、分類を特定することが考えられる。
また、ロボットから取得した音声データに対して音声認識処理を行い、処理結果に基づいてユーザの分類を特定してもよい。
さらに、ロボットがスピーカを介して質問文を音声出力し、マイクを介してユーザからの回答を受け付けて、回答内容によってユーザの分類を特定してもよい。
また、ロボットから取得した音声データに対して音声認識処理を行い、処理結果に基づいてユーザの分類を特定してもよい。
さらに、ロボットがスピーカを介して質問文を音声出力し、マイクを介してユーザからの回答を受け付けて、回答内容によってユーザの分類を特定してもよい。
図７は、変形形態に係る情報提示システム２００でのユーザの分類特定処理を示すフローチャートである。サーバ１に対応するサーバ２０１は、図示しない質問文データ記憶部を、記憶部に備える。質問文データ記憶部は、分類ごとに質問文と対応する回答とを記憶している。
図７に示す処理は、図４のＳ２３に対応する処理である。
Ｓ２５０において、サーバ２０１の制御部は、１以上の質問文を質問文データ記憶部から抽出して、ロボット４に対応するロボット２０４に送信する。
Ｓ２５１において、ロボット２０４の制御部は、１以上の質問文を受信して、スピーカを介して音声出力する。
Ｓ２５２において、ロボット２０４の制御部は、画像及び音声データを取得する。
Ｓ２５３において、ロボット２０４の制御部は、サーバ１に対して取得した画像及び音声データを送信し、本処理を終了して図４に戻る。
図７に示す処理は、図４のＳ２３に対応する処理である。
Ｓ２５０において、サーバ２０１の制御部は、１以上の質問文を質問文データ記憶部から抽出して、ロボット４に対応するロボット２０４に送信する。
Ｓ２５１において、ロボット２０４の制御部は、１以上の質問文を受信して、スピーカを介して音声出力する。
Ｓ２５２において、ロボット２０４の制御部は、画像及び音声データを取得する。
Ｓ２５３において、ロボット２０４の制御部は、サーバ１に対して取得した画像及び音声データを送信し、本処理を終了して図４に戻る。
Ｓ２５４において、サーバ２０１の制御部は、ロボット２０４が送信した画像及び音声データを受信する。
Ｓ２５５において、サーバ２０１の制御部は、受信した音声データを分析する。具体的には、サーバ２０１の制御部は、音声データに対して音声認識処理を行い、文字列を得る。そして、質問文データ記憶部を参照し、音声認識処理によって得た文字列、つまり、ユーザが喋った回答に基づいて、ユーザの分類を特定する。
具体例としては、質問文が「子供の頃に遊んだおもちゃは何？」というものに対して、「ベーゴマ」と回答すれば、「６０代以上の男性」と分類を特定し、「テレビゲーム」と回答すれば、「３０代〜４０代」と分類を特定する、といったものである。なお、複数の質問文による回答で、分類を特定してもよい。
なお、質問文データ記憶部を新たに備えず、提示データ記憶部に含むようにしてもよい。
その後、サーバ２０１の制御部は、本処理を終了して図４に戻る。
Ｓ２５５において、サーバ２０１の制御部は、受信した音声データを分析する。具体的には、サーバ２０１の制御部は、音声データに対して音声認識処理を行い、文字列を得る。そして、質問文データ記憶部を参照し、音声認識処理によって得た文字列、つまり、ユーザが喋った回答に基づいて、ユーザの分類を特定する。
具体例としては、質問文が「子供の頃に遊んだおもちゃは何？」というものに対して、「ベーゴマ」と回答すれば、「６０代以上の男性」と分類を特定し、「テレビゲーム」と回答すれば、「３０代〜４０代」と分類を特定する、といったものである。なお、複数の質問文による回答で、分類を特定してもよい。
なお、質問文データ記憶部を新たに備えず、提示データ記憶部に含むようにしてもよい。
その後、サーバ２０１の制御部は、本処理を終了して図４に戻る。
（８）本実施形態では、優先度補正データ記憶部を用いて、提示データ記憶部の優先度を変更するものを例に説明したが、これに限定されない。例えば、優先度補正データ記憶部を、分類ごとに有するようにしてもよい。この場合、例えば、高齢者等のジェスチャや表情の変化が乏しい人が分類されている優先度補正データ記憶部のジェスチャや表情の変化に対する変更値を、若者等のジェスチャや表情の変化が豊かな人が分類されている優先度補正データ記憶部の変更値よりも高くする。このようにすることで、より分類に対応した優先度にすることができる。
（９）本実施形態では、提示データの出力後のユーザの反応により優先度を更新するものを例に説明したが、これに限定されない。ユーザの反応について、強化学習を行って、優先度を変更するようにしてもよい。
また、提示データの出力前後でのユーザの状態遷移を、反応を示すデータとして取得することで、ユーザの反応に関する変化によって、優先度を更新してもよい。例えば、笑顔だったユーザが、提示データを出力した後に笑顔がなくなった場合等が該当する。その場合には、提示データを出力した後での反応データを取得するだけでは、「無表情」として反応を示すデータを含まないと判断して優先度の更新をしないところを、笑顔が消えたという反応を示すデータの変化によって優先度を更新することができ、優先度をユーザの反応により合ったものに更新することが可能になる。
また、提示データの出力前後でのユーザの状態遷移を、反応を示すデータとして取得することで、ユーザの反応に関する変化によって、優先度を更新してもよい。例えば、笑顔だったユーザが、提示データを出力した後に笑顔がなくなった場合等が該当する。その場合には、提示データを出力した後での反応データを取得するだけでは、「無表情」として反応を示すデータを含まないと判断して優先度の更新をしないところを、笑顔が消えたという反応を示すデータの変化によって優先度を更新することができ、優先度をユーザの反応により合ったものに更新することが可能になる。
（１０）本実施形態では、ユーザに適した書籍のジャンルを提示するものを例に説明したが、これに限定されない。書籍のジャンルではなく、書籍名であってもよい。また、書籍ではなく、映画やニュース等であってもよい。
（１１）本実施形態では、ロボットから取得した画像及び音声データにより、ユーザの反応を取得するものとして説明したが、これに限定されない。少なくとも画像データから取得するものとし、音声データを任意としてもよい。
（１２）本実施形態では、ユーザの特徴から分類を決定するものとして説明したが、これに限定されない。ユーザの特徴を分類としてもよい。
（１１）本実施形態では、ロボットから取得した画像及び音声データにより、ユーザの反応を取得するものとして説明したが、これに限定されない。少なくとも画像データから取得するものとし、音声データを任意としてもよい。
（１２）本実施形態では、ユーザの特徴から分類を決定するものとして説明したが、これに限定されない。ユーザの特徴を分類としてもよい。
１，２０１ サーバ
４，２０４ ロボット
１０，４０ 制御部
１２ 取得データ分析部
１３ 特徴取得部
１４ 分類特定部
１６ 提示データ送信部
１７ 反応取得部
１８ 優先度更新部
２０，５０ 記憶部
２１ａ 提示プログラム
２２ 提示データ記憶部
２３ 優先度補正データ記憶部
４３ 出力制御部
５２ カメラ
５３ マイク
５４ スピーカ
１００，２００ 情報提示システム
Ｎ 通信ネットワーク
Ｐ ユーザ
４，２０４ ロボット
１０，４０ 制御部
１２ 取得データ分析部
１３ 特徴取得部
１４ 分類特定部
１６ 提示データ送信部
１７ 反応取得部
１８ 優先度更新部
２０，５０ 記憶部
２１ａ 提示プログラム
２２ 提示データ記憶部
２３ 優先度補正データ記憶部
４３ 出力制御部
５２ カメラ
５３ マイク
５４ スピーカ
１００，２００ 情報提示システム
Ｎ 通信ネットワーク
Ｐ ユーザ
Claims (7)
- 人の分類ごとに、提示データと、前記提示データの優先度とを対応付けて記憶する提示データ記憶部と、
対象者の分類を特定する分類特定手段と、
前記分類特定手段が特定した前記対象者の分類に対応する提示データを、対応付けられた優先度を参照して前記提示データ記憶部から抽出して出力する提示データ出力手段と、
前記対象者の反応を示すデータを取得する反応取得手段と、
前記人の分類ごとに、人の反応を示す反応データと、優先度の変更値とを対応付けて記憶した優先度補正データ記憶部と、
前記反応取得手段が取得した前記反応を示すデータと、前記対象者の分類とに基づく前記変更値を、前記優先度補正データ記憶部から抽出して、前記提示データ記憶部の前記分類に対応する前記優先度に適用することで、前記優先度を変更する優先度変更手段と、
を備える情報提示装置。 - 請求項１に記載の情報提示装置において、
前記反応取得手段は、前記提示データ出力手段が前記提示データを出力する前後での前記対象者の反応を示すデータを取得し、
前記優先度変更手段は、前記反応取得手段が取得した前記提示データを出力した前後での反応を示すデータの反応変化に基づいて、前記提示データ記憶部の前記分類に対応する前記優先度を変更する、情報提示装置。 - 請求項１又は請求項２に記載の情報提示装置において、
前記対象者を含む画像を分析する画像分析手段と、
前記画像分析手段による分析結果に基づいて、前記対象者の特徴を取得する特徴取得手段と、
を備え、
前記分類特定手段は、前記特徴取得手段が取得した特徴に基づいて、前記対象者の前記分類を特定する、情報提示装置。 - 請求項１から請求項３までのいずれかに記載の情報提示装置において、
分類ごとに質問文と対応する回答とを記憶した質問文データ記憶部と、
前記質問文データ記憶部に記憶された１以上の前記質問文を出力する質問文出力手段と、
を備え、
前記分類特定手段は、前記反応取得手段が取得した前記質問文に対する前記対象者の回答に基づいて、前記対象者の分類を特定する、情報提示装置。 - 請求項１から請求項４までのいずれかに記載の情報提示装置において、
前記反応取得手段は、前記対象者の反応を示すデータを、前記対象者を含む画像及び必要に応じて音声を分析することにより取得する、情報提示装置。 - 請求項１から請求項５までのいずれかに記載の情報提示装置において、
前記優先度変更手段は、前記反応取得手段が取得した前記反応を示すデータが肯定的な反応を示す場合に、前記優先度を高く変更し、前記反応を示すデータが否定的な反応を示す場合に、前記優先度を低く変更すること、
を特徴とする情報提示装置。 - 請求項１から請求項６までのいずれかに記載の情報提示装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016177384A JP6759907B2 (ja) | 2016-09-12 | 2016-09-12 | 情報提示装置及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016177384A JP6759907B2 (ja) | 2016-09-12 | 2016-09-12 | 情報提示装置及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018045275A JP2018045275A (ja) | 2018-03-22 |
| JP6759907B2 true JP6759907B2 (ja) | 2020-09-23 |
Family
ID=61694774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016177384A Active JP6759907B2 (ja) | 2016-09-12 | 2016-09-12 | 情報提示装置及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6759907B2 (ja) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000353168A (ja) * | 1999-06-09 | 2000-12-19 | Nippon Telegr & Teleph Corp <Ntt> | 情報提供方法、情報提供装置及び情報提供プログラムを記録した記録媒体 |
| JP2016136355A (ja) * | 2015-01-23 | 2016-07-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
-
2016
- 2016-09-12 JP JP2016177384A patent/JP6759907B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018045275A (ja) | 2018-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11241789B2 (en) | Data processing method for care-giving robot and apparatus | |
| US20240168933A1 (en) | Ai story platform with customizable personality for education, entertainment, and therapy | |
| JP6888096B2 (ja) | ロボット、サーバおよびヒューマン・マシン・インタラクション方法 | |
| US9724824B1 (en) | Sensor use and analysis for dynamic update of interaction in a social robot | |
| WO2021043053A1 (zh) | 一种基于人工智能的动画形象驱动方法和相关装置 | |
| JP4395687B2 (ja) | 情報処理装置 | |
| CN109176535B (zh) | 基于智能机器人的交互方法及系统 | |
| WO2017168870A1 (ja) | 情報処理装置及び情報処理方法 | |
| WO2017112813A1 (en) | Multi-lingual virtual personal assistant | |
| JP7227395B2 (ja) | インタラクティブ対象の駆動方法、装置、デバイス、及び記憶媒体 | |
| JP2018525691A (ja) | 知識マップに基づくヒューマンコンピュータインタラクション方法及びシステム | |
| CN110598576A (zh) | 一种手语交互方法、装置及计算机介质 | |
| CN108470188B (zh) | 基于图像分析的交互方法及电子设备 | |
| CN117541444B (zh) | 一种互动虚拟现实口才表达训练方法、装置、设备及介质 | |
| JP2010224715A (ja) | 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体 | |
| KR20200059112A (ko) | 로봇 상호작용 시스템 및 그를 위한 프로그램 | |
| CN116704085A (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| CN111506183A (zh) | 一种智能终端及用户交互方法 | |
| JP2017064853A (ja) | ロボット、コンテンツ決定装置、コンテンツ決定方法、及びプログラム | |
| KR20200080389A (ko) | 전자 장치 및 그 제어 방법 | |
| CN109961152B (zh) | 虚拟偶像的个性化互动方法、系统、终端设备及存储介质 | |
| JP7058588B2 (ja) | 会話システムおよび会話プログラム | |
| WO2019235190A1 (ja) | 情報処理装置、情報処理方法、プログラム及び対話システム | |
| JP2017182261A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP6759907B2 (ja) | 情報提示装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190719 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200703 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200817 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6759907 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |