図1を参照して、本発明の実施形態に係るロボット装置について説明する。図1には、本実施形態に係るロボット装置の一例が示されている。
ロボット装置10は、ロボット装置10の周囲の状況を検知し、その検知結果に応じた情報を提供する機能を備えている。ロボット装置10は、移動しながら周囲の状況を検知してもよいし、停止した状態で周囲の状況を検知してもよい。
例えば、ロボット装置10は、会議の状況を検知し、その会議の主題(テーマ)に関連する情報(以下、「主題関連情報」と称する)や、その主題から逸れた情報(以下、「逸脱情報」と称する)等を提供する。会議は、例えば1又は複数の人が参加する場や状況(例えば会話等が行われる場面等)である。もちろん、人以外の動物、ロボット装置、ロボット装置以外の機器、等が会議に参加してもよい。会議が行われる場所は限定されるものではなく、例えば、建物内(例えば会議室等の室内)にて行われてもよいし、屋外、自動車内、電車内、等で行われてもよい。また、会議の内容も限定されるものではなく、どのような内容であってもよい。
ロボット装置10は、一例として人型のロボットである。もちろん、ロボット装置10は、人型以外のタイプのロボットであってもよい。図1に示す例では、ロボット装置10は、胴体部12と、胴体部12上に設けられた頭部14と、胴体部12の下部に設けられた脚部16と、胴体部12の両側部にそれぞれ設けられた腕部18と、各腕部18の先端に設けられた指部20と、を含む。
ロボット装置10は、例えば、視覚センサー、聴覚センサー、触覚センサー、味覚センサー及び嗅覚センサーの中の少なくとも1つのセンサーを有し、人の五感に相当する視覚、聴覚、触覚、味覚及び嗅覚の中の少なくとも1つの感覚に関する能力を有している。ロボット装置10は、例えば、触覚に関して、表在感覚(触覚、痛覚、温度覚等)、深部感覚(圧覚、位置覚、振動覚等)、皮質性感覚(二点識別覚、立体識別能力等)を分別して理解する能力を有していてもよい。また、ロボット装置10は、平衡感覚を有していてもよい。例えば、頭部14にカメラ22等のセンサーが設けられており、視覚は、カメラ22等によって得られた画像を用いた画像認識によって実現される。また、ロボット装置10にマイク等の集音装置が設けられており、聴覚は、マイク等によって得られた音を用いて音声認識によって実現される。
ロボット装置10は、人の脳波を検知する機能(例えば、人に脳波検知デバイスが設けられており、脳波検知デバイスから発信される脳波情報を受信して脳波を解析する機能)を備えていてもよい。
脚部16は移動手段の一例に相当し、例えば、モータ等の駆動原からの駆動力によって駆動するようになっている。ロボット装置10は、脚部16によって移動できる。脚部16は、人の足のような形状を有していてもよいし、ローラやタイヤ等であってもよいし、別の形状を有していてもよい。脚部16は移動手段の一例に過ぎず、ロボット装置10は、脚部16以外の移動手段として、例えば、飛行するための構成(例えばプロペラ、羽、飛行用のエンジン等)を備えていてもよいし、水中を移動するための構成(例えば水中移動用のエンジン等)を備えていてもよい。つまり、ロボット装置10は、移動手段として、陸上を移動するための手段、飛行するための手段、及び、水中を移動するための手段の中の少なくとも1つの手段を備えていればよい。もちろん、ロボット装置10は、移動手段を備えていなくてもよい。
ロボット装置10は、腕部18や指部20によって、物体を掴んだり操作したりする能力を備えていてもよい。ロボット装置10は、物体を掴んだり抱えたりしながら移動する能力を備えていてもよい。
ロボット装置10は、音声を発生する機能を備えていてもよい。ロボット装置10は、通信機能を備えて、他の装置との間でデータを送受信してもよい。例えば、ロボット装置10は、インターネット等に接続して情報を受信したり、情報を送信したりしてもよいし、インターネット等を利用して検索を行ってもよい。ロボット装置10は、音を発したり、通信メッセージを送ることで、人や他の装置や他のロボット装置とコミュニケーションを取る能力を備えていてもよい。
ロボット装置10は、人工知能(AI)による機械学習によって、人に近い判断を行う能力を備えていてもよい。また、ニューラルネットワーク型のディープラーニングが利用されてもよいし、部分的に学習分野を強化する強化学習等が利用されてもよい。
ロボット装置10は、通信機能によって他の機器と通信し、他の機器の動作を制御してもよいし、リモコン等を利用して他の機器を操作してもよいし、リモコン等を利用せずに他の機器を直接操作してもよい。直接操作においては、例えば、他の機器に設けられている操作部(例えばボタンやパネル等)がロボット装置10によって操作される。例えば、通信によって他の機器の動作を制御できない場合、ロボット装置10は、リモコン等を利用して他の機器を操作してもよいし、他の機器を直接操作してもよい。例えば、ロボット装置10は、視覚センサーによって得られた画像を解析することで、他の機器の操作部やリモコン等を識別して、他の機器やリモコンを操作する。
また、ロボット装置10は、表示部24を備えていてもよい。表示部24には、各種の画像やメッセージ等が表示される。また、ロボット装置10は、投影装置を備えて、各種の画像やメッセージ等を他の物体に投影してもよい。例えば、テーブルや壁等に画像等が投影されて表示される。
以下、図2を参照して、ロボット装置10の機能について詳しく説明する。図2は、ロボット装置10の構成を示すブロック図である。
通信部26は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を備えている。通信部26は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。通信部26は、例えば、1又は複数の種類の通信方式に対応しており、通信相手に適した通信方式(つまり、通信相手が対応している通信方式)に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Wi−Fi(登録商標)通信、近距離無線通信(例えばBluetooth(ブルートゥース)(登録商標)、RFID(Radio Frequency Identifier)等)、等である。通信部26は、例えば、通信相手に応じて通信方式を切り替えたり、周囲の環境(例えばロボット装置10と通信相手との間の距離や、ロボット装置10と通信相手との間の障害物の有無等)に応じて通信方式を切り替えたりしてもよい。また、通信の周波数帯として、例えば、800MHz〜920MHz(LPWA(Low Power Wide Area)等)といった短波長帯、2.4GHz、5GHz(MuLTEfire)といった長波長、等が利用されてもよい。通信部26は、例えば、通信相手に応じて周波数帯を切り替えたり、周囲の環境に応じて通信方式を切り替えたりしてもよい。
状況収集部28は、各種センサーによって、ロボット装置10の周囲の状況に関する情報(以下、「状況情報」と称することとする)を収集する機能を備えている。センサーとして、上述した、視覚センサー、聴覚センサー、触覚センサー、味覚センサー、嗅覚センサー、等が用いられる。状況収集部28は、例えば、聴覚センサーによって、ロボット装置10の周囲の音(例えば、会議の参加者の会話や物音等)のデータ(音声データ)を状況情報として収集し、視覚センサーによって、ロボット装置10の周囲の画像(例えば動画像や静止画像)のデータ(画像データ)を状況情報として収集する。例えば、会議の参加者の表情や態度等が視覚センサーによって撮影され、参加者の表情や態度等を表わす動画像や静止画像が得られる。もちろん、これら以外のセンサーによって、ロボット装置10の周囲の状況に関する情報が収集されてもよい。
状況収集部28は、ロボット装置10以外の装置やセンサー等から状況情報を取得してもよい。例えば、状況収集部28は、マイクによって検出された音声データを収集してもよいし、キーボード等の入力装置を用いて入力された文字列等の情報を収集してもよいし、カメラによる撮影によって得られた動画像や静止画像等の画像データを収集してもよい。
認識処理部30は、状況収集部28によって収集された状況情報に対して認識処理を適用することで認識情報を生成する。例えば、状況収集部28によって音声データが収集された場合、認識処理部30は、その音声データに対して音声認識処理を適用することで、その音声データが示す音を表現する文字列を認識情報として生成する。また、状況収集部28によって画像データが収集された場合、認識処理部30は、その画像データに対して画像認識処理を適用することで、その画像データが表す画像を表現する文字列を認識情報として生成する。例えば、画像データに文字列が表されている場合、認識処理部30は、画像データからその文字列を認識情報として抽出する。また、認識処理部30は、画像データに表された参加者の表情や態度を検知し、その検知結果を表わす文字列(例えば、参加者の表情や態度を表現する文字列)を認識情報として生成してもよい。認識処理部30は、認識情報を記憶部48に記憶させる。例えば、認識処理部30は、認識情報としての文字列と、会議中のその文字列の出現頻度(例えば出現回数)と、その文字列の最終認識時刻と、を互いに関連付けて記憶部に記憶させる。また、キーボード等の入力装置によって文字列が入力された場合、認識処理部30は、その入力された文字列を認識情報として、その文字列と、その文字列の出現頻度と、その文字列の最終認識時刻と、を互いに関連付けて記憶部に記憶させる。
検知部32は、状況収集部28によって収集された状況情報や、認識処理部30によって生成された認識情報に基づいて、会議の停滞(会議の行き詰まり)を検知する。例えば、検知部32は、会議の参加者の会話、参加者の表情、及び、沈黙時間の長さの中の少なくとも1つの情報に基づいて、会議の停滞を検知する。
例えば、音声認識によって会話から抽出された認識情報としての文字列群の中に、停滞に関連するキーワード(以下、「停滞キーワード」と称する)が含まれている場合、検知部32は、会議が停滞していると判定する。1又は複数の停滞キーワードが予め定められており、ユーザによって変更されてもよい。会話中の停滞キーワードの出現頻度(例えば出現回数)が予め定められた閾値以上となった場合、検知部32は、会議が停滞していると判定してもよい。
検知部32は、会議の内容に基づいて、会議の停滞のレベル(停滞度)を決定してもよい。例えば、検知部32は、会話中の停滞キーワードの出現頻度に基づいて停滞度を決定する。検知部32は、停滞キーワードの出現頻度が多いほど、会議の停滞度が高いと判定する。また、停滞キーワード毎に停滞度が定められていてもよい。例えば、検知部32は、高い停滞度に関連付けられた停滞キーワードが会話から抽出された場合、会議の停滞度が高いと判定し、低い停滞度に関連付けられた停滞キーワードが会話から抽出された場合、会議の停滞度が低いと判定する。検知部32は、高い停滞度に関連付けられた停滞キーワードの出現回数が予め定められた閾値以上となった場合に、会議の停滞度が高いと判定し、低い停滞度に関連付けられた停滞キーワードの出現回数が予め定められた閾値以上となった場合に、会議の停滞度が低いと判定してもよい。また、高い停滞度に関連付けられた停滞キーワードと低い停滞度に関連付けられた停滞キーワードの両方が会話から抽出された場合、検知部32は、高い停滞度に関連付けられた停滞キーワードを優先的に採用して、会議の停滞度が高いと判定してもよいし、その両方の停滞キーワードの中で、出現回数がより多い停滞キーワードを採用して、停滞度を判定してもよい。例えば、高い停滞度に関連付けられた停滞キーワードの出現回数が、低い停滞度に関連付けられた停滞キーワードの出現回数よりも多い場合、検知部32は、会議の停滞度が高いと判定する。
また、会話から停滞キーワードが抽出されると共に、活気や活発に関連するキーワード(以下、「活気キーワード」と称する)が抽出された場合、検知部32は、停滞キーワードと活気キーワードの両方を用いて会議の停滞を検知してもよい。1又は複数の活気キーワードが予め定められており、ユーザによって変更されてもよい。例えば、会話中の停滞キーワードの出現回数(複数種類の停滞キーワードが抽出された場合、それら複数種類の停滞キーワードの出現回数の総数)が、活気キーワードの出現回数(複数種類の活気キーワードが抽出された場合、それら複数種類の活気キーワードの出現回数の総数)よりも多い場合、検知部32は、会議が停滞していると判定する。また、検知部32は、会話から抽出された各停滞キーワードの出現回数と各活気キーワードの出現回数に重み付け処理を適用し、その重み付け処理で得られた値に基づいて、会議の停滞の有無を判定してもよい。また、検知部32は、停滞キーワードの出現回数と活気キーワードの出現回数との差に基づいて、会議の停滞度を決定してもよい。例えば、停滞キーワードの出現回数が活気キーワードの出現回数よりも多い場合、出現回数の差が多いほど、会議の停滞度が高いと判定される。
検知部32は、会話に含まれる人の声の大きさに基づいて会議の停滞の有無を判定してもよい。例えば、人の声の大きさが予め定められた閾値以下となった場合、検知部32は、会議が停滞していると判定する。検知部32は、人の声の大きさに基づいて停滞度を決定してもよい。例えば、声が小さいほど、停滞度が高いと判定される。
また、画像認識によって画像データから抽出された人の表情(例えば、表情を表わす文字列群)の中に、停滞に関連する表情(以下、「停滞表情」と称する)を表わす文字列が含まれている場合、検知部32は、会議が停滞していると判定してもよい。1又は複数の停滞表情が予め定められており、ユーザによって変更されてもよい。複数の人が会議に参加している場合、検知部32は、各参加者の表情に基づいて会議の停滞を検知してもよい。例えば、検知部32は、予め定められた閾値以上の数の人の表情が停滞表情に該当する場合、会議が停滞していると判定してもよいし、会議に参加している複数の人の中の予め定められた割合以上の数の人の表情が停滞表情に該当する場合、会議が停滞していると判定してもよい。
検知部32は、人の表情に基づいて、停滞度を決定してもよい。例えば、停滞表情毎に停滞度が定められており、検知部32は、高い停滞度に関連付けられた停滞表情が検知された場合、会議の停滞度が高いと判定し、低い停滞度に関連付けられた停滞表情が検知された場合、会議の停滞度が低いと判定する。検知部32は、高い停滞度に関連付けられた停滞表情の検知回数が予め定められた閾値以上となった場合に、会議の停滞度が高いと判定し、低い停滞度に関連付けられた停滞表情の検知回数が予め定められた閾値以上となった場合に、会議の停滞度が低いと判定してもよい。また、高い停滞度に関連付けられた停滞表情と低い停滞度に関連付けられた停滞表情の両方が検知された場合、検知部32は、高い停滞度に関連付けられた停滞表情を優先的に採用して、会議の停滞度が高いと判定してもよいし、その両方の停滞表情の中で、検知回数がより多い停滞表情を採用して、停滞度を判定してもよい。例えば、高い停滞度に関連付けられた停滞表情の検知回数が、低い停滞度に関連付けられた停滞表情の検知回数よりも多い場合、検知部32は、会議の停滞度が高いと判定する。
また、停滞表情が検知されると共に、活気や活発に関連する表情(以下、「活気表情」と称することとする)が検知された場合、検知部32は、停滞表情と活気表情の両方を用いて会議の停滞を検知してもよい。1又は複数の活気表情(例えば、活気表情を表わす文字列)が予め定められており、ユーザによって変更されてもよい。例えば、停滞表情の検知回数(複数種類の停滞表情が検知された場合、それら複数種類の停滞表情の検知回数の総数)が、活気表情の検知回数(複数種類の活気表情が検知された場合、それら複数種類の活気表情の検知回数の総数)よりも多い場合、検知部32は、会議が停滞していると判定する。また、検知部32は、各停滞表情の検知回数と各活気表情の検知回数に重み付け処理を適用し、その重み付け処理で得られた値に基づいて、会議の停滞の有無を判定してもよい。また、検知部32は、停滞表情の検知回数と活気表情の検知回数との差に基づいて、会議の停滞度を決定してもよい。例えば、停滞表情の検知回数が活気表情の検知回数よりも多い場合、検知回数の差が多いほど、会議の停滞度が高いと判定される。
また、検知部32は、会議における沈黙時間の長さに基づいて、会議の停滞の有無を判定してもよい。例えば、沈黙時間の長さ(例えば、予め定められた閾値以上の大きさの音声が検知されなかった時間の長さ)が予め定められた閾値以上となる場合、検知部32は、会議が停滞していると判定する。
検知部32は、停滞キーワード、声の大小、停滞表情、及び、沈黙時間の長さ、の中から選択された1つの情報、又は、2つ以上の情報の組み合わせに基づいて、停滞の有無や停滞度を判定してもよい。
提供部34は、会議の主題に関連する主題関連情報や、会議の主題から逸れた逸脱情報を提供する機能を備えている。例えば、検知部32が会議の停滞を検知した場合に、提供部34は逸脱情報を提供する。提供部34は、会議の主題に沿った情報(例えば主題関連情報)を提供し、その提供の合間に、逸脱情報を提供してもよい。例えば、主題関連情報を提供している合間に、会議の停滞が検知された場合、逸脱情報が提供されてもよい。主題関連情報及び逸脱情報は、予め定められた情報であり、文字列、音声、画像、等の情報である。例えば、主題を示す情報(例えば、主題を示す文字列)と、その主題に関連する主題関連情報(例えば、その主題を示す文字列と同義語、その主題を意味として有する画像や音声、その主題が人に与える印象と同じ又は似た印象を与える文字列や画像や音声、等)と、が互いに対応付けられている。また、主題を示す情報(例えば文字列)と、その主題から逸れた逸脱情報(例えば、その主題を示す文字列の対義語(反対語、反義語等)、その対義語を意味として有する画像や音声、その文字列が人に与える印象とは異なる印象や反対の印象を与える文字列や画像や音声、等)と、が互いに対応付けられている。
会議の主題は、後述するように認識処理部30によって決定される。主題が決定されると、提供部34は、主題を示す情報と主題関連情報との対応付けや、主題を示す情報と逸脱情報との対応付けを参照することで、会話から抽出された主題に関連する主題関連情報や逸脱情報を提供する。また、文字列と、その文字列が有する意味に関連する主題関連情報(例えば、その文字列と同義語、その文字列を意味として有する画像や音声、その文字列が人に与える印象と同じ又は似た印象を与える文字列や画像や音声、等)と、が互いに対応付けられていてもよい。この場合、提供部34は、その対応付けを参照することで、会議の会話から抽出された文字列に対応付けられている主題関連情報を提供してもよい。また、文字列と、その文字列が有する意味から逸れた逸脱情報(例えば、その文字列の対義語(反対語、反義語等)、その対義語を意味として有する画像や音声、その文字列が人に与える印象とは異なる印象や反対の印象を与える文字列や画像や音声、等)と、が互いに対応付けられていてもよい。この場合、提供部34は、その対応付けを参照することで、会議の会話から抽出された文字列に対応付けられている逸脱情報を提供してもよい。物体の形状、色、味、匂い、大きさ、等によって人に与える印象が異なるため、それらの要素を考慮して、主題関連情報や逸脱情報が決定されてもよい。主題を示す情報や会話から抽出された文字列と、主題関連情報と、の対応付けを示す情報は、主題関連情報管理情報52として記憶部48に記憶されている。また、主題を示す情報や会話から抽出された文字列と、逸脱情報と、の対応付けを示す情報は、逸脱情報管理情報54として記憶部48に記憶されている。もちろん、提供部34は、インターネット等を利用して、ロボット装置10以外の装置から主題関連情報や逸脱情報を取得して提供してもよい。
提供部34は、会議の会話から抽出された文字列の出現頻度に応じて、逸脱情報を変更して提供してもよい。例えば、提供部34は、出現頻度の低い文字列(例えば出現頻度が閾値以下の文字列)に対応付けられている逸脱情報を提供してもよい。このような文字列は、例えば、音声の誤認識によって抽出された可能性があり、このような文字列に関連付けられている逸脱情報は、会議の内容に対して意外性のある情報の可能性がある。従って、このような逸脱情報を提供することで、意外性のある情報が会議の参加者に提供され、アイデアが誘発され得る。
提供部34は、会議の停滞の程度を表わす停滞度に応じて逸脱情報を変更して提供してもよい。例えば、各逸脱情報に停滞度が予め対応付けられており、提供部34は、検知部32によって決定された停滞度が対応付けられている逸脱情報を取得して提供してもよい。高い停滞度が対応付けられている逸脱情報ほど、その逸脱情報が対応付けられている文字列との関連性がより低い情報である。従って、会議の停滞度が高くなるほど、その会議の内容から逸脱の程度がより高い逸脱情報が提供される。これにより、より意外性のある情報が参加者に提供され、アイデアが誘発され得る。
提供部34は、逸脱情報としての画像や文字列を表示装置に表示させてもよいし、逸脱情報としての音声をスピーカ等から発してもよい。提供部34は、プロジェクタによって壁やテーブル等に逸脱情報としての画像や文字列を投影してもよいし、ロボット装置10が備える表示部に逸脱情報を表示させてもよい。もちろん、逸脱情報としての画像、文字列及び音声を同時に提供してもよい。
設定部36は、会議の内容からの情報の逸脱の程度を示す逸脱度を設定する機能を備えている。逸脱度は、ユーザによって指定されてもよいし、自動的に設定されてもよい。逸脱度が設定された場合、提供部34は、その逸脱度に応じて逸脱情報を変更して提供してもよい。例えば、各逸脱情報に逸脱度が予め定められており、提供部34は、設定部36によって設定された逸脱度が対応付けられている逸脱情報を取得して提供する。高い逸脱度が対応付けられている逸脱情報ほど、その逸脱情報が対応付けられている文字列との関連性がより低い情報である。従って、高い逸脱度が設定されるほど、会議の内容から逸脱の程度がより高い逸脱情報が提供され、これにより、アイデアが誘発され得る。
設定部36は、検知部32によって決定された停滞度に基づいて逸脱度を設定してもよい。例えば、停滞度が高いほど、高い逸脱度が設定される。
提供部34は、設定部36によって設定された逸脱度に応じて、主題関連情報の提供と逸脱情報の提供とを切り替えてもよい。
会議の主題は、例えば、認識処理部30によって決定される。認識処理部30は、状況収集部28によって収集された状況情報(会話の内容や画像等)に基づいて、会議で議論されている内容を特定し、その内容から会議の主題を特定する。認識処理部30は、例えば、会話の中で最大の出現回数を有する文字列を特定し、その文字列に基づいて会議の主題を特定してもよいし、複数の文字列に基づいて会議の主題を特定してもよい。例えば、文字列と主題を示す情報(例えば文字列)とが互いに対応付けられており、提供部34は、その対応付けを参照することで、会話から抽出された文字列(例えば出現回数が最大の文字列)に対応付けられている主題を示す情報を特定してもよい。これにより、会話の内容から主題が決定される。提供部34は、会話から抽出された文字列を主題関連情報として使用し、主題を示す情報と主題関連情報との対応付けを参照することで、抽出された文字列(主題関連情報)に対応付けられている主題を示す情報を特定してもよい。このようにして、会話の内容から主題が決定されてもよい。
提供部34は、低い逸脱度が設定された場合(例えば閾値以下の逸脱度が設定された場合)、会議の主題に関連する主題関連情報であって会議に出現しなかった情報を提供し、高い逸脱度が設定された場合(例えば閾値よりも大きい逸脱度が設定された場合)、逸脱情報を提供してもよい。
例えば、会議の内容が食事に関する場合、つまり、食事に関する文字列や画像等が主に検知された場合、会議の主題は「食事」である。低い逸脱度が設定された場合において、その会議の内容から「ケーキ」という文字列や画像が検出されなかった場合、提供部34は、「ケーキ」に関する文字列や画像を主題関連情報として提供する。高い逸脱度が設定された場合、提供部34は、「食事」という主題に関連しない分野に属する逸脱情報を提供する。例えば、提供部34は、「ロケット」に関する文字列や画像を逸脱情報として提供する。
履歴管理部38は、逸脱情報に対する参加者の反応の履歴を管理する機能を有する。検知部32は、状況収集部28によって収集された状況情報や、認識処理部30によって生成された認識情報に基づいて、会議の参加者の反応を検知する。具体的には、検知部32は、音声データから抽出された文字列、声の大小、参加者の表情、沈黙時間の長さ、及び、会話の長さの中から選択された1つの情報、又は、2つ以上の情報の組み合わせに基づいて、参加者の反応を検知する。提供部34によって逸脱情報が提供された後、検知部32によって参加者の反応が検知されると、履歴管理部38は、その逸脱情報と参加者の反応を示す情報とを関連付けて、それらを履歴情報56として記憶部48に記憶させる。例えば、逸脱情報が提供された後に、会話が活発になったり、参加者の表情が活発になったりした場合、履歴管理部38は、活発になったことを示す情報と逸脱情報とを関連付けて、それらを履歴情報として記憶部48に記憶させる。履歴情報を参照することで、どのような逸脱情報によって、参加者がどのような反応を示すのかが特定される。
また、履歴管理部38は、参加者毎に反応の履歴を管理して、参加者毎に履歴情報を作成してもよい。この場合、履歴管理部38は、検知部32によって反応が検知された参加者を識別するためのユーザ識別情報と、提供された逸脱情報と、当該参加者の反応を示す情報と、を関連付けて、それらを履歴情報として記憶部48に記憶させる。ユーザ識別情報は、例えば、検知された参加者の名前、ユーザID、検知された参加者の顔を表わす画像、検知された参加者の音声を表わす音声データ、等である。例えば、画像認識処理によって参加者の顔が認識された場合、その顔を表わす画像がユーザ識別情報として用いられてもよい。また、音声認識処理によって参加者の音声が認識された場合、その音声を表わす音声データがユーザ識別情報として用いられてもよい。名前やユーザIDは、例えばキーボード等の入力装置によって入力されてもよいし、画像認識処理によって参加者の顔が認識された場合、その顔を表わす画像に紐付く名前やユーザIDであって、それらを管理する装置から取得された名前やユーザIDであってもよい。これにより、個々のユーザ毎に、どのような逸脱情報によって、どのような反応を示すのかが特定される。
なお、履歴管理部38は、主題関連情報に対する参加者の反応の履歴を管理してもよい。この場合、履歴管理部38は、参加者毎にその反応の履歴を管理してもよい。その管理に関する情報は、上記の履歴情報と同様に記憶部48に記憶されてもよい。
提供部34は、履歴情報に基づいて逸脱情報を選択して提供してもよい。例えば、会議が停滞している場合に、検知部32は、状況収集部28によって収集された画像データや音声データに基づいて、会議の参加者を識別し、提供部34は、その参加者のユーザ識別情報を含む履歴情報において、会話や表情が活発になった逸脱情報を特定し、その逸脱情報を提供する。これにより、個々の参加者の議論が活発になり得る情報が提供される。
また、逸脱情報の提供の際に逸脱度が設定されている場合、履歴管理部38は、その逸脱度を示す情報も、履歴情報に含めてもよい。この場合、設定部36は、履歴情報に基づいて逸脱度を設定してもよい。例えば、提供部34は、会議に参加している人のユーザ識別情報を含む履歴情報において、会話や表情が活発になった逸脱度を特定し、設定部36は、その逸脱度を設定する。提供部34は、その逸脱度に対応する逸脱情報を提供する。
移動部40は、陸上を移動するための手段、飛行するための手段、及び、水中を移動するための手段の中の少なくとも1つの手段によって、ロボット装置10を移動させる機能を備えている。図1に示す例では、移動部40は、脚部16によって構成される。もちろん、ロボット装置10は移動部40を備えていなくてもよい。
作業部42は、ロボット装置10以外の機器を操作したり、物体を持ち上げたり、物体を移動させたりする機能を備えている。図1に示す例では、作業部42は、腕部18及び指部20によって構成される。もちろん、ロボット装置10は作業部42を備えていなくてもよい。
スピーカ44は、音を発する機能を備えている。例えば、逸脱情報に関する音声等が、スピーカ44から発せられる。
UI部46はユーザインターフェース部であり、表示部(例えば図1に示されている表示部24)と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース(例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む)であってもよい。なお、ロボット装置10は、UI部46を備えていなくてもよいし、表示部を備えずに、ハードウェアキー(例えば、各種のボタン)を備えていてもよい。ハードウェアキーとしてのボタンは、例えば、数字入力に特化したボタン(例えばテンキー)、方向の指示に特化したボタン(例えば方向指示キー)、等である。
記憶部48はハードディスクやメモリ(例えばSSD等)等の記憶装置である。記憶部48には、例えば、認識情報管理情報50、主題関連情報管理情報52、逸脱情報管理情報54、履歴情報56、その他の情報(例えば、各種のデータ、各種のプログラム等)、等が記憶されている。これらの情報は、それぞれ別々の記憶装置に記憶されてもよいし、同じ記憶装置に記憶されてもよい。
認識情報管理情報50は、認識処理部30によって生成された認識情報やユーザによって入力された認識情報を管理するための情報である。認識情報管理情報50においては、例えば、認識情報(例えば文字列)と、その認識情報の出現頻度と、その認識情報の最終認識時刻と、が互いに対応付けられている。認識情報が生成や取得される度に、認識情報管理情報50が更新される。
主題関連情報管理情報52は、主題関連情報を示す情報である。主題関連情報管理情報52においては、例えば、主題を示す情報(例えば文字列)と、その主題に関連する1又は複数の主題関連情報(例えば、文字列、画像、音声等)と、が互いに予め対応付けられている。
逸脱情報管理情報54は、逸脱情報を示す情報である。逸脱情報管理情報54においては、例えば、主題を示す情報(例えば文字列)と、その主題から逸れた1又は複数の逸脱情報(例えば、文字列、画像、音声等)と、が互いに予め対応付けられている。また、各逸脱情報に、会議の停滞の程度を表わす停滞度が予め対応付けられていてもよい。また、各逸脱情報に逸脱度が予め対応付けられていてもよい。
履歴情報56は、提供された逸脱情報に対する人の反応の履歴を示す情報である。履歴情報56においては、例えば、提供された逸脱情報と、人の反応を示す情報と、が互いに対応付けられている。また、参加者毎の履歴情報56が作成されてもよい。逸脱情報が提供されて人の反応が検知される度に、履歴情報56が更新される。
制御部58は、ロボット装置10の各部の動作を制御する。制御部58は、例えば、知能部としての人工知能(AI)を有しており、ロボット装置10の各部の機能は、その人工知能によって制御されてもよい。
なお、状況収集部28、認識処理部30、検知部32、提供部34、設定部36及び履歴管理部38の中の少なくとも1つは、ロボット装置10以外の装置(例えば、図示しないサーバやユーザの端末装置等)に設けられていてもよい。この場合、その少なくとも1つの部は、ロボット装置10に設けられていなくてもよい。また、認識情報管理情報50、主題関連情報管理情報52、逸脱情報管理情報54及び履歴情報56中の少なくとも1つの情報は、ロボット装置10以外の装置に記憶されてもよい。この場合、その少なくとも1つの情報は、ロボット装置10に記憶されなくてもよい。なお、上記の例では、ロボット装置10が、主題関連情報や逸脱情報を提供しているが、スマートフォンやPC(パーソナルコンピュータ)等の端末装置が、会議の停滞を検知してもよいし、主題関連情報や逸脱情報を提供してもよい。
以下、ロボット装置10について更に詳しく説明する。
図3には、認識情報管理情報50としての認識情報管理テーブルの一例が示されている。認識情報管理テーブルにおいては、例えば、認識情報としての文字列と、その文字列の出現回数と、最終認識時刻と、が互いに対応付けられている。その文字列は、音声データに音声認識処理を適用することで生成された文字列、画像データに画像認識処理を適用することで生成された文字列、キーボード等の入力装置によって入力された文字列、等である。検知部32は、例えば、認識情報管理テーブルによって管理されている文字列を用いて会議の停滞の有無や、その停滞の程度を判定する。
図4には、主題関連情報管理情報52としての主題関連情報管理テーブルの一例が示されている。主題関連情報管理テーブルにおいては、例えば、主題を示す文字列や会話から抽出される文字列と、1又は複数の主題関連情報(例えば、文字列、画像、音声等)と、最終使用時刻と、優先順位と、が互いに対応付けられている。主題を示す文字列は、上述したように、認識処理部30によって決定される。優先順位は、主題関連情報の提供の順位であり、予め定められている。例えば、主題との関連度が高いと推測される主題関連情報の優先順位ほど上位に設定される。もちろん、ユーザや管理者等によって優先順位が変更されてもよいし、優先順位が用いられなくてもよい。例えば、優先順位に基づかずに、ランダムに主題関連情報が提供されてもよい。
図5には、逸脱情報管理情報54としての逸脱情報管理テーブルの一例が示されている。逸脱情報管理テーブルにおいては、例えば、主題を示す文字列や会話から抽出される文字列と、1又は複数の逸脱情報(例えば、文字列、画像、音声等)と、優先順位と、最終使用時刻と、が互いに対応付けられている。その文字列は、例えば、会話中の音声データに音声認識処理を適用することで生成される文字列である。また、各逸脱情報には、停滞度(停滞レベル)と逸脱度(逸脱レベル)が対応付けられている。
優先順位は、逸脱情報の提供の順位であり、予め定められている。例えば、逸脱情報に対応付けられている文字列が抽出された会議において、人のアイデアを誘発する効果があると想定される逸脱情報の優先順位ほど上位に設定される。例えば、優先順位が上位の逸脱情報から順番に提供される。例えば、提供部34は、優先順位が1番の逸脱情報を予め定められた期間にわたって提供し、その期間終了後、優先順位が2番の逸脱情報を当該期間にわたって提供する。優先順位が3番以降の逸脱情報についても同様である。これにより、優先順位に従った順番で、各逸脱情報が提供される。提供部34は、優先順位に従って複数の逸脱情報の組み合わせを形成し、その組み合わせを提供してもよい。例えば、2つの逸脱情報によって組み合わせを形成する場合、提供部34は、優先順位が1番と2番の逸脱情報の組み合わせを上記期間にわたって提供し、次に、2番と3番の逸脱情報の組み合わせ(又は、3番と4番の逸脱情報の組み合わせ)を上記期間にわたって提供し、以降の優先順位についても同様に組み合わせを提供する。別の例として、提供部34は、優先順位が上位の逸脱情報と下位の逸脱情報との組み合わせを提供してもよい。例えば、提供部34は、優先順位が1番の逸脱情報と最下位の逸脱情報との組み合わせを上記期間にわたって提供し、次に、優先順位が2番の逸脱情報と最下位から2番目の逸脱情報との組み合わせを上記期間にわたって提供し、以降の優先順位についても同様に組み合わせを提供する。このように、各種の組み合わせを提供することで、意外性のある情報が参加者に提供され、参加者のアイデアが誘発され得る。
停滞度は、例えば1〜10の間の値に設定されている。数値が大きいほど停滞の程度が高い。文字列との関連性がより低いと想定される逸脱情報に、より高い停滞度が対応付けられている。これにより、より高い停滞度が検知される場合等のように、会議がより停滞しているほど、意外性のより高い情報が提供され、参加者のアイデアの誘発が促される。なお、各逸脱情報の停滞度は予め定められていてもよいし、ユーザによって変更されてもよい。例えば、検知部32によって会議の停滞度が判定された場合、提供部34は、その停滞度に対応付けられている逸脱情報を提供する。
逸脱度は、例えば1〜10の間の値に設定されている。数値が大きいほど逸脱の程度が高い。文字列との関連性がより低いと想定される逸脱情報に、より高い逸脱度が対応付けられている。これにより、より高い逸脱度が設定された場合、意外性のより高い情報が提供され、参加者のアイデアの誘発が促される。例えば、逸脱度が設定されている場合、提供部34は、その逸脱度に対応付けられている逸脱情報を提供する。
以下、図6を参照して、逸脱情報の提供例について説明する。図6には、表示部の画面の一例が示されている。画面60は、例えば、ロボット装置10のUI部46の表示部に表示される画面である。画面60には、画像62,64が表示されている。画像62,64は、提供部34によって提供された逸脱情報である。画像62は「ロケット」を表わす画像であり、画像64は「ケーキ」を表わす画像である。例えば、会議の会話から「車」という文字列が抽出された場合、その「車」から逸れた意味や印象を有する「ロケット」を表わす画像62と「ケーキ」を表わす画像64とが表示される。上記の優先度に従って画像62,64が表示されてもよいし、停滞度や逸脱度に従って画像62,64が表示されてもよい。
図6に示す例では、逸脱情報として2つの画像が表示されているが、1つの画像が表示されてもよいし、3つ以上の画像が表示されてもよい。提供部34は、逸脱情報としての複数の画像をランダムに表示部に表示させてもよい。
提供部34は、ロボット装置10以外の装置(例えば、ユーザの端末装置や表示装置等)に逸脱情報としての画像を表示させてもよいし、プロジェクタによって、その画像を物体(例えば、壁、テーブル、スクリーン等)に投影してもよい。提供部34は、表示場所を変えながら各画像を表示してもよい。例えば、提供部34は、予め定められた時間間隔で、又は、ランダムの時間間隔で、各画像の表示場所を変えながら各画像を表示してもよい。
提供部34は、逸脱情報としての画像の表示態様を変えてもよい。例えば、提供部34は、ポップアップ形式で画像を表示してもよいし、画像を拡大又は縮小して表示してもよいし、各画像の表示位置を変えてもよいし、各画像の色を変えて表示してもよい。提供部34は、同じ画像であっても、画像のサイズや表示位置や色を変えながら各画像を表示してもよい。提供部34は、優先順位が上位の画像を下位の画像よりも優先的に表示してもよいし、逸脱度が高い画像を低い画像よりも優先的に表示してもよい。優先的に表示するとは、例えば、画像を拡大して表示すること、画面の中央付近に表示すること、表示時間を長くすること、先に表示すること、等である。
また、提供部34は、逸脱情報としての文字列を検索キーとして用いて、その文字列に関連する画像を検索し、その画像を逸脱情報として提供してもよい。その検索は、例えば、画像データベースを対象にして行われてもよいし、インターネットを利用して行われてもよい。
図6に示す例では、逸脱情報として画像のみが用いられているが、提供部34は、逸脱情報としての文字列を表示してもよいし、その文字列を表わす音声をスピーカから発してもよい。このとき、提供部34は、文字列の表示態様を変えてもよいし、音量を変えてもよい。もちろん、提供部34は、逸脱情報としての画像と文字列とを組み合わせて提供してもよい。
上記のように逸脱情報が提供されると、検知部32によって参加者の反応が検知され、その反応を示す情報が履歴情報56として記録される。
本実施形態によれば、例えば、会議が停滞しているときに、逸脱情報が提供される。会議の参加者が逸脱情報を参考にすることで、アイデアが誘発され得る。例えば、逸脱情報としての画像が表す物体の形状や印象、逸脱情報としての文字列の意味、音声がもつ意味等からユーザが影響を受けて、アイデアが誘発され得る。
また、会議の参加者自身が逸脱情報を用意すると、参加者の趣味趣向によって、用意される逸脱情報の特徴が変わる。例えば、同じ又は似た趣味趣向を有する複数の参加者が逸脱情報を用意すると、用意された逸脱情報の特徴に偏りが生じ得るので(例えば、同じような特徴を有する逸脱情報が用意される可能性が高いので)、そのような逸脱情報を提供したとしても、新たなアイデアは誘発され難くなる。本実施形態では、ロボット装置10が逸脱情報を選択して提供するので、会議の参加者自身が逸脱情報を用意せずに済み、また、参加者の趣味趣向の影響を受けないので、参加者のアイデアを誘発し易い情報を提供できる。
以下、変形例について説明する。
提供部34は、会議の内容に関連する情報(例えば主題関連情報)を提供し、会議が進行した後、逸脱情報を提供してもよい。提供部34は、会議の初期段階(例えば、会議開始時点から予め定められた時間内)では、会議の内容から抽出された会議の主題に対応付けられている主題関連情報(例えば、文字列や画像や音声等)や、会議の会話から抽出された文字列に対応付けられている主題関連情報を提供し、その後、例えば、会議開始時点から予め定められた時間が経過した後、又は、会議の停滞が検知された場合に、逸脱情報を提供する。
主題関連情報の提供する場合、提供部34は、会議での出現頻度が高い文字列ほど優先順位を高くし、優先順位の高い文字列に対応付けられている主題関連情報を、優先順位の低い文字列に対応付けられている主題関連情報よりも先に提供してもよい。提供部34は、段階的に主題関連情報を変えて提供してもよい。例えば、提供部34は、優先順位が1位の文字列(出現頻度が最大の文字列)に対応付けられている主題関連情報を、予め定められた期間にわたって提供し、その期間の経過後、優先順位が2位の文字列に対応付けられている主題関連情報を、その期間にわたって提供し、優先順位が3位以降の文字列についても同様の処理を行う。これにより、会議の内容との関連性がより高い主題関連情報が先に提供され、段階的に、その関連性がより低い主題関連情報が提供される。
提供部34は、会議の会話から抽出された文字列を検索キーとして、インターネット等を利用して、その文字列に関連する主題関連情報を検索し、その主題関連情報を提供してもよい。この場合、提供部34は、出現頻度の高い文字列のみを用いて主題関連情報を検索してもよいし、出現頻度の高い文字列と低い文字列とを用いて主題関連情報を検索してもよいし、出現頻度の低い文字列のみを用いて主題関連情報を検索してもよい。出現頻度の高い文字列のみを用いる場合、提供部34は、例えば、出現頻度が予め定められた閾値以上となる1又は複数の文字列を用いて、主題関連情報を検索する。出現頻度が閾値以上となる複数の文字列を用いる場合、提供部34は、それら複数の文字列の組み合わせを用いてAND検索を行ってもよいし、各文字列を単独の検索キーとして用いて主題関連情報を検索してもよい(OR検索)。出現頻度の低い文字列のみ用いる場合、提供部34は、例えば、出現頻度が予め定められた閾値未満となる1又は複数の文字列を用いて、主題関連情報を検索する。出現頻度が閾値未満となる複数の文字列を用いる場合、提供部34は、それら複数の文字列の組み合わせを用いてAND検索を行ってもよいし、各文字列を単独の検索キーとして用いて主題関連情報を検索してもよい(OR検索)。出現頻度の高い文字列と低い文字列とを用いて主題関連情報を検索する場合、提供部34は、それら複数の文字列の組み合わせを用いてAND検索を行ってもよいし、各文字列を単独の検索キーとして用いて主題関連情報を検索してもよい(OR検索)。
また、提供部34は、逸脱度が低い逸脱情報を、逸脱度の高い逸脱情報よりも先に提供してもよい。提供部34は、段階的に逸脱情報を変えて提供してもよい。例えば、提供部34は、逸脱度が最低(例えば1)の逸脱情報を、予め定められた期間にわたって提供し、その期間の経過後、逸脱度が最低から2番目(例えば2)の逸脱情報を、その期間にわたって提供し、逸脱度が最低から3番目(例えば3)以降の逸脱情報についても同様の処理を行う。これにより、会議の内容からの逸脱の程度がより低い逸脱情報が先に提供され、段階的に、その逸脱の程度がより大きい逸脱情報が提供される。このように、会議の進行に合わせて逸脱の程度がより大きくなる逸脱情報を提供することで、会議が徐々に停滞していく状況に対処することができる。
提供部34は、段階的に主題関連情報を変えて提供し、会議の停滞が検知された場合、段階的に逸脱情報を変えて提供してもよい。例えば、提供部34は、出現頻度に応じた優先順位に従って主題関連情報を段階的に変えて提供し、会議の停滞が検知された場合、逸脱度に応じた順位に従って逸脱情報を段階的に変えて提供してもよい。このように情報を提供することで、会議が停滞していない間は、会議の主題に関連のある情報を参加者に提供して、活発な議論を促すことができ、会議が停滞した場合には、逸脱情報のように意外性のある情報を提供することで、新たなアイデアの誘発を促すことができる。
提供部34は、会議の参加者に応じて逸脱情報を変更して提供してもよい。例えば、逸脱情報管理情報54において、各逸脱情報に、参加者(ユーザ)を識別するためのユーザ識別情報が対応付けられている。参加者が識別されると、提供部34は、その識別された参加者のユーザ識別情報が対応付けられている逸脱情報を提供する。これにより、参加者に応じて逸脱情報が変更されて提供される。また、各参加者のユーザ識別情報に逸脱度が対応付けられて、参加者毎に逸脱度が設定されていてもよい。この対応付けを示す情報は、例えば記憶部48に記憶されている。参加者が識別されると、提供部34は、その識別された参加者のユーザ識別情報が対応付けられている逸脱度に対応付けられている逸脱情報を提供する。上述したように、提供部34は、参加者の履歴情報を用いて逸脱情報を選択して提供してもよい。参加者は、例えば、画像認識処理、音声認識処理、等によって識別される。
提供部34は、会議の複数の参加者の組み合わせに応じて逸脱情報を変更して提供してもよい。例えば、逸脱情報管理情報54において、各逸脱情報に、複数のユーザ識別情報が対応付けられており、複数の参加者が識別されると、提供部34は、識別された複数の参加者のユーザ識別情報が対応付けられている逸脱情報を提供する。これにより、複数の参加者に応じて逸脱情報が変更されて提供される。
上記のロボット装置10は、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、ロボット装置10は、図示しないCPU等の1又は複数のプロセッサを備えている。当該1又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、ロボット装置10の各部の機能が実現される。上記プログラムは、CDやDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、ロボット装置10の各部は、例えばプロセッサや電子回路やASIC(Application Specific Integrated Circuit)等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、ロボット装置10の各部は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等によって実現されてもよい。