JP7092110B2 - 情報処理装置、情報処理方法、並びにプログラム - Google Patents

Description

本技術は情報処理装置、情報処理方法、並びにプログラムに関し、例えば、伝えたい情報を、確実にユーザに伝えるときに用いて好適な情報処理装置、情報処理方法、並びにプログラムに関する。

動物を模写したロボットや、人型のロボットなどがある。そのようなロボットは、人(ユーザ)とコミュニケーションをとったり、人を癒やしたりする。そのようなロボットに関する提案もなされている(例えば、特許文献１参照)。特許文献１では、外部からの働きかけに応じた動作及び／又は内部状態に基づいて自律的に行動するロボットの感情をより豊かにするための手段について提案されている。

特開2005-169567号公報

例えば、動物を模写したロボットは、ペットを飼いたい人のために開発され、猫や犬などを模写したものがある。そのようなロボット、例えば猫を模写したロボットは、猫のような鳴き声を発するが、人間の言葉は話さないようにし、猫のように動作することが望まれている。よって、ユーザに何らかの情報、例えば、遊びたいといった情報を音声や表示などで明確に伝える手段がなかった。

ロボットに限らず、ユーザに何らかの情報を伝えたい場合に、音声や表示などで伝える手段を有さない装置では、伝えることができない。そこで、ユーザに伝えたい情報がある場合、伝えることができるようにし、ユーザが情報を得られないといったことがないようにすることが望まれていた。

本技術は、このような状況に鑑みてなされたものであり、ユーザに情報をより確実に伝えるようにすることができるようにするものである。

本技術の一側面の情報処理装置は、ネットワークに接続されている他の装置からユーザに対して伝達したい情報があるとの要求を取得する取得部と、前記取得部により前記要求を取得した場合、前記他の装置に前記ユーザが注目しているか否かを検出する検出部と、前記検出部により前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する伝達制御部とを備える。

本技術の一側面の情報処理方法は、ネットワークに接続されている他の装置からユーザに対して伝達したい情報があるとの要求を取得し、前記要求を取得した場合、前記他の装置に前記ユーザが注目しているか否かを検出し、前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達するステップを含む。

本技術の一側面のプログラムは、コンピュータに、ネットワークに接続されている他の装置からユーザに対して伝達したい情報があるとの要求を取得し、前記要求を取得した場合、前記他の装置に前記ユーザが注目しているか否かを検出し、前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達するステップを含む処理を実行させる。

本技術の一側面の情報処理装置、情報処理方法、並びにプログラムにおいては、ネットワークに接続されている他の装置からユーザに対して伝達したい情報があるとの要求が取得され、要求が取得された場合、他の装置にユーザが注目しているか否かが検出され、他の装置にユーザが注目していると検出されたとき、情報がユーザに伝達される。

なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。

本技術の一側面によれば、ユーザに情報をより確実に伝えることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術が適用されるシステムの一実施の形態の構成を示す図である。 エージェント装置の構成例を示す図である。 システムの動作例について説明するためのフローチャートである。 リクエストのデータ構造について説明するための図である。 返答のデータ構造について説明するための図である。 完了通知のデータ構造について説明するための図である。 エージェント装置の処理について説明するためのフローチャートである。 システムの他の動作例について説明するためのフローチャートである。 リクエストの他のデータ構造について説明するための図である。 エージェント装置の他の処理について説明するためのフローチャートである。 システムの他の動作例について説明するためのフローチャートである。 システムの他の動作例について説明するためのフローチャートである。 システムの他の構成例について説明するための図である。 システムの他の構成例について説明するための図である。 記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。

＜システムの構成例＞
図１は、本技術を適用した情報処理システムの一実施の形態の構成を示す図である。図１に示した情報処理システムは、ローカルネットワーク１１に、エージェント装置２１が接続されている。また、ローカルネットワーク１１には、ロボット３１、冷蔵庫３２、テレビジョン受像機３３、照明装置３４も接続されている。

ローカルネットワーク１１は、家庭内に構築されたネットワークであるとする。またローカルネットワーク１１は、例えば、無線または／および有線で構成されたＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）であり、接続されている装置同士でデータの授受が行えるように構成されている。

なお、ロボット３１、冷蔵庫３２、テレビジョン受像機３３、照明装置３４は、異なるＬＡＮに接続され、それらのＬＡＮがＷＡＮに接続されているような構成であっても良い。すなわち、異なるネットワークに接続されている装置で構成されるシステムに対しても本技術を適用することはできる。

エージェント装置２１は、ローカルネットワーク１１に接続されている装置からの情報を、ユーザに提示したり、他の装置で情報を提示させたりするための制御を行う。ここでは、エージェント装置２１は、このような情報の処理を行う情報処理装置として機能する場合を例に挙げて説明を続けるが、他の機能、例えばユーザからの依頼により、外部のサーバにアクセスして情報を検索したり、その検索した情報を提示したりする機能を有していても良い。

ロボット３１は、愛玩ロボットなどと称されるロボットであるとする。ロボット３１は、人、動物などを模写した外観を有し、ユーザとコミュニケーションをとることで、ユーザのペットとして、友達として、機能する装置である。

冷蔵庫３２、テレビジョン受像機３３、照明装置３４は、ＩｏＴ（Internet of Things）デバイスと称される装置に属しているとし、ネットワークに接続され、情報を交換する機能を、本来の機能の他に有している。

＜エージェント装置の構成例＞
図２は、エージェント装置２１の構成例を示す図である。エージェント装置２１は、音声出力部５１、表示出力部５２、通信部５３、画像取得部５４、画像認識部５５、注目位置検出部５６、伝達情報処理部５７、伝達制御部５８、および出力制御部５９を含む構成とされている。

音声出力部５１は、スピーカを含む構成とされ、音声を出力し、ユーザに対して、音声で情報を伝達する。表示出力部５２は、ディスプレイを含む構成とされ、テキストや画像を出力し、ユーザに対して、表示により情報を伝達する。

通信部５３は、他の装置とローカルネットワーク１１を介してデータ(情報)の授受を行う。画像取得部５４は、カメラなどの撮像装置を含む構成とされ、例えばユーザやロボット３１などを撮像する。画像認識部５５は、画像取得部５４で取得された画像を用いて、ユーザを認識する。

画像認識部５５は、ユーザを認識するために、ユーザの顔の情報、例えば顔から抽出された特徴点の情報などを、予め保持している。画像認識部５５は、保持している情報と、画像取得部５４から供給された画像から得られる情報を比較し、登録されているユーザであるか否かを判定し、ユーザを特定する。また、ロボット３１などの装置の認識も行う。

注目位置検出部５６は、画像認識部５５で認識されたユーザがいる場所の検出や、ユーザが向いている方向、その視線の先にある装置などを検出する。例えば、画像取得部５４は、複数の部屋からそれぞれ画像を取得し、どの部屋から得られた画像にユーザが写っているかを判定することで、部屋が特定される。また、画像取得部５４で取得された画像を解析することで、ユーザの視線の方向を解析することができる。またその視線方向にある装置を検出することもできる。

伝達情報処理部５７は、通信部５３を介して他の装置から供給された、ユーザに伝達を依頼された情報に関する処理を行う。例えば、ユーザに情報の伝達の依頼を出してきた装置を特定し、その特定された装置が設置されている場所を特定し、伝達内容を特定する。

伝達制御部５８は、伝達情報処理部５７から、ユーザに伝達する情報として特定された情報を、ユーザに伝達するための制御を行う。詳細は後述するが、伝達情報処理部５７により、例えば、冷蔵庫３２からユーザに情報Ａの伝達が依頼された場合であり、注目位置検出部５６で検出されたユーザの視線の先にある装置が、例えばテレビジョン受像機３３といった表示デバイスを有する装置である場合、情報Ａを、ユーザが見ているテレビジョン受像機３３に表示するといった制御を行う。

出力制御部５９は、伝達制御部５８からの指示に基づき、音声出力部５１、表示出力部５２、通信部５３のいずれか１つまたは複数を制御し、情報を出力する。上記した例では、表示出力部５２を制御し、テレビジョン受像機３３において情報Ａが表示されるような制御が行われる。

＜システムにおける処理＞
＜ロボットからの情報を伝達する場合の第１の実施の形態＞
ここで、図１に示したシステムにおける処理について説明を加える。またここでは、ロボット３１からの情報を、ユーザに伝達する場合を例に挙げて説明する。

ロボット３１からの情報を、ユーザに伝達する場合として、ここではロボット３１にユーザの視線が向いたときに情報を伝達する処理（第１の実施の形態とする）と、ロボット３１にユーザの視線があるときに情報を伝達する処理（第２の実施の形態とする）とに分けて説明を行う。

第１の実施の形態について、図３に示したフローチャートを参照して説明する。

ステップＳ１１において、ロボット３１は、エージェント装置２１に対して、リクエストを送信する。ステップＳ３１において、エージェント装置２１は、ロボット３１からのリクエストを受信する。送受信されるリクエストは、例えば、図４に示すようなデータである。

図４を参照するに、 “method” : “Request To Tell User” 、 “id” :”48 とのデータから、ユーザに対して情報を伝えたいリクエストであり、このリクエストを識別するためのIDが“４８”であることが示されている。

また、 ”message” : “please play with me.”, “type” : “speech” , “Target Type” : “Adult” , “when” : “look At Target” とのデータから、大人のユーザに対して、ユーザがターゲットを見たとき、すなわちこの場合、ロボット３１を見たときに、“遊んで”と音声で伝えてほしいとのリクエストであることが示されている。

なおここでは、“Target Type” : “Adult”である場合を例に挙げて説明を続けるが、“Target Type” : “Female”や、“Target Type” : “Children”であっても良く対象が女性や子供であっても良い。

また、“Target User” : “Family 01”や、“Target User” : “Family any”といったデータでも良い。このようなデータの場合、例えば、“01”で表されるのがお父さんである場合、対象が、お父さんとの指定がなされていることが示されている。このような指定がなされている場合には、お父さんが認識された時点で、お父さんに対してリクエストが実行される。また、”any”の場合、対象が家族であり、家族であると認識されたときにリクエストが実行される。

また、 “target 3Dmodel Url” : “https://xxx.com/3Dmodel/xxx” とのデータから、ロボット３１の外観の情報があるＵＲＬが提示されている。このような情報は、エージェント装置２１が、例えば、画像取得部５４で取得された画像を解析し、ロボット３１であるか否かを判定するときの情報として用いられる。このような情報は、必要に応じて提示されれば良く、例えば、エージェント装置２１側で、一度このＵＲＬにアクセスし、ロボット３１の外観の情報をダウンロードしているようなときには、リクエストに含まれてなくても良い。

また “time out” : “120sec” とのデータから、このリクエストの有効期間が設定されており、この場合、１２０秒の間にユーザがロボット３１を見なかったときには、このリクエストは破棄されることが示されている。

このようなデータが、リクエストとして、ロボット３１からエージェント装置２１に対して送信される。なお、このデータは一例であり、限定を示す記載ではない。以下に示すデータも同様に、一例を示すものであり、限定を示す記載ではない。よって、他のデータ構造や、他のデータが含まれていても良い。

エージェント装置２１は、ステップＳ３１において、ロボット３１からのリクエストを受け取ると、ステップＳ３２において、返答を送信する。ステップＳ１２において、ロボット３１は、エージェント装置２１からの返答を受信する。送受信される返答は、例えば、図５に示すようなデータである。

図５を参照するに、 “result” : “Accept” , “id” : “48” とのデータから、ロボット３１からのリクエストIDが４８で識別されるリクエストが、エージェント装置２１により受け付けられたことが示されている。

このようなデータが、返答として、エージェント装置２１からロボット３１に対して送信される。エージェント装置２１は、返答をロボット３１に送信するとともに、受け付けたリクエストに対する処理を開始する。

ステップＳ３３において、エージェント装置２１は、ユーザの視線がロボット３１にあることを認識する。エージェント装置２１は、ユーザの視線がロボット３１にあることを認識すると、ステップＳ３４において、“遊んで”とユーザに音声で伝達する。このようにして、エージェント装置２１は、ロボット３１からのリクエストに応じた処理を実行する。

エージェント装置２１は、リクエストに対する処理を完了すると、ステップＳ３５において、処理が完了したことを表す完了通知をロボット３１に対して送信する。ロボット３１は、ステップＳ１３において、エージェント装置２１からの完了通知を受信する。送受信される完了通知は、例えば、図６に示すようなデータである。

図６を参照するに “result” : “OK” , “id” : “48” とのデータから、ロボット３１からのリクエストIDが４８のリクエストに対する処理が正常に実行されたことが示されている。

なお、有効期間内、この場合、１２０秒の間に、ユーザがロボット３１側を見ることなく、ロボット３１からのリクエストが実行されなかった場合、“result” : “NG” , “id” : “48” とのデータが、エージェント装置２１からロボット３１に対して送信される。

このように、ロボット３１自体は、“遊んで”といった人間の言葉を発することができない仕様とされている場合、ロボット３１の代わりにエージェント装置２１が、ロボット３１からの伝言（情報）として“遊んで”とユーザに伝える。よって、ユーザに対して情報を伝達する手段を有しない装置であっても、エージェント装置２１により、情報を伝達することが可能となる。

また、ユーザが情報の発信元である装置、この場合、ロボット３１を見ているときに、“遊んで”といった情報が伝達されるため、確実に情報を伝達することが可能となる。

換言すれば、情報の発信元を見ているときに、情報が伝達されることで、ユーザが注目しているときに情報を伝達することができ、その情報自体にユーザを注目させることができるようになるため、情報の内容をユーザに確実に伝えることができる。

また、情報の発信元を見ているときに、情報を提示することで、伝達された情報だけでなく、見ている装置（発信元）からの情報であることを確実にユーザに伝えることが可能となる。

図３に示したフローチャートに基づく処理が実行されるときのエージェント装置２１の処理の詳細について、図７のフローチャートを参照して説明する。

ステップＳ７１において、ユーザに伝えたい情報があるか否かが判定される。この判定は、例えば、伝達制御部５８（図２）が、他の装置からリクエストを受信したか否かを判定することで行われる。例えば、通信部５３により他の装置、例えば、ロボット３１からリクエストが受信されると、そのリクエストは、伝達情報処理部５７に供給される。

伝達情報処理部５７は、通信部５３を介して供給されたリクエスト、例えば、図４に示したようなデータが供給されると、そのデータを解析し、例えば、上記した例のように、ロボット３１がユーザに“遊んで”と伝達してほしいとのリクエストであるという解析結果を、伝達制御部５８に供給する。

伝達制御部５８は、伝達情報処理部５７からの解析結果を受け取り、その解析結果が、伝えたい情報があるという解析結果を含む場合、ステップＳ７１において、伝えたい情報があると判定し、処理をステップＳ７２に進める。

ステップＳ７１において、伝えたい情報があると判定されるまで、ステップＳ７１の処理が繰り返され、待機状態が維持される。

ステップＳ７２において、エージェント装置２１は、注目すべき装置や場所に関する情報を取得する。上記した例においては、注目すべき装置は、ロボット３１であり、ロボット３１がいる場所に関する情報が取得される。

伝達制御部５８は、ロボット３１が、どの部屋に設置されているかという情報を事前に取得している場合、その情報を用いて、ロボット３１の位置を特定する。

例えば、冷蔵庫３２やテレビジョン受像機３３（図１）などは、一度設置されたら、その設置位置が変更されることは少ない。このような装置の場合、一度位置が特定されたときに、その位置情報が登録され、その登録されている情報が、ステップＳ７２における処理が実行されるときに用いられるようにしても良い。またユーザにより位置情報が登録されるようにし、その情報が用いられるようにしても良い。

ロボット３１のように、位置が変更される可能性がある装置の場合、上記したように、登録されている情報が用いられて、位置などが特定されるようにしても良いが、画像認識により位置が特定されるようにしても良い。例えば、図４に示したリクエストのデータには、ロボット３１の外観のデータがあるＵＲＬの情報も含まれている。伝達制御部５８は、リクエストのデータに含まれるＵＲＬにアクセスし、ロボット３１の外観のデータを取得する。

また、伝達制御部５８は、画像取得部５４で取得された画像を解析し、取得したロボット３１の外観のデータを用いて、一致する物体が画像内に撮像されていないか否かを判定する。画像内に、ロボット３１が撮像されていることが判定されることで、その画像が撮像された部屋に、ロボット３１が居ると特定することができる。

このように、事前に登録されている情報から位置が特定できる場合には、登録されている情報を用いて位置が特定され、そのような情報が利用できない場合には、他の方法、例えば、上記したような画像認識により、位置が特定される。

ステップＳ７３において、状況に合わせた注目移動のための制御が行われる。上記した例において、ユーザがロボット３１の方を向いていない場合、ロボット３１にユーザが注目するような処理が実行される。例えば、出力制御部５９が、音声出力部５１を制御して、“ロボットが呼んでます”といったメッセージを出力することで、ロボット３１にユーザが注目するような処理が実行される。

なお、ステップＳ７３における処理は、省略されても良い。例えば、他の装置からのリクエストに、ユーザに注目してほしいといったリクエストも含まれていた場合には、このような処理が実行され、このようなリクエストが含まれていない場合には、行われないようにしても良い。

ステップＳ７４において、エージェント装置２１は、ユーザが、注目すべき装置や場所に移動したか否かを判定する。換言すれば、ステップＳ７４において、ユーザの視線が、注目させたい位置にあるか否かが判定される。例えば、注目位置検出部５６（図２）は、画像取得部５４で取得された画像を解析し、ユーザの視線方向を検出する。その検出された視線の方向が、ステップＳ７２において取得された注目すべき装置や、その装置がある場所に一致するか否かを、伝達制御部５８が判定することで、ステップＳ７４における処理は実行される。

ステップＳ７４において、ユーザが注目すべき装置や場所に移動した（ユーザの視線が、注目すべき装置や場所にある）と判定されなかった場合、処理は、ステップＳ７１に戻され、それ以降の処理が繰り返される。この場合、ユーザの視線が、注目すべき装置や場所に移動するまで処理が繰り返されることになる。

なお、リクエストの有効期間が設定されている場合、有効期間内であるか否かの判定が、ステップＳ７４の前の時点、または、ステップＳ７４において、ユーザが注目すべき装置や場所に移動していないと判定されたときに、実行されるようにしても良い。

一方、ステップＳ７４において、ユーザが注目すべき装置や場所に移動したと判定された場合、ステップＳ７５に処理は進められる。ステップＳ７５において、ユーザに対して情報が伝達される。上記した例においては、ユーザに対してロボット３１が遊ぼうといっているという情報が伝達される。例えば、出力制御部５９が、伝達制御部５８の指示により、音声出力部５１を制御することで、“遊ぼう”といった音声が出力される。

ステップＳ７６において、ユーザが情報を理解したか否かが判定される。例えば、ユーザが“わかった”といった理解を表す音声を出したとき、うなずくといった動作を行ったとき、また、“遊ぼう”というメッセージに対して、実際にロボット３１と遊びだしたときなど、ユーザが情報を理解したと判定され、処理は、ステップＳ７７に進められる。

一方、ステップＳ７６において、ユーザは情報を理解していないと判定された場合、ステップＳ７１に処理は戻され、それ以降の処理が繰り返される。

なお、ステップＳ７６の処理は省略され、ステップＳ７５において情報の伝達に係わる処理が終了されると、ステップＳ７７に処理が進められるようにしても良い。

ステップＳ７７において、伝えたい情報が削除される。すなわち、他の装置から受け取ったリクエストは削除される。なお、リクエストが削除されるとき、図３のフローチャートを参照して説明したように、ステップＳ３５の処理として、リクエストを出してきた装置に対してリクエストに対する処理は正常に実行された、または実行されなかったという完了通知が出されるようにしても良い。

このように、エージェント装置２１は、他の装置からリクエストがあった場合、そのリクエストに対する処理を実行する。

＜ロボットからの情報を伝達する場合の第２の実施の形態＞
図１に示したシステムにおける処理について説明を加える。ここではロボット３１にユーザの視線があるときに情報を伝達する処理（第２の実施の形態）について、図８に示したフローチャートを参照して説明する。

ステップＳ１０１において、ロボット３１は、ユーザの視線がロボット３１（自己）にあることを認識する。この認識は、ロボット３１自体が、ユーザの視線を検知する機能を有し、その機能によりユーザの視線が、自己に向けられていることを認識するように構成することができる。

また、上記した第１の実施の形態と同じく、エージェント装置２１が、ユーザの視線を検知し、その検知した視線の先にロボット３１があるか否かを判定し、ユーザの視線は、ロボット３１にあると判定されたとき、エージェント装置２１からロボット３１に対して、そのような判定結果が伝えられることにより、ロボット３１がユーザの視線が自己に向けられていることを認識するように構成することもできる。

ステップＳ１０１において、ロボット３１は、ユーザの視線がロボット３１にあると認識すると、ステップＳ１０２において、エージェント装置２１に対してリクエストを出す。ステップＳ１３１において、エージェント装置２１は、ロボット３１からのリクエストを受信する。送受信されるリクエストは、例えば、図９に示すようなデータである。

図９に示したリクエストに関するデータと、図４に示したリクエストに関するデータとで、同一のデータについては説明を省略する。図９に示したリクエストに関するデータは、 “when” : “immediate”とのデータとなっており、ユーザに直ちに“遊んで”と音声で伝えてほしいとのリクエストであることが示されている。

このようなデータが、リクエストとして、ロボット３１からエージェント装置２１に対して送信される。

エージェント装置２１は、ステップＳ１３１において、ロボット３１からのリクエストを受け取ると、ステップＳ１３２において、“遊んで”とユーザに音声で伝達する。このようにして、エージェント装置２１は、ロボット３１からのリクエストに応じた処理を実行する。

エージェント装置２１は、リクエストに対する処理を完了すると、ステップＳ１３３において、処理が完了したことを表す完了通知をロボット３１に対して送信する。ロボット３１は、ステップＳ１０３において、エージェント装置２１からの完了通知を受信する。送受信される完了通知は、例えば、図６に示したようなデータであり、図６に示したデータに関しては既に説明したので、ここではその説明は省略する。

このように、ロボット３１自体は、「遊んで」といった人間の言葉を発することができない場合、ロボット３１の代わりにエージェント装置２１がユーザに、ロボット３１からの伝言（情報）を伝達する。よって、ユーザに対して情報を伝達する手段を有しない装置であっても、エージェント装置２１により、情報を伝達することが可能となる。

図８に示したフローチャートに基づく処理が実行されるときのエージェント装置２１の処理の詳細について、図９のフローチャートを参照して説明する。図９に示したフローチャートの処理は、他の装置からのリクエストを受けたときに、エージェント装置２１で開始される。

ステップＳ１７１において、画像が取得される。この画像は、ステップＳ１７２において、ユーザの視線を認識している装置や、その装置の位置に関する情報などを取得するために取得される。ステップＳ１７２における処理は、図７のフローチャートにおけるステップＳ７２の処理と同様に行うことができる。すなわち、取得された画像から、ユーザの視線を認識している装置（リクエストを出してきた装置）が特定され、その装置がある場所が特定される。

ステップＳ１７３において、伝達する情報があるか否かが判定される。受信されたデータを解析し、ユーザに伝達したい情報があるとのリクエストであるか否かが判定される。ステップＳ１７３において、伝達する情報はないと判定された場合、図１０に示したフローチャートの処理は終了される。なお、伝達する情報がないと判定された場合であっても、他の装置からのリクエストに対する処理は行われる。

一方、ステップＳ１７３において、伝達する情報があると判定された場合、ステップＳ１７４に処理は進められる。ステップＳ１７４において、他の装置からのリクエストに応じて、ユーザに対して情報が伝達される。例えば、上記した例においては、ユーザに対してロボット３１からのメッセージとして“遊んで”との情報が、音声で伝達される。

ステップＳ１７５において、伝えたい情報が削除される。すなわち、他の装置から受け取ったリクエストは削除される。なお、リクエストが削除されるとき、図８のフローチャートを参照して説明したように、リクエストを出してきた装置に対してリクエストに対する処理は正常に実行された、または実行されなかったという完了通知が出されるようにしても良い。

このように、エージェント装置２１は、他の装置からリクエストがあった場合、そのリクエストに対する処理を実行する。

＜他の具体例１＞
上記した実施の形態においては、ロボット３１からのリクエストを処理する場合を例に挙げて説明したが、ロボット３１以外の装置からのリクエストを処理する場合を例に挙げて説明を続ける。

図１１のフローチャートを参照し、照明装置３４からのリクエストを処理する場合を例に挙げた説明を行う。

ステップＳ２０１において、照明装置３４は、電球が切れたことを検知する。ステップＳ２０２において、照明装置３４は、電球が切れたことを、ユーザに伝えてほしいとのリクエストを、エージェント装置２１に対して出す。このとき授受されるリクエストのデータは、例えば、図４を参照して説明したようなデータ構造とすることでき、その内容は、ユーザに対して電球が切れたことを知らせてほしいという内容とすることができる。

ステップＳ２２１において、エージェント装置２１は、照明装置３４からのリクエストを受信すると、ステップＳ２２２において、リクエストを受け付けたことを示す返答を、照明装置３４に対して出す。そのような返答を、ステップＳ２０３において、照明装置３４は受け取る。このとき授受される返答のデータは、例えば、図５を参照して説明したようなデータ構造とすることができる。

エージェント装置２１は、照明装置３４からのリクエストに応じるための処理を開始する。ステップＳ２２３において、エージェント装置２１は、ユーザの視線がテレビジョン受像機３３にあることを認識する。照明装置３４は、ユーザに情報を伝達する手段として、音声を出力したり、メッセージを表示したりする手段を有さない装置であるため、そのような手段を有するテレビジョン受像機３３にて、情報を伝達するようにする。

そこで、エージェント装置２１は、ステップＳ２２３において、情報を表示するテレビジョン受像機３３に、ユーザの視線があるかを検出し、検出したときに、ユーザの視線がテレビジョン受像機３３にあると認識し、処理をステップＳ２２４に進める。

ステップＳ２２４において、エージェント装置２１は、テレビジョン受像機３３にメッセージを出すように指示を出す。この指示には、例えば、“電球が切れました”といったメッセージを表示するといった指示が含まれる。

ステップＳ２４１において、テレビジョン受像機３３は、エージェント装置２１からの指示を受け取ると、ステップＳ２４２において、受け取った指示に基づく処理を実行する。すなわちこの場合、テレビジョン受像機３３は、画面上に、“電球が切れました”というメッセージを表示する。

または、“電球を見て”といったようなメッセージでも良く、ユーザが電球（照明装置３４）側に視線を向けるようにするためのメッセージが表示されるようにしても良い。そして、ユーザが電球の方に視線を向けたことが検知された後、テレビジョン受像機３３に、“電球が切れました”というメッセージが表示されるようにしても良い。

このように、ユーザに対して情報を伝達する手段を有さない装置、この場合、照明装置３４は、エージェント装置２１を介してテレビジョン受像機３３という他の装置で、情報を伝達する。また、エージェント装置２１は、テレビジョン受像機３３にユーザの視線があるタイミングで、換言すれば、情報を伝達する装置に、ユーザが注目しているタイミングで、情報が提示されるように制御を行う。

このような処理がエージェント装置２１において実行される場合も、上記した図７に示したフローチャートに基づく処理がエージェント装置２１において実行される。

図７に示したフローチャートを再度参照して、簡便に説明を加える。ステップＳ７１において、エージェント装置２１は、照明装置３４からリクエストを受け取った時点で、伝達したい情報があると判定し、処理をステップＳ７２に進める。

ステップＳ７２において、注目すべき装置や場所の情報として、テレビジョン受像機３３の情報が取得される。この場合、メッセージを表示するために、ユーザに注目させたい装置としてテレビジョン受像機３３が選択され、テレビジョン受像機３３に関する情報が取得される。

ステップＳ７３において、状況に合わせた注目移動のための制御が行われるが、この制御は省略することも可能であるし、例えば、“テレビジョン受像機を見て”といったメッセージが出音されるようにしても良い。

ステップＳ７４において、ユーザの注目が、注目すべき装置、この場合、テレビジョン受像機３３にあるか否かが判定される。ステップＳ７４において、ユーザの注目が、テレビジョン受像機３３にあると判定されたときに、処理は、ステップＳ７５に進められ、情報の伝達が行われる。例えば、ユーザがテレビジョン受像機３３で番組を見ているときに、“電球が切れました”といったメッセージや、“電球を見てください”といったメッセージが、ディスプレイに表示される。このようなメッセージが表示されるようにするための処理が、ステップＳ７５において、エージェント装置２１により実行される。

ステップＳ７６において、ユーザが情報を理解したか否かが判定される。例えば、ユーザの視線が、電球の方に向いたと判定された場合に、ユーザが情報を理解したと判定される。そして、ステップＳ７７において、照明装置３４からのリクエストは削除され、照明装置３４からのリクエストに対する処理は終了される。

次に、図１２のフローチャートを参照し、照明装置３４からのリクエストを処理する場合の他の例について説明する。

照明装置３４において実行されるステップＳ２６１乃至Ｓ２６３の処理は、図１１のフローチャートにおけるステップＳ２０１乃至Ｓ２０３と同様に行われるため、その説明は省略する。また、エージェント装置２１において実行されるステップＳ２８１，Ｓ２８２の処理は、図１１のフローチャートにおけるステップＳ２２１，Ｓ２２２と同様に行われるため、その説明は省略する。

ステップＳ２８３において、エージェント装置２１は、ユーザの視線が電球近くにあると認識すると、処理を、ステップＳ２８４に進め、ユーザに対して情報を提示する。この場合、エージェント装置２１が、例えば、“電球が切れています”といったメッセージを発話することで、ユーザに照明装置３４からリクエストされていた情報が伝達される。

このように、エージェント装置２１自体が、照明装置３４からの情報を、伝達するようにしても良い。また、ユーザが照明装置３４（電球）を見ているときに、照明装置３４からの情報が伝達されるようにすることができる。

＜他の具体例２＞
さらに具体例について説明を加える。なお、システムにおける基本的な処理の流れは、上記した場合と同様であるため、重複する説明は適宜省略する。

他の具体例として、冷蔵庫３２からのリクエストを処理する場合を例に挙げた説明を行う。

冷蔵庫３２が庫内に賞味期限（消費期限）切れの商品を検知した場合、エージェント装置２１に対して、ユーザに賞味期限切れの食品があるという情報を伝達してほしいというリクエストを出す。

冷蔵庫３２からのリクエストを受信したエージェント装置２１は、ユーザが冷蔵庫３２の近傍にいることや、冷蔵庫３２の庫内を見ていることなどを検知し、そのタイミングで、ユーザに対して、“賞味期限切れの食品があります”といったメッセージを発話する。

または、冷蔵庫３２からのリクエストを受信したエージェント装置２１は、例えば、リクエストを受信したときに、ユーザがテレビジョン受像機３３で番組を視聴していた場合、ユーザに対して、“賞味期限切れの食品があります”といったメッセージをテレビジョン受像機３３に表示させる。

または、冷蔵庫３２は、ユーザが近傍にいるときや、庫内をみていることを検知したときに、エージェント装置２１に対してリクエストを出すようにしても良い。そして、エージェント装置２１は、冷蔵庫３２からのリクエストを受信した時点で、ユーザに対して、“賞味期限切れの食品があります”といったメッセージを発話する。

このように、冷蔵庫３２が情報の発信元となっている場合、ユーザが冷蔵庫３２に注目しているとき（注目できるとき）に、情報の発信元である冷蔵庫３２からの情報が伝達される。または、冷蔵庫３２が情報の発信元となっている場合、ユーザが情報を伝達できる手段を有する例えばテレビジョン受像機３３に注目しているとき（注目できるとき）に、情報の発信元である冷蔵庫３２からの情報が伝達される。

他の具体例として、換気扇（不図示）からのリクエストを処理する場合を例に挙げた説明を行う。

換気扇は、換気扇が汚れ、掃除が必要になってきたことを検知した場合、エージェント装置２１に対して、ユーザに掃除の時期であるという情報を伝達してほしいというリクエストを出す。

換気扇は、リクエストを出すとともに、ファンの音が大きくなるような制御を開始する。ファンの音が大きくなることで、ユーザが換気扇に注目すると、そのことを検知したエージェント装置２１が、ユーザに対して、“掃除の時期です”といったメッセージを発話する。

ファンの音が大きくなるような制御は、エージェント装置２１が、換気扇からのリクエストを受信した後に、ユーザが換気扇の近くいることを検知したときに、換気扇に指示を出すことで開始されるようにしても良い。この場合、エージェント装置２１は、換気扇にユーザが注目するように制御を行い、その結果、ユーザが換気扇に注目したときに、換気扇からの情報が、ユーザに提示される。

このように、換気扇が情報の発信元となっている場合、ユーザが換気扇に注目するような処理を、換気扇自体またはエージェント装置２１が行い、その結果、ユーザが換気扇に注目しているときに、情報の発信元である換気扇からの情報が伝達される。

他の具体例として、掃除ロボット（不図示）からのリクエストを処理する場合を例に挙げた説明を行う。

掃除ロボットが段差などにより動けなくなったことを検知した場合、エージェント装置２１に対して、動けなくなったという情報を伝達してほしいというリクエストを出す。

エージェント装置２１は、掃除ロボットが居る位置を検知し、その近くにある照明装置３４を検索し、その照明装置３４を点滅させる。照明装置３４が点滅し、その点滅にユーザが気づき、その照明装置３４側に視線を向けたことや、その照明装置３４側に近づいたことを、エージェント装置２１が検知した場合、ユーザに対して、“掃除ロボットが動けなくなっています”といったメッセージを発話する。

このように、掃除ロボットが情報の発信元となっている場合、ユーザが掃除ロボットに注目するような処理を、エージェント装置２１が行い、その結果、ユーザが掃除ロボットに注目（掃除ロボット付近を注目）しているときに、情報の発信元である掃除ロボットからの情報が伝達される。

＜他の具体例３＞
さらに具体例について説明を加える。上記した具体例は、エージェント装置２１が家庭内にある場合を例に挙げて説明したが、エージェント装置２１は、家庭内に限らず、他の場所に設置されていても良い。例えば、車に搭載されていても良い。

図１３は、車の運転席側から運転者（ユーザ）が見える計器類などを示した図である。運転者は、フロントパネル２０１にあるスピードメータ２０２、燃料計２０３、およびタコメータ２０４を見ることができる。エージェント装置２１は、図１３には図示していないが、これらを管理する装置として車内に搭載されている。

例えば、スピードメータ２０２は、制限速度を超えた速度であることを検知した場合、スピードが出すぎているという情報を、ユーザに伝達したいというリクエストをエージェント装置２１に対して出す。

エージェント装置２１は、ユーザの視線を検知し、ユーザがフロントパネル２０１（内のスピードメータ２０２）に視線があることを検知したとき、例えば、スピードメータ２０２を発光させる、“スピードが出ています”といったメッセージを発話するなどの処理を実行することで、ユーザに情報を伝達する。

また例えば、燃料計２０３は、燃料が残り少なくなったことを検知した場合、燃料が少なくなったという情報を、ユーザに伝達したいというリクエストをエージェント装置２１に対して出す。

エージェント装置２１は、ユーザの視線を検知し、ユーザがフロントパネル２０１（内の燃料計２０３）に視線があることを検知したとき、例えば、燃料計２０３を発光させる、“燃料が少なくなりました”といったメッセージを発話するなどの処理を実行することで、ユーザに情報を伝達する。

また例えば、エージェント装置２１が、しばらくメンテナンスがされていないことを検知したときに、ユーザの視線を検知し、ユーザがフロントパネル２０１に視線があることを検知したとき、例えば、メンテナンスを表すアイコンを発光させる、タコメータ２０４を発光させる、“メンテナンスをしてください”といったメッセージを発話するなどの処理を実行することで、ユーザに情報を伝達する。

図１４は、車の運転席側から運転者（ユーザ）が見える計器類などを示した図であり、図１３に示した例とは異なる例を示す図である。フロントパネル２５１には、ディスプレイ２５２が備えられ、そのディスプレイ２５２に、図１３に示したスピードメータ２０２、燃料計２０３、およびタコメータ２０４などが表示される。

例えば、制限速度を超えた速度であることが検知された場合、エージェント装置２１は、ディスプレイ２５２に、スピードメータ２０２を表示させる。この表示は、エージェント装置２１が、ユーザの視線を検知し、ユーザがフロントパネル２５１に視線があることを検知したときに行われる。

または、エージェント装置２１が、ユーザの視線を検知し、ユーザがフロントパネル２５１に視線があることを検知したときに、ディスプレイ２５２に表示されているスピードメータ２０２の表示を明るく表示する、点滅して表示するなどの制御を行うことで、ユーザに情報を伝達する。

また例えば、燃料が残り少なくなったことが検知された場合、エージェント装置２１は、ディスプレイ２５２に、燃料計２０３を表示させる。この表示は、エージェント装置２１が、ユーザの視線を検知し、ユーザがフロントパネル２５１に視線があることを検知したときに行われる。

または、エージェント装置２１が、ユーザの視線を検知し、ユーザがフロントパネル２５１に視線があることを検知したときに、ディスプレイ２５２に表示されている燃料計２０３の表示を明るく表示する、点滅して表示するなどの制御を行うことで、ユーザに情報を伝達する。

また例えば、エージェント装置２１が、しばらくメンテナンスがされていないことを検知したときに、ユーザの視線を検知し、ユーザがディスプレイ２５２に視線があることを検知したとき、例えば、メンテナンスを表すアイコンを表示させる、表示されているメンテナンスを表すアイコンを発光させるなどの処理を実行することで、ユーザに情報を伝達する。

この場合も、ユーザに音声により、情報が伝達されるようにしても良い。

このように、ユーザに伝達したい情報が発生したとき、情報を伝達する位置にユーザの視線があるときに、情報が伝達される。よって、確実に情報を伝達することができるようになる。

＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
(１）
他の装置からの情報を取得する取得部と、
前記他の装置にユーザが注目しているか否かを検出する検出部と、
前記検出部により前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する伝達制御部と
を備える情報処理装置。
(２）
前記伝達制御部は、前記検出部で前記他の装置にユーザが注目していると検出されるまで、前記情報の伝達を行わない
前記（１)に記載の情報処理装置。
(３）
前記情報は、前記他の装置に前記ユーザが注目しているときに出された情報である
前記（１)または（２）に記載の情報処理装置。
(４）
前記伝達制御部は、前記ユーザが、表示デバイスを有する装置に注目しているとき、前記表示デバイスに前記情報を表示する
前記（１)乃至（３）のいずれかに記載の情報処理装置。
(５）
前記伝達制御部は、前記ユーザを前記他の装置に注目させるための処理を実行した後、前記情報を前記ユーザに伝達する
前記（１)乃至（４）のいずれかに記載の情報処理装置。
(６）
前記伝達制御部は、表示デバイスを有する装置に、前記他の装置に注目させるためのメッセージを表示し、その結果、前記ユーザが前記他の装置に注目した後、前記情報を前記ユーザに伝達する
前記（１)乃至（５）のいずれかに記載の情報処理装置。
(７）
前記他の装置は、複数の計器であり、
前記検出部は、前記計器に前記ユーザが注目しているか否かを検出し、
前記伝達制御部は、前記計器で前記情報を伝達する
前記（１)に記載の情報処理装置。
(８）
前記他の装置は、複数の計器であり、
前記検出部は、前記計器を表示する表示デバイスに前記ユーザが注目しているか否かを検出し、
前記伝達制御部は、情報を出してきた前記計器を前記表示デバイスに表示する
前記（１)に記載の情報処理装置。
(９）
他の装置からの情報を取得し、
前記他の装置にユーザが注目しているか否かを検出し、
前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する
ステップを含む情報処理方法。
(１０）
コンピュータに、
他の装置からの情報を取得し、
前記他の装置にユーザが注目しているか否かを検出し、
前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する
ステップを含む処理を実行させるためのプログラム。

１１ ローカルネットワーク， ２１ エージェント装置， ３１ ロボット， ３２ 冷蔵庫， ３３ テレビジョン受像機， ３４ 照明装置， ５１ 音声出力部， ５２ 表示装置部， ５３ 通信部， ５４ 画像取得部， ５５ 画像認識部， ５６ 注目位置検出部， ５７ 伝達情報処理部， ５８ 伝達制御部， ５９ 出力制御部， ２０１ フロントパネル， ２０２ スピードメータ， ２０３ 燃料計， ２０４ タコメータ

Claims (8)

1. ネットワークに接続されている他の装置からユーザに対して伝達したい情報があるとの要求を取得する取得部と、
   前記取得部により前記要求を取得した場合、前記他の装置に前記ユーザが注目しているか否かを検出する検出部と、
   前記検出部により前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する伝達制御部と
   を備える情報処理装置。
2. 前記伝達制御部は、前記検出部で前記他の装置にユーザが注目していると検出されるまで、前記情報の伝達を行わない
   請求項１に記載の情報処理装置。
3. 前記情報は、前記他の装置に前記ユーザが注目しているときに出された情報である
   請求項１に記載の情報処理装置。
4. 前記伝達制御部は、前記ユーザが、表示デバイスを有する装置に注目しているとき、前記表示デバイスに前記情報を表示する
   請求項１に記載の情報処理装置。
5. 前記伝達制御部は、前記ユーザを前記他の装置に注目させるための処理を実行した後、前記情報を前記ユーザに伝達する
   請求項１に記載の情報処理装置。
6. 前記伝達制御部は、表示デバイスを有する装置に、前記他の装置に注目させるためのメッセージを表示し、その結果、前記ユーザが前記他の装置に注目した後、前記情報を前記ユーザに伝達する
   請求項１に記載の情報処理装置。
7. ネットワークに接続されている他の装置からユーザに対して伝達したい情報があるとの要求を取得し、
   前記要求を取得した場合、前記他の装置に前記ユーザが注目しているか否かを検出し、
   前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する
   ステップを含む情報処理方法。
8. コンピュータに、
   ネットワークに接続されている他の装置からユーザに対して伝達したい情報があるとの要求を取得し、
   前記要求を取得した場合、前記他の装置に前記ユーザが注目しているか否かを検出し、
   前記他の装置に前記ユーザが注目していると検出されたとき、前記情報を前記ユーザに伝達する
   ステップを含む処理を実行させるためのプログラム。

Images