JP6713057B2 - 移動体制御装置および移動体制御プログラム - Google Patents

Description

本発明の一態様は移動体制御装置および移動体制御プログラムに関する。

近年、人工知能を備えた装置の開発が盛んに行われている。例えば、特許文献１には、ユーザから知らないことを聞かれた場合にユーザにその答えを問い返し、その質問内容と答えを記憶して、次からの対話に用いるようにする音声対話装置が開示されている。

日本国特許公開公報「特開２００４−１０９３２３号公報（２００４年４月８日公開）」

しかしながら、従来技術では、装置に対し、対話以外の動作（例えば、自発的な発話）をより自然に行わせることについて、十分な検討がなされていない。そこで、本発明者らは、独自の観点に基づき、移動体装置に対し、対話以外の場面においても、動作をより自然に行わせるための技術について鋭意検討を重ねている。

本発明の一態様は、上記課題に鑑みてなされたものであり、移動体装置に対し、対話以外の場面においても、動作をより自然に行わせることができる移動体制御装置および移動体制御プログラムを提供することを主たる目的とする。

上記の課題を解決するために、本発明の一態様に係る移動体制御装置は、画像取得部と、動作制御部と、一つ以上のプロセッサとを備え、前記画像取得部は、特定の移動体装置の周囲の撮像画像を取得し、前記一つ以上のプロセッサは、前記画像取得部が取得した撮像画像を参照して前記移動体装置が配置されたシーンを推定するシーン推定処理と、前記推定したシーンに応じた動作を決定する動作決定処理と、前記移動体装置に前記決定した動作をさせる動作制御処理とを行う。

本発明の一態様によれば、特定の移動体装置が配置されたシーンを推定し、当該移動体装置に対し、当該移動体装置が配置されたシーンに合った動作を行わせることができる。

本発明の実施形態１に係る移動体制御装置の要部構成を示すブロック図である。 本発明の実施形態１に係る移動体制御装置のハードウェア構成の一例を示すブロック図である。 本発明の実施形態１に係る移動体制御装置の動作の一例を説明するフローチャートである。 本発明の実施形態１に係る移動体制御装置による物体の検出の一例を説明するための図である。 本発明の実施形態２に係る移動体制御装置の要部構成を示すブロック図である。 本発明の実施形態３に係る移動体制御装置の要部構成を示すブロック図である。 本発明の実施形態３に係る移動体制御装置による端末の発話の例を説明するための図である。 本発明の実施形態４に係る移動体制御装置の要部構成を示すブロック図である。 制御部として利用可能なコンピュータの構成を例示したブロック図である。

〔実施形態１〕
以下、本発明の実施形態１について、詳細に説明する。

（移動体制御装置１の要部構成）
図１は、本実施形態に係る移動体制御装置１の要部構成を示すブロック図である。移動体制御装置１は、図１に示すように、制御部（プロセッサ）２、撮像部３、音声出力部４、物体ＤＢ５ａ、シーンＤＢ（対応付け情報記憶部）５ｂおよび動作ＤＢ（第二の対応付け情報記憶部）５ｃを備えている。

制御部２、撮像部３、音声出力部４、物体ＤＢ５ａ、シーンＤＢ５ｂおよび動作ＤＢ５ｃは、それぞれ単体のハードウェアによって構成されていてもよいし、複数のハードウェアによって分散的に構成されてもよい。

制御部２は、機能ブロックとして、画像取得部２１、物体検出部２２、画像認識部２３、シーン推定部２４、発話内容決定部（動作決定部）２５および発話制御部（動作制御部）２６を備えている。制御部２は、１または複数のプロセッサである。制御部２としては、１個のプロセッサがすべての機能ブロックの処理を実行してもよいし、複数のプロセッサが各機能ブロックの処理を分けて実行してもよい。

撮像部３は、例えば、一つ以上のカメラであり、特定の移動体装置の周囲を撮像する。画像取得部２１は、撮像部３を介して、当該特定の移動体装置の周囲の撮像画像を取得する。画像取得部２１は、単一の撮像画像を取得するものであってもよいし、複数の撮像画像を取得するものであってもよい。画像取得部２１が複数の撮像画像を取得する場合、（ｉ）撮像部３は互いに異なる方向を撮像する複数のカメラを備えており、画像取得部２１は各カメラからそれぞれ撮像画像を取得するようになっていてもよいし、（ｉｉ）撮像部３は移動（回転を含む）可能なカメラを備えており、画像取得部２１は当該カメラを移動させながら、または当該カメラの向きを変えながら複数の撮像画像を取得するようになっていてもよい。これにより、画像取得部２１、当該特定の移動体装置の周囲の撮像画像を好適に取得することができる。

物体検出部２２は、画像取得部２１が取得した撮像画像中に含まれる物体（例えば、移動体装置が家の中にある場合には、テレビ、ソファー、テーブルなど）を検出する（シーン推定処理の一部）。詳細には、物体検出部２２は、物体が映っている可能性がある撮像画像中のエリアを特定し、当該エリアを切り出して検出画像データを生成する。物体検出部２２は、撮像画像中に、物体が映っている可能性のあるエリアが複数含まれている場合には、複数のエリアを特定し、複数の検出画像データを生成する。

画像認識部２３は、物体ＤＢ５ａを参照して、物体検出部２２が生成した検出画像データに基づき、物体検出部２２が検出した物体の名称またはＩＤ等を識別する（シーン推定処理の一部）。物体ＤＢ５ａには、各物体の名称またはＩＤ等を識別するために用いられる情報が予め記憶されている。例えば、物体ＤＢ５ａには、検出画像データの特徴量をとらえるためのパラメーターや複数の特徴量を各物体の名称またはＩＤ等へ変換するための情報が予め記憶されている。

シーン推定部２４は、シーンＤＢ５ｂを参照して、画像認識部２３が識別した物体の名称またはＩＤ等の組み合わせから、当該特定の移動体装置が配置されたシーンを推定する（シーン推定処理）。なお、本明細書において「移動体装置が配置されたシーン」とは、移動体装置が配置された場所の種類を意味し、例えば、家の中であれば、リビング、寝室、キッチンなどの部屋であり得る。シーンＤＢ５ｂには、各物体と各シーンとの対応付けを示す対応付け情報が予め記憶されている。より詳細には、例えば、各シーンに対応付けて、当該シーンにおいて存在する可能性が高い物体の名称またはＩＤ等が予め記憶されている。

発話内容決定部２５は、動作ＤＢ５ｃを参照して、シーン推定部２４が推定したシーンに応じた発話内容を決定する（動作決定処理）。動作ＤＢ５ｃには、各シーンに対応付けて、当該シーンに応じた発話候補を規定する情報が予め記憶されている。

音声出力部４は、例えば、スピーカである。発話制御部２６は、発話内容決定部２５が決定した発話内容を音声に変換し、音声出力部４から出力させる（動作制御処理）。発話制御部２６は、例えば、公知の音声合成技術を用いて音声を合成してもよい。

なお、各機能ブロック間におけるデータ（画像含む）の受け渡しの方法は特に限定されず、例えば、後述するように、記憶部を介して受け渡しをしてもよいし、通信インターフェースを介して受け渡しをしてもよい。

（移動体制御装置１のハードウェア構成）
図２は、本実施形態に係る移動体制御装置１のハードウェア構成の一例を示すブロック図である。移動体制御装置１は、一例において、図２に示すように、サーバ８と、端末（移動体装置）９とを備えている。

サーバ８は、通信部７ａ、記憶部１０ａ、および、制御部１１ａを備えている。通信部７ａは、端末９と通信するための通信インターフェースである。記憶部１０ａには、一部または全部のＤＢが格納されている。また、記憶部１０ａは、各ブロック間のデータの入出力にも用いられる。制御部１１ａは、サーバ８の各構成要素を統括的に制御する機能を備えている演算装置である。制御部１１ａは、図１の制御部２の一部または全部の機能ブロックの処理を実行することが可能である。

端末９は、スマートフォン等の携帯電話端末、タブレット等の携帯情報端末、携帯可能な小型ロボット、ロボット掃除機等の自走可能なロボット等であり得るが、それらに限定されることはなく、携帯されることにより、または、自ら動くことにより移動可能な装置（移動体装置）であればよい。

端末９は、撮像部３、音声出力部４、通信部７ｂ、記憶部１０ｂ、および、制御部１１ｂを備えている。通信部７ｂは、サーバ８と通信するための通信インターフェースである。記憶部１０ｂには、一部または全部のＤＢが格納されている。また、記憶部１０ｂは、各ブロック間のデータの入出力にも用いられる。制御部１１ｂは、端末９の各構成要素を統括的に制御する機能を備えている演算装置である。制御部１１ｂは、図１の制御部２の一部または全部の機能ブロックの処理を実行することが可能である。

また、サーバ８の制御部１１ａと、端末９の制御部１１ｂとは、図１の制御部２の各機能ブロックの処理を分けて実行することが可能である。例えば、図１において、制御部２の枠組み内に点線にて境界を示したように、サーバ８の制御部１１ａが、シーン推定部２４および発話内容決定部２５の処理を実行し、端末９の制御部１１ｂが、画像取得部２１、物体検出部２２、画像認識部２３および発話制御部２６の処理を実行してよい。また、他の分け方で、制御部１１ａと制御部１１ｂとが、制御部２の各機能ブロックの処理を実行してもよい。

（移動体制御装置１の動作）
図３は、本実施形態に係る移動体制御装置１の動作の一例を説明するフローチャートである。

まず、画像取得部２１は、撮像部３を介して、端末９の周囲の撮像画像を取得する（ステップＳ１）。撮像画像は、例えば、記憶部１０ｂに記憶される。

続いて、物体検出部２２は、撮像画像に対し、物体検出の処理を行うことにより、物体が映っている可能性のあるエリアを特定する。このとき、物体検出部２２は、１または複数のエリアを特定する可能性がある。そして、物体検出部２２は、撮像画像から各エリアを切り出すことによって、当該エリアに対応する検出画像データを生成する（ステップＳ２）。なお、物体検出部２２が物体を検出しなかった場合（生成した検出画像データが０個の場合）は、ステップＳ３以降の処理は行われない。

物体検出の処理のアルゴリズムとしては、セレクティブサーチ（Selective Search）やオブジェクトネス（Objectness）などの公知のアルゴリズムを用いることができる。また、エリアの特定は、例えば、エリアを表す座標情報によって特定することができる。座標情報の表現方法としては、例えば、（左上頂点座標、横幅、縦幅）や、（左上頂点座標、右下頂点座標）などが挙げられるが、特に限定されない。

図４は、移動体制御装置１による物体の検出の一例を説明するための図である。撮像画像１００中には、リンゴおよびバナナが映っている。物体検出部２２は、撮像画像１００から、リンゴが映っているエリア１０１と、バナナが映っているエリア１０２とを特定し、それぞれのエリアを切り出して、検出画像データ１と、検出画像データ２とをそれぞれ生成する。

続いて、画像認識部２３は、物体ＤＢ５ａを参照し、物体検出部２２によって生成された各検出画像データに対し、映っている物体の名称を識別する画像認識の処理を行う。画像認識の処理のアルゴリズムとしては、近年、畳み込みニューラルネットワークを用いたディープラーニング技術が高い精度を出しており、好適に用いることができる。また、他の画像認識の処理のアルゴリズムとして、パターンマッチング等を挙げることができる。

表１は、画像認識部２３による処理の結果の一例を示す表である。表１に示すように、検出画像データ１、検出画像データ２、・・・、検出画像データｎに対して、それぞれ名称１、名称２、・・・、名称ｎが識別される。例えば、図４に示すエリア１０１からの検出画像データに対しては「リンゴ」が、エリア１０２からの検出画像データに対しては「バナナ」が、それぞれ識別される。なお、名称を示すデータは、文字列である必要はなく、名称に対応づけられた数値などのインデックスやＩＤ等としてもよい。

次に、シーン推定部２４は、画像認識部２３が識別した物体の名称等の組み合わせ（セット）を取得し、シーンＤＢ５ｂに記憶されている各物体と各シーンとの対応付けを示す対応付け情報を参照して、スコアリングを行う（ステップＳ４）。

スコアリングの処理では、シーン推定部２４は、画像認識部２３が識別した各物体に対応付けされたシーンに加点する。以下、例を挙げてスコアリングの処理の詳細を説明する。

表２は、シーンＤＢ５ｂに記憶されている対応付け情報の一例を示す表である。表２の各行は、シーン（部屋の種類）を示している。表２の各列は、物体の名称を示している。各升目には、当該升目が属する列に示される物体が、当該升目が属する行に示されるシーンに配置される確率が高い程値が大きくなるように、数値が予め割り当てられている。

そして、シーン推定部２４は、表２の各行（シーン）について、画像認識部２３が識別した物体に対応する列の数値を合成し、これを各シーンのスコアとする。そして、シーン推定部２４は、最もスコアが高かったシーンを、端末９が配置されたシーンとして推定する（ステップＳ５）。

一例を挙げれば、画像認識部２３が識別した物体が「テレビ」と「ソファー」であった場合には、表３に示すように、シーン「リビング」の行において、「テレビ」に対応する列の数値は１０、「ソファー」に対応する列の数値は９であるため、シーン「リビング」のスコアは１９となる。同様に、シーン「キッチン」のスコアは１となり、シーン「寝室」のスコアは７となり、シーン「洗面所」のスコアは０となる。その結果、シーン推定部２４は、最もスコアの高いシーン「リビング」を、端末９が配置されたシーンとして推定する。

他の例を挙げれば、画像認識部２３が識別した物体が「スポンジ」と「フライパン」と「せっけん」であった場合には、表４に示すように、シーン「キッチン」の行において、「スポンジ」に対応する列の数値は１０、「フライパン」に対応する列の数値は１０、「せっけん」に対応する列の数値は３であるため、シーン「キッチン」のスコアは２３となる。同様に、シーン「リビング」のスコアは０となり、シーン「寝室」のスコアは０となり、シーン「洗面所」のスコアは１３となる。その結果、シーン推定部２４は、最もスコアの高いシーン「キッチン」を、端末９が配置されたシーンとして推定する。

続いて、発話内容決定部２５は、動作ＤＢ５ｃを参照して、シーン推定部２４が推定したシーンに応じて、発話内容を決定する（ステップＳ６）。例えば、シーン推定部２４が、端末９が配置されたシーンとしてシーン「キッチン」を推定し、動作ＤＢ５ｃに、シーン「キッチン」に対応付けて、表５に示すような発話候補が記憶されていた場合には、発話内容決定部２５は、「タイマーをセットしますか？」、「何の料理のレシピを出しますか？」などの発話候補から一つの発話候補を選択することにより、端末９に発話させる発話内容を決定する。

そして、発話制御部２６は、発話内容決定部２５が決定した発話内容の音声を合成し、音声出力部４から、あたかも端末９が自発的に発話しているかのように音声出力させる。

以上の通り、移動体制御装置１は、撮像画像に基づいて端末９が配置されたシーン（部屋の種類）を推定し、端末９に対し、当該シーンに合った発話を行わせることができるため、端末９の発話をより自然に行わせることができる。

（変形例１）
なお、移動体制御装置１の制御部２は、物体検出部２２、画像認識部２３およびシーン推定部２４によるシーン推定処理とは異なる方法で、シーンを推定するようになっていてもよい。

例えば、一変形例において、制御部２は、撮像画像そのものを、ディープラーニング技術を用いて直接画像認識することにより、端末９が配置されたシーンを推定してもよい。但し、このようなディープラーニング技術を実現するためには、各シーンに対応する撮像画像を多数取得して、機械学習を行う必要がある。しかしながら、例えば、シーンが部屋である場合、プライバシーの問題が生じるため、機械学習のための画像を多数取得することは困難である。一方、実施形態１で説明したように、各物体について、ディープラーニング技術を用いて画像認識する手法によれば、機械学習のための画像は、各物体の撮像画像となるため、プライバシーの問題は生じず、機械学習のための画像を容易に収集することができる。

（変形例２）
また、移動体制御装置１は、端末９に発話以外の動作をさせる構成になっていてもよい。

例えば、一変形例において、移動体制御装置１は、発話内容決定部２５の代わりに動作内容決定部を備え、発話制御部２６の代わりに動作制御部を備えている。そして、動作ＤＢ５ｃには、各シーンに対応付けて、動作候補が記憶されている。動作内容決定部は、シーン推定部２４が推定したシーンに応じた動作内容を、端末９に動作させる動作内容として決定する。例えば、シーン推定部２４が、端末９が配置されたシーンとしてシーン「リビング」を推定し、動作ＤＢ５ｃに、シーン「リビング」に対応付けて、表６に示すような動作候補が記憶されていた場合には、動作内容決定部は、踊る、歌うなどの動作候補から一つの動作候補を選択することにより、端末９に動作させる動作内容を決定する。

そして、動作制御部は、動作内容決定部が決定した動作内容を、端末９に実施させる。これにより、移動体制御装置１は、撮像画像に基づいて端末９が配置されたシーン（部屋の種類）を推定し、端末９に対し、当該シーンに合った動作（特に、自発的な動作）を行わせることができるため、端末９の動作をより自然に行わせることができる。

（変形例３）
また、移動体制御装置１は、サーバ８を含まず、端末９のみに全ての構成が備えられている構成になっていてもよい。すなわち、図１に示す移動体制御装置１が、端末９である構成である。

〔実施形態２〕
本発明の実施形態２について、図５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

図５は、本実施形態に係る移動体制御装置１ａの要部構成を示すブロック図である。図５に示すように、（ｉ）移動体制御装置１ａがＧＰＳ（Global Positioning System）１２を備えている点、（ｉｉ）制御部２が位置情報取得部２７を備えている点、さらに（ｉｉｉ）位置情報取得部２７がＧＰＳ１２から位置情報を取得し、シーン推定部２４が、位置情報取得部２７が取得した位置情報をさらに参照してシーンを推定している点が、実施形態１の移動体制御装置１と異なっている。

例えば、一態様において、シーン推定部２４は、位置情報に応じて、端末９が、ユーザの家の中にあるか否かを判定する。判定の方法は特に限定されず、公知の方法を用いることができる。例えば、位置情報取得部２７が、複数の時刻において端末９の位置情報を取得し、夜の時間帯において、端末９があることが多い位置を、ユーザの家の位置と特定してもよい。そして、シーン推定部２４は、現在の位置情報が、ユーザの家の位置から所定の範囲内にあるか否かを判定することにより、端末９が、ユーザの家の中にあるか否かを判定することができる。そして、シーン推定部２４は、端末９が、ユーザの家の中にある場合にのみ、シーンを推定するようにしてもよい。

また、他の態様において、シーンＤＢ５ｂには、場所毎の対応付け情報が記憶されており、シーン推定部２４は、位置情報に応じて特定した場所に対応する対応付け情報を参照して、シーンを推定するようになっていてもよい。場所としては、上述したユーザの家の他に、例えば、商業施設等が想定される。例えば、シーンＤＢ５ｂには、表７に示すような、商業施設用の対応付け情報が記憶されており、シーン推定部２４は、位置情報が商業施設の範囲内である場合に、当該商業施設用の対応付け情報を参照して、シーン（売り場）を推定するようになっていてもよい。そして、発話内容決定部２５は、売り場に応じて発話内容を決定する。例えば、シーン推定部２４が推定したシーンが家電売り場である場合には、発話内容決定部２５は、家電に関する話題や家電の詳しい情報などを発話内容として決定する。

これにより、移動体制御装置１ａは、端末９が配置されたシーンをより好適に推定することができる。

〔実施形態３〕
本発明の実施形態３について、図６〜図７に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

図６は、本実施形態に係る移動体制御装置１ｂの要部構成を示すブロック図である。図６に示すように、（ｉ）制御部２が日時取得部２８を備えている点、（ｉｉ）発話内容決定部２５が、日時取得部２８が取得した日時情報をさらに参照して発話内容を決定している点が、実施形態１の移動体制御装置１と異なっている。上記「日時情報」とは、時間的な位置を示す情報であり、時刻（時、分、秒、ミリ秒等）および暦（年、月、週、旬、日等）の少なくとも１つを示す情報である。

ここで、動作ＤＢ５ｃには、各シーンに対応付けて、発話候補、および、日時の条件を示す情報が記憶されている。発話内容決定部２５は、シーン推定部２４が推定したシーン、ならびに、日時取得部２８が取得した日時情報に応じた発話内容を、端末９に発話させる発話内容として決定する。

例えば、シーン推定部２４が、端末９が配置されたシーンとしてシーン「リビング」を推定し、動作ＤＢ５ｃに、シーン「リビング」に対応付けて、表８に示すような動作候補が記憶されていた場合には、発話内容決定部２５は、日時（時刻）が所定の条件を満たしたとき、「そろそろ○○の番組が始まるよ。」と言った発話や、その月に含まれる特定の曜日の回数が所定の条件を満たしたとき、「今週の水曜は不燃ごみを出せる日だよ。」といった発話を行い、日時（暦）が所定の条件を満たしたとき、「そろそろ○○がおいしい季節だね。」といった発話を行う。

そして、発話制御部２６は、発話内容決定部２５が決定した発話内容を、端末９に実施させる。これにより、移動体制御装置１ｂは、撮像画像に基づいて端末９が配置されたシーン（部屋の種類）を推定し、端末９に対し、当該シーンだけではなく、日時、または日時の区間の情報（例えば、特定の月における特定の曜日の回数のようなカウント情報）に合った発話を行わせることができるため、端末９の発話をより自然に行わせることができる。

図７は、本実施形態における端末９の発話の例を示す図である。図７に示すように、端末９が寝室に配置され、時刻が夜である場合、端末９は、「明日は何時起きですか？」、「おやすみなさい」といった発話を行う。また、端末９がキッチンに配置されている場合、端末９は、「料理のレシピを出しますか？」といった発話を行ったり、時刻が、事前に設定された料理のできあがり時間であった場合には、「料理のできあがりの時間だよ」といった発話を行ったりする。また、端末９がリビングに配置され、時刻が所定のテレビ番組の開始時刻である場合、端末９は、「もうすぐ○○の放送時間だよ」といった発話を行う。また、端末９がリビングに配置され、時刻が朝で、天気予報が雨の場合には、端末９は、「今日は雨みたいだから傘をもってね」といった発話を行う。このように、発話内容決定部２５は、時刻情報を、夜、昼といった予め定められている時間帯や、事前にセットしたタイマーの終了時刻等の随時セットされる時刻、テレビ番組の開始時刻等の予め定められている時刻等と比較することにより、発話内容を決定してもよいし、発話内容の決定には、日時から得られるテレビ番組や天気予報等の情報を用いてもよい。また、発話内容決定部２５は、暦情報を、春夏秋冬といった予め定められている期間や、事前にセットした予定日等の随時セットされる日付、イベントの開催日等の予め定められている日付等と比較することにより、発話内容を決定してもよい。

これにより、移動体制御装置１ｂは、より自然な発話内容を端末９に発話させることができる。

〔実施形態４〕
本発明の実施形態４について、図８に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

図８は、本実施形態に係る移動体制御装置１ｃの要部構成を示すブロック図である。図８に示すように、（ｉ）移動体制御装置１ｃが音声入力部６および反応ＤＢ（反応記憶部）５ｄを備えている点、（ｉｉ）制御部２が音声認識部（反応検出部）２９および反応蓄積部３０を備えている点、（ｉｉｉ）音声出力部４が出力した端末９の発話に対するユーザの反応が音声入力部６を介して入力され、（ｉｖ）音声入力部６に入力されたユーザの反応を、音声認識部２９が識別し、（ｖ）シーン推定部２４が、画像認識部２３が識別した物体の組み合わせに応じてシーンを区別し、（ｖｉ）反応蓄積部３０が、音声認識部２９が識別したユーザの反応の種類を、シーン推定部２４が区別したシーン、および、音声出力部４が出力した端末９の発話に対応付けて反応ＤＢ５ｄに蓄積し、（ｖｉｉ）発話内容決定部２５が、シーン推定部２４が区別したシーンと反応ＤＢ５ｄとを参照して、発話内容を決定する点が、実施形態１の移動体制御装置１と異なっている。

音声入力部６は、例えば、マイクを備え、入力情報としてユーザによる音声データを取得する。音声認識部２９は、音声入力部６が取得した音声データにおいて、人の音声の始まりおよび終わりを検知して、人の音声部分を抽出し、抽出した音声部分の音声認識を行うことにより、ユーザによる音声データからユーザの反応内容を特定する。

また、シーン推定部２４は、シーン推定の処理が行われたとき、さらに、画像認識部２３が識別した物体の組み合わせ毎に、シーンを区別して、それぞれ反応ＤＢ５ｄに登録する。例えば、表９のように、新しい物体の組み合わせでシーンを推定する毎に、それぞれ部屋１、部屋２、・・・として反応ＤＢ５ｄに登録する。同じ物体の組み合わせのシーン、または似通った物体の組み合わせのシーンは、同じ部屋とみなして登録してもよい。

そして、反応蓄積部３０は、音声認識部２９が特定したユーザの反応内容に応じて、ユーザの反応内容の種別（肯定的、否定的等）を判定し、表１０のように、判定した反応内容の種別を、シーン推定部２４によって区別されたシーン、および、ユーザの反応した発話内容に対応付けて反応ＤＢ５ｄに記憶させる。

また、発話内容決定部２５は、反応ＤＢ５ｄを参照し、シーン推定部２４によって区別されたシーンに対応付けて否定的な反応内容が記憶されている発話内容は選択しないように発話内容を決定する。

例えば、部屋１において、端末９が特定の発話内容を発話したときに、ユーザから否定的な反応があった場合、反応蓄積部３０は、反応ＤＢ５ｄに、部屋１および当該特定の発話内容と対応付けして、否定的な反応を示すフラグを記憶させる。否定的な反応とは、例えば、無言や語尾が「〜ではない」、「〜しない」などの反応である。また、否定的な反応があった場合、シーン、および、ユーザの反応した発話内容に対応付いたカウンターを増やし、閾値を超えたときにフラグを記憶させてもよい。その後、発話内容決定部２５は、部屋１と同じ物体の組み合わせが識別された、または似通った物体の組み合わせが識別された部屋において、発話内容を決定する際に、反応ＤＢ５ｄを参照し、当該特定の発話内容に否定的な反応を示すフラグが記憶されているため、当該特定の発話内容を避けて、発話内容を決定する。

これにより、端末９の発話内容について、各シーンにおけるユーザの反応を細やかに反映させることができるため、端末９の発話をより自然に行わせることができる。

〔実施形態５〕
上記各実施形態では、１つのサーバ８を用いる例を説明したが、サーバ８の有する各機能が、個別のサーバにて実現されていてもよい。そして、複数のサーバを適用する場合においては、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。

〔実施形態６〕
移動体制御装置１、１ａ、１ｂ、１ｃ、サーバ８、端末９の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、移動体制御装置１、１ａ、１ｂ、１ｃの制御部２、サーバ８の制御部１１ａ、端末９の制御部１１ｂのそれぞれを、図９に示すようなコンピュータ（電子計算機）を用いて構成することができる。

図９は、移動体制御装置１、１ａ、１ｂ、１ｃの制御部２、サーバ８の制御部１１ａ、端末９の制御部１１ｂとして利用可能なコンピュータ５０の構成を例示したブロック図である。コンピュータ５０は、バス５６を介して互いに接続された演算装置５１と、主記憶装置５２と、補助記憶装置５３と、入出力インターフェース５４と、通信インターフェース５５とを備えている。演算装置５１、主記憶装置５２、および補助記憶装置５３は、それぞれ、例えばＣＰＵ、ＲＡＭ（random access memory）、ハードディスクドライブやフラッシュメモリなどのストレージであってもよい。入出力インターフェース５４には、ユーザがコンピュータ５０に各種情報を入力するための入力装置６０、および、コンピュータ５０がユーザに各種情報を出力するための出力装置７０が接続される。入力装置６０および出力装置７０は、コンピュータ５０に内蔵されたものであってもよいし、コンピュータ５０に接続された（外付けされた）ものであってもよい。例えば、入力装置６０は、キーボード、マウス、タッチセンサなどであってもよく、出力装置７０は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置６０および出力装置７０の双方の機能を有する装置を適用してもよい。そして、通信インターフェース５５は、コンピュータ５０が外部の装置と通信するためのインターフェースである。

補助記憶装置５３には、コンピュータ５０を移動体制御装置１、１ａ、１ｂ、１ｃの制御部２、サーバ８の制御部１１ａ、端末９の制御部１１ｂとして動作させるための各種のプログラムが格納されている。そして、演算装置５１は、補助記憶装置５３に格納された上記プログラムを主記憶装置５２上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ５０を、移動体制御装置１、１ａ、１ｂ、１ｃの制御部２、サーバ８の制御部１１ａ、端末９の制御部１１ｂが備える各部として機能させる。なお、補助記憶装置５３が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。

また、上記プログラムは、コンピュータ５０の外部から取得してもよく、この場合、任意の伝送媒体（通信ネットワークや放送波等）を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る移動体制御装置（１、１ａ、１ｂ、１ｃ）は、画像取得部（２１）と、動作制御部（２６）と、一つ以上のプロセッサ（制御部２）とを備え、前記画像取得部は、特定の移動体装置（端末９）の周囲の撮像画像を取得し、前記一つ以上のプロセッサは、前記画像取得部が取得した撮像画像を参照して前記移動体装置が配置されたシーンを推定するシーン推定処理と、前記推定したシーンに応じた前記移動体装置の動作を決定する動作決定処理と、前記移動体装置に前記決定した動作をさせる動作制御処理とを行う。

上記の構成によれば、特定の移動体装置が配置されたシーンを推定し、当該移動体装置に対し、当該シーンに合った動作を行わせることができる。

本発明の態様２に係る移動体制御装置は、上記態様１において、前記シーン推定処理は、前記撮像画像に含まれる物体を識別し、前記識別した物体の組み合わせに応じたシーンを推定するものであってもよい。

上記の構成によれば、特定の移動体装置が配置されたシーンを好適に推定することができる。

本発明の態様３に係る移動体制御装置は、上記態様２において、前記物体と前記シーンとの対応付けを示す対応付け情報を記憶する対応付け情報記憶部（シーンＤＢ５ｂ）をさらに備えており、前記シーン推定処理は、前記対応付け情報を参照して前記識別した物体の組み合わせに応じたシーンを推定するものであってもよい。

上記の構成によれば、特定の移動体装置が配置されたシーンを好適に推定することができる。

本発明の態様４に係る移動体制御装置（１ａ）は、上記態様１〜３において、前記移動体装置の位置情報を取得する位置情報取得部（２７）をさらに備えており、前記シーン推定処理は、前記撮像画像に加えて、前記位置情報取得部が取得した前記位置情報をさらに参照して前記シーンを推定するものであってもよい。

上記の構成によれば、特定の移動体装置が配置されたシーンを好適に推定することができる。

本発明の態様５に係る移動体制御装置は、上記態様１〜４において、前記シーン推定処理は、前記シーンとして、前記移動体装置が配置された部屋を推定するものであってもよい。

上記の構成によれば、特定の移動体装置が家の中にいるときに、当該移動体装置が配置されたシーンを好適に推定することができる。

本発明の態様６に係る移動体制御装置は、上記態様１〜５において、前記シーンと前記動作の対応付けを示す第二の対応付け情報を記憶する第二の対応付け情報記憶部（動作ＤＢ５ｃ）をさらに備えており、前記動作決定処理は、前記第二の対応付け情報を参照して前記推定したシーンに応じた動作を決定するものであってもよい。

上記の構成によれば、特定の移動体装置が配置されたシーンに応じた動作を好適に決定することができる。

本発明の態様７に係る移動体制御装置は、上記態様１〜６において、前記動作決定処理は、前記推定したシーンに応じた発話内容を決定するものであり、前記動作制御処理は、前記移動体装置に前記決定した発話内容を発話させるものであってもよい。

上記の構成によれば、特定の移動体装置の発話をより自然に行わせることができる。

本発明の態様８に係る移動体制御装置（１ｂ）は、上記態様１〜７において、前記動作決定処理は、日時情報を参照して、前記推定したシーンに応じた動作を決定するものであってもよい。

上記の構成によれば、特定の移動体装置の発話をより自然に行わせることができる。

本発明の態様９に係る移動体制御装置（１ｃ）は、上記態様１において、前記移動体装置に前記決定した動作をさせたことに対するユーザからの反応を検出する反応検出部（音声認識部２９）と、反応記憶部（反応ＤＢ５ｄ）とをさらに備え、前記シーン推定処理は、前記撮像画像に含まれる物体を識別し、前記識別した物体の組み合わせに応じたシーンを推定するものであり、前記一つ以上のプロセッサは、前記識別した物体の組み合わせ毎に、前記シーンを区別し、前記反応検出部が検出した反応の種類を、当該反応に対応する前記決定した動作および前記区別したシーンに対応付けて前記反応記憶部に記憶させ、前記動作決定処理は、前記反応記憶部に記憶されている前記区別したシーンに対応付けられた前記反応の種類を参照して、前記推定したシーンに応じた動作を決定するものであってもよい。

上記の構成によれば、特定の移動体装置の発話内容について、各シーンにおけるユーザの反応を細やかに反映させることができるため、当該移動体装置の発話をより自然に行わせることができる。

本発明の各態様に係る動作装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記動作装置が備える各部（ソフトウェア要素）として動作させることにより上記動作装置をコンピュータにて実現させる動作装置の動作プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の態様１１に係る移動体制御方法は、特定の移動体装置（端末９）の周囲の撮像画像を取得する画像取得工程（ステップＳ１）と、前記画像取得工程によって取得した撮像画像を参照して前記移動体装置（端末９）が配置されたシーンを推定するシーン推定処理工程（ステップＳ２〜ステップＳ５）と、前記シーン推定処理工程において推定したシーンに応じた前記移動体装置（端末９）の動作を決定する動作決定処理工程（ステップＳ６）と、前記移動体装置（端末９）に、前記動作決定処理工程において決定した動作をさせる動作制御処理工程と、を包含している。

上記の構成によれば、本発明の態様１と同様の効果を奏する。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ 移動体制御装置
２ 制御部（プロセッサ）
３ 撮像部
４ 音声出力部
５ａ 物体ＤＢ
５ｂ シーンＤＢ（対応付け情報記憶部）
５ｃ 動作ＤＢ（第二の対応付け情報記憶部）
５ｄ 反応ＤＢ（反応記憶部）
６ 音声入力部
７ａ、７ｂ 通信部
８ サーバ
９ 端末（移動体装置）
１０ａ、１０ｂ 記憶部
１１ａ、１１ｂ 制御部
１２ ＧＰＳ
２１ 画像取得部
２２ 物体検出部
２３ 画像認識部
２４ シーン推定部
２５ 発話内容決定部（動作決定部）
２６ 発話制御部（動作制御部）
２７ 位置情報取得部
２８ 日時取得部
２９ 音声認識部（反応検出部）
３０ 反応蓄積部
１００ 撮像画像
１０１、１０２ エリア

Claims (10)

1. 画像取得部と、一つ以上のプロセッサとを備え、
   前記画像取得部は、特定の移動体装置の周囲の撮像画像を取得し、
   前記一つ以上のプロセッサは、
   前記画像取得部が取得した撮像画像を参照して前記移動体装置が配置されたシーンを推定するシーン推定処理と、
   前記推定したシーンに応じた前記移動体装置の動作を決定する動作決定処理と、
   前記移動体装置に前記決定した動作をさせる動作制御処理と
   を行い、
   前記移動体装置に前記決定した動作をさせたことに対するユーザからの反応を検出する反応検出部と、
   反応記憶部と
   をさらに備え、
   前記シーン推定処理は、前記撮像画像に含まれる物体を識別し、前記識別した物体の組み合わせに応じたシーンを推定するものであり、
   前記一つ以上のプロセッサは、
   前記識別した物体の組み合わせ毎に、前記シーンを区別し、
   前記反応検出部が検出した反応の種類を、当該反応に対応する前記決定した動作および前記区別したシーンに対応付けて前記反応記憶部に記憶させ、
   前記動作決定処理は、前記反応記憶部に記憶されている前記区別したシーンに対応付けられた前記反応の種類を参照して、前記推定したシーンに応じた動作を決定するものであることを特徴とする移動体制御装置。
2. 前記シーン推定処理は、前記撮像画像に含まれる物体を識別し、前記識別した物体の組み合わせに応じたシーンを推定するものであることを特徴とする請求項１に記載の移動体制御装置。
3. 前記物体と前記シーンとの対応付けを示す対応付け情報を記憶する対応付け情報記憶部をさらに備えており、
   前記シーン推定処理は、前記対応付け情報を参照して前記識別した物体の組み合わせに応じたシーンを推定するものであることを特徴とする請求項２に記載の移動体制御装置。
4. 前記移動体装置の位置情報を取得する位置情報取得部をさらに備えており、
   前記シーン推定処理は、前記撮像画像に加えて、前記位置情報取得部が取得した前記位置情報をさらに参照して前記シーンを推定するものであることを特徴とする請求項１〜３の何れか一項に記載の移動体制御装置。
5. 前記シーン推定処理は、前記シーンとして、前記移動体装置が配置された部屋を推定するものであることを特徴とする請求項１〜４の何れか一項に記載の移動体制御装置。
6. 前記シーンと前記動作の対応付けを示す第二の対応付け情報を記憶する第二の対応付け情報記憶部をさらに備えており、
   前記動作決定処理は、前記第二の対応付け情報を参照して前記推定したシーンに応じた動作を決定するものであることを特徴とする請求項１〜５の何れか一項に記載の移動体制御装置。
7. 前記動作決定処理は、前記推定したシーンに応じた発話内容を決定するものであり、
   前記動作制御処理は、前記移動体装置に前記決定した発話内容を発話させることを特徴とする請求項１〜６の何れか一項に記載の移動体制御装置。
8. 前記動作決定処理は、日時情報を参照して、前記推定したシーンに応じた動作を決定するものであることを特徴とする請求項１〜７の何れか一項に記載の移動体制御装置。
9. 移動体制御装置のための移動性制御プログラムであって、
   前記移動体制御装置は、画像取得部と、一つ以上のプロセッサとを備え、
   前記画像取得部は、特定の移動体装置の周囲の撮像画像を取得し、
   前記移動性制御プログラムは、前記一つ以上のプロセッサに、
   前記画像取得部が取得した撮像画像を参照して前記移動体装置が配置されたシーンを推定するシーン推定処理と、
   前記推定したシーンに応じた動作を決定する動作決定処理と、
   前記移動体装置に前記決定した動作をさせる動作制御処理とを実行させ、
   前記移動体制御装置は、前記移動体装置に前記決定した動作をさせたことに対するユーザからの反応を検出する反応検出部と、反応記憶部とをさらに備え、
   前記シーン推定処理は、前記撮像画像に含まれる物体を識別し、前記識別した物体の組み合わせに応じたシーンを推定するものであり、
   前記移動性制御プログラムは、前記一つ以上のプロセッサに、
   前記識別した物体の組み合わせ毎に、前記シーンを区別し、
   前記反応検出部が検出した反応の種類を、当該反応に対応する前記決定した動作および前記区別したシーンに対応付けて前記反応記憶部に記憶させ、
   前記動作決定処理として、前記反応記憶部に記憶されている前記区別したシーンに対応付けられた前記反応の種類を参照して、前記推定したシーンに応じた動作を決定する処理を実行させることを特徴とする移動体制御プログラム。
10. 移動体制御装置が実行する移動体制御方法であって、
    特定の移動体装置の周囲の撮像画像を取得する画像取得工程と、
    前記画像取得工程によって取得した撮像画像を参照して前記移動体装置が配置されたシーンを推定するシーン推定処理工程と、
    前記シーン推定処理工程において推定したシーンに応じた前記移動体装置の動作を決定する動作決定処理工程と、
    前記移動体装置に、前記動作決定処理工程において決定した動作をさせる動作制御処理工程と、
    前記移動体装置に前記決定した動作をさせたことに対するユーザからの反応を検出する反応検出処理工程と、を包含しており、
    前記シーン推定処理工程において、前記撮像画像に含まれる物体を識別し、前記識別した物体の組み合わせに応じたシーンを推定し、
    前記識別した物体の組み合わせ毎に、前記シーンを区別するシーン区別処理工程と、
    前記反応検出処理工程において検出した反応の種類を、当該反応に対応する前記決定した動作および前記区別したシーンに対応付けて記憶する反応種類記憶処理工程と、をさらに包含しており、
    前記動作決定処理工程において、記憶している前記区別したシーンに対応付けられた前記反応の種類を参照して、前記推定したシーンに応じた動作を決定することを特徴とする移動体制御方法。

Images