JPWO2020145071A1 - 情報処理装置および情報処理方法 - Google Patents

Abstract

ユーザが音声操作を良好に行い得るようにする。状況判断部により、状況を判断する。状態制御部により、判断された状況に適した音声コマンドの受け付け状態に制御する。例えば、受け付け状態にある音声コマンドが何であるかを、表示または音声出力でユーザに通知する。ユーザは誤認識を防ぐためのウェイクワードの発話をするなどのユーザアクションを行うことなく音声コマンドの発話を行うことができ、煩わしさや負担が軽減される。

Description

本技術は、情報処理装置および情報処理方法に関する。詳しくは、スマートテレビやスマートスピーカ等の音声操作対応機器に適用して好適な情報処理装置および情報処理方法に関する。

一般的にスマートテレビやスマートスピーカ等の音声操作対応機器において、ユーザによる音声コマンドの受け付けには、特定のウェイクワード（「ホットワード」や「起動ワード」等ということもある）を発話する、あるいは特定のボタンの押下げ操作をする等のユーザアクションが必要である。

このようなユーザアクションが必要な理由は、ユーザアクション直後の音声のみを音声コマンドとして扱うことで、ユーザが通常生活において会話をする際に音声コマンドを誤認識することを防ぐためである。しかし、ユーザが音声コマンドを発話する際に必ずユーザアクションを強制させられるのはユーザにとっては煩わしく、また大きな負担である。

例えば、特許文献１には、表示画面におけるユーザの視線の位置に関する情報に基づいて、ユーザが所定のオブジェクトを見たと判断された場合に、音声コマンドの受け付けを開始する技術が開示されている。ここで、ユーザが所定のオブジェクトを見る行為は、上述した特定のウェイクワードを発話する、あるいは特定のボタンの押下げ操作をする行為に代わるものであって、これもユーザにとっては煩わしく、また大きな負担である。

特開２０１５−０５５７１８号公報

ユーザの煩わしさや負担を軽減するため、ユーザアクションなしに、音声コマンドを発話できるようにすることが望まれる。

本技術の目的は、ユーザが音声操作を良好に行い得るようにすることにある。

本技術の概念は、
状況を判断する処理を制御し、上記判断された状況に適した音声コマンドの受け付け状態に制御する制御部を備える
情報処理装置にある。

本技術において、制御部により、状況を判断する処理が制御される。そして、制御部により、判断された状況に適した音声コマンドの受け付け状態に制御される。例えば、入力される音声コマンドが状況に適した音声コマンドであるとき、この音声コマンドを実行するコマンド実行部をさらに備える、ようにされてもよい。

例えば、制御部は、アプリケーション機能の状況を判断する制御をし、その状況は、判断されたアプリケーション機能の状況である、ようにされてもよい。これにより、アプリケーション機能の状況に適した音声コマンドの受け付け状態に自動的に制御される。この場合、例えば、アプリケーション機能は、スマートテレビまたはスマートスピーカのアプリケーション機能である、ようにされてもよい。

また、例えば、センサ部をさらに備え、状況は、センサ部で取得される状況である、ようにされてもよい。これにより、センサ部で取得される状況に適した音声コマンドの受け付け状態に自動的に制御される。この場合、例えば、センサ部は、カメラを含む、ようにされてもよい。また、この場合、例えば、状況は、ユーザの状況である、ようにされてもよい。

また、例えば、外部機器と通信を行う通信部をさらに備え、状況は、外部機器で取得される状況である、ようにされてもよい。これにより、外部機器で取得される状況に適した音声コマンドの受け付け状態に自動的に制御される。

このように本技術においては、判断された状況に適した音声コマンドの受け付け状態に制御するものである。そのため、ユーザは誤認識を防ぐためのユーザアクションを行うことなく音声コマンドの発話を行うことができ、ユーザの煩わしさや負担を軽減することが可能となる。

なお、本技術において、例えば、状況に適した音声コマンドをユーザに通知するコマンド通知部をさらに備える、ようにされてもよい。これにより、ユーザは、状況に適した音声コマンドの発話を適切に行うことが可能となる。

実施の形態としての情報処理システムの一例の全体概要を示すブロック図である。 音声操作対応機器に含まれる情報処理装置の構成例を示すブロック図である。 音声操作対応機器がスマートテレビやスマートスピーカである場合の構成例を説明するための図である。 情報処理装置の制御部における処理手順の一例を示すフローチャートである。 ケース１に対応した情報処理装置の構成例を示すブロック図である。 ディスプレイに表示される受け付け可能な音声コマンドの一覧の例を示す図である。 ケース２に対応した情報処理装置の構成例を示すブロック図である。 ケース３に対応した情報処理装置の構成例を示すブロック図である。 ケース４に対応した情報処理装置の構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．移動体への応用例
３．変形例

＜１．実施の形態＞
［情報処理システムの構成例］
図１は、実施の形態としての情報処理システム１０の一例の全体概要を示している。この例において、情報処理システム１０は、音声操作対応機器１００を有する他に、この音声操作対応機器１００と通信が可能な外部機器２００、例えばＩｏＴ（Internet of Things）機器を有している。

音声操作対応機器１００は、ユーザ３００からの音声コマンド発話による操作が可能な電子機器であり、具体的には、例えばスマートテレビ、スマートスピーカ等が該当する。ここで、スマートテレビは、従来のテレビをスマート化したものである。例えば、スマートテレビは、インターネットに接続して種々の情報を取得できる、他の機器とネットワークで接続して機器間連携できる、等の特徴がある。また、スマートスピーカは、従来のスピーカをスマート化したものであり、対話型の音声操作に対応したＡＩ（Artificial Intelligence）アシスタントを利用可能なスピーカである。なお、スマートテレビ単体でも対話型の音声操作に対応したＡＩアシスタントを利用可能である。

外部機器２００は、例えば、セキュリティカメラ、照明機器、さらには電子レンジ、掃除器、エアコン、洗濯機、冷蔵庫等である。音声操作対応機器１００と外部機器２００との間の通信は、無線あるいは有線で行われる。無線方式には、“Wi-Fi”、“Bluetooth”などが知られている。なお、「Wi-Fi」、「Bluetooth」は、登録商標である。

音声操作対応機器１００は、状況を判断し、その判断された状況に適した音声コマンドの受け付け状態になり、ユーザ３００から入力される音声コマンドがその状況に適した音声コマンドである場合に、その音声コマンドを実行する。この場合、ユーザ３００は誤認識を防ぐためのユーザアクション、例えばウェイクワード発話等を行うことなく音声コマンドの発話を行うことができ、煩わしさや負担が軽減される。

音声操作対応機器１００は、例えば、自身が持つアプリケーション機能部の状況を判断し、その判断された状況に適した音声コマンドの受け付け状態になることができる。例えば、音声操作対応機器１００がスマートテレビである場合には、アプリケーション機能部としては、テレビ受信機能部、メール機能部、インターネット接続機能部、情報表示機能部などがある。また、例えば、音声操作対応機器１００がスマートスピーカである場合には、音声出力機能部、メール機能部、インターネット接続機能部、情報表示機能部などがある。

また、音声操作対応機器１００は、例えば、自身が持つセンサ部で取得される状況（ユーザや外部環境の情報）に適した音声コマンドの受け付け状態になることができる。センサ部には、温度センサ、湿度センサ、人感センサ、距離センサ、近接センサ等の他に、カメラ（イメージセンサ）やマイクロホン等も含まれる。例えば、カメラ、マイクロホン、人感センサ等でユーザの状況を取得できる。

また、音声操作対応機器１００は、例えば、外部機器２００で取得される状況（ユーザや外部環境の情報）に適した音声コマンドの受け付け状態になることができる。なお、外部機器２００には、状況を取得するための機器、音声コマンドの実行によって制御される機器、あるいはそれら両方の機能を持つ機器が存在する。

上述では、状況として、アプリケーション機能部の状況、自身が持つセンサ部で取得される状況、外部機器で取得される状況を挙げたが、状況はこれらに限定されるものではなく、その他であってもよい。また、音声操作対応機器１００は、これら個々の状況に適した音声コマンドの受け付け状態となる他に、一部または全部を組み合わせた総合的な状況に適した音声コマンドの受け付け状態になることも可能である。

また、音声操作対応機器１００は、状況に適した音声コマンドの受け付け状態になったとき、どの音声コマンドの受け付け状態にあるかを、ユーザ３００に通知する。この場合、ディスプレイにユーザが視覚で確認可能に表示し、あるいはスピーカからユーザが聴覚で確認可能に音声出力を行い、あるいはそれらの両方で通知する。このように受け付け状態にある音声コマンドをユーザに通知することで、ユーザは、状況に適した音声コマンドの発話を適切に行うことが可能となる。

なお、ユーザは、通知される受け付け状態にある音声コマンドの中に、ユーザが意図する音声コマンドが存在しない場合も考えらえる。その場合、ユーザは、ウェイクワード発話等などのユーザアクションを行った後に、意図する音声コマンドの発話を行って、希望する音声操作を行うことができる。

図２は、音声操作対応機器１００に含まれる情報処理装置１１０の構成例を示している。情報処理装置１１０は、制御部１１１と、通信部１１２と、センサ部１１３と、マイクロホン１１４と、スピーカ１１５と、ディスプレイ１１６を有している。この例は、ディスプレイ１１６を有するものであり、例えば、図３（ａ）に示すように、音声操作対応機器１００がスマートテレビであることを想定したものである。なお、図３（ｂ）に示すように、音声操作対応機器１００がスマートスピーカであることを想定した場合、ディスプレイ１１６の機能を外部のテレビ受信機（あるいはモニタやプロジェクタ）４００に持たせる構成が考えられる。なお、スマートスピーカ１００自体がプロジェクタ等のディスプレイ１１６の機能を持つ場合も存在する。

図２に戻って、通信部１１２は、外部機器２００と通信をする。センサ部１１３は、カメラ、マイク、その他の各種センサを含む。なお、このセンサ部１１３に含まれるマイクロホンの代わりに、マイクロホン１１４を用いることも可能であるし、リモートコントローラやスマートホン等の操作用機器に設けられたマイクロホンを用いることも可能である。ここで、例えば、赤外線で音声操作装置１００を操作可能なリモートコントローラに配置された特定のボタンを押し下げて、リモートコントローラに配置されたマイクロホンやマイクロホン１１４による音声コマンドの受け付け処理を開始したり、スマートホンの表示部に表示された特定のアイコン画像を選択することで同様の処理を開始したりすることができる。また、カメラやマイクロホンを有しない構成も考えらえる。

制御部１１１は、情報処理装置１１０の全体を制御する。この制御部１１１は、状況判断部１１７と、音声認識制御部１１８を有している。外部機器２００で取得される状況情報は、通信部１１２を通じて、制御部１１１の状況判断部１１７に与えられる。また、センサ部１１３で取得される状況情報は、制御部１１１の状況判断部１１７に与えられる。なお、制御部１１１は、音声操作対応機器１００が持つアプリケーション機能部の状況を常に把握しており、その状況情報は状況判断部１１７に与えられる。

状況判断部１１７は、各部から与えられる状況情報に基づいて、アプリケーション機能部の状況、センサ部で取得される状況、外部機器で取得される状況を判断する。音声認識制御部１１８は、状況判断部１１７で判断された状況に適した音声コマンドを選択し、その音声コマンドの受け付け状態にする。

このとき、音声認識制御部１１８は、どの音声コマンドの受け付け状態にあるかを、ユーザ３００に通知するための制御をする。この場合、例えば、ディスプレイ１１６に表示するか、スピーカ１１５から音声出力をする。

また、音声認識制御部１１８は、マイク１１４から入力された音声コマンドの発話を認識し、その音声コマンドが状況に適した音声コマンドであるときには、その音声コマンドを実行するように制御する。この場合、必要に応じて、通信部１１２を介して、外部機器２００に制御情報が送られる。なお、情報処理装置１１０の一部の処理、例えば音声認識処理などに関しては、図示しないクラウドサーバで行うように構成することも考えられる。

図４のフローチャートは、情報処理装置１１０の制御部１１１における処理手順の一例を示している。制御部１１１は、このフローチャートの処理を周期的に繰り返し実行する。制御部１１１は、ステップＳＴ１において、処理を開始する。

次に、制御部１１１は、ステップＳＴ２において、状況情報を取得する。この場合、制御部１１１は、アプリケーション機能部の状況情報、センサ部１１３からの状況情報および外部機器２００からの状況情報の少なくともいずれかを取得する。

次に、制御部１１１は、ステップＳＴ３において、状況情報から状況を判断する。次に、制御部１１１は、ステップＳＴ４において、判断された状況から、その状況に適した音声コマンドが存在するか否かを判断する。状況に適した音声コマンドが存在するとき、制御部１１１は、ステップＳＴ５において、その状況に適した音声コマンドの受け付け状態にして、表示または音声出力でユーザに通知する。

次に、ステップＳＴ６において、制御部１１１は、音声コマンドの発話があったか否かを判断する。音声コマンドの発話があったとき、制御部１１１は、ステップＳＴ７において、その発話された音声コマンドが状況に適したものであるか、つまり受け付け状態にある音声コマンドであるか否かを判断する。

発話された音声コマンドが状況に適したものであるとき、制御部１１１は、ステップＳＴ８において、その音声コマンドを実行する。そして、制御部１１１は、ステップＳＴ８の処理の後、ステップＳＴ９において、処理を終了する。

また、ステップＳＴ４で状況に適した音声コマンドが存在しないとき、ステップＳＴ６で音声コマンドの発話がないとき、またはステップＳＴ７で発話された音声コマンドが状況に適したものでないとき、制御部１１１は、ステップＳＴ９において、処理を終了する。また、これらの場合に制御部１１１は、ステップＳＴ９において処理を終了する前に、状況に適した音声コマンドをユーザに通知する処理を行ってもよい。

次に、具体的なケースについて説明する。ここでは、以下の４つのケースについて説明する。

「ケース１」
このケース１は、音声操作対応機器１００が自身の保持する情報のみで状況判断するケースである。このケース１は、音声操作対応機器１００のアプリケーション機能における状況変化を検知し、ユーザが音声コマンドによって次のアクションを実行することが想定されるケースである。このケース１では、情報処理装置１１０がアプリケーション機能部の状況を判断し、その判断された状況に適した音声コマンドの受け付け状態になる。

図５は、このケース１に対応した情報処理装置１１０の構成例を示しており、情報処理装置１１０は、制御部１１１と、マイクロホン１１４と、スピーカ１１５と、ディスプレイ１１６を有している。この図５において、図２と対応する部分には、同一符号を付し、その詳細説明は省略する。このケース１においては、図２の情報処理装置１１０における通信部１１２、センサ部１１３は、使用されない。

このケース１では、以下のようなユースケースが考えられる。
（１）新着メールが届いたことを検知（機器のアプリケーション機能から取得される情報）し、ユーザがメール本文を読むことが想定される場合
（２）時刻が９時になったことを検知（機器のアプリケーション機能から取得される情報）し、番組表画面を表示してチャネルを変更することが想定される場合

（１）のユースケースの場合、状況に適した音声コマンドとしては、“新着メールを開いて”などが考えられる。また、（２）のユースケースの場合、“番組表を表示して”→“○○テレビに変えて”などが考えられる。なお、図６は、（１）のユースケースの場合に、ディスプレイ１１６に表示される、受け付け可能な音声コマンドの一覧の例を示している。

「ケース２」
このケース２は、音声操作対応機器１００が自身の保持するカメラや各種センサにより状況判断するケースである。このケース２は、音声操作対応機器１００が保持するカメラや各種センサの情報からユーザや外部環境の状況の変化を検知した際に、ユーザが音声コマンドによって次のアクションを実行することが想定されるケースである。このケース２では、情報処理装置１１０がセンサ部１１３で取得された状況を判断し、その判断された状況に適した音声コマンドの受け付け状態になる。

図７は、このケース２に対応した情報処理装置１１０の構成例を示しており、情報処理装置１１０は、制御部１１１と、センサ部１１３と、マイクロホン１１４と、スピーカ１１５と、ディスプレイ１１６を有している。この図７において、図２と対応する部分には、同一符号を付し、その詳細説明は省略する。このケース２においては、図２の情報処理装置１１０における通信部１１２は、使用されない。

このケース２では、以下のようなユースケースが考えられる。
（１）ユーザがテレビの前に座ったことを検知（機器そのものが保持するカメラの情報）したことにより、ユーザが機器の電源をつけることが想定される場合
（２）距離センサの情報からユーザが機器から離れたことを検知したことにより、ユーザが文字サイズを変更することが想定される場合

（１）のユースケースの場合、状況に適した音声コマンドとしては、“テレビの電源をつけて”などが考えられる。また、（２）のユースケースの場合、“文字サイズを大きくして”などが考えられる。

「ケース３」
このケース３は、音声操作対応機器１００が外部のＩｏＴ機器等と通信を行って状況判断するケースである。このケース３は、音声操作対応機器１００にネットワーク経由で接続されている各種ＩｏＴ機器から取得される情報からユーザや外部環境の状況の変化を検知した際に、ユーザが音声コマンドによって次のアクションを実行することが想定されるケースである。このケース３では、情報処理装置１１０が外部機器２００で取得された状況を判断し、その判断された状況に適した音声コマンドの受け付け状態になる。

図８は、このケース３に対応した情報処理装置１１０の構成例を示しており、情報処理装置１１０は、制御部１１１と、通信部１１２と、マイクロホン１１４と、スピーカ１１５と、ディスプレイ１１６を有している。この図８において、図２と対応する部分には、同一符号を付し、その詳細説明は省略する。このケース３においては、図２の情報処理装置１１０におけるセンサ部１１３は、使用されない。

このケース３では、以下のようなユースケースが考えられる。
（１）玄関に人が訪問したとき（ＩｏＴセキュリティカメラから取得される情報）、このＩｏＴセキュリティカメラの映像をテレビのディスプレイに表示することが想定される場合

（１）のユースケースの場合、状況に適した音声コマンドとしては、“玄関のカメラを表示して”などが考えられる。

この場合、制御部１１１は外部のＩｏＴ機器等からの情報を基にディスプレイ１１６に通知を出力する、あるいはスピーカ１１５から音声通知を出力する等の処理を行い、それらの出力された通知に関連する音声コマンドのみを受け付けるようにしてもよい。同様に、ケース１においても、アプリケーション機能における状況変化に基づいた通知が出力され、それに基づいた音声コマンドのみが受け付けられるようにしてもよい。

「ケース４」
このケース４は、音声操作対応機器１００が上述のケース１〜３で用いられる情報の組み合わせを利用して状況判断するケースである。このケース４は、音声操作対応機器１００そのものの機能および音声操作対応機器１００そのものが保持するカメラや各種センサの情報、音声操作対応機器１００にネットワーク経由で接続されている各種ＩｏＴ機器から取得される情報を統合することで、ユーザや外部環境の状況の変化を検知し、ユーザが音声コマンドによって次のアクションを実行することが想定されるケースである。

このケース４では、情報処理装置１１０がアプリケーション機能部の状況、センサ部１１３で取得された状況および外部機器２００で取得された状況を統合的に判断し、その判断された状況に適した音声コマンドの受け付け状態になる。

図９は、このケース４に対応した情報処理装置１１０の構成例を示しており、情報処理装置１１０は、制御部１１１と、通信部１１２と、センサ部１１３と、マイクロホン１１４と、スピーカ１１５と、ディスプレイ１１６を有している。この図９において、図２と対応する部分には、同一符号を付し、その詳細説明は省略する。このケース４においては、図２の情報処理装置１１０における全ての部分が使用される。

以上説明したように、図１に示す情報処理システム１０において、音声操作対応機器１００は、判断された状況に適した音声コマンドの受け付け状態に自動的になるものである。そのため、ユーザ３００は誤認識を防ぐためのウェイクワードの発話をするなどのユーザアクションを行うことなく音声コマンドの発話を行うことができ、ユーザ３００の煩わしさや負担を軽減することが可能となる。

また、図１に示す情報処理システム１０において、音声操作対応機器１００は、状況に適した音声コマンド、つまり受け付け可能な音声コマンドが何であるかを、ユーザ３００に表示または音声出力で通知するものである。そのため、ユーザ３００は、状況に適した音声コマンドの発話を適切に行うことが可能となる。

それぞれのケースにおいて、制御部は状況判断部による情報判断をユーザの事前の設定に基づいて制御してもよいし、それまでに行われたユーザの行動に基づいて蓄積された情報に基づいて制御してもよい。例えば、ケース１においてユーザが事前に９時開始の番組の視聴予約をしている場合に９時に音声受け付け処理を開始する処理や、定期的に見ている番組が始まる時間に、ユーザがテレビの前に座ったことを、センサ情報を基に確認した場合に、音声受け付けを開始するような処理が考えられる。またユーザの設定や過去の行動履歴のような情報は音声操作対応機器１００の内部に保存されていてもよいし、クラウドサーバのような図示されない外部の記録装置に記録されていてもよい。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

＜２．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１１は、撮像部１２０３１の設置位置の例を示す図である。

図１１では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、統合制御ユニット１２０５０等に適用され得る。統合制御ユニット１２０５０に本開示に係る技術を適用することにより、車両制御システム１２０００でユーザが音声操作を行う場合、ユーザは誤認識を防ぐためのウェイクワードの発話をするなどのユーザアクションを行うことなく音声コマンドの発話を行うことができ、ユーザの煩わしさや負担を軽減することが可能となる。また、例えば車両に搭載されたカーナビゲーションシステムが外部機器２００として存在してもよいし、カーナビゲーションシステムの制御部の状況判断処理に基づいて車両制御システム１２０００のオーディオスピーカ１２０６１や表示部１２０６２が制御されてもよい。

＜３．変形例＞
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、技術は、以下のような構成もとることができる。
（１）状況を判断する処理を制御し、上記判断された状況に適した音声コマンドの受け付け状態に制御する制御部を備える
情報処理装置。
（２）上記制御部は、アプリケーション機能の状況を判断する制御をし、
上記状況は、上記判断されたアプリケーション機能の状況である
前記（１）に記載の情報処理装置。
（３）上記アプリケーション機能は、スマートテレビまたはスマートスピーカのアプリケーション機能である
前記（２）に記載の情報処理装置。
（４）センサ部をさらに備え、
上記状況は、上記センサ部で取得される状況である
前記（１）から（３）のいずれかに記載の情報処理装置。
（５）上記センサ部は、カメラを含む
前記（４）に記載の情報処理装置。
（６）上記状況は、ユーザの状況である
前記（４）または（５）に記載の情報処理装置。
（７）外部機器と通信を行う通信部をさらに備え、
上記状況は、上記外部機器で取得される状況である
前記（１）から（６）のいずれかに記載の情報処理装置。
（８）入力される音声コマンドが上記状況に適した音声コマンドであるとき、該音声コマンドを実行するコマンド実行部をさらに備える
前記（１）から（７）のいずれかに記載の情報処理装置。
（９）上記状況に適した音声コマンドをユーザに通知するコマンド通知部をさらに備える
前記（１）から（８）のいずれかに記載の情報処理装置。
（１０）状況を判断する手順と、
上記判断された状況に適した音声コマンドの受け付け状態に制御する手順を有する
情報処理方法。

１０・・・情報処理システム
１００・・・音声操作対応機器
１１０・・・情報処理装置
１１１・・・制御部
１１２・・・通信部
１１３・・・センサ部
１１４・・・マイクロホン
１１５・・・スピーカ
１１６・・・ディスプレイ
１１７・・・状況判断部
１１８・・・音声認識制御部
２００・・・外部機器
３００・・・ユーザ
４００・・・テレビ受信機（ＴＶ）

Claims (10)

1. 状況を判断する処理を制御し、上記判断された状況に適した音声コマンドの受け付け状態に制御する制御部を備える
   情報処理装置。
2. 上記制御部は、アプリケーション機能の状況を判断する制御をし、
   上記状況は、上記判断されたアプリケーション機能の状況である
   請求項１に記載の情報処理装置。
3. 上記アプリケーション機能は、スマートテレビまたはスマートスピーカのアプリケーション機能である
   請求項２に記載の情報処理装置。
4. センサ部をさらに備え、
   上記状況は、上記センサ部で取得される状況である
   請求項１に記載の情報処理装置。
5. 上記センサ部は、カメラを含む
   請求項４に記載の情報処理装置。
6. 上記状況は、ユーザの状況である
   請求項４に記載の情報処理装置。
7. 外部機器と通信を行う通信部をさらに備え、
   上記状況は、上記外部機器で取得される状況である
   請求項１に記載の情報処理装置。
8. 入力される音声コマンドが上記状況に適した音声コマンドであるとき、該音声コマンドを実行するコマンド実行部をさらに備える
   請求項１に記載の情報処理装置。
9. 上記状況に適した音声コマンドをユーザに通知するコマンド通知部をさらに備える
   請求項１に記載の情報処理装置。
10. 状況を判断する手順と、
    上記判断された状況に適した音声コマンドの受け付け状態に制御する手順を有する
    情報処理方法。

Images