WO2023042433A1

WO2023042433A1 - 情報処理装置、情報処理システム、情報処理方法、及び、プログラム

Info

Publication number: WO2023042433A1
Application number: PCT/JP2022/010480
Authority: WO
Inventors: 真秀林; 哲男池田; 裕也高山
Original assignee: ソニーグループ株式会社
Priority date: 2021-09-15
Filing date: 2022-03-10
Publication date: 2023-03-23

Abstract

本技術は、センシングした空間情報に基づいてユーザ操作を認識する技術において、ユーザが快適に操作を行うことができるようにする情報処理装置、情報処理システム、情報処理方法、及び、プログラムに関する。車室内に表示された画像に対してユーザが操作を行う操作空間の環境を認識するための環境情報が取得され、第１の光を用いてセンシングされた前記操作空間の第１の空間情報、又は、前記第１の光と波長帯域が異なる第２の光を用いてセンシングされた前記操作空間の第２の空間情報に基づいて前記ユーザの操作の認識が行われ、前記環境情報に基づいて前記第１の空間情報と前記第２の空間情報とのうち、前記認識に用いる空間情報が決定される。

Description

情報処理装置、情報処理システム、情報処理方法、及び、プログラム

　本技術は、情報処理装置、情報処理システム、情報処理方法、及び、プログラムに関し、特に、センシングした空間情報に基づいてユーザ操作を認識する技術において、ユーザが快適に操作を行うことができるようした情報処理装置、情報処理システム、情報処理方法、及び、プログラムに関する。

　特許文献１には、周囲の明るさに応じて可視光と近赤外光とを使い分けて周囲の物体の検出を行う技術が開示されている。

特開２００７－１５８８２０号公報

　空間情報をセンシングしてユーザの手等の所定部位の位置、形状、動作等からユーザ操作を認識する技術において、ユーザが快適に操作を行うことできない場合があった。

　本技術はこのような状況に鑑みてなされたものであり、センシングした空間情報に基づいてユーザ操作を認識する技術において、ユーザが快適に操作を行うことができるようにする。

　本技術の第１の側面の情報処理装置、又は、プログラムは、車室内に表示された画像に対してユーザが操作を行う操作空間の環境を認識するための環境情報を取得する環境情報取得部と、第１の光を用いてセンシングされた前記操作空間の第１の空間情報、又は、前記第１の光と波長帯域が異なる第２の光を用いてセンシングされた前記操作空間の第２の空間情報に基づいて前記ユーザの操作の認識を行う操作認識部と、前記環境情報取得部により取得された前記環境情報に基づいて前記第１の空間情報と前記第２の空間情報とのうち、前記操作認識部が前記認識に用いる空間情報を決定する決定部と、を有する情報処理装置、又は、そのような情報処理装置として、コンピュータを機能させるためのプログラムである。

　本技術の第１の側面の情報処理方法は、環境情報取得部と、操作認識部と、決定部とを有する情報処理装置の前記環境情報取得部が、車室内に表示された画像に対してユーザが操作を行う操作空間の環境を認識するための環境情報を取得し、前記操作認識部が、第１の光を用いてセンシングされた前記操作空間の第１の空間情報、又は、前記第１の光と波長帯域が異なる第２の光を用いてセンシングされた前記操作空間の第２の空間情報に基づいて前記ユーザの操作の認識を行い、前記決定部が、前記環境情報取得部により取得された前記環境情報に基づいて前記第１の空間情報と前記第２の空間情報とのうち、前記操作認識部が前記認識に用いる空間情報を決定する情報処理方法である。

　本技術の第１の側面の情報処理装置、情報処理方法、及び、プログラムにおいては、車室内に表示された画像に対してユーザが操作を行う操作空間の環境を認識するための環境情報が取得され、第１の光を用いてセンシングされた前記操作空間の第１の空間情報、又は、前記第１の光と波長帯域が異なる第２の光を用いてセンシングされた前記操作空間の第２の空間情報に基づいて前記ユーザの操作の認識が行われ、前記環境情報に基づいて前記第１の空間情報と前記第２の空間情報とのうち、前記認識に用いる空間情報が決定される。

　本技術の第２の側面の情報処理システムは、車室内に画像を表示する表示部と、前記表示部に対してユーザが操作を行う操作空間の環境を認識するための環境情報を取得する環境情報取得部と、第１の光又は第２の光を用いて前記操作空間の空間情報をセンシングする撮像部と、前記撮像部によりセンシングされた前記空間情報に基づいて前記ユーザの操作の認識を行う操作認識部と、前記環境情報取得部により取得された前記環境情報に基づいて、前記第１の光及び前記第２の光のうち、前記撮像部が前記センシングに用いる光を決定する決定部と、を有する情報処理システムである。

　本技術の第２の側面の情報処理システムにおいては、車室内に画像が表示され、ユーザが操作を行う操作空間の環境を認識するための環境情報が取得され、第１の光又は第２の光を用いて前記操作空間の空間情報がセンシングされ、センシングされた前記空間情報に基づいて前記ユーザの操作の認識が行われ、前記環境情報に基づいて、前記第１の光及び前記第２の光のうち、前記センシングに用いる光が決定される。

は、本技術が適用された第１の実施の形態の情報処理システムの構成例を示したブロック図である。は、第１の実施の形態の情報処理システムの構成例を示したブロック図である。は、製品特性の情報内容を例示した図である。は、図２における撮像装置の構成例を示した概略図である。は、環境情報の情報内容を例示した図である。は、情報処理システムが行う処理の手順の概要を例示したフローチャートである。は、センシング方法の種類ごとに、センシングにより得られる空間情報、操作方法がタッチ操作である場合の操作認識方法、及び、特徴について説明する図である。は、ンシング方法の種類ごとに適用可能な操作方法の種類と、タッチ操作に対応する操作認識方法とを説明する図である。は、第１の実施の形態の情報処理システムが行うセンシング方法の最適化の処理手順を例示したフローチャートである。は、図９のフローチャートにおいて参照される最適化規則のデータであるテーブルを例示した図である。は、ディスプレイに表示されるコンテンツの種類と予測時間との関係を表した図である。は、操作環境の予測に基づくセンシング方法の最適化の処理手順を例示したフローチャートである。は、操作環境の予測に基づくセンシング方法の最適化の処理手順において取得又は決定（予測）される情報を例示した図である。は、操作環境の予測に基づくセンシング方法の最適化における最終的な処理手順を例示したフローチャートである。は、操作方法変更時の通知例を説明する図である。は、第２の実施の形態の情報処理システムの構成例を示したブロック図である。は、第２の実施の形態の情報処理システムが行う処理の概略手順を例示したフローチャートである。は、第２の実施の形態の情報処理システムが操作方法を最適化する際の最適化の規則を説明する図である。は、第２の実施の形態の情報処理システムにおける決定操作に関する操作方法を説明する図である。は、第２の実施の形態の情報処理システムにおける選択操作に関する操作方法を説明する図である。は、第２の実施の形態の情報処理システムが行う操作方法の最適化の処理手順を例示したフローチャートである。は、第２の実施の形態の情報処理システムが操作方法の最適化に用いる最適化の規則に関するデータを例示した図である。は、第３の実施の形態の情報処理システムが操作環境に対して最適なユーザ操作となるように操作方法を最適化する際の最適化の規則を説明する図である。は、第３の実施の形態の情報処理システムが最適化する操作方法を説明する図である。は、第３の実施の形態の情報処理システムが行う操作方法の最適化の処理手順を例示したフローチャートである。は、第４の実施の形態の情報処理システムが操作環境に対して最適なユーザ操作となるように操作方法を最適化する際の最適化の規則を説明する図である。は、第４の実施の形態の情報処理システムが最適化する操作方法を説明する図である。は、第４の実施の形態の情報処理システムが行う操作方法の最適化の処理手順を例示したフローチャートである。は、第５の実施の形態の情報処理システムが行うセンシング方法の最適化の処理手順を例示したフローチャートである。は、図２（又は図１６）の撮像装置の他の構成例を示したブロックである。一連の処理をコンピュータがプログラムにより実行する場合の、コンピュータのハードウエアの構成例を示すブロック図である。

　以下、図面を参照しながら本技術の実施の形態について説明する。

＜本技術が適用された情報処理システム＞
　図１は、本技術が適用された情報処理システムの自動車での使用例を示した図である。図１の車室１１は、自動車の車両の内部（室内）の一部を簡略化して表す。窓ガラス１２は、車室１１の内外にユーザが出入りするドアに設置されたドアガラス等のガラス部分を表す。車室１１には、映像提示装置１３が設置される。映像提示装置１３は、ユーザに対して映像（画像）を提示（表示）する装置である。本技術の説明では、映像提示装置１３は、映像を窓ガラス１２に投影するプロジェクタ装置とする。ただし、映像提示装置１３は、映像をユーザに提示する装置であればどのような種類の装置であってもよい。例えば、映像提示装置１３は、窓ガラス１２に設置された透明ディスプレイ又は不透明なディスプレイ等に映像を表示させる装置であってよい。映像を表示する部分は窓ガラス１２に限らず、車室１１の天井、シート、アームレスト、テーブル等の任意の部分であってよい。なお、映像を投影するプロジェクタ装置において、映像が投影される部分、即ち、映像がユーザに提示（表示）される部分を、ディスプレイという。図１のディスプレイ１４は、プロジェクタ装置である映像提示装置１３により映像が投影される部分（映像が表示される画面）を表す。ディスプレイ１４に表示される映像は、文字、記号、図形、静止画、動画等を用いた任意の種類のコンテンツが含まれる映像であってよい。

　センサ１５は、車室１１においてユーザの操作（ユーザ操作）が行われる操作空間を含む空間を観測空間として観測空間の空間情報をセンシングする。以下の説明では、ユーザ操作がディスプレイ１４に対して行われる場合を想定し、観測空間は、ディスプレイ１４周辺の空間である。ただし、ユーザ操作はディスプレイ１４に対して行われる場合に限らない。センサ１５により取得された空間情報（センサ情報ともいう）は、本技術が適用された情報処理システムにおける後述の処理部５４に供給される。処理部５４では、センサ１５からの空間情報に基づいて、ユーザの人体の所定部位（本実施の形態では手）の位置、形状、動作等の状態を認識し、ユーザ操作（操作内容）を認識する。ユーザ操作は、ディスプレイ１４に対して行われるタッチ操作（接触操作）、ジェスチャ操作（指差し操作等）、ホバー操作（非接触操作）等を表す。

　ユーザ操作は、ディスプレイ１４に映像（出力画像）として表示されるコンテンツを提供するアプリケーション（ソフトウェア）に対して所定の指示（入力）を与える操作である。コンテンツを提供するアプリケーションは、ユーザ操作を次のような操作として受け付けるアプリケーションであってよい。例えば、コンテンツを提供するアプリケーションは、ユーザ操作を、ディスプレイ１４に表示させたコンテンツに関する操作として受け付けるアプリケーションであってよい。この場合のアプリケーションは、ユーザ操作を、コンテンツを提供する器機に関する操作として受け付けるアプリケーションとみなしてもよい。コンテンツを提供するアプリケーションは、ユーザ操作を自車両に備えられたエアコン、オーディオ、カーナビゲーションシステム等の器機に関する操作として受け付けるアプリケーションであってよい。この場合のアプリケーションが提供するコンテンツは、操作ボタンのGUI（Graphical User Interface）の画像等によって例えば操作内容ごとの操作位置を指定するコンテンツであってよい。即ち、ディスプレイ１４に表示されるコンテンツを提供するアプリケーションは、コンテンツに応じたユーザ操作を、コンテンツ自体を提供する器機（アプリケーション）、又は、それ以外の所定の器機に関する操作として受け付けるアプリケーションである。

　以下において、コンテンツを提供するアプリケーションに対して所定の指示（入力）を与えるユーザ操作を、器機に対するユーザ操作、又は、単にユーザ操作という。器機に対するユーザ操作は、本技術の説明では、ディスプレイ１４に対するタッチ操作等により行われることとするが、ディスプレイ１４に対して行われる場合に限らない。ユーザ操作を受け付けるアプリケーションは、必ずしもディスプレイ１４に表示されるコンテンツを提供するアプリケーションに限らない。

　なお、以下で説明する情報処理システムの全ての実施の形態は、図１と同様にして自動車で使用される場合を想定する。ただし、本技術が適用された情報処理システムは、自動車に限らず、任意の輸送装置の室内（車室）や明るさ等の周辺環境が変化する室内において、操作空間の空間情報をセンシングしてユーザ操作を認識する技術として適用することができる。

＜第１の実施の形態の情報処理システム＞
　図２は、本技術が適用された第１の実施の形態の情報処理システムの構成例を示したブロック図である。図２において、第１の実施の形態の情報処理システム３１は、ナビ情報５１、GPS受信機５２、撮像装置５３、処理部５４、記憶部５５、及び、映像提示部５６を有する。

　ナビ情報５１は、自車両に搭載されている一般的なカーナビゲーションシステムから得られる情報である。例えば、ナビ情報５１には、現在地、目的地、移動ルート、走行方向、及び、現在地の周辺マップ等の情報が含まれる。ナビ情報５１は、処理部５４に供給される。

　GPS受信機５２は、一般的な衛星測位システムにおいて衛星からの電波を受信し、受信した電波に基づいて自己（自車両）の現在地等を計測する。計測された自車両の現在地等を含むGPS情報は、処理部５４に供給される。なお、GPS受信機５２のGPS情報は、カーナビゲーションシステムにも供給され、ナビ情報５１にも反映される。

　撮像装置５３は、図１におけるセンサ１５として機能する。撮像装置５３は、観測空間の空間情報（主に操作空間の空間情報）をセンシング（計測）する。撮像装置５３は、観測空間の空間情報をセンシングした結果としてカラー画像（RGB画像）と、深度画像（距離画像）とを切り替えて取得することができる。深度画像は、各画素の画素値が、各画素に対応する被写体（物点）までの距離を表す。撮像装置５３により取得されたカラー画像又は深度画像は、空間情報（センサ情報ともいう）として処理部５４に供給される。なお、撮像装置５３は、カラー画像ではなくグレースケールの白黒画像を取得する場合であってもよい。各画素の画素値が被写体の輝度を表す画像を、深度画像と区別して撮像画像ということとすると、撮像装置５３は、撮像画像と深度画像とを切り替えて取得することができ、撮像画像はカラー画像又は白黒画像のいずれであってもよい。

　処理部５４は、実行されているアプリケーション（ソフトウェア）がユーザに対して提示するコンテンツの映像（出力画像）を作成する。アプリケーションは、処理部５４において実行される場合であってもよいし、処理部５４とは別の処理部において実行される場合であってもよい。処理部５４により作成された映像は、映像提示部５６に供給される。処理部５４は、撮像装置５３からのセンサ情報に基づいてユーザ操作を認識し、認識したユーザ操作をアプリケーションに供給する。ただし、ユーザ操作は、撮像装置５３からのセンサ情報に基づいて認識されるだけでなく、タッチパネルやポインティング装置等の不図示の入力装置からの入力信号に基づいて認識される場合であってもよい。

　処理部５４は、操作空間の環境（以下、操作環境、又は、単に環境という）に応じて、撮像装置５３における空間情報のセンシングに適用されるセンシング方法、ユーザ操作の認識（認識処理）に適用される操作認識方法、及び、ユーザ操作に適用される操作方法のうちの少なくとも１つと、映像提示部５６に供給する映像（出力画像）の描画（描画処理）に適用される描画方法とを最適化する。なお、撮像装置５３における空間情報のセンシングに適用されるセンシング方法を、単にセンシング方法ともいう。処理部５４がユーザ操作の認識に適用される操作認識方法を、単に操作認識方法ともいう。ユーザ操作に適用される操作方法を、単に操作方法ともいう。映像提示部５６に供給する映像（出力画像）の描画（描画処理）に適用される描画方法を、単に描画方法ともいう。センシング方法、操作認識方法、及び、操作方法についての詳細は後述する。描画方法については必要な場合に適宜説明する。

　本実施の形態では操作空間はディスプレイ１４周辺であるので、操作環境はディスプレイ１４周囲の環境に相当する。操作環境の認識においては、例えば、操作空間及びその周囲の明るさ（照度）、温度（気温）、操作空間（自車両）が存在する場所（位置）が属する文化圏（国、又は、地域等）、自車両の外部周囲（操作空間の周囲）の人の有無など、操作空間（ディスプレイ１４）がおかれている状況に関する情報が用いられる。処理部５４は、操作環境を認識するための情報（以下、環境情報という）を得るため、ナビ情報５１、GPS受信機５２からのGPS情報、及び、インターネット等からの気象情報等の必要な情報を取得する。

　記憶部５５は、各種データを記憶する。記憶部５５に記憶されるデータには、センシング方法、操作認識方法、操作方法、又は、描画方法を最適化する際に処理部５４が参照するデータが含まれる。記憶部５５は、製品特性定義部９１、センシング方法蓄積部９２、センシング変更ルール定義部９３、描画ルール蓄積部９４、及び、描画変更ルール定義部９５を有する。

　製品特性定義部９１は、例えば、図３のようにディスプレイ１４の可動性の有無やディスプレイタイプを表すデータが記憶される。ディスプレイタイプは、例えば、透明ディスプレイ又は不透明ディスプレイなどの使用されるディスプレイ１４のタイプを表す。

　センシング方法蓄積部９２は、センシングに適用可能なセンシング方法の種類を表すデータが記憶される。なお、必要に応じて、センシング方法蓄積部９２には、操作認識に適用可能な操作認識方法の種類を表すデータやユーザ操作に適用可能な操作方法の種類を表すデータも記憶されることとする。センシング変更ルール定義部９３は、センシング方法を最適化（変更）する際の最適化の規則（以下、最適化規則）に関するデータが記憶される。なお、必要に応じて、センシング変更ルール定義部９３には、操作認識方法を最適化する際の最適化規則に関するデータや、操作方法を最適化する際の最適化規則に関するデータも記憶されることとする。

　描画ルール蓄積部９４は、描画方法の種類を表すデータが記憶される。描画変更ルール定義部９５は、描画方法を最適化する際の最適化規則に関するデータが記憶される。

　映像提示部５６は、処理部５４から供給された映像（出力画像）を図１のディスプレイ１４に表示してユーザに提示する。映像提示部５６は、プロジェクタ装置、液晶ディスプレイ、有機ELディスプレイ等の任意の表示装置であってよい。本技術の説明においては、映像提示部５６は、プロジェクタ装置とする。

（撮像装置５３の詳細）
　図２において、撮像装置５３は、フィルタ７１、イメージセンサ７２、制御部７３、アクチュエータ７４、及び、発光素子７５を有する。

　フィルタ７１は、不図示の撮像光学系の一部を構成する。撮像光学系は、観測空間（撮影範囲）からの光を集光して被写体の光像をイメージセンサ７２の受光面に結像する。フィルタ７１は、撮像光学系に入射した被写体からの光のうち、フィルタ７１の光学特性に応じた波長帯域の光のみをイメージセンサ７２に透過させる。後述のようにフィルタ７１は光学特性が異なる複数種のフィルタに切り替えられる。

　イメージセンサ７２は、撮像光学系により結像された画像を撮像（光電変換）し、電気信号である画像信号に変換する。イメージセンサ７２は、可視光により結像されたカラー（RGB）画像と赤外光により結像された赤外画像との両方を撮像することができる。

　制御部７３は、処理部５４からの指示に従ってフィルタ７１の制御を行う。フィルタ７１の制御とは、光学特性が異なる複数種のフィルタのうち、フィルタ７１として適用するフィルタを撮像光学系に対して有効に配置する制御である。制御部７３は、アクチュエータ７４に対して駆動信号を供給してフィルタ７１の制御を行う。フィルタの種類については後述する。

　アクチュエータ７４は、光学特性が異なる複数種のフィルタのうち、撮像光学系に対して有効に配置するフィルタの切替え機構を動作させる。アクチュエータ７４は、制御部７３からの駆動信号に従って駆動される。

　発光素子７５は、赤外光を観測空間に向けて発光する。赤外光は、一般に、近赤外の約780nm以上の波長から遠赤外の約1000mmの波長までの光を表すが、本実施の形態では、近赤外の波長帯域に含まれる約850nmの波長と約940nmの波長とを含む近赤外光であるとする。なお、発光素子７５が発光する光は、フィルタ７１として適用可能な全ての赤外光フィルタの波長帯域を含む波長帯域の光であればよい。

　撮像装置５３によれば、フィルタ７１として適用するフィルタの種類（以下、フィルタ７１の種類という）を切り替えることで、イメージセンサ７２の受光面に対して、被写体からの可視光によるカラー画像（RGB画像）と、被写体からの赤外光による赤外画像とのいずれかが結像される。

　例えば、フィルタ７１の種類が、少なくとも可視光の波長帯域（下限が約360乃至400nm、上界が約760乃至830nmの波長帯域）を透過するフィルタ（可視光フィルタ）であるとする。フィルタ７１として何も配置されない場合（フィルタ無しの場合）もフィルタ７１の種類が可視光フィルタである場合に該当することとする。この場合、イメージセンサ７２の受光面にカラー画像が結像され、イメージセンサ７２によりカラー画像が撮像される。

　フィルタ７１の種類が、赤外光の波長帯域のうちの一部の波長帯域の光のみを透過するフィルタ（赤外光フィルタ）であるとする。この場合、イメージセンサ７２の受光面に赤外画像が結像され、イメージセンサ７２により赤外画像が撮像される。フィルタ７１の種類が赤外光フィルタである場合、撮像装置５３は発光素子７５からパルス状の赤外光（赤外光パルス）を放射する。発光素子７５から放射された赤外光パルスは、被写体で反射されてイメージセンサ７２の受光面に赤外画像を結像する。イメージセンサ７２では、発光素子７５から赤外光パルスが発光されるタイミングに同調して露出（電荷蓄積）が行われる。これにより、TOF（Time of Flight）の原理に基づいた深度画像（距離画像）が生成され、処理部５４に供給される。深度画像は、イメージセンサ７２で生成される場合であっても良いし、イメージセンサ７２が出力する赤外画像に基づいて後段の不図示の演算処理部又は処理部５４が生成する場合であってよい。本実施の形態では、深度画像は、少なくとも撮像装置５３内において生成されて処理部５４に供給されることとする。

　図４は、図２における撮像装置５３の構成例を示した概略図である。図４において、カメラ１２１は、図２のイメージセンサ７２、不図示の撮像光学系（フィルタ７１を除く）、及び、その他の周辺回路を含む。カメラ１２１は、撮像光学系により結像されたカラー画像及び赤外画像を撮像する。ターレット１２２は、図２のフィルタ７１として撮像光学系に挿脱可能なフィルタ７１Ａ、７２Ｂ、７１Ｃを保持している。ターレット１２２は、図２のアクチュエータ７４により回転駆動される。ターレット１２２が回転することで、カメラ１２１の撮像光学系の光軸上に、３つのフィルタ７１Ａ、７２Ｂ、７１Ｃのうちのいずれかが挿脱可能に配置される。３つのフィルタ７１Ａ、７２Ｂ、７１Ｃのうち、フィルタ７１Ａは、約850nmを中心波長とする波長帯域（帯域幅は例えば10nmオーダー）の光を透過する特性を有する赤外光フィルタ（以下、850nmフィルタ７１Ａともいう）である。フィルタ７１Ｂは、約940nmを中心波長とする波長帯域（帯域幅は例えば10nmオーダー）の光を透過する特性を有する赤外光フィルタ（以下、940nmフィルタ７１Ｂともいう）である。フィルタ７１Ｃは、ターレット１２２に形成された開口部（空洞部）を表し、フィルタが無い（いずれのフィルタも配置されていない）ことを表す。ただし、フィルタ７１Ｃは、可視光の波長帯域を透過する可視光フィルタ（赤外光を遮断する赤外光遮断フィルタ）であってもよい。フィルタ７１Ｃは、可視光フィルタ７１Ｃともいう。

　本実施の形態では、撮像装置５３は、図４のように、透過する波長帯域が異なる２つの赤外光フィルタ（850nmフィルタ７１Ａ及び940nmフィルタ７１Ｂ）と、可視光フィルタ（可視光フィルタ７１Ｃ）とのうちのいずれかを図２のフィルタ７１として撮影光学系に配置することができることとする。ただし、フィルタ７１の種類は、２種類又は４種類以上であってよいし、赤外光フィルタが透過する光の波長帯域も850nmや940nmを中心波長とする場合に限らない。可視光フィルタ７１Ｃが透過する光の波長帯域も可視光の波長帯域全体でなくてもよいし、可視光フィルタ７１Ｃがフィルタ７１の種類として選択できない場合であってもよい。

（処理部５４の詳細）
　図２において、処理部５４は、通信部８１、環境情報処理部８２、最適化処理部８３、センサ情報処理部８４、及び、出力情報作成部８５を有する。なお、図２の処理部５４は、アプリケーションが提供するコンテンツを表示するウィンドウの描画等のマルチコンテンツの描画制御や、ユーザ操作などのアプリケーションへのイベント配信等、一般的なOS（Operating System）の制御レイヤに相当する処理を行う。ユーザにコンテンツを提供するアプリケーション（ソフトウェアプログラム）を実行は、処理部５４で行われる場合、又は、処理部５４とは別の処理部で行われる場合のいずれでもよいが、アプリケーションを実行する処理部については説明を省略する。

　通信部８１は、インターネット等の通信網に接続されているサイト（外部サーバ装置）との通信を行う。例えば、通信部８１は、気象情報を提供する外部サーバ装置と通信を行い、自車両の現在地等の所定の場所（位置）、及び、現在時刻などの所定の時刻の気象情報（天気等）を取得する。取得された気象情報は、環境情報処理部８２に供給される。通信部８１は、気象情報に限らず、適宜必要な情報を外部サーバ装置から通信により取得する。

　環境情報処理部８２は、ナビ情報５１及びGPS受信機５２からのGPS情報に基づいて、通信部８１を介して外部サーバ装置から現在地及び現在時刻の気象情報や、移動ルート上の所定場所及びその場所の通過予定時刻の気象情報等を取得する。環境情報処理部８２は、ナビ情報５１、GPS情報、及び、気象情報に基づいて、操作環境を認識するための環境情報を最適化処理部８３に供給する。

　図５は、環境情報の情報内容を例示した図である。図５のように環境情報は、時刻、場所、気象情報、及び、照度に関する情報を含む。例えば、環境情報処理部８２は、GPS情報等により特定された現在地と現在時刻(日時)とに対応した天気を気象情報として外部サーバ装置から取得したとする。この場合、環境情報処理部８２は、現在地と現在時刻と外部サーバ装置から取得した天気とを環境情報として最適化処理部８３に供給する。例えば、操作環境の照度を計測する照度計が自車両に搭載され、環境情報処理部８２がその照度計により計測された照度を取得できるとする。その場合に、環境情報処理部８２は、環境情報として、照度が計測された場所と時刻と照度計で計測された照度の情報とを環境情報として最適化処理部８３に供給する。環境情報には、気象情報と照度の情報とのうちの両方又はいずれか一方が含まれる場合であってよい。環境情報処理部８２が、照度の情報を取得できない場合には、環境情報に照度の情報は含まれない。図５に示された環境情報の情報内容は、一例であり、これに限らない。環境情報には、操作環境を認識するための任意の情報が含まれる。

　最適化処理部８３は、環境情報処理部８２からの環境情報と、事前に記憶部５５に記憶されているデータに基づいて、センシング方法、操作認識方法、及び、操作方法のうちの少なくともいずれか１つと、描画方法とを最適化する。

　センシング方法、操作認識方法、操作方法、及び、描画方法の最適化とは、操作環境に対して最適な（適した）ユーザ操作となるように、センシング方法、操作認識方法、ユーザ操作、及び、描画方法を決定することを意味する。操作環境に対して最適なユーザ操作とは、操作環境によって生じ得る、空間情報のセンシング精度の低下、ユーザ操作に対する誤認識の増加、ユーザ操作の操作性の低下、又は、ユーザ操作（指差し操作等）による他者への不快感等の不具合が抑止されて、操作環境によらずユーザが快適に行うことができるユーザ操作を意味する。なお、描画方法については必要な場合に適宜説明する。

　センシング方法は、撮像装置５３において、観測空間（操作空間）の空間情報をセンシングする際のセンシングの方法を表す。センシング方法は、具体的には、フィルタ７１の種類により特定される。本実施の形態では、センシング方法は、フィルタ７１が850nmフィルタ７１Ａの場合、フィルタ７１が940nmフィルタ７１Ｂの場合、及び、フィルタ７１が可視光フィルタ７１Ｃの場合の３つのセンシング方法のうちから選択することができる。

　フィルタ７１が850nmフィルタ７１Ａの場合又は940nmフィルタ７１Ｂの場合のセンシング方法には深度画像を取得するまでの工程が含まれる。フィルタ７１が可視光フィルタ７１Ｃの場合のセンシング方法には、カラー画像を取得するまでの工程が含まれる。なお、例えば、フィルタ７１が850nmフィルタ７１Ａの場合に、最終的に深度画像を取得する目的のセンシング方法と、最終的に赤外画像を取得する目的のセンシング方法とを選択できる場合には、それらは異なる種類のセンシング方法である。このような適用可能なセンシング方法の種類に関するデータは、図２の記憶部５５のセンシング方法蓄積部９２に記憶されている。最適化処理部８３が、操作環境に対して最適なユーザ操作となるように、センシング方法を最適化する場合には、その最適化規則に関するデータは、図２の記憶部５５のセンシング変更ルール定義部９３に記憶されている。最適化処理部８３は、センシング変更ルール定義部９３のデータが示す最適化規則に従って、センシング方法を最適化する（空間情報のセンシングに適用される最適なセンシング方法を決定する）。センシング方法を最適化すると、最適化処理部８３は、最適化されたセンシング方法でセンシングを行うことを撮像装置５３の制御部７３に指示する。

　操作認識方法は、撮像装置５３から取得されたセンサ情報（カラー画像又は深度画像）に基づいてユーザ操作を認識する方法を表す。操作認識方法には、選択可能な複数の種類が存在する。操作認識方法は、ユーザ操作を認識する処理のアルゴリズム（センシングアルゴリズム）により特定され得る。なお、センシングアルゴリズムという場合には、撮像装置５３において空間情報をセンシングする処理のアルゴリズムも含まれることとし、センシングアルゴリズが特定された場合にはセンシング方法と操作認識方法の両方が特定されることとする。

　ユーザ操作の認識に適用可能な操作認識方法の種類に関するデータは、例えば、図２の記憶部５５のセンシング方法蓄積部９２にセンシング方法の種類に関するデータと合わせて記憶される。最適化処理部８３が、操作環境に対して最適なユーザ操作となるように操作認識方法を最適化する場合、最適化規則に関するデータは、図２の記憶部５５のセンシング変更ルール定義部９３に記憶される。最適化処理部８３は、センシング変更ルール定義部９３のデータが示す最適化規則に従って、操作認識方法を最適化する（ユーザ操作の認識に適用される最適な操作認識方法を決定する）。操作認識方法を最適化すると、最適化処理部８３は、センサ情報処理部８４に対して、最適化された操作認識方法によりユーザ操作の認識を行うことを指示する。

　操作方法は、ユーザが行う操作の方法を表す。操作方法に関しては、タッチ操作、ジェスチャ操作、及び、ホバー操作等の大別される種類だけでなく、それらの大別された種類の操作方法を更に細分化した場合に、細分化された操作方法も別の種類の操作方法とする。例えば、ジェスチャ操作において、同一指示の操作に関してジェスチャが異なる場合には別の種類の操作方法とする。

　ユーザ操作に適用可能な操作方法の種類に関するデータは、例えば、図２の記憶部５５のセンシング方法蓄積部９２にセンシング方法の種類に関するデータと合わせて記憶される。最適化処理部８３が、操作環境に対して最適なユーザ操作となるように操作方法を最適化する場合、最適化規則に関するデータは、図２の記憶部５５のセンシング変更ルール定義部９３に記憶される。最適化処理部８３は、センシング変更ルール定義部９３のデータが示す最適化規則に従って、操作方法を最適化する（ユーザ操作に適用される最適な操作方法を決定する）。操作方法は、操作認識方法に反映されるので、最適化処理部８３は、センサ情報処理部８４に対して、最適化された操作方法に対応して決定した操作認識方法によりユーザ操作の認識を行うことを指示する。

　描画方法は、映像提示部５６によりディスプレイ１４に映像（出力画像）として表示されるコンテンツを描画する方法を表す。描画方法には、描画に適用可能な複数の種類が存在する。例えば、描画方法の種類によって、コンテンツの明るさ、色彩、配置等などの視覚的な効果が異なる。又は、描画方法の種類によって、ユーザ操作を受け付けるGUIに関するコンテンツ（操作ボタン画像等）の形態が異なる。GUIに関するコンテンツの形態には、例えば、タッチ操作、ジェスチャ操作、又は、ホバー操作等のそれぞれの操作方法に適した形態があり、描画方法の種類によって異なる。これらの適用可能な描画方法の種類に関するデータは、図２の記憶部５５の描画ルール蓄積部９４に記憶されている。最適化処理部８３が、描画方法を最適化する際の最適化規則に関するデータは、図２の記憶部５５の描画変更ルール定義部９５に記憶されている。最適化処理部８３は、描画変更ルール定義部９５のデータが示す最適化規則に従って、描画方法を最適化する（出力画像の描画に適用される最適な描画方法を決定する）。描画方法を最適化すると、最適化処理部８３は、出力情報作成部８５に対して、最適化された描画方法により出力情報（出力画像）を描画することを指示する。

　ここで、センシング方法、操作認識方法、及び、操作方法は、各々独立して任意の方法に決定することができず、互いに他の方法の種類の変更に応じて変更可能な範囲（適用可能な種類）が変更される関係にある。このことから、次のような事態が生じ得る。操作環境に対して最適なユーザ操作となるように、センシング方法、操作認識方法、及び、操作方法を最適化する場合に、例えば、操作環境（操作環境の変化）によって生じ得る、空間情報のセンシング精度の低下の抑止（第１目的）と、ユーザ操作の誤認識の増加の抑止（第２目的）と、ユーザ操作の操作性（操作のし易さ等）の低下の抑止（第３目的）とを目的とすることが考えられる。第１目的と第２目的のみに着目すると、第１目的を第２目的よりも優先した場合、第１目的の達成のためにセンシング方法が優先して最適化され、最適化されたセンシング方法に対して適用可能な種類内で第２目的の達成のために操作認識方法が最適化される。一方、第２目的を第１目的よりも優先した場合、第２目的の達成のために操作認識方法が優先して最適化され、最適化された操作認識方法に対して適用可能な種類内で第１目的の達成のためにセンシング方法が最適化される。このとき、前者において最適化されたセンシング方法と、後者において最適化されたセンシング方法とが相違する場合がある。同様に、前者において最適化された操作認識方法と、後者において最適化された操作認識方法とが相違する場合がある。

　このような事態は、第２目的を達成するために最適化される操作認識方法と第３目的を達成するために最適化される操作方法との間においても生じ得るし、センシング方法と操作方法との間においても操作認識方法を介して生じ得る。

　一方、最適化処理部８３は、センシング方法、操作認識方法、及び、操作方法の最適化を、操作環境（環境情報）に基づいて、事前に決められた最適化規則（記憶部５５のセンシング変更ルール定義部９３に記憶されたデータが示す最適化規則）に従って行う。その最適化規則は、第１目的乃至第３目的のような複数の最適化の目的のうちのいずれの目的を優先されるか等が考慮されて作成される。ただし、センシング方法、操作認識方法、及び、操作方法は可能な組合せが決まっていて、１つの組合せが１つの方法として扱われる場合であってもい。その場合、センシング方法、操作認識方法、及び、操作方法が全体として最適化される。

　本第１の実施の形態及び以下で説明する第２乃至第５の実施の形態では、操作環境に影響（変化）を招く様々な環境要因のうち、ユーザ操作に不具合を生じさせ得る環境要因のいずれかに着目する。その着目した環境要因に起因する不具合を抑止する目的を主目的とする。主目的は他の不具合を抑止する目的よりも優先されることとする。最適化規則は、センシング方法、操作認識方法、及び、操作方法のうち、主目的を達成するために最適化される方法が、それ以外の方法よりも優先的に最適化されるように決められているものとする。

　具体的には、第１の実施の形態では、外界から操作空間への赤外光の光量（光量の変化）を環境要因として着目し、それに起因する不具合を空間情報のセンシング精度の低下とする。最適化規則は、その不具合を抑止することを主目的とし、その主目的を達成するためにセンシング方法を優先的に最適化する。

　第２の実施の形態では、操作空間の周囲（自車両の周囲）に人がいること（人がいるか否か）を環境要因として着目し、それに起因する不具合を指差し操作等により他者に不快感を与えることとする。最適化規則は、その不具合を抑止することを主目的とし、その主目的を達成するために操作方法を優先的に最適化する。

　第３の実施の形態では、操作環境の気温が低いこと（気温が変化すること）を環境要因として着目し、それに起因する不具合をタッチ操作によるディスプレイ１４の視認性の低下、及び、ユーザの手が冷える（ユーザが不快）こととする。最適化規則は、その不具合を抑止することを主目的とし、その主目的を達成するために操作方法を優先的に最適化する。

　第４の実施の形態では、操作空間に日光が差し込むこと（日光が差し込むか否か）を環境要因として着目し、それに起因する不具合をユーザが日焼けすること、及び、ユーザが暑くなることとする。最適化規則は、その不具合を抑止することを主目的とし、その主目的を達成するために操作方法を優先的に最適化するように決定されている。

　第５の実施の形態では、第１の実施の形態と同様である。ただし、第５の実施の形態では、着目する環境要因である、外界に含まれる赤外光の光量（光量の変化）を認識する際に考慮する対象が第１の実施の形態と相違する。

　最適化規則は、センシング方法、操作認識方法、及び、操作方法のうち、主目的を達成するために優先的に最適化される方法以外の他の方法に関しては、必ずしも、操作環境（環境情報）に基づいて、一意的に決定するように決めれているとは限らない。例えば、主目的を達成するために優先的に最適化された方法に対して、他の方法の適用可能な種類（変更可能な範囲）が制限されるとする。その場合に、他の方法は、操作環境に起因する目的又は操作環境に起因しない目的を達成するために、適用可能な種類内で最適化される場合がある。又は、他の方法は、アプリケーション等の要求により、その適用可能な種類内で決定される場合もある。他の方法は、どのように決定される場合であってもよい。

　以下の第１乃至第５の実施の形態の説明においては、センシング方法、操作認識方法、及び、操作方法のうち、主目的を達成するために優先的に最適化される方法の最適化規則についてのみ説明する。その他の方法は、最適化規則による場合に限らず任意の要求（最適化規則による要求も含む）に基づいて決定されることとし、詳細な説明は適宜省略する。最適化規則に限らず任意の要求に基づいて決定されたセンシング方法、操作認識方法、又は、操作方法についても最適化規則により最適化された場合と同様に最適なセンシング方法、最適な操作認識方法、又は、最適な操作方法ともいう。最適化されたセンシング方法、最適化された操作認識方法、又は、最適化された操作方法という場合には、最適化規則に従って決定されたこととする。

　図２において、センサ情報処理部８４は、撮像装置５３からのセンサ情報（空間情報）に基づいて、ユーザ操作を認識する。画像信号に基づくユーザ操作の認識においては、センサ情報処理部８４は、最適化処理部８３により指示された操作認識方法を用いる。認識されたユーザの操作は、不図示のアプリケーションや出力情報作成部８５に供給される。

　出力情報作成部８５は、実行されているアプリケーションが提供するコンテンツをディスプレイ１４に表示するための出力画像（映像）を作成する。出力画像の作成（描画）においては、出力情報作成部８５は、最適化処理部８３から指示された描画方法を用いる。出力情報作成部８５は、センサ情報処理部８４で認識されたユーザ操作に基づいて、ユーザ操作に応じて変化する操作応答画像等を作成し、出力画像に含める。出力情報作成部８５は、作成した出力画像を、映像提示部５６に供給し、ディスプレイ１４に表示させる。

＜第１の実施の形態の情報処理システム３１の処理手順の概要＞
　図６は、情報処理システム３１が行う処理の手順の概要を例示したフローチャートである。ステップＳ１１では、環境情報処理部８２は、ナビ情報５１、GPS受信機５２からのGPS情報、通信部８１を介した気象情報等を取得し、操作環境を認識するための環境情報を取得する。処理はステップＳ１１からステップＳ１２に進む。ステップＳ１２では、最適化処理部８３は、ステップＳ１１で取得された環境情報と事前に決められた最適化規則とに基づいて、操作環境に対して最適なユーザ操作となるように、センシング方法を最適化する。最適化処理部８３は、最適化されたセンシング方法に対して適用可能な種類内で最適な操作認識方法及び操作方法を任意の要求に基づいて決定する。処理はステップＳ１２からステップＳ１３に進む。なお、操作方法は、最適な操作認識方法の決定により自動的に決定されるので、最適化処理部８３は、最適な操作認識方法を操作方法よりも先に決定する場合等において、操作方法を決定する処理を行わない場合もある。

　ステップＳ１３では、撮像装置５３は、ステップＳ１２で最適化されたセンシング方法により空間情報をセンシングし、センサ情報処理部８４は、撮像装置５３からの空間情報（センサ情報）に基づいて、ステップＳ１２で決定された最適な操作認識方法によりユーザ操作を認識する。処理はステップＳ１３からステップＳ１４に進む。ステップＳ１４では、最適化処理部８３は、ステップＳ１１で取得された環境情報と事前に決められた最適化規則に基づいて、ディスプレイ１４に表示する出力画像の描画方法を最適化する。処理はステップＳ１４からステップＳ１５に進む。

　ステップＳ１５では、出力情報作成部８５は、ステップＳ１４で最適化された描画方法により、映像提示部５６のディスプレイ１４に表示させる出力画像を作成する。処理はステップＳ１５からステップＳ１６に進む。ステップＳ１６では、処理部５４は、所定の終了処理が行われたか否かを判定する。ステップＳ１６において、否定された場合、処理はステップＳ１１に戻り、ステップＳ１１乃至ステップＳ１６を繰り返す。ステップＳ１６において、肯定された場合、本フローチャートの処理は終了する。

　図６のステップＳ１２におけるセンシング方法の最適化及び最適な操作認識方法及び操作方法の決定と、ステップＳ１３のユーザ操作の認識について説明する。

　センシング方法の最適化において、最適化処理部８３は、環境情報と、事前に決められた最適化規則（記憶部５５のセンシング変更ルール定義部９３のデータが示す最適化規則、以下、省略）とに基づいて、センシング方法を最適化する。具体的には、撮像装置５３のフィルタ７１の種類を図４のフィルタ７１Ａ乃至７１Ｃのうちのいずれかに決定する。その結果、撮像装置５３では、決定されたフィルタが撮像光学系に配置され、撮像装置５３での空間情報のセンシングが最適化されたセンシング方法により行われる。

　最適な操作認識方法及び操作方法の決定において、最適化処理部８３は、最適化されたセンシング方法に対して適用可能な種類内で操作認識方法を任意の要求に基づいて決定する。具体的には、最適化処理部８３は、環境情報と最適化規則とに基づいて、操作認識方法及び操作方法を最適化してもよいし、最適化規則以外の要求に基づいて最適な操作認識方法及び操作方法を決定してもよい。その結果、センサ情報処理部８４では、撮像装置５３からの空間情報（センサ情報）に基づくユーザ操作の認識が、最適化処理部８３により決定された最適な操作認識方法により行われる。

　センシング方法が最適化され、最適な操作認識方法及び最適な操作方法が決定されると、ユーザは、最適化処理部８３により決定された最適な操作方法を用いて、器機に対するユーザ操作を行うことができる。操作方法の種類としては、大別すると、ディスプレイ１４に対して行われるタッチ操作（接触操作）、ジェスチャ操作（指差し操作等）、ホバー操作（非接触操作）等がある。

　ここで、センシング方法の種類ごとに、センシングにより得られる空間情報、操作方法がタッチ操作である場合の操作認識方法（タッチ操作に対応する操作認識方法）、及び、特徴について、図７を用いて説明する。なお、タッチ操作に対応した操作認識方法をタッチ認識方法という。

　図７において、最左列の「850nm」、「940nm」、及び、「可視光」は、それぞれ撮像装置５３のフィルタ７１の種類を表し、センシング方法の種類を表す。「850nm」の行は、フィルタ７１が850nmフィルタ７１Ａであるセンシング方法の場合（フィルタ７１が850nmフィルタ７１Ａの場合）を表す。「940nm」の行は、フィルタ７１が940nmフィルタ７１Ｂであるセンシング方法の場合（フィルタ７１が940nmフィルタ７１Ｂの場合）を表す。「可視光」の行は、フィルタ７１が可視光フィルタ７１Ｃであるセンシング方法の場合（フィルタ７１が可視光フィルタ７１Ｃの場合）を表す。

　「850nm」、「940nm」、及び、「可視光」のそれぞれの行において、最上行の項目である「取得画像」に対応する欄には、撮像装置５３により取得される空間情報である画像が例示されている。これによれば、フィルタ７１が赤外光フィルタである850nmフィルタ７１Ａ又は940nmフィルタ７１Ｂの場合、「取得画像」に対応する欄に共通して例示されたような深度画像（距離画像）が取得される。フィルタ７１が可視光フィルタ７１Ｃの場合、「取得画像」に対応する欄に例示されたような撮像画像であるカラー画像（図中は白黒画像）が取得される。

　「850nm」、「940nm」、及び、「可視光」のそれぞれの行において、最上行の項目である「タッチ認識方法」に対応する欄には、タッチ認識方法の一例が示されている。これによれば、フィルタ７１が赤外光フィルタである850nmフィルタ７１Ａ又は940nmフィルタ７１Ｂの場合、「タッチ認識方法」に対応する欄に共通して示されているように、ユーザの手の三次元座標が深度画像（取得画像）に基づいて算出される。その結果、ユーザの手の三次元座標に基づいて、ディスプレイ１４（ディスプレイ１４の面の位置）に対してタッチ操作が行われたか否かのタッチ判定（タッチ操作の認識）が行われる。フィルタ７１が可視光フィルタ７１Ｃの場合、「タッチ認識方法」に対応する欄に示されたように、ユーザの指とその指の影がカラー画像（取得画像）から認識される。その結果、ユーザの指とその指の影との位置関係に基づいてタッチ判定が行われる。例えば、ユーザの指とその指の影との位置が一致したとき、又は、それらの距離が所定距離以下なるとタッチ操作が行われたと認識される。

　「850nm」、「940nm」、及び、「可視光」のそれぞれの行において、最上行の項目に示された「特徴」に対応する欄には、それぞれのセンシング方法の主な特徴が例示されている。これによれば、フィルタ７１が850nmフィルタ７１Ａの場合、第１の特徴として、深度画像により深度情報（距離情報）が得られるが、日光（太陽光）の影響を受けやすい。第２の特徴として、可視光の波長帯域に近いのでセンシング精度（距離精度）が高いが、日光のもとではセンシング精度が低下する。フィルタ７１が940nmフィルタ７１Ｂの場合、第１の特徴として、深度画像により深度情報（距離情報）が得られ、かつ、日光の影響を受けにくい。第２の特徴として、可視光の波長帯域に遠いのでセンシング精度（距離精度）が低いが、日光のもとでもセンシング精度が低下しにくい。フィルタ７１が可視光フィルタ７１Ｃの場合、深度情報（距離情報）が直接的に得られないという特徴がある。

　図８は、センシング方法の種類ごとに、適用可能な操作方法の種類と、操作方法がタッチ操作である場合の操作認識方法（タッチ操作に対応する操作認識方法）について説明する図である。

　図８において、最左列の「850nm」、「940nm」、及び、「可視光」は、それぞれ撮像装置５３のフィルタ７１の種類を表し、センシング方法の種類を表す。「850nm」の行は、フィルタ７１が850nmフィルタ７１Ａであるセンシング方法の場合（フィルタ７１が850nmフィルタ７１Ａの場合）を表す。「940nm」の行は、フィルタ７１が940nmフィルタ７１Ｂであるセンシング方法の場合（フィルタ７１が940nmフィルタ７１Ｂの場合）を表す。「可視光」の行は、フィルタ７１が可視光フィルタ７１Ｃであるセンシング方法の場合（フィルタ７１が可視光フィルタ７１Ｃの場合）を表す。

　「850nm」、「940nm」、及び、「可視光」のそれぞれの行において、最上行の項目である「タッチ認識の判定アルゴリズム」に対応する欄には、タッチ認識方法におけるタッチ判定の条件が示されている。タッチ判定の条件とは、タッチ操作が行われたと判定（認識）される条件である。

　ここで、タッチ判定では、例えば、次の３つの条件が満たされることが要求される。タッチ判定の第１条件としては、ディスプレイ１４の所定の当たり判定領域に対してディスプレイ１４の面に垂直な方向にユーザの指が存在することが要求される。当たり判定領域とは、ディスプレイ１４にボタン画像（ボタンアイコン）のようなタッチすべき領域が表示された場合に、そのタッチすべき領域（ボタン画像）をタッチしたとみなされる領域である。タッチ判定の第２条件としては、当たり判定領域に対するユーザの指の距離（高さ）が所定の閾値以下であることが要求される。タッチ判定の第３条件としては、第１条件を満たした時間（継続時間）が所定に閾値以上であることが要求される。これらのタッチ判定の第１条件乃至第３条件の全てが満たされた場合に、タッチ操作が行われたと判定される。

　図８において、最上行の項目である「タッチ認識の判定アルゴリズム」は、小項目である「当たり判定の広さ」、「時間」、及び、「高さ」に分割されている。「850nm」、及び、「940nm」のそれぞれの行において、「当たり判定の広さ」、「時間」、及び、「高さ」に対応する欄には、それぞれタッチ判定の第１条件、第３条件、及び、第２条件が示されている。なお、フィルタ７１が可視光フィルタ７１Ｃの場合には、図７で説明したように、タッチ判定は、指と指の影との位置関係に基づいて行われる。本実施の形態では、ディスプレイ１４が透明ディスプレイであるので、指の影が存在しない。そのため、タッチ判定を行うことができないことから、フィルタ７１が可視光フィルタ７１Ｃの場合には、適用可能な操作認識方法の種類としてタッチ認識方法は除外され、適用可能な操作方法の種類としてタッチ操作は除外される。従って、図８の「可視光」の行において、「タッチ認識の判定アルゴリズム」に対応する欄は空欄で示されている。

　図８によれば、フィルタ７１が850nmフィルタ７１Ａの場合とフィルタ７１が940nmフィルタ７１Ｂの場合とにおいて、タッチ判定の第１条件における当たり判定領域の大きさ（広さ）を比較する。「当たり判定の広さ」に対応する欄に示されるように、前者の場合と後者の場合のいずれも、タッチすべき領域であるボタン画像に対して、当たり判定領域は、ボタン画像を含み、かつ、ボタン画像より大きな領域として設定される。ただし、前者の場合の方がセンシング精度が高いので、当たり判定領域は狭く、後者の場合の方がセンシング精度が低いので、当たり判定領域は広く設定される。

　フィルタ７１が850nmフィルタ７１Ａの場合とフィルタ７１が940nmフィルタ７１Ｂの場合とにおいて、タッチ判定の第３条件における継続時間の長さを比較する。「時間」に対応する欄に示されるように、前者の場合の方がセンシング精度が高いので、継続時間は短く、後者の場合の方がセンシング精度が低いので、継続時間は長い。

　フィルタ７１が850nmフィルタ７１Ａの場合とフィルタ７１が940nmフィルタ７１Ｂの場合とにおいて、タッチ判定の第２条件における高さを比較する。「高さ」に対応する欄に示されるように、前者の場合の方がセンシング精度が高いので、高さが低く、後者の場合の方がセンシング精度が低いので、高さが高い。

　このようにフィルタ７１が850nmフィルタ７１Ａの場合とフィルタ７１が940nmフィルタ７１Ｂの場合とで、操作認識方法として適用可能なタッチ認識方法が異なる。これらの場合のセンシング精度に違いに対応して、タッチ判定の第１条件乃至第３条件における当たり判定の広さ、距離（高さ）、及び、継続時間が異なることで、タッチ操作に対する誤認識が低減される。

　図８において、「850nm」、「940nm」、及び、「可視光」のそれぞれの行において、最上行の項目である「操作方法」に対応する欄には、適用可能又は適用不可の操作方法の種類が示されている。これによれば、フィルタ７１が850nmフィルタ７１Ａの場合、センシング精度が高いので、ユーザ操作の操作方法として、タッチ操作以外にジェスチャ操作（指差し操作により例示）、及び、ホバー操作のいずれでも適用可能である。従って、操作認識方法として、タッチ操作、ジェスチャ操作、及び、ホバー操作のうちの任意の操作方法に対応する操作認識方法が適用可能である。

　フィルタ７１が940nmフィルタ７１Ｂの場合、センシング精度が低いので、ユーザ操作の操作方法として、ジェスチャ操作、及び、ホバー操作の適用が禁止され、タッチ操作のみが適用可能である。従って、操作認識方法として、タッチ操作に対応する操作認識方法のみが適用可能である。

　フィルタ７１が可視光フィルタ７１Ｃの場合には、ユーザ操作の操作方法として、タッチ操作の適用は禁止され、滞留操作が適用可能である。滞留操作では、ディスプレイ１４上の指定する位置にユーザが指をかざして静止させることで滞留時間の計測が開始される。滞留時間の計測が開始されると、滞留時間の長さが、ディスプレイ１４に表示されたメータにより、又は、所定の表示画像の形態変化によりユーザに提示される。滞留時間が予め決められた閾値以上になると、ユーザが指をかざした位置を指定する操作であることが決定される。フィルタ７１が可視光フィルタ７１Ｃの場合には、操作認識方法として、このような滞留操作に対応する操作認識方法のみが適用可能である。なお、ディスプレイ１４が不透明ディスプレイの場合には、ユーザの指と指の影との位置関係からタッチ判定を行うことできる。従って、操作方法としてタッチ操作が適用可能であってもよく、操作認識方法として、図７に示したようなタッチ認識操作が適用可能であってもよい。

＜第１の実施の形態におけるセンシング方法の最適化の処理手順＞
　図９は、第１の実施の形態の情報処理システム３１が行うセンシング方法の最適化の処理手順を例示したフローチャートである。ステップＳ３１では、最適化処理部８３は、自車両において操作環境の照度を計測する照度計があるか否かを判定する。ステップＳ３１において、肯定された場合、処理はステップＳ３２に進む。ステップＳ３２では、最適化処理部８３は、照度計に照度を計測させ、計測された照度を取得する。処理はステップＳ３２からステップＳ３３に進む。

　ステップＳ３３では、最適化処理部８３は、最適化規則のデータとして記憶部５５のセンシング変更ルール定義部９３に記憶された図１０のテーブルを参照し、ステップＳ３２で取得した照度に基づいて、撮像装置５３のフィルタ７１として適用する最適なフィルタの種類を判定する（センシング方法の最適化）。ステップＳ３３の処理が終了すると、本フローチャートの処理が終了する。

　図１０は、図９のフローチャートにおいて参照される最適化規則のデータであるテーブルを例示した図である。最適化処理部８３は、ステップＳ３３では、図１０の表１のテーブルを参照する。これによれば、照度が100（lx）未満であれば、操作環境は暗く、日光に含まれる赤外光の影響が小さいと考えられるので、フィルタ７１として850nmフィルタ７１Ａを適用することが決定される。照度が100（lx）以上で、かつ、100,100（lx）未満であれば、日光に含まれる赤外光の影響が大きいと考えられるので、フィルタ７１として940nmフィルタ７１Ｂを適用することが決定される。照度100,100（lx）以上であれば、操作環境が明るく、日光に含まれる赤外光の影響が大きすぎると考えれるので、フィルタ７１として可視光フィルタ７１Ｃを適用することが決定される。

　ステップＳ３１において、否定された場合、処理はステップＳ３４に進む。ステップＳ３４では、最適化処理部８３は、環境情報における自車両の現在地及び現在時刻（日時）に基づいて、自車両に対する太陽の方向を取得（算出）する。処理はステップＳ３４からステップＳ３５に進む。ステップＳ３５では、最適化処理部８３は、自車両に対する太陽の方向と操作空間（又はディスプレイ１４）の自車両での位置とに基づいて、操作空間に対する太陽の角度を取得（算出）する。処理はステップＳ３５からステップＳ３６に進む。ステップＳ３６では、最適化処理部８３は、環境情報における気象に基づいて、天気が晴れであるか否かを判定する。

　ステップＳ３６において、否定された場合、処理はステップＳ３７に進む。ステップＳ３７では、最適化処理部８３は、図１０の表２のテーブルを参照する。これによれば、時刻が11時以後で、かつ、14時より前であれば、車室１１に日光が差し込み難く、日光に含まれる赤外光の影響が小さいと考えられるので、フィルタ７１として850nmフィルタ７１Ａを適用することが決定される。時刻が14時以後で、かつ、16時より前であれば、車室１１に日光が差し込むようになり、日光に含まれる赤外光の影響が大きくなると考えられるので、フィルタ７１として940nmフィルタ７１Ｂを適用することが決定される。時刻が16時以降で、かつ、日の入り前の時刻であれば、太陽の位置が低くなることから、車室１１に日光が差し込みやすくなる。ただし、天気が晴れではなく、曇りや雨等であることを考慮すると、日光に含まれる赤外光の影響が16時以前と変化しないと考えられるので、フィルタ７１として940nmフィルタ７１Ｂを適用することが決定される。日の入り後の時刻で、かつ、午前の11時より前であれば、日光に含まれる赤外光の影響がほぼ無いと考えられるので、フィルタ７１として850nmフィルタ７１Ａを適用することが決定される。ステップＳ３７で、最適化処理部８３がフィルタ７１として適用する最適なフィルタの種類を判定すると、本フローチャートの処理が終了する。

　ステップＳ３６において、肯定された場合、処理はステップＳ３８に進む。なお、ステップＳ３５において、操作空間に対する太陽の角度を取得（算出）した結果、操作空間に日光が差し込まない場合には、天気が晴れの場合でもステップＳ３６において否定されるようにしてもよい。

　ステップＳ３８では、最適化処理部８３は、図１０の表３のテーブルを参照する。これによれば、時刻が11時以後で、かつ、14時より前であれば、車室１１に日光が差し込み難く、日光に含まれる赤外光の影響が小さいと考えられるので、フィルタ７１として850nmフィルタ７１Ａを配置することが決定される。時刻が14時以後で、かつ、16時より前であれば、車室１１に日光が差し込むようになり、日光に含まれる赤外光の影響が大きくなると考えられるので、フィルタ７１として940nmフィルタ７１Ｂを適用することが決定される。時刻が16時以降で、かつ、日の入り前の時刻であれば、太陽の位置が低くなることから、車室１１に日光が差し込みやすく、天気が晴れであることを考慮すると日光に含まれる赤外光の影響が大きいと考えられる。そのため、フィルタ７１として可視光フィルタ７１Ｃを適用することが決定される。日の入り後の時刻で、かつ、11時より前であれば、日光に含まれる赤外光の影響がほぼ無いと考えられるので、フィルタ７１として850nmフィルタ７１Ａを適用することが決定される。ステップＳ３８で、最適化処理部８３がフィルタ７１として最適なフィルタの種類を判定すると、本フローチャートの処理が終了する。

　図９のフローチャートに基づくセンシング方法の最適化によれば、外界から操作空間への赤外光の光量の変化に起因して、空間情報のセンシング精度が低下するという不具合が抑止される。これによって、ユーザ操作の誤認識等が抑止されるので、操作環境によらずユーザが快適に操作を行うことができる。

＜環境変化を予測したセンシング方法の最適化＞
　センシング方法の最適化の他の例として、環境変化を予測したセンシング方法について説明する。最適化処理部８３は、カーナビ情報に基づいて現在時刻から所定の予測時間T[S]が経過した時刻までの操作環境（操作環境の変化）を予測し、その予測の結果に基づいて、現在時刻におけるセンシング方法を最適化してもよい。この場合、ディスプレイ１４に表示されるコンテンツの種類に応じて予測時間Tが以下のよう決定される。

　図１１は、ディスプレイ１４に表示されるコンテンツの種類と予測時間との関係を表した図である。図１１において、第１行から第４行までの順に、予測時間Tが、0秒の場合、15分（15×60秒）の場合、60分（60×60秒）の場合、及び、再生時間に依存する場合のそれぞれのコンテンツの例が示されている。予測時間Tが０秒の場合とは、操作環境を予測せず、現在時刻の操作環境（環境情報）のみに基づいてセンシング方法を最適化することを意味する。図１１によれば、予測時間Tが０秒の場合のコンテンツとしては、エアコンや音楽アプリ等の操作系のコンテンツが該当する。予測時間Tが15分の場合のコンテンツとしては、SNSやメールチェック等のコンテンツが該当する。予測時間Tが60分の場合のコンテンツとしては、YouTube（登録商標）等の動画共有サイト、Webサイトの閲覧、ゲーム等のコンテンツが該当する。予測時間Tが再生時間に依存する場合のコンテンツとしては、映画やドラマなどの再生時間が定められているコンテンツが該当する。

　図１２は、操作環境の予測に基づくセンシング方法の最適化の処理手順を例示したフローチャートである。ステップＳ５１では、最適化処理部８３は、整数型の変数iを０に設定する。処理はステップＳ５１からステップＳ５２に進む。ステップＳ５２では、最適化処理部８３は、現在時刻Tcに対して、Δt×iを加算して、i番目の予測時刻Ti（＝Tc＋Δt×i）を算出する。Δtは、予め決めれた時間であり、少なくとも予測時間Tよりも短い時間である。処理はステップＳ５２からステップＳ５３に進む。

　ステップＳ５３では、最適化処理部８３は、予測時刻Tiにおける走行位置及び走行方向を取得する。予測時刻Tiにおける走行位置及び走行方向は、ナビ情報５１により得られる目的地までの移動ルートの情報を用いて求めることができる。処理はステップＳ５３からステップＳ５４に進む。ステップＳ５４では、最適化処理部８３は、予測時刻Tiにおける走行位置での気象情報（天気）を取得する。処理はステップＳ５４からステップＳ５５に進む。

　ステップＳ５５では、最適化処理部８３は、予測時刻Tiにおける走行位置の周辺マップを取得する。周辺マップはナビ情報５１から取得することができる。処理はステップＳ５５からステップＳ５６に進む。ステップＳ５６では、最適化処理部８３は、ステップＳ５３乃至ステップＳ５５により取得した予測時刻Tiにおける環境情報である、走行位置（場所）、走行方向、天気、周辺マップに基づいて、予測時刻Tiにおける操作環境に対して最適なセンシング方法及び操作認識方法を決定（予測）する。ここで、予測時刻Tiにおける操作環境に対して最適なセンシング方法及び操作認識方法を決定する処理は、例えば、図９のフローチャートで説明した場合と同様に行われる。例えば、センシング方法を最適化規則にしたがって最適化することで決定し、操作認識方法を任意の要求に基づいて決定する。ただし、これに限らない。なお、上述のように空間情報をセンシングする処理のアルゴリズムとユーザ操作を認識する処理のアルゴリズムとからなるアルゴリズムをセンシングアルゴリズムということとする。センシングアルゴリズムは、センシング方法及び操作認識方法の組合せを表す用語としても用いることとする。これによれば、ステップＳ５６では、最適化処理部８３は、予測時刻Tiにおける操作環境に対して最適なセンシングアルゴリズムを決定（予測）する。処理はステップＳ５６からステップＳ５７に進む。

　ステップＳ５７では、最適化処理部８３は、変数iをインクリメントする。処理はステップＳ５７からステップＳ５８に進む。ステップＳ５８では、最適化処理部８３は、予測時間Tが時間Δt×iよりも小さいか否かを判定する。ステップＳ５８において、否定された場合、処理はステップＳ５２に戻り、ステップＳ５２乃至ステップＳ５８の処理を繰り返す。ステップＳ５８において、肯定された場合には、処理はステップＳ５９に進む。

　ステップＳ５９では、最適化処理部８３は、ステップＳ５６で予測（決定）したi個のセンシングアルゴリズムに基づいて、現在時刻において適用する最終的なセンシングアルゴリズムとそのセンシングアルゴリズムに対応した描画方法とを決定する。ステップＳ５９の処理が終了すると、本フローチャートの処理が終了する。

　図１３は、操作環境の予測に基づくセンシング方法の最適化の処理手順において取得又は決定（予測）される情報を例示した図である。図１３において、行方向には、現在時刻Tcから最終の予測時刻Tc＋Tまで時間Δtずつ増加する予測時刻Ti（＝Tc＋Δt×i、i＝0,1,2,・・・）が示される。列方向には、ステップＳ５２乃至ステップＳ５６により取得又は予測される各予測時刻Tiにおける情報が示されている。これによれば、各予測時刻Tiにおいて、環境情報として、予測時刻Tiにおいて走行している場所、予測時刻Tiにおける場所の天気、予測時刻Tiにおける走行方向、予測時刻Tiおける場所の周辺マップの情報が取得される。これらの各予測時刻Tiにおける環境情報に基づいて、各予測時刻Tiにおける操作環境に対して最適なセンシングアルゴリズムが予測される。このような予測結果に基づいて、ステップＳ５９では、現在時刻Tcにおいて適用される最適なセンシングアルゴリズムが決定される。

　図１４は、操作環境の予測に基づくセンシング方法の最適化における最終的な処理手順を例示したフローチャートである。ステップＳ７１では、最適化処理部８３は、予測した各予測時刻Ti（i＝0,1,2,・・・）における最適なセンシングアルゴリズムのうち、フィルタ７１が可視光フィルタ７１Ｃであるセンシングアルゴリズムが一度でもあるか否かを判定する。ステップＳ７１において、肯定された場合、処理はステップＳ７２に進む。ステップＳ７２では、最適化処理部８３は、現在時刻Tcで適用する最適なセンシングアルゴリズムを、フィルタ７１が可視光フィルタ７１Ｃであるセンシングアルゴリズムに決定する。処理はステップＳ７２からステップＳ７６に進む。

　ステップＳ７１において、否定された場合、処理はステップＳ７３に進む。ステップＳ７３では、最適化処理部８３は、予測した各予測時刻Ti（i＝0,1,2,・・・）における最適なセンシングアルゴリズムのうち、フィルタ７１が940nmフィルタ７１Ｂであるセンシングアルゴリズムが一度でもあるか否かを判定する。ステップＳ７３において、肯定された場合、処理はステップＳ７４に進む。ステップＳ７４では、最適化処理部８３は、現在時刻Tcで適用する最適なセンシングアルゴリズムを、フィルタ７１が940nmフィルタ７１Ｂであるセンシングアルゴリズムに決定する。処理はステップＳ７４からステップＳ７６に進む。ステップＳ７３において、否定された場合、処理はステップＳ７５に進む。ステップＳ７５では、最適化処理部８３は、現在時刻Tcで適用する最適なセンシングアルゴリズムを、フィルタ７１が850nmフィルタ７１Ａであるセンシングアルゴリズムに決定する。処理はステップＳ７５からステップＳ７６に進む。

　ステップＳ７６では、最適化処理部８３は、予測時間Tが日の入りの前後をまたぐか否かを判定する。即ち、現在時刻Tcと、現在時刻Tcから予測時間Tが経過した時刻との間に日の入りの時刻が挟まれるか否かが判定される。ステップＳ７６において、肯定された場合、ステップＳ７７に進む。ステップＳ７７では、最適化処理部８３は、日の入り後は、最適なセンシングアルゴリズムを、フィルタ７１として850nmフィルタ７１Ａが適用されたセンシングアルゴリズムに変更することとする。これにより、センシング精度の向上が図られる。ステップＳ７７の処理の終了後、本フローチャートの処理が終了する。ステップＳ７６において、否定された場合、本フローチャートの処理が終了する。

　以上の図１１乃至図１４で説明した、操作環境の予測に基づくセンシング方法の最適化によれば、予測時間Tが経過するまでの間に、操作環境に日光が最も強く当たる場合を想定して現在時刻Tcでの最適なセンシングアルゴリズムが決定されるので、少なくとも予測時間Tが経過する間は操作不能となる事態が未然に防止される。

＜操作方法変更時のユーザへの通知＞
　図１５は、操作方法変更時の通知例を説明する図である。図１５において、（ａ）音声、（ｂ）文字・アイコン、（ｃ）GUI表現と表された部分は、それぞれ、センシングアルゴリズムの変更に伴い操作方法が変更されたことをユーザに通知する３つの形態を表す。（ａ）音声は、操作方法が変更されたことを音声によりユーザに通知する形態である。この場合、例えば操作方法がホバー操作に変更されたとすると、「ホバーモードに切り替わりました」等の音声が不図示のスピーカなどから出力される。（ｂ）文字・アイコンは、ディスプレイ１４に表示される出力画像１４１において、操作方法が変更されたことを文字やアイコン等の画像で表示する形態である。この場合、例えば出力画像１４１において、操作方法の種類を表すアイコンとして、ホバー操作を表すアイコン１４２とタッチ操作を表すアイコン１４３が描画される。これらのアイコン１４２及び１４３は、有効な操作方法である場合と無効な操作方法である場合とで描画形態（色や明るさ等）が異なる。操作方法が変更された場合にアイコンの描画形態が変化することで、ユーザに操作方法の変更が通知される。または、無効から有効に切り替わった操作方法に対応するアイコンを点滅させる等、描画形態によってユーザに操作方法の変更が通知されるようにしてもよい。アイコンではなく文字により、操作方法が変更された旨が表示されるようにしてもよい。（ｃ）GUI表現は、操作方法が変更されたことをGUIによりユーザに通知する形態である。この場合、例えば、出力画像１４１においてユーザがタッチ操作又はホバー操作により指定された領域に円が描画される。ホバー操作が可能な場合にはユーザがディスプレイ１４に触れていないときも円が表示され、かつ、ユーザの指とディスプレイ１４との距離に応じて円の大きさが変更される。

　このような操作方法変更時の通知によれば、操作方法が変更されたことをユーザが気付かずに操作を行えなくなるという不測の事態が未然に防止される。

＜第２の実施の形態の情報処理システム＞
　第２の実施の形態の情報処理システムでは、操作環境に影響（変化）を招く様々な環境要因のうち、操作空間（ユーザ）の周囲（自車両の外部周囲）に他者がいること（他者がいるか否か）を環境要因として着目する。これに起因して、指差し操作等により他者に不快感を与える可能性がある。このような不具合を抑止するため、操作方法を優先的に最適化する。

　図１６は、第２の実施の形態の情報処理システムの構成例を示したブロック図である。なお、図中、図２の情報処理システム３１と対応する部分には、同一符号を付してあり、その詳細な説明を適宜省略する。

　図１６の第２の実施の形態の情報処理システム１５１は、ナビ情報５１、GPS受信機５２、撮像装置５３、処理部５４、記憶部５５、映像提示部５６、及び、外部環境取得センサ１６１を有する。したがって、図１６の情報処理システム１５１は、ナビ情報５１、GPS受信機５２、撮像装置５３、処理部５４、記憶部５５、及び、映像提示部５６を有する点で、図２の情報処理システム３１と共通する。ただし、図１６の情報処理システム１５１は、外部環境取得センサ１６１を新たに有する点で、図２の情報処理システム３１と相違する。

　外部環境取得センサ１６１は、操作環境の一部として自車両の外部周囲の環境の情報を取得するセンサである。具体的には、外部環境取得センサ１６１は、自車両の外部に向けて自車両の外部周囲を撮影するカメラ（撮像装置）である。外部環境取得センサ１６１で取得された外部環境情報（撮像画像）は、環境情報処理部８２に供給される。

　図１７は、第２の実施の形態の情報処理システム１５１が行う処理の概略手順を例示したフローチャートである。ステップＳ９１では、環境情報処理部８２は、環境情報を取得する。環境情報は、GPS受信機５２からのGPS情報、通信部８１を介して外部サーバ装置からの気象情報、及び、外部環境取得センサ１６１からの外部環境情報を含む。処理はステップＳ９１からステップＳ９２に進む。

　ステップＳ９２では、最適化処理部８３は、ステップＳ９１で取得された環境情報、及び、最適化規則（センシング変更ルール定義部９３のデータが示す最適化規則）に基づいて、操作方法を最適化する。最適化処理部８３は、センシング方法、操作認識方法、及び、描画方法を任意の要求（最適化規則による要求も含む）に基づいて決定する。

　図１８は、第２の実施の形態の情報処理システム１５１が操作方法を最適化する際の最適化規則を説明する図である。図１８には、着目する環境要因と、環境要因に基づいて操作方法を最適化する際の最適化規則である最適化方法と、操作方法の最適化による効果が示されている。これによれば、操作空間の周囲である自車両の外部周囲に人がいること（人がいるか否か）を環境要因として着目する。操作方法の最適化においては、最適化処理部８３は、自車両の外部周囲に人がいる場合、GPS情報から現在地が属する文化圏を判定し、文化圏に応じて操作方法を変更（決定）する。この場合の効果としては自車両の外部周囲の人を不快にしないことが挙げられる。

　例えば、最適化処理部８３は、ディスプレイ１４の向こう側（裏面側）に人が存在しない場合には、操作方法としてタッチ操作、ジェスチャ操作、又は、ホバー操作が適用されるとする。ディスプレイ１４の裏面側に人が存在しない場合の操作方法は、ディスプレイ１４の裏面側に人が存在するか否かを考慮しない第１の実施の形態の情報処理システム３１と同様にして決定される場合であってよい。この場合に、決定操作及び選択操作は、例えば、ディスプレイ１４に表示された出力画像の所定位置を人指し指等でタッチ操作、ジェスチャ操作、又は、ホバー操作することで行われる。ディスプレイ１４が窓ガラスのような透明ディスプレイの場合、ディスプレイ１４の裏面側に人が存在するときには、人指し指等によるユーザ操作は、ディスプレイ１４の裏面側の人に不快感を与える可能性がある。ユーザとしてもこのような事態は望ましくない。そのため、最適化処理部８３は、ディスプレイ１４の裏面側に人が存在する場合と人が存在しない場合とで操作方法を変更する。最適化処理部８３は、操作方法の変更に伴い、描画方法も変更する。最適化処理部８３は、決定操作に関しては、例えば、ディスプレイ１４の裏面側に人が存在する場合には、操作方法としてジェスチャ操作を適用し、文化圏に応じて適切なジェスチャを決定操作とする。

　図１９は、第２の実施の形態の情報処理システム１５１における決定操作に関する操作方法を説明する図である。図１９には、日本とアメリカ合衆国とでの決定操作が例示されている。これによれば、最適化処理部８３は、ディスプレイ１４の裏面側に人が存在する場合には、自車両の現在地が日本であれば、図１９の左側に示されたようにサムズアップのジェスチャ操作を決定操作とする。自車両の現在地がアメリカ合衆国であれば、図１９の右側に示されたOKサインのジェスチャ操作を決定操作とする。

　最適化処理部８３は、選択操作に関しては、例えば、ディスプレイ１４の裏面側に人が存在する場合には、操作方法として、タッチ操作、ジェスチャ操作、又は、ホバー操作を適用し、スワイプを選択操作とする。なお、本実施の形態では、決定操作の操作方法がジェスチャ操作であるので、選択操作の操作方法もジェスチャ操作とする。

　図２０は、第２の実施の形態の情報処理システム１５１における選択操作に関する操作方法を説明する図である。図２０には、ディスプレイ１４の裏面側に人が存在する場合と人が存在しない場合の選択操作が例示されている。これによれば、最適化処理部８３は、ディスプレイ１４の裏面側に人が存在しない場合には、例えば、図２０の左側に示すように、ディスプレイ１４の選択位置を指し示すジェスチャ操作における指差し操作を選択操作とする。なお、選択操作を行うための出力画像の描画方法としては、選択可能なメニューアイコンの一覧を描画する描画方法が適用される。

　ディスプレイ１４の裏面側に人が存在する場合には、最適化処理部８３は、例えば、図２０の右側に示すうように、ジェスチャ操作におけるスワイプを選択操作とする。スワイプを選択操作とする場合、最適化処理部８３は、スワイプ操作用の選択画像を描画する描画方法を、出力情報作成部８５における描画方法として適用する。スワイプ操作用の選択画像では、例えば、複数の選択可能なメニューアイコンが、予め決めれた選択位置にスワイプによりスクロールされて描画される。この場合に、選択位置に停止したメニューアイコンが選択されたメニューアイコンとなる。また、最適化処理部８３は、出力情報作成部８５における描画方法として、スワイプ操作用の選択画像がディスプレイ１４の裏面側の人と重ならない位置に描画されるような描画方法を適用してもよい。

　図２１は、第２の実施の形態の情報処理システム１５１が行う操作方法の最適化の処理手順を例示したフローチャートである。ステップＳ１１１では、最適化処理部８３は、外部環境取得センサ１６１のカメラから外部環境情報として自車両の外部周囲を撮影した画像を取得する。処理はステップＳ１１１からステップＳ１１２に進む。ステップＳ１１２では、最適化処理部８３は、ステップＳ１１１で取得した画像の中から人物の画像を検出（認識）する人認識処理を行う。処理はステップＳ１１２からステップＳ１１３に進む。　ステップＳ１１３では、最適化処理部８３は、ステップＳ１１２の人認識処理の結果に基づいて、ディスプレイ１４の裏面側に人が存在したか否かを判定する。なお、最適化処理部８３は、ディスプレイ１４の裏面側に限定しない範囲、例えば自車両の外部周囲に人が存在するか否かを判定してもよい。

　ステップＳ１１３において、否定された場合には、本フローチャーの処理は終了する。ステップＳ１１３において、肯定された場合には、処理はステップＳ１１４に進む。ステップＳ１１４では、最適化処理部８３は、GPS受信機５２からGPS情報を取得する。処理はステップＳ１１４からステップＳ１１５に進む。ステップＳ１１５では、最適化処理部８３は、ステップＳ１１４で取得したGPS情報に基づいて自車両の現在地が属する文化圏を特定する。処理はステップＳ１１５からステップＳ１１６に進む。

　ステップＳ１１６では、最適化処理部８３は、ステップ１１５で特定した文化圏と最適化規則（記憶部５５のセンシング変更ルール定義部９３のデータが示す最適化規則）とに基づいて、操作方法を最適化する。即ち、最適化処理部８３は、特定した文化圏に対して適切な決定操作及び選択操作となる操作方法を最適な操作方法として決定する。操作方法が最適化されると、最適化処理部８３は、最適化された操作方法に対して適用可能な種類内で最適なセンシング方法及び操作認識方法（最適なセンシングアルゴリズム）を決定する。最適化処理部８３は、操作方法の変更に伴い、最適化規則（記憶部５５の描画変更ルール定義部９５のデータが示す最適化規則）に基づいて、出力画像の描画方法を変更する。ステップＳ１１６の処理が終了すると、本フローチャートの処理は終了する。

　図２２は、第２の実施の形態の情報処理システム１５１が操作方法の最適化に用いる最適化規則に関するデータを例示した図である。図２２によれば、最適化処理部８３は、ディスプレイ１４の裏面側に人が存在しない場合には、選択操作を指差し操作により行い、決定操作を人指し指等によるタッチ操作により行う操作方法を最適な操作方法として適用することとする。

　最適化処理部８３は、ディスプレイ１４の裏面側に人が存在する場合においては、自車両の現在地が属する文化圏（地域）に対応する選択操作及び決定操作となる操作方法を最適な操作方法として適用する。例えば、車両の現在位置が日本である場合には、最適化処理部８３は、最適な操作方法として、選択操作を２本指によるスワイプにより行い、決定操作をサムズアップにより行うジェスチャ操作を最適な操作方法として適用する。自車両の現在地がアメリカ合衆国である場合には、最適化処理部８３は、選択操作を２本指によるスワイプにより行い、決定操作をOKサインにより行うジェスチャ操作を最適な操作方法として適用する。自車両の現在地がフランス共和国である場合には、最適化処理部８３は、選択操作を４本指によるスワイプにより行い、決定操作をサムズアップにより行うジェスチャ操作を最適な操作方法として適用する。自車両の現在地が中東地域である場合には、最適化処理部８３は、選択操作を４本指によるスワイプにより行い、決定操作をOKサインにより行うジェスチャ操作を最適な操作方法として適用する。

　第２の実施の形態の情報処理システム１５１によれば、操作空間の周囲（自車両の周囲）に人がいることに起因して、指差し操作等のユーザ操作が他者に不快感を与えるという不具合が抑止される。これによって、ユーザが他者の存在を気にすることなく快適に操作を行うことができる。

＜第３の実施の形態の情報処理システム＞
　情報処理システムの第３の実施の形態では、操作環境に影響（変化）を招く様々な環境要因のうち、操作環境の気温が低いこと（気温が変化すること）を環境要因として着目する。これに起因して、ユーザの手が冷える（ユーザが不快）等のユーザが不快に感じる可能性がある。このような不具合を抑止するため、操作方法を優先的に最適化する。

　第３の実施の形態である情報処理システムは、図１６の情報処理システム１５１と構成が同じであるので、構成についての説明は省略し、図１６の情報処理システム１５１と同一符号を用いて第３の実施の形態の情報処理システムについて説明する。

　第３の実施の形態の情報処理システム１５１では、外部環境取得センサ１６１は、自車両の外部周囲の気温（温度）を取得するセンサである。外部環境取得センサ１６１で取得された気温は外部環境情報として環境情報処理部８２に供給される。なお、外部環境取得センサ１６１は、自車両の外部周囲の気温ではなく、自車両の内部の気温、ディスプレイ１４である窓ガラスの温度等を取得する場合であってもよい。

　図２３は、第３の実施の形態の情報処理システム１５１が操作環境に対して最適なユーザ操作となるように操作方法を最適化する際の最適化規則を説明する図である。図２３には、着目する環境要因と、環境要因に基づいて操作方法を最適化する際の最適化規則である最適化方法と、操作方法の最適化による効果が示されている。これによれば、気温が低い（所定の温度T度以下である）ことを環境要因として着目する。操作方法の最適化においては、最適化処理部８３は、操作環境として気温が低いという環境要因を考慮し、操作方法として、ホバー操作を適用する。気温が低くない（温度T度より高い）場合に、操作方法としてタッチ操作が適用されるときには、気温が低くなると、操作方法がタッチ操作からホバー操作に変更される。この場合の効果としては視認性が向上し、かつ、手が冷えないことが挙げられる。

　例えば、気温が低下すると、窓ガラスが冷たくなり、窓ガラスをディスプレイ１４とする場合に、ディスプレイ１４を触るタッチ操作が億劫となる。また、ディスプレイ１４とした窓ガラスが結露する場合があり、タッチ操作すると、部分的に曇りがとれることで出力画像の視認性が下がる可能性がある。そのため、気温が低いときはディスプレイ１４を触らないホバー操作を操作方法として適用する。なお、気温が低い場合に、操作方法としてジェスチャ操作を適用してもよい。本実施の形態において、ディスプレイ１４の画面に結露又は汚れが生じているか否かを外部環境取得センサ１６１により検出し、結露又は汚れが生じている場合に、操作方法をタッチ操作からホバー操作に変更してもよい。

　図２４は、第３の実施の形態の情報処理システムが最適化する操作方法を説明する図である。図２４において、左側の図は、気温が低くない（温度T度より高い）場合においてディスプレイ１４に表示された出力画像１８１に対する操作方法としてタッチ操作が適用される場合を表す。右側の図は、気温が低い（温度T度以下である）場合において出力画像１８１に対する操作方法がホバー操作が適用されることを表す。

　図２５は、第３の実施の形態の情報処理システム１５１が行う操作方法の最適化の処理手順を例示したフローチャートである。なお、本フローチャートは、外部環境取得センサ１６１が、自車両の外部周囲の気温（温度）を取得するセンサを有していない場合を示す。ステップＳ１３１では、最適化処理部８３は、環境情報処理部８２からGPS情報を取得する。処理はステップＳ１３１からステップＳ１３２に進む。ステップＳ１３２では、最適化処理部８３は、ステップＳ１３１で取得したGPS情報に基づいて、自車両の現在地における気象情報を環境情報処理部８２から取得する。処理はステップＳ１３２からステップＳ１３３に進む。

　ステップＳ１３３では、最適化処理部８３は、ステップＳ１３２で取得した気象情報に基づいて、現在地の気温が所定の温度T度以下であるか否かを判定する。なお、外部環境取得センサ１６１が、自車両の外部周囲の気温（温度）を取得するセンサを有している場合には、最適化処理部８３は外部環境取得センサ１６１から取得した気温に基づいて、現在地の気温が所定の温度T度以下であるか否かを判定してもよい。ステップＳ１３３において、否定された場合には、本フローチャートの処理は終了する。ステップＳ１３３において、肯定された場合には、処理はステップＳ１３４に進む。ステップＳ１３４では、最適化処理部８３は、操作方法をタッチ操作からホバー操作に変更する。ステップＳ１３４の処理が終了すると、本フローチャートの処理は終了する。

　第３の実施の形態の情報処理システム１５１によれば、操作環境の気温が低いことに起因して、タッチ操作によるディスプレイ１４の視認性が低下し、又は、ユーザの手が冷える（ユーザが不快）という不具合が抑止される。これによって、操作環境によらずユーザが快適に操作を行うことができる。

＜第４の実施の形態の情報処理システム＞
　第４の実施の形態の情報処理システムでは、操作環境に影響（変化）を招く様々な環境要因のうち、操作空間に日光が差し込むこと（日光が差し込むか否か）を環境要因として着目する。これに起因して、ユーザが日焼けする可能性や、ユーザが暑くて不快と感じる可能性がある。このような不具合を抑止するため、操作方法を優先的に最適化する。

　第４の実施の形態の情報処理システムは、図１の情報処理システム３１と構成が同じであるので、構成についての説明は省略し、図２の情報処理システム３１と同一符号を用いて第４の実施の形態の情報処理システムについて説明する。

　図２６は、第４の実施の形態の情報処理システム３１が操作環境に対して最適なユーザ操作となるように操作方法を最適化する際の最適化規則を説明する図である。図２６には、着目する環境要因と、環境要因に基づいて操作方法を最適化する際の最適化規則である最適化方法と、操作方法の最適化による効果が示されている。これによれば、日光が窓ガラスであるディスプレイ１４から差し込んでいることを環境要因として着目する。操作方法の最適化においては、最適化処理部８３は、操作環境として日光が差し込んでいるという環境要因を考慮し、操作方法として、ジェスチャ操作（指差し操作）又はホバー操作を適用する。日光が差し込んでいない場合に、操作方法としてタッチ操作が適用されるときには、日光が差し込むと、ユーザ操作の操作方法がタッチ操作からジェスチャ操作又はホバー操作に変更される。この場合の効果としては日焼け対策となり、かつ、ユーザの手が暑くならないことが挙げられる。

　例えば、窓ガラスをディスプレイ１４とする場合、日光が窓ガラスから差し込んでいるときは、タッチ操作では、日光を腕や手に浴びてしまい、日焼けや高熱が生じる可能性がある。そのため、日光が差し込む場合には、日光がユーザの腕や手に当たらないようにディスプレイ１４から離れた、日光が当たらない領域で操作することができるジェスチャ操作又はホバー操作を操作方法として適用する。

　図２７は、第４の実施の形態の情報処理システム３１が最適化する操作方法を説明する図である。図２７によれば、図２７の（ａ）のように、日光が差し込まない場合のディスプレイ１４の出力画像１８１に対する操作方法としてタッチ操作が適用されるとする。これに対して、日光が差し込む場合、図２７の（ｂ）のように、ディスプレイ１４の出力画像１８１に対するユーザ操作の操作方法が、例えばジェスチャ操作（指差し操作）又はホバー操作に変更される。

　図２８は、第４の実施の形態の情報処理システム３１が行う操作方法の最適化の処理手順を例示したフローチャートである。ステップＳ１５１では、最適化処理部８３は、環境情報処理部８２からGPS情報を取得する。処理はステップＳ１５１からステップＳ１５２に進む。ステップＳ１５２では、最適化処理部８３は、ステップＳ１５１で取得したGPS情報に基づいて、太陽の位置を取得する。処理はステップＳ１５２からステップＳ１５３に進む。ステップＳ１５３では、最適化処理部８３は、ステップＳ１５２で取得した太陽の位置に基づいて、日光が窓ガラス（ディスプレイ１４）から差し込むか否かを判定する。ステップＳ１５３において、否定された場合には、本フローチャートの処理は終了する。

　ステップＳ１５３において、肯定された場合には、処理はステップＳ１５４に進む。ステップＳ１５４では、最適化処理部８３は、太陽光が当たる領域を算出する。処理はステップＳ１５４からステップＳ１５５に進む。ステップＳ１５５では、最適化処理部８３は、日光が当たる領域以外をセンシングエリアとして設定する。センシングエリアとは、ユーザ操作を有効に検出する領域を表す。処理はステップＳ１５５からステップＳ１５６に進む。なお、日光が当たらない領域をセンシングエリアとすることで、ユーザは日光が当たらない領域で操作を行うことができる。

　ステップＳ１５６では、最適化処理部８３は、操作方法をタッチ操作からホバー操作（又はジェスチャ操作）に変更する。ステップＳ１５６の処理が終了すると、本フローチャートの処理は終了する。

　第４の実施の形態の情報処理システム３１によれば、操作空間に日光が差し込むことことに起因して、ユーザが日焼けすることやユーザが暑くなることという不具合が抑止される。これによって、操作環境によらずユーザが快適に操作を行うことができる。

＜第５の実施の形態の情報処理システム＞
　第５の実施の形態の情報処理システムでは、操作環境に影響（変化）を招く様々な環境要因のうち、外界から操作空間への赤外光の光量（光量の変化）を環境要因として着目する。これに起因して、空間情報のセンシング精度の低下とする可能性がある。このような不具合を抑止するため、センシング方法を優先的に最適化する。第５の実施の形態の情報処理システムは、外界から操作空間への赤外光の光量（光量の変化）を環境要因として着目する点、及び、センシング方法を優先的に最適化する点で、第１の実施の形態の情報処理システムと共通する。ただし、第５の実施の形態の情報処理システムは、外界に含まれる赤外光の光量（光量の変化）を認識する際に考慮する対象が第１の実施の形態と相違する。

　第５の実施の形態の情報処理システムは、図１６の情報処理システム１５１と構成が同じであるので、構成についての説明は省略し、図１６の情報処理システム１５１と同一符号を用いて第５の実施の形態の情報処理システムについて説明する。

　第５の実施の形態の情報処理システム１５１では、外部環境取得センサ１６１は、例えば、自車両の外部の赤外光（近赤外光）のパワー（光量）を計測するパワーメータである。外部環境取得センサ１６１で取得された赤外光の光量は外部環境情報として環境情報処理部８２に供給される。

　ただし、第５の実施の形態の情報処理システム１５１が、外部環境取得センサ１６１として、パワーメータを有していない場合も想定する。第１の実施の形態の情報処理システム３１では、車両の現在地の天気が晴れの場合には、図１０の表3のテーブルを用いて、フィルタ７１の種類を特定した。このとき、立体駐車場、トンネル、森の中等、日光が当たり難い場所である場合には、赤外光の影響を受け難く、フィルタ７１として850nmフィルタ７１Ａを適用することができる。日光が当たり難い場所であるか否かは、最適化処理部８３が、GPS情報とマップ情報とを照合して判定することができる。これによって、センシング精度を上げることができる。一方、トンネルの中であっても、古いトンネルの場合、ハロゲンランプなどからの赤外光を含む照明光が使用される場合がある。その場合には、天気が晴れの場合と同様に、図１０の表3のテーブルを用いてフィルタ７１の種類を特定することが望ましい。なお、赤外光を含む照明光が使用されている場合、図１０の表3のテーブル以外のテーブル（規則）に従ってフィルタ７１の種類が特定される場合であってもよい。

　これに対して、情報処理システム１５１が外部環境取得センサ１６１としてパワーメータを有しているような場合には、現在地がどのような場所であるかに関係なく、赤外光の有無を直接的に検出することができる。赤外光が検出されない場合（赤外光の光量（パワー）が所定の閾値以下の場合）には、フィルタ７１として850nmフィルタ７１Ａを適用することができる。これによって、センシング精度を上げることができる。赤外光が検出された場合（赤外光の光量が所定の閾値より大きい場合）には、天気が晴れの場合と同様に、図１０の表3のテーブルを用いて、フィルタ７１の種類を特定することが望ましい。なお、赤外光が検出された場合、図１０の表3のテーブル以外のテーブル（ルール）に従ってフィルタ７１の種類が特定される場合であってもよい。

　図２９は、第５の実施の形態の情報処理システム１５１が行うセンシング方法の最適化の処理手順を例示したフローチャートである。ステップＳ１７１では、最適化処理部８３は、外部環境取得センサ１６１として、自車両の外部の赤外光の光量（パワー）を計測するパワーメータを有しているか否かを判定する。ステップＳ１７１において、肯定された場合には、処理はステップＳ１７２に進む。

　ステップＳ１７２では、外部環境取得センサ１６１で赤外光の光量を計測し、その結果を最適化処理部８３が取得する。処理はステップＳ１７２からステップＳ１７３に進む。ステップＳ１７３では、最適化処理部８３は、赤外光が検出されたか否か（赤外光の光量が所定の閾値より大きいか否か）を判定する。

　ステップＳ１７３において、肯定された場合には、処理はステップＳ１７４に進む。ステップＳ１７４では、最適化処理部８３は、図１０の表3のテーブルを用いてフィルタ７１の種類を判定（決定）する。ステップ１７４の処理が終了すると、本フローチャートの処理は終了する。ステップＳ１７３において、否定された場合には、処理はステップＳ１７５に進む。ステップＳ１７５では、最適化処理部８３は、フィルタ７１として850nmフィルタを適用することを決定する。ステップ１７５の処理が終了すると、本フローチャートの処理が終了する。

　ステップＳ１７１において、否定された場合には、処理はステップＳ１７６に進む。ステップＳ１７６では、最適化処理部８３は、ナビ情報５１（マップ情報）及びGPS情報を取得し、現在地がトンネル内である場合にはトンネル名を取得する。処理はステップＳ１７６からステップＳ１７７に進む。なお、現在地がトンネル内でない場合についての工程については省略する。

　ステップＳ１７７では、最適化処理部８３は、トンネルの築年数を取得し、築年数が浅いか否か（築年数が所定の閾値以下か否か）を判定する。トンネルの築年数は、通信部８１を介してインターネットから取得する場合であってよい。ステップＳ１７７において、肯定された場合には、処理はステップＳ１７８に進む。ステップＳ１７８では、最適化処理部８３は、照明ランプとしてLEDが使用されていると判定し、フィルタ７１として850nmフィルタ７１Ａを適用することを決定する。ステップ１７８の処理が終了すると、本フローチャートの処理が終了する。

　ステップＳ１７７において、否定された場合には、処理はステップＳ１７９に進む。ステップＳ１７９では、最適化処理部８３は、照明ランプとしてハロゲンランプが使用されていると判定し、図１０の表3のテーブルを用いてフィルタ７１の種類を判定（決定）する。ステップ１７９の処理が終了すると、本フローチャートの処理が終了する。

　第５の実施の形態の情報処理システム１５１によれば、外界から操作空間への赤外光の光量の変化に起因して、空間情報のセンシング精度が低下するという不具合が抑止される。これによって、ユーザ操作の誤認識等が抑止されるので、操作環境によらずユーザが快適に操作を行うことができる。

＜撮像装置５３の他の構成例＞
　図３０は、図２（又は図１６）の撮像装置５３の他の構成例を示したブロックである。図３０において、図２（又は図１６）と対応する部分には同一符号を付してあり、詳細な説明を省略する。

　図３０において、撮像装置５３－１、５３－２、及び、５３－３は、図２の撮像装置５３の代わりに設けられる。撮像装置５３－１は、図２の撮像装置５３においてフィルタ７１として850nmフィルタ７１Ａが撮像光学系に配置されている場合と同等のセンシングを行う撮像装置である。撮像装置５３－２は、図２の撮像装置５３においてフィルタ７１として940nmフィルタ７１Ｂが撮像光学系に配置されている場合と同等のセンシングを行う撮像装置である。撮像装置５３－３は、図２の撮像装置５３においてフィルタ７１として可視光フィルタ７１Ｃが撮像光学系に配置されている場合と同等のセンシングを行う撮像装置である。なお、撮像装置５３－１、５３－２、及び、５３－３は、撮像光学系に配置するフィルタの種類を切り替える機構は有していない点で撮像装置５３と相違し、撮像装置５３－３は、赤外光を発光する発光素子７５を有していない点で、撮像装置５３と相違する。

　撮像装置５３－１、５３－２、及び、５３－３は、それぞれ、処理部５４の最適化処理部８３によりセンシングを行うか否かが制御される。撮像装置５３－１、５３－２、及び、５３－３がセンシングして得られた空間情報は、処理部５４のセンサ情報処理部８４に供給される。

　これによれば、図３０の最適化処理部８３は、撮像装置５３－１、５３－２、及び、５３－３のうち、センシングを行わせる撮像装置を切り替えることで図２において撮像装置５３のフィルタ７１の種類を切り替える場合と同様にセンシング方法を切り替えることができる。即ち、１つの撮像装置におけるフィルタを切り替えてセンシング方法を変更するのではなく、フィルタの種類が異なる複数の撮像装置のうち有効に使用する撮像装置を切り替えることでセンシング方法を切り替えることができる。

＜プログラム＞
　上述した情報処理システム３１、１５１における処理部５４の一連の処理は、ハードウエアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図３１は、情報処理システム３１、１５１における処理部５４が実行する各処理をコンピュータがプログラムにより実行する場合の、コンピュータのハードウエアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　本技術は以下のような構成も取ることができる。
（１）
　車室内に表示された画像に対してユーザが操作を行う操作空間の環境を認識するための環境情報を取得する環境情報取得部と、
　第１の光を用いてセンシングされた前記操作空間の第１の空間情報、又は、前記第１の光と波長帯域が異なる第２の光を用いてセンシングされた前記操作空間の第２の空間情報に基づいて前記ユーザの操作の認識を行う操作認識部と、
　前記環境情報取得部により取得された前記環境情報に基づいて前記第１の空間情報と前記第２の空間情報とのうち、前記操作認識部が前記認識に用いる空間情報を決定する決定部と、
　を有する
　情報処理装置。
（２）
　前記決定部は、単一のセンサのセンシング方法を変更することにより前記第１の空間情報と前記第２の空間情報のうち、前記操作認識部が前記認識に用いる前記空間情報を前記操作認識部に供給させる
　前記（１）に記載の情報処理装置。
（３）
　前記決定部は、第１のセンサによりセンシングされる前記第１の空間情報と第２のセンサによりセンシングされる前記第２の空間情報とのうち、前記操作認識部が前記認識に用いる前記空間情報を前記操作認識部に供給させる
　前記（１）に記載の情報処理装置。
（４）
　前記操作認識部は、前記第１の空間情報に基づいて前記認識を行うための第１の認識方法と、前記第２の空間情報に基づいて前記認識を行うための第２の認識方法とを、前記認識に用いる空間情報に応じて切り替える
　前記（１）又は（２）に記載の情報処理装置。
（５）
　前記操作認識部は、前記第１の認識方法により前記認識する前記操作の第１の操作方法と、前記第２の認識方法により前記認識する前記操作の第２の操作方法とが異なる
　前記（４）に記載の情報処理装置。
（６）
　前記操作認識部は、前記操作の操作方法に応じて前記認識を行うための認識方法を変更する
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記環境情報取得部により取得された前記環境情報に基づいて前記操作認識部が前記認識を行う前記操作の操作方法を決定する操作方法決定部
　を更に有する
　前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記操作方法決定部は、前記環境情報により、気温、日光の前記操作空間への差し込み、人、又は、前記画像を表示する画面の結露若しくは汚れに関する情報を取得し、取得した情報に基づいて、前記操作方法を決定する
　前記（７）に記載の情報処理装置。
（９）
　前記操作方法決定部は、前記操作方法としてタッチ操作、ジェスチャ操作、及び、ホバー操作のうちのいずれかに決定する
　前記（８）に記載の情報処理装置。
（１０）
　前記第１の光と前記第２の光は、赤外光と可視光、又は、赤外光と赤外光である
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記第１の空間情報及び前記第２の空間情報は、撮像画像と深度画像、又は、深度画像と深度画像である
　前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記決定部は、前記環境情報により、気象情報、照度、又は、赤外光の光量に関する情報を取得し、取得した情報に基づいて、前記操作認識部が前記認識に用いる前記空間情報を決定する
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記決定部は、前記環境情報に基づいて、現在時刻から未来の予測時刻まで間の複数の時刻における前記操作空間の前記環境を予測し、予測した前記複数の時刻における前記環境に基づいて、前記予測した前記複数の時刻のそれぞれにおいて前記認識に用いるべき前記空間情報が前記第１の空間情報と前記第２の空間情報とのうちのいずれであるかの判定結果に基づいて、前記現在時刻において前記認識に用いる前記空間情報を決定する
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　車室内に画像を表示する表示部と、
　前記表示部に対してユーザが操作を行う操作空間の環境を認識するための環境情報を取得する環境情報取得部と、
　第１の光又は第２の光を用いて前記操作空間の空間情報をセンシングする撮像部と、
　前記撮像部によりセンシングされた前記空間情報に基づいて前記ユーザの操作の認識を行う操作認識部と、
　前記環境情報取得部により取得された前記環境情報に基づいて、前記第１の光及び前記第２の光のうち、前記撮像部が前記センシングに用いる光を決定する決定部と、
　を有する
　情報処理システム。
（１５）
　環境情報取得部と、
　操作認識部と、
　決定部と
　を有する情報処理装置の
　前記環境情報取得部が、車室内に表示された画像に対してユーザが操作を行う操作空間の環境を認識するための環境情報を取得し、
　前記操作認識部が、第１の光を用いてセンシングされた前記操作空間の第１の空間情報、又は、前記第１の光と波長帯域が異なる第２の光を用いてセンシングされた前記操作空間の第２の空間情報に基づいて前記ユーザの操作の認識を行い、
　前記決定部が、前記環境情報取得部により取得された前記環境情報に基づいて前記第１の空間情報と前記第２の空間情報とのうち、前記操作認識部が前記認識に用いる空間情報を決定する
　情報処理方法。
（１６）
　コンピュータを
　車室内に表示された画像に対してユーザが操作を行う操作空間の環境を認識するための環境情報を取得する環境情報取得部と、
　第１の光を用いてセンシングされた前記操作空間の第１の空間情報、又は、前記第１の光と波長帯域が異なる第２の光を用いてセンシングされた前記操作空間の第２の空間情報に基づいて前記ユーザの操作の認識を行う操作認識部と、
　前記環境情報取得部により取得された前記環境情報に基づいて前記第１の空間情報と前記第２の空間情報とのうち、前記操作認識部が前記認識に用いる空間情報を決定する決定部
　として機能させるためのプログラム。

　１１　車室，　１３　映像提示装置，　１４　ディスプレイ，　１５　センサ，　３１　情報処理システム，　５１　ナビ情報，　５２　GPS受信機，　５３　撮像装置，　５４　処理部，　５５　記憶部，　５６　映像提示部，　７１　フィルタ，　７１Ａ　850nmフィルタ，　７１Ｂ　940nmフィルタ，　７１Ｃ　可視光フィルタ，　７２　イメージセンサ，　７３　制御部，　７５　発光素子，　８１　通信部，　８２　環境情報処理部，　８３　最適化処理部，　８４　センサ情報処理部，　８５　出力情報作成部，　９１　製品特性定義部，　９２　センシング方法蓄積部，　９３　センシング変更ルール定義部，　９４　描画ルール蓄積部，　９５　描画変更ルール定義部

Claims

　車室内に表示された画像に対してユーザが操作を行う操作空間の環境を認識するための環境情報を取得する環境情報取得部と、
　第１の光を用いてセンシングされた前記操作空間の第１の空間情報、又は、前記第１の光と波長帯域が異なる第２の光を用いてセンシングされた前記操作空間の第２の空間情報に基づいて前記ユーザの操作の認識を行う操作認識部と、
　前記環境情報取得部により取得された前記環境情報に基づいて前記第１の空間情報と前記第２の空間情報とのうち、前記操作認識部が前記認識に用いる空間情報を決定する決定部と、
　を有する
　情報処理装置。
　前記決定部は、単一のセンサのセンシング方法を変更することにより前記第１の空間情報と前記第２の空間情報のうち、前記操作認識部が前記認識に用いる前記空間情報を前記操作認識部に供給させる
　請求項１に記載の情報処理装置。
　前記決定部は、第１のセンサによりセンシングされる前記第１の空間情報と第２のセンサによりセンシングされる前記第２の空間情報とのうち、前記操作認識部が前記認識に用いる前記空間情報を前記操作認識部に供給させる
　請求項１に記載の情報処理装置。
　前記操作認識部は、前記第１の空間情報に基づいて前記認識を行うための第１の認識方法と、前記第２の空間情報に基づいて前記認識を行うための第２の認識方法とを、前記認識に用いる空間情報に応じて切り替える
　請求項１に記載の情報処理装置。
　前記操作認識部は、前記第１の認識方法により前記認識する前記操作の第１の操作方法と、前記第２の認識方法により前記認識する前記操作の第２の操作方法とが異なる
　請求項４に記載の情報処理装置。
　前記操作認識部は、前記操作の操作方法に応じて前記認識を行うための認識方法を変更する
　請求項１に記載の情報処理装置。
　前記環境情報取得部により取得された前記環境情報に基づいて前記操作認識部が前記認識を行う前記操作の操作方法を決定する操作方法決定部
　を更に有する
　請求項１に記載の情報処理装置。
　前記操作方法決定部は、前記環境情報により、気温、日光の前記操作空間への差し込み、人、又は、前記画像を表示する画面の結露若しくは汚れに関する情報を取得し、取得した情報に基づいて、前記操作方法を決定する
　請求項７に記載の情報処理装置。
　前記操作方法決定部は、前記操作方法としてタッチ操作、ジェスチャ操作、及び、ホバー操作のうちのいずれかに決定する
　請求項８に記載の情報処理装置。
　前記第１の光と前記第２の光は、赤外光と可視光、又は、赤外光と赤外光である
　請求項１に記載の情報処理装置。
　前記第１の空間情報及び前記第２の空間情報は、撮像画像と深度画像、又は、深度画像と深度画像である
　請求項１に記載の情報処理装置。
　前記決定部は、前記環境情報により、気象情報、照度、又は、赤外光の光量に関する情報を取得し、取得した情報に基づいて、前記操作認識部が前記認識に用いる前記空間情報を決定する
　請求項１に記載の情報処理装置。
　前記決定部は、前記環境情報に基づいて、現在時刻から未来の予測時刻まで間の複数の時刻における前記操作空間の前記環境を予測し、予測した前記複数の時刻における前記環境に基づいて、前記予測した前記複数の時刻のそれぞれにおいて前記認識に用いるべき前記空間情報が前記第１の空間情報と前記第２の空間情報とのうちのいずれであるかの判定結果に基づいて、前記現在時刻において前記認識に用いる前記空間情報を決定する
　請求項１に記載の情報処理装置。
　車室内に画像を表示する表示部と、
　前記表示部に対してユーザが操作を行う操作空間の環境を認識するための環境情報を取得する環境情報取得部と、
　第１の光又は第２の光を用いて前記操作空間の空間情報をセンシングする撮像部と、
　前記撮像部によりセンシングされた前記空間情報に基づいて前記ユーザの操作の認識を行う操作認識部と、
　前記環境情報取得部により取得された前記環境情報に基づいて、前記第１の光及び前記第２の光のうち、前記撮像部が前記センシングに用いる光を決定する決定部と、
　を有する
　情報処理システム。
　環境情報取得部と、
　操作認識部と、
　決定部と
　を有する情報処理装置の
　前記環境情報取得部が、車室内に表示された画像に対してユーザが操作を行う操作空間の環境を認識するための環境情報を取得し、
　前記操作認識部が、第１の光を用いてセンシングされた前記操作空間の第１の空間情報、又は、前記第１の光と波長帯域が異なる第２の光を用いてセンシングされた前記操作空間の第２の空間情報に基づいて前記ユーザの操作の認識を行い、
　前記決定部が、前記環境情報取得部により取得された前記環境情報に基づいて前記第１の空間情報と前記第２の空間情報とのうち、前記操作認識部が前記認識に用いる空間情報を決定する
　情報処理方法。
　コンピュータを
　車室内に表示された画像に対してユーザが操作を行う操作空間の環境を認識するための環境情報を取得する環境情報取得部と、
　第１の光を用いてセンシングされた前記操作空間の第１の空間情報、又は、前記第１の光と波長帯域が異なる第２の光を用いてセンシングされた前記操作空間の第２の空間情報に基づいて前記ユーザの操作の認識を行う操作認識部と、
　前記環境情報取得部により取得された前記環境情報に基づいて前記第１の空間情報と前記第２の空間情報とのうち、前記操作認識部が前記認識に用いる空間情報を決定する決定部
　として機能させるためのプログラム。