WO2021166706A1

WO2021166706A1 - 情報処理装置、情報処理方法、及び、プログラム

Info

Publication number: WO2021166706A1
Application number: PCT/JP2021/004514
Authority: WO
Inventors: 哲男池田; 幸子西出; 実祐樹白川; 朋成村上; 長田　浩二; 真秀林; 誠史友永
Original assignee: ソニーグループ株式会社
Priority date: 2020-02-21
Filing date: 2021-02-08
Publication date: 2021-08-26

Abstract

本技術は、車内等での利便性の高い情報提示を行えるようにする情報処理装置、情報処理方法、及び、プログラムに関する。車両の車内のユーザの状態が推定され、推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報が生成される。本技術は、自動車の車内に設置される投影装置に適用することができる。

Description

情報処理装置、情報処理方法、及び、プログラム

　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、車内等での利便性の高い情報提示を行えるようにする情報処理装置、情報処理方法、及び、プログラムに関する。

　特許文献１には、自動運転モードから手動運転モードへの切り替えをユーザの状態に応じて行うことが開示されている。

国際公開第2017/085981号

　自動車等の車内において利便性の高い情報提示が望まれている。

　本技術は、このような状況に鑑みてなされたものであり、車内等での利便性の高い情報提示を行えるようにする。

　本技術の情報処理装置、又は、プログラムは、車両の車内のユーザの状態を推定するユーザ状態推定部と、推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する情報提示部とを備える情報処理装置、又は、そのような測位装置として、コンピュータを機能させるためのプログラムである。

　本技術の情報処理方法は、情報処理装置が、車両の車内のユーザの状態を推定し、推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する情報処理方法である。

　本技術においては、車両の車内のユーザの状態が推定され、推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報が生成される。

本技術を適用した情報処理装置の一実施の形態の構成例を示したブロック図である。本技術が適用される自動車の平面図である。本技術が適用される自動車の側面図である。プロジェクタの投影画像が投影される位置を例示した図である。フロントガラスの一部分をスクリーンとして使用する場合の自動車５１の構成例である。フロントガラスの一部分をスクリーンとして使用する場合の自動車５１の構成例である。フロントガラスの一部分をスクリーンとして使用する場合の自動車５１の構成例である。フロントガラスの一部分をスクリーンとして使用する場合の自動車５１の構成例である。拡張されたスクリーンにコンテンツが投影された様子を示した図である。拡張されたスクリーンにクイズ画面が投影された様子を示した図である。センシングを開始した状況を示した図である。一度のセンシングで得られた情報の状況を示した図である。センシングを繰り返すことで得られる情報の状況を示した図である。車外情報推定処理部２２の処理例を示したフローチャートである。車両状態蓄積部２３に蓄積されるデータを例示した図である。ユーザ行動検出を説明する図である。ユーザ状態定義部３２に蓄積されるデータ（変換表）を例示した図である。ユーザ状態蓄積部３３に蓄積されたデータを例示した図である。ユーザ状態推定処理部３４が行う処理例を示したフローチャートである。自動運転中の車内の様子を例示した図である。情報提示処理が必要な場合の車内の様子を示した図である。情報提示処理の実施例２を説明する図である。実施例３における提示情報を説明する図である。実施例４を説明する図である。実施例４における情報提示方法を説明する図である。実施例４における情報提示方法を説明する図である。実施例４における情報提示方法を説明する図である。一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　以下、図面を参照しながら本技術の実施の形態について説明する。

＜＜本技術を適用した情報処理装置の一実施の形態＞＞
　図１は、本技術を適用した情報処理装置の一実施の形態の構成例を示したブロック図である。

　図1において、情報処理装置１１は、例えば自動車の車内において、所定の処理により生成した提示情報をプロジェクタ等により所定部位に表示（投影）する装置である。なお、プロジェクタにより車内に投影される提示情報を投影情報という。

　提示情報は、ＯＳ（Operating System）や所定のアプリケーション（以下、単にアプリという）の処理により生成される情報である。アプリ（処理）の種類は、天気予報アプリ、音楽アプリ、カーナビアプリ、グルメアプリ、動画アプリ、地図アプリ、及び、ディスカッションアプリ等、特定の種類に限定されない。

　情報処理装置１１は、入力部１２、グラフィックス表示処理部１３、出力部１４、及び、提示処理部１５を有する。

　入力部１２は、ユーザの操作や投影面の状態を入力として受け付ける一般的な入力装置を含む。具体的には、入力部１２は、タッチパネル、画像センサ、デプスセンサ、及び、タッチセンサを含む。

　デプスセンサは、ユーザの状態や、ユーザが何を把持しているか等の三次元情報を取得する。デプスセンサは、可視光カメラ、赤外線カメラ、ステレオカメラ、及びＴｏＦ(time of flight)センサ等であってよい。

　入力部１２は、ユーザから入力として受け付けた情報（入力情報）をグラフィックス表示処理部１３に供給する。

　グラフィックス表示処理部１３は、入力部１２からの入力情報を受け付ける機能、及び、ユーザに対してグラフィックスを表示する機能を有する。

　また、グラフィックス表示処理部１３は、アプリケーションを表示するウインドウなど、マルチコンテンツの描画制御や、各コンテンツに対してタッチなどの操作イベント配信を行う、一般的なＯＳの制御レイヤとして機能を有する。なお、グラフィックス表示処理部１３は、コンテンツを、記録媒体から取得してもよいし、通信を介してサーバ等から取得してもよいし、車車間通信により他車から取得してもよく、どのような方法で取得してもよい。

　グラフィックス表示処理部１３は、入力部１２からの入力情報を提示処理部１５に供給する。

　出力部１４は、ユーザに対して情報提示を行う出力装置である。例えば、出力部１４は、画像表示ディスプレイ（液晶ディスプレイ、有機EL（Electro-Luminescence）ディスプレイ等）やプロジェクタを含む。

　提示処理部１５は、ユーザ及び自動車の状態を監視する。

　提示処理部１５は、車両状態検出部２０、ユーザ状態推定部３０、及び、情報提示部５０を有する。

　車両状態検出部２０は、自動車（車両）の状態を検出する。車両状態検出部２０は、自動車情報検出部２１、車外情報推定処理部２２、及び、車両状態蓄積部２３を有する。

　自動車情報検出部２１は、自車の現在位置や周囲のPOI(point of interest)情報を検出する。カーナビで用いられるデータに基づく一般的なものである。

　また、自動車情報検出部２１は、自動運転中の自車の位置から手動運転に変わらなければいけない高速道路の出口までの距離、SAやPA入口を通過するまでの距離、自車の走行速度などから、情報提示部５０がコンテンツをどれくらいの時間再生可能かといった情報を算出する。

　また、自動車情報検出部２１は、現在の時刻から夜で視界が悪いかどうか、夕方で薄明視で錐体から杆体に切り替わり生理的に事故を起こしやすい環境かどうかという情報を取得し、後述のユーザ状態推定処理部３４にて視覚的に不利な場合の処理に加点する。

　自動車情報検出部２１は、現在地に雨や雪が降っていて道路が滑りやすいかどうか、強風によりハンドルが奪われやすいかどうかという情報を取得し、後述のユーザ状態推定部３０にて手指の運動的に不利な場合の処理に加点する。

　車外情報推定処理部２２は、カメラ・レーダー・LiDAR(Light Detection and Ranging)から構成される一般的な車外向けセンシングモジュールの情報を使い、車外の情報を推定する処理を行う。

　車両状態蓄積部２３は、車外情報推定処理部２２から得られた、周囲の車両のナンバー、ドライバーの特徴、色、車種、位置を時系列方向に蓄積する。

　車両状態蓄積部２３は、車両状態をリレーショナルデータベースやルックアップテーブル等の形態で管理（保存）する。

　ユーザ状態推定部３０は、車内のユーザの状態を推定する。ユーザ状態推定部３０は、ユーザ行動検出部３１、ユーザ状態定義部３２、ユーザ状態蓄積部３３、及び、ユーザ状態推定処理部３４を有する。

　ユーザ行動検出部３１は、車内向けカメラやセンサの情報を用い、ユーザの視線・姿勢・所作・把持している物体などを検出する。

　ユーザ状態定義部３２は、ユーザ行動検出部３１から得られたユーザの行動に対して、眼球が鈍っている・手指が鈍っている・尿意便意がある・空腹である・車酔いをしている・疲労眠気があるなどの、ユーザの状態を推定するための変換表を定義する。ユーザ状態定義部３２は、リレーショナルデータベースやルックアップテーブル等の形態で管理（保存）する。

　ユーザ状態蓄積部３３は、推定されたユーザの状態を蓄積する。同時にユーザ状態蓄積部３３はユーザの属性に合わせて想定される耐性を定義する。ユーザ状態蓄積部３３は、リレーショナルデータベースやルックアップテーブルのような形態で実現されることが一般的である。

　ユーザ状態推定処理部３４は、ユーザ行動検出部３１から得られたユーザの行動に対して、ユーザ状態定義部３２により変換処理を行うことで、ユーザの状態を推定し、その結果をユーザ状態蓄積部３３に蓄積する処理を行う。蓄積された状態が一定以上になり耐性を上回る場合は、上回る程度に応じてレベルを算出し、後述の情報提示部５０にコンテンツをどのレベルで再生するかのパラメータ算出を行う。

　情報提示部５０は、ユーザに対してコンテンツや警告などの提示情報を生成して提示する。車両状態検出部２０とユーザ状態推定部３０とから得られた情報によって提示（投影）する方法や提示時間（投影時間）はコントロールされる

＜出力部１４について＞
　出力部１４の一実施の形態について説明する。

　図２及び図３は、本技術が適用される自動車５１の平面図及び側面図である。

　図２及び図３において、自動車５１の車内には、出力部１４の一形態であるプロジェクタ６１、６２、６３、６４が設置される。

　プロジェクタ６１は、車内の後部における上下左右方向の中央付近に設置される。プロジェクタ６２は、車内の後部における右側の側面上部（例えばＣピラーの上部）に設置される。プロジェクタ６３は、車内の後部における左側の側面上部（例えばＣピラーの上部）に設置される。プロジェクタ６４は、車内の天井の前側部分に設置される。

　図４は、プロジェクタの投影画像が投影される位置を例示した図である。

　自動車５１の車内９１において、例えば、プロジェクタからの投影画像が投影される部位（情報が表示される表示部位、又は、スクリーンという）としては、天井９２、後部座席の左ドアガラス９４、後部座席の右ドアガラス９６、運転席８１及び助手席８２のヘッドレスト９９及び１００、助手席８２のドアガラス１０１、及び、ダッシュボード１０２等がある。

　天井９２には、図２のプロジェクタ６１からの投影画像９３が投影される。後部座席の左ドアガラス９４には、図２のプロジェクタ６２からの投影画像９５が投影される。後部座席の右ドアガラス９６には、図２のプロジェクタ６３からの投影画像９７が投影される。

　また、図４には投影画像が図示されていない助手席８２のドアガラス１０１及びダッシュボード１０２には、図２のプロジェクタ６４からの投影画像が投影される。運転席８１及び助手席８２のヘッドレスト９９及び１００の背面側には、図２のプロジェクタ６１、６２、又は、６３からの投影画像が表示される。

　なお、天井に投影画像を投影するプロジェクタは、例えば運転席８１及び助手席８２のヘッドレスト９９又は１００や後部座席８３及び８４のヘッドレスト等に設置されてもよい。プロジェクタが設置される部位は、車内９１の特定の部位に限らない。

　また、スクリーン（表示部位）は、運転席８１の右ドアガラス、フロントガラス、リアガラス、アームレスト、バックシートの背面等でもよく特定の部位に限らない。例えば、フロントガラスには、映像を結像するフィルムが貼り付けられていてもよいし、フロントガラスが電気的に透明から不透明に切替えられる調光ガラスであってもよい。

　また、車内９１においてスクリーンのいずれか又は全てには、プロジェクタからの投影画像が投影されるのではなく、出力部１４の一形態である画像表示パネル（液晶ディスプレイ、有機ELディスプレイ等）が設置されてもよい。ただし、以降の説明においては出力部１４はプロジェクタであるとする。また、出力部１４がプロジェクタである場合に、車内に提示される提示情報は、プロジェクタにより投影される投影情報に相当し、提示情報を提示することは、投影情報を投影することに相当する。

　また、入力部１２に含まれる画像センサやデプスセンサ等は、プロジェクタとセットで車内に設置されていてもよい。

　図５乃至図８は、フロントガラスの一部分をスクリーンとして使用する場合の自動車５１の構成例である。

　図５及び図６は、運転中のスクリーンの状態を示した自動車５１の平面図及び側面図である。図５及び図６に示されるようにスクリーン７０は、自動車５１の車両の天井に配置される。スクリーン７０は、前端側に、前後方向にスライド可能な拡張スクリーン７０Ａ、７０Ｂを有する。拡張スクリーン７０Ａ、７０Ｂは、自動運転中又は停車中以外では、フロントガラスに重ならない、フロントガラスから隠れた位置に収納される。

　図７及び図８は、自動運転中又は停車中においてスクリーン７０が拡張した状態を示した自動車５１の平面図及び側面図である。図７及び図８における拡張スクリーン７０Ａ、７０Ｂは、図５及び図６の収納状態の位置に対して前方に繰り出されてフロントガラスの上部の範囲に配置されている。これによって、拡張スクリーン７０Ａ、７０Ｂを含むスクリーン７０の全体が、天井からフロントガラス上部の範囲に及んで１つのスクリーンとなる。座席をリクライニング状態にすることで、スクリーン７０の全体を見渡すことが容易となる。なお、拡張スクリーン７０Ａ、７０Ｂのようにスクリーン７０を拡張して、天井からフロントガラスの全体範囲に及んで１つのスクリーンとなるようにしてもよい。

　図９は、拡張されたスクリーン７０にコンテンツが投影された様子を示した図である。図９において天井からフロントガラスに及ぶ１つのスクリーン７０には、スポーツ中継の映像や映画などのコンテンツが投影される。車内のユーザがコンテンツを大画面で視聴して楽しむことができる。

　図１０は、拡張されたスクリーン７０にクイズ画面が投影された様子を示した図である。図１０において図９と同様にフロントガラスまで拡張されたスクリーン７０にはクイズ画面によるクイズが出題されている。そして、車内のユーザが正解と思うものに指をさしてクイズに答える様子が示されている。車内にはユーザのジェスチャを検出するセンサが設けられており、正解か不正解か等の判定がスクリーン７０に表示される。このようにスクリーン７０とセンサとの組合せにより、コンテンツの視聴だけでなく、ユーザの操作を伴うゲーム等も行うことができる。

＜車両状態検出部２０の説明＞
（車外情報推定処理部２２）
　車外情報推定処理部２２は、カメラ・レーダー・LiDARから構成される一般的な車外向けセンシングモジュールを用いて周囲の情報を取得する。

　図１１は、センシングを開始した状況を示した図である。

　図１１において、道路１４０の中央を走行する自動車５１が自車である。自動車５１から伸びる二重線はセンシングモジュールによるセンシングの方向を示す。センシングモジュールによるセンシングは、例えば、時計回りに行われる。

　自車である自動車５１の周りには、例えば自動車１４１、１４３、バイク１４２が存在する。それらの車両が図面上、部分的に表されているのは、これらの車両についての情報が得られていないことを示す。

　図１２は、一度のセンシングで得られた情報の状況を示した図である。

　図１２のように、センシング方向を３６０度回転させた一度のセンシングで得られる情報は、自動車１４１、１４３、バイク１４２の自車側の部分についての情報だけである。

　図１３は、センシングを繰り返すことで得られる情報の状況を示した図である。

　センシングを繰り返している間に、自車と他車との位置関係が変化する。したがって、センシングを繰り返して、過去のデータとつなぎ合わせることで、図１３のように自車の周囲の情報を把握することができる。

　図１４は、車外情報推定処理部２２の処理例を示したフローチャートである。

　ステップＳ１１では、車外情報推定処理部２２は、センシングを自車の周囲に行い、センシングが一周したか否かを判定する。具体的には、図１３を参照して説明したように、センシングを繰り返すことで、自車の周囲の情報を把握することができたか否かが判定される。

　ステップＳ１１において、センシングが一周していないと判定された場合、処理はステップＳ１１からステップＳ１２に進む。

　ステップＳ１２では、車外情報推定処理部２２は、入力部１２（図１参照）からセンサ情報を取得する。処理はステップＳ１２からステップＳ１３に進む。

　ステップＳ１３では、車外情報推定処理部２２は、車両が検出されたか否かを判定する。

　ステップＳ１３において、車両が検出されないと判定された場合には、処理はステップＳ１３からステップＳ１１に戻る。

　ステップＳ１３において、車両が検出されたと判定された場合には、処理はステップＳ１４に進む。

　ステップＳ１４では、車外情報推定処理部２２は、車両のナンバーが検出できたか否かを判定する。

　ステップＳ１４において、ナンバーが検出できたと判定された場合には、処理はステップＳ１４からステップＳ１６に進む。

　ステップＳ１４において、ナンバーが検出できないと判定された場合には、処理はステップＳ１４からステップＳ１５に進む。

　ステップＳ１５では、車外情報推定処理部２２は、ドライバーが検出できたか否かを判定する。

　ステップＳ１５において、ドライバーが検出できたと判定された場合には、処理はステップＳ１５からステップＳ１７に進む。

　ステップＳ１５において、ドライバーが検出できないと判定された場合には、処理はステップＳ１５からステップＳ１８に進む。

　ステップＳ１６では、車外情報推定処理部２２は、ステップＳ１４において検出されたナンバーが、車両状態蓄積部２３に定義されたナンバーと一致するか否かを判定する。

　ステップＳ１６において、ステップＳ１４において検出されたナンバーが、車両状態蓄積部２３に定義されたナンバーと一致しないと判定された場合には、処理はステップＳ１６からステップＳ２０に進む。

　ステップＳ１６において、ステップＳ１４において検出されたナンバーが、車両状態蓄積部２３に定義されたナンバーと一致すると判定された場合には、処理はステップＳ１６からステップＳ２１に進む。

　ステップＳ１７では、車外情報推定処理部２２は、ステップＳ１５において検出されたドライバーが、車両状態蓄積部２３に定義されたドライバーの特徴と一致するか否かを判定する。

　ステップＳ１７において、ステップＳ１５において検出されたドライバーが、車両状態蓄積部２３に定義されたドライバーの特徴と一致しないと判定された場合には、処理はステップＳ１７からステップＳ２０に進む。

　ステップＳ１７において、ステップＳ１５において検出されたドライバーが、車両状態蓄積部２３に定義されたドライバーの特徴と一致すると判定された場合には、処理はステップＳ１７からステップＳ２１に進む。

　ステップＳ１８では、車外情報推定処理部２２は、検出車両位置に対して車両状態蓄積部２３に定義された色・車種が一致するか否かを判定する。

　ステップＳ１８において、検出車両位置に対して車両状態蓄積部２３に定義された色・車種が一致しないと判定された場合には、処理はステップＳ１８からステップＳ２０に進む。

　ステップＳ１８において、検出車両位置に対して車両状態蓄積部２３に定義された色・車種が一致すると判定された場合には、処理はステップＳ１８からステップＳ２１に進む。

　ステップＳ２０では、車外情報推定処理部２２は、定義を追加し、取得できた情報を登録する。処理がステップＳ２０からステップＳ２１に進む。

　ステップＳ２１では、車両状態蓄積部２３は、車両位置を更新し、また、最終更新時刻を更新する。処理はステップＳ２１からステップＳ１１に戻る。

　このようにして、車外情報推定処理部２２は、ステップＳ１４乃至ステップＳ１８の処理により、ステップＳ１３で検出された車両が、車両状態蓄積部２３に登録済みの車両であるか否かを判定する。その登録済みの車両か否かの判定において、車外情報推定処理部２２は、ナンバーが検出された場合には他車を一意の同定できるので、ナンバーにより登録済みの車両か否かを判定する。ナンバーが検出されなかった場合に、ドライバーが検出されたときは、ナンバーよりも精度は劣るが、車外情報推定処理部２２は、ドライバーの特徴により登録済みの車両か否かを判定する。ドライバーも検出されなかった場合には、さらに精度は劣るが、車外情報推定処理部２２は、車両の色や車種により登録済みの車両か否かを判定する。

　ステップＳ１１において、センシングが一周したと判定された場合、処理はステップＳ１１からステップＳ２２に進む。

　ステップＳ２２では、車外情報推定処理部２２は、車両状態蓄積部２３において、最終更新時刻が一定時間以上経過したデータ（最終更新時刻から現時刻までに一定時間以上経過したデータ）が存在するか否かを判定する。

　ステップＳ２２において、最終更新時刻が一定時間以上経過したデータが存在しないと判定された場合には、処理はステップＳ２３をスキップして本フローチャートを終了する。

　ステップＳ２２において、最終更新時刻が一定時間以上経過したデータが存在すると判定された場合には、処理はステップＳ２２からステップＳ２３に進み、車外情報推定処理部２２は、該当する定義を削除する。即ち、最終更新時刻が一定時間以上経過した車両は自車の周囲に存在しないと推定されるので車両状態蓄積部２３から削除される。

　ステップＳ２３の処理が終了すると、本フローチャートが終了する。なお、このフローチャートの処理は例えば、数秒に一度、又は毎フレームごとに周期的に行われる。

（車両状態蓄積部２３）
　車両状態蓄積部２３は、登録済みではない車両が検出された場合に、図１４のステップＳ２０においてその車両の情報を登録し、自車の周囲の車両に関するデータを蓄積する。

　図１５は、車両状態蓄積部２３に蓄積されるデータを例示した図である。

　各車両について車両状態蓄積部２３に登録（蓄積）されるデータの項目としては、車両ID、ナンバー、ドライバー、色、車種、車両位置、及び、最終更新時刻である。

　車両IDの項目には、車両ごとに付された識別情報（番号）が登録される。ナンバーの項目には、ナンバープレートが登録される。ドライバーの項目には、年代、性別、髪色などの特徴が登録される。色の項目には、車両の色が登録される。車種の項目には、車両のボディタイプが登録される。車両位置の項目には、自車から見たその車両の位置が登録される。最終更新時刻の項目には、その車両が最後に検出された時刻が登録される。なお、最終更新時刻の項目に登録される情報は、車両が最後に検出された時刻そのもののでなくても、最終更新時刻から現時刻までの経過時間が把握できる情報であればよい。

　図１５の例では、車両IDが#1の車両については、ナンバーが検出された状態であり、確度高く他車が同定される。

　車両IDが#2の車両については、ナンバーやドライバーの特徴は捉えられていないが、色と車種が蓄積されている。

　車両IDが#3の車両については、自車との角度からナンバーは捉えられていないものの、ドライバーの特徴が蓄積されている。

　車両IDが#4の車両については、ナンバーやドライバーの特徴とも捉えられているが、最終更新時刻からかなりの時間経過している。車両IDが#4の車両は既に自車の周囲にいないと考えられるので、削除の対象となる

＜ユーザ状態推定部３０＞
（ユーザ行動検出部３１）
　ユーザ行動検出部３１は、車内向けカメラやセンサの情報を入力部１２から取得し、ユーザの視線、姿勢、所作、及び、ユーザが把持している物体を検出する。

　図１６は、ユーザ行動検出を説明する図である。

　図１６の画像は車内向けカメラで撮影された撮影画像である。ユーザ行動検出部３１は、車内向けカメラから取得した撮影画像から、例えば、目、鼻、口、関節点などの特徴点を抽出し、ボーンデータ等を生成することでユーザの行動を検出する。図１６では、関節点のデータからユーザが指さししている所作が検出される。

（ユーザ状態定義部３２）
　ユーザ状態定義部３２は、ユーザが実行しているアプリケーションと、ユーザ行動検出部３１により検出されるユーザの行動に対して、ユーザの状態を推定するための変換表を定義している。

　推定するユーザ状態は、例えば、眼球が鈍っている（眼球の動きに関する状態）、手指が鈍っている（手指の動きに関する状態）、尿意便意がある（尿意便意の有無（程度）に関する状態）、空腹である（空腹か否か（空腹の程度）に関する状態）、車酔いをしている（車酔いか否か（車酔いの程度）に関する状態）、疲労眠気がある（疲労眠気の有無（程度）に関する状態）、などの状態である。なお、推定するユーザ状態は、これらのユーザ状態のうちのいずれか１つ又は複数の状態であってもよい。

　図１７は、ユーザ状態定義部３２に蓄積されるデータ（変換表）を例示した図である。

　ユーザ状態定義部３２に蓄積されるデータの項目には、アプリケーション、ユーザ行動、閾値、及び、推定ユーザ状態がある。

　アプリケーションの項目には、ユーザが利用すると予想されるアプリケーションの種類が登録される。ユーザ行動の項目には、ユーザが行うと予想される行動が登録される。

　閾値の項目には、推定ユーザ状態の値を加算（または減算）する際の判定条件が登録される。推定ユーザ状態の項目は細分化されており、推定ユーザ状態には、眼球の鈍り、手指の鈍り、尿意便意、空腹、車酔い、疲労眠気という項目が含まれる。そして、それぞれの項目には各々の状態に該当すると判断されたときの加点数（減点数）が登録される。

　図１７の例に従って具体的に説明する。

　動画プレイヤーのアプリケーションを実行中で、ユーザが５分以上スクリーンを見ている場合は、ずっと同じコンテンツを見続けているので眼球が鈍っている(眼球の鈍り：+1)、コンテンツを見ているだけなので手指が鈍っている(手指の鈍り：+1)、のようにユーザ状態が推定される。

　ゲームのアプリケーションを実行中で、ユーザが５分以上コントローラを握ってゲームをやっている場合は、ずっと同じコンテンツを見続けているので眼球が鈍っている(眼球の鈍り：+1)が、コントローラで手指は動かしている(手指の鈍り：-1)、のようにユーザ状態が推定される。

　図１０のように天井やフロントガラスに大きくクイズ画面を表示し、ユーザが１分以上指さしてクイズに答えるアプリケーションを実行している場合は、大きく目を動かしていて(眼球の鈍り：-1)、手指も動かしている(手指の鈍り：-1)、のようにユーザ状態が推定される。

　ユーザがアプリケーションを実行せずに、１０分以上スマートフォンを触っている場合は、車両スクリーンよりも近い距離でスマートフォンを見ているので眼球はより鈍っており(眼球の鈍り：+2)、手指が鈍っている(手指の鈍り：+1)、のようにユーザ状態が推定される。

　ユーザが１回伸びをした場合は、少しの運動により手指は動いたが(手指の鈍り：-1)、疲労や眠気が溜まっている(疲労・眠気：+1)、のようにユーザ状態が推定される。

　ユーザがあくびを１回した場合は、疲労や眠気が溜まっている(疲労・眠気：+1)、のようにユーザ状態が推定される。

　本手法ではユーザが何を把持しているかを把握することができるので、ユーザがコーヒを１回飲んでいたらコーヒにはカフェインが含まれ利尿作用があるため尿意便意が溜まっている(尿意・便意：+3)、飲み物を飲んだことで少し空腹が満たされる(空腹：-1)、カフェインの効果で覚醒し疲労や眠気が低減する(疲労・眠気：-1)、のようにユーザ状態が推定される。

　ユーザが水を２回飲んだ場合は、カフェインが含まれていないので尿意便意が少し溜まっている(尿意・便意：+2)、飲み物を飲んだことで少し空腹が満たされる(空腹：-1)、のようにユーザ状態が推定される。

　ユーザがオレンジジュースを１回飲んだ場合は、カフェインが含まれていないので尿意便意が少し溜まっている(尿意・便意：+2)、糖分が含まれているので血糖値が上がり空腹が満たされる(空腹：-2)、血糖値が少し上がり少しだけ眠くなる(疲労・眠気：+1)、のようにユーザ状態が推定される。

　ユーザが煎餅を１回食べた場合は便意が少し溜まっている(尿意・便意：+1)、飲み物でなく腹持ちのよい食べ物を食べることで空腹が大きく満たされる(空腹：-3)、糖質が含まれるため血糖値が大きく上がり眠くなる(疲労・眠気：+2)、のようにユーザ状態が推定される。

　ユーザが清涼菓子を５回食べた場合は少し空腹が満たされる(空腹：-1)、車に酔いそうだから清涼菓子でさっぱりしたいと考えていると推定され、少し車酔いを疑う(車酔い：+2)。これにより同乗者が車に酔っているかもしれないことを検出できるため、子供が意思表示をはっきりしない場合や、他人同士が自動運転の同乗カーシェアリングを利用して言い出しづらい場合にも車酔いの検出が可能である。

（ユーザ状態蓄積部３３）
　ユーザ状態蓄積部３３は、推定されるユーザ状態をユーザごとに蓄積している。また、ユーザ状態蓄積部３３は、ユーザの属性に合わせて想定される耐性を定義している。

　図１８は、ユーザ状態蓄積部３３に蓄積されたデータを例示した図である。

　ユーザ状態蓄積部３３に蓄積されるデータの項目として、ユーザID、座席、推定ユーザ状態、及び、想定ユーザ耐性がある。

　ユーザIDの項目には、ユーザごとに付された識別情報が登録される。属性の項目には、性別及び年齢が登録される。座席の項目には、ユーザが着座している座席が登録される。

　推定ユーザ状態の項目は細分化されており、図１７と同様に、眼球の鈍り、手指の鈍り、尿意便意、空腹、車酔い、及び、疲労眠気という項目が含まれる。各々の項目にはそれらの状態への適合度を表す数値が登録される。この推定ユーザ状態の項目には、ユーザ状態定義部３２で定義された行動（図１７参照）が検出され閾値を超える度に+1、-1といったスコアが加算されていく。

　想定ユーザ耐性の項目も細分化されており、推定ユーザ状態と同じく、眼球の鈍り、手指の鈍り、尿意便意、空腹、車酔い、及び、疲労眠気という項目が含まれる。各々の項目には、それらの状態への耐性を表す数値が登録される。

　図１８の例に従って具体的に説明する。

　ユーザ１は、男性４０代で運転席に位置しているため運転者と推定される。このユーザが自動運転から手動運転に切り替わった時に運転者となるため、眼球鈍りや手指鈍りに対しての耐性が設定されており、この耐性をオーバーしたら手動運転に切り替わる前に運動させるなどの情報提示が情報提示部５０により行われる。

　また、ユーザ１は大人であることから尿意便意耐性が高く、運転者であることから自動車の動きが予想できるため車酔い耐性が高く、運転を行うことから疲労眠気耐性が設定されている。

　ユーザ２は、女性２０代で助手席に位置している。運転者ではないので眼球鈍り・手指鈍りの耐性を考慮する必要がなく、眼球鈍り・手指鈍りの耐性は∞となっている。また、ユーザ２はいつでも寝られるので疲労眠気耐性も∞である。更に、ユーザ２は大人であることから尿意便意耐性が高く、運転者でないことから車酔い耐性は運転者よりは低い。

　ユーザ３及び４は、後部座席に位置している子供である。子供は我慢できないので尿意便意耐性が低く、車に酔いやすいので車酔い耐性が低い。

　以上のように推定されたユーザの状態と想定されるユーザの耐性とを個別に比較することで、後述の通りユーザに対して行動変化を提案・警告することが可能となる。

（ユーザ状態推定処理部３４）
　ユーザ状態推定処理部３４は、ユーザ状態蓄積部３３にデータを蓄積する処理を行い、情報提示部５０での情報提示のレベルを決定する。

　図１９は、ユーザ状態推定処理部３４が行う処理例を示したフローチャートである。

　ステップＳ４１では、ユーザ状態推定処理部３４は、全ユーザをセンシングしたか否かを判定する。

　ステップＳ４１において、全ユーザをセンシングしたと判定された場合には、処理はステップＳ４１からステップＳ４６に進む。

　ステップＳ４１において、全ユーザをセンシングしていないと判定された場合には、処理はステップＳ４１からステップＳ４２に進む。

　ステップＳ４２では、ユーザ状態推定処理部３４は、入力部１２からセンサ情報を取得し、ユーザ行動検出部３１で該当するユーザ行動を抽出する。該当するユーザ行動とは、ユーザ状態定義部３２におけるアプリケーションとユーザ行動との組合せ（図１７参照）に該当する行動である。処理はステップＳ４２からステップＳ４３に進む。

　ステップＳ４３では、ユーザ状態推定処理部３４は、ステップＳ４２で、ユーザ状態定義部３２におけるアプリケーションとユーザ行動との組合せに該当する行動が抽出されたか否かを判定する。

　ステップＳ４３において、該当する行為が抽出されないと判定された場合には、処理はステップＳ４３からステップＳ４１に戻る。

　ステップＳ４３において、該当する行為が抽出されたと判定された場合、処理はステップＳ４３からステップＳ４４に進み、ユーザ状態推定処理部３４は、ステップＳ４３で抽出された行動が、ユーザ状態定義部３２において定義されている閾値（図１７参照）を超えたか否かを判定する。

　ステップＳ４４において、抽出された行為が閾値を超えないと判定された場合には、処理がステップＳ４４からステップＳ４１に戻る。

　ステップＳ４４において、抽出された行為が閾値を超えたと判定された場合には、処理はステップＳ４４からステップＳ４５に進む。

　ステップＳ４５では、ユーザ状態推定処理部３４は、ユーザ状態定義部３２に定義されている図１７の推定ユーザ状態の値を、ユーザ状態蓄積部３３の図１８の推定ユーザ状態に加算し、推定ユーザ状態を更新する。処理はステップＳ４５からステップＳ４１に戻る。

　ステップＳ４６では、ユーザ状態推定処理部３４は、自動車情報検出部２１から情報を取得する。処理はステップＳ４６からステップＳ４７に進む。

　ステップＳ４７では、ユーザ状態推定処理部３４は、ステップＳ４６で取得した情報に基づいて、時刻が夕方又は夜であるかを判定する。

　ステップＳ４７において、時刻が夕方又は夜ではないと判定された場合には、処理はステップＳ４８をスキップしてステップＳ４７からステップＳ４９に進む。

　ステップＳ４７において、時刻が夕方又は夜であると判定された場合には、処理はステップＳ４７からステップＳ４８に進む。

　ステップＳ４８では、ユーザ状態推定処理部３４は、眼球の鈍りに+1加点する。この加点は、現在の時刻から夜で視界が悪いかどうか、夕方で薄明視で錐体から杆体に切り替わり生理的に事故を起こしやすい環境かどうかという環境に基づいた処理であり、ユーザの行動とは独立して行われる。

　ステップＳ４９では、ユーザ状態推定処理部３４は、雨又は雪が降っているか否か、又は、強風が吹いているか否かを判定する。

　ステップＳ４９において、雨も雪も降っていないと判定され、かつ、強風も吹いていないと判定され場合には、処理はステップＳ５０をスキップしてステップＳ４９からステップＳ５１に進む。

　ステップＳ４９において、雨または雪が降っていると判定された場合、又は、強風が吹いていると判定された場合には、処理はステップＳ４９からステップＳ５０に進む。

　ステップＳ５０では、ユーザ状態推定処理部３４は、手指の鈍りに+1加点する。この加点は、現在地に雨や雪が降っていて道路が滑りやすいかどうか、強風によりハンドルが奪われやすいかどうかという環境に基づいた処理であり、ユーザの行動とは独立して行われる。処理はステップＳ５０からステップＳ５１に進む。

　ステップＳ５１では、ユーザ状態推定処理部３４は、ユーザ状態蓄積部３３のデータ（図１８参照）において想定ユーザ耐性よりも推定ユーザ状態が上回るユーザが存在するか否かを判定する。

　ステップＳ５１において、想定ユーザ耐性よりも推定ユーザ状態が上回るユーザが存在しないと判定された場合には、本フローチャートの処理は終了する。

　ステップＳ５１において、想定ユーザ耐性よりも推定ユーザ状態が上回るユーザが存在すると判定された場合には、処理はステップＳ５１からステップＳ５２に進む。

　ステップＳ５２では、ユーザ状態推定処理部３４は、推定ユーザ状態が想定ユーザ耐性を３以上上回ったか否かを判定する。

　ステップＳ５２において、推定ユーザ状態が想定ユーザ耐性を３以上上回ったと判定された場合には、処理はステップＳ５２からステップＳ５３に進み、ユーザ状態推定処理部３４は、レベル３の情報提示処理を行う。

　ステップＳ５２において、推定ユーザ状態が想定ユーザ耐性を３以上上回っていないと判定された場合には、処理はステップＳ５２からステップＳ５４に進む。

　ステップＳ５４では、ユーザ状態推定処理部３４は、推定ユーザ状態が想定ユーザ耐性を２以上上回ったか否かを判定する。

　ステップＳ５４において、推定ユーザ状態が想定ユーザ耐性を２以上上回ったと判定された場合には、処理はステップＳ５４からステップＳ５５に進み、ユーザ状態推定処理部３４は、レベル２の情報提示処理を行う。

　ステップＳ５４において、推定ユーザ状態が想定ユーザ耐性を２以上上回っていないと判定された場合には、処理はステップＳ５４からステップＳ５６に進む。

　ステップＳ５６では、ユーザ状態推定処理部３４は、推定ユーザ状態が想定ユーザ耐性を１以上上回ったか否かを判定する。

　ステップＳ５６において、推定ユーザ状態が想定ユーザ耐性を１以上上回ったと判定された場合には、処理はステップＳ５６からステップＳ５７に進み、ユーザ状態推定処理部３４は、レベル１の情報提示処理を行う。

　ステップＳ５６において、推定ユーザ状態が想定ユーザ耐性を１以上上回っていないと判定された場合には、処理はステップＳ５６からステップＳ５７をスキップして本フローチャートを終了する。

　以下、情報提示処理のレベル（以下、情報提示レベルという）、即ち、ユーザ状態に応じた処理の実施例について説明する。

＜実施例１＞
　自動運転レベル３では、特定区間内（高速道路等）のみで自動運転が可能であり一般道に戻る際には人間の運転者（ドライバ）が運転を行う必要がある。自動運転レベル４では全区間自動運転が可能だが、非常時には人間の運転者が運転を行う可能性が生じる。

　急に自動運転システムから人間のドライバに交代されても安全運転が困難であるので、自動運転から手動運転に切り替わる際に短時間で自動車の周囲の状態やどこを走っているかを人間に把握させる必要がある。

　図２０は、自動運転中の車内の様子を例示した図である。

　図２０の車内１８１において、全ての窓は遮光され、フロントガラス１８２には映像などのコンテンツ１８３が表示されている。

　情報提示部５０は、車両状態検出部２０からの情報を元に、自動運転から手動運転に切り替わるタイミングを把握しており、例えば、高速道路を降りる５分前になるまでは図２０のようにコンテンツのみを表示して、ユーザは映画の世界に没頭することができる。

　所定タイミングに達しかつユーザ状態推定処理部３４により「眼球の鈍り」「手指の鈍り」「疲労眠気」などの運転席に関する耐性が所定値を超えて情報提示処理が必要になった場合には、車内の映像の周囲に車外の様子を表示する。

　図２１は、情報提示処理が必要な場合の車内の様子を示した図である。

　図２１においては、フロントガラス１８２等の窓が透過して車外の様子が見える状況になっている。

　この際に、車外の様子を表示する透明度は、情報提示レベル１の場合は75%、情報提示レベル２では50%、情報提示レベル３では0%（透過なしで車外がそのまま見える）に調整される。情報提示レベル、即ち、ユーザ状態に応じて、周辺視野に車外の映像を表示することで、自車の周囲の状況を無意識下で把握させ、手動運転へのスムーズな切り替えを可能にしている。透明度の値は映像周囲の部分だけガラスを透過する場合は透過率、前方カメラの映像を表示する場合はアルファブレンディングの濃度などに反映される。

　また、情報提示部５０は、自動運転から手動運転に切り替わるタイミングまでの時間が所定時間（高速道路を降りる１分前など）に達したら、コンテンツ再生を停止し0%にする。

＜実施例２＞
　実施例２は、短時間で視覚的に自車周囲の状況を提示する例である。自動運転から手動運転に切り替わるタイミングで提示されるが、実施例１と併用されても良い。

　図２２は、情報提示処理の実施例２を説明する図である。

　図２２の状態２０１では自車が走行している地点を含む地図情報が、自車の真上からの視点で提示されている。この状態２０１から状態２０２のようにズームインしていくことで、自車がいまどこを走行しているかをユーザに把握させる。

　図２２の状態２０１及び状態２０２の画像は、地形データやPOIデータから生成される。

　図２２の状態２０３以降の画像は、センシングデータから生成され、車外情報推定処理部２２で生成された自車の周囲の情報を用いて、状態２０２から状態２０３の表示に切り替えられる。

　その後、視点が三人称視点に切り替えられて状態２０４の表示に切り替えられ、状態２０４から状態２０５のようにズームインしていく。さらに視点は車内に移り、一人称視点に切り替えられる。スクリーンに映る画像とフロントガラスが一致したところでガラスの透明化やスクリーンを隠す処理を行い、状態２０６のように投影内容と一致する形で車外が見えるようになる。

　このように視点移動を伴う情報を提示することで、手動運転であれば本来ドライバが知っているはずの自車の周囲の情報を、短時間で直感的に伝達することが可能となる。

　ユーザ状態推定処理部３４により「眼球の鈍り」「手指の鈍り」「疲労眠気」などの運転席に関する耐性が所定値を超えて情報提示が必要になった際、情報提示部５０は、情報提示レベルに応じて提示時間等を変更する。

　例えば、情報提示部５０は、情報提示レベル１の場合には、図２２の状態２０４乃至２０６のみを30秒かけて提示するよう調整する。

　情報提示部５０は、情報提示レベル２の場合には、図２２の状態２０１乃至状態２０６を１分かけて提示するよう調整する。

　情報提示部５０は、情報提示レベル３の場合には、図２２の状態２０１乃至状態２０６をゆっくり３分かけて提示するよう調整する。

＜実施例３＞
　実施例３は、ユーザ状態推定処理部３４により「眼球の鈍り」「手指の鈍り」が所定値を超えて情報提示が必要になった際、実施例１や実施例２のように自車の周囲の情報を提示するだけでなく、その前に積極的に鈍りを解消させる運動を入れる例である。即ち、実施例３においては、ユーザの状態に応じて、ユーザの覚醒レベルを上げる提示情報が提示される。

　図２３は、実施例３における提示情報を説明する図である。

　図２３においては、スクリーン上に提示された、数字を付した図形を、その数字の小さい順にタッチ（選択）していく簡単な運動を想定する。

　情報提示レベル１の場合には、スクリーン２２１が提示される。スクリーン２２１においては、その狭い範囲に、数字を付した単色で同形状、同サイズの図形（この場合は円のみ）が提示される。スクリーン２２１を用いた運動は、簡易にクリアできる。

　情報提示レベル２の場合には、スクリーン２２２が提示される。スクリーン２２２においては、スクリーン２２１より広い範囲に、数字を付した色やサイズが異なる同形状の図形が提示される。スクリーン２２２を用いた運動は、スクリーン２２１より少し難易度が上がる。

　情報提示レベル３の場合、スクリーン２２３が提示される。スクリーン２２３においては、スクリーン２２２よりさらに広い範囲に、色、形状、サイズが異なる図形が提示される。これにより、積極的に手指が伸ばされて鈍りが低減され、かつ眼球も大きく動かされて鈍りが低減される。スクリーン２２３を用いた運動は、スクリーン２２２よりも難易度が上がるので、よりユーザの覚醒が促される。

　また、情報提示レベル３の場合に、スクリーン２２４が提示されてもよい。スクリーン２２４においては、スクリーン２２３よりも多い数の図形が、高い密度で提示されている。車両状態検出部２０からの情報を基に、自動運転から手動運転に切り替わるまでの残り時間に応じて、いくつの図形が提示されるかを調整することも可能である。

＜実施例４＞
　自動運転中にコンテンツを視聴している場合、ユーザは、積極的に車外を見ることがないため自車の位置をあまり意識することがなく、サービスエリア(SA)やパーキングエリア(PA)に訪れるタイミングを図ることが困難となる。そのため、急にトイレに行きたくなったときにはSAを過ぎたばかりで、次のPAまでは渋滞していて長時間我慢しなければならなくなるといった問題が生じる可能性がある。

　実施例４では、図２４に示されるように、車両状態検出部２０の情報を基に自車位置・次のSA位置・次の次のPA位置・自車速度・渋滞情報を総合して、図中の横軸に該当する情報を生成し、ユーザ状態推定部３０で推定される尿意便意・空腹・車酔い・疲労眠気の加点が線形に継続すると仮定して縦軸を生成する。即ち、車両状態検出部２０は、ユーザが休憩可能な地点までの到達時間を推定する。図２４の例では、次の次のPAに達するまでに眠気や便意が耐性を超えてしまうと推測されるため、ユーザに、次のSAに立ち寄らせる必要が生じる。

　そこで、実施例４においては、推定されたユーザの状態と、ユーザが休憩可能な地点までの到達時間に基づいて、提示情報が提示されるようにする。なお、尿意便意、空腹、車酔い、疲労眠気等のユーザ状態のうち、複数のユーザ状態が耐性を超えてしまうと推測される場合には最も高い情報提示レベルに対応した提示情報、即ち、休憩を促す度合いの最も高い提示情報のみを提示するようにしてもよい。

　図２５乃至図２７は、実施例４における情報提示方法を説明する図である。

　情報提示レベル１の耐性を超えてしまうと予想される場合、図２５の提示方法を採用する。図２５の提示方法では、コンテンツの一部を動的に修正して情報を提示する。この例ではコンテンツ中の食事場面２４１、２４２を検出し、食事が置かれていても自然な場所（テーブルや皿２５１の上など）を検出する。そして、食事が置かれていても自然な場所に、ユーザに立ち寄らせるSAを想起させる提示情報を提示する。例えば、とあるSA名物のメロンパン２５２を、皿２５１の上に配置されるように提示し、ユーザ自らに気づかせることで、自動運転中の車の行き先を押しつけ感なく自然にコントロールすることが可能となる。

　情報提示レベル２の耐性を超えてしまうと予想される場合、図２６の提示方法を採用する。図２６の提示方法では、コンテンツの切り替わり（画像２６１と画像２６３との間）で、休憩を提案する提示情報２６２を挟で提示する。コンテンツの切り替わりに提示情報２６２が提示されるので、ユーザの不快感を抑えることができる。

　情報提示レベル３の耐性を超えてしまうと予想される場合、図２７の提示方法を採用する。図２７の提示方法では、画像２８１の次のシーンで提示される画像２８２上にアラート２９１を表示させる。緊急度が高いため、ユーザにとっては不快感を除けば有益である。

　以上のように、実施例４における情報提示方法によれば、ユーザの状態に応じて、休憩を促す度合いの高い提示情報が提示される。

＜プログラム＞
　図１の情報処理装置１１が行う処理の一部及び全ては、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。

　バス４０４には、さらに、入出力インタフェース４０５が接続されている。入出力インタフェース４０５には、入力部４０６、出力部４０７、記憶部４０８、通信部４０９、及びドライブ４１０が接続されている。

　入力部４０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記憶部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインタフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア４１１を駆動する。

　以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４０８に記憶されているプログラムを、入出力インタフェース４０５及びバス４０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブルメディア４１１をドライブ４１０に装着することにより、入出力インタフェース４０５を介して、記憶部４０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部４０９で受信し、記憶部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記憶部４０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　なお、本技術は、以下のような構成も取ることができる。

（１）
　車両の車内のユーザの状態を推定するユーザ状態推定部と、
　推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する情報提示部と
　を備える情報処理装置。
（２）
　前記ユーザ状態推定部は、前記ユーザの状態として、眼球の動き、手指の動き、尿意便意の有無、空腹か否か、車酔いか否か、および、疲労・眠気の有無の少なくもいずれかを推定する
　（１）に記載の情報処理装置。
（３）
　前記ユーザ状態推定部は、前記ユーザの行動に基づいて、前記ユーザの状態を推定する
　（１）又は（２）に記載の情報処理装置。
（４）
　前記ユーザ状態推定部は、前記ユーザの視線、姿勢、所作、および、前記ユーザが把持している物体の少なくともいずれかに基づいて、前記ユーザの行動を検出する
　（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記ユーザ状態推定部は、蓄積した前記ユーザの状態と、あらかじめ定義された前記ユーザの耐性とを比較し、
　前記情報提示部は、前記ユーザの状態と前記ユーザの耐性との比較結果に応じて、前記投影情報を投影する
　（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記ユーザの耐性は、前記ユーザの属性毎に定義される
　（５）に記載の情報処理装置。
（７）
　前記車両の状態を検出する車両状態検出部をさらに備え、
　前記情報提示部は、検出された前記車両の状態に基づいて、前記投影情報の投影を制御する
　（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記車両状態検出部は、前記車両が自動運転から手動運転に切り替わるタイミングを検出し、
　前記情報提示部は、推定された前記ユーザの状態と、前記タイミングまでの時間に基づいて、前記投影情報の投影を制御する
　（７）に記載の情報処理装置。
（９）
　前記情報提示部は、前記タイミングまでの時間に基づいて、前記ユーザの状態に応じた透明度の前記投影情報を投影する
　（８）に記載の情報処理装置。
（１０）
　前記車両状態検出部は、前記車両の車外の情報を検出し、
　前記情報提示部は、推定された前記ユーザの状態と、前記車外の情報に基づいて、視点の異なる前記投影情報の投影を制御する
　（７）乃至（９）に記載の情報処理装置。
（１１）
　前記車外の情報は、地図情報、及び、前記車両の周囲の情報を含む
　（１０）に記載の情報処理装置。
（１２）
　前記情報提示部は、前記ユーザの状態に応じて、視点の異なる前記投影情報の投影時間を変更する
　（１１）に記載の情報処理装置。
（１３）
　前記車両状態検出部は、前記ユーザが休憩可能な地点までの到達時間を推定し、
　前記情報提示部は、推定された前記ユーザの状態と、前記地点までの到達時間に基づいて、前記投影情報の投影を制御する
　（７）乃至（１２）に記載の情報処理装置。
（１４）
　前記情報提示部は、前記ユーザの状態に応じて、休憩を促す度合いの高い前記投影情報を投影する
　（１３）に記載の情報処理装置。
（１５）
　前記情報提示部は、前記ユーザの状態に応じて、前記ユーザの覚醒レベルを上げる前記投影情報を投影する
　（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記投影情報は、ユーザに、付された数字の順に選択させる複数の図形である
　（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記情報提示部は、前記ユーザの状態に応じた数、色、形状、サイズの図形を投影する
　（１６）に記載の情報処理装置。
（１８）
　情報処理装置が、
　車両の車内のユーザの状態を推定し、
　推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する
　情報処理方法。
（１９）
　コンピュータに、
　車両の車内のユーザの状態を推定し、
　推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する
　処理を実行させるためのプログラム。

　１１　情報処理装置，　１２　入力部，　１３　グラフィックス表示処理部，　１４　出力部，　２０　車両状態検出部，　２１　自動者情報検出部，　２２　車外情報推定処理部，　２３　車両状態蓄積部，　３０　ユーザ状態推定部，　３１　ユーザ行動検出部，　３２　ユーザ状態定義部，　３３　ユーザ状態蓄積部，　３４　ユーザ状態推定処理部，　５０　情報提示部

Claims

　車両の車内のユーザの状態を推定するユーザ状態推定部と、
　推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する情報提示部と
　を備える情報処理装置。
　前記ユーザ状態推定部は、前記ユーザの状態として、眼球の動き、手指の動き、尿意便意の有無、空腹か否か、車酔いか否か、および、疲労・眠気の有無の少なくもいずれかを推定する
　請求項１に記載の情報処理装置。
　前記ユーザ状態推定部は、前記ユーザの行動に基づいて、前記ユーザの状態を推定する
　請求項１に記載の情報処理装置。
　前記ユーザ状態推定部は、前記ユーザの視線、姿勢、所作、および、前記ユーザが把持している物体の少なくともいずれかに基づいて、前記ユーザの行動を検出する
　請求項３に記載の情報処理装置。
　前記ユーザ状態推定部は、蓄積した前記ユーザの状態と、あらかじめ定義された前記ユーザの耐性とを比較し、
　前記情報提示部は、前記ユーザの状態と前記ユーザの耐性との比較結果に応じて、前記投影情報を投影する
　請求項１に記載の情報処理装置。
　前記ユーザの耐性は、前記ユーザの属性毎に定義される
　請求項５に記載の情報処理装置。
　前記車両の状態を検出する車両状態検出部をさらに備え、
　前記情報提示部は、検出された前記車両の状態に基づいて、前記投影情報の投影を制御する
　請求項１に記載の情報処理装置。
　前記車両状態検出部は、前記車両が自動運転から手動運転に切り替わるタイミングを検出し、
　前記情報提示部は、推定された前記ユーザの状態と、前記タイミングまでの時間に基づいて、前記投影情報の投影を制御する
　請求項７に記載の情報処理装置。
　前記情報提示部は、前記タイミングまでの時間に基づいて、前記ユーザの状態に応じた透明度の前記投影情報を投影する
　請求項８に記載の情報処理装置。
　前記車両状態検出部は、前記車両の車外の情報を検出し、
　前記情報提示部は、推定された前記ユーザの状態と、前記車外の情報に基づいて、視点の異なる前記投影情報の投影を制御する
　請求項７に記載の情報処理装置。
　前記車外の情報は、地図情報、及び、前記車両の周囲の情報を含む
　請求項１０に記載の情報処理装置。
　前記情報提示部は、前記ユーザの状態に応じて、視点の異なる前記投影情報の投影時間を変更する
　請求項１１に記載の情報処理装置。
　前記車両状態検出部は、前記ユーザが休憩可能な地点までの到達時間を推定し、
　前記情報提示部は、推定された前記ユーザの状態と、前記地点までの到達時間に基づいて、前記投影情報の投影を制御する
　請求項７に記載の情報処理装置。
　前記情報提示部は、前記ユーザの状態に応じて、休憩を促す度合いの高い前記投影情報を投影する
　請求項１３に記載の情報処理装置。
　前記情報提示部は、前記ユーザの状態に応じて、前記ユーザの覚醒レベルを上げる前記投影情報を投影する
　請求項１に記載の情報処理装置。
　前記投影情報は、ユーザに、付された数字の順に選択させる複数の図形である
　請求項１に記載の情報処理装置。
　前記情報提示部は、前記ユーザの状態に応じた数、色、形状、サイズの図形を投影する
　請求項１６に記載の情報処理装置。
　情報処理装置が、
　車両の車内のユーザの状態を推定し、
　推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する
　情報処理方法。
　コンピュータに、
　車両の車内のユーザの状態を推定し、
　推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する
　処理を実行させるためのプログラム。