JP6099845B1 - 情報機器、ナビゲーション装置、作業手順の案内装置、および、負荷状況判定方法 - Google Patents

Abstract

１または複数の機器（４）を使用するユーザに関する情報から、当該ユーザの負荷状況を判定する負荷状況判定部（１０３）と、負荷状況判定部（１０３）が判定した負荷状況に応じて決定した学習モデル（１０６，１０７）と、ユーザに関する情報とに基づいて、ユーザの状態を推定する状態推定部（１０５）とを備えた。

Description

この発明は、ユーザの負荷状況を判定する情報機器、当該情報機器を備えたナビゲーション装置、当該情報機器を備えた作業手順の案内装置、および、情報機器による負荷状況判定方法に関するものである。

例えば、ドライバがナビゲーション装置からの案内により運転操作を行っている場合、あるいは、点検作業者がタブレット端末からの案内により点検作業を行っている場合等、ユーザが、情報提供装置等から提供される案内に従い、機器の操作、あるいは、作業等行う場合に、ユーザは、情報提供装置等から得られる案内を把握できず、困惑した状態で操作せざるを得ないという問題が発生し得る。

このような問題に対し、機器等から得られるマルチモーダル情報を用いて、ユーザが困惑した状態である等、ユーザの意識状態を推定する推定技術がある。
例えば、特許文献１には、カーナビゲーションシステムにおいて、カメラ、マイクロホン、車速センサ等から取得されるマルチモーダル情報に基づきドライバの困惑状態を検出し、検出した困惑状態から特定された困惑原因に応じたヘルプを提示する技術が開示されている。

特開２０１１−２３２２７０号公報

ユーザの困惑時等にセンサ等から取得されるマルチモーダル情報の特徴は、ユーザの負荷状況によって大きく異なる。
特許文献１に開示されているような技術では、ドライバの困惑状態を検出する際に、ドライバの負荷状況を考慮していないため、ドライバの負荷が高い場合もドライバの負荷が低い場合も同様にドライバの困惑状態を推定してしまうことになり、困惑状態の推定精度に問題があるという課題があった。

この発明は上記のような課題を解決するためになされたもので、機器を使用するユーザの状態をより高精度に推定することができる情報機器、当該情報機器を備えたナビゲーション装置、当該情報機器を備えた作業手順の案内装置および当該情報機器による負荷状況判定方法を提供すること目的としている。

この発明に係る情報機器は、ユーザの直視方向を検出する直視方向検出部と、直視方向算出部が算出したユーザの直視方向から、ユーザが表示画面を直視している画面直視時間を算出する直視時間算出部と、直視時間算出部が算出した画面直視時間からユーザの負荷状況を判定する負荷状況判定部と、負荷状況判定部が判定した負荷状況に基づいて決定した学習モデルと、ユーザに関する情報とに基づいて、ユーザの状態を推定する状態推定部を備えたものである。

この発明によれば、機器を使用するユーザの状態をより高精度に推定することができる。

この発明の実施の形態１に係る状態推定装置を搭載したナビゲーション制御装置の構成図である。 この発明の実施の形態１に係る状態推定装置の構成図である。 図３Ａ，図３Ｂは、この発明の実施の形態１に係る状態推定装置のハードウェア構成の一例を示す図である。 この発明の実施の形態１に係る状態推定装置の動作を説明するフローチャートである。 実施の形態１において、負荷状況判定部が、ドライバの負荷を判定する動作を説明するフローチャートである。 この発明の実施の形態２に係る状態推定装置の構成図である。 この発明の実施の形態２に係る状態推定装置の動作を説明するフローチャートである。 実施の形態２において、負荷状況判定部が、ドライバの負荷を判定する動作を説明するフローチャートである。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
ここでは、一例として、この発明の実施の形態１に係る状態推定装置１０は、車両等のドライバ提供する経路案内情報等を生成して、出力装置５から出力させるナビゲーション制御装置１に組み込まれたものとする。すなわち、状態推定装置１０は、ナビゲーション制御装置１および出力装置５等から構成されるナビゲーション装置のユーザであるドライバの状態を推定するものとして、以下説明する。
なお、ここでは、状態推定装置１０が推定するドライバの状態、あるいは、ユーザ等の状態とは、例えば、ユーザが「困惑」している状態、「不安」に感じている状態、「緊張」している状態、「興奮」している状態等、ユーザの心理的な状態をいう。実施の形態１においては、一例として、状態推定装置１０は、ドライバが「困惑」している状態であるか、そうでない「通常」の状態であるかを推定するものとする。
また、ナビゲーション制御装置１および出力装置５等から構成されるナビゲーション装置は、どのような装置により実現されたものであってもよい。例えば、車両に搭載された車載情報機器により実現されたものでもよく、または、車両に持ち込まれたスマートフォン、タブレット端末等の携帯情報端末により実現されたものでもよい。また、車両と通信可能なサーバ装置でもよい。

図１は、この発明の実施の形態１に係る状態推定装置１０を搭載したナビゲーション制御装置１の構成図である。
状態推定装置１０は、ネットワークを介して、カメラ２から出力される映像情報、マイクロホン等の音声入力装置３から出力される音声情報、各種の機器４から出力される機器情報を取得し、取得した情報に基づきドライバの状態を推定し、案内決定部１１に出力する。
案内決定部１１は、例えば、タッチパネル等の入力受付部（図示省略）がドライバから受け付けた経路案内指示に基づき、地図データ、経路データ、位置情報等を取得し、目的地までの経路を案内する案内情報を作成し、出力装置５から出力させる。当該機能は、既存のナビゲーション装置が有する経路案内の機能と同様である。
また、案内決定部１１は、状態推定装置１０が出力したドライバの状態を示す情報を取得すると、当該情報も利用して、ドライバに提供する案内情報を作成し、出力装置５から出力させる。

出力装置５は、例えば、ディスプレイ等の表示装置、スピーカ等の音声出力装置である。ナビゲーション制御装置１の案内決定部１１は、ドライバに提供する案内情報を映像情報とし、表示装置から映像によって出力させる。あるいは、案内決定部１１は、ドライバに提供する案内情報を音声情報とし、音声出力装置から音声によって出力させることもできる。

機器４から出力される機器情報とは、ユーザが使用中の１つ、あるいは、複数の機器４から得られる様々な情報である。例えば、ユーザがナビゲーション装置の入力受付部を操作し、出力装置５から提供される経路案内情報に従って車両を運転している場合は、ユーザは、ドライバとして、ナビゲーション装置と車両の両方を使用しているといえる。従って、機器情報には、車速センサから出力される車速、ＧＰＳから出力される位置情報、タッチパネル等から出力されるタッチ操作情報等が含まれ得る。また、機器４が、タブレット端末である場合、当該タブレット端末に搭載されたジャイロセンサから出力された情報等も含まれ得る。なお、これらは一例にすぎず、機器情報は、ユーザが使用中の具体的な機器４の種類に応じて様々な情報を含み得る。
ここでいう機器には、単体の機械、装置もしくはシステムとしての機器、または、それら機器を構成する部分としての機器の両方の意味を有するものとする。
カメラ２は、車両内の、ドライバの顔を撮像可能な位置に設置されているものとする。
音声入力装置３は、車両内の、ドライバが発話した際の音声を収集可能な位置に設置されているものとする。

なお、ここでは、図１にも示したとおり、状態推定装置１０は、ナビゲーション制御装置１に組み込まれるものとしたが、これに限らず、状態推定装置１０は、ナビゲーション制御装置１の外部に設けられ、適宜の情報通信手段を介して、ナビゲーション制御装置１にドライバの状態を示す情報を出力するものとしてもよい。

図２は、この発明の実施の形態１に係る状態推定装置１０の構成図である。
図２に示すように、状態推定装置１０は、直視方向算出部１０１と、直視時間算出部１０２と、負荷状況判定部１０３と、特徴量形成部１０４と、状態推定部１０５と、負荷高時学習モデル１０６と、負荷低時学習モデル１０７を備える。

直視方向算出部１０１は、カメラ２から出力されるドライバの顔を撮像した映像情報を取得し、ドライバの直視方向を算出する。直視方向算出部１０１は、算出したドライバの直視方向の情報を、特徴量形成部１０４、および、直視時間算出部１０２に出力する。
直視時間算出部１０２は、直視方向算出部１０１からドライバの直視方向の情報を取得し、ドライバが、案内が表示される表示装置の画面を直視している時間、すなわち、ドライバの画面方向への直視時間を算出する。直視時間算出部１０２は、算出したドライバの画面方向への直視時間を、負荷状況判定部１０３に出力する。
負荷状況判定部１０３は、直視時間算出部１０２が算出した直視時間に基づき、ドライバの負荷を判定し、当該判定結果を特徴量形成部１０４に出力する。なお、ここでは、ドライバの負荷とは、ドライバが行っている運転操作に対して、ドライバにどれぐらいの負荷がかかっているかの状況をいい、負荷状況判定部１０３は、負荷が「高い」、「低い」の二値で、ドライバの負荷を判定するものとする。
特徴量形成部１０４は、機器４から出力される機器情報、音声入力装置３から出力される音声情報、直視方向算出部１０１から出力されるドライバの直視方向の情報に基づき、負荷状況判定部１０３から出力されるドライバの負荷状況に応じて、状態推定部１０５がドライバの状態を推定する際に用いられる特徴量を形成する。特徴量形成部１０４は、形成した特徴量を状態推定部１０５に出力する。

状態推定部１０５は、負荷状況判定部１０３から取得したドライバの負荷状況に応じて、特徴量形成部１０４から取得した特徴量と、負荷高時学習モデル１０６、あるいは、負荷低時学習モデル１０７のいずれかの学習モデルとを用いて、ドライバの状態を推定する。状態推定部１０５は、推定したドライバの状態の情報を、案内決定部１１に出力する。
負荷高時学習モデル１０６は、ドライバの状態を推定するためのモデルであり、事前に、ドライバの負荷が高いときのみのデータを集めて学習したモデルである。
負荷低時学習モデル１０７は、ドライバの状態を推定するためのモデルであり、事前に、ドライバの負荷が低いときのみのデータを集めて学習したモデルである。

なお、ここでは、図２に示すように、負荷高時学習モデル１０６と負荷低時学習モデル１０７とは、状態推定装置１０が備えるものとしたが、これに限らない。例えば、負荷高時学習モデル１０６と負荷低時学習モデル１０７とは、外部のサーバ等に格納され、状態推定装置１０は、通信インタフェース装置（図示省略）を介して外部のサーバに格納された負荷高時学習モデル１０６あるいは負荷低時学習モデル１０７を参照するようにしてもよい。

図３Ａ，図３Ｂは、この発明の実施の形態１に係る状態推定装置１０のハードウェア構成の一例を示す図である。
この発明の実施の形態１において、直視方向算出部１０１と、直視時間算出部１０２と、負荷状況判定部１０３と、特徴量形成部１０４と、状態推定部１０５の各機能は、処理回路３０１により実現される。すなわち、状態推定装置１０は、カメラ２、音声入力装置３、機器４から受け付けた映像情報、音声情報、機器情報等に基づき、ユーザの状態を推定するための処理回路３０１を備える。
処理回路３０１は、図３Ａに示すように専用のハードウェアであっても、図３Ｂに示すようにメモリ３０３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０４であってもよい。

処理回路３０１が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路３０１がＣＰＵ３０４の場合、直視方向算出部１０１と、直視時間算出部１０２と、負荷状況判定部１０３と、特徴量形成部１０４と、状態推定部１０５の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェとの組み合わせにより実現される。すなわち、直視方向算出部１０１と、直視時間算出部１０２と、負荷状況判定部１０３と、特徴量形成部１０４と、状態推定部１０５は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）３０２、メモリ３０３等に記憶されたプログラムを実行するＣＰＵ３０４、システムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ３０２、メモリ３０３等に記憶されたプログラムは、直視方向算出部１０１と、直視時間算出部１０２と、負荷状況判定部１０３と、特徴量形成部１０４と、状態推定部１０５の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ３０３とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、直視方向算出部１０１と、直視時間算出部１０２と、負荷状況判定部１０３と、特徴量形成部１０４と、状態推定部１０５の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、直視方向算出部１０１については専用のハードウェアとしての処理回路３０１でその機能を実現し、直視時間算出部１０２と、負荷状況判定部１０３と、特徴量形成部１０４と、状態推定部１０５については処理回路がメモリ３０３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
負荷高時学習モデル１０６，負荷低時学習モデル１０７は、ＨＤＤ３０２を使用する。なお、これは一例にすぎず、負荷高時学習モデル１０６，負荷低時学習モデル１０７は、ＤＶＤ、メモリ３０３等によって構成されるものであってもよい。

動作について説明する。
図４は、この発明の実施の形態１に係る状態推定装置１０の動作を説明するフローチャートである。
直視方向算出部１０１は、カメラ２から出力される映像情報を取得し、ドライバの直視方向を算出する（ステップＳＴ４０１）。具体的には、直視方向算出部１０１は、カメラ２から取得した映像情報から、画像処理によってドライバの顔の向きと視線方向を取得し、取得したユーザの顔の向きと視線方向とから、ドライバの直視方向を算出する。直視方向算出部１０１は、ドライバの顔の向きと視線方向を取得する画像処理には、例えば、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ等、既存の技術を用いればよい。
なお、この実施の形態１において、直視方向算出部１０１は、カメラ２から出力される映像情報を常時取得するが、直視方向算出部１０１は、予め決められた処理単位時間ごとに、ドライバの直視方向を算出するものとする。ここでは、予め決められた処理単位時間をフレームというものとする。
直視方向算出部１０１は、算出したドライバの直視方向の情報を、フレームごとに、直視時間算出部１０２、および、特徴量形成部１０４に出力する。
なお、直視方向算出部１０１は、ドライバの直視方向の情報を直視時間算出部１０２に出力する際、ドライバの直視方向の情報と紐付けて、映像情報も出力するようにする。そして、直視時間算出部１０２では、直視方向算出部１０１からドライバの直視方向の情報と映像情報とを取得すると、当該取得した情報を、取得した時系列に蓄積しておく。直視時間算出部１０２が取得した情報を蓄積しておく場所は、例えば、直視時間算出部１０２自身の内部としてもよいし、直視時間算出部１０２の外部の状態推定装置１０内としてもよく、直視時間算出部１０２が蓄積した情報を参照可能な場所であればよい。

直視時間算出部１０２は、直視方向算出部１０１からドライバの直視方向の情報を取得し、ドライバが、案内経路等が表示される表示装置の画面を直視している時間、すなわち、ドライバの画面方向への直視時間を算出する（ステップＳＴ４０２）。
ここでは、ドライバが画面を直視している状態とは、ドライバが、ナビゲーション制御装置１によって案内経路等の情報が出力される表示装置の画面を見ている状態であり、ドライバの直視方向が、表示装置の画面の方向である状態をいうものとする。
直視時間算出部１０２は、例えば、直視方向算出部１０１から取得したドライバの直視方向について、フレーム毎に連続して、ドライバの直視方向が、表示装置の画面の方向と一致すれば、当該一致した回数、すなわち、当該一致したフレーム数をカウントして、その値を直視時間とする。なお、直視時間算出部１０２は、直視方向算出部１０１からフレーム単位で取得したドライバの直視方向の情報を時系列で蓄積しているので、当該蓄積しておいたドライバの直視方向に基づき、直視方向算出部１０１から取得した最新のドライバの直視方向までで、何フレーム連続してユーザの直視方向が表示装置の画面の方向と一致するかをカウントするものとする。
連続してユーザの直視方向が表示装置の画面方向と一致した回数を直視時間とする計算方法は、例えば、１フレームを０．１秒とし、３０フレーム連続でユーザの直視方向が表示装置の画面方向と一致したとすると、０．１秒×３０フレーム＝３秒、というように計算する。
なお、カメラ２でドライバを撮像した映像における表示画面の方向は予めわかっているものとし、直視時間算出部１０２は、予めわかっている表示画面の方向に関する情報と蓄積しておいた映像情報とを用いて、表示装置の画面の方向を算出するようにすればよい。
直視時間算出部１０２は、算出したドライバの画面方向への直視時間を負荷状況判定部１０３に出力する。

負荷状況判定部１０３は、直視時間算出部１０２が出力した画面方向への直視時間を取得し、取得した画面方向への直視時間に基づき、ドライバの負荷状況を判定する（ステップＳＴ４０３）。ここでは、負荷状況判定部１０３は、負荷が「高い」、「低い」の二値で、ドライバの負荷状況を判定するものとする。

ここで、図５は、実施の形態１において、負荷状況判定部１０３が、ドライバの負荷状況を判定する動作を説明するフローチャートである。図５に沿って、図４のステップＳＴ４０３の動作を説明する。
負荷状況判定部１０３は、直視時間算出部１０２から取得した画面方向への直視時間が、Ｎ秒未満かどうかを判定する（ステップＳＴ５０１）。なお、ここでは、ドライバの負荷状況を判定する際の画面方向への直視時間の閾値をＮ秒とするが、ドライバの負荷状況を判定する際の画面方向への直視時間の閾値は、予め設定された一定時間とすればよい。

ステップＳＴ５０１において、画面方向への直視時間が、Ｎ秒未満の場合（ステップＳＴ５０１の“ＹＥＳ”の場合）、負荷状況判定部１０３は、ドライバは、例えば走行中等であって、表示装置の画面を直視する余裕がないと推定し、ドライバの負荷は高いと判定する（ステップＳＴ５０２）。
ステップＳＴ５０１において、画面方向への直視時間が、Ｎ秒以上の場合（ステップＳＴ５０１の“ＮＯ”の場合）、負荷状況判定部１０３は、ドライバは、例えば停車中等であって、表示装置の画面を直視する余裕があると推定し、ドライバの負荷は低いと判定する（ステップＳＴ５０３）。

なお、ここでは、ステップＳＴ５０１において、負荷状況判定部１０３がドライバの負荷状況を判定する際の閾値を固定値Ｎ秒としたが、負荷状況判定部１０３は、閾値を、フレーム毎に切り替えてドライバの負荷状況を判定するようにしてもよい。例えば、車速に応じて利用する閾値を予め設定しておき、負荷状況判定部１０３は、機器４である車速センサから車速を取得し、車速が０〜２０ｋｍ／時の場合は閾値を１秒とし、車速が８０〜１００ｋｍ／時の場合は閾値を０．５秒とする等、車速に応じて閾値を切り替えるようにすることもできる。

そして、負荷状況判定部１０３は、判断したドライバの負荷状況の情報を、特徴量形成部１０４、および、状態推定部１０５に出力する。なお、このとき、負荷状況判定部１０３は、ドライバの負荷状況の情報を、例えば、ユーザの負荷が高い場合は、負荷「１」、ユーザの負荷が低い場合は、負荷「０」として、特徴量形成部１０４、および、状態推定部１０５に出力する。なお、これは一例にすぎず、負荷状況判定部１０３は、判定したユーザの負荷状況を、例えば、「高」、「低」等、文字列の情報で出力するようにしてもよいし、負荷状況判定部１０３は、判定したドライバの負荷状況を判別可能なデータフォーマットで、ドライバの負荷状況の情報を出力するようにすればよい。

図４のフローチャートに戻る。
特徴量形成部１０４は、機器４から出力される機器情報、音声入力装置３から出力される音声情報、直視方向算出部１０１から出力されるドライバの直視方向の情報に基づき、負荷状況判定部１０３から出力されるドライバの負荷状況に応じて、特徴量を形成する（ステップＳＴ４０４）。
このステップＳＴ４０４において特徴量形成部１０４が形成する特徴量は、状態推定部１０５においてドライバの状態を推定する際に必要となる。この実施の形態１において、ドライバの状態の推定に使用する学習モデルを作成する際には、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ。以下、ＳＶＭとする。）等の機械学習の方式を用いることを想定しており、特徴量形成部１０４が形成する特徴量が、機械学習の際の入力として用いられる。状態推定部１０５によるドライバの状態を推定する動作については後述する。

特徴量形成部１０４が特徴量を形成する動作について、具体例をあげて説明する。
例えば、ドライバが、ナビゲーション制御装置１が提供する経路案内情報に従って運転操作を行っている場合、走行中等、ドライバの負荷が高いときと、停車中等、ドライバの負荷が低いときでは、困惑時にあらわれる特徴が異なる。
具体的には、例えば、ドライバの負荷が高い走行中は、ドライバは表示装置の入力部を操作する余裕がなく、画面をちらちら見る等、ドライバの直視方向に困惑時の特徴があらわれる。
そこで、特徴量形成部１０４は、負荷状況判定部１０３から取得した負荷状況が「１」であり、ドライバの負荷が高いことを示している場合は、ドライバの直視方向と、音声情報と、車速とに基づき、特徴量を形成する。

この場合、特徴量形成部１０４は、ドライバの直視方向が画面の方向であるかどうかを判定し、ドライバの直視方向が画面の方向であれば「１」、ドライバの直視方向が画面の方向でなければ「０」とする。ドライバの直視方向が画面の方向であるかどうかの判定は、直視時間算出部１０２が直視時間の計算を行うときに用いる方法を用いて行えばよい（ステップＳＴ４０２参照）。特徴量形成部１０４は、直視時間算出部１０２からドライバの直視方向が画面の方向であるかどうかの情報を取得するようにしてもよい。

また、特徴量形成部１０４は、音声情報から、ドライバが発話中かどうかを判定し、発話中であれば「１」、ドライバが発話中でなければ「０」とする。ドライバが発話中であるかどうかは、既存の音声認識処理を用いて判定すればよい。
そして、特徴量形成部１０４は、ドライバの直視方向が画面の方向であるかどうかの情報と、ドライバが発話中であるかどうかの情報と、車速の情報とを３次元のベクトルに変換し、当該ベクトルを特徴量とする。

例えば、ドライバの直視方向が画面の方向である、かつ、ドライバが発話中である、かつ、車速が５０ｋｍ／時であるとすると、特徴量形成部１０４が形成する特徴量は、（１，１，５０）という３次元のベクトルとなる。当該ベクトルにおいて、１次元目が、ドライバの直視方向が画面の方向であるかどうかの情報、２次元目が、ドライバが発話中であるかどうかの情報、３次元目が、車速の情報である。
なお、特徴量形成部１０４は、車速を、車両に備えられた車速センサ（図示省略）から取得するようにすればよい。

一方、例えば、ドライバの負荷が低い停車中は、ドライバは画面を確認する余裕があり、次の交差点位置を確認しようと画面をタッチしたり、画面に表示されている地図の拡大、縮小を行ったりすることができるため、機器の操作情報に困惑時の特徴があらわれる。
そこで、特徴量形成部１０４は、負荷状況判定部１０３から取得した負荷状況が「０」であり、ドライバの負荷が低いことを示している場合は、画面のタッチ回数、画面遷移回数などの操作情報に基づき、特徴量を形成する。この実施の形態１では、例えば、特徴量形成部１０４は、ドライバの負荷が低い場合は、画面のタッチ回数、画面遷移回数、操作時間の情報から、特徴量を形成するものとする。

この場合、例えば、画面のタッチ回数が５回、画面遷移回数が３回、操作時間が３．５秒であったとすると、特徴量形成部１０４が形成する特徴量は、（５，３，３．５）という３次元のベクトルとなる。当該ベクトルにおいて、１次元目が、タッチ回数、２次元目が、画面遷移回数、３次元目が、操作時間である。
なお、特徴量形成部１０４は、画面のタッチ回数、画面遷移回数、操作時間の操作情報を、表示装置の入力部、あるいは、ナビゲーション制御装置１が備える入力受付部から取得するようにすればよい。

特徴量形成部１０４は、形成した特徴量を状態推定部１０５に出力する。
状態推定部１０５は、負荷状況判定部１０３から取得したドライバの負荷状況に応じて、特徴量形成部１０４から取得した特徴量と、負荷高時学習モデル１０６、あるいは、負荷低時学習モデル１０７のいずれかの学習モデルとを用いて、ドライバの状態を推定する（ステップＳＴ４０５）。なお、この実施の形態１では、状態推定部１０５が推定するドライバの状態とは、「通常」の状態であるか、あるいは、「困惑」の状態であるかの２値とする。

この実施の形態１では、上述したように、特徴量形成部１０４が形成した特徴量を学習モデルへの入力として用いて、ドライバの状態を推定する。
状態推定部１０５は、負荷状況判定部１０３から取得したドライバの負荷状況が「１」であり、ドライバの負荷が高いことを示している場合は、特徴量形成部１０４から取得した、負荷が高い場合の特徴量を入力とし、負荷高時学習モデル１０６を用いてドライバの状態を推定する。また、状態推定部１０５は、負荷状況判定部１０３から取得したドライバの負荷が「０」であり、ドライバの負荷が低いことを示している場合は、特徴量形成部１０４から取得した、負荷が低い場合の特徴量を入力とし、負荷低時学習モデル１０７を用いてユーザ状態を推定する。

負荷高時学習モデル１０６は、事前に、ユーザ、すなわち、ここではドライバの、負荷が高いときのみのデータを集めて学習したモデルであり、例えば、ＳＶＭであれば、ドライバが通常の状態である場合に入力される特徴量と、ドライバが困惑した状態である場合に入力される特徴量を分離する超平面の情報が記憶されている。
負荷低時学習モデル１０７は、事前に、ユーザ、すなわち、ここではドライバの、負荷が低いときのみのデータを集めて学習したモデルであり、例えば、ＳＶＭであれば、ドライバが通常の状態である場合に入力される特徴量と、ドライバが困惑した状態である場合に入力される特徴量を分離する超平面の情報が記憶されている。

負荷高時学習モデル１０６、および、負荷低時学習モデル１０７は、それぞれ、予め用意されており、一般的なアルゴリズムで学習し、作成されたものでよい。例えば、負荷高時学習モデル１０６、および、負荷低時学習モデル１０７は、線形回帰予測、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＳＶＭ等であればよい。なお、これは一例にすぎず、負荷高時学習モデル１０６、および、負荷低時学習モデル１０７は、その他の作成方法によって作成されたものであってもよい。

ステップＳＴ４０５において、状態推定部１０５がドライバの状態を推定する動作について、以下詳細に説明する。なお、ここでは、機械学習の方式として、ＳＶＭを例にとり、状態推定部１０５が推定するドライバの状態は、「通常」か「困惑」かであるものとして説明する。
ＳＶＭにおけるドライバの状態の推定を式で表わすと、以下の式となる。

ｙ＝ｗｘ−ｂ

ここで、ｘは、特徴量形成部１０４によって形成された特徴量であり、ｙは、「通常」か「困惑」かを示す値となる。
また、ｗ，ｂは、予め、大量の訓練データ、すなわち、大量に集められた「通常」状態および「困惑」状態のデータにより学習された分離平面、すなわち、超平面の情報となる。

状態推定部１０５は、特徴量ｘを入力として、負荷高時学習モデル１０６、あるいは、負荷低時学習モデル１０７を用いてドライバの状態を推定した場合、ｙの値が正であれば、「困惑」の状態、ｙの値が負であれば、「通常」の状態として、ドライバの状態を推定する。
負荷高時学習モデル１０６を用いてドライバの状態を推定する場合も、負荷低時学習モデル１０７を用いてドライバの状態を推定する場合も、状態推定部１０５は、上記式でドライバの状態を推定し、ドライバの負荷が高い場合と、ドライバの負荷が低い場合とで異なるのは、上記式中のｗ，ｂの内容、すなわち、事前に大量訓練データにより学習された学習モデルである。
そこで、状態推定部１０５は、ドライバの負荷が高い場合は、上記式に基づき、負荷高時学習モデル１０６を用いてドライバの状態を推定し、ドライバの負荷が低い場合は、上記式に基づき、負荷低時学習モデル１０７を用いてドライバの状態を推定する。

このように、状態推定部１０５は、ドライバの負荷状況に応じて、負荷高時学習モデル１０６と負荷低時学習モデル１０７とを切り替えてドライバの状態を推定することで、より精度よくドライバの状態を推定することができる。
また、上記式は行列演算となるため、学習モデルを切り替えることで、特徴量が想定された次元と異なると計算ができなくなることを防ぐ。

状態推定部１０５は、推定したドライバの状態の情報を、案内決定部１１に出力して処理を終了する。

次に、状態推定部１０５からドライバの状態の情報を取得した案内決定部１１の動作について説明する。
案内決定部１１は、状態推定部１０５から取得したドライバの状態の情報に基づき、ドライバの状態に応じて、出力装置５に出力させる案内の内容を決定し、決定した内容に従って経路案内情報を作成し、出力装置５に出力する。出力装置５は、経路案内情報を、音声として出力する。
例えば、ドライバが運転操作を行い、ナビゲーション制御装置１が、経路案内情報を作成し、出力装置５に出力しており、状態推定部１０５から取得したドライバの状態が「通常」であったとする。なお、ナビゲーション装置においては、通常時の経路案内として、予め、右折、左折の際は２つ手前の信号で右折、あるいは、左折の案内を行うという設定に基づき、案内経路の音声案内を行うものとする。
この場合、案内決定部１１は、予め設定された情報量、タイミングでの通常の経路案内情報を作成するものとし、当該経路案内情報を、出力装置５に出力する。出力装置５は、通常の経路案内情報に従い、例えば、右折の２つ手前の信号で、「２つ先の信号、右折です」といった音声を出力する。

一方、例えば、状態推定部１０５から取得したドライバの状態が「困惑」であった場合には、案内決定部１１は、通常時の経路案内に加え、さらに詳細な案内が必要と決定し、決定した内容に従って、例えば、通常の音声案内に加え、１つ手前の信号での案内も行う旨の経路案内情報を作成し、出力装置５に出力する。出力装置５は、１つ手前の信号での案内も行う経路案内情報を、音声として出力する。
例えば、ドライバが運転操作を行い、ナビゲーション制御装置１が、経路案内情報を作成し、出力装置５に出力しており、状態推定部１０５から取得したドライバの状態が「困惑」であったとする。なお、ナビゲーション装置においては、通常時の経路案内として、予め、右折、左折の際は２つ手前の信号で右折、あるいは、左折の案内を行うという設定に基づき、案内経路の音声案内を行うものとする。
この場合、案内決定部１１は、例えば、右折の２つ手前の信号と、さらに、１つ手前の信号で案内経路情報を作成するものとし、当該経路案内情報を、出力装置５に出力する。出力装置５は、右折の２つ手前の信号で、「２つ先の信号、右折です」といった音声を出力し、さらに、右折の１つ手前の信号で、「次の信号、直進です」といった音声を出力する。

状態推定装置１０は、より精度よく推定したドライバの状態を案内決定部１１に出力するため、案内決定部１１は、ドライバに対し、より的確に案内経路情報を作成し、出力装置５に出力させることができ、ドライバの道間違い等を軽減することができる。

なお、この実施の形態１では、案内決定部１１は、出力装置５による音声情報の出力を制御するものとしたが、これに限らず、案内決定部１１は、出力装置５による映像情報の出力を制御するものとしてもよいし、音声情報の出力と映像情報の出力とを同時に制御するものとしてもよい。具体的には、例えば、案内決定部１１は、出力装置５である表示装置に表示させる案内経路の情報について、状態推定部１０５が、ユーザの状態が「困惑」状態であると推定した場合には、出力装置５に対して、より詳細な案内経路の情報を表示装置に表示させる、あるいは、縮尺を大きくして表示装置に表示させる等の出力制御を行うようにすることもできる。また、例えば、出力装置５が、ヘッドアップディスプレイに案内経路を表示させるタイプである場合、案内決定部１１は、状態推定部１０５が、ユーザの状態が「困惑」状態であると推定した場合には、出力装置５に対して、曲がるべき地点を前方にＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）表示させる等の出力制御を行うようにすることもできる。
また、ここでは、案内決定部１１が、状態推定装置１０の外部にある例を示したが、これに限らず、案内決定部１１を、状態推定装置１０の内部に備える構成としてもよい。

また、この実施の形態１では、負荷状況判定部１０３は、負荷が「高い」、「低い」の二値で、ドライバの負荷状況を判定するものとしたが、これに限らず、例えば、負荷状況判定部１０３は、負荷が「高い」、「中ぐらい」、「低い」等、さらに細分化してドライバの負荷状況を判定するようにすることもできる。その場合は、状態推定部１０５がドライバの状態を推定する際に用いる学習モデルも、細分化された負荷状況に応じて予め作成しておくものとする。

また、この実施の形態１では、状態推定部１０５が推定するドライバの状態は、「通常」か「困惑」かとし、ドライバの困惑状態を推定するものとしたが、状態推定部１０５が推定するドライバの状態はこれに限らない。例えば、状態推定部１０５は、ドライバが興奮状態かどうかを推定するものであってもよいし、緊張状態かどうかを推定するものであってもよい。なお、状態推定部１０５が推定するドライバの状態に応じて、負荷高時学習モデル１０６と負荷低時学習モデル１０７を作成しておくようにする。

また、この実施の形態１では、図４のステップＳＴ４０３で説明したように、負荷状況判定部１０３は、直視時間算出部１０２が出力した画面方向への直視時間に基づき、ドライバの負荷状況を判定するようにした。すなわち、図４のステップＳＴ４０３では、負荷状況判定部１０３は、直視時間算出部１０２が出力した、直近の画面方向への直視時間に基づき、ドライバの負荷状況を判定するようにした。しかしながら、これに限らず、負荷状況判定部１０３は、例えば、１分間等、予め設定された時間分、直視時間算出部１０２から出力された画面方向への直視時間の情報を蓄積しておき、当該蓄積しておいた、予め設定された時間分の、画面方向への直視時間について、閾値未満であるかどうかを判定し、ユーザの負荷状況を判定するようにしてもよい。

以上のように、実施の形態１によれば、１または複数の機器４を使用するユーザに関する情報からユーザの負荷状況を判定する負荷状況判定部１０３と、負荷状況判定部１０３が判定した負荷状況に応じて決定した学習モデルとユーザに関する情報とに基づいてユーザの状態を推定する状態推定部１０５とを備えたので、より高精度にユーザの状態を推定することができる。
また、ユーザの顔を撮像した映像情報から算出される直視時間を負荷状況の判定に用いたので、近年、車両および携帯端末に搭載されていることが多いカメラを転用できるため、比較的簡易な構成とすることができる。

なお、この実施の形態１では、状態推定装置１０は、ナビゲーション制御装置１に組み込まれるものとし、ナビゲーション装置のユーザであるドライバの状態を推定するものとしたが、これは一例にすぎず、状態推定装置１０は、その他の機器を操作するユーザの状態を推定するものであってもよい。
例えば、状態推定装置１０は、作業手順を案内する案内装置、具体的には、例えば、工事現場等で用いられる作業点検用のタブレット端末を操作し、当該タブレット端末から提供される作業工程の案内を取得するユーザの状態を推定するようにすることもできる。具体的には、状態推定装置１０は、例えば、ユーザのタブレット端末の画面への直視時間からユーザの負荷状況を判定し、当該負荷状況に応じて、学習モデルを切り替えてユーザの状態を推定するようにする。そして、状態推定装置１０は、推定したユーザの状態に応じて、タブレット端末から音声出力、あるいは、表示させる、作業工程の手順の詳細度を変更させるようにすることもできる。

実施の形態２．
実施の形態１では、負荷状況判定部１０３は、直視時間算出部１０２が算出した画面方向への直視時間に基づき、ドライバの負荷状況を判定するようにしていた。
この実施の形態２では、負荷状況判定部１０３が、画面方向への直視時間と、機器情報とに基づき、ドライバの負荷状況を判定する実施の形態について説明する。

なお、この実施の形態２においても、一例として、状態推定装置１０は、車両等のドライバ提供する経路案内情報等を生成して、出力装置５から出力させるナビゲーション制御装置１に組み込まれたものとする。すなわち、状態推定装置１０は、ナビゲーション制御装置１および出力装置５等から構成されるナビゲーション装置のユーザであるドライバの状態を推定するものとして、以下説明する。

図６は、この発明の実施の形態２に係る状態推定装置１０の構成図である。
図６に示すように、この発明の実施の形態２に係る状態推定装置１０は、図２を用いて説明した実施の形態１に係る状態推定装置１０とは、負荷状況判定部１０３が、機器４からの機器情報も取得するようになった点が異なるのみである。状態推定装置１０の構成要素については図２で説明した実施の形態１の状態推定装置１０と同様であるため、同じ符号を付して重複した説明を省略する。

この発明の実施の形態２に係る状態推定装置１０のハードウェア構成についても、実施の形態１において図３を用いて説明したハードウェア構成と同様であるため、重複した説明を省略する。

動作について説明する。
図７は、この発明の実施の形態２に係る状態推定装置１０の動作を説明するフローチャートである。
図７において、ステップＳＴ４０１〜４０２，ステップＳＴ４０４〜４０５の具体的な動作は、実施の形態１において説明した図４のステップＳＴ４０１〜４０２，ステップＳＴ４０４〜４０５と同様であるため、重複した説明を省略する。
この実施の形態２では、実施の形態１において説明した図４のステップＳＴ４０３の具体的な動作が異なるのみである（図７のステップＳＴ７０３）ので、実施の形態１とは異なる、図７のステップＳＴ７０３の動作についてのみ説明する。

ステップＳＴ７０３において、負荷状況判定部１０３は、直視時間算出部１０２が出力した画面方向への直視時間と、機器４が出力した機器情報を取得し、取得した画面方向への直視時間と機器情報とに基づき、ドライバの負荷状況を判定する（ステップＳＴ７０３）。負荷状況判定部１０３が機器４から取得する機器情報とは、例えば、車速センサから取得する車速、または、舵角センサから取得するハンドルの舵角の情報等をいう。ここでは、負荷状況判定部１０３は、車速センサから車速を取得するものとする。

ここで、図８は、実施の形態２において、負荷状況判定部１０３が、ドライバの負荷状況を判定する動作を説明するフローチャートである。図８に沿って、図７のステップＳＴ７０３の動作を説明する。
負荷状況判定部１０３は、直視時間算出部１０２から取得した画面方向への直視時間が、Ｎ秒未満かどうかを判定する（ステップＳＴ８０１）。具体的な動作は、実施の形態１において説明した図５のステップＳＴ５０１と同様である。
ステップＳＴ８０１において、画面方向への直視時間が、Ｎ秒未満の場合（ステップＳＴ８０１の“ＹＥＳ”の場合）、負荷状況判定部１０３は、車速センサから取得した車速が、Ｖｋｍ／時以上であるかどうかを判定する（ステップＳＴ８０２）。なお、ここでは、ドライバの負荷状況を判定する際の、車速の閾値をＶｋｍ／時とするが、ドライバの負荷状況を判定する際の車速の閾値は、予め設定された速度とすればよい。
ステップＳＴ８０２において、車速がＶｋｍ／時以上である場合（ステップＳＴ８０２の“ＹＥＳ”の場合）、負荷状況判定部１０３は、ドライバは、表示装置の画面を直視する余裕がなく、ドライバの負荷は高いと判定する（ステップＳＴ８０３）。
ステップＳＴ８０２において、車速がＶｋｍ／時未満である場合（ステップＳＴ８０２の“ＮＯ”の場合）、負荷状況判定部１０３は、ドライバは、表示装置の画面を直視する余裕があり、ドライバの負荷は低いと判定する（ステップＳＴ８０４）。

一方、ステップＳＴ８０１において、画面方向への直視時間が、Ｎ秒以上の場合（ステップＳＴ８０１の“ＮＯ”の場合）、負荷状況判定部１０３は、ドライバは、表示装置の画面を直視する余裕があり、ドライバの負荷は低いと判定する（ステップＳＴ８０４）。
そして、負荷状況判定部１０３は、判定したドライバの負荷状況の情報を、特徴量形成部１０４、および、状態推定部１０５に出力する。なお、このとき、負荷状況判定部１０３は、ドライバの負荷状況の情報を、例えば、ユーザの負荷が高い場合は、負荷状況「１」、ユーザの負荷が低い場合は、負荷状況「０」として、特徴量形成部１０４、および、状態推定部１０５に出力する。なお、これは一例にすぎず、負荷状況判定部１０３は、判断したユーザの負荷状況を、例えば、「高」、「低」等、文字列の情報で出力するようにしてもよいし、負荷状況判定部１０３は、判断したドライバの負荷状況が判別可能なデータフォーマットで出力するようにすればよい。

なお、この実施の形態２では、負荷状況判定部１０３が、ドライバの負荷状況の判定の際に、ドライバの画面直視時間に加えて用いる機器情報は、車速センサから取得する車速情報としたが、これは一例にすぎない。例えば、車両が、ドライバの生理状態を検出可能な生体センサ等を備えている場合は、負荷状況判定部１０３は、当該生体センサからの情報を機器情報として取得し、ドライバの画面直視時間と生体センサからの情報とに基づき、ドライバの負荷状況を判定するようにしてもよい。

また、この実施の形態２においても、実施の形態１同様、負荷状況判定部１０３は、負荷が「高い」、「中ぐらい」、「低い」等、さらに細分化してドライバの負荷状況を判定するようにすることもできる。その場合は、状態推定部１０５がドライバの状態を推定する際に用いる学習モデルも、細分化された負荷状況に応じて予め作成しておくものとする。
また、この実施の形態２においても、実施の形態１同様、案内決定部１１を状態推定装置１０の内部に備えるようにしてもよい。また、案内決定部１１は、出力装置５による映像情報の出力を制御するものとしてもよいし、音声情報の出力と映像情報の出力とを同時に制御するものとしてもよい。

また、この実施の形態２でも、実施の形態１同様、状態推定装置１０は、ナビゲーション制御装置１に組み込まれるものとし、ナビゲーション装置を操作するユーザであるドライバの状態を推定するものとしたが、これは一例にすぎず、状態推定装置１０は、その他の機器を操作するユーザの状態を推定するものであってもよい。
例えば、状態推定装置１０が、作業手順の案内装置に組み込まれる場合に、機器情報を、案内装置が案内中の作業の工程を示す情報として、状態推定装置１０は、当該案内装置が案内中の作業の工程を示す情報と、ユーザの画面直視時間とに基づいて、ユーザの負荷状況を判定することもできる。具体的には、例えば、ユーザの画面直視時間が閾値未満であり、かつ、案内装置が案内中の作業の工程の難易度が高い、すなわち、案内装置が案内中の作業の工程が難しいという情報を機器情報として案内装置から取得した場合に、状態推定装置１０は、ユーザの負荷は高いと判定するようにすることができる。

以上のように、実施の形態２によれば、ユーザの画面方向への直視時間だけでなく、機器情報も利用してユーザの負荷状況を判定するようにしたので、ユーザの負荷状況の判定の精度が向上する。その結果、より高精度にユーザの状態を推定することができる。

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る情報機器は、機器を使用するユーザの状態をより高精度に推定することができるように構成したため、ユーザの状態を推定する情報機器、当該情報機器を備えたナビゲーション装置、および、当該情報機器を備えた作業手順の案内装置等に適用することができる。

１ ナビゲーション制御装置、２ カメラ、３ 音声入力装置、４ 機器、５ 出力装置、１０ 状態推定装置、１１ 案内決定部、１０１ 直視方向算出部、１０２ 直視時間算出部、１０３ 負荷状況判定部、１０４ 特徴量形成部、１０５ 状態推定部、１０６ 負荷高時学習モデル、１０７ 負荷低時学習モデル、３０１ 処理回路、３０２ ＨＤＤ、３０３ メモリ、３０４ ＣＰＵ。

Claims (13)

1. ユーザの直視方向を検出する直視方向検出部と、
   前記直視方向検出部が算出した前記ユーザの直視方向から、前記ユーザが表示画面を直視している画面直視時間を算出する直視時間算出部と、
   前記直視時間算出部が算出した画面直視時間から前記ユーザの負荷状況を判定する負荷状況判定部と、
   前記負荷状況判定部が判定した負荷状況に基づいて決定した学習モデルと、前記ユーザに関する情報とに基づいて、前記ユーザの状態を推定する状態推定部
   とを備えた情報機器。
2. 前記直視方向検出部は、前記ユーザの顔を撮像した映像情報に基づいて前記ユーザの直視方向を検出する
   ことを特徴とする請求項１記載の情報機器。
3. 前記負荷状況判定部は、前記画面直視時間に加え、前記ユーザが使用する１または複数の機器に関する機器情報も利用して、前記ユーザの負荷状況を判定する
   ことを特徴とする請求項１または請求項２項記載の情報機器。
4. 前記機器は、車両および車両の経路を案内するナビゲーション装置であり、
   前記機器情報は、車両の速度を示す情報、または、車両のハンドルの舵角を示す情報であり、
   前記表示画面は、前記ナビゲーション装置に備えられた表示画面である
   ことを特徴とする請求項３記載の情報機器。
5. 前記ユーザに関する情報は、音声情報をさらに含み、
   前記状態推定部は、前記負荷状況判定部により判定された負荷状況が、負荷が高いことを示す場合、前記音声情報、および、車両の速度を示す情報またはハンドルの舵角を示す情報、ならびに、前記直視方向と、負荷高時の学習モデルとに基づいて前記ユーザの状態を推定する
   ことを特徴とする請求項１または請求項２記載の情報機器。
6. 前記機器情報は、前記ユーザが前記機器に対して行った操作の情報を含み、
   前記状態推定部は、前記負荷状況判定部により判定された負荷状況が、負荷が低いことを示す場合、前記ユーザが前記機器に対して行った操作の情報と、負荷低時の学習モデルとに基づいて前記ユーザの状態を推定する
   ことを特徴とする請求項３記載の情報機器。
7. 前記機器は、作業手順の案内装置であり、
   前記機器情報は、前記案内装置が案内中の作業の工程を示す情報である
   ことを特徴とする請求項３記載の情報機器。
8. 前記案内装置は作業点検用の携帯端末装置であり、
   前記案内装置が案内中の作業の工程とは、点検中の工程である
   ことを特徴とする請求項７記載の情報機器。
9. 前記状態推定部が推定するユーザの状態は、ユーザの困惑状態、ユーザの興奮状態、ユーザの緊張状態のうちのいずれか１つである
   ことを特徴とする請求項１または請求項２記載の情報機器。
10. 前記機器は、ユーザに移動経路を案内するナビゲーション装置であり、
    前記状態推定部が推定するユーザの状態はユーザの困惑状態であり、
    ユーザが困惑していない状態では、通常の経路案内情報を生成し、ユーザが困惑している状態では、前記通常の経路案内情報に加えて、より詳細な経路案内情報を生成する案内決定部をさらに備えた
    ことを特徴とする請求項３記載の情報機器。
11. 請求項１記載の情報機器を備えたナビゲーション装置。
12. 請求項１記載の情報機器を備えた作業手順の案内装置。
13. 直視方向検出部が、ユーザの直視方向を検出するステップと、
    直視時間算出部が、前記直視方向検出部が算出した前記ユーザの直視方向から、前記ユーザが表示画面を直視している画面直視時間を算出するステップと、
    負荷状況判定部が、前記直視時間算出部が算出した画面直視時間から前記ユーザの負荷状況を判定するステップと、
    状態推定部が、前記負荷状況判定部が判定した負荷状況に基づいて決定した学習モデルと、前記ユーザに関する情報とに基づいて、前記ユーザの状態を推定するステップ
    とを備えた情報機器による負荷情報判定方法。

Images