JP6591085B2 - 乗り物酔い推定装置、乗り物酔い防止装置および乗り物酔い推定方法 - Google Patents

Description

本発明は、乗り物の乗員の乗り物酔いを推定する装置および方法に関するものである。

古くから移動する車内において新聞、本等の書類を読む、あるいはディスプレイを通じて映像を見る乗員は、路面状態、エンジン、又は線路の継ぎ目等に起因する車の振動を受け、その結果として乗り物酔いに悩まされてきた。乗り物酔いは、「動揺病」又は「加速度病」とも言われ、振動、特に不規則な加速・減速の反復が内耳の三半規管や前庭を刺激することによって起こる自律神経系の反応である。この乗り物酔いを抑える為に乗員は、窓から遠くを眺める、抗動揺病薬を服用する等の対策を用いたりしてきた。

また、乗り物酔いは、人間の三半規管から得た体の平衡感覚情報と人間の目が得た視覚情報とに矛盾が生じた場合にも生じるとされている。このことを根拠として、平衡感覚情報に合わせた映像を乗員に見せることにより、乗り物酔いの症状を解消するような研究もなされている（非特許文献１参照）。

乗り物酔いを抑える為の方法として、車両の加速度、又は、乗員の頭部の加速度の積分値に基づいて乗員の乗り物酔いを推定し、乗員の頭部の加速度を抑えるように車両をコントロールすることで乗り物酔いを抑制することを可能とする方法が提案されている。また、頭部にセンサを取り付けることは困難なため、姿勢データおよび耐圧分布などから頭部の加速度を推定していた（特許文献１参照）。

特開２００７−２３６６４４（第４−６頁、第２図） 北川悦司著、「乗り物内でのメディア利用時における動揺病抑制システムに関する研究開発」、映像情報メディア学会誌、Ｖｏｌ.６７,Ｎｏ.１１,ｐｐ.Ｊ３８８〜Ｊ３９９、２０１３

しかし、特許文献１のような乗り物酔い対策の技術では、頭部の加速度を検出するのみである。この技術では乗り物酔いの原因の一つである前庭動眼反射や視運動性眼振に起因する視線の揺れと、視線の先にある物体の揺れとの差を埋めることは出来ず、前庭動眼反射を検出できなかった。また、非特許文献１の方法では、乗員に端末を注視させ、端末との距離などの視聴条件も限定する必要がある等、乗員に特別な行動を強いる必要があった。

「前庭動眼反射」とは頭部に対して加速度がかかる方向と反対の方向に視線が動く反射機能である。例えば、前方を注視しているときに、首を上に振ると無意識に下方向に視線が移る機能が前庭動眼反射である。船の上や電車の車内など三半規管は加速度を感じているにもかかわらず、視界が変わらないとき平衡感覚情報と視覚情報とに矛盾が生じるため酔いの原因となる。

「視運動性眼振」とは遅い眼球運動と、速い眼球運動が繰り返されることで引き起こされる眼球の振動状態を言う。例えば、電車の窓から外の景色を見ているときのように、目の前を連続で通過していくものを追跡する遅い目の動きと、次の物を捉えようとする反対方向への速い動きが交互に反復することで生じる。視運動性眼振が眼外筋の異常な動きを引き起こす。その動きによって生じた神経信号が、前庭神経を介し自律神経系をつかさどる延髄を刺激して働きを乱し、吐き気のような症状を生じると考えられている。

本発明は、上述のような課題を解決するためになされたもので、視線の振動を検出することで、乗り物酔いを正しく推定でき、乗員に端末を注視させる等の特別な行動を強いる必要がない乗り物酔い推定装置を得ることを目的とする。

上記の目的を達成するため、本発明では撮像装置を用いて乗員の視線の振動を検出する視線振動検出部と、視線の先にある物体の振動を検出する物体振動検出部と、視線の振動と物体の振動とから振動差分を算出する振動比較部と、振動差分に基づいて乗員が乗り物酔いの状態にあるか判定を行う乗り物酔い判定部とを備える。

この構成により、視線振動検出部が乗り物内の乗員の視線の振動を検出し、物体振動検出部が乗員の視線の先にある物体の振動を検出し、振動比較部が視線の振動と物体の振動とから振動差分を算出し、乗り物酔い判定部が振動差分に基づいて乗員が乗り物酔いの状態にあるかを判定することで、乗員に端末を注視させる等の特別な行動を強いる必要がない、乗り物酔い推定装置を得ることが出来る。

本発明の実施の形態１に係る乗り物酔い推定装置を備えた乗り物酔い防止装置の構成を示すブロック図である。 本発明の実施の形態１に係る乗り物酔い防止装置を備えた車両の内部における構成要素の配置を示す説明図である。 本発明の実施の形態１に係る乗り物酔い防止装置の別の構成を示すブロック図である。 本発明の実施の形態１に係る乗り物酔い推定方法を示すフロー図である。 本発明の実施の形態２に係る乗り物酔い推定装置を備えた乗り物酔い防止装置の構成を示すブロック図である。 本発明の実施の形態２に係る乗り物酔い防止装置を備えた車両の内部における構成要素の配置を示す説明図である。 本発明の実施の形態２に係る乗り物酔い推定方法を示すフロー図である。 本発明の実施の形態２に係る乗り物酔い推定装置を備えた乗り物酔い防止装置の構成を示すブロック図である。 本発明の実施の形態３に係る乗り物酔い防止装置を備えた車両における構成要素の配置を示す説明図である。 本発明の実施の形態３に係る乗り物酔い推定方法を示すフロー図である。

実施の形態１
図１は、実施の形態１に係る乗り物酔い推定装置を備えた乗り物酔い防止装置の構成を示すブロック図である。乗り物酔い防止装置１０は、乗り物酔い推定装置１００、及び車両制御部１６０を備える。乗り物酔い推定装置１００は、視線振動検出部１１０、物体振動検出部１２０、振動比較部１３０、判定情報格納部１４０、乗り物酔い判定部１５０、及び警告表示部１７０を備える。視線振動検出部１１０は、乗員の視線の振動を検出する。物体振動検出部１２０は、乗員の見ている物体の振動を検出する。振動比較部１３０は、視線振動検出部１１０の出力である視線の振動の量と、物体振動検出部１２０の出力である視線の先にある物体の振動の量とを比較する。判定情報格納部１４０は、乗り物酔いになり得る振動の差分の閾値を格納する。ここで乗り物酔いになり得る振動の差分とは、視線振動検出部１１０の出力である視線の振動の量と、物体振動検出部１２０の出力である視線の先にある物体の振動の量との差分である。ここで閾値とは、その値より大きければ乗り物酔いになり得る振動の差分の値である。言い換えれば閾値とは、その値以下であれば乗り物酔いにならないであろう振動の差分の値である。乗り物酔い判定部１５０は、振動比較部１３０の出力と、判定情報格納部１４０の閾値とを比較し乗り物酔い状態を判定する。車両制御部１６０は、乗り物酔い判定部１５０が出力する判定結果に基づいて、車両の制御を行う。警告表示部１７０は、乗り物酔い判定部１５０が出力する判定結果に基づいて、乗員に警告し、休憩を促す。警告は、スピーカーを用いた音声による警告でも良く、また、車載ディスプレイ、ＨＵＤ（ヘッドアップディスプレイ）又はインパネ等に表示した画像による警告でも良い。なお、「ＨＵＤ（ヘッドアップディスプレイ）」とは、透明な光学ガラス素子に画像を投影すること等で人間の視野に直接情報を映し出すディスプレイである。また、「インパネ」とは、インストゥルメントパネルの略称であり、自動車の運転席正面に組み付けられた計器盤のことである。

なお、視線振動検出部１１０において、視線の振動を検出するには、撮像した目における黒目の位置の移動を振動として検出する。なお、「視線の振動」とは、目の中心と、見ている対象とを結ぶ線である視軸が振動していることであり、見ている対象が振動していることに起因する現象である。視線の振動を検出する方法としては、眼球電位法、オプティカルレバー法、サーチコイル法、強膜反射法、及び角膜反射法等がある。「眼球電位法」とは、眼球の電圧変化が眼球の回転角とほぼ比例関係にあることに着目し、眼のまわりに皮膚電極を取り付け眼球の電圧変化から眼球運動の計測をおこなうものである。「オプティカルレバー法」とは、端に小さな鏡を取り付けたコンタクトレンズを角膜に装着し、その鏡による光線の反射光を画像解析または光電変化で取り出す方法である。「サーチコイル法」とは、コンタクトレンズのまわりにコイルを取り付け、レンズの装着者を一様な交流磁場の内に置き、眼球の回転に比例した誘導電流を取り出すことで視線振動を検出する方法である。「強膜反射法」とは、黒目と白目との境界部分に微弱赤外線を照射し、その反射光をセンサで捉えることで眼球運動を計測する方法である。「角膜反射法」とは、点光源の照明を角膜に照射した際に明るく現れる角膜反射像の位置をもとに、眼球運動を計測する手法である。本発明は、上記のような眼球に対して計測用の物体を装着することを必要としない。

本発明は、乗員の視線振動を撮像することにより、視線の振動を検出するものである。視線の振動を検出するにあたっては、例えば、撮像した目における黒目を検出する。そして黒目の位置と、白目など黒目以外の位置との境界が、時間毎に移動しているかを検出する。移動している場合、視線振動があるものと判断する。例えば、境界の移動位置の移動の周波数の変化が大きければ振動量が大きいと判断できる。振動の方向を検出するにあたっては、乗員の視線振動を撮像するカメラを設置する際の設置方向を基準としてもよい。また、乗員の視線振動を撮像するカメラに加速度センサを取り付け、カメラの鉛直方向からのずれを検出してもよい。上記のようにカメラでの撮像による視線振動の検出の方向と、加速度センサによる物体の振動の検出の方向との基準を合わせることができる。

図２は、本発明の実施の形態１に係る乗り物酔い防止装置を備えた車両の内部における構成要素の配置を示す説明図である。図２に示す車両の内部には、車載カメラ２１０、加速度センサを取り付けた車載ディスプレイ２２０、振動比較部２３０、記憶装置２４０、判定部２５０、乗り物制御部２６０及びスピーカー２７０が配置されている。なお、図２における構成要素と、図１における構成要素の対応関係は以下のとおりである。車載カメラ２１０は、視線振動検出部１１０に相当する。加速度センサを取り付けた車載ディスプレイ２２０は、物体振動検出部１２０に相当する。振動比較部１３０は、振動比較部２３０に相当する。記憶装置２４０は、判定情報格納部１４０に相当する。判定部２５０は、乗り物酔い判定部１５０に相当する。乗り物制御部２６０は、車両制御部１６０に相当する。スピーカー２７０は、警告表示部１７０に相当する。

車載カメラ２１０は、検出対象となる乗員の視線振動を撮像により取得するデバイスである。また、車載カメラ２１０は、振動比較部２３０と接続される。なお、図２に示すカメラは、ワイヤハーネスなどの配線を介して接続されても良く、また無線による接続でも良い。また、カメラは、一般的なＲＧＢカメラでも良いし、ＩＲカメラでも良い。なお、「ＲＧＢカメラ」とは、異なった３本のケーブルなどを用いて、赤、緑、及び青の３色の信号を通信するカメラであり、一般に３つの独立したＣＣＤセンサを用いるものである。「ＩＲカメラ」とは、赤外線カメラであり、赤外線領域の波長に感度をもつカメラのことである。

図２においては、乗員が長時間見ることが想定される車載ディスプレイ２２０に加速度センサが備えられている。車載ディスプレイ２２０は、乗員の近距離に位置することから、振動による見た目上の移動量が遠距離の物体と比較して大きくなるため前述した視線の振動との差が大きくなる。よって、車載ディスプレイ２２０を注視することは、酔いの原因になりやすい。また、車載ディスプレイ２２０には、加速度センサを直接取り付けることも容易である。以上から車載ディスプレイ２２０に加速度センサを取り付けることで高精度に振動を計測し、乗り物酔い推定に利用できる。なお、加速度センサを取り付ける位置は車載ディスプレイ２２０に限定されない。

図２における振動比較部２３０は、車載カメラ２１０により検出された視線振動と、車載ディスプレイ２２０に備えられた加速度センサが検出した振動とを比較する。車載カメラ２１０により検出された視線振動と車載ディスプレイ２２０に備えられた加速度センサが検出した振動との差分を算出することで、乗り物酔いの原因となる前庭動眼反射の成分を抽出する。なお、差分を時間積分することでノイズの影響を低減した乗り物酔い推定としてもよい。

図２に示すスピーカー２７０は、振動比較部２３０から得た振動差分が閾値を超えたときに乗り物酔いに繋がる振動であると判断して乗員に警告を促すために備えられている。なお、本発明における乗り物酔い判定とは、乗り物酔いの兆候があるとの判定であり、乗員本人が乗り物酔いの状態にあると自覚するかしないかに関わらず、乗員の周囲の状況から判定をおこなうものである。

図２に示す乗り物制御部２６０は、振動比較部２３０から得た振動差分を抑制する。例えば乗り物制御部２６０は、人の揺れを抑える為に乗員の座っているシートのサスペンションを調節する。なお、車両のシートにおける「サスペンション」とは、路面の凹凸を車体に伝えない緩衝装置としての機能を持つことであり、乗り心地や操縦安定性などを向上させる機構である。また、乗り物制御部２６０は、車載ディスプレイを保持するシートのサスペンションを調節する。また、乗り物制御部２６０は、揺れを抑える為に減速する。また、乗り物制御部２６０は、カーナビと連携することで路面状態のよいルートを提示する。また、乗り物制御部２６０は、休憩可能な地点を提示する。

本発明による乗り物酔い抑制効果を高めるために車両内環境の変化により乗員の乗り物酔いの発生を抑制する、あるいは乗り物酔いの程度を低減させてもよい。例えば、車両内環境の変化とは、車両内に芳香物質を散布することである。また、車両内環境の変化とは、乗員をリラックスさせること等を目的とし、楽曲を再生することである。また、車両内環境の変化とは、乗員に外気をあてること等を目的とし、窓を開閉することである。また、車両内環境の変化とは、乗員を快適にすること等を目的とし、エアコンを調節することである。また、車両内環境の変化とは、乗員に圧迫感を感じさせない等を目的とし、シートベルトの拘束状態を変更することである。

なお上記の説明では、本発明をハードウエアにより実現するものとして説明したが、図１に示される信号処理の一部又は全部をソフトウエアにより、即ちプログラムされたコンピュータにより実現することも可能である。

図３は、本発明の実施の形態１に係る乗り物酔い防止装置の別の構成を示すブロック図である。図示の乗り物酔い推定装置は、ＣＰＵ１１と、プログラムメモリ１２と、データメモリ１３と、これらを接続するバス１４と、インターフェース１５と、警告表示部１６とを有する。なお、「ＣＰＵ」とは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称であり、演算や制御を行う装置である。
ＣＰＵ１１は、プログラムメモリ１２に記憶されたプログラムに従って動作する。動作の過程で種々のデータをデータメモリ１３に記憶させる。推定の結果、インターフェース１５を介して警告表示部１６に供給される。また、推定の結果、インターフェース１５を介して車両の動作部１７に供給される。動作部１７とは、例えばシートのサスペンス調整１７ａである。また、動作部１７とは、カーナビ１７ｂである。動作部１７は、サスペンス調整やカーナビで構成され、いずれか一つで構成されても、それら複数で構成されてもよい。なお、動作部１７は、上記の説明における車両制御部１６０又は乗り物制御部２６０に相当する。
以下、ＣＰＵ１１により行なわれる処理を、図４を参照して説明する。

図４は、本発明の実施の形態１に係る乗り物酔い推定方法を示すフロー図である。図４に示される乗り物酔い推定方法は、走行判断ステップＳ１０、推定開始信号生成ステップＳ２０、撮像ステップＳ３０、領域抽出ステップＳ４０、視線振動検出ステップＳ５０、物体振動検出ステップＳ６０、振動比較ステップＳ７０、乗り物酔い推定ステップＳ８０、車両制御ステップＳ９０、乗り物酔い警告ステップＳ１００及びエンジン停止判断ステップＳ１１０を有する。

走行判断ステップＳ１０は、車両の状態が走行状態にあるか、走行状態にないかを判断する。走行中の判定をＣＡＮの情報等から収集し判定する。「ＣＡＮ」とは、Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋの略称であり、車載機器間の通信技術として開発された電子回路及び各装置を接続するためのネットワーク規格である。

走行状態にあると判断した場合、推定開始信号生成ステップＳ２０で、推定開始信号がヘッドユニットから生成され、車載カメラ２１０とそれに付随する照明に供給される。「ヘッドユニット」とは、オーディオ、カーナビ等を制御するユニットの総称である。次に、撮像ステップＳ３０で供給信号を受けた車載カメラ２１０が乗員を撮像する。

領域抽出ステップＳ４０では、車載カメラ２１０に付随する装置が乗員の目の領域を抽出する。視線振動検出ステップＳ５０では、検出した目の領域の映像から視線とその振動とを検出する。視線振動検出ステップＳ５０の結果は、振動比較ステップＳ７０に送られる。一方、走行判断ステップＳ１０で走行状態にないと判断した場合、エンジン停止判断ステップＳ１１０でエンジンの状態がエンジン停止状態にあるか、エンジン停止状態にないかを判断する。走行中の場合は乗り物酔い推定を継続するが、停車している場合推定は行わない。停車状態でかつ、エンジンも停止している状態の場合には推定は終了する。

また、推定開始信号生成ステップＳ２０で、乗り物酔いにあるかの推定を開始した後に、車載モニタ振動抽出ステップＳ６０では、車載モニタの振動を抽出する。振動比較ステップＳ７０では、視線振動検出ステップＳ５０の結果である視線の振動と車載モニタ振動抽出ステップＳ６０の結果である車載モニタの振動とから振動差分を算出する。乗り物酔い推定ステップＳ８０では、乗り物酔い推定データを基に、振動差分から乗り物酔い推定をおこなう。車両制御ステップＳ９０では、乗り物酔い推定の結果により、車両の動作部の制御をおこなう。また、乗り物酔い警告ステップＳ１００では、乗り物酔い推定の結果により、乗り物酔いの警告を発する。そして、走行判断ステップＳ１０に戻ることで上記のフローを繰り返す。

以上が乗り物酔い推定装置及び乗り物酔い推定方法の動作である。上記の構成により、乗り物内の乗員の状態と、乗員の視線の先にある物体の揺れとを検出し、推定手段がそれらの振動を比較することで、乗員の乗り物酔い状態を推定することが出来る。また、推定結果を基に車両制御部により車両の制御をおこなうことで乗員の乗り物酔いを防止することが出来る。

実施の形態２
図５は、実施の形態２に係る乗り物酔い推定装置を備えた乗り物酔い防止装置の構成を示すブロック図である。乗り物酔い防止装置３０は、乗り物酔い推定装置３００、及び車両制御部３６０を備える。乗り物酔い推定装置３００は、視線振動検出部３１０、物体振動検出部３２０、振動比較部３３０、判定情報格納部３４０、乗り物酔い判定部３５０、及び警告表示部３７０を備える。視線振動検出部３１０は、乗員の視線と視線の振動とを検出する。物体振動検出部３２０は、視線振動検出部３１０で検出した視線の先の物体を撮像し、その物体の振動を検出する。振動比較部３３０は、視線振動検出部３１０の出力である視線の振動の量と、物体振動検出部３２０の出力である視線の先にある物体の振動の量とを比較する。振動比較部３３０により算出された振動差分は、乗り物酔い判定部３５０に入力される。乗り物酔い判定部３５０は、判定情報格納部３４０からの閾値と、振動差分とを比較した結果で乗り物酔い判定をおこなう。閾値とは、実施の形態１での説明と同様に、その値より大きければ乗り物酔いになり得る振動の差分の値である。車両制御部３６０は、乗り物酔い判定部３５０が出力する判定結果に基づいて、車両の制御を行う。警告表示部３７０は、乗り物酔い判定部３５０が出力する判定結果に基づいて、乗員に警告し、休憩等を促す。警告は、実施の形態１と同様に音声による警告でも良く、また、画像による警告でも良い。

図６は、本発明の実施の形態２に係る乗り物酔い防止装置を備えた車両の内部における構成要素の配置を示す説明図である。図６に示す車両の内部には、車載カメラ（視線検出用）４１０、車載カメラ（視線先の物体撮像用）４２０、振動比較部４３０、記憶装置４４０、判定部４５０、乗り物制御部４６０及びスピーカー４７０が配置されている。なお、図６における構成要素と、図５における構成要素の対応関係は以下のとおりである。車載カメラ４１０は、視線振動検出部３１０に相当する。車載カメラ（視線先の物体撮像用）２２０は、物体振動検出部３２０に相当する。振動比較部４３０は、振動比較部４３０に相当する。記憶装置４４０は、判定情報格納部３４０に相当する。判定部４５０は、乗り物酔い判定部３５０に相当する。乗り物制御部４６０は、車両制御部３６０に相当する。スピーカー４７０は、警告表示部３７０に相当する。

車載カメラ４１０は、検出対象となる乗員の視線振動を、乗員を撮像することにより取得するデバイスである。車載カメラ４１０は、振動比較部４３０と接続される。車載カメラ４２０も同様に、振動比較部４３０と接続される。

車載カメラ４２０は、車内又は車外に存在する一台以上のカメラである。車載カメラ４２０は、車載カメラ４１０で得た乗員の視線の先にある物体を特定し、撮像映像より物体の振動を得るものである。車載カメラ４１０で得た視線の先の物体を特定するには瞳孔の位置をもとにしても良い。また、視線の先の物体を特定するには顔向きを基にしても良い。あるいは、視線の先の物体を特定するには瞳に映る像を参考にしても良い。任意の物体の振動と比較することが可能になるため、例えば、読書をする乗員や、携帯電話を操作している乗員の酔いも推定することできる。なお、車載カメラ４１０及び車載カメラ４２０は、ワイヤハーネスなどの配線を介して接続されても良く、また無線による接続でも良い。

振動比較部４３０は、車載カメラ４２０により検出された視線振動と、車載カメラ４１０から取得した視線の先にある物体の振動とを比較する。振動比較部４３０は、振動の差分を算出することで前庭動眼反射による振動を抽出する。

判定情報格納部４４０は、振動比較装置４３０の出力する振動の差分から乗り物酔い判定をおこなう際の閾値を格納する。

乗り物酔い推定装置４５０は、振動比較装置４３０の出力する振動の差分と、判定情報格納装置４４０が有する乗り物酔いの程度に応じた閾値とを比較することで乗り物酔いの程度を判定できる。

乗り物制御部４６０は、振動比較部４３０から得た振動差分を抑制する。例えば、乗り物制御部４６０は、人の揺れを抑える為に乗員の座るシートのサスペンションを調節する。また、乗り物制御部４６０は、揺れを抑える為に減速する。また、乗り物制御部４６０は、カーナビと連携することで路面状態のよいルートを提示する。また、乗り物制御部４６０は、休憩可能な地点を提示する。

スピーカー４７０は、振動比較部４３０から得た振動差分が閾値を超えたときに乗り物酔いに繋がる振動であると判断して乗員に警告を促す。なお、振動差分と閾値との比較により酔いに繋がる振動であると判断することは、振動比較部４３０等のスピーカー４７０と接続された部分でおこない、スピーカー４７０には判断結果が送られる構成としてもよい。

上記でハードウエアにより実現するものとして説明したが、ソフトウエアにより実現するものとして説明する。

実施の形態１の乗り物酔い推定方法で説明した場合と同様に、乗り物酔い推定方法のソフトウエアを実行するための乗り物酔い推定装置は、実施の形態１で説明した時と同様に図３で示され、以下、ＣＰＵ１１により行なわれる処理を、図７を参照して説明する。

図７は、本発明の実施の形態２に係る乗り物酔い推定方法を示すフロー図である。図７に示される乗り物酔い推定方法は、走行判断ステップＳ１０、推定開始信号生成ステップＳ２０、撮像ステップＳ３０、領域抽出ステップＳ４０、視線振動検出ステップＳ３５０、物体撮像ステップＳ３６０、物体振動検出ステップＳ３６５、振動比較ステップＳ７０、乗り物酔い推定ステップＳ８０、車両制御ステップＳ９０、乗り物酔い警告ステップＳ１００及びエンジン停止判断ステップＳ１１０を有する。なお、図７のステップの符号は、実施の形態１と同様な動作をおこなうステップには同じ符号を割り当てている。

走行判断ステップＳ１０は、車両の状態が走行状態にあるか、走行状態にないかを判断する。走行状態にあると判断した場合、推定開始信号生成ステップＳ２０で、乗り物酔いにあるかの推定を開始する。一方、走行判断ステップＳ１０で走行状態にないと判断した場合、エンジン停止判断ステップＳ１１０でエンジンの状態がエンジン停止状態にあるか、エンジン停止状態にないかを判断する。走行中の場合は乗り物酔い推定を継続するが、停車している場合推定は行わない。停車状態でかつ、エンジンも停止している状態の場合には推定は終了する。乗り物酔いにあるかの推定を開始した場合は、次に撮像ステップＳ３０で乗員を撮像する。

領域抽出ステップＳ４０では、乗員の目の領域を抽出する。視線振動検出ステップＳ３５０では乗員の目領域画像から視線と視線振動を検出する。視線振動検出ステップＳ３５０の結果は、物体撮像ステップＳ３６０と振動比較ステップＳ７０とに送られる。

物体撮像ステップＳ３６０では、乗員の視線情報を基に視線先の物体を特定し撮像する。カメラの代わりにＬＩＤＡＲや、レーザー光源を備え、干渉計を構成することで振動物の反射光より振動検出しても良い。なお、「ＬＩＤＡＲ」とは、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇの略称であり、パルス状に発光するレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離やその対象の性質を分析するリモートセンシング技術である。

物体振動検出ステップＳ３６５では、視線先物体の振動を検出する。入力する映像中の対象物体の振動を検出する。検出方法としてはカメラで撮像した映像を利用しても良いし、レーザーで測距した情報から振動を検出しても良い。

振動比較ステップＳ７０では、視線の振動と視線先物体の振動とから振動差分を算出する。乗り物酔い推定ステップＳ８０では、乗り物酔い推定データを基に、振動差分から乗り物酔い推定をおこなう。車両制御ステップＳ８０では、乗り物酔い推定の結果により、車両の制御をおこなう。また、乗り物酔い警告ステップＳ１００では、乗り物酔い推定の結果により、乗り物酔い状態にあるとの警告を発する。そして、走行判断ステップＳ１０に戻ることで上記のフローを繰り返す。

以上が実施の形態２における乗り物酔い推定装置及び乗り物酔い推定方法の動作である。実施の形態２による乗り物酔い推定装置及び乗り物酔い推定方法でも、実施の形態１による乗り物酔い推定装置及び乗り物酔い推定方法と同様の効果が得られる。

実施の形態３
図８は、実施の形態３に係る乗り物酔い防止装置を備えた乗り物酔い防止装置の構成を示すブロック図である。乗り物酔い防止装置５０は、乗り物酔い推定装置５００、及び車両制御部５８０を備える。乗り物酔い推定装置５００は、視線振動検出部５１０、速度計測部５２０、車外撮像検出部５３０、物体振動検出部５４０、振動比較部５５０、判定情報格納部５６０、乗り物酔い判定部５７０、及び警告表示部５９０を備える。視線振動検出部５１０は、乗員の視線と、眼振を検出する。速度計測部５２０は、車両の速度を計測する。車外撮像部５３０は、ＬＩＤＡＲ、ステレオカメラ、又は単眼カメラ等の撮像手段を用いて車外を撮影することで距離画像を得る。「距離画像」とは、奥行きの情報を、色、又は単色の濃淡等で表現した画像である。なお、ＬＩＤＡＲは上記に記載の通り、パルス状に発光するレーザー照射に対する散乱光を測定することで対象までの距離を算出する。ステレオカメラは、左右２台のカメラによって撮影することで画像の視差データを生成し、レンズから対象までの距離を測定する。単眼カメラを用いる場合は、例えばＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）と呼ばれる手法を用いて カメラを動かしながら撮影した複数視点の画像から距離を計算する。物体振動検出部５４０では、乗員の視点とサイドガラスの位置から、乗員がサイドガラスを通して見ることのできる外景における視点範囲を、車両から一番近い位置にある物体であると仮定することにより視点範囲を推定する。速度計測部５２０から得た車両の速度、及び車外撮像部５３０から得た車外の物体との距離とから物体の相対速度を算出し、視点範囲にある物体が進行方向に対して一定周期で繰り返すパターンを構成している際に振動として周期を算出する。なお、ＬＩＤＡＲ、ステレオカメラ等の撮像手段を用いて得られる距離画像で計測できる距離範囲は一般に２００メートルほどである。２００メートルを超える遠方にある物体や景色を見る場合には乗り物酔いは起こりにくいため、上記手段を用いて計測した範囲での物体の振動を検出すれば乗り物酔いの検出としては必要十分と考えられる。そして乗員の見ている物体が車両の移動に応じて一定周期で変化することを上記撮像手段により振動として検出する。振動比較部５５０では眼振の周期と、注視する物体が変化する周期との差を出力する。注視する物体が変化する周期とは、例えば道路脇に一定間隔で立てられた柱などを走行中の車両から観測する際の周期を言う。判定情報格納部５６０では眼振の周期が乗り物酔いになり得るものかどうか判定するための情報を格納する。乗り物酔い判定部５７０では、振動比較部５５０から出力される差分が閾値以下かつ、周期が判定情報格納部５６０の閾値以上の場合、車外の物体を目で追うことにより視運動性眼振が生じ、乗り物酔いになり得る状態にあると判定する。車両制御部５８０では外を見ていることで乗り物酔いになり得る状態にあると判断された時、調光ガラスを用いてスモークを掛けるなどによりサイドガラスからの外景を遮ることで眼振を防ぐ。警告表示部５９０では、外を見ていることで乗り物酔いになり得る状態にあると判断された時、車外の遠くの物体や、車両前方を見るようにスピーカーや表示器で警告する。

図９は、本発明の実施の形態３に係る乗り物酔い防止装置を備えた車両の内部における構成要素の配置を示す説明図である。図９に示す車両には、車載カメラ（視線・眼振検出用）６１０、速度計６２０、車外撮像手段（ＬＩＤＡＲ、カメラ）６３０、物体振動検出部６４０、振動比較部６５０、記憶装置６６０、判定部６７０、乗り物制御部６８０、及びスピーカー６９０が配置されている。なお、図９における構成要素と、図８における構成要素の対応関係は以下のとおりである。車載カメラ６１０は、視線振動検出部５１０に相当する。速度計５２０は、速度計測部５２０に相当する。車外撮像手段（ＬＩＤＡＲ、カメラ）６３０は、車外撮像部５３０に相当する。また、車外撮像手段（ＬＩＤＡＲ、カメラ）６３０は、距離計測部とも言える。物体振動検出部６４０は、物体振動検出部５４０に相当する。振動比較部６５０は、振動比較部５５０に相当する。記憶装置６６０は、判定情報格納部５６０に相当する。判定部６７０は、乗り物酔い判定部５７０に相当する。乗り物制御部６８０は、車両制御部５８０に相当する。スピーカー６９０は、警告表示部５９０に相当する。

車載カメラ６１０は、検出対象となる乗員の視線振動を、乗員を撮像することにより取得するデバイスである。ここでは視線振動の中でも眼振を検出する。車載カメラ６１０は、振動比較部６５０と接続される。

速度計６２０は、車両の速度を計測する装置である。物体振動を算出する際に車速を利用する。速度計６２０は、物体振動検出部６４０と接続される。

車外撮像手段６３０は、車内又は車外に存在する一台以上の距離センサである。距離センサは、ＬＩＤＡＲ、ステレオカメラ、単眼カメラ、又はレーダーなど距離が計測できる装置である。距離センサは、周囲の車外にある物体との距離を計測することで、見ている物体の特定に活用される。

物体振動検出部６４０は、車速及び車外の物体との距離、乗員の視線方向より乗員が見ている物体を特定し、見ている物体が変化する周期を振動として検出する。

振動比較部６５０は、車載カメラ６１０が検出した乗員の眼振の周期と、物体振動検出部６４０が検出する周期との差を算出し出力する。

判定部６７０は、振動比較部６５０の出力が閾値以下の場合、記憶装置６６０に格納された閾値と眼振の周期を比較し、乗り物酔いになり得る周期で眼振が生じているか判定する。

車両制御部６８０は、乗員が乗り物酔いになり得る状態にあるとき車外の車両近傍を見えないようスモークで視界を遮る。また、警告表示部６９０で、画像や音声による警告を促す。

実施の形態１の乗り物酔い推定方法で説明した場合と同様に、乗り物酔い推定方法のソフトウエアを実行するための乗り物酔い推定装置は、実施の形態１で説明した時と同様に図３で示され、以下、ＣＰＵ１１により行なわれる処理を、図１０を参照して説明する。

図１０は、本発明の実施の形態３に係わる乗り物酔い推定方法を示すフロー図である。図１０に示される乗り物酔い推定方法は、走行判断ステップＳ１０、推定開始信号生成ステップＳ２０、撮像ステップＳ３０、領域抽出ステップＳ４０、視線・眼振検出ステップＳ５５０、視線判断ステップＳ５５１、距離計測ステップＳ５５２、視点範囲推定ステップＳ５５３、車速検出ステップＳ５５４、振動算出ステップＳ５５５、振動比較ステップＳ７０、乗り物酔い推定ステップＳ８０、車両制御ステップＳ９０、乗り物酔い警告ステップＳ１００及びエンジン停止判断ステップＳ１１０を有する。なお、図１０のステップの符号は実施の形態１及び実施の形態２と同様な動作を行うステップには同じ符号を割り当てている。

走行判断ステップＳ１０は、車両の状態が走行状態にあるか、走行状態にないかを判断する。走行中の判定をＣＡＮの情報等から収集し判定する。

走行状態にあると判断した場合、推定開始信号生成ステップＳ２０で、推定開始信号がヘッドユニットから生成され、車載カメラ６１０とそれに付随する照明に供給される。次に、撮像ステップＳ３０で供給信号を受けた車載カメラ６１０が乗員を撮像する。

領域抽出ステップＳ４０では、車載カメラ６１０に付随する装置が乗員の目の領域を抽出する。視線・眼振検出ステップＳ５５０では、検出した目の領域の映像から視線と眼振とを検出する。眼振は、眼球の角速度および周期により検出する。視線・眼振検出ステップＳ５５０の結果を元に視線判断ステップＳ５５１より視線が車外に向いているかを判定し、眼振の程度を眼球の角速度により算出する。

距離計測ステップＳ５５２では、自車と周囲の物体との距離を計測する。

視点範囲推定ステップＳ５５３では、乗員の視点とサイドガラスの位置から、乗員がサイドガラスを通して見ることのできる外景における視点範囲を、車両から一番近い位置にある物体であると仮定することにより視点範囲を推定する。

車速検出ステップＳ５５４では、自車の速度を計測する。自車の速度は乗員が見ている物体を特定する際に利用する。

振動算出ステップＳ５５５では、視点範囲推定ステップＳ５５３で推定された視点範囲にある物体の自車からの距離と自車の速度とから物体の相対速度を算出し、視点範囲にある物体が進行方向に対して一定周期で繰り返すパターンを構成している際に振動として周期を算出する。

振動比較ステップＳ７０では、視線・眼振検出ステップＳ５５０の出力である眼振の周期と振動算出ステップＳ５５５の出力との差を算出する。

乗り物酔い推定ステップＳ８０では振動比較ステップＳ７０の出力が閾値以下の場合、眼振の周期と乗り物酔い推定データを比較することで、乗り物酔いになり得る周期で眼振が生じているか判定する。乗り物酔いになり得ると判定された場合、車外車両近傍を見えないように車両制御ステップＳ９０で調光ガラスやサンシェードで制御する、又は乗り物酔い警告ステップＳ１００で遠くや、車両前方を見るように警告することにより乗り物酔いを改善する。そして、走行判断ステップＳ１０に戻ることで上記のフローをくりかえす。

以上が実施の形態３における乗り物酔い推定装置及び乗り物酔い推定方法の動作である。実施形態３による乗り物酔い推定装置及び乗り物酔い推定方法でも実施の形態１及び実施の形態２と同様の効果が得られる。

なお、以上の説明においては、乗員の乗る乗り物を車両として説明したが、例えば船舶や飛行機など移動中に振動する乗り物であれば車両に限るものではない。車外撮像手段６３０は、車外にある物体との距離を計測するとして説明したが、乗り物の外部にある物体との距離を計測する外部撮像手段又は外部撮像部であってもよい。

なお、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。

１０ 乗り物酔い防止装置
１００ 乗り物酔い推定装置
１１０ 視線振動検出部
１２０ 物体振動検出部
１３０ 振動比較部
１４０ 判定情報格納部
１５０ 乗り物酔い判定部
１６０ 車両制御部
１７０ 警告表示部
２１０ 車載カメラ
２２０ 加速度センサを取り付けた車載ディスプレイ
２３０ 振動比較部
２４０ 記憶装置
２５０ 判定部
２６０ 乗り物制御部
２７０ スピーカー
３０ 乗り物酔い防止装置
３００ 乗り物酔い推定装置
３１０ 視線振動検出部
３２０ 物体振動検出部
３３０ 振動比較部
３４０ 判定情報格納部
３５０ 乗り物酔い判定部
３６０ 車両制御部
３７０ 警告表示部
４１０ 車載カメラ（視線検出用）
４２０ 車載カメラ（視線先の物体撮像用）
４３０ 振動比較部
４４０ 記憶装置
４５０ 判定部
４６０ 乗り物制御部
４７０ スピーカー
５０ 乗り物酔い防止装置
５００ 乗り物酔い推定装置
５１０ 視線振動検出部
５２０ 速度計測部
５３０ 距離計測部
５４０ 物体振動検出部
５５０ 振動比較部
５６０ 判定情報格納部
５７０ 乗り物酔い判定部
５８０ 車両制御部
５９０ 警告表示部
６１０ 車載カメラ（眼振検出用）
６２０ 速度計
６３０ 車外撮像手段（ＬＩＤＡＲ、カメラ）
６４０ 物体振動検出部
６５０ 振動比較部
６６０ 記憶装置
６７０ 判定部
６８０ 乗り物制御部
６９０ スピーカー

Claims (8)

1. 撮像装置を用いて乗員の視線の振動を検出する視線振動検出部と、
   前記視線の先にある物体の振動を検出する物体振動検出部と、
   前記視線の振動と前記物体の振動とから振動差分を算出する振動比較部と、
   前記振動差分に基づいて前記乗員が乗り物酔いの状態にあるか判定を行う乗り物酔い判定部と
   を備えることを特徴とする乗り物酔い推定装置。
2. 前記物体振動検出部は、前記物体の加速度を計測することによって前記物体の振動を検出する
   ことを特徴とする請求項１に記載の乗り物酔い推定装置。
3. 前記物体振動検出部は、撮像装置により前記物体の振動を検出する
   ことを特徴とする請求項１に記載の乗り物酔い推定装置。
4. 前記乗り物酔い判定部は、前記振動差分の時間積分値を前記判定に用いる
   ことを特徴とする請求項１から３のいずれか１項に記載の乗り物酔い推定装置。
5. 前記乗り物酔い判定部が、前記乗員に乗り物酔いの兆候があると判定したとき、警告を発する警告表示部をさらに備える
   ことを特徴とする請求項１から４のいずれか１項に記載の乗り物酔い推定装置。
6. 請求項１から５のいずれか１項に記載の乗り物酔い推定装置と、
   乗り物制御部とを備え、
   前記乗り物制御部は、前記乗り物酔い判定部の判定結果を基に、前記振動差分を減少させるように前記乗員が乗っている乗り物の状態を制御する
   ことを特徴とする乗り物酔い防止装置。
7. 撮像装置を用いて乗員の視線の振動を検出する視線振動検出部と、
   前記乗員の乗る乗り物の速度を計測する速度計測部と、
   前記乗り物の外部を撮影し前記乗り物と前記外部にある物体との距離を計測する外部撮像部と、
   前記速度及び前記距離から前記物体が前記外部撮像部に映る進行方向に対して一定周期で繰り返すパターンを構成する際に前記物体が進行方向に対して繰り返す周期を前記物体の振動として検出する物体振動検出部と、
   前記視線の振動と前記物体の振動とから振動差分を算出する振動比較部と、
   前記振動差分に基づいて前記乗員が乗り物酔いの状態にあるか判定を行う乗り物酔い判定部と
   を備えることを特徴とする乗り物酔い推定装置。
8. 撮像装置を用いて乗員の視線の振動を検出する視線振動検出ステップと、
   前記視線の先にある物体の振動を検出する物体振動検出ステップと、
   前記視線の振動と前記物体の振動とから振動差分を算出する振動比較ステップと、
   前記振動差分に基づいて前記乗員が乗り物酔いの状態にあるか判定を行う乗り物酔い推定ステップと
   を備えることを特徴とする乗り物酔い推定方法。

Images