JP7252232B2 - 移動中の対象者における乗り物酔いを軽減するためのシステム及び該システムの作動方法、並びにコンピュータプログラム - Google Patents

Description

本発明は、ビデオ画像の分析を使用した乗り物酔いの発症の検知に関する。

生体のビデオシーケンスを分析し、この生体の生理学的プロセスの結果としてもたらされる画像における小さな変化を検知することが可能である。これらの生理学的プロセスには、血流、呼吸、発汗などがある。これらのプロセスの測定結果は、しばしば生命徴候と称される。

特定の生理学的プロセスは、皮膚の反射率の変動を介して観察され得る。人間の皮膚は、少なくとも２つのレイヤを有するオブジェクトとしてモデル化され得、これらのレイヤのうちの一方は表皮（薄い表面レイヤ）であり、他方は真皮（表皮の下のより厚いレイヤ）である。入射する光線のうちの５％程度は、皮膚表面において反射される。残りの光は、２つの皮膚レイヤ内で、身体反射（二色性反射モデルにおいて説明される）として知られる現象によって散乱及び吸収される。典型的には表皮と真皮との境界に存在するメラニンが、光学的フィルタのように働き、主に光を吸収する。真皮において、光は散乱及び吸収される。吸収は血液組成に依存し、したがって、吸収は血流の変動に対して敏感である。真皮は、成人の総血管ネットワークの約１０％に及ぶ血管の高密度ネットワークを含む。これらの血管は、身体における血流に従って収縮及び拡張する。それ故、それらは真皮の構造を変化させ、皮膚レイヤの反射率に影響を与える。

呼吸などの他の生理学的プロセスは、患者の体表面に動きをもたらす。

血液酸素化レベルにおける変動などの他の生理学的プロセスは、僅かな色の変化として現れ得る。

これらの変化においてある周期的内容を有する信号を検知及び抽出し、周期的なプロセスの場合には周波数などの結果をこの信号から得ることが可能である。例えば、対象者は環境光によって照らされ、ビデオカメラを使用して撮影される。画像のシーケンスのフレーム間の対応するピクセルの値における変化を分析することによって、時間変化信号が抽出され得る。この信号は、高速フーリエ変換のようなものを使用して、周波数のような領域に変換され、周波数領域スペクトルから、対象者の心拍数の値が生理学的測定値として得られる。これらの生理学的測定値は、しばしば生命徴候と呼ばれる。

多くの人々が乗り物酔いを、特には何らかの形態の車両によって運ばれているときに、経験する。乗り物酔いの発生を説明する様々な理論があるが、最も一般的なものは、視覚による動きの知覚と前庭での動きの知覚との間の不一致が、感覚が矛盾する状態を作り出し、これが吐き気や眩暈などの一般的な症状につながると仮定している。この影響で衰弱する人々もいる。乗り物酔いを防止し、又は、その重症度を軽減する手法は有益である。多くの苦痛と同様に、早期の対応又は治療の試みが役立つ。したがって、その発症を検知することは有用である。

故に、対象者における乗り物酔いを軽減するための方法が提供され、この方法は乗り物酔いの発症を検知するステップを有し、発症を検知するステップは、ビデオ画像のシーケンスを受信するステップと、フォトプレチスモグラフィ（ＰＰＧ）を使用してビデオ画像のシーケンスから、第１の期間の間、複数の時間ウィンドウにわたって対象者の心拍数の測定値を抽出するステップと、測定値における少なくとも１つの傾向を計算するステップと、第１の期間に含まれる第１の時間ウィンドウにわたって少なくとも１つの傾向がポジティブであったときに、乗り物酔いの存在を判定するステップと、改善処置を生成するように構成されたイベントを生成するステップとを有する。

乗り物酔いの発症を、対象者が実際に症状を感じるよりも前に検知することが、しばしば可能である。実際上、症状が現れるときには、改善処置はあまり効果的でない。したがって、発症を早期に検知し、対象者が対処できるように彼らに警告することによって、乗り物酔いの発病を回避すること、又は、少なくともその影響を著しく軽減することが可能である。心拍数におけるポジティブな傾向を観察することによって、対象者が実際に発病が近づいていることに気付く前に、乗り物酔いの発症の判定が行われる。

実施形態において、方法は、第１の時間ウィンドウに続く複数の時間ウィンドウの間に観察される心拍数においてネガティブな傾向が存在しないことを判定するステップを更に有する。このようにして、頻繁に、他の多くの理由によって発生する心拍数における変化は、誤った警告を回避するために除外され得る。

実施形態において、判定するステップは、複数の時間ウィンドウで繰り返され、連続的なポジティブな判定は、乗り物酔いの重症度の増加を示すものと解釈される。このことは、発症が判定されたポイントを設定するように閾値と連動して使用される。閾値の使用は、異なる対象者について異なる閾値を設定する機会を設ける。

実施形態において、改善処置は、対象者に対して、窓の外を見ること、新鮮な空気を取り入れること、運転スタイルを適合すること、及び呼吸運動を行うことのうちの少なくとも１つを含む提案を提供することを有する。このようなアクションは、発症を防止する、又はその重症度を軽減するという利点を有し得る。実際にアクションを提案することは、対応策が有効であるように対象者が十分に素早く対処する可能性を向上させる。

実施形態において、方法は、対象者に対して、呼吸運動を行うことに関するガイダンスを提供するステップを更に有する。このような運動は、発症を防止する、又はその重症度を軽減するという効果を有し得る。これらを対象者に対して提案することは、対象者がどのように運動したらよいかを知らない場合に有用であり得る。

実施形態において、改善処置は、仮想現実システムと連動して使用されるとき、仮想現実システムによって表示されるオブジェクトの運動、及び仮想現実システムの表示フレームレートのうちの少なくとも一方に変更を適用することを有する。視覚的な刺激における変化の速度を減少することによって、視覚情報と身体バランスシステムからの情報との間の差が減少し、これは、発病を防止する、又はその重症度を軽減することを助け得る。

実施形態において、方法は、ビデオ画像のシーケンスの分析によって、対象者の顔面皮膚のエリアの蒼白度を測定するステップであって、分析は、第２の期間にわたって、それぞれ異なる波長の複数の信号の強度における変化を測定することを有する、測定するステップと、強度の比率の経時的変化を判定するステップであって、特定の経時的変化は蒼白度の増加を示す、判定するステップとを更に有し、発症の判定は、前記エリアにおける蒼白度の増加を判定することを有する。

実施形態において、方法は、ビデオ画像のシーケンスの分析を使用して呼吸数における変化を測定するステップを更に有し、発症の判定は、呼吸性洞性不整脈（ＲＳＡ）の存在を判定することを有する。

実施形態において、方法は、ビデオ画像のシーケンスの分析を使用して対象者の頭部の加速パターンを測定するステップを更に有し、発症の判定は、０．１Ｈｚから０．３Ｈｚの間の周波数の反復性加速の存在を判定することを有する。

実施形態において、方法は、運動センサを使用して対象者の運動のパターンを測定するステップと、ＲＳＡが存在する時点と運動のパターンとの間の時間的な相関関係の存在に応じて乗り物酔いの発症を判定するステップとを更に有する。

心拍数測定値を、皮膚蒼白度、ＲＳＡ、対象者の頭部の動きにおける加速度、及び対象者の運動とＲＳＡの存在との間の相関関係のうちの１つ又は全てと組み合わせることによって、発症のより素早い検知及び／又はより信頼性の高い判定が得られる。

一態様において、移動中の対象者における乗り物酔いを軽減するためのシステムも提供され、このシステムは乗り物酔いの発症を検知するように構成された処理ユニットを備え、処理ユニットは、対象者の皮膚エリアの少なくとも一部分のビデオ画像のシーケンスを受信する入力装置と、フォトプレチスモグラフィ（ＰＰＧ）を使用してビデオ画像のシーケンスから、第１の期間にわたって対象者の心拍数の測定値を抽出するように構成された生理学的測定ユニットと、測定値における少なくとも１つの傾向を計算するように構成された計算ユニットと、第１の期間に含まれる第１の時間ウィンドウにわたって少なくとも１つの傾向がポジティブであったときに乗り物酔いの存在を判定し、改善処置を生成するように構成されたトリガイベントを生成するように構成された決定ユニットとを備える。

実施形態において、決定ユニットは更に、第１の時間ウィンドウに続く複数の時間ウィンドウの間に観察される心拍数においてネガティブな傾向が存在しないことを判定することによって、発症を判定するように構成される。

実施形態において、システムは、対象者に対して、防止処置の提案を提供するように構成されたコーチングユニットを更に備え、提案は、窓の外を見ること、新鮮な空気を取り入れること、及び呼吸運動を行うことのうちの少なくとも１つを含む。

実施形態において、生理学的測定ユニットは、第２の期間にわたって、それぞれ異なる波長の複数の信号の強度における変化を測定することによって、対象者の顔面皮膚のエリアの蒼白度を測定し、強度の比率の経時的変化を判定するように構成され、比率の経時的変化は蒼白度の増加を示し、発症の判定は、前記エリアにおける蒼白度の増加を判定することを有する。

実施形態において、生理学的測定ユニットは更に、呼吸数における変化を測定するように構成され、発症の判定は、呼吸性洞性不整脈（ＲＳＡ）の存在を判定することを有する。

実施形態において、処理ユニットは更に、ビデオ画像のシーケンスの分析を使用して対象者の頭部の加速パターンを測定するように構成され、発症の検知は、０．１Ｈｚから０．３Ｈｚの間の周波数の反復性加速の存在を判定することを有する。

コンピュータ処理システムを実行するときに、コンピュータ処理システムに上述された態様及び実施形態のいずれかを実行させるコンピュータソフトウェア製品も提供される。

開示されるデバイス、システム及び方法の、上記の及び追加的なオブジェクト、特徴及び利点は、添付の図面を参照し、デバイス及び方法の実施形態の以下の例示的及び非限定的な詳細な説明を通じて、より良好に理解されるであろう。

例示的な使用例における実施形態によるシステムを表す図である。 実施形態によるシステムのコンポーネント部品を表す図である。 心拍数対乗り物酔いの知覚レベルの曲線を示す図である。 実施形態によるフローの概要を表す図である。 実施形態によるフローの詳細な部分を表す図である。

以下の説明において、同一の参照記号は類似の要素を指す。

図１は、実施形態が用いられる状況を表す。人間又は対象者１は、移動中の車両（不図示）の座席に着席している。カメラ２は、人間１を、好ましくは人間の頭部及び胸部を含むように、正面から眺めるように配置される。カメラ２は処理ユニット３（ＰＲＯＣ）に結合され、カメラ２はビデオ画像のシーケンスを処理ユニット３に供給する。信号処理ユニット３は更に、ディスプレイ４（ＤＩＳ）及び任意的な照明源５に結合され、処理ユニット３は照明源５（もしも存在するなら）を制御する。人間１の側面には、任意的に、ウィンドウ６があり、好ましくは、ウィンドウ６は、外部から車両内への空気の流れを増加させるために開放される。任意的に、処理ユニット３に結合された運動センサ７（ＡＣＣ）が存在する。運動センサ７は、加速度計、ジャイロスコープ又はこれらのいくつかの組み合わせによって実現され、理想的には、多くの人々が感知する範囲である０．１Ｈｚから０．３Ｈｚの範囲の動きを感知する。意図される車両の典型的な周波数範囲を含むことも好ましい。自動車では、動きは１Ｈｚ程度の周波数を有し、その一方、ボート又は船では、もっと低く、例えば数百分の一Ｈｚである。任意的に、人間１の皮膚温度を測定するように配置された１つ又は複数のＩＲセンサ８が存在する。１つの（又は複数の）ＩＲセンサは、理想的には、人間１の皮膚エリアを観察するように位置付けられる。ＩＲセンサ８は、カメラ２に配置され得るが、これらを別個に有することによって、より高い正確性が達成され得る。照明源５は、ＰＰＧに使用されている周波数範囲の光で人間を照らすように構成される。

問題となる生命徴候を測定するために他の方法が使用され得るが（例えば、心拍数のための接触センサ）、カメラをベースとした方法は、非侵襲的（人々が自分自身を何かに接続したり、何かによって接触されたりする必要がないという意味において）であり、１つの機器によって複数の人々を監視できるという利点を有する。

図２は、処理ユニット３において実行される処理チェーン２０を表す。露出した皮膚、特には頭部又は首部を含むものなどのいくつかのエリアは、しばしばより強い信号を含む。衣服によって覆われたエリアは、しばしば、信号抽出のためにはよくない選択である。したがって、分析のためにビデオシーケンスの各フレームの特定の部分を選択することが望ましい。信号はビデオシーケンスのフレーム間の変化から導出されるので、選択される領域は、シリーズ又はグループを作り上げるものと考えられ得、グループの選択される領域は全て、人間の同一の実際の領域にできる限り対応することが望ましい。パッチ選択ユニット２１（ＲＯＩ）は、追跡されるべきパッチ又はＲＯＩを選択する。後続の処理のために選択される１つ又は複数のパッチが存在する。非常に高い確率で、人間１とカメラ２との間に顕著なレベルの相対的な動きが存在し、したがって、この運動をできる限り補償することが望ましい。パッチ選択ユニット２１は、信号抽出器２２（ＥＸＴ）に、運動補償された一連のパッチを供給するために、選択されたパッチを参照し、画像に対して運動補償を実施する。運動補償の１つの方法は、個々の画像の分析から導出される入力ｘ－ｙ運動信号として提供される、関心対象となる皮膚領域の（平均的）ｘ及びｙ運動をフィルタリングする２つの適合フィルタを使用する。２つのフィルタの数及び２つの運動信号の（ｘ方向及びｙ方向における運動のための）使用は必須ではないことに留意されたい。概して、所望の方向（例えば、最も運動が大きいと仮定される方向）において１つのフィルタ及び１つの運動信号が、又は、（複数の所望の方向において）より多くのフィルタ及びより多くの運動信号が使用されてもよい。適合フィルタの係数は、正規化された最小二乗平均（ＮＬＭＳ）によって更新されるが、他の適合アルゴリズムも使用され得る。信号抽出器２２は、関心対象となる時間変化する信号を得るために、信号に対する動作を実施する。これらの動作は、色チャンネルを組み合わせること及び／又は信号を正規化することを有する。パッチのシーケンスは、運動補償のタスクをより容易にするために、より短いシーケンスへと分解されていてもよい。この場合、抽出ユニット２２は、より短いシーケンスをより長いシーケンスへと組み合わせてもよい。次いで、抽出された時間変化する信号は、信号分析器２３（ＡＮＡ）に供給され、これは、生理学的情報計算機の役割において、関心対象となる生理学的情報又は生命徴候結果を得るために、動作を実施する。

パッチ選択ユニット２１、信号抽出ユニット２２及び信号分析器２３は、適切なソフトウェアを実行する１つ又は複数の汎用プロセッサにおいて実現される。このことは、既存のハードウェアによって動作可能であるという利点を有し、後の修正及び調整を可能とする。しかしながら、この結果としてもたらされる解決策は、モード専用の解決策よりも低速で、及び／又はより高価になる場合がある。代替的に、それらは、関連する機能を実行するように設計されたファームウェアを実行するマイクロコントローラにおいて実現され得る。この解決策は、生産数が十分に多い時には、より安価になる。なおも他の可能性としては、専用のハードウェアにおいて機能を実現することがある。生産数が多いと、これは、しばしば、より低価格になり、ユニットコスト当たりのより高い処理速度を提供する。

パッチ選択ユニット２１は、いくつかの方法のうちの１つ又は複数を使用してパッチを選択する。ときに「区分化」と呼ばれるプロセスが実施される。関心対象となる一般的エリアを選択することから開始すると都合がよい。血流が関心対象となる生理学的プロセスである場合はいつも、顔が適切であり、したがって、顔識別アルゴリズムが使用される。顔検知を実行するための適切なアルゴリズムは、Ｖｉｏｌａ，Ｐ．及びＪｏｎｅｓ，Ｍ．Ｊ．による「Ｒｏｂｕｓｔ ｒｅａｌ－ｔｉｍｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ」、Ｐｒｏｃ． ｏｆ ＩＥＥＥ ｗｏｒｋｓｈｏｐ ｏｎ ｓｔａｔｉｓｔｉｃａｌ ａｎｄ ｃｏｍｐｕｔａｔｉｏｎａｌ ｔｈｅｏｒｉｅｓ ｏｆ ｖｉｓｉｏｎ、２００１年７月１３日において説明されている。形状及び色パターンを認識するための代替的なアルゴリズムも存在し、これらが顔エリアを検知するために使用されてもよい。呼吸などの他のプロセスについては、胸部を識別するための他の方法が使用される。

また、ブロックは、ブロック内の各ピクセルにおける色の相対値とこれらのピクセルの絶対強度とを比較することによって、皮膚エリアであるものとして又は皮膚エリアではないものとして分類される。ブロック内及びブロック間の色勾配の分析も、皮膚エリアを識別するために役立ち得る。皮膚エリアの識別は、あり得る皮膚のトーンが広範になるとより困難になり、このことが考慮されなければならない。

決定ユニット２４（ＤＥＣ）は、人間１における乗り物酔いの存在、好ましくはその発症を検知するために、生理学的情報結果の経時的な傾向などの特定の特性を分析する。

人間の生命徴候における変化と彼らが経験している乗り物酔いとの間には相関関係があることが判明している。

図３は、Ｈｏｌｍｅｓ，Ｓ．Ｒ．及びＧｒｉｆｆｉｎ，Ｍ．Ｊ．による「Ｃｏｒｒｅｌａｔｉｏｎ ｂｅｔｗｅｅｎ ｈｅａｒｔ ｒａｔｅ ａｎｄ ｔｈｅ ｓｅｖｅｒｉｔｙ ｏｆ ｍｏｔｉｏｎ ｓｉｃｋｎｅｓｓ ｃａｕｓｅｄ ｂｙ ｏｐｔｏｋｉｎｅｔｉｃ ｓｔｉｍｕｌａｔｉｏｎ」、Ｊｏｕｒｎａｌ ｏｆ Ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｙ、１５、３５～４２ページ、２００１年からの、知覚された乗り物酔いの重症度の関数としての平均心拍数のグラフを図示する。このグラフから、心拍数の増加と乗り物酔いの存在との間にポジティブな相関関係があることが分かる。

呼吸性洞性不整脈は、人間を含む多くの脊椎動物において観察される現象である。これは、呼吸と同期した心拍数の事実上の逆数であるＲ－Ｒ間隔における変動であり、心拍数は吸気の間に増加し、呼気の間に減少する中にする。人間においては、乗り物酔いを経験しているとき、これが起こる程度は減少するものと思われる。Ｇｉａｎａｒｏｓ，Ｐ．Ｊ．、Ｑｕｉｇｌｅｓ，Ｋ．Ｓ．、Ｍｕｔｈ，Ｅ．Ｒ．、Ｌｅｖｉｎｅ，Ｍ．Ｅ．、Ｖａｓｃｏ Ｊｒ，Ｒ．Ｃ．、Ｓｔｅｒｎ，Ｒ．Ｍ．による記事「Ｒｅｌａｔｉｏｎｓｈｉｐ ｂｅｔｗｅｅｎ ｔｅｍｐｏｒａｌ ｃｈａｎｇｅｓ ｉｎ ｃａｒｄｉａｃ ｐａｒａｓｙｍｐａｔｈｅｔｉｃ ａｃｔｉｖｉｔｙ ａｎｄ ｍｏｔｉｏｎ ｓｉｃｋｎｅｓｓ ｓｅｖｅｒｉｔｙ」、Ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｙ、４０（１）：３９～４４、２００３年は、以下の表を報告している。

ここで、最も顕著な観察可能な変化は最初の４分間ほどの間にあることが分かる。

ＲＳＡは、いくつかの異なるやり方において定量化され得、最も一般的なものとしては、スペクトル分析、時間領域ピーク－バレー分析又は帯域通過フィルタの適用などがある。故に、測定の単位もいろいろであり得る。時間領域測定については、ＲＳＡは、典型的には、ｍｓ単位で推定される（例えば、ＲＲＩにおける吸気－呼気の差）。スペクトル分析及び他の周波数領域手法では、呼吸周波数の範囲内で発生するＲＲＩの変動が推定され、故に、ｍｓ２がしばしば用いられ、これは変動の通常の統計単位と一致している。しばしば、ＲＳＡ測定値は、分散を標準化するために対数的に変換されるが、これは常に当てはまるというわけではない。しかしながら、留意すべき重要なことは、最も大きな変化は最初の４分間に確認されるということであり、したがって、量の正確な物理的有意性は重要ではなく、変化が重要である。当業者は、計算の実行の詳細の利便性に合うように単位を選択し得る。

したがって、これらの生命徴候又は生理学的パラメータにおける測定及び傾向の検知は、乗り物酔いの存在又は発症を検知し、その進行を観察するために使用される。

図４は、実施形態及びその副次的実施形態による生命徴候又は生理学的情報の測定のためのハイレベルフローを表す。ステップ４１（ＡＣＱ）において、ビデオ画像のシーケンスが取得される。次いで、ステップ４２（ＥＸ）において、ビデオ画像のシーケンスが分析され、生命徴候又は生理学的情報を表す信号が、図２を参照して説明されたやり方で抽出される。ステップ４３（ＤＥＴ）において、乗り物酔いを示す特性について信号が分析され、もしも乗り物酔いについてポジティブな判定がなされたなら、ステップ４４（ＡＬ）において、トリガイベントが生成される。

図５は、乗り物酔いの発症又は存在を判定するための実施形態による決定プロセスを表す。方法は、一連の心拍数測定を伴い、これは規則的な間隔で行われる。ステップ５１（ＨＦ０）において、間隔０にわたって第１の心拍数が測定され、記憶される。一間隔後に、ステップ５２において、第２の測定が行われる。ステップ５３において、測定値が比較される。第２の心拍数測定値が第１の心拍数測定値よりも大きくなければ、第１の測定値は消去され、第２の読み取り値によって置き換えられる。フローはステップ５２に戻り、そこでもう一度測定が行われ、次いで、再びステップ５３に進み、そこで２つの測定値が比較される。しかしながら、もしも第２の測定値が第１の測定値よりも大きかったならば、フローはステップ５４に進み、やはり間隔をおいて更に４つの測定が行われ、記憶される。ステップ５５において、これらの測定値はそれらの直前の測定値と比較される（すなわち、ＨＲ_ｉ－ＨＲ_ｉ－１を計算する）。比較がネガティブになる（すなわち、ＨＲ_ｉ＜ＨＲ_ｉ－１）ものがないなら、心拍数変化が顕著であると判断され、乗り物酔いの存在又は発症のポジティブな判定がなされ、ステップ５６（ＡＬ）において、警告ステータス又はフラグ（心拍数）が「真」、例えば心拍数＝１に設定され、ステップ５７において、トリガイベントが生成される。ステップ５４及び５５は、ＨＲ３から６の各々は、４つ全てが測定されたときではなく、即座に直前のものと比較されるように組み合わされ得ることに留意されたい。このようにすると、ネガティブな変化のイベントにおいてステップ５１に戻るのがより早くなる。一連の測定全体を行い、次いで連続的な差異計算を一括して実施することも可能である。この場合、決定ポイント５３／５５は、後続の差異計算を実施するか否かを決定するものとなる。非常に単純な処理が選択された際に、第１の方法は一連の測定全体を記憶することを不要とし、第２の方法は計算の複雑さを低減する。

こうして、対象者における乗り物酔いを軽減するための方法が提供され、この方法は、ビデオ画像のシーケンスを取得するステップと、フォトプレチスモグラフィ（ＰＰＧ）を使用してビデオ画像のシーケンスから、第１の期間にわたって対象者の心拍数の測定値を抽出するステップと、測定値における少なくとも１つの傾向を計算するステップと、第１の期間に含まれる第１の時間ウィンドウにわたって少なくとも１つの傾向がポジティブであったときに、乗り物酔いの存在を判定するステップと、改善処置を生成するように構成されたイベントを生成するステップとを有する。

乗り物酔いの発症を、対象者が実際に症状を感じるよりも前に検知することが、しばしば可能である。実際上、症状が現れるときには、改善処置はあまり効果的でない。したがって、発症を早期に検知し、対象者が対処できるように彼らに警告することによって、乗り物酔いの発病を回避すること、又は、少なくともその影響を著しく軽減することが可能である。心拍数におけるポジティブな傾向を観察することによって、対象者が実際に発病が近づいていることに気付く前に、乗り物酔いの発症の判定が行われる。

こうして、決定ユニット２４は、第１の期間に含まれる第１の時間ウィンドウにわたって少なくとも１つの傾向がポジティブであったときに乗り物酔いの存在を判定し、改善処置を生成するように構成されたトリガイベントを生成するように構成される。また、決定ユニットは更に、第１の時間ウィンドウに続く複数の時間ウィンドウの間に観察される心拍数においてネガティブな傾向が存在しないことを判定することによって、発症を判定するように構成される。

心拍数は、急速に、無関係な理由によって明らかに不規則に変動し得、本方法の目的のためには、これらの変動はノイズと見なされ得る。したがって、各測定を短期間に行い、その期間から平均値を得ることがより好ましい。各期間が長くなるほど、平均をとることによってノイズをより良好に除去し得るが、この期間は６倍されるので全体的なプロセスがより長くなり、それによってトリガイベントを遅延させてしまう。また、人間１を継続的に監視することが望ましいが、この場合、期間が長くなると決定ポイントの頻度がより少なくなる。アクションをできる限り早期に行うことが好ましいので、プロセスは長くなりすぎないことが望ましい。これは、早い段階で完全な発病を防止することがより一層容易であるからであり、いったん吐き気が顕著になったら、しばしば手遅れであるからである。利便性の高い期間は各測定について１分間程度であり、すなわち、上記のシーケンスは、６個の１分の期間によって構成される。それぞれについての１分間又はおよそその程度の期間は、平均をとることによって不規則な変動を除去することを可能にする一方、全体的なルーチンを実行不可能なほど長くすることはない。しかしながら、他の長さの期間も可能であり、シーケンスの長さは、より短く、又はより長くされてもよい。また、使用される期間の数は６個でなくてもよい。

実施形態において、警告フラグは、警告レベル、例えば、カウンタに拡張される。この場合、ステップ５６において、例えばカウンタをインクリメントすることによって、警告レベルが増加される。この実施形態において、フローはステップ５６ａに進み、そこで警告レベルは閾値と比較される。警告レベルが閾値に等しいか又はこれを超えるとき、フローはステップ５７に進み、そうでなければ、フローは、もう一度６回の測定期間を実行するためにステップ５１に戻る。この実施形態の更なる変形例において、フローはもう一度６回の測定期間を実行するためにステップ５１に戻るのではなく、各期間がその直前のものと比較され、つまりＨＦ_７－ＨＦ_６などが行われる。（ＨＲ_ｉ－ＨＲ_ｉ－１）の結果がポジティブであるたびに、警告レベルが増加される。この最後の変形例と警告レベルのインクリメントが６回の測定期間ごとに１回だけ行われる例との間の違いは、閾値への到達がより素早くなることであり、トリガイベントをより早期にもたらす。

トリガイベントは、人間１ために提案されるアクションのコースの提供ももたらし得る。乗り物酔いの患者の多くは、外を眺めること、例えば地平線を眺めることが助けとなると発言している。しかしながら、このことは全ての人に知られているわけではないので、人間が窓の外を眺めるように提案がなされてよい。新鮮な空気を呼吸することも特定の患者の助けとなることが分かっている。したがって、このことが提案されてよい。呼吸運動は、車両の律動性の運動が存在するときに、特定の人々対してポジティブな効果を現す。背後への傾斜に一致して息を吐くこと、又は、呼吸速度が車両の運動と同期することを回避するよう試みることが、役立ち得るようである。運動センサ７が存在する場合には、測定された運動周波数が、例えば呼吸速度を遅くする又は速くするように指示を適合させるために使用され得る。ゆっくりとした、深い呼吸を維持することが役立ち得ることも観察されている。これらの可能性と合致する提案、又は短期のトレーニング若しくはガイダンスさえもが、これを説明するように表示され得る。ポジティブな指示を提供することは、対象者が実際に対処する可能性を増加させる。

更には、胴体の運動に対する頭部の運動を分析することによって、運動周波数の推定が得られる。運動周波数の判定は、外側を向いたカメラを使用しても達成され得るが、このためには追加的な機器が必要となる。

故に、システムは、対象者に対して、防止処置の提案を提供するように構成されたコーチングユニットを更に備え、提案は、窓の外を見ること、新鮮な空気を取り入れること、及び呼吸運動を行うことのうちの少なくとも１つを含む。

フィードバックシステムを提供するために、人間１の監視が続けられる。例えば、トリガイベントが生成された測定のシーケンスにおいて心拍数が依然として初期値よりも高いままであることが分かったなら、このことは提案の中で示され得、又は、呼吸運動トレーニングが用いられている場合には、指示を適合させ得る。また、心拍数の低下がみられる場合には、それに従って指示が適合され得、例えば、対象者に、運動を中止してよいこと、又は窓を閉めてよいことなどを知らせ得る。

自律走行車においては、トリガイベントは、車両の運転スタイルを適合させるため、例えば、よりゆっくりと運転したり、方向転換をより優しく行うようにしたりするためにも使用され得る。また、問題となる対象者が運転者でない場合には、提案は、運転者に対して、彼らの運転スタイルを適合させるために行われ得る。

実施形態において、全体的な皮膚蒼白度における変化の測定が行われる。乗り物酔いの発病中により蒼白になる患者がいることも観察されている。人々の皮膚の色合いは幾分か変動するが、これが、探し求められる、より蒼白な色合いへの色の変化である。蒼白度の増加は、外側皮膚レイヤにおけるオキシヘモグロビンの量の減少のせいであり、これは、結果的に、皮膚の吸収スペクトルを変化させる。皮膚の１つの場所について、反射光スペクトルの２つの個別の波長において光吸収プロパティがシステムによって測定され、２つの吸収プロパティの比率が計算される。入射光の光スペクトルが変化していないと仮定すると、計算された比率における変化は、皮膚組織の密度における変化の結果である。ヘモグロビン濃度又は密度に対する感受性は、２つの波長を、一方において、それらの間のヘモグロビンの吸収レベルにおいて大きな差を示すように、しかしながら、他方において、全ての他の皮膚組織構成要素の吸収スペクトルについてそれらの間の差が小さくなるように選択することによって取得され得る。赤外線が（例えば、赤外線フィルタを有しない少なくともいくつかのピクセルをセンサが有することによって）測定されている場合、波長は、例えば、７００ｎｍ（この波長で、オキシヘモグロビンについての吸収スペクトルの曲線において凹みが存在する）直下、及び９００ｎｍ（この波長で、ヘモグロビン吸収スペクトルの曲線において頂点が存在する）であり得る。３つ以上の波長が使用されてもよい。これら２つの（又はそれより多くの）値における反射放射線の強度の比率における変化を観察し、皮膚におけるオキシヘモグロビンのレベルが低下したことを判定することによって、皮膚蒼白度の増加が推論される。皮膚がより蒼白になったことが観察された場合、このことは乗り物酔いの発症の指標と解釈され得る。

実施形態において、複合的な比率が使用される。例えば、２つの波長の各々における反射光の間の第１の比率が、第１の時間において得られた読み取り値から計算され得る。次いで、第２の比率が、第２の時間において測定された２つの波長における反射光の間で計算され得る。２つの比率の間の比率が、計算され得る。このことは、他の生理学的変化によってもたらされたヘモグロビン濃度／密度における変化に対する測定の感受性を低下させ得る。皮膚蒼白度変化の測定の方法は、スペクトルの可視部分及び上述された２つの波長の両方を受信するようにカメラが適合されたときに、以前に説明された心拍数変化の測定と連動して使用される。多くの現代のカメラは、ＣＭＯＳ画像センサを有し、これは、可視波長において使用されるとき、赤外線フィルタを有する。ピクセルの一部分が赤外線フィルタを有しないように構成することによって、７００ｎｍ及び９００ｎｍ付近の波長が検知され得る一方、他のピクセルは、ＰＰＧのためのスペクトルの可視部分において使用され得る。

皮膚蒼白度及び心拍数の両方を使用して決定プロセスを実施するいくつかのやり方が存在する。例えば、単純なバージョンにおいては、心拍数の制御の下で設定されたフラグは、皮膚蒼白度の制御の下で設定されたフラグ（皮膚蒼白度＝１）によって補完され得、トリガイベントは、これらの両方が真であるときに生成される。このことは、判定の全体的な信頼性を向上させ得、対象者がシステムに対して信頼を置いて対処することを促進する。過度の頻度の警告又は誤った警告の履歴はいずれも、信頼を損ない、対象者が対処する可能性を減少させる。代替的に、皮膚蒼白度方法からのポジティブな結果が、警告レベルの増加をもたらしてもよい。皮膚蒼白度変化の検知は、心拍数測定についての６期間よりも早期に可能であるので、別の実施形態は、皮膚蒼白度フラグを心拍数測定のフローを変更するために使用する。期間２から期間６の測定値を、２つの連続的な測定値の間にポジティブな差が得られた（決定ポイント５３における「ｙｅｓ」）後の確認として単純に働かせるのではなく、皮膚蒼白度＝１であるときにはいつでも、（ＨＲ_ｉ－ＨＲ_ｉ－１）の結果がポジティブであるたびに、警告レベルの増加がもたらされる。この実施形態において、警告レベルはより迅速に閾値に達する。

ビデオ画像のシーケンスから人間１の頭部の動きを測定することも可能であり、このことは実施形態において使用される。以前に説明されたように、運動補償が、典型的には、生命徴候信号が抽出されるべきパッチの追跡において使用される。通常、この運動補償は、追跡されているパッチの運動を特徴付ける運動ベクトルを計算することを伴う。選択されたパッチが人間１の頭部にある場合、これらの運動ベクトルは、頭部の実際の運動を推論するために分析され得、もしもビデオシーケンスが十分に長い時間にわたって撮影されているなら（図５に関連して説明されたシーケンスの時間の長さで十分である）、頭部の反復性加速が検知され得、それらの周波数が取得され得る。当業者は、この分析の正確な方法を選択できるであろう。前に述べられたように、人々は、典型的には、０．１Ｈｚから０．３Ｈｚの範囲の周波数を感知する。もしも人間１の頭部の運動がこの有意範囲において検知されたなら、頭部運動フラグが設定される（例えば、頭部運動＝１）。これは、水平方向及び垂直方向の運動の両方について成り立つ。この頭部運動フラグは、皮膚蒼白度フラグと類似のやり方で使用される。皮膚蒼白度及び頭部運動の両方が測定される場合、この２つのフラグの組み合わせが、個別のものに代わって使用され、以前に説明されたように、これは心拍数測定値とともに使用される。運動センサ７が使用されている場合は、関心対象となる周波数範囲における有意運動の検知は、フラグを設定（例えば、車両運動＝１）するために使用され得る。この車両運動フラグは、皮膚蒼白度及び頭部運動フラグと同じやり方で使用され得、すなわち、それ自体として、又は他の使用されているフラグと組み合わされて使用され得る。フラグを組み合わせて使用するやり方は、両立的選言（例えば、論理和）を評価する真理関数演算子を使用するものなどがある。

閾値レベルは、標準的なプリセット値でよく、又は、時間とともに人間１に適合されてもよい。標準的なプリセット値、例えば、発症を判定するために十分な２、３個以上の警告レベルは、より単純であり、したがってより低価格で実現されるが、誤ったポジティブ判定を生んだり、トリガイベントの生成が遅すぎたりすることがある。人間に対して閾値を適合させるやり方の１つとして、人間を３つの広いカテゴリ、すなわち、高感受性、中感受性、低感受性のうちの１つに分類することがある。この分類は、例えば、人間に質問を行うことによって達成され得る。次いで、それに従って閾値が設定され得る。代替的に、心拍数の増加ごとに警告レベルが増加されるインクリメントが、感受性が高いほどが増加され得る。これは、感受性が高いほど、概して発症の徴候がより早期に見つけられる事実を利用している。更なる代替例は、皮膚蒼白度と連動した心拍数変化の使用に関する例におけるように、より少ない期間の後にトリガイベントを生成することである。

警告閾値を人間に適合させる別のやり方は、人間１に識別情報を記入してもらうこと、又は、顔認識を使用して人間１の識別情報を記憶することでなされ得る。次いで、個々の閾値は、この識別情報と関連付けられ得、その人間について、より長い期間、例えば上に説明された測定周期よりも長い期間にわたって取得された結果が記憶され、及び／又は、閾値を適合させるように計算ごとに使用される。この実施形態の特定のバージョンにおいて、トリガイベントが生成されるときは常に、システムは、人間１がいくらかの乗り物酔いの症状を感じたかについて彼らからの確認を求め得る。もしも彼らが「はい」と回答したなら、システムがトリガイベントを十分に早期に生成していないということなので、閾値は低下されてよく、彼らが「いいえ」と回答したなら、回答が「はい」と「いいえ」との間で揺れ動き、閾値がこの人間に適合されたことを示すまで、閾値は増加されてよい。誤ったポジティブ判定を回避することは、人間に面倒をかけること、例えば、寒い気候の中で窓を開けさせることなどを回避する助けとなる。トリガイベントが遅くなることを回避することは、以前に述べられた理由によって望ましい。他の個人化としては、人間に性別、年齢などのデータを入力するように求めることがある。後者は、乳児（０～２歳）、子供（３～１２歳）、ティーンエイジャー（１２～１８歳）、成人（１８歳以上）などの広い分類の間で選択するために画像を使用して推定されてもよい。このようなシステムにおいて、システムが初めて使用されるときにプリセットされた閾値が必要とされる。

様々な指標（上に説明されたルーチンによって有意であると判断された心拍数増加、ＲＳＡの存在、皮膚蒼白度の変化、有意な周波数範囲における運動の存在及び程度、並びに皮膚温度）を組み合わせる別の手法は、重み付け結果を追加することである。重み付け及び閾値の適合は、ニューラルネットワークなどの機械学習技術及び隠れマルコフモデル又は隠れセミマルコフモデルなどの数学的技術を使用して達成される。学習プロセスは、指標の間の相関関係、及び指標と人間１からの彼らの乗り物酔いの経験に関する応答との間の相関関係を特定することであり得る。このような場合、初期設定では、デフォルト値が設定され得る。デフォルト値は、心拍数を、例えば、同じ重み付けで始まる他の指標の重みよりも高く重み付けし得る。代替的に、人口統計が使用可能である場合には、重み付け及び閾値はこれらに従って設定され得る。

運動中の車両及び人間における使用に関する例が論じられた。別の例としては、乗り物酔いが、ゲームにおけるものなどの仮想現実などのコンピュータでシミュレートされた環境の使用において発生する場合があり、同様の原理が適用される。搭乗者に関して起こるものと同様の原因によって乗り物酔いを経験する人々がいる。シミュレーション又は仮想現実の場合において、システム及び方法は、発症を検知するために使用され得、次いで、人間に助言するため、及び／又は、表示を適合させるために使用され得、表示の適合は、例えば、表示におけるオブジェクトの動きの速度及び／又は振幅を減少させること、又は表示されるものの変化をゆっくりとしたものとするようにフレームレートを低下させることによる。フィードバックシステムが使用され得、それによって、継続的な監視を使用して、表示における漸進的な変化を実行することで、人間への障害が限定的なものとされる。他の状況としては、フライトシミュレータのような機器における使用がある。

上述された実施形態は、本発明を例示するものであって、限定するものではないことに留意されたい。当業者は、添付の特許請求の範囲から逸脱することなく、多くの代替的な実施形態を設計することができるであろう。

請求項において、括弧の間におかれた任意の参照記号は、請求項を限定するものと解釈されるべきではない。「備える、有する」という動詞及びその活用形の使用は、請求項において記載されているもの以外の要素又はステップの存在を排除するものではない。単数形は、そのような要素が複数存在することを排除するものではない。本発明は、いくつかの個別の要素を備えるハードウェアによって、及び、適切にプログラムされたコンピュータ又は処理ユニットによって、実現され得る。いくつかの手段を列挙するデバイスの請求項において、これらの手段のうちのいくつかが、１つの同一のハードウェアアイテムによって具現化されてよい。特定の手段が互いに異なる従属請求項において記載されているという単なる事実は、これらの手段の組み合わせが有利に使用され得ないことを示すものではない。

本発明の態様は、コンピュータプログラム製品において実現され得、これは、コンピュータによって実行されるコンピュータ可読記憶デバイスに記憶されたコンピュータプログラム命令の集合である。本発明の命令は、任意の解釈可能又は実行可能なコード機構であり、スクリプト、解釈可能なプログラム、ダイナミックリンクライブラリ（ＤＬＬ）又はＪａｖａクラスなどがあるが、これらに限定されるものではない。命令は、完全な実行可能なプログラム、部分的な実行可能なプログラム、既存のプログラムへの修正（例えば、アップデート）、又は既存のプログラムのための拡張（例えば、プラグイン）として提供され得る。更には、本発明の処理の一部が、複数のコンピュータ又はプロセッサにわたって分散されてもよい。

コンピュータプログラム命令を記憶するための適切な記憶媒体は、全ての形態の非揮発性媒体を含み、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリデバイス、並びに内蔵又は外部のハードディスクドライブなどの磁気ディスク、リムーバブルディスク、及びＣＤ－ＲＯＭディスクなどがあるが、これらに限定されるものではない。コンピュータプログラム製品は、このような記憶媒体上に分散されてよく、又は、ＨＴＴＰ、ＦＴＰ、ｅメールを通じた、若しくはインターネットなどのネットワークに接続されたサーバを通じたダウンロードのために提供されてもよい。

Claims (15)

1. 対象者における乗り物酔いを軽減するためのシステムの作動方法であって、前記システムの作動方法は、前記システムの処理ユニットが、前記乗り物酔いの発症を検知するステップを有し、前記発症を検知するステップは、
   前記処理ユニットの入力装置が、前記対象者の皮膚エリアの少なくとも一部分のビデオ画像のシーケンスを受信するステップと、
   前記処理ユニットの生理学的測定ユニットが、フォトプレチスモグラフィ（ＰＰＧ）を使用して前記ビデオ画像のシーケンスから、第１の期間の間、複数の時間ウィンドウにわたって前記対象者の心拍数の測定値を抽出するステップと、
   前記処理ユニットの計算ユニットが、前記測定値における少なくとも１つの傾向を計算するステップと、
   前記処理ユニットの決定ユニットが、前記複数の時間ウィンドウのうちの１つにわたって前記少なくとも１つの傾向がポジティブであり、前記第１の期間にわたってネガティブな傾向が観察されなかったときに、乗り物酔いの存在を判定するステップと、
   前記決定ユニットが、改善処置を生成するイベントを生成するステップと
   を有する、システムの作動方法。
2. 前記複数の時間ウィンドウにわたる連続的なポジティブな判定は、乗り物酔いの重症度の増加を示すと解釈される、請求項１に記載のシステムの作動方法。
3. 前記処理ユニットのコーチングユニットが、前記改善処置として、前記対象者に対して、窓の外を見ること、新鮮な空気を取り入れること、運転スタイルを適合すること、及び呼吸運動を行うことのうちの少なくとも１つを含む提案を提供するステップを更に有する、請求項１又は２に記載のシステムの作動方法。
4. 前記コーチングユニットが、前記対象者に対して、前記呼吸運動を行うことに関するガイダンスを提供するステップを更に有する、請求項３に記載のシステムの作動方法。
5. 前記処理ユニットが、前記改善処置として、仮想現実システムと連動して使用されるとき、前記仮想現実システムによって表示されるオブジェクトの運動、及び前記仮想現実システムの表示フレームレートのうちの少なくとも一方に変更を適用するステップを更に有する、請求項１又は２に記載のシステムの作動方法。
6. 前記処理ユニットの生理学的測定ユニットが、前記ビデオ画像のシーケンスの分析によって、前記対象者の顔面皮膚のエリアの蒼白度を測定するステップであって、前記分析は、第２の期間にわたって、それぞれ異なる波長の複数の信号の強度における変化を測定することを有する、測定するステップと、
   前記生理学的測定ユニットが、前記強度の比率の経時的変化を判定するステップであって、特定の経時的変化は蒼白度の増加を示す、判定するステップと
   を更に有し、
   乗り物酔いの発症の判定は、前記エリアにおける蒼白度の増加を判定することを有する、請求項１から５のいずれか一項に記載のシステムの作動方法。
7. 前記処理ユニットの生理学的測定ユニットが、前記ビデオ画像のシーケンスの分析を使用して呼吸数における変化を測定するステップを更に有し、前記発症の判定は、呼吸性洞性不整脈（ＲＳＡ）の存在を判定することを有し、前記ＲＳＡの存在の判定は、Ｒ－Ｒ間隔と、呼吸によって生じる運動との間の同期を検知することを有する、請求項１から６のいずれか一項に記載のシステムの作動方法。
8. 前記処理ユニットの生理学的測定ユニットが、前記ビデオ画像のシーケンスの分析を使用して前記対象者の頭部の加速パターンを測定するステップを更に有し、前記発症の判定は、０．１Ｈｚから０．３Ｈｚの間の周波数の反復性加速の存在を判定することを有する、請求項１から７のいずれか一項に記載のシステムの作動方法。
9. 前記生理学的測定ユニットが、運動センサを使用して前記対象者の運動のパターンを測定するステップと、
   前記生理学的測定ユニットが、呼吸性洞性不整脈（ＲＳＡ）が存在する時点と前記運動のパターンとの間の時間的な相関関係の存在に応じて乗り物酔いの発症を判定するステップと
   を更に有する、請求項７に記載のシステムの作動方法。
10. 移動中の対象者における乗り物酔いを軽減するためのシステムであって、前記システムは前記乗り物酔いの発症を検知する処理ユニットを備え、前記処理ユニットは、
    前記対象者の皮膚エリアの少なくとも一部分のビデオ画像のシーケンスを受信する入力装置と、
    フォトプレチスモグラフィ（ＰＰＧ）を使用して前記ビデオ画像のシーケンスから、第１の期間の間、複数の時間ウィンドウにわたって前記対象者の心拍数の測定値を抽出する生理学的測定ユニットと、
    前記測定値における少なくとも１つの傾向を計算する計算ユニットと、
    前記複数の時間ウィンドウのうちの少なくとも１つにわたって前記少なくとも１つの傾向がポジティブであり、前記第１の期間にわたってネガティブな傾向が観察されなかったときに、乗り物酔いの存在を判定し、改善処置を生成するトリガイベントを生成する決定ユニットと
    を備える、システム。
11. 前記対象者に対して、防止処置の提案を提供するコーチングユニットを更に備え、前記提案は、窓の外を見ること、新鮮な空気を取り入れること、及び呼吸運動を行うことのうちの少なくとも１つを含む、請求項１０に記載のシステム。
12. 前記生理学的測定ユニットは、第２の期間にわたって、それぞれ異なる波長の複数の信号の強度における変化を測定することによって、前記対象者の顔面皮膚のエリアの蒼白度を測定し、前記強度の比率の経時的変化を判定し、前記比率の前記経時的変化は蒼白度の増加を示し、乗り物酔いの発症の判定は、前記エリアにおける蒼白度の増加を判定することを有する、請求項１０又は１１に記載のシステム。
13. 前記生理学的測定ユニットは更に、呼吸数における変化を測定し、乗り物酔いの発症の判定は、呼吸性洞性不整脈（ＲＳＡ）の存在を判定することを有する、請求項１０から１２のいずれか一項に記載のシステム。
14. 前記生理学的測定ユニットは更に、前記ビデオ画像のシーケンスの分析を使用して前記対象者の頭部の加速パターンを測定し、前記発症の前記判定は、０．１Ｈｚから０．３Ｈｚの間の周波数の反復性加速の存在を判定することを有する、請求項１０から１３のいずれか一項に記載のシステム。
15. コンピュータ処理システムを実行するときに、前記コンピュータ処理システムに請求項１から９のいずれか一項に記載のシステムの作動方法を実行させる、コンピュータプログラム。

Images