JP7255691B2 - 表示システム、表示方法、及びプログラム - Google Patents

Description

本開示は、表示システム、表示方法、及びプログラムに関する。

特許文献１には、ドライバーの覚醒度が、居眠り運転状態よりも高く通常状態よりも低い漫然状態であると判定した際に、ドライバーの覚醒度を改善するアプリケーションを実行手段に実行させる制御手段を備える覚醒度改善装置が開示されている。これにより、ドライバーの覚醒度を向上させることができる。

特開２０１４－２０３３４号公報

しかしながら、特許文献１に開示された装置では、ドライバーの覚醒度が表示されず、ドライバーは、ドライバーに関与するアプリケーション等の介入動作が実行されるまで、覚醒度が低下していることを知ることができない。また、漫然状態という概念は広く、特許文献１に開示された装置では、ドライバーが漫然状態であるものの通常状態に近い覚醒状態である場合においても介入動作が実行され、介入動作が頻発される。このような介入動作の頻発は、ドライバーに不快感を与える。

本開示の目的は、作業者に与える不快感を低減しつつ、作業者に安全作業継続可能度の低下を知らせることができる表示システム、表示方法、及びプログラムを提供することにある。

本開示の一態様は、安全作業継続可能度に関する情報を入力する入力部と、安全作業継続可能度に関する情報に基づいて安全作業継続可能度を決定する制御部と、安全作業継続可能度を表示する表示部と、を備える表示システムを提供する。

本開示の他の態様は、制御部が、安全作業継続可能度に関する情報を受信し、前記安全作業継続可能度に関する情報に基づいて前記安全作業継続可能度を決定し、表示部に、前記安全作業継続可能度を表示させる、表示方法を提供する。

本開示に係る表示システム、表示方法、及びプログラムにより、作業者に与える不快感を低減しつつ、作業者に安全作業継続可能度の低下を知らせることができる。

本開示に係る表示システムの適用例を説明するための模式図 本開示の実施形態に係る表示システムの構成を例示するブロック図 ディスプレイの配置例を示す模式図 表示システムの動作の流れを例示するフローチャート ディスプレイに表示される内容を例示する模式図 作業者の安全作業継続可能度Ｓの時間的な推移を例示するグラフ 本開示の実施形態の第１変形例に係る表示システムの動作の流れを示すフローチャート 作業者の安全作業継続可能度Ｓの時間的な推移を例示するグラフ 本開示の実施形態の第２変形例に係る表示システムの構成を例示するブロック図 本開示の実施形態の第３変形例に係る表示システムの動作の流れを示すフローチャート

以下、添付の図面を参照して本開示に係る表示システムの実施形態を説明する。なお、以下の各実施形態において、同一又は同様の構成要素については同一の符号を付している。

［１．適用例］
本開示に係る表示システムを適用可能な一例について、図１を参照して説明する。図１は、本開示に係る表示システム１の適用例を説明するための模式図である。

本開示に係る表示システム１は、例えば車載用途に適用可能であり、車両２に搭載される。表示システム１は、例えば、カメラ３と、ディスプレイ４と、制御部１０とを備える。

カメラ３は、本開示の「撮像部」の一例である。カメラ３は、作業者の顔を撮像する。作業者は、例えば車両２の運転者である。カメラ３によって撮像された画像データは、本開示の「安全作業継続可能度に関する情報」の一例である。例えば、カメラ３は、ステアリングコラムカバー、ダッシュボード、及びルームミラー付近等の作業者の前方に取り付けられる。カメラ３の位置はこれに限定されず、作業者の顔を撮像できる位置であればよい。例えば、カメラ３は、眼鏡型のカメラや、作業者の頭部に装着されたヘッドマウント型のカメラであってもよい。

制御部１０は、例えばＣＰＵを含む情報処理装置である。制御部１０は、カメラ３によって撮像された画像に基づいて、作業者の顔、目、皮膚等の器官の位置、及びそれらの動きを測定する。例えば、制御部１０は、作業者の眼球運動、眼輪郭等を測定する。

ここで、器官は、組織の集まりであって、特定の機能を有するものを含む。例えば、器官は、目、鼻、口、及び耳を含む。器官は、皮膚を含んでもよい。顔全体が器官に含まれてもよい。目に関して、器官は、例えば、眼球及びその周りの上眼瞼、下眼瞼、外眼角、及び内眼角等を含む。眼球に関して、器官は、例えば、瞳孔、虹彩、角膜、網膜、及び水晶体等を含む。

次に、制御部１０は、測定結果に基づいて、作業者が事故を起こさずに運転を継続できる可能性を表す指標を示す安全作業継続可能度Ｓを算出する。安全作業継続可能度Ｓは、作業者の眠気の程度、漫然の程度、及び疲労度等を総合的に判断して算出されてもよい。

算出された安全作業継続可能度Ｓは、ディスプレイ４に表示される。これにより、作業者は、ディスプレイ４に表示された安全作業継続可能度Ｓを確認することができる。例えば、作業者は、ディスプレイ４に表示された安全作業継続可能度Ｓを定期的に確認することにより、自己の安全作業継続可能度Ｓの推移を知ることができる。例えば、作業者に眠気が生じ、安全作業継続可能度Ｓが運転開始時より下がった場合、表示システム１により、作業者は、安全作業継続可能度Ｓの低下を認識することができる。ディスプレイ４の表示により安全作業継続可能度Ｓの低下を認識することで、警告音等の作業者に関与する介入動作がなくても、作業者の安全作業継続可能度Ｓが増加することがあり得る。

また、作業者が自己の安全作業継続可能度Ｓの低下を認識した場合、自発的に眠気を解消する等の動作を行い、安全作業継続可能度Ｓを増加させるよう試みることができる。

このように、ディスプレイ４には、原則として、常に安全作業継続可能度Ｓが表示される。安全作業継続可能度Ｓが予め定められた閾値以下となった場合、制御部１０は、作業者に関与する介入動作を行うための介入制御を行う。介入動作は、作業者の五官に直接的又は間接的に働きかける動作を含む。例えば、制御部１０は、座席に取り付けられた振動装置を振動させ、及び／又は、算出された安全作業継続可能度Ｓに応じた音声をスピーカに出力させる。これにより、例えば作業者の覚醒度が向上し、漫然状態、眠気状態等が解消され、ひいては安全作業継続可能度Ｓが増加する。上記の振動装置及びスピーカは、本開示の「介入部」の一例である。

このような介入動作を行う介入部は、例えば、空調システムを含む。空調システムは、作業者の周囲の空気の温度、湿度、及び気流等を調整するシステムである。例えば、制御部１０は、空調システムを制御し、作業者の周囲の温度を下げたり、作業者に風を当てたりする。これにより、例えば作業者の覚醒度が向上し、漫然状態、眠気状態等が解消され、ひいては安全作業継続可能度Ｓが増加する。

介入部は、例えば、照明システムを含む。照明システムは、例えば照度や作業者の周囲の空間の明るさを調節する光源装置である。例えば、制御部１０は、照明システムを制御し、照度を上げたり、光源を点滅させたりする。これにより、例えば作業者の覚醒度が向上し、漫然状態、眠気状態等が解消され、ひいては安全作業継続可能度Ｓが増加する。

このような介入動作は、作業者が眠気を帯びた状態の場合には事故等を防止するために有効であるが、作業者が眠気を帯びていない等、通常状態に近い状態である場合に頻発されると、作業者に不快感を生じさせる。また、このような介入動作を止めるために作業者の行動を必要とすると煩瑣であり、運転に危険が生じ得る。本開示の表示システム１では、安全作業継続可能度Ｓが閾値より大きく、作業者の状態が通常状態に近い状態である場合には、ディスプレイ４に安全作業継続可能度Ｓを表示するに止め、介入動作を行わない。したがって、表示システム１は、作業者に与える不快感を低減しつつ、作業者に安全作業継続可能度の低下を知らせることができる。

［２．構成例］
以下、本開示の実施形態に係る表示システム１の構成例について説明する。

図２は、表示システム１の構成を例示するブロック図である。表示システム１は、図２に例示するように、カメラ３と、ディスプレイ４と、制御部１０とを備える。表示システム１は、記憶部２０を更に備えてもよい。表示システム１は、出力装置として、振動装置５とスピーカ６とを更に備えてもよい。

カメラ３は、作業者の顔、目その他の器官を撮像して撮像画像を形成する撮像装置である。カメラ３は、例えば、ＣＭＯＳ（Complementary MOS）、ＣＣＤ（Charge Coupled Device）等の固体撮像素子によって撮像画像を形成するカメラである。

表示システム１は、作業者の顔に向けて赤外線を照射する図示しない赤外線照射器を備えてもよい。この場合、カメラ３は、赤外域に感度を有する赤外線カメラであってもよい。

ディスプレイ４は、例えば液晶ディスプレイ、有機ＥＬディスプレイ、及びプロジェクタ等の表示装置である。図３は、ディスプレイ４の例を示す図である。言い換えれば、図３は、安全作業継続可能度Ｓを示す画像が表示される場所の例を示す図である。安全作業継続可能度Ｓを示す画像は、例えば車両２のルームミラー４０、ヘッドアップディスプレイ４１、メータパネル４２、及びフロントガラス４３等に表示される。また、安全作業継続可能度Ｓを示す画像は、図示しないカーナビゲーション機器のディスプレイに表示されてもよい。

図２に戻り、制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて表示システム１の各構成要素の制御を行う。制御部１０は、例えば、ＥＣＵ（電子制御ユニット）により構成される。制御部１０は、例えば、ＲＡＭに展開されたプログラムをＣＰＵにより解釈及び実行する。このように実現されるソフトウェアモジュールとして、制御部１０は、例えば、画像処理部１１、測定部１２、安全作業継続可能度算出部１３、及び出力制御部１４を備える。

記憶部２０は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶部２０は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置を含む。記憶部２０には、例えば、後述の安全作業継続可能度算出テーブル２１が格納される。

記憶部２０は、表示システム１とネットワークを介して通信可能なサーバ等の外部装置の中に設けられてもよい。

振動装置５は、例えば、作業者が座る座席に取り付けられ、作業者に振動を伝えることができる。あるいは、振動装置５は、ステアリングハンドルに取り付けられ、作業者の手に振動を伝えてもよい。例えば、出力制御部１４として動作する制御部１０は、算出された安全作業継続可能度Ｓに応じて、振動装置５を振動させる。これにより、例えば作業者の覚醒度が向上し、漫然状態、眠気状態等が解消される。このように、振動装置５は、安全作業継続可能度Ｓを増加させるように動作することができる。

スピーカ６は、音声によって、作業者に各種情報を報知する音声出力装置である。例えば、出力制御部１４として動作する制御部１０は、算出された安全作業継続可能度Ｓに応じた音声を、スピーカ６に出力させる。スピーカ６が出力する音声は、警告音、休憩を促す等の警告アナウンス、及び安全作業継続可能度Ｓの読み上げ等を含む。例えば、スピーカ６から出力された警告音によって、作業者の覚醒度が向上し、漫然状態、眠気状態等が解消される。このように、スピーカ６は、安全作業継続可能度Ｓを増加させるように動作することができる。

［３．動作例］
以下、表示システム１の動作例について説明する。図４は、表示システム１の動作の流れを例示するフローチャートである。図４のフローチャートの各処理は、表示システム１の制御部１０によって一定の間隔で繰り返し実行される。

まず、制御部１０は、カメラ３によって撮像された作業者の顔画像を含む画像を取得する（Ｓ１）。

次に、画像処理部１１として動作する制御部１０は、取得した画像に対して画像処理を行い、作業者の器官の位置を検出する（Ｓ２）。

例えば、ステップＳ２において、制御部１０は、作業者の瞳孔、上眼瞼、及び下眼瞼等の位置を検出する。なお、図４のフローチャートでは省略するが、制御部１０は、作業者の器官の位置を検出できなかった場合は、一連の処理を終了する。

次に、測定部１２として動作する制御部１０は、作業者の眼球運動、眼輪郭、及び表情情報のうちの少なくとも１つを測定する（Ｓ３）。ここで、眼球運動は、例えば瞳孔又は視線の位置及び移動速度、前庭動眼反射（Vestibulo-ocular reflex、ＶＯＲ）、並びに固視及びサッケードの回数等を含む。眼球運動は、画像解析や角膜反射法等の公知の方法によって測定される。眼輪郭は、例えば上眼瞼及び下眼瞼の位置、上眼瞼から下眼瞼までの距離、開眼度、上眼瞼及び下眼瞼の移動速度、並びに瞬目の速度及び回数等を含む情報である。表情情報は、例えば、眼輪郭、口の形状、及び頬の筋肉の位置等の顔の特徴量に基づいて推定される情報である。顔の特徴量に基づく表情測定には、公知の方法が適用されてもよい。

次に、安全作業継続可能度算出部１３として動作する制御部１０は、ステップＳ３の測定結果に基づいて、安全作業継続可能度Ｓを算出する（Ｓ４）。

安全作業継続可能度Ｓは、作業者が事故を起こさずに運転を継続できる可能性を表す指標である。安全作業継続可能度Ｓは、例えば０～１の範囲の値を取り、値が大きいほど作業者が事故を起こさずに運転を継続できる可能性が高いことを意味する。

安全作業継続可能度算出部１３として動作する制御部１０は、例えば、作業者の眼球運動、眼輪郭、及び表情情報のうちの少なくとも１つに基づいて、安全作業継続可能度Ｓを算出する。安全作業継続可能度Ｓは、これらのうちの２つ以上を組み合わせて算出されてもよい。

制御部１０は、例えば、ステップＳ３の測定結果をキーとして記憶部２０の安全作業継続可能度算出テーブル２１を検索し、キーに対応する安全作業継続可能度Ｓの値を、安全作業継続可能度算出テーブル２１から抽出して取得する。

安全作業継続可能度算出テーブル２１は、例えば多数の作業者の過去の眼球運動、眼輪郭、及び表情情報等の測定結果を、当該作業者の測定時の安全作業継続可能度Ｓに関連付けることによって作成される。あるいは、安全作業継続可能度算出テーブル２１は、理論や経験則等に基づいて人的に作成されてもよい。

例えば、安全作業継続可能度Ｓは、作業者の視線又は瞳孔の移動範囲が大きいほど高くなるように算出される。あるいは、安全作業継続可能度Ｓは、作業者の視線又は瞳孔の移動の速さが大きいほど高くなるように算出されてもよい。安全作業継続可能度Ｓは、作業者の視線又は瞳孔の移動範囲と移動の速さとを組み合わせて算出されてもよい。

上記のような算出方法と異なり、又は、上記のような算出方法と組み合わせて、安全作業継続可能度Ｓは、例えば、瞬目の速さが大きいほど高くなるように算出される。あるいは、安全作業継続可能度Ｓは、開眼度が大きいほど高くなるように算出されてもよい。安全作業継続可能度Ｓは、瞬目の速さと開眼度とを組み合わせて算出されてもよい。

上記のような算出方法と異なり、又は、上記のような算出方法と組み合わせて、制御部１０は、ステップＳ３の測定結果に基づいて、作業者の眠気、疲労、及び漫然等の程度を総合的に判断して安全作業継続可能度Ｓを算出してもよい。例えば、安全作業継続可能度Ｓは、作業者が居眠り運転状態や眠気を帯びた状態、アルコールや疾病等の影響により正常な運転が困難である危険運転状態、疲労が蓄積した状態、漫然状態であるとき、低い値を取る。特に、居眠り運転状態や危険運転状態においては、安全作業継続可能度Ｓは低い値となり、例えば０に近い値となる。

次に、制御部１０は、ステップＳ４で算出された安全作業継続可能度Ｓを、ディスプレイ４に表示する（Ｓ５）。これにより、作業者は、ディスプレイ４に表示された安全作業継続可能度Ｓを確認することができる。ディスプレイ４には、安全作業継続可能度Ｓの値そのものが表示されてもよいし、図５に示したような安全作業継続可能度Ｓのメータが表示されてもよい。

次に、制御部１０は、安全作業継続可能度Ｓが予め定められた閾値αより大きいか否かを検知する（Ｓ６）。安全作業継続可能度Ｓが閾値αより大きいことを検知した場合（Ｓ６でＹｅｓ）、制御部１０は、図４に示した一連の処理を終了する。

安全作業継続可能度Ｓが閾値α以下であることを検知した場合（Ｓ６でＮｏ）、出力制御部１４として動作する制御部１０は、介入制御を行う（Ｓ７）。介入制御は、安全作業継続可能度Ｓを増加させるために作業者に関与する介入動作を行うための制御である。例えば、制御部１０は、介入制御として、座席に取り付けられた振動装置５（図２参照）を振動させ、及び／又は、算出された安全作業継続可能度Ｓに応じた音声をスピーカ６に出力させる。これにより、例えば作業者の覚醒度が向上し、漫然状態、眠気状態等が解消され、ひいては安全作業継続可能度Ｓが増加する。

図６は、作業者の安全作業継続可能度Ｓの時間的な推移を例示するグラフである。図６のグラフの横軸は時刻ｔを示している。運転開始時の時刻を０とする。図６のグラフの縦軸は安全作業継続可能度Ｓを示している。運転開始時から時間が経過すると、安全作業継続可能度Ｓが低下し始め、時刻ｔ０で閾値αに等しくなっている。制御部１０は、時刻ｔ０において、安全作業継続可能度Ｓが閾値α以下であることを検知する（図４のＳ６でＮｏ）。したがって、ステップＳ７に進み、出力制御部１４として動作する制御部１０は、介入制御を行う。介入制御は、予め定められた時間Δｔだけ行われる。

介入制御により、作業者の覚醒度が向上するなどして、安全作業継続可能度Ｓが増加する。制御部１０は、時刻ｔ０からΔｔ後の時刻ｔ１に介入制御を終える。

［４．まとめ］
以上のように、本実施形態に係る表示システム１は、作業者の顔を含む画像を撮像し、画像データを生成するカメラ３と、画像データに基づいて安全作業継続可能度Ｓを決定する制御部１０と、安全作業継続可能度Ｓを表示するディスプレイ４と、を備える。

制御部１０は、カメラ３から画像データを取得し、取得した画像データに基づいて、作業者の器官の位置を検出し、検出した作業者の器官の位置に基づいて、安全作業継続可能度Ｓを決定してもよい。

このような構成により、表示システム１は、ディスプレイ４に安全作業継続可能度Ｓを表示する。これにより、作業者に安全作業継続可能度Ｓの低下を知らせることができる。ディスプレイ４に安全作業継続可能度Ｓを表示させるに過ぎず、作業者に音や振動で働きかけたり、作業者の何らかの動作を要求することはないため、作業者に不快感を与えることはない。また、安全作業継続可能度Ｓ表示するだけでも、作業者が、安全作業継続可能度Ｓが運転開始時より低下したこと、又は、安全作業継続可能度Ｓが予め定められた閾値付近まで低下したことを知った場合、知ったこと自体により眠気が覚めるなどして、作業者の安全作業継続可能度Ｓが増加することが期待できる。

制御部１０は、作業者の器官の位置として、瞳孔の位置を検出してもよい。また、制御部１０は、作業者の器官の位置として、上眼瞼及び下眼瞼の位置を検出してもよい。

例えば、眠気状態に陥ると、作業者の瞳孔の位置の移動範囲が狭くなり、又はその移動若しくはサッケードの速さが小さくなることが知られている。また、眠気状態に陥ると、例えば作業者の上眼瞼と下眼瞼との距離が小さくなる。すなわち、瞼が閉じかかった状態になる。したがって、瞳孔の位置、又は上眼瞼及び下眼瞼の位置を用いることで、精度良く安全作業継続可能度Ｓを算出できる。

制御部１０は、安全作業継続可能度Ｓが予め定められた閾値α以下であることを検知した場合、座席に取り付けられた振動装置５及び／又はスピーカ６を制御して、作業者に関与する介入動作を行ってもよい。

介入動作により、閾値α以下に下がった安全作業継続可能度Ｓを増加させることが期待でき、衝突事故等の危険を低減させることができる。

［５．変形例］
以上、本開示の実施形態を詳細に説明したが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができる。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略する。以下の変形例は適宜組み合わせることができる。

［５－１．第１変形例］
上記の実施形態では、図４に示したように、安全作業継続可能度Ｓが閾値α以下であることを検知した場合（Ｓ６でＮｏ）に制御部１０が介入制御を行う例について説明した。しかしながら、介入制御が実行されるのはこのような場合に限定されない。

図７は、第１変形例に係る表示システムの動作の流れを示すフローチャートである。図７に示したステップＳ１～Ｓ５は、図４に示した表示システム１の動作の流れのステップＳ１～Ｓ５と同様であるため説明を省略する。

ステップＳ５の後、制御部１０は、安全作業継続可能度Ｓが予め定められた第１閾値α１より大きいか否かを検知する（Ｓ６１）。安全作業継続可能度Ｓが第１閾値α１より大きいことを検知した場合（Ｓ６１でＹｅｓ）、制御部１０は、図７に示した一連の処理を終了する。

安全作業継続可能度Ｓが第１閾値α１以下であることを検知した場合（Ｓ６１でＮｏ）、制御部１０は、安全作業継続可能度Ｓが予め定められた第２閾値α２より大きいか否かを検知する（Ｓ６２）。第２閾値α２は、第１閾値α１より小さい。安全作業継続可能度Ｓが第２閾値α２以下であることを検知した場合（Ｓ６２でＮｏ）、出力制御部１４として動作する制御部１０は、介入制御を行う（Ｓ７）。

安全作業継続可能度Ｓが第２閾値α２より大きいことを検知した場合（Ｓ６２でＹｅｓ）、制御部１０は、作業者が予め定められた期間Ｔ内にディスプレイ４を確認する確認動作を行ったか否かを検知する（Ｓ６３）。確認動作を行ったか否かを検知するために、例えば、ステップＳ３で測定された作業者の眼球運動の情報が用いられる。例えば、制御部１０は、作業者の視線がディスプレイ４の方向を向いた場合に作業者が確認動作を行ったことを検知する。

期間Ｔは、例えば、作業者の視線がディスプレイ４の方向を向いた後に視線がディスプレイ４から外れた時点からの時間として計測される。あるいは、期間Ｔは、介入制御が行われた場合に、介入制御の終了時からの時間として計測されてもよい。期間Ｔは、例えば、現在から予め定められた時間だけ前の時点から、現在までの期間であってもよい。

ステップＳ６３において作業者が期間Ｔ内に確認動作を行っていないことを検知した場合（Ｓ６３でＮｏ）、出力制御部１４として動作する制御部１０は、介入制御を行う（Ｓ７）。ステップＳ６３において作業者が期間Ｔ内に確認動作を行ったことを検知した場合（Ｓ６３でＹｅｓ）、制御部１０は、図７に示した一連の処理を終了する。

図８は、作業者の安全作業継続可能度Ｓの時間的な推移を例示するグラフである。運転開始時から時間が経過すると、安全作業継続可能度Ｓが低下し始め、時刻ｔ０で第２閾値α２に等しくなっている。制御部１０は、時刻ｔ０において、安全作業継続可能度Ｓが第１閾値α１以下であることを検知し（図７のＳ６１でＮｏ）、かつ、第２閾値α２以下であることを検知する（図７のＳ６２でＮｏ）。したがって、ステップＳ７に進み、出力制御部１４として動作する制御部１０は、介入制御を行う。介入制御は、予め定められた時間Δｔだけ行われる。

介入制御により、作業者の覚醒度が向上するなどして、安全作業継続可能度Ｓが増加する。制御部１０は、時刻ｔ０からΔｔ後の時刻ｔ１に介入制御を終える。

その後、作業者が期間Ｔの間ディスプレイ４を確認しないまま、時刻ｔ２に至ったとする。すると、時刻ｔ２において、制御部１０は、安全作業継続可能度Ｓが第１閾値α１以下であることを検知し（図７のＳ６１でＮｏ）、かつ、第２閾値α２より大きいことを検知する（図７のＳ６２でＹｅｓ）。次のステップＳ６３では、制御部１０は、作業者が期間Ｔ内に確認動作を行っていないことを検知する（Ｓ６３でＮｏ）。したがって、ステップＳ７に進み、出力制御部１４として動作する制御部１０は、介入制御を行う。制御部１０は、時刻ｔ２からΔｔ後の時刻ｔ３に介入制御を終える。

このように、第１変形例に係る表示システムでは、安全作業継続可能度Ｓが第１閾値α１より大きい場合は介入制御を行わない。一方、第１閾値α１以下であり、かつ第２閾値α２より大きい場合には、作業者が期間Ｔ内に確認動作を行わなかった場合に介入制御を行う。このように、第１変形例に係る表示システムでは、介入制御の頻発を防止して作業者の不快感の発生を抑制しつつ、作業者が一定の長い時間ディスプレイ４上の安全作業継続可能度Ｓの表示を見なかった場合には介入制御を行う。これにより、作業者がディスプレイ４を確認するように促し、安全作業継続可能度Ｓを確認すること自体により安全作業継続可能度Ｓを維持又は増加させる効果を有効に発揮させることができる。

［５－２．第２変形例］
上記の実施形態では、図４のステップＳ４に示したように、作業者の眼球運動、眼輪郭、及び表情情報のうちの少なくとも１つの測定結果に基づいて、安全作業継続可能度Ｓを算出する例について説明した。しかしながら、安全作業継続可能度Ｓを算出するために用いられる情報はこれらに限定されない。例えば、制御部１０は、作業者の血圧、心拍数、体温、呼吸数、脳波、及び発汗量等の生体情報に基づいて安全作業継続可能度Ｓを算出してもよい。

図９は、このような第２変形例に係る表示システム１０１の構成を例示する図である。表示システム１０１は、作業者の血圧、心拍数、体温、呼吸数、脳波、及び発汗量等の生体情報を測定する生体情報測定部３０と、測定された生体情報を制御部１０に入力する入力部３１とを備える。生体情報測定部３０は、例えば公知のバイタルサイン計測器である。入力部３１は、表示システム１０１と生体情報測定部３０等の外部機器とを接続するインタフェース回路である。

また、制御部１０は、センサを用いて測定された車両２の速度、加速度、及び角速度等の情報を入力部３１を介して取得し、取得した情報に基づいて安全作業継続可能度Ｓを算出してもよい。

上記の実施形態の眼球運動、眼輪郭、及び表情情報と、第２変形例で述べた生体情報及び車両情報とを組み合わせて安全作業継続可能度Ｓが算出されてもよい。また、例えば、これらの情報を組み合わせて安全作業継続可能度Ｓを算出する場合には、作業者の性格、持病、及び運転適正等によって、各情報の重み付けが行われてもよい。

［５－３．第３変形例］
上記の実施形態では、図４のステップＳ５に示すように、算出された安全作業継続可能度Ｓが常にディスプレイ４に表示される例について説明した。しかしながら、介入制御が行われている間は、ディスプレイ４に安全作業継続可能度Ｓが表示されなくてもよい。図１０は、このような第３変形例に係る表示システムの動作の流れを示すフローチャートである。

上記の実施形態と異なり、第３変形例では、安全作業継続可能度Ｓを算出するステップＳ４の後、安全作業継続可能度Ｓが予め定められた閾値αより大きいか否かを検知するステップＳ６が実行される。安全作業継続可能度Ｓが閾値αより大きいことを検知した場合（Ｓ６でＹｅｓ）、制御部１０は、ステップＳ４で算出された安全作業継続可能度Ｓを、ディスプレイ４に表示する（Ｓ５）。

［５－４．第４変形例］
上記の実施形態では、図４のステップＳ７の介入制御として、制御部１０が、座席に取り付けられた振動装置５（図２参照）を振動させ、及び／又は、算出された安全作業継続可能度Ｓに応じた音声をスピーカ６に出力させる制御を説明した。しかしながら、介入制御はこれらに限定されない。例えば、制御部１０は、車両２のステアリング及びブレーキ等を制御可能に構成され、介入制御として、自動運転制御及び自動ブレーキ制御を行ってもよい。これにより、安全作業継続可能度Ｓが閾値α以下であることを検知した場合（Ｓ６でＮｏ）、自動運転制御及び自動ブレーキ制御を行って事故を防止することができる。

［５－５．第５変形例］
上記の実施形態では、図１に示したように、車載用途に適用される表示システム１について説明した。しかしながら、本開示はこれに限定されない。例えば、表示システム１は、工場において利用されてもよい。具体的には、第５変形例においては、工場において製品の組立てや梱包等の作業を行なう工場作業者が、表示システム１のディスプレイ４に表示された安全作業継続可能度Ｓを確認することができる。

また、表示システム１は、オフィス等において利用されてもよい。例えば、オフィスにおいてデスクワーク作業を行なうデスク作業者、及び在宅でデスクワーク作業を行うデスク作業者等の、同じ場所で作業を続けるような作業者が、表示システム１のディスプレイ４に表示された安全作業継続可能度Ｓを確認することができる。

例えば、表示システム１により工場作業者、デスク作業者等の作業者が安全作業継続可能度Ｓが低下したことを知ることができれば、作業者は、意識的に注意しながら作業する、自ら休憩を入れる、違う作業に切り替える等の対策を採って、安全作業継続可能度Ｓを増加させるよう試みることができる。これにより、工場におけるミス、事故、及びデスクワークにおけるミス等が生じるリスクを下げることができる。

表示システム１は、工場の作業ラインを制御する制御部を備えてもよい。これにより、表示システム１は、安全作業継続可能度Ｓが低下した場合、工場の作業ラインを止めることにより、ミス及び事故の発生を防止することができる。また、表示システム１は、安全作業継続可能度Ｓが低下した場合、工場管理者、共同作業者、並びに産業医及び看護師等の医療従事者等に通知してもよい。これにより、これらの者が作業計画の見直しをする、といった対応を採ることができる。このようにして、ミス及び事故の発生を防止することができる。

表示システム１のディスプレイ４には、例えば安全作業継続可能度Ｓが表示される。あるいは、ディスプレイ４には、安全作業継続可能度Ｓに準ずる図、イルミネーション等が表示されてもよい。

介入動作は、安全作業継続可能度Ｓに応じた警報音、休憩を促す等のアナウンス、座席振動等であってもよい。また、表示システム１は、介入動作として、安全作業継続可能度Ｓを読み上げてもよい。作業者がモニタを利用して作業を行う場合、表示システム１は、介入動作としてモニタ画面に警告画像を表示してもよい。作業者がアプリケーションを利用して作業を行う必要がある場合、表示システム１は、安全作業継続可能度Ｓが改善するまでアプリケーションを操作できない状態にしてもよい。

（付記）
以下、本開示に係る各種態様を付記する。

第１の態様の表示システム（１，１０１）は、
安全作業継続可能度に関する情報を入力する入力部（３１）と、
前記安全作業継続可能度に関する情報に基づいて前記安全作業継続可能度を決定する制御部（１０）と、
前記安全作業継続可能度を表示する表示部（４）と、を備える。

第２の態様の表示システム（１）は、第１の態様の表示システムにおいて、前記安全作業継続可能度に関する情報として人の顔を含む画像を撮像し、画像データを生成する撮像部（３）を更に備え、
前記制御部（１０）は、前記撮像部（３）から前記画像データを取得し、取得した画像データに基づいて、前記人の器官の位置及び移動速度のうちの少なくとも１つを検出し、検出した前記人の器官及び移動速度のうちの少なくとも１つの位置に基づいて、前記安全作業継続可能度を決定する。

第３の態様の表示システム（１）では、第２の態様の表示システムにおいて、前記制御部（１０）は、前記人の器官の位置又は移動速度として、瞳孔の位置又は移動速度を検出する。

第４の態様の表示システム（１）では、第２又は第３の態様の表示システムにおいて、前記制御部（１０）は、前記人の器官の位置又は移動速度として、上眼瞼及び下眼瞼の位置を検出する。

第５の態様の表示システム（１，１０１）は、第２～第４のいずれかの態様の表示システムにおいて、作業者に関与する介入動作を行う介入部（５，６）を更に備え、
前記制御部（１０）は、検出した前記人の器官の位置に基づいて、前記人が前記表示部を見る確認動作を更に検知し、
前記制御部（１０）は、予め定められた期間内に前記確認動作を検知しなかった場合、前記介入部（５，６）に介入動作を行わせる。

第６の態様の表示システム（１，１０１）では、第５の態様の表示システムにおいて、前記制御部（１０）は、検出した前記人の器官の位置に基づいて前記人の視線を測定し、前記視線が前記表示部の方向を向いた場合に前記確認動作を検知する。

第７の態様の表示システム（１，１０１）は、第１～６のいずれか態様の表示システムにおいて、作業者に関与する介入動作を行う介入部（５，６）を更に備え、
前記制御部（１０）は、前記安全作業継続可能度が予め定められた基準以下であることを検知した場合、前記介入部（５，６）に介入動作を行わせる。

第８の態様の表示方法では、
制御部（１０）が、安全作業継続可能度に関する情報を受信し（Ｓ１）、
前記安全作業継続可能度に関する情報に基づいて前記安全作業継続可能度を決定し（Ｓ４）、
表示部（４）に、前記安全作業継続可能度を表示させる（Ｓ５）。

第９の態様は、第８の態様の表示方法を制御部（１０）に実行させるためのプログラムである。

１ 表示システム
２ 車両
３ カメラ
４ ディスプレイ
５ 振動装置
６ スピーカ
１０ 制御部
１１ 画像処理部
１２ 測定部
１３ 安全作業継続可能度算出部
１４ 出力制御部
２０ 記憶部
２１ 安全作業継続可能度算出テーブル

Claims (6)

1. 安全作業継続可能度に関する情報を入力する入力部と、
   前記安全作業継続可能度に関する情報に基づいて前記安全作業継続可能度を決定する制御部と、
   前記安全作業継続可能度を表示する表示部と、
   前記安全作業継続可能度に関する情報として人の顔を含む画像を撮像し、画像データを生成する撮像部と、
   作業者に関与する介入動作を行う介入部と、を備え、
   前記制御部は、前記撮像部から前記画像データを取得し、取得した画像データに基づいて、前記人の器官の位置及び移動速度のうちの少なくとも１つを検出し、検出した前記人の器官の位置及び移動速度のうちの少なくとも１つに基づいて、前記安全作業継続可能度を決定し、
   前記制御部は、
   前記安全作業継続可能度が第１閾値以下であり、かつ、前記安全作業継続可能度が前記第１閾値より小さい第２閾値より大きい場合、検出した前記人の器官の位置に基づいて、前記人が前記表示部を見る確認動作を検知し、予め定められた期間内に前記確認動作を検知しなかったときは、前記介入部に前記介入動作を行わせ、
   前記安全作業継続可能度が前記第２閾値以下である場合、前記介入部に前記介入動作を行わせ、
   前記安全作業継続可能度が前記第１閾値より大きい場合、又は、前記確認動作を検知する処理において前記予め定められた期間内に前記確認動作を検知した場合、前記介入部に前記介入動作を行わせるための制御を実行しない、
   表示システム。
2. 前記制御部は、前記人の器官の位置又は移動速度として、瞳孔の位置又は移動速度を検出する、請求項１に記載の表示システム。
3. 前記制御部は、前記人の器官の位置又は移動速度として、上眼瞼及び下眼瞼の位置又は移動速度を検出する、請求項１又は２に記載の表示システム。
4. 前記制御部は、検出した前記人の器官の位置に基づいて前記人の視線を測定し、前記視線が前記表示部の方向を向いた場合に前記確認動作を検知する、請求項１～３のいずれかに記載の表示システム。
5. 安全作業継続可能度に関する情報に基づいて前記安全作業継続可能度を決定する制御部と、
   前記安全作業継続可能度を表示する表示部と、
   前記安全作業継続可能度に関する情報として人の顔を含む画像を撮像し、画像データを生成する撮像部と、
   作業者に関与する介入動作を行う介入部と、を備える表示システムによって実行される表示方法であって、
   前記表示方法は、前記制御部が、
   前記安全作業継続可能度に関する情報を受信するステップと、
   前記撮像部から前記画像データを取得し、取得した画像データに基づいて、前記人の器官の位置及び移動速度のうちの少なくとも１つを検出し、検出した前記人の器官の位置及び移動速度のうちの少なくとも１つに基づいて、前記安全作業継続可能度を決定するステップと、
   前記表示部に、前記安全作業継続可能度を表示させるステップと、
   前記安全作業継続可能度が第１閾値以下であり、かつ、前記安全作業継続可能度が前記第１閾値より小さい第２閾値より大きい場合、検出した前記人の器官の位置に基づいて、前記人が前記表示部を見る確認動作を検知し、予め定められた期間内に前記確認動作を検知しなかったときは、前記介入部に前記介入動作を行わせるステップと、
   前記安全作業継続可能度が前記第２閾値以下である場合、前記介入部に前記介入動作を行わせるステップと、を含み、
   前記制御部は、前記安全作業継続可能度が前記第１閾値より大きい場合、又は、前記確認動作を検知する処理において前記予め定められた期間内に前記確認動作を検知した場合、前記介入部に前記介入動作を行わせるための制御を実行しない、
   表示方法。
6. 請求項５に記載の表示方法を制御部に実行させるためのプログラム。

Images