JPWO2019159267A1 - 情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム - Google Patents

Abstract

情報提示システムは、人の位置を示す位置情報（２２ａ）、人の生体情報（２３ａ）、及び人の視線（２４ｂ）を示す視線情報（２４ａ）を収集する情報収集部（２１）と、生体情報（２３ａ）の変化と位置情報（２２ａ）とに基づいて対象エリア内における要注意候補位置を取得し、視線情報（２４ａ）に基づいて要注意候補位置を補正することで要注意位置を決定する情報分析部（１１）と、対象エリアを示す対象エリアマップ上に要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する画像重畳部（１２）とを有する。

Description

本発明は、対象エリアマップ上に要注意位置を示すマークが重畳された要注意位置マップを提示するための情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラムに関する。

工場などにおいて、問題は生じなかったが、作業員に一瞬の恐怖又は一瞬の驚きを感じさせる事象（すなわち、問題は生じなかったものの、問題が生じてもおかしくなかった事象）であり、作業員が十分に注意を払うべき事象である要注意事象（以下「ヒヤリハット事象」とも言う）を全ての作業員に周知することが重要である。このため、ヒヤリハット事象が発生しやすい位置を示す情報を提示するシステムが提案されている（例えば、特許文献１参照）。

また、車両の運転者の生体情報と位置情報とに基づいて、運転者の緊張が高まった場所を特定し、一般運転者の緊張が高まる可能性の高い場所を示す情報を作成するシステムが提案されている（例えば、特許文献２参照）。

特開２０１３−０８０３０４号公報 特開２０１６−０９１４１０号公報

上記従来のシステムは、ヒヤリハット事象が発生したときの人（又は車両）の位置を提示するものである。しかしながら、ヒヤリハット事象が発生したときの人の位置と、人が実際に注意を払うべきヒヤリハット事象の発生位置（すなわち、要注意位置）とが異なる場合がある。すなわち、人がヒヤリと感じたときに人が存在する位置が、人にヒヤリと感じさせるヒヤリハット事象の発生位置である要注意位置からずれた位置である場合がある。

本発明は、上記の課題を解決するためになされたものであり、対象エリアマップ上の適切な位置に要注意位置を示すマークが重畳されたマップを提示するための情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラムを提供することを目的とする。

本発明の一態様に係る情報提示装置は、人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を受け取り、前記生体情報の変化と前記位置情報とに基づいて対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで要注意位置を決定する情報分析部と、前記対象エリアを示す対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する画像重畳部と、を有することを特徴とする。

本発明の他の態様に係る情報提示システムは、人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を収集する情報収集部と、前記生体情報の変化と前記位置情報とに基づいて対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで要注意位置を決定する情報分析部と、前記対象エリアを示す対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する画像重畳部と、を有することを特徴とする。

本発明によれば、対象エリアマップ上の適切な位置に要注意位置を示すマークが重畳されたマップを提示することができる。

本発明の実施の形態１に係る情報提示システムを示す機能ブロック図である。 実施の形態１に係る情報提示システムの情報端末装置のハードウェア構成の一例を示す図である。 実施の形態１に係る情報提示システムの情報提示装置のハードウェア構成の一例を示す図である。 情報端末装置から情報提示装置に送信される統合情報の例を表形式で示す図である。 実施の形態１に係る情報提示システムの動作を示すフローチャートである。 実施の形態１に係る情報提示システムの情報端末装置を装着した作業員を示す説明図である。 実施の形態１に係る情報提示システムの情報提示装置が出力する要注意位置マップの例を示す図である。 本発明の実施の形態２に係る情報提示システムを示す機能ブロック図である。

以下に、本発明の実施の形態に係る情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。

実施の形態に係る情報提示システムは、問題は生じなかったが、人に一瞬の恐怖又は一瞬の驚きを感じさせる事象（すなわち、問題は生じなかったものの、問題が生じてもおかしくなかった事象）であり、人が十分に注意を払うべき事象である要注意事象（つまり、ヒヤリハット事象）に関する情報を、提示するシステムである。実施の形態に係る情報提示システムは、人の生体情報の変化に基づいて要注意事象を検出し、人が注意を払うべき要注意事象の発生位置（以下「要注意位置」とも言う）を、人の位置情報と視線情報とに基づいて決定し、要注意位置を示すマークを含む要注意位置マップを提示するシステムである。

実施の形態１．
図１は、実施の形態１に係る情報提示システムを示す機能ブロック図である。図１の情報提示システムは、実施の形態１に係る情報提示方法を実施することができるシステムである。図１に示されるように、実施の形態１に係る情報提示システムは、情報端末装置２０と、ネットワーク３０を介して情報端末装置２０と通信する情報提示装置１０とを有する。情報端末装置２０は、例えば、人が装着する装着型装置（すなわち、ウエアラブルデバイス）である。実施の形態１において、人は、工場において作業を行う作業員である。工場内で複数の作業員がいる場合には、複数の作業員の各々が情報端末装置２０を装着してもよい。

情報提示装置１０は、例えば、ネットワーク３０を介して１つ以上の情報端末装置２０と通信するサーバである。情報提示装置１０は、コンピュータであってもよい。情報提示装置１０は、情報分析部１１と、画像重畳部１２とを有する。また、情報提示装置１０は、対象エリアのマップ情報を記憶する記憶部１３を有してもよい。情報提示装置１０は、マップ情報をネットワーク３０を介して他の記憶装置から取得してもよい。情報提示装置１０は、液晶モニタなどのような表示装置に要注意位置マップの画像情報１２ａを出力する。表示装置は、作業員が所持するスマートフォンなどのような携帯情報端末であってもよい。また、情報提示装置１０は、要注意位置マップを表示する液晶モニタなどのような表示装置を有する装置であってもよい。

情報端末装置２０は、作業員に関する情報を収集する情報収集部２１を有する。情報端末装置２０は、情報収集部２１によって収集された情報を１つの情報に統合する情報統合部２５を有してもよい。情報収集部２１は、作業員の位置を示す位置情報２２ａを収集する位置情報収集部２２と、作業員の生体情報２３ａを収集する生体情報収集部２３と、作業員の視線を示す視線情報２４ａを収集する視線情報収集部２４とを有する。

図２は、実施の形態１に係る情報提示システムの情報端末装置２０のハードウェア構成の一例を示す図である。図２に示されるように、情報端末装置２０は、プロセッサ２０１と、メモリ２０２と、通信インタフェース２０３と、生体センサインタフェース２０５と、位置センサインタフェース２０４と、カメラインタフェース２０６とを有する。プロセッサ２０１はメモリ２０２に記憶されたプログラムを実行することで、図１に示される情報収集部２１の機能と情報統合部２５の機能とを実現することができる。プロセッサ２０１は、生体センサインタフェース２０５を介して生体センサから生体情報を収集し、位置センサインタフェース２０４を介して位置センサから位置情報を収集し、カメラインタフェース２０６を介してカメラによる画像情報を取得する。プロセッサ２０１は、画像情報から視線情報を抽出する。プロセッサ２０１は、生体情報、位置情報、視線情報、さらに時刻情報を統合し、統合情報を通信インタフェース２０３を介して情報提示装置１０に送信する。図４に、端末情報２１ａの例を表形式で示す。情報収集部２１の機能と情報統合部２５の機能とは、プロセッサ２０１に代えて処理回路によって実現してもよく、又は、プロセッサ２０１と処理回路の組み合わせによって実現してもよい。

図３は、実施の形態１に係る情報提示システムの情報提示装置１０のハードウェア構成の一例を示す図である。図３に示されるように、情報提示装置１０は、プロセッサ１０１と、メモリ１０２と、通信インタフェース１０３と、画像表示インタフェース１０４と、記憶部１３とを有する。プロセッサ１０１はメモリ１０２に記憶された情報提示プログラムを実行することで、図１に示される情報分析部１１の機能と画像重畳部１２の機能とを実現することができる。プロセッサ１０１は、情報端末装置２０から送信された情報を通信インタフェース１０３を通して受け取る。プロセッサ１０１は、受け取った情報を処理し、記憶部１３に記憶されているマップに対して、要注意位置を示すマークを重畳し、画像表示インタフェース１０４を通して画像情報を出力する。なお、記憶部１３は、情報提示装置１０の一部であってもよいが、例えば、ネットワーク３０を経由して接続されたハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの外部記憶装置であってもよい。

図１に示されるように、情報端末装置２０の位置情報収集部２２は、作業員に装着された位置情報センサから得られる情報を収集する。位置センサは、位置情報収集部２２の一部であってもよい。位置情報収集部２２は、位置情報２２ａを情報統合部２５に出力する。ここで、位置情報２２ａは、例えば、情報端末装置２０を装着した作業員の位置情報である。位置情報２２ａは、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号又はＢｅａｃｏｎ信号などを受信し、受信信号に基づいて位置を検出する位置検出装置によって取得可能である。

情報端末装置２０の生体情報収集部２３は、作業員に装着された生体センサから得られる情報を収集する。生体センサは、生体情報収集部２３の一部であってもよい。生体情報収集部２３は、生体情報２３ａを情報統合部２５に出力する。実施の形態１では、生体情報２３ａは、情報端末装置２０を装着した作業員の心拍数（すなわち、脈拍数）である。生体情報２３ａは、血圧、脳波、体温、発汗量などのいずれかであってもよい。また、生体情報収集部２３が収集する生体情報は、複数種類の生体情報であってもよい。

情報端末装置２０の視線情報収集部２４は、作業員の顔を撮影するカメラから得られる画像情報を画像処理することで取得可能である。ここで、画像情報は、情報端末装置２０を装着した作業員の顔画像のことである。視線情報２４ａを取得する画像処理としては、例えば、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ等が既知の技術を用いればよい。視線情報収集部２４は、視線情報２４ａを情報統合部２５に出力する。

情報端末装置２０の情報統合部２５は、位置情報２２ａ、生体情報２３ａ、及び視線情報２４ａを入力とし、入力データを統合し、統合した端末情報２１ａをネットワーク３０へ出力する。なお、統合された端末情報２１ａは、図４に示すような共通の時刻で統一されたデータ形式であることが望ましい。また、ネットワーク３０は、有線通信又は無線通信のいずれの方式のものであってもよい。

情報提示装置１０の情報分析部１１は、人の位置を示す位置情報２２ａ、人の生体情報２３ａ、及び人の視線を示す視線情報２４ａを受け取り、生体情報２３ａの変化と位置情報２２ａとに基づいて対象エリア（例えば、工場）内におけるヒヤリハットを感じた人の位置（すなわち、要注意候補位置）を取得し、視線情報２４ａに基づいて要注意候補位置を補正することで要注意位置（すなわち、ヒヤリハット事象の発生位置）を決定する。
情報分析部１１は、例えば、生体情報２３ａの変化が予め定められた基準レベルを超えた時点における位置情報２２ａから要注意候補位置を決定し、生体情報２３ａの変化が基準レベルを超えた時点における視線情報２４ａに基づいて要注意候補位置を補正することで要注意位置を決定する。

情報提示装置１０の画像重畳部１２は、対象エリアを示す対象エリアマップ上に要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する。

図５は、実施の形態１に係る情報提示システムの動作を示すフローチャートである。図６は、情報端末装置２０を装着した作業員７１，７２を示す説明図である。図７は、情報提示装置１０が出力する要注意位置マップ８０（「ヒヤリハットマップ」とも言う）の例を示す図である。

まず、情報端末装置２０は、作業員７１の位置を示す位置情報２２ａ、作業員７１の生体情報２３ａ、及び作業員の視線２４ｂを示す視線情報２４ａを収集する（ステップＳ１）。

次に、情報収集部２１は、収集された情報を統合して、統合情報を情報提示装置１０に送信する（ステップＳ２）。

次に、情報分析部１１は、生体情報２３ａの変化からヒヤリハット事象が発生したか否かを判定する（ステップＳ３）。生体情報２３ａが、心拍数である場合には、情報分析部１１は、作業員の心拍数と当該作業員の通常時の心拍数（例えば、過去の一定期間の平均値）との差が予め定められた閾値を超えた時点における視線情報２４ａに基づいて要注意候補位置９１，９２を補正することで要注意位置９１ａ，９２ａを決定する。

情報分析部１１は、ステップＳ３における判定がＹＥＳの場合には、処理をステップＳ４に進め、判定がＮＯの場合には、処理を終了する。

ステップＳ３における判定がＹＥＳの場合には、情報分析部１１は、位置情報２２ａに基づく作業員の位置、すなわち、要注意候補位置９１を視線情報２４ａに基づいて補正することで、要注意位置９１ａを取得する（ステップＳ４）。情報分析部１１は、要注意候補位置９１を視線情報２４ａが示す視線２４ｂ方向に移動させることによって要注意位置９１ａを決定する。図４及び図８の例では、要注意候補位置９１の座標は（Ｘ１，Ｙ１）であり、補正情報は（Ｘｅ１，Ｙｅ１）であり、補正後の位置である要注意位置９１ａの座標は（Ｘ１＋Ｘｅ１，Ｙ１＋Ｙｅ１）である。要注意位置９１ａの座標は、例えば、視線２４ｂが床又は設備と交差する位置としてもよい。また、要注意候補位置９１から補正後の位置である要注意位置９１ａまでの距離を予め決められた距離として、要注意位置９１ａを算出してもよい。

次に、画像重畳部１２は、マップに要注意位置を示すマークを重畳した要注意位置マップ情報を出力する（ステップＳ５）。図７には、要注意位置マップ８０の例が示されている。図７において、要注意位置マップ８０は、工場の平面図に作業員の位置である要注意候補位置９１，９２と、これを補正して得られた要注意位置９１ａ、９２ａが示されている。

以上に説明したように、実施の形態１に係る情報提示システムによれば、作業員７１，７２の存在する位置である要注意候補位置９１，９２を、作業員７１，７２の視線情報２４ａに基づいて補正することによって、要注意位置９１ａ，９２ａを得ている。このため、作業員７１，７２がヒヤリハット事象を認識した時点において作業員７１，７２が存在した位置である要注意候補位置９１，９２ではなく、ヒヤリハット事象が発生した位置である要注意位置９１ａ，９２ａを示すマークをマップ上に重畳して表示することができる。よって、提示された要注意位置マップ８０を見た作業員は、真に注意を払うことが必要な位置を知ることができ、問題発生の可能性を低下させることができる。

実施の形態２．
図８は、実施の形態２に係る情報提示システムを示す機能ブロック図である。図８の情報提示システムは、実施の形態２に係る情報提示方法を実施することができるシステムである。図８において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。

実施の形態２に係る情報提示システムは、情報端末装置６０が情報分析部１１を有する点と情報分析部１１による分析結果情報１１ａが情報端末装置６０から情報提示装置５０に送信された点とが、実施の形態１に係る情報提示システムと異なる。この相違点を除いて、実施の形態２に係る情報提示システムは、実施の形態１に係る情報提示システムと同じである。

情報分析部１１が情報端末装置６０に含まれている場合には、情報端末装置６０は、情報分析部１１がヒヤリハット事象を検出したときのみ、情報提示装置５０にヒヤリハット事象に関する情報を含む端末情報を送ることが可能となる。このため、情報端末装置６０から情報提示装置５０へ送信されるデータの量（すなわち、通信量）を減らすことができ、通信遅延を低減することができる。

実施の形態１及び２の情報提示方法は、工場内における要注意位置マップの作成だけでなく、カーナビゲーションシステムにおける要注意位置マップ（例えば、ハザードマップ）の作成にも適用可能である。なお、カーナビゲーションシステムにおけるマップデータベースは、例えば、道路地図を記録したデータベースである。

１０，５０ 情報提示装置（サーバ）、 １１ 情報分析部、 １１ａ 分析結果情報、 １２ 画像重畳部、 １２ａ 出力画像、 １３ 記憶部、 １３ａ マップデータベース、 ２０，６０ 情報端末装置、 ２１ 情報収集部、 ２１ａ 端末情報、 ２２ 位置情報収集部、 ２２ａ 位置情報、 ２３ 生体情報収集部、 ２３ａ 生体情報、 ２４ 視線情報収集部、 ２４ａ 視線情報、 ２４ｂ 視線、 ２５ 情報統合部、 ７１，７２ 人、 ８０ 要注意位置マップ（ヒヤリハットマップ）、 ８１ 壁、 ８２，８３ 設備、 ９１ 要注意候補位置（位置情報に基づく位置）、 ９２ 要注意位置（補正された位置）。

本発明の一態様に係る情報提示装置は、人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を情報端末装置から受け取り、対象エリアのマップである対象エリアマップを示すマップ情報を受け取り、前記生体情報の変化と前記位置情報と前記マップ情報とに基づいて前記対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで前記対象エリア内における要注意位置を決定する情報分析部と、前記対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する画像重畳部と、を有し、前記情報分析部は、前記生体情報の変化が予め定められた基準レベルを超えた時点における前記位置情報と前記マップ情報とから前記対象エリア内における前記要注意候補位置を決定し、前記生体情報の変化が前記基準レベルを超えた前記時点における前記要注意候補位置と前記視線情報とに基づいて、前記視線が前記対象エリアにおける床又は設備と交差する位置を前記対象エリア内における前記要注意位置と決定することを特徴とする。

本発明の他の態様に係る情報提示システムは、人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を収集する情報収集部と、前記位置情報、前記生体情報、及び前記視線情報を前記情報収集部から受け取り、対象エリアのマップである対象エリアマップを示すマップ情報を受け取り、前記生体情報の変化と前記位置情報と前記マップ情報とに基づいて前記対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで前記対象エリア内における要注意位置を決定する情報分析部と、前記対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する画像重畳部と、を有し、前記情報分析部は、前記生体情報の変化が予め定められた基準レベルを超えた時点における前記位置情報と前記マップ情報とから前記対象エリア内における前記要注意候補位置を決定し、前記生体情報の変化が前記基準レベルを超えた前記時点における前記要注意候補位置と前記視線情報とに基づいて、前記視線が前記対象エリアにおける床又は設備と交差する位置を前記対象エリア内における前記要注意位置と決定することを特徴とする。

Claims (13)

1. 人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を受け取り、前記生体情報の変化と前記位置情報とに基づいて対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで要注意位置を決定する情報分析部と、
   前記対象エリアを示す対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する画像重畳部と、
   を有することを特徴とする情報提示装置。
2. 前記情報分析部は、前記要注意候補位置を前記視線情報が示す視線方向に移動させることによって前記要注意位置を決定することを特徴とする請求項１に記載の情報提示装置。
3. 前記情報分析部は、
   前記生体情報の変化が予め定められた基準レベルを超えた時点における前記位置情報から前記要注意候補位置を決定し、
   前記生体情報の変化が前記基準レベルを超えた前記時点における前記視線情報に基づいて前記要注意候補位置を補正することで前記要注意位置を決定する
   ことを特徴とする請求項１又は２に記載の情報提示装置。
4. 前記視線情報は、前記人の顔の映像情報に基づいて収集された情報であることを特徴とする請求項１から３のいずれか１項に記載の情報提示装置。
5. 前記生体情報は、前記人の心拍数、血圧、及び心電図の内の１つ以上を含むことを特徴とする請求項１から４のいずれか１項に記載の情報提示装置。
6. 前記生体情報は、前記人の心拍数を含み、
   前記情報分析部は、前記人の心拍数と前記人の通常時の心拍数との差が予め定められた閾値を超えた時点における前記視線情報に基づいて前記要注意候補位置を補正することで前記要注意位置を決定する
   ことを特徴とする請求項１から５のいずれか１項に記載の情報提示装置。
7. 前記対象エリアのマップ情報を記憶する記憶部をさらに有することを特徴とする請求項１から６のいずれか１項に記載の情報提示装置。
8. 人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を収集する情報収集部と、
   前記生体情報の変化と前記位置情報とに基づいて対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで要注意位置を決定する情報分析部と、
   前記対象エリアを示す対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する画像重畳部と、
   を有することを特徴とする情報提示システム。
9. 前記人に装着され、前記情報収集部を含む情報端末装置と、
   前記情報分析部と前記画像重畳部とを含む情報提示装置と、
   を有することを特徴とする請求項８に記載の情報提示システム。
10. 前記人に装着され、前記情報収集部と前記情報分析部とを含む情報端末装置と、
    前記画像重畳部を含む情報提示装置と、
    を有することを特徴とする請求項８に記載の情報提示システム。
11. 複数の前記情報端末装置を有することを特徴とする請求項９又は１０に記載の情報提示システム。
12. 人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を収集するステップと、
    前記生体情報の変化と前記位置情報とに基づいて対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで要注意位置を決定するステップと、
    前記対象エリアを示す対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成するステップと、
    を有することを特徴とする情報提示方法。
13. 人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を受け取り、前記生体情報の変化と前記位置情報とに基づいて対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで要注意位置を決定する処理と、
    前記対象エリアを示す対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する処理と、
    をコンピュータに実行させることを特徴とする情報提示プログラム。

Images