WO2019159267A1 - 情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム - Google Patents

情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム Download PDF

Info

Publication number
WO2019159267A1
WO2019159267A1 PCT/JP2018/005173 JP2018005173W WO2019159267A1 WO 2019159267 A1 WO2019159267 A1 WO 2019159267A1 JP 2018005173 W JP2018005173 W JP 2018005173W WO 2019159267 A1 WO2019159267 A1 WO 2019159267A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
person
sight
line
indicating
Prior art date
Application number
PCT/JP2018/005173
Other languages
English (en)
French (fr)
Inventor
耕佑 細谷
智史 櫻井
博康 根岸
木村　勝
智治 粟野
堀　淳志
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2018529074A priority Critical patent/JP6400258B1/ja
Priority to PCT/JP2018/005173 priority patent/WO2019159267A1/ja
Priority to TW107123851A priority patent/TW201935267A/zh
Publication of WO2019159267A1 publication Critical patent/WO2019159267A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present invention relates to an information presentation apparatus, an information presentation system, an information presentation method, and an information presentation program for presenting a caution position map in which a mark indicating a caution position is superimposed on a target area map.
  • the above conventional system presents the position of a person (or vehicle) when a near-miss event occurs.
  • the position of the person when the near-miss event occurs may be different from the position where the near-miss event that the person should actually pay attention to (ie, the position requiring attention).
  • the position where the person exists may be a position deviated from a position requiring attention, which is a position where a near-miss event that causes the person to feel close.
  • the present invention has been made to solve the above-described problem, and is an information presentation apparatus, an information presentation system for presenting a map in which a mark indicating a position requiring attention is superimposed at an appropriate position on a target area map,
  • An object is to provide an information presentation method and an information presentation program.
  • An information presentation apparatus receives position information indicating a person's position, the person's biological information, and line-of-sight information indicating the person's line of sight, and based on the change in the biological information and the position information.
  • An information analysis unit that obtains a position requiring attention in the target area and determines the position requiring attention by correcting the position required attention based on the line-of-sight information; and on the target area map indicating the target area
  • an image superimposing unit that generates caution position map information indicating a map on which a mark indicating a caution position is superimposed.
  • An information presentation system includes: an information collection unit that collects position information indicating a person's position; the person's biological information; and line-of-sight information indicating the person's line of sight; An information analysis unit that acquires a position requiring attention in a target area based on the position information and determines the position required attention by correcting the position required attention based on the line-of-sight information; and the target area And an image superimposing unit that generates caution position map information indicating a map in which the mark indicating the caution position is superimposed on the target area map to be displayed.
  • the present invention it is possible to present a map in which a mark indicating a position requiring attention is superimposed at an appropriate position on the target area map.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of an information terminal device of the information presentation system according to Embodiment 1.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of an information presentation device of the information presentation system according to Embodiment 1.
  • FIG. It is a figure which shows the example of the integrated information transmitted to an information presentation apparatus from an information terminal device in a table format.
  • 3 is a flowchart illustrating an operation of the information presentation system according to the first embodiment.
  • 4 is an explanatory diagram showing a worker wearing the information terminal device of the information presentation system according to Embodiment 1.
  • FIG. It is a figure which shows the example of the attention position map which the information presentation apparatus of the information presentation system which concerns on Embodiment 1 outputs.
  • It is a functional block diagram which shows the information presentation system which concerns on Embodiment 2 of this invention.
  • the information presentation system has no problem, but an event that causes a person to feel a moment of fear or a moment of surprise (that is, an event that did not cause a problem but did not cause a problem) It is a system that presents information on an event requiring attention (that is, a near-miss event), which is an event that a person should pay sufficient attention to.
  • the information presentation system detects a caution event based on a change in a person's biological information, and indicates the occurrence position of a caution event to which a person should pay attention (hereinafter also referred to as a “caution position”).
  • This is a system that presents a caution position map that includes a mark indicating a position requiring attention, which is determined based on human position information and line-of-sight information.
  • FIG. 1 is a functional block diagram illustrating the information presentation system according to the first embodiment.
  • the information presentation system in FIG. 1 is a system that can implement the information presentation method according to the first embodiment.
  • the information presentation system according to Embodiment 1 includes an information terminal device 20 and an information presentation device 10 that communicates with the information terminal device 20 via a network 30.
  • the information terminal device 20 is, for example, a wearable device (that is, a wearable device) worn by a person.
  • a person is a worker who performs work in a factory. When there are a plurality of workers in the factory, each of the plurality of workers may wear the information terminal device 20.
  • the information presentation device 10 is, for example, a server that communicates with one or more information terminal devices 20 via the network 30.
  • the information presentation device 10 may be a computer.
  • the information presentation device 10 includes an information analysis unit 11 and an image superimposing unit 12.
  • the information presentation apparatus 10 may include a storage unit 13 that stores map information of the target area.
  • the information presentation device 10 may acquire map information from another storage device via the network 30.
  • the information presentation device 10 outputs the image information 12a of the attention position map to a display device such as a liquid crystal monitor.
  • the display device may be a portable information terminal such as a smartphone owned by an operator.
  • the information presentation device 10 may be a device having a display device such as a liquid crystal monitor that displays a position map requiring attention.
  • the information terminal device 20 includes an information collection unit 21 that collects information about workers.
  • the information terminal device 20 may include an information integration unit 25 that integrates information collected by the information collection unit 21 into one piece of information.
  • the information collection unit 21 includes a position information collection unit 22 that collects position information 22a indicating the position of the worker, a biological information collection unit 23 that collects the biological information 23a of the worker, and line-of-sight information 24a that indicates the line of sight of the worker. And a line-of-sight information collection unit 24 that collects information.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the information terminal device 20 of the information presentation system according to the first embodiment.
  • the information terminal device 20 includes a processor 201, a memory 202, a communication interface 203, a biosensor interface 205, a position sensor interface 204, and a camera interface 206.
  • the processor 201 executes the program stored in the memory 202, thereby realizing the functions of the information collection unit 21 and the information integration unit 25 shown in FIG.
  • the processor 201 collects biometric information from the biometric sensor via the biometric sensor interface 205, collects position information from the position sensor via the position sensor interface 204, and acquires image information from the camera via the camera interface 206.
  • the processor 201 extracts line-of-sight information from the image information.
  • the processor 201 integrates the biological information, position information, line-of-sight information, and time information, and transmits the integrated information to the information presentation apparatus 10 via the communication interface 203.
  • FIG. 4 shows an example of the terminal information 21a in a table format.
  • the function of the information collection unit 21 and the function of the information integration unit 25 may be realized by a processing circuit instead of the processor 201, or may be realized by a combination of the processor 201 and the processing circuit.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the information presentation apparatus 10 of the information presentation system according to the first embodiment.
  • the information presentation apparatus 10 includes a processor 101, a memory 102, a communication interface 103, an image display interface 104, and a storage unit 13.
  • the processor 101 executes the information presentation program stored in the memory 102, thereby realizing the functions of the information analysis unit 11 and the image superimposing unit 12 shown in FIG.
  • the processor 101 receives information transmitted from the information terminal device 20 through the communication interface 103.
  • the processor 101 processes the received information, superimposes a mark indicating a position requiring attention on the map stored in the storage unit 13, and outputs image information through the image display interface 104.
  • the storage unit 13 may be a part of the information presentation device 10, but is an external storage device such as a hard disk drive (HDD) or a solid state drive (SSD) connected via the network 30. There may be.
  • HDD hard disk drive
  • SSD solid state drive
  • the position information collection unit 22 of the information terminal device 20 collects information obtained from the position information sensor attached to the worker.
  • the position sensor may be a part of the position information collection unit 22.
  • the position information collection unit 22 outputs the position information 22a to the information integration unit 25.
  • the position information 22a is, for example, position information of a worker wearing the information terminal device 20.
  • the position information 22a can be acquired by, for example, a position detection device that receives a GPS (Global Positioning System) signal or a Beacon signal and detects the position based on the received signal.
  • GPS Global Positioning System
  • the biological information collection unit 23 of the information terminal device 20 collects information obtained from the biological sensor attached to the worker.
  • the biological sensor may be a part of the biological information collection unit 23.
  • the biological information collection unit 23 outputs the biological information 23a to the information integration unit 25.
  • the biological information 23a is the heart rate (that is, the pulse rate) of the worker wearing the information terminal device 20.
  • the biological information 23a may be any of blood pressure, electroencephalogram, body temperature, sweat amount, and the like.
  • the biological information collected by the biological information collection unit 23 may be a plurality of types of biological information.
  • the line-of-sight information collection unit 24 of the information terminal device 20 can be obtained by performing image processing on image information obtained from a camera that captures the face of the worker.
  • the image information is a face image of a worker wearing the information terminal device 20.
  • As the image processing for obtaining the line-of-sight information 24a for example, a technique known by Active Appearance Model may be used.
  • the line-of-sight information collection unit 24 outputs the line-of-sight information 24 a to the information integration unit 25.
  • the information integration unit 25 of the information terminal device 20 receives the position information 22a, the biological information 23a, and the line-of-sight information 24a, integrates the input data, and outputs the integrated terminal information 21a to the network 30.
  • the integrated terminal information 21a is preferably in a data format unified at a common time as shown in FIG. Further, the network 30 may be of any type of wired communication or wireless communication.
  • the information analysis unit 11 of the information presentation apparatus 10 receives the position information 22a indicating the position of the person, the biological information 23a of the person, and the line-of-sight information 24a indicating the line of sight of the person, and based on the change of the biological information 23a and the position information 22a.
  • the position of the person who felt a near-miss in the target area (for example, a factory) (that is, the position requiring attention) is acquired, and the position requiring attention is corrected by correcting the position requiring attention based on the line-of-sight information 24a (that is, Determine the location of the near-miss event).
  • the information analysis unit 11 determines a position requiring attention from the position information 22a when the change in the biological information 23a exceeds a predetermined reference level, and when the change in the biological information 23a exceeds the reference level.
  • the position requiring attention is determined by correcting the position requiring attention based on the line-of-sight information 24a.
  • the image superimposing unit 12 of the information presenting apparatus 10 generates attention position map information indicating a map in which a mark indicating a position requiring attention is superimposed on a target area map indicating the target area.
  • FIG. 5 is a flowchart showing the operation of the information presentation system according to the first embodiment.
  • FIG. 6 is an explanatory diagram showing the workers 71 and 72 wearing the information terminal device 20.
  • FIG. 7 is a diagram illustrating an example of a caution position map 80 (also referred to as “near-miss map”) output from the information presentation apparatus 10.
  • the information terminal device 20 collects position information 22a indicating the position of the worker 71, biological information 23a of the worker 71, and line-of-sight information 24a indicating the line of sight 24b of the worker (step S1).
  • the information collection unit 21 integrates the collected information and transmits the integrated information to the information presentation device 10 (step S2).
  • the information analysis unit 11 determines whether a near-miss event has occurred from the change in the biological information 23a (step S3).
  • the biological information 23a is a heart rate
  • the information analysis unit 11 determines that the difference between the worker's heart rate and the worker's normal heart rate (for example, an average value in a past fixed period) is in advance.
  • the caution required positions 91a and 92a are determined by correcting the caution required positions 91 and 92 based on the line-of-sight information 24a when the predetermined threshold value is exceeded.
  • the information analysis unit 11 advances the process to step S4 when the determination in step S3 is YES, and ends the process when the determination is NO.
  • step S3 the information analysis unit 11 corrects the position of the worker based on the position information 22a, that is, the candidate position 91 requiring attention based on the line-of-sight information 24a, so that the position 91a requiring attention Is acquired (step S4).
  • the information analysis unit 11 determines the caution position 91a by moving the caution candidate position 91 in the sight line 24b direction indicated by the sight information 24a.
  • the coordinates of the attention candidate position 91 are (X1, Y1)
  • the correction information is (Xe1, Ye1)
  • the coordinates of the attention position 91a that is the corrected position are ( X1 + Xe1, Y1 + Ye1).
  • the coordinates of the position 91a requiring attention may be, for example, a position where the line of sight 24b intersects the floor or equipment. Further, the caution position 91a may be calculated by setting the distance from the caution candidate position 91 to the caution position 91a that is the corrected position as a predetermined distance.
  • the image superimposing unit 12 outputs caution position map information in which a mark indicating a caution position is superimposed on the map (step S5).
  • FIG. 7 shows an example of the caution position map 80.
  • a caution position map 80 shows caution candidate positions 91 and 92 that are positions of workers on a plan view of the factory, and caution positions 91 a and 92 a obtained by correcting these positions. .
  • the candidate positions 91 and 92 requiring attention which are the positions where the workers 71 and 72 exist, are used as the line-of-sight information 24a of the workers 71 and 72. Based on the correction, the positions 91a and 92a requiring attention are obtained. For this reason, not the candidate positions 91 and 92 requiring attention when the workers 71 and 72 are present when the workers 71 and 72 recognize the near-miss event, but the positions 91a and 91 A mark indicating 92a can be displayed superimposed on the map. Therefore, the worker who has viewed the displayed caution required position map 80 can know the position that needs to pay real attention, and can reduce the possibility of occurrence of a problem.
  • FIG. FIG. 8 is a functional block diagram illustrating the information presentation system according to the second embodiment.
  • the information presentation system in FIG. 8 is a system that can implement the information presentation method according to the second embodiment.
  • the same reference numerals as those shown in FIG. 1 are given to the same or corresponding elements as those shown in FIG.
  • the information terminal device 60 has the information analysis unit 11 and the analysis result information 11a by the information analysis unit 11 is transmitted from the information terminal device 60 to the information presentation device 50.
  • This is different from the information presentation system according to the first embodiment. Except for this difference, the information presentation system according to the second embodiment is the same as the information presentation system according to the first embodiment.
  • the information terminal device 60 When the information analysis unit 11 is included in the information terminal device 60, the information terminal device 60 includes the terminal information including information on the near-miss event in the information presentation device 50 only when the information analysis unit 11 detects the near-miss event. Can be sent. Therefore, the amount of data transmitted from the information terminal device 60 to the information presentation device 50 (that is, the communication amount) can be reduced, and the communication delay can be reduced.
  • Embodiments 1 and 2 can be applied not only to the creation of a location map requiring attention in a factory but also to the creation of a location map requiring attention (for example, a hazard map) in a car navigation system.
  • the map database in the car navigation system is, for example, a database that records road maps.

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

情報提示システムは、人の位置を示す位置情報（２２ａ）、人の生体情報（２３ａ）、及び人の視線（２４ｂ）を示す視線情報（２４ａ）を収集する情報収集部（２１）と、生体情報（２３ａ）の変化と位置情報（２２ａ）とに基づいて対象エリア内における要注意候補位置を取得し、視線情報（２４ａ）に基づいて要注意候補位置を補正することで要注意位置を決定する情報分析部（１１）と、対象エリアを示す対象エリアマップ上に要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する画像重畳部（１２）とを有する。

Description

情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム
　本発明は、対象エリアマップ上に要注意位置を示すマークが重畳された要注意位置マップを提示するための情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラムに関する。
　工場などにおいて、問題は生じなかったが、作業員に一瞬の恐怖又は一瞬の驚きを感じさせる事象（すなわち、問題は生じなかったものの、問題が生じてもおかしくなかった事象）であり、作業員が十分に注意を払うべき事象である要注意事象（以下「ヒヤリハット事象」とも言う）を全ての作業員に周知することが重要である。このため、ヒヤリハット事象が発生しやすい位置を示す情報を提示するシステムが提案されている（例えば、特許文献１参照）。
　また、車両の運転者の生体情報と位置情報とに基づいて、運転者の緊張が高まった場所を特定し、一般運転者の緊張が高まる可能性の高い場所を示す情報を作成するシステムが提案されている（例えば、特許文献２参照）。
特開２０１３－０８０３０４号公報 特開２０１６－０９１４１０号公報
　上記従来のシステムは、ヒヤリハット事象が発生したときの人（又は車両）の位置を提示するものである。しかしながら、ヒヤリハット事象が発生したときの人の位置と、人が実際に注意を払うべきヒヤリハット事象の発生位置（すなわち、要注意位置）とが異なる場合がある。すなわち、人がヒヤリと感じたときに人が存在する位置が、人にヒヤリと感じさせるヒヤリハット事象の発生位置である要注意位置からずれた位置である場合がある。
　本発明は、上記の課題を解決するためになされたものであり、対象エリアマップ上の適切な位置に要注意位置を示すマークが重畳されたマップを提示するための情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラムを提供することを目的とする。
　本発明の一態様に係る情報提示装置は、人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を受け取り、前記生体情報の変化と前記位置情報とに基づいて対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで要注意位置を決定する情報分析部と、前記対象エリアを示す対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する画像重畳部と、を有することを特徴とする。
　本発明の他の態様に係る情報提示システムは、人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を収集する情報収集部と、前記生体情報の変化と前記位置情報とに基づいて対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで要注意位置を決定する情報分析部と、前記対象エリアを示す対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する画像重畳部と、を有することを特徴とする。
　本発明によれば、対象エリアマップ上の適切な位置に要注意位置を示すマークが重畳されたマップを提示することができる。
本発明の実施の形態１に係る情報提示システムを示す機能ブロック図である。 実施の形態１に係る情報提示システムの情報端末装置のハードウェア構成の一例を示す図である。 実施の形態１に係る情報提示システムの情報提示装置のハードウェア構成の一例を示す図である。 情報端末装置から情報提示装置に送信される統合情報の例を表形式で示す図である。 実施の形態１に係る情報提示システムの動作を示すフローチャートである。 実施の形態１に係る情報提示システムの情報端末装置を装着した作業員を示す説明図である。 実施の形態１に係る情報提示システムの情報提示装置が出力する要注意位置マップの例を示す図である。 本発明の実施の形態２に係る情報提示システムを示す機能ブロック図である。
　以下に、本発明の実施の形態に係る情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
　実施の形態に係る情報提示システムは、問題は生じなかったが、人に一瞬の恐怖又は一瞬の驚きを感じさせる事象（すなわち、問題は生じなかったものの、問題が生じてもおかしくなかった事象）であり、人が十分に注意を払うべき事象である要注意事象（つまり、ヒヤリハット事象）に関する情報を、提示するシステムである。実施の形態に係る情報提示システムは、人の生体情報の変化に基づいて要注意事象を検出し、人が注意を払うべき要注意事象の発生位置（以下「要注意位置」とも言う）を、人の位置情報と視線情報とに基づいて決定し、要注意位置を示すマークを含む要注意位置マップを提示するシステムである。
実施の形態１．
　図１は、実施の形態１に係る情報提示システムを示す機能ブロック図である。図１の情報提示システムは、実施の形態１に係る情報提示方法を実施することができるシステムである。図１に示されるように、実施の形態１に係る情報提示システムは、情報端末装置２０と、ネットワーク３０を介して情報端末装置２０と通信する情報提示装置１０とを有する。情報端末装置２０は、例えば、人が装着する装着型装置（すなわち、ウエアラブルデバイス）である。実施の形態１において、人は、工場において作業を行う作業員である。工場内で複数の作業員がいる場合には、複数の作業員の各々が情報端末装置２０を装着してもよい。
　情報提示装置１０は、例えば、ネットワーク３０を介して１つ以上の情報端末装置２０と通信するサーバである。情報提示装置１０は、コンピュータであってもよい。情報提示装置１０は、情報分析部１１と、画像重畳部１２とを有する。また、情報提示装置１０は、対象エリアのマップ情報を記憶する記憶部１３を有してもよい。情報提示装置１０は、マップ情報をネットワーク３０を介して他の記憶装置から取得してもよい。情報提示装置１０は、液晶モニタなどのような表示装置に要注意位置マップの画像情報１２ａを出力する。表示装置は、作業員が所持するスマートフォンなどのような携帯情報端末であってもよい。また、情報提示装置１０は、要注意位置マップを表示する液晶モニタなどのような表示装置を有する装置であってもよい。
　情報端末装置２０は、作業員に関する情報を収集する情報収集部２１を有する。情報端末装置２０は、情報収集部２１によって収集された情報を１つの情報に統合する情報統合部２５を有してもよい。情報収集部２１は、作業員の位置を示す位置情報２２ａを収集する位置情報収集部２２と、作業員の生体情報２３ａを収集する生体情報収集部２３と、作業員の視線を示す視線情報２４ａを収集する視線情報収集部２４とを有する。
　図２は、実施の形態１に係る情報提示システムの情報端末装置２０のハードウェア構成の一例を示す図である。図２に示されるように、情報端末装置２０は、プロセッサ２０１と、メモリ２０２と、通信インタフェース２０３と、生体センサインタフェース２０５と、位置センサインタフェース２０４と、カメラインタフェース２０６とを有する。プロセッサ２０１はメモリ２０２に記憶されたプログラムを実行することで、図１に示される情報収集部２１の機能と情報統合部２５の機能とを実現することができる。プロセッサ２０１は、生体センサインタフェース２０５を介して生体センサから生体情報を収集し、位置センサインタフェース２０４を介して位置センサから位置情報を収集し、カメラインタフェース２０６を介してカメラによる画像情報を取得する。プロセッサ２０１は、画像情報から視線情報を抽出する。プロセッサ２０１は、生体情報、位置情報、視線情報、さらに時刻情報を統合し、統合情報を通信インタフェース２０３を介して情報提示装置１０に送信する。図４に、端末情報２１ａの例を表形式で示す。情報収集部２１の機能と情報統合部２５の機能とは、プロセッサ２０１に代えて処理回路によって実現してもよく、又は、プロセッサ２０１と処理回路の組み合わせによって実現してもよい。
　図３は、実施の形態１に係る情報提示システムの情報提示装置１０のハードウェア構成の一例を示す図である。図３に示されるように、情報提示装置１０は、プロセッサ１０１と、メモリ１０２と、通信インタフェース１０３と、画像表示インタフェース１０４と、記憶部１３とを有する。プロセッサ１０１はメモリ１０２に記憶された情報提示プログラムを実行することで、図１に示される情報分析部１１の機能と画像重畳部１２の機能とを実現することができる。プロセッサ１０１は、情報端末装置２０から送信された情報を通信インタフェース１０３を通して受け取る。プロセッサ１０１は、受け取った情報を処理し、記憶部１３に記憶されているマップに対して、要注意位置を示すマークを重畳し、画像表示インタフェース１０４を通して画像情報を出力する。なお、記憶部１３は、情報提示装置１０の一部であってもよいが、例えば、ネットワーク３０を経由して接続されたハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの外部記憶装置であってもよい。
　図１に示されるように、情報端末装置２０の位置情報収集部２２は、作業員に装着された位置情報センサから得られる情報を収集する。位置センサは、位置情報収集部２２の一部であってもよい。位置情報収集部２２は、位置情報２２ａを情報統合部２５に出力する。ここで、位置情報２２ａは、例えば、情報端末装置２０を装着した作業員の位置情報である。位置情報２２ａは、例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号又はＢｅａｃｏｎ信号などを受信し、受信信号に基づいて位置を検出する位置検出装置によって取得可能である。
　情報端末装置２０の生体情報収集部２３は、作業員に装着された生体センサから得られる情報を収集する。生体センサは、生体情報収集部２３の一部であってもよい。生体情報収集部２３は、生体情報２３ａを情報統合部２５に出力する。実施の形態１では、生体情報２３ａは、情報端末装置２０を装着した作業員の心拍数（すなわち、脈拍数）である。生体情報２３ａは、血圧、脳波、体温、発汗量などのいずれかであってもよい。また、生体情報収集部２３が収集する生体情報は、複数種類の生体情報であってもよい。
　情報端末装置２０の視線情報収集部２４は、作業員の顔を撮影するカメラから得られる画像情報を画像処理することで取得可能である。ここで、画像情報は、情報端末装置２０を装着した作業員の顔画像のことである。視線情報２４ａを取得する画像処理としては、例えば、Ａｃｔｉｖｅ　Ａｐｐｅａｒａｎｃｅ　Ｍｏｄｅｌ等が既知の技術を用いればよい。視線情報収集部２４は、視線情報２４ａを情報統合部２５に出力する。
　情報端末装置２０の情報統合部２５は、位置情報２２ａ、生体情報２３ａ、及び視線情報２４ａを入力とし、入力データを統合し、統合した端末情報２１ａをネットワーク３０へ出力する。なお、統合された端末情報２１ａは、図４に示すような共通の時刻で統一されたデータ形式であることが望ましい。また、ネットワーク３０は、有線通信又は無線通信のいずれの方式のものであってもよい。
　情報提示装置１０の情報分析部１１は、人の位置を示す位置情報２２ａ、人の生体情報２３ａ、及び人の視線を示す視線情報２４ａを受け取り、生体情報２３ａの変化と位置情報２２ａとに基づいて対象エリア（例えば、工場）内におけるヒヤリハットを感じた人の位置（すなわち、要注意候補位置）を取得し、視線情報２４ａに基づいて要注意候補位置を補正することで要注意位置（すなわち、ヒヤリハット事象の発生位置）を決定する。
情報分析部１１は、例えば、生体情報２３ａの変化が予め定められた基準レベルを超えた時点における位置情報２２ａから要注意候補位置を決定し、生体情報２３ａの変化が基準レベルを超えた時点における視線情報２４ａに基づいて要注意候補位置を補正することで要注意位置を決定する。
　情報提示装置１０の画像重畳部１２は、対象エリアを示す対象エリアマップ上に要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する。
　図５は、実施の形態１に係る情報提示システムの動作を示すフローチャートである。図６は、情報端末装置２０を装着した作業員７１，７２を示す説明図である。図７は、情報提示装置１０が出力する要注意位置マップ８０（「ヒヤリハットマップ」とも言う）の例を示す図である。
　まず、情報端末装置２０は、作業員７１の位置を示す位置情報２２ａ、作業員７１の生体情報２３ａ、及び作業員の視線２４ｂを示す視線情報２４ａを収集する（ステップＳ１）。
　次に、情報収集部２１は、収集された情報を統合して、統合情報を情報提示装置１０に送信する（ステップＳ２）。
　次に、情報分析部１１は、生体情報２３ａの変化からヒヤリハット事象が発生したか否かを判定する（ステップＳ３）。生体情報２３ａが、心拍数である場合には、情報分析部１１は、作業員の心拍数と当該作業員の通常時の心拍数（例えば、過去の一定期間の平均値）との差が予め定められた閾値を超えた時点における視線情報２４ａに基づいて要注意候補位置９１，９２を補正することで要注意位置９１ａ，９２ａを決定する。
　情報分析部１１は、ステップＳ３における判定がＹＥＳの場合には、処理をステップＳ４に進め、判定がＮＯの場合には、処理を終了する。
　ステップＳ３における判定がＹＥＳの場合には、情報分析部１１は、位置情報２２ａに基づく作業員の位置、すなわち、要注意候補位置９１を視線情報２４ａに基づいて補正することで、要注意位置９１ａを取得する（ステップＳ４）。情報分析部１１は、要注意候補位置９１を視線情報２４ａが示す視線２４ｂ方向に移動させることによって要注意位置９１ａを決定する。図４及び図８の例では、要注意候補位置９１の座標は（Ｘ１，Ｙ１）であり、補正情報は（Ｘｅ１，Ｙｅ１）であり、補正後の位置である要注意位置９１ａの座標は（Ｘ１＋Ｘｅ１，Ｙ１＋Ｙｅ１）である。要注意位置９１ａの座標は、例えば、視線２４ｂが床又は設備と交差する位置としてもよい。また、要注意候補位置９１から補正後の位置である要注意位置９１ａまでの距離を予め決められた距離として、要注意位置９１ａを算出してもよい。
　次に、画像重畳部１２は、マップに要注意位置を示すマークを重畳した要注意位置マップ情報を出力する（ステップＳ５）。図７には、要注意位置マップ８０の例が示されている。図７において、要注意位置マップ８０は、工場の平面図に作業員の位置である要注意候補位置９１，９２と、これを補正して得られた要注意位置９１ａ、９２ａが示されている。
　以上に説明したように、実施の形態１に係る情報提示システムによれば、作業員７１，７２の存在する位置である要注意候補位置９１，９２を、作業員７１，７２の視線情報２４ａに基づいて補正することによって、要注意位置９１ａ，９２ａを得ている。このため、作業員７１，７２がヒヤリハット事象を認識した時点において作業員７１，７２が存在した位置である要注意候補位置９１，９２ではなく、ヒヤリハット事象が発生した位置である要注意位置９１ａ，９２ａを示すマークをマップ上に重畳して表示することができる。よって、提示された要注意位置マップ８０を見た作業員は、真に注意を払うことが必要な位置を知ることができ、問題発生の可能性を低下させることができる。
実施の形態２．
　図８は、実施の形態２に係る情報提示システムを示す機能ブロック図である。図８の情報提示システムは、実施の形態２に係る情報提示方法を実施することができるシステムである。図８において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。
　実施の形態２に係る情報提示システムは、情報端末装置６０が情報分析部１１を有する点と情報分析部１１による分析結果情報１１ａが情報端末装置６０から情報提示装置５０に送信された点とが、実施の形態１に係る情報提示システムと異なる。この相違点を除いて、実施の形態２に係る情報提示システムは、実施の形態１に係る情報提示システムと同じである。
　情報分析部１１が情報端末装置６０に含まれている場合には、情報端末装置６０は、情報分析部１１がヒヤリハット事象を検出したときのみ、情報提示装置５０にヒヤリハット事象に関する情報を含む端末情報を送ることが可能となる。このため、情報端末装置６０から情報提示装置５０へ送信されるデータの量（すなわち、通信量）を減らすことができ、通信遅延を低減することができる。
　実施の形態１及び２の情報提示方法は、工場内における要注意位置マップの作成だけでなく、カーナビゲーションシステムにおける要注意位置マップ（例えば、ハザードマップ）の作成にも適用可能である。なお、カーナビゲーションシステムにおけるマップデータベースは、例えば、道路地図を記録したデータベースである。
　１０，５０　情報提示装置（サーバ）、　１１　情報分析部、　１１ａ　分析結果情報、　１２　画像重畳部、　１２ａ　出力画像、　１３　記憶部、　１３ａ　マップデータベース、　２０，６０　情報端末装置、　２１　情報収集部、　２１ａ　端末情報、　２２　位置情報収集部、　２２ａ　位置情報、　２３　生体情報収集部、　２３ａ　生体情報、　２４　視線情報収集部、　２４ａ　視線情報、　２４ｂ　視線、　２５　情報統合部、　７１，７２　人、　８０　要注意位置マップ（ヒヤリハットマップ）、　８１　壁、　８２，８３　設備、　９１　要注意候補位置（位置情報に基づく位置）、　９２　要注意位置（補正された位置）。

Claims (13)

  1. 　人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を受け取り、前記生体情報の変化と前記位置情報とに基づいて対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで要注意位置を決定する情報分析部と、
    　前記対象エリアを示す対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する画像重畳部と、
    　を有することを特徴とする情報提示装置。
  2. 　前記情報分析部は、前記要注意候補位置を前記視線情報が示す視線方向に移動させることによって前記要注意位置を決定することを特徴とする請求項１に記載の情報提示装置。
  3. 　前記情報分析部は、
    　前記生体情報の変化が予め定められた基準レベルを超えた時点における前記位置情報から前記要注意候補位置を決定し、
    　前記生体情報の変化が前記基準レベルを超えた前記時点における前記視線情報に基づいて前記要注意候補位置を補正することで前記要注意位置を決定する
    　ことを特徴とする請求項１又は２に記載の情報提示装置。
  4. 　前記視線情報は、前記人の顔の映像情報に基づいて収集された情報であることを特徴とする請求項１から３のいずれか１項に記載の情報提示装置。
  5. 　前記生体情報は、前記人の心拍数、血圧、及び心電図の内の１つ以上を含むことを特徴とする請求項１から４のいずれか１項に記載の情報提示装置。
  6. 　前記生体情報は、前記人の心拍数を含み、
    　前記情報分析部は、前記人の心拍数と前記人の通常時の心拍数との差が予め定められた閾値を超えた時点における前記視線情報に基づいて前記要注意候補位置を補正することで前記要注意位置を決定する
    　ことを特徴とする請求項１から５のいずれか１項に記載の情報提示装置。
  7. 　前記対象エリアのマップ情報を記憶する記憶部をさらに有することを特徴とする請求項１から６のいずれか１項に記載の情報提示装置。
  8. 　人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を収集する情報収集部と、
    　前記生体情報の変化と前記位置情報とに基づいて対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで要注意位置を決定する情報分析部と、
    　前記対象エリアを示す対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する画像重畳部と、
    　を有することを特徴とする情報提示システム。
  9. 　前記人に装着され、前記情報収集部を含む情報端末装置と、
    　前記情報分析部と前記画像重畳部とを含む情報提示装置と、
    　を有することを特徴とする請求項８に記載の情報提示システム。
  10. 　前記人に装着され、前記情報収集部と前記情報分析部とを含む情報端末装置と、
    　前記画像重畳部を含む情報提示装置と、
    　を有することを特徴とする請求項８に記載の情報提示システム。
  11. 　複数の前記情報端末装置を有することを特徴とする請求項９又は１０に記載の情報提示システム。
  12. 　人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を収集するステップと、
    　前記生体情報の変化と前記位置情報とに基づいて対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで要注意位置を決定するステップと、
    　前記対象エリアを示す対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成するステップと、
    　を有することを特徴とする情報提示方法。
  13. 　人の位置を示す位置情報、前記人の生体情報、及び前記人の視線を示す視線情報を受け取り、前記生体情報の変化と前記位置情報とに基づいて対象エリア内における要注意候補位置を取得し、前記視線情報に基づいて前記要注意候補位置を補正することで要注意位置を決定する処理と、
    　前記対象エリアを示す対象エリアマップ上に前記要注意位置を示すマークが重畳されたマップを示す要注意位置マップ情報を生成する処理と、
    　をコンピュータに実行させることを特徴とする情報提示プログラム。
PCT/JP2018/005173 2018-02-15 2018-02-15 情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム WO2019159267A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018529074A JP6400258B1 (ja) 2018-02-15 2018-02-15 情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム
PCT/JP2018/005173 WO2019159267A1 (ja) 2018-02-15 2018-02-15 情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム
TW107123851A TW201935267A (zh) 2018-02-15 2018-07-10 資訊提示裝置、資訊提示系統、資訊提示方法及資訊提示程式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/005173 WO2019159267A1 (ja) 2018-02-15 2018-02-15 情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム

Publications (1)

Publication Number Publication Date
WO2019159267A1 true WO2019159267A1 (ja) 2019-08-22

Family

ID=63708659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/005173 WO2019159267A1 (ja) 2018-02-15 2018-02-15 情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム

Country Status (3)

Country Link
JP (1) JP6400258B1 (ja)
TW (1) TW201935267A (ja)
WO (1) WO2019159267A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6843287B1 (ja) * 2020-03-24 2021-03-17 株式会社 日立産業制御ソリューションズ 地図作成装置、地図作成方法及び地図作成プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041969A (ja) * 2013-08-23 2015-03-02 ソニー株式会社 画像取得装置及び画像取得方法、並びに情報配信システム。
JP2017058945A (ja) * 2015-09-16 2017-03-23 ヤフー株式会社 情報処理システム、携帯端末、サーバ装置、情報処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041969A (ja) * 2013-08-23 2015-03-02 ソニー株式会社 画像取得装置及び画像取得方法、並びに情報配信システム。
JP2017058945A (ja) * 2015-09-16 2017-03-23 ヤフー株式会社 情報処理システム、携帯端末、サーバ装置、情報処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6843287B1 (ja) * 2020-03-24 2021-03-17 株式会社 日立産業制御ソリューションズ 地図作成装置、地図作成方法及び地図作成プログラム
JP2021149895A (ja) * 2020-03-24 2021-09-27 株式会社 日立産業制御ソリューションズ 地図作成装置、地図作成方法及び地図作成プログラム

Also Published As

Publication number Publication date
JP6400258B1 (ja) 2018-10-03
TW201935267A (zh) 2019-09-01
JPWO2019159267A1 (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
US7584158B2 (en) User support apparatus
US20060009702A1 (en) User support apparatus
KR101584090B1 (ko) 미러 디바이스, 웨어러블 디바이스 및 이를 이용한 운동 관리 시스템
US9683859B2 (en) Method for providing navigation using wearable device and vehicle for carrying out the same
US11544030B2 (en) Remote work-support system
JP2014203123A (ja) 施設管制装置
US20150005587A1 (en) Goggles for emergency diagnosis of balance disorders
US10969579B2 (en) Augmented reality glasses, method for determining a pose of augmented reality glasses, and transportation vehicle suitable for using the augmented reality glasses or the method
US20200104617A1 (en) System and method for remote monitoring of a human
JP6400258B1 (ja) 情報提示装置、情報提示システム、情報提示方法、及び情報提示プログラム
JP2018181386A (ja) 危険度合い判定装置、危険度合い判定方法および危険度合い判定プログラム
JP6854630B2 (ja) 解析装置、通知システム及びコンピュータプログラム
US11137600B2 (en) Display device, display control method, and display system
US10528830B2 (en) System and method for remote monitoring of a human
US12009097B2 (en) Wireless communication system for remote medical assistance
US20200265252A1 (en) Information processing apparatus and information processing method
US20200302768A1 (en) Locating device
JP2013047055A (ja) 運転状況記録装置
US20240156381A1 (en) Information processing apparatus, information processing method, and program
Vasquez A Mirror in the Sky: The Effects of Map Format, User Expertise and Practice on Mental Workload and Performance in Navigation Tasks
WO2023233972A1 (ja) 情報処理方法及びシステム
JP7342409B2 (ja) 観察状態表示システム、観察状態表示方法及びプログラム
JP7418711B1 (ja) 注意抽出システム、及び注意抽出方法
JP7466433B2 (ja) 運転データ記録装置、運転支援システム、運転データ記録方法、およびプログラム
JP7413498B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018529074

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18906479

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18906479

Country of ref document: EP

Kind code of ref document: A1