JP7265312B2

JP7265312B2 - Information display system

Info

Publication number: JP7265312B2
Application number: JP2017051544A
Authority: JP
Inventors: 良太柴崎
Original assignee: Denso Wave Inc
Current assignee: Denso Wave Inc
Priority date: 2017-03-16
Filing date: 2017-03-16
Publication date: 2023-04-26
Anticipated expiration: 2037-03-16
Also published as: JP2018155872A; JP2022122936A

Description

本発明は、ユーザの頭部に装着するタイプのディスプレイにより、ユーザの視界内に監視対象に関する情報を表示する情報表示システムに関する。 The present invention relates to an information display system that displays information about a monitored object within the field of view of a user using a display that is worn on the user's head.

近年、ユーザの頭部に装着可能な頭部装着型ディスプレイいわゆるヘッドマウントディスプレイ（以下、ＨＭＤと称する）を用いて、例えば仮想現実の画像や様々な情報を表示する技術が提案されている。この技術の適用として、例えばロボットや搬送車の作業領域内やその近傍で作業するユーザに対して、そのロボットや搬送車の安全に関する情報を提示するために、その安全に関する情報を、ユーザが装着したＨＭＤに表示することが想定される。これによれば、ユーザは、ティーチィングペンダントやタブレット端末等を覗き込むことなく視線を上げたまま、ロボットや搬送車の安全に関する情報を取得することができるようになるため、安全性の向上が図られる。 In recent years, techniques have been proposed for displaying, for example, virtual reality images and various information using a head-mounted display (hereafter referred to as HMD) that can be worn on a user's head. As an application of this technology, for example, in order to present information on the safety of the robot or carrier to the user working in or near the work area of the robot or carrier, the user wears the safety information. It is assumed that the image will be displayed on the HMD that has been installed. According to this, the user can obtain information on the safety of the robot and the transport vehicle without looking into the teaching pendant or tablet terminal, etc., while keeping the line of sight raised, thereby improving safety. planned.

しかしながら、一般的なＨＭＤの多くは、ユーザの視界と重なる場所に透過型の表示部を配置し、その表示部に各種情報を表示させる構成である。この場合、表示部に表示される情報と、ユーザが表示部を通して見ている実景とが重なることになる。このため、例えばユーザが歩いている状態で急に表示部に情報が表示されると、ユーザの視界が遮られてしまう。しかしながら、このような場合であっても、ユーザは、歩行を止めずに、視界が遮られて前方の安全確認が不十分なまま進んでしまい、その結果、何らかの物体と衝突してしまう等、思わぬ事態に巻き込まれてしまう可能性がある。 However, most general HMDs have a configuration in which a transmissive display unit is arranged in a place overlapping the user's field of view, and various information is displayed on the display unit. In this case, the information displayed on the display overlaps with the actual scene that the user sees through the display. For this reason, for example, if information is suddenly displayed on the display while the user is walking, the user's field of vision is blocked. However, even in such a case, the user does not stop walking, and the user's field of vision is blocked and the forward safety confirmation is insufficient. You may get caught up in an unexpected situation.

特開２０１５－２２８２０１号公報JP 2015-228201 A

本発明は上記事情に鑑みてなされたものであり、その目的は、装着型ディスプレイを用いてユーザに情報を提示するものにおいて、安全な情報提示が可能な情報表示システムを提供することにある。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and its object is to provide an information display system capable of safely presenting information to a user using a wearable display.

（請求項１）
請求項１の情報表示システムは、ユーザが装着可能であってユーザの視界内に情報を表示可能な装着型ディスプレイと、監視対象に関する情報である監視対象情報を取得可能な監視対象情報取得部と、ユーザの視界を特定するための視界情報を取得する視界情報取得部と、前記視界情報取得部で取得した前記視界情報に基づいてユーザの視界内に存在する監視対象を識別する監視対象識別部と、ユーザの視界内に監視対象を捉えた場合にユーザに前記監視対象から視線を逸らす方向を向くことを促す方向提示表示をユーザの視界内に表示させると共に、前記方向提示表示が示す方向をユーザが向いた場合に前記監視対象情報をユーザの視界内に表示する表示制御部と、を備える。 (Claim 1)
The information display system of claim 1 comprises a wearable display that can be worn by a user and can display information within the user's field of view, and a monitored object information acquisition unit that can acquire monitored object information that is information about a monitored object. a view information acquisition unit for acquiring view information for specifying the user's view; and a monitored object identification unit for identifying a monitored object existing within the user's view based on the view information acquired by the view information acquisition unit. Then, a direction presentation display is displayed in the user 's field of view to urge the user to look away from the monitoring target when the monitoring target is caught in the user's field of view, and the direction indicated by the direction presentation display is displayed. a display control unit that displays the monitoring target information within the user's field of view when the user faces the apparatus.

これによれば、例えばユーザが歩行していて監視対象に近づいている場合等において、ユーザの視界内に方向提示表示を表示させることで、ユーザに対し、その方向提示表示が指し示す方向へ向くように促すことができる。これにより、ユーザの視線をあえてユーザの前方つまりユーザの進行方向から外させることで、進行方向が見難くなったユーザは、危険を感じて一旦立ち止まる可能性が高まる。そして、方向提示表示が示す方向をユーザが向くことに追従させて監視対象情報をユーザの視界内に表示することで、ユーザの移動を立ち止まらせつつ、ユーザに対して監視対象情報を適切に提示することができる。これにより、ユーザが移動している場合等において、監視対象に過度に接近してしまうこと等を抑制でき、その結果、安全な情報提示が可能となる。 According to this, for example, when the user is walking and is approaching an object to be monitored, by displaying the direction presentation display within the field of view of the user, the user is directed to the direction indicated by the direction presentation display. can be encouraged to As a result, the user's line of sight is intentionally removed from the front of the user, that is, from the user's traveling direction, thereby increasing the possibility that the user, who has difficulty seeing the traveling direction, will feel danger and temporarily stop. Then, by following the direction indicated by the direction presentation display and displaying the monitoring target information within the user's field of view, the monitoring target information is appropriately presented to the user while stopping the movement of the user. can do. As a result, it is possible to prevent the user from getting too close to the monitored object when the user is moving, and as a result, it is possible to present information safely.

また、本構成によれば、ユーザの視界内に方向提示表示が表示された場合であっても、ユーザがその方向提示表示の指し示す方向へ向かなければ、ユーザの視界内に監視対象情報は表示されない。したがって、ユーザは、監視対象情報を見る気が無い場合には、方向提示表示の指し示す方向へ振り向かないことで、視界内に監視対象情報を表示させないことができる。これにより、ユーザは、視界内に方向提示表示が表示された場合であっても、自分の意思で監視対象情報を表示させることができる。そのため、ユーザが監視対象情報を見る気が無い場合にもユーザの視界内に監視対象情報が表示されて視界が妨げられるといったことを回避することができる。 Further, according to this configuration, even if the direction indication is displayed within the user's field of view, if the user does not face the direction indicated by the direction indication, the monitoring target information is not within the user's field of view. Do not show. Therefore, when the user does not want to see the monitoring target information, the user can prevent the monitoring target information from being displayed in the field of view by not turning around in the direction indicated by the direction presentation display. Thereby, even when the direction indication is displayed within the user's field of view, the user can display the monitored object information at his/her own will. Therefore, even when the user does not want to see the monitoring target information, it is possible to prevent the monitoring target information from being displayed in the user's field of view and obstructing the user's field of view.

（請求項２）
請求項２の情報表示システムにおいて、表示制御部は、ユーザの視界内に監視対象を捉えた場合に前記方向提示表示をユーザの視界内の上部に表示する。これによれば、ユーザに対して上方を見るように促すことができる。この場合、ユーザは、足元が見難くなるため、危険を感じて立ち止まる可能性がより高まる。すなわち、ユーザは、方向提示表示に従って上方を見ることで、体がやや後方へ反り返った姿勢つまりのけぞるような姿勢となる。このような姿勢は、体の重心がやや後方に位置するため、歩行には適さない姿勢である。このため、例えば歩行しているユーザをより効果的に立ち止まらせて無理な歩行を抑制でき、その結果、更に安全な情報提示が可能となる。 (Claim 2)
The information display system according to claim 2, wherein the display control unit displays the direction presentation display above the user's field of view when the monitoring target is captured within the user's field of view. According to this, it is possible to prompt the user to look upward. In this case, since it becomes difficult for the user to see his or her feet, the possibility of feeling danger and stopping increases. That is, by looking upward according to the direction indication display, the user assumes a posture in which the body is slightly bent backward, that is, a posture as if the user is leaning back. Such a posture is not suitable for walking because the center of gravity of the body is positioned slightly backward. For this reason, for example, it is possible to more effectively stop a walking user and suppress unreasonable walking, and as a result, safer information presentation is possible.

（請求項３）
前記表示制御部は、ユーザの視界内に監視対象を捉えた場合に前記方向提示表示を前記監視対象と重なる位置であって半透明の矢印図形で表示する。これによれば、ユーザが見ている監視対象つまりユーザの視線の先に方向提示表示が矢印図形で表示されるため、ユーザは、どちらを向けば良いか瞬時に認識し易くなる。また、方向提示表示を構成する矢印図形は、半透明であるため、監視対象と重なっていてもユーザの視界を妨げ難い。 (Claim 3)
The display control unit displays the direction presentation display as a translucent arrow figure at a position overlapping the monitoring target when the monitoring target is caught in the user's field of view. According to this, the direction presentation display is displayed in the form of an arrow in front of the user's line of sight, that is, the target to be monitored by the user, so that the user can instantly recognize which direction to turn. In addition, since the arrow figure forming the direction presentation display is translucent, even if it overlaps with the monitored object, the user's field of vision is not easily obstructed.

そして本構成によれば、方向提示表示は、監視対象と重なる位置に矢印として表示されるため、ユーザは、方向提示表示の矢印の先に表示される情報が、その方向提示表示と重なっている監視対象に関連したものであると容易に認識することができる。すなわち、一般的なユーザは、監視対象に重なっている矢印を見れば、その矢印の先に、その監視対象に関連する情報があると連想すると思われる。したがって、ユーザは、視界内に複数の監視対象を捉えている場合において、方向提示表示の先に示される監視対象情報が、視界内のどの監視対象についてのものなのか容易に把握することができる。その結果、ユーザは、監視対象と監視対象情報とを関連付けて見ることができるため、監視対象情報の理解がし易くなる。 According to this configuration, the direction presentation display is displayed as an arrow at a position overlapping the monitoring target, so that the user can see that the information displayed at the tip of the arrow of the direction presentation display overlaps with the direction presentation display. It can be easily recognized as being related to the monitored object. In other words, when a general user sees an arrow superimposed on a monitored target, it is thought that the arrow leads to information related to the monitored target. Therefore, when the user sees a plurality of monitoring targets within the field of view, the user can easily grasp which monitoring target within the field of view is about the monitoring target information shown ahead of the direction presentation display. . As a result, the user can view the monitored object and the monitored object information in association with each other, which facilitates understanding of the monitored object information.

（請求項４）
前記表示制御部は、ユーザの視界内に不透明な表示領域を表示すると共に、前記表示領域内に前記監視対象情報を表示する。これによれば、不透明な表示領域内に表示された監視対象情報が、表示領域の後ろの実景に紛れ込む事を防ぐことができる。これにより、監視対象情報をより見易くすることができる。 (Claim 4)
The display control unit displays an opaque display area within the field of view of the user and displays the monitoring target information within the display area. According to this, it is possible to prevent the monitored information displayed in the opaque display area from blending into the actual scene behind the display area. This makes it possible to make the monitoring target information easier to see.

（請求項５）
前記表示制御部は、前記監視対象情報を前記監視対象と重ならない位置に表示する。これによれば、ユーザの視界に表示される監視対象情報が監視対象と重なって、監視対象情報が見難くなることを防止できるとともに、監視対象自体が難くなることも防止できる。つまり、これによれば、ユーザは、監視対象を視界に入れたまま、監視対象情報を適切に見ることができる。その結果、更に安全な情報提示が可能となる。 (Claim 5)
The display control unit displays the monitoring target information at a position not overlapping the monitoring target. According to this, it is possible to prevent the monitored object information displayed in the user's field of view from overlapping with the monitored object, making it difficult to see the monitored object information, and also prevent the monitored object itself from becoming difficult. In other words, according to this, the user can appropriately see the monitored object information while keeping the monitored object within the field of view. As a result, safer information presentation becomes possible.

（請求項６）
前記表示制御部は、前記ユーザから前記監視対象までの距離が近づくにつれて前記方向提示表示又は前記監視対象情報の少なくとも一方を大きく表示する。この場合、ユーザから監視対象までの距離が近づくにつれて方向提示表示を大きく表示するようにすれば、ユーザが監視対象に近づくほど、方向提示表示が大きくなってユーザに対して圧迫感を与えることができる。したがって、ユーザがより立ち止まり易くなる。 (Claim 6)
The display control unit displays at least one of the direction presentation display and the monitoring target information in a larger size as the distance from the user to the monitoring target decreases. In this case, if the direction presentation display is displayed larger as the distance from the user to the monitored object decreases, the closer the user gets to the monitored target, the larger the direction presentation display may give the user a sense of oppression. can. Therefore, it becomes easier for the user to stop.

また、ユーザが監視対象情報を見るために例えば上を見上げている場合であっても、必ずしも全てのユーザが立ち止まるとは限らない。つまり、ユーザが、例えば上を見上げて監視対象情報を見ながら歩行することも考えられる。一方、本構成により、ユーザから監視対象までの距離が近づくにつれて監視対象情報を大きく表示することで、ユーザが例えば上方を見上げて監視対象情報を見ながら歩行しようとした場合であっても、ユーザが監視対象に近づけば監視対象情報が大きくなってユーザに対して圧迫感を与えることができる。したがって、ユーザが監視対象情報を見ながら歩行するような状況を抑制することができる。これらの結果、更に安全な情報提示が可能となる。 Also, even if a user is looking up to see the monitoring target information, not all users stop. In other words, it is conceivable that the user looks up and walks while looking at the monitoring target information, for example. On the other hand, with this configuration, by displaying the monitoring target information larger as the distance from the user to the monitoring target decreases, even if the user looks up and walks while looking at the monitoring target information, the user can is closer to the monitored object, the monitored object information becomes larger and can give the user a sense of oppression. Therefore, it is possible to prevent the user from walking while looking at the monitored information. As a result, safer information presentation is possible.

第１実施形態による情報表示システムの概略構成を模式的に示す図1 is a diagram schematically showing the schematic configuration of an information display system according to a first embodiment; FIG. 第１実施形態による情報表示システムの電気的構成を模式的に示すブロック図1 is a block diagram schematically showing an electrical configuration of an information display system according to a first embodiment; FIG. 第１実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、視界内に監視対象を捉えた場合を示す図A diagram showing an example of a field of view that a user can see through a display unit in the first embodiment, and a diagram showing a case in which a monitoring target is captured within the field of view. 第１実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、方向提示表示が表示された場合を示す図A diagram showing an example of a field of view seen by the user through the display unit in the first embodiment, and showing a case where a direction presentation display is displayed. 第１実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、図４の状態からユーザが上方を向いた場合を示す図4 shows an example of the field of view seen by the user through the display unit in the first embodiment, and shows the case where the user faces upward from the state of FIG. 第１実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、図５の状態からユーザが更に上方を向いた場合を示す図FIG. 5 shows an example of the field of view seen by the user through the display unit in the first embodiment, and shows the case where the user looks further upward from the state of FIG. 第１実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、図６の状態からユーザが監視対象に近づいた場合を示す図FIG. 7 shows an example of the field of view seen by the user through the display unit in the first embodiment, and shows a case where the user approaches the object to be monitored from the state of FIG. 第１実施形態について、ディスプレイ制御装置の制御部で実行される処理内容を示すフローチャートFIG. 2 is a flow chart showing details of processing executed by the control unit of the display control device in the first embodiment; FIG. 第２実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、方向提示表示が表示された場合を示す図A diagram showing an example of a field of view seen by the user through the display unit in the second embodiment, and showing a case where a direction presentation display is displayed. 第２実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、図９の状態からユーザが上方を向いた場合を示す図9 shows an example of the field of view seen by the user through the display unit in the second embodiment, and shows the case where the user faces upward from the state of FIG. 第２実施形態について、表示部を透過してユーザに見える視界の一例を示すもので、図１０の状態からユーザが更に上方を向いた場合を示す図10 shows an example of the field of view seen by the user through the display unit in the second embodiment, and shows the case where the user looks further upward from the state of FIG.

以下、本発明の複数の実施形態について説明する。なお、各実施形態において実質的に同一の構成には同一の符号を付して説明を省略する。 Several embodiments of the present invention are described below. In addition, the same code|symbol is attached|subjected to the substantially same structure in each embodiment, and description is abbreviate|omitted.

（第１実施形態）
第１実施形態について、図１～図８を参照して説明する。図１及び図２に示すように、情報表示システム１０は、少なくとも１台この場合２台の監視対象１１、１２と、安全装置１３と、いわゆるヘッドマウントディスプレイと称される頭部装着型ディスプレイ２０（以下、ＨＭＤ２０と称する）と、ディスプレイ制御装置３０と、を含んで構成されている。本実施形態の場合、監視対象として２種類の対象が想定される。１つは、監視対象１１として示すように、例えば一定の箇所に留まっているようなロボット等の常設体である。もう１つは、監視対象１２として示すように、一定の箇所に留まらずに随時移動するような搬送車等の移動体である。なお、監視対象は、ロボットや搬送車に限られない。 (First embodiment)
A first embodiment will be described with reference to FIGS. 1 to 8. FIG. As shown in FIGS. 1 and 2, the information display system 10 includes at least one, in this case two, monitored objects 11 and 12, a safety device 13, and a head-mounted display 20 called a so-called head-mounted display. (hereinafter referred to as HMD 20 ) and a display control device 30 . In the case of this embodiment, two types of targets are assumed as monitoring targets. One is a permanent body such as a robot that stays at a fixed place, as shown as a monitored object 11 . The other is a mobile object, such as a transport vehicle, which does not stay at a fixed place but moves at any time, as indicated by the monitored object 12 . It should be noted that the monitoring target is not limited to robots and transport vehicles.

監視対象であるロボット１１は、例えば６軸の垂直多関節型ロボットで構成されている。一般的な構成につき詳しい説明は省略するが、ロボット１１は、サーボモータにより駆動される６軸のアームを有し、第６軸アームの先端部に、例えばパレット内に収容されているワークを把持するためのハンド等を備えている。ロボット１１は、ロボットコントローラ１１１に図示しない接続ケーブルを介して接続される。各軸のサーボモータは、このロボットコントローラ１１１により制御される。 The robot 11 to be monitored is composed of, for example, a 6-axis vertical articulated robot. Although a detailed description of the general configuration is omitted, the robot 11 has a 6-axis arm driven by a servomotor, and the tip of the 6-axis arm grips a work contained, for example, in a pallet. It is equipped with a hand etc. for The robot 11 is connected to the robot controller 111 via a connection cable (not shown). A servo motor for each axis is controlled by this robot controller 111 .

ロボットコントローラ１１１は、安全装置１３に通信可能に接続されている。安全装置１３は、ロボットコントローラ１１１側からロボット１１の動作状態及びロボットコントローラ１１１による制御状態を特定可能な各種の情報を取得可能に構成されている。そのため、安全装置１３は、ロボット１１のアームの回転角度やモータの通電状態等、ロボット１１の動作状態を示す動作情報、及びロボットコントローラ１１１の制御状態を示す制御情報をリアルタイムで取得することができる。また、安全装置１３は、ロボット１１が設置されている領域、例えば工場内における基準位置を原点とした２次元座標系におけるロボット１１の座標つまりはロボット１１の設置位置も記憶している。 The robot controller 111 is communicatively connected to the safety device 13 . The safety device 13 is configured to be able to acquire various kinds of information that can specify the operation state of the robot 11 and the control state by the robot controller 111 from the robot controller 111 side. Therefore, the safety device 13 can acquire, in real time, operation information indicating the operation state of the robot 11, such as the rotation angle of the arm of the robot 11 and the energization state of the motor, and control information indicating the control state of the robot controller 111. . The safety device 13 also stores the coordinates of the robot 11 in a two-dimensional coordinate system whose origin is the reference position in the factory where the robot 11 is installed, that is, the installation position of the robot 11 .

監視対象である搬送車１２は、例えばフォークリフト等のように人が運転する有人搬送車や、自動で走行可能な無人搬送車等である。搬送車１２は、通信部１２１を介して安全装置１３に無線通信可能に接続されている。通信部１２１は、搬送車１２から搬送車１２の走行速度等や現在位置等の各種情報を取得し、その各種情報を安全装置１３へ送信する。すなわち、安全装置１３は、通信部１２１側から搬送車１２の走行状態等を特定可能な各種の情報を取得可能に構成されている。そのため、安全装置１３は、搬送車１２の現在位置や走行速度等を示す情報をリアルタイムで取得することができる。 The guided vehicle 12 to be monitored is, for example, a manned guided vehicle driven by a person, such as a forklift, or an unmanned guided vehicle that can travel automatically. The carrier 12 is wirelessly communicably connected to the safety device 13 via the communication unit 121 . The communication unit 121 acquires various information such as the traveling speed and the current position of the transport vehicle 12 from the transport vehicle 12 and transmits the various information to the safety device 13 . That is, the safety device 13 is configured to be able to acquire various kinds of information that can identify the traveling state of the transport vehicle 12 from the communication unit 121 side. Therefore, the safety device 13 can acquire information indicating the current position, traveling speed, etc. of the carrier 12 in real time.

ＨＭＤ２０は、ユーザの頭部に装着可能な形態に構成されており、ユーザの視界内に各種情報を表示させることができる。ＨＭＤ２０は、両目を覆う両眼型、又は一方の目のみを覆う単眼型のいずれでも良いが、本実施形態は、ユーザの視界を奪い易い両眼型により適している。また、ＨＭＤ２０の形状は、眼鏡のように装着する眼鏡型や帽子のように装着する帽子型などが想定されるが、いずれも形状であっても良い。本実施形態のＨＭＤ２０は、眼鏡型を想定している。 The HMD 20 is configured in a form that can be worn on the user's head, and can display various types of information within the user's field of vision. The HMD 20 may be either a binocular type that covers both eyes or a monocular type that covers only one eye, but this embodiment is more suitable for the binocular type that tends to deprive the user of the field of vision. Further, the shape of the HMD 20 is assumed to be a spectacle type to be worn like spectacles, a hat type to be worn like a hat, or the like, but any shape may be used. The HMD 20 of this embodiment is assumed to be a spectacles type.

ＨＭＤ２０は、図２にも示すように、表示部２１及びカメラ２２を有している。表示部２１は、ユーザがＨＭＤ２０を装着した状態において、そのユーザの視界と重なる位置に設けられている。本実施形態の場合、表示部２１は、眼鏡のレンズ部分に相当する部分であり、画像などの情報を表示することができるいわゆる透過型のディスプレイで構成されている。このため、ＨＭＤ２０に表示される画像は、ユーザの視界に重なって表示されることになる。換言すると、ユーザは、自身の目で見た現実の風景と、ＨＭＤ２０によって表示された仮想的な画像とを併せて見ることになる。 The HMD 20 has a display section 21 and a camera 22, as also shown in FIG. The display unit 21 is provided at a position overlapping the field of view of the user when the user wears the HMD 20 . In the case of this embodiment, the display unit 21 is a portion corresponding to the lens portion of eyeglasses, and is configured by a so-called transmissive display capable of displaying information such as images. Therefore, the image displayed on the HMD 20 is displayed overlapping the user's field of view. In other words, the user sees both the real landscape seen with his own eyes and the virtual image displayed by the HMD 20 .

カメラ２２は、小型のＣＣＤカメラやＣＭＯＳカメラで構成されており、ＨＭＤ２０に一体的に取り付けられている。このカメラ２２は、ユーザの顔の向きと一致するように、ＨＭＤ２０のフレームの一側部に設けられている。カメラ２２は、図１に示すように、ユーザ９０がＨＭＤ２０を頭部に装着した状態で、ユーザ９０の頭部正面が向いている方向の画像を撮像する。そのため、カメラ２２によって撮像される画像は、ユーザ９０の視界とほぼ同一の画角となっている。換言すると、カメラ２２は、ユーザ９０が見ている風景とほぼ同一の風景を撮像する。 The camera 22 is composed of a small CCD camera or CMOS camera, and is integrally attached to the HMD 20 . This camera 22 is provided on one side of the frame of the HMD 20 so as to match the orientation of the user's face. As shown in FIG. 1, the camera 22 captures an image in the direction in which the front of the head of the user 90 is facing while the user 90 wears the HMD 20 on the head. Therefore, the image captured by the camera 22 has almost the same angle of view as the field of view of the user 90 . In other words, the camera 22 captures a landscape that is substantially the same as the landscape viewed by the user 90 .

なお、表示部２１は、透過型のディスプレイに限られず、非透過型のディスプレイで構成しても良い。この場合、ＨＭＤ２０は、カメラ２２で撮影した画像をリアルタイムで表示部２１に表示させることで、カメラ２２が撮影した風景をユーザに対し仮想的に提示、すなわちユーザの視界を表示部２１に再現すれば良い。また、ＨＭＤ２０は、表示部２１を有するものに限られず、仮想的な画像をユーザの網膜に直接投影する網膜投影型であっても良い。 Note that the display unit 21 is not limited to a transmissive display, and may be configured with a non-transmissive display. In this case, the HMD 20 virtually presents the scenery captured by the camera 22 to the user by causing the display unit 21 to display the image captured by the camera 22 in real time. Good luck. Further, the HMD 20 is not limited to having the display unit 21, and may be of a retinal projection type that directly projects a virtual image onto the user's retina.

ＨＭＤ２０は、ディスプレイ制御装置３０に無線又は有線で接続されている。なお、ディスプレイ制御装置３０は、ＨＭＤ２０と一体に構成されていても良い。図２に示すように、ディスプレイ制御装置３０は、マイクロコンピュータ等で構成された制御部３１を内蔵しており、ＨＭＤ２０の表示部２１に表示する画像データを送信したり、カメラ２２により撮影された画像データを受信したりする。また、ディスプレイ制御装置３０は、安全装置１３と有線又は無線通信が可能となっている。 The HMD 20 is wirelessly or wiredly connected to the display control device 30 . Note that the display control device 30 may be configured integrally with the HMD 20 . As shown in FIG. 2 , the display control device 30 incorporates a control unit 31 configured by a microcomputer or the like, and transmits image data to be displayed on the display unit 21 of the HMD 20 or displays images captured by the camera 22 . receive image data. Further, the display control device 30 is capable of wired or wireless communication with the safety device 13 .

図２に示すように、ディスプレイ制御装置３０は、制御部３１の他、監視対象情報取得部３２、視界情報取得部３３、監視対象識別部３４、及び表示制御部３５を有している。制御部３１は、例えばＣＰＵ３１１や、ＲＯＭ、ＲＡＭ、及び書き換え可能なフラッシュメモリなどの記憶領域３１２を有するマイクロコンピュータを主体に構成されており、ＨＤＭ２０の全体の制御を司っている。 As shown in FIG. 2 , the display control device 30 has a monitoring target information acquisition unit 32 , a view information acquisition unit 33 , a monitoring target identification unit 34 , and a display control unit 35 in addition to the control unit 31 . The control unit 31 is mainly composed of a CPU 311 and a microcomputer having a storage area 312 such as a ROM, a RAM, and a rewritable flash memory, and controls the entire HDM 20 .

記憶領域３１２は、情報表示プログラムを記憶している。制御部３１は、ＣＰＵ３１１において情報表示プログラムを実行することにより、監視対象情報取得部３２、視界情報取得部３３、監視対象識別部３４、及び表示制御部３５等を、ソフトウェア的に実現する。なお、これら監視対象情報取得部３２、視界情報取得部３３、監視対象識別部３４、及び表示制御部３５は、例えば制御部３１と一体の集積回路としてハードウェア的に実現してもよい。 A storage area 312 stores an information display program. By executing an information display program in the CPU 311, the control unit 31 realizes the monitored object information acquisition unit 32, the visibility information acquisition unit 33, the monitored object identification unit 34, the display control unit 35, and the like in software. Note that the monitored object information acquisition unit 32, the visibility information acquisition unit 33, the monitored object identification unit 34, and the display control unit 35 may be implemented in hardware as an integrated circuit integrated with the control unit 31, for example.

監視対象情報取得部３２は、安全装置１３から、監視対象１１、１２に関する情報である監視対象情報をリアルタイムで取得することがでる。ロボット１１に関する監視対象情報は、例えばロボット１１の動作状態を示す動作情報やコントローラ１１１の制御状態を示す制御情報などを含んでいる。搬送車１２に関する監視情報は、例えば搬送車１２の現在位置や走行速度等、搬送車１２の動作状態を示す動作情報を含んでいる。 The monitoring target information acquisition unit 32 can acquire monitoring target information, which is information about the monitoring targets 11 and 12, from the safety device 13 in real time. The monitoring target information about the robot 11 includes, for example, motion information indicating the motion state of the robot 11 and control information indicating the control state of the controller 111 . The monitoring information about the transport vehicle 12 includes operation information indicating the operating state of the transport vehicle 12, such as the current position and running speed of the transport vehicle 12, for example.

また、監視対象情報取得部３２は、各監視対象１１、１２について、各監視対象１１とユーザ９０との距離を取得することができる。監視対象情報取得部３２は、例えば監視対象１１、１２の位置情報と、ユーザ９０の位置情報とに基づいて、各監視対象１１とユーザ９０との距離を取得することができる。ユーザ９０の位置情報は、ユーザ９０に装着されるＨＭＤ２０又はユーザ９０に携帯されるディスプレイ表示装置３０に小型のＧＰＳ（Global Positioning System）を設けることで取得することができる。また、ユーザ９０の位置情報は、ＧＰＳユニットのように直接的に位置を特定するものではなく、例えば工場の入り口等の基準位置からのユーザ９０の移動軌跡を取得し、基準位置に対する変位量に基づいて間接的に位置を特定するような構成としてもよい。 In addition, the monitoring target information acquiring unit 32 can acquire the distance between each monitoring target 11 and the user 90 for each of the monitoring targets 11 and 12 . The monitoring target information acquisition unit 32 can acquire the distance between each monitoring target 11 and the user 90 based on the position information of the monitoring targets 11 and 12 and the position information of the user 90, for example. The location information of the user 90 can be acquired by providing a small GPS (Global Positioning System) in the HMD 20 worn by the user 90 or the display device 30 carried by the user 90 . Further, the location information of the user 90 does not directly specify the location like a GPS unit. A configuration may be adopted in which the position is specified indirectly based on the position.

視界情報取得部３３は、ＨＭＤ２０を装着したユーザ９０の視界を特定するための視界情報を取得する処理を行うことができる。ユーザ９０の視界とは、ユーザ９０がＨＭＤ２０を装着した状態においてユーザ９０の目に映る風景を意味する。本実施形態の場合、ユーザ９０の視界とは、眼鏡のレンズ部分である表示部２１を通してユーザ９０の目に映る風景を意味する。視界情報取得部３３は、例えばカメラ２２で撮像した画像から、ユーザ９０の視界情報を取得する。本実施形態では、例えば図３等に示すように、カメラ２２の撮像範囲２２１及び表示部２１の領域を、ユーザ９０の視界９１と擬制している。 The field-of-view information acquisition unit 33 can perform processing for acquiring field-of-view information for specifying the field of view of the user 90 wearing the HMD 20 . The field of view of the user 90 means the scenery seen by the user 90 while the user 90 is wearing the HMD 20 . In the case of this embodiment, the field of view of the user 90 means the scenery seen by the user 90 through the display section 21, which is the lens portion of the glasses. The field-of-view information acquisition unit 33 acquires the field-of-view information of the user 90 from an image captured by the camera 22, for example. In this embodiment, for example, as shown in FIG. 3 and the like, the imaging range 221 of the camera 22 and the area of the display unit 21 are simulated as the field of view 91 of the user 90 .

図２に示す監視対象識別部３４は、視界情報取得部３３で取得した視界情報に基づいて、ユーザ９０の視界９１内に存在する監視対象１１、１２を識別する処理を行うことができる。監視対象識別部３４は、例えば次のようにして監視対象１１、１２を識別することができる。すなわち、例えば各監視対象１１、１２に、それぞれ個体を特定するためのマーカーを付しておく。そして、監視対象識別部３４は、カメラ２２で撮像された画像を基に監視対象１１、１２に付されたマーカーを認識することで、各監視対象１１、１２を識別することができる。 The monitored object identification unit 34 shown in FIG. 2 can perform processing for identifying the monitored objects 11 and 12 existing within the field of view 91 of the user 90 based on the field of view information acquired by the field of view information acquisition unit 33 . The monitoring target identification unit 34 can identify the monitoring targets 11 and 12, for example, as follows. That is, for example, each of the monitoring targets 11 and 12 is attached with a marker for identifying each individual. Then, the monitoring target identification unit 34 can identify the monitoring targets 11 and 12 by recognizing the markers attached to the monitoring targets 11 and 12 based on the images captured by the camera 22 .

表示制御部３５は、図４～図７に示すように、表示部２１つまりユーザ９０の視界９１内に、ユーザ９０の頭部の向きに応じて、方向提示表示４３及び監視対象情報４４を視界９１内で移動させるようにして表示する。方向提示表示４３及び監視対象情報４４は、文字情報や数字、図形、記号等で構成されている。方向提示表示４３は、ユーザ９０が特定の方向を向くことで監視対象情報４４がユーザ９０の視界９１内に表示されることを示す情報である。本実施形態の場合、方向提示表示４３は、例えば「ＡＬＥＲＴ！」の文字及び記号と、その文字及び記号を囲む枠線とを含んで構成されている。また、表示制御部３５は、表示部２１内において不透明な表示領域４１を表示すると共に、表示領域４１内に方向提示表示４３及び監視対象情報４４を表示する。 As shown in FIGS. 4 to 7, the display control unit 35 displays the direction presentation display 43 and the monitored object information 44 in the display unit 21, that is, within the field of view 91 of the user 90, according to the direction of the head of the user 90. It is displayed by moving within 91 . The direction presentation display 43 and the monitored object information 44 are composed of character information, numbers, figures, symbols, and the like. The direction presentation display 43 is information indicating that the monitoring target information 44 is displayed within the field of view 91 of the user 90 when the user 90 faces a specific direction. In the case of this embodiment, the direction indication display 43 includes, for example, characters and symbols "ALERT!" and a frame surrounding the characters and symbols. Further, the display control unit 35 displays an opaque display area 41 in the display unit 21 and also displays a direction presentation display 43 and monitoring target information 44 in the display area 41 .

なお、図４及び図５において、二点鎖線で囲った領域４２は、監視対象情報４４の全ての内容を表示させるために表示領域４１だけでは不足している領域を示している。以下の説明では、図４及び図５において二点鎖線で囲った領域４２を、不足領域４２と称する。不足領域４２は、監視対象情報４４の情報量に応じて、表示領域４１を視界９１の外側まで仮想的に拡張した領域である。このため、不足領域４２、及び図４、図５において不足領域４２内に表された監視対象情報４４は、表示部２１には表示されない。この場合、ユーザ９０と監視対象１２との距離が一定であれば、表示領域４１と不足領域４２との面積の合計も一定である。 4 and 5, an area 42 surrounded by a chain double-dashed line indicates an area where the display area 41 alone is insufficient to display all the contents of the monitoring target information 44. FIG. In the following description, the area 42 enclosed by the two-dot chain line in FIGS. 4 and 5 is called the insufficient area 42. FIG. The lacking area 42 is an area obtained by virtually extending the display area 41 to the outside of the field of view 91 according to the information amount of the monitoring target information 44 . Therefore, the lacking area 42 and the monitoring target information 44 shown in the lacking area 42 in FIGS. 4 and 5 are not displayed on the display unit 21 . In this case, if the distance between the user 90 and the monitored object 12 is constant, the total area of the display area 41 and the insufficient area 42 is also constant.

表示制御部３５は、表示領域４１内を、例えば監視対象情報４４とは反対色で不透明に表示することで、表示領域４１の後ろの実景を覆い隠している。これにより、表示領域４１内に表示された方向提示表示４３及び監視対象情報４４が、表示領域４１の後ろの実景に紛れ込む事を防ぐことができるため、方向提示表示４３及び監視対象情報４４が見易くなる。なお、表示制御部３５は、表示領域４１を示す枠及び表示領域４１自体を、必ずしも表示部２１に表示する必要はない。 The display control unit 35 hides the actual scene behind the display area 41 by displaying the inside of the display area 41 opaquely, for example, in a color opposite to that of the monitoring target information 44 . As a result, the direction presentation display 43 and the monitoring target information 44 displayed in the display area 41 can be prevented from blending into the actual scene behind the display region 41, so that the direction presentation display 43 and the monitoring target information 44 are easy to see. Become. Note that the display control unit 35 does not necessarily have to display the frame indicating the display area 41 and the display area 41 itself on the display unit 21 .

表示制御部３５は、例えば図４に示すように、ユーザ９０の視界９１内に、監視対象である例えば搬送車１２を捉えた場合であって、かつ、その視界９１内に捕えた監視対象１２について監視対象情報を取得している場合に、まず、ユーザ９０の視界９１内の隅部、この場合上部に方向提示表示４３を表示させる。この場合、視界９１内の上部に表示された方向提示表示４３は、ユーザ９０が特定の方向つまり上部を向くことで監視対象情報４４がユーザ９０の視界９１内に表示されることを示している。また、この場合、表示制御部３５は、方向提示表示４３を、ユーザ９０の視界９１内に存在する監視対象この場合搬送車１２と重ならない位置に表示する。 For example, as shown in FIG. , the direction presentation display 43 is first displayed in the corner of the visual field 91 of the user 90, in this case, the upper part. In this case, the direction indication display 43 displayed in the upper part of the field of view 91 indicates that the monitoring target information 44 is displayed in the field of view 91 of the user 90 when the user 90 faces a specific direction, that is, the upper part. . Further, in this case, the display control unit 35 displays the direction presentation display 43 at a position that does not overlap with the monitoring target, in this case, the guided vehicle 12 that exists within the visual field 91 of the user 90 .

そして、表示制御部３５は、図５、図６に示すように、方向提示表示４３が表示されている方向をユーザ９０が向くことに追従するようにして、方向提示表示４３及び監視対象情報４４をユーザ９０の視界９１内に表示する。すなわち、表示制御部３５は、図５、図６に示すように、ユーザ９０が上を向くのに伴って、方向提示表示４３及び監視対象情報４４が視界９１内において相対的に下方へ移動するようにして、これら方向提示表示４３及び監視対象情報４４を表示する。このように、ユーザ９０の向きに追従させて、方向提示表示４３及び監視対象情報４４を表示させる表示方法を、以下の説明では追従表示と称する。 Then, as shown in FIGS. 5 and 6 , the display control unit 35 displays the direction presentation display 43 and the monitoring target information 44 so as to follow the direction in which the direction presentation display 43 is displayed by the user 90 . is displayed within the field of view 91 of the user 90 . That is, as shown in FIGS. 5 and 6, the display control unit 35 causes the direction presentation display 43 and the monitored object information 44 to move relatively downward within the field of view 91 as the user 90 faces upward. Thus, the direction presentation display 43 and the monitored object information 44 are displayed. In the following description, the display method of displaying the direction presentation display 43 and the monitoring target information 44 following the orientation of the user 90 is referred to as follow-up display.

ちなみに、表示制御部３５は、ユーザ９０が向いている方向を、視界情報取得部３３で取得された視界情報すなわちカメラ２２で撮影された画像を画像処理することで判断することができる。また、表示制御部３５は、ユーザ９０が向いている方向を、ＨＭＤ２０に設けられた図示しない加速度センサの検出結果に基づいて判断しても良い。また、図６、図７に示すように、表示制御部３５は、ユーザ９０から監視対象例えば搬送車１２までの距離が近づくにつれて、方向提示表示４３又は監視対象情報４４の少なくとも一方、この場合両方を大きく表示する。 Incidentally, the display control unit 35 can determine the direction in which the user 90 is facing by image processing the view information acquired by the view information acquisition unit 33 , that is, the image captured by the camera 22 . Further, the display control unit 35 may determine the direction in which the user 90 is facing based on the detection result of an acceleration sensor (not shown) provided in the HMD 20 . As shown in FIGS. 6 and 7, the display control unit 35 controls at least one of the direction presentation display 43 and the monitoring target information 44, or in this case, both, as the distance from the user 90 to the monitoring target, for example, the transport vehicle 12 decreases. to be displayed larger.

次に、ディスプレイ制御装置３０の制御部３１において行われる制御フローについて、図８も参照して説明する。制御部３１は、情報表示プログラムを実行すると、図８の制御フローを実行する。制御部３１は、まず、ステップＳ１１において、視界情報取得部３３及び監視対象識別部３４の処理により、視界９１内に監視対象を捕えたか否か、つまりユーザ９０が監視対象を見ているか否かを判断する。視界９１内に監視対象を捕えていない場合（ステップＳ１１でＮＯ）、制御部３１は、監視対象を視界９１内に捉えるまでステップＳ１１を繰り返す。 Next, a control flow performed in the control section 31 of the display control device 30 will be described with reference to FIG. 8 as well. When the information display program is executed, the control section 31 executes the control flow of FIG. First, in step S11, the control unit 31 determines whether or not the object to be monitored is captured within the field of view 91 by the processing of the visual field information acquisition unit 33 and the object identification unit 34, that is, whether or not the user 90 is looking at the object to be monitored. to judge. If the monitoring target is not captured within the field of view 91 (NO in step S11), the control unit 31 repeats step S11 until the monitoring target is captured within the field of view 91. FIG.

視界９１内に監視対象を捕えた場合（ステップＳ１１でＹＥＳ）、制御部３１は、ステップＳ１２へ処理を移行させる。ステップＳ１２において、制御部３１は、視界９１内に存在する監視対象についての監視対象情報を取得しているか否かを判断する。例えば図３の例では、ユーザ９０は、自己の視界９１内に搬送車１２を捕らえている。この場合、制御部３１は、監視対象情報取得部３２の処理によって視界９１内の搬送車１２に関する監視対象情報を取得しているか否かを判断する。 When the monitoring target is captured within the field of view 91 (YES in step S11), the control unit 31 causes the process to proceed to step S12. In step S<b>12 , the control unit 31 determines whether or not the monitoring target information about the monitoring target existing within the field of view 91 has been acquired. For example, in the example of FIG. 3, user 90 has vehicle 12 within his field of view 91 . In this case, the control unit 31 determines whether or not the monitoring target information regarding the guided vehicle 12 within the field of view 91 is acquired by the processing of the monitoring target information acquisition unit 32 .

搬送車１２に関する監視対象情報を取得していない場合（図８のステップＳ１２でＮＯ）、制御部３１は、ユーザ９０に対して提示すべき監視対象情報が存在していないと判断し、ステップＳ１１へ処理を戻す。一方、搬送車１２に関する監視対象情報を取得している場合（ステップＳ１２でＹＥＳ）、制御部３１は、表示制御部３５の処理により、まず、図４に示すように視界９１内の隅部この場合上部に方向提示表示４３を表示する。 If the monitoring target information related to the transport vehicle 12 has not been acquired (NO in step S12 of FIG. 8), the control unit 31 determines that there is no monitoring target information to be presented to the user 90, and step S11. Return processing to On the other hand, if monitoring target information regarding the transport vehicle 12 has been acquired (YES in step S12), the control unit 31 causes the display control unit 35 to process the corner of the field of view 91 as shown in FIG. In this case, a direction indication display 43 is displayed at the top.

その後、制御部３１は、ステップＳ１４へ処理を移行させ、表示制御部３５の処理により、図５、図６に示すように、方向提示表示４３及び搬送車１２に関する監視対象情報４４を追従表示させる。また、図７に示すように、制御部３１は、表示制御部３５の処理により、監視対象１２とユーザ９０との距離が近づくほど、方向提示表示４３及び監視対象情報４４を大きく表示する。 After that, the control unit 31 shifts the processing to step S14, and causes the display control unit 35 to follow and display the direction indication display 43 and the monitoring target information 44 regarding the transport vehicle 12 as shown in FIGS. . Further, as shown in FIG. 7, the control unit 31 causes the display control unit 35 to display the direction presentation display 43 and the monitoring target information 44 larger as the distance between the monitoring target 12 and the user 90 decreases.

そして、制御部３１は、図８のステップＳ１１～Ｓ１４を繰り返し、視界９１内から監視対象１２が外れるまで、又は視界９１内に捕えている監視対象１２に関する監視対象情報４４の取得が無くなるまで、方向提示表示４３及び監視対象情報４４を視界９１内に追従表示する。なお、監視対象情報４４の取得が無くなる場合とは、例えば監視対象１２の電源が落とされて動作が停止している場合、すなわち監視対象１２に接近しても危険が無い場合等である。 Then, the control unit 31 repeats steps S11 to S14 in FIG. The direction presentation display 43 and the monitored object information 44 are displayed within the field of view 91 in a follow-up manner. The case where the monitoring target information 44 is no longer acquired is, for example, the case where the monitoring target 12 is powered off and the operation is stopped, that is, there is no danger even if the monitoring target 12 is approached.

以上説明した実施形態によれば、情報表示システム１０において、表示制御部３５は、ユーザ９０の視界９１内に監視対象例えば搬送車１２を捉えた場合に、まず、方向提示表示４３をユーザ９０の視界９１内に表示させる。方向提示表示４３は、ユーザ９０に特定の方向を向くように提示するための表示であり、ユーザ９０が特定の方向を向くことで監視対象情報４４がユーザ９０の視界９１内に表示されることを示している。そして、ユーザ９０が方向提示表示４３で提示された方向を向くと、表示制御部３５は、ユーザ９０の向きの変化に追従させて監視対象情報４４をユーザ９０の視界９１内に表示する。 According to the embodiment described above, in the information display system 10 , the display control unit 35 first displays the direction presentation display 43 to the user 90 when the monitoring target, for example, the guided vehicle 12 is captured within the field of view 91 of the user 90 . Display within the field of view 91 . The direction presentation display 43 is a display for presenting the user 90 to look in a specific direction, and when the user 90 faces in a specific direction, the monitoring target information 44 is displayed within the field of view 91 of the user 90 . is shown. Then, when the user 90 faces the direction presented by the direction presentation display 43 , the display control unit 35 follows the change in the orientation of the user 90 and displays the monitoring target information 44 within the field of view 91 of the user 90 .

これによれば、ユーザ９０の視界９１内に方向提示表示４３を表示させることで、ユーザ９０に対し、その方向提示表示４３が提示する方向へ向くように促すことができる。これにより、ユーザ９０の視線を、監視対象この場合搬送車１２から逸らすことができる。つまり、これによれば、ユーザ９０の視界９１内に捉えられた監視対象１２を、ユーザ９０の視界９１の隅に追いやることができる。そのため、ユーザ９０の視界９１内において、監視対象１２と重ならずに監視対象情報４４を表示するための表示領域４１を確保し易くなる。したがって、監視対象１２と監視対象情報４４とが重なってユーザ９０の視界９１が遮られることを抑制でき、その結果、安全な情報提示が可能となる。 According to this, by displaying the direction presentation display 43 within the field of view 91 of the user 90 , the user 90 can be urged to face the direction presented by the direction presentation display 43 . Thereby, the line of sight of the user 90 can be diverted from the monitored object, in this case the transport vehicle 12 . That is, according to this, the monitored object 12 captured within the field of view 91 of the user 90 can be relegated to the corner of the field of view 91 of the user 90 . Therefore, it becomes easier to secure the display area 41 for displaying the monitored object information 44 without overlapping the monitored object 12 within the field of view 91 of the user 90 . Therefore, it is possible to suppress obstruction of the field of view 91 of the user 90 due to overlapping of the monitored object 12 and the monitored object information 44, and as a result, safe information presentation is possible.

また、本実施形態によれば、ユーザ９０の視界９１内に方向提示表示４３が表示された場合であっても、ユーザ９０がその方向提示表示４３の指し示す方向へ向かなければ、ユーザ９０の視界９１内に監視対象情報４４は表示されない。したがって、ユーザ９０は、監視対象情報４４を見る気が無い場合には、方向提示表示４３の指し示す方向へ振り向かないことで、視界９１内に監視対象情報４４を表示させないことができる。これにより、ユーザ９０は、方向提示表示４３が表示された場合であっても自分の意思で監視対象情報４４を表示させることができる。したがって、ユーザ９０は、監視対象情報４４を見る気が無い場合にも視界９１内に監視対象情報４４が表示されて視界９１が妨げられるといったことを回避することができる。 Further, according to the present embodiment, even if the direction presentation display 43 is displayed within the field of view 91 of the user 90, if the user 90 does not face the direction indicated by the direction presentation display 43, the user 90 The monitored object information 44 is not displayed within the field of view 91 . Therefore, when the user 90 does not want to see the monitoring target information 44 , the monitoring target information 44 can be prevented from being displayed within the field of view 91 by not turning around in the direction indicated by the direction presentation display 43 . As a result, the user 90 can display the monitoring target information 44 at his/her own will even when the direction presentation display 43 is displayed. Therefore, even when the user 90 does not want to see the monitoring target information 44, it is possible to avoid the situation where the monitoring target information 44 is displayed in the field of view 91 and the field of view 91 is obstructed.

更に、本実施形態によれば、例えばユーザ９０が歩行していて監視対象１２に近づいている場合等において、ユーザ９０の視界９１内に方向提示表示４３を表示させることで、ユーザ９０に対し、その方向提示表示４３が指し示す方向へ向くように促すことができる。これにより、ユーザ９０の視線をあえてユーザ９０の前方つまりユーザ９０の進行方向から外させることで、進行方向が見難くなったユーザ９０は、危険を感じて一旦立ち止まる可能性が高まる。そして、方向提示表示４３が示す方向をユーザ９０が向くことに追従させて監視対象情報４４をユーザ９０の視界９１内に表示することで、ユーザ９０の移動を立ち止まらせつつ、ユーザ９０に対して監視対象情報４４を適切に提示することができる。これにより、ユーザ９０が移動している場合等において、監視対象１２に過度に接近してしまうこと等を抑制でき、その結果、安全な情報提示が可能となる。 Furthermore, according to the present embodiment, for example, when the user 90 is walking and is approaching the monitored object 12, by displaying the direction presentation display 43 within the field of view 91 of the user 90, the user 90 can It is possible to prompt the user to face in the direction indicated by the direction presentation display 43 . As a result, the line of sight of the user 90 is intentionally removed from the front of the user 90, that is, from the traveling direction of the user 90, thereby increasing the possibility that the user 90, who has difficulty seeing the traveling direction, will feel danger and temporarily stop. Then, by causing the user 90 to follow the direction indicated by the direction indication display 43 and displaying the monitoring target information 44 within the field of view 91 of the user 90, the movement of the user 90 is stopped and the user 90 The monitored object information 44 can be presented appropriately. As a result, it is possible to prevent the user 90 from getting too close to the monitored object 12 when the user 90 is moving, and as a result, information can be presented safely.

また、本実施形態において、表示制御部３５は、ユーザ９０の視界９１内に監視対象１２を捉えた場合に、方向提示表示４３をユーザ９０の視界９１内の上部に表示する。これによれば、ユーザ９０に対して上方を見るように促すことができる。この場合、ユーザ９０は、足元が見難くなるため、より危険を感じて立ち止まる可能性が高まる。すなわち、ユーザ９０は、方向提示表示４３に従って上方を見ることで、体がやや後方へ反り返った姿勢つまりのけぞるような姿勢となる。このような姿勢は、体の重心がやや後方に位置するため、歩行には適さない姿勢である。このため、例えば歩行しているユーザ９０をより効果的に立ち止まらせて無理な歩行を抑制でき、その結果、より安全な情報提示が可能となる。 Further, in the present embodiment, the display control unit 35 displays the direction presentation display 43 above the user's 90 field of view 91 when the monitoring target 12 is captured within the user's 90 field of view 91 . According to this, it is possible to prompt the user 90 to look upward. In this case, it becomes difficult for the user 90 to see his or her feet, and the possibility of feeling more dangerous and stopping is increased. That is, by looking upward according to the direction indication 43, the user 90 assumes a posture in which the body is slightly bent backward, that is, a posture as if the user is leaning back. Such a posture is not suitable for walking because the center of gravity of the body is positioned slightly backward. For this reason, for example, the user 90 who is walking can be stopped more effectively to suppress unreasonable walking, and as a result, safer information can be presented.

また、本実施形態において、表示制御部３５は、ユーザ９０の視界９１内に不透明な表示領域４１を表示すると共に、表示領域４１内に方向提示表示４３及び監視対象情報４４を表示する。これによれば、不透明な表示領域４１内に表示された方向提示表示４３及び監視対象情報４４が、表示領域４１の後ろの実景に紛れ込む事を防ぐことができる。これにより、方向提示表示４３及び監視対象情報をより見易くすることができる。 Further, in the present embodiment, the display control unit 35 displays the opaque display area 41 within the field of view 91 of the user 90 and also displays the direction presentation display 43 and the monitoring target information 44 within the display area 41 . According to this, it is possible to prevent the direction presentation display 43 and the monitored object information 44 displayed in the opaque display area 41 from blending into the actual scene behind the display area 41 . This makes it possible to make the direction presentation display 43 and the monitoring target information easier to see.

また、本実施形態において、表示制御部３５は、監視対象情報４４を、監視対象例えば搬送車１２と重ならない位置に表示する。これによれば、ユーザ９０の視界９１に表示される監視対象情報４４が監視対象１２と重なって、監視対象情報４４が見難くなることを防止できるとともに、監視対象１２自体が難くなることも防止できる。つまり、これによれば、ユーザ９０は、監視対象１２を視界９１に入れたまま、監視対象情報４４を適切に見ることができる。その結果、更に安全な情報提示が可能となる。 Further, in the present embodiment, the display control unit 35 displays the monitoring target information 44 at a position that does not overlap with the monitoring target, for example, the transport vehicle 12 . According to this, it is possible to prevent the monitored object information 44 displayed in the field of view 91 of the user 90 from overlapping with the monitored object 12 and make it difficult to see the monitored object information 44, and also prevent the monitored object 12 itself from becoming difficult. can. In other words, according to this, the user 90 can appropriately view the monitored object information 44 while keeping the monitored object 12 within the field of view 91 . As a result, safer information presentation becomes possible.

本実施形態において、表示制御部３５は、ユーザ９０から監視対象１２までの距離が近づくにつれて、方向提示表示４３を大きく表示する。これによれば、ユーザ９０が監視対象１２に近づくほど、方向提示表示４３が大きくなってユーザ９０に対して圧迫感を与えることができる。したがって、ユーザ９０がより立ち止まり易くなる。 In this embodiment, the display control unit 35 displays the direction presentation display 43 larger as the distance from the user 90 to the monitored object 12 decreases. According to this, the closer the user 90 is to the monitored object 12, the larger the direction presentation display 43 becomes, thereby making it possible to give the user 90 a sense of oppression. Therefore, it becomes easier for the user 90 to stop.

ここで、ユーザ９０が監視対象情報４４を見るために見上げている場合であっても、必ずしも全てのユーザ９０が立ち止まるとは限らない。つまり、ユーザ９０が、上を見上げて監視対象情報４４を見ながら歩行することも考えられる。一方、本実施形態において、表示制御部３５は、ユーザ９０から監視対象１２までの距離が近づくにつれて監視対象情報４４を大きく表示する。これによれば、ユーザ９０が上を見上げて監視対象情報４４を見ながら歩行しようとした場合であっても、ユーザ９０が監視対象１２に近づけば監視対象情報４４が大きくなってユーザ９０に対して圧迫感を与えることができる。したがって、ユーザ９０が監視対象情報４４を見ながら歩行するような状況を抑制することができる。その結果、更に安全な情報提示が可能となる。 Here, even if the users 90 look up to see the monitoring target information 44, not all the users 90 necessarily stop. In other words, it is conceivable that the user 90 looks up and walks while looking at the monitoring target information 44 . On the other hand, in the present embodiment, the display control unit 35 displays the monitored object information 44 larger as the distance from the user 90 to the monitored object 12 decreases. According to this, even if the user 90 looks up and tries to walk while looking at the monitoring target information 44, when the user 90 approaches the monitoring target 12, the monitoring target information 44 becomes larger and the user 90 is can give a feeling of oppression. Therefore, it is possible to prevent the user 90 from walking while looking at the monitoring target information 44 . As a result, safer information presentation becomes possible.

（第２実施形態）
次に、第２実施形態について、図９～図１１を参照して説明する。
第２実施形態は、方向提示表示の具体的態様が上記第１実施形態と異なる。すなわち、本実施形態において、表示制御部３５は、ユーザ９０の視界９１内に監視対象例えば搬送車１２を捉えた場合に、第１実施形態の方向提示表示４３に換えて、図９に示すように方向提示表示４５を表示する。 (Second embodiment)
Next, a second embodiment will be described with reference to FIGS. 9 to 11. FIG.
The second embodiment differs from the above-described first embodiment in the specific aspect of direction presentation display. That is, in the present embodiment, when an object to be monitored, such as the guided vehicle 12, is caught within the field of view 91 of the user 90, the display control unit 35 replaces the direction presentation display 43 of the first embodiment with the display shown in FIG. , a direction indication display 45 is displayed.

本実施形態の方向提示表示４５は、半透明の矢印図形、この場合、上向きの矢印図形で構成されており、監視対象１２と重なる位置に表示される。そして、ユーザ９０が、方向提示表示４５で提示された方向、この場合、上方向を向くと、表示制御部３５は、図１０、図１１に示すように、ユーザ９０の向きに追従させて、方向提示表示４５及び監視対象情報４４をユーザ９０の視界９１内において相対的に下方へ移動するように表示する。 The direction presentation display 45 of this embodiment is composed of a translucent arrow graphic, in this case, an upward arrow graphic, and is displayed at a position overlapping the monitored object 12 . Then, when the user 90 faces the direction presented by the direction presentation display 45, in this case, the upward direction, the display control unit 35 follows the direction of the user 90 as shown in FIGS. The direction presentation display 45 and the monitored object information 44 are displayed so as to move relatively downward within the visual field 91 of the user 90 .

これによれば、ユーザ９０が見ている監視対象１２つまりユーザ９０の視線の先に方向提示表示４５が矢印図形で表示されるため、ユーザ９０は、どちらを向けば良いか瞬時に認識し易くなる。また、方向提示表示４５を構成する矢印図形は、半透明であるため、監視対象１２と重なっていてもユーザ９０の視界９１を妨げ難い。 According to this, the direction presentation display 45 is displayed in the form of an arrow in front of the monitored object 12 that the user 90 is looking at, that is, in the line of sight of the user 90, so that the user 90 can instantly recognize which direction to turn. Become. In addition, since the arrow figure forming the direction presentation display 45 is translucent, even if it overlaps with the monitored object 12, the user's 90 view 91 is not easily obstructed.

そしてこの場合、方向提示表示４５は、監視対象１２と重なる位置に矢印として表示されるため、ユーザ９０は、方向提示表示４５の矢印の先に表示される情報が、その方向提示表示４５と重なっている監視対象１２に関連したものであると容易に認識することができる。すなわち、一般的なユーザ９０は、監視対象１２に重なっている矢印を見れば、その矢印の先に、その監視対象１２に関連する情報があると連想すると思われる。したがって、ユーザは、視界９１内に複数の監視対象を捉えている場合において、方向提示表示４５の先に示される監視対象情報４４が、視界内のどの監視対象についてのものなのか容易に把握することができる。その結果、ユーザ９０は、監視対象１２と監視対象情報４４とを関連付けて見ることができるため、監視対象情報４４の理解がし易くなる。 In this case, the direction presentation display 45 is displayed as an arrow at a position overlapping the monitoring target 12 , so that the user 90 can confirm that the information displayed at the tip of the arrow of the direction presentation display 45 overlaps with the direction presentation display 45 . It can be easily recognized as being related to the monitored object 12 that is being monitored. In other words, when a general user 90 sees an arrow superimposed on a monitored target 12, it is thought that the arrow leads to information related to the monitored target 12. FIG. Therefore, when a plurality of monitoring targets are captured within the field of view 91, the user can easily grasp which monitoring target within the field of view is related to the monitoring target information 44 shown ahead of the direction presentation display 45. be able to. As a result, the user 90 can see the monitored object 12 and the monitored object information 44 in association with each other, so that the monitored object information 44 can be easily understood.

なお、本発明の実施形態は、上記した態様及び図面に記載した態様に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形や拡張をすることができる。
例えば制御部３１、監視対象情報取得部３２、視界情報取得部３３、監視対象識別部３４、及び表示制御部３５を、それぞれ安全装置１３側又はＨＭＤ２０側に分散させて設けても良い。
また、方向提示表示４３、４５は、ユーザ９０に対して上方向を向かせるためのものに限られず、左右又は下方向を向かせるものであっても良い。 The embodiments of the present invention are not limited to the aspects described above and the aspects illustrated in the drawings, and can be modified and expanded in various ways without departing from the scope of the invention.
For example, the control unit 31, the monitored object information acquisition unit 32, the visibility information acquisition unit 33, the monitored object identification unit 34, and the display control unit 35 may be provided separately on the safety device 13 side or the HMD 20 side.
Further, the direction presentation displays 43 and 45 are not limited to those for directing the user 90 upward, but may be directing left, right, or downward.

図面中、１０は情報表示システム、１１はロボット（監視対象）、１２は搬送車（監視対象）、２０はヘッドマウントディスプレイ（装着型ディスプレイ）、３２は監視対象情報取得部、３３は視界情報取得部、３４は監視対象識別部、３５は表示制御部、４３は方向提示表示、４４は監視対象情報、４５は方向提示表示、を示す。 In the drawing, 10 is an information display system, 11 is a robot (monitoring target), 12 is a carrier (monitoring target), 20 is a head-mounted display (wearable display), 32 is a monitoring target information acquisition unit, and 33 is a visibility information acquisition unit. 34 is a monitoring target identification unit, 35 is a display control unit, 43 is a direction presentation display, 44 is monitoring target information, and 45 is a direction presentation display.

Claims

a wearable display wearable by a user and capable of displaying information within the user's field of vision;
a monitoring target information acquisition unit capable of acquiring monitoring target information, which is information about a monitoring target;
a view information acquisition unit that acquires view information for specifying the user's view;
a monitoring target identification unit that identifies a monitoring target existing within a user's field of view based on the field of view information acquired by the field of view information acquiring unit;
When an object to be monitored is caught in the field of view of the user, a direction presentation display is displayed within the field of view of the user to urge the user to look away from the object to be monitored, and the direction indicated by the direction presentation display is displayed by the user. a display control unit that displays the monitoring target information within the user's field of view when the
Information display system.

The display control unit displays the direction presentation display above the user's field of view when the monitoring target is captured within the user's field of view.
The information display system according to claim 1.

The display control unit displays the direction presentation display as a translucent arrow figure at a position overlapping the monitoring target when the monitoring target is caught in the user's field of view.
The information display system according to claim 1.

The display control unit displays an opaque display area within the user's field of vision, and displays the monitoring target information within the display area.
The information display system according to any one of claims 1 to 3.

The display control unit displays the monitoring target information at a position that does not overlap with the monitoring target.
The information display system according to any one of claims 1 to 4.

The display control unit displays at least one of the direction presentation display and the monitoring target information larger as the distance from the user to the monitoring target decreases.
The information display system according to any one of claims 1 to 5.