WO2020045254A1 - 表示システム、サーバ、表示方法及び装置 - Google Patents

表示システム、サーバ、表示方法及び装置 Download PDF

Info

Publication number
WO2020045254A1
WO2020045254A1 PCT/JP2019/032936 JP2019032936W WO2020045254A1 WO 2020045254 A1 WO2020045254 A1 WO 2020045254A1 JP 2019032936 W JP2019032936 W JP 2019032936W WO 2020045254 A1 WO2020045254 A1 WO 2020045254A1
Authority
WO
WIPO (PCT)
Prior art keywords
educated
education
unit
display
image
Prior art date
Application number
PCT/JP2019/032936
Other languages
English (en)
French (fr)
Inventor
慎一 小柴
俊輝 熊
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US17/251,947 priority Critical patent/US20210256865A1/en
Priority to CN201980046593.6A priority patent/CN112400198A/zh
Priority to JP2020505294A priority patent/JP6827193B2/ja
Publication of WO2020045254A1 publication Critical patent/WO2020045254A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Definitions

  • the present disclosure relates to a display system, a server, a display method, and a device (especially, an educational device).
  • the display system of the present disclosure is a system for providing education on factory equipment.
  • the display system has a detection unit, a display unit, and an operation unit.
  • the detecting unit detects the position information of the person to be educated.
  • the display unit displays the image corresponding to the position information from the viewpoint of the trainee in the virtual space of the factory in which the trainee object having the shape of the facility is arranged and associated with the facility.
  • the operation unit selects an education target object included in the image.
  • the display unit displays the educational contents of the equipment associated with the object to be educated.
  • the server of the present disclosure is a server for outputting educational contents for providing education on factory equipment.
  • the server has an acquisition unit, an image output unit, and a content output unit.
  • the acquisition unit acquires the position information of the person to be educated from the detection unit.
  • the image output unit outputs an image corresponding to the position information, as viewed from the viewpoint of the trainee, to the display unit in the virtual space of the factory in which the trainee object having the shape of the facility is arranged and associated with the facility.
  • the content output unit outputs, to the display unit, the educational content of the facility associated with the educational object when the educational object included in the image is selected.
  • the display method of the present disclosure is a display method of displaying contents for providing education on factory equipment.
  • the display method is Receives the position information of the education target detected by the detection unit, In the virtual space of the factory where the object to be educated, which is associated with the equipment and has the shape of the equipment, is output to the display device information for displaying an image viewed from the viewpoint of the educator corresponding to the position information in the factory. , When an education target object included in the image displayed on the display device is selected, information for displaying the educational content of the facility associated with the education target object is output to the display device.
  • the device of the present disclosure is a device for providing education on factory equipment.
  • the device has a processor and a memory.
  • the memory stores programs executable by the processor.
  • the processor uses a program stored in the memory, Receiving the position information of the educated person from the detection unit, In the virtual space of the factory where the object to be trained having the shape of the facility is arranged, the image is generated from the viewpoint of the trainee corresponding to the position information, Output the image to the display device, When an object to be educated included in the image is selected by operating the operation unit, the educational contents of the equipment associated with the object to be educated are output to the display device.
  • FIG. 1 is a schematic diagram illustrating an outline of a display system according to an embodiment.
  • FIG. 2 is a block diagram illustrating a configuration example of the display system according to the embodiment.
  • FIG. 3 is a sequence diagram showing an operation of the display system according to the embodiment.
  • FIG. 4 is a flowchart illustrating an operation of the server according to the embodiment.
  • FIG. 5 is a schematic diagram illustrating a state of the virtual space according to the embodiment.
  • FIG. 6 is a diagram showing an example of a display screen according to the embodiment.
  • FIG. 7 is a diagram showing a display screen example according to the embodiment.
  • FIG. 8 is a diagram showing an example of a display screen according to the embodiment.
  • FIG. 9 is a diagram illustrating an example of a display screen according to the embodiment.
  • FIG. 1 is a schematic diagram illustrating an outline of a display system according to an embodiment.
  • FIG. 2 is a block diagram illustrating a configuration example of the display system according to the embodiment.
  • FIG. 10 is a diagram showing a display screen example according to the embodiment.
  • FIG. 11 is a flowchart of a modified example of the operation of the server according to the embodiment.
  • FIG. 12 is a diagram illustrating an example of a display screen according to the embodiment.
  • FIG. 13 is a flowchart of the educational content output process according to the embodiment.
  • FIG. 14 is a diagram illustrating an example of a display screen at the time of the risk estimation training according to the embodiment.
  • FIG. 15 is a diagram showing an example of a display screen when experiencing an accident scenario according to the embodiment.
  • FIG. 16 is a diagram showing an example of a display screen when experiencing an accident scenario according to the embodiment.
  • FIG. 17 is a diagram showing an example of a display screen when experiencing an accident scenario according to the embodiment.
  • FIG. 18 is a diagram illustrating an example of a display screen when asking a question according to the embodiment.
  • FIG. 19 is a diagram illustrating an example of a display screen when presenting a desired action according to the embodiment.
  • FIG. 20 is a diagram illustrating an example of a display screen when presenting a desired action according to the embodiment.
  • the display system is a system for providing education on equipment at a factory (facility).
  • the display system has a detection unit, a display unit, and an operation unit.
  • the detecting unit detects the position information of the person to be educated.
  • the display unit is associated with the equipment to be educated, and in the virtual space of the factory where the object to be educated having the shape of the equipment is arranged, from the viewpoint of the educated person corresponding to the position information.
  • the viewed image is displayed to the person to be educated.
  • the operation unit is used by the trainee to select a trainee object included in the image.
  • the display unit displays, to the educated person, educational contents of the equipment associated with the educated object when the educated person selects the educated object using the operation unit.
  • the educated person performs an active operation of selecting an educated object in the virtual space.
  • an operation of searching for an object to be educated in the virtual space is performed by the educated person.
  • effective education can be performed as compared with the case where the education target simply views the educational content.
  • the educated person selects equipment having a shape to be educated. Thereby, it is possible to reduce the selection error of the educational content as compared with a case where, for example, an icon in which only the name of the facility to be educated is described.
  • the display unit may display an icon on the object to be educated or around the object to be educated. Then, when the educated person selects the icon using the operation unit, the display unit may display the educational content to the educated person.
  • the display unit may display a pointer indicating a position on the image based on the operation of the educated person. Then, when the educated person performs a selection operation using the operation unit in a state where the icon is pointed by the pointer, the display unit may display the educational content on the educated person. Good.
  • the person to be educated can intuitively select the object to be educated. Therefore, selection errors can be reduced.
  • the display unit may display a pointer indicating a position on the image based on the operation of the educated person. Then, in a state where the education target object is pointed by the pointer, when the education target performs a selection operation using the operation unit, the display unit displays the educational content to the education target. You may.
  • the person to be educated can intuitively select the object to be educated. Therefore, selection errors can be reduced.
  • the display unit may display a pointer indicating a position on the image based on the operation of the educated person.
  • the display unit may display an icon on the object to be educated or around the object to be educated. Then, in a state where the icon is displayed, when the educated person performs a selection operation using the operation unit, the display unit may display the educational content to the educated person.
  • the educated person can easily find the educated object. Therefore, it is possible to suppress an increase in the amount of information processing due to excessive passage of time and a decrease in the motivation of the educator, because the educator cannot find the educator object. Further, it is difficult to find the object to be educated as compared with the case where the icon is always displayed, so that the educated person needs to think. Thereby, the effect of education can be improved.
  • the educational content may include a virtual experience in the virtual space.
  • the educational effect can be improved by a realistic experience.
  • the virtual experience may include a dangerous experience regarding the object to be educated.
  • the educational content may include an inquiry to the education target regarding the dangerous experience.
  • the education target can be encouraged to think, so that the educational effect can be improved. Further, there is no need to separately prepare a device for asking about the danger experience, and the configuration of the device is simplified.
  • the educational content may include content related to the dangerous experience and indicating an action to be performed by the educated person.
  • the educational effect can be improved. Further, there is no need to separately prepare a device for displaying content indicating an action to be performed by the educated person, and the configuration of the device is simplified.
  • the educational content may include content related to the object to be educated, and which allows the educated person to select a place having a risk.
  • the education target can be encouraged to think, so that the educational effect can be improved. Further, there is no need to separately prepare a device for displaying content that allows the person to be educated to select a place having a risk, and the configuration of the device is simplified.
  • the virtual space may be generated using an image of a target facility.
  • the display system may further include a vibrating unit that vibrates the educated person according to the content of the educational content.
  • the educational effect can be improved by a realistic experience.
  • the server is a server for outputting educational content for providing education on factory equipment.
  • the server has an acquisition unit, an image output unit, and a content output unit.
  • the acquisition unit acquires the position information of the person to be educated from the detection unit.
  • the image output unit is associated with the equipment to be educated, and in the virtual space of the factory where the object to be educated having the shape of the equipment is arranged, the viewpoint of the educated person corresponding to the position information.
  • the image viewed from is output to the display unit.
  • the content output unit outputs, to the display unit, educational content of a facility associated with the educational object when the educational target selects an educational object included in the image.
  • the educated person performs an active operation of selecting an educated object in the virtual space.
  • the effect of education for the education target can be improved.
  • the educated person by performing an operation of searching for an object to be educated in the virtual space by the educated person, effective education can be performed as compared with a case where the educated person simply views the educational content.
  • the educated person selects equipment having a shape to be educated. Thereby, it is possible to reduce mistakes in selecting educational contents as compared with, for example, selecting an icon in which the name of a facility to be educated is described.
  • the display method according to an aspect of the present disclosure is a display method for displaying content for providing education on factory equipment.
  • the display method of the present disclosure receives the position information of the person to be educated detected by the detection unit, is associated with the equipment to be educated, and the object to be educated in the shape of the equipment is arranged.
  • information for displaying the image viewed from the viewpoint of the educated person corresponding to the position information to the educated person is output to a display device, and the educated person is displayed on the display device.
  • information for displaying educational contents of facilities associated with the education target object to the education target is output to the display device.
  • the educated person performs an active operation of selecting an educated object in the virtual space.
  • the effect of education for the education target can be improved.
  • the educated person by performing an operation of searching for an object to be educated in the virtual space by the educated person, effective education can be performed as compared with a case where the educated person simply views the educational content.
  • the educated person selects equipment having a shape to be educated. Thereby, it is possible to reduce mistakes in selecting educational contents as compared with, for example, selecting an icon in which the name of a facility to be educated is described.
  • the device is a device for providing education on factory equipment.
  • the device has a processor and a memory.
  • a program executable by the processor is stored in the memory.
  • the processor uses the program stored in the memory, receives the position information of the educated person from the detection unit, is associated with the equipment to be educated, and the shape of the equipment associated with In the virtual space of the factory where the object to be educated is located, an image corresponding to the position information is generated from the viewpoint of the educator, and the image is displayed for display to the educator.
  • Output to the device and when the educated person selects an educated object included in the image by the operation unit, the educated content of the equipment associated with the educated object is sent to the educated person.
  • the educated person performs an active operation of selecting an educated object in the virtual space.
  • the effect of education for the education target can be improved.
  • the educated person by performing an operation of searching for an object to be educated in the virtual space by the educated person, effective education can be performed as compared with a case where the educated person simply views the educational content.
  • the educated person selects equipment having a shape to be educated. Thereby, it is possible to reduce mistakes in selecting educational contents as compared with, for example, selecting an icon in which the name of a facility to be educated is described.
  • FIG. 1 is a schematic diagram showing an outline of a display system 100 according to the present embodiment.
  • the display system 100 is a system for providing safety education to workers who perform manufacturing operations in a facility such as a factory.
  • the use of the display system 100 is not limited to this.
  • the display system 100 can be used for safety education not only in factories and the like but also in any facilities such as schools, hospitals, and research facilities. Further, the display system 100 can be used not only for safety education but also for other educational uses such as education on how to use the device.
  • the display system 100 includes a headset 103 and two controllers 104. Further, the display system 100 may include the server 102 and two position sensors 105.
  • the display system 100 is, for example, a system for providing education on equipment of a factory (facility). In the present embodiment, two controllers 104 and two position sensors 105 are used. However, the number of controllers 104 is not limited to two, and may be one or three or more. Further, the number of the position sensors 105 may be one, or three or more.
  • the headset 103 is mounted on the head of the trainee 101 who is to undergo safety education.
  • the two controllers 104 are held by both hands of the education subject 101.
  • the two position sensors 105 are used to detect the positions of the headset 103 and the controller 104.
  • FIG. 2 is a block diagram of the display system 100.
  • the server 102 is connected to the headset 103 via a network 106.
  • the server 102 generates an image and a sound to be reproduced by the headset 103 based on the position of the headset 103 and the operation of the controller 104 by the person 101 to be educated (see FIG. 1). Output to set 103.
  • the server 102 includes a storage unit 121, an acquisition unit 122, an image output unit 123, a content output unit 124, and an NW (network) communication unit 125.
  • the storage unit 121 stores three-dimensional information indicating a virtual space of a target facility such as a factory. In the virtual space, a plurality of objects to be educated are arranged.
  • the storage unit 121 stores a plurality of educational contents associated with a plurality of educational objects. For example, a plurality of objects to be educated are respectively associated with a plurality of facilities to be educated. Each object to be educated has the shape of the associated equipment.
  • the educational content of the object to be educated is the educational content of the facility associated with the educational content.
  • Educational content includes images (moving images or still images), audio, control information, and the like.
  • the control information includes, for example, information for controlling the vibration of the controller 104 and the like.
  • the three-dimensional information is, for example, a point cloud generated using images obtained by photographing the target facility from multiple viewpoints.
  • the three-dimensional information is not limited to one generated from a captured image, but may be computer graphics. Further, the three-dimensional information may be a combination of information generated from a captured image and computer graphics. Further, as a method of configuring the virtual space, a 360-degree image obtained by photographing the target facility may be used, or a combination of the 360-degree image and three-dimensional information (point cloud or the like) may be used.
  • the acquisition unit 122 acquires the position information of the headset 103, the position information of the controller 104, and the operation content from the headset 103.
  • the image output unit 123 Based on the position of the headset 103, the image output unit 123 generates an image viewed from the viewpoint of the education target 101 corresponding to the position of the headset 103 in the virtual space.
  • the position in the present application includes, for example, three-dimensional coordinates and a posture (inclination).
  • the position may be either one of the three-dimensional coordinates and the inclination, or two-dimensional coordinates (for example, horizontal coordinates) may be used instead of the three-dimensional coordinates.
  • the image output unit 123 superimposes the icon of the object to be educated on the image and outputs the obtained image.
  • the content output unit 124 outputs, to the headset 103, the educational content associated with the education target object when the education target person 101 selects an education target object included in the screen.
  • the NW communication unit 125 receives the position information of the headset 103, the position information of the controller 104, and the operation content from the headset 103 via the network 106.
  • the NW communication unit 125 transmits the image generated by the image output unit 123 and the educational content to the headset 103 via the network 106.
  • the headset 103 reproduces images, sounds, and the like transmitted from the server 102.
  • the headset 103 includes an NW communication unit 131, a communication unit 132, a speaker 133, and a display unit 134.
  • the NW communication unit 131 receives the image, sound, control information, and the like transmitted from the server 102. Further, the NW communication unit 131 transmits the position information of the headset 103, the position information of the controller 104, and the operation content to the server 102 via the network 106.
  • the communication method between the server 102 and the headset 103 is not particularly limited, and an arbitrary method such as a wired or wireless method may be used.
  • the communication unit 132 communicates with the controller 104. Specifically, the communication unit 132 transmits the control information transmitted from the server 102 to the controller 104. Further, the communication unit 132 receives the position information and the operation content of the controller 104 transmitted from the controller 104, and outputs the received information to the NW communication unit 131.
  • the speaker 133 emits the sound transmitted from the server 102.
  • the display unit 134 displays the image transmitted from the server 102.
  • the headset 103 has the detection unit 135.
  • the detection unit 135 detects the position of the headset 103 (the education target person 101). Specifically, the detection unit 151 of the position sensor 105 scans and emits an infrared laser.
  • the detection unit 135 has a plurality of light receiving units. Each of the light receiving units receives the infrared laser beams emitted from the two position sensors 105.
  • the detecting unit 135 detects the position of the headset 103 based on the irradiation direction of the laser received by each light receiving unit in the detecting unit 151 and the time from laser irradiation to reception.
  • the detected position information of the headset 103 is output to the NW communication unit 131.
  • the position detection method a method using an infrared laser is illustrated, but the position detection method is not limited to this, and any known method may be used.
  • the headset 103 is provided with a plurality of light emitting units that emit infrared or visible light, and the position of the headset 103 is determined based on an image obtained by an infrared or visible light camera provided on the position sensor 105. It may be detected.
  • position information of the headset 103 may be calculated based on information obtained by a gyro sensor (not shown) provided in the headset 103, Position information may be calculated based only on information obtained by a gyro sensor (not shown) or the like.
  • the controller 104 includes an operation unit 141, a communication unit 142, a vibration unit 143, and a detection unit 144.
  • the operation unit 141 is an input interface for the educated person 101 to select an educated object included in the image, and receives an operation of the educated person.
  • the operation unit 141 is one or a plurality of operation buttons.
  • the method of receiving the operation of the education target is not limited to this, and the operation may be received based on the operation of swinging the controller 104 or the posture of the controller 104 or the like. Further, an input method using a voice input or another input device may be used, or a plurality of input methods may be used in combination.
  • the communication unit 142 communicates with the headset 103. Specifically, the communication unit 142 transmits the content of the operation performed on the operation unit 141 and the position information of the controller 104 to the headset 103. Further, communication section 142 receives the control information transmitted from headset 103. The vibration unit 143 is controlled based on this control information. The vibration unit 143 vibrates the education target person 101 in accordance with the content of the educational content.
  • the vibration unit 143 provided in the controller 104 applies vibration to the education subject 101, but the vibration unit provided in the headset 103 may provide vibration to the education subject 101. Further, the headset 103, the controller 104, or another device attached thereto may include a device for providing the educated subject 101 with, for example, heat, wind, water, electrical stimulation, or tactile stimulation.
  • the method of communication between the headset 103 and the controller 104 is not particularly limited, and an arbitrary method such as a wired or wireless method may be used.
  • the detection unit 144 detects the position of the controller 104. Note that the method of detecting the position is the same as the method of detecting the position of the headset 103.
  • FIG. 3 is a sequence diagram showing a flow of the operation in the display system 100.
  • the headset 103 detects the position of the education target 101 (the position of the headset 103) (S101), and transmits the detected position information of the education target to the server 102 (S102).
  • the server 102 generates an image corresponding to the position of the person to be educated, and transmits the generated image to the headset 103 (S103). Note that the processing of steps S101 to S103 is repeatedly performed each time the position of the education subject 101 changes.
  • the controller 104 detects the position of the controller 104 (S104), and transmits the position information of the controller 104 and the operation information for the operation unit 141 and the like to the server 102. (S105).
  • the server 102 transmits the educational content corresponding to the selected education target object to the headset 103 (S107).
  • the controller 104 detects the position of the controller 104 (S108), and transmits the position information of the controller 104 and the operation information for the operation unit 141 and the like to the server 102. (S109).
  • the server 102 transmits a result corresponding to the operation to the headset 103 and the controller 104 (S111 and S112). Specifically, updating of a screen displayed on the headset 103, vibration control of the controller 104, and the like are performed.
  • FIG. 4 is a flowchart of a process performed by the server 102.
  • the server 102 acquires position information of the education target person 101 (position information of the headset 103) (S201).
  • the server 102 Based on the three-dimensional information stored in the storage unit 121, the server 102 generates an image viewed from the viewpoint of the education target 101 corresponding to the acquired position information in the virtual space, and generates the generated image.
  • the data is output to the headset 103 (S202).
  • step S201 and subsequent steps are performed again at a predetermined cycle.
  • the server 102 If the image includes an object to be educated (Yes in S203), the server 102 outputs an icon of the object to be educated (S204). Specifically, server 102 superimposes the icon on the image and outputs the generated image to headset 103.
  • step S201 when an icon is selected by the operation of the education target 101 (Yes in S205), the server 102 outputs the educational content associated with the selected icon to the headset 103 (S206).
  • step S201 and the subsequent steps are performed again at a predetermined cycle.
  • FIG. 5 is a schematic diagram showing an example of the virtual space 161 of the target facility.
  • four objects 162A to 162D such as facilities are arranged in a virtual space.
  • the objects 162A, 162B, 162D are the education target objects 162 associated with the educational contents.
  • the object 162C is a normal object that is not an object to be educated.
  • 6 to 8 are views showing examples of display screens of the visual fields (1) to (3) shown in FIG. 5, respectively. As shown in FIGS. 6 and 8, when the education target object 162 (objects 162A, 162B, 162D) is included in the screen, the icon 164 is displayed in association with the education target object.
  • the icon 164 is displayed around the object to be educated or overlaid on the object to be educated.
  • the icon 164 is for highlighting an object to be educated.
  • the icon 164 may include text information or a graphic that describes the educational object or the educational content associated with the educational object.
  • the icon 164 is not displayed on the normal object 162C. In addition, as shown in FIG. 7, when the image does not include the education target object, the icon 164 is not displayed.
  • FIGS. 9 and 10 are diagrams showing detailed examples of the display screen. As shown in FIG. 9, a pointer 165 which is a laser pointer is displayed on the screen. The pointer 165 points to an arbitrary position on the screen according to the direction of the controller 104.
  • the screen does not include an object to be educated.
  • the education target person 101 searches for the education target object by changing the line of sight direction or moving the position.
  • an education target object 162 is included in the screen, and an icon 164 is displayed so as to overlap the education target object 162.
  • the education target person 101 selects the icon 164 by pointing to the icon 164 with the pointer 165 and performing a selection operation (for example, pressing an operation button) using the operation unit 141.
  • the educational content is displayed on the screen of the display unit 134. Displaying the icon 164 makes it easier for the trainee 101 to find the trainee object 162. Therefore, it is possible to suppress that the educated person 101 cannot find the educated object 162, that the time elapses excessively, and that the motivation of the educated person 101 decreases.
  • FIG. 11 is a flowchart of the operation of the server 102 in this case.
  • step S207 is added to the processing shown in FIG. Specifically, when the education target object 162 is included in the image (Yes in S203) and the education target object 162 is pointed by the pointer 165 (Yes in S207), the server 102 outputs the icon 164 (S207). S204). If the educational object is not pointed by the pointer 165 (No in S207), the server 102 does not output the icon 164.
  • FIG. 12 is a diagram showing a screen example at this time. As shown in FIG. 12A, even when the education target object 162 is included in the screen, if the pointer 165 does not point to the education target object 162, the icon 164 is not displayed. As shown in FIG. 12B, when the pointer 165 points to the education target object 162, an icon 164 is displayed.
  • the icon 164 may not be displayed even when the pointer 165 points to the education target object 162. This makes it difficult to find the object to be educated. That is, when the education target 101 performs a selection operation (for example, pressing an operation button) using the operation unit 141 in a state where the education target object 162 is pointed by the pointer 165, the educational content is displayed on the screen of the display unit 134. It may be displayed.
  • a selection operation for example, pressing an operation button
  • the icon 164 may be displayed on both the education target object 162 and the normal object. Also in this case, when the education object 162 is selected, the educational content is reproduced, and when the normal object is selected, the educational content is not reproduced. As a result, selectable candidates can be presented to the trainee 101, so that the trainee object can be easily found. On the other hand, as compared with the case where the icon 164 is displayed only on the education target object 162, it is possible to make it difficult to select the education target object 162.
  • the method to be used may be switched according to a predetermined condition. For example, when the education target object 162 is not selected for a predetermined time, that is, when the education target 101 cannot find the education target object 162, the method to be used may be switched to a method that is easier to select.
  • the education target person 101 performs an active operation of selecting the education target object 162 in the virtual space. Thereby, there is a possibility that the effect of education for the education target person 101 can be improved. Further, by performing an operation of searching for an object to be educated in the virtual space by the educated person 101, effective education can be performed as compared with a case where the educated person 101 simply views the educational content. .
  • both the coordinates and the posture of the person to be educated 101 may be used, or the coordinates may be fixed and the screen may be changed based on the posture.
  • the movement of the coordinates may be performed not by the movement of the educated person 101 but by an operation by the educated person 101 via the controller 104 or the like. Further, only two-dimensional or one-dimensional movement, such as only in the horizontal direction or only in the vertical direction, may be reflected. Similarly, only a change in posture in a specific direction may be reflected.
  • a stereoscopic display in which different images having parallax are displayed on the left and right eyes may be used, or a method in which the same image is displayed on the left and right eyes may be used.
  • the educational content includes, for example, a virtual experience in a virtual space.
  • the virtual experience includes, for example, a dangerous experience regarding the education target object 162.
  • FIG. 13 is a flowchart of the educational content reproduction process (S206 in FIG. 4).
  • a screen for risk estimation training is displayed on the headset 103 (S221).
  • the danger assumption training is, for example, content related to the education target object 162 and which causes the education target person 101 to select a danger place.
  • FIG. 14 is a diagram showing an example of a display screen at the time of the risk estimation training.
  • a risk assumption training screen 166 is displayed.
  • a photograph of the object to be educated is shown, and a plurality of locations are marked as danger candidates 167.
  • the educated person 101 selects the risk candidate 167 with the pointer 165 and gives the selection mark 168 by pressing the operation unit 141 (operation button).
  • the education target person 101 selects the determination button 169. Thereby, the result of the correct answer or the incorrect answer according to the selection result is displayed (S222).
  • a method of marking an arbitrary position may be used.
  • the number of locations to be selected may not be plural.
  • the question is not limited to the content of selecting a dangerous place, and may be any question related to the risk estimation training of the education target object 162.
  • ⁇ Also here, an example in which a two-dimensional image is displayed is shown, but a method of selecting a dangerous place in the virtual space may be used.
  • FIG. 15 to 17 are diagrams showing screen examples of the accident scenario.
  • the hand 171 in the virtual space is operated by the controller 104.
  • an operation of holding the hand 171 is performed by operating the operation unit 141 (operation button).
  • this example is an experience in the case where a device has failed.
  • FIG. 17 for example, when the tube 172a (see FIG. 16) is pulled out, the driving unit 172 jumps out due to residual pressure, and an accident in which the driving unit 172 collides with an operator is reproduced.
  • the controller 104 is controlled to vibrate.
  • sounds such as environmental sounds and sound effects are reproduced along with the video.
  • the vibration unit 143 may not be built in the controller 104, and may be separately attached to the education subject 101.
  • FIG. 18 is a diagram showing an example of the inquiry screen 173. As shown in FIG. 18, for example, the content for asking the education target 101 about the cause of the accident and points to be improved are displayed. Here, an example in which an image is displayed is shown, but an inquiry may be made by voice or the like. In addition, the person to be educated 101 may be asked by a character or the like in the virtual space.
  • FIG. 19 and FIG. 20 are diagrams illustrating examples of screens when presenting desired actions. For example, as shown in FIGS. 19 and 20, an image 174 that describes the cause of the accident and an image 175 that shows the action to be taken when the accident has occurred are displayed. Note that these presentations may be performed using either a still image or a moving image. In addition, it may be performed in a virtual space. Further, a description by voice may be used.
  • the educational effect can be improved by a realistic experience using the virtual space, and the safety training can be effectively performed. Moreover, the educational effect can be improved by the active operation performed by the education target person 101.
  • the present disclosure is not limited to the embodiment.
  • the display system 100 of the present disclosure can be used for safety education not only in factories but also in facilities such as schools, hospitals, and research facilities.
  • the display system of the present disclosure is a system for providing education on facility equipment.
  • the display system has a detection unit, a display unit, and an operation unit.
  • the detecting unit detects the position information of the person to be educated.
  • the display unit displays an image corresponding to the position information as viewed from the viewpoint of the educator in the virtual space of the institution where the educated object having the shape of the equipment is arranged in association with the equipment.
  • the operation unit selects an education target object included in the image.
  • the display unit displays the educational contents of the equipment associated with the object to be educated.
  • the server of the present disclosure is a server for outputting educational contents for providing education on facility equipment.
  • the server has an acquisition unit, an image output unit, and a content output unit.
  • the acquisition unit acquires the position information of the person to be educated from the detection unit.
  • the image output unit outputs the image corresponding to the positional information to the display unit from the viewpoint of the trainee in the virtual space of the facility in which the training target object having the shape of the facility is arranged and associated with the facility.
  • the content output unit outputs, to the display unit, the educational content of the facility associated with the educational object when the educational object included in the image is selected.
  • the display method of the present disclosure is a display method of displaying contents for providing education on facility equipment.
  • the display method is Receives the position information of the education target detected by the detection unit, In the virtual space of the facility in which the educational target object having the shape of the facility is arranged, the information for displaying the image viewed from the viewpoint of the educator corresponding to the position information is output to the display device. , When an education target object included in the image displayed on the display device is selected, information for displaying the educational content of the facility associated with the education target object is output to the display device.
  • the device of the present disclosure is a device for providing education on facility equipment.
  • the device has a processor and a memory.
  • the memory stores programs executable by the processor.
  • the processor uses a program stored in the memory, Receiving the position information of the educated person from the detection unit, In the virtual space of the facility in which the educational target object having the shape of the facility is arranged corresponding to the facility, an image is generated from the viewpoint of the trainee corresponding to the position information, Output the image to the display device, When an object to be educated included in the image is selected by operating the operation unit, the educational content of the facility associated with the object to be educated is output to the display device.
  • the configuration of the display system 100 illustrated in FIG. 2 is an example, and a process performed by a certain device may be performed by another device, or a plurality of processes performed by one device may be performed by a plurality of devices.
  • the processing may be divided and performed, or a plurality of processes executed by a plurality of devices may be executed by a single device.
  • some or all of the functions of the server 102 may be included in the headset 103.
  • LSI Large Scale Integration
  • the integration into a circuit is not limited to an LSI, but may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the present disclosure may be realized as each device included in the display system.
  • the present disclosure may be realized as a method such as an educational content display method or an educational method executed by one or more devices included in the display system.
  • the division of functional blocks in the block diagram is merely an example, and a plurality of functional blocks can be implemented as one functional block, one functional block can be divided into a plurality of functional blocks, and some functions can be transferred to other functional blocks. You may.
  • the functions of a plurality of functional blocks having similar functions may be processed by a single piece of hardware, or software may be processed in parallel or in a time-division manner.
  • the present invention is not limited to the embodiments. Unless departing from the spirit of the present disclosure, various modifications conceivable to those skilled in the art may be applied to the present embodiment, and a configuration constructed by combining components in different embodiments may be in the range of one or more aspects. May be included within.
  • the present disclosure can provide a display system, a server, a display method, or a device that can provide effective education.
  • the present disclosure can be applied to a display system, for example, a system for performing safety education in a facility such as a factory.
  • REFERENCE SIGNS LIST 100 display system 101 educator 102 server 103 headset 104 controller 105 position sensor 106 network 121 storage unit 122 acquisition unit 123 image output unit 124 content output unit 125, 131 NW communication unit 132, 142 communication unit 133 speaker 134 display unit 135 , 144, 151 Detection unit 141 Operation unit 143 Vibration unit 161 Virtual space 162, 162A, 162B, 162D Education target object 162C Normal object 164 Icon 165 Pointer 166 Danger assumption training screen 167 Danger candidate 168 Selection mark 169 Judgment button 171 Hand 172 Driving Part 172a Tube 173 Question screen 174, 175 images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

表示システムは、検知部と、表示部と、操作部とを有する。検知部は、教育対象者の位置情報を検知する。表示部は、仮想空間において、位置情報に対応する教育対象者の視点から見た画像を表示する。操作部は、画像に含まれる教育対象オブジェクトを選択する。操作部を操作することにより教育対象オブジェクトが選択された場合、表示部は、教育対象オブジェクトに対応付けられている設備の教育用コンテンツを表示する。

Description

表示システム、サーバ、表示方法及び装置
　本開示は、表示システム、サーバ、表示方法及び装置（特に教育用装置）に関する。
　作業現場における作業員の安全意識の向上のために、作業員が災害発生時の状況を模擬体験できるシステムが知られている（例えば特許文献１参照）。
特開２００１－３５６６８０号公報
　本開示の表示システムは、工場の設備に関する教育を行うシステムである。表示システムは、検知部と、表示部と、操作部とを有する。
　検知部は、教育対象者の位置情報を検知する。
　表示部は、設備に対応付けられ、設備の形状をした教育対象オブジェクトが配置された工場の仮想空間において、位置情報に対応する教育対象者の視点から見た画像を表示する。
　操作部は、画像に含まれる教育対象オブジェクトを選択する。
　操作部を操作することにより教育対象オブジェクトが選択された場合、表示部は、教育対象オブジェクトに対応付けられている設備の教育用コンテンツを表示する。
　本開示のサーバは、工場の設備に関する教育を行うための教育用コンテンツを出力するためのサーバである。
　サーバは、取得部と、画像出力部と、コンテンツ出力部とを有する。
　取得部は、教育対象者の位置情報を検知部から取得する。
　画像出力部は、設備に対応付けられ、設備の形状をした教育対象オブジェクトが配置された工場の仮想空間において、位置情報に対応する教育対象者の視点から見た画像を表示部に出力する。
　コンテンツ出力部は、画像に含まれる教育対象オブジェクトが選択された場合、教育対象オブジェクトに対応付けられている設備の教育用コンテンツを表示部に出力する。
　本開示の表示方法は、工場の設備に関する教育を行うためのコンテンツを表示する表示方法である。
　表示方法は、
　検知部によって検知された教育対象者の位置情報を受信し、
　設備に対応付けられ、設備の形状をした教育対象オブジェクトが配置された工場の仮想空間において、位置情報に対応する教育対象者の視点から見た画像を表示するための情報を表示装置に出力し、
　表示装置に表示された画像に含まれる教育対象オブジェクトが選択された場合、教育対象オブジェクトに対応付けられている設備の教育用コンテンツを表示するための情報を表示装置に出力する。
　本開示の装置は、工場の設備に関する教育を行うための装置である。
　装置は、プロセッサと、メモリと、を有する。
　メモリには、プロセッサによって実行可能なプログラムが記憶されている。
　プロセッサは、メモリに記憶されたプログラムを用いて、
　教育対象者の位置情報を検知部から受信し、
　設備に対応付けられ、設備の形状をした教育対象オブジェクトが配置された工場の仮想空間において、位置情報に対応する教育対象者の視点から見た画像を生成し、
　画像を表示装置に出力し、
　操作部を操作することによって画像に含まれる教育対象オブジェクトが選択された場合、教育対象オブジェクトに対応付けられている設備の教育用コンテンツを表示装置に出力する。
図１は、実施の形態に係る表示システムの概要を示す模式図である。 図２は、実施の形態に係る表示システムの構成例を示すブロック図である。 図３は、実施の形態に係る表示システムの動作を示すシーケンス図である。 図４は、実施の形態に係るサーバの動作を示すフローチャートである。 図５は、実施の形態に係る仮想空間の様子を示す模式図である。 図６は、実施の形態に係る表示画面例を示す図である。 図７は、実施の形態に係る表示画面例を示す図である。 図８は、実施の形態に係る表示画面例を示す図である。 図９は、実施の形態に係る表示画面例を示す図である。 図１０は、実施の形態に係る表示画面例を示す図である。 図１１は、実施の形態に係るサーバの動作の変形例のフローチャートである。 図１２は、実施の形態に係る表示画面例を示す図である。 図１３は、実施の形態に係る教育用コンテンツ出力処理のフローチャートである。 図１４は、実施の形態に係る危険想定訓練時の表示画面例を示す図である。 図１５は、実施の形態に係る事故シナリオ体験時の表示画面例を示す図である。 図１６は、実施の形態に係る事故シナリオ体験時の表示画面例を示す図である。 図１７は、実施の形態に係る事故シナリオ体験時の表示画面例を示す図である。 図１８は、実施の形態に係る問いかけ時の表示画面例を示す図である。 図１９は、実施の形態に係るあるべき行動提示時の表示画面例を示す図である。 図２０は、実施の形態に係るあるべき行動提示時の表示画面例を示す図である。
　本開示の一態様に係る表示システムは、工場（施設）の設備に関する教育を行うシステムである。表示システムは、検知部と、表示部と、操作部とを有する。
　検知部は、教育対象者の位置情報を検知する。
　表示部は、教育の対象となる設備に対応付けられ、かつ、前記設備の形状をした教育対象オブジェクトが配置された前記工場の仮想空間において、前記位置情報に対応する前記教育対象者の視点から見た画像を前記教育対象者に表示する。
　操作部は、前記教育対象者が、前記画像に含まれる教育対象オブジェクトを選択するために用いられる。
　前記表示部は、前記教育対象者が前記操作部を用いて教育対象オブジェクトを選択した場合、前記教育対象オブジェクトに対応付けられている設備の教育用コンテンツを、前記教育対象者に表示する。
　これによれば、教育対象者は、仮想空間において教育対象オブジェクトを選択するという能動的な動作を行う。これにより、教育対象者に対する教育の効果を向上できる可能性がある。また、教育対象者により、仮想空間において教育の対象となるオブジェクトを探すという動作が行われる。これにより、単に教育対象者が教育用コンテンツを視聴する場合に比べて、効果的な教育を行える。また、教育対象者は、教育対象の形状をした設備を選択する。これにより、たとえば教育対象の設備名のみが記載されたアイコンを選択する場合と比べて、教育用コンテンツの選択間違いを減らすことができる。
　例えば、前記表示部は、前記画像に教育対象オブジェクトが含まれる場合、前記教育対象オブジェクト上、又は、前記教育対象オブジェクトの周辺にアイコンを表示してもよい。そして、前記教育対象者が前記操作部により前記アイコンを選択した場合、前記表示部は、前記教育用コンテンツを前記教育対象者に表示してもよい。
　これにより、教育対象者が教育対象オブジェクトを見つけやすくなる。よって、教育対象者が教育対象オブジェクトを見つけることができず、過度に時間が経過することによる情報処理量の増加、及び、教育対象者のモチベーションの低下を抑制できる。
　例えば、前記表示部は、前記教育対象者の操作に基づき前記画像上の位置を指し示すポインタを表示してもよい。そして、前記ポインタにより前記アイコンが指し示された状態において、前記教育対象者が前記操作部により選択操作を行った場合、前記表示部は、前記教育用コンテンツを前記教育対象者に表示してもよい。
　これによれば、教育対象者は直感的に教育対象オブジェクトを選択できる。そのため、選択間違いを減らすことができる。
　例えば、前記表示部は、前記教育対象者の操作に基づき前記画像上の位置を指し示すポインタを表示してもよい。そして、前記ポインタにより前記教育対象オブジェクトが指し示された状態において、前記教育対象者が前記操作部により選択操作を行った場合、前記表示部は、前記教育用コンテンツを前記教育対象者に表示してもよい。
　これによれば、教育対象者は直感的に教育対象オブジェクトを選択できる。そのため、選択間違いを減らすことができる。
　例えば、前記表示部は、前記教育対象者の操作に基づき前記画像上の位置を指し示すポインタを表示してもよい。そして、前記ポインタにより前記教育対象オブジェクトが指し示された場合、前記表示部は、前記教育対象オブジェクト上、又は、当該教育対象オブジェクトの周辺にアイコンを表示してもよい。そして、前記アイコンが表示されている状態において、前記教育対象者が前記操作部により選択操作を行った場合、前記表示部は、前記教育用コンテンツを前記教育対象者に表示してもよい。
　これによれば、教育対象者が教育対象オブジェクトを見つけやすくなる。よって、教育対象者が教育対象オブジェクトを見つけることができず、過度に時間が経過することによる情報処理量の増加、及び教育対象者のモチベーションが低下することを抑制できる。また、常にアイコンを表示する場合に比べて、教育対象オブジェクトを見つけにくくなるため、教育対象者の思考が必要となる。これにより、教育の効果を向上できる。
　例えば、前記教育用コンテンツは、前記仮想空間における仮想体験を含んでもよい。
　これによれば、臨場感のある体験により教育効果を向上できる。また、仮想空間における仮想体験をさせるための機器を別途準備する必要がなく、装置の構成が簡単になる。
　例えば、前記仮想体験は、前記教育対象オブジェクトに関する危険体験を含んでもよい。
　これによれば、安全訓練を効果的に行うことができる。また、実際に危険体験をさせるための機器を別途準備する必要がなく、装置の構成が簡単になる。
　例えば、前記教育用コンテンツは、前記危険体験に関する前記教育対象者への問いかけを含んでもよい。
　これによれば、教育対象者の思考を促すことができるので教育効果を向上できる。また、危険体験に関する問いかけをするための機器を別途準備する必要がなく、装置の構成が簡単になる。
　例えば、前記教育用コンテンツは、前記危険体験に関連し、前記教育対象者が行うべき行動を示すコンテンツを含んでもよい。
　これによれば、教育効果を向上できる。また、教育対象者が行うべき行動を示すコンテンツを表示するための機器を別途準備する必要がなく、装置の構成が簡単になる。
　例えば、前記教育用コンテンツは、前記教育対象オブジェクトに関連し、危険性がある場所を前記教育対象者に選択させるコンテンツを含んでもよい。
　これによれば、教育対象者の思考を促すことができるので教育効果を向上できる。また、危険性がある場所を教育対象者に選択させるコンテンツを表示するための機器を別途準備する必要がなく、装置の構成が簡単になる。
　例えば、前記仮想空間は、対象施設を撮影した画像を用いて生成されていてもよい。
　これによれば、実際の対象施設の状態に近い仮想空間を生成できるので、臨場感を向上できる。また、対象施設を撮影した画像を別途準備する必要がなく、装置の構成が簡単になる。
　例えば、前記表示システムは、さらに、前記教育用コンテンツの内容に応じて、前記教育対象者に振動を与える振動部を含んでもよい。
　これによれば、臨場感のある体験により教育効果を向上できる。また、教育対象者に振動を与える機器を別途準備する必要がなく、装置の構成が簡単になる。
　本開示の一態様に係るサーバは、工場の設備に関する教育を行うための教育用コンテンツを出力するためのサーバである。サーバは、取得部と、画像出力部と、コンテンツ出力部とを有する。
　取得部は、教育対象者の位置情報を検知部から取得する。
　画像出力部は、教育の対象となる設備に対応付けられ、かつ、前記設備の形状をした教育対象オブジェクトが配置された前記工場の仮想空間において、前記位置情報に対応する前記教育対象者の視点から見た画像を表示部に出力する。
　コンテンツ出力部は、前記教育対象者が、前記画像に含まれる教育対象オブジェクトを選択した場合、前記教育対象オブジェクトに対応付けられている設備の教育用コンテンツを前記表示部に出力する。
　これによれば、教育対象者は、仮想空間において教育対象オブジェクトを選択するという能動的な動作を行う。これにより、教育対象者に対する教育の効果を向上できる可能性がある。また、教育対象者により、仮想空間において教育の対象となるオブジェクトを探すという動作が行われることで、単に教育対象者が教育用コンテンツを視聴する場合に比べて、効果的な教育を行える。また、教育対象者は、教育対象の形状をした設備を選択する。これにより、たとえば教育対象の設備名が記載されたアイコンを選択する場合と比べて、教育用コンテンツの選択間違いを減らすことができる。
　本開示の一態様に係る表示方法は、工場の設備に関する教育を行うためのコンテンツを表示する表示方法である。
　本開示の表示方法は、検知部によって検知された教育対象者の位置情報を受信し、教育の対象となる設備に対応付けられ、かつ、前記設備の形状をした教育対象オブジェクトが配置された前記工場の仮想空間において、前記位置情報に対応する前記教育対象者の視点から見た画像を前記教育対象者に表示するための情報を表示装置に出力し、前記教育対象者が、前記表示装置に表示された前記画像に含まれる教育対象オブジェクトを選択した場合、当該教育対象オブジェクトに対応付けられている設備の教育用コンテンツを前記教育対象者に表示するための情報を表示装置に出力する。
　これによれば、教育対象者は、仮想空間において教育対象オブジェクトを選択するという能動的な動作を行う。これにより、教育対象者に対する教育の効果を向上できる可能性がある。また、教育対象者により、仮想空間において教育の対象となるオブジェクトを探すという動作が行われることで、単に教育対象者が教育用コンテンツを視聴する場合に比べて、効果的な教育を行える。また、教育対象者は、教育対象の形状をした設備を選択する。これにより、たとえば教育対象の設備名が記載されたアイコンを選択する場合と比べて、教育用コンテンツの選択間違いを減らすことができる。
　本開示の一態様に係る装置は、工場の設備に関する教育を行うための装置である。装置は、プロセッサと、メモリと、を有する。
　前記メモリには、前記プロセッサによって実行可能なプログラムが記憶されている。
　前記プロセッサは、前記メモリに記憶された前記プログラムを用いて、教育対象者の位置情報を検知部から受信し、教育の対象となる設備に対応付けられ、対応付けられている前記設備の形状をした教育対象オブジェクトが配置された前記工場の仮想空間において、前記位置情報に対応する前記教育対象者の視点から見た画像を生成し、前記画像を前記教育対象者に対して表示するために表示装置に出力し、前記教育対象者が、操作部によって前記画像に含まれる教育対象オブジェクトを選択した場合、前記教育対象オブジェクトに対応付けられている設備の教育用コンテンツを前記教育対象者に対して表示するために表示装置に出力する。
　これによれば、教育対象者は、仮想空間において教育対象オブジェクトを選択するという能動的な動作を行う。これにより、教育対象者に対する教育の効果を向上できる可能性がある。また、教育対象者により、仮想空間において教育の対象となるオブジェクトを探すという動作が行われることで、単に教育対象者が教育用コンテンツを視聴する場合に比べて、効果的な教育を行える。また、教育対象者は、教育対象の形状をした設備を選択する。これにより、たとえば教育対象の設備名が記載されたアイコンを選択する場合と比べて、教育用コンテンツの選択間違いを減らすことができる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意の組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示している。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　図１は、本実施の形態に係る表示システム１００の概要を示す模式図である。以下では、表示システム１００が、工場等の施設において製造作業等を行う作業員に対して安全教育を行うためのシステムである場合の例を説明する。なお、表示システム１００の用途はこれに限定されない。例えば、工場等に限らず、学校、病院、及び研究施設等の任意の施設における安全教育に表示システム１００を用いることができる。また、安全教育に限らず、装置の使用方法の教育等の他の教育用途に表示システム１００を用いることもできる。
　表示システム１００は、ヘッドセット１０３と、２つのコントローラ１０４と、を備える。また、表示システム１００は、サーバ１０２と、２つの位置センサ１０５とを有していてもよい。表示システム１００は、例えば、工場（施設）の設備に関する教育を行うためのシステムである。なお、本実施の形態では、２つのコントローラ１０４と、２つの位置センサ１０５を用いている。しかし、コントローラ１０４は２つに限らず、１つでも、３つ以上でもよい。また、位置センサ１０５も１つでも、３つ以上でもよい。
　ヘッドセット１０３は、安全教育を受ける教育対象者１０１の頭部に装着される。２つのコントローラ１０４は、教育対象者１０１の両手に把持される。２つの位置センサ１０５は、ヘッドセット１０３及びコントローラ１０４の位置を検知するために用いられる。
　図２は、表示システム１００のブロック図である。図２に示すように、サーバ１０２は、ネットワーク１０６を介して、ヘッドセット１０３と接続されている。サーバ１０２は、ヘッドセット１０３の位置及び教育対象者１０１（図１参照）によるコントローラ１０４の操作内容に基づき、ヘッドセット１０３で再生する画像及び音声等を生成し、生成した画像及び音声等をヘッドセット１０３に出力する。サーバ１０２は、蓄積部１２１と、取得部１２２と、画像出力部１２３と、コンテンツ出力部１２４と、ＮＷ（ネットワーク）通信部１２５とを備える。
　蓄積部１２１は、工場等の対象施設の仮想空間を示す三次元情報を格納している。仮想空間には、複数の教育対象オブジェクトが配置されている。また、蓄積部１２１は、複数の教育対象オブジェクトに対応付けられた複数の教育用コンテンツを格納している。例えば、複数の教育対象オブジェクトはそれぞれ、教育対象となる複数の設備に対応付けられている。各々の教育対象オブジェクトは、対応付けられている設備の形状を有する。また、教育対象オブジェクトの教育用コンテンツは、当該教育用コンテンツに対応付けられている設備の教育用コンテンツである。
　教育用コンテンツは、画像（動画像又は静止画）、音声、及び制御情報等を含む。制御情報は、例えば、コントローラ１０４の振動を制御するための情報等を含む。
　また、上記の三次元情報は、例えば、対象施設を複数視点から撮影した画像を用いて生成されたポイントクラウドである。なお、三次元情報は、撮影された画像から生成されたものに限らず、コンピュータグラフィクスであってもよい。また、三次元情報は、撮影された画像から生成されたものとコンピュータグラフィクスとの組み合わせであってもよい。また、仮想空間を構成する方法として、対象施設を撮影した３６０度画像が用いられてもよいし、３６０度画像と三次元情報（ポイントクラウド等）との組み合わせが用いられてもよい。
　取得部１２２は、ヘッドセット１０３から、ヘッドセット１０３の位置情報、コントローラ１０４の位置情報及び操作内容を取得する。
　画像出力部１２３は、ヘッドセット１０３の位置に基づき、仮想空間において、ヘッドセット１０３の位置に対応する教育対象者１０１の視点から見た画像を生成する。なお、本願における位置とは、例えば、三次元座標と、姿勢（傾き）とを含む。なお、位置は、三次元座標と傾きのどちらか一方であってもよいし、三次元座標の代わりに二次元座標（例えば、横方向の座標）が用いられてもよい。
　また、画像出力部１２３は、生成した画像に教育対象オブジェクトが含まれる場合には、当該画像上に教育対象オブジェクトのアイコンを重畳し、得られた画像を出力する。
　コンテンツ出力部１２４は、教育対象者１０１が、画面に含まれる教育対象オブジェクトを選択した場合に、当該教育対象オブジェクトに対応付けられている教育用コンテンツをヘッドセット１０３に出力する。
　ＮＷ通信部１２５は、ヘッドセット１０３の位置情報、コントローラ１０４の位置情報及び操作内容を、ネットワーク１０６を介してヘッドセット１０３から受信する。また、ＮＷ通信部１２５は、画像出力部１２３で生成された画像、及び教育用コンテンツを、ネットワーク１０６を介してヘッドセット１０３に送信する。
　ヘッドセット１０３は、サーバ１０２から送信された画像及び音声等を再生する。このヘッドセット１０３は、ＮＷ通信部１３１と、通信部１３２と、スピーカ１３３と、表示部１３４とを備える。ＮＷ通信部１３１は、サーバ１０２から送信された画像、音声及び制御情報等を受信する。また、ＮＷ通信部１３１は、ヘッドセット１０３の位置情報、コントローラ１０４の位置情報及び操作内容を、ネットワーク１０６を介して、サーバ１０２に送信する。なお、サーバ１０２とヘッドセット１０３との通信方法は特に限定されず、有線又は無線等の任意の方式が用いられてよい。
　通信部１３２は、コントローラ１０４と通信する。具体的には、通信部１３２は、サーバ１０２から送信された制御情報をコントローラ１０４に送信する。また、通信部１３２は、コントローラ１０４から送信されたコントローラ１０４の位置情報及び操作内容を受信し、受信した情報をＮＷ通信部１３１に出力する。
　スピーカ１３３は、サーバ１０２から送信された音声を出音する。表示部１３４は、サーバ１０２から送信された画像を表示する。
　ヘッドセット１０３は、検知部１３５を有する。検知部１３５は、ヘッドセット１０３（教育対象者１０１）の位置を検知する。具体的には、位置センサ１０５が備える検知部１５１は、赤外光レーザをスキャン照射する。検知部１３５は、複数の受光部を有する。各々の受光部は、２個の位置センサ１０５から照射された赤外光レーザを受光する。検知部１３５は、各々の受光部で受信したレーザの検知部１５１における照射方向と、レーザ照射から受信までの時間とに基づき、ヘッドセット１０３の位置を検知する。検知されたヘッドセット１０３の位置情報は、ＮＷ通信部１３１に出力される。
　なお、ここでは、位置検知の方式として、赤外光レーザを用いる方式を例示したが、位置検知の方式は、これに限らず、公知の任意の方式が用いられてもよい。例えば、ヘッドセット１０３には、赤外又は可視光を発光する複数の発光部が設けられ、位置センサ１０５に設けられた赤外又は可視光カメラで得られた画像に基づきヘッドセット１０３の位置が検知されてもよい。
　また、上記の位置検知方式で得られた情報に加え、ヘッドセット１０３が備えるジャイロセンサ（図示せず）等で得られた情報に基づき、ヘッドセット１０３の位置情報が算出されてもよいし、ジャイロセンサ（図示せず）等で得られた情報のみに基づき位置情報が算出されてもよい。
　コントローラ１０４は、操作部１４１と、通信部１４２と、振動部１４３と、検知部１４４とを備える。操作部１４１は、教育対象者１０１が、画像に含まれる教育対象オブジェクトを選択するための入力インタフェースであり、教育対象者の操作を受け付ける。例えば、操作部１４１は、１つ又は複数の操作ボタンである。なお、教育対象者の操作を受け付ける方式は、これに限らず、コントローラ１０４を振る動作又はコントローラ１０４の姿勢等に基づき操作が受け付けられてもよい。また、音声入力又はその他の入力デバイスを用いた入力方式が用いられてもよいし、複数の入力方式が併用されてもよい。
　通信部１４２は、ヘッドセット１０３と通信する。具体的には、通信部１４２は、操作部１４１に対する操作内容と、コントローラ１０４の位置情報とをヘッドセット１０３に送信する。また、通信部１４２は、ヘッドセット１０３から送信された制御情報を受信する。この制御情報に基づき振動部１４３が制御される。振動部１４３は、教育用コンテンツの内容に応じて、教育対象者１０１に振動を与える。
　なお、ここでは、コントローラ１０４に備えられた振動部１４３が教育対象者１０１に振動を与える構成としたが、ヘッドセット１０３に備えられた振動部が教育対象者１０１に振動を与えてもよい。さらに、ヘッドセット１０３、コントローラ１０４又はそれらに付属する別機器が、教育対象者１０１に例えば熱、風、水、電気刺激、又は触覚への刺激を与えるためのデバイスを備えていてもよい。
　また、ヘッドセット１０３とコントローラ１０４との通信方法は特に限定されず、有線又は無線等の任意の方式が用いられてよい。
　検知部１４４は、コントローラ１０４の位置を検知する。なお、位置検知の方法は、ヘッドセット１０３の位置を検知する方法と同様である。
　次に、表示システム１００の動作を説明する。図３は、表示システム１００における動作の流れを示すシーケンス図である。まず、ヘッドセット１０３は、教育対象者１０１の位置（ヘッドセット１０３の位置）を検知し（Ｓ１０１）、検知した教育対象者の位置情報をサーバ１０２に送信する（Ｓ１０２）。
　サーバ１０２は、教育対象者の位置に対応する画像を生成し、生成した画像をヘッドセット１０３に送信する（Ｓ１０３）。なお、ステップＳ１０１～Ｓ１０３の処理は教育対象者１０１の位置が変化する毎に繰り返し行われる。
　また、教育対象者１０１によりコントローラ１０４が操作されると、コントローラ１０４は、コントローラ１０４の位置を検知し（Ｓ１０４）、コントローラ１０４の位置情報と、操作部１４１等に対する操作情報とをサーバ１０２に送信する（Ｓ１０５）。
　上記の操作により教育対象コンテンツの教育対象オブジェクトが選択された場合（Ｓ１０６）、サーバ１０２は、選択された教育対象オブジェクトに対応する教育用コンテンツをヘッドセット１０３に送信する（Ｓ１０７）。
　また、教育対象者１０１によりコントローラ１０４が操作されると、コントローラ１０４は、コントローラ１０４の位置を検知し（Ｓ１０８）、コントローラ１０４の位置情報と、操作部１４１等に対する操作情報とをサーバ１０２に送信する（Ｓ１０９）。
　上記の操作により教育対象コンテンツに対する操作が行われた場合（Ｓ１１０）、サーバ１０２は、当該操作に応じた結果をヘッドセット１０３及びコントローラ１０４に送信する（Ｓ１１１及びＳ１１２）。具体的には、ヘッドセット１０３に表示する画面の更新、及びコントローラ１０４の振動制御等が行われる。
　図４は、サーバ１０２による処理のフローチャートである。まず、サーバ１０２は、教育対象者１０１の位置情報（ヘッドセット１０３の位置情報）を取得する（Ｓ２０１）。次に、サーバ１０２は、蓄積部１２１に格納されている三次元情報に基づき、仮想空間において、取得した位置情報に対応する教育対象者１０１の視点から見た画像を生成し、生成した画像をヘッドセット１０３に出力する（Ｓ２０２）。
　当該画像に教育対象オブジェクトが含まれない場合（Ｓ２０３でＮｏ）、所定の周期で再度ステップＳ２０１以降が行われる。
　当該画像に教育対象オブジェクトが含まれる場合（Ｓ２０３でＹｅｓ）、サーバ１０２は、教育対象オブジェクトのアイコンを出力する（Ｓ２０４）。具体的には、サーバ１０２は、画像上にアイコンを重畳し、生成された画像をヘッドセット１０３に出力する。
　この状態において、教育対象者１０１の操作によりアイコンが選択された場合（Ｓ２０５でＹｅｓ）、サーバ１０２は、選択されたアイコンに対応付けられている教育用コンテンツをヘッドセット１０３に出力する（Ｓ２０６）。一方、教育対象者１０１の操作によりアイコンが選択されなかった場合（Ｓ２０５でＮｏ）、所定の周期で再度ステップＳ２０１以降が行われる。
　図５は、対象施設の仮想空間１６１の一例を示す模式図である。図５に示す例では、仮想空間に設備等の４つのオブジェクト１６２Ａ～１６２Ｄが配置されている。オブジェクト１６２Ａ、１６２Ｂ、１６２Ｄは、教育用コンテンツが対応付けられた教育対象オブジェクト１６２である。オブジェクト１６２Ｃは、教育対象オブジェクトではない通常オブジェクトである。図６～図８は、それぞれ図５に示す視野（１）～（３）の表示画面例を示す図である。図６及び図８に示すように、画面内に教育対象オブジェクト１６２（オブジェクト１６２Ａ、１６２Ｂ、１６２Ｄ）が含まれる場合には、教育対象オブジェクトに対応付けてアイコン１６４が表示される。例えば、アイコン１６４は、教育対象オブジェクトの周辺、又は、教育対象オブジェクト上に重ねて表示される。例えば、アイコン１６４は、教育対象オブジェクトを強調表示するためのものである。また、アイコン１６４は、教育対象オブジェクト、又は教育対象オブジェクトに対応付けられている教育用コンテンツを説明する文字情報又は図形等を含んでもよい。
　また、図８に示すように通常オブジェクト１６２Ｃには、アイコン１６４は表示されない。また、図７に示すように画像に教育対象オブジェクトが含まれない場合には、アイコン１６４は表示されない。
　図９及び図１０は、表示画面の詳細な例を示す図である。図９に示すように、画面上にはレーザポインタであるポインタ１６５が表示される。ポインタ１６５は、コントローラ１０４の向きに応じて、画面内の任意の位置を指し示す。
　図９の例では、画面内に教育対象オブジェクトが含まれない。この場合、教育対象者１０１は、視線方向を変更したり、位置を移動することで、教育対象オブジェクトを探索する。図１０の例では、画面内に教育対象オブジェクト１６２が含まれ、教育対象オブジェクト１６２に重ねてアイコン１６４が表示されている。この状態において、教育対象者１０１は、ポインタ１６５でアイコン１６４を指し示し、操作部１４１による選択操作（例えば、操作ボタンの押下）を行うことで、アイコン１６４を選択する。
　以上のように、ポインタ１６５により教育対象オブジェクト１６２が指し示された状態において、教育対象者１０１が操作部１４１により選択操作を行った場合、教育用コンテンツが表示部１３４の画面に表示される。アイコン１６４を表示することで、教育対象者１０１が教育対象オブジェクト１６２を見つけやすくすることができる。よって、教育対象者１０１が教育対象オブジェクト１６２を見つけることができず、過度に時間が経過すること、及び教育対象者１０１のモチベーションが低下することを抑制できる。
　なお、ここではアイコン１６４が常に表示される例を示したが、ポインタ１６５により教育対象オブジェクト１６２が指し示された場合にのみアイコン１６４が表示されてもよい。図１１は、この場合のサーバ１０２の動作のフローチャートである。図１１に示す処理は、図４に示す処理に対して、ステップＳ２０７が追加されている。具体的には、画像に教育対象オブジェクト１６２が含まれる場合（Ｓ２０３でＹｅｓ）において、教育対象オブジェクト１６２がポインタ１６５で指し示された場合（Ｓ２０７でＹｅｓ）、サーバ１０２はアイコン１６４を出力する（Ｓ２０４）。また、教育対象オブジェクトがポインタ１６５で指し示されていない場合（Ｓ２０７でＮｏ）には、サーバ１０２は、アイコン１６４を出力しない。
　図１２は、このときの画面例を示す図である。図１２の（ａ）に示すように、画面内に教育対象オブジェクト１６２が含まれる場合であっても、ポインタ１６５が教育対象オブジェクト１６２を指し示していない場合にはアイコン１６４は表示されない。図１２の（ｂ）に示すように、ポインタ１６５が教育対象オブジェクト１６２を指し示した場合にはアイコン１６４が表示される。
　このように、ポインタ１６５により教育対象オブジェクト１６２が指し示された場合、アイコン１６４が表示される。アイコン１６４が表示されている状態において、教育対象者１０１が操作部１４１により選択操作（例えば、操作ボタンの押下）を行った場合、教育用コンテンツが表示部１３４の画面に表示される。
　これにより、常にアイコンを表示する場合に比べて、教育対象オブジェクトを見つけにくくなるため、教育対象者の思考が必要となる。これにより、教育の効果を向上できる。また、ポインタ１６５で指し示した際には、アイコン１６４が表示されるので、まったくアイコン１６４を表示しない場合に比べて、教育対象者１０１が教育対象オブジェクト１６２を見つけやすくすることができる。
　なお、ポインタ１６５が教育対象オブジェクト１６２を指し示した場合にもアイコン１６４が表示されなくてもよい。これにより、教育対象オブジェクトをより見つけにくくできる。つまり、ポインタ１６５により教育対象オブジェクト１６２が指し示された状態において、教育対象者１０１が操作部１４１により選択操作（例えば操作ボタンの押下）を行った場合、教育用コンテンツが表示部１３４の画面に表示されてもよい。
　また、教育対象オブジェクト１６２と通常オブジェクトとの両方にアイコン１６４が表示されてもよい。この場合においても、教育対象オブジェクト１６２が選択された場合には、教育用コンテンツが再生され、通常オブジェクトが選択された場合には教育用コンテンツは再生されない。これにより、選択可能な候補を教育対象者１０１に提示できるので、教育対象オブジェクトを見つけやすくできる。一方で、教育対象オブジェクト１６２のみにアイコン１６４を表示する場合に比べて、教育対象オブジェクト１６２を選択しにくくできる。
　なお、上記の複数の手法を設定可能としてもよい。また、所定の条件に応じて使用する手法が切り替えられてもよい。例えば、所定時間、教育対象オブジェクト１６２が選択されない場合、つまり、教育対象者１０１が教育対象オブジェクト１６２を見つけられない場合に、より選択しやすい方式に、使用する方式が切り替えられてもよい。
　以上により、教育対象者１０１は、仮想空間において教育対象オブジェクト１６２を選択するという能動的な動作を行う。これにより、教育対象者１０１に対する教育の効果を向上できる可能性がある。また、教育対象者１０１により、仮想空間において教育の対象となるオブジェクトを探すという動作が行われることで、単に教育対象者１０１が教育用コンテンツを視聴する場合に比べて、効果的な教育を行える。
　なお、仮想空間の実現手法として、教育対象者１０１（ヘッドセット１０３）の座標及び姿勢の両方が用いられてもよいし、座標は固定として姿勢に基づき画面が変更されてもよい。また、座標の移動は、教育対象者１０１の移動ではなく、教育対象者１０１によるコントローラ１０４等を介した操作により行われてもよい。また、水平方向のみ、又は垂直方向のみといったように二次元又は一次元の移動のみが反映されてもよい。同様に、特定の方向の姿勢の変更のみが反映されてもよい。
　また、視差を有する異なる画像が左右の目に表示される立体表示が用いられてもよいし、左右の目に同一の画像が表示される方式が用いられてもよい。
　なお、これらの仮想空間の実現手法については、後述する教育用コンテンツに含まれる仮想体験についても同様である。
　次に、教育用コンテンツの詳細について説明する。教育用コンテンツは、例えば、仮想空間における仮想体験を含む。また、仮想体験は、例えば、教育対象オブジェクト１６２に関する危険体験を含む。
　図１３は、教育用コンテンツの再生処理（図４のＳ２０６）のフローチャートである。まず、ヘッドセット１０３に、危険想定訓練の画面が表示される（Ｓ２２１）。危険想定訓練は、例えば、教育対象オブジェクト１６２に関連し、危険性がある場所を教育対象者１０１に選択させるコンテンツである。
　図１４は、危険想定訓練時の表示画面例を示す図である。図１４に示すように、危険想定訓練画面１６６が表示される。危険想定訓練画面１６６は、教育対象オブジェクトの写真が示され、複数の箇所が危険候補１６７としてマーキングされている。教育対象者１０１は、ポインタ１６５で危険候補１６７を選択し、操作部１４１（操作ボタン）を押下することで選択マーク１６８を付与する。教育対象者１０１は、選択マーク１６８を付与した後、判定ボタン１６９を選択する。これにより、選択結果に応じた正解又は不正解の結果が表示される（Ｓ２２２）。
　なお、ここでは、複数の危険候補１６７が表示されているが、任意の位置をマークする方式であってもよい。また、選択する箇所は複数でなくてもよい。また、危険箇所を選択する内容に限らず、教育対象オブジェクト１６２の危険想定訓練に関連する任意の質問であってもよい。
　また、ここでは、二次元画像が表示される例を示すが、仮想空間内で危険箇所を選択する方式であってもよい。
　次に、事故又は危険状態等の危険体験を仮想的に体験する事故シナリオが開始される（Ｓ２２３）。図１５～図１７は、事故シナリオの画面例を示す図である。ここでは、図１５に示すように、メンテナンス作業員の作業を仮想体験する例を説明する。図１６に示すように、コントローラ１０４により仮想空間内の手１７１が操作される。例えば、操作部１４１（操作ボタン）を操作することで、手１７１を握る動作が行われる。また、この例は、装置が故障した場合の体験である。図１７に示すように、例えばチューブ１７２ａ（図１６参照）を抜いた際に残圧により駆動部１７２が飛び出し、駆動部１７２が作業員に衝突する事故が再現される。例えば、衝突の際にはコントローラ１０４が振動するように制御される。また、事故シナリオにおいては、環境音及び効果音等の音声が映像にあわせて再生される。なお、振動部１４３はコントローラ１０４に内蔵されず、別途、教育対象者１０１に装着されてもよい。
　次に、事故シナリオに関連する教育対象者１０１への問いかけが表示される（Ｓ２２４）。図１８は問いかけ画面１７３の一例を示す図である。図１８に示すように、例えば、事故の発生原因、及び改善点等を教育対象者１０１へ問いかける内容が表示される。なお、ここでは、画像が表示される例を示しているが、音声等により問いかけが行われてもよい。また、仮想空間においてキャラクター等により教育対象者１０１に問いかけが行われてもよい。
　次に、事故シナリオに関連し、当該事故を防止するために行うべき行動、又は、事故が発生してしまった場合に行うべき正しい行動を示すあるべき行動が提示される（Ｓ２２５）。図１９及び図２０は、あるべき行動提示時の画面例を示す図である。例えば、図１９及び図２０それぞれに示すように、事故の発生原因を解説する画像１７４と、事故が発生してしまった場合に行うべき行動を示す画像１７５等が表示される。なお、これらの提示は、静止画及び動画像のいずれを用いて行ってもよい。また、仮想空間内で行われてもよい。また、音声による説明が用いられてもよい。
　以上により、本実施の形態に係る表示システム１００によれば、仮想空間を用いた臨場感のある体験により教育効果を向上できるとともに、安全訓練を効果的に行うことができる。また、教育対象者１０１による能動的な動作が行われることで教育効果を向上できる。
　以上、実施の形態に係る表示システムについて説明したが、本開示は、この実施の形態に限定されるものではない。例えば、本開示の表示システム１００は、工場に限らず、学校、病院、及び研究施設等の施設における安全教育に用いることができる。
　すなわち、本開示の表示システムは、施設の設備に関する教育を行うシステムである。表示システムは、検知部と、表示部と、操作部とを有する。
　検知部は、教育対象者の位置情報を検知する。
　表示部は、設備に対応付けられ、設備の形状をした教育対象オブジェクトが配置された施設の仮想空間において、位置情報に対応する教育対象者の視点から見た画像を表示する。
　操作部は、画像に含まれる教育対象オブジェクトを選択する。
　操作部を操作することにより教育対象オブジェクトが選択された場合、表示部は、教育対象オブジェクトに対応付けられている設備の教育用コンテンツを表示する。
　本開示のサーバは、施設の設備に関する教育を行うための教育用コンテンツを出力するためのサーバである。
　サーバは、取得部と、画像出力部と、コンテンツ出力部とを有する。
　取得部は、教育対象者の位置情報を検知部から取得する。
　画像出力部は、設備に対応付けられ、設備の形状をした教育対象オブジェクトが配置された施設の仮想空間において、位置情報に対応する教育対象者の視点から見た画像を表示部に出力する。
　コンテンツ出力部は、画像に含まれる教育対象オブジェクトが選択された場合、教育対象オブジェクトに対応付けられている設備の教育用コンテンツを表示部に出力する。
　本開示の表示方法は、施設の設備に関する教育を行うためのコンテンツを表示する表示方法である。
　表示方法は、
　検知部によって検知された教育対象者の位置情報を受信し、
　設備に対応付けられ、設備の形状をした教育対象オブジェクトが配置された施設の仮想空間において、位置情報に対応する教育対象者の視点から見た画像を表示するための情報を表示装置に出力し、
　表示装置に表示された画像に含まれる教育対象オブジェクトが選択された場合、教育対象オブジェクトに対応付けられている設備の教育用コンテンツを表示するための情報を表示装置に出力する。
　本開示の装置は、施設の設備に関する教育を行うための装置である。
　装置は、プロセッサと、メモリと、を有する。
　メモリには、プロセッサによって実行可能なプログラムが記憶されている。
　プロセッサは、メモリに記憶されたプログラムを用いて、
　教育対象者の位置情報を検知部から受信し、
　設備に対応付けられ、設備の形状をした教育対象オブジェクトが配置された施設の仮想空間において、位置情報に対応する教育対象者の視点から見た画像を生成し、
　画像を表示装置に出力し、
　操作部を操作することによって画像に含まれる教育対象オブジェクトが選択された場合、教育対象オブジェクトに対応付けられている設備の教育用コンテンツを表示装置に出力する。
　例えば、図２に示す表示システム１００の構成は一例であり、ある装置で実行される処理が他の装置で実行されてもよいし、一つの装置で実行される複数の処理を複数の装置で分割して処理してもよいし、複数の装置で実行される複数の処理を単一の装置で実行してもよい。例えば、サーバ１０２の機能の一部又は全てがヘッドセット１０３に含まれてもよい。
　また、上記実施の形態に係る表示システムに含まれるそれぞれの装置に含まれる処理部の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、上記実施の形態において、それぞれの構成要素は、専用のハードウェアで構成されるか、それぞれの構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。それぞれの構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、本開示は、表示システムに含まれる各装置として実現されてもよい。また、本開示は、表示システムに含まれる１以上の装置により実行される教育用コンテンツ表示方法、又は教育方法等の方法として実現されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェアが処理してもよいし、ソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおけるそれぞれのステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、一つまたは複数の態様に係る表示システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　以上のように、本開示は、効果的な教育を行える表示システム、サーバ、表示方法又は装置を提供できる。
　本開示は、表示システムに適用でき、例えば、工場等の施設における安全教育を行うシステムにて適用できる。
　１００　表示システム
　１０１　教育対象者
　１０２　サーバ
　１０３　ヘッドセット
　１０４　コントローラ
　１０５　位置センサ
　１０６　ネットワーク
　１２１　蓄積部
　１２２　取得部
　１２３　画像出力部
　１２４　コンテンツ出力部
　１２５、１３１　ＮＷ通信部
　１３２、１４２　通信部
　１３３　スピーカ
　１３４　表示部
　１３５、１４４、１５１　検知部
　１４１　操作部
　１４３　振動部
　１６１　仮想空間
　１６２、１６２Ａ、１６２Ｂ、１６２Ｄ　教育対象オブジェクト
　１６２Ｃ　通常オブジェクト
　１６４　アイコン
　１６５　ポインタ
　１６６　危険想定訓練画面
　１６７　危険候補
　１６８　選択マーク
　１６９　判定ボタン
　１７１　手
　１７２　駆動部
　１７２ａ　チューブ
　１７３　問いかけ画面
　１７４、１７５　画像

Claims (15)

  1. 　工場の設備に関する教育を行うための表示システムであって、
    　教育対象者の位置情報を検知する検知部と、
    　前記設備に対応付けられ、前記設備の形状をした教育対象オブジェクトが配置された前記工場の仮想空間において、前記位置情報に対応する前記教育対象者の視点から見た画像を表示する表示部と、
    　前記画像に含まれる前記教育対象オブジェクトを選択するための操作部と、
    を備え、
    　前記操作部を操作することにより前記教育対象オブジェクトが選択された場合、前記表示部は、前記教育対象オブジェクトに対応付けられている前記設備の教育用コンテンツを表示する
    　表示システム。
  2. 　前記表示部は、
    　前記画像に前記教育対象オブジェクトが含まれる場合、前記教育対象オブジェクト上、又は、前記教育対象オブジェクトの周辺にアイコンを表示し、
    　前記操作部により前記アイコンが選択された場合、前記教育用コンテンツを表示する
    　請求項１記載の表示システム。
  3. 　前記表示部は、
    　前記教育対象者の操作に基づき前記画像上の位置を指し示すポインタを表示し、
    　前記ポインタにより前記アイコンが指し示された状態において、前記操作部を操作することにより、前記教育用コンテンツを表示する
    　請求項２記載の表示システム。
  4. 　前記表示部は、
    　前記教育対象者の操作に基づき前記画像上の位置を指し示すポインタを表示し、
    　前記ポインタにより前記教育対象オブジェクトが指し示された状態において、前記操作部を操作することにより、前記教育用コンテンツを表示する
    　請求項１記載の表示システム。
  5. 　前記表示部は、
    　前記教育対象者の操作に基づき前記画像上の位置を指し示すポインタを表示し、
    　前記ポインタにより前記教育対象オブジェクトが指し示された場合、前記教育対象オブジェクト上、又は、前記教育対象オブジェクトの周辺にアイコンを表示し、
    　前記アイコンが表示されている状態において、前記操作部を操作することにより、前記教育用コンテンツを表示する
    　請求項１記載の表示システム。
  6. 　前記教育用コンテンツは、前記仮想空間における仮想体験を含む
    　請求項１～５のいずれか１項に記載の表示システム。
  7. 　前記仮想体験は、前記教育対象オブジェクトに関する危険体験を含む
    　請求項６記載の表示システム。
  8. 　前記教育用コンテンツは、前記危険体験に関する前記教育対象者への問いかけを含む
    　請求項７記載の表示システム。
  9. 　前記教育用コンテンツは、前記危険体験に関連し、前記教育対象者が行うべき行動を示すコンテンツを含む
    　請求項７又は８記載の表示システム。
  10. 　前記教育用コンテンツは、前記教育対象オブジェクトに関連し、危険性がある場所を前記教育対象者に選択させるコンテンツを含む
    　請求項１～９のいずれか１項に記載の表示システム。
  11. 　前記仮想空間は、前記工場を撮影した画像を用いて生成されている
    　請求項１～１０のいずれか１項に記載の表示システム。
  12. 　　前記教育用コンテンツの内容に応じて、前記教育対象者に振動を与える振動部を、
    さらに備える
    　請求項１～１１のいずれか１項に記載の表示システム。
  13. 　工場の設備に関する教育を行うための教育用コンテンツを出力するためのサーバであって、
    　教育対象者の位置情報を検知部から取得する取得部と、
    　前記設備に対応付けられ、前記設備の形状をした教育対象オブジェクトが配置された前記工場の仮想空間において、前記位置情報に対応する前記教育対象者の視点から見た画像を表示部に出力する画像出力部と、
    　前記画像に含まれる前記教育対象オブジェクトが選択された場合、前記教育対象オブジェクトに対応付けられている設備の教育用コンテンツを前記表示部に出力するコンテンツ出力部とを備える
    　サーバ。
  14. 　工場の設備に関する教育を行うためのコンテンツを表示する表示方法であって、
    　検知部によって検知された教育対象者の位置情報を受信し、
    　前記設備に対応付けられ、前記設備の形状をした教育対象オブジェクトが配置された前記工場の仮想空間において、前記位置情報に対応する前記教育対象者の視点から見た画像を表示するための情報を表示装置に出力し、
    　前記表示装置に表示された前記画像に含まれる前記教育対象オブジェクトが選択された場合、前記教育対象オブジェクトに対応付けられている設備の教育用コンテンツを表示するための情報を表示装置に出力する、
    　表示方法。
  15. 　工場の設備に関する教育を行うための装置であって、
    　プロセッサと、
    　前記プロセッサによって実行可能なプログラムが記憶されたメモリと、
    　を備え、
    　前記プロセッサは、前記メモリに記憶された前記プログラムを用いて、
    　教育対象者の位置情報を検知部から受信し、
    　前記設備に対応付けられ、前記設備の形状をした教育対象オブジェクトが配置された前記工場の仮想空間において、前記位置情報に対応する前記教育対象者の視点から見た画像を生成し、
    　前記画像を表示装置に出力し、
    　操作部を操作することによって前記画像に含まれる前記教育対象オブジェクトが選択された場合、前記教育対象オブジェクトに対応付けられている設備の教育用コンテンツを前記表示装置に出力する、
    　装置。
PCT/JP2019/032936 2018-08-29 2019-08-23 表示システム、サーバ、表示方法及び装置 WO2020045254A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/251,947 US20210256865A1 (en) 2018-08-29 2019-08-23 Display system, server, display method, and device
CN201980046593.6A CN112400198A (zh) 2018-08-29 2019-08-23 显示系统、服务器、显示方法以及装置
JP2020505294A JP6827193B2 (ja) 2018-08-29 2019-08-23 表示システム、サーバ、表示方法及び装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018160498 2018-08-29
JP2018-160498 2018-08-29
JP2019109900 2019-06-12
JP2019-109900 2019-06-12

Publications (1)

Publication Number Publication Date
WO2020045254A1 true WO2020045254A1 (ja) 2020-03-05

Family

ID=69644359

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/032936 WO2020045254A1 (ja) 2018-08-29 2019-08-23 表示システム、サーバ、表示方法及び装置

Country Status (4)

Country Link
US (1) US20210256865A1 (ja)
JP (1) JP6827193B2 (ja)
CN (1) CN112400198A (ja)
WO (1) WO2020045254A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240077984A1 (en) * 2022-09-01 2024-03-07 Lei Zhang Recording following behaviors between virtual objects and user avatars in ar experiences

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130189656A1 (en) * 2010-04-08 2013-07-25 Vrsim, Inc. Simulator for skill-oriented training
JP2015075732A (ja) * 2013-10-11 2015-04-20 三菱重工業株式会社 プラント運転訓練装置、制御方法、プログラム及びプラント運転訓練システム
JP2017120612A (ja) * 2015-12-28 2017-07-06 株式会社タッグ ３次元画像生成サーバ、電子カタログ表示装置、３次元画像表示システム、３次元画像表示方法および３次元画像表示プログラム
EP3349104A1 (en) * 2017-01-12 2018-07-18 Virva VR Oy Virtual reality arcade

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100721713B1 (ko) * 2005-08-25 2007-05-25 명지대학교 산학협력단 몰입형 활선작업 교육시스템 및 그 방법
JP2012069065A (ja) * 2010-09-27 2012-04-05 Nintendo Co Ltd 情報処理プログラム、情報処理装置および方法
CA2892974C (en) * 2012-11-28 2018-05-22 Vrsim, Inc. Simulator for skill-oriented training
CN104464428A (zh) * 2014-11-12 2015-03-25 国家电网公司 一种虚实结合的开关柜检修培训系统及方法
WO2016145117A1 (en) * 2015-03-09 2016-09-15 Alchemy Systems, L.P. Augmented reality
US20170148214A1 (en) * 2015-07-17 2017-05-25 Ivd Mining Virtual reality training
US9766713B2 (en) * 2015-09-08 2017-09-19 Unity IPR ApS System and method for providing user interface tools
EP3200044A1 (en) * 2016-01-29 2017-08-02 Tata Consultancy Services Limited Virtual reality based interactive learning
JP6646565B2 (ja) * 2016-12-12 2020-02-14 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US10810899B1 (en) * 2016-12-05 2020-10-20 Google Llc Virtual instruction tool
US10825350B2 (en) * 2017-03-28 2020-11-03 Wichita State University Virtual reality driver training and assessment system
CN206863984U (zh) * 2017-05-04 2018-01-09 河北科技大学 一种化工安全教学模拟系统
US11410564B2 (en) * 2017-11-07 2022-08-09 The Board Of Trustees Of The University Of Illinois System and method for creating immersive interactive application
US10684676B2 (en) * 2017-11-10 2020-06-16 Honeywell International Inc. Simulating and evaluating safe behaviors using virtual reality and augmented reality
WO2019150321A1 (en) * 2018-02-01 2019-08-08 Isg Central Services Limited Improved augmented reality system
US20210216773A1 (en) * 2018-05-03 2021-07-15 3M Innovative Properties Company Personal protective equipment system with augmented reality for safety event detection and visualization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130189656A1 (en) * 2010-04-08 2013-07-25 Vrsim, Inc. Simulator for skill-oriented training
JP2015075732A (ja) * 2013-10-11 2015-04-20 三菱重工業株式会社 プラント運転訓練装置、制御方法、プログラム及びプラント運転訓練システム
JP2017120612A (ja) * 2015-12-28 2017-07-06 株式会社タッグ ３次元画像生成サーバ、電子カタログ表示装置、３次元画像表示システム、３次元画像表示方法および３次元画像表示プログラム
EP3349104A1 (en) * 2017-01-12 2018-07-18 Virva VR Oy Virtual reality arcade

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Introduction of VR risk sensing device to safety training", MITSUBISHI MATERIALS, 30 May 2018 (2018-05-30), Retrieved from the Internet <URL:https://www.nikkei.com/article/DGXLRSP481052-Q8A530C1000000> [retrieved on 20191107] *
"VR is not only games, The third wave that changes manufacturing and business, PART2 The business process is also innovated", NIKKEI BUSINESS, 18 July 2016 (2016-07-18), pages 036 - 039 *
CEDEC2016J OCULUS TALKS AN INTERESTING TIP OF 'VR THAT CAN DO EVERYTHING YOU TRY WITH YOUR HANDS, 30 August 2016 (2016-08-30), XP055696454, Retrieved from the Internet <URL:https://www.moguravr.com/oculus-touch-hand-interaction-vr> [retrieved on 20191107] *

Also Published As

Publication number Publication date
JPWO2020045254A1 (ja) 2020-09-03
JP6827193B2 (ja) 2021-02-10
US20210256865A1 (en) 2021-08-19
CN112400198A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
JP2023018097A (ja) 人間とロボットの相互作用の拡張現実調整
JP2022535315A (ja) 自己触覚型仮想キーボードを有する人工現実システム
CN103635891A (zh) 大量同时远程数字呈现世界
JP2016522463A5 (ja)
US10943395B1 (en) Dynamic integration of a virtual environment with a physical environment
JP2022534639A (ja) 指マッピング自己触覚型入力方法を有する人工現実システム
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
KR20110025216A (ko) 가상 오브젝트들 상에 효과를 발생시키는 방법
JP6736298B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR100936090B1 (ko) 준몰입형 멀티 ｃｎｃ 공작기계 시뮬레이션 시스템
US20220155881A1 (en) Sensing movement of a hand-held controller
JP6227732B1 (ja) 仮想空間において入力を支援するための方法および装置、ならびに当該方法をコンピュータに実行させるプログラム
RU2604430C2 (ru) Взаимодействие с трехмерным виртуальным динамическим отображением
WO2020045254A1 (ja) 表示システム、サーバ、表示方法及び装置
US10831443B2 (en) Content discovery
JP2020013035A (ja) 訓練装置、訓練システム、訓練方法、及びプログラム
JP2018049629A (ja) 仮想空間において入力を支援するための方法および装置、ならびに当該方法をコンピュータに実行させるプログラム
KR20180088005A (ko) Ｖｒ 영상 저작 도구 및 ｖｒ 영상 저작 장치
TWI550256B (zh) 基於建築空間資訊模型之室內導航方法、室內導航資訊產生方法、電腦可讀取記錄媒體及室內導航裝置
JP2016218916A (ja) 情報処理装置、情報処理方法、及びプログラム
EP3534241B1 (en) Method, apparatus, systems, computer programs for enabling mediated reality
JP6739254B2 (ja) プログラム、情報処理装置、情報処理方法、及びサーバ装置
US10217186B2 (en) Method, virtual reality apparatus and recording medium for displaying fast-moving frames of virtual reality
CN109144234A (zh) 具有外置追踪及内置追踪的虚拟现实系统及其控制方法
EP4083805A1 (en) System and method of error logging

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020505294

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19854799

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19854799

Country of ref document: EP

Kind code of ref document: A1