WO2015173882A1 - コンテンツ生成方法および管理装置 - Google Patents

コンテンツ生成方法および管理装置 Download PDF

Info

Publication number
WO2015173882A1
WO2015173882A1 PCT/JP2014/062673 JP2014062673W WO2015173882A1 WO 2015173882 A1 WO2015173882 A1 WO 2015173882A1 JP 2014062673 W JP2014062673 W JP 2014062673W WO 2015173882 A1 WO2015173882 A1 WO 2015173882A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
content
detected
worker
program
Prior art date
Application number
PCT/JP2014/062673
Other languages
English (en)
French (fr)
Inventor
栗原　恒弥
浩彦 佐川
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2014/062673 priority Critical patent/WO2015173882A1/ja
Publication of WO2015173882A1 publication Critical patent/WO2015173882A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a content generation method and a management device for creating content.
  • Augmented Reality is a technology that adds information such as images and characters corresponding to the real environment (the information is referred to as “AR content”) to the image of the real environment. .
  • AR content information such as images and characters corresponding to the real environment
  • the user can obtain a feeling as if the AR content actually exists by viewing the image obtained by combining the image of the real environment and the AR content.
  • AR technology can be applied to a head-mounted display (Head Mounted Display, sometimes abbreviated as “HMD”).
  • HMD Head Mounted Display
  • By AR technology using HMD it is possible to present a video on a real object and give a work instruction.
  • a method of use at a manufacturing site has been proposed (Patent Document 1).
  • One of the important issues in AR technology is the production of AR content.
  • it is necessary to associate the work content and work position with the AR content and a large amount of man-hour is required to produce such AR content manually.
  • Patent Document 1 In the technology of Patent Document 1, an easy-to-understand work instruction is given to the worker by the AR content visible from the HMD.
  • the AR content creation method is not disclosed, and the AR content must be created manually. Since AR content is CG (Computer Graphics, computer graphics) data for work instructions that is easy for the operator to understand, a large amount of man-hour is required for authoring the content.
  • CG Computer Graphics, computer graphics
  • the present invention has been made in view of the above problems, and an object thereof is to efficiently create AR content.
  • a content generation method by a management device includes a processor that executes a program and a storage device that stores the program, and a three-dimensional space in a work space where a work target exists
  • the position specifying process specified based on the position, the attitude detection process for detecting the attitude of the worker with respect to the work target from the moving image of the work space, and the attitude of the worker detected by the attitude detection process A motion detection process for detecting a motion performed by the worker on an operation target of the target from a moving image of the work space;
  • the motion detected by the motion detection process is a specific motion
  • area detection is performed to detect a work area where the detected motion is performed based on the position of the three-dimensional camera identified by the position identification process.
  • FIG. 1 is a block diagram illustrating a hardware configuration example of a management device according to Embodiment 1.
  • FIG. It is explanatory drawing which shows an example of the content of a work procedure manual. It is explanatory drawing which shows the example 2 of a display of AR screen. It is explanatory drawing which shows the example 3 of a display of AR screen. It is explanatory drawing which shows the example 4 of a display of AR screen. It is explanatory drawing which shows the data structure example of AR content. It is explanatory drawing which shows the data structure example of the work content shown in FIG. It is explanatory drawing which shows the AR content production example 1 from actual work.
  • FIG. 9 is a block diagram illustrating a hardware configuration example of a management apparatus according to a second embodiment. 12 is a flowchart illustrating a detailed processing procedure example of the AR content generation processing (step S1102) illustrated in FIG. 11 according to the second embodiment.
  • FIG. 9 is a block diagram illustrating a hardware configuration example of a management apparatus according to a third embodiment.
  • FIG. 12 is a flowchart illustrating a detailed processing procedure example of the AR content generation processing (step S1102) illustrated in FIG. 11 according to the third embodiment.
  • FIG. 10 is a block diagram illustrating a hardware configuration example of a management apparatus according to a fourth embodiment. 12 is a flowchart illustrating a detailed processing procedure example of the AR content generation processing (step S1102) illustrated in FIG. 11 according to the fourth embodiment. It is explanatory drawing which shows the data structure example of the work content concerning Example 5.
  • FIG. FIG. 10 is a block diagram illustrating a hardware configuration example of a management apparatus according to a fifth embodiment. 12 is a flowchart illustrating a detailed processing procedure example of the AR content generation processing (step S1102) illustrated in FIG. 11 according to the fifth embodiment.
  • AR technology is used for education, entertainment, advertising, navigation, medical care, etc.
  • One of them is maintenance of equipment plants and support for construction.
  • the proportion of inexperienced users is expected to increase due to a lack of skilled workers. Therefore, in this embodiment, a technique for supporting an operator using the AR technique will be described as an example.
  • each process in the embodiment may be described using “program” as a subject (operation subject), but the program performs a process defined by being executed by a processor using a memory and a communication port. Therefore, the description may be made with the processor as the subject. Further, the processing disclosed with the program as the subject may be processing performed by a computer. Part or all of the program may be realized by dedicated hardware, or may be modularized. Various programs may be installed in each computer by a program distribution server or a storage medium.
  • FIG. 1 is an explanatory diagram illustrating a display example 1 of the AR screen.
  • the worker W performs an inspection work of the control panel 101 that is an example of a work target in the work space 100.
  • the worker W wears the HMD 110 and looks at the control panel 101.
  • the control panel 101 includes, for example, a lever 102, ammeters 103 and 104, switches 105 and 106, and lamps 107 to 109.
  • the worker W performs an opening / closing operation of the lever 102.
  • the worker W reads the current values of the ammeters 103 and 104 as necessary.
  • a rated value is designated for the ammeters 103 and 104, and it may be determined whether the read current value is within the rated value.
  • the operator W sets the switches 105 and 106 to ON or OFF as necessary.
  • the operator W grasps the state of the control panel 101 by looking at the lamps 107 to 109. For example, for each of the lamps 107 to 109, an error is indicated when the lamps 107 to 109 are lit, and it is assumed that the lamps 107 to 109 are normal when the lamps 107 to 109 are turned off.
  • the HMD 110 superimposes and displays AR content that is CG data and character strings using AR technology on an actual scene.
  • the HMD 110 includes a three-dimensional camera 111 and acquires a three-dimensional image.
  • the three-dimensional camera 111 is used for estimating the viewpoint position of the worker W.
  • the HMD 110 superimposes and displays the AR content on the actual scene.
  • the HMD 110 superimposes and displays the AR content on the 3D video of the actual scene obtained by the 3D camera 111.
  • a screen on which AR content is superimposed and displayed by the HMD 110 is referred to as an AR screen 112.
  • the AR screen 112 is visually recognized by the worker W wearing the HMD 110.
  • the AR screen 112 presented by the HMD 110 is a screen on which AR contents such as a message 113, rectangular parallelepiped data 114, and arrow data 115 are superimposed with the lever 102 as a center.
  • the message 113 is text data indicating contents to be performed by the worker W.
  • the rectangular parallelepiped data 114 is CG data indicating the position of the operation target (in the case of FIG. 1, the lever 102).
  • the rectangular parallelepiped data 114 includes or is close to the lever 102 that is the operation target.
  • the arrow data 115 is CG data indicating a work operation, and in this example, represents the release direction of the lever 102.
  • the worker W performs an operation according to these AR contents.
  • FIG. 2 is a block diagram of a hardware configuration example of the management apparatus according to the first embodiment.
  • the management apparatus 200 is a computer that executes creation of AR content and work support using the created AR content.
  • the management device 200 includes a processor 201, an input device 202, an output device 203, a communication interface 204, and a storage device 205, and these are connected via a bus 206.
  • the processor 201 executes various programs 211 to 218 stored in the storage device 205.
  • the input device 202 is an input device for inputting information necessary for creating the AR content. For example, a keyboard, a mouse, a touch panel, a microphone for performing voice input, and a three-dimensional camera 111 for performing operations such as input of work results. A separate three-dimensional camera is included.
  • the output device 203 is a device that outputs data, and includes, for example, a monitor that displays AR content and a speaker that outputs sound.
  • the output device 203 is also used in editing AR content.
  • the communication interface 204 receives a three-dimensional image from the three-dimensional camera 111 mounted on the HMD 110 wirelessly or by wire. In addition, the communication interface 204 transmits the AR content to the HMD 110 by wireless or wired. In addition, the communication interface 204 transmits / receives data to / from other devices (not shown) via the network.
  • the storage device 205 stores various programs 211 to 218, and stores information related to the progress of processing by the programs 211 to 218.
  • the storage device 205 includes a three-dimensional model acquisition program 211, a camera position / posture estimation program 212, a posture extraction program 213, a work motion estimation program 214, a work area estimation program 215, a content generation program 216, a content editing program.
  • a program 217 and a content execution program 217 are stored.
  • the 3D model acquisition program 211 is a program for causing the processor 201 to acquire the 3D model of the work space 100.
  • the acquired three-dimensional model is stored in the three-dimensional model DB 231.
  • the three-dimensional model includes a three-dimensional model of the control panel 101 that is a work target.
  • the camera position / orientation estimation program 212 is a program for causing the processor 201 to estimate the position and orientation of the three-dimensional camera 111 mounted on the HMD 110 worn by the worker W who is working.
  • the camera position and orientation estimation by the program 212 corresponds to a camera tracking process in augmented reality.
  • the position / orientation estimation of the three-dimensional camera 111 by the camera position / orientation estimation program 212 can be realized, for example, by using a known technique for aligning an input three-dimensional image with a prepared three-dimensional model.
  • the position and orientation of the three-dimensional camera 111 are expressed in a world coordinate system based on the three-dimensional model of the work space 100.
  • the position and orientation of the three-dimensional camera 111 mounted on the worker W's HMD 110 are estimated.
  • the AR content that is a virtual CG image is converted to the HMD 110 or It is displayed superimposed on the output device 203. Thereby, the superimposed display by AR technique is implement
  • the posture extraction program 213 is a program for causing the processor 201 to extract the posture of the worker W from the three-dimensional image obtained by the three-dimensional camera 111 of the HMD 110 for the worker W who is working. Since the 3D camera 111 is mounted on the HMD 110, for example, a 3D image indicating the posture of the worker W's hand is acquired as the 3D image acquired by the 3D camera 111.
  • the posture extraction program 213 matches the time-series data of the three-dimensional image indicating the posture of the hand of the worker W with the posture dictionary 233, thereby obtaining the hand from the time-series data of the three-dimensional image acquired by the three-dimensional camera 111.
  • a three-dimensional image indicating the posture is extracted.
  • the posture extraction program 213 performs matching between the input three-dimensional image and the three-dimensional image in the posture dictionary 233, and a similar three-dimensional image (with a sufficiently close distance) is obtained from the posture dictionary. If it is detected in 233, it is determined to be the corresponding posture.
  • the image feature amount of a three-dimensional image is generally expressed as a numerical vector.
  • Each element of the numerical vector includes, for example, a value obtained by digitizing an image color, an intensity of a gradient of an image, a value of a direction, or a value obtained by using these values as a frequency distribution.
  • the Euclidean distance, the Mahalanobis distance, and the Bhattacharya distance between vectors are used as indices for evaluating similarity. Therefore, it can be determined that the images are more similar as the distance is smaller.
  • the work motion estimation program 214 is a program for causing the processor 201 to estimate the work motion of the worker W using the data indicating the posture extracted by the posture extraction program 213.
  • the work motion estimation program 214 has a database that associates a 3D image of a work motion to be extracted in advance with the work motion (name), and the posture extracted by the posture extraction program 213.
  • the work motion is estimated by comparing the three-dimensional image indicating the above and the three-dimensional image of the work motion in the database.
  • work operations include, for example, “lever opening operation”, “lever closing operation”, “instrument reading”, “switch check”, “lamp check”, “part installation”, “parts” Removal ".
  • the work area estimation program 215 is a program that causes the processor 201 to estimate the work area where the work motion estimated by the work motion estimation program 214 is performed.
  • the work area estimation program 215 stores the position of the hand while detecting the work motion estimated by the work motion estimation program 214.
  • the position of the hand is expressed in a camera coordinate system based on the three-dimensional camera 111 of the HMD 110.
  • the work area estimation program 215 converts this camera coordinate system into a world coordinate system based on the three-dimensional model. For the coordinate conversion, the position and orientation data of the three-dimensional camera 111 estimated by the camera position and orientation estimation program 212 is used.
  • the work area estimation program 215 converts coordinates expressed in the camera coordinate system of the three-dimensional camera 111 into a world coordinate system using the position and orientation data of the three-dimensional camera 111.
  • the position and movement of the hand when the work operation is performed can be expressed in the world coordinate system of the three-dimensional model.
  • the estimated work area is defined as a bounding box (closing box) of the locus of the position of the hand at the time when the work operation was performed.
  • the content generation program 216 is a program that causes the processor 201 to generate AR content corresponding to the work motion estimated by the work motion estimation program 214 and the work area estimated by the work area estimation program 215.
  • the generated AR content is stored in the AR content DB 232.
  • the content generation program 216 has a function of estimating the work content indicating the action actually performed by the worker W from the work operation. For example, when the word “operation” is included in the work operation, the content generation program 216 determines the work content to be “end operation”. For example, when the work operation is “lever opening operation”, the work content is set to “operation end”.
  • the content generation program 216 determines the work content to be “numerical input” when there is a word “read” or “confirm” in the work operation. For example, when the work operation is “reading of ammeter”, the work content is set to “numerical value input”. That is, it means inputting a current value. When the work operation is “confirm switch”, the work content is set to “numerical value input”. That is, it means inputting a true / false value indicating the switch state (ON or OFF).
  • the content editing program 217 is an interactive program that causes the processor 201 to edit the AR content generated by the content generation program 216 in response to a user operation input from the input device 202.
  • the content execution program 218 is a program for causing the processor 201 to display the AR content on the output device 203 and output to the HMD 110 via the communication interface 204.
  • the storage device 205 also functions as various databases.
  • the 3D model DB 231 stores the 3D model acquired by the 3D model acquisition program 211.
  • the AR content DB 232 stores AR content generated by the content generation program 216.
  • the posture dictionary 233 stores a three-dimensional image indicating the posture of the worker W, a work operation, and a work CG type in association with each other.
  • the work CG type is information for specifying the type of CG data to be displayed on the AR screen 112.
  • the posture dictionary 233 stores three-dimensional images for all postures that the operator W can take. For example, in the posture dictionary 233, a three-dimensional image indicating “lever operation”, a work operation “lever operation”, and an “arrow” indicating a “lever operation” direction as a work CG type are associated with each other. .
  • FIG. 3 is an explanatory diagram showing an example of the contents of the work procedure manual.
  • the work procedure manual 301 a title 302 is described, and the type of work procedure manual 301 is specified.
  • the work procedure manual 301 is composed of a plurality of detailed work columns, and headings 303, 305, and 313 representing the outline and type of each work are described.
  • the work contents 304 are work contents corresponding to the headline 303
  • the work contents 306 to 312 are work contents corresponding to the headline 305
  • the work contents 314 are work contents corresponding to the headline 313.
  • the work procedure according to the work procedure manual 301 is as follows.
  • the inspection procedure (302) first, as preparation for inspection (303), the operator W opens the lever 102 (304).
  • the worker W executes “inspection” which is the heading 305.
  • the worker W reads the ammeter 103 and records the current value, and confirms that the current value is within the rating (306).
  • the operator W reads the ammeter 104 and records the current value, and confirms that the current value is within the rating (307).
  • the worker W confirms that the switch 105 is on (308). Furthermore, the worker W confirms that the switch 106 is on (309).
  • the operator W confirms that the lamp 107 is turned off (310). Furthermore, the worker W confirms that the lamp 208 and the lamp 209 are off (311 and 312).
  • the worker W performs “inspection end” processing as a heading 313. That is, the lever 102 is closed (314).
  • the work procedure shown in this work procedure manual 301 is supported using AR technology.
  • Display examples 2 to 4 of AR screen 112 will be described.
  • the display example 2 of the AR screen 112 shows the AR screen 112 displayed next to the AR screen 112 in the display example 1 of the AR screen 112 shown in FIG. 1, and the display example 3 of the AR screen 112 is the display of the AR screen 112.
  • the AR screen 112 displayed after the AR screen 112 in the display example 2 is shown.
  • the display example 4 of the AR screen 112 shows the AR screen 112 displayed after the AR screen 112 in the display example 3 of the AR screen 112. .
  • FIG. 4 is an explanatory diagram showing a display example 2 of the AR screen 112.
  • FIG. 4 is a display example of the AR screen 112 corresponding to “read the ammeter 103 and record the current value and confirm that the current value is within the rating” of the work content 306 of the work procedure manual 301. is there.
  • the content of the message 113 also corresponds to the work content 306 of the work procedure manual 301.
  • the management device 200 compares the input current value with the rated value.
  • FIG. 5 is an explanatory diagram showing a display example 3 of the AR screen 112.
  • FIG. 5 is a display example of the AR screen 112 corresponding to “confirm that the switch 105 is on” of the work content 308 of the work procedure manual 301.
  • the content of the message 113 also corresponds to the work content 308 of the work procedure manual 301.
  • the worker W inputs the confirmation result to the input device 202.
  • the input value in this case is a true / false value that is the state of the switch 105 (a value indicating ON or OFF).
  • FIG. 6 is an explanatory diagram showing a display example 4 of the AR screen 112.
  • FIG. 6 is a display example of the AR screen 112 corresponding to “confirm that the lamp 107 is turned off” in the work content 310 of the work procedure manual 301.
  • the content of the message 113 also corresponds to the work content 310 of the work procedure manual 301.
  • the worker W inputs the confirmation result to the input device 202.
  • the input value is a true / false value indicating the state of the lamp 107 (a value indicating lighting or extinguishing).
  • AR content (1) a character string to be displayed on the AR screen 112, (2) CG data of a three-dimensional figure such as a rectangular parallelepiped indicating the position of the operation target, (3) CG data such as an arrow indicating the operation content, 4) It is possible to define four work contents that are actions requested of the worker W.
  • FIG. 7 is an explanatory diagram showing an example of the data structure of AR content.
  • the AR content 700 includes a work title 701, a work number 702, a work headline 703 corresponding to the work number, and a content 704 corresponding to the work number.
  • the work title 701 is a title name indicating work.
  • a character string “XX check procedure” is stored as a work title.
  • the work heading 703 is a work name that becomes an index of each work. There are n work headings 703 corresponding to the number of work 702. For example, in the work procedure manual 301 of FIG. 3, a character string “inspection preparation” is stored in the work heading H1, “inspection” in the work heading H2, and “inspection end processing” in the work heading H3.
  • a character string “inspection preparation” is stored in the work heading H1, “inspection” in the work heading H2, and “inspection end processing” in the work heading H3.
  • the content 704 stores the work content 705 and the work content 706 corresponding to the number of work contents.
  • the number of work contents 705 is the number of work contents 706.
  • the work content 706 exists for 705 work contents.
  • the content Ci is a set of Mi pieces of work content Ci-1, ..., Ci-mi, ..., Ci-Mi.
  • the working content number Mi of the content Ci is an integer of 1 ⁇ mi ⁇ Mn.
  • i is an integer of 1 ⁇ i ⁇ n.
  • the work content number M1 of the content C1 of the work heading H1 is one of “open the lever 102”.
  • the work content number M2 of the content C2 of the work heading H2 is seven of reference numerals 306 to 312.
  • the work content number M3 of the content C3 of the work heading H3 is one of “close the lever 102”.
  • the work content 706 indicates the content of the work specified by the work heading 703.
  • a set of work contents 706 becomes contents 704.
  • the work content C1-1 of the content C1 of the work heading H1 is “open the lever 102”.
  • the work contents C2-1 to C2-7 of the content C2 of the work heading H2 are the work contents indicated by reference numerals 306 to 312.
  • the work content C3-1 of the content C3 of the work heading H3 is “close the lever 102”.
  • FIG. 8 is an explanatory diagram showing an example of the data structure of the work content Ci-mi shown in FIG.
  • the work content Ci-mi includes a work instruction description 801, a work CG type 802, a work CG state 803, an operation target state 804, and a work content 805.
  • the work instruction description 801 is an explanatory text for instructing a work.
  • the work instruction description 801 corresponds to a sentence “lever opening, operating the lever 102 in the direction of the arrow”.
  • the work instruction description 801 is added or edited from the input device 202 by the content editing program 217.
  • the work CG type 802 is information for specifying the type of CG data displayed on the AR screen 112.
  • the type of work CG is “arrow”.
  • the work CG type 802 is “cuboid”. That is, the operation CG type 802 is set to “arrow” for an operation target that moves itself (changes its position) like the lever 102 by analyzing the time-series data of the three-dimensional image of the operation estimation program 214.
  • the work CG type 802 is set to a “cuboid” that includes or is close to the operation target.
  • the work CG state 803 is information indicating the position, direction, and size of the CG data identified by the work CG type 802 on the three-dimensional model.
  • arrow for example, the CG data of the arrow that is arranged in the vicinity of the lever 102 that is the operation target and indicates the shape indicating the operation direction is obtained by analyzing the time series data of the three-dimensional image of the work motion estimation program 214 .
  • the size may be set according to the lever 102 that is the operation target.
  • the operation target state 804 is information indicating the position, direction, and size of the operation target such as the lever 102 and the ammeter 103 on the three-dimensional model.
  • the operation target state 804 specifies the position, direction, and size of the rectangular parallelepiped data 114.
  • the position of the operation target is expressed by, for example, sphere data
  • the position and radius of the sphere data are designated.
  • the operation target state 804 is a work area estimation result by the work area estimation program 215.
  • the work content 805 is information indicating an action actually performed by the worker W.
  • a signal indicating the end of work by the opening operation of the lever 102 for example, input of operation end from the input device 202
  • it is input of a truth value.
  • FIG. 9 is an explanatory diagram of an AR content generation example 1 from actual work.
  • FIG. 9 is an example of an operation for opening the lever 102.
  • the hand h of the operator W grabs the lever 102 and operates the lever 102 in the direction of the arrow.
  • the management device 200 uses the posture extraction program 213 to obtain the behavior of the hand h that is the posture of the worker W by the three-dimensional camera 111 of the HMD 110. Extract from time-series data of dimensional images. Further, the management device 200 estimates the work operation “lever opening operation” from the behavior of the hand h that is the posture of the worker W by the work operation estimation program 214.
  • the management apparatus 200 Since the work operation “lever opening operation” is estimated, the management apparatus 200 estimates the position of the hand h on the three-dimensional model that is the work area using the bounding box of the locus of the hand by the work area estimation program 215. To do. Next, the management apparatus 200 adds the work content Ci-mi to the AR content 700 by the AR content addition process of the content generation program 216.
  • the work CG type 802 of the work content Ci-mi to be added is an “arrow” corresponding to the work motion “lever opening operation” that is the work motion estimation result in the posture dictionary 233.
  • the work CG state 803 is obtained from the work motion estimation result by the work motion estimation program 214.
  • the operation target state 804 is obtained from the work area estimation result by the work area estimation program 215. Further, as described above, the management apparatus 200 estimates the “operation end” as the work content 805 from the work motion estimated by the work motion estimation program 214 by the content generation program 216.
  • FIG. 10 is an explanatory diagram showing an AR content generation example 2 from actual work.
  • FIG. 10 is an example of an operation for reading the ammeter 103.
  • the hand h of the worker W points to the ammeter 103.
  • the worker W inputs a numerical value to the management apparatus 200 by the input device 202.
  • the management device 200 uses the posture extraction program 213 to obtain the behavior of the hand h that is the posture of the worker W by the three-dimensional camera 111 of the HMD 110. Extract from time-series data of dimensional images. Further, the management device 200 estimates the work operation “reading of the instrument” from the behavior of the hand h that is the posture of the worker W by the work operation estimation program 214.
  • the management apparatus 200 uses the work area estimation program 215 to estimate the position of the hand h on the three-dimensional model, which is the work area, using the bounding box of the hand trajectory. .
  • the management apparatus 200 adds the work content Ci-mi to the AR content 700 by the AR content addition process of the content generation program 216.
  • “reading instrument” as a work operation is associated with “cuboid” as a work CG type 802. Accordingly, the work CG type 802 of the work content Ci-mi to be added here is “cuboid”.
  • the work CG state 803 is obtained from the work motion estimation result by the work motion estimation program 214.
  • the operation target state 804 is obtained from the work area estimation result estimated by the work area estimation program 215. Further, as described above, the management apparatus 200 estimates the “numeric input” that is the work content 805 from the work motion estimated by the work motion estimation program 214 by the content generation program 216.
  • the management apparatus 200 may use the content editing program 217 to execute the AR content 700 after the creation of the AR content 700, if necessary. Can be corrected.
  • FIG. 11 is a flowchart showing an example of the entire processing procedure from creation to execution of AR content.
  • the management apparatus 200 acquires a three-dimensional model to be worked such as the control panel 101 using the three-dimensional model acquisition program 211 and stores it in the three-dimensional model DB 231 (step S1101).
  • the worker W performs work on the work target, and the management apparatus 200 executes AR content generation processing using the work (step S1102). Details of the AR content generation process (step S1102) will be described later.
  • the management apparatus 200 edits the AR content 700 generated by the AR content generation process (step S1102) by the AR content editing program 217.
  • the management apparatus 200 newly adds work content to the AR content 700, or modifies the work instruction work instruction description 801, work CG state 803, operation target state 804, and work content 805 by user operation. .
  • it can be edited by a text editor or interactively as in the 3DCG authoring program.
  • the management apparatus 200 executes processing using the AR content 700 by the content execution program 217 (step S1104). By this processing, work support using AR technology is realized.
  • FIG. 12 is a flowchart showing a detailed processing procedure example of the AR content generation processing (step S1102) shown in FIG.
  • the worker W starts work (step S1201).
  • the management device 200 creates a three-dimensional image. Input (step S1202).
  • the management apparatus 200 estimates the position and orientation of the three-dimensional camera 111 of the HMD 110 in real time using the camera position and orientation estimation program 212 (step S1203).
  • the estimation of the position and orientation of the camera using the three-dimensional image can be realized by using a known technique for aligning the input three-dimensional image with a three-dimensional model prepared in advance.
  • the position and orientation of the three-dimensional camera 111 are expressed in a world coordinate system based on the three-dimensional model.
  • the management apparatus 200 estimates the posture of the worker W using the input three-dimensional image by the posture extraction program 213 (step S1204). Then, the management device 200 estimates the work motion from the posture of the worker W by the work motion estimation program 214 (step S1205).
  • the management apparatus 200 determines whether or not a registered work operation has been detected (step S1206). That is, the work motion estimation program 214 determines whether or not the estimated work motion exists in the database of the work motion estimation program 214. When the work operation is not detected (step S1206: No), the process returns to step S1202. On the other hand, when the work operation is detected (step S1206: Yes), the management apparatus 200 estimates the work area in which the detected work operation is performed by the work area estimation program 215 (step S1207). The estimation of the work area is determined, for example, from the position indicated by the posture of the worker W that is the work motion estimation source.
  • the management apparatus 200 adds the AR content 700 by the AR content addition process of the content generation program 216.
  • the work CG type 802 of the AR content to be added is set based on the type of work operation detected in step S1206. For example, when the work operation is “lever opening operation”, the operation target is a movable lever, and the work CG type 802 is “arrow”.
  • the work CG state 803 is the position, direction, and size of the CG data specified by the work CG type 802. Accordingly, the work CG state 803 in this case is the arrow data 115 corresponding to the start point, the end point, and the direction of the operation of the lever 102 obtained from the estimation result of the work area and the three-dimensional model of the control panel 101.
  • the operation target state 804 is the position, direction, and size of the rectangular parallelepiped data 114 including the lever 102 obtained from the estimation result of the work area and the three-dimensional model of the control panel 101.
  • the work CG type 802, the work CG state 803, and the operation target state 804 can be corrected by the AR content editing process (step S1103) after the AR content generation process (step S1102) by the actual work. is there.
  • the management apparatus 200 estimates the work content 805 by the content generation program 216.
  • the work content 805 is estimated from the work movement and work area estimated by the work movement estimation program 214.
  • the content generation program 216 has a table that associates work operations with work contents 805.
  • work areas may be associated. For example, when the work operation is “lever opening operation”, the work content 805 is information indicating “work end” by referring to the table. In addition, when the work operation is “instrument reading” and the work area is the ammeter 103, the work content 805 becomes “input of current value” by referring to the table.
  • the management device 200 determines whether or not the work of the worker W has been completed (step S1209).
  • step S1209: Yes the content creation process is finished. If the work has not been completed (step S1209: No), the process returns to the three-dimensional image input process (S1202).
  • the worker W it is possible for the worker W to designate the end of the work by the input device 202.
  • a gesture for ending work can be used.
  • the AR content 700 can be generated by the worker W actually performing the work.
  • FIG. 13 is a flowchart showing a detailed processing procedure example of the AR content execution processing (step S1104) shown in FIG.
  • the management device 200 waits for selection of the AR content 700 to be executed from the AR content DB 232 by the operation of the worker W (step S1301).
  • the management apparatus 200 transmits the work instruction description 801 of the selected AR content 700 to the HMD 110 and displays it on the AR screen 112 of the HMD 110, for example, as shown in FIG. (Step S1302).
  • the management apparatus 200 acquires a video displayed on the three-dimensional camera 111 of the HMD 110 from the HMD 110 as a three-dimensional image (step S1303). Then, the management apparatus 200 estimates the position and orientation of the three-dimensional camera 111 of the HMD 110 in real time using the camera position and orientation estimation program 212 (step S1304).
  • the camera position / orientation estimation is the same process as the camera position / orientation estimation (step S1203) in the AR content creation process (step S1102).
  • the management apparatus 200 transmits CG data such as the rectangular parallelepiped data 114 and the arrow data 115 to the HMD 110 using the position and orientation of the three-dimensional camera 111 estimated by the camera position and orientation estimation (step S1304), and the HMD 110 (Step S1305).
  • the management device 200 stores the CG data in the HMD 110 as shown in FIG. 1 with the position, posture, and size specified by the work CG state 803 (the position, posture, and size of the CG data). Display.
  • the management apparatus 200 determines whether the work has been completed (step S1307). Whether or not the processing has been completed is determined by an input from the input device 202. If the current work (for example, operation of the lever 102) is not completed and is being executed, there is no work end input from the input device 202 (step S1306: No), and the process returns to step S1303. On the other hand, when the AR work is finished, the work end is inputted from the input device 202 (step S1306: Yes), and the process returns to step S1301.
  • step S1301 when AR content is not selected (step S1301: No), the process proceeds to step S1307. Then, the management device 200 determines whether or not the entire work has been completed (step S1307). Whether or not the processing has been completed is determined based on whether or not there is an AR content 700 to be input or selected from the input device 202. If the entire work is not finished (step S1307: No), the process returns to step S1301. On the other hand, when it is the end of the entire work (step S1307: Yes), the AR content execution process (step S1104) is ended.
  • the AR content 700 can be created while the worker W is actually working.
  • a work procedure manual 301 relating to work contents is prepared in advance, and referring to the work procedure manual 301, work operation estimation, work area estimation, and content addition processing are executed.
  • a work manual that is electronic data may be prepared.
  • more accurate AR content 700 is generated using the work manual.
  • differences from the first embodiment will be described.
  • FIG. 14 is a block diagram of a hardware configuration example of the management apparatus 200 according to the second embodiment.
  • a collation program 1401 and a work manual 1402 are added to the storage device 205 shown in FIG.
  • the work manual 1402 is a manual related to actual work.
  • the contents of the work manual 1402 are the same as the work procedure manual 301 of FIG.
  • the work instruction explanation 801 shown in FIG. 8 is determined from the work manual 1402.
  • the work instruction explanation 801 is determined by the headings 303, 305, and 313.
  • the work CG type 802 can be estimated using the work manual 1402 by the content generation program 216. For example, in the operation of the lever 102, if the work manual 1402 indicates “open the lever”, the work CG type 802 is determined as “arrow”. The direction of the arrow is specified by analyzing the movement of the lever 102 from the time-series data of the three-dimensional image of the work area estimated by the work area estimation program 215.
  • the work CG state 803 and the operation target state 804 cannot be estimated from the work manual 1402. Therefore, the management apparatus 200 estimates the work CG state 803 by the work motion estimation program 214 and estimates the operation target state 804 by the work area estimation program 215 as in the first embodiment.
  • the collation program 1401 collates the work motion estimated by the work motion estimation program 214 with the contents of the work manual 1402 and collates to which part of the work manual 1402 the operation performed by the worker W corresponds. To do. That is, in the collation process, it is determined whether or not the work motion estimated by the work motion estimation program 214 matches the work contents 304, 306 to 312 and 314 described in the work manual 1402.
  • FIG. 15 is a flowchart of a detailed process procedure example of the AR content generation process (step S1102) depicted in FIG. 11 according to the second embodiment.
  • the management apparatus 200 collates the work motion with the work manual 1402 (step S1206). S1501).
  • the management apparatus 200 estimates the work area (step S1207).
  • step S1502: No the process proceeds to step S1209.
  • step S1208 the management apparatus 200 specifies the work instruction description 801 from the work manual 1402 and stores it in the work content Ci-mi. Further, the management apparatus 200 identifies the work content 805 and stores it in the work content Ci-mi as in the first embodiment.
  • a template of the AR content 700 can be created from the work manual 1402.
  • the management apparatus 200 can estimate and add or edit the work CG state 803 and the operation target state 804 from the work of the worker W on the template of the AR content 700.
  • the AR content 700 can be created by preparing the work manual 1402.
  • the third embodiment is a method of performing work motion estimation and content addition processing with reference to the voice recognition result by using voice recognition in the first embodiment.
  • the work In the actual work, there is a case where the work is performed while speaking the actual work content by voice, and more accurate AR content 700 is generated using the voice recognition result.
  • differences from the first embodiment will be described.
  • FIG. 16 is a block diagram of a hardware configuration example of the management apparatus 200 according to the third embodiment.
  • a voice recognition program 1601 is added to the storage device 205 illustrated in FIG.
  • the voice recognition program 1601 recognizes the voice that the worker W is working on.
  • the worker W is uttering a work operation name that identifies the operation being performed.
  • the work instruction explanation and the headline in the work procedure manual 301 shown in FIG. For example, in the case of the work content 306, the worker W utters “read the ammeter 103 and record the current value”.
  • FIG. 17 is a flowchart of a detailed process procedure example of the AR content generation process (step S1102) depicted in FIG. 11 according to the third embodiment.
  • the management apparatus 200 recognizes the voice related to the work operation during work from the HMD 110 by the voice recognition program 1601, and obtains information related to the operation during work (step S1701). ).
  • the management apparatus 200 determines the work instruction description 801 using this information.
  • the work CG type 802 is estimated from the speech recognition content.
  • AR content addition step S1208 is executed.
  • step S1208 for example, when the voice is “lever open, lever 102 is operated in the direction of the arrow”, the work instruction explanation 801 is a character string obtained from the voice. Further, as a result of referring to the work instruction description 801, the operation target is a movable lever, and therefore the work CG type 802 is “arrow”.
  • the work instruction explanation 801 is a character string obtained from the voice. Further, as a result of referring to the work instruction explanation 801, the operation target is an ammeter that does not move, and therefore the work CG type 802 is “cuboid”.
  • the work CG state 803 and the operation target state 804 are specified in the same manner as in the first embodiment using the work CG type 802 obtained by voice recognition. Also, the work content 805 is specified in the same manner as in the first embodiment. As described above, in the third embodiment, the AR content 700 can be efficiently created by voice recognition.
  • Example 4 is an example in which position information of operation targets such as the lever 102 and the ammeter 103 is given to the three-dimensional model of the work space 100 in advance in Example 1.
  • position information of the operation target By using the position information of the operation target, it is possible to perform work motion estimation with higher accuracy.
  • the operation target is the lever 102
  • it is possible to guess that the operation target is the lever 102 from the position of the hand h of the worker W by giving the position information of the lever 102.
  • the details of the operation of the worker W can be estimated more accurately.
  • the operation target is the ammeter 103, 104
  • a corresponding operation such as input of the value of the ammeter 103, 104 from the position of the hand h of the worker W.
  • FIG. 18 is a block diagram of a hardware configuration example of the management apparatus 200 according to the fourth embodiment.
  • a work area DB 1802 is added to the storage device 205 of the first embodiment.
  • the work motion estimation program 214 and the work area estimation program 215 are deleted from the storage device 205, and a second work motion estimation program 214 that newly refers to the work area is added.
  • the work area DB 1802 has work area data that is position information of the operation target described above. The work area data is given to the three-dimensional model of the work space 100.
  • FIG. 19 is a flowchart of a detailed process procedure example of the AR content generation process (step S1102) depicted in FIG. 11 according to the fourth embodiment.
  • the work motion estimation program 214 and the work area estimation program 215 do not exist, the work motion estimation (step S1205) and the work area estimation (step S1207) are not executed. Instead, after the posture estimation of the worker W (step S1204), the management apparatus 200 executes the work area of the worker W (for example, the hand h of the worker W whose posture is estimated) by the second work motion estimation program 1801. And the work area data recorded in the work area DB 1802 are collated (step S1901).
  • the management apparatus 200 determines whether or not the distance between the work area of the worker W and the work area data is within a predetermined distance.
  • the distance between the work area of the worker W and the work area data for example, the distance between the position of the three-dimensional camera 111 and the position indicated by the work area data is used.
  • the management apparatus 200 uses the operation target (for example, a lever) specified by the work area data in the work area. It is detected that the work operation has been performed (step S1206: Yes), and the process proceeds to step S1208.
  • the operation target for example, a lever
  • the fourth embodiment by setting the work area data in advance, it is possible to estimate the work operation with reference to the work area, and it is possible to create the AR content 700 more efficiently.
  • Embodiment 5 is an example having a step of inputting success / failure of work when each work is finished and a step of storing work procedures depending on the success / failure of work in Embodiment 1.
  • AR content depending on the success or failure of the work at the end of the work can be generated, it is possible to generate a more flexible AR content.
  • the values of the ammeters 103 and 104 are not within the ratings, it is possible to specify a special case handling method for a specific operation target specified in advance.
  • differences from the first embodiment will be described.
  • FIG. 20 is an explanatory diagram of a data structure example of the work content Ci-mi according to the fifth embodiment.
  • the work content Ci-mi includes a work instruction description 801, a work CG type 802, a work CG state 803, an operation target state 804, a work content 805, and a jump destination address 2000 when the condition is not satisfied.
  • the jump destination address 2000 is an address that jumps when the work content 805 includes a success / failure determination and the determination is not, for example, another work content Ci-k (k ⁇ mi) of the same content Ci. Address.
  • the work content Ci-mi is work content related to “reading of an ammeter”
  • the address is “0”, it indicates that no jump is made even when the determination is not made.
  • FIG. 21 is a block diagram of a hardware configuration example of the management apparatus 200 according to the fifth embodiment.
  • an end condition input program 2101 is added to the storage device 205 of the first embodiment.
  • the end condition input program 2101 receives an input from the input device 202 as to whether or not the end is normal when each work is completed.
  • the AR content of the fifth embodiment includes work content Ci-mi shown in FIG.
  • FIG. 22 is a flowchart of a detailed process procedure example of the AR content generation process (step S1102) depicted in FIG. 11 according to the fifth embodiment.
  • the management apparatus 200 inputs work success / failure determination by the end condition input program 2101 after work area estimation (step S1207) (step S2201). In accordance with this success / failure, the management apparatus 200 changes the AR content addition process.
  • the management apparatus 200 adds content as before (step S1208). If the termination condition is non-existing, the next process should be added to another address (for example, an address that specifies working content on how to handle special cases when the ammeter is not rated) And another address is set as the jump destination address when the condition is not met.
  • the embodiment of the present invention it is possible to display the departure time together with an analog clock so that it can be easily seen. Also, different screen sizes can be displayed appropriately with the same program. Furthermore, the operation information and the departure information can be displayed easily and simultaneously.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　プロセッサは、３次元カメラの位置を、３次元カメラによって撮影された作業空間の動画像と作業空間の３次元モデルとに基づいて特定し、作業対象に対する作業者の姿勢を作業空間の動画像から検出し、作業者の姿勢により、作業対象が有する操作対象に対して作業者が行った動作を作業空間の動画像から検出し、検出された動作が特定の動作である場合、３次元カメラの位置に基づいて、検出された動作が行われた作業領域を検出し、操作対象を検出された動作により操作させ、かつ、検出された作業領域に基づいて作業空間の動画像上に表示可能な作業指示に関するコンテンツを生成する。

Description

コンテンツ生成方法および管理装置
　本発明は、コンテンツを作成するコンテンツ生成方法および管理装置に関する。
　拡張現実感（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：ＡＲ）技術とは、現実環境を撮影した画像に、現実環境に対応する画像や文字などの情報（当該情報を「ＡＲコンテンツ」と称す。）を付加する技術である。ユーザは、現実環境の画像とＡＲコンテンツとが合成された画像を見ることにより、あたかもＡＲコンテンツが実際に存在しているかのような感覚を得ることができる。
　ＡＲ技術は、ヘッドマウントディスプレイ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ、「ＨＭＤ」と略す場合がある）に適用可能である。ＨＭＤを用いたＡＲ技術により、現実の物体上に映像を提示して作業指示を行うことが可能である。ＡＲ技術については、製造現場での利用方法が提案されている（特許文献１）。ＡＲ技術において重要な課題の１つは、ＡＲコンテンツの制作である。ＡＲ技術を用いる場合、３次元の作業空間に対して、作業者にわかりやすい作業指示を提示する必要がある。特に作業内容と作業位置とをＡＲコンテンツに対応付ける必要があり、このようなＡＲコンテンツを手作業で制作するためには多大な工数が必要となる。
　コンテンツの制作に関連する技術として、熟練者が実際に作業を行い、熟練者の視野を表す視野カメラの映像と視線計測とを用いることで、熟練者の技能の継承を支援するコンテンツ制作方法が提案されている。この技術は、熟練者の視野映像を表す視野カメラの映像に対して、視線計測装置から熟練者の視線の位置を表示する。また、この技術は、オーサリングにより、熟練者のコメントなどを画面上に表示する。
特開２００８－２０１１０１号公報
　特許文献１の技術では、ＨＭＤから見えるＡＲコンテンツにより、作業者にわかりやすい作業指示を与える。しかしながら、ＡＲコンテンツの作成方法については開示されておらず、ＡＲコンテンツを手作業で作成しなければならない。ＡＲコンテンツは、作業者にわかりやすい作業指示用のＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ，コンピュータグラフィクス）データであるため、コンテンツのオーサリングに多大な工数が必要となる。
　本発明は、上記のような課題に鑑みてなされたものであり、ＡＲコンテンツを効率的に作成することを目的とする。
　本願において開示される発明の一側面となる管理装置によるコンテンツ生成方法は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶装置と、を有し、作業対象が存在する作業空間内の３次元カメラと通信可能な管理装置によるコンテンツ生成方法であって、前記プロセッサは、前記３次元カメラの位置を、前記３次元カメラによって撮影された前記作業空間の動画像と前記作業空間の３次元モデルとに基づいて特定する位置特定処理と、前記作業対象に対する作業者の姿勢を前記作業空間の動画像から検出する姿勢検出処理と、前記姿勢検出処理によって検出された前記作業者の姿勢により、前記作業対象が有する操作対象に対して前記作業者が行った動作を前記作業空間の動画像から検出する動作検出処理と、前記動作検出処理によって検出された動作が特定の動作である場合、前記位置特定処理によって特定された前記３次元カメラの位置に基づいて、前記検出された動作が行われた作業領域を検出する領域検出処理と、前記操作対象を前記検出された動作により操作させ、かつ、前記領域検出処理によって検出された作業領域に基づいて前記作業空間の動画像上に表示可能な作業指示に関するコンテンツを生成する生成処理と、を実行することを特徴とする。
　本発明の代表的な実施の形態によれば、コンテンツを効率的に生成することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
ＡＲ画面の表示例１を示す説明図である。 実施例１にかかる管理装置のハードウェア構成例を示すブロック図である。 作業手順書の内容の一例を示す説明図である。 ＡＲ画面の表示例２を示す説明図である。 ＡＲ画面の表示例３を示す説明図である。 ＡＲ画面の表示例４を示す説明図である。 ＡＲコンテンツのデータ構造例を示す説明図である。 図７に示した作業コンテンツのデータ構造例を示す説明図である。 実作業からのＡＲコンテンツ生成例１を示す説明図である。 実作業からのＡＲコンテンツ生成例２を示す説明図である。 ＡＲコンテンツの作成から実行までの全体の処理手順例を示すフローチャートである。 図１１に示したＡＲコンテンツ生成処理（ステップＳ１１０２）の詳細な処理手順例を示すフローチャートである。 図１１に示したＡＲコンテンツ実行処理（ステップＳ１１０４）の詳細な処理手順例を示すフローチャートである。 実施例２にかかる管理装置のハードウェア構成例を示すブロック図である。 実施例２にかかる、図１１に示したＡＲコンテンツ生成処理（ステップＳ１１０２）の詳細な処理手順例を示すフローチャートである。 実施例３にかかる管理装置のハードウェア構成例を示すブロック図である。 実施例３にかかる、図１１に示したＡＲコンテンツ生成処理（ステップＳ１１０２）の詳細な処理手順例を示すフローチャートである。 実施例４にかかる管理装置のハードウェア構成例を示すブロック図である。 実施例４にかかる、図１１に示したＡＲコンテンツ生成処理（ステップＳ１１０２）の詳細な処理手順例を示すフローチャートである。 実施例５にかかる作業コンテンツのデータ構造例を示す説明図である。 実施例５にかかる管理装置のハードウェア構成例を示すブロック図である。 実施例５にかかる、図１１に示したＡＲコンテンツ生成処理（ステップＳ１１０２）の詳細な処理手順例を示すフローチャートである。
　ＡＲ技術は、教育、娯楽、広告、ナビゲーション、医療などに利用されるが、その一つに設備プラントの保守や建築の支援がある。近年、海外で設備プラントの保守や建設の計画が進む一方、熟練者不足のため、経験の浅いユーザの割合が増加すると予測されている。そこで、本実施例では、ＡＲ技術を用いて作業者を支援する技術を例に挙げて説明する。ＡＲ技術をプラントの保守や建設現場に適用することにより、機器の状態や内部構造を可視化し、状態把握を補助することができる。これにより、効率的に作業を支援することができる。
　以下に示す実施例では、ＡＲコンテンツを生成する例について説明する。これにより、上述したように、ＡＲ技術の作業支援への導入の容易化を図ることができ、効率的に作業を支援することができる。
　なお、以下では「プログラム」を主語（動作主体）として実施例における各処理について説明を行う場合があるが、プログラムはプロセッサによって実行されることで定められた処理をメモリ及び通信ポートを用いながら行うため、プロセッサを主語とした説明としてもよい。また、プログラムを主語として開示された処理は計算機が行う処理としてもよい。プログラムの一部または全ては専用ハードウェアで実現してもよく、また、モジュール化されていても良い。各種プログラムはプログラム配布サーバや記憶メディアによって各計算機にインストールされてもよい。
　＜ＡＲ画面の表示例１＞
　図１は、ＡＲ画面の表示例１を示す説明図である。作業者Ｗは、作業空間１００内の作業対象の一例である制御盤１０１の点検作業をおこなう。作業者Ｗは、ＨＭＤ１１０を装着し、制御盤１０１を見ている。制御盤１０１は、たとえば、レバー１０２、電流計１０３，１０４、スイッチ１０５，１０６、ランプ１０７～１０９を有する。点検作業では、作業者Ｗは、レバー１０２の開閉操作を行う。
　また、作業者Ｗは、必要に応じて電流計１０３，１０４の電流の値を読み取る。電流計１０３，１０４には定格値が指定されており、読み取った電流の値が定格値内に入っているかを判断する場合がある。また、作業者Ｗは必要に応じてスイッチ１０５，１０６をオンまたはオフに設定する。また、作業者Ｗは、ランプ１０７～１０９を見て制御盤１０１の状態を把握する。たとえば、ランプ１０７～１０９の各々について、ランプ１０７～１０９が点灯している場合にエラーを意味し、ランプ１０７～１０９が消灯している場合に正常であるとする。
　ＨＭＤ１１０は、実際の情景の上にＡＲ技術によるＣＧデータや文字列であるＡＲコンテンツを重畳表示する。ＨＭＤ１１０は、３次元カメラ１１１を搭載しており、３次元映像を取得する。また、３次元カメラ１１１は、作業者Ｗの視点位置を推定するために用いられる。シースルー型のＨＭＤ１１０の場合、当該ＨＭＤ１１０は、現実の情景にＡＲコンテンツを重畳表示する。ビデオシースルー型のＨＭＤ１１０の場合、当該ＨＭＤ１１０は、３次元カメラ１１１によって得られた実際の情景の３次元映像にＡＲコンテンツを重畳表示する。ＨＭＤ１１０によりＡＲコンテンツが重畳表示される画面を、ＡＲ画面１１２と称す。ＡＲ画面１１２は、ＨＭＤ１１０を装着している作業者Ｗにより視認される。
　図１に示す作業は、たとえば、レバー１０２を開放操作する作業である。ＨＭＤ１１０により提示されるＡＲ画面１１２は、レバー１０２を中心にして、メッセージ１１３や直方体データ１１４、矢印データ１１５などのＡＲコンテンツが重畳された画面である。メッセージ１１３は、作業者Ｗが行うべき内容を示すテキストデータである。直方体データ１１４は、操作対象（図１の場合は、レバー１０２）の位置を示すＣＧデータである。直方体データ１１４は、操作対象であるレバー１０２を包含または操作対象であるレバー１０２に近接する。矢印データ１１５は、作業動作を示すＣＧデータであり、本例では、レバー１０２の開放方向を表現する。作業者Ｗは、これらＡＲコンテンツにしたがって操作をおこなう。
　＜管理装置のハードウェア構成例＞
　図２は、実施例１にかかる管理装置のハードウェア構成例を示すブロック図である。管理装置２００は、ＡＲコンテンツの作成と、作成されたＡＲコンテンツを用いた作業支援と、を実行するコンピュータである。管理装置２００は、プロセッサ２０１と、入力装置２０２と、出力装置２０３と、通信インタフェース２０４と、記憶装置２０５と、を有し、これらをバス２０６を介して接続する。
　プロセッサ２０１は、記憶装置２０５に記憶されている各種プログラム２１１～２１８を実行する。入力装置２０２は、ＡＲコンテンツの作成に必要な情報を入力する入力装置であり、たとえば、作業結果の入力などの操作を行うためのキーボードやマウス、タッチパネル、音声入力を行うマイク、３次元カメラ１１１とは別の３次元カメラが含まれる。
　出力装置２０３は、データを出力する装置であり、たとえば、ＡＲコンテンツを表示するモニタや音声を出力するスピーカが含まれる。出力装置２０３は、ＡＲコンテンツの編集においても使用される。
　通信インタフェース２０４は、ＨＭＤ１１０に搭載されている３次元カメラ１１１からの３次元画像を無線または有線により受信する。また、通信インタフェース２０４は、ＨＭＤ１１０にＡＲコンテンツを無線または有線により送信する。そのほか、通信インタフェース２０４は、ネットワークを介して他の装置（不図示）とデータの送受信をおこなう。
　記憶装置２０５は、各種プログラム２１１～２１８を格納し、プログラム２１１～２１８による処理の途中経過に関する情報を格納する。具体的には、たとえば、記憶装置２０５は、３次元モデル取得プログラム２１１、カメラ位置姿勢推定プログラム２１２、姿勢抽出プログラム２１３、作業動作推定プログラム２１４、作業領域推定プログラム２１５、コンテンツ生成プログラム２１６、コンテンツ編集プログラム２１７、コンテンツ実行プログラム２１７を格納する。
　３次元モデル取得プログラム２１１は、作業空間１００の３次元モデルをプロセッサ２０１に取得させるためのプログラムである。取得された３次元モデルは、３次元モデルＤＢ２３１に格納される。また、３次元モデルには、作業対象である制御盤１０１の３次元モデルが含まれる。
　カメラ位置姿勢推定プログラム２１２は、作業中の作業者Ｗが装着しているＨＭＤ１１０に搭載されている３次元カメラ１１１の位置および姿勢を、プロセッサ２０１に推定させるためのプログラムである。当該プログラム２１２によるカメラ位置姿勢推定は、拡張現実感におけるカメラトラッキング処理に相当する。
　カメラ位置姿勢推定プログラム２１２による３次元カメラ１１１の位置姿勢推定は、たとえば、入力された３次元画像とあらかじめ用意した３次元モデルとの位置合わせを行う公知の技術を用いることで実現できる。ここで、３次元カメラ１１１の位置および姿勢は、作業空間１００の３次元モデルを基準とした世界座標系で表現される。カメラ位置姿勢推定により、作業者ＷのＨＭＤ１１０に搭載されている３次元カメラ１１１の位置および姿勢が推定され、推定された位置および姿勢に応じて、仮想のＣＧ映像であるＡＲコンテンツが、ＨＭＤ１１０や出力装置２０３に重畳表示される。これにより、ＡＲ技術による重畳表示が実現される。
　姿勢抽出プログラム２１３は、作業中の作業者Ｗに対して、ＨＭＤ１１０の３次元カメラ１１１によって得られた３次元画像から作業者Ｗの姿勢をプロセッサ２０１に抽出させるためのプログラムである。３次元カメラ１１１は、ＨＭＤ１１０に搭載されているため、３次元カメラ１１１によって取得される３次元画像として、たとえば、作業者Ｗの手の姿勢を示す３次元画像が取得される。
　姿勢抽出プログラム２１３は、作業者Ｗの手の姿勢を示す３次元画像の時系列データを姿勢辞書２３３にマッチングすることで、３次元カメラ１１１によって取得された３次元画像の時系列データから、手の姿勢を示す３次元画像を抽出する。実際に３次元画像が入力された場合、姿勢抽出プログラム２１３は、入力３次元画像と姿勢辞書２３３の３次元画像とのマッチングを行い、類似する（距離が十分に近い）３次元画像が姿勢辞書２３３内で検出された場合には、該当の姿勢であると判定する。
　より具体的には、たとえば、３次元画像の画像特徴量は一般に数値ベクトルとして表される。この数値ベクトルの各要素には、たとえば、画像の色を数値化した値や画像の勾配の強度、方向の値、またはそれらの値を頻度分布とした値がある。たとえば、ベクトル間のユークリッド距離やマハラノビス距離、Ｂｈａｔｔａｃｈａｒｙｙａ距離が、類似性を評価する指標として用いられる。したがって、距離が小さいほど画像同士が類似していると判断することができる。
　作業動作推定プログラム２１４は、姿勢抽出プログラム２１３によって抽出された姿勢を示すデータを用いて、作業者Ｗの作業動作をプロセッサ２０１に推定させるためのプログラムである。具体的には、たとえば、作業動作推定プログラム２１４は、あらかじめ抽出したい作業動作の３次元画像と作業動作（の名称）とを関連付けたデータベースを有しており、姿勢抽出プログラム２１３によって抽出された姿勢を示す３次元画像と当該データベース内の作業動作の３次元画像とを照合することで、作業動作を推定する。ここで、作業動作とは、たとえば、「レバーの開放操作」、「レバーの閉鎖操作」、「計器の読み取り」、「スイッチの確認」、「ランプの確認」、「部品の取り付け」、「部品の取り外し」などである。
　作業領域推定プログラム２１５は、作業動作推定プログラム２１４によって推定された作業動作が行われた作業領域を、プロセッサ２０１に推定させるプログラムである。作業領域推定プログラム２１５は、作業動作推定プログラム２１４によって推定された作業動作を検知した間の手先の位置を記憶する。この手先の位置は、ＨＭＤ１１０の３次元カメラ１１１を基準としたカメラ座標系で表現される。作業領域推定プログラム２１５は、このカメラ座標系を３次元モデルを基準とした世界座標系に変換する。この座標変換には、カメラ位置姿勢推定プログラム２１２によって推定された３次元カメラ１１１の位置および姿勢のデータが用いられる。
　すなわち、作業領域推定プログラム２１５は、３次元カメラ１１１のカメラ座標系で表現された座標を、３次元カメラ１１１の位置および姿勢のデータを用いて世界座標系に座標変換する。以上により、作業動作を行っていた時の手先の位置および動きを３次元モデルの世界座標系で表現することができる。推定された作業領域は、作業動作を行っていた時間の手先の位置の軌跡のｂｏｕｎｄｉｎｇ　ｂｏｘ（閉包箱）として定義される。
　コンテンツ生成プログラム２１６は、作業動作推定プログラム２１４によって推定された作業動作と、作業領域推定プログラム２１５によって推定された作業領域と、に対応するＡＲコンテンツを、プロセッサ２０１に生成させるプログラムである。生成されたＡＲコンテンツは、ＡＲコンテンツＤＢ２３２に格納される。
　また、コンテンツ生成プログラム２１６は、作業動作から、実際に作業者Ｗが実行する行為を示す作業内容を推定する機能を有する。たとえば、コンテンツ生成プログラム２１６は、作業動作に「操作」という単語がある場合、作業内容を「操作終了」に決定する。たとえば、作業動作が「レバーの開放操作」である場合、作業内容は「操作終了」に設定される。
　また、コンテンツ生成プログラム２１６は、作業動作に「読み取り」や「確認」という単語がある場合、作業内容を「数値入力」に決定する。たとえば、作業動作が「電流計の読み取り」である場合、作業内容は「数値入力」に設定される。すなわち、電流値を入力することを意味する。また、作業動作が「スイッチの確認」である場合、作業内容は「数値入力」に設定される。すなわち、スイッチの状態（ＯＮまたはＯＦＦ）である真偽の値を入力することを意味する。
　コンテンツ編集プログラム２１７は、入力装置２０２からのユーザ操作の入力により、コンテンツ生成プログラム２１６によって生成されたＡＲコンテンツを、プロセッサ２０１に編集させる対話的なプログラムである。
　コンテンツ実行プログラム２１８は、ＡＲコンテンツの出力装置２０３への表示や、通信インタフェース２０４を介してのＨＭＤ１１０への出力を、プロセッサ２０１に実行させるためのプログラムである。
　また、記憶装置２０５は、各種データベースとしても機能する。３次元モデルＤＢ２３１には、３次元モデル取得プログラム２１１によって取得された３次元モデルが格納される。ＡＲコンテンツＤＢ２３２には、コンテンツ生成プログラム２１６によって生成されたＡＲコンテンツが格納される。
　姿勢辞書２３３には、作業者Ｗの姿勢を示す３次元画像と、作業動作と、作業ＣＧ種類とが関連付けられて格納されている。作業ＣＧ種類は、ＡＲ画面１１２に表示するＣＧデータの種類を特定する情報である。姿勢辞書２３３には、作業者Ｗがとりうるすべての姿勢についての３次元画像が格納されている。たとえば、姿勢辞書２３３では、「レバーの操作」を示す３次元画像と、作業動作「レバーの操作」と、作業ＣＧ種類として「レバーの操作」方向を示す「矢印」とが対応付けられている。
　＜作業手順書の内容の例＞
　図３は、作業手順書の内容の一例を示す説明図である。作業手順書３０１には、タイトル３０２が記載されており、どの種類の作業手順書３０１であるかが特定される。通常、作業手順書３０１は、複数の細かい作業の列により構成されており、各作業の概要や種類等を表す見出し３０３、３０５、３１３が記載される。また、作業内容３０４は、見出し３０３に対応する作業内容であり、作業内容３０６～３１２は、見出し３０５に対応する作業内容であり、作業内容３１４は、見出し３１３に対応する作業内容である。
　作業手順書３０１による作業手順は、以下の通りである。○○点検手順（３０２）では、まず、点検の準備（３０３）として、作業者Ｗはレバー１０２を開ける（３０４）。つぎに、作業者Ｗは見出し３０５である「点検」を実行する。まず、作業者Ｗは電流計１０３を読み取って電流の値を記録し、電流の値が定格内にあることを確認する（３０６）。つぎに、作業者Ｗは電流計１０４を読み取って電流の値を記録し、電流の値が定格内にあることを確認する（３０７）。
　つぎに、作業者Ｗはスイッチ１０５がオンであることを確認する（３０８）。さらに、作業者Ｗはスイッチ１０６がオンであることを確認する（３０９）。つぎに、作業者Ｗはランプ１０７が消灯であることを確認する（３１０）。さらに、作業者Ｗはランプ２０８、ランプ２０９が消灯であることを確認する（３１１，３１２）。つぎに、作業者Ｗは見出し３１３である「点検終了」処理を行う。すなわち、レバー１０２を閉じる（３１４）。この作業手順書３０１に示された作業手順は、ＡＲ技術を用いて支援される。
＜ＡＲ画面１１２の表示例２～４＞
　つぎに、ＡＲ画面１１２の表示例２～４について説明する。ＡＲ画面１１２の表示例２は、図１に示したＡＲ画面１１２の表示例１におけるＡＲ画面１１２のつぎに表示されるＡＲ画面１１２を示し、ＡＲ画面１１２の表示例３は、ＡＲ画面１１２の表示例２におけるＡＲ画面１１２のつぎに表示されるＡＲ画面１１２を示し、ＡＲ画面１１２の表示例４は、ＡＲ画面１１２の表示例３におけるＡＲ画面１１２のつぎに表示されるＡＲ画面１１２を示す。
　図４は、ＡＲ画面１１２の表示例２を示す説明図である。図４は、作業手順書３０１の作業内容３０６の「電流計１０３を読み取って電流の値を記録し、電流の値が定格内にあることを確認する」に対応するＡＲ画面１１２の表示例である。メッセージ１１３の内容も、作業手順書３０１の作業内容３０６に対応する。図４に示す作業では、作業者Ｗは電流の値を記録する必要があるため、「操作終了」の合図だけでは不十分であり、作業者Ｗは、電流の値を入力装置２０２を操作して入力する必要がある。管理装置２００は、入力された電流の値と定格値とを比較することになる。
　図５は、ＡＲ画面１１２の表示例３を示す説明図である。図５は、作業手順書３０１の作業内容３０８の「スイッチ１０５がオンであることを確認する」に対応するＡＲ画面１１２の表示例である。メッセージ１１３の内容も、作業手順書３０１の作業内容３０８に対応する。図５に示す作業では、作業者Ｗは確認結果を入力装置２０２に入力することとなる。この場合の入力の値は、スイッチ１０５の状態（オンまたはオフを示す値）である真偽の値である。
　図６は、ＡＲ画面１１２の表示例４を示す説明図である。図６は、作業手順書３０１の作業内容３１０の「ランプ１０７が消灯であることを確認する」に対応するＡＲ画面１１２の表示例である。メッセージ１１３の内容も、作業手順書３０１の作業内容３１０に対応する。図６に示す作業では、作業者Ｗは確認結果を入力装置２０２に入力することとなる。この場合の入力の値は、ランプ１０７の状態（点灯または消灯を示す値）である真偽の値である。
　＜ＡＲコンテンツ＞
　つぎに、ＡＲコンテンツについて説明する。ＡＲコンテンツでは、（１）ＡＲ画面１１２上に表示する文字列、（２）操作対象の位置を示す直方体などの３次元図形のＣＧデータ、（３）操作内容を表す矢印などのＣＧデータ、（４）作業者Ｗに要求するアクションである作業内容の四つが定義可能である。
　＜ＡＲコンテンツのデータ構造例＞
　図７は、ＡＲコンテンツのデータ構造例を示す説明図である。ＡＲコンテンツ７００は、作業タイトル７０１と、作業数７０２と、作業数分の作業見出し７０３と、作業数分のコンテンツ７０４と、を有する。
　作業タイトル７０１は、作業を示すタイトル名である。たとえば、図３の作業手順書３０１の場合、「○○点検手順」という文字列が作業タイトルとして格納される。
　作業数７０２は、作業者Ｗが行う作業の数であり、作業見出しの数に一致する。図３の作業手順書３０１の場合、作業見出しの数は「３」であるため、作業数７０２はｎ＝３である。ｎは１以上の整数である。
　作業見出し７０３は、各作業のインデックスとなる作業名である。作業見出し７０３は、作業数７０２であるｎ個分存在する。たとえば、図３の作業手順書３０１の場合、作業見出しＨ１には「点検準備」、作業見出しＨ２には「点検」、作業見出しＨ３には「点検終了処理」という文字列が作業見出しとして格納される。
　コンテンツ７０４には、作業コンテンツ数７０５と作業コンテンツ数分の作業コンテンツ７０６が格納される。作業コンテンツ数７０５は、作業コンテンツ７０６の数である。作業コンテンツ７０６は、作業コンテンツ数７０５分存在する。たとえば、コンテンツＣｉは、Ｍｉ個の作業コンテンツＣｉ－１、…、Ｃｉ－ｍｉ、…、Ｃｉ－Ｍｉの集合である。コンテンツＣｉの作業コンテンツ数Ｍｉは、１≦ｍｉ≦Ｍｎの整数である。ｉは１≦ｉ≦ｎの整数である。
　たとえば、図３の作業手順書３０１において、作業見出しＨ１のコンテンツＣ１の作業コンテンツ数Ｍ１は、「レバー１０２を開ける」の１個である。また、作業見出しＨ２のコンテンツＣ２の作業コンテンツ数Ｍ２は、符号３０６～３１２の７個である。また、作業見出しＨ３のコンテンツＣ３の作業コンテンツ数Ｍ３は、「レバー１０２を閉じる」の１個である。
　また、作業コンテンツ７０６とは、作業見出し７０３により特定される作業の内容を示す。作業コンテンツ７０６の集合がコンテンツ７０４となる。たとえば、図３の作業手順書３０１において、作業見出しＨ１のコンテンツＣ１の作業コンテンツＣ１－１は、「レバー１０２を開ける」である。また、作業見出しＨ２のコンテンツＣ２の作業コンテンツＣ２－１～Ｃ２－７は、符号３０６～３１２で示した作業コンテンツである。また、作業見出しＨ３のコンテンツＣ３の作業コンテンツＣ３－１は、「レバー１０２を閉じる」である。
　図８は、図７に示した作業コンテンツＣｉ－ｍｉのデータ構造例を示す説明図である。作業コンテンツＣｉ－ｍｉは、作業指示説明８０１、作業ＣＧ種類８０２、作業ＣＧ状態８０３、操作対象状態８０４、作業内容８０５を含む。作業指示説明８０１とは、作業を指示する説明文であり、たとえば、図１の例では、「レバー開放、レバー１０２を矢印の向きに操作する」という文に対応する。作業指示説明８０１は、コンテンツ編集プログラム２１７により、入力装置２０２から追加または編集される。
　作業ＣＧ種類８０２とは、ＡＲ画面１１２に表示するＣＧデータの種類を特定する情報である。たとえば、図１において、レバー１０２の操作方向を示す矢印データ１１５の場合、作業ＣＧ種類は「矢印」となる。また、図４～図６の例では、作業ＣＧ種類８０２は「直方体」となる。すなわち、作業動作推定プログラム２１４の３次元画像の時系列データの解析により、レバー１０２のようにそれ自体動く（位置が変化する）操作対象については、作業ＣＧ種類８０２は「矢印」に設定され、電流計１０３やスイッチ、ランプのようにそれ自体動かない（位置が変化しない）操作対象については、作業ＣＧ種類８０２は、操作対象を包含または操作対象に近接する「直方体」に設定される。
　作業ＣＧ状態８０３とは、作業ＣＧ種類８０２で種類が特定されたＣＧデータの３次元モデル上での位置、方向および大きさを示す情報である。「矢印」の場合、たとえば、操作対象であるレバー１０２の近傍に配置され、作業動作推定プログラム２１４の３次元画像の時系列データの解析により、操作方向を示す形状を示す矢印のＣＧデータとなる。大きさについては、操作対象であるレバー１０２に応じた大きさとしてもよい。なお、作業ＣＧ種類８０２が「直方体」の場合は、操作対象状態８０４と同一となるため、作業ＣＧ状態８０３は省略される。
　操作対象状態８０４とは、レバー１０２や電流計１０３などの操作対象の３次元モデル上での位置、方向および大きさを示す情報である。操作対象の位置を直方体データ１１４で表現する場合、操作対象状態８０４には、直方体データ１１４の位置、方向および大きさが指定される。操作対象の位置をたとえば球データで表現する場合には、球データの位置および半径が指定される。操作対象状態８０４は、作業領域推定プログラム２１５による作業領域の推定結果である。
　作業内容８０５とは、実際に作業者Ｗが実行する行為を示す情報である。たとえば、図１の例では、レバー１０２の開放操作による作業終了の合図（たとえば、入力装置２０２からの操作終了の入力）、図４の例では、入力装置２０２からの電流値の入力、図５および図６の例では、真偽の値の入力である。
　＜実作業からのＡＲコンテンツ生成例＞
　図９は、実作業からのＡＲコンテンツ生成例１を示す説明図である。図９は、レバー１０２を開放する動作の例である。この例では、作業者Ｗの手ｈはレバー１０２を掴み、矢印方向にレバー１０２を操作する。
　作業者Ｗがこのような作業を行った場合には、管理装置２００は、姿勢抽出プログラム２１３により、作業者Ｗの姿勢である手ｈの挙動を、ＨＭＤ１１０の３次元カメラ１１１によって得られた３次元画像の時系列データから抽出する。また、管理装置２００は、作業動作推定プログラム２１４によって、作業者Ｗの姿勢である手ｈの挙動から作業動作「レバーの開放操作」を推定する。
　作業動作「レバーの開放操作」が推定されたため、管理装置２００は、作業領域推定プログラム２１５によって、手先の軌跡のｂｏｕｎｄｉｎｇ　ｂｏｘを用いて作業領域である３次元モデル上での手ｈの位置を推定する。つぎに、管理装置２００は、コンテンツ生成プログラム２１６のＡＲコンテンツ追加処理によって、ＡＲコンテンツ７００に作業コンテンツＣｉ－ｍｉを追加する。ここで、追加される作業コンテンツＣｉ－ｍｉの作業ＣＧ種類８０２は、姿勢辞書２３３において、作業動作推定結果である作業動作「レバーの開放操作」に対応する「矢印」となる。
　また、作業ＣＧ状態８０３は、作業動作推定プログラム２１４による作業動作の推定結果から得られる。操作対象状態８０４は、作業領域推定プログラム２１５による作業領域の推定結果から得られる。また、管理装置２００は、上述したように、コンテンツ生成プログラム２１６により、作業動作推定プログラム２１４によって推定された作業動作から作業内容８０５である「操作終了」を推定する。
　図１０は、実作業からのＡＲコンテンツ生成例２を示す説明図である。図１０は、電流計１０３を読み取る動作の例である。この例では、作業者Ｗの手ｈは電流計１０３を指している。さらに、その後、作業者Ｗは、入力装置２０２によって数値を管理装置２００に入力する。作業者Ｗがこのような作業を行った場合には、管理装置２００は、姿勢抽出プログラム２１３により、作業者Ｗの姿勢である手ｈの挙動を、ＨＭＤ１１０の３次元カメラ１１１によって得られた３次元画像の時系列データから抽出する。また、管理装置２００は、作業動作推定プログラム２１４によって、作業者Ｗの姿勢である手ｈの挙動から作業動作「計器の読み取り」を推定する。
　作業動作「計器の読み取り」が推定されたため、管理装置２００は、作業領域推定プログラム２１５によって、手先の軌跡のｂｏｕｎｄｉｎｇ　ｂｏｘを用いて作業領域である３次元モデル上での手ｈの位置を推定する。つぎに、管理装置２００は、コンテンツ生成プログラム２１６のＡＲコンテンツ追加処理によって、ＡＲコンテンツ７００に作業コンテンツＣｉ－ｍｉを追加する。姿勢辞書２３３では、作業動作である「計器の読み取り」と作業ＣＧ種類８０２である「直方体」とが対応付けられている。したがって、ここで、追加される作業コンテンツＣｉ－ｍｉの作業ＣＧ種類８０２は、「直方体」となる。
　また、作業ＣＧ状態８０３は、作業動作推定プログラム２１４による作業動作の推定結果から得られる。操作対象状態８０４は、作業領域推定プログラム２１５により推定された作業領域の推定結果から得られる。また、管理装置２００は、上述したように、コンテンツ生成プログラム２１６により、作業動作推定プログラム２１４によって推定された作業動作から作業内容８０５である「数値入力」を推定する。
　上記のように、作業者Ｗの作業内容８０５の推定からＡＲコンテンツ７００を生成することが可能である。前述のように、作業内容８０５の詳細などは、作業から推定することが困難な場合もあるため、ＡＲコンテンツ７００の作成後に、必要ならば、管理装置２００は、コンテンツ編集プログラム２１７によってＡＲコンテンツ７００の修正が可能である。
　＜全体の流れ＞
　図１１は、ＡＲコンテンツの作成から実行までの全体の処理手順例を示すフローチャートである。まず、管理装置２００は、３次元モデル取得プログラム２１１によって、制御盤１０１などの作業対象の３次元モデルを取得し、３次元モデルＤＢ２３１に保存する（ステップＳ１１０１）。つぎに、作業者Ｗが作業対象に対して作業を行い、その作業を用いて管理装置２００がＡＲコンテンツ生成処理を実行する（ステップＳ１１０２）。ＡＲコンテンツ生成処理（ステップＳ１１０２）の詳細については後述する。
　つぎに、管理装置２００は、ＡＲコンテンツ編集プログラム２１７により、ＡＲコンテンツ生成処理（ステップＳ１１０２）によって生成されたＡＲコンテンツ７００を編集する。この処理では、管理装置２００は、ユーザ操作により、ＡＲコンテンツ７００にあらたに作業コンテンツを追加したり、作業コンテンツの作業指示説明８０１、作業ＣＧ状態８０３、操作対象状態８０４、作業内容８０５を修正する。たとえば、テキストエディタにより編集したり、３ＤＣＧオーサリングプログラムと同様、対話的に編集することが可能である。最後に、管理装置２００は、コンテンツ実行プログラム２１７により、ＡＲコンテンツ７００を用いた処理を実行する（ステップＳ１１０４）。この処理により、ＡＲ技術を用いた作業支援を実現する。
　＜ＡＲコンテンツ生成処理（ステップＳ１１０２）＞
　図１２は、図１１に示したＡＲコンテンツ生成処理（ステップＳ１１０２）の詳細な処理手順例を示すフローチャートである。まず、作業者Ｗが作業を開始する（ステップＳ１２０１）。つぎに、作業者Ｗが、作業者Ｗが装着したＨＭＤ１１０の３次元カメラ１１１を用いて、当該３次元カメラ１１１に映し出される３次元空間を撮影することにより、管理装置２００は、３次元画像として入力する（ステップＳ１２０２）。
　つぎに、管理装置２００は、カメラ位置姿勢推定プログラム２１２によって，ＨＭＤ１１０の３次元カメラ１１１の位置および姿勢をリアルタイムで推定する（ステップＳ１２０３）。この３次元画像を用いたカメラの位置姿勢推定は、たとえば、入力された３次元画像とあらかじめ用意した３次元モデルとの位置合わせを行う公知の技術を用いることで実現できる。ここで、３次元カメラ１１１の位置および姿勢は、３次元モデルを基準とした世界座標系で表現される。
　つぎに、管理装置２００は、姿勢抽出プログラム２１３によって、入力された３次元画像を用いて作業者Ｗの姿勢を推定する（ステップＳ１２０４）。そして、管理装置２００は、作業動作推定プログラム２１４によって、作業者Ｗの姿勢から作業動作を推定する（ステップＳ１２０５）。
　つぎに、管理装置２００は、登録されている作業動作を検知したかどうかを判定する（ステップＳ１２０６）。すなわち、作業動作推定プログラム２１４が、推定された作業動作が作業動作推定プログラム２１４のデータベースに存在するか否かを判断する。作業動作が検知されない場合には（ステップＳ１２０６：Ｎｏ）、ステップＳ１２０２に戻る。一方、作業動作が検知された場合には（ステップＳ１２０６：Ｙｅｓ）、管理装置２００は、作業領域推定プログラム２１５によって、検知された作業動作がおこなわれている作業領域を推定する（ステップＳ１２０７）。作業領域の推定は、たとえば、作業動作の推定元となった作業者Ｗの姿勢が示す位置から決定される。
　つぎに、管理装置２００は、コンテンツ生成プログラム２１６のＡＲコンテンツ追加処理によって、ＡＲコンテンツ７００を追加する。ここで、追加されるＡＲコンテンツの作業ＣＧ種類８０２は、ステップＳ１２０６において検出された作業動作の種類から設定される。たとえば，作業動作が「レバーの開放操作」の場合には、操作対象が可動するレバーであるため、作業ＣＧ種類８０２は「矢印」である。
　また、作業ＣＧ状態８０３は、作業ＣＧ種類８０２で特定されるＣＧデータの位置、方向、および大きさである。したがって、この場合の作業ＣＧ状態８０３は、作業領域の推定結果と制御盤１０１の３次元モデルから得られるレバー１０２の操作の始点、終点、および方向に該当する矢印データ１１５となる。操作対象状態８０４は、作業領域の推定結果と制御盤１０１の３次元モデルから得られるレバー１０２を包含する直方体データ１１４の位置、方向、および大きさである。なお、作業ＣＧ種類８０２、作業ＣＧ状態８０３、および操作対象状態８０４については、実作業によるＡＲコンテンツ生成処理（ステップＳ１１０２）の後で、ＡＲコンテンツ編集処理（ステップＳ１１０３）によって修正することが可能である。
　また、管理装置２００は、コンテンツ生成プログラム２１６により、作業内容８０５を推定する。作業内容８０５は、作業動作推定プログラム２１４によって推定された作業動作や作業領域から推定される。具体的には、たとえば、コンテンツ生成プログラム２１６は、作業動作と、作業内容８０５と、を対応付けるテーブルを有する。さらに作業領域を対応付けてもよい。たとえば、作業動作が「レバーの開放操作」の場合は、作業内容８０５は、当該テーブルを参照することにより、「作業終了」を示す情報となる。また、作業動作が「計器の読み取り」で、作業領域が電流計１０３である場合には、当該テーブルを参照することにより、作業内容８０５は「電流値の入力」となる。
　つぎに、管理装置２００は、作業者Ｗの作業が終了したかどうかを判定する（ステップＳ１２０９）。作業が終了した場合には（ステップＳ１２０９：Ｙｅｓ）、コンテンツ作成処理が終了する。作業が終了していない場合には（ステップＳ１２０９：Ｎｏ）、３次元画像入力処理（Ｓ１２０２）に戻る。ここで、作業の終了の判定は、入力装置２０２によって作業者Ｗが指定することが可能である。あるいは、作業終了用のジェスチャーを用いることも可能である。以上により、作業者Ｗが実際に作業を行うことで、ＡＲコンテンツ７００を生成することができる。
　＜ＡＲコンテンツ実行処理（ステップＳ１１０４）＞
　図１３は、図１１に示したＡＲコンテンツ実行処理（ステップＳ１１０４）の詳細な処理手順例を示すフローチャートである。まず、管理装置２００は、作業者Ｗの操作により、ＡＲコンテンツＤＢ２３２の中から、実行したいＡＲコンテンツ７００の選択を待ち受ける（ステップＳ１３０１）。選択された場合（ステップＳ１３０１：Ｙｅｓ）、管理装置２００は、選択されたＡＲコンテンツ７００の作業指示説明８０１をＨＭＤ１１０に送信し、たとえば、図１に示すように、ＨＭＤ１１０のＡＲ画面１１２に表示させる（ステップＳ１３０２）。
　つぎに、管理装置２００は、ＨＭＤ１１０の３次元カメラ１１１に映し出されている映像を、３次元画像としてＨＭＤ１１０から取得する（ステップＳ１３０３）。そして、管理装置２００は、カメラ位置姿勢推定プログラム２１２によって、ＨＭＤ１１０の３次元カメラ１１１の位置および姿勢をリアルタイムで推定する（ステップＳ１３０４）。カメラ位置姿勢推定は、ＡＲコンテンツ作成処理（ステップＳ１１０２）のカメラ位置姿勢推定（ステップＳ１２０３）と同じ処理である。
　つぎに、管理装置２００は、カメラ位置姿勢推定（ステップＳ１３０４）によって推定された３次元カメラ１１１の位置および姿勢を用いて、直方体データ１１４や矢印データ１１５などのＣＧデータをＨＭＤ１１０に送信し、ＨＭＤ１１０に表示させる（ステップＳ１３０５）。このとき、管理装置２００は、作業ＣＧ状態８０３（ＣＧデータの位置、姿勢、および大きさ）で特定される位置、姿勢、および大きさで、図１に示したように、ＣＧデータをＨＭＤ１１０に表示させる。
　このあと、管理装置２００は、作業が終了したかどうかを判定する（ステップＳ１３０７）。終了したか否かは、入力装置２０２からの入力によって判定される。現在の作業（たとえば、レバー１０２の操作）が終了せず、実行中の場合には、入力装置２０２からの作業終了の入力がないため（ステップＳ１３０６：Ｎｏ）、ステップＳ１３０３に戻る。一方、ＡＲ作業が終了した場合には、入力装置２０２から作業終了の入力があるため（ステップＳ１３０６：Ｙｅｓ）、ステップＳ１３０１に戻る。
　ステップＳ１３０１において、ＡＲコンテンツが選択されない場合（ステップＳ１３０１：Ｎｏ）、ステップＳ１３０７に移行する。そして、管理装置２００は、全体作業が終了したか否かを判断する（ステップＳ１３０７）。終了したか否かは、入力装置２０２からの入力または選択すべきＡＲコンテンツ７００の有無によって判定される。全体作業終了でない場合（ステップＳ１３０７：Ｎｏ）、ステップＳ１３０１に戻る。一方、全体作業終了である場合（ステップＳ１３０７：Ｙｅｓ）、ＡＲコンテンツ実行処理（ステップＳ１１０４）を終了する。
　以上のように、実施例１では、作業者Ｗが実際に作業を行いながらＡＲコンテンツ７００を作成することができる。
　実施例１では、あらかじめ作業内容に関する作業手順書３０１を用意しておき、作業手順書３０１を参照して、作業動作推定、作業領域推定、コンテンツ追加処理を実行する方法である。実際の作業においては、電子データである作業マニュアルが用意されている場合もあり、実施例２では、作業マニュアルを用いて、より正確なＡＲコンテンツ７００を生成する。実施例２では、実施例１との相違点について説明する。
　＜ハードウェア構成例＞
　図１４は、実施例２にかかる管理装置２００のハードウェア構成例を示すブロック図である。実施例２では、図２に示した記憶装置２０５に、照合プログラム１４０１および作業マニュアル１４０２が追加される。作業マニュアル１４０２は、実際の作業に関するマニュアルである。この作業マニュアル１４０２の内容は、図３の作業手順書３０１と同じとする。
　また、図８に示した作業指示説明８０１に関しては、作業マニュアル１４０２から決定される。たとえば、作業指示説明８０１は、見出し３０３，３０５，３１３により決定される。
　作業ＣＧ種類８０２は、コンテンツ生成プログラム２１６により、作業マニュアル１４０２を用いて推定可能である。たとえば、レバー１０２の操作においては、作業マニュアル１４０２に「レバーを開放」とあれば、作業ＣＧ種類８０２は「矢印」に決定される。なお、矢印の方向については、作業領域推定プログラム２１５によって推定される作業領域の３次元画像の時系列データからレバー１０２の動きを解析することで特定される。
　作業ＣＧ状態８０３および操作対象状態８０４は、作業マニュアル１４０２からは推定できない。ため、管理装置２００は、実施例１と同様、作業動作推定プログラム２１４により作業ＣＧ状態８０３を推定し、作業領域推定プログラム２１５により操作対象状態８０４を推定する。
　照合プログラム１４０１は、作業動作推定プログラム２１４によって推定された作業動作と作業マニュアル１４０２の内容とを照合し、作業者Ｗが行っている動作が、作業マニュアル１４０２のどの部分に対応しているかを照合する。すなわち、照合処理では、作業動作推定プログラム２１４によって推定された作業動作と作業マニュアル１４０２に記載されている作業内容３０４、３０６～３１２、３１４とが一致するかどうかを判定する。
　＜ＡＲコンテンツ作成処理（ステップＳ１１０２）＞
　図１５は、実施例２にかかる、図１１に示したＡＲコンテンツ生成処理（ステップＳ１１０２）の詳細な処理手順例を示すフローチャートである。実施例２では、ステップＳ１２０６において作業動作推定プログラム２１４によって推定された作業動作が検知された場合に（ステップＳ１２０６：Ｙｅｓ）、管理装置２００は、当該作業動作と作業マニュアル１４０２とを照合する（ステップＳ１５０１）。照合された場合には（ステップＳ１５０２：Ｙｅｓ）、管理装置２００は、作業領域を推定することになる（ステップＳ１２０７）。一方、照合されなかった場合は（ステップＳ１５０２：Ｎｏ）、ステップＳ１２０９に移行する。
　また、ステップＳ１２０８において、管理装置２００は、作業マニュアル１４０２から作業指示説明８０１を特定し、作業コンテンツＣｉ－ｍｉに格納する。また、管理装置２００は、実施例１と同様に作業内容８０５を特定し、作業コンテンツＣｉ－ｍｉに格納する。
　実施例２によれば、作業マニュアル１４０２からＡＲコンテンツ７００のひな形を作成することができる。管理装置２００は、ＡＲコンテンツ７００のひな形に対して、作業ＣＧ状態８０３および操作対象状態８０４を作業者Ｗの作業から推定し、追加や編集を行うことができる。また、実施例２によれば、作業マニュアル１４０２を用意することで、ＡＲコンテンツ７００を作成することができる。
　実施例３は、実施例１において音声認識を用いることで、作業動作推定、コンテンツ追加処理を、音声認識結果を参考にして実行する方法である。実際の作業においては、音声によって実際の作業内容を発声しながら作業する場合もあり、音声認識結果を用いて、より正確なＡＲコンテンツ７００を生成する。実施例３では、実施例１との相違点について説明する。
　＜ハードウェア構成例＞
　図１６は、実施例３にかかる管理装置２００のハードウェア構成例を示すブロック図である。実施例３では、図２に示した記憶装置２０５に、音声認識プログラム１６０１が追加される。音声認識プログラム１６０１は、作業者Ｗの作業中の音声を認識する。ここで、作業者Ｗは作業中の動作を特定する作業動作名を発声していると仮定する。作業中の発声は、図３に示す作業手順書３０１における、作業指示説明や見出し、その作業内容の文字列を発声するものとする。たとえば、作業内容３０６の場合は、作業者Ｗは、「電流計１０３を読み取り、電流の値を記録」と発声する。
　＜ＡＲコンテンツ作成処理（ステップＳ１１０２）＞
　図１７は、実施例３にかかる、図１１に示したＡＲコンテンツ生成処理（ステップＳ１１０２）の詳細な処理手順例を示すフローチャートである。実施例３では、作業領域推定（ステップＳ１２０７）のあと、管理装置２００は、ＨＭＤ１１０からの作業中の作業動作に関する音声を音声認識プログラム１６０１によって認識し、作業中の動作に関する情報を得る（ステップＳ１７０１）。管理装置２００は、この情報を用いて、作業指示説明８０１を決定する。作業ＣＧ種類８０２は、音声認識内容から推定する。そして、ＡＲコンテンツ追加（ステップＳ１２０８）が実行される。
　ＡＲコンテンツ追加（ステップＳ１２０８）では、たとえば、音声が「レバー開放、レバー１０２を矢印の向きに操作する」である場合、作業指示説明８０１は、当該音声から得られる文字列となる。また、作業指示説明８０１を参照した結果、操作対象が可動するレバーであるため、作業ＣＧ種類８０２は「矢印」となる。
　また、音声が「電流計１０３を読み取り、電流の値を記録」である場合、作業指示説明８０１は、当該音声から得られる文字列となる。また、作業指示説明８０１を参照した結果、操作対象が可動しない電流計であるため、作業ＣＧ種類８０２は「直方体」となる。
　作業ＣＧ状態８０３および操作対象状態８０４は、音声認識によって得られた作業ＣＧ種類８０２を用いて、実施例１と同様に特定される。また、作業内容８０５についても、実施例１と同様に特定される。このように、実施例３では、音声認識によってＡＲコンテンツ７００を効率的に作成することができる。
　実施例４は、実施例１において、レバー１０２や電流計１０３といった操作対象の位置情報を、あらかじめ作業空間１００の３次元モデルに与えておく例である。操作対象の位置情報を用いることで、作業動作推定をより高精度に行うことが可能である。たとえば、操作対象がレバー１０２である場合には、レバー１０２の位置情報を与えることで、作業者Ｗの手ｈの位置から操作対象がレバー１０２であることが推測できる。さらにレバー１０２の回転可能な方向などの情報がある場合、作業者Ｗの動作の詳細をより正確に推定することができる。
　また、操作対象が電流計１０３，１０４の場合には、作業者Ｗの手ｈの位置から、電流計１０３，１０４の値の入力などの対応する動作を推定することが可能である。実施例４では、実施例１との相違点について説明する。
　＜ハードウェア構成例＞
　図１８は、実施例４にかかる管理装置２００のハードウェア構成例を示すブロック図である。実施例４では、実施例１の記憶装置２０５に、作業領域ＤＢ１８０２が追加される。さらに、作業動作推定プログラム２１４および作業領域推定プログラム２１５は記憶装置２０５から削除され、新たに作業領域を参照する第２の作業動作推定プログラム２１４が追加される。作業領域ＤＢ１８０２には、上述した操作対象の位置情報である作業領域データを有する。作業領域データは、作業空間１００の３次元モデルに与えられる。
　＜ＡＲコンテンツ作成処理（ステップＳ１１０２）＞
　図１９は、実施例４にかかる、図１１に示したＡＲコンテンツ生成処理（ステップＳ１１０２）の詳細な処理手順例を示すフローチャートである。実施例４では、作業動作推定プログラム２１４および作業領域推定プログラム２１５が存在しないため、作業動作推定（ステップＳ１２０５）および作業領域推定（ステップＳ１２０７）は実行されない。そのかわり、管理装置２００は、作業者Ｗの姿勢推定（ステップＳ１２０４）のあと、第２の作業動作推定プログラム１８０１により、作業者Ｗの作業領域（たとえば、姿勢推定された作業者Ｗの手ｈの位置）と作業領域ＤＢ１８０２に記録した作業領域データとを照合する（ステップＳ１９０１）。具体的には、たとえば、管理装置２００は、作業者Ｗの作業領域と作業領域データとの間の距離が所定距離以内であるか否かを判断する。作業者Ｗの作業領域と作業領域データとの間の距離としては、たとえば、３次元カメラ１１１の位置と作業領域データが示す位置との距離が用いられる。
　作業者Ｗの作業領域と作業領域データとが所定距離以内である場合には、管理装置２００は、作業者Ｗが作業領域で、作業領域データにより特定される操作対象（たとえば、レバー）を用いた作業動作をおこなっていると検知して（ステップＳ１２０６：Ｙｅｓ）、ステップＳ１２０８に移行する。
　以上のように実施例４では、作業領域データを事前に設定することで、作業領域を参照して作業動作を推定することができ、ＡＲコンテンツ７００をより効率的に作成することができる。
　実施例５は、実施例１において、個々の作業を終了したときに作業の成否を入力するステップと、作業の成否の場合に依存する作業手順を記憶するステップを有する例である。これにより、作業終了時の作業の成否に依存したＡＲコンテンツを生成することができるため、より柔軟性のあるＡＲコンテンツを生成することが可能である。たとえば、電流計１０３，１０４の値が定格に入っていない場合など、あらかじめ指定された特定の操作対象について特殊な場合の対処方法を指定することが可能となる。実施例５では、実施例１との相違点について説明する。
　図２０は、実施例５にかかる作業コンテンツＣｉ－ｍｉのデータ構造例を示す説明図である。作業コンテンツＣｉ－ｍｉには、作業指示説明８０１、作業ＣＧ種類８０２、作業ＣＧ状態８０３、操作対象状態８０４、作業内容８０５のほか、条件が非の場合のジャンプ先アドレス２０００を有する。ジャンプ先アドレス２０００は、作業内容８０５に成否判定が含まれる場合に、判定が非の場合にジャンプするアドレスであり、たとえば、同一コンテンツＣｉ内の他の作業コンテンツＣｉ－ｋ（ｋ≠ｍｉ）のアドレスである。
　たとえば、作業コンテンツＣｉ－ｍｉが「電流計の読み取り」に関する作業コンテンツである場合、電流計１０３，１０４の値が定格に入っていない場合の特殊な場合の対処方法に関する作業コンテンツを指定するアドレスが、ジャンプ先アドレス２０００に格納される。なお、アドレスが「０」の場合には判定が非の場合にもジャンプしないことを示す。
　＜ハードウェア構成例＞
　図２１は、実施例５にかかる管理装置２００のハードウェア構成例を示すブロック図である。実施例５では、実施例１の記憶装置２０５に、終了条件入力プログラム２１０１が追加される。終了条件入力プログラム２１０１は、個々の作業が終了したときに、正常終了したかどうかの入力を入力装置２０２から受け付ける。さらに、実施例５のＡＲコンテンツには、図２０に示す作業コンテンツＣｉ－ｍｉが含まれる。
　＜ＡＲコンテンツ作成処理（ステップＳ１１０２）＞
　図２２は、実施例５にかかる、図１１に示したＡＲコンテンツ生成処理（ステップＳ１１０２）の詳細な処理手順例を示すフローチャートである。実施例５では、管理装置２００は、作業領域推定（ステップＳ１２０７）のあと、終了条件入力プログラム２１０１によって作業の成否判定を入力する（ステップＳ２２０１）。この成否に従って、管理装置２００は、ＡＲコンテンツの追加処理を変更する。
　すなわち、終了条件が正の場合には、管理装置２００は、これまでと同様にコンテンツを追加する（ステップＳ１２０８）。終了条件が非の場合には、次の処理は、別のアドレス（たとえば、電流計の値が定格に入っていない場合の特殊な場合の対処方法に関する作業コンテンツを指定するアドレス）に追加することとし、条件が非の場合のジャンプ先アドレスにその別のアドレスを設定する。
　上記のように、終了条件の成否に依存したＡＲコンテンツを生成するためには、複数回、作業者Ｗが作業を行い、すべての条件におけるＡＲコンテンツを生成する必要がある。実施例５では、作業終了時の作業の成否に依存したＡＲコンテンツを生成することができるため、より柔軟性のあるＡＲコンテンツを生成することが可能である。
　以上に説明したように、本発明の実施例によると、アナログ式の時計と共に出発時刻を見易く表示することができる。また、異なる画面サイズでも同じプログラムで適切な表示することができる。さらに、運行情報と出発情報とを見易く同時に表示することができる。
　以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。

Claims (7)

  1. 　プログラムを実行するプロセッサと、前記プログラムを記憶する記憶装置と、を有し、作業対象が存在する作業空間内の３次元カメラと通信可能な管理装置によるコンテンツ生成方法であって、
    　前記プロセッサは、
    　前記３次元カメラの位置を、前記３次元カメラによって撮影された前記作業空間の動画像と前記作業空間の３次元モデルとに基づいて特定する位置特定処理と、
    　前記作業対象に対する作業者の姿勢を前記作業空間の動画像から検出する姿勢検出処理と、
    　前記姿勢検出処理によって検出された前記作業者の姿勢により、前記作業対象が有する操作対象に対して前記作業者が行った動作を前記作業空間の動画像から検出する動作検出処理と、
    　前記動作検出処理によって検出された動作が特定の動作である場合、前記位置特定処理によって特定された前記３次元カメラの位置に基づいて、前記検出された動作が行われた作業領域を検出する領域検出処理と、
    　前記操作対象を前記検出された動作により操作させ、かつ、前記領域検出処理によって検出された作業領域に基づいて前記作業空間の動画像上に表示可能な作業指示に関するコンテンツを生成する生成処理と、
    　を実行することを特徴とするコンテンツ生成方法。
  2. 　前記生成処理では、前記プロセッサは、前記作業指示に関するコンテンツの種類を、前記検出された動作に応じた内容に設定することを特徴とする請求項１に記載のコンテンツ生成方法。
  3. 　前記プロセッサは、
    　前記動作検出処理によって検出された動作が特定の動作である場合、前記操作対象に対する操作内容が記述された電子データと、前記検出された動作とを照合する照合処理を実行し、
    　前記領域検出処理では、前記プロセッサは、前記照合処理によって照合された場合、前記位置特定処理によって特定された前記３次元カメラの位置に基づいて、前記検出された動作が行われた作業領域を検出することを特徴とする請求項１に記載のコンテンツ生成方法。
  4. 　前記プロセッサは、
    　前記作業空間からの音声を認識する音声認識処理を実行し、
    　前記生成処理では、前記プロセッサは、前記作業指示に関するコンテンツの種類を、前記音声認識処理によって認識された音声に応じた内容に設定することを特徴とする請求項１に記載のコンテンツ生成方法。
  5. 　前記プロセッサは、
    　前記検出された作業により前記操作対象から得られる情報を入力する入力処理を実行し、
    　前記生成処理では、前記プロセッサは、前記作業指示に関するコンテンツに、前記情報に応じた分岐条件の分岐先として他の作業指示に関するコンテンツを指定する情報を設定することを特徴とする請求項１に記載のコンテンツ生成方法。
  6. 　プログラムを実行するプロセッサと、前記プログラムを記憶する記憶装置と、を有し、作業対象が存在する作業空間内の３次元カメラと通信可能な管理装置によるコンテンツ生成方法であって、
    　前記プロセッサは、
    　前記３次元カメラの位置を、前記３次元カメラによって撮影された前記作業空間の動画像と前記作業空間の３次元モデルとに基づいて特定する位置特定処理と、
    　前記作業対象に対する作業者の姿勢を前記作業空間の動画像から検出する姿勢検出処理と、
    　前記位置特定処理によって特定された前記３次元カメラの位置と、前記作業空間の３次元モデルに含まれている前記作業対象内の操作対象の位置と、に基づいて、前記姿勢検出処理によって検出された姿勢により前記作業者が前記操作対象を操作したことを検出する動作検出処理と、
    　前記操作対象を前記動作検出処理によって検出された動作により操作させ、かつ、前記操作対象の位置に基づいて前記作業空間の動画像上に表示可能な作業指示に関するコンテンツを生成する生成処理と、
    　を実行することを特徴とするコンテンツ生成方法。
  7. 　プログラムを実行するプロセッサと、前記プログラムを記憶する記憶装置と、を有し、作業対象が存在する作業空間内の３次元カメラと通信可能な管理装置であって、
    　前記プロセッサは、
    　前記３次元カメラの位置を、前記３次元カメラによって撮影された前記作業空間の動画像と前記作業空間の３次元モデルとに基づいて特定する位置特定処理と、
    　前記作業対象に対する作業者の姿勢を前記作業空間の動画像から検出する姿勢検出処理と、
    　前記姿勢検出処理によって検出された前記作業者の姿勢により、前記作業対象が有する操作対象に対して前記作業者が行った動作を前記作業空間の動画像から検出する動作検出処理と、
    　前記動作検出処理によって検出された動作が特定の動作である場合、前記位置特定処理によって特定された前記３次元カメラの位置に基づいて、前記検出された動作が行われた作業領域を検出する領域検出処理と、
    　前記操作対象を前記検出された動作により操作させ、かつ、前記領域検出処理によって検出された作業領域に基づいて前記作業空間の動画像上に表示可能な作業指示に関するコンテンツを生成する生成処理と、
    　を実行することを特徴とする管理装置。
PCT/JP2014/062673 2014-05-13 2014-05-13 コンテンツ生成方法および管理装置 WO2015173882A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/062673 WO2015173882A1 (ja) 2014-05-13 2014-05-13 コンテンツ生成方法および管理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/062673 WO2015173882A1 (ja) 2014-05-13 2014-05-13 コンテンツ生成方法および管理装置

Publications (1)

Publication Number Publication Date
WO2015173882A1 true WO2015173882A1 (ja) 2015-11-19

Family

ID=54479454

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/062673 WO2015173882A1 (ja) 2014-05-13 2014-05-13 コンテンツ生成方法および管理装置

Country Status (1)

Country Link
WO (1) WO2015173882A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191351A (ja) * 2016-04-11 2017-10-19 株式会社日立製作所 作業支援システム及び方法
WO2018179230A1 (ja) * 2017-03-30 2018-10-04 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JP2019121136A (ja) * 2017-12-29 2019-07-22 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
JP2020115284A (ja) * 2019-01-17 2020-07-30 株式会社日立製作所 データ作成システム及びデータ作成方法
JP6777266B1 (ja) * 2019-09-18 2020-10-28 三菱電機株式会社 作業要素分析装置及び作業要素分析方法
JPWO2020110270A1 (ja) * 2018-11-29 2021-09-27 マクセル株式会社 映像表示装置および方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281297A (ja) * 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法
JP2005267033A (ja) * 2004-03-17 2005-09-29 Canon Inc 複合現実感映像蓄積検索方法及び装置
JP2006209664A (ja) * 2005-01-31 2006-08-10 Canon Inc システム、画像処理装置、情報処理方法
JP2006276748A (ja) * 2005-03-30 2006-10-12 Olympus Corp 情報呈示装置、情報呈示方法、及びコンピュータプログラム
JP2011159162A (ja) * 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2014056486A (ja) * 2012-09-13 2014-03-27 Hitachi Ltd 画像ネットワークシステム、画像表示端末および画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281297A (ja) * 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法
JP2005267033A (ja) * 2004-03-17 2005-09-29 Canon Inc 複合現実感映像蓄積検索方法及び装置
JP2006209664A (ja) * 2005-01-31 2006-08-10 Canon Inc システム、画像処理装置、情報処理方法
JP2006276748A (ja) * 2005-03-30 2006-10-12 Olympus Corp 情報呈示装置、情報呈示方法、及びコンピュータプログラム
JP2011159162A (ja) * 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2014056486A (ja) * 2012-09-13 2014-03-27 Hitachi Ltd 画像ネットワークシステム、画像表示端末および画像処理方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191351A (ja) * 2016-04-11 2017-10-19 株式会社日立製作所 作業支援システム及び方法
WO2018179230A1 (ja) * 2017-03-30 2018-10-04 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JPWO2018179230A1 (ja) * 2017-03-30 2019-11-14 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JP2019121136A (ja) * 2017-12-29 2019-07-22 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
JP7017689B2 (ja) 2017-12-29 2022-02-09 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
JPWO2020110270A1 (ja) * 2018-11-29 2021-09-27 マクセル株式会社 映像表示装置および方法
JP7076007B2 (ja) 2018-11-29 2022-05-26 マクセル株式会社 映像表示装置および方法
JP2020115284A (ja) * 2019-01-17 2020-07-30 株式会社日立製作所 データ作成システム及びデータ作成方法
JP7065795B2 (ja) 2019-01-17 2022-05-12 株式会社日立製作所 データ作成システム及びデータ作成方法
JP6777266B1 (ja) * 2019-09-18 2020-10-28 三菱電機株式会社 作業要素分析装置及び作業要素分析方法

Similar Documents

Publication Publication Date Title
WO2015173882A1 (ja) コンテンツ生成方法および管理装置
WO2021073292A1 (zh) 一种ar场景图像处理方法、装置、电子设备及存储介质
US12079439B2 (en) Shared augmented reality session recording and playback
US11678004B2 (en) Recording remote expert sessions
KR101990284B1 (ko) 음성인식을 이용한 지능형 인지기술기반 증강현실시스템
CN107610217B (zh) 一种核电设备虚拟识别展示系统和方法
US10444506B2 (en) Mixed reality measurement with peripheral tool
WO2016084142A1 (ja) 作業支援システム、及び、作業支援方法
JP7150894B2 (ja) Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
JP2010277115A (ja) ハーネス検証装置およびハーネス検証プログラム
US20180165883A1 (en) Subtractive Rendering For Augmented and Virtual Reality Systems
US11663680B2 (en) Method and system for automatic work instruction creation
JP7065795B2 (ja) データ作成システム及びデータ作成方法
KR20210109758A (ko) 모션 캡쳐를 이용한 문학 작품 속의 3 차원 캐릭터 생성방법
KR101530895B1 (ko) 3차원 캐드로부터 2차원 캐드를 위한 오브젝트 데이터 추출 방법 및 2차원 캐드로부터 3차원 캐드를 위한 오브젝트 데이터 추출 방법
Wang et al. Integrated content authoring for augmented reality based product manual assembly process instruction
JP2021166091A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
Simón et al. The development of an advanced maintenance training programme utilizing augmented reality
CN111373449B (zh) 用于辅助在产品上执行任务的辅助方法和辅助系统
JP6886663B2 (ja) 動作指示生成システム、方法およびプログラム
JP2017199085A (ja) 情報処理装置、情報処理方法、およびプログラム
JP3575469B2 (ja) 合成動画像生成装置および合成動画像生成方法
JP7098473B2 (ja) 画像処理装置、及び画像処理方法
CN109144237A (zh) 一种机器人多通道人机交互式导航方法
JP2019040356A (ja) 画像処理装置、画像処理方法、コンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14891725

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14891725

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP