WO2014097413A1 - 作業支援端末および作業支援システム - Google Patents

作業支援端末および作業支援システム Download PDF

Info

Publication number
WO2014097413A1
WO2014097413A1 PCT/JP2012/082860 JP2012082860W WO2014097413A1 WO 2014097413 A1 WO2014097413 A1 WO 2014097413A1 JP 2012082860 W JP2012082860 W JP 2012082860W WO 2014097413 A1 WO2014097413 A1 WO 2014097413A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
work
information
terminal
work support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/082860
Other languages
English (en)
French (fr)
Inventor
浩彦 佐川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2014552805A priority Critical patent/JP6077010B2/ja
Priority to BR112015013028A priority patent/BR112015013028A2/pt
Priority to PCT/JP2012/082860 priority patent/WO2014097413A1/ja
Publication of WO2014097413A1 publication Critical patent/WO2014097413A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Definitions

  • the present invention relates to a work support terminal and a work support system using the work support terminal.
  • Content necessary for augmented reality technology is composed of information necessary for superimposed display of character strings, CG images, and the like, and information indicating the correspondence between these and the real world. For this reason, a technique for easily associating information necessary for superimposed display of character strings, CG images, and the like with the real world is required.
  • Patent Document 1 As a technology using augmented reality technology, for example, Patent Document 1 can be cited.
  • an imaged observation target is specified by image recognition technology, and additional image data associated with the specified observation target in advance is processed according to the state of the observation target, and processed on the image of the observation target It is described that the added image is superimposed and displayed.
  • augmented reality technology When augmented reality technology is used to support a worker, information by a character string or a CG image is superimposed and displayed on an image obtained by photographing the real world or at an appropriate position in the worker's field of view. It is conceivable to provide supplementary information. This requires a technique for identifying where an object to be worked exists on an image obtained by photographing the real world (hereinafter referred to as a visual field image) or in the field of view of the worker.
  • a visual field image an image obtained by photographing the real world
  • Patent Document 1 an object on an image obtained by photographing the real world is specified using a pattern matching technique which is one of well-known image recognition techniques. That is, an image of a characteristic part of an object is prepared as a template, and an object in an image taken of the real world is detected by detecting a part having a high similarity to the template from an image taken of the real world. It is a technology to identify. In this case, since it is assumed that the portion used as the template is contained in an image obtained by photographing the real world, a template smaller than the real world image is used. In order to specify a work target with high accuracy using such a template, it is necessary that the entire object is photographed on an image obtained by photographing the real world.
  • Patent Document 1 the augmented reality technology using a three-dimensional image as disclosed in Patent Document 1 is applied to work support in which a lot of image processing is performed and a large number of different field-of-view images are taken for each work. That is practically difficult.
  • An object of the present invention is to realize a technology that supports an operator who performs various operations such as construction and maintenance / inspection of facilities by using augmented reality technology, and is particularly necessary for augmented reality technology. It is to realize a work support technology that enables easy creation of content that can be specified with high accuracy even when only a part of the work target is shown on an image of the real world. .
  • the present application includes a plurality of means for solving the above-described problems.
  • a work support terminal which is a field camera for photographing a worker's field of view, and a first camera photographed by the field camera.
  • a storage unit that stores an image and a second image in which a plurality of objects to be worked are reflected, and a correspondence relationship between the first image and the second image
  • An image processing unit that identifies the object shown in the first image, and a display unit that displays information about the target shown in the first image, The second image is characterized in that the entire object is reflected in the second image.
  • the work target can be specified with high accuracy, and the operator's work is easy. become.
  • FIG. 10 is a diagram showing a flow of processing in Step 2103.
  • FIG. 1 is a block diagram when the work support terminal according to the first embodiment of the present invention is realized on a computer.
  • Reference numeral 101 in FIG. 1 denotes an information processing apparatus for executing various programs necessary for the work support terminal.
  • the input device 102 includes a camera for inputting, to the work support terminal, an image obtained by photographing a place where the work is performed during work or an image in a visual line direction of the worker who is working, and a work support terminal. It is comprised from the input means to computers, such as a mouse
  • the output device 103 is a means for displaying an image to be presented to an operator, and a monitor of a portable computer, a head mounted display (HMD) that is a head mounted display device, or the like can be used.
  • the storage device 104 is a means for storing various programs necessary for the work support terminal, and the work information registration program 105 defines the position and area of the work object in the real world and stores information to be presented to the worker. It is a program for creating content necessary for augmented reality technology by setting registration and correspondence between them.
  • the work support control program 106 obtains a correspondence relationship between the two images by matching the visual field image and a panoramic image to be described later, and superimposes and displays the information created by the work information registration program 105 on the visual field image. It is a program for performing processing that supports the workers inside.
  • the image storage unit 107 stores a panoramic image that is an image obtained by photographing the panoramic view of the work area where the worker performs the work.
  • a panoramic image is an image in which a plurality of objects are shown in one image in the work area, and each object is shown so as to be entirely contained. Such an image is referred to as a panoramic image in this specification and is used as a matching template.
  • the indicating instrument of the apparatus is an object to be operated, if there are twelve indicating instruments in front of the apparatus, it indicates an image in which all twelve objects are shown on one sheet.
  • This panoramic image is used for defining the position and area of the work object in the work information registration program 105, and for matching with the visual field image in the work support control program.
  • the work information storage unit 108 stores information related to a work target defined on a panoramic image and information representing a work procedure, which are information necessary for support of the worker.
  • FIG. 2 is a schematic diagram showing the appearance of the work support terminal according to the first embodiment and the situation in which work is performed using it.
  • reference numeral 201 denotes equipment that serves as a work area.
  • Reference numeral 202 denotes a camera for capturing a visual field image that is an image in the direction of the operator's line of sight
  • 203 denotes an HMD for displaying an image obtained by superimposing the work information data stored in the work information storage unit 108 on the visual field image. It is.
  • the HMD in addition to a type of HMD that displays an image obtained by superimposing work information data stored in the work information storage unit 108 on a visual field image captured by the camera 202, only work information data is displayed, and an actual work area is displayed.
  • Reference numeral 204 denotes a portable computer that executes the work information registration program 105 and the work support control program 106 and has an image storage unit 107 and a work information storage unit 108.
  • the display device 205 of the portable computer 204 is equipped with a touch panel as an input device 102 for an operator to perform input necessary for executing various processes.
  • FIG. 3 shows a flow of processing for registering a panoramic image and work information in the work information registration program 105.
  • a panoramic image representing the panoramic view of the work area is acquired by a camera which is one of the input devices 102, or is selected from panoramic images already stored in the image storage unit 107. In the configuration shown in FIG. 2, it can be acquired using the camera 202.
  • the position and area of the work object on the panoramic image are defined.
  • the work target refers to a target such as a meter or a switch included in the work area, which is visually confirmed by the worker during the work or some operation is performed.
  • step 303 information relating to a work procedure indicating what kind of work is to be performed in what order with respect to the work target defined in step 302 is registered.
  • the panoramic image for which registration of information has been completed is stored in the image storage unit 107.
  • a panoramic image registration 301, a work target registration 302, and a work procedure registration 303 are executed in order. It is also possible to start the process from the registration 302 or to start the process from the registration 303 of the work procedure in a state where the registration of the work target is completed.
  • Fig. 4 shows an example of a panoramic image. 4 is an image obtained by photographing the equipment 201 in FIG. 2 from the front.
  • 801, 802, 803 and 804 are ammeters
  • 805, 806, 807 and 808 are operation lamps indicating the state of the equipment
  • 809, 810, 811 and 812 are operation buttons for operating / stopping the equipment. Suppose there is. These ammeters, operation lamps, and operation buttons will be described below as work targets.
  • Fig. 5 shows the format for storing information about work objects.
  • 1001 is the work area name
  • 1002 is the file name of the panoramic image
  • 1003 is the number of registered work objects.
  • Reference numerals 1004 and 1007 are registered work object names
  • 1005 and 1008 are explanatory texts indicating details about the registered work objects
  • 1006 and 1009 are vertex coordinates of a rectangular area representing the work object area on the full view image.
  • the details regarding the work target not only the explanatory text but also any information related to the work target, such as a specification of the work target and a CG image, can be registered.
  • the vertex coordinates 1006 and 1009 are stored in a format including a set of four coordinate points serving as the vertices of the rectangular area, which is a set of X-axis coordinates and Y-axis coordinates representing a position on the whole view image.
  • the work target area can be represented not only by a rectangle but also by a circle, an arbitrary polygon, or the like.
  • 1006 and 1009 can be represented by the center coordinates and radius of the circle.
  • 1006 and 1009 can be expressed in a format including a set of coordinates of the number of vertices.
  • the rectangular area is set by moving the mouse pointer to the position of the upper left vertex of the rectangle that is the work target area and dragging the mouse. After setting the rectangular area, the details of the work target are input, and the registration of the work target is completed.
  • the work target area is represented by a rectangular area.
  • the rectangular area set in the same manner as described above represents the work target area.
  • a circle that is a circumscribed rectangle of the circle to be represented may be obtained as a circle that represents the work area.
  • the radius may be specified by dragging.
  • the position of the vertex coordinates may be designated by clicking with the mouse in order.
  • FIG. 6 shows a state after two work targets are registered for the whole view image of FIG.
  • the work target list 1301 indicates that two work targets “ammeter 1” and “ammeter 2” are registered. Further, the background color of “Ammeter 2” is black, which indicates that “Ammeter 2” is in a selected state. Selection of a work target in the work target list 1301 can change the name of the target work target by clicking with the mouse or tapping the touch panel. Further, in FIG. 6, a rectangular area 1302 on the whole view image of the selected “ammeter 2” is displayed, and details 1303 of the registered “ammeter 2” are displayed beside the rectangular area. ing. As information regarding the work target to be displayed on the panoramic image, only the rectangular area may be displayed, and details may be displayed when the rectangular area is clicked with the mouse or the touch panel is tapped.
  • Fig. 7 shows the format for storing information related to work procedures.
  • 1501 is a work name
  • 1502 is the number of registered work items.
  • 1503 and 1508 are work item names
  • 1504 and 1509 are descriptive texts indicating the contents of the registered work items
  • 1505 and 1510 are the numbers of work objects associated with each work item.
  • As the contents related to the work item not only the explanatory text but also any information indicating the contents of the work item such as a separately created work procedure manual and CG image can be registered.
  • reference numerals 1506, 1507, 1511 and 1512 denote work target names associated with the work items.
  • the work item mentioned here is an item indicating the content of the work such as “confirming the value of the ammeter”, for example, and information on “ammeter 1” and “ammeter 2” used in the work item is set as a work target. Yes.
  • the registered work target is selected in step 302, the work item name and work content are input, and the registration is completed.
  • An example of the screen displayed at the time of registration is shown in FIG.
  • 1601 is a field for inputting a work item name
  • 1602 is an area for inputting work contents
  • 1603 is an area for displaying a list of work objects corresponding to the work items.
  • 1604 a list of registered work targets is displayed.
  • Correspondence with work items can be set or canceled by 1605 and 1606.
  • Reference numeral 1607 denotes an area for displaying a panoramic image for confirming a work target associated with the work item.
  • FIG. 11 shows a state after two work items are registered with respect to the whole view image of FIG.
  • the names of registered work items, “Confirm Ammeter” and “Confirm Operation Lamp” are displayed.
  • “Confirm Ammeter” in 1901 is selected by clicking with the mouse or tapping the touch panel, as shown in 1902 of FIG. 11, the display of the selected work item name changes to a state indicating that it has been selected.
  • work target areas 1903, 1904, 1905, and 1906 corresponding to the work items are displayed on the full-view image.
  • information indicating the order in which work objects are registered on the screen of FIG. 8 is displayed as indicated by the numerical values at the upper left of 1903, 1904, 1905 and 1906.
  • each work object may be displayed. Or you may make it display the detail of a work object by clicking with a mouse
  • the work information registration program 105 performs panoramic image registration, work target registration, and work procedure registration by the method described above.
  • the work support control program 106 superimposes and displays information using the augmented reality technology based on information on the work procedure registered by the work information registration program, thereby supporting the work of the worker.
  • FIG. 12 shows the flow of work using the work support terminal.
  • the worker who performs the work takes a field-of-view image with the camera 202 (step 2001).
  • the work support terminal performs matching between the visual field image obtained by capturing a range smaller than the full-view image and the full-view image (step 2002), and in step 2003, the correspondence relationship according to the position of the visual field image in the full-view image is specified.
  • Information on the work item and work object corresponding to the position specified in step 2003 is displayed on the display unit of the work support terminal (step 2004), and the worker performs work based on the displayed information (step 2005). ).
  • the flow of the work support control program from step 2002 to step 2004 in FIG. 20 will be described in detail with reference to FIGS.
  • FIG. 13 shows the flow of processing of the work support control program 106.
  • the work performed by the worker is selected and read in step 2101.
  • information related to the work 1501 selected by the worker may be read from the information related to the work procedure stored in the format shown in FIG.
  • step 2102 information related to the first work item 1503 is selected from the read information related to the work 1501.
  • step 2103 the visual field image acquired from the camera 202 is matched with the full view image to obtain the correspondence between the visual field image and the full view image.
  • the format shown in FIG. 7 does not include the information of the panoramic image, but the related panoramic image can be specified by tracing the information regarding the work target from the work target name included therein.
  • FIG. 14 shows a detailed flow of the processing performed in step 2103.
  • rough matching is performed in steps 2201 to 2205
  • detailed matching is performed in steps 2206 to 2210.
  • step 2201 there are three types: a position where matching between the view image and the full view image, a rotation angle of the view image when matching with the full view image, and the size of the view image when matching with the full view image are performed.
  • a combination that has not been processed in step 2202 and thereafter is searched, and if the corresponding combination remains, the process proceeds to step 2202.
  • the process proceeds to step 2206.
  • an upper limit value, a lower limit value, and a change amount of each parameter are obtained, and the parameter combination is obtained by changing each parameter within these ranges.
  • step 2202 one parameter combination that has not been processed is selected. Further, in 2203, an image of an area determined by the selected combination of parameters is cut out from the full-view image and adjusted to the same size as the visual field image.
  • FIG. 15 shows an image of matching between the field-of-view image and the full-view image when the change in parameters is fixed for each of the position, rotation angle, and size.
  • reference numeral 2301 denotes a field-of-view image
  • 2302, 2303, and 2304 denote panoramic images.
  • each rectangular area indicated by 2305 is an area on the whole view image for matching with the visual field image when only the matching position is changed.
  • each rectangular area indicated by 2306 is an area on the whole view image for matching with the visual field image when only the rotation angle is changed.
  • each rectangular area indicated by 2307 becomes an area on the whole view image for matching with the visual field image when only the size is changed. If there are a plurality of objects having the same shape in the whole view image, marking 4501 is provided on a part of the actual apparatus and the whole view image is captured in a form including the marking 4501 as shown in FIG. Good. The positional relationship between the visual field image and the panoramic image is clarified by the marking position.
  • a conversion matrix for converting the image on the full-view image to the same size as the field-of-view image is obtained based on the position, size, and rotation angle.
  • the image of the region to be cut out is cut out, and the cut out image is adjusted to the same size as the view image.
  • Such deformation can be easily realized by using a technique called affine transformation used for movement and deformation of figures.
  • step 2204 the visual field image and the image cut out from the full view image are matched (compared) to obtain the similarity.
  • any calculation formula can be used as long as it is various calculation formulas generally used in image recognition. For example, the following equation 1
  • SSD Sum of Squared Differences
  • Normalized cross-correlation defined in (1) can be used.
  • step 2205 the obtained combination of similarity and parameter is stored, and the process returns to step 2201.
  • step 2206 a combination of parameters having the highest similarity among the obtained similarities is selected, and an area on the whole view image determined by these parameters is determined as an area visible in the visual field image. It is set as the initial value for the processing to be performed thereafter. It should be noted that since Equation 1 takes a smaller value as the similarity is higher, and Equation 2 takes a larger value as the similarity is higher, the method for determining the degree of similarity needs to be changed in accordance with the calculation formula used.
  • each vertex representing the area is changed based on the change in similarity when the vertex coordinates of the area on the set panoramic image are slightly moved. This is because, when the field of view image actually shot is not the one that was taken from the front, unlike the whole view image, the position of each vertex coordinate is adjusted for the purpose of tilting the whole view image according to the view image. It is a step. In this step, the degree of similarity between the images is calculated while changing each vertex of the rectangular area on the whole view image little by little in the X-axis and Y-axis directions, and the vertex is changed.
  • step 2208 an area on the panoramic image represented by the newly determined vertex is cut out, and the size is adjusted so that it looks like the same inclination as the visual field image.
  • This process can be easily realized by using a technique called projective transformation. For example, an arbitrary position on the panoramic image
  • a transformation matrix H is obtained.
  • s is a scalar quantity.
  • the transformation matrix H in (Equation 5) is obtained from the correspondence between the vertex coordinates representing the region on the whole-view image and each vertex of the visual field image, and the whole-view image is transformed by using the obtained transformation matrix H. Then, the region on the whole view image is cut out and adjusted to the same size as the view image. Note that an arbitrary coordinate p on the panoramic image is associated with a coordinate p ′ on an image having the same size as the field-of-view image by the following expression.
  • step 2209 the similarity between the image cut out from the whole view image and the visual field image is obtained as described above.
  • the calculation formula for similarity may be the same as that used in step 2204, or a different calculation formula may be used.
  • step 2210 the similarity between the region on the panoramic image and the visual field image before the change in step 2207 is compared with the similarity between the region on the panoramic image and the visual field image after the change in step 2207. Then, it is determined whether the difference is less than a predetermined threshold. If the difference in similarity is not less than the threshold, the process returns to step 2207.
  • step 2206 a predetermined number of candidates are selected from those with the highest similarity, and the processing after step 2207 is performed on all the selected candidates. As a result, the one with the highest similarity is finally obtained. You may make it select as an appropriate matching result.
  • step 2207 The processing from step 2207 to step 2210 is the same as the algorithm generally used for the optimization problem. For this reason, as a method for changing the vertex coordinates in Step 2207, various algorithms used in the optimization problem, for example, a method such as the steepest descent method and the Newton method can be used as they are. For example, when the steepest descent method is used, in step 2207, P k is an eight-dimensional vector composed of four vertex coordinates at a certain time point.
  • ⁇ is a predetermined constant
  • D (P k ) is the similarity between the area on the whole-view image indicated by P k and the visual field image
  • ⁇ is an operator representing partial differentiation.
  • step 2104 in FIG. 13 based on the correspondence relationship between the coordinates of the visual field image and the panoramic image determined in step 2103, a transformation matrix for associating the region on the panoramic image with the visual field image is obtained.
  • This transformation matrix is the same as the projection transformation matrix obtained by (Equation 5) using step 2208.
  • step 2105 an area on the panoramic image of the work target associated with the selected work item is acquired from the information related to the work target, and the acquired area is viewed using the transformation matrix obtained above. Convert to correspond to the area on the image.
  • FIG. 16 shows an example in which a work target area on the full-view image is converted into an area on the visual field image. In FIG. 16, areas 2701 and 2702 on the full-view image are converted into areas 2703 and 2704 on the view image.
  • step 2106 the coordinates of the work target area converted as the area on the visual field image in step 2105 are compared with the coordinates of the work target in the full-view image registered as shown in FIG.
  • the work target to be determined is determined.
  • information related to the work target determined to exist on the visual field image is retrieved from the registration information in FIG. 7 and superimposed on the visual field image.
  • information on the selected work item name and work content is also superimposed on the visual field image. In the case of a see-through display device, only information related to the work target, item names, and work content are displayed.
  • the format shown in FIG. 5 is used.
  • a work target in the field-of-view image can be specified.
  • FIG. 17 shows an example in which work target areas 2801 and 2802 and work item names and work contents 2803 are superimposed on the field-of-view image.
  • FIG. 17 only the rectangle indicating the work target area is superimposed and displayed as the information related to the work target. However, details regarding each work target may be superimposed and displayed. In addition, any method can be used for the information regarding the work target as long as the method can be easily identified on the visual field image.
  • the work item name and work content 2803 are displayed at the upper right of the screen, the display position may be changed based on the position of the work target.
  • step 2108 in FIG. 13 it is determined whether or not the selected work item is completed. If it is not completed, the process returns to 2108 to wait until it is completed, and if completed, the process proceeds to step 2109. Information about which work item is completed is stored in the work information storage unit 108. Whether or not each work has been completed is determined by, for example, displaying a list of work items and a check column for each work item on the screen of the portable computer 204 shown in FIG. It is possible to determine whether or not the selected work item has been completed by performing a check by clicking or tapping on the touch panel. For work items that have been checked for completion by the operator, a check mark may be displayed.
  • step 2109 of FIG. 13 information on the work procedure is confirmed, and it is determined whether or not all work items have been completed. If there is a work item that has not been completed, the next work item is selected in step 2110, and the process returns to step 2103. If all work items are completed, the process is terminated.
  • the visual field image is taken based on the input of the worker's work start, and the visual field image and the full view image are matched. Based on the matching result, the object in the visual field image is identified, and the object in the visual field image and the symbol indicating the position of the work object corresponding to the work item, the work content, etc. are superimposed and displayed. Support the work.
  • the field-of-view image is captured, the date and time when the field-of-view image is captured can also be recorded, so that it can be used later to confirm whether the administrator has actually performed the work.
  • the upper limit value and the lower limit value regarding the three types of parameters, position, rotation angle, and size when matching the visual field image with the full view image. If the processing for the visual field image has already been performed, the upper limit value and the lower limit value may be determined using the history.
  • 3103 Is expected as the next area.
  • the moving distance or moving direction of the area is not expected, so for example, 3104 with a predetermined margin around 3103 as the expected range of the next area is assumed as the predicted range of the next area. From the range, the upper limit value and lower limit value of each parameter can be determined.
  • the matching based on the prediction may be aborted, and the matching may be switched to the matching for the entire view image.
  • step 2106 when the work target exists outside the range of the visual field image, the direction in which the work target is present may be superimposed on the visual field image.
  • the region on the whole view image corresponding to the view image is a region that partially protrudes from the whole view image and the work target does not exist in the view image
  • the positional relationship between the view image and the view image has already been obtained in step 2105. Therefore, by obtaining the direction of the work object viewed from the center coordinates of the field-of-view image, it is possible to indicate the relative direction in which the work object exists using arrows or the like as shown in FIG. is there.
  • the panoramic image 2302 is converted around the visual field image 2301 in step 2105. Thereafter, an arrow 3203 indicating the direction in which the work target 3201 is present when viewed from the center coordinates of the visual field image 2301 may be superimposed on the visual field image 2301.
  • the operator's finger can be used as a method for determining whether or not the selected work item is completed.
  • the worker causes the work target area and the finger to be overlapped in the visual field image.
  • the hand region can be easily extracted by detecting only the skin color region from the image, for example. If gloves are worn, the region may be extracted using the color of the gloves as a clue.
  • the finger area is determined from the width of the extracted area, and the position of the tip of the finger is specified.
  • the overlap between the extracted finger area and the work target area is determined on the field of view image. For example, if the overlap area size and the overlap time are equal to or greater than a predetermined threshold, It can be determined that the work has been completed.
  • the overlap between the work target and the finger can also be determined by the overlap between the work target and the entire hand. If there are a plurality of work targets corresponding to the selected work item, the same process may be performed for all the corresponding work targets.
  • the work target region to be determined next whether or not the work is completed is indicated on the field-of-view image by a superimposed display.
  • the completed work target area can be erased from the view image, and only the uncompleted work target area can be superimposed on the view image.
  • the color and shape of both ends are set to different colors and shapes, so that when one end is overlapped with the work target area, it represents the completion of the work on the work target and the other end When the edge is overlapped with the work target area, it is possible to superimpose and display the details of the work target on the visual field image.
  • FIG. 20 shows an example of equipment that is a work area in which a plurality of full-view images are displayed.
  • the equipment shown in FIG. 20 is different from the equipment shown in FIG. 2 in that a door 3901 is installed at the center. Further, a work target 3902 exists also inside the door.
  • the whole-view image as shown in FIG. 21, two images are used: an image 4001 obtained by photographing the entire work area with the door closed, and an image 4002 obtained by photographing the interior with the door opened. To do. Further, as shown in FIG.
  • the correspondence between 4001 and 4002 is represented by the correspondence between rectangles 4003 and 4004 indicating the door area.
  • the reason why the door area is used for the association is that the association between the areas is clear and easy to set. Four or more points can be used.
  • FIG. 22 shows a format for storing information representing the correspondence relationship between the panoramic images.
  • Reference numeral 4101 denotes a file name of the panoramic image serving as the correspondence source
  • numeral 4102 denotes a column of vertex coordinates representing an area on the panoramic image serving as the correspondence source.
  • Reference numeral 4103 denotes a file name of a panoramic image as a correspondence destination
  • reference numeral 4104 denotes a column of vertex coordinates representing an area on the panoramic image as a correspondence destination.
  • the matching of the visual field image and the panoramic image in the processing of the work support control program 106 basically, all related panoramic images and the visual field image are matched, and the panoramic image having the highest similarity with the visual field image. And an area corresponding to the field-of-view image on the image.
  • the range of the panoramic image to be matched with the field-of-view image can be limited by using the history. For example, when the region of the whole-view image corresponding to the field-of-view image includes the region of the door 4003, matching between the field-of-view image and the whole-view image targets both the images of the whole-view images 4001 and 4002 in FIG. . On the other hand, if the expected area does not include the door area, only the panoramic image 4001 needs to be used.
  • the work area is long in the horizontal direction or the vertical direction, it is difficult to photograph the entire work area. Therefore, an image including a part of the work area and a portion overlapping each other is photographed, and the correspondence relationship between the images. Save with. In this case, an image that does not include an overlapping portion can also be used as the panoramic image.
  • the work target is registered with the same name for all the panoramic images including them.
  • the matching between the field-of-view image and the whole-view image is performed by using a method similar to the above-described method. It is possible to obtain the positional relationship, specify the position and object of the visual field image, and superimpose and display information necessary for work on the visual field image.
  • the panoramic image corresponding to the field-of-view image is specified based only on the similarity obtained as a result of matching. For example, it is easy to distinguish from each other and to distinguish from the work target.
  • a marker consisting of a color, shape, and pattern is placed on the work area, information indicating the correspondence between the marker and the panoramic image is stored, and the visual field image is supported by detecting these markers from the visual field image.
  • a panoramic image to be specified may be specified.
  • a single marker may be included in a single panoramic image, and a plurality of markers may be included. The marker may be placed at any location, but it is possible to efficiently switch the entire view image by installing it near the work target in the initial stage of the work performed on each view image.
  • a general method used in image recognition technology can be used to detect a marker on a visual field image. For example, a marker image is prepared as a template, and the marker on the visual field image can be detected by matching the template with the visual field image.
  • the camera 202 is used as the input device 102 and the monitor 205 of the HMD 203 and the portable computer 204 is used as the output device.
  • the portable computer 204 equipped with a display unit is used. You can also. It is assumed that the portable computer is equipped with a display device 205 integrated with a touch panel as input means. Thereby, the operator can input to the computer directly on the screen with a finger or a pen.
  • the back of the portable computer that is, the surface opposite to the display unit is equipped with a camera, and the portable computer is positioned with respect to the work area with the display unit of the portable computer facing the operator. By holding the image, the image of the work area is acquired by the camera and displayed on the display unit.
  • an image acquired from a camera installed on the back of the portable computer is processed as a visual field image.
  • the processing performed by the work information registration program 105 and the work support control program 106 is the same as the contents described above.
  • the work support control program 106 determines that each work item has been completed due to the difference between the input device and the output device, that is, in the determination performed in step 2108 in FIG.
  • Different operation methods can be used. Hereinafter, an operation method different from the above will be described.
  • an image similar to that shown in FIG. 17 is displayed on the HMD, a list of work items is displayed on the screen of the portable computer, and the contents of this list are checked.
  • the configuration is such that the worker notifies the work support control program of the completion of each work item.
  • only a portable computer is used, only one display device can be used by the worker. If the image and the list of work items are displayed at the same time, the visibility of the screen may be reduced. Therefore, in this case, information related to the work item and the work target area are displayed in a superimposed manner, and a check field for notifying the completion of the work item is provided at the work item display location.
  • the worker can notify the work support control program of the completion of the displayed work item by tapping the displayed check column with the operator's finger or pen.
  • the completion of work is notified for each work target by superimposing the operator's fingers, hands, or special tools on the view image for the work target related to the selected work item. It was also possible to use this method.
  • this operation can be performed by tapping the work target area superimposed on the screen with a finger or a pen.
  • the work support control program determines that the work on the tapped work target is completed, and displays the next work target area in a superimposed manner. It is also possible to display the details of the work target in a superimposed manner by, for example, double-tapping (tapping twice in succession) the area to be worked on or pressing the screen for a while.
  • the work support terminal described in the present embodiment includes a field of view camera that captures the worker's field of view, a first image captured by the field of view camera, and a plurality of objects to be worked.
  • the second image is reflected in the first image by determining the correspondence between the first image and the second image, and a storage unit that stores information about the object.
  • An image processing unit that identifies the target object; and a display unit that displays information about the target object in the first image. It is characterized by the whole being reflected.
  • the work target is specified even if the work target in the field-of-view image is partially missing. be able to. Therefore, it is possible to smoothly perform work support without re-taking the field-of-view image many times.
  • the field-of-view image and the panoramic image are two-dimensional information, the time and memory required for the image processing can be greatly reduced as compared with the case where image processing is performed based on the three-dimensional information.
  • a second embodiment of the present invention will be described with reference to FIG.
  • work performed by the work information management terminal (information processing apparatus) connected to the work support terminal via the network such as image processing and panoramic image registration performed by the work support terminal of the first embodiment.
  • This is a support system and can provide the same effects as those of the first embodiment.
  • FIG. 24 is a block diagram when the work support terminal according to the second embodiment of the present invention is realized on a commonly used computer, and the components of the work support terminal according to the first embodiment shown in FIG. Are separated into a worker terminal 5301 and a work information management terminal 5312, and the worker terminal 5301 and the work information management terminal 5312 are connected via a network 5311.
  • An operator terminal 5301 in FIG. 24 includes an information processing apparatus 5302 for executing various programs, a camera for capturing a field-of-view image and inputting it as an image, and a mouse for giving instructions to the various programs by the operator.
  • an input device 5303 including a touch panel, an output device 5304 using a monitor of a portable computer or an HMD, a communication device 5305 for exchanging information with the work information management terminal 5312, and various programs are stored.
  • Storage device 5306 an image storage unit 5309 that is an image obtained by photographing the entire view of the work area where the worker performs the work, and information related to the work target defined on the full-view image that is information necessary for the support of the worker
  • a work information storage unit 5310 that stores information on work procedures.
  • the storage device 5306 also includes a work support control program 5307 for superimposing and displaying information for assisting the worker on the view image based on the result of matching the view image and the panoramic image, and a work information management terminal 5312.
  • a transmission / reception program 5308 for exchanging information with the user is included.
  • the work information management terminal 5312 includes an information processing device 5313 for executing various programs, a camera for inputting a panoramic image that is an image of a panoramic view of a work area where the worker performs work, Input / output device 5314 such as a keyboard, a mouse, a touch pad, etc.
  • An output device 5315 such as a monitor or a speaker for displaying the screen of the user, a communication device 5316 for exchanging information with the operator terminal 5301, a storage device 5317 for storing various programs, and an operator
  • An image storage unit 5320 that is an image obtained by capturing an entire view of the work area where the work is performed, and all the information that is necessary for supporting the worker.
  • Work information storing section 5321 which stores information about the information and procedures relating to the work target defined on the image is included.
  • the storage device 5317 is necessary for assisting the worker by defining the position and area of the work target in the real world, registering information to be presented to the worker, and setting the correspondence between them.
  • a work information registration program 5318 which is a program for creating content, and a transmission / reception program 5319 for exchanging information between the worker terminal 5301 are included.
  • the functions in the same components as those in the first embodiment shown in FIG. 1 are basically the same as the functions described in the first embodiment. is there. Furthermore, in the second embodiment, a function for exchanging information between the worker terminal 5301 and the work information management terminal 5312 is added to some components. Hereinafter, functions added in the second embodiment will be described.
  • the worker terminal 5301 when information on a work procedure, a work target, and a panoramic image is not stored, the worker selects information on the work procedure related to the work to be performed at the start of the work. Since information related to available work procedures is stored in the work information management terminal 5312, the work support control program 5307 acquires a list of information related to work procedures from the work information management terminal 5312 using the transmission / reception program 5308. After that, a list of work procedures is displayed on the output device 5304. When information related to the work procedure corresponding to the work performed by the worker is selected, the result is transmitted from the worker terminal 5301 to the work information management terminal 5312 using the transmission / reception program 5308, and the work information management terminal 5312 selects the result.
  • Information relating to the work procedure performed, information relating to the work object related thereto, and a panoramic image are extracted from the image storage unit 5320 and the work information storage unit 5321. Further, the extracted information is transmitted to the worker terminal 5301 using the transmission / reception program 5319, and the received panoramic image is received in the image storage unit 5309 in the worker terminal 5301, and information regarding the work procedure and the work target is obtained. It is stored in the work information storage unit 5310.
  • the work support control program 5307 displays information related to the work being performed based on the result of matching the view images. The operator is supported by superimposing it on top.
  • the worker's terminal image is transmitted to the work information management terminal, and the work information management terminal receives information on the worker's field of view image, information on the progress of the work, and the correspondence between the field image and the panoramic image.
  • the contents may be displayed on the monitor.
  • the visual field image may be displayed as it is on the work information management terminal as an image transmitted from the worker terminal.
  • the same screen as in the first embodiment may be displayed on the work information management terminal. If the work information management terminal already stores information about work procedures, work objects, and panoramic images, only the information that identifies the work information, the work item for which work has been completed, and the work information number are displayed. It may be transmitted from the work terminal to the work information management terminal. If the work information management terminal does not store information about the work procedure or work object or the panoramic image, such information can be transmitted from the worker terminal to the work information management terminal.
  • the work support system described in this embodiment is a field of view camera for photographing a worker's field of view, an image display unit, a first image photographed by the field of view camera, and a work target.
  • a storage unit that stores information about the object, and the first image and the second image, the first image
  • An information processing device connected to the terminal via a network, the information processing device comprising: an image processing unit that identifies the object in the image;
  • the terminal transmits information related to the image and the object in the second image to the terminal, and the terminal that has received the second image is based on a matching result between the first image and the second image.
  • Information received by the terminal Displayed on part, wherein the second image, characterized in that reflected their respective entireties of the object.
  • the region corresponding to the field-of-view image on the whole-view image may be specified in real time, or the history of the field-of-view image region may be stored and You may make it display the locus
  • the user of the work information management terminal can check the work status of the worker one by one.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

　作業者の視野を撮影する視野カメラと、視野カメラで撮影された視野画像と、作業領域の全景が撮影された全景画像と、全景画像中の位置により指定される情報とを蓄積する記憶部と、全景画像中の視野画像の位置を特定し、特定された位置により指定された情報を記憶部より読み出す画像処理部と、情報を表示する表示部と、を有することを特徴とする作業支援端末。

Description

作業支援端末および作業支援システム
　本発明は、作業支援端末およびそれを用いた作業支援システムに関する。
　さまざまな作業に拡張現実感技術を適用するためには、重畳表示するための文字列やＣＧ画像等からなるコンテンツを容易に作成できることが望ましい。拡張現実感技術で必要となるコンテンツは、文字列やＣＧ画像等の重畳表示に必要となる情報と、それらと現実世界との対応関係を表す情報と、から構成される。このため、文字列やＣＧ画像等の重畳表示に必要となる情報と現実世界との対応付けを容易に行うための技術が必要となる。
　拡張現実感技術を用いた技術としては、例えば特許文献1があげられる。特許文献１では、撮像された観察対象を画像認識技術により特定し、特定された観察対象にあらかじめ対応付けられた付加画像データを観察対象の状態に応じて加工し、観察対象の画像上に加工した付加画像を重畳表示することが記載されている。
特開２００６－１４８６１８号公報
　作業者の支援に拡張現実感技術を用いる場合、現実世界を撮影した画像上、あるいは作業者の視界上の適切な位置に、文字列やＣＧ画像による情報を重畳表示することにより、作業者に補足的な情報を提供することが考えられる。これには、現実世界を撮影した画像（以下、視野画像という）上、あるいは作業者の視界内のどこに作業対象となる対象物が存在しているかを特定する技術が必要となる。
　上述した特許文献１では、よく知られている画像認識技術の一つであるパターンマッチング技術を用いて現実世界を撮影した画像上における対象物を特定している。すなわち、対象物の特徴的な部分の画像をテンプレートとして用意しておき、現実世界を撮影した画像中からテンプレートと類似度が高い部分を検出することにより、現実世界を撮影した画像中の対象物を特定する技術である。この場合、テンプレートとして用いられる部分は現実世界を撮影した画像中に収まっていることが前提となるため、テンプレートは現実世界の画像よりも小さいものが用いられる。このようなテンプレートを用いて、高精度に作業対象を特定するためには、現実世界を撮影した画像上に対象物全体が撮影されていることが必要となる。
　しかし、この技術を応用し実際の作業支援に使おうとした場合、作業中においては、操作等によって作業の対象となる対象物の大部分が視野画像上では見えない状態が頻繁に発生するため、従来の画像認識技術では対象物を特定することが困難となるという問題がわかってきた。
　また、特許文献１のように3次元の画像を用いた拡張現実感技術では、画条処理の負荷が大きくなり、作業ごとに異なる視野画像を大量に撮影するような作業支援に対して適用することは実質的に困難である。
　本発明の目的は、工事や設備の保守・点検などの各種作業を行う作業者を、拡張現実感技術を用いることにより支援する技術を実現することにあり、特に、拡張現実感技術に必要となるコンテンツの作成が容易で、且つ、現実世界を撮影した画像上に作業対象が一部しか映っていない場合でも作業対象の特定を高精度に行うことができる作業支援技術を実現することにある。
　上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、作業支援端末であって、作業者の視野を撮影する視野カメラと、前記視野カメラで撮影された第1の画像と、作業の対象となる対象物が複数写っている第2の画像とを、前記対象物に関する情報とを記憶する記憶部と、前記第1の画像と前記第2の画像との対応関係を求めることにより、前記第1の画像に写っている前記対象物を特定する画像処理部と、前記第1の画像に写っている前記対象物に関する情報を表示する表示部と、を有し、前記第2の画像には、それぞれの前記対象物の全体が写っていることを特徴とする。
　本発明によれば、作業対象が視野画像、すなわち現実世界を撮影した画像上に一部しか撮影されていない場合でも、作業対象を高精度に特定することが可能となり、作業者の作業が容易になる。
本発明を適用した第一の実施例における作業支援端末を計算機上で実現した場合の構成図である。 本発明を適用した第一の実施例における作業支援端末の外観と、それを用いて作業を実施している様子を示した模式図である。 作業情報登録プログラムにおける処理の流れを示す図である。 全景画像の一例である。 作業対象に関する情報を格納するためのフォーマットを表す図である。 作業対象が登録された場合の画面と、作業対象が選択された場合に表示される内容の一例を説明するための図である。 作業手順に関する情報を格納するためのフォーマットを表す図である。 作業項目を登録するための画面の一例を表す図である。 作業対象が選択された場合に表示される内容の一例を説明するための図である。 作業項目に作業対象が登録された場合の画面の一例を表す図である。 作業手順に作業項目が登録された場合の画面の一例を表す図である。 作業支援端末を用いた作業の流れを示す図である。 作業支援制御プログラムにおける処理の流れを示す図である。 ステップ２１０３における処理の流れを示す図である。 位置、回転角度、サイズ、それぞれにパラメータの変化を固定した場合の視野画像と全景画像のマッチングの様子を示した模式図である。 全景画像上の作業対象の領域を視野画像上に変換した結果の一例を表す図である。 作業項目に関する情報と作業対象の領域を視野画像上に重畳表示した一例を表す図である。 マッチングの履歴に基づいて、視野画像が全景画像に対応する領域を予想する処理を説明するための図である。 作業項目に対応する作業対象が視野画像の範囲外にあると判定された場合の重畳表示の一例を示す図である。 複数枚の全景画像が必要となる作業領域の一例を示す図である。 複数の全景画像間の対応関係の一例を示す図である。 全景画像間の対応関係を表す情報を格納するためのフォーマットを表す図である。 マッチングの履歴に基づいて、視野画像とマッチングを行う全景画像を選択する方法を説明するための図である。 本発明を適用した第二の実施例における作業支援端末を計算機上で実現した場合の構成図である。
　本発明の第一の実施例を図１から図２３を用いて説明する。
　図１は本発明による第一の実施例による作業支援端末を計算機上で実現した場合の構成図である。図１における１０１は、作業支援端末に必要な各種のプログラムを実行するための情報処理装置である。入力装置１０２は、作業中に作業を実施している箇所を撮影した画像あるいは作業中の作業者の視線方向の画像である視野画像を作業支援端末に入力するためのカメラと、作業支援端末の使用者である作業者が各種のプログラムに指示を与えるためのマウスあるいはタッチパネル等の計算機への入力手段から構成される。出力装置１０３は作業者に提示する画像を表示するための手段であり、携帯型計算機のモニタや頭部搭載型の表示装置であるＨＭＤ(Head Mounted Display)等を使用することができる。記憶装置１０４は、作業支援端末で必要となる各種プログラムを格納するための手段であり、作業情報登録プログラム１０５は、現実世界における作業対象物の位置や領域の定義、作業者に提示する情報の登録、およびそれらの間の対応関係を設定することにより、拡張現実感技術に必要となるコンテンツを作成するためのプログラムである。作業支援制御プログラム１０６は、視野画像と後述の全景画像をマッチングすることにより、両画像間の対応関係を求め、視野画像上に作業情報登録プログラム１０５で作成した情報を重畳表示することにより、作業中の作業者を支援する処理を行うためのプログラムである。
　また、画像記憶部１０７には、作業者が作業を実施する作業領域の全景を撮影した画像である全景画像を格納する。全景画像とは、作業領域における、複数の対象物が１枚の画像中に写っている画像であり、それぞれの対象物は全体が収まるよう写っている。このような画像を本明細書では全景画像と呼び、マッチングのテンプレートとして用いる。例えば、装置の指示計器が作業を行う対象物である場合、装置正面に指示計器が１２個あるならば１２の対象物全てが１枚に写っている画像を指す。この全景画像は、作業情報登録プログラム１０５において作業対象物の位置や領域を定義する場合、および、作業支援制御プログラムにおいて視野画像とのマッチングに使用される。作業情報記憶部１０８には、作業者の支援に必要となる情報である、全景画像上に定義した作業対象に関する情報や、作業手順を表す情報を格納する。
　図２は、第一の実施例による作業支援端末の外観とそれを用いて作業を実施している状況を示した模式図である。図２において、２０１は作業領域となる設備である。また、２０２は作業者の視線方向の画像である視野画像を撮影するためのカメラ、２０３は作業情報記憶部１０８に格納された作業情報データを視野画像に重畳表示した画像を表示するためのＨＭＤである。ＨＭＤとしては、カメラ２０２で撮影した視野画像に作業情報記憶部１０８に格納された作業情報データを重畳表示した画像を表示するタイプのＨＭＤの他、作業情報データのみを表示し、現実の作業領域は直接視認することが可能であるシースルー型のＨＭＤを使用することもできる。２０４は、作業情報登録プログラム１０５および作業支援制御プログラム１０６を実行するとともに、画像記憶部１０７および作業情報記憶部１０８を有する携帯型計算機である。携帯型計算機２０４の表示装置２０５には、各種の処理を実行する際に必要となる入力を作業者が行うための入力装置１０２としてタッチパネルが搭載されている。
　＜全景画像と作業情報の登録処理について＞
　図３に、作業情報登録プログラム１０５における全景画像および作業情報を登録する処理の流れを示す。まずステップ３０１において、作業領域の全景を表す全景画像を入力装置１０２の一つであるカメラにより取得、あるいはすでに画像記憶部１０７に格納されている全景画像から選択する。図２に示す構成では、カメラ２０２を用いて取得することができる。次にステップ３０２において、全景画像上における作業対象物の位置や領域を定義する。ここで、作業対象物とは、作業領域中に含まれるメータやスイッチ等、作業者が作業中に目視により確認、あるいは何らかの操作を行う対象物を指すものとする。さらにステップ３０３において、ステップ３０２で定義された作業対象に対してどのような順番でどのような作業を行うかを示す作業手順に関する情報を登録する。情報の登録が完了した全景画像は、画像記憶部１０７に格納される。図３に示す処理の流れでは、全景画像の登録３０１、作業対象の登録３０２および作業手順の登録３０３を順番に実行する形になっているが、すでに作業画像が登録された状態で作業対象の登録３０２から処理を開始すること、作業対象の登録までが完了した状態で作業手順の登録３０３から処理を開始すること、も可能である。
　図４に全景画像の一例を示す。図４の全景画像は図２における設備２０１を正面から撮影した画像である。図４において、８０１、８０２、８０３および８０４は電流計、８０５、８０６、８０７、８０８は設備の状態を表す運転ランプ、８０９、８１０、８１１および８１２は設備を運転・停止するための運転ボタンであるとする。これらの電流計、運転ランプ、運転ボタンを作業対象として、以下、説明を行う。
　図５に、作業対象に関する情報を格納するためのフォーマットを示す。図５において、１００１は作業領域名、１００２は全景画像のファイル名、１００３は登録されている作業対象の数である。１００４および１００７は登録された作業対象名、１００５および１００８は登録された作業対象に関する詳細を表す説明文、１００６および１００９は全景画像上における作業対象の領域を表す矩形領域の頂点座標である。作業対象に関する詳細としては説明文だけでなく、作業対象の仕様書やＣＧ画像等、作業対象に関連する情報であればどのような情報でも登録できる。頂点座標１００６および１００９は、全景画像上の位置を表すＸ軸座標およびＹ軸座標の組を矩形領域の頂点となる４点の座標の組を含んだ形式で格納されるものとする。また、作業対象の領域は、矩形だけでなく、円や任意の多角形等によって表すこともできる。作業対象の領域が円の場合は、１００６や１００９は円の中心座標と半径によって表すことができる。また、任意の多角形の場合、頂点数の座標の組を含んだ形式で１００６や１００９を表すことができる。
　次に、作業対象に関する情報の登録方法について説明する。ここでは、電流計8０１を新たに作業対象として登録する場合について説明する。
　まず、作業対象の領域となる矩形の左上の頂点の位置にマウスポインタを移動し、マウスをドラッグすることにより、矩形領域が設定される。矩形領域を設定した後、作業対象の詳細を入力し、作業対象の登録が完了する。
　また、上記の例では、作業対象の領域を矩形領域で表していたが、例えば、作業対象の領域を円で表す場合は、上記と同様の方法で設定された矩形領域が作業対象の領域を表す円の外接矩形となるような円を、作業領域を表す円として求めればよい。あるいは、円の中心位置にマウスポインタを移動した後、ドラッグにより半径を指定するようにしても良い。あるいは、作業対象の領域が任意の多角形である場合は、頂点座標の位置を順にマウスでクリックしていくことにより、指定するようにしても良い。
　図４の全景画像に対し、２つの作業対象を登録した後の状態を図６に示す。図６において、作業対象一覧１３０１には、「電流計１」と「電流計２」の２つの作業対象が登録されていることが示されている。また、「電流計２」の背景色が黒であることにより、「電流計２」が選択状態であることが示されている。作業対象一覧１３０１中における作業対象の選択は、目的とする作業対象の名称を、マウスによるクリックあるいはタッチパネルのタップにより、変更することができる。さらに、図６では、選択されている「電流計２」の全景画像上での矩形領域１３０２が表示されているとともに、登録済の「電流計２」の詳細１３０３が矩形領域の横に表示されている。全景画像上に表示する作業対象に関する情報としては、矩形領域のみを表示し、矩形領域をマウスによるクリックあるいはタッチパネルのタップした場合に詳細を表示するようにしても良い。
　図７に、作業手順に関する情報を格納するためのフォーマットを示す。図７において、１５０１は作業名、１５０２は登録されている作業項目の数である。１５０３および１５０８は作業項目名、１５０４および１５０９は登録された作業項目に関する内容を表す説明文、１５０５および１５１０は、各作業項目に対応づけられた作業対象の数である。作業項目に関する内容としては説明文だけでなく、別途作成された作業手順書やＣＧ画像等、作業項目の内容を表す情報であればどのような情報でも登録できる。さらに、１５０６、１５０７、１５１１および１５１２は各作業項目に対応づけられた作業対象名である。ここで言う作業項目とは例えば「電流計の値を確認する」といった作業の内容を示す項目であり、この作業項目中で用いられる「電流計１」「電流計２」の情報を作業対象としている。
　作業項目の登録は、ステップ３０２で登録済の作業対象を選択し、作業項目名および作業内容を入力して登録は完了する。登録の際に表示される画面の例を図８に示す。図８において、１６０１は作業項目名を入力する欄、１６０２は作業内容を入力する領域、１６０３は作業項目に対応する作業対象の一覧を表示する領域である。１６０４には、登録された作業対象の一覧が表示されており、１６０５および１６０６により作業項目との対応付けを設定したり、対応付けを解除することができる。１６０７は作業項目に対応付ける作業対象を確認するための全景画像を表示する領域である。
　図８において、１６０４に表示されている作業対象をマウスによるクリックやタッチパネルのタップ等により選択すると、図９の１７０１に示すように、選択された作業対象「電流計１」の表示が選択状態を表す状態、１７０１では背景が黒になった状態に変化するとともに、全景画像上において選択された作業対象の領域１７０２が表示される。この状態で１６０５を押下すると、選択された作業対象が作業項目に対応する作業対象として設定され、図１０の１８０１に示すように、「電流計１」が作業項目に対応する作業対象の一覧に追加される。さらに登録済みの作業対象の一覧１８０２では、作業項目に対応づけられた作業対象「電流計１」が省略された作業対象の一覧が表示される。また、図８において、作業対象の一覧１６０３中における作業対象を選択した後、１６０６を押下すると、選択された作業対象と作業項目の対応付けが解除され、選択された作業対象は１６０３中から削除されるとともに、１６０４の一覧中に追加され表示される。図８に示す画面では、作業対象を順に設定していくだけとなっているが、設定済みの作業対象の順序を変更する機能を追加することもできる。
　図８において、作業項目名および作業内容を入力し、必要な作業対象を設定した後、１６０８を押下すると、入力および設定した情報が作業項目に関する情報として登録され、図８の画面が消去されるとともに元の画面に戻る。また１６０９を押下すると、入力および設定した情報は全て消去され、元の画面に戻る。
　図４の全景画像に対し、２つの作業項目を登録した後の状態を図１１に示す。図１１の作業項目一覧１９０１には、登録された作業項目の名称、「電流計の確認」および「運転ランプの確認」が表示されている。ここで、１９０１における「電流計の確認」をマウスによるクリックあるいはタッチパネルのタップにより選択すると、図１１の１９０２に示すように、選択された作業項目名の表示が選択されたことを示す状態に変化するとともに、作業項目に対応する作業対象の領域１９０３、１９０４、１９０５および１９０６が全景画像上に表示される。さらに、図８の画面で作業対象が登録された順序を表す情報が１９０３、１９０４、１９０５および１９０６の左上の数値に示すように表示される。さらに、作業項目に対応する作業対象の順序だけでなく、各作業対象の詳細を表示するようにしても良い。あるいは、各作業対象の領域に対してマウスによるクリック、あるいはタッチパネルのタップを行うことにより、作業対象の詳細を表示するようにしても良い。さらに、作業内容も全景画像上、あるいは別途表示領域を設け、表示するようにしても良い。
　作業情報登録プログラム１０５では、以上のような方法により、全景画像の登録、作業対象の登録、および作業手順の登録を行う。
　＜作業支援制御プログラムの処理について＞
　作業支援制御プログラム１０６の処理について説明する。
　作業支援制御プログラム１０６は、作業情報登録プログラムによって登録した作業手順に関する情報に基づいて、拡張現実感技術による情報の重畳表示を行い、作業者の作業を支援する。
　図１２に、作業支援端末を用いた作業の流れを示す。まず作業を行う作業者は、カメラ２０２により視野画像を撮影する（ステップ２００１）。次に、作業支援端末は、全景画像よりも小さい範囲を撮影した視野画像と全景画像とのマッチングを行い（ステップ２００２）、ステップ２００３にて全景画像中の視野画像の位置による対応関係を特定する。ステップ２００３で特定された位置に対応する作業項目や作業対象に関する情報を、作業支援端末の表示部に表示し（ステップ２００４）、表示された情報をもとに作業者は作業を行う（ステップ２００５）。図２０中のステップ２００２からステップ２００４までの作業支援制御プログラムの流れを図１３，１４にて詳細に説明する。
　図１３に作業支援制御プログラム１０６の処理の流れを示す。図１３において、まず、ステップ２１０１で作業者が実施する作業を選択し、読み込む。作業の選択には、図７で示すフォーマットで保存された作業手順に関する情報の内、作業者が選択した作業１５０１に関する情報を読み込むようにすればよい。ステップ２１０２では、読み込んだ作業１５０１に関する情報の内、最初の作業項目１５０３に関する情報を選択する。ステップ２１０３では、カメラ２０２から取得した視野画像と全景画像とをマッチングさせることにより、視野画像と全景画像との対応関係を求める。図７に示すフォーマットには全景画像の情報が含まれていないが、その中に含まれる作業対象名から作業対象に関する情報をたどることにより、関連する全景画像を特定することができる。
　図１４にステップ２１０３で行う処理の詳細な流れを示す。図１４に示す処理では、大まかなマッチングをステップ２２０１から２２０５において、詳細なマッチングをステップ２２０６から２２１０で行う２段階の処理としている。図１４において、ステップ２２０１では、視野画像と全景画像のマッチングを行う位置、全景画像とマッチングを行う際の視野画像の回転角度、全景画像とマッチングを行う際の視野画像の大きさ、の３種類のパラメータの組み合わせの内、ステップ２２０２以降の処理を行っていない組み合わせを検索し、該当する組み合わせが残っている場合は、ステップ２２０２に進む。全ての組み合わせに対して処理が行われていた場合は、ステップ２２０６に進む。パラメータの組み合わせを求める際には、各パラメータの上限値、下限値および変化量を求め、これらの範囲内で各パラメータを変化させることにより、パラメータの組み合わせを求める。
　ステップ２２０２では、処理が行われていないパラメータの組み合わせを一つ選択する。さらに、２２０３では、選択されたパラメータの組み合わせによって決定される領域の画像を全景画像から切り出し、視野画像と同じ大きさに調整する。位置、回転角度、大きさ、それぞれにパラメータの変化を固定した場合の、視野画像と全景画像のマッチングのイメージを図１５に示す。図１５において、２３０１が視野画像、２３０２、２３０３および２３０４が全景画像を示している。２３０２において、２３０５で示される各矩形領域は、マッチングを行う位置のみを変化させた場合に視野画像とのマッチングを行うための全景画像上の領域である。２３０３において、２３０６で示される各矩形領域は、回転角度のみを変化させた場合に視野画像とのマッチングを行うための全景画像上の領域である。また、２３０４において、２３０７で示される各矩形領域は、大きさのみを変化させた場合に視野画像とのマッチングを行うための全景画像上の領域となる。全景画像中において、形状の同じ対象物が複数ある場合には、図１５のように、実際の装置の一部にマーキング４５０１をしておき、マーキング４５０１を含める形で全景画像を撮影してもよい。マーキングの位置により、視野画像と全景画像との位置関係が明確になる。
　ステップ２２０３で行われる処理では、位置、大きさ、回転角度に基づいて全景画像上の画像を視野画像と同じ大きさに変換するための変換行列を求め、この変換行列により、全景画像上の該当する領域の画像を切り出すとともに、切り出した画像を視野画像と同じ大きさに調整する。このような変形は、アフィン変換と呼ばれる図形の移動や変形に使用される技術を用いることにより、容易に実現することが可能である。
　次に、ステップ２２０４において、視野画像と全景画像から切り出した画像とをマッチング(比較)し、類似度を求める。類似度を求めるための計算式としては、画像認識において一般に用いられる各種計算式であればどのような計算式でも用いることができる。例えば、以下の式1
Figure JPOXMLDOC01-appb-M000001
で定義されるＳＳＤ(Sum of Squared Differences)と呼ばれる類似度や、以下の式２
Figure JPOXMLDOC01-appb-M000002
で定義される正規化相互相関等を利用することができる。さらにステップ２２０５では、求めた類似度とパラメータの組み合わせを保存してステップ２２０１に戻る。
　ステップ２２０６では、求めた類似度の内、一番類似度が高いパラメータの組み合わせを選択し、それらのパラメータによって決定される全景画像上の領域を視野画像で見えている領域と判断し、ステップ２２０７以降で行われる処理の初期値として設定する。なお、式１は類似度が高いほど小さい値となり、式２は類似度が高いほど大きい値をとるため、用いる計算式に合わせて類似度の大小を判定する方法は変更する必要がある。
　ステップ２２０７では、設定されている全景画像上の領域の頂点座標を少し移動した場合の類似度の変化に基づいて、領域を表す各頂点を変更する。これは、実際に撮影された視野画像が、全景画像とは違い作業対象を真正面から撮影したものでない場合、視野画像に合わせて全景画像に傾きをつける目的で各頂点座標の位置を調整するためのステップである。このステップでは、全景画像上の矩形領域の各頂点をＸ軸およびＹ軸方向に少しずつ変化させながら画像間の類似度を計算し、頂点を変更していく。さらに、ステップ２２０８では、新たに決定した頂点で表される全景画像上の領域を切り出し、視野画像と同じ傾きに見えるよう、大きさを調整する。この処理は、射影変換と呼ばれる技術を用いることにより、容易に実現することができる。例えば、全景画像上の任意の位置を
Figure JPOXMLDOC01-appb-M000003
上記の位置に対応する視野画像上の位置を
Figure JPOXMLDOC01-appb-M000004
とすると、対応する４つの頂点の座標から、
Figure JPOXMLDOC01-appb-M000005
となる変換行列Ｈが求められることが知られている。ここでｓはスカラ量である。ステップ２２０８では、全景画像上の領域を表す頂点座標と視野画像の各頂点との対応関係から(式５)における変換行列Ｈを求め、求めた変換行列Ｈを用いて全景画像を変形することにより、全景画像上の領域の切り出しおよび視野画像と同じサイズへの調整を行う。なお、全景画像上の任意の座標ｐは、以下の式により、視野画像と同じサイズの画像上の座標ｐ’に対応付けられる。
Figure JPOXMLDOC01-appb-M000006
　ステップ２２０９では、上記により全景画像から切り出した画像と視野画像との類似度を求める。類似度の計算式はステップ２２０４で使用した計算式と同じ計算式を使用しても良いし、異なる計算式を用いても良い。さらに、ステップ２２１０では、ステップ２２０７で変更する前の全景画像上の領域と視野画像との類似度と、ステップ２２０７によって変更した後の全景画像上の領域と視野画像との類似度と、を比較し、その差分があらかじめ定めされた閾値未満であるかを判定する。類似度の差が閾値未満でなければ、ステップ２２０７に戻る。類似度の差が閾値未満であれば、その時の各頂点で表される領域を、視野画像と最も良くマッチする全景画像上の領域として、処理を終了する。またステップ２２０６において、あらかじめ定めた個数の候補を類似度が上位のものから選択し、選択した候補全てに対してステップ２２０７以降の処理を行い、その結果、もっとも類似度が高くなるものを最終的なマッチング結果として選択するようにしても良い。
　ステップ２２０７からステップ２２１０までの処理は、一般に最適化問題で利用されるアルゴリズムと同様である。このため、ステップ２２０７における頂点座標の変更方法としては、最適化問題で利用される各種のアルゴリズム、例えば、最急降下法やニュートン法等の方法をそのまま使用することができる。例えば、最急降下法を用いる場合は、ステップ２２０７において、Pkをある時点における４つの頂点座標から構成される８次元のベクトルとして、
Figure JPOXMLDOC01-appb-M000007
により、変更した座標を求めることができる。ここでαはあらかじめ定められた定数、D(Pk)はPｋで示される全景画像上の領域と視野画像との類似度であり、また▽は偏微分を行うことを表す演算子である。
　図１３におけるステップ２１０４では、ステップ２１０３で決定された視野画像と全景画像の座標の対応関係に基づいて、全景画像上の領域を視野画像に対応付ける変換行列を求める。この変換行列はステップ２２０８を使用した（式５）で求められる射影変換行列と同様である。
　さらに、ステップ２１０５では、選択されている作業項目に対応付けられている作業対象の全景画像上における領域を作業対象に関する情報から取得し、取得した領域を上記で求めた変換行列を用いて、視野画像上の領域にと対応するように変換する。図１６に、全景画像上の作業対象の領域を視野画像上の領域に変換した例を示す。図１６では、全景画像上の領域２７０１および２７０２が視野画像上の領域２７０３および２７０４に変換されている。
　ステップ２１０６では、ステップ２１０５により視野画像上の領域として変換された作業対象の領域の座標と、図５のように登録された全景画像中の作業対象の座標とを比較し、視野画像上に存在する作業対象を判定する。次に、視野画像上に存在すると判定された作業対象に関する情報を、図７の登録情報から検索し、視野画像上に重畳表示する。さらに２１０７では、選択されている作業項目名および作業内容に関する情報も、視野画像上に重畳表示する。シースルー型の表示装置の場合には、作業対象に関する情報や項目名、作業内容に関する情報のみを、表示する。このように、視野画像と対応する全景画像との位置関係を２次元座標で特定することで、視野画像中の対象物の一部が欠けていたとしても、図５に示すフォーマットをもとに視野画像中の作業対象を特定することができる。
　図１７に、作業対象の領域２８０１と２８０２、および作業項目名と作業内容２８０３を視野画像上に重畳表示した例を示す。図１７では、作業対象に関する情報として、作業対象の領域を示す四角形のみを重畳表示しているが、各作業対象に関する詳細を重畳表示するようにしても良い。この他、作業対象に関する情報は、視野画像上で識別が容易な方法であれば、どのような方法を用いることもできる。また、作業項目名および作業内容２８０３は、画面右上に表示されているが、作業対象の位置に基づいて、表示位置を変更するようにしても良い。
　図１３におけるステップ２１０８では、選択されている作業項目が完了したかどうかを判定し、完了していない場合は２１０８に戻ることにより完了するまで待機し、完了した場合はステップ２１０９に進む。どの作業項目まで完了しているかについての情報は、作業情報記憶部１０８に記憶される。各作業が完了したかどうかの判定は、例えば、図２に示す携帯型計算機２０４の画面上に、作業項目の一覧と、それぞれの作業項目対するチェック欄を表示し、作業者がチェック欄をマウスによるクリックあるいはタッチパネルのタップ等によりチェックを行うことにより、選択されている作業項目が完了したかどうかを判定することが可能である。作業者が完了のチェックを行った作業項目については、チェックマークが表示されるようにすればよい。また、現在の作業において、選択されている作業項目が容易に識別できるように、色や文字等の表示形態を他の作業項目と異なる表示形態にして表示するようにしても良い。図１３のステップ２１０９では、作業手順に関する情報を確認し、全ての作業項目が完了したかどうかを判定する。完了していない作業項目が存在する場合は、ステップ２１１０において次の作業項目を選択し、ステップ２１０３に戻る。全ての作業項目が完了した場合は、処理を終了する。
　以上のように作業支援制御プログラムでは、作業者の作業開始の入力に基づいて視野画像を撮影し、視野画像と全景画像のマッチングを行う。そのマッチング結果に基づいて視野画像中の対象物を特定し、視野画像中の対象物およびに作業項目に対応する作業対象の位置を示す記号や作業内容等を重畳表示することにより、作業者の作業を支援する。視野画像を撮影した際には、撮影した日時も合わせて記録しておくことで、あとで管理者が作業を実際に行ったかの確認に用いることもできる。
　なお、図１４に示すステップ２２０１からステップ２２０５までの処理において、視野画像を全景画像にマッチングする際の３種類のパラメータ、位置、回転角度および大きさに関する上限値および下限値として、何枚かの視野画像に対する処理が既に行われた場合は、その履歴を用いて、上限値および下限値を決定するようにしても良い。
　例えば図１８において、全景画像全体を対象として行われた視野画像と全景画像のマッチングの結果、決定された領域が３１０１および３１０２であった場合、３１０１から３１０２への移動距離および移動方向から、３１０３が次の領域として予想される。実際には、領域の移動距離や移動方向が予想から外れる場合も想定されることから、例えば、３１０３を中心として、あらかじめ定められた余裕を考慮した３１０４を次の領域の予想範囲として、この予想範囲から各パラメータの上限値と下限値を決定することができる。この場合、領域の移動距離や移動方向が予想から大きく外れた場合も想定し、視野画像と全景画像のマッチングを行った結果得られたもっとも高い類似度があらかじめ定められた閾値未満の場合は、予測に基づくマッチングを打ち切り、全景画像全体を対象としたマッチングに切り替えるようにしても良い。
　また、ステップ２１０６において、作業対象が視野画像の範囲外に存在する場合は、作業対象が存在する方向を視野画像上に重畳表示するようにしても良い。例えば視野画像が対応する全景画像上の領域が全景画像から一部はみ出した領域であり、作業対象が視野画像内に存在しない場合、全景画像と視野画像の位置関係はすでにステップ２１０５で得られているので、視野画像の中心座標から見た作業対象の方向を求めることにより、図１９のように、矢印等を用いて、作業対象が存在する相対的な方向を示すようにすることが可能である。このとき、現在の作業項目において作業すべき作業対象を特定する情報は、ステップ２１０８、２１０９において作業情報記憶部１０８に記憶されている。そこで、作業情報記憶部１０８を参照すれば、現在の作業項目において適切な作業対象を特定し、相対的な方向を示すことができる。
　例えば、全景画像２３０２と視野画像２３０１があり、ステップ２１０２で選択された最初の作業対象が３２０１であったとする。ステップ２１０４で全景画像２３０２と視野画像２３０１の位置関係を求めた後、ステップ２１０５にて全景画像２３０２を、視野画像２３０１を中心として変換する。その後、視野画像２３０１の中心座標からみて作業対象３２０１が存在する方向を示す矢印３２０３を、視野画像２３０１に対して重畳表示すればよい。
　また、ステップ２１０８において、選択されている作業項目が完了したかどうかの判定を行う方法として、作業者の指を使用することもできる。この場合、作業者は、視野画像中に作業対象の領域と指が重なって映るようにする。手の領域は、例えば肌色の領域のみを画像中から検出することにより容易に抽出することができる。また、手袋を装着している場合は、手袋の色を手掛かりとして領域を抽出すれば良い。さらに、抽出した領域の幅から指の領域を判定し、指の先端部分の位置を特定する。抽出した指の領域と作業対象の領域との重なりを視野画像上で判定し、例えば、重なっている領域の大きさと重なっている時間が、あらかじめ定められた閾値以上の場合は、その作業対象に関する作業が完了したと判定することができる。作業対象と指との重なりは、作業対象と手全体との重なりによって判定を行うこともできる。選択された作業項目に対応する作業対象が複数ある場合は、対応する全ての作業対象に対して、同様の処理を行えばよい。
　このように、作業対象と指との重なりを検出し、作業完了と判定された場合、次に作業が完了したか否かの判定を行うべき作業対象の領域が視野画像上で重畳表示により示される、というように、完了した作業対象の領域は視野画像上から消去し、完了していない作業対象の領域のみを視野画像上に重畳表示するようにもできる。
　また、選択されている作業項目に対応する作業対象の領域を順番に表示していくのではなく、作業が完了していない作業対象の領域は全て表示し、作業が完了した作業対象の領域のみを消去していくようにしても良い。あるいは、選択されている作業項目に対応する作業対象の領域の内、作業が完了した作業対象の領域の表示と完了していない作業対象の領域の表示では、色や模様等の表示形態を変えるようにしても良い。さらには、作業者の指ではなく、先端が識別容易な色や形状に加工された棒状の道具を作成し、それを用いて上記と同様の方法により、作業項目が完了したかどうかを判定するようにしても良い。このような道具を使用する場合、両端の色や形状を異なる色や形状とすることにより、一方の端を作業対象の領域と重ね合わせた場合は作業対象に対する作業の完了を表し、もう一方の端を作業対象の領域と重ね合わせた場合は、その作業対象の詳細を視野画像上に重畳表示する、というような使い方が可能となる。
　また、以上の説明では、全景画像は一枚であり、作業対象は全て一枚の全景画像上に定義されるという設定で説明を行っていたが、本発明は全景画像が複数枚である場合にも対応することができる。図２０に、全景画像が複数枚になる作業領域である設備の例を示す。図２０に示す設備は、図２に示す設備と異なり、中央部分に扉３９０１が設置されている。さらに扉の内部にも作業対象３９０２が存在している。この場合、全景画像としては、図２１に示すように、扉を閉めた状態で作業領域全体を撮影した画像４００１と、扉を開けて内部を中心に撮影した画像４００２の２枚の画像を使用する。さらに、４００１と４００２の対応関係を図２１に示すように、扉の領域を示す四角形４００３と４００４の対応関係により表す。図２１の例において、扉の領域を対応付けに用いた理由は、領域間の対応付けが明確であり、設定が容易であるためであり、対応関係が明確であれば、画像上の任意の４つ以上の点を用いることができる。
　図２２は全景画像間の対応関係を表す情報を格納するためのフォーマットであり、４１０１は対応元となる全景画像のファイル名、４１０２は対応元となる全景画像上の領域を表す頂点座標の列である。また、４１０３は対応先となる全景画像のファイル名、４１０４は対応先となる全景画像上の領域を表す頂点座標の列である。図２２で示されるフォーマットにより、全景画像間の対応関係を表す情報を全景画像のファイルとともに格納することにより、選択された作業手順に含まれる作業対象に関する情報と全景画像間の対応関係を表す情報とに基づいて、必要な全景画像を自動的に選択することができる。
　作業支援制御プログラム１０６の処理における視野画像と全景画像とのマッチングでは、基本的には、関連する全ての全景画像と視野画像とのマッチングを行い、視野画像との類似度が最も高くなる全景画像とその画像上で視野画像が対応する領域とを求める。また、すでに何枚かの視野画像との対応付けが行われている場合は、その履歴を用いることにより、視野画像とのマッチングを行う全景画像の範囲を制限することもできる。例えば、視野画像と対応する全景画像の領域が扉４００３の領域を含んでいる場合には、視野画像と全景画像とのマッチングでは、図２１における全景画像４００１および４００２の両方の画像を対象とする。一方、予想される領域が扉の領域を含まない場合は、全景画像４００１のみを用いるだけでよい。
　さらに、作業領域が水平方向あるいは垂直方向に長い場合、作業領域全体を撮影することが困難となるため、作業領域の一部分で、且つ、互いに重なり合う部分を含む画像を撮影し、画像間の対応関係とともに保存しておく。この場合の全景画像としては、重なり合う部分を含まない画像を用いることもできる。また、作業対象は、それらが含まれる全景画像全てに対して同じ名称で登録しておく。視野画像と全景画像とのマッチングは上述した方法と同様の方法を用いることにより、作業領域全体の画像が複数の全景画像から構成される場合においても、視野画像と複数の全景画像との対応する位置関係を求め、視野画像の位置および対象物を特定し、作業に必要な情報を視野画像上に重畳表示することが可能となる。
　以上の処理では、視野画像が対応する全景画像は、マッチングの結果として求められる類似度にのみ基づいて特定していたが、例えば、相互に区別が容易で、且つ、作業対象との区別も容易である色や形状、模様から成るマーカーを作業領域上に設置するとともに、マーカーと全景画像との対応関係を表す情報を保存し、これらのマーカーを視野画像中から検出することにより視野画像が対応する全景画像を特定するようにしても良い。マーカーは一枚の全景画像上に一つだけでなく、複数枚のマーカーが含まれるようにしても良い。マーカーを設置する位置としては、任意の場所で良いが、特に各全景画像上で行われる作業の初期段階における作業対象の付近に設置することにより、効率よく全景画像を切り替えることが可能になる。また、視野画像上のマーカーの検出には、画像認識技術で用いられる一般的な方法を用いることができる。例えば、マーカーの画像をテンプレートとして用意しておき、テンプレートを視野画像とマッチングすることにより、視野画像上のマーカーを検出することができる。
　また、図２に示した構成では、入力装置１０２としてカメラ２０２を、出力装置としてＨＭＤ２０３および携帯型計算機２０４のモニタ２０５を利用していたが、表示部を具備した携帯型計算機２０４を利用することもできる。携帯型計算機としては、入力手段であるタッチパネルが一体化された表示装置２０５が装備されているものとする。これにより、作業者が指やペン等により画面上で直接、計算機への入力を行うことができる。また、携帯型計算機の背面、すなわち、表示部の反対側の面には、カメラが装備されており、携帯型計算機の表示部を作業者に向けた状態で携帯型計算機を作業領域に対してかざすことにより、作業領域の画像がカメラにより取得され、表示部に表示される。作業支援制御プログラム１０６では、携帯型計算機の背面に設置されたカメラから取得される画像を視野画像として処理を行う。
　このような構成の場合にも作業情報登録プログラム１０５および作業支援制御プログラム１０６が行う処理は、上記に説明した内容と同様である。ただし、入力装置および出力装置の違いにより、作業支援制御プログラム１０６において各作業項目が完了したと判定する際、すなわち図１３のステップ２１０８で行われる判定の際、作業者が携帯型計算機２０４に対して行う操作方法として、異なる方法を使用することができる。以下、上記と異なる操作方法について説明する。
　ＨＭＤを使用する場合は、たとえば図１７と同様の画像をＨＭＤ上に表示するとともに、作業項目の一覧を携帯型計算機の画面上に表示し、この一覧の内容にチェックを行っていくことにより、作業者が各作業項目の完了を作業支援制御プログラムに通知する構成となっていたが、携帯型計算機のみを使用する場合は、作業者が使用できる表示装置が一つのみとなるため、重畳表示が行われた画像と作業項目の一覧を同時に表示すると、画面の視認性が低下する可能性がある。そこでこの場合には、作業項目に関する情報と作業対象の領域を重畳表示するとともに、作業項目の完了を通知するためのチェック欄を作業項目の表示箇所に設ける。作業者は、表示されているチェック欄を作業者の指やあるいはペン等によりタップすることにより、表示されている作業項目の完了を作業支援制御プログラムに通知することができる。
　また前述の構成では、選択されている作業項目に関連する作業対象に対して、作業者の指や手、あるいは特殊な道具を視野画像上に重ねることにより、作業対象毎に作業の完了を通知する方法も使用可能としていた。これに対し、携帯型計算機のみを使用する場合は、画面上に重畳表示されている作業対象の領域を指あるいはペン等によりタップすることによりこの操作を行うことができる。作業対象の領域上でタップが行われた場合、作業支援制御プログラムはタップされた作業対象に対する作業が完了したと判断し、次の作業対象の領域を重畳表示する。また、作業対象の領域をダブルタップ（二回連続でタップする）や、しばらく画面を押す動作、等により、作業対象の詳細を重畳表示するようにすることもできる。
　以上をまとめると、本実施例で述べた作業支援端末は、作業者の視野を撮影する視野カメラと、視野カメラで撮影された第１の画像と、作業の対象となる対象物が複数写っている第２の画像とを、前記対象物に関する情報とを記憶する記憶部と、前記第１の画像と前記第２の画像との対応関係を求めることにより、前記第１の画像に写っている前記対象物を特定する画像処理部と、前記第１の画像に写っている前記対象物に関する情報を表示する表示部と、を有し、前記第２の画像には、それぞれの前記対象物の全体が写っていることを特徴とする。
　このように、視野画像よりも大きい全景画像を用い、全景画像中から視野画像と対応する領域を探すことで、視野画像中の作業対象が一部欠けて写っていても、作業対象を特定することができる。そのため、何度も視野画像を撮影しなおすことなく、スムーズに作業支援を行うことが可能となる。
　また、視野画像および全景画像は２次元情報であるため、３次元情報を元に画像処理を行った場合と比べ、画像処理に必要な時間やメモリが大幅に低減できる。
　本発明における第二の実施例を図２４により説明する。本実施例では、実施例１の作業支援端末が行っていた画像処理や、全景画像登録等を、作業支援端末とネットワークを介して接続された作業情報管理用端末（情報処理装置）によって行う作業支援システムであり、実施例１と同様の効果を奏することができる。
　図２４は本発明による第二の実施例による作業支援端末を一般的に使用される計算機上で実現した場合の構成図であり、図１に示す第一の実施例による作業支援端末における構成要素を、作業者用端末５３０１と作業情報管理用端末５３１２に分離し、作業者用端末５３０１と作業情報管理用端末５３１２をネットワーク５３１１により接続した構成となっている。
　図２４における作業者用端末５３０１には、各種のプログラムを実行するための情報処理装置５３０２、視野画像を撮影し画像として入力するためのカメラや作業者が各種のプログラムに指示を与えるためのマウスあるいはタッチパネル等から構成される入力装置５３０３、携帯型計算機のモニタやＨＭＤ等による出力装置５３０４、作業情報管理用端末５３１２との間で情報のやり取りを行うための通信装置５３０５、各種のプログラムを格納する記憶装置５３０６、作業者が作業を実施する作業領域の全景を撮影した画像である画像記憶部５３０９、および作業者の支援に必要となる情報である、全景画像上に定義した作業対象に関する情報や作業手順に関する情報を格納した作業情報記憶部５３１０が含まれる。また、記憶装置５３０６には、視野画像と全景画像をマッチングした結果に基づいて、視野画像上に作業者を支援するための情報を重畳表示する作業支援制御プログラム５３０７と、作業情報管理用端末５３１２との間で情報のやり取りを行うための送受信プログラム５３０８が含まれる。
　また、作業情報管理用端末５３１２には、各種のプログラムを実行するための情報処理装置５３１３、作業者が作業を実施する作業領域の全景を撮影した画像である全景画像を入力するためのカメラや、作業対象に関する情報や作業手順に関する情報である作業情報の登録や修正、管理に必要となる操作を行うためのキーボード、マウス、タッチパッド等の入力装置５３１４、作業情報の内容の表示や編集用の画面を表示するためのモニタやスピーカ等の出力装置５３１５、作業者用端末５３０１との間で情報のやり取りを行うための通信装置５３１６と、各種のプログラムを格納する記憶装置５３１７、作業者が作業を実施する作業領域の全景を撮影した画像である画像記憶部５３２０、および作業者の支援に必要となる情報である、全景画像上に定義した作業対象に関する情報や作業手順に関する情報を格納した作業情報記憶部５３２１が含まれる。
　また、記憶装置５３１７には、現実世界における作業対象の位置や領域の定義、作業者に提示する情報の登録、およびそれらの間の対応関係を設定することにより、作業者の支援に必要となるコンテンツを作成するためのプログラムである作業情報登録プログラム５３１８と、作業者用端末５３０１との間で情報のやり取りを行うための送受信プログラム５３１９が含まれる。
　図２４に示す第二の実施例における構成要素において、図１に示す第一の実施例における構成要素と同一の構成要素における機能は、第一の実施例において説明した機能と基本的に同様である。さらに、第二の実施例では、一部の構成要素について、作業者用端末５３０１と作業情報管理用端末５３１２の間で情報のやり取りを行うための機能が追加される。以下、第二の実施例において追加される機能について説明する。
　まず、作業者用端末５３０１では、作業手順や作業対象、全景画像に関する情報が格納されていない場合は、作業の開始時に、実施する作業に関する作業手順に関する情報を作業者に選択させる。利用可能な作業手順に関する情報は作業情報管理用端末５３１２に格納されているため、作業支援制御プログラム５３０７は、送受信プログラム５３０８を用いて、作業情報管理用端末５３１２から作業手順に関する情報の一覧を取得した後、出力装置５３０４上に作業手順の一覧を表示する。作業者が実施する作業に対応する作業手順に関する情報を選択すると、その結果は送受信プログラム５３０８を用いて作業者用端末５３０１から作業情報管理用端末５３１２に送信され、作業情報管理用端末５３１２では選択された作業手順に関する情報とそれに関連する作業対象に関する情報および全景画像を画像記憶部５３２０および作業情報記憶部５３２１から抽出する。さらに、抽出された情報は、送受信プログラム５３１９を用いて作業者用端末５３０１に送信され、作業者用端末５３０１において、受信された全景画像は画像記憶部５３０９に、作業手順と作業対象に関する情報は作業情報記憶部５３１０に格納される。
　作業が開始されると作業者用端末５３０１において、第一の実施例と同様に、作業支援制御プログラム５３０７は、視野画像をマッチングした結果に基づいて、実施中の作業に関連する情報を視野画像上に重畳表示することにより、作業者の支援を行う。
　第二の実施例においては、作業者用端末から作業者の視野画像や作業の進捗に関する情報、視野画像と全景画像の対応関係を作業情報管理用端末に送信し、作業情報管理用端末では受信した内容をモニタ上に表示するようにしても良い。例えば、視野画像は作業者用端末から送信された画像を作業情報管理用端末でそのまま表示すれば良い。
　また、作業の進捗状況としては、実施例１と同様の画面を作業情報管理用端末で表示すればよい。作業情報管理用端末の中に作業手順や作業対象に関する情報や全景画像が既に格納されている場合は、作業情報を識別する情報と、作業が完了した作業項目および作業情報の番号のみを作業者用端末から作業情報管理用端末に送信すれば良い。作業情報管理用端末の中に作業手順や作業対象に関する情報や全景画像が格納されていない場合は、これらの情報も作業者用端末から作業情報管理用端末に送信するようにできる。
　以上をまとめると、本実施例で述べた作業支援システムは、作業者の視野を撮影する視野カメラと、画像表示部と、前記視野カメラで撮影された第１の画像と、作業の対象となる対象物が複数写っている第２の画像と、前記対象物に関する情報とを記憶する記憶部と、前記第１の画像と前記第２の画像との対応関係を求めることにより、前記第１の画像に写っている前記対象物を特定する画像処理部とを具備する端末と、前記端末とネットワークを介して接続される情報処理装置と、を有し、前記情報処理装置は、前記第２の画像と前記第２の画像中の対象物に関する情報を前記端末に送信し、前記第２の画像を受信した前記端末は、前記第１の画像と前記第２の画像とのマッチング結果に基づいて、前記端末が受信した情報を前記画像表示部に表示し、前記第２の画像には、それぞれの前記対象物の全体が写っていることを特徴とする。
　さらに、視野画像と全景画像の対応関係に基づいて、全景画像上において視野画像が対応する領域をリアルタイムに明示するようにしても良いし、あるいは、視野画像の領域の履歴を保存し、全景画像上に作業者の視野画像の軌跡を表示するようにしても良い。これにより、実施例１の効果に加え、作業情報管理用端末の使用者が作業者の作業の状況を逐一、確認することが可能となる。
　１０１　情報処理装置
　１０２　入力装置
　１０３　出力装置
　１０４　記憶装置
　１０５　作業情報登録プログラム
　１０６　作業支援制御プログラム
　１０７　画像記憶部
　１０８　作業情報記憶部
　２０１　作業領域
　２０２　カメラ
　２０３　ＨＭＤ(Head Mounted Display)
　２０４　携帯型計算機　　
　２０５　モニタおよびタッチパネル
　５３０１　作業者用端末
　５３０５　通信装置
　５３０８　送受信プログラム
　５３１１　ネットワーク
　５３１２　作業情報管理用端末
　５３１６　通信装置
　５３１９　送受信プログラム

Claims (13)

  1. 　作業者の視野を撮影する視野カメラと、
    　前記視野カメラで撮影された第１の画像と、付加情報を表示する対象となる対象物が写っている第２の画像と、前記付加情報とを記憶する記憶部と、
    　前記第１の画像と前記第２の画像との位置関係を求めることにより、前記第１の画像に写っている前記対象物を特定する画像処理部と、
    　前記第１の画像に写っている前記対象物についての付加情報を表示する表示部と、を有し、
    　前記第２の画像は、前記対象物が複数配置された作業領域を撮影した画像であることを特徴とする作業支援端末。
  2. 　請求項１において、
    　前記第１の画像と前記第２の画像との位置関係は、前記第２の画像中の２次元座標で表されることを特徴とする作業支援端末。
  3. 　請求項１において、
    　前記第１の画像中に前記対象物が写っていない場合には、前記画像処理部により求めた位置関係により、前記第１の画像から前記対象物への方向を示す矢印を表示することを特徴とする作業支援端末。
  4. 　請求項１において、
    　前記表示部は前記第１の画像と前記付加情報とを重ねて表示することを特徴とする作業支援端末。
  5. 　請求項１において、
    　前記作業支援端末は、入力装置をさらに有し、
    　前記入力装置に対し前記作業者の作業が開始されたことを示す入力があった場合に、前記視野カメラは前記第１の画像を撮影することを特徴とする作業支援端末。
  6. 　請求項１において、
    　前記作業支援端末は、外部の情報処理装置と通信する手段をさらに有し、
    　前記記憶部には、さらに前記第１の画像を撮影した時刻が記憶されることを特徴とする作業支援端末。
  7. 　作業者の視野を撮影する視野カメラと、画像表示部と、前記視野カメラで撮影された第１の画像と、付加情報を表示する対象となる対象物が写っている第２の画像と、前記付加情報とを記憶する記憶部と、前記第１の画像と前記第２の画像との位置関係を求めることにより、前記第１の画像に写っている前記対象物を特定する画像処理部とを具備する端末と、
    　前記端末とネットワークを介して接続される情報処理装置と、を有し、
    　前記情報処理装置は、前記第２の画像と前記第２の画像中の対象物についての付加情報を前記端末に送信し、
    　前記端末の前記画像表示部は、前記端末が受信した前記付加情報を表示し、
    　前記第２の画像は、前記対象物が複数配置された作業領域を撮影した画像であることを特徴とする作業支援システム。
  8. 　請求項７において、
    　前記第１の画像と前記第２の画像との位置関係は、前記第２の画像中の２次元座標で表されることを特徴とする作業支援システム。
  9. 　請求項８において、
    　前記第１の画像中に前記対象物が写っていない場合には、前記画像処理部により求めた位置関係により、前記第１の画像から前記対象物への方向を示す矢印を表示することを特徴とする作業支援システム。
  10. 　請求項７において、
    　前記表示部は前記第１の画像と前記付加情報とを重ねて表示することを特徴とする作業支援システム。
  11. 　請求項７において、
    　前記端末は、入力装置をさらに有し、
    　前記入力装置に対し前記作業者の作業が開始されたことを示す入力があった場合に、前記視野カメラは前記第１の画像を撮影することを特徴とする作業支援システム。
  12. 　請求項７において、
    　前記端末は、外部の情報処理装置と通信する手段をさらに有し、
    　前記記憶部には、前記第１の画像と前記第１の画像を撮影した時刻と、が記憶され、
    　前記端末とネットワークを介して接続される情報処理装置に、前記第１の画像と前記時刻とを送信することを特徴とする作業支援システム。
  13. 　作業者の視界である第１の画像を撮影する第１のステップと、
    　データベースに保持されている第２の画像と前記第１の画像との位置関係を求める第２のステップと、
    　前記第２のステップで求めた位置関係をもとに、前記第１の画像中に含まれ、付加情報を表示する対象となる対象物を特定する第３のステップと、
    　前記第３のステップで特定された前記対象物についての付加情報を読み出し、表示する第４のステップとを有し、
    　前記第２の画像は、前記対象物が複数配置された作業領域を撮影した画像であることを特徴とする作業支援方法。
PCT/JP2012/082860 2012-12-19 2012-12-19 作業支援端末および作業支援システム Ceased WO2014097413A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014552805A JP6077010B2 (ja) 2012-12-19 2012-12-19 作業支援端末および作業支援システム
BR112015013028A BR112015013028A2 (pt) 2012-12-19 2012-12-19 terminal, sistema e método de suporte de operação
PCT/JP2012/082860 WO2014097413A1 (ja) 2012-12-19 2012-12-19 作業支援端末および作業支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/082860 WO2014097413A1 (ja) 2012-12-19 2012-12-19 作業支援端末および作業支援システム

Publications (1)

Publication Number Publication Date
WO2014097413A1 true WO2014097413A1 (ja) 2014-06-26

Family

ID=50977797

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/082860 Ceased WO2014097413A1 (ja) 2012-12-19 2012-12-19 作業支援端末および作業支援システム

Country Status (3)

Country Link
JP (1) JP6077010B2 (ja)
BR (1) BR112015013028A2 (ja)
WO (1) WO2014097413A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016138908A (ja) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法
JP2017016056A (ja) * 2015-07-06 2017-01-19 セイコーエプソン株式会社 表示システム、表示装置、表示装置の制御方法、及び、プログラム
JP2017016599A (ja) * 2015-07-07 2017-01-19 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP2017091433A (ja) * 2015-11-17 2017-05-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
WO2018158818A1 (ja) * 2017-02-28 2018-09-07 日本電気株式会社 点検支援装置、点検支援方法および記録媒体
WO2018158815A1 (ja) * 2017-02-28 2018-09-07 日本電気株式会社 点検支援装置、点検支援方法および記録媒体
JP2019061451A (ja) * 2017-09-26 2019-04-18 株式会社キャプティ 建築設備に関する情報の表示システム、表示装置およびプログラム
US10281976B2 (en) 2015-07-07 2019-05-07 Seiko Epson Corporation Display device, control method for display device, and computer program
JP2020035280A (ja) * 2018-08-31 2020-03-05 三菱電機株式会社 点検作業支援装置、点検作業支援システム、および点検作業支援方法
JP2021082204A (ja) * 2019-11-22 2021-05-27 オムロン株式会社 作業指示システムおよび作業指示方法
JP2021157781A (ja) * 2020-03-27 2021-10-07 Ｓｐｐテクノロジーズ株式会社 保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム
JP2023016589A (ja) * 2021-07-21 2023-02-02 東芝デジタルエンジニアリング株式会社 点検作業順表示装置および点検作業支援システム
JP2023027650A (ja) * 2021-08-17 2023-03-02 富士フイルムビジネスイノベーション株式会社 遠隔支援システム、端末装置、遠隔装置、誘導画像表示プログラム、及び遠隔支援プログラム
WO2023067836A1 (ja) * 2021-10-18 2023-04-27 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム
JP2023060799A (ja) * 2021-10-18 2023-04-28 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4745975B2 (ja) * 2004-09-30 2011-08-10 富士フイルム株式会社 多層分析要素

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006276748A (ja) * 2005-03-30 2006-10-12 Olympus Corp 情報呈示装置、情報呈示方法、及びコンピュータプログラム
JP2011248748A (ja) * 2010-05-28 2011-12-08 Fujifilm Corp 検査用携帯端末、検査システム、携帯端末用検査方法および携帯端末用検査プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002296010A (ja) * 2001-03-29 2002-10-09 Fujitsu Ltd 画像を用いた自己位置同定方法
JP2003281297A (ja) * 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法
JP2008201101A (ja) * 2007-02-22 2008-09-04 Kyocera Mita Corp 操作案内表示装置
JP5728159B2 (ja) * 2010-02-02 2015-06-03 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5682815B2 (ja) * 2011-01-27 2015-03-11 コニカミノルタ株式会社 情報処理装置、画像形成装置、およびプログラム
JP5707238B2 (ja) * 2011-06-02 2015-04-22 株式会社日立製作所 画像検索装置及び画像検索システム
JP5837404B2 (ja) * 2011-11-22 2015-12-24 株式会社日立製作所 画像処理装置、画像処理方法
JP5837848B2 (ja) * 2012-03-02 2015-12-24 株式会社日立製作所 画像処理装置、画像処理システム、画像処理方法
JP2014056486A (ja) * 2012-09-13 2014-03-27 Hitachi Ltd 画像ネットワークシステム、画像表示端末および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006276748A (ja) * 2005-03-30 2006-10-12 Olympus Corp 情報呈示装置、情報呈示方法、及びコンピュータプログラム
JP2011248748A (ja) * 2010-05-28 2011-12-08 Fujifilm Corp 検査用携帯端末、検査システム、携帯端末用検査方法および携帯端末用検査プログラム

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016138908A (ja) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法
US10564919B2 (en) 2015-07-06 2020-02-18 Seiko Epson Corporation Display system, display apparatus, method for controlling display apparatus, and program
JP2017016056A (ja) * 2015-07-06 2017-01-19 セイコーエプソン株式会社 表示システム、表示装置、表示装置の制御方法、及び、プログラム
US11073901B2 (en) 2015-07-07 2021-07-27 Seiko Epson Corporation Display device, control method for display device, and computer program
US11301034B2 (en) 2015-07-07 2022-04-12 Seiko Epson Corporation Display device, control method for display device, and computer program
JP2017016599A (ja) * 2015-07-07 2017-01-19 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
US10281976B2 (en) 2015-07-07 2019-05-07 Seiko Epson Corporation Display device, control method for display device, and computer program
US10664044B2 (en) 2015-07-07 2020-05-26 Seiko Epson Corporation Display device, control method for display device, and computer program
JP2017091433A (ja) * 2015-11-17 2017-05-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US11232530B2 (en) 2017-02-28 2022-01-25 Nec Corporation Inspection assistance device, inspection assistance method, and recording medium
WO2018158818A1 (ja) * 2017-02-28 2018-09-07 日本電気株式会社 点検支援装置、点検支援方法および記録媒体
JP7111694B2 (ja) 2017-02-28 2022-08-02 日本電気株式会社 点検支援装置、点検支援方法およびプログラム
JPWO2018158818A1 (ja) * 2017-02-28 2019-12-12 日本電気株式会社 点検支援装置、点検支援方法およびプログラム
WO2018158815A1 (ja) * 2017-02-28 2018-09-07 日本電気株式会社 点検支援装置、点検支援方法および記録媒体
JPWO2018158815A1 (ja) * 2017-02-28 2019-12-12 日本電気株式会社 点検支援装置、点検支援方法およびプログラム
JP2019061451A (ja) * 2017-09-26 2019-04-18 株式会社キャプティ 建築設備に関する情報の表示システム、表示装置およびプログラム
JP2020035280A (ja) * 2018-08-31 2020-03-05 三菱電機株式会社 点検作業支援装置、点検作業支援システム、および点検作業支援方法
JP7113702B2 (ja) 2018-08-31 2022-08-05 三菱電機株式会社 点検作業支援装置、点検作業支援システム、および点検作業支援方法
JP7395988B2 (ja) 2019-11-22 2023-12-12 オムロン株式会社 作業指示システムおよび作業指示方法
JP2021082204A (ja) * 2019-11-22 2021-05-27 オムロン株式会社 作業指示システムおよび作業指示方法
JP7149354B2 (ja) 2020-03-27 2022-10-06 Ｓｐｐテクノロジーズ株式会社 保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム
JP2021157781A (ja) * 2020-03-27 2021-10-07 Ｓｐｐテクノロジーズ株式会社 保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム
JP2023016589A (ja) * 2021-07-21 2023-02-02 東芝デジタルエンジニアリング株式会社 点検作業順表示装置および点検作業支援システム
JP7410417B2 (ja) 2021-07-21 2024-01-10 東芝デジタルエンジニアリング株式会社 点検作業順表示装置および点検作業支援システム
JP2023027650A (ja) * 2021-08-17 2023-03-02 富士フイルムビジネスイノベーション株式会社 遠隔支援システム、端末装置、遠隔装置、誘導画像表示プログラム、及び遠隔支援プログラム
JP7746728B2 (ja) 2021-08-17 2025-10-01 富士フイルムビジネスイノベーション株式会社 遠隔支援システム、端末装置、遠隔装置、誘導画像表示プログラム、及び遠隔支援プログラム
JP7330323B2 (ja) 2021-10-18 2023-08-21 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム
JP2023060799A (ja) * 2021-10-18 2023-04-28 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム
WO2023067836A1 (ja) * 2021-10-18 2023-04-27 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム

Also Published As

Publication number Publication date
BR112015013028A2 (pt) 2017-07-11
JPWO2014097413A1 (ja) 2017-01-12
JP6077010B2 (ja) 2017-02-08

Similar Documents

Publication Publication Date Title
JP6077010B2 (ja) 作業支援端末および作業支援システム
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
CN105745586B (zh) 作业辅助用数据生成程序
CN102473068B (zh) 信息处理器、处理方法和程序
JP4137078B2 (ja) 複合現実感情報生成装置および方法
US20090021475A1 (en) Method for displaying and/or processing image data of medical origin using gesture recognition
CN108027654B (zh) 输入设备、输入方法和程序
JP2007531004A5 (ja)
CN109584374A (zh) 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
CN101739722B (zh) 信息处理装置和信息处理系统
TWI423075B (zh) Information processing apparatus, and information processing method, and program
JPWO2018025825A1 (ja) 撮像システム
CN112667179A (zh) 一种基于混合现实的远程同步协作系统
WO2016084142A1 (ja) 作業支援システム、及び、作業支援方法
JP2023082923A (ja) 作業支援システム、作業対象特定装置および方法
JP7065795B2 (ja) データ作成システム及びデータ作成方法
JP2007233971A (ja) 画像合成方法及び装置
JP5525497B2 (ja) プラント作業支援装置およびプラント作業支援方法
JP7531804B2 (ja) 拡張現実表示システム
JP7098473B2 (ja) 画像処理装置、及び画像処理方法
JP7000513B1 (ja) 構造物管理業務支援システム
JP7640427B2 (ja) 注視位置分析システム及び注視位置分析方法
WO2005096130A1 (ja) 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム
JP7471570B2 (ja) 建物構造物診断システム
JP2005018385A (ja) 作業情報提供装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12890169

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014552805

Country of ref document: JP

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112015013028

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12890169

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 112015013028

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20150603