WO2017169909A1 - 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体 - Google Patents

作業支援装置、ウェアラブル端末、作業支援方法および記録媒体 Download PDF

Info

Publication number
WO2017169909A1
WO2017169909A1 PCT/JP2017/010949 JP2017010949W WO2017169909A1 WO 2017169909 A1 WO2017169909 A1 WO 2017169909A1 JP 2017010949 W JP2017010949 W JP 2017010949W WO 2017169909 A1 WO2017169909 A1 WO 2017169909A1
Authority
WO
WIPO (PCT)
Prior art keywords
related information
movement
wearable terminal
display
displayed
Prior art date
Application number
PCT/JP2017/010949
Other languages
English (en)
French (fr)
Inventor
蕊寒 包
才田　好則
真 則枝
岩元　浩太
貴美 佐藤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2018509054A priority Critical patent/JPWO2017169909A1/ja
Publication of WO2017169909A1 publication Critical patent/WO2017169909A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning

Definitions

  • the present disclosure relates to a work support device, a wearable terminal, a work support method, and a recording medium.
  • Augmented Reality (AR) technology is known that displays content information superimposed on an image taken by a camera mounted on a wearable terminal.
  • Patent Literature 1 discloses a technique for determining an empty area from an input image and displaying content in the empty area.
  • Patent Document 2 discloses a technique for displaying an imaginary image related to a real image superimposed on the real image.
  • the operation may be performed while referring to an operation manual or the like.
  • the operation manual is a paper medium
  • an operator may place the operation manual beside the apparatus to be operated and perform work while viewing the operation manual and the apparatus alternately.
  • Patent Document 1 does not describe a change in the angle of view of the camera, and therefore there is a possibility that a reference object is recognized and an empty area is determined every time the angle of view changes. Therefore, there is a possibility that the displayed content and position change every time the angle of view changes. Therefore, in the technique of Patent Document 1, information that the operator wants to see may not be displayed in an area intended by the worker. For example, when an operator performs the same operation as when the above-described paper medium operation manual is used, the technique disclosed in Patent Document 1 changes the display position of the operation manual each time the operator moves his / her head. There is a possibility of bothering the operator.
  • the present disclosure has been made in view of the above problems, and an object of the present disclosure is to provide a technique that effectively supports the work of an operator.
  • the work support device includes a recognition unit that recognizes an object included in the image from an image acquired from a camera mounted on a wearable terminal, and the point in time when the object is recognized.
  • Measuring means for measuring the amount of movement of the wearable terminal on the basis of the orientation of the wearable terminal and the position of the wearable terminal or the focal length of the camera, and the object recognized based on the measured amount of movement
  • Display means for displaying related information related to the object on the display screen next to the object.
  • the wearable terminal includes a camera that acquires an image, a recognition unit that recognizes an object included in the image from the image, and the wearable terminal at the time when the object is recognized. And a measuring means for measuring the amount of movement of the wearable terminal with reference to the position of the wearable terminal or the focal length of the camera, and the object recognized based on the measured amount of movement. Display means for displaying related information next to the object on a display screen.
  • the work support method recognizes an object included in the image from an image acquired from a camera mounted on the wearable terminal, and the wearable at the time when the object is recognized.
  • the movement amount of the wearable terminal is measured based on the orientation of the terminal and the position of the wearable terminal or the focal length of the camera, and the movement amount of the wearable terminal is related to the recognized object based on the measured movement amount.
  • the related information is displayed next to the object on the display screen.
  • a computer program that realizes the work support device, the wearable terminal, or the work support method by a computer and a computer-readable non-transitory recording medium that stores the computer program are also included in the scope of the present disclosure. .
  • FIG. 1 is a functional block diagram illustrating an example of a functional configuration of the work support apparatus 10 according to the present embodiment.
  • the work support apparatus 10 according to the present embodiment includes a recognition unit 11, a measurement unit 12, and a display unit 13.
  • the recognition unit 11 receives an image acquired from a camera mounted on the wearable terminal.
  • the recognition unit 11 recognizes an object included in the input image.
  • the recognition unit 11 supplies the image acquired from the camera and the recognition result of the object to the display unit 13.
  • the recognition unit 11 supplies a notification indicating that it has been recognized to the measurement unit 12.
  • the measurement unit 12 When the measurement unit 12 receives the notification from the recognition unit 11, the measurement unit 12 uses the position, orientation, or focal length of the wearable terminal when the object is recognized as a reference. And if a wearable terminal moves from this reference
  • the display unit 13 receives the recognition result and the image from the recognition unit 11. Further, the display unit 13 receives the movement amount from the measurement unit 12. The display unit 13 displays related information related to the recognized object on the display screen next to the object based on the received movement amount. For example, the display unit 13 acquires, from a recognition result, related information related to the recognized object from a storage unit or the like (not shown). And the coordinate group of the outline of the recognized target object is specified from the image received from the recognition part 11, and the area
  • AR Augmented Reality
  • the display part 13 when the display part 13 is implement
  • the display unit 13 When the display unit 13 is realized by a half mirror, the display unit 13 may cause the operator to visually recognize the related information by reflecting the related information to the half mirror. Further, the display unit 13 may cause the operator to visually recognize the related information by projecting the related information directly onto the retina.
  • the display unit 13 will be described as a liquid crystal display.
  • FIG. 2 is a flowchart showing an example of the processing flow of the work support apparatus 10 according to the present embodiment.
  • the recognition unit 11 recognizes an object included in the image from an image acquired from a camera mounted on the wearable terminal (step S1).
  • the measurement unit 12 measures the amount of movement of the wearable terminal based on the orientation of the wearable terminal at the time when the object is recognized and the position of the wearable terminal or the focal length of the camera (step S2).
  • step S3 related information related to the recognized object is displayed next to the object on the display screen.
  • the work support device 10 ends the process.
  • the work support apparatus 10 displays information related to the target object so as to be positioned next to the target object based on the movement amount of the wearable terminal. Therefore, for example, an operator wearing a wearable terminal equipped with a camera performed work while alternately looking at the target object to be worked and the area where related information related to the target object was displayed. Even in the case, the related information is displayed next to the object. Therefore, the worker can visually recognize the related information as if the related information is displayed next to the object. Thereby, the work support device 10 can make the worker visually recognize the related information without bothering the worker. Therefore, the work support device 10 can effectively support the worker's work.
  • FIG. 3 is a block diagram showing an example of the configuration of the wearable terminal 1 including the work support apparatus 100 according to the present embodiment.
  • wearable terminal 1 includes a camera 20 and a work support device 100.
  • the work support apparatus 100 includes a recognition unit 110, a measurement unit 120, a display unit 130, and a storage unit 140. Further, the work support apparatus 100 is connected to the camera 20. Note that the storage unit 140 may be provided outside the work support apparatus 100.
  • FIG. 4 is a diagram for explaining a use scene of the wearable terminal 1 according to the present embodiment.
  • the camera 20 included in the wearable terminal 1 captures the object.
  • the work support device 100 of the wearable terminal 1 recognizes an object using the image taken by the camera 20, measures the movement amount of the wearable terminal 1 (that is, the movement amount of the operator's head), and moves Based on the quantity, related information related to the object is displayed next to the object.
  • the wearable terminal 1 is described as being, for example, a glasses type as described above.
  • the wearable terminal 1 may have any form.
  • An image (referred to as a captured image) acquired by the camera 20 is transmitted to the work support apparatus 100.
  • FIG. 5 is a diagram illustrating an example of a captured image captured by the camera 20 in the wearable terminal 1 according to the present embodiment.
  • the captured image includes an object.
  • the captured image may be an image in which only the instrument inside the object illustrated in FIG. 5 is included as the object.
  • the storage unit 140 stores recognition data used for recognition of an object.
  • Information related to the object indicated by the recognition data is associated with the recognition data stored in the storage unit 140. Examples of the information related to the object include, but are not limited to, information describing the object, an operation manual for the object, and the like.
  • the recognition data may be associated with information such as the size and shape of the object indicated by the recognition data, which can specify the contour of the object from the image.
  • the recognition unit 110 corresponds to the recognition unit 11 according to the first embodiment described above.
  • the recognition unit 110 receives a captured image transmitted from the camera 20.
  • the recognition unit 110 may be configured to acquire a captured image captured by the camera 20 from the camera 20, or may be configured to acquire from a storage device that stores the captured image captured by the camera 20. .
  • the recognition unit 110 refers to the storage unit 140 and recognizes an object included in the captured image from the captured image. Then, the recognition unit 110 supplies the recognition result to the display unit 130 together with the captured image.
  • the recognition result supplied from the recognition unit 110 to the display unit 130 may be information representing the object indicated by the recognition data stored in the storage unit 140.
  • the recognition unit 110 supplies a notification (recognition notification) indicating that the object has been recognized to the measurement unit 120 together with the captured image.
  • the measurement unit 120 uses the position and orientation of the wearable terminal 1 at the time when the object is recognized as a reference.
  • the measurement unit 120 may use the focal length and orientation of the camera 20 at the time when the object is recognized as a reference.
  • the focal length of the camera 20 is set so that the angle of view visible to the worker wearing the wearable terminal 1 and the angle of view captured by the camera 20 are substantially the same. Do.
  • the measurement unit 120 can calculate the reference from the position information of the wearable terminal 1 when the object is recognized and the orientation of the wearable terminal 1.
  • the position of the wearable terminal 1 at the time when the object is recognized is a starting point, and the reference is represented by an arrow toward the wearable terminal 1.
  • this reference is also referred to as a reference position or an origin, but unless otherwise specified, it does not indicate only the position of the wearable terminal 1 represented by the reference, but indicates the position and direction of the wearable terminal 1. .
  • the measuring unit 120 then measures the movement amount of the wearable terminal 1.
  • the measurement unit 120 measures the amount of change in the position of the wearable terminal 1 and the amount of change in the direction of the wearable terminal 1 as a movement amount.
  • the measurement unit 120 is realized by, for example, a motion sensor.
  • the measuring unit 120 supplies the display unit 130 with the position and direction before measuring the moving amount and the moving amount.
  • the display unit 130 receives the recognition result from the recognition unit 110 together with the captured image.
  • the display unit 130 identifies an object included in the captured image from the storage unit 140 and the recognition result, and acquires related information related to the object.
  • the display unit 130 determines the display area of the related information so that the display area of the related information is positioned next to the object on the display screen. For example, the display unit 130 calculates a coordinate group of the outline of the target object on the captured image from the size of the target object, and determines a display area of the related information so as to be outside the coordinate group of the outline.
  • the display unit 130 may determine any one of the regions along the outer periphery of the device as the display region.
  • the display unit 130 displays any one of the areas along the outer periphery of the recognized object.
  • a display area may be used, or an area where no object exists may be used as the display area based on the positional relationship between the recognized object and another object.
  • the display unit 130 when the display unit 130 displays related information on a plane including the display screen displayed by the display unit 130 at the reference position, the display unit 130 is sized so that the related information is visually recognized at a predetermined size. It may be determined. For example, when the display unit 130 displays related information next to the object at the position and direction of the wearable terminal 1 when the object is recognized, the size of the related information is a predetermined size (for example, , 210 ⁇ 297 mm), the size of the display area may be determined.
  • a predetermined size for example, , 210 ⁇ 297 mm
  • the display unit 130 is a plane in the real world that includes the target object at the time when the target object is recognized, and is related to a predetermined size on a plane parallel to the optical axis of the camera 20.
  • the size of the information display area may be determined. For example, it is assumed that the scale for the real world size of the object represented by the recognition data is associated with the recognition data, and the real world size of the object can be estimated. In addition, the estimation method of the magnitude
  • the display unit 130 estimates the position of a plane parallel to the optical axis of the camera 20 in the real world including the target object from the estimated size of the target object in the real world and the captured image.
  • the size of the display area may be determined so as to be a predetermined size (for example, 210 ⁇ 297 mm).
  • the width of the size of the related information on the display screen displayed by the display unit 130 is a predetermined size (for example, 210 mm).
  • the display unit 130 confirms whether or not the determined display area includes at least a part within the current angle of view.
  • the display unit 130 displays an image (AR) included in the angle of view when the related information is displayed in the display area with the determined size. Display image).
  • the display unit 130 superimposes and displays the generated AR display image on the captured image captured by the camera 20.
  • FIG. 6 shows an example of a display screen displayed by the display unit 130.
  • FIG. 6 is an example of a display screen in which related information is AR-displayed on the captured image of FIG. As shown in FIG. 6, related information is displayed on the display screen on the right side of the object.
  • the related information has a predetermined size on a plane including the display screen, and only a part of the left side is included in the angle of view of the display screen.
  • related information may be displayed on the left side of a target object.
  • the display unit 130 confirms that the determined display area is not included in the current angle of view. In this case, the display unit 130 does not display at least a part of the related information on the display screen.
  • the display unit 130 receives the position and direction before the movement amount is measured from the measurement unit 120 and the movement amount.
  • the movement amount measured by the measurement unit 120 will be described with reference to FIGS. 7 and 8.
  • 7 and 8 are diagrams for explaining the movement amount measured by the measurement unit 120.
  • the movement amount is described in the left-right direction (direction substantially perpendicular to the vertical direction), but may include movement in the vertical direction (direction substantially parallel to the vertical direction).
  • the reference position is the direction from the worker wearing the wearable terminal 1 toward the object as shown in FIG.
  • the display area of the related information determined by the display unit 130 as described above is indicated by a broken line.
  • the direction of wearable terminal 1 moves from the direction of the reference position in the direction indicated by the one-dot chain line arrow.
  • the measuring unit 120 measures the amount of change (rotation amount) in this direction as a movement amount.
  • the measuring unit 120 measures the amount of change in this position as the amount of movement.
  • the display unit 130 receives from the measurement unit 120 a reference position that is a position and direction before measuring the moving amount, and the moving amount. Then, the display unit 130 displays related information based on the movement amount. This will be described with reference to FIGS.
  • the display screen when the worker wearing the wearable terminal 1 is looking at the object in the state shown in FIG. 7 is the state shown in FIG.
  • the operator rotates his head to the right as shown in FIG. 7 and sees the display area of related information in order to view information related to the target object to be worked.
  • the captured image captured by the camera 20 is in a state in which the object has moved to the left as shown in FIG.
  • the display unit 130 recalculates the coordinate group of the position of the object and the outline of the object based on the movement amount.
  • the display unit 130 also recalculates a display area of related information displayed next to the object based on the recalculated position of the object and the coordinate group of the outline.
  • the display unit 130 displays a portion of the part included in the angle of view when the related information is displayed in the display area with a predetermined size.
  • An image AR display image
  • the display unit 130 superimposes and displays the generated AR display image on the captured image captured by the camera 20.
  • FIG. 10 shows an example of a display screen displayed by the display unit 130. As shown in FIG. 10, the display unit 130 displays the related information on the display screen so that the related information of the object is located next to the related information.
  • the related information is displayed in a state where the operator has rotated rightward from the state of FIG. That is, the display unit 130 displays the related information as if the related information of the target object is fixed next to the target object.
  • the display unit 130 receives the position and direction before the movement amount is measured and the movement amount from the measurement unit 120.
  • the position and direction before the movement amount received by the display unit 130 from the measurement unit 120 and the movement amount will be described with reference to FIG.
  • FIG. 11 the case where the position of wearable terminal 1 does not change and only the orientation of wearable terminal 1 changes as shown in FIG. 6 will be described. However, even if the position of wearable terminal 1 changes. Good.
  • the measurement unit 120 measures the amount of movement.
  • the measurement unit 120 supplies the display unit 130 with the position before the movement (the position of the one-dot chain line arrow) and the movement amount from the position before the movement (the amount of change up to the position of the two-dot chain line arrow). .
  • the display unit 130 When the display unit 130 receives the movement amount measured from the measurement unit 120 and the position before the measurement of the movement amount, the display unit 130 displays related information based on the movement amount. Specifically, the display unit 130 determines whether or not the movement from the position before the measurement is movement along the related information from the angle of view where the related information is displayed. If the movement is in accordance with the related information, the display unit 130 changes and displays the display contents of the related information at the display position of the related information on the display screen based on the movement amount.
  • FIG. 12 shows an example of a display screen displayed on the display unit 130 in the direction of the wearable terminal after the second movement in FIG.
  • FIG. 12 is an example of a display screen when the worker wearing the wearable terminal 1 moves his / her head in the scroll direction (vertical direction) from the state of FIG.
  • related information having different contents is displayed at the position where the related information is displayed in FIG.
  • the display unit 130 displays the related information so that the related information is scrolled downward according to the movement amount. Note that in the state where the display unit 130 displays this related information, the target object is not included in the display screen shown in FIG. 12 because the target object is not included in the image acquired by the camera 20. Thereby, the display unit 130 can display the related information as if the related information of the target object is fixed and pasted next to the target object in the real world.
  • the display unit 130 may display that the related information is fixed and pasted next to the object in the real world in a state closer to the real world. For example, when the movement amount is an angle as shown in FIG. 7, if related information is pasted next to the object in the real world, the related information appears to have a slope. Therefore, the display unit 130 may display the related information next to the object in consideration of this inclination as shown in FIG. Thus, the work support apparatus 100 according to the present embodiment can perform a display that reproduces a state closer to the real world.
  • the display unit 130 displays the related information display area with a predetermined width only, but the vertical length of the display area may be set to a predetermined size.
  • the display unit 130 may display related information in a predetermined size (for example, 210 ⁇ 297 mm) as if an actual sheet is pasted next to the object. Good.
  • the display unit 130 has the same size as the continuation of the content displayed on the display screen of FIG. 14 as if the operator looks at the next page. Thus, it may be displayed as shown in FIG.
  • the worker can visually recognize the related information displayed in the AR as in the case of viewing a manual or the like that is actually used during the work.
  • FIG. 16 is a flowchart showing an example of the processing flow of the work support apparatus 100 according to the present embodiment.
  • the recognition unit 110 receives an image (captured image) supplied from the camera 20 (step S11). And the recognition part 110 recognizes the target object contained in the received captured image (step S12).
  • the measurement unit 120 determines a reference position from the position and orientation of the wearable terminal 1 at the time when the object is recognized (step S13). And the display part 130 determines the display area which AR displays the relevant information of a target object (step S14).
  • the display unit 130 checks whether or not at least a part of the display area of the object is included within the current angle of view (step S15), and if included (YES in step S15), the current image is displayed. An AR display image displayed in the corner is generated (step S16). Then, the display unit 130 displays the generated AR display image superimposed on the captured image (step S17).
  • the display unit 130 displays only the captured image (step S18). After displaying the AR display image superimposed on the captured image (after step S17), or after displaying the captured image (after step S18), the wearable terminal 1 determines whether or not the wearable terminal 1 has detected movement. Check. That is, it is confirmed whether or not the measurement unit 120 has measured the movement amount (step S19). Measurement unit 120 waits until the movement amount is measured (NO in step S19).
  • step S19 when measurement unit 120 measures the movement amount (YES in step S19), display unit 130 checks whether the movement direction is the scroll direction of the related information (step S20). When the direction is not the scroll direction (NO in step S20), that is, when the movement is as shown in FIGS. 7 and 8, the display unit 130 recalculates the position and display area of the object based on the movement amount. (Step S21). Then, the process returns to step S15, and when the recalculated display area is included in the angle of view, the display unit 130 can display related information next to the object, for example, as shown in FIG.
  • step S20 When the movement direction is the scroll direction (YES in step S20), that is, in the case of movement as shown in FIG. 11, the display unit 130 changes the display content of the object based on the movement amount. Is generated (step S22). Then, the process returns to step S17, and the AR display image generated by the display unit 130 is displayed.
  • the display unit 130 displays a display screen in which the AR display image is superimposed on the captured image acquired by the camera 20 while changing the display position or display content of the related information based on the movement amount. be able to.
  • the recognition unit 110 recognizes an object included in the image from the image acquired from the camera 20.
  • the measurement unit 120 measures the amount of movement of the wearable terminal 1 based on the orientation of the wearable terminal 1 and the position of the wearable terminal 1 or the focal length of the camera 20 when the object is recognized.
  • the display unit 130 displays related information related to the recognized object on the display screen next to the object based on the measured movement amount. Therefore, for example, an operator who wears the wearable terminal 1 equipped with a camera performs work while alternately viewing the work target object and the area where the related information related to the object is displayed. Even if it is, the related information is displayed next to the object.
  • the worker can visually recognize the related information as if the related information is displayed next to the object.
  • the work support apparatus 100 can make a worker visually recognize related information without giving trouble to the worker, and can give a high sense of realism. Therefore, the work support apparatus 100 can effectively support the worker's work.
  • Modification 1 of the work support apparatus 100 Next, Modification 1 of the work support apparatus 100 according to the present embodiment will be described.
  • the work support apparatus 100 measures the amount of movement when the distance from the display screen is constant, but the measuring unit 120 also measures the amount of change in the distance from the display screen. Good. A display screen displayed on the display unit 130 at this time will be described.
  • the display unit 130 when the display unit 130 displays related information on a plane including the display screen displayed by the display unit 130 at the reference position, the display unit 130 sets the size of the display area to a size that can be viewed with a predetermined size. Let's decide. Then, the display unit 130 displays the related information with the determined size. And the display part 130 in this modification displays related information so that related information is visually recognized by the predetermined magnitude
  • FIG. 17 shows an example of a display screen when an object is recognized.
  • the related information is displayed so as to be located next to the object.
  • the display unit 130 displays the related information, for example, in the real world so as to be the same size as a sheet having a size of 210 ⁇ 297 mm placed next to the object.
  • the display unit 130 Since the time when the display screen of FIG. 17 is displayed is the time when the object is recognized, the position and direction of the wearable terminal 1 that has captured the image used for the recognition of the object are used as a reference. From this reference, when the worker wearing the wearable terminal 1 moves away from the object, the distance from the object is increased. Therefore, as shown in FIG. 18, on the display screen displayed by the display unit 130, the object becomes smaller than the state shown in FIG. Even in this case, the display unit 130 displays related information next to the object. At this time, the display unit 130 does not change the size of the related information from the size displayed in FIG. That is, in this modification, the display unit 130 displays the related information so that the related information is visually recognized with a predetermined size (210 ⁇ 297 mm) on the display screen. At this time, the focus of the camera often matches the object. Accordingly, the display unit 130 displays the related information in a predetermined size so that the related information displayed on the display screen is also in focus.
  • a predetermined size 210 ⁇ 2
  • the display unit 130 displays related information next to the object.
  • the display unit 130 does not change the size of the related information from the size displayed in FIG.
  • the display unit 130 displays the related information in a predetermined size so that the related information displayed on the display screen is also in focus.
  • the focal length of the camera 20 also changes when the camera 20 is focused according to the distance to the object.
  • the measurement unit 120 in the present modification example uses the orientation of the wearable terminal at the time when the object is recognized and the focal length of the camera 20 as a reference, and the amount of change from the reference of the focal length of the camera 20 as the camera. In other words, it can be measured as the amount of movement of the wearable terminal 20. Even in such a case, the work support apparatus 100 can display related information of a predetermined size focused next to the object in accordance with the change in the focal length.
  • the work support device 100 changes the focal length according to the change of the focal length.
  • the related information can be displayed based on the information.
  • the work support device 100 is related to the object next to the object in a state that the worker can visually recognize. Information can be displayed.
  • Modification 2 A second modification of the present embodiment will be described.
  • the display unit 130 is a plane in the real world including the target object and parallel to the optical axis of the camera 20 when the target object is recognized.
  • the size of the display area of the related information is determined so as to have a predetermined size on the plane. This will be described with reference to FIG. 17, FIG. 20, and FIG.
  • FIG. 17 is a display screen when an object is recognized in the same manner as described above.
  • the display unit 130 is a plane in the real world that includes the object, and displays related information so as to have a predetermined size on a plane parallel to the optical axis of the camera 20.
  • the size of the display area is determined, and related information is displayed in the determined size.
  • the display unit 130 displays the related information, for example, in the real world so as to be the same size as a sheet having a size of 210 ⁇ 297 mm placed next to the object.
  • the display unit 130 displays related information with a predetermined size on a plane in the real world including the object, the related information is displayed small as shown in FIG.
  • FIG. 21 is a diagram illustrating an example of a display screen when the worker wearing the wearable terminal 1 moves from the reference in a direction approaching the target object.
  • the distance between the object and the wearable terminal 1 is reduced, so that the object becomes larger than the state shown in FIG. Since the display unit 130 displays the related information with a predetermined size on a plane in the real world including the target object, the related information is also displayed in a large size like the target object as shown in FIG.
  • the work support apparatus 100 can reproduce the same state as when an operation manual or the like, which is related information, is placed next to an object in the real world.
  • the work support device 100 may have a configuration in which the first modification and the second modification are combined.
  • the display unit 130 recognizes the related information at a predetermined size (first size) on the display screen at the time when the object is recognized, and changes the first information according to the change in the focal length.
  • the related information may be displayed so that the related information is visually recognized at a second size changed from the size.
  • the work support apparatus 100 can display related information with a more appropriate size according to the work of the worker. Therefore, the work support apparatus 100 can support the worker's work more effectively.
  • the wearable terminal 2 includes a work support device 101 instead of the work support device 100 of the wearable terminal 1 described above, and further includes an input device 30.
  • the work support apparatus 101 is configured to further include a reception unit 150 in the work support apparatus 100 described above.
  • members having the same functions as the members included in the drawings described in the above-described embodiments are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 22 is a block diagram showing an example of the configuration of the wearable terminal 2 including the work support apparatus 101 according to the present embodiment.
  • the wearable terminal 2 includes a camera 20, an input device 30, and a work support device 101.
  • the work support apparatus 101 includes a recognition unit 110, a measurement unit 120, a display unit 130, a storage unit 140, and a reception unit 150.
  • the work support device 101 is connected to the camera 20 and the input device 30.
  • the input device 30 may be a separate device from the wearable terminal 2.
  • the input device 30 may be built in the work support device 101.
  • the input device 30 is a device for an operator to input instructions.
  • the accepting unit 150 accepts content input via the input device 30.
  • the receiving unit 150 supplies the received content to the display unit 130.
  • the content received by the receiving unit 150 is, for example, an instruction to change the display content.
  • the instruction to change the display content is, for example, an instruction to scroll the displayed related information in a predetermined direction.
  • the reception unit 150 supplies the received instruction to the display unit 130. Then, the display unit 130 changes and displays the display content in accordance with the instruction received from the reception unit 150.
  • FIG. 23 An example of a display screen displayed by the display unit 130 is shown in FIG.
  • the receiving unit 150 receives a downward scroll instruction from the display screen illustrated in FIG. 10.
  • the display unit 130 scrolls and displays the content of the related information.
  • the related information after scrolling is displayed in the area for displaying the related information.
  • the display unit 130 creates an AR display screen in which the display content is changed to the content in accordance with the scroll instruction, and displays the AR display screen superimposed on the captured image.
  • the operator can confirm the related information which changed the display content by simple operation. Therefore, the work support apparatus 101 according to the present embodiment can more effectively support the worker's work.
  • each component of each work support apparatus indicates a functional unit block.
  • a part or all of each component of each work support apparatus is realized by an arbitrary combination of an information processing apparatus 900 and a program as shown in FIG. 24, for example.
  • FIG. 24 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 900 that realizes each component of each work support apparatus.
  • the information processing apparatus 900 includes the following configuration as an example.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • a program 904 loaded into the RAM 903
  • a storage device 905 that stores the program 904
  • a drive device 907 that reads / writes data from / to the recording medium 906
  • a communication interface 908 connected to the communication network 909
  • Each component of each work support apparatus in each embodiment is realized by the CPU 901 acquiring and executing a program 904 that realizes these functions.
  • a program 904 that realizes the function of each component of each work support device is stored in advance in the storage device 905 or the ROM 902, for example, and is read by the CPU 901 as necessary.
  • the program 904 may be supplied to the CPU 901 via the communication network 909, or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply it to the CPU 901.
  • each work support apparatus may be realized by an arbitrary combination of an information processing apparatus 900 and a program, which are different for each component.
  • a plurality of components included in each work support device may be realized by an arbitrary combination of one information processing device 900 and a program.
  • each work support device is realized by other general-purpose or dedicated circuits, processors, etc., or combinations thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus.
  • each work support apparatus may be realized by a combination of the above-described circuit and the like and a program.
  • each work support device When some or all of the components of each work support device are realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged or distributedly arranged. May be.
  • the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system and a cloud computing system.
  • a work support apparatus comprising: (Appendix 2) When the measurement unit further measures the movement amount in a state where the related information is displayed, the display unit moves the movement amount from the position before the measurement within the angle of view where the related information is displayed.
  • the related information is displayed at the display position of the related information on the display screen based on the movement amount.
  • the work support apparatus according to attachment 1 wherein the display content of the information is changed.
  • the work support apparatus according to appendix 1 or 2 wherein the display unit displays the related information so that the related information is visually recognized with a predetermined size on a plane including the display screen.
  • the display means is a plane in the real world including the object at the time when the object is recognized, and has a predetermined size on the plane parallel to the optical axis of the camera.
  • the work support apparatus according to appendix 1 or 2 which displays the related information.
  • the display means is configured to be visually recognized at a first size on a plane including the display screen in the reference, and when the focal length of the camera changes from the time when the object is recognized,
  • the work support apparatus according to appendix 1 or 2 wherein the related information is displayed so as to be visually recognized at a second size obtained by changing the first size according to a change in focal length.
  • (Appendix 7) A receiving means for receiving the content input to the input device;
  • the display means changes the display content of the related information at the current display position of the related information according to the content received by the receiving means in a state where the related information is displayed.
  • the work support apparatus according to any one of the above.
  • (Appendix 8) A camera that captures images, Recognition means for recognizing an object included in the image from the image; Measuring means for measuring the amount of movement of the wearable terminal on the basis of the orientation of the wearable terminal at the time when the object is recognized, and the position of the wearable terminal or the focal length of the camera; Display means for displaying related information related to the recognized object on the display screen next to the object based on the measured movement amount; Wearable terminal equipped with.
  • the work support method according to attachment 10 wherein the work support method is displayed.
  • Appendix 12 A process of recognizing an object included in the image from an image acquired from a camera mounted on the wearable terminal; A process of measuring the amount of movement of the wearable terminal based on the orientation of the wearable terminal at the time when the object is recognized, and the position of the wearable terminal or the focal length of the camera; A process for displaying related information related to the recognized object on the display screen next to the object based on the measured movement amount; A computer-readable non-transitory recording medium for recording a program for causing a computer to execute the program.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

作業者の作業を効果的に支援する技術を提供する。作業支援装置は、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識部と、対象物が認識された時点におけるウェアラブル端末の向き、および、ウェアラブル端末の位置またはカメラの焦点距離を基準として、ウェアラブル端末の移動量を測定する測定部と、測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において対象物の隣に表示する表示部と、を備える。

Description

作業支援装置、ウェアラブル端末、作業支援方法および記録媒体
　本開示は、作業支援装置、ウェアラブル端末、作業支援方法および記録媒体に関する。
　ウェアラブル端末に搭載されたカメラによって撮影された画像にコンテンツ情報を重畳して表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。例えば、特許文献１には、入力画像から空き領域を判定し、空き領域にコンテンツを表示する技術が開示されている。また、特許文献２には、現実画像に関連する架空画像を現実画像に重畳して表示する技術が開示されている。
特開２０１５－１５３１６９号公報 特開２０１４－１７４５１０号公報
　例えば、作業者がある装置に対して作業を行う場合、操作マニュアル等を参照しながら作業を行う場合がある。操作マニュアルが紙媒体の場合、作業者は作業対象の装置の横に、該操作マニュアルを置いて、操作マニュアルと装置とを交互に見ながら作業を行うことがある。
　特許文献１に記載の技術では、カメラの画角の変化について述べられていないため、画角が変更する度に、基準物の認識と空き領域の判定とを行う可能性がある。そのため、表示される内容および位置が、画角が変更する度に変わってしまう可能性がある。したがって、特許文献１の技術では、作業者が見たい情報が、該作業者が意図した領域に表示されない場合がある。例えば、上述した紙媒体の操作マニュアルを使用している場合と同様の動作を作業者が行った場合、特許文献１の技術では、作業者が頭を動かすたびに、作業マニュアルの表示位置が変わり、作業者に対し煩わしさを与えてしまう可能性がある。
　また、特許文献２に記載の技術では、使用者の頭部の動きを検出することにより、使用者が現実画像のどの部分を見ているのかを推定し、この頭部の動きに基づいて、吹き出しの表示位置を変更している。例えば、マニュアルなどを特許文献２に記載の技術で表示すると、吹き出しの部分が大きくなる場合がある。この吹き出しの部分に視線を合わせるように作業者が頭部を移動させた場合、この移動後の位置が現実画像上に含まれない可能性がある。この場合、特許文献２に記載の技術では、移動量が大きくなるため、撮像部が動作し、表示内容と表示位置とが再度定められることになる。したがって、特許文献２に記載の技術において、例えば、作業者が、作業対象の装置の横に該操作マニュアルを置いた状態と同じような状態で表示された操作マニュアルを見るために頭部を動かすと、架空画像の表示される内容および位置が変わる可能性がある。また、撮像部が動作しなかった場合であっても、移動量に基づいて、メモリに記憶した現実画像を参照し表示内容を変更しているため、視線の先が現実画像上に含まれない場合、何も表示されない、または、表示内容が変わってしまう可能性がある。したがって、特許文献２の技術では、作業者が見たい情報が、該作業者が意図した内容で意図した領域に表示されない場合があり、作業者に対し煩わしさを与えてしまう可能性がある。
　本開示は上記課題に鑑みてなされたものであり、その目的は、作業者の作業を効果的に支援する技術を提供することにある。
　本開示の一態様に係る作業支援装置は、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、を備える。
　また、本開示の一態様に係るウェアラブル端末は、画像を取得するカメラと、前記画像から、当該画像に含まれる対象物を認識する認識手段と、前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、を備える。
　また、本開示の一態様に係る作業支援方法は、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定し、前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する。
　なお、上記作業支援装置、ウェアラブル端末または作業支援方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
　本開示によれば、作業者の作業を効果的に支援することができる。
第１の実施の形態に係る作業支援装置の機能構成の一例を示す機能ブロック図である。 第１の実施の形態に係る作業支援装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態に係る作業支援装置を含むウェアラブル端末の構成の一例を示すブロック図である。 第２の実施の形態に係る作業支援装置を含むウェアラブル端末の利用シーンを説明するための図である。 第２の実施の形態に係るウェアラブル端末におけるカメラが撮影した撮影画像の一例を示す図である。 表示部が表示する表示画面の一例を示す図である。 測定部が測定する移動量を説明するための図である。 測定部が測定する移動量を説明するための図である。 カメラが撮影した撮影画像の一例を示す図である。 表示部が表示する表示画面の一例を示す図である。 測定部が測定する移動量を説明するための図である。 表示部が表示する表示画面の一例を示す図である。 表示部が表示する表示画面の他の一例を示す図である。 表示部が表示する表示画面の他の一例を示す図である。 表示部が表示する表示画面の他の一例を示す図である。 第２の実施の形態に係る作業支援装置の処理の流れの一例を示すフローチャートである。 変形例１における表示部が表示する表示画面の一例を示す図である。 変形例１における表示部が表示する表示画面の一例を示す図である。 変形例１における表示部が表示する表示画面の一例を示す図である。 変形例２における表示部が表示する表示画面の一例を示す図である。 変形例２における表示部が表示する表示画面の一例を示す図である。 第３の実施の形態に係る作業支援装置を含むウェアラブル端末の構成の一例を示すブロック図である。 表示部が表示する表示画面の他の一例を示す図である。 本開示の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
　＜第１の実施の形態＞
　本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る作業支援装置１０の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る作業支援装置１０は、認識部１１と、測定部１２と、表示部１３とを備える。
　認識部１１は、ウェアラブル端末に搭載されたカメラより取得された画像を入力とする。認識部１１は、入力された画像に含まれる対象物を認識する。認識部１１は、カメラより取得された画像と、対象物の認識結果とを表示部１３に供給する。また、認識部１１は、認識したことを示す通知を測定部１２に供給する。
　測定部１２は、認識部１１から通知を受け取ると、対象物が認識された時点におけるウェアラブル端末の位置、および、向きまたは焦点距離を基準とする。そして、この基準からウェアラブル端末が移動すると、測定部１２は、この移動を検知し、該ウェアラブル端末の移動量を測定する。そして、測定部１２は、移動量を表示部１３に供給する。
　表示部１３は、認識部１１から認識結果と画像とを受け取る。また、表示部１３は、測定部１２から移動量を受け取る。表示部１３は、受け取った移動量に基づいて、認識された対象物に関連する関連情報を、表示画面上において対象物の隣に表示する。例えば、表示部１３は、認識結果から、認識された対象物に関連する関連情報を図示しない記憶部等より取得する。そして、認識部１１から受け取った画像から、認識された対象物の輪郭の座標群を特定し、該対象物の隣の領域を算出する。そして、表示部１３は、移動量に基づいて、移動後の表示画面を含む平面上における対象物の座標群を再計算し、対象物の隣に位置する関連情報の表示領域に、関連情報をＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：拡張現実）表示する。
　なお、表示部１３は、例えば液晶ディスプレイによって実現される場合、該液晶ディスプレイに関連情報を表示することにより作業者に視認させてもよい。また表示部１３がハーフミラーによって実現される場合、表示部１３は、関連情報をハーフミラーに反射させることにより、関連情報を作業者に視認させてもよい。また、表示部１３は、関連情報を網膜に直接を投影することにより、該関連情報を作業者に視認させてもよい。なお、本実施の形態および以下に説明する他の実施の形態においては表示部１３が液晶ディスプレイであるとして説明を行う。
　図２は、本実施の形態に係る作業支援装置１０の処理の流れの一例を示すフローチャートである。図２に示す通り、認識部１１が、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する（ステップＳ１）。そして、測定部１２が、対象物が認識された時点におけるウェアラブル端末の向き、および、ウェアラブル端末の位置またはカメラの焦点距離を基準として、ウェアラブル端末の移動量を測定する（ステップＳ２）。その後、表示部１３が測定された移動量に基づいて、認識された対象物に関連する関連情報を、表示画面上において対象物の隣に表示する（ステップＳ３）。以上により作業支援装置１０は、処理を終了する。
　以上のように、本実施の形態に係る作業支援装置１０は、ウェアラブル端末の移動量に基づいて、対象物に関連する情報を対象物の隣に位置するように表示する。したがって、例えば、カメラを搭載したウェアラブル端末を装着した作業者が、作業時において、作業対象の対象物と、対象物に関連する関連情報が表示された領域とを交互に見ながら作業を行った場合であっても、関連情報は対象物の隣に表示される。よって、作業者は、関連情報があたかも対象物の隣に表示されている場合と同様に、関連情報を視認することができる。これにより、作業支援装置１０は、作業者に煩わしさを与えることなく、関連情報を作業者に視認させることができる。したがって、作業支援装置１０は、作業者の作業を効果的に支援することができる。
　＜第２の実施の形態＞
　上述した第１の実施の形態を基本とする第２の実施の形態について説明する。図３は、本実施の形態に係る作業支援装置１００を含むウェアラブル端末１の構成の一例を示すブロック図である。図３に示す通り、ウェアラブル端末１は、カメラ２０と、作業支援装置１００とを含む。作業支援装置１００は、認識部１１０と、測定部１２０と、表示部１３０と、記憶部１４０とを備える。また、作業支援装置１００は、カメラ２０に接続している。なお、記憶部１４０は、作業支援装置１００の外部に設けられてもよい。
　図４は、本実施の形態に係るウェアラブル端末１の利用シーンを説明するための図である。図４に示す通り、作業者がウェアラブル端末１を装着し、対象物を見ると、ウェアラブル端末１に含まれるカメラ２０が対象物を撮影する。ウェアラブル端末１の作業支援装置１００は、カメラ２０によって撮影された画像を用いて、対象物を認識し、ウェアラブル端末１の移動量（つまり、作業者の頭の移動の量）を測定し、移動量に基づいて、対象物に関連する関連情報を対象物の隣に表示する。
　本実施の形態では、このように、ウェアラブル端末１が、例えば、眼鏡型であるとして説明を行うが、ウェアラブル端末１の形態はどのようなものであってもよい。カメラ２０が取得した画像（撮影画像と呼ぶ）は、作業支援装置１００に送信される。ここで、カメラ２０が撮影した撮影画像の一例を図５に示す。図５は、本実施の形態に係るウェアラブル端末１におけるカメラ２０が撮影した撮影画像の一例を示す図である。図５に示す通り、撮影画像には、対象物が含まれる。なお、撮影画像は、図５に示す対象物の内部の計器のみが対象物として含まれる画像であってもよい。
　以下、作業支援装置１００の各部について説明を行う。記憶部１４０は、対象物の認識に用いられる認識用データを記憶している。記憶部１４０が記憶する認識用データには、該認識用データが示す対象物に関連する情報が関連付けられている。対象物に関連する情報とは、例えば、該対象物を説明する情報、該対象物に対する操作マニュアル等が挙げられるがこれに限定されるものではない。また、認識用データには、該認識用データが示す対象物の大きさ、形状等、画像から該対象物の輪郭を特定可能な情報が関連付けられていてもよい。
　認識部１１０は、上述した第１の実施の形態に係る認識部１１に相当する。認識部１１０は、カメラ２０から送信された撮影画像を受信する。なお、認識部１１０は、カメラ２０が撮影した撮影画像を、カメラ２０から取得する構成であってもよいし、カメラ２０が撮影した撮影画像を記憶する記憶装置から取得する構成であってもよい。
　認識部１１０は、記憶部１４０を参照し、該撮影画像から、該撮影画像に含まれる対象物を認識する。そして、認識部１１０は、認識結果を撮影画像と共に表示部１３０に供給する。認識部１１０が表示部１３０に供給する認識結果は、記憶部１４０に格納された認識用データが示す対象物を表す情報であればよい。また、認識部１１０は、対象物を認識したことを示す通知（認識通知）を撮影画像と共に測定部１２０に供給する。
　測定部１２０は、認識通知を受け取ると、対象物が認識された時点におけるウェアラブル端末１の位置および向きを基準とする。なお、測定部１２０は、対象物が認識された時点におけるカメラ２０の焦点距離および向きを基準としてもよい。本実施の形態では、ウェアラブル端末１を装着した作業者が視認可能な画角と、カメラ２０が撮影した画角とがほぼ同じになるようにカメラ２０の焦点距離が設定されているとして説明を行う。なお、基準の決定方法は特に限定されないが、測定部１２０は、対象物が認識された時点のウェアラブル端末１の位置情報と、ウェアラブル端末１の向きとから、該基準を算出することができる。以下では、対象物が認識された時点のウェアラブル端末１の位置を始点とし、該ウェアラブル端末１の方向へ向かう矢印によって上記基準を表すとする。なお、この基準を以下では基準位置や原点とも呼ぶが、これらは特に言及しない限り、基準によって表されるウェアラブル端末１の位置のみを示すものではなく、ウェアラブル端末１の位置および方向を示すとする。
　測定部１２０は、その後、ウェアラブル端末１の移動量を測定する。測定部１２０は、ウェアラブル端末１の位置の変化量およびウェアラブル端末１の向きの変化量を移動量として測定する。測定部１２０は、例えば、モーションセンサによって実現される。
　測定部１２０は、移動量を測定すると、移動量を測定する前の位置および方向と、移動量とを、表示部１３０に供給する。
　表示部１３０は、認識部１１０から認識結果を撮影画像と共に受け取る。表示部１３０は、記憶部１４０と、認識結果とから、撮影画像に含まれる対象物を特定し、該対象物に関連する関連情報を取得する。そして、表示部１３０は、該関連情報をＡＲ表示する際、該関連情報の表示領域が表示画面上において対象物の隣に位置するように、該関連情報の表示領域を決定する。例えば、表示部１３０は、対象物の大きさから撮影画像上における対象物の輪郭の座標群を算出し、該輪郭の座標群の外側になるように、関連情報の表示領域を決定する。例えば、認識された対象物が、複数の部品を含む装置である場合、表示部１３０は、この装置の外周に沿った領域のうちの何れかの領域を表示領域として決定してもよい。また、例えば、認識された対象物が複数の部品を含む装置内の何れかの部品である場合、表示部１３０は、認識された対象物の外周に沿った領域のうちの何れかの領域を表示領域としてもよいし、認識された対象物と他の対象物との位置関係から、何も対象物が存在しない領域を表示領域としてもよい。
　また、表示部１３０は、基準位置において表示部１３０が表示する表示画面を含む平面上において関連情報を表示した場合に、該関連情報が所定の大きさで視認される大きさに表示領域の大きさを決定してもよい。例えば、表示部１３０は、対象物を認識した時点におけるウェアラブル端末１の位置および方向において、該対象物の隣に関連情報を表示した場合に、該関連情報の大きさが所定の大きさ（例えば、２１０×２９７ミリ）となるように、表示領域の大きさを決定してもよい。
　また、表示部１３０は、対象物が認識された時点において、該対象物を含む実世界上の平面であり、カメラ２０の光軸と平行な平面上において、所定の大きさとなるように、関連情報の表示領域の大きさを決定してもよい。例えば、認識用データに、該認識用データが表す対象物の実世界上の大きさに対する縮尺が関連付けられており、対象物の実世界上の大きさが推定可能であるとする。なお、対象物の実世界上の大きさの推定方法は特に限定されない。表示部１３０は、推定した実世界上の対象物の大きさと、撮影画像とから該対象物を含む実世界上の、カメラ２０の光軸と水平な平面の位置を推定し、該平面上において、所定の大きさ（例えば、２１０×２９７ミリ）となるように、表示領域の大きさを決定してもよい。
　以下では、表示部１３０が表示する表示画面上の関連情報のサイズの横幅が所定のサイズ（例えば２１０ミリ）であるとして説明を行う。
　そして、表示部１３０は、決定した表示領域が、現時点の画角内に少なくとも一部分が含まれるか否かを確認する。表示部１３０は、現時点の画角内に決定した表示領域が少なくとも一部分含まれる場合、決定した大きさで該表示領域に関連情報を表示した際の該画角内に含まれる部分の画像（ＡＲ表示用画像）を生成する。そして、表示部１３０は、カメラ２０が撮影した撮影画像上に生成したＡＲ表示用画像を重畳して表示する。図６に表示部１３０が表示する表示画面の一例を示す。図６は、図５の撮影画像に、関連情報をＡＲ表示させた表示画面の一例である。図６に示す通り、表示画面には、対象物の右隣に、関連情報が表示される。関連情報は、表示画面を含む平面上では、所定の大きさであり、表示画面の画角内には、左側の一部のみが含まれる。なお、破線で示す通り、関連情報は対象物の左隣に表示されてもよい。
　なお、例えば、現時点の画角内いっぱいに対象物が写っている場合、対象物の隣に位置する表示領域は、該画角内には含まれない。したがって、表示部１３０は、現時点の画角内に決定した表示領域は含まれないと確認する。この場合、表示部１３０は、関連情報の少なくとも一部分を表示画面に表示しない。
　また、表示部１３０は、測定部１２０から移動量を測定する前の位置および方向と、移動量とを、受け取る。ここで、測定部１２０が測定する移動量について、図７および図８を用いて説明する。図７および図８は測定部１２０が測定する移動量を説明するための図である。図７および図８では、移動量として左右方向（鉛直方向に略垂直な方向）について説明するが、上下方向（鉛直方向に略平行な方向）の移動を含んでいてもよい。
　基準位置は、図７に示す通り、ウェアラブル端末１を装着した作業者から対象物に向かう方向であるとする。そして、図７では、表示部１３０が上述のようにして決定した関連情報の表示領域を破線で示している。作業者が、表示領域側に顔を動かすと、ウェアラブル端末１の向きは、基準位置の方向から一点鎖線の矢印で示す方向に移動する。測定部１２０は、この向きの変化量（回転量）を移動量として測定する。
　また、図８に示す通り、作業者が基準位置を決定した時点の作業者の位置から右方向に体ごと移動した場合、ウェアラブル端末１の方向は変わらないがウェアラブル端末１の位置が変化する。測定部１２０は、この位置の変化量を移動量として測定する。
　表示部１３０は、測定部１２０から移動量を測定する前の位置および方向である基準位置と、移動量とを受け取る。そして、表示部１３０は、この移動量に基づいて、関連情報を表示する。図９および図１０を用いてその説明を行う。
　まず、ウェアラブル端末１を装着した作業者が図７に示す状態で対象物を見ている状態の場合の表示画面が図６の状態であるとする。作業者は、作業対象の対象物に関連する情報を見るために、図７のように頭を右方向に回転させ、関連情報の表示領域の方を見たとする。このとき、カメラ２０が撮影する撮影画像は、図９に示すように、対象物が左側に移動した状態となる。表示部１３０は、移動量に基づいて、対象物の位置や対象物の輪郭の座標群を再計算する。また、表示部１３０は、再計算した対象物の位置や輪郭の座標群に基づいて、該対象物の隣に表示される関連情報の表示領域も再計算する。そして、再計算された領域が、移動後の画角内に少なくとも一部分が含まれるか否かを確認する。表示部１３０は、現時点の画角内に決定した表示領域が少なくとも一部分含まれる場合、既に決定している大きさで該表示領域に関連情報を表示した際の該画角内に含まれる部分の画像（ＡＲ表示用画像）を生成する。そして、表示部１３０は、カメラ２０が撮影した撮影画像上に生成したＡＲ表示用画像を重畳して表示する。図１０に表示部１３０が表示する表示画面の一例を示す。表示部１３０は、図１０に示すように、対象物の関連情報が関連情報の隣に位置するように表示画面に関連情報を表示する。
　図６および図１０を比較すると、関連情報が、図６の状態から作業者が右方向に回転した状態で表示されていることがわかる。つまり、表示部１３０は、対象物の関連情報があたかも対象物の隣に固定されているかのように、該関連情報を表示している。
　また、表示部１３０が、測定部１２０から、移動量を測定する前の位置および方向と、移動量とを受け取る場合の他の例について説明する。まず、表示部１３０が測定部１２０から受け取る移動量を測定する前の位置および方向と、移動量とを図１１を用いて説明する。なお、図１１では、図６に示すようにウェアラブル端末１の位置が変化しておらず、ウェアラブル端末１の向きのみが変化する場合について説明を行うが、ウェアラブル端末１の位置が変化してもよい。
　図１１において、一点鎖線の矢印で示す１回目に移動した後のウェアラブル端末１の向きは、図６における移動後の向きと同じであるとする。つまり、ウェアラブル端末１を装着した作業者が、関連情報の表示領域の方を向いているとする。この位置から作業者が下方向に頭を向けると、測定部１２０はこの移動量を測定する。測定部１２０は、移動前の位置（一点鎖線の矢印の位置）と、この移動前の位置からの移動量（二点鎖線の矢印の位置までの変化量）とを、表示部１３０に供給する。
　表示部１３０は、測定部１２０から測定した移動量と、移動量の測定前の位置とを受け取ると、この移動量に基づいて関連情報を表示する。具体的には、表示部１３０は、測定前の位置からの移動が、関連情報が表示された画角内から該関連情報に沿った移動であるか否かを判定する。そして、該関連情報に沿った移動である場合、表示部１３０は、移動量に基づいて、表示画面上における関連情報の表示位置において、該関連情報の表示内容を変更して表示する。
　図１１において、２回目に移動した後のウェアラブル端末の向きで、表示部１３０が表示する表示画面の一例を図１２に示す。図１２は、図１０の状態からウェアラブル端末１を装着した作業者がスクロール方向（上下方向）に頭を動かした場合における表示画面の一例である。図１２に示す通り、図１０において関連情報が表示された位置に内容が異なる関連情報が表示されている。表示部１３０は、移動量に応じて、関連情報が下にスクロールされた状態になるように、該関連情報を表示している。なお、表示部１３０がこの関連情報を表示する状態において、カメラ２０が取得する画像には対象物が含まれないため、図１２に示す表示画面には対象物が含まれない。これにより、表示部１３０は、対象物の関連情報が、実世界上において、あたかも対象物の隣に固定して貼り付けられているかのように、該関連情報を表示することができる。
　また、表示部１３０は、実世界上において、対象物の隣にあたかも関連情報が固定して貼り付けられていることを、より実世界に近い状態で表示してもよい。例えば、図７に示す通り移動量が角度である場合、実世界で対象物の隣に関連情報が貼り付けられているとすると、該関連情報は傾斜を有した状態で見える。したがって、表示部１３０は、図１３に示す通り、この傾斜も考慮して、関連情報を対象物の隣に表示してもよい。このように、本実施の形態に係る作業支援装置１００は、より実世界に近い状態を再現する表示を行うことができる。
　また、図１０および図１２では、表示部１３０は関連情報の表示領域を横幅のみ所定の大きさにして表示したが、表示領域の縦の長さも所定の大きさにしてもよい。例えば、表示部１３０は、図１４に示す通り、実際の用紙を対象物の隣に貼り付けているかのように、関連情報を所定の大きさ（例えば、２１０×２９７ミリ）で表示してもよい。そして、ウェアラブル端末１の方向がスクロール方向に移動すると、表示部１３０は、作業者が次のページを見るかのように、図１４の表示画面に表示した内容の続きの内容を、同じ大きさで、図１５に示すように表示してもよい。これにより、作業者は、実際に作業の際に使用する、例えばマニュアルなどを見る場合と同じように、ＡＲ表示された関連情報を視認することができる。
　図１６は、本実施の形態に係る作業支援装置１００の処理の流れの一例を示すフローチャートである。図１６に示す通り、まず、認識部１１０がカメラ２０から供給された画像（撮影画像）を受信する（ステップＳ１１）。そして、認識部１１０が、受信した撮影画像に含まれる対象物を認識する（ステップＳ１２）。
　そして、測定部１２０が、対象物が認識された時点におけるウェアラブル端末１の位置および向きから基準位置を決定する（ステップＳ１３）。そして、表示部１３０が、対象物の関連情報をＡＲ表示する表示領域を決定する（ステップＳ１４）。
　そして、表示部１３０は、対象物の表示領域の少なくとも一部分が、現時点の画角内に含まれるか否かを確認し（ステップＳ１５）、含まれる場合（ステップＳ１５にてＹＥＳ）、現時点の画角内において表示されるＡＲ表示用画像を生成する（ステップＳ１６）。そして、表示部１３０は、生成したＡＲ表示用画像を、撮影画像に重畳して表示する（ステップＳ１７）。
　対象物の表示領域の少なくとも一部分が、現時点の画角内に含まれない場合（ステップＳ１５にてＮＯ）、表示部１３０は、撮影画像のみを表示する（ステップＳ１８）。撮影画像にＡＲ表示用画像を重畳して表示した後（ステップＳ１７終了後）、または、撮影画像を表示後（ステップＳ１８終了後）、ウェアラブル端末１は、自身が移動を検知したか否かを確認する。つまり、測定部１２０が移動量を測定したか否かを確認する（ステップＳ１９）。測定部１２０は、移動量を測定するまで待機する（ステップＳ１９にてＮＯ）。
　一方、測定部１２０が移動量を測定した場合（ステップＳ１９にてＹＥＳ）、表示部１３０は移動方向が関連情報のスクロール方向か否かを確認する（ステップＳ２０）。スクロール方向ではない場合（ステップＳ２０にてＮＯ）、すなわち、図７および図８に示したような移動の場合、表示部１３０は移動量に基づいて、対象物の位置および表示領域を再計算する（ステップＳ２１）。そして、処理をステップＳ１５に戻し、再計算した表示領域が画角内に含まれる場合、表示部１３０は例えば図１０に示すように関連情報を対象物の隣に表示することができる。
　移動方向がスクロール方向の場合（ステップＳ２０にてＹＥＳ）、すなわち、図１１に示したような移動の場合、表示部１３０は移動量に基づいて、対象物の表示内容を変更したＡＲ表示用画像を生成する（ステップＳ２２）。そして、処理をステップＳ１７に戻し、表示部１３０が生成したＡＲ表示用画像を表示する。
　これにより、表示部１３０は、移動量に基づいて、関連情報の表示位置または表示内容を変更しながら、カメラ２０が取得した撮影画像にＡＲ表示用画像を重畳させて表示した表示画面を表示することができる。
　以上のように、本実施の形態に係る作業支援装置１００は、認識部１１０がカメラ２０より取得された画像から、当該画像に含まれる対象物を認識する。そして、測定部１２０が、対象物が認識された時点におけるウェアラブル端末１の向き、および、ウェアラブル端末１の位置またはカメラ２０の焦点距離を基準として、ウェアラブル端末１の移動量を測定する。そして、表示部１３０が、測定された移動量に基づいて、認識された対象物に関連する関連情報を、表示画面上において対象物の隣に表示する。したがって、例えば、カメラを搭載したウェアラブル端末１を装着した作業者が、作業時において、作業対象の対象物と、対象物に関連する関連情報が表示された領域とを交互に見ながら作業を行った場合であっても、関連情報は対象物の隣に表示される。よって、作業者は、関連情報があたかも対象物の隣に表示されている場合と同様に、関連情報を視認することができる。これにより、作業支援装置１００は、作業者に煩わしさを与えることなく、関連情報を作業者に視認させることができ、高いリアル感を与えることができる。したがって、作業支援装置１００は、作業者の作業を効果的に支援することができる。
　（変形例１）
　次に、本実施の形態に係る作業支援装置１００の変形例１について説明する。上述した第２の実施の形態では、作業支援装置１００は、表示画面との距離が一定の状態における移動量を測定したが、測定部１２０は表示画面との距離の変化量も測定してもよい。このとき表示部１３０が表示する表示画面について説明する。
　表示部１３０は、上述した通り、基準位置において表示部１３０が表示する表示画面を含む平面上において関連情報を表示した場合に、所定の大きさで視認される大きさに表示領域の大きさを決定するとする。そして、表示部１３０は決定した大きさで関連情報を表示する。そして、本変形例における表示部１３０は、対象物との距離が変化しても、表示画面上において、関連情報が所定の大きさで視認されるように、関連情報を表示する。これについて、図１７から図１９を参照して説明を行う。
　まず、図１７は、対象物が認識された時点における表示画面の一例を示す。図１７に示す通り、関連情報は、対象物の隣に位置するように表示される。表示部１３０は、この関連情報を、例えば、実世界上において、対象物の隣に、２１０×２９７ミリのサイズの用紙が置かれているのと同じ大きさとなるように表示している。
　この図１７の表示画面を表示した時点は、対象物が認識された時点であるため、該対象物の認識に用いた画像を撮影したウェアラブル端末１の位置と方向とが基準となる。この基準から、ウェアラブル端末１を装着した作業者が対象物から離れる方向に移動した場合、対象物との距離が遠くなる。そのため、図１８に示す通り、表示部１３０が表示する表示画面上において、対象物は、図１７に示す状態から小さくなる。この場合であっても、表示部１３０は、対象物の隣に関連情報を表示する。このとき、表示部１３０は、関連情報の大きさを図１７に表示した大きさから変更しない。つまり、本変形例において、表示部１３０は、表示画面上において所定の大きさ（２１０×２９７ミリ）で関連情報が視認されるように、関連情報を表示する。このときカメラのピントは、対象物に合っている場合が多い。したがって、表示部１３０は、表示画面に表示する関連情報にもピントが合うように関連情報を所定の大きさで表示する。
　図１７の表示画面を表示した時点から対象物に近づいた場合も同様である。図１９は、基準から、ウェアラブル端末１を装着した作業者が対象物に近づく方向に移動した場合、対象物との距離が近くなる。そのため、図１９に示す通り、表示部１３０が表示する表示画面上において、対象物は、図１７に示す状態から大きくなる。この場合であっても、表示部１３０は、対象物の隣に関連情報を表示する。このとき、表示部１３０は、関連情報の大きさを図１７に表示した大きさから変更しない。この場合も、表示部１３０は、表示画面に表示する関連情報にもピントが合うように関連情報を所定の大きさで表示する。
　上述した通り、ウェアラブル端末１の位置が変化し、カメラ２０と対象物との距離が変化する場合、この対象物との距離に応じてカメラ２０のピントも合せる場合、カメラ２０の焦点距離も変化する。つまり、本変形例における測定部１２０は、対象物が認識された時点におけるウェアラブル端末の向き、および、カメラ２０の焦点距離を基準とし、カメラ２０の焦点距離の基準からの変化量を、該カメラ２０を搭載したウェアラブル端末の移動量として測定すると言い換えることができる。このような場合であっても、作業支援装置１００は、焦点距離の変化に合わせて、ピントを合わせた所定の大きさの関連情報を対象物の隣に表示することができる。
　つまり、実際にウェアラブル端末１を移動させなくとも、例えば、図示しない入力装置等から焦点距離を変更させる指示が入力された場合、作業支援装置１００は、該焦点距離の変更に従って変更させた焦点距離に基づいて、関連情報を表示することができる。
　このような構成によれば、例えば、ウェアラブル端末１から遠くに位置する対象物を認識した場合であっても、作業支援装置１００は、対象物の隣に、作業者が視認可能な状態で関連情報を表示することができる。
　（変形例２）
　本実施の形態の変形例２について説明する。本変形例では、上述した変形例１と同様に、測定部１２０が表示画面との距離の変化量を測定する場合について説明する。ただし、本変形例では、上述した変形例１と異なり、表示部１３０が、対象物が認識された時点において、該対象物を含む実世界上の平面であり、カメラ２０の光軸と平行な平面上において、所定の大きさとなるように、関連情報の表示領域の大きさを決定するとして説明する。これについて、図１７、図２０および図２１を参照して説明を行う。
　まず、図１７は、上述と同様に対象物が認識された時点における表示画面である。表示部１３０は、対象物が認識された時点において、該対象物を含む実世界上の平面であり、カメラ２０の光軸と平行な平面上において、所定の大きさとなるように、関連情報の表示領域の大きさを決定し、決定した大きさで関連情報を表示する。表示部１３０は、この関連情報を、例えば、実世界上において、対象物の隣に、２１０×２９７ミリのサイズの用紙が置かれているのと同じ大きさとなるように表示している。
　そして、基準から、ウェアラブル端末１を装着した作業者が対象物から離れる方向に移動した場合、対象物との距離が遠くなる。そのため、図２０に示す通り、表示部１３０が表示する表示画面上において、対象物は、図１７に示す状態から小さくなる。ここで、表示部１３０が対象物を含む実世界上の平面上で所定の大きさで関連情報を表示するため、図２０に示す通り、関連情報は小さく表示される。
　図１７の表示画面を表示した時点から対象物に近づいた場合も同様である。図２１は、基準から、ウェアラブル端末１を装着した作業者が対象物に近づく方向に移動した場合の表示画面の一例を示す図である。図２１に示す通り、表示部１３０が表示する表示画面上において、対象物とウェアラブル端末１との距離が近くなるため、対象物は、図１７に示す状態から大きくなる。表示部１３０が対象物を含む実世界上の平面上で所定の大きさで関連情報を表示するため、図２１に示す通り、関連情報も対象物と同様に大きく表示される。
　このような構成によれば、作業支援装置１００は、実世界上において対象物の隣に、関連情報である例えば、操作マニュアル等を置いた場合と、同様の状態を再現することができる。
　また、作業支援装置１００は、変形例１と変形例２とを組み合わせた構成であってもよい。例えば、表示部１３０は、対象物を認識した時点では関連情報が表示画面上において所定の大きさ（第１の大きさ）で視認されるようにし、焦点距離の変化に応じて、第１の大きさから変化させた第２の大きさで該関連情報が視認されるように、該関連情報を表示してもよい。
　このような構成により、作業支援装置１００は、作業者の作業に応じてより適切なサイズで、関連情報を表示することができる。よって、作業支援装置１００は、作業者の作業をより効果的に支援することができる。
　＜第３の実施の形態＞
　次に、第３の実施の形態について図２２を参照して説明する。本実施の形態に係るウェアラブル端末２は、上述したウェアラブル端末１の作業支援装置１００に代えて、作業支援装置１０１を備え、更に、入力装置３０を備える。作業支援装置１０１は、上述した作業支援装置１００に受付部１５０を更に備える構成である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。
　図２２は、本実施の形態に係る作業支援装置１０１を含むウェアラブル端末２の構成の一例を示すブロック図である。図２２に示す通り、ウェアラブル端末２は、カメラ２０と、入力装置３０と、作業支援装置１０１とを含む。作業支援装置１０１は、認識部１１０と、測定部１２０と、表示部１３０と、記憶部１４０と、受付部１５０とを備える。また、作業支援装置１０１は、カメラ２０および入力装置３０に接続している。なお、入力装置３０は、ウェアラブル端末２とは別個の装置であってもよい。また、入力装置３０は、作業支援装置１０１に内蔵されていてもよい。
　入力装置３０は、作業者が指示を入力するための装置である。受付部１５０は、入力装置３０を介して入力された内容を受け付ける。受付部１５０は受け付けた内容を表示部１３０に供給する。
　受付部１５０が受け付ける内容は、例えば、表示内容を変更する指示である。表示内容を変更する指示とは、例えば、表示された関連情報を所定の方向にスクロールさせる指示である。受付部１５０は受け付けた指示を表示部１３０に供給する。そして、表示部１３０は、受付部１５０から受け取った指示に従って、表示内容を変更させて表示する。
　表示部１３０が表示させる表示画面の一例を図２３に示す。ここでは、図１０に示す表示画面から、受付部１５０が下方向へのスクロール指示を受け取ったとする。このとき、表示部１３０は、関連情報の内容をスクロールさせて表示する。これにより、図２３に示す通り、関連情報を表示する領域には、スクロール後の関連情報が表示される。このように、表示部１３０は、スクロール指示に従った内容に表示内容を変更したＡＲ表示用画面を作成し、撮影画像に重畳して表示する。これにより、作業者は、簡単な操作で表示内容を変更した関連情報を確認することができる。よって、本実施の形態に係る作業支援装置１０１は、作業者の作業をより効果的に支援することができる。
　（ハードウェア構成について）
　本開示の各実施形態において、各作業支援装置の各構成要素は、機能単位のブロックを示している。各作業支援装置の各構成要素の一部又は全部は、例えば図２４に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図２４は、各作業支援装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３
　　・ＲＡＭ９０３にロードされるプログラム９０４
　　・プログラム９０４を格納する記憶装置９０５
　　・記録媒体９０６の読み書きを行うドライブ装置９０７
　　・通信ネットワーク９０９と接続する通信インタフェース９０８
　　・データの入出力を行う入出力インタフェース９１０
　　・各構成要素を接続するバス９１１
　各実施形態における各作業支援装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各作業支援装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
　各作業支援装置の実現方法には、様々な変形例がある。例えば、各作業支援装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各作業支援装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
　また、各作業支援装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
　各作業支援装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　各作業支援装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、
　前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
　前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
　を備える作業支援装置。
　（付記２）
　前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、付記１に記載の作業支援装置。
　（付記３）
　前記表示手段は、前記表示画面を含む平面上において所定の大きさで前記関連情報が視認されるように、当該関連情報を表示する、付記１または２に記載の作業支援装置。
　（付記４）
　前記表示手段は、前記対象物が認識された時点において、前記対象物を含む実世界上の平面であって、当該カメラの光軸と平行な前記平面上において、所定の大きさとなるように、前記関連情報を表示する、付記１または２に記載の作業支援装置。
　（付記５）
　前記表示手段は、前記基準における表示画面を含む平面上において第１の大きさで視認されるように、且つ、前記カメラの焦点距離が、前記対象物が認識された時点から変化した場合、当該焦点距離の変化に応じて前記第１の大きさを変化させた第２の大きさで視認されるように、前記関連情報を表示する、付記１または２に記載の作業支援装置。
　（付記６）
　前記測定手段は、前記移動量として、移動前の前記ウェアラブル端末の向きからの移動角度を測定する、付記１から５の何れか１つに記載の作業支援装置。
　（付記７）
　入力装置に入力された内容を受け付ける受付手段を更に備え、
　前記表示手段は、前記関連情報が表示された状態において、前記受付手段が受け付けた内容に応じて、現時点における前記関連情報の表示位置において、該関連情報の表示内容を変更する、付記１から６の何れか１つに記載の作業支援装置。
　（付記８）
　画像を取得するカメラと、
　前記画像から、当該画像に含まれる対象物を認識する認識手段と、
　前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
　前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
　を備えるウェアラブル端末。
　（付記９）
　前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、付記８に記載のウェアラブル端末。
　（付記１０）
　ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、
　前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定し、
　前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する、作業支援方法。
　（付記１１）
　前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更して表示する、付記１０に記載の作業支援方法。
　（付記１２）
　ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する処理と、
　前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する処理と、
　前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する処理と、
　をコンピュータに実行させるプログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体。
　（付記１３）
　前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する処理を、更にコンピュータに実行させる、付記１２に記載の記録媒体。
　この出願は、２０１６年３月２９日に出願された日本出願特願２０１６－０６５６７１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　　ウェアラブル端末
　２　　ウェアラブル端末
　１０　　作業支援装置
　１１　　認識部
　１２　　測定部
　１３　　表示部
　２０　　カメラ
　３０　　入力装置
　１００　　作業支援装置
　１０１　　作業支援装置
　１１０　　認識部
　１２０　　測定部
　１３０　　表示部
　１４０　　記憶部
　１５０　　受付部

Claims (13)

  1. 　ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、
    　前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
    　前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
    　を備える作業支援装置。
  2. 　前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、請求項１に記載の作業支援装置。
  3. 　前記表示手段は、前記表示画面を含む平面上において所定の大きさで前記関連情報が視認されるように、当該関連情報を表示する、請求項１または２に記載の作業支援装置。
  4. 　前記表示手段は、前記対象物が認識された時点において、前記対象物を含む実世界上の平面であって、当該カメラの光軸と平行な前記平面上において、所定の大きさとなるように、前記関連情報を表示する、請求項１または２に記載の作業支援装置。
  5. 　前記表示手段は、前記基準における表示画面を含む平面上において第１の大きさで視認されるように、且つ、前記カメラの焦点距離が、前記対象物が認識された時点から変化した場合、当該焦点距離の変化に応じて前記第１の大きさを変化させた第２の大きさで視認されるように、前記関連情報を表示する、請求項１または２に記載の作業支援装置。
  6. 　前記測定手段は、前記移動量として、移動前の前記ウェアラブル端末の向きからの移動角度を測定する、請求項１から５の何れか１項に記載の作業支援装置。
  7. 　入力装置に入力された内容を受け付ける受付手段を更に備え、
    　前記表示手段は、前記関連情報が表示された状態において、前記受付手段が受け付けた内容に応じて、現時点における前記関連情報の表示位置において、該関連情報の表示内容を変更する、請求項１から６の何れか１項に記載の作業支援装置。
  8. 　画像を取得するカメラと、
    　前記画像から、当該画像に含まれる対象物を認識する認識手段と、
    　前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
    　前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
    　を備えるウェアラブル端末。
  9. 　前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、請求項８に記載のウェアラブル端末。
  10. 　ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、
    　前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定し、
    　前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する、作業支援方法。
  11. 　前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更して表示する、請求項１０に記載の作業支援方法。
  12. 　ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する処理と、
    　前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する処理と、
    　前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する処理と、
    　をコンピュータに実行させるプログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体。
  13. 　前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する処理を、更にコンピュータに実行させる、請求項１２に記載の記録媒体。
PCT/JP2017/010949 2016-03-29 2017-03-17 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体 WO2017169909A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018509054A JPWO2017169909A1 (ja) 2016-03-29 2017-03-17 作業支援装置、ウェアラブル端末、作業支援方法およびコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016065671 2016-03-29
JP2016-065671 2016-03-29

Publications (1)

Publication Number Publication Date
WO2017169909A1 true WO2017169909A1 (ja) 2017-10-05

Family

ID=59964328

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010949 WO2017169909A1 (ja) 2016-03-29 2017-03-17 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体

Country Status (2)

Country Link
JP (1) JPWO2017169909A1 (ja)
WO (1) WO2017169909A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075232A1 (ja) * 2018-10-10 2020-04-16 株式会社日立製作所 拡張現実による機械的締結部の管理方法
TWI788796B (zh) * 2020-03-05 2023-01-01 日商京都機械工具股份有限公司 擴增實境的機械連結作業方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010238098A (ja) * 2009-03-31 2010-10-21 Ntt Docomo Inc 端末装置、情報提示システム及び端末画面表示方法
WO2015170520A1 (ja) * 2014-05-09 2015-11-12 ソニー株式会社 情報処理システムおよび情報処理方法
JP2015222519A (ja) * 2014-05-23 2015-12-10 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010238098A (ja) * 2009-03-31 2010-10-21 Ntt Docomo Inc 端末装置、情報提示システム及び端末画面表示方法
WO2015170520A1 (ja) * 2014-05-09 2015-11-12 ソニー株式会社 情報処理システムおよび情報処理方法
JP2015222519A (ja) * 2014-05-23 2015-12-10 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075232A1 (ja) * 2018-10-10 2020-04-16 株式会社日立製作所 拡張現実による機械的締結部の管理方法
TWI788796B (zh) * 2020-03-05 2023-01-01 日商京都機械工具股份有限公司 擴增實境的機械連結作業方法

Also Published As

Publication number Publication date
JPWO2017169909A1 (ja) 2019-02-14

Similar Documents

Publication Publication Date Title
US11488366B2 (en) Augmented reality lighting effects
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
US20130342569A1 (en) Method and apparatus for augmenting an index generated by a near eye display
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
JP7005224B2 (ja) 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
US10713488B2 (en) Inspection spot output apparatus, control method, and storage medium
JP6775957B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2015184839A (ja) 画像生成装置、画像表示システム及び画像生成方法
US20060176321A1 (en) Endoscope apparatus
WO2017169909A1 (ja) 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体
CN107592520B (zh) Ar设备的成像装置及成像方法
JP7210131B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2015045679A1 (ja) 情報機器および制御プログラム
JP6686319B2 (ja) 画像投影装置及び画像表示システム
JPH11238124A (ja) 画像表示方法および装置
JP2012058353A (ja) 画像表示装置、及びその制御方法
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
JP2020197856A (ja) 情報表示装置
US20220345680A1 (en) Information processing apparatus, information processing method, and program
JP2016111521A (ja) 情報処理装置、情報処理プログラムおよび情報処理方法
JP2019144438A (ja) 表示制御装置及び表示制御方法
JP2014174643A (ja) 画像処理システム、その制御方法、画像処理装置、及び画像処理方法
JP2018142340A (ja) 画像生成装置、画像表示システム及び画像生成方法
EP3220259A1 (en) Terminal device, data processing system, program and data processing method

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018509054

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17774450

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17774450

Country of ref document: EP

Kind code of ref document: A1