WO2022003752A1 - ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム - Google Patents

ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム Download PDF

Info

Publication number
WO2022003752A1
WO2022003752A1 PCT/JP2020/025446 JP2020025446W WO2022003752A1 WO 2022003752 A1 WO2022003752 A1 WO 2022003752A1 JP 2020025446 W JP2020025446 W JP 2020025446W WO 2022003752 A1 WO2022003752 A1 WO 2022003752A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
work
distance
display
unit
Prior art date
Application number
PCT/JP2020/025446
Other languages
English (en)
French (fr)
Inventor
直樹 北原
Original Assignee
株式会社青電社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社青電社 filed Critical 株式会社青電社
Priority to JP2022533258A priority Critical patent/JP7418870B2/ja
Priority to PCT/JP2020/025446 priority patent/WO2022003752A1/ja
Publication of WO2022003752A1 publication Critical patent/WO2022003752A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information

Definitions

  • the present invention relates to a display device.
  • MR mixed reality
  • HMD head-mounted display
  • CG real object and computer graphics
  • the present inventor is diligently researching how to improve work efficiency by using MR technology not only for providing a simulated experience but also for working at a work site where a worker can move (for example, a construction site). is doing. Specifically, the worker is made to wear the HMD at the work site, and the HMD is made to display the MR space in which the work information for the work target portion is displayed on the real image showing the real space of the work site. As a result, the worker can efficiently perform the work on the work target portion while visually recognizing the work information via the HMD. By the way, in a work site where a worker can move, the worker must first find a work target location.
  • such a problem is not limited to the HMD, but is a common problem when a display device capable of displaying an MR space is used at a work site where a worker can move.
  • the present invention discloses a technique capable of solving the above-mentioned problems.
  • the display device disclosed in the present specification is a display device including an acquisition unit for acquiring a real image representing a real space and a display unit, and is a work target in a real object located in the real space.
  • Work on the work target location on the distance specifying unit that specifies the display distance, which is the distance between the location and the display device, and the real image acquired by the acquisition unit when the display distance is equal to or less than the reference distance.
  • a short-distance image including a work reference image showing the reference position of is displayed on the display unit, and when the display distance exceeds the reference distance, a long-distance image having higher visibility than the short-distance image is used.
  • the present invention includes a display control unit for displaying a long-distance image including a work location image indicating the position of the work portion on the display unit.
  • a short-distance image is displayed on the display unit.
  • This short-distance image is an image including a work reference image showing a work reference position with respect to a work target portion on a real image acquired by the acquisition unit.
  • a long-distance image is displayed on the display unit.
  • the long-distance image is an image that has higher visibility than the short-distance image and includes a work portion image showing the position of the work target portion. Therefore, the worker can easily find the work target portion through the long-distance image at a position relatively far from the work target portion.
  • the worker can work on the work target portion through the short-distance image while suppressing the limitation of the field of view due to the long-distance image.
  • the present display device it is possible to easily find the work target portion and improve the workability at the work target portion.
  • the short-distance image is an image in which the work reference image is relatively emphasized with respect to the work location image
  • the long-distance image is an image in which the work location image is the work. It may be configured as an image that is relatively emphasized with respect to the location image.
  • a short-distance image in which the work reference image is relatively emphasized with respect to the work location image is displayed on the display unit.
  • a long-distance image in which the work location image is relatively emphasized with respect to the work location image is displayed on the display unit.
  • the worker can more easily find the work target portion through the relatively emphasized work portion image at a position relatively far from the work target portion.
  • the worker can more efficiently perform the work on the work target location through the relatively emphasized work reference image.
  • the work location image may be configured to be a stereoscopic image in which at least a part thereof is located in front of the work target location.
  • the work location image is a stereoscopic image in which at least a part thereof is located in front of the work target location. For this reason, for example, compared to the case where the work location image is a flat image or an image located behind the work target location, even when the worker views the work location from an oblique direction, the work location image is displayed. You can easily find the work target part through.
  • the display device may be configured to include a display changing unit that changes the display mode of at least one of the short-distance image and the long-distance image independently of the surrounding image.
  • a display changing unit that changes the display mode of at least one of the short-distance image and the long-distance image independently of the surrounding image.
  • the display device includes a completion detection unit that detects the completion of work for the work target location, and the display change unit is a short-distance image when the completion detection unit detects the completion of the work.
  • the display mode of at least one of the image for a long distance and the image for a long distance may be changed.
  • at least one display mode of the short-distance image and the long-distance image is changed based on the detection of the completion of the work.
  • the worker can grasp whether or not the work has been completed for the work target location based on the change in the display mode of the short-distance image and the long-distance image.
  • the display device includes a color detection unit that detects a change in the image color of the real object in the real image, and the display change unit is at least one of the short-distance image and the long-distance image.
  • the display mode of the image may be changed so as to have higher visibility with respect to the changed image color detected by the color detection unit.
  • the display mode of at least one of the short-range image and the long-range image is detected by the color detection unit.
  • the display mode is changed so that the visibility is higher than that of the changed image color.
  • the display device may be configured to include an information addition unit that adds information in association with the work target portion displayed on the display unit.
  • information can be added in association with the work target portion displayed on the display unit.
  • the display device includes a brightness detection unit that detects a change in the brightness of the real image, and the display change unit is the short-range image in response to a decrease in brightness detected by the brightness detection unit. It may be configured to reduce the brightness of at least one of the image for a long distance and the image for a long distance. In this display device, the brightness of at least one of the short-distance image and the long-distance image decreases according to the decrease in the brightness of the real image. As a result, compared to a configuration in which the brightness of a short-range image or the like is maintained even if the brightness of the actual image is reduced, the burden on the eyes of the operator due to seeing an image with a locally high brightness is imposed. (Eye strain, etc.) can be reduced.
  • the display control method of the display device disclosed in the present specification is a display control method of a display device including an acquisition unit for acquiring a real image representing a real space and a display unit, and is the real space.
  • a distance specifying step for specifying a display distance, which is a distance between a work target location and the display device in a real object located in, and when the display distance is equal to or less than a reference distance, on the real image acquired by the acquisition unit.
  • a short-range image including a work reference image showing a work reference position with respect to the work target location is displayed on the display unit, and when the display distance exceeds the reference distance, it is visually recognized as compared with the short-range image.
  • It includes a display control step of displaying a long-distance image including a work location image indicating the position of the work target portion on the display unit, which is a high-quality long-distance image.
  • the display control program of the display device disclosed in the present specification is located in the real space in a computer provided with a display device including an acquisition unit for acquiring a real image representing a real space and a display unit.
  • the distance specifying process for specifying the display distance, which is the distance between the work target portion in the real object and the display device, and when the display distance is equal to or less than the reference distance, the above-mentioned real image acquired by the acquisition unit.
  • a short-range image including a work reference image showing a work reference position for a work target location is displayed on the display unit and the display distance exceeds the reference distance, the visibility is higher than that of the short-range image.
  • the techniques disclosed in the present specification can be realized in various forms, for example, a display device, a work support system including a display device and a communication device that are communicably connected to each other, and a display device. It can be realized in the form of a display control method, a computer program for realizing the functions of those devices, systems or methods, a non-temporary recording medium on which the computer program is recorded, and the like.
  • Explanatory drawing which shows the schematic structure of the work support system 10 in this embodiment.
  • Explanatory drawing showing construction site selection screen M Flowchart showing the contents of box placement support processing
  • Flow chart showing the contents of board opening support processing Explanatory drawing schematically showing the relationship between the position of the worker U and the display contents of the HMD 100 in the board opening work.
  • Explanatory drawing showing short-distance image GN2 when the work target portion T is viewed from an oblique direction.
  • Flow chart showing the contents of the appliance installation support process Explanatory drawing schematically showing the relationship between the position of the worker U and the display contents of the HMD 100 in the instrument mounting work.
  • FIG. 1 is an explanatory diagram showing a schematic configuration of the work support system 10 in the present embodiment.
  • the work support system 10 is a system for supporting the work of a worker U (for example, a craftsman) at a work site by using mixed reality (hereinafter referred to as “MR”) technology. That is, in the work support system 10, the real space (real image of the work site) and the virtual space (virtual image showing the work target location and the work standard) are fused through the head-mounted display (hereinafter referred to as “HMD”) 100.
  • the MR space is provided to the worker U.
  • work related to electrical work at a construction site for example, a construction site, etc.
  • the work support system 10 includes an HMD 100, a server 200, and a terminal device 300.
  • the work support system 10 can be provided with at least one of the HMD 100 and the terminal device 300. That is, for example, a plurality of HMD 100s may be configured to be able to share 3D data or the like provided by the server 200. Further, the plurality of terminal devices 300 individually transmit design drawing data and the like to the server 200, and the server 200 stores each transmitted design drawing data and the like in the server storage unit 220 for each terminal device. May be.
  • the HMD100 is a display device attached to a worker U who works at a construction site.
  • the HMD 100 includes an HMD control unit 110, an HMD storage unit 120, a spatial position sensor 130, a camera 140, an HMD display unit 150, an HMD operation input unit 160, and an interface unit 170. Each of these parts is communicably connected to each other via a bus 190.
  • the spatial position sensor 130 is a sensor for detecting the position of the HMD 100 in the real space.
  • the camera 140 captures a moving image or a still image in the real space within the field of view of the HMD 100, and generates the captured data.
  • the HMD display unit 150 is an optical see-through type display unit. Specifically, the HMD display unit 150 includes a half mirror (not shown), and the worker U can see the outside state (real space) through the half mirror. Further, the HMD display unit 150 includes a liquid crystal display or the like (not shown), and the operator U visually recognizes a virtual image (for example, a figure or text) displayed on the liquid crystal display via a half mirror. Can be done.
  • the HMD display unit 150 of the present embodiment a display using a holographic element is adopted.
  • the HMD display unit 150 is an example of an acquisition unit and a display unit within the scope of claims.
  • the scene of the real space visually recognized by the worker U via the HMD display unit 150 is an example of a real space representing the real space within the scope of the claims.
  • the HMD operation input unit 160 is composed of, for example, a button, a microphone, or the like, and receives human operations and instructions (including voice instructions). Further, the interface unit 170 is configured by, for example, a LAN interface, a USB interface, or the like, and communicates with other devices (server 200, terminal device 300) by wire or wirelessly.
  • the HMD storage unit 120 is composed of, for example, a rewritable memory such as a ROM, RAM, NVRAM, flash memory, HDD, or EEPROM, and is a work area for storing various data and programs and executing various programs. It is also used as a temporary storage area for data.
  • the work support PGM 121 is stored in the HMD storage unit 120.
  • the work support PGM 121 is a program for controlling the display operation of the HMD display unit 150 of the HMD 100. This program is provided in a state of being stored in a recording medium (not shown) readable by a computer such as a CD-ROM, a DVD-ROM, or a USB memory, and is stored in the HMD storage unit 120 by being installed in the HMD 100. Will be done.
  • the HMD control unit 110 is configured by, for example, a CPU or the like, and controls the display operation of the HMD display unit 150 by executing a computer program read from the HMD storage unit 120.
  • the HMD control unit 110 reads the work support PGM 121 from the HMD storage unit 120 and executes it to execute the work support process described later.
  • the HMD control unit 110 functions as a distance specifying unit 111, a display control unit 112, a display change unit 113, and an information addition unit 114. The functions of each of these parts will be described in accordance with the description of the processing described later.
  • the server 200 is located at a location away from the construction site, receives design drawing data (CAD data, etc.) of the building at the construction site from the terminal device 300, converts it into 3D data, and registers it. , 3D data is transmitted to the HMD 100 at any time in response to a request from the HMD 100.
  • the server 200 includes a server control unit 210, a server storage unit 220, a server display unit 250, a server operation input unit 260, and an interface unit 270. Each of these parts is communicably connected to each other via bus 290.
  • the server display unit 250 is composed of, for example, a liquid crystal display or the like, and displays various images and information.
  • the server operation input unit 260 is composed of, for example, a keyboard, a mouse, buttons, a microphone, and the like, and receives human operations and instructions.
  • the interface unit 270 is configured by, for example, a LAN interface, a USB interface, or the like, and communicates with another device (HMD100 or terminal device 300) by wire or wirelessly.
  • the server storage unit 220 is composed of, for example, a ROM, a RAM, a hard disk drive (HDD), or the like, and serves as a work area or a temporary storage area for data when storing various data or programs or executing various programs. It is used.
  • the 3D data DB 221 is stored in the server storage unit 220, and the 3D data generated by 3D conversion of the design drawing data received from the terminal device 300 is registered in the 3D data DB 221.
  • the 3D data is drawing data in a three-dimensional space based on the design drawing data, and includes, for example, work target points of electrical work at a construction site, position information of wiring, and the like.
  • the server control unit 210 is configured by, for example, a CPU or the like, and controls the operation of the server 200 by executing a computer program read from the server storage unit 220.
  • the server control unit 210 executes the data conversion process by reading the drawing conversion PGM (not shown) from the server storage unit 220 and executing the drawing conversion PGM (not shown).
  • the server control unit 210 functions as the data conversion unit 211.
  • the data conversion unit 211 3D converts the design drawing data received from the terminal device 300 to generate 3D data, and analyzes the 3D data to specify the position of the work target portion of the electrical work. do.
  • the position information of the specified work target location is stored in the 3D data DB 221 together with the 3D data.
  • the terminal device 300 is located, for example, at a location away from the construction site or the installation location of the server 200, and transmits the design drawing data of the construction site to the server 200 or images the construction site with the HMD 100. The image is received via the HMD 100.
  • the terminal device 300 includes a terminal control unit 310, a terminal storage unit 320, a terminal display unit 350, a terminal operation input unit 360, and an interface unit 370. Each of these parts is communicably connected to each other via a bus 390.
  • the terminal display unit 350 is composed of, for example, a liquid crystal display or the like, and displays various images and information.
  • the terminal operation input unit 360 is composed of, for example, a keyboard, a mouse, buttons, a microphone, and the like, and receives human operations and instructions.
  • the interface unit 370 is configured by, for example, a LAN interface, a USB interface, or the like, and communicates with another device (HMD100 or server 200) by wire or wirelessly. For example, the imaging data generated by the camera 140 of the HMD 100 is transmitted to the server 200, and a moving image or a still image in the field of view of the HMD 100 can be displayed on the terminal display unit 350.
  • the terminal storage unit 320 is composed of, for example, a ROM, RAM, HDD, etc., and stores various data and programs, and is used as a work area and a temporary storage area for data when executing various programs. ..
  • the design drawing DB 321 is stored in the terminal storage unit 320, and the design drawing data of each construction site (including the positions and dimensions of buildings and structures at each construction site) is stored in the design drawing DB 321. ing.
  • the terminal control unit 310 is configured by, for example, a CPU or the like, and controls the operation of the terminal device 300 by executing a computer program read from the terminal storage unit 320. For example, the terminal control unit 310 reads the drawing transmission PGM (not shown) from the terminal storage unit 320 and executes it to transmit the design drawing data to the server 200, or to transmit the captured image at the construction site via the HMD 100. And receive.
  • the work support system 10 may be configured so that predetermined instructions and information can be transmitted from the terminal device 300 to the HMD 100.
  • Preparation process First, the preparation process of the HMD 100 of the present embodiment will be described. First, the worker U attaches the HMD 100 at the construction site, performs a predetermined operation via the HMD operation input unit 160, and activates the HMD 100. Next, when the worker U performs the alignment instruction operation, the HMD control unit 110 aligns the reference position in the real space with the reference position in the virtual space based on the 3D data from the server 200. Perform alignment processing. In the alignment process, the reference position in the real space and the reference in the virtual space are based on the current position of the HMD 100 detected by the spatial position sensor 130 and the analysis result of the real image including the AR mark captured by the camera 140. Adjust the reference position in the virtual space so that it matches the position.
  • the construction site selection screen M shown in FIG. 2 is displayed on the HMD display unit 150 of the HMD 100.
  • Multiple construction site (room) options (Room A, Room B R2 ...) are displayed on the construction site selection screen M, and the remaining number of unworked parts for which work has not been completed for each construction site. Is displayed.
  • FIG. 2 it is exemplified that in room A R1, the number of unworked parts remaining is three, and in room B R2, the number of unworked parts remaining is zero.
  • the worker U can select an arbitrary construction site by performing a predetermined operation.
  • the case where the room A R1 is selected will be described as an example.
  • the work support process includes the following three processes.
  • Box placement support processing Supports the box placement work for arranging the electric box 3 in the skeleton 2 before installing the board 4 described later in the skeleton 2 (pillars, beams, etc.) constituting the room A R1. It is a process for.
  • Board opening support process This is a process for supporting the board opening work for forming the board opening 4a on the board 4 installed in the frame 2 after the box arrangement work.
  • Apparatus mounting support process A process for supporting the wallpaper opening work of forming the wallpaper opening 7a on the wallpaper 7 pasted on the entire surface of the board 4 so as to cover the board opening 4a after the board opening work. be. After the wallpaper opening work, the electric box 3 located in the wallpaper opening 7a and the electric appliance 8 (outlet plate or the like) are electrically connected, and the electric appliance 8 is attached to the wallpaper opening 7a to the work target portion T. Electrical work is completed. Hereinafter, these processes will be described in order.
  • FIG. 3 is a flowchart showing the contents of the box arrangement support process
  • FIG. 4 is an explanatory diagram schematically showing the relationship between the position of the worker U in the box arrangement work and the display contents of the HMD 100.
  • FIG. 4 shows a schematic view of Room A R1 in a state before the box arrangement work as viewed from above.
  • XYZ axes orthogonal to each other for specifying the direction are shown, and for convenience, the positive direction of the Z axis is referred to as an upward direction (the same applies to other drawings).
  • room A R1 in the state before the box arrangement work a plurality of skeletons 2 are arranged, but the board 4 is not installed in these skeletons 2. It is assumed that, for example, three work target points T (T1 to T3) exist in the room A R1.
  • the short-distance screen MN1 shown in FIG. 4 is a display screen of the HMD 100 worn by the worker U (UN) at a position near one work target location T (T1).
  • the long-distance screen MF1 of FIG. 4 is a display screen of the HMD 100 worn by the worker U (UF) at a position (near the entrance of the room A R1) away from one work target portion T (T1).
  • the post-work screen MC1 of FIG. 4 is a display screen when the box arrangement work for one work target location T (T1) is completed.
  • the distance specifying unit 111 specifies the display distance of the work target portion T located within the field of view of the HMD 100 (S110).
  • the display distance is the distance between the work target portion T and the HMD 100 in a real object (building frame 2) that actually exists in the real space. Therefore, the display distance fluctuates with the movement of the worker U in the construction site.
  • the distance specifying unit 111 can specify the display distance based on the current position information of the HMD 100 detected by the spatial position sensor 130 and the 3D data transmitted from the server 200.
  • the display control unit 112 determines whether or not the specified display distance is equal to or less than the reference distance (S120).
  • the reference distance is preferably a distance at which the worker U can work with respect to the work target location T (for example, a distance at which the worker U's hand can reach the work target location T and work).
  • the processing of S120 is performed only on the work target points T located within the field of view of the HMD 100 among the plurality of work target points T. Will be implemented. In other words, if the line of sight of the worker U changes and the work target location T located within the field of view of the HMD 100 changes, the work target location T to be processed in S120 also changes.
  • the display control unit 112 determines that the display distance is equal to or less than the reference distance (S120: YES)
  • the display control unit 112 displays the short-distance image GN1 at the work target portion T (side surface side of the skeleton 2) on the real image of the room A R1.
  • the projected MR image is displayed on the HMD display unit 150 (S130).
  • the short-distance image GN1 includes the work reference image GA1.
  • the work reference image GA1 is a line image showing a work reference position (for example, the center position of mounting the electric box 3) with respect to the work target portion T.
  • the work reference image GA1 has a vertical guideline GA11 and a horizontal guideline GA12.
  • the vertical guideline GA11 is a linear line image extending in the vertical direction (Z-axis direction)
  • the horizontal guideline GA12 is a linear line image extending in the horizontal direction (for example, the X-axis direction).
  • the intersection P between the vertical guideline GA11 and the horizontal guideline GA12 means the reference position where the center of the electric box 3 should be arranged, and the worker U makes sure that the center of the electric box 3 coincides with the intersection P in the MR space.
  • the electric box 3 is arranged and fixed to the skeleton 2. As a result, the worker U can accurately arrange the electric box 3 at the work target portion T by relying on the work reference image GA1 displayed on the HMD 100 without performing on-site dimensional measurement or confirmation of design drawings.
  • the work reference image GA1 further includes an external image GA13.
  • the external image GA13 is a frame-shaped line image corresponding to the external shape of the electric box 3 to be attached to the work target portion T.
  • the outer shape image GA 13 may be a plurality of frame-shaped line images corresponding to the outer shapes of the plurality of electric boxes 3.
  • the display control unit 112 determines that the display distance exceeds the reference distance (S120: NO)
  • the display control unit 112 displays an MR image obtained by projecting the long-distance image GF1 onto the work target portion T on the real image of the room A R1. It is displayed on the HMD display unit 150 (S140).
  • the long-distance image GF1 is an image having higher visibility than the short-distance image GN1.
  • the long-distance image GF1 includes a work location image GB1 in addition to the work reference image GA1.
  • the work location image GB1 is an image showing the position of the work portion T.
  • the work location image GB1 is an image having higher visibility than the work reference image GA1.
  • high visibility of an image means that at least one of a display method (for example, image shading, fill range, luminance, blinking cycle, etc.) that is easily visually recognized by the operator U in the field of view of the HMD 100. Adjust the visibility to adjust the visibility).
  • the work location image GB1 is a fill image having a wider fill range per unit area than the work reference image GA1 which is a line image.
  • the work location image GB1 is an opaque or translucent image that fills the entire area surrounded by the external image GA13.
  • the long-distance image GF1 includes the work location image GB1 in addition to the work reference image GA1, the visibility is higher than that of the short-distance image GN1 that does not include the work location image GB1, and as a result, the work The worker U can easily find the work target portion T even at a position separated from the target portion T by a reference distance or more.
  • the work location image GB1 is a stereoscopic image in which at least a part thereof is located in front of the work portion T.
  • the work location image GB1 is a three-dimensional image of a rectangular parallelepiped corresponding to the outer shape of the electric box 3.
  • the worker U views the work target portion T from an oblique direction as compared with the case where the work location image GB1 is a plane image or an image located behind the work target portion T (real object). Even when viewed, the work target location T can be easily found through the work location image GB1.
  • the entire work location image GB1 is located in front of the work location target T.
  • the display control unit 112 determines whether or not the work on the work target portion T located in the field of view of the HMD 100 is completed. (S150).
  • the worker U can make the HMD 100 recognize that the box arrangement work for the work target portion T has been completed by performing a predetermined operation.
  • the predetermined operation referred to here is, for example, an operation of virtually touching the short-distance image GN1 or the long-distance image GF1 located in the field of view of the HMD 100 to perform an operation meaning completion.
  • the display control unit 112 constantly scans the real image in the real space based on the image captured data from the camera 140, and detects the operation of the worker U from the scan result.
  • the camera 140 and the display control unit 112 are examples of the completion detection unit within the scope of the claims. Further, it may be determined whether or not the work is completed based on the voice of the worker U instead of the operation by the worker U, or the work is completed based on the analysis result of the image of the work target portion T captured by the camera 140. The presence or absence may be automatically determined.
  • the display control unit 112 determines that the work has not been completed (S150: NO)
  • the display control unit 112 returns to the process of S110. That is, the display control unit 112 continues the operation of displaying the long-distance image GF1 or the short-distance image GN1 according to the display distance.
  • the display control unit 112 determines that the work is completed (S150: YES)
  • the display control unit 112 projects an MR image obtained by projecting the completed image GC1 onto the work target portion T on the real image of the room A R1 regardless of the length of the distance distance. , Is displayed on the HMD display unit 150 (S160).
  • the completed image GC1 includes a work reference image GA1'and a work location image GB1'.
  • the work reference image GA1' has the same shape as the work reference image GA1 but is different in color.
  • the work location image GB1' has the same shape as the work location image GB1 but is different in color.
  • the worker U can easily determine whether or not the work is completed based on the colors of the work reference image GA1'and the work location image GB1'.
  • the display control unit 112 determines that the work has been completed (S150: YES)
  • the display control unit 112 updates the remaining number of unworked parts for the box arrangement work in the room A R1. Further, the remaining number of unworked parts may be displayed on at least one of the screens MN1, MF1, and MC1.
  • the display control unit 112 determines whether or not the memo function is selected (S170).
  • the worker U can make the HMD 100 recognize that the memo function has been selected by performing a predetermined operation.
  • the predetermined operation referred to here is, for example, an operation of virtually touching the post-work screen MC1 located in the field of view of the HMD 100 to perform an operation meaning the selection of the memo function.
  • the display control unit 112 determines that the memo function is selected (S170: YES)
  • the information addition unit 114 acquires the memo information (S180).
  • the memo screen H is displayed on the post-work screen MC1
  • the voice is transmitted to the HMD operation input unit 160 (mic).
  • the text information input and corresponding to the voice data is displayed on the memo screen H and stored in the HMD storage unit 120.
  • the memo information is, for example, a deviation between the position where the electric box 3 is actually arranged and the position on the design drawing, information useful for the work in the subsequent stage, and the like. It is preferable that the memo information is transmitted from, for example, the HMD 100 to the server 200 or the terminal device 300 and fed back.
  • the memo information input by one worker U is reflected in the design drawings and the like on the server 200 and the terminal device 300, and can be shared with other workers U who use the HMD 100.
  • the display control unit 112 determines that the memo function is not selected (S170: NO)
  • the display control unit 112 returns to the processing of S110 without performing the processing of S180.
  • the display control unit 112 causes the work target location before the line of sight to change.
  • the processing for T is interrupted, and the processing for the new work target portion T after the line of sight is changed is performed from the processing of S110.
  • the long-distance screen MF1 is projected on each work target portion T.
  • the long-distance screen MF1 is an image including the work location image GB1 in addition to the work reference image GA1, and the work location image GB1 is per unit area as compared with the work reference image GA1. It is relatively emphasized because the filled area of is wide. Therefore, the worker U (UF) can more easily find the work target portion T through the relatively emphasized work portion image GB1 at a position relatively far from the work target portion T.
  • the worker U wearing the HMD 100 is particularly effective in this embodiment because the field of view is restricted by the HMD 100.
  • the short-distance screen MN1 is an image that includes the work reference image GA1 and does not include the work location image GB1, and the work reference image GA1 is relatively emphasized as compared with the work location image GB1. Therefore, the worker U (UN) can more efficiently perform the work on the work target portion T through the relatively emphasized work reference image GA1 at a position relatively close to the work target portion T.
  • FIG. 5 is a flowchart showing the contents of the board opening support processing
  • FIG. 6 is an explanatory diagram schematically showing the relationship between the position of the worker U in the board opening work and the display contents of the HMD 100.
  • FIG. 6 shows a schematic view of the chamber A R1 in a state before the board opening work as viewed from above.
  • the electric box 3 is arranged in the skeleton 2, and the board 4 is installed in the skeleton 2 so as to cover the front surface of the electric box 3 (work target portion T). That is, since the electric box 3 is hidden behind the board 4 from the viewpoint of the worker U in the room A R1, it is difficult to find the work target portion T in which the board opening 4a should be formed.
  • the short-distance screen MN2 shown in FIG. 6 is a display screen of the HMD 100 worn by the worker U (UN) at a position near one work target location T (T1).
  • the long-distance screen MF2 of FIG. 6 is a display screen of the HMD 100 worn by the worker U (UF) at a position (near the entrance of the room A R1) away from one work target portion T (T1).
  • the post-work screen MC2 of FIG. 6 is a display screen when the board opening work for one work target portion T (T1) is completed.
  • the distance specifying unit 111 specifies the display distance of the work target portion T located within the field of view of the HMD 100 (S210).
  • the display control unit 112 determines that the display distance is equal to or less than the reference distance (S220: YES)
  • the work target portion T inside the inner surface of the board 4, in front of the electric box 3) on the actual image of the room A R1.
  • the MR image obtained by projecting the short-distance image GN2 onto the portion located in is displayed on the HMD display unit 150 (S230).
  • the short-distance image GN2 includes the work reference image GA2.
  • the work reference image GA2 is a line image showing a work reference position (for example, the center position of the board opening 4a to be formed in the board 4) with respect to the work target portion T.
  • the work reference image GA2 has a vertical guideline GA21 and a horizontal guideline GA22.
  • the vertical guideline GA21 is a linear line image extending in the vertical direction (Z-axis direction)
  • the horizontal guideline GA22 is a linear line image extending in the horizontal direction (for example, the X-axis direction).
  • the intersection P of the vertical guideline GA21 and the horizontal guideline GA22 means a reference position that should be the center of the board opening 4a, and the worker U makes the board so that the center of the board opening 4a coincides with the intersection P in the MR space.
  • the opening 4a is formed in the board 4.
  • the worker U can accurately form the board opening 4a at the work target portion T by relying on the work reference image GA2 displayed on the HMD 100 without performing on-site dimensional measurement or confirmation
  • the work reference image GA2 further includes the external image GA23.
  • the external image GA23 is a frame-shaped line image corresponding to the contour line of the board opening 4a to be formed at the work target portion T. As a result, it is possible to prevent the worker U from forming a board opening 4a having an incorrect size in the work target portion T.
  • the display control unit 112 determines that the display distance exceeds the reference distance (S220: NO)
  • the display control unit 112 displays an MR image obtained by projecting the long-distance image GF2 onto the work target portion T on the real image of the room A R1. It is displayed on the HMD display unit 150 (S240).
  • the long-distance image GF2 is an image having higher visibility than the short-distance image GN2.
  • the long-distance image GF2 includes a work location image GB2 in addition to the work reference image GA2.
  • the work location image GB2 is an image showing the position of the work portion T.
  • the work location image GB2 is an image having higher visibility than the work reference image GA2.
  • the work location image GB2 is a fill image having a wider fill range per unit area than the work reference image GA2 which is a line image.
  • the work location image GB2 is an opaque or translucent image that fills the entire area surrounded by the external image GA23.
  • the long-distance image GF2 includes the work location image GB2 in addition to the work reference image GA2
  • the visibility is higher than that of the short-distance image GN2 which does not include the work location image GB2, and as a result, the work The worker U can easily find the work target portion T even at a position separated from the target portion T by a reference distance or more.
  • the work location image GB2 is a stereoscopic image in which at least a part thereof is located in front of the work portion T.
  • the work location image GB2 is a three-dimensional image having a rectangular shape and a thickness corresponding to the contour line of the board opening 4a.
  • FIG. 7 is an explanatory diagram showing a short-distance image GN2 when the work target portion T is viewed from an oblique direction. As shown in FIG. 7, when the worker U looks at the work target portion T from above, the work portion image GB2 of the short-distance image GN2 is a thick plate-like body and floats toward the front from the board 4. Is located in.
  • the work place image GB2 is a plane image located on the board 4
  • the work place image GB2 is a plane image located on the board 4
  • the display control unit 112 determines whether or not the work on the work target portion T located in the field of view of the HMD 100 is completed. (S250).
  • the worker U can make the HMD 100 recognize that the board opening work for the work target portion T has been completed by performing a predetermined operation.
  • the predetermined operation referred to here is, for example, an operation of virtually touching the short-distance image GN2 or the long-distance image GF2 located in the field of view of the HMD 100 to perform an operation meaning completion.
  • the display control unit 112 determines that the work has not been completed (S250: NO)
  • the display control unit 112 returns to the process of S210. That is, the display control unit 112 continues the operation of displaying the long-distance image GF2 or the short-distance image GN2 according to the display distance.
  • the display control unit 112 determines that the work is completed (S250: YES)
  • the display control unit 112 projects an MR image obtained by projecting the completed image GC2 onto the work target portion T on the real image of the room A R1 regardless of the length of the distance distance.
  • the completed image GC2 includes a work reference image GA2'and a work location image GB2'.
  • the work reference image GA2' has the same shape as the work reference image GA2, but is different in color.
  • the work location image GB2' has the same shape as the work location image GB2, but is different in color.
  • the worker U can easily determine whether or not the work is completed based on the colors of the work reference image GA2'and the work location image GB2'.
  • the display control unit 112 determines that the work is completed (S250: YES)
  • the display control unit 112 updates the remaining number of unworked parts for the board opening work in the room A R1. Further, the remaining number of unworked parts may be displayed on at least one of the screens MN2, MF2, and MC2. Since the processing of S170 and S180 in FIG. 5 is almost the same as that of FIG. 3, the description thereof will be omitted.
  • the long-distance screen MF2 is projected on each work target portion T.
  • the long-distance screen MF2 is an image including the work location image GB2 in addition to the work reference image GA2, and the work location image GB2 is per unit area as compared with the work reference image GA2. It is relatively emphasized because the filled area of is wide. Therefore, the worker U (UF) can more easily find the work target portion T through the relatively emphasized work portion image GB2 at a position relatively far from the work target portion T.
  • the short-distance screen MN2 is projected on the work target portion T.
  • the short-distance screen MN2 is an image that includes the work reference image GA2 and does not include the work location image GB2, and the work reference image GA2 is relatively emphasized as compared with the work location image GB2. Therefore, the worker U (UN) can more efficiently perform the work on the work target portion T through the relatively emphasized work reference image GA2 at the position relatively close to the work target portion T.
  • FIG. 8 is a flowchart showing the contents of the instrument mounting support process
  • FIG. 9 is an explanatory diagram schematically showing the relationship between the position of the worker U in the instrument mounting work and the display content of the HMD 100.
  • FIG. 9 shows a schematic view of the chamber A R1 in a state before the fixture mounting work as viewed from above.
  • the wallpaper 7 is attached to the entire inner surface of the board 4 so as to cover the board opening 4a. That is, since the board opening 4a formed in the board 4 is hidden behind the wallpaper 7 from the viewpoint of the worker U in the room A R1, it is difficult to find the work target portion T to which the electric appliance 8 should be attached.
  • the medium-distance screen MM shown in FIG. 9 is a display screen of the HMD 100 worn by the worker U (UM) at a position slightly away from one work target location T (T1).
  • the short-distance screens MN3 and MN3'shown in FIG. 9 are display screens of the HMD100 worn by the worker U at a position near one work target portion T (T1).
  • the long-distance screen MF3 of FIG. 9 is a display screen of the HMD 100 worn by the worker U (UF) at a position (near the entrance of the room A R1) away from one work target portion T (T1).
  • the post-work screen MC3 of FIG. 9 is a display screen when the tool mounting work for one work target portion T (T1) is completed.
  • the distance specifying unit 111 specifies the display distance of the work target portion T located within the field of view of the HMD 100 (S310).
  • the display control unit 112 determines that the display distance is equal to or less than the first reference distance and exceeds the second reference distance (S320: YES, and S340: NO)
  • the display control unit 112 on the actual image of the room A R1.
  • the MR image obtained by projecting the medium-distance image GM onto the work target portion T (the portion of the inner surface of the wallpaper 7 located in front of the board opening 4a) is displayed on the HMD display unit 150 (S350).
  • the second reference distance is, for example, a distance at which the worker U can work with respect to the work target location T, and the first reference distance is longer than the second reference distance.
  • the hand of the worker U is the work target location T. It is preferable that the distance is slightly before reaching.
  • the medium-distance image GM includes the work reference image GA3.
  • the work reference image GA3 is a line image showing a work reference position (for example, the center position of the wallpaper opening 7a to be formed in the wallpaper 7) with respect to the work target portion T.
  • the work reference image GA3 has a vertical guideline GA31 and a horizontal guideline GA32.
  • the vertical guideline GA31 is a linear line image extending in the vertical direction (Z-axis direction)
  • the horizontal guideline GA32 is a linear line image extending in the horizontal direction (for example, the X-axis direction).
  • the display control unit 112 determines that the display distance is equal to or less than the second reference distance (S320: YES and S340: YES), as shown in the short-distance screen MN3 of FIG. 9, the image for the work target portion is displayed. (Medium-distance image GM) is erased (S360). As a result, the worker U forms the wallpaper opening 7a in the wallpaper 7 as shown in the short-distance screen MN3'in FIG. 9, without being disturbed by the image, and the worker U forms the wallpaper opening 7a through the wallpaper opening 7a and the board opening 4a.
  • the electric appliance 8 can be attached to the electric box 3 while being electrically connected.
  • the display control unit 112 determines that the display distance exceeds the first reference distance (S320: NO)
  • the long-distance image GF3 is an image having higher visibility than the medium-distance image GM.
  • the long-distance image GF3 includes a work location image GB3 in addition to the work reference image GA3.
  • the work location image GB3 is an image showing the position of the work portion T.
  • the work location image GB3 is an image having higher visibility than the work reference image GA3.
  • the work location image GB3 is a fill image having a wider fill range per unit area than the work reference image GA3, which is a line image.
  • the long-distance image GF3 includes the work location image GB3 in addition to the work reference image GA3, the visibility is higher than that of the medium-distance image GM that does not include the work location image GB3, and as a result, the work The worker U can easily find the work target portion T even at a position separated from the target portion T by the first reference distance or more.
  • the display control unit 112 After displaying or erasing the long-distance image GF3 or the medium-distance image GM according to the display distance, the display control unit 112 has completed the work on the work target portion T located in the field of view of the HMD 100. It is determined whether or not (S370). The worker U can make the HMD 100 recognize that the tool mounting work for the work target portion T has been completed by performing a predetermined operation.
  • the predetermined operation referred to here is, for example, an operation of virtually touching a position near the work target portion T located in the field of view of the HMD 100 to perform an operation meaning completion.
  • the display control unit 112 determines that the work has not been completed (S370: NO)
  • the display control unit 112 returns to the process of S310.
  • the display control unit 112 determines that the work is completed (S370: YES)
  • the display control unit 112 projects an MR image obtained by projecting the completed image GC3 onto the work target portion T on the real image of the room A R1 regardless of the length of the distance distance.
  • Is displayed on the HMD display unit 150 (S380).
  • the completed image GC3 includes a work reference image GA3'and a work location image GB3'.
  • the work reference image GA3' has the same shape as the work reference image GA3, but is different in color.
  • the work location image GB3' has the same shape as the work location image GB3, but is different in color.
  • the worker U can easily determine whether or not the work is completed based on the colors of the work reference image GA3'and the work location image GB3'.
  • the display control unit 112 determines that the work has been completed (S380: YES)
  • the display control unit 112 updates the remaining number of unworked parts for the equipment mounting work in the room A R1. Further, the remaining number of unworked parts may be displayed on at least one of the screens MN3, MN3', GM, MF3, and MC3. Since the processing of S170 and S180 in FIG. 8 is almost the same as that of FIG. 3, the description thereof will be omitted.
  • the display changing unit 113 changes the display mode of at least one of the above images GN1, GN2, GF1 to GF3, GM, GC1 to GC3 independently of the surrounding images.
  • the display changing unit 113 is an image of a real object (for example, skeleton 2 and its background, board 4, wallpaper 7) around the work target portion T among the real images based on the image captured data from the camera 140. Is scanned regularly to detect changes in the image color of the real object. For example, due to the influence of the lamps arranged at the construction site and the headlights of the worker U, the image color of the board 4 becomes close to white, and the short-distance image GN2 or the long-distance image projected on the board 4 is used. Image GF2 becomes difficult to see.
  • the change in the surrounding environment that affects the visibility of the short-distance image GN2 or the like is a change in the image color of the real object (board 4) without providing a dedicated sensor or the like for detecting the change in the surrounding environment. It is reflected in. Therefore, the display changing unit 113 detects a change in the image color of a real object based on the image pickup data from the camera 140.
  • the display changing unit 113 detects a change in the image color of a real object, for example, the display mode such as a short-distance image GN2 is made more visible with respect to the detected changed image color. change.
  • the change in image color is not limited to the case where the image color changes to a different color, but also includes the case where the brightness changes with the same color.
  • the image color of the short-distance image GN2 or the like is changed to a darker image color, the fill range is widened, or the lighting display is changed to the blinking display.
  • the short-distance image GN2 and the long-distance image GF2 are examples of color detecting units within the scope of claims.
  • the configuration of the work support system 10 in the above embodiment is merely an example and can be variously modified.
  • the HMD 100 is not limited to the optical see-through method, but may be a video see-through method.
  • the display device is not limited to the goggles type (HMD100), but may be a helmet type, a glasses type, or the like, and may be a transportable communication device such as a tablet or a mobile phone.
  • the HMD display unit 150 (half mirror) is exemplified as the acquisition unit and the display unit.
  • the camera 140 is an example of the acquisition unit within the scope of claims.
  • the image captured in the real space captured by the camera 140 is an example of a real image representing the real space in the claims, and the liquid crystal display or the like visually recognized by the operator is an example of the display unit in the claims.
  • the short-distance images GN1 and GN2 may not include at least one of the vertical guideline GA11, the horizontal guideline GA12, and the external guideline GA13, and are limited to line images. Instead, it may be a point image or a filled image having a predetermined shape.
  • the long-distance images GF1 to GF3 (working site images GB1 to GB3) do not have to include a filled image.
  • the long-distance images GF1 to GF3 do not have to include the work reference images GA1 to GA3.
  • the short-distance images GN1 and GN2 may include, for example, an image having a lower density (higher transparency) than the work location images GB1 and GB2.
  • the long-distance image GF1 (working location image GB1) has a wider filling range per unit area than the short-distance image GN1 (working reference image GA1), so that the visibility is improved.
  • the image is high, but the image is not limited to this, and may be an image having high visibility due to, for example, a high density of the image, a high brightness, a short blinking cycle, and the like.
  • the colors of the long-distance image GF1 and the completed image GC1 are different from each other, but the colors are not limited to this, and both images are different due to differences in shading, lighting cycle, fill range, brightness, shape, and the like. GF1 and GC1 may be distinguishable.
  • FIG. 10 is an explanatory diagram showing the display contents of the HMD 100 when the ceiling side is viewed.
  • the ceiling board 6 is installed over the plurality of beams 5.
  • Each work target portion T' is a target portion for board opening work for forming a circular board opening with respect to the ceiling board 6.
  • a long-distance image GF4 is projected on each work target portion T'.
  • the long-distance image GF4 includes a work reference image GA4 and a work location image GB4.
  • the work reference image GA4 is a line image showing a work reference position (for example, a center position P'of mounting an electric box (not shown) for a lighting fixture) with respect to a work target portion T'.
  • the work reference image GA4 has a pair of guidelines GA41 and GA42 that are orthogonal to each other.
  • the worker U forms the board opening on the ceiling board 6 so that the center of the board opening coincides with the intersection P'in the MR space.
  • the work reference image GA4 further includes an outline image GA43.
  • the external image GA43 is a frame-shaped line image corresponding to the contour line of the board opening to be formed at the work target portion T'. As a result, it is possible to prevent the worker U from forming a board opening of the wrong size at the work target portion T'.
  • the work location image GB4 is an opaque or translucent image that fills the entire area surrounded by the outline image GA43.
  • the work location image GB4 is a stereoscopic image in which at least a part thereof is located in front of the work portion T.
  • the shape of the short-distance image and the long-distance image is not limited to a rectangle or a circle, and may be various shapes according to the work content and the like.
  • the worker U may detect the completion of the work by inputting and operating the HMD operation input unit 160 of the HMD 100.
  • the HMD operation input unit 160 is an example of a completion detection unit within the scope of claims.
  • the display changing unit 113 reduces the brightness of at least one image such as a short-distance image such as GN1, GN2, GF1 to GF3, GM, and GC1 to GC3 according to the decrease in the brightness of the real image. May be good.
  • the display changing unit 113 periodically scans the actual image based on the image captured data from the camera 140, converts the captured data of the actual image into grayscale data, and based on the grayscale data, determines the brightness of the actual image. Detect changes.
  • the display changing unit 113 functions as a brightness detecting unit within the scope of the claims.
  • the burden on the eyes of the operator due to seeing an image with a locally high brightness is imposed. (Eye strain, etc.) can be reduced.
  • a part of the configuration realized by the hardware may be replaced with software, and conversely, a part of the configuration realized by the software may be replaced with hardware.
  • the construction site is exemplified as the work site, but the present invention is not limited to this, as long as it is a place where a worker equipped with a display device can move to a predetermined work target place such as a ward. It can be provided to obtain the above effect.
  • the work related to the electric work box arrangement work, board opening work, wallpaper opening work
  • the work may be related to the electric work other than these, and for example, the plumbing work of the water supply work and the work related to the water work. It may be work related to other works such as drilling work in air conditioner installation work, and may be work other than work.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

作業対象箇所を容易に見つけ出しつつ作業対象箇所での作業性の向上を図る。 ディスプレイ装置は、現実空間を表す現実画像を取得する取得部と、表示部と、距離特定部と、表示制御部と、を備える。距離特定部は、現実空間に位置する現実物体における作業対象箇所とディスプレイ装置との距離であるディスプレイ距離を特定する。表示制御部は、ディスプレイ距離が基準距離以下である場合、取得部によって取得される現実画像上に、作業対象箇所に対する作業の基準位置を示す作業基準画像を含む近距離用画像を表示部に表示させ、ディスプレイ距離が基準距離を超える場合、近距離用画像に比べて視認性が高い遠距離用画像であって、作業対象箇所の位置を示す作業箇所画像を含む遠距離用画像を表示部に表示させる。

Description

ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム
　本発明は、ディスプレイ装置に関する。
　複合現実（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ　以下、「ＭＲ」という）技術を用いて、例えばヘッドマウントディスプレイ（以下、「ＨＭＤ」という）を装着したユーザに対し、現実物体とコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　以下「ＣＧ」という）により描画された仮想画像とを配置したＭＲ空間（現実空間と仮想空間とを重ね合わせた複合現実空間）の疑似体験を提供する技術が知られている。ＭＲ技術を用いて疑似体験を提供する従来の構成では、例えば、ＭＲ空間において仮想画像の背後に隠れて見えない現実物体とユーザとの衝突防止のための各種の対策が検討されている（例えば特許文献１～３参照）。
特開２０１７－１０３７８７号公報 特開２０１６－１２２３９２号公報 特開２０１８－６３５６７号公報
　本発明者は、ＭＲ技術を、単なる疑似体験の提供ではなく、作業者が移動可能な作業現場（例えば工事現場等）で作業を行う場合に利用して作業効率の向上を図ることについて鋭意研究している。具体的には、作業現場で作業者にＨＭＤを装着させ、そのＨＭＤに、作業現場の現実空間を表す現実画像上に、作業対象箇所に対する作業情報を表示させたＭＲ空間を表示させる。これにより、作業者は、ＨＭＤを介して、作業情報を視認しつつ、作業対象箇所に対する作業を効率良く行うことができる。ところで、作業者が移動可能な作業現場では、作業者は、まず、作業対象箇所を見つけ出す必要がある。しかし、例えば作業者が作業対象箇所から離れた位置にいる場合、ＨＭＤの表示を通じて作業対象箇所を見つけ出すことが難しく、ＨＭＤを用いると却って、作業現場における作業者の作業効率が低下するおそれがある、という課題がある。
　なお、このような課題は、ＨＭＤに限らず、ＭＲ空間を表示可能なディスプレイ装置を作業者が移動可能な作業現場で利用する場合に共通の課題である。
　本発明は、上述した課題を解決することが可能な技術を開示する。
（１）本明細書に開示されるディスプレイ装置は、現実空間を表す現実画像を取得する取得部と、表示部と、を備えるディスプレイ装置であって、前記現実空間に位置する現実物体における作業対象箇所と前記ディスプレイ装置との距離であるディスプレイ距離を特定する距離特定部と、前記ディスプレイ距離が基準距離以下である場合、前記取得部によって取得される前記現実画像上に、前記作業対象箇所に対する作業の基準位置を示す作業基準画像を含む近距離用画像を前記表示部に表示させ、前記ディスプレイ距離が前記基準距離を超える場合、前記近距離用画像に比べて視認性が高い遠距離用画像であって、前記作業対象箇所の位置を示す作業箇所画像を含む遠距離用画像を前記表示部に表示させる表示制御部と、を備える。
　本ディスプレイ装置では、ディスプレイ距離が基準距離以下である場合、近距離用画像が表示部に表示される。この近距離用画像は、取得部によって取得される現実画像上に、作業対象箇所に対する作業の基準位置を示す作業基準画像を含む画像である。一方、ディスプレイ距離が基準距離を超える場合、遠距離用画像が表示部に表示される。遠距離用画像は、近距離用画像に比べて視認性が高く、かつ、作業対象箇所の位置を示す作業箇所画像を含む画像である。このため、作業者は、作業対象箇所から比較的に遠い位置では、遠距離用画像を通じて、作業対象箇所を容易に見つけ出すことができる。一方、作業者は、作業対象箇所から比較的に近い位置では、遠距離用画像による視界の制限を抑制しつつ、近距離用画像を通じて、作業対象箇所に対する作業を行うことができる。このように、本本ディスプレイ装置によれば、作業対象箇所を容易に見つけ出しつつ作業対象箇所での作業性の向上を図ることができる。
（２）上記ディスプレイ装置において、前記近距離用画像は、前記作業基準画像が前記作業箇所画像よりも相対的に強調された画像であり、前記遠距離用画像は、前記作業箇所画像が前記作業箇所画像よりも相対的に強調された画像である構成としてもよい。本ディスプレイ装置では、ディスプレイ距離が基準距離以下である場合、作業基準画像が前記作業箇所画像よりも相対的に強調された近距離用画像が表示部に表示される。一方、ディスプレイ距離が基準距離を超える場合、作業箇所画像が作業箇所画像よりも相対的に強調された遠距離用画像が表示部に表示される。このため、本ディスプレイ装置によれば、作業者は、作業対象箇所から比較的に遠い位置では、相対的に強調された作業箇所画像を通じて、作業対象箇所を、より容易に見つけ出すことができる。一方、作業者は、作業対象箇所から比較的に近い位置では、相対的に強調された作業基準画像を通じて、作業対象箇所に対する作業をより効率良く行うことができる。
（３）上記ディスプレイ装置において、前記作業箇所画像は、少なくとも一部分が前記作業対象箇所よりも手前に位置する立体画像である構成としてもよい。本ディスプレイ装置では、作業箇所画像は、少なくとも一部分が作業対象箇所よりも手前に位置する立体画像である。このため、例えば作業箇所画像が平面画像であったり、作業対象箇所の背後に位置する画像であったりする場合に比べて、作業者が作業対象箇所を斜め方向から見た場合でも、作業箇所画像を通じて作業対象箇所を容易に見つけ出すことができる。
（４）上記ディスプレイ装置において、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の表示態様を周囲の画像とは独立に変更する表示変更部を備える構成としてもよい。本ディスプレイ装置では、近距離用画像と遠距離用画像との少なくとも一方の画像の表示態様を変更可能である。これにより、作業の進行や環境が逐次変わる作業現場においてディスプレイ装置の利便性を向上させることができる。
（５）上記ディスプレイ装置において、前記作業対象箇所に対する作業の完了を検知する完了検知部を備え、前記表示変更部は、前記完了検知部が前記作業の完了を検知した場合、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の表示態様を変更する構成としてもよい。本ディスプレイ装置では、作業の完了の検知に基づき、近距離用画像と遠距離用画像との少なくとも１つの表示態様が変更される。これにより、作業者は、近距離用画像や遠距離用画像の表示態様の変更に基づき、作業対象箇所に対する作業の完了の有無を把握することができる。
（６）上記ディスプレイ装置において、前記現実画像における前記現実物体の画像色の変化を検知する色検知部を備え、前記表示変更部は、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の表示態様を、前記色検知部により検知された変化後の画像色に対して視認性が高くなるように変更する構成としてもよい。本ディスプレイ装置では、周囲環境の変化が反映される現実物体の画像色の変化に基づき、近距離用画像と遠距離用画像との少なくとも一方の画像の表示態様が、色検知部によって検知された変化後の画像色に対して視認性がより高い表示態様に変更される。これにより、作業者の周囲環境の変化に起因して近距離用画像と遠距離用画像が見づらくなって作業効率が低下することを抑制することができる。
（７）上記ディスプレイ装置において、前記表示部に表示される前記作業対象箇所に対応付けて情報を付加する情報付加部を備える構成としてもよい。本ディスプレイ装置では、表示部に表示される作業対象箇所に対応付けて情報を付加することができる。これにより、例えば、ディスプレイ装置の利便性を向上させることができる。
（８）上記ディスプレイ装置において、前記現実画像の明度の変化を検知する明度検知部を備え、前記表示変更部は、前記明度検知部により検知される明度の低下に応じて、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の明度を低下させる構成としてもよい。本ディスプレイ装置では、現実画像の明度の低下に応じて、近距離用画像と遠距離用画像との少なくとも一方の画像の明度が低下する。これにより、現実画像の明度が低下しても近距離用画像等の明度が維持される構成に比べて、局所的に明度が高い画像を目にすることに起因する作業者の目への負担（目の疲れ等）を軽減することができる。
（９）本明細書に開示されるディスプレイ装置の表示制御方法は、現実空間を表す現実画像を取得する取得部と、表示部と、を備えるディスプレイ装置の表示制御方法であって、前記現実空間に位置する現実物体における作業対象箇所と前記ディスプレイ装置との距離であるディスプレイ距離を特定する距離特定工程と、前記ディスプレイ距離が基準距離以下である場合、前記取得部によって取得される前記現実画像上に、前記作業対象箇所に対する作業の基準位置を示す作業基準画像を含む近距離用画像を前記表示部に表示させ、前記ディスプレイ距離が前記基準距離を超える場合、前記近距離用画像に比べて視認性が高い遠距離用画像であって、前記作業対象箇所の位置を示す作業箇所画像を含む遠距離用画像を前記表示部に表示させる表示制御工程と、を含む。
（１０）本明細書に開示されるディスプレイ装置の表示制御プログラムは、現実空間を表す現実画像を取得する取得部と、表示部と、を備えるディスプレイ装置が備えるコンピュータに、前記現実空間に位置する現実物体における作業対象箇所と前記ディスプレイ装置との距離であるディスプレイ距離を特定する距離特定処理と、前記ディスプレイ距離が基準距離以下である場合、前記取得部によって取得される前記現実画像上に、前記作業対象箇所に対する作業の基準位置を示す作業基準画像を含む近距離用画像を前記表示部に表示させ、前記ディスプレイ距離が前記基準距離を超える場合、前記近距離用画像に比べて視認性が高い遠距離用画像であって、前記作業対象箇所の位置を示す作業箇所画像を含む遠距離用画像を前記表示部に表示させる表示制御処理と、を実行させる。
　なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、ディスプレイ装置、互いに通信可能に接続されるディスプレイ装置と通信装置とを備える作業支援システム、ディスプレイ装置の表示制御方法、それらの装置、システムまたは方法の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することが可能である。
本実施形態における作業支援システム１０の概略構成を示す説明図 工事現場選択画面Ｍを示す説明図 ボックス配置支援処理の内容を示すフローチャート ボックス配置作業における作業者Ｕの位置とＨＭＤ１００の表示内容との関係を模式的に示す説明図 ボード開口支援処理の内容を示すフローチャート ボード開口作業における作業者Ｕの位置とＨＭＤ１００の表示内容との関係を模式的に示す説明図 作業対象箇所Ｔを斜め方向から見たときの近距離用画像ＧＮ２を示す説明図 器具取付支援処理の内容を示すフローチャート 器具取付作業における作業者Ｕの位置とＨＭＤ１００の表示内容との関係を模式的に示す説明図 天井側を見たときのＨＭＤ１００の表示内容を示す説明図
Ａ．実施形態：
Ａ－１．作業支援システム１０の構成：
　図１は、本実施形態における作業支援システム１０の概略構成を示す説明図である。作業支援システム１０は、複合現実（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ　以下、「ＭＲ」という）技術を用いて、作業現場における作業者Ｕ（例えば職人）の作業を支援するためのシステムである。すなわち、作業支援システム１０では、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という）１００を通じて、現実空間（作業現場の現実画像）と仮想空間（作業対象箇所や作業基準を示す仮想画像）とを融合したＭＲ空間が作業者Ｕに提供される。本実施形態では、工事現場（例えば建築現場等）における電気工事に関する作業を例に挙げて説明する。
　図１に示すように、作業支援システム１０は、ＨＭＤ１００と、サーバ２００と、端末装置３００と、を備える。なお、作業支援システム１０では、ＨＭＤ１００と端末装置３００との少なくとも一方を複数備えることが可能である。すなわち、例えば複数のＨＭＤ１００が、サーバ２００から提供される３Ｄデータ等を共有できる構成としてもよい。また、複数の端末装置３００は、サーバ２００に対して個別に設計図面データ等を送信し、サーバ２００は、送信されたそれぞれの設計図面データ等を端末装置ごとにサーバ記憶部２２０に記憶する構成としてもよい。
Ａ－１－１．ＨＭＤ１００の構成
　ＨＭＤ１００は、工事現場で作業を行う作業者Ｕに装着されるディスプレイ装置である。ＨＭＤ１００は、ＨＭＤ制御部１１０と、ＨＭＤ記憶部１２０と、空間位置センサ１３０と、カメラ１４０、ＨＭＤ表示部１５０と、ＨＭＤ操作入力部１６０と、インターフェース部１７０と、を備える。これらの各部は、バス１９０を介して互いに通信可能に接続されている。
　空間位置センサ１３０は、現実空間におけるＨＭＤ１００の位置を検出するためのセンサである。カメラ１４０は、ＨＭＤ１００の視界内における現実空間の動画や静止画を撮像し、その撮像データを生成する。ＨＭＤ表示部１５０は、光学シースルー方式の表示部である。具体的には、ＨＭＤ表示部１５０は、ハーフミラー（図示しない）を備えており、作業者Ｕは、外部の様子（現実空間）を、ハーフミラーを介して見ることができる。また、ＨＭＤ表示部１５０は、液晶ディスプレイ等（図示しない）を備えており、作業者Ｕは、液晶ディスプレイに表示された仮想画像（例えば図形やテキスト等）を、ハーフミラーを介して視認することができる。なお、本実施形態のＨＭＤ表示部１５０では、ホログラフィック素子を用いたディスプレイが採用されている。ＨＭＤ表示部１５０は、特許請求の範囲における取得部と表示部との一例である。また、ＨＭＤ表示部１５０を介して作業者Ｕに視認される現実空間の情景（ＨＭＤ１００の視界内の外部の様子）は、特許請求の範囲における現実空間を表す現実画像の一例である。
　ＨＭＤ操作入力部１６０は、例えばボタンやマイク等により構成され、人の操作や指示（音声による指示を含む）を受け付ける。また、インターフェース部１７０は、例えばＬＡＮインターフェースやＵＳＢインターフェース等により構成され、有線または無線により他の装置（サーバ２００、端末装置３００）との通信を行う。
　ＨＭＤ記憶部１２０は、例えばＲＯＭやＲＡＭ、ＮＶＲＡＭ、フラッシュメモリ、ＨＤＤ、ＥＥＰＲＯＭなどの書き換え可能なメモリ等により構成され、各種のデータ、プログラムを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。具体的には、ＨＭＤ記憶部１２０には、作業支援ＰＧＭ１２１が格納されている。作業支援ＰＧＭ１２１は、ＨＭＤ１００のＨＭＤ表示部１５０の表示動作を制御するためのプログラムである。このプログラムは、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ、ＵＳＢメモリ等のコンピュータによって読み取り可能な記録媒体（不図示）に格納された状態で提供され、ＨＭＤ１００にインストールすることによりＨＭＤ記憶部１２０に格納される。
　ＨＭＤ制御部１１０は、例えばＣＰＵ等により構成され、ＨＭＤ記憶部１２０から読み出したコンピュータプログラムを実行することにより、ＨＭＤ表示部１５０の表示動作を制御する。例えば、ＨＭＤ制御部１１０は、ＨＭＤ記憶部１２０から作業支援ＰＧＭ１２１を読み出して実行することにより、後述の作業支援処理等を実行する。このとき、ＨＭＤ制御部１１０は、距離特定部１１１と表示制御部１１２と表示変更部１１３と情報付加部１１４として機能する。これら各部の機能については、後述の処理の説明に合わせて説明する。
Ａ－１－２．サーバ２００の構成
　サーバ２００は、工事現場から離れた場所に配置されており、端末装置３００から工事現場の建築物の設計図面データ（ＣＡＤデータ等）を受信して３Ｄデータに変換して登録し、ＨＭＤ１００からの要求に応じて３ＤデータをＨＭＤ１００に随時送信する。サーバ２００は、サーバ制御部２１０と、サーバ記憶部２２０と、サーバ表示部２５０と、サーバ操作入力部２６０と、インターフェース部２７０と、を備える。これらの各部は、バス２９０を介して互いに通信可能に接続されている。
　サーバ表示部２５０は、例えば液晶ディスプレイ等により構成され、各種の画像や情報を表示する。サーバ操作入力部２６０は、例えばキーボードやマウス、ボタン、マイク等により構成され、人の操作や指示を受け付ける。また、インターフェース部２７０は、例えばＬＡＮインターフェースやＵＳＢインターフェース等により構成され、有線または無線により他の装置（ＨＭＤ１００や端末装置３００）との通信を行う。
　サーバ記憶部２２０は、例えばＲＯＭやＲＡＭ、ハードディスクドライブ（ＨＤＤ）等により構成され、各種のデータ、プログラムを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。サーバ記憶部２２０には、３ＤデータＤＢ２２１が格納されており、３ＤデータＤＢ２２１には、端末装置３００から受信した設計図面データを３Ｄ変換して生成された３Ｄデータが登録される。３Ｄデータは、上記設計図面データに基づく３次元空間の図面データであり、例えば工事現場における電気工事の作業対象箇所や配線の位置情報等が含まれる。
　サーバ制御部２１０は、例えばＣＰＵ等により構成され、サーバ記憶部２２０から読み出したコンピュータプログラムを実行することにより、サーバ２００の動作を制御する。例えば、サーバ制御部２１０は、サーバ記憶部２２０から図面変換ＰＧＭ（図示しない）を読み出して実行することにより、データ変換処理を実行する。このとき、サーバ制御部２１０は、データ変換部２１１として機能する。具体的には、データ変換部２１１は、端末装置３００から受信した設計図面データを３Ｄ変換して３Ｄデータを生成すると共に、該３Ｄデータを解析して、電気工事の作業対象箇所の位置を特定する。特定された作業対象箇所の位置情報は、３Ｄデータと共に３ＤデータＤＢ２２１に記憶される。
Ａ－１－３．端末装置３００の構成
　端末装置３００は、例えば工事現場やサーバ２００の設置場所から離れた場所に配置されており、工事現場の設計図面データをサーバ２００に送信したり、ＨＭＤ１００での工事現場の撮像画像を、ＨＭＤ１００を介して受信したりする。端末装置３００は、端末制御部３１０と、端末記憶部３２０と、端末表示部３５０と、端末操作入力部３６０と、インターフェース部３７０と、を備える。これらの各部は、バス３９０を介して互いに通信可能に接続されている。
　端末表示部３５０は、例えば液晶ディスプレイ等により構成され、各種の画像や情報を表示する。端末操作入力部３６０は、例えばキーボードやマウス、ボタン、マイク等により構成され、人の操作や指示を受け付ける。また、インターフェース部３７０は、例えばＬＡＮインターフェースやＵＳＢインターフェース等により構成され、有線または無線により他の装置（ＨＭＤ１００やサーバ２００）との通信を行う。例えば、ＨＭＤ１００のカメラ１４０に生成される撮像データがサーバ２００に送信され、ＨＭＤ１００の視界内の動画や静止画を端末表示部３５０に表示することができる。
　端末記憶部３２０は、例えばＲＯＭやＲＡＭ、ＨＤＤ等により構成され、各種のデータ、プログラムを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。端末記憶部３２０には、設計図面ＤＢ３２１が格納されており、設計図面ＤＢ３２１には、各工事現場の設計図面データ（各工事現場の建築物や構造物の位置や寸法等を含む）が格納されている。
　端末制御部３１０は、例えばＣＰＵ等により構成され、端末記憶部３２０から読み出したコンピュータプログラムを実行することにより、端末装置３００の動作を制御する。例えば、端末制御部３１０は、端末記憶部３２０から図面送信ＰＧＭ（図示しない）を読み出して実行することにより、設計図面データをサーバ２００に送信したり、工事現場での撮像画像を、ＨＭＤ１００を介して受信したりする。なお、作業支援システム１０において、端末装置３００からＨＭＤ１００に所定の指示や情報を送信可能な構成としてもよい。
Ａ－２．準備処理：
　まず、本実施形態のＨＭＤ１００の準備処理について説明する。まず、作業者Ｕは、工事現場にて、ＨＭＤ１００を装着し、ＨＭＤ操作入力部１６０を介して所定の操作を行ってＨＭＤ１００を起動させる。次に、作業者Ｕが、位置合わせの指示操作を行うと、ＨＭＤ制御部１１０は、現実空間上の基準位置と、サーバ２００からの３Ｄデータに基づく仮想空間上の基準位置とを合わせるための位置合わせ処理を行う。位置合わせ処理では、空間位置センサ１３０により検出されるＨＭＤ１００の現在位置と、カメラ１４０によって撮像されるＡＲマークを含む現実画像の解析結果とに基づき、現実空間上の基準位置と仮想空間上の基準位置とを一致させるよう、仮想空間上の基準位置を調整する。
　次に、ＨＭＤ１００のＨＭＤ表示部１５０には、図２に示す工事現場選択画面Ｍが表示される。工事現場選択画面Ｍには、複数の工事現場（部屋）の選択肢（Ａ室Ｒ１、Ｂ室Ｒ２・・・）が表示され、工事現場毎に、作業が完了していない未作業箇所の残数が表示されている。図２では、Ａ室Ｒ１では、未作業箇所の残数は３箇所であり、Ｂ室Ｒ２では、未作業箇所の残数は０箇所であることが例示されている。作業者Ｕは、所定の操作を行うことにより、任意の工事現場を選択できる。以下、Ａ室Ｒ１が選択された場合を例に挙げて説明する。
Ａ－３．作業支援処理：
　次に、本実施形態のＨＭＤ１００により実行される作業支援処理について説明する。作業支援処理は、次の３つの処理を含む。
　「ボックス配置支援処理」：Ａ室Ｒ１を構成する骨組み２（柱や梁等）に後述のボード４を設置する前において、その骨組み２に電気ボックス３を配置するためのボックス配置作業を支援するための処理である。
　「ボード開口支援処理」：上記ボックス配置作業後、骨組み２に設置されたボード４にボード開口４ａを形成するためのボード開口作業を支援するための処理である。
　「器具取付支援処理」：上記ボード開口作業後、上記ボード開口４ａを覆うようにボード４の表面全体に貼り付けられた壁紙７に壁紙開口７ａを形成する壁紙開口作業を支援するための処理である。なお、壁紙開口作業後、壁紙開口７ａ内に位置する電気ボックス３と電気器具８（コンセントプレート等）とを電気的に接続し、電気器具８を壁紙開口７ａに取り付けることにより作業対象箇所Ｔに対する電気工事が完了する。以下、これらの処理を順番に説明する。
Ａ－３－１．ボックス配置支援処理
　図３は、ボックス配置支援処理の内容を示すフローチャートであり、図４は、ボックス配置作業における作業者Ｕの位置とＨＭＤ１００の表示内容との関係を模式的に示す説明図である。図４には、ボックス配置作業前の状態のＡ室Ｒ１を上方から見た模式図が示されている。該模式図には、方向を特定するための互いに直交するＸＹＺ軸が示されており、便宜的に、Ｚ軸正方向を上方向と呼ぶものとする（他の図面も同じ）。ボックス配置作業前の状態のＡ室Ｒ１では、複数本の骨組み２が配置されているが、これらの骨組み２にボード４は設置されていない。Ａ室Ｒ１には、例えば３箇所の作業対象箇所Ｔ（Ｔ１～Ｔ３）が存在するものとする。
　図４に示された近距離画面ＭＮ１は、一の作業対象箇所Ｔ（Ｔ１）の近傍の位置にいる作業者Ｕ（ＵＮ）が装着したＨＭＤ１００の表示画面である。図４の遠距離画面ＭＦ１は、一の作業対象箇所Ｔ（Ｔ１）から離れた位置（Ａ室Ｒ１の入口付近）にいる作業者Ｕ（ＵＦ）が装着したＨＭＤ１００の表示画面である。図４の作業後画面ＭＣ１は、一の作業対象箇所Ｔ（Ｔ１）に対するボックス配置作業が完了したときの表示画面である。
　ボックス配置支援処理が開示されると、図３に示すように、距離特定部１１１は、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔのディスプレイ距離を特定する（Ｓ１１０）。ディスプレイ距離は、現実空間に実在する現実物体（建築物の骨組み２）における作業対象箇所ＴとＨＭＤ１００との距離である。従って、ディスプレイ距離は、工事現場内での作業者Ｕの移動に伴って変動する。距離特定部１１１は、空間位置センサ１３０により検出されるＨＭＤ１００の現在位置情報と、サーバ２００から送信される３Ｄデータとに基づき、ディスプレイ距離を特定できる。
　次に、表示制御部１１２は、特定されたディスプレイ距離が基準距離以下であるか否かを判断する（Ｓ１２０）。なお、基準距離は、作業者Ｕが作業対象箇所Ｔに対して作業可能な距離（例えば作業者Ｕの手が作業対象箇所Ｔに届くなどして作業可能な距離）であることが好ましい。なお、工事現場（Ａ室Ｒ１）に複数の作業対象箇所Ｔが存在する場合、複数の作業対象箇所Ｔのうち、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔのみを対象として、Ｓ１２０の処理が実施される。換言すれば、作業者Ｕの視線が変わり、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔが変われば、Ｓ１２０の処理対象の作業対象箇所Ｔも変わる。
　表示制御部１１２は、ディスプレイ距離が基準距離以下であると判断した場合（Ｓ１２０：ＹＥＳ）、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔ（骨組み２の側面側）に近距離用画像ＧＮ１を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ１３０）。図４の近距離画面ＭＮ１に示すように、近距離用画像ＧＮ１は、作業基準画像ＧＡ１を含む。作業基準画像ＧＡ１は、作業対象箇所Ｔに対する作業の基準位置（例えば電気ボックス３の取付の中心位置）を示すライン画像である。具体的には、作業基準画像ＧＡ１は、縦ガイドラインＧＡ１１と横ガイドラインＧＡ１２とを有する。縦ガイドラインＧＡ１１は、上下方向（Ｚ軸方向）に延びる直線状のライン画像であり、横ガイドラインＧＡ１２は、水平方向（例えばＸ軸方向）に延びる直線状のライン画像である。縦ガイドラインＧＡ１１と横ガイドラインＧＡ１２との交点Ｐが、電気ボックス３の中心を配置すべき基準位置を意味し、作業者Ｕは、電気ボックス３の中心がＭＲ空間中の交点Ｐに一致するように電気ボックス３を配置して骨組み２に固定する。これにより、作業者Ｕは、現場での寸法測定や設計図面の確認等を行うことなく、ＨＭＤ１００に表示される作業基準画像ＧＡ１を頼りに電気ボックス３を作業対象箇所Ｔに精度良く配置できる。
　また、作業基準画像ＧＡ１は、さらに、外形画像ＧＡ１３を含む。外形画像ＧＡ１３は、作業対象箇所Ｔに取り付けるべき電気ボックス３の外形に応じた枠状のライン画像である。これにより、作業者Ｕが、間違ったサイズの電気ボックス３を作業対象箇所Ｔに配置することを抑制できる。また、例えば、１つの作業対象箇所Ｔに複数の電気ボックス３を配置する場合、外形画像ＧＡ１３を、複数の電気ボックス３のそれぞれの外形に応じた複数の枠状のライン画像としてもよい。これにより、作業者Ｕが、１つの作業対象箇所Ｔに配置すべき電気ボックス３の数やサイズを間違えることを抑制できる。
　一方、表示制御部１１２は、ディスプレイ距離が基準距離を超えたと判断した場合（Ｓ１２０：ＮＯ）、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔに遠距離用画像ＧＦ１を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ１４０）。図４の遠距離画面ＭＦ１に示すように、遠距離用画像ＧＦ１は、近距離用画像ＧＮ１に比べて視認性が高い画像である。具体的には、遠距離用画像ＧＦ１は、上記作業基準画像ＧＡ１に加えて、作業箇所画像ＧＢ１を含む。作業箇所画像ＧＢ１は、作業対象箇所Ｔの位置を示す画像である。作業箇所画像ＧＢ１は、作業基準画像ＧＡ１に比べて視認性が高い画像である。ここで、画像の視認性が高いとは、ＨＭＤ１００の視界内において、作業者Ｕが視覚的に認識し易い表示方法（例えば、画像の濃淡、塗り潰し範囲、輝度、点滅周期等のうちの少なくとも１つを調整して視認性を調整）で表示されていることを言う。本実施形態では、作業箇所画像ＧＢ１は、ライン画像である作業基準画像ＧＡ１に比べて、単位面積当たりの塗りつぶし範囲が広い塗り潰し画像である。具体的には、作業箇所画像ＧＢ１は、上記外形画像ＧＡ１３に囲まれる領域全体を塗りつぶす不透明または半透明な画像である。このように、遠距離用画像ＧＦ１は、作業基準画像ＧＡ１に加えて作業箇所画像ＧＢ１を含むため、作業箇所画像ＧＢ１を含まない近距離用画像ＧＮ１に比べて視認性が高く、その結果、作業対象箇所Ｔから基準距離以上離れた位置でも作業者Ｕは作業対象箇所Ｔを容易に見つけ出すことができる。
　また、作業箇所画像ＧＢ１は、少なくとも一部分が作業対象箇所Ｔよりも手前に位置する立体画像である。具体的には、作業箇所画像ＧＢ１は、電気ボックス３の外形に応じた直方体の立体画像である。これにより、例えば作業箇所画像ＧＢ１が、平面画像や、作業対象箇所Ｔ（現実物体）の後ろ側に位置する画像である場合に比べて、例えば、作業者Ｕが作業対象箇所Ｔを斜め方向から見た場合でも、作業箇所画像ＧＢ１を通じて作業対象箇所Ｔを容易に見つけ出すことができる。なお、本実施形態では、作業箇所画像ＧＢ１の全体が作業対象箇所Ｔよりも手前に位置している。
　表示制御部１１２は、ディスプレイ距離に応じて、遠距離用画像ＧＦ１または近距離用画像ＧＮ１を表示させた後、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔに対する作業が完了したか否かを判断する（Ｓ１５０）。作業者Ｕは、所定の操作を行うことにより、該作業対象箇所Ｔに対するボックス配置作業が完了したことをＨＭＤ１００に認識させることができる。ここでいう所定の操作とは、例えばＨＭＤ１００の視界内に位置する上記近距離用画像ＧＮ１または遠距離用画像ＧＦ１に仮想的にタッチし、完了を意味する動作を行う操作である。このとき、表示制御部１１２は、カメラ１４０からの撮像データに基づき、現実空間の現実画像を常にスキャンしており、そのスキャン結果から、作業者Ｕの動作を検知する。このとき、カメラ１４０と表示制御部１１２とは、特許請求の範囲における完了検知部の一例である。また、作業者Ｕによる操作ではなく、作業者Ｕの声に基づき作業の完了の有無を判断してもよいし、カメラ１４０によって撮像した作業対象箇所Ｔの画像の解析結果に基づき作業の完了の有無を自動で判断してもよい。表示制御部１１２は、作業が完了していないと判断した場合（Ｓ１５０：ＮＯ）、Ｓ１１０の処理に戻る。すなわち、表示制御部１１２は、ディスプレイ距離に応じて、遠距離用画像ＧＦ１または近距離用画像ＧＮ１を表示させる動作を継続する。
　表示制御部１１２は、作業が完了したと判断した場合（Ｓ１５０：ＹＥＳ）、ディスタンス距離の長短に関係なく、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔに完了画像ＧＣ１を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ１６０）。完了画像ＧＣ１は、作業基準画像ＧＡ１’と作業箇所画像ＧＢ１’とを含む。作業基準画像ＧＡ１’は、上記作業基準画像ＧＡ１と形状は同じであるが、色が異なる。また、作業箇所画像ＧＢ１’は、上記作業箇所画像ＧＢ１と形状は同じであるが、色が異なる。これにより、作業者Ｕは、作業基準画像ＧＡ１’や作業箇所画像ＧＢ１’の色によって、作業の完了の有無を容易に判断できる。なお、表示制御部１１２は、作業が完了したと判断した場合（Ｓ１５０：ＹＥＳ）、Ａ室Ｒ１におけるボックス配置作業についての未作業箇所の残数を更新する。また、未作業箇所の残数が、上記各画面ＭＮ１，ＭＦ１，ＭＣ１の少なくとも１つに表示される構成であってもよい。
　次に、表示制御部１１２は、メモ機能が選択されたか否かを判断する（Ｓ１７０）。作業者Ｕは、所定の操作を行うことにより、メモ機能が選択されたことをＨＭＤ１００に認識させることができる。ここでいう所定の操作とは、例えばＨＭＤ１００の視界内に位置する作業後画面ＭＣ１に仮想的にタッチし、メモ機能の選択を意味する動作を行う操作である。表示制御部１１２は、メモ機能が選択されたと判断した場合（Ｓ１７０：ＹＥＳ）、情報付加部１１４がメモ情報を取得する（Ｓ１８０）。具体的には、作業後画面ＭＣ１に示すように、作業後画面ＭＣ１にメモ画面Ｈが表示され、作業者Ｕがメモしたいメモ情報を話すと、その音声がＨＭＤ操作入力部１６０（マイク）に入力され、音声データに応じたテキスト情報がメモ画面Ｈに表示されると共に、ＨＭＤ記憶部１２０に記憶される。メモ情報とは、例えば、電気ボックス３を実際に配置した位置と設計図面上の位置とのずれや、後段の作業に役立つ情報などである。なお、メモ情報は、例えばＨＭＤ１００からサーバ２００または端末装置３００に送信されてフィードバックされることが好ましい。これにより、例えば一の作業者Ｕが入力したメモ情報がサーバ２００や端末装置３００にて設計図面等に反映され、ＨＭＤ１００を使用する他の作業者Ｕにも共有できる。
　表示制御部１１２は、メモ機能が選択されないと判断した場合（Ｓ１７０：ＮＯ）、Ｓ１８０の処理を行うことなく、Ｓ１１０の処理に戻る。なお、図３に示すボックス配置支援処理では、作業者Ｕが視線を変わり、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔが変わった場合、表示制御部１１２は、視線が変わる前の作業対象箇所Ｔに対する処理を中断し、視線が変わった後の新たな作業対象箇所Ｔに対してＳ１１０の処理から行う。
　以上の構成により、例えば、作業者Ｕ（ＵＦ）がＡ室Ｒ１の入口に立つと、各作業対象箇所Ｔに遠距離画面ＭＦ１が投影される。上述したように、遠距離画面ＭＦ１は、作業基準画像ＧＡ１に加えて、作業箇所画像ＧＢ１が含まれた画像であり、かつ、作業箇所画像ＧＢ１は、作業基準画像ＧＡ１に比べて、単位面積当たりの塗り潰し範囲が広い分だけ相対的に強調されている。このため、作業者Ｕ（ＵＦ）は、作業対象箇所Ｔから比較的に遠い位置では、相対的に強調された作業箇所画像ＧＢ１を通じて、作業対象箇所Ｔを、より容易に見つけ出すことができる。特にＨＭＤ１００を装着した作業者Ｕは、ＨＭＤ１００によって視界が制約されるため、特に本実施形態が有効である。
　次に、作業者Ｕ（ＵＮ）が作業対象箇所Ｔに近づくと、作業対象箇所Ｔに近距離画面ＭＮ１が投影される。近距離画面ＭＮ１は、作業基準画像ＧＡ１を含み、かつ、作業箇所画像ＧＢ１を含まない画像であり、作業箇所画像ＧＢ１に比べて、作業基準画像ＧＡ１が相対的に強調されている。このため、作業者Ｕ（ＵＮ）は、作業対象箇所Ｔから比較的に近い位置では、相対的に強調された作業基準画像ＧＡ１を通じて、作業対象箇所Ｔに対する作業をより効率良く行うことができる。
Ａ－３－２．ボード開口支援処理
　図５は、ボード開口支援処理の内容を示すフローチャートであり、図６は、ボード開口作業における作業者Ｕの位置とＨＭＤ１００の表示内容との関係を模式的に示す説明図である。図６には、ボード開口作業前の状態のＡ室Ｒ１を上方から見た模式図が示されている。ボード開口作業前の状態のＡ室Ｒ１では、骨組み２に電気ボックス３が配置されると共に、電気ボックス３（作業対象箇所Ｔ）の前面を覆うように骨組み２にボード４が設置されている。すなわち、Ａ室Ｒ１にいる作業者Ｕから見て、電気ボックス３はボード４の背後に隠れているため、ボード開口４ａを形成すべき作業対象箇所Ｔを見つけることが難しい。
　図６に示された近距離画面ＭＮ２は、一の作業対象箇所Ｔ（Ｔ１）の近傍の位置にいる作業者Ｕ（ＵＮ）が装着したＨＭＤ１００の表示画面である。図６の遠距離画面ＭＦ２は、一の作業対象箇所Ｔ（Ｔ１）から離れた位置（Ａ室Ｒ１の入口付近）にいる作業者Ｕ（ＵＦ）が装着したＨＭＤ１００の表示画面である。図６の作業後画面ＭＣ２は、一の作業対象箇所Ｔ（Ｔ１）に対するボード開口作業が完了したときの表示画面である。
　ボード開口支援処理が開示されると、図５に示すように、距離特定部１１１は、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔの上記ディスプレイ距離を特定する（Ｓ２１０）。表示制御部１１２は、ディスプレイ距離が基準距離以下であると判断した場合（Ｓ２２０：ＹＥＳ）、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔ（ボード４の内側表面の内、電気ボックス３の手前に位置する部分）に近距離用画像ＧＮ２を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ２３０）。図６の近距離画面ＭＮ２に示すように、近距離用画像ＧＮ２は、作業基準画像ＧＡ２を含む。作業基準画像ＧＡ２は、作業対象箇所Ｔに対する作業の基準位置（例えばボード４に形成すべきボード開口４ａの中心位置）を示すライン画像である。具体的には、作業基準画像ＧＡ２は、縦ガイドラインＧＡ２１と横ガイドラインＧＡ２２とを有する。縦ガイドラインＧＡ２１は、上下方向（Ｚ軸方向）に延びる直線状のライン画像であり、横ガイドラインＧＡ２２は、水平方向（例えばＸ軸方向）に延びる直線状のライン画像である。縦ガイドラインＧＡ２１と横ガイドラインＧＡ２２との交点Ｐが、ボード開口４ａの中心になるべき基準位置を意味し、作業者Ｕは、ボード開口４ａの中心がＭＲ空間中の交点Ｐに一致するようにボード開口４ａをボード４に形成する。これにより、作業者Ｕは、現場での寸法測定や設計図面の確認等を行うことなく、ＨＭＤ１００に表示される作業基準画像ＧＡ２を頼りにボード開口４ａを作業対象箇所Ｔに精度良く形成できる。
　また、作業基準画像ＧＡ２は、さらに、外形画像ＧＡ２３を含む。外形画像ＧＡ２３は、作業対象箇所Ｔに形成すべきボード開口４ａの輪郭線に応じた枠状のライン画像である。これにより、作業者Ｕが、間違ったサイズのボード開口４ａを作業対象箇所Ｔに形成することを抑制できる。
　一方、表示制御部１１２は、ディスプレイ距離が基準距離を超えたと判断した場合（Ｓ２２０：ＮＯ）、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔに遠距離用画像ＧＦ２を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ２４０）。図６の遠距離画面ＭＦ２に示すように、遠距離用画像ＧＦ２は、近距離用画像ＧＮ２に比べて視認性が高い画像である。具体的には、遠距離用画像ＧＦ２は、上記作業基準画像ＧＡ２に加えて、作業箇所画像ＧＢ２を含む。作業箇所画像ＧＢ２は、作業対象箇所Ｔの位置を示す画像である。作業箇所画像ＧＢ２は、作業基準画像ＧＡ２に比べて視認性が高い画像である。本実施形態では、作業箇所画像ＧＢ２は、ライン画像である作業基準画像ＧＡ２に比べて、単位面積当たりの塗りつぶし範囲が広い塗り潰し画像である。具体的には、作業箇所画像ＧＢ２は、上記外形画像ＧＡ２３に囲まれる領域全体を塗りつぶす不透明または半透明な画像である。このように、遠距離用画像ＧＦ２は、作業基準画像ＧＡ２に加えて作業箇所画像ＧＢ２を含むため、作業箇所画像ＧＢ２を含まない近距離用画像ＧＮ２に比べて視認性が高く、その結果、作業対象箇所Ｔから基準距離以上離れた位置でも作業者Ｕは作業対象箇所Ｔを容易に見つけ出すことができる。
　また、作業箇所画像ＧＢ２は、少なくとも一部分が作業対象箇所Ｔよりも手前に位置する立体画像である。具体的には、作業箇所画像ＧＢ２は、ボード開口４ａの輪郭線に応じた矩形状で、かつ、厚みを有する立体画像である。ここで、図７は、作業対象箇所Ｔを斜め方向から見たときの近距離用画像ＧＮ２を示す説明図である。図７に示すように、作業者Ｕが上方から作業対象箇所Ｔを見たとき、近距離用画像ＧＮ２の作業箇所画像ＧＢ２は、厚みを有する板状体であり、ボード４から手前に浮かぶように配置されている。これにより、例えば作業箇所画像ＧＢ２が、ボード４上に位置する平面画像である場合に比べて、例えば、作業者Ｕが作業対象箇所Ｔを斜め方向から見た場合でも、作業箇所画像ＧＢ２を通じて作業対象箇所Ｔを容易に見つけ出すことができる。
　表示制御部１１２は、ディスプレイ距離に応じて、遠距離用画像ＧＦ２または近距離用画像ＧＮ２を表示させた後、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔに対する作業が完了したか否かを判断する（Ｓ２５０）。作業者Ｕは、所定の操作を行うことにより、該作業対象箇所Ｔに対するボード開口作業が完了したことをＨＭＤ１００に認識させることができる。ここでいう所定の操作とは、例えばＨＭＤ１００の視界内に位置する上記近距離用画像ＧＮ２または遠距離用画像ＧＦ２に仮想的にタッチし、完了を意味する動作を行う操作である。表示制御部１１２は、作業が完了していないと判断した場合（Ｓ２５０：ＮＯ）、Ｓ２１０の処理に戻る。すなわち、表示制御部１１２は、ディスプレイ距離に応じて、遠距離用画像ＧＦ２または近距離用画像ＧＮ２を表示させる動作を継続する。
　表示制御部１１２は、作業が完了したと判断した場合（Ｓ２５０：ＹＥＳ）、ディスタンス距離の長短に関係なく、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔに完了画像ＧＣ２を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ２６０）。完了画像ＧＣ２は、作業基準画像ＧＡ２’と作業箇所画像ＧＢ２’とを含む。作業基準画像ＧＡ２’は、上記作業基準画像ＧＡ２と形状は同じであるが、色が異なる。また、作業箇所画像ＧＢ２’は、上記作業箇所画像ＧＢ２と形状は同じであるが、色が異なる。これにより、作業者Ｕは、作業基準画像ＧＡ２’や作業箇所画像ＧＢ２’の色によって、作業の完了の有無を容易に判断できる。なお、表示制御部１１２は、作業が完了したと判断した場合（Ｓ２５０：ＹＥＳ）、Ａ室Ｒ１におけるボード開口作業についての未作業箇所の残数を更新する。また、未作業箇所の残数が、上記各画面ＭＮ２，ＭＦ２，ＭＣ２の少なくとも１つに表示される構成であってもよい。図５におけるＳ１７０，Ｓ１８０の処理は、図３とほぼ同じであるため、説明を省略する。
　以上の構成により、例えば、作業者Ｕ（ＵＦ）がＡ室Ｒ１の入口に立つと、各作業対象箇所Ｔに遠距離画面ＭＦ２が投影される。上述したように、遠距離画面ＭＦ２は、作業基準画像ＧＡ２に加えて、作業箇所画像ＧＢ２が含まれた画像であり、かつ、作業箇所画像ＧＢ２は、作業基準画像ＧＡ２に比べて、単位面積当たりの塗り潰し範囲が広い分だけ相対的に強調されている。このため、作業者Ｕ（ＵＦ）は、作業対象箇所Ｔから比較的に遠い位置では、相対的に強調された作業箇所画像ＧＢ２を通じて、作業対象箇所Ｔを、より容易に見つけ出すことができる。次に、作業者Ｕ（ＵＮ）が作業対象箇所Ｔに近づくと、作業対象箇所Ｔに近距離画面ＭＮ２が投影される。近距離画面ＭＮ２は、作業基準画像ＧＡ２を含み、かつ、作業箇所画像ＧＢ２を含まない画像であり、作業箇所画像ＧＢ２に比べて、作業基準画像ＧＡ２が相対的に強調されている。このため、作業者Ｕ（ＵＮ）は、作業対象箇所Ｔから比較的に近い位置では、相対的に強調された作業基準画像ＧＡ２を通じて、作業対象箇所Ｔに対する作業をより効率良く行うことができる。
Ａ－３－３．器具取付支援処理
　図８は、器具取付支援処理の内容を示すフローチャートであり、図９は、器具取付作業における作業者Ｕの位置とＨＭＤ１００の表示内容との関係を模式的に示す説明図である。図９には、器具取付作業前の状態のＡ室Ｒ１を上方から見た模式図が示されている。器具取付作業前の状態のＡ室Ｒ１では、上記ボード開口４ａを覆うようにボード４の内側表面全体に壁紙７が貼り付けられている。すなわち、Ａ室Ｒ１にいる作業者Ｕから見て、ボード４に形成されたボード開口４ａが壁紙７の背後に隠れているため、電気器具８を取り付けるべき作業対象箇所Ｔを見つけることが難しい。
　図９に示された中距離画面ＭＭは、一の作業対象箇所Ｔ（Ｔ１）から少し離れた位置にいる作業者Ｕ（ＵＭ）が装着したＨＭＤ１００の表示画面である。図９に示された近距離画面ＭＮ３，ＭＮ３’は、一の作業対象箇所Ｔ（Ｔ１）の近傍の位置にいる作業者Ｕが装着したＨＭＤ１００の表示画面である。図９の遠距離画面ＭＦ３は、一の作業対象箇所Ｔ（Ｔ１）から離れた位置（Ａ室Ｒ１の入口付近）にいる作業者Ｕ（ＵＦ）が装着したＨＭＤ１００の表示画面である。図９の作業後画面ＭＣ３は、一の作業対象箇所Ｔ（Ｔ１）に対する器具取付作業が完了したときの表示画面である。
　器具取付支援処理が開示されると、図８に示すように、距離特定部１１１は、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔの上記ディスプレイ距離を特定する（Ｓ３１０）。表示制御部１１２は、ディスプレイ距離が、第１基準距離以下であり、かつ、第２基準距離を超えると判断した場合（Ｓ３２０：ＹＥＳ、かつ、Ｓ３４０：ＮＯ）、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔ（壁紙７の内側表面の内、ボード開口４ａの手前に位置する部分）に中距離用画像ＧＭを投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ３５０）。第２基準距離は、例えば作業者Ｕが作業対象箇所Ｔに対して作業可能な距離であり、第１基準距離は、第２基準距離よりも長く、例えば作業者Ｕの手が作業対象箇所Ｔに届く少し手前の距離であることが好ましい。図９の中距離画面ＭＭに示すように、中距離用画像ＧＭは、作業基準画像ＧＡ３を含む。作業基準画像ＧＡ３は、作業対象箇所Ｔに対する作業の基準位置（例えば壁紙７に形成すべき壁紙開口７ａの中心位置）を示すライン画像である。具体的には、作業基準画像ＧＡ３は、縦ガイドラインＧＡ３１と横ガイドラインＧＡ３２とを有する。縦ガイドラインＧＡ３１は、上下方向（Ｚ軸方向）に延びる直線状のライン画像であり、横ガイドラインＧＡ３２は、水平方向（例えばＸ軸方向）に延びる直線状のライン画像である。作業者Ｕは、縦ガイドラインＧＡ３１と横ガイドラインＧＡ３２との交点Ｐ付近に、ボード開口４ａが存在し、該交点Ｐ付近に壁紙開口７ａを形成すればよいことが分かる。
　表示制御部１１２は、ディスプレイ距離が、第２基準距離以下であると判断した場合（Ｓ３２０：ＹＥＳ、かつ、Ｓ３４０：ＹＥＳ）、図９の近距離画面ＭＮ３に示すように、作業対象箇所に対する画像（中距離用画像ＧＭ）を消去する（Ｓ３６０）。これにより、作業者Ｕは、画像に邪魔されることなく、図９の近距離画面ＭＮ３’に示すように壁紙７に壁紙開口７ａを形成し、その壁紙開口７ａおよびボード開口４ａを介して、電気器具８を電気ボックス３に電気的に接続しつつ取り付けることができる。
　一方、表示制御部１１２は、ディスプレイ距離が第１基準距離を超えたと判断した場合（Ｓ３２０：ＮＯ）、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔに遠距離用画像ＧＦ３を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ３３０）。図９の遠距離画面ＭＦ３に示すように、遠距離用画像ＧＦ３は、中距離用画像ＧＭに比べて視認性が高い画像である。具体的には、遠距離用画像ＧＦ３は、上記作業基準画像ＧＡ３に加えて、作業箇所画像ＧＢ３を含む。作業箇所画像ＧＢ３は、作業対象箇所Ｔの位置を示す画像である。作業箇所画像ＧＢ３は、作業基準画像ＧＡ３に比べて視認性が高い画像である。本実施形態では、作業箇所画像ＧＢ３は、ライン画像である作業基準画像ＧＡ３に比べて、単位面積当たりの塗りつぶし範囲が広い塗り潰し画像である。このように、遠距離用画像ＧＦ３は、作業基準画像ＧＡ３に加えて作業箇所画像ＧＢ３を含むため、作業箇所画像ＧＢ３を含まない中距離用画像ＧＭに比べて視認性が高く、その結果、作業対象箇所Ｔから第１基準距離以上離れた位置でも作業者Ｕは作業対象箇所Ｔを容易に見つけ出すことができる。
　表示制御部１１２は、ディスプレイ距離に応じて、遠距離用画像ＧＦ３または中距離用画像ＧＭを表示させたり消去したりした後、ＨＭＤ１００の視界内に位置する作業対象箇所Ｔに対する作業が完了したか否かを判断する（Ｓ３７０）。作業者Ｕは、所定の操作を行うことにより、該作業対象箇所Ｔに対する器具取付作業が完了したことをＨＭＤ１００に認識させることができる。ここでいう所定の操作とは、例えばＨＭＤ１００の視界内に位置する作業対象箇所Ｔ付近の位置に仮想的にタッチし、完了を意味する動作を行う操作である。表示制御部１１２は、作業が完了していないと判断した場合（Ｓ３７０：ＮＯ）、Ｓ３１０の処理に戻る。
　表示制御部１１２は、作業が完了したと判断した場合（Ｓ３７０：ＹＥＳ）、ディスタンス距離の長短に関係なく、Ａ室Ｒ１の現実画像上における作業対象箇所Ｔに完了画像ＧＣ３を投影したＭＲ画像を、ＨＭＤ表示部１５０に表示させる（Ｓ３８０）。完了画像ＧＣ３は、作業基準画像ＧＡ３’と作業箇所画像ＧＢ３’とを含む。作業基準画像ＧＡ３’は、上記作業基準画像ＧＡ３と形状は同じであるが、色が異なる。また、作業箇所画像ＧＢ３’は、上記作業箇所画像ＧＢ３と形状は同じであるが、色が異なる。これにより、作業者Ｕは、作業基準画像ＧＡ３’や作業箇所画像ＧＢ３’の色によって、作業の完了の有無を容易に判断できる。なお、表示制御部１１２は、作業が完了したと判断した場合（Ｓ３８０：ＹＥＳ）、Ａ室Ｒ１における器具取付作業についての未作業箇所の残数を更新する。また、未作業箇所の残数が、上記各画面ＭＮ３，ＭＮ３’，ＧＭ，ＭＦ３，ＭＣ３の少なくとも１つに表示される構成であってもよい。図８におけるＳ１７０，Ｓ１８０の処理は、図３とほぼ同じであるため、説明を省略する。
Ａ－４．表示変更処理：
　表示変更部１１３は、上記各画像ＧＮ１，ＧＮ２，ＧＦ１～ＧＦ３，ＧＭ，ＧＣ１～ＧＣ３の少なくとも１つの画像の表示態様を、その周囲の画像とは独立に変更する。具体的には、表示変更部１１３は、カメラ１４０からの撮像データに基づき、現実画像のうち、作業対象箇所Ｔの周囲の現実物体（例えば骨組み２やその背景、ボード４、壁紙７）の画像を定期的にスキャンし、その現実物体の画像色の変化を検知する。例えば、工事現場に配置された灯光器や作業者Ｕが備えるヘッドライト等の影響により、ボード４の画像色が白色に近くなり、該ボード４に投影される近距離用画像ＧＮ２や遠距離用画像ＧＦ２が見づらくなる。
　ここで、近距離用画像ＧＮ２等の視認性に影響を与える周囲環境の変化は、周囲環境の変化を検知する専用のセンサ等を設けなくても、現実物体（ボード４）の画像色の変化に反映される。そこで、表示変更部１１３は、カメラ１４０からの撮像データに基づき、現実物体の画像色の変化を検知する。表示変更部１１３は、現実物体の画像色の変化を検知した場合、例えば近距離用画像ＧＮ２等の表示態様を、検知された変化後の画像色に対して、より視認性が高くなるように変更する。なお、画像色の変化には、異なる色に変化する場合に限らず、同じ色で輝度が変化する場合も含まれる。例えば、近距離用画像ＧＮ２等の画像色を、より濃度が濃い画像色に変えたり、塗りつぶし範囲を広げたり、点灯表示から点滅表示に変更したりする。これにより、作業者Ｕの周囲環境の変化に起因して近距離用画像ＧＮ２と遠距離用画像ＧＦ２が見づらくなって作業効率が低下することを抑制することができる。カメラ１４０と表示変更部１１３とは、特許請求の範囲における色検知部の一例である。
Ｂ．変形例：
　本発明は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。
　上記実施形態における作業支援システム１０の構成は、あくまで一例であり、種々変形可能である。例えば、ＨＭＤ１００は、光学シースルー方式に限らず、ビデオシースルー方式でもよい。また、ディスプレイ装置は、ゴーグル型（ＨＭＤ１００）に限らず、ヘルメット型、眼鏡型などでもよく、さらには、タブレットや携帯電話等の搬送可能な通信装置でもよい。上記実施形態では、取得部および表示部として、ＨＭＤ表示部１５０（ハーフミラー）を例示したが、例えばＨＭＤ１００がビデオシースルー方式である場合、カメラ１４０が特許請求の範囲における取得部の一例であり、カメラ１４０により撮像される現実空間の撮像画像が特許請求の範囲における現実空間を表す現実画像の一例であり、作業者が視認する液晶ディスプレイ等が特許請求の範囲における表示部の一例である。
　上記実施形態における各種の処理の内容は、あくまで一例であり、種々変形可能である。例えば、上記実施形態において、近距離用画像ＧＮ１，ＧＮ２（作業基準画像ＧＡ１，ＧＡ２）は、縦ガイドラインＧＡ１１、横ガイドラインＧＡ１２、外形画像ＧＡ１３の少なくとも１つを含まない構成でもよく、ライン画像に限らず、点画像や所定の形状の塗りつぶし画像でもよい。遠距離用画像ＧＦ１～ＧＦ３（作業箇所画像ＧＢ１～ＧＢ３）は、塗りつぶし画像を備えなくてもよい。また、遠距離用画像ＧＦ１～ＧＦ３は、作業基準画像ＧＡ１～ＧＡ３を備えなくてもよい。また、近距離用画像ＧＮ１，ＧＮ２は、例えば作業箇所画像ＧＢ１，ＧＢ２よりも画像の濃度が薄い（透明性が高い）画像を含んでもよい。
　また、例えば上記実施形態において、遠距離用画像ＧＦ１（作業箇所画像ＧＢ１）は、近距離用画像ＧＮ１（作業基準画像ＧＡ１）に比べて、単位面積当たりの塗りつぶし範囲が広いことによって、視認性が高い画像であったが、これに限らず、例えば、画像の濃度が濃いこと、輝度が高いこと、点滅周期が短いこと等によって視認性が高い画像でもよい。また、上記実施形態では、遠距離用画像ＧＦ１と完了画像ＧＣ１とは互いの色が異なっていたが、これに限らず、濃淡、点灯周期、塗りつぶし範囲、輝度や形状等が異なることによって両画像ＧＦ１，ＧＣ１を区別可能としてもよい。
　図１０は、天井側を見たときのＨＭＤ１００の表示内容を示す説明図である。図１０には、複数の梁５にわたって天井ボード６が設置されている。また、２つの作業対象箇所Ｔ’が存在している。各作業対象箇所Ｔ’は、天井ボード６に対して円状のボード開口を形成するボード開口作業のための対象箇所である。各作業対象箇所Ｔ’に、遠距離用画像ＧＦ４が投影されている。遠距離用画像ＧＦ４は、作業基準画像ＧＡ４と作業箇所画像ＧＢ４とを含む。作業基準画像ＧＡ４は、作業対象箇所Ｔ’に対する作業の基準位置（例えば照明器具用の電気ボックス（図示しない）の取付の中心位置Ｐ’）を示すライン画像である。具体的には、作業基準画像ＧＡ４は、互いに直交する一対のガイドラインＧＡ４１，ＧＡ４２を有する。作業者Ｕは、ボード開口の中心がＭＲ空間中の交点Ｐ’に一致するようにボード開口を天井ボード６に形成する。作業基準画像ＧＡ４は、さらに、外形画像ＧＡ４３を含む。外形画像ＧＡ４３は、作業対象箇所Ｔ’に形成すべきボード開口の輪郭線に応じた枠状のライン画像である。これにより、作業者Ｕが、間違ったサイズのボード開口を作業対象箇所Ｔ’に形成することを抑制できる。作業箇所画像ＧＢ４は、上記外形画像ＧＡ４３に囲まれる領域全体を塗りつぶす不透明または半透明な画像である。作業箇所画像ＧＢ４は、少なくとも一部分が作業対象箇所Ｔよりも手前に位置する立体画像である。このように、近距離用画像や遠距離用画像の形状は、矩形や円形に限定されず、作業内容等に応じた各種の形状であってもよい。
　上記実施形態において、作業者ＵがＨＭＤ１００のＨＭＤ操作入力部１６０を入力操作することにより、作業の完了を検知してもよい。このとき、ＨＭＤ操作入力部１６０は、特許請求の範囲における完了検知部の一例である。
　例えば、作業対象箇所Ｔを照らしていた灯光器の光が遮られたりすると、ＨＭＤ１００に表示される現実画像の明度が大きく低下する。このような場合、表示変更部１１３は、現実画像の明度の低下に応じて、近距離用画像等ＧＮ１，ＧＮ２，ＧＦ１～ＧＦ３，ＧＭ，ＧＣ１～ＧＣ３の少なくとも１つの画像の明度を低下させてもよい。表示変更部１１３は、カメラ１４０からの撮像データに基づき、現実画像を定期的にスキャンし、その現実画像の撮像データをグレイスケールデータに変換し、そのグレイスケールデータに基づき、現実画像の明度の変化を検知する。このとき、表示変更部１１３は、特許請求の範囲における明度検知部として機能する。これにより、現実画像の明度が低下しても近距離用画像等の明度が維持される構成に比べて、局所的に明度が高い画像を目にすることに起因する作業者の目への負担（目の疲れ等）を軽減することができる。
　上記実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。
　上記実施形態では、作業現場として、工事現場を例示したが、これに限らず、例えば病棟など、所定の作業対象箇所に対してディスプレイ装置を備える作業者が移動可能な場所であれば本発明を提供して上記効果を得ることができる。また、作業として、電気工事に関する作業（ボックス配置作業、ボード開口作業、壁紙開口作業）を例示したが、これら以外の電気工事に関する作業であってもよく、また、例えば水道工事の配管作業や、エアコン設置工事における穴開け作業など、他の工事に関する作業であってもよく、さらには、工事以外の作業であってもよい。
２：骨組み　３：電気ボックス　４：ボード　４ａ：ボード開口　５：梁　６：天井ボード　７：壁紙　７ａ：壁紙開口　８：電気器具　１０：作業支援システム　１００：ＨＭＤ　１１０：ＨＭＤ制御部　１１１：距離特定部　１１２：表示制御部　１１３：表示変更部　１１４：情報付加部　１２０：ＨＭＤ記憶部　１２１：作業支援ＰＧＭ　１３０：空間位置センサ　１４０：カメラ　１５０：ＨＭＤ表示部　１６０：ＨＭＤ操作入力部　１７０，２７０，３７０：インターフェース部　１９０，２９０，３９０：バス　２００：サーバ　２１０：サーバ制御部　２１１：データ変換部　２２０：サーバ記憶部　２５０：サーバ表示部　２６０：サーバ操作入力部　３００：端末装置　３１０：端末制御部　３２０：端末記憶部　３５０：端末表示部　３６０：端末操作入力部　２２１：３ＤデータＤＢ　３２１：設計図面ＤＢ　ＧＡ１～ＧＡ４：作業基準画像　ＧＢ１～ＧＢ４：作業箇所画像　ＧＣ１～ＧＣ３：完了画像　ＧＦ１～ＧＦ４：遠距離用画像　ＧＭ：中距離用画像　ＧＮ１，ＧＮ２：近距離用画像　Ｈ：メモ画面　Ｍ：工事現場選択画面　Ｔ，Ｔ’：作業対象箇所　Ｕ：作業者

Claims (10)

  1. 　現実空間を表す現実画像を取得する取得部と、表示部と、を備えるディスプレイ装置であって、
    　前記現実空間に位置する現実物体における作業対象箇所と前記ディスプレイ装置との距離であるディスプレイ距離を特定する距離特定部と、
    　前記ディスプレイ距離が基準距離以下である場合、前記取得部によって取得される前記現実画像上に、前記作業対象箇所に対する作業の基準位置を示す作業基準画像を含む近距離用画像を前記表示部に表示させ、前記ディスプレイ距離が前記基準距離を超える場合、前記近距離用画像に比べて視認性が高い遠距離用画像であって、前記作業対象箇所の位置を示す作業箇所画像を含む遠距離用画像を前記表示部に表示させる表示制御部と、
    　を備える、ディスプレイ装置。
  2. 　請求項１に記載のディスプレイ装置であって、
    　前記近距離用画像は、前記作業基準画像が前記作業箇所画像よりも相対的に強調された画像であり、
    　前記遠距離用画像は、前記作業箇所画像が前記作業箇所画像よりも相対的に強調された画像である、
    ディスプレイ装置。
  3. 　請求項１または請求項２に記載のディスプレイ装置であって、
    　前記作業箇所画像は、少なくとも一部分が前記作業対象箇所よりも手前に位置する立体画像である、
    ディスプレイ装置。
  4. 　請求項１から請求項３までのいずれか一項に記載のディスプレイ装置であって、
    　前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の表示態様を周囲の画像とは独立に変更する表示変更部を備える、
    ディスプレイ装置。
  5. 　請求項４に記載のディスプレイ装置であって、
    　前記作業対象箇所に対する作業の完了を検知する完了検知部を備え、
    　前記表示変更部は、前記完了検知部が前記作業の完了を検知した場合、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の表示態様を変更する、
    ディスプレイ装置。
  6. 　請求項４または請求項５に記載のディスプレイ装置であって、
    　前記現実画像における前記現実物体の画像色の変化を検知する色検知部を備え、
    　前記表示変更部は、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の表示態様を、前記色検知部により検知された変化後の画像色に対して視認性が高くなるように変更する、
    ディスプレイ装置。
  7. 　請求項４から請求項６までのいずれか一項に記載のディスプレイ装置であって、
    　前記現実画像の明度の変化を検知する明度検知部を備え、
    　前記表示変更部は、前記明度検知部により検知される明度の低下に応じて、前記近距離用画像と前記遠距離用画像との少なくとも一方の画像の明度を低下させる、
    ディスプレイ装置。
  8. 　請求項１から請求項７までのいずれか一項に記載のディスプレイ装置であって、
    　前記表示部に表示される前記作業対象箇所に対応付けて情報を付加する情報付加部を備える、
    ディスプレイ装置。
  9. 　現実空間を表す現実画像を取得する取得部と、表示部と、を備えるディスプレイ装置の表示制御方法であって、
    　前記現実空間に位置する現実物体における作業対象箇所と前記ディスプレイ装置との距離であるディスプレイ距離を特定する距離特定工程と、
    　前記ディスプレイ距離が基準距離以下である場合、前記取得部によって取得される前記現実画像上に、前記作業対象箇所に対する作業の基準位置を示す作業基準画像を含む近距離用画像を前記表示部に表示させ、前記ディスプレイ距離が前記基準距離を超える場合、前記近距離用画像に比べて視認性が高い遠距離用画像であって、前記作業対象箇所の位置を示す作業箇所画像を含む遠距離用画像を前記表示部に表示させる表示制御工程と、
    　を含む、ディスプレイ装置の表示制御方法。
  10. 　現実空間を表す現実画像を取得する取得部と、表示部と、を備えるディスプレイ装置が備えるコンピュータに、
    　前記現実空間に位置する現実物体における作業対象箇所と前記ディスプレイ装置との距離であるディスプレイ距離を特定する距離特定処理と、
    　前記ディスプレイ距離が基準距離以下である場合、前記取得部によって取得される前記現実画像上に、前記作業対象箇所に対する作業の基準位置を示す作業基準画像を含む近距離用画像を前記表示部に表示させ、前記ディスプレイ距離が前記基準距離を超える場合、前記近距離用画像に比べて視認性が高い遠距離用画像であって、前記作業対象箇所の位置を示す作業箇所画像を含む遠距離用画像を前記表示部に表示させる表示制御処理と、
    　を実行させる、ディスプレイ装置の表示制御プログラム。
PCT/JP2020/025446 2020-06-29 2020-06-29 ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム WO2022003752A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022533258A JP7418870B2 (ja) 2020-06-29 2020-06-29 ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム
PCT/JP2020/025446 WO2022003752A1 (ja) 2020-06-29 2020-06-29 ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/025446 WO2022003752A1 (ja) 2020-06-29 2020-06-29 ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム

Publications (1)

Publication Number Publication Date
WO2022003752A1 true WO2022003752A1 (ja) 2022-01-06

Family

ID=79315162

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/025446 WO2022003752A1 (ja) 2020-06-29 2020-06-29 ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム

Country Status (2)

Country Link
JP (1) JP7418870B2 (ja)
WO (1) WO2022003752A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079121A (ja) * 2008-09-29 2010-04-08 Brother Ind Ltd シースルー型ディスプレイ装置
JP2012152016A (ja) * 2011-01-19 2012-08-09 Mitsubishi Electric Corp ケーブル接続作業支援装置
JP2014229020A (ja) * 2013-05-21 2014-12-08 三菱電機ビルテクノサービス株式会社 情報提供装置及び情報提供システム
JP2015167349A (ja) * 2014-02-14 2015-09-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2018066823A (ja) * 2016-10-18 2018-04-26 株式会社日立システムズ 情報表示装置、及びその処理制御方法
JP2018156239A (ja) * 2017-03-16 2018-10-04 Kddi株式会社 操作支援装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224086A (ja) 2015-05-27 2016-12-28 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079121A (ja) * 2008-09-29 2010-04-08 Brother Ind Ltd シースルー型ディスプレイ装置
JP2012152016A (ja) * 2011-01-19 2012-08-09 Mitsubishi Electric Corp ケーブル接続作業支援装置
JP2014229020A (ja) * 2013-05-21 2014-12-08 三菱電機ビルテクノサービス株式会社 情報提供装置及び情報提供システム
JP2015167349A (ja) * 2014-02-14 2015-09-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2018066823A (ja) * 2016-10-18 2018-04-26 株式会社日立システムズ 情報表示装置、及びその処理制御方法
JP2018156239A (ja) * 2017-03-16 2018-10-04 Kddi株式会社 操作支援装置

Also Published As

Publication number Publication date
JPWO2022003752A1 (ja) 2022-01-06
JP7418870B2 (ja) 2024-01-22

Similar Documents

Publication Publication Date Title
EP3729915B1 (en) Lighting and internet of things design using augmented reality
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
EP3115873B1 (en) Head-mounted display device and computer program
US10642564B2 (en) Display system, display device, information display method, and program
KR102638956B1 (ko) 전자 장치 및 증강 현실 서비스를 제공하는 증강 현실 장치와 그 동작 방법
JP4849091B2 (ja) 映像表示装置、映像表示方法
JP4379532B2 (ja) 照明装置
JP2017187667A (ja) 頭部装着型表示装置およびコンピュータープログラム
CN105589199A (zh) 显示装置、显示装置的控制方法以及程序
KR20190129096A (ko) 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
US20150186559A1 (en) X-ray vision for buildings
US20240104883A1 (en) Display apparatus and display method
US20160021360A1 (en) Display device, method of controlling display device, and program
JP2015212927A (ja) 入力操作検出装置、入力操作検出装置を備えた画像表示装置及びプロジェクタシステム
WO2022003752A1 (ja) ディスプレイ装置、ディスプレイ装置の表示制御方法、ディスプレイ装置の表示制御プログラム
JP2016091348A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
CN107133028B (zh) 一种信息处理方法及电子设备
JP6253834B1 (ja) 仮想作業表示方法、仮想作業データ作成方法、及び３次元空間けがきデータ作成方法
JP2017062650A (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
JP2009123076A (ja) ３次元ｃａｄシステムプログラム
JP2019032713A (ja) 情報処理装置、情報処理方法及びプログラム
KR102398584B1 (ko) 헤드 마운트 디스플레이 및 제어 방법
JP2020156083A (ja) 生成システム、及び生成プログラム
JP4925369B2 (ja) 照明装置
JP2001239983A (ja) 艤装支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20942679

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022533258

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20942679

Country of ref document: EP

Kind code of ref document: A1