WO2017158718A1 - 遠隔作業支援装置、指示用端末及び現場用端末 - Google Patents

遠隔作業支援装置、指示用端末及び現場用端末 Download PDF

Info

Publication number
WO2017158718A1
WO2017158718A1 PCT/JP2016/058126 JP2016058126W WO2017158718A1 WO 2017158718 A1 WO2017158718 A1 WO 2017158718A1 JP 2016058126 W JP2016058126 W JP 2016058126W WO 2017158718 A1 WO2017158718 A1 WO 2017158718A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
work
instruction
site
image
Prior art date
Application number
PCT/JP2016/058126
Other languages
English (en)
French (fr)
Inventor
相川　勇之
裕介 伊谷
隆博 加島
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2016/058126 priority Critical patent/WO2017158718A1/ja
Priority to JP2017547024A priority patent/JP6309176B2/ja
Priority to US15/772,775 priority patent/US20180241967A1/en
Priority to TW105120461A priority patent/TWI579666B/zh
Publication of WO2017158718A1 publication Critical patent/WO2017158718A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to a remote operation support apparatus, an instruction terminal, and an on-site terminal including an on-site terminal having an imaging unit for capturing an image viewed by an operator, and an instruction terminal for transmitting and receiving information to and from the on-site terminal. Relates to a terminal for use.
  • maintenance and inspection work is indispensable during operation.
  • this maintenance and inspection work it is necessary to periodically inspect a large number of devices, accurately record the inspection results, and to take measures such as device adjustment as necessary if the inspection results are incomplete.
  • These tasks include a simple task that can be performed even by an unskilled worker, and a complex task that is difficult if the worker is not a skilled worker.
  • an unskilled worker can perform a complicated work by supporting a field work from a remote place by a skilled worker.
  • Patent Document 1 There is a technology disclosed in Patent Document 1 as an example of the technology related to the remote work support as described above.
  • a field worker and a work instructor are displayed by displaying an image captured by a photographing unit of a head mounted display (hereinafter referred to as HMD) worn by a field worker on a screen for a work instructor at a remote place.
  • Information can be shared with.
  • a sub-screen for a work instructor displays a whole image showing a whole image of a work target and a shooting range of the video in the whole image. As a result, even when a field worker approaches the work target and only a part of the work target appears in the video, it is possible to grasp the shooting range of the video by viewing the entire image.
  • Patent Document 1 has a problem that it is not possible to acquire information on the site outside the shooting angle of view of the imaging unit. Therefore, when giving a work instruction to a work object located away from the site worker, for example, an instruction such as “Please show me the lower right” or a direction to the work object on the HMD. It is necessary for the work instructor to instruct at any time in order to display a guidance image indicating that the instruction is not smooth.
  • the present invention has been made in order to solve the above-described problems, and provides a remote work support apparatus and instructions for enabling an instruction regarding a work object located outside a shooting angle of view of a shooting unit for shooting an on-site image.
  • the purpose is to provide a terminal and a field terminal.
  • a remote work support apparatus includes a site terminal having a photographing unit that captures an image viewed by an operator, and an instruction terminal that transmits and receives information to and from the site terminal.
  • a position / direction estimation unit that estimates the worker's position and orientation from the video taken by the photographing unit, and an on-site situation that generates an image showing the on-site situation including the worker's position from the estimation result by the position / direction estimation unit
  • An image generation unit, an instruction-side display unit that displays a screen including an image generated by the on-site situation image generation unit, and a next work position input by the work instructor on the screen displayed by the instruction-side display unit
  • a work instruction receiving unit that receives the information to be shown, and a direction calculation unit that calculates a direction to the next work position from the estimation result by the position / direction estimation unit and the reception result by the work instruction reception unit.
  • Total A guidance image generation unit that generates an image indicating a direction to the next work position from a calculation result by the unit, and a site
  • the present invention since it is configured as described above, it is possible to give an instruction regarding a work target located outside the shooting angle of view of the imaging unit that captures an on-site video.
  • FIG. 2A is a diagram showing a hardware configuration example of the site terminal and the instruction terminal according to Embodiment 1 of the present invention
  • FIG. 2B is a diagram showing details of the hardware configuration example of the site terminal.
  • FIG. 1 is a diagram showing an example of the overall configuration of a remote work support apparatus according to Embodiment 1 of the present invention.
  • the remote work support device is a skillful work so that maintenance work of machine equipment, correction work or installation work can be performed even if the worksite worker (hereinafter referred to as the worksite worker) is an unskilled worker.
  • This is a device for assisting a work instructor, who is an expert, to work at a site from a remote location.
  • this remote work support device is a worksite terminal 1 used by a field worker who actually performs work on site and a work instructor gives instructions to the field worker from a remote location. And an instruction terminal 2 for supporting the above.
  • the on-site terminal 1 includes a control unit 101, a storage unit 102, a communication unit 103, a photographing unit 104, a guidance image generation unit 105, a display unit (site-side display unit) 106, a voice input unit 107, An audio output unit 108 is provided.
  • the control unit 101 controls the operation of each unit in the site terminal 1.
  • the storage unit 102 stores information used in the on-site terminal 1.
  • the storage unit 102 stores, for example, pre-registration information for displaying on the display 33 described later by the display unit 106, information transmitted and received by the communication unit 103, and the like.
  • the communication unit 103 transmits / receives information to / from the communication unit 203 of the instruction terminal 2.
  • the communication unit 103 transmits information (video data) indicating video captured by the imaging unit 104 and information (audio data) indicating audio input to the audio input unit 107 to the communication unit 203.
  • the communication unit 103 receives work instruction data, text information, and audio data from the communication unit 203.
  • the work instruction data is information indicating the direction from the current position of the field worker to the next work position.
  • the photographing unit 104 photographs a scene image viewed from a field worker.
  • the guide image generation unit 105 generates an image (guide image) indicating the direction from the current position of the field worker to the next work position based on the work instruction data received by the communication unit 103.
  • an image guide image
  • the mark like an arrow is mentioned, for example.
  • the display unit 106 displays various screens on the display 33.
  • the display unit 106 displays a screen (information presentation screen) including the guide image on the display 33.
  • the display unit 106 displays a screen (information presentation screen) including text indicated by the text information on the display 33.
  • the guidance image and text information may be displayed on the same screen.
  • the voice input unit 107 is for inputting a voice by a field worker.
  • the audio output unit 108 reproduces the audio data when the communication unit 103 receives the audio data.
  • the instruction terminal 2 includes a control unit 201, a storage unit 202, a communication unit 203, a position / direction estimation unit 204, an on-site situation image generation unit 205, a display unit (instruction display unit) 206, a work instruction A reception unit 207, a direction calculation unit 208, a text reception unit 209, an input unit 210, a voice input unit 211, and a voice output unit 212 are provided.
  • the control unit 201 controls the operation of each unit in the instruction terminal 2.
  • the storage unit 202 stores information used in the instruction terminal 2.
  • the storage unit 202 stores, for example, work place data used by the position / direction estimation unit 204 and the on-site situation image generation unit 205 and information transmitted / received by the communication unit 203.
  • the work place data is defined as point cloud data that is a set of three-dimensional coordinate values for various devices existing at the work place, and further, image feature points obtained from video images of the work place are represented by the above point cloud data. Are associated with each other.
  • the communication unit 203 transmits / receives information to / from the communication unit 103 of the on-site terminal 1.
  • the communication unit 203 uses the information (work instruction data) indicating the direction from the current position of the on-site worker calculated by the direction calculation unit 208 to the next work position (work instruction data).
  • Information indicating the accepted text (text information) and information indicating the voice input to the voice input unit 211 (voice data) are transmitted to the communication unit 103.
  • the communication unit 203 receives video data and audio data from the communication unit 103.
  • the position / direction estimation unit 204 estimates the current position of the site worker and the direction in which the site worker is facing based on the video data received by the communication unit 203. At this time, the position / direction estimation unit 204 estimates the current position and the direction of the site worker by comparing the video indicated by the video data with the work place data stored in the storage unit 202 in advance. .
  • the on-site situation image generation unit 205 generates an image (on-site situation image) indicating the on-site situation including the current position of the on-site worker based on the estimation result by the position / direction estimation unit 204.
  • the display unit 206 displays various screens on the display 6 described later.
  • the display unit 206 displays a screen (site situation screen) including the site situation image on the display 6.
  • a screen (work to be performed) is provided using the site situation image generated by the site situation image generation unit 205. (Instruction screen) is displayed on the display 6.
  • the work instruction receiving unit 207 receives information indicating the next work position input by the work instructor via the input unit 210. At this time, the work instructor designates the next work position using the work instruction screen displayed on the display 6 by the display unit 206.
  • the direction calculation unit 208 calculates the direction from the current position of the field worker to the next work position based on the estimation result by the position / direction estimation unit 204 and the reception result by the work instruction reception unit 207.
  • the text receiving unit 209 receives information indicating text input by the work instructor via the input unit 210.
  • the input unit 210 is used when the work instructor inputs various information to the instruction terminal 2.
  • the voice input unit 211 is for inputting a voice by a work instructor.
  • the audio output unit 212 reproduces the audio data when the communication unit 203 receives the audio data.
  • FIGS. 1 and the instruction terminal 2 will be described with reference to FIGS.
  • a hardware configuration example of the on-site terminal 1 will be described.
  • Each function of the on-site terminal 1 is realized by the HMD 3 and the headset 4 as shown in FIG. And a field worker performs various work with respect to a work object in the state where this HMD3 and headset 4 were equipped.
  • FIG. 2 a case where inspection work or the like is performed on the switchboard 11 is illustrated.
  • the HMD 3 includes a terminal unit 31, a photographing device 32, and a display 33 as shown in FIGS.
  • the terminal unit 31 includes a processing circuit 311, a storage device 312, and a communication device 313.
  • the headset 4 includes a microphone 41 and a speaker 42 as shown in FIGS.
  • the processing circuit 311 realizes the functions of the control unit 101, the guide image generation unit 105, and the display unit 106, and executes various processes on the HMD 3.
  • the processing circuit 311 may be dedicated hardware as shown in FIG. 3, or as shown in FIG. 4, a CPU (Central Processing Unit, a central processing unit, a CPU that executes a program stored in the memory 315, It may be a processing device, an arithmetic device, a microprocessor, a microcomputer, a processor, or a DSP (Digital Signal Processor) 314.
  • the processing circuit 311 is dedicated hardware, the processing circuit 311 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate). Array) or a combination thereof.
  • the functions of the respective units of the control unit 101, the guide image generating unit 105, and the display unit 106 may be realized by the processing circuit 311, or the functions of the respective units may be collectively realized by the processing circuit 311.
  • the processing circuit 311 When the processing circuit 311 is the CPU 314, the functions of the control unit 101, the guide image generation unit 105, and the display unit 106 are realized by software, firmware, or a combination of software and firmware. Software and firmware are described as programs and stored in the memory 315.
  • the processing circuit 311 reads out and executes the program stored in the memory 315, thereby realizing the function of each unit. That is, the on-site terminal 1 includes a memory 315 for storing a program in which, for example, each step shown in FIGS. These programs can also be said to cause the computer to execute the procedures and methods of the control unit 101, the guide image generation unit 105, and the display unit 106.
  • the memory 315 is, for example, a nonvolatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ROM), an EEPROM (Electrically EPROM), or the like. And a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), and the like.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory an EPROM (Erasable Programmable ROM), an EEPROM (Electrically EPROM), or the like.
  • a magnetic disk a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), and the like.
  • a part may be implement
  • the function of the control unit 101 is realized by a processing circuit 311 as dedicated hardware, and the processing circuit 311 reads and executes a program stored in the memory 315 for the guide image generation unit 105 and the display unit 106. This function can be realized.
  • the processing circuit 311 can realize the functions described above by hardware, software, firmware, or a combination thereof.
  • the storage device 312 realizes the function of the storage unit 102.
  • the storage device 312 corresponds to, for example, a nonvolatile or volatile semiconductor memory such as RAM, flash memory, EPROM, or EEPROM, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, or the like. To do.
  • the communication device 313 realizes the function of the communication unit 103.
  • the communication method and shape of the communication device 313 are not questioned.
  • the photographing device 32 realizes the function of the photographing unit 104.
  • the imaging device 32 should just be mountable on HMD3, and an imaging system and a shape are not ask
  • the display 33 displays various screens by the display unit 106.
  • the display 33 may be mounted on the HMD 3, and the display method and shape are not limited. Examples of the display method of the display 33 include a method of projecting a projector image on a glass using a half mirror, a projection method using interference of laser light, or a method using a small liquid crystal display.
  • the microphone 41 realizes the function of the voice input unit 107.
  • the speaker 42 realizes the function of the audio output unit 108.
  • the shapes of the microphone 41 and the speaker 42 are not limited.
  • the headset 4 see FIG. 2 in which the microphone 41 and the speaker 42 are integrated, or an earphone in which the microphone 41 is mounted on the earphone cable.
  • a microphone 4b see FIG. 5) or the like may be used.
  • Each function of the instruction terminal 2 is realized by a control arithmetic device 5, a display 6, an input device 7, a microphone 8 and a speaker 9, as shown in FIGS.
  • the control arithmetic device 5 includes a processing circuit 51, a storage device 52, and a communication device 53.
  • the microphone 8 and the speaker 9 are not shown.
  • the processing circuit 51 implements the functions of the control unit 201, the position / direction estimation unit 204, the on-site situation image generation unit 205, the display unit 206, the work instruction reception unit 207, the direction calculation unit 208, and the text reception unit 209. Various processes on the instruction terminal 2 are executed.
  • the processing circuit 51 may be dedicated hardware as shown in FIG. 3, or as shown in FIG. 4, a CPU (central processing unit, processing unit, arithmetic unit) that executes a program stored in the memory 55. 54) (also referred to as a device, a microprocessor, a microcomputer, a processor, or a DSP).
  • the processing circuit 51 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof. . Even if the functions of the control unit 201, the position / direction estimation unit 204, the on-site situation image generation unit 205, the display unit 206, the work instruction reception unit 207, the direction calculation unit 208, and the text reception unit 209 are realized by the processing circuit 51, respectively. Alternatively, the functions of the respective units may be collectively realized by the processing circuit 51.
  • the processing circuit 51 When the processing circuit 51 is the CPU 54, the functions of the control unit 201, the position / direction estimation unit 204, the on-site situation image generation unit 205, the display unit 206, the work instruction reception unit 207, the direction calculation unit 208, and the text reception unit 209 are software, This is realized by firmware or a combination of software and firmware. Software and firmware are described as programs and stored in the memory 55.
  • the processing circuit 51 reads out and executes the program stored in the memory 55, thereby realizing the function of each unit. That is, when the instruction terminal 2 is executed by the processing circuit 51, the instruction terminal 2 has a memory 55 for storing a program in which, for example, each step shown in FIGS. Prepare.
  • these programs store the procedures and methods of the control unit 201, the position / direction estimation unit 204, the on-site situation image generation unit 205, the display unit 206, the work instruction reception unit 207, the direction calculation unit 208, and the text reception unit 209 on a computer. It can be said that it is what is executed.
  • the memory 55 is, for example, a non-volatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM, or EEPROM, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, or the like. Applicable.
  • control unit 201 the position / direction estimation unit 204, the on-site situation image generation unit 205, the display unit 206, the work instruction reception unit 207, the direction calculation unit 208, and the text reception unit 209 are partially dedicated hardware. It may be realized by a part, and a part may be realized by software or firmware.
  • the function of the control unit 201 is realized by a processing circuit 51 as dedicated hardware, and a position / direction estimation unit 204, an on-site situation image generation unit 205, a display unit 206, a work instruction reception unit 207, and a direction calculation unit 208.
  • the processing circuit 51 can read out and execute the program stored in the memory 55, thereby realizing its function.
  • the processing circuit 51 can realize the above-described functions by hardware, software, firmware, or a combination thereof.
  • the storage device 52 realizes the function of the storage unit 202.
  • the storage device 52 corresponds to, for example, a nonvolatile or volatile semiconductor memory such as RAM, flash memory, EPROM, or EEPROM, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, or the like. To do.
  • the communication device 53 realizes the function of the communication unit 203. The communication method and shape of the communication device 53 are not questioned.
  • the display 6 displays various screens by the display unit 206.
  • the display 6 may be a monitor device that can be referred to by the work instructor, and may be a liquid crystal monitor device or a tablet device, and the display method and shape are not limited.
  • the input device 7 realizes the function of the input unit 210.
  • the input device 7 may be any device that can input characters and coordinate values, such as a keyboard, a mouse, or a touch pen.
  • the microphone 8 realizes the function of the voice input unit 211.
  • the speaker 9 implements the function of the audio output unit 212.
  • the shapes of the microphone 8 and the speaker 9 are not limited.
  • a headset in which the microphone 8 and the speaker 9 are integrated, an earphone microphone in which the microphone 8 is mounted on an earphone cable, or the like may be used.
  • the communication relay device 10 is a device for securing a communication path from the on-site terminal 1 to the instruction terminal 2 at a remote location.
  • the communication relay device 10 may be any device that can be connected via a wide area communication network, and the communication method and shape thereof are not limited, such as a wireless LAN, a wired LAN, or infrared communication.
  • One of the on-site terminal 1 and the instruction terminal 2 may have the hardware configuration shown in FIG. 3, and the other may have the hardware configuration shown in FIG. Further, the control arithmetic device 5 may be divided into a plurality of units so that processing with a higher load is performed on the control arithmetic device 5 capable of large-scale calculation processing.
  • the on-site terminal 1 is not limited to the configuration shown in FIG. 2, and for example, a monocular HMD 3b as shown in FIG. 5 may be used.
  • a monocular HMD 3b as shown in FIG. 5 may be used.
  • the case where the earphone microphone 4 b is used as the configuration of the microphone 41 and the speaker 42 is illustrated.
  • the communication unit 103 and the communication unit 203 establish communication between the on-site terminal 1 and the instruction terminal 2 (step ST601).
  • the communication establishment process is performed when the site worker determines that the site worker is located at the work site by GPS, video by the photographing unit 104 or wireless LAN communication, or by the site worker linked to the work site security system. You may make it perform automatically with a notification of entering a room.
  • the on-site terminal 1 captures an on-site image viewed by the on-site worker and transmits it to the instruction terminal 2 (step ST602). That is, first, the image capturing unit 104 captures an image of the scene viewed from the field worker by the image capturing device 32 mounted on the HMD 3.
  • the video shot by the shooting unit 104 is preferably a moving image (15 fps or more). However, if hardware resources or communication bandwidth is insufficient, a series of still images shot at a fixed period (4 to 5 fps) is used. It does not matter.
  • the communication unit 103 transmits information (video data) indicating the video imaged by the imaging unit 104 to the communication unit 203. This video transmission process is continuously performed while communication between the on-site terminal 1 and the instruction terminal 2 is established.
  • the instruction terminal 2 uses the video data from the on-site terminal 1 to generate an image indicating the on-site situation including the current position of the on-site worker, and displays the image (step ST603). Details of the on-site situation display process in step ST603 will be described later.
  • the on-site status display process is continuously performed while communication between the on-site terminal 1 and the instruction terminal 2 is established.
  • the instruction terminal 2 accepts the work instruction for the field worker input by the work instructor and notifies the field terminal 1 (step ST604). Details of the work instruction acceptance process in step ST604 will be described later.
  • the on-site terminal 1 displays a screen indicating the work instruction using information indicating the work instruction from the instruction terminal 2 (step ST605). Details of the information presentation process in step ST605 will be described later. Thereafter, the field worker moves to the work position and works according to the screen displayed on the display 33 of the field terminal 1. Then, the above processing is repeated until all operations are completed.
  • the communication unit 103 and the communication unit 203 disconnect the communication between the on-site terminal 1 and the instruction terminal 2 (step ST606). Thereby, the work support for the field worker is completed.
  • step ST603 details of the on-site situation display process in step ST603 will be described with reference to FIG.
  • the communication unit 203 receives video data from the communication unit 103 (step ST701).
  • the position / direction estimation unit 204 estimates the current position of the site worker and the direction in which the site worker is facing (step ST702). At this time, the position / direction estimation unit 204 compares the video indicated by the video data with the work place data stored in the storage unit 202 in advance, so that the site worker is in any position on the work site. Estimate whether it is facing the direction.
  • FIG. 8 is a diagram illustrating an example of work place data stored in the storage unit 202.
  • a device ID 801 a coordinate value 802, RGB data 803, and image feature point data 804 are registered in association with each defined point.
  • the device ID 801 is an ID for identifying which device on the work site the defined point belongs to.
  • a coordinate value 802 is a coordinate value on a three-dimensional space indicating which position on the work site the defined point is. Note that the origin of the coordinate system is appropriately defined for each work site such as the center of the entrance / exit of the work site or the corner of the room.
  • the RGB data 803 is color information of defined points, and is obtained from an image captured in advance.
  • the image feature point data 804 is data indicating the image feature amount for the defined point, and is calculated based on the RGB data 803 of another point around the defined point. For example, for another set of points Bi within a predetermined distance around the point A, the distribution of luminance differences between the point A and the set Bi can be defined as the image feature amount of the point A.
  • the position / direction estimation unit 204 obtains, as an estimation result, a coordinate value P0 (X 0 , Y 0 , Z 0 ) indicating the current position of the site worker and a direction in which the site worker is facing (of the imaging device 32). It is assumed that a direction vector Vc (Xc, Yc, Zc) representing (direction), a gradient ⁇ H in the horizontal direction, and a gradient ⁇ V in the vertical direction are obtained.
  • a coordinate value P0 X 0 , Y 0 , Z 0
  • Vc Xc, Yc, Zc
  • the on-site situation image generation unit 205 generates an image indicating the on-site situation including the current position of the on-site worker based on the estimation result by the position / direction estimation unit 204 (step ST703). That is, the site situation image generation unit 205 reproduces the equipment around the work site in the virtual space using the estimation result and the work place data, and indicates the current position of the site worker in the virtual space. Generate an image.
  • the display unit 206 displays a screen (site status screen) including the image on the display 6 based on the image indicating the site status generated by the site status image generation unit 205 (step ST704).
  • FIG. 9 is a diagram illustrating an example of a site situation screen displayed by the display unit 206.
  • a site image 901, a virtual site image 902, and operation buttons 903 are displayed.
  • the on-site video 901 is a video indicated by video data received by the communication unit 203.
  • the virtual site image 902 is an image in which devices around the work site generated by the site situation image generation unit 205 are reproduced in a virtual space.
  • the virtual site image 902 shows a frame line 904 indicating which part the site image 901 corresponds to. This frame line 904 makes it possible to grasp the current position of the field worker.
  • the operation button 903 is a button image for moving the viewpoint in the virtual site image 902. With the operation button 903 illustrated in FIG.
  • the viewpoint in the virtual site image 902 may be moved by dragging one point on the virtual site image 902 with the mouse. Good.
  • step ST604 details of the work instruction acceptance process in step ST604 will be described with reference to FIG.
  • the display unit 206 is requested to start a work instruction by the work instructor via the input unit 210, thereby generating an on-site situation image.
  • a screen (work instruction screen) for performing a work instruction is displayed on the display 6 using the image indicating the on-site situation generated by the unit 205 (step ST1001).
  • the work instruction receiving unit 207 receives information indicating the next work position input by the work instructor via the input unit 210 (step ST1002). At this time, the work instructor designates the next work position using the work instruction screen displayed on the display 6 by the display unit 206.
  • FIG. 11 is a diagram illustrating an example of a work instruction screen displayed by the display unit 206.
  • a virtual site image 1101 and operation buttons 1102 are displayed.
  • the virtual site image 1101 is an image for the work instructor to designate the next work position, and is the same image as the virtual site image 902 in FIG.
  • Reference numeral 1103 denotes a frame line (for grasping the current position of the field worker) indicating which part of the field image 901 corresponds to.
  • a work position marker 1104 indicating the next work position is added.
  • the operation button 1102 is a button image for moving the work position marker 1104. With the operation button 1102 shown in FIG.
  • the plus / minus of the axis (X, Y, Z) direction can be operated with respect to the work position marker 1104. Then, the work instructor operates the operation button 1102 to move the work position marker 1104, and the work position (coordinate values P1 (X 1 , Y 1 , Z 1 )) that the field worker should pay attention to next. Is specified. Further, instead of the button operation using the operation button 1102 as shown in FIG. 11, the work position marker 1104 may be moved by dragging the work position marker 1104 with a mouse.
  • direction calculation section 208 calculates the direction from the current position of the field worker to the next work position based on the estimation result by position / direction estimation section 204 and the acceptance result by work instruction reception section 207 (step ST1003). .
  • the details of the calculation processing by the direction calculation unit 208 will be described below with reference to FIG.
  • the direction calculation unit 208 In the calculation processing by the direction calculation unit 208, as shown in FIG. 12, first, the current position (coordinate values P0 (X 0 , Y 0 , Z 0 )) and the next work position (coordinate values P1 (X 1 , Y 1 , Z 1 )) to calculate the direction vector Vd (Xd, Yd, Zd) from P0 (X 0 , Y 0 , Z 0 ) to P1 (X 1 , Y 1 , Z 1 ) (Step ST1201).
  • the direction calculation unit 208 moves to the next work position based on the calculated direction vector Vd (Xd, Yd, Zd) and the direction (direction vector Vc (Xc, Yc, Zc)) that the field worker is facing. Is calculated (step ST1202). Specifically, the direction vector Vd (Xd, Yd, Zd) is projected onto a plane having the direction vector Vc (Xc, Yc, Zc) as a normal vector, and an on-site video (video taken by the imaging unit 104) is projected. Request direction theta d from the center point of). At this time, the horizontal inclination ⁇ H and the vertical inclination ⁇ V of the photographing apparatus 32 estimated by the position / direction estimation unit 204 may be corrected in consideration of the inclination of the head of the field worker.
  • the text receiving unit 209 receives information indicating the text input by the work instructor via the input unit 210 (step ST1004).
  • the work instructor inputs text while viewing the site situation screen or the work instruction screen displayed by the display unit 206.
  • This text may be a character string input by a work instructor using a keyboard, or ink data input using a touch pen. Alternatively, a pre-registered standard sentence may be selected from a selection menu by operating a mouse. Note that if the work instructor determines that no text instruction is required, the text receiving unit 209 does not perform processing.
  • the voice input unit 211 receives a voice from the work instructor (step ST1005). At this time, the work instructor inputs voice while looking at the on-site situation screen or the work instruction screen displayed by the display unit 206. If the work instructor determines that no voice instruction is required, the process by the voice input unit 211 is not performed.
  • communication unit 203 transmits information related to the work instruction to communication unit 103 (step ST1006).
  • the communication unit 203 transmits information (instruction data) indicating the calculation result by the direction calculation unit 208 to the communication unit 103.
  • information indicating the text is also transmitted to the communication unit 103.
  • voice is input to the voice input unit 211
  • information indicating the voice is also transmitted to the communication unit 103. Thereafter, the above process is repeated until it is determined by the work instructor that the work instruction is unnecessary.
  • the communication unit 103 receives information related to a work instruction from the communication unit 203 (step ST1301). At this time, the communication unit 103 receives instruction data from the communication unit 203. In addition, when the text information is transmitted from the communication unit 203, the communication unit 103 also receives the text information. In addition, when audio data is transmitted from the communication unit 203, the communication unit 103 also receives the audio data.
  • the guide image generation unit 105 Based on the work instruction data received by the communication unit 103, the guide image generation unit 105 generates a guide image indicating the direction from the current position of the field worker to the next work position (step ST1302).
  • the guide image generation unit 105 generates a guide image indicating the direction from the current position of the field worker to the next work position (step ST1302).
  • step ST1401 it is determined whether the direction vector Vd is greater than or equal to a predetermined threshold THd (step ST1401). That is, the guidance image generation unit 105 determines whether or not the field worker has reached the next work position by determining whether or not the direction vector Vd is greater than or equal to the threshold Thd. In step ST1401, if the guidance image generation unit 105 determines that the direction vector Vd is less than the threshold value THd, the site worker has reached the next work position and determines that display of the guidance image is unnecessary. The process is terminated.
  • the guidance image generation unit 105 when it is determined in step ST1401 that the direction vector Vd is greater than or equal to the threshold value THd, the guidance image generation unit 105 generates a guidance image indicating the direction from the current position of the field worker to the next work position. (Step ST1402).
  • a guidance image the mark like an arrow is mentioned, for example.
  • the display unit 106 displays a screen (information presentation screen) including the guidance image on the display 33 based on the guidance image generated by the guidance image generation unit 105. (Step ST1303).
  • display unit 106 displays a screen (information presentation screen) including text indicated by the text information on display 33 (step ST1304).
  • FIG. 15 is a diagram illustrating an example of an information presentation screen displayed by the display unit 106.
  • a guide image 1501 and text 1502 are displayed.
  • an arrow indicating the direction from the current position of the field worker to the next work position is displayed.
  • the field worker can move to the next work by looking at the guide image 1501 and the text 1502.
  • the work instructor simply designates the work position, and the direction from the current position of the field worker to the next work position is automatically calculated, so the work instructor sequentially instructs the next work position. There is no need, and smooth communication is possible.
  • the overhead view 1601 as shown in FIG. 16 can be displayed by calculating the overhead view display direction ⁇ d2 in the calculation process in step ST1202 shown in FIG.
  • the display direction ⁇ d2 can be obtained by calculation similar to the direction ⁇ d by projecting the direction vector Vd (Xd, Yd, Zd) onto the floor plane.
  • the voice output unit 108 plays back the voice data (step ST1305).
  • the field worker listens to a voice instruction from the work instructor, and performs the same question items, confirmation responses, and the like by voice.
  • the voice of the on-site worker is input by the voice input unit 107 and transmitted to the instruction terminal 2 through a route opposite to the instruction voice of the work instructor.
  • the work instructor listens to the on-site worker's voice reproduced by the voice output unit 212 of the instruction terminal 2, and determines whether the previous instruction is correctly understood or whether the next instruction should be given.
  • the instruction terminal 2 estimates the position and direction of the site worker from the video captured by the imaging unit 104 of the site terminal 1. And an on-site situation image generation unit 205 that generates an image indicating an on-site situation including the position of the on-site worker from the estimation result by the position / direction estimation unit 204, and a screen including an image generated by the on-site situation image generation unit 205.
  • the on-site terminal 1 includes a calculation result obtained by the direction calculation unit 208.
  • the direction calculation unit 208 calculates a direction to the next work position from the result received by the instruction reception unit 207. And a display unit 106 for displaying a screen including the image generated by the guide image generation unit 105.
  • the video on the site is provided. It is possible to give an instruction regarding a work object located outside the shooting angle of view of the imaging unit 104 that captures the image.
  • the direction from the current position to the next work position can be automatically calculated from the estimation result of the current position and the direction of the on-site worker. There is no need to do so, and smooth communication is possible. As a result, communication between the field worker and the work instructor can be facilitated, and the work can be made more efficient.
  • FIG. FIG. 17 is a diagram showing an example of the overall configuration of a remote work support apparatus according to Embodiment 2 of the present invention.
  • the remote work support apparatus according to the second embodiment shown in FIG. 17 changes the work instruction receiving unit 207 of the remote work support apparatus according to the first embodiment shown in FIG. 208 is changed to the direction calculation unit 208b.
  • Other configurations are the same, and only the different parts are described with the same reference numerals.
  • the work instruction receiving unit 207b receives information indicating a next work position and a route to the work position input by the work instructor via the input unit 210. At this time, the work instructor uses the work instruction screen displayed on the display 6 by the display unit 206 to designate the next work position and a route to the work position.
  • the direction calculation unit 208b calculates the direction from the current position of the field worker to the next work position along the route based on the estimation result by the position / direction estimation unit 204 and the reception result by the work instruction reception unit 207b. It is.
  • the overall process by the remote work support device is the same as the overall process by the remote work support device according to the first embodiment, and a description thereof will be omitted.
  • the on-site situation display process and the information presentation process are also the same as the on-site situation display process performed by the remote operation support device according to the first embodiment, and a description thereof will be omitted.
  • the work instruction acceptance processing by the instruction terminal 2 in the second embodiment shown in FIG. 18 is changed from steps ST1002 and ST1003 of the work instruction acceptance processing by the instruction terminal 2 in the first embodiment shown in FIG. 10 to steps ST1801 and ST1802. It has been changed. Other processes are the same, and the description thereof is omitted.
  • step ST1801 the work instruction receiving unit 207b receives information indicating a next work position and a route to the work position input by the work instructor via the input unit 210.
  • the work instructor uses the work instruction screen displayed on the display 6 by the display unit 206 to designate the next work position and a route to the work position.
  • FIG. 19 is a diagram illustrating an example of a work instruction screen displayed by the display unit 206.
  • a virtual site image 1901 and operation buttons 1902 are displayed.
  • the virtual site image 1901 is an image for the work instructor to specify the next work position together with the route to the work position, and is the same image as the virtual site image 1101 in FIG.
  • a plurality of work route markers 1903 are added.
  • This work route marker 1903 is a marker indicating a route to the next work position.
  • the operation button 1902 is a button image for adding and deleting the work route marker 1903 and moving the work position marker 1104 and the work route marker 1903. With the operation button 1902 shown in FIG.
  • the direction calculation unit 208b calculates the direction from the current position of the field worker to the next work position along the route based on the estimation result by the position / direction estimation unit 204 and the reception result by the work instruction reception unit 207b. (Step ST1802).
  • the details of the calculation processing by the direction calculation unit 208b will be described with reference to FIG.
  • the direction calculation unit 208b In the calculation processing by the direction calculation unit 208b, as shown in FIG. 20, first, the current position (coordinate values P0 (X 0 , Y 0 , Z 0 )) of the field worker, the next work position, and the work position are reached. Based on the route (coordinate values Pi (X i , Y i , Z i )), the coordinate values Pi (X i , Y i , Z i ) to be calculated are selected (step ST2001).
  • the direction calculation unit 208b determines that the current position P0 (X 0 , Y 0 , Z 0 ) of the field worker is the position of the work path marker 1903a (coordinate value P1 (X 1 ) from the position of the frame line 1103 shown in FIG. , Y 1 , Z 1 )), P1 (X 1 , Y 1 , Z 1 ) is selected as a calculation target. Thereafter, the direction calculation unit 208b determines that the field worker's current position P0 (X 0 , Y 0 , Z 0 ) is within the threshold with respect to P1 (X 1 , Y 1 , Z 1 ). It is determined that the worker has reached the position of the work route marker 1903a.
  • the direction calculation unit 208b determines that the current position P0 (X 0 , Y 0 , Z 0 ) of the field worker is changed from the position of the work path marker 1903a to the position of the work path marker 1903b (P2 (X 2 , Y 2 , Z 2). )), P2 (X 2 , Y 2 , Z 2 ) is selected as a calculation target. Thereafter, the direction calculation unit 208b determines that the field worker's current position P0 (X 0 , Y 0 , Z 0 ) is within the threshold with respect to P2 (X 2 , Y 2 , Z 2 ). It is determined that the worker has reached the position of the work route marker 1903b.
  • the direction calculation unit 208b determines that the current position P0 (X 0 , Y 0 , Z 0 ) of the field worker is changed from the position of the work path marker 1903b to the position of the work position marker 1104 (P3 (X 3 , Y 3 , Z 3). )), P3 (X 3 , Y 3 , Z 3 ) is selected as a calculation target.
  • step ST2002 the direction calculating unit 208b, the site worker of the current position (coordinates P0 (X 0, Y 0, Z 0)) and selected coordinate value Pi (X i, Y i, Z i) on the basis of, P0
  • a direction vector Vd (Xd, Yd, Zd) from (X 0 , Y 0 , Z 0 ) to Pi (X i , Y i , Z i ) is calculated (step ST2002). This process is the same as the process in step ST1201 of FIG.
  • the direction calculation unit 208b determines the next route or work based on the calculated direction vector Vd (Xd, Yd, Zd) and the direction (direction vector Vc (Xc, Yc, Zc)) that the field worker is facing.
  • the direction to the position is calculated (step ST2003). This process is the same as the process in step ST1202 of FIG.
  • step ST2004 when the direction calculation unit 208b determines that the calculation process has been completed up to the next work position, the sequence ends.
  • step ST2004 determines in step ST2004 that the calculation process has not been completed up to the next work position
  • the sequence returns to step ST2001 and repeats the above process.
  • the work instruction receiving unit 207b receives information indicating the next work position together with information indicating the route to the work position, and the direction calculating unit 208b Since the configuration is such that the direction to the position is calculated along the route, in addition to the effect in the first embodiment, the movement to the work position needs to be moved along the predetermined route. It is possible to give instructions smoothly.
  • FIG. FIG. 21 is a diagram showing an example of the overall configuration of a remote work support apparatus according to Embodiment 3 of the present invention.
  • the remote work support apparatus according to Embodiment 3 shown in FIG. 21 changes the direction calculation unit 208 of the remote work support apparatus according to Embodiment 1 shown in FIG. Is changed to the guide image generation unit 105c.
  • Other configurations are the same, and only the different parts are described with the same reference numerals.
  • the direction calculation unit 208c calculates the direction in the three-dimensional space from the current position of the field worker to the next work position based on the estimation result by the position / direction estimation unit 204 and the reception result by the work instruction reception unit 207. Is.
  • the guide image generation unit 105c Based on the work instruction data received by the communication unit 103, the guide image generation unit 105c generates an image (guide image) indicating the direction in the three-dimensional space from the current position of the field worker to the next work position. To do.
  • an image indicating the direction in the three-dimensional space from the current position of the field worker to the next work position.
  • the mark like an arrow is mentioned, for example.
  • the overall process by the remote work support device is the same as the overall process by the remote work support device according to the first embodiment, and a description thereof will be omitted.
  • the on-site situation display processing is the same as the on-site situation display processing by the instruction terminal 2 in the first embodiment, and thus the description thereof is omitted.
  • step ST1003 of the work instruction acceptance process by the instruction terminal 2 according to the first embodiment shown in FIG. 10 is changed to step ST2201. Is. Other processes are the same, and the description thereof is omitted.
  • step ST2201 the direction calculation unit 208c is based on the estimation result by the position / direction estimation unit 204 and the reception result by the work instruction reception unit 207 in the three-dimensional space from the current position of the field worker to the next work position. Calculate the direction.
  • the direction calculation unit 208c details of the calculation processing by the direction calculation unit 208c will be described with reference to FIG.
  • the direction calculation unit 208c In the calculation processing by the direction calculation unit 208c, as shown in FIG. 23, first, the current position (coordinate values P0 (X 0 , Y 0 , Z 0 )) and the next work position (coordinate values P1 (X 1 , Y 1 , Z 1 )) to calculate the direction vector Vd (Xd, Yd, Zd) from P0 (X 0 , Y 0 , Z 0 ) to P1 (X 1 , Y 1 , Z 1 ) (Step ST2301).
  • the direction calculation unit 208c determines the next work position.
  • the direction in the three-dimensional space is calculated (step ST2302). Specifically, the direction vector Vd (Xd, Yd, Zd) is used as a direction vector Vdr (Xdr, Ydr, Zdr) for right-eye projection with respect to a plane having the direction vector Vc (Xc, Yc, Zc) as a normal vector.
  • the horizontal inclination ⁇ H and the vertical inclination ⁇ V of the photographing apparatus 32 estimated by the position / direction estimation unit 204 may be corrected in consideration of the inclination of the head of the field worker.
  • the information presentation process by the on-site terminal 1 in the third embodiment shown in FIG. 24 is obtained by changing step ST1302 of the work instruction acceptance process by the instruction terminal 2 in the first embodiment shown in FIG. 13 to step ST2401. .
  • Other processes are the same, and the description thereof is omitted.
  • step ST2401 the guide image generation unit 105c generates a guide image indicating a direction in the three-dimensional space from the current position of the field worker to the next work position based on the work instruction data received by the communication unit 103. Generate.
  • the details of the guide image generation processing by the guide image generation unit 105c will be described with reference to FIG.
  • the guide image generation process shown in FIG. 25 only the process for the direction vector Vdr (Xdr, Ydr, Zdr) for right-eye projection is shown.
  • step ST2501 the guidance image generation unit 105c determines that display of the guidance image is unnecessary when determining that the direction vector Vdr (Xdr, Ydr, Zdr) is less than the threshold value THd, and ends the processing.
  • the guidance image generation unit 105c determines in step ST2501 that the direction vector Vdr (Xdr, Ydr, Zdr) is equal to or greater than the threshold value THd, the guide image generation unit 105c 3 A guide image indicating the direction in the dimensional space is generated (step ST2502).
  • the mark like an arrow is mentioned, for example.
  • the same processing as described above is performed on the direction vector Vdl (Xdl, Ydl, Zdl) for left-eye projection.
  • display unit 106 displays a screen (information presentation screen) including the guidance image on display 33 (step ST1303).
  • a guide image that is a three-dimensional image is displayed on the display 33.
  • FIG. 26 is a diagram illustrating an example of an information presentation screen displayed by the display unit 106.
  • a guide image 2601 and text 2602 are displayed on the information presentation screen shown in FIG. 26, a guide image 2601 and text 2602 are displayed.
  • an arrow indicating the direction from the current position of the field worker to the next work position is displayed three-dimensionally.
  • the text 2602 is the same as the text 1502 shown in FIG.
  • the field worker can move to the next work by looking at the guide image 2601 and the text 2602.
  • the work instructor simply specifies the work position, and the three-dimensional direction from the current position of the field worker to the next work position is automatically calculated. There is no need to sequentially indicate the position, and smooth communication is possible.
  • the direction calculation unit 208c calculates the direction to the next work position on the three-dimensional space
  • the guide image generation unit 105c calculates the direction to the next work position.
  • the guide image can be displayed in a three-dimensional display for the on-site worker, and smoother communication is achieved. It becomes possible.
  • the remote operation support device is capable of instructing a work target located outside a shooting angle of view of a shooting unit for shooting a video on the site, and has a shooting unit for shooting a video viewed from a site worker. It is suitable for use in a remote work support apparatus or the like provided with a terminal and an instruction terminal for transmitting and receiving information between the terminal for the site.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

指示用端末（２）は、撮影部（１０４）により撮影された映像から、作業者の位置及び向きを推定する位置方向推定部（２０４）と、位置方向推定部（２０４）による推定結果から、作業者の位置を含む現場状況を示す画像を生成する現場状況画像生成部（２０５）と、現場状況画像生成部（２０５）により生成された画像を含む画面を表示する表示部（２０６）と、表示部（２０６）により表示された画面上で作業指示者により入力された次の作業位置を示す情報を受付ける作業指示受付部（２０７）と、位置方向推定部（２０４）による推定結果及び作業指示受付部（２０７）による受付け結果から、次の作業位置への方向を計算する方向計算部（２０８）とを備え、現場用端末（１）は、方向計算部（２０８）による計算結果から、次の作業位置への方向を示す画像を生成する案内画像生成部（１０５）と、案内画像生成部（１０５）により生成された画像を含む画面を表示する表示部（１０６）とを備えた。

Description

遠隔作業支援装置、指示用端末及び現場用端末
　この発明は、作業者から見た映像を撮影する撮影部を有する現場用端末と、現場用端末との間で情報を送受信する指示用端末とを備えた遠隔作業支援装置、指示用端末及び現場用端末に関するものである。
　水処理設備、プラント設備、発電設備等の機械設備では、運用時に保守点検作業が欠かせない。この保守点検作業では、多数の機器を定期的に点検し、点検結果を正確に記録するとともに、点検結果に不備があれば必要に応じて機器調整等の対策を行う必要がある。これらの作業には、非熟練の作業者であっても可能な単純作業と、熟練作業者でないと難しい複雑な作業がある。しかしながら、熟練作業者が遠隔地から現場作業を支援することで、非熟練作業者でも複雑な作業を行うことができる。
　上記のような遠隔作業支援に関する技術の一例として特許文献１に開示された技術がある。この技術では、現場作業者が装着したヘッドマウントディスプレイ（以下、ＨＭＤ）の撮影部で撮影した映像を、遠隔地にある作業指示者用の画面に表示することで、現場作業者と作業指示者との間で情報を共有することができる。また、同技術では、作業指示者用のサブ画面に、作業対象の全体像を映した全体画像及び当該全体画像中に上記映像の撮影範囲を表示している。これにより、現場作業者が作業対象に近づき、上記映像に作業対象の一部分しか映らない場合でも、全体画像をみて上記映像の撮影範囲を把握することができる。
特開２０１４－１０６８８８号公報
　しかしながら、特許文献１に開示された従来技術では、撮影部の撮影画角外にある現場の情報を取得することができないという課題がある。そのため、現場作業者から離れた位置にある作業対象に対する作業指示を行う場合には、例えば、音声で「もっと右の下の方をみせてください」といった指示や、ＨＭＤ上に作業対象への方向を示す案内画像を表示するために作業指示者が随時指示を行う必要があり、円滑な指示ができない。
　この発明は、上記のような課題を解決するためになされたもので、現場の映像を撮影する撮影部の撮影画角外に位置する作業対象に関する指示を可能とする遠隔作業支援装置、指示用端末及び現場用端末を提供することを目的としている。
　この発明に係る遠隔作業支援装置は、作業者から見た映像を撮影する撮影部を有する現場用端末と、現場用端末との間で情報を送受信する指示用端末とを備え、指示用端末は、撮影部により撮影された映像から、作業者の位置及び向きを推定する位置方向推定部と、位置方向推定部による推定結果から、作業者の位置を含む現場状況を示す画像を生成する現場状況画像生成部と、現場状況画像生成部により生成された画像を含む画面を表示する指示側表示部と、指示側表示部により表示された画面上で作業指示者により入力された次の作業位置を示す情報を受付ける作業指示受付部と、位置方向推定部による推定結果及び作業指示受付部による受付け結果から、次の作業位置への方向を計算する方向計算部とを備え、現場用端末は、方向計算部による計算結果から、次の作業位置への方向を示す画像を生成する案内画像生成部と、案内画像生成部により生成された画像を含む画面を表示する現場側表示部とを備えたものである。
　この発明によれば、上記のように構成したので、現場の映像を撮影する撮影部の撮影画角外に位置する作業対象に関する指示が可能となる。
この発明の実施の形態１に係る遠隔作業支援装置の全体構成例を示す図である。 図２Ａは、この発明の実施の形態１に係る現場用端末及び指示用端末のハードウェア構成例を示す図であり、図２Ｂは、現場用端末のハードウェア構成例の詳細を示す図である。 この発明の実施の形態１に係る現場用端末及び指示用端末のハードウェア構成例を示すブロック図である。 この発明の実施の形態１に係る現場用端末及び指示用端末の別のハードウェア構成例をブロック示す図である。 この発明の実施の形態１に係る現場用端末の別のハードウェア構成例を示す図である。 この発明の実施の形態１に係る遠隔作業支援装置による全体処理の一例を示すフローチャートである。 この発明の実施の形態１に係る指示用端末による現場状況表示処理の一例を示すフローチャートである。 この発明の実施の形態１に係る指示用端末に記憶されている作業場所データの一例を示す図である。 この発明の実施の形態１に係る指示用端末に表示された現場状況画面の一例を示す図である。 この発明の実施の形態１に係る指示用端末による作業指示受付け処理の一例を示すフローチャートである。 この発明の実施の形態１に係る指示用端末による作業指示画面の一例を示す図である。 この発明の実施の形態１における方向計算部による処理の一例を示すフローチャートである。 この発明の実施の形態１に係る現場用端末による情報提示処理の一例を示すフローチャートである。 この発明の実施の形態１における案内画像生成部による処理の一例を示すフローチャートである。 この発明の実施の形態１に係る現場用端末に表示された情報提示画面の一例を示す図である。 この発明の実施の形態１に係る現場用端末に表示された情報提示画面の別の例を示す図である。 この発明の実施の形態２に係る遠隔作業支援装置の全体構成例を示す図である。 この発明の実施の形態２に係る指示用端末による作業指示受付け処理の一例を示すフローチャートである。 この発明の実施の形態２に係る指示用端末による指示入力画面の一例を示す図である。 この発明の実施の形態２における方向計算部による処理の一例を示すフローチャートである。 この発明の実施の形態３に係る遠隔作業支援装置の全体構成例を示す図である。 この発明の実施の形態３に係る指示用端末による作業指示受付け処理の一例を示すフローチャートである。 この発明の実施の形態３における方向計算部による処理の一例を示すフローチャートである。 この発明の実施の形態３に係る現場用端末による情報提示処理の一例を示すフローチャートである。 この発明の実施の形態３における案内画像生成部による処理の一例を示すフローチャートである。 この発明の実施の形態３に係る現場用端末に表示された情報提示画面の一例を示す図である。
　以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
　図１はこの発明の実施の形態１に係る遠隔作業支援装置の全体構成例を示す図である。
　遠隔作業支援装置は、現場の作業者（以下、現場作業者）が非熟練作業者であっても、機械設備の保守点検作業、修正作業又は設置作業等を行うことができるように、熟練作業者である作業指示者が遠隔地から現場の作業を支援するための装置である。この遠隔作業支援装置は、図１に示すように、実際に現場で作業を行う現場作業者が用いる現場用端末１と、作業指示者が遠隔地から現場作業者に対して指示を与えて作業を支援するための指示用端末２とを備えている。
　現場用端末１は、図１に示すように、制御部１０１、記憶部１０２、通信部１０３、撮影部１０４、案内画像生成部１０５、表示部（現場側表示部）１０６、音声入力部１０７及び音声出力部１０８を備えている。
　制御部１０１は、現場用端末１内の各部の動作を制御するものである。
　記憶部１０２は、現場用端末１で用いる情報を記憶するものである。この記憶部１０２では、例えば、表示部１０６により後述するディスプレイ３３に表示を行うための事前登録情報や、通信部１０３により送受信される情報等を記憶する。
　通信部１０３は、指示用端末２の通信部２０３との間で情報の送受信を行うものである。ここで、通信部１０３は、撮影部１０４により撮影された映像を示す情報（映像データ）、及び、音声入力部１０７に入力された音声を示す情報（音声データ）を、通信部２０３に送信する。また、通信部１０３は、通信部２０３から、作業指示データ、テキスト情報及び音声データを受信する。なお、作業指示データは、現場作業者の現在位置から次の作業位置への方向を示す情報である。
　撮影部１０４は、現場作業者から見た現場の映像を撮影するものである。
　案内画像生成部１０５は、通信部１０３により受信された作業指示データに基づいて、現場作業者の現在位置から次の作業位置への方向を示す画像（案内画像）を生成するものである。なお、案内画像としては、例えば、矢印のようなマークが挙げられる。
　表示部１０６は、ディスプレイ３３に各種画面を表示するものである。ここで、表示部１０６は、案内画像生成部１０５により案内画像が生成された場合には、当該案内画像を含む画面（情報提示画面）をディスプレイ３３に表示する。また、表示部１０６は、通信部１０３によりテキスト情報が受信された場合には、当該テキスト情報が示すテキストを含む画面（情報提示画面）をディスプレイ３３に表示する。なお、案内画像及びテキスト情報を同じ画面上に表示してもよい。
　音声入力部１０７は、現場作業者による音声が入力されるものである。
　音声出力部１０８は、通信部１０３により音声データが受信された場合に、当該音声データを再生するものである。
　指示用端末２は、図１に示すように、制御部２０１、記憶部２０２、通信部２０３、位置方向推定部２０４、現場状況画像生成部２０５、表示部（指示用表示部）２０６、作業指示受付部２０７、方向計算部２０８、テキスト受付部２０９、入力部２１０、音声入力部２１１及び音声出力部２１２を備えている。
　制御部２０１は、指示用端末２内の各部の動作を制御するものである。
　記憶部２０２は、指示用端末２で用いる情報を記憶するものである。この記憶部２０２では、例えば、位置方向推定部２０４及び現場状況画像生成部２０５で用いる作業場所データや、通信部２０３により送受信される情報を記憶する。なお、作業場所データとは、作業現場に存在する各種機器を３次元座標値の集合である点群データとして定義し、更に、同現場を撮影した映像から得られる画像特徴点を上記点群データと対応付けたデータである。
　通信部２０３は、現場用端末１の通信部１０３との間で情報の送受信を行うものである。ここで、通信部２０３は、実施の形態１では、方向計算部２０８により計算された現場作業者の現在位置から次の作業位置への方向を示す情報（作業指示データ）、テキスト受付部２０９により受付けられたテキストを示す情報（テキスト情報）、音声入力部２１１に入力された音声を示す情報（音声データ）を、通信部１０３に送信する。また、通信部２０３は、通信部１０３から映像データ及び音声データを受信する。
　位置方向推定部２０４は、通信部２０３により受信された映像データに基づいて、現場作業者の現在位置及び当該現場作業者が向いている方向を推定するものである。この際、位置方向推定部２０４は、上記映像データが示す映像を、記憶部２０２に予め記憶されている作業場所データと照らし合わせることで、現場作業者の現在位置及び向いている方向を推定する。
　現場状況画像生成部２０５は、位置方向推定部２０４による推定結果に基づいて、現場作業者の現在位置を含む現場状況を示す画像（現場状況画像）を生成するものである。
　表示部２０６は、後述するディスプレイ６に各種画面を表示するものである。ここで、表示部２０６は、現場状況画像生成部２０５により現場状況画像が生成された場合には、当該現場状況画像を含む画面（現場状況画面）をディスプレイ６に表示する。また、入力部２１０を介して作業指示者により作業指示の開始が要求された場合には、現場状況画像生成部２０５により生成された現場状況画像を用いて、作業指示を行うための画面（作業指示画面）をディスプレイ６に表示する。
　作業指示受付部２０７は、入力部２１０を介して作業指示者により入力された次の作業位置を示す情報を受付けるものである。この際、作業指示者は、表示部２０６によりディスプレイ６に表示された作業指示画面を用いて、次の作業位置を指定する。
　方向計算部２０８は、位置方向推定部２０４による推定結果及び作業指示受付部２０７による受付け結果に基づいて、現場作業者の現在位置から次の作業位置への方向を計算するものである。
　テキスト受付部２０９は、入力部２１０を介して作業指示者により入力されたテキストを示す情報を受付けるものである。
　入力部２１０は、作業指示者が指示用端末２に対して各種情報を入力する際に用いるものである。
　音声入力部２１１は、作業指示者による音声が入力されるものである。
　音声出力部２１２は、通信部２０３により音声データが受信された場合に、当該音声データを再生するものである。
　次に、現場用端末１及び指示用端末２のハードウェア構成例について、図２～４を参照しながら説明する。
　まず、現場用端末１のハードウェア構成例について説明する。
　現場用端末１の各機能は、図２に示すように、ＨＭＤ３及びヘッドセット４により実現される。そして、現場作業者は、このＨＭＤ３及びヘッドセット４を装着した状態で、作業対象に対して各種作業を行う。なお図２の例では、配電盤１１に対して点検作業等を行う場合を示している。
　ＨＭＤ３は、図２～４に示すように、端末部３１、撮影装置３２及びディスプレイ３３を備えている。また、端末部３１は、処理回路３１１、記憶装置３１２及び通信装置３１３を備えている。また、ヘッドセット４は、図２～４に示すように、マイク４１及びスピーカ４２を備えている。
　処理回路３１１は、制御部１０１、案内画像生成部１０５及び表示部１０６の各機能を実現するものであり、ＨＭＤ３上での各種処理を実行する。処理回路３１１は、図３に示すように、専用のハードウェアであってもよいし、図４に示すように、メモリ３１５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）ともいう）３１４であってもよい。
　処理回路３１１が専用のハードウェアである場合、処理回路３１１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。制御部１０１、案内画像生成部１０５及び表示部１０６の各部の機能それぞれを処理回路３１１で実現してもよいし、各部の機能をまとめて処理回路３１１で実現してもよい。
　処理回路３１１がＣＰＵ３１４の場合、制御部１０１、案内画像生成部１０５及び表示部１０６の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリ３１５に格納される。処理回路３１１は、メモリ３１５に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、現場用端末１は、処理回路３１１により実行されるときに、例えば後述する図６，１３に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ３１５を備える。また、これらのプログラムは、制御部１０１、案内画像生成部１０５及び表示部１０６の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ３１５とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、制御部１０１、案内画像生成部１０５及び表示部１０６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、制御部１０１については専用のハードウェアとしての処理回路３１１でその機能を実現し、案内画像生成部１０５及び表示部１０６については処理回路３１１がメモリ３１５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　このように、処理回路３１１は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
　記憶装置３１２は、記憶部１０２の機能を実現するものである。ここで、記憶装置３１２とは、例えば、ＲＡＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等が該当する。
　通信装置３１３は、通信部１０３の機能を実現するものである。この通信装置３１３の通信方式及び形状は問われるものではない。
　撮影装置３２は、撮影部１０４の機能を実現するものである。なお、撮影装置３２は、ＨＭＤ３上に搭載可能であればよく、撮像方式及び形状は問わない。
　ディスプレイ３３は、表示部１０６により各種画面を表示するものである。このディスプレイ３３は、ＨＭＤ３に搭載可能であればよく、表示方式及び形状は問わない。このディスプレイ３３の表示方式としては、例えば、ハーフミラーを利用してグラス上にプロジェクタ映像を投影する方式、レーザー光の干渉を利用した投影方式、又は、小型の液晶ディスプレイを用いる方式等がある。
　マイク４１は、音声入力部１０７の機能を実現するものである。また、スピーカ４２は、音声出力部１０８の機能を実現するものである。このマイク４１及びスピーカ４２の形状は問われるものではなく、例えば、マイク４１及びスピーカ４２が一体となったヘッドセット４（図２参照）、又は、イヤホンのケーブル上にマイク４１が装着されたイヤホンマイク４ｂ（図５参照）等でもよい。
　次に、指示用端末２のハードウェア構成例について説明する。
　指示用端末２の各機能は、図２～４に示すように、制御演算装置５、ディスプレイ６、入力装置７、マイク８及びスピーカ９により実現される。また、制御演算装置５は、処理回路５１、記憶装置５２及び通信装置５３を備えている。また図２では、マイク８及びスピーカ９の図示は省略されている。
　処理回路５１は、制御部２０１、位置方向推定部２０４、現場状況画像生成部２０５、表示部２０６、作業指示受付部２０７、方向計算部２０８及びテキスト受付部２０９の各機能を実現するものであり、指示用端末２上での各種処理を実行する。処理回路５１は、図３に示すように、専用のハードウェアであってもよいし、図４に示すように、メモリ５５に格納されるプログラムを実行するＣＰＵ（中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰともいう）５４であってもよい。
　処理回路５１が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又はこれらを組み合わせたものが該当する。制御部２０１、位置方向推定部２０４、現場状況画像生成部２０５、表示部２０６、作業指示受付部２０７、方向計算部２０８及びテキスト受付部２０９の各部の機能それぞれを処理回路５１で実現してもよいし、各部の機能をまとめて処理回路５１で実現してもよい。
　処理回路５１がＣＰＵ５４の場合、制御部２０１、位置方向推定部２０４、現場状況画像生成部２０５、表示部２０６、作業指示受付部２０７、方向計算部２０８及びテキスト受付部２０９の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリ５５に格納される。処理回路５１は、メモリ５５に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、指示用端末２は、処理回路５１により実行されるときに、例えば後述する図６，７，１０に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ５５を備える。また、これらのプログラムは、制御部２０１、位置方向推定部２０４、現場状況画像生成部２０５、表示部２０６、作業指示受付部２０７、方向計算部２０８及びテキスト受付部２０９の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５５とは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等が該当する。
　なお、制御部２０１、位置方向推定部２０４、現場状況画像生成部２０５、表示部２０６、作業指示受付部２０７、方向計算部２０８及びテキスト受付部２０９の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、制御部２０１については専用のハードウェアとしての処理回路５１でその機能を実現し、位置方向推定部２０４、現場状況画像生成部２０５、表示部２０６、作業指示受付部２０７、方向計算部２０８及びテキスト受付部２０９については処理回路５１がメモリ５５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　このように、処理回路５１は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
　記憶装置５２は、記憶部２０２の機能を実現するものである。ここで、記憶装置５２とは、例えば、ＲＡＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等が該当する。
　通信装置５３は、通信部２０３の機能を実現するものである。この通信装置５３の通信方式及び形状は問われるものではない。
　ディスプレイ６は、表示部２０６により各種画面を表示するものである。このディスプレイ６は、作業指示者が参照可能なモニタ装置であればよく、液晶モニタ装置又はタブレット装置等でもよく、表示方式及び形状は問わない。
　入力装置７は、入力部２１０の機能を実現するものである。この入力装置７としては、キーボード、マウス又はタッチペン等、文字及び座標値を入力できる機器であればどのようなデバイスであってもよい。
　マイク８は、音声入力部２１１の機能を実現するものである。また、スピーカ９は、音声出力部２１２の機能を実現するものである。このマイク８及びスピーカ９の形状は問われるものではなく、例えば、マイク８及びスピーカ９が一体となったヘッドセット、又は、イヤホンのケーブル上にマイク８が装着されたイヤホンマイク等でもよい。
　また、図３，４に示す構成では、通信中継装置１０が設けられている。この通信中継装置１０は、現場用端末１から遠隔地にある指示用端末２までの通信経路を確保するための装置である。この通信中継装置１０は、広域通信網を経由して接続できる機器であればよく、無線ＬＡＮ、有線ＬＡＮ又は赤外線通信等、その通信方式及び形状は問わない。
　また、現場用端末１及び指示用端末２の一方を図３に示すハードウェア構成とし、もう一方を図４に示すハードウェア構成としてもよい。
　更に、制御演算装置５を複数に分割し、大規模な計算処理が可能な制御演算装置５上で負荷のより高い処理を行うようにしてもよい。
　また、現場用端末１は、図２に示す構成に限るものではなく、例えば、図５に示すような単眼型のＨＭＤ３ｂを用いてもよい。なお図５に示す構成では、マイク４１及びスピーカ４２の構成として、イヤホンマイク４ｂを用いた場合を示している。
　次に、実施の形態１に係る遠隔作業支援装置の動作例について、図１～１６を参照しながら説明する。
　まず、遠隔作業支援装置による全体処理例について、図６を参照しながら説明する。
　遠隔作業支援装置による全体処理例では、図６に示すように、まず、通信部１０３及び通信部２０３は、現場用端末１と指示用端末２との間の通信を確立する（ステップＳＴ６０１）。なお、上記通信の確立処理は、ＧＰＳ、撮影部１０４による映像又は無線ＬＡＮ通信等により現場作業者が作業現場に位置したと判定した場合、又は、作業現場のセキュリティシステムに連動した現場作業者の入室通知等に伴って、自動で行うようにしてもよい。
　次いで、現場用端末１は、現場作業者から見た現場の映像を撮影し、指示用端末２に送信する（ステップＳＴ６０２）。すなわち、まず、撮影部１０４は、ＨＭＤ３に搭載された撮影装置３２により、現場作業者から見た現場の映像を撮影する。なお、撮影部１０４が撮影する映像は、動画（１５ｆｐｓ以上）が望ましいが、ハードウェアのリソース又は通信帯域が不十分な場合には、一定周期（４～５ｆｐｓ）で撮影した一連の静止画であっても構わない。そして、通信部１０３は、撮影部１０４により撮影された映像を示す情報（映像データ）を通信部２０３に送信する。なお、この映像送信処理は、現場用端末１と指示用端末２との間の通信が確立している間は継続して行われる。
　次いで、指示用端末２は、現場用端末１からの映像データを用いて、現場作業者の現在位置を含む現場状況を示す画像を生成し、当該画像を表示する（ステップＳＴ６０３）。このステップＳＴ６０３における現場状況表示処理の詳細については後述する。なお、この現場状況表示処理は、現場用端末１と指示用端末２との間の通信が確立している間は継続して行われる。
　次いで、指示用端末２は、作業指示者により入力された現場作業者に対する作業指示を受付け、現場用端末１に通知する（ステップＳＴ６０４）。このステップＳＴ６０４における作業指示受付け処理の詳細については後述する。
　次いで、現場用端末１は、指示用端末２からの作業指示を示す情報を用いて、当該作業指示を示す画面を表示する（ステップＳＴ６０５）。このステップＳＴ６０５における情報提示処理の詳細については後述する。
　その後、現場作業者は、現場用端末１のディスプレイ３３に表示された画面に従って、作業位置へ移動して作業を行う。そして、全ての作業が完了するまで上記処理を繰り返す。
　次いで、通信部１０３及び通信部２０３は、現場用端末１と指示用端末２との間の通信を切断する（ステップＳＴ６０６）。これにより、現場作業者に対する作業支援を終了する。
　次に、ステップＳＴ６０３における現場状況表示処理の詳細について、図７を参照しながら説明する。
　指示用端末２による現場状況表示処理では、図７に示すように、まず、通信部２０３は、通信部１０３から映像データを受信する（ステップＳＴ７０１）。
　次いで、位置方向推定部２０４は、通信部２０３により受信された映像データに基づいて、現場作業者の現在位置及び当該現場作業者が向いている方向を推定する（ステップＳＴ７０２）。この際、位置方向推定部２０４は、上記映像データが示す映像を、記憶部２０２に予め記憶されている作業場所データと照らし合わせることで、現場作業者が作業現場のどの位置にいて、どちらの方向を向いているかを推定する。
　図８は、記憶部２０２に記憶されている作業場所データの一例を示す図である。
　この図８に示す作業場所データでは、定義された点毎に、機器ＩＤ８０１、座標値８０２、ＲＧＢデータ８０３及び画像特徴点データ８０４が対応付けて登録されている。なお、機器ＩＤ８０１は、定義された点が作業現場のどの機器に属するかを識別するＩＤである。また、座標値８０２は、定義された点が作業現場のどの位置であるかを示す３次元空間上での座標値である。なお、座標系の原点は、例えば、作業現場の出入り口の中心又は部屋の隅等、作業現場毎に適宜定義するものとする。また、ＲＧＢデータ８０３は、定義された点の色情報であり、事前に撮影した映像から得られる。また、画像特徴点データ８０４は、定義された点に対する画像特徴量を示すデータであり、定義された点の周辺にある別の点のＲＧＢデータ８０３等を元に計算される。例えば、点Ａの周囲にある所定距離内の別の点の集合Ｂｉについて、点Ａと集合Ｂｉとの輝度の差異の分布を点Ａの画像特徴量として定義することができる。
　なお、位置方向推定部２０４による推定処理としては、例えば特許文献２に開示されている方法を用いることができる。ここでは、位置方向推定部２０４は、推定結果として、現場作業者の現在位置を示す座標値Ｐ０（Ｘ０，Ｙ０，Ｚ０）と、現場作業者が向いている方向（撮影装置３２の向き）を表す方向ベクトルＶｃ（Ｘｃ，Ｙｃ，Ｚｃ）、水平方向における傾きθＨ及び垂直方向における傾きθＶとを得るものとする。
特開２０１３－０５４６６１号公報
　次いで、現場状況画像生成部２０５は、位置方向推定部２０４による推定結果に基づいて、現場作業者の現在位置を含む現場状況を示す画像を生成する（ステップＳＴ７０３）。すなわち、現場状況画像生成部２０５は、上記推定結果及び作業場所データを用いて、作業現場周辺の機器を仮想空間内に再現し、且つ、現場作業者の現在位置を当該仮想空間内に示した画像を生成する。
　次いで、表示部２０６は、現場状況画像生成部２０５により生成された現場状況を示す画像に基づいて、当該画像を含む画面（現場状況画面）をディスプレイ６に表示する（ステップＳＴ７０４）。
　図９は、表示部２０６により表示された現場状況画面の一例を示す図である。
　この図９に示す現場状況画面では、現場映像９０１、仮想現場画像９０２及び操作ボタン９０３が表示されている。なお、現場映像９０１は、通信部２０３により受信された映像データが示す映像である。また、仮想現場画像９０２は、現場状況画像生成部２０５により生成された作業現場周辺の機器を仮想空間内に再現した画像である。また、この仮想現場画像９０２には、現場映像９０１がどの部分に対応するのかを示す枠線９０４が示されている。この枠線９０４により現場作業者の現在位置を把握することができる。また、操作ボタン９０３は、仮想現場画像９０２内の視点を移動するためのボタン画像である。図９に示す操作ボタン９０３では、仮想現場画像９０２に対し、軸（Ｘ，Ｙ，Ｚ）方向のプラスマイナスと各軸の回転及び反回転とを操作可能としている。また、図９に示すような操作ボタン９０３を用いたボタン操作に代えて、仮想現場画像９０２上の１点をマウスでドラッグ操作することにより仮想現場画像９０２内の視点を移動するようにしてもよい。
　次に、ステップＳＴ６０４における作業指示受付け処理の詳細について、図１０を参照しながら説明する。
　指示用端末２による作業指示受付け処理では、図１０に示すように、まず、表示部２０６は、入力部２１０を介して作業指示者により作業指示の開始が要求されることで、現場状況画像生成部２０５により生成された現場状況を示す画像を用いて、作業指示を行うための画面（作業指示画面）をディスプレイ６に表示する（ステップＳＴ１００１）。
　次いで、作業指示受付部２０７は、入力部２１０を介して作業指示者により入力された次の作業位置を示す情報を受付ける（ステップＳＴ１００２）。この際、作業指示者は、表示部２０６によりディスプレイ６に表示された作業指示画面を用いて、次の作業位置を指定する。
　図１１は、表示部２０６により表示された作業指示画面の一例を示す図である。
　この図１１に示す作業指示画面では、仮想現場画像１１０１及び操作ボタン１１０２が表示されている。なお、仮想現場画像１１０１は、作業指示者が次の作業位置を指定するための画像であり、図９の仮想現場画像９０２と同様の画像である。なお、符号１１０３は、現場映像９０１がどの部分に対応するのかを示す（現場作業者の現在位置を把握するための）枠線である。また、仮想現場画像１１０１では、次の作業位置を示す作業位置マーカ１１０４が付加されている。また、操作ボタン１１０２は、作業位置マーカ１１０４を移動するためのボタン画像である。図１１に示す操作ボタン１１０２では、作業位置マーカ１１０４に対して、軸（Ｘ，Ｙ，Ｚ）方向のプラスマイナスを操作可能としている。そして、作業指示者は、操作ボタン１１０２を操作することにより、作業位置マーカ１１０４を移動し、現場作業者が次に注目すべき作業位置（座標値Ｐ１（Ｘ１，Ｙ１，Ｚ１））を指定する。また、図１１に示すような操作ボタン１１０２を用いたボタン操作に代えて、作業位置マーカ１１０４をマウスでドラッグ操作することにより作業位置マーカ１１０４を移動するようにしてもよい。
　このように、現場状況画像生成部２０５により生成された画像を用いて、作業指示画面をディスプレイ６に表示することで、現場の映像を撮影する撮影部１０４の撮影画角外に位置する作業対象に関する指示が可能となる。
　次いで、方向計算部２０８は、位置方向推定部２０４による推定結果及び作業指示受付部２０７による受付け結果に基づいて、現場作業者の現在位置から次の作業位置への方向を計算する（ステップＳＴ１００３）。以下、方向計算部２０８による計算処理の詳細について、図１２を参照しながら説明する。
　方向計算部２０８による計算処理では、図１２に示すように、まず、現場作業者の現在位置（座標値Ｐ０（Ｘ０，Ｙ０，Ｚ０））及び次の作業位置（座標値Ｐ１（Ｘ１，Ｙ１，Ｚ１））に基づいて、Ｐ０（Ｘ０，Ｙ０，Ｚ０）からＰ１（Ｘ１，Ｙ１，Ｚ１）への方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）を計算する（ステップＳＴ１２０１）。
　次いで、方向計算部２０８は、計算した方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）及び現場作業者の向いている方向（方向ベクトルＶｃ（Ｘｃ，Ｙｃ，Ｚｃ））に基づいて、次の作業位置への方向を計算する（ステップＳＴ１２０２）。具体的には、方向ベクトルＶｃ（Ｘｃ，Ｙｃ，Ｚｃ）を法線ベクトルとする平面に対して方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）を射影し、現場映像（撮影部１０４により撮影された映像）の中心点からの方向θｄを求める。また、この際に、現場作業者の頭の傾きを考慮し、位置方向推定部２０４により推定された撮影装置３２の水平方向の傾きθＨ及び垂直方向の傾きθＶを修整してもよい。
　再び図１０に示す作業指示受付け処理の説明に戻り、テキスト受付部２０９は、入力部２１０を介して作業指示者により入力されたテキストを示す情報を受付ける（ステップＳＴ１００４）。この際、作業指示者は、表示部２０６により表示された現場状況画面又は作業指示画面を見ながら、テキストの入力を行う。このテキストは、作業指示者がキーボードを用いて入力した文字列でもよいし、タッチペンを用いて入力したインクデータでもよい。また、事前に登録された定型文章を選択メニューからマウス操作により選択するようにしてもよい。なお、作業指示者によりテキストによる指示が不要であると判断された場合には、テキスト受付部２０９による処理は行われない。
　また、音声入力部２１１は、作業指示者による音声が入力される（ステップＳＴ１００５）。この際、作業指示者は、表示部２０６により表示された現場状況画面又は作業指示画面を見ながら、音声を入力する。なお、作業指示者により音声による指示が不要であると判断された場合には、音声入力部２１１による処理は行われない。
　次いで、通信部２０３は、作業指示に関する情報を通信部１０３に送信する（ステップＳＴ１００６）。この際、通信部２０３は、方向計算部２０８による計算結果を示す情報（指示データ）を通信部１０３に送信する。また、テキスト受付部２０９にテキストが入力された場合には、当該テキストを示す情報（テキスト情報）も通信部１０３に送信する。また、音声入力部２１１に音声が入力された場合には、当該音声を示す情報（音声データ）も通信部１０３に送信する。
　その後、作業指示者により作業指示が不要であると判定されるまで、上記処理が繰り返される。
　次に、ステップＳＴ６０５における情報提示処理について、図１３を参照しながら説明する。
　現場用端末１による情報提示処理では、図１３に示すように、まず、通信部１０３は、通信部２０３から作業指示に関する情報を受信する（ステップＳＴ１３０１）。この際、通信部１０３は、通信部２０３から指示データを受信する。また、通信部１０３は、通信部２０３からテキスト情報が送信された場合には、当該テキスト情報も受信する。また、通信部１０３は、通信部２０３から音声データが送信された場合には、当該音声データも受信する。
　次いで、案内画像生成部１０５は、通信部１０３により受信された作業指示データに基づいて、現場作業者の現在位置から次の作業位置への方向を示す案内画像を生成する（ステップＳＴ１３０２）。以下、案内画像生成部１０５による案内画像生成処理の詳細について、図１４を参照しながら説明する。
　案内画像生成部１０５による案内画像生成処理では、図１４に示すように、まず、作業指示データに基づいて、方向ベクトルＶｄが予め定められた閾値ＴＨｄ以上であるかを判定する（ステップＳＴ１４０１）。すなわち、案内画像生成部１０５は、方向ベクトルＶｄが閾値Ｔｈｄ以上であるかを判定することで、現場作業者が次の作業位置に到達しているか否かを判定する。このステップＳＴ１４０１において、案内画像生成部１０５は、方向ベクトルＶｄが閾値ＴＨｄ未満であると判定した場合には、現場作業者が次の作業位置に到達しており案内画像の表示は不要と判断し、処理を終了する。
　一方、ステップＳＴ１４０１において、案内画像生成部１０５は、方向ベクトルＶｄが閾値ＴＨｄ以上であると判定した場合には、現場作業者の現在位置から次の作業位置への方向を示す案内画像を生成する（ステップＳＴ１４０２）。なお、案内画像としては、例えば、矢印のようなマークが挙げられる。
　再び、図１３に示す情報提示処理の説明に戻り、表示部１０６は、案内画像生成部１０５により生成された案内画像に基づいて、当該案内画像を含む画面（情報提示画面）をディスプレイ３３に表示する（ステップＳＴ１３０３）。
　また、表示部１０６は、通信部１０３によりテキスト情報が受信された場合には、当該テキスト情報が示すテキストを含む画面（情報提示画面）をディスプレイ３３に表示する（ステップＳＴ１３０４）。
　図１５は、表示部１０６により表示された情報提示画面の一例を示す図である。
　この図１５に示す情報提示画面では、案内画像１５０１及びテキスト１５０２が表示されている。図１５に示す案内画像１５０１では、現場作業者の現在位置から次の作業位置への方向を示す矢印を表示している。そして、現場作業者は、この案内画像１５０１及びテキスト１５０２を見ることで、次の作業へ移行することができる。
　なお、作業指示者は、作業位置を指定するだけで、現場作業者の現在位置から次の作業位置への方向が自動的に計算されるため、作業指示者が次の作業位置について逐次指示する必要はなく、円滑なコミュニケーションが可能となる。
　なお、図１２に示すステップＳＴ１２０２における計算処理で、俯瞰図の表示方向θｄ２もあわせて計算することにより、図１６に示すような俯瞰図１６０１を表示することができる。なお、この表示方向θｄ２は、床平面に対して方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）を射影することで、方向θｄと同様の計算により求めることができる。
　また、音声出力部１０８は、通信部１０３により音声データが入力された場合には、当該音声データを再生する（ステップＳＴ１３０５）。そして、現場作業者は、作業指示者からの音声指示を聞き、質問事項や確認の応答等を同じく音声により行う。現場作業者の音声は音声入力部１０７により入力され、上記の作業指示者の指示音声とは逆の経路で指示用端末２に送信される。作業指示者は指示用端末２の音声出力部２１２により再生される現場作業者の音声を聞き、先ほどの指示が正しく理解されているか、更に次の指示を与えるべきかどうか等を判断する。
　以上のように、この実施の形態１によれば、指示用端末２は、現場用端末１の撮影部１０４により撮影された映像から、現場作業者の位置及び向きを推定する位置方向推定部２０４と、位置方向推定部２０４による推定結果から、現場作業者の位置を含む現場状況を示す画像を生成する現場状況画像生成部２０５と、現場状況画像生成部２０５により生成された画像を含む画面を表示する表示部２０６と、表示部２０６により表示された画面上で作業指示者により入力された次の作業位置を示す情報を受付ける作業指示受付部２０７と、位置方向推定部２０４による推定結果及び作業指示受付部２０７による受付け結果から、次の作業位置への方向を計算する方向計算部２０８とを備え、現場用端末１は、方向計算部２０８による計算結果から、次の作業位置への方向を示す画像を生成する案内画像生成部１０５と、案内画像生成部１０５により生成された画像を含む画面を表示する表示部１０６とを備えたので、現場の映像を撮影する撮影部１０４の撮影画角外に位置する作業対象に関する指示が可能となる。また、現場作業者の現在位置及び向いている方向の推定結果から、現在位置から次の作業位置への方向を自動的に計算することができるため、作業指示者が次の作業位置について逐次指示する必要はなく、円滑なコミュニケーションが可能となる。これにより現場作業者と作業指示者との間の意思疎通を容易にし、作業を効率化できる。
実施の形態２．
　図１７はこの発明の実施の形態２に係る遠隔作業支援装置の全体構成例を示す図である。この図１７に示す実施の形態２に係る遠隔作業支援装置は、図１に示す実施の形態１に係る遠隔作業支援装置の作業指示受付部２０７を作業指示受付部２０７ｂに変更し、方向計算部２０８を方向計算部２０８ｂに変更したものである。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
　作業指示受付部２０７ｂは、入力部２１０を介して作業指示者により入力された次の作業位置及び当該作業位置へ至る経路を示す情報を受付けるものである。この際、作業指示者は、表示部２０６によりディスプレイ６に表示された作業指示画面を用いて、次の作業位置及び当該作業位置へ至る経路を指定する。
　方向計算部２０８ｂは、位置方向推定部２０４による推定結果及び作業指示受付部２０７ｂによる受付け結果に基づいて、現場作業者の現在位置から次の作業位置への方向を、経路に沿って計算するものである。
　次に、実施の形態２に係る遠隔作業支援装置による動作例について説明する。なお、遠隔作業支援装置による全体処理については実施の形態１に係る遠隔作業支援装置による全体処理と同一であるためその説明を省略する。また、現場状況表示処理及び情報提示処理についても実施の形態１に係る遠隔作業支援装置による現場状況表示処理と同一であるためその説明を省略する。
　次に、実施の形態２における指示用端末２による作業指示受付け処理の詳細について、図１８を参照しながら説明する。この図１８に示す実施の形態２における指示用端末２による作業指示受付け処理は、図１０に示す実施の形態１における指示用端末２による作業指示受付け処理のステップＳＴ１００２，ＳＴ１００３をステップＳＴ１８０１，ＳＴ１８０２に変更したものである。その他の処理は同様であり、その説明を省略する。
　ステップＳＴ１８０１では、作業指示受付部２０７ｂは、入力部２１０を介して作業指示者により入力された次の作業位置及び当該作業位置へ至る経路を示す情報を受付ける。この際、作業指示者は、表示部２０６によりディスプレイ６に表示された作業指示画面を用いて、次の作業位置及び当該作業位置へ至る経路を指定する。
　図１９は、表示部２０６により表示された作業指示画面の一例を示す図である。
　この図１９に示す作業指示画面では、仮想現場画像１９０１及び操作ボタン１９０２が表示されている。なお、仮想現場画像１９０１は、作業指示者が次の作業位置を当該作業位置への経路とともに指定するための画像であり、図１１の仮想現場画像１１０１と同様の画像である。また、仮想現場画像１９０１では、複数の作業経路マーカ１９０３が付加されている。この作業経路マーカ１９０３は、次の作業位置に至る経路を示すマーカである。また、操作ボタン１９０２は、作業経路マーカ１９０３の追加、削除と、作業位置マーカ１１０４及び作業経路マーカ１９０３の移動を行うためのボタン画像である。図１９に示す操作ボタン１９０２では、作業経路マーカ１９０３の追加及び削除と、作業位置マーカ１１０４及び作業経路マーカ１９０３に対する軸（Ｘ，Ｙ，Ｚ）方向のプラスマイナスを操作可能としている。そして、作業指示者は、操作ボタン１９０２を操作することにより、作業経路マーカ１９０３を追加又は削除し、作業位置マーカ１１０４及び作業経路マーカ１９０３を移動し、次の作業位置及び当該作業位置へ至る経路（座標値Ｐｉ（Ｘｉ，Ｙｉ，Ｚｉ），ｉ＝１，２，・・・，ｋ）を指定する。また、図１９に示すような操作ボタン１９０２を用いたボタン操作に代えて、作業位置マーカ１１０４及び作業経路マーカ１９０３をマウスでドラッグ操作すること位置を移動するようにしてもよい。なお図１９では、ｋ＝３の場合を示しており、現場作業者が配電盤Ａの前（枠線１１０３の位置）にいる状態で、次の作業位置である配電盤Ｅの位置（作業位置マーカ１１０４）へ至る経路を、作業経路マーカ１９０３ａ，１９０３ｂにより示している。
　次いで、方向計算部２０８ｂは、位置方向推定部２０４による推定結果及び作業指示受付部２０７ｂによる受付け結果に基づいて、現場作業者の現在位置から次の作業位置への方向を、経路に沿って計算する（ステップＳＴ１８０２）。以下、方向計算部２０８ｂによる計算処理の詳細について、図２０を参照しながら説明する。
　方向計算部２０８ｂによる計算処理では、図２０に示すように、まず、現場作業者の現在位置（座標値Ｐ０（Ｘ０，Ｙ０，Ｚ０））及び次の作業位置及び当該作業位置へ至る経路（座標値Ｐｉ（Ｘｉ，Ｙｉ，Ｚｉ））に基づいて、計算対象とする座標値Ｐｉ（Ｘｉ，Ｙｉ，Ｚｉ）を選択する（ステップＳＴ２００１）。すなわち、Ｐ０（Ｘ０，Ｙ０，Ｚ０）とＰｉ（Ｘｉ，Ｙｉ，Ｚｉ）との位置関係から、次の作業位置への移動方向に向かって、Ｐ０（Ｘ０，Ｙ０，Ｚ０）から最も近いＰｉ（Ｘｉ，Ｙｉ，Ｚｉ）を計算対象として選択する。
　例えば、方向計算部２０８ｂは、現場作業者の現在位置Ｐ０（Ｘ０，Ｙ０，Ｚ０）が、図１９に示す枠線１１０３の位置から作業経路マーカ１９０３ａの位置（座標値Ｐ１（Ｘ１，Ｙ１，Ｚ１））までの間である場合には、Ｐ１（Ｘ１，Ｙ１，Ｚ１）を計算対象として選択する。その後、方向計算部２０８ｂは、現場作業者の現在位置Ｐ０（Ｘ０，Ｙ０，Ｚ０）がＰ１（Ｘ１，Ｙ１，Ｚ１）に対して閾値内となった場合には、現場作業者が作業経路マーカ１９０３ａの位置に到達したと判断する。そして、方向計算部２０８ｂは、現場作業者の現在位置Ｐ０（Ｘ０，Ｙ０，Ｚ０）が作業経路マーカ１９０３ａの位置から作業経路マーカ１９０３ｂの位置（Ｐ２（Ｘ２，Ｙ２，Ｚ２））までの間である場合には、Ｐ２（Ｘ２，Ｙ２，Ｚ２）を計算対象として選択する。その後、方向計算部２０８ｂは、現場作業者の現在位置Ｐ０（Ｘ０，Ｙ０，Ｚ０）がＰ２（Ｘ2，Ｙ2，Ｚ2）に対して閾値内となった場合には、現場作業者が作業経路マーカ１９０３ｂの位置に到達したと判断する。そして、方向計算部２０８ｂは、現場作業者の現在位置Ｐ０（Ｘ０，Ｙ０，Ｚ０）が作業経路マーカ１９０３ｂの位置から作業位置マーカ１１０４の位置（Ｐ３（Ｘ３，Ｙ３，Ｚ３））までの間である場合には、Ｐ３（Ｘ３，Ｙ３，Ｚ３）を計算対象として選択する。
　次いで、方向計算部２０８ｂは、現場作業者の現在位置（座標値Ｐ０（Ｘ０，Ｙ０，Ｚ０））及び選択した座標値Ｐｉ（Ｘｉ，Ｙｉ，Ｚｉ）に基づいて、Ｐ０（Ｘ０，Ｙ０，Ｚ０）からＰｉ（Ｘｉ，Ｙｉ，Ｚｉ）への方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）を計算する（ステップＳＴ２００２）。この処理は、図１２のステップＳＴ１２０１における処理と同様である。
　次いで、方向計算部２０８ｂは、計算した方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）及び現場作業者の向いている方向（方向ベクトルＶｃ（Ｘｃ，Ｙｃ，Ｚｃ））に基づいて、次の経路又は作業位置への方向を計算する（ステップＳＴ２００３）。この処理は、図１２のステップＳＴ１２０２における処理と同様である。
　次いで、方向計算部２０８ｂは、次の作業位置（座標値Ｐｋ（Ｘｋ，Ｙｋ，Ｚｋ））まで計算処理が完了したかを判定する（ステップＳＴ２００４）。このステップＳＴ２００４において、方向計算部２０８ｂは、次の作業位置まで計算処理が完了したと判定した場合には、シーケンスは終了する。
　一方、ステップＳＴ２００４において、方向計算部２０８ｂが、次の作業位置までは計算処理が完了していないと判定した場合には、シーケンスはステップＳＴ２００１に戻り、上記の処理を繰り返す。
　以上のように、この実施の形態２によれば、作業指示受付部２０７ｂは、次の作業位置を示す情報を当該作業位置へ至る経路を示す情報とともに受付け、方向計算部２０８ｂは、次の作業位置への方向を、上記経路に沿って計算するように構成したので、実施の形態１における効果に加え、作業位置への移動を、既定の経路に沿って移動する必要がある場合にも、円滑に指示を行うことが可能となる。
実施の形態３．
　図２１はこの発明の実施の形態３に係る遠隔作業支援装置の全体構成例を示す図である。この図２１に示す実施の形態３に係る遠隔作業支援装置は、図１に示す実施の形態１に係る遠隔作業支援装置の方向計算部２０８を方向計算部２０８ｃに変更し、案内画像生成部１０５を案内画像生成部１０５ｃに変更したものである。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
　方向計算部２０８ｃは、位置方向推定部２０４による推定結果及び作業指示受付部２０７による受付け結果に基づいて、現場作業者の現在位置から次の作業位置への３次元空間上での方向を計算するものである。
　案内画像生成部１０５ｃは、通信部１０３により受信された作業指示データに基づいて、現場作業者の現在位置から次の作業位置への３次元空間上での方向を示す画像（案内画像）を生成するものである。なお、案内画像としては、例えば、矢印のようなマークが挙げられる。
　次に、実施の形態３に係る遠隔作業支援装置による動作例について説明する。なお、遠隔作業支援装置による全体処理については実施の形態１に係る遠隔作業支援装置による全体処理と同一であるためその説明を省略する。また、現場状況表示処理についても実施の形態１における指示用端末２による現場状況表示処理と同一であるためその説明を省略する。
　次に、実施の形態３における指示用端末２による作業指示受付け処理の詳細について、図２２を参照しながら説明する。この図２２に示す実施の形態３に係る指示用端末２による作業指示受付け処理は、図１０に示す実施の形態１に係る指示用端末２による作業指示受付け処理のステップＳＴ１００３をステップＳＴ２２０１に変更したものである。その他の処理は同様であり、その説明を省略する。
　ステップＳＴ２２０１では、方向計算部２０８ｃは、位置方向推定部２０４による推定結果及び作業指示受付部２０７による受付け結果に基づいて、現場作業者の現在位置から次の作業位置への３次元空間上での方向を計算する。以下、方向計算部２０８ｃによる計算処理の詳細について、図２３を参照しながら説明する。
　方向計算部２０８ｃによる計算処理では、図２３に示すように、まず、現場作業者の現在位置（座標値Ｐ０（Ｘ０，Ｙ０，Ｚ０））及び次の作業位置（座標値Ｐ１（Ｘ１，Ｙ１，Ｚ１））に基づいて、Ｐ０（Ｘ０，Ｙ０，Ｚ０）からＰ１（Ｘ１，Ｙ１，Ｚ１）への方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）を計算する（ステップＳＴ２３０１）。
　次いで、方向計算部２０８ｃは、計算した方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）及び現場作業者の向いている方向（方向ベクトルＶｃ（Ｘｃ，Ｙｃ，Ｚｃ））に基づいて、次の作業位置の３次元空間上での方向を計算する（ステップＳＴ２３０２）。具体的には、方向ベクトルＶｃ（Ｘｃ，Ｙｃ，Ｚｃ）を法線ベクトルとする平面に対して、方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）を右目投影用の方向ベクトルＶｄｒ（Ｘｄｒ，Ｙｄｒ，Ｚｄｒ）と左目投影用の方向ベクトルＶｄｌ（Ｘｄｌ，Ｙｄｌ，Ｚｄｌ）に分けて射影し、現場映像（撮影部１０４により撮影された映像）の中心点からの方向θｄを求める。また、この際に、現場作業者の頭の傾きを考慮し、位置方向推定部２０４により推定された撮影装置３２の水平方向の傾きθＨ及び垂直方向の傾きθＶを修整してもよい。
　次に、実施の形態３における現場用端末１による情報提示処理の詳細について、図２４を参照しながら説明する。この図２４に示す実施の形態３における現場用端末１による情報提示処理は、図１３に示す実施の形態１における指示用端末２による作業指示受付け処理のステップＳＴ１３０２をステップＳＴ２４０１に変更したものである。その他の処理は同様であり、その説明を省略する。
　ステップＳＴ２４０１では、案内画像生成部１０５ｃは、通信部１０３により受信された作業指示データに基づいて、現場作業者の現在位置から次の作業位置への３次元空間上での方向を指す案内画像を生成する。以下、案内画像生成部１０５ｃによる案内画像生成処理の詳細について、図２５を参照しながら説明する。なお図２５に示す案内画像生成処理では、右目投影用の方向ベクトルＶｄｒ（Ｘｄｒ，Ｙｄｒ，Ｚｄｒ）に対する処理のみを示している。
　案内画像生成部１０５ｃによる案内画像生成処理では、図２５に示すように、まず、作業指示データに基づいて、方向ベクトルＶｄｒ（Ｘｄｒ，Ｙｄｒ，Ｚｄｒ）が予め定められた閾値ＴＨｄ以上であるかを判定する（ステップＳＴ２５０１）。このステップＳＴ２５０１において、案内画像生成部１０５ｃは、方向ベクトルＶｄｒ（Ｘｄｒ，Ｙｄｒ，Ｚｄｒ）が閾値ＴＨｄ未満である判定した場合には、案内画像の表示は不要と判断し、処理を終了する。
　一方、ステップＳＴ２５０１において、案内画像生成部１０５ｃは、方向ベクトルＶｄｒ（Ｘｄｒ，Ｙｄｒ，Ｚｄｒ）が閾値ＴＨｄ以上であると判定した場合には、現場作業者の現在位置から次の作業位置への３次元空間上での方向を指す案内画像を生成する（ステップＳＴ２５０２）。なお、案内画像としては、例えば、矢印のようなマークが挙げられる。
　また、左目投影用の方向ベクトルＶｄｌ（Ｘｄｌ，Ｙｄｌ，Ｚｄｌ）に対しても上記と同様に処理される。
　その後、表示部１０６は、案内画像生成部１０５により生成された案内画像に基づいて、当該案内画像を含む画面（情報提示画面）をディスプレイ３３に表示する（ステップＳＴ１３０３）。これにより、ディスプレイ３３に３次元画像である案内画像が表示される。
　図２６は、表示部１０６により表示された情報提示画面の一例を示す図である。
　この図２６に示す情報提示画面では、案内画像２６０１及びテキスト２６０２が表示されている。図２６に示す案内画像２６０１では、現場作業者の現在位置から次の作業位置への方向を指す矢印を３次元表示している。なお、テキスト２６０２は、図１５に示すテキスト１５０２と同一のものである。そして、現場作業者は、この案内画像２６０１及びテキスト２６０２を見ることで、次の作業へ移行することができる。
　なお、作業指示者は、作業位置を指定するだけで、現場作業者の現在位置から次の作業位置への３次元上での方向が自動的に計算されるため、作業指示者が次の作業位置について逐次指示する必要はなく、円滑なコミュニケーションが可能となる。
　以上のように、この実施の形態２によれば、方向計算部２０８ｃは、次の作業位置への方向を３次元空間上で計算し、案内画像生成部１０５ｃは、次の作業位置への方向を示す画像として、３次元画像を生成するように構成したので、実施の形態１における効果に加え、現場作業者に対して３次元表示で案内画像を表示することができ、より円滑なコミュニケーションが可能となる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る遠隔作業支援装置は、現場の映像を撮影する撮影部の撮影画角外に位置する作業対象に関する指示が可能となり、現場作業者から見た映像を撮影する撮影部を有する現場用端末と、現場用端末との間で情報を送受信する指示用端末とを備えた遠隔作業支援装置等に用いるのに適している。
　１　現場用端末、２　指示用端末、３，３ｂ　ＨＭＤ、４　ヘッドセット、４ｂ　イヤホンマイク、５　制御演算装置、６　ディスプレイ、７　入力装置、８　マイク、９　スピーカ、１０　通信中継装置、３１　端末部、３２　撮影装置、３３　ディスプレイ、４１　マイク、４２　スピーカ、５１　処理回路、５２　記憶装置、５３　通信装置、５４　ＣＰＵ、５５　メモリ、１０１　制御部、１０２　記憶部、１０３　通信部、１０４　撮影部、１０５，１０５ｃ　案内画像生成部、１０６　表示部（現場側表示部）、１０７　音声入力部、１０８　音声出力部、２０１　制御部、２０２　記憶部、２０３　通信部、２０４　位置方向推定部、２０５　現場状況画像生成部、２０６　表示部（指示側表示部）、２０７，２０７ｂ　作業指示受付部、２０８，２０８ｂ，２０８ｃ　方向計算部、２０９　テキスト受付部、２１０　入力部、２１１　音声入力部、２１２　音声出力部、３１１　処理回路、３１２　記憶装置、３１３　通信装置、３１４　ＣＰＵ、３１５　メモリ。

Claims (5)

  1. 　作業者から見た映像を撮影する撮影部を有する現場用端末と、前記現場用端末との間で情報を送受信する指示用端末とを備え、
    　前記指示用端末は、
    　前記撮影部により撮影された映像から、前記作業者の位置及び向きを推定する位置方向推定部と、
    　前記位置方向推定部による推定結果から、前記作業者の位置を含む現場状況を示す画像を生成する現場状況画像生成部と、
    　前記現場状況画像生成部により生成された画像を含む画面を表示する指示側表示部と、
    　前記指示側表示部により表示された画面上で作業指示者により入力された次の作業位置を示す情報を受付ける作業指示受付部と、
    　前記位置方向推定部による推定結果及び前記作業指示受付部による受付け結果から、次の作業位置への方向を計算する方向計算部とを備え、
    　前記現場用端末は、
    　前記方向計算部による計算結果から、次の作業位置への方向を示す画像を生成する案内画像生成部と、
    　前記案内画像生成部により生成された画像を含む画面を表示する現場側表示部とを備えた
    　ことを特徴とする遠隔作業支援装置。
  2. 　前記作業指示受付部は、前記次の作業位置を示す情報を当該作業位置へ至る経路を示す情報とともに受付け、
    　前記方向計算部は、前記次の作業位置への方向を、前記経路に沿って計算する
    　ことを特徴とする請求項１記載の遠隔作業支援装置。
  3. 　前記方向計算部は、前記次の作業位置への方向を３次元空間上で計算し、
    　前記案内画像生成部は、前記次の作業位置への方向を示す画像として、３次元画像を生成する
    　ことを特徴とする請求項１記載の遠隔作業支援装置。
  4. 　現場用端末の撮影部により撮影された作業者から見た映像から、前記作業者の位置及び向きを推定する位置方向推定部と、
    　前記位置方向推定部による推定結果から、前記作業者の位置を含む現場状況を示す画像を生成する現場状況画像生成部と、
    　前記現場状況画像生成部により生成された画像を含む画面を表示する指示側表示部と、
    　前記指示側表示部により表示された画面上で作業指示者により入力された次の作業位置を示す情報を受付ける作業指示受付部と、
    　前記位置方向推定部による推定結果及び前記作業指示受付部による受付け結果から、次の作業位置への方向を計算する方向計算部と
    　を備えたことを特徴とする指示用端末。
  5. 　作業者から見た映像を撮影する撮影部と、
    　指示用端末の、位置方向推定部により、前記撮影部により撮影された映像から、前記作業者の位置及び向きが推定され、現場状況画像生成部により、前記位置方向推定部による推定結果から、前記作業者の位置を含む現場状況を示す画像が生成され、指示側表示部により、前記現場状況画像生成部により生成された画像を含む画面が表示され、作業指示受付部により、前記指示側表示部により表示された画面上で作業指示者により入力された次の作業位置を示す情報が受付けられ、方向計算部により、前記位置方向推定部による推定結果及び前記作業指示受付部による受付け結果から、次の作業位置への方向が計算された結果から、次の作業位置への方向を示す画像を生成する案内画像生成部と、
    　前記案内画像生成部により生成された画像を含む画面を表示する現場側表示部と
    　を備えたことを特徴とする現場用端末。
PCT/JP2016/058126 2016-03-15 2016-03-15 遠隔作業支援装置、指示用端末及び現場用端末 WO2017158718A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2016/058126 WO2017158718A1 (ja) 2016-03-15 2016-03-15 遠隔作業支援装置、指示用端末及び現場用端末
JP2017547024A JP6309176B2 (ja) 2016-03-15 2016-03-15 遠隔作業支援装置、指示用端末及び現場用端末
US15/772,775 US20180241967A1 (en) 2016-03-15 2016-03-15 Remote work assistance device, instruction terminal and onsite terminal
TW105120461A TWI579666B (zh) 2016-03-15 2016-06-29 A remote operation support device, an instruction terminal, and a field terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/058126 WO2017158718A1 (ja) 2016-03-15 2016-03-15 遠隔作業支援装置、指示用端末及び現場用端末

Publications (1)

Publication Number Publication Date
WO2017158718A1 true WO2017158718A1 (ja) 2017-09-21

Family

ID=59241087

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/058126 WO2017158718A1 (ja) 2016-03-15 2016-03-15 遠隔作業支援装置、指示用端末及び現場用端末

Country Status (4)

Country Link
US (1) US20180241967A1 (ja)
JP (1) JP6309176B2 (ja)
TW (1) TWI579666B (ja)
WO (1) WO2017158718A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020080147A (ja) * 2018-11-13 2020-05-28 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法
WO2021033400A1 (ja) * 2019-08-21 2021-02-25 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
WO2023286115A1 (ja) * 2021-07-12 2023-01-19 日本電気株式会社 表示制御装置、表示システム、表示方法及びコンピュータ可読媒体
JP2023016589A (ja) * 2021-07-21 2023-02-02 東芝デジタルエンジニアリング株式会社 点検作業順表示装置および点検作業支援システム
JPWO2023073775A1 (ja) * 2021-10-25 2023-05-04
WO2023218740A1 (ja) * 2022-05-13 2023-11-16 株式会社Ｎｔｔドコモ 表示制御システムおよびウェアラブル装置
US11892822B2 (en) 2021-01-08 2024-02-06 Mitsubishi Electric Corporation Maintenance support system, maintenance support method and maintenance management server

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132487A (ja) * 2000-10-25 2002-05-10 Oki Electric Ind Co Ltd 遠隔作業支援システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3265893B2 (ja) * 1995-02-13 2002-03-18 株式会社日立製作所 画像表示装置
JP2002027567A (ja) * 2000-07-12 2002-01-25 Hitachi Kokusai Electric Inc 半導体製造装置のリモート操作システム、半導体製造装置および遠隔操作装置
JP4316210B2 (ja) * 2002-08-27 2009-08-19 東京エレクトロン株式会社 保守システム，基板処理装置及び遠隔操作装置
US20040093516A1 (en) * 2002-11-12 2004-05-13 Hornbeek Marc William Anthony System for enabling secure remote switching, robotic operation and monitoring of multi-vendor equipment
EP1950954B1 (en) * 2005-11-11 2011-04-06 Sony Corporation Image processing device, image processing method, program thereof, recording medium containing the program, and imaging device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132487A (ja) * 2000-10-25 2002-05-10 Oki Electric Ind Co Ltd 遠隔作業支援システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOMOAKI ADACHI: "A Telepresence System using Live Video Projection onto a 3D Scene Model", IEICE TECHNICAL REPORT, vol. 104, no. 490, 17 January 2005 (2005-01-17), pages 7 - 12, XP055420430 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020080147A (ja) * 2018-11-13 2020-05-28 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法
JP7337654B2 (ja) 2018-11-13 2023-09-04 株式会社東芝 保全活動サポートシステムおよび保全活動サポート方法
WO2021033400A1 (ja) * 2019-08-21 2021-02-25 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US11892822B2 (en) 2021-01-08 2024-02-06 Mitsubishi Electric Corporation Maintenance support system, maintenance support method and maintenance management server
WO2023286115A1 (ja) * 2021-07-12 2023-01-19 日本電気株式会社 表示制御装置、表示システム、表示方法及びコンピュータ可読媒体
JP2023016589A (ja) * 2021-07-21 2023-02-02 東芝デジタルエンジニアリング株式会社 点検作業順表示装置および点検作業支援システム
JP7410417B2 (ja) 2021-07-21 2024-01-10 東芝デジタルエンジニアリング株式会社 点検作業順表示装置および点検作業支援システム
JPWO2023073775A1 (ja) * 2021-10-25 2023-05-04
WO2023073775A1 (ja) * 2021-10-25 2023-05-04 三菱電機株式会社 情報処理装置、情報処理方法、及び、情報処理プログラム
JP7374396B2 (ja) 2021-10-25 2023-11-06 三菱電機株式会社 情報処理装置、情報処理方法、及び、情報処理プログラム
WO2023218740A1 (ja) * 2022-05-13 2023-11-16 株式会社Ｎｔｔドコモ 表示制御システムおよびウェアラブル装置

Also Published As

Publication number Publication date
US20180241967A1 (en) 2018-08-23
JPWO2017158718A1 (ja) 2018-03-22
JP6309176B2 (ja) 2018-04-11
TWI579666B (zh) 2017-04-21
TW201809934A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
JP6309176B2 (ja) 遠隔作業支援装置、指示用端末及び現場用端末
KR101566543B1 (ko) 공간 정보 증강을 이용하는 상호 인터랙션을 위한 방법 및 시스템
JP6249248B2 (ja) 投影装置
TWI400940B (zh) 遠端控制軌道式攝影裝置的手持式裝置及方法
US20050264655A1 (en) Camera controller
JP2018112789A (ja) 情報処理システム、情報処理プログラム、情報処理装置、情報処理方法、ゲームシステム、ゲームプログラム、ゲーム装置、及びゲーム方法
JP5708051B2 (ja) 映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置
JP2004128997A (ja) 映像遠隔制御装置，映像遠隔制御方法，映像遠隔制御プログラムおよび映像遠隔制御プログラムを記録した記録媒体
US20140210957A1 (en) Stereoscopic imaging apparatus and method of displaying in-focus state confirmation image
US11494149B2 (en) Display system, information processing device, display control method of display system
JP4199641B2 (ja) プロジェクタ装置
JP2009200697A (ja) 画像送信装置、画角制御方法、画像受信装置、画像表示システム、画像表示方法
JP2014039166A (ja) 自動追尾カメラの制御装置及びそれを備える自動追尾カメラ
JP6494060B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101700360B1 (ko) 공통화각 표시 기능을 갖는 디지털 촬영 장치, 이의 제어 방법 및 상기 방법을 기록한 기록 매체
JP4839858B2 (ja) 遠隔指示システム及び遠隔指示方法
JP5508308B2 (ja) 数値制御機器のテレビカメラモニター画面の関連操作方法
JP2016201007A (ja) 搬送設備の遠隔メンテナンスシステム
JP2015053734A (ja) プロジェクター、画像投写システムおよび画像投写方法
JP2013238891A (ja) プロジェクター、画像投写システムおよび画像投写方法
WO2021131325A1 (ja) 画像処理装置、画像処理方法、プログラム
JP4556944B2 (ja) 投影装置、測距処理方法及びプログラム
JPS6231272A (ja) 雲台制御装置
JPH07274150A (ja) 遠隔カメラ操作機能を有するテレビ会議装置
JP2023106132A (ja) 情報処理装置及び情報処理方法、撮像装置、プログラム、記憶媒体

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017547024

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15772775

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16894342

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16894342

Country of ref document: EP

Kind code of ref document: A1