WO2024019002A1 - 情報処理方法、情報処理装置、及び情報処理プログラム - Google Patents

情報処理方法、情報処理装置、及び情報処理プログラム Download PDF

Info

Publication number
WO2024019002A1
WO2024019002A1 PCT/JP2023/026001 JP2023026001W WO2024019002A1 WO 2024019002 A1 WO2024019002 A1 WO 2024019002A1 JP 2023026001 W JP2023026001 W JP 2023026001W WO 2024019002 A1 WO2024019002 A1 WO 2024019002A1
Authority
WO
WIPO (PCT)
Prior art keywords
worker
information
stable state
posture
position information
Prior art date
Application number
PCT/JP2023/026001
Other languages
English (en)
French (fr)
Inventor
光波 中
正真 遠間
智司 松井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2024019002A1 publication Critical patent/WO2024019002A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present disclosure relates to technology for supporting workers remotely on site.
  • Patent Document 1 discloses a 3D model generation device that generates a 3D model of a subject by a visual volume intersection method based on camera images of a close camera and a pull camera, and a 3D model is generated by assuming that the subject exists outside the field of view of the close camera. Disclose that it generates.
  • Patent Document 1 only generates a virtual camera image that is closed in a virtual space, and does not disclose that a virtual camera image linked to a real space is generated. Therefore, Patent Document 1 has a problem in that when the position and posture of the virtual camera are updated based on the position and posture of the worker during a period when the worker moves a lot, a virtual camera image with low visibility is generated. cannot occur.
  • the present disclosure has been made to solve such problems, and aims to provide a technology that prevents the generation of virtual camera images that change rapidly and have low visibility.
  • An information processing method in one aspect of the present disclosure is an information processing method in an information processing apparatus that supports work of a worker, the method acquires position information and posture information of the worker in real space, and acquires position information and posture information of the worker in real space.
  • the posture information is used to update the position and posture of a virtual camera installed in a virtual space that simulates the real space, and it is determined whether the worker is in a stable state based on the position information. , when it is determined that the worker is not in the stable state, the update frequency of the position information and the posture information is reduced compared to when it is determined that the worker is in the stable state.
  • FIG. 1 is a block diagram showing an example of the overall configuration of an information processing system in Embodiment 1.
  • FIG. FIG. 2 is a diagram showing an overview of processing of the information processing system.
  • FIG. 3 is a diagram showing how spatial calibration is performed.
  • FIG. 3 is a diagram showing how spatial calibration is performed.
  • 3 is a flowchart illustrating an example of processing of the information processing system in the first embodiment.
  • 7 is a flowchart illustrating an example of processing of the information processing system in Embodiment 2.
  • FIG. 12 is a flowchart illustrating an example of processing of the information processing system in Embodiment 3.
  • 12 is a flowchart illustrating an example of processing of the information processing system in Embodiment 4.
  • 12 is a flowchart illustrating an example of processing of the information processing system in Embodiment 5.
  • the worker may proceed with the work while checking instructions from a remote person located outside the work site.
  • the remote person can confirm which part of the object the worker is looking at, the remote person can smoothly give instructions to the worker.
  • a photographing device such as an action camera or smart glasses
  • a remote person can check which part of the object the worker is looking at.
  • the present inventor created and generated a virtual camera image that reproduces the field of view of the worker at the site in virtual space.
  • the inventor proposed that if the frequency of updating the position and posture of the virtual camera based on position and posture information is lowered when the worker is not in a stable state compared to when the worker is in a stable state, the changes will be more noticeable when the worker is not in a stable state.
  • the present disclosure was conceived based on the knowledge that generation of virtual camera images with low quality can be prevented.
  • An information processing method in one aspect of the present disclosure is an information processing method in an information processing device that supports work of a worker, which acquires position information and posture information of the worker in real space, and acquires position information and posture information of the worker in real space.
  • the information and the posture information are used to update the position and posture of a virtual camera installed in a virtual space that simulates the real space, and determine whether the worker is in a stable state based on the position information.
  • the update frequency of the position information and the posture information is reduced compared to when it is determined that the worker is in the stable state.
  • the frequency of updating the position and orientation of the virtual camera based on the position information and orientation information is lower than when the worker is in a stable state. Therefore, the position and orientation of the virtual camera are stabilized, and it is possible to prevent the generation of virtual camera images that change drastically and have low visibility.
  • the stable state may indicate a state in which the worker is not accelerating or decelerating.
  • the determination calculates acceleration from the position information, and if the absolute value of the acceleration exceeds a reference acceleration, it is determined that the stable state is not present, and the The method may include determining that the stable state is reached when the absolute value is less than the reference acceleration.
  • the stable state may indicate a state in which the worker is stopped.
  • the determination calculates a speed from the position information, and if the speed exceeds a reference speed, it is determined that the worker is not in the stable state, and the If the speed is lower than the reference speed, the operator may determine that the stable state is reached.
  • the method includes determining whether the period from the last update to the present exceeds a certain period, and the reduction in the update frequency includes executing the update if it is determined that the period exceeds the certain period. May include.
  • the information processing method further includes applying a low-pass filter to the displacement of the position information and the displacement of the posture information to obtain the position information and the posture.
  • a correction process for correcting the information is performed, and the correction process is configured to perform a correction process to correct the low-pass information when it is determined that the worker is not in the stable state, compared to when it is determined that the worker is in the stable state. It may also include reducing the cutoff frequency of the filter.
  • the cutoff frequency of the low-pass filter is shifted to a lower frequency side than when the worker is in a stable state, so position information and posture information from which drastic changes have been removed are obtained. be obtained.
  • the position information and posture information are stabilized, and it is possible to prevent the generation of virtual camera images that change rapidly and have low visibility.
  • the position and orientation of the virtual camera are further updated using the position information and the orientation information, and the virtual camera A virtual camera image may be generated by photographing the virtual space, and the virtual camera image may be further displayed on a display.
  • the decrease in the update frequency means that the update is not performed when it is determined that the worker is not in the stable state. and executing the update when it is determined that the worker is in the stable state.
  • the position information and posture information are updated only when the worker is in a stable state, so it is possible to more reliably prevent the generation of virtual camera images that change rapidly and have low visibility.
  • An information processing apparatus is an information processing system that includes a processor and supports work of a worker, wherein the processor has position information and posture information of the worker in real space.
  • the position information and the posture information are used to update the position and posture of a virtual camera installed in a virtual space that simulates the real space, and the worker is stabilized based on the position information. If it is determined that the worker is not in the stable state, the position information and the posture information are updated more often than in the case where it is determined that the worker is in the stable state. Perform a process to reduce the frequency.
  • An information processing program is an information processing program that causes a computer to execute an information processing method for supporting work of a worker, and includes position information and posture of the worker in real space.
  • the position information and the posture information are used to update the position and posture of a virtual camera installed in a virtual space that simulates the real space, and the worker It is determined whether or not the worker is in a stable state, and when it is determined that the worker is not in the stable state, the position information and the posture information are The computer is caused to execute a process that reduces the update frequency.
  • the present disclosure can also be realized as an information update system operated by such an information processing program. Further, it goes without saying that such a computer program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM or a communication network such as the Internet.
  • FIG. 1 is a block diagram showing an example of the overall configuration of an information processing system 100 according to the first embodiment.
  • the information processing system 100 is a system in which a remote person in a remote location supports a worker working on an object. Specifically, by recreating the image visible to workers on site in a virtual space, and allowing a remote person to view the image in the virtual space, information can be shared between the worker and the remote person. , a system that supports workers' work from a remote location.
  • a virtual space is a virtual three-dimensional space constructed within a computer.
  • the information processing system 100 includes a detection device 1, a worker terminal 2, and a remote terminal 3.
  • the detection device 1 and the worker terminal 2 are located at the site where the target object is installed.
  • Remote terminal 3 is located at a remote location.
  • the detection device 1 and the worker terminal 2 are communicably connected via a communication path C1.
  • the communication path C1 may be a wireless communication path such as a wireless LAN or Bluetooth (registered trademark), or may be a wired communication path.
  • the worker terminal 2 and the remote terminal 3 are connected via a network NT.
  • the network NT is a wide area communication network including, for example, the Internet.
  • the detection device 1 is a sensor that detects the position and posture of the worker at the site.
  • an optical motion capture system or a self-position estimation system can be adopted.
  • An optical motion capture system is a system that detects the position and posture of a worker by photographing the worker wearing a marker on the head using an optical tracker.
  • a self-position estimation system is a system that detects the position and posture of a worker by taking an image of the site with a camera worn by the worker and applying SLAM (Simultaneous Localization and Mapping) technology to the obtained image. It is. Note that in the self-position estimation system, the position and posture of the worker may be detected using a laser sensor such as Lidar instead of the camera.
  • the detection device 1 transmits position information indicating the detected position of the worker and posture information indicating the posture of the worker to the worker terminal 2.
  • position information three-dimensional coordinate data indicating the position of a specific part (for example, the head) of the worker in real space can be adopted.
  • the posture information can be a three-dimensional vector indicating the direction of the worker's head in real space.
  • the direction of the head for example, the front direction of the head can be adopted.
  • the detection device 1 detects the position and posture of the worker at a predetermined sampling rate, and transmits the position information and posture information to the worker terminal 2 at the predetermined sampling rate. Thereby, the remote terminal 3 can acquire position information and attitude information in real time.
  • the worker terminal 2 is, for example, a portable information terminal carried by the worker. Examples of portable information terminals are smartphones, tablet computers, and smart glasses.
  • the worker terminal 2 includes a communication section 21, a processor 22, and a communication section 25.
  • the communication unit 21 is composed of a communication circuit that can communicate with the detection device 1.
  • the communication unit 21 receives position information and orientation information transmitted from the detection device 1 at a predetermined sampling rate.
  • the processor 22 is composed of a central processing unit (CPU), and includes an acquisition section 23 and a determination section 24.
  • the acquisition unit 23 and the determination unit 24 are realized by the processor 22 executing an information processing program.
  • the acquisition unit 23 and the determination unit 24 may be configured with a dedicated hardware circuit such as an ASIC.
  • the acquisition unit 23 acquires the position information and orientation information transmitted from the detection device 1 at a predetermined sampling rate via the communication unit 21.
  • the determination unit 24 determines whether the worker is in a stable state based on the position information acquired by the acquisition unit 23.
  • the stable state refers to a state in which the worker is not accelerating or decelerating, that is, a state in which the worker is stopped and moving at a constant speed.
  • the determination unit 24 calculates the acceleration of the worker by second-order differentiating the position information. If the absolute value of the calculated acceleration exceeds the reference acceleration, the determination unit 24 determines that the worker is not in a stable state, that is, is in an acceleration-deceleration state of acceleration or deceleration. On the other hand, when the absolute value of the calculated acceleration is less than the reference acceleration, the determination unit 24 determines that the worker is in a stable state, that is, not in a low acceleration state.
  • the acceleration state refers to the state from when the worker starts an acceleration operation to move until the moving speed reaches a constant speed.
  • the deceleration state refers to the state from when a moving worker starts decelerating to stop until the worker stops.
  • the determination unit 24 determines that the worker is in an acceleration/deceleration state, the determination unit 24 does not transfer the position information and posture information acquired by the acquisition unit 23 to the remote terminal 3 using the communication unit 25. On the other hand, when determining that the worker is not in an acceleration/deceleration state, the determination unit 24 transfers the position information and posture information acquired by the acquisition unit 23 to the remote terminal 3 using the communication unit 25.
  • the communication unit 25 is composed of a communication circuit that connects the worker terminal 2 to the network NT.
  • the communication unit 25 transmits position information and orientation information to the remote terminal 3 under the control of the determination unit 24 .
  • the remote terminal 3 is, for example, a terminal installed in a remote location away from the site.
  • the remote terminal 3 may be a desktop computer or a portable computer such as a smartphone or a tablet computer.
  • the remote terminal 3 includes a communication unit 31, a memory 32, a processor 33, and a display 34.
  • the communication unit 31 is composed of a communication circuit that connects the remote terminal 3 to the network NT, and acquires position information and posture information transmitted from the worker terminal 2.
  • the memory 32 is composed of a rewritable nonvolatile storage device such as a solid state drive and a hard disk drive, and stores a three-dimensional model, position information, orientation information, and calibration information.
  • the three-dimensional model is a three-dimensional model that simulates the shape of an object.
  • the position information and posture information are the position information and posture information transmitted from the worker terminal 2.
  • the calibration information is information that associates the real space indicating the site with the virtual space.
  • the calibration information includes real reference vectors and virtual reference vectors.
  • the real reference vector is a three-dimensional vector whose starting point is the initial position of the worker in real space and whose ending point is the position of the object.
  • the virtual reference vector is a three-dimensional vector whose starting point is the initial position of the worker in the virtual space and whose ending point is the position of the three-dimensional model of the object.
  • Calibration information is generated by performing spatial calibration, which will be described later.
  • the processor 33 is composed of, for example, a central processing unit (CPU), and includes a calibration execution section 331 and an image generation section 332.
  • the calibration execution unit 331 and the video generation unit 332 are realized by the processor 33 executing an information processing program. However, this is just an example, and the calibration execution unit 331 and the video generation unit 332 may be configured with a dedicated hardware circuit such as an ASIC.
  • the calibration execution unit 331 executes spatial calibration to associate the real space indicating the site with the virtual space. Spatial calibration is performed as pre-processing before workers start work on site.
  • the video generation unit 332 updates the position and posture of the worker with the position and posture of the virtual camera installed in the virtual space. Thereby, the position and posture of the worker and the position and posture of the virtual camera are synchronized.
  • the image generation unit 332 generates a virtual camera image obtained by photographing a virtual space using a synchronized virtual camera.
  • the video generation unit 323 displays the virtual camera video on the display 34.
  • the display 34 is composed of a display device such as a liquid crystal display panel, and displays the virtual camera image generated by the image generation section 323.
  • FIG. 2 is a diagram showing an overview of the processing of the information processing system 100.
  • a target object 211 is installed at the site.
  • the worker 212 performs some kind of work on the object 211 at the site.
  • the information processing system 100 reproduces the image within the visual field of the worker 212 in virtual space.
  • the information processing system 100 constructs a three-dimensional model 222 that simulates the object 211 in a virtual space 221 and photographs the three-dimensional model 222 with a virtual camera 223 placed in the virtual space 221.
  • a virtual camera image 230 is generated.
  • the generated virtual camera image 230 is displayed on the display 34 of the remote terminal 3 located at a remote location.
  • the virtual camera 223 is synchronized with the position and posture of the worker 212.
  • a remote person viewing the virtual camera image can confirm which position of the object 211 the worker 212 is gazing at.
  • the remote person can provide appropriate support to the worker.
  • the site is, for example, a real space where objects are installed.
  • An example of a site is a factory, a laboratory, a testing site, a chemical plant, etc.
  • the factory may be a factory that manufactures electrical products such as televisions and washing machines, or a factory that manufactures automobiles, iron, etc.
  • These sites are just examples, and any location may be used as long as a worker performs work on an object.
  • the site may be a location where equipment or equipment maintenance is performed.
  • Examples of objects include equipment to be maintained and products manufactured on a production line.
  • Examples of manufactured products are electrical products, automobiles, etc.
  • An example of the equipment is a factory production line.
  • the real space 600 is a three-dimensional real space showing the site, and is defined by mutually orthogonal x, y, and z axes.
  • the virtual space 700 is a three-dimensional virtual space that simulates a site, and is defined by X, Y, and Z axes that are orthogonal to each other.
  • the calibration execution unit 331 acquires the initial position P1 of the marker M1 installed at a position a reference distance D1 away from the target object 211 in the real space 600.
  • the height h1 of the initial position P1 from the ground surface 601 is the same as the height of the center position O1 of the object 211 from the ground surface 601, and the attitude direction D2 of the marker M1 is parallel to the ground surface 601. shall be.
  • the initial position P1 is detected by the detection device 1 and transmitted to the remote terminal 3 via the worker terminal 2.
  • the calibration execution unit 331 places the virtual marker M2 and the three-dimensional model 222 in the virtual space 700 so that the relative positional relationship between the initial position P1 and the center position O1 in the real space 600 is maintained. Install. Specifically, the calibration execution unit 331 sets a virtual marker at a height h1' corresponding to the height h1 from the virtual ground plane 701 in the virtual space 700 so that the attitude direction D2' is parallel to the virtual ground plane 701. Install M2. Next, the calibration execution unit 331 installs the three-dimensional model 222 at a center position O1' spaced apart from the virtual marker M2 by a reference distance D1' in parallel with the posture direction D2'.
  • the calibration execution unit 331 calculates an actual reference vector V0 from the initial position P1 to the center position O1, and a virtual reference vector V0' from the virtual initial position P1' to the center position O1'.
  • the calibration execution unit 331 stores the real reference vector V0 and the virtual reference vector V0' in the memory 32 as calibration information.
  • the spatial calibration using the marker M1 is illustrated here, the spatial calibration may be performed using the position of the worker's head as the initial position P1 instead of the marker M1.
  • the video generation unit 332 calculates the vector from the position P2 to the center position O1 as the real space vector V1.
  • the real space vector V1 is a vector indicating the relative position of the worker during work with respect to the object 211.
  • the video generation unit 332 calculates a difference vector ⁇ V between the real space vector V1 and the real reference vector V0.
  • the video generation unit 332 adds the difference vector ⁇ V to the virtual reference vector V0' in the virtual space 700 to calculate a virtual space vector V1'.
  • the virtual space vector V1' is a vector indicating the relative position of the worker during work with respect to the three-dimensional model 222.
  • the video generation unit 332 determines the starting point (position P2') in the virtual space vector V1' as the position of the virtual camera.
  • the video generation unit 332 determines the posture of the worker detected by the detection device 1 as the posture of the virtual camera.
  • the video generation unit 332 may calculate the position P2' using the position of the worker's head detected by the detection device 1 as the position P2.
  • FIG. 5 is a flowchart illustrating an example of processing of the information processing system 100 in the first embodiment. This process is started when a worker starts work at the site. It is also assumed that spatial calibration has been executed before this process is started.
  • step S1 the detection device 1 detects the position information and posture information of the worker.
  • step S2 the acquisition unit 23 of the worker terminal 2 acquires position information and posture information using the communication unit 21.
  • step S3 the determination unit 24 of the worker terminal 2 calculates acceleration by second-order differentiation of the position information acquired in step S2.
  • step S4 the determination unit 24 determines whether the worker is in an acceleration/deceleration state using the acceleration calculated in step S3.
  • the determination unit 24 determines that the acceleration/deceleration state is present when the absolute value of the acceleration exceeds the reference acceleration, and determines that the acceleration/deceleration state is not present when the absolute value of the acceleration is less than the reference acceleration. If it is determined that the worker is in an accelerated or decelerated state (YES in step S4), the process returns to step S2. In this case, position information and orientation information are not transmitted to the remote terminal 3. Therefore, the position and orientation of the virtual camera are not updated using the position information and orientation information. On the other hand, if it is determined that the worker is not in an accelerated or decelerated state (NO in step S4), the process proceeds to step S5.
  • step S5 the determination unit 24 uses the communication unit 25 to transfer the position information and posture information acquired in step S2 to the remote terminal 3.
  • step S6 the video generation unit 332 of the remote terminal 3 uses the position information and posture information and the calibration information transferred in step S5 to determine the position and posture of the worker and the position and posture of the virtual camera. Synchronize with. Details of the synchronization process have been described above.
  • step S7 the video generation unit 332 generates a virtual camera video captured by the synchronized virtual camera.
  • the video generation unit 332 generates a virtual camera video by rendering a virtual space using a virtual camera.
  • step S8 the video generation unit 332 displays the virtual camera video on the display 34.
  • step S9 the video generation unit 332 determines whether remote work support is to be continued. If remote work support is to be continued (YES in step S9), the process returns to step S2. If remote work support is not to be continued (NO in step S9), the process ends.
  • the remote work support is ended by the worker inputting an instruction to end the remote work support into the worker terminal 2. Therefore, when the communication unit 31 receives this instruction from the worker terminal 2, the video generation unit 332 determines that the remote work support has ended, and when the instruction is not received, it may determine that the remote work support is to be continued.
  • position information and posture information are output only when the worker is in a stable state, so the position and posture of the virtual camera are determined based on the position and posture of the worker during periods of large movement. is prevented from being updated. Therefore, the position and orientation of the virtual camera are stabilized, and it is possible to prevent the generation of virtual camera images that change drastically and have low visibility.
  • Embodiment 2 In the second embodiment, when the speed of the worker exceeds the reference speed, it is determined that the worker is not in a stable state.
  • the same components as in Embodiment 1 are given the same reference numerals, and the description thereof will be omitted.
  • FIG. 1 is used as a block diagram.
  • the determination unit 24 calculates the speed of the worker by first-order differentiation of the position information acquired by the acquisition unit 23. If the calculated speed exceeds the reference speed, the determination unit 24 determines that the worker is not in a stable state, that is, is moving. On the other hand, when the calculated speed is lower than the reference speed, the determination unit 24 determines that the worker is in a stable state, that is, is not moving.
  • FIG. 6 is a flowchart illustrating an example of processing of the information processing system 100 in the second embodiment. Steps S21, S22, and S25 to S29 are the same as steps S1, S2, and S5 to S9 in FIG. 5, so their explanation will be omitted.
  • step S23 the determination unit 24 calculates the speed by first-order differentiation of the position information acquired by the acquisition unit 23.
  • step S24 the determination unit 24 determines whether the worker is moving by comparing the speed calculated in step S23 with the reference speed. Specifically, if the speed exceeds the reference speed, the determination unit 24 determines that the worker is moving (YES in step S24), and returns the process to step S22. In this case, position information and orientation information are not transferred to the remote terminal 3. Therefore, the position and orientation of the virtual camera are not updated using the position information and orientation information. On the other hand, if the speed is lower than the reference speed, the determination unit 24 determines that the worker is not moving (NO in step S24), and the process proceeds to step S25. In this case, position information and orientation information are transferred to the remote terminal 3.
  • the position and posture of the virtual camera are prevented from being updated to the position and posture of the moving worker, so virtual camera images that change rapidly and have low visibility are prevented. Can be prevented from being generated.
  • Embodiment 3 controls the updating of position information and orientation information in Embodiment 1, taking into consideration the period since the last update.
  • the same components as in Embodiments 1 and 2 are given the same reference numerals, and the description thereof will be omitted.
  • FIG. 1 is used as a block diagram.
  • the determination unit 24 determines whether or not the period from the previous update to the present time exceeds a certain period for the position information and posture information. If this period exceeds a certain period, the determination unit 24 transfers the position information and orientation information to the remote terminal 3 using the communication unit 25. If this period does not exceed a certain period, the determination unit 24 does not transfer the position information and orientation information. For the fixed period, an appropriate value such as 1 minute, 3 minutes, etc. is adopted.
  • FIG. 7 is a flowchart illustrating an example of processing of the information processing system 100 in the third embodiment. Steps S41 to S43 and S45 to S49 are the same as steps S1 to S3 and S5 to S9 in FIG. 5, so their explanation will be omitted.
  • step S44 determines whether the period from the last update to the present time exceeds a certain period for the position information and posture information. It is determined whether or not (step S50). If this period exceeds a certain period (YES in step S50), the process proceeds to step S45. In this case, position information and orientation information are transferred to the remote terminal 3. Therefore, the position and orientation of the virtual camera are updated using the position information and orientation information. On the other hand, if this period does not exceed the certain period (NO in step S50), the process returns to step S42. In this case, position information and orientation information are not transferred to the remote terminal 3. Therefore, the position and orientation of the virtual camera are not updated using the position information and orientation information.
  • the period from the last update to the current time of the position information and posture information is a certain period. If it exceeds, the position information and orientation information are transferred to the remote terminal 3, and the position and orientation information of the virtual camera are updated using the transferred position information and orientation information. Therefore, it is possible to prevent the position and posture of the worker from becoming out of synchronization with the position and posture of the virtual camera over a long period of time. This allows remote personnel to appropriately manage workers.
  • Embodiment 4 in Embodiment 4, in Embodiment 2, updating of position information and orientation information is controlled by taking into consideration the period since the last update.
  • the same components as in Embodiments 1 to 3 are given the same reference numerals, and the description thereof will be omitted.
  • FIG. 1 is used as a block diagram.
  • the determination unit 24 determines whether the period from the previous update to the current time exceeds a certain period for the position information and posture information. If this period exceeds a certain period, the determination unit 24 transfers the position information and orientation information to the remote terminal 3 using the communication unit 25. If this period does not exceed a certain period, the determination unit 24 does not transfer the position information and orientation information. For the fixed period, an appropriate value such as 1 minute, 3 minutes, 10 minutes, etc. is adopted.
  • FIG. 8 is a flowchart illustrating an example of processing of the information processing system 100 in the fourth embodiment. Steps S61 to S63 and S65 to S69 are the same as steps S21 to S23 and S25 to S29 in FIG. 6, so their explanation will be omitted.
  • step S70 determines whether the period from the last update to the present time exceeds a certain period for the position information and posture information. If this period exceeds a certain period (YES in step S70), the process proceeds to step S65. In this case, position information and orientation information are transferred to the remote terminal 3. Therefore, the position and orientation of the virtual camera are updated using the position information and orientation information. On the other hand, if this period does not exceed the certain period (NO in step S70), the process returns to step S62. In this case, position information and orientation information are not transferred to the remote terminal 3. Therefore, the position and orientation of the virtual camera are not updated using the position information and orientation information.
  • the fourth embodiment even if it is determined that the worker is not moving, the period from the last update to the current time for the position information and posture information exceeds a certain period. If so, the position information and orientation information are transferred to the remote terminal 3, and the position and orientation of the virtual camera are updated using the transferred position information and orientation information. Therefore, it is possible to prevent the position and orientation of the virtual camera from not being updated due to the position and orientation of the worker over a long period of time, and the remote person can appropriately manage the worker.
  • Embodiment 5 executes correction processing on position information and orientation information in Embodiment 1.
  • the same components as those in Embodiments 1 to 4 are given the same reference numerals, and the description thereof will be omitted.
  • FIG. 1 is used as a block diagram.
  • the acquisition unit 23 executes a correction process of correcting the position information and posture information by applying a low-pass filter to the displacement of the worker's position information and the displacement of the posture information.
  • the displacement of position information is, for example, the difference between the position information at the current sample time and the position information at the previous sample time, that is, the moving speed. Since position information is composed of three-dimensional coordinate data, a difference in position information is expressed as a difference in three-dimensional coordinate data.
  • the displacement of posture information is the difference between the posture information at the current sample time and the posture information at the previous sample time, that is, the speed at which the posture changes. Since posture information is represented by a three-dimensional vector, a difference in posture information is represented by a three-dimensional vector.
  • the correction process includes lowering the cutoff frequency of the low-pass filter when the determination unit 24 determines that the worker is not in an acceleration or deceleration state, compared to when it is determined that the worker is in an acceleration or deceleration state. .
  • FIG. 9 is a flowchart illustrating an example of processing of the information processing system 100 in the fifth embodiment.
  • Steps S81 to S82 and S84 to S90 are the same as steps S1 to S2 and S3 to S9 in FIG. 5, so their explanation will be omitted. That is, the difference is that a correction process is added in step S83.
  • step S83 the acquisition unit 23 performs a correction process of correcting the position information and posture information by applying a low-pass filter to the displacement of the position information and the displacement of the posture information of the worker.
  • a low-pass filter For example, it is assumed that the bands of displacement of position information and displacement of attitude information are divided in advance into a low frequency region, a medium frequency region, and a high frequency region. In this case, if it is determined that the worker is in an acceleration/deceleration state, the acquisition unit 23 sets the cutoff frequency of the low-pass filter to the first frequency at the boundary between the low frequency region and the medium frequency region.
  • the acquisition unit 23 sets the cutoff frequency of the low-pass filter to the second frequency (>first frequency) at the boundary between the medium frequency region and the high frequency region. good. Thereby, when the worker is in an acceleration/deceleration state, the high frequency region and the medium frequency region are cut off, and when the worker is not in the acceleration/deceleration state, the high frequency region is cut off.
  • the details of the correction process are as follows. Let z(t) be the value of position information or orientation information at a certain sample time t. Let ⁇ z(t) be the displacement between the sample time (t-1) and the sample time t. The acquisition unit 23 applies a low-pass filter in which a first frequency or a second frequency is set to the displacement ⁇ z(t). Let ⁇ z'(t) be the displacement after applying the low-pass filter. The acquisition unit 23 calculates the corrected value z'(t) of the sample time t by adding ⁇ z'(t) to the value z(t-1) of the sample time (t-1). The acquisition unit 23 executes the correction process by applying such processing to each sample time.
  • the cutoff frequency of the low-pass filter is shifted to the lower frequency side compared to when the worker is not in an acceleration/deceleration state, so that drastic changes are eliminated.
  • the position information and orientation information are acquired. This can prevent generation of virtual camera images that change rapidly and have low visibility. Furthermore, since the position information is stabilized, the accuracy of determining whether the worker is in a stable state is improved.
  • the position and orientation of the virtual camera based on the position information and orientation information are updated only when it is in a stable state, but the present disclosure is not limited to this, and when it is not in a stable state , the frequency of such updates may be reduced compared to the steady state case.
  • the determination unit 24 transfers the position information and posture information to the remote terminal 3 at the first sampling rate, and if the worker is not in a stable state, the determination unit 24 transfers the position information and posture information to the remote terminal 3. may be transferred to the remote terminal 3 at the second sampling rate.
  • a value lower than the first sampling rate can be adopted as the second sampling rate.
  • the first sampling rate a sampling rate at which the detection device 1 detects position information and orientation information can be adopted.
  • the correction processing shown in the fifth embodiment may be applied to the second to fourth embodiments.
  • the correction process is applied to Embodiments 3 and 4
  • YES is determined in step S50 or YES in step S70
  • synchronization is performed using position information and posture information in which the intensity of movement is reduced. Since the processing is performed, generation of virtual camera images that change rapidly is suppressed.
  • position information was calculated using an optical motion capture system or SLAM technology, but values detected by a GPS sensor may also be used.
  • the acquisition unit 23 and the determination unit 24 are provided in the worker terminal 2, but they may also be provided in the processor 33 of the detection device 1 or the remote terminal 3.
  • the information processing device may be configured with the worker terminal 2 or may include the worker terminal 2 and the remote terminal 3.
  • the display 34 may be removed from the remote terminal 3 component.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

情報処理装置は、実空間における作業者の位置情報及び姿勢情報を取得し、位置情報及び姿勢情報は、作業者の位置及び姿勢を実空間を模擬したバーチャル空間に設置されたバーチャルカメラの位置及び姿勢を更新するために用いられ、位置情報に基づいて作業者が安定状態にあるか否かを判定し、作業者が安定状態にないと判定した場合、作業者が安定状態にあると判定した場合に比べて、位置情報及び姿勢情報の更新頻度を低下させる。

Description

情報処理方法、情報処理装置、及び情報処理プログラム
　本開示は、遠隔から現場にいる作業者を支援する技術に関するものである。
　特許文献１は、寄りカメラ及び引きカメラのカメラ映像に基づいて視体積交差法により被写体の３Ｄモデルを生成する３Ｄモデル生成装置において、寄りカメラの画角範囲外に被写体が存在するとみなして３Ｄモデルを生成することを開示する。
　しかしながら、特許文献１では、バーチャル空間に閉じたバーチャルカメラ映像が生成されているに過ぎず、実空間と紐づいたバーチャルカメラ映像が生成されることは開示されていない。よって、特許文献１には、作業者の動きが大きい期間における作業者の位置及び姿勢でバーチャルカメラの位置及び姿勢を更新させた場合に視認性の低いバーチャルカメラ映像が生成されてしまう、といった課題は生じ得ない。
特開２０２２－２９７３０号公報
　本開示は、このような課題を解決するためになされたものであり、変化が激しく視認性の低いバーチャルカメラ映像が生成されることを防止する技術を提供することを目的とする。
　本開示の一態様における情報処理方法は、作業者の作業を支援する情報処理装置における情報処理方法であって、実空間における前記作業者の位置情報及び姿勢情報を取得し、前記位置情報及び前記姿勢情報は、前記実空間を模擬したバーチャル空間に設置されたバーチャルカメラの位置及び姿勢を更新するために用いられ、前記位置情報に基づいて前記作業者が安定状態にあるか否かを判定し、前記作業者が前記安定状態にないと判定した場合、前記作業者が前記安定状態にあると判定した場合に比べて、前記位置情報及び前記姿勢情報の更新頻度を低下させる。
　本開示によれば、変化が激しく視認性の低いバーチャルカメラ映像が生成されることを防止できる。
実施の形態１における情報処理システムの全体構成の一例を示すブロック図である。 情報処理システムの処理の概要を示す図である。 空間キャリブレーションの様子を示す図である。 空間キャリブレーションの様子を示す図である。 実施の形態１における情報処理システムの処理の一例を示すフローチャートである。 実施の形態２における情報処理システムの処理の一例を示すフローチャートである。 実施の形態３における情報処理システムの処理の一例を示すフローチャートである。 実施の形態４における情報処理システムの処理の一例を示すフローチャートである。 実施の形態５における情報処理システムの処理の一例を示すフローチャートである。
　（本開示の基礎となる知見）
　作業現場において作業者が対象物に対して作業を行う場合、作業者は作業現場の外部に居る遠隔者からの指示を確認しながら、作業を進めることがある。この場合、作業者が対象物のどの部位を見ているかを遠隔者が確認できれば、遠隔者は作業者に対して円滑な指示を行うことができる。これを実現するために、例えば、作業者の頭部にアクションカメラやスマートグラスなどの撮影デバイスを装着させ、撮影デバイスが撮影した作業現場の映像を遠隔者が有する遠隔端末にリアルタイムで送信すれば、遠隔者は作業者が対象物のどの部位を見ているかを確認できる。
　しかしながら、セキュリティの観点から外部への映像の出力が禁止されている作業現場がある。この場合、遠隔者は作業者が見ている部位を確認できない、という課題がある。
　そこで、本発明者は、現場における作業者の位置及び姿勢とバーチャルカメラの位置及び姿勢と同期させることにより、現場における作業者の視野をバーチャル空間上で再現したバーチャルカメラ映像を生成し、生成したバーチャルカメラ映像を遠隔者の遠隔端末に表示する技術を検討している。
　この技術において、常時、作業者の位置及び姿勢をバーチャルカメラの位置及び姿勢に同期させると、歩行中の期間又は歩行の開始及び終了期間といった作業者の動きが大きな期間においてもかかる同期が実施される。このような動きが大きい期間においては、作業者の位置及び姿勢の変化が頻発するので、小刻みに揺れるような変化の激しいバーチャルカメラ映像が生成されてしまう。このような変化の激しいバーチャルカメラ映像は視認が困難であることに加えて、バーチャルカメラ映像を視認する遠隔者が画面酔いする可能性もある。遠隔者は対象物に対して何かしらの作業をしている作業者の動作を確認できれば十分であり、手振れなどの細かな動作の確認までは不要である。また、作業中において作業者はその場に留まっているので、位置及び姿勢の変化は激しくない。
　そこで、本発明者は、作業者が安定状態にない場合、安定状態にある場合に比べて、位置情報及び姿勢情報によるバーチャルカメラの位置及び姿勢の更新頻度を低下させれば、変化が激しく視認性の低いバーチャルカメラ映像の生成が防止されるとの知見を得て、本開示を想到するに至った。
　（１）本開示の一態様における情報処理方法は、作業者の作業を支援する情報処理装置における情報処理方法であって、実空間における前記作業者の位置情報及び姿勢情報を取得し、前記位置情報及び前記姿勢情報は、前記実空間を模擬したバーチャル空間に設置されたバーチャルカメラの位置及び姿勢を更新するために用いられ、前記位置情報に基づいて前記作業者が安定状態にあるか否かを判定し、前記作業者が前記安定状態にないと判定した場合、前記作業者が前記安定状態にあると判定した場合に比べて、前記位置情報及び前記姿勢情報の更新頻度を低下させる。
　この構成によれば、作業者が安定状態にない場合、安定状態にある場合に比べて位置情報及び姿勢情報によるバーチャルカメラの位置及び姿勢の更新頻度が低下される。そのため、バーチャルカメラの位置及び姿勢が安定し、変化が激しく視認性の低いバーチャルカメラ映像が生成されることを防止できる。
　（２）上記（１）記載の情報処理方法において、前記安定状態は、前記作業者が加速及び減速していない状態を示してもよい。
　この構成によれば、作業者が加速及び減速している場合、位置情報及び姿勢情報によるバーチャルカメラの位置及び姿勢の更新頻度が低下されるので、変化が激しく視認性の低いバーチャルカメラ映像が生成されることを防止できる。
　（３）上記（２）記載の情報処理方法において、前記判定は、前記位置情報から加速度を算出し、前記加速度の絶対値が基準加速度を超える場合、前記安定状態でないと判定し、前記加速度の絶対値が前記基準加速度を下回る場合、前記安定状態であると判定することを含んでもよい。
　この構成によれば、位置情報から算出された加速度の絶対値が基準加速度を超える場合に作業者が加速状態及び減速状態にあると判定されるので、作業者が加速状態及び減速状態にあることを正確に検知できる。
　（４）上記（１）記載の情報処理方法において、前記安定状態は、前記作業者が停止している状態を示してもよい。
　この構成によれば、作業者が移動している場合、位置情報及び姿勢情報によるバーチャルカメラの位置及び姿勢の更新頻度が低下されるので、変化が激しく視認性の低いバーチャルカメラ映像が生成されることを防止できる。
　（５）上記（４）記載の情報処理方法において、前記判定は、前記位置情報から速度を算出し、前記速度が基準速度を超える場合、前記作業者は前記安定状態でないと判定し、前記速度が前記基準速度を下回る場合、前記作業者は前記安定状態であると判定することを含んでもよい。
　この構成によれば、位置情報から算出された速度が基準速度を超える場合に作業者は移動したと判定されるので、作業者の移動の有無を正確に検知できる。
　（６）上記（１）～（５）のいずれか１つに記載の情報処理方法において、前記判定は、前記作業者が前記安定状態でないと判定した場合、前記位置情報及び前記姿勢情報について、前回更新してから現在まで期間が一定期間を超えるか否かを判定することを含み、前記更新頻度の低下は、前記期間が前記一定期間を超えると判定された場合、前記更新を実行することを含んでもよい。
　この構成によれば、長期間に亘って作業者の位置及び姿勢によりバーチャルカメラの位置及び姿勢が更新されなくなることを防止できる。
　（７）上記（１）～（６）のいずれか１つに記載の情報処理方法において、さらに、前記位置情報の変位及び前記姿勢情報の変位にローパスフィルターを適用して前記位置情報及び前記姿勢情報を補正する補正処理を実行し、前記補正処理は、前記作業者が前記安定状態にないと判定された場合、前記作業者が前記安定状態にあると判定された場合に比べて、前記ローパスフィルターの遮断周波数を小さくすることを含んでもよい。
　この構成によれば、作業者が安定状態にない場合、安定状態にある場合に比べてローパスフィルターの遮断周波数が低周波側にシフトされるので、激しい変化が除去された位置情報及び姿勢情報が取得される。これにより、位置情報及び姿勢情報が安定し、変化が激しく視認性の低いバーチャルカメラ映像が生成されることを防止できる。
　（８）上記（１）～（７）のいずれか１つに記載の情報処理方法において、さらに、前記位置情報及び前記姿勢情報により前記バーチャルカメラの位置及び姿勢を更新し、さらに、前記バーチャルカメラで前記バーチャル空間を撮影したバーチャルカメラ映像を生成し、さらに、前記バーチャルカメラ映像をディスプレイに表示してもよい。
　この構成によれば、実空間における作業者の視野をバーチャル空間上で再現したバーチャルカメラ映像を表示できる。
　（９）上記（１）～（８）のいずれか１つに記載の情報処理方法において、前記更新頻度の低下は、前記作業者が前記安定状態にないと判定した場合、前記更新を実行しないことと、前記作業者が前記安定状態にあると判定した場合、前記更新を実行することとを含んでもよい。
　この構成によれば、作業者が安定状態にある場合にのみ位置情報及び姿勢情報が更新されるので、変化が激しく視認性の低いバーチャルカメラ映像が生成されることをより確実に防止できる。
　（１０）本開示の別の一態様における情報処理装置は、プロセッサを含み、作業者の作業を支援する情報処理システムであって、前記プロセッサは、実空間における前記作業者の位置情報及び姿勢情報を取得し、前記位置情報及び前記姿勢情報は、前記実空間を模擬したバーチャル空間に設置されたバーチャルカメラの位置及び姿勢を更新するために用いられ、前記位置情報に基づいて前記作業者が安定状態にあるか否かを判定し、前記作業者が前記安定状態にないと判定した場合、前記作業者が前記安定状態にあると判定した場合に比べて、前記位置情報及び前記姿勢情報の更新頻度を低下させる、処理を実行する。
　この構成によれば、変化が激しく視認性の低いバーチャルカメラ映像が生成されることを防止する情報処理装置を提供できる。
　（１１）本開示のさらに別の一態様における情報処理プログラムは、作業者の作業を支援する情報処理方法をコンピュータに実行させる情報処理プログラムであって、実空間における前記作業者の位置情報及び姿勢情報を取得し、前記位置情報及び前記姿勢情報は、前記実空間を模擬したバーチャル空間に設置されたバーチャルカメラの位置及び姿勢を更新するために用いられ、前記位置情報に基づいて前記作業者が安定状態にあるか否かを判定し、前記作業者が前記安定状態にないと判定した場合、前記作業者が前記安定状態にあると判定した場合に比べて、前記位置情報及び前記姿勢情報の更新頻度を低下させる、処理を前記コンピュータに実行させる。
　この構成によれば、変化が激しく視認性の低いバーチャルカメラ映像が生成されることを防止する情報処理プログラムを提供できる。
　本開示は、このような情報処理プログラムによって動作する情報更新システムとして実現することもできる。また、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
　なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
　（実施の形態１）
　図１は、実施の形態１における情報処理システム１００の全体構成の一例を示すブロック図である。情報処理システム１００は対象物に対して作業をする作業者を遠隔地にいる遠隔者が支援するシステムである。具体的には、現場にいる作業者が視認する像をバーチャル空間内で再現し、そのバーチャル空間の映像を遠隔者に視認させることにより、作業者と遠隔者との間で情報を共有させながら、作業者の作業を遠隔地から支援するシステムである。バーチャル空間とはコンピュータ内に構築された仮想３次元空間である。
　情報処理システム１００は、検出装置１、作業者端末２、及び遠隔端末３を含む。検出装置１及び作業者端末２は、対象物が設置された現場にある。遠隔端末３は遠隔地にある。検出装置１及び作業者端末２は、通信路Ｃ１を介して通信可能に接続されている。通信路Ｃ１は、例えば無線ＬＡＮ又はＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の通信路であってもよいし、有線の通信路であってもよい。作業者端末２及び遠隔端末３は、ネットワークＮＴを介して接続されている。ネットワークＮＴは、例えばインターネットを含む広域通信網である。
　検出装置１は、現場にいる作業者の位置及び姿勢を検出するセンサーである。検出装置１の一例は、光学式モーションキャプチャシステム、自己位置推定システムが採用できる。光学式モーションキャプチャシステムは、頭部にマーカーを装着する作業者を光トラッカーで撮影することで、作業者の位置及び姿勢を検出するシステムである。自己位置推定システムは、作業者に装着されたカメラで現場の画像を撮影し、得られた画像にＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）技術を適用することで、作業者の位置及び姿勢を検出するシステムである。なお、自己位置推定システムにおいては、カメラに代えてＬｉｄａｒなどのレーザーセンサを用いて作業者の位置及び姿勢を検出してもよい。
　検出装置１は、検出した作業者の位置を示す位置情報と作業者の姿勢を示す姿勢情報とを作業者端末２に送信する。位置情報は実空間における作業者の特定部位（例えば、頭部）の位置を示す３次元の座標データが採用できる。姿勢情報は実空間における作業者の頭部の方向を示す３次元ベクトルが採用できる。頭部の方向としては、例えば頭部の正面の向きが採用できる。
　検出装置１は、所定のサンプリングレートで作業者の位置及び姿勢を検出し、所定のサンプリングレートで位置情報及び姿勢情報を作業者端末２に送信する。これにより、遠隔端末３はリアルタイムで位置情報及び姿勢情報を取得できる。
　作業者端末２は、例えば、作業者が携帯する携帯情報端末である。携帯情報端末の一例は、スマートフォン、タブレット型コンピュータ、及びスマートグラスである。作業者端末２は、通信部２１、プロセッサ２２、及び通信部２５を含む。通信部２１は、検出装置１と通信可能な通信回路で構成されている。通信部２１は、検出装置１から所定のサンプリングレートで送信される位置情報及び姿勢情報を受信する。
　プロセッサ２２は、中央演算処理装置（ＣＰＵ）で構成され、取得部２３及び判定部２４を含む。取得部２３及び判定部２４は、プロセッサ２２が情報処理プログラムを実行することで実現される。なお、取得部２３及び判定部２４は、ＡＳＩＣなどの専用のハードウェア回路で構成されてもよい。
　取得部２３は、検出装置１から所定のサンプリングレートで送信された位置情報及び姿勢情報を通信部２１を介して取得する。
　判定部２４は、取得部２３により取得された位置情報に基づいて作業者が安定状態にあるか否かを判定する。安定状態は、作業者が加速及び減速していない状態、すなわち、作業者が停止している状態及び一定速度で移動している状態を指す。
　判定部２４は、位置情報を２階微分することで作業者の加速度を算出する。判定部２４は、算出した加速度の絶対値が基準加速度を超える場合、作業者は安定状態ではない、すなわち加速又は減速している加速減速状態であると判定する。一方、判定部２４は、算出した加速度の絶対値が基準加速度を下回る場合、作業者は安定状態である、すなわち、加速低速状態ではないと判定する。加速状態は、作業者が移動するために加速動作を開始してから一定の移動速度になるまでの状態を指す。減速状態は、移動中の作業者が停止するために減速動作を開始してから停止するまでの状態を指す。
　判定部２４は、作業者が加速減速状態にあると判定した場合、取得部２３が取得した位置情報及び姿勢情報を通信部２５を用いて遠隔端末３に転送しない。一方、判定部２４は、作業者が加速減速状態にないと判定した場合、取得部２３が取得した位置情報及び姿勢情報を通信部２５を用いて遠隔端末３に転送する。
　通信部２５は、作業者端末２をネットワークＮＴに接続する通信回路で構成される。通信部２５は、判定部２４の制御の下、位置情報及び姿勢情報を遠隔端末３に送信する。
　遠隔端末３は、例えば、現場から離れた遠隔地に設置された端末である。遠隔端末３は、デスクトップコンピュータで構成されてもよいし、スマートフォン又はタブレット型コンピュータ等の携帯型コンピュータで構成されてもよい。
　遠隔端末３は、通信部３１、メモリ３２、プロセッサ３３、及びディスプレイ３４を含む。通信部３１は、遠隔端末３をネットワークＮＴに接続する通信回路で構成され、作業者端末２から送信された位置情報及び姿勢情報を取得する。
　メモリ３２は、ソリッドステートドライブ及びハードディスクドライブなどの書き換え可能な不揮発性の記憶装置で構成され、３次元モデル、位置情報、姿勢情報、キャリブレーション情報を記憶する。３次元モデルは、対象物の形状を模擬した３次元モデルである。
　位置情報及び姿勢情報は、作業者端末２から送信された位置情報及び姿勢情報である。キャリブレーション情報は、現場を示す実空間とバーチャル空間とを対応付ける情報である。キャリブレーション情報は、実基準ベクトルとバーチャル基準ベクトルとを含む。実基準ベクトルは、実空間における作業者の初期位置を始点とし対象物の位置を終点とする３次元ベクトルである。バーチャル基準ベクトルは、バーチャル空間における作業者の初期位置を始点とし、対象物の３次元モデルの位置を終点とする３次元ベクトルである。キャリブレーション情報は、後述の空間キャリブレーションを実行することで生成される。
　プロセッサ３３は、例えば中央演算処理装置（ＣＰＵ）で構成され、キャリブレーション実行部３３１及び映像生成部３３２を含む。キャリブレーション実行部３３１及び映像生成部３３２は、プロセッサ３３が情報処理プログラムを実行することで実現される。但し、これは一例であり、キャリブレーション実行部３３１及び映像生成部３３２はＡＳＩＣなどの専用のハードウェア回路で構成されてもよい。キャリブレーション実行部３３１は、現場を示す実空間とバーチャル空間とを対応付ける空間キャリブレーションを実行する。空間キャリブレーションは、作業者が現場で作業を開始する前の前処理として実行される。
　映像生成部３３２は、位置情報及び姿勢情報に基づいて、作業者の位置及び姿勢をバーチャル空間に設置されたバーチャルカメラの位置及び姿勢で更新させる。これにより、作業者の位置及び姿勢とバーチャルカメラの位置及び姿勢とが同期する。映像生成部３３２は、同期されたバーチャルカメラでバーチャル空間を撮影したバーチャルカメラ映像を生成する。映像生成部３２３は、バーチャルカメラ映像をディスプレイ３４に表示する。
　ディスプレイ３４は、液晶表示パネルなどの表示装置で構成され、映像生成部３２３により生成されたバーチャルカメラ映像を表示する。
　図２は、情報処理システム１００の処理の概要を示す図である。現場には、対象物２１１が設置されている。作業者２１２は現場において、対象物２１１に対して何らかの作業を行う。情報処理システム１００は、作業者２１２の視野内の像をバーチャル空間内に再現する。具体的には、情報処理システム１００は、バーチャル空間２２１内に対象物２１１を模擬した３次元モデル２２２を構築し、バーチャル空間２２１内に配置されたバーチャルカメラ２２３で３次元モデル２２２を撮影する。これにより、バーチャルカメラ映像２３０が生成される。生成されたバーチャルカメラ映像２３０は遠隔地にある遠隔端末３のディスプレイ３４に表示される。ここで、バーチャルカメラ２２３は、作業者２１２の位置及び姿勢と同期されている。その結果、バーチャルカメラ映像を視認する遠隔者は、作業者２１２が対象物２１１のどの位置を注視しているかを確認できる。その結果、遠隔者は、作業者に適切な支援を行うことができる。
　現場は、例えば、対象物が設置されている実空間である。現場の一例は、工場、実験場、試験場、化学プラント等である。工場は、テレビ、洗濯機等の電気製品を製造する工場であってもよいし、自動車、鉄等を製造する工場であってもよい。これらの現場は一例であり、作業者が対象物に対する作業を行う場所であればどのような場所であってもよい。例えば、現場は、機器又は設備の保守が行われる場所であってもよい。
　対象物の一例は、保守対象となる設備、及び製造ラインで製造される製造物等である。製造物の一例は、電気製品、自動車等である。設備の一例は、工場の製造ライン等である。
　次に、空間キャリブレーションの一例について説明する。図３、図４は、空間キャリブレーションの様子を示す図である。実空間６００は、現場を示す３次元の実空間であり、相互に直交するｘ、ｙ、ｚ軸によって規定される。バーチャル空間７００は、現場を模擬した３次元のバーチャル空間であり、相互に直交する、Ｘ、Ｙ、Ｚ軸によって規定される。
　キャリブレーション実行部３３１は、実空間６００において、対象物２１１から基準距離Ｄ１は離れた位置に設置されたマーカーＭ１の初期位置Ｐ１を取得する。ここでは、初期位置Ｐ１の地上面６０１からの高さｈ１は、対象物２１１の中心位置Ｏ１の地上面６０１からの高さと同じであり、マーカーＭ１の姿勢方向Ｄ２は地上面６０１と平行であるとする。初期位置Ｐ１は、検出装置１により検出され、作業者端末２を介して遠隔端末３に送信される。
　次に、キャリブレーション実行部３３１は、実空間６００における初期位置Ｐ１と中心位置Ｏ１との相対的な位置関係が維持されるように、バーチャル空間７００内にバーチャルマーカーＭ２と３次元モデル２２２とを設置する。詳細には、キャリブレーション実行部３３１は、バーチャル空間７００においてバーチャル地上面７０１から高さｈ１に対応する高さｈ１´の位置に姿勢方向Ｄ２´がバーチャル地上面７０１と平行になるようにバーチャルマーカーＭ２を設置する。次に、キャリブレーション実行部３３１は、バーチャルマーカーＭ２から姿勢方向Ｄ２´と平行に基準距離Ｄ１´離れた中心位置Ｏ１´に３次元モデル２２２を設置する。次に、キャリブレーション実行部３３１は、初期位置Ｐ１から中心位置Ｏ１までの実基準ベクトルＶ０と、バーチャル初期位置Ｐ１´から中心位置Ｏ１´までのバーチャル基準ベクトルＶ０´とを算出する。次に、キャリブレーション実行部３３１は、実基準ベクトルＶ０とバーチャル基準ベクトルＶ０´とをキャリブレーション情報としてメモリ３２に記憶する。ここでは、マーカーＭ１を用いた空間キャリブレーションを例示したが、マーカーＭ１に代えて作業者の頭部の位置を初期位置Ｐ１として用いて空間キャリブレーションは実行されてもよい。
　次に、同期処理の一例について説明する。図３を参照し、作業中において、作業者の頭部に装着されたマーカーＭ１が位置Ｐ２に位置していたとする。この場合、映像生成部３３２は、位置Ｐ２から中心位置Ｏ１までのベクトルを実空間ベクトルＶ１として算出する。実空間ベクトルＶ１は、対象物２１１に対する作業中の作業者の相対位置を示すベクトルである。次に、映像生成部３３２は、実空間ベクトルＶ１と実基準ベクトルＶ０との差分ベクトルΔＶを算出する。
　次に、図４を参照し、映像生成部３３２は、バーチャル空間７００において、バーチャル基準ベクトルＶ０´に差分ベクトルΔＶを加算して、バーチャル空間ベクトルＶ１´を算出する。バーチャル空間ベクトルＶ１´は、３次元モデル２２２に対する作業中の作業者の相対位置を示すベクトルである。次に、映像生成部３３２は、バーチャル空間ベクトルＶ１´における始点（位置Ｐ２´）をバーチャルカメラの位置として決定する。次に、映像生成部３３２は、検出装置１により検出された作業者の姿勢をバーチャルカメラの姿勢として決定する。ここでは、作業者は頭部にマーカーＭ１を装着していたが、本開示はこれに限定されず、作業者は頭部にマーカーＭ１を装着していなくてもよい。この場合、映像生成部３３２は、検出装置１により検出された作業者の頭部の位置を位置Ｐ２として用いて位置Ｐ２´を算出すればよい。
　図５は、実施の形態１における情報処理システム１００の処理の一例を示すフローチャートである。この処理は現場で作業者が作業を開始した際に開始される。また、この処理が開始される前に空間キャリブレーションは実行されているものとする。
　ステップＳ１において、検出装置１は、作業者の位置情報及び姿勢情報を検出する。次に、ステップＳ２において、作業者端末２の取得部２３は、位置情報及び姿勢情報を通信部２１を用いて取得する。次に、ステップＳ３において、作業者端末２の判定部２４は、ステップＳ２で取得された位置情報を２階微分して加速度を算出する。
　次に、ステップＳ４において、判定部２４は、ステップＳ３で算出された加速度を用いて作業者が加速減速状態であるか否かを判定する。
　詳細には、判定部２４は、加速度の絶対値が基準加速度を超えている場合、加速減速状態であると判定し、加速度の絶対値が基準加速度を下回る場合、加速減速状態でないと判定する。作業者が加速減速状態であると判定された場合（ステップＳ４でＹＥＳ）、処理はステップＳ２に戻る。この場合、位置情報及び姿勢情報が遠隔端末３に送信されない。したがって、位置情報及び姿勢情報によりバーチャルカメラの位置及び姿勢が更新されない。一方、作業者が加速減速状態でないと判定された場合（ステップＳ４でＮＯ）、処理はステップＳ５に進む。
　次に、ステップＳ５において、判定部２４は、通信部２５を用いて、ステップＳ２で取得された位置情報及び姿勢情報を遠隔端末３に転送する。
　次に、ステップＳ６において、遠隔端末３の映像生成部３３２は、ステップＳ５で転送された位置情報及び姿勢情報とキャリブレーション情報とを用いて、作業者の位置及び姿勢とバーチャルカメラの位置及び姿勢とを同期する。同期処理の詳細は上述した。
　次に、ステップＳ７において、映像生成部３３２は、同期されたバーチャルカメラにより撮影されたバーチャルカメラ映像を生成する。この場合、映像生成部３３２は、バーチャルカメラによりバーチャル空間をレンダリングすることでバーチャルカメラ映像を生成する。
　次に、ステップＳ８において、映像生成部３３２は、バーチャルカメラ映像をディスプレイ３４に表示する。
　次に、ステップＳ９において、映像生成部３３２は、遠隔作業支援の継続の有無を判定する。遠隔作業支援が継続される場合（ステップＳ９でＹＥＳ）、処理はステップＳ２に戻る。遠隔作業支援が継続されない場合（ステップＳ９でＮＯ）、処理は終了する。遠隔作業支援の終了は作業者が遠隔作業支援の終了の指示を作業者端末２に入力することで行われる。したがって、映像生成部３３２は、この指示を作業者端末２から通信部３１が受信した場合に、遠隔作業支援が終了したと判定し、受信しない場合、遠隔作業支援を継続すると判定すればよい。
　このように実施の形態１によれば、作業者が安定状態にある場合にのみ位置情報及び姿勢情報が出力されるので、動きの大きい期間における作業者の位置及び姿勢でバーチャルカメラの位置及び姿勢が更新されることが防止される。そのため、バーチャルカメラの位置及び姿勢が安定し、変化が激しく視認性の低いバーチャルカメラ映像が生成されることを防止できる。
　（実施の形態２）
　実施の形態２は、作業者の速度が基準速度を超える場合に作業者は安定状態にないと判定するものである。本実施の形態において実施の形態１と同一の構成については同一の符号を付し説明を省略する。本実施の形態においてブロック図は図１を使用する。
　図１において、判定部２４は、取得部２３により取得された位置情報を１階微分することで、作業者の速度を算出する。判定部２４は、算出した速度が基準速度を超える場合、作業者は安定状態ではない、すなわち移動していると判定する。一方、判定部２４は、算出した速度が基準速度を下回る場合、作業者は安定状態である、すなわち移動していないと判定する。
　図６は、実施の形態２における情報処理システム１００の処理の一例を示すフローチャートである。ステップＳ２１、Ｓ２２、Ｓ２５～Ｓ２９は図５のステップＳ１、Ｓ２、Ｓ５～Ｓ９と同じであるため説明を省略する。
　ステップＳ２２に続くステップＳ２３において、判定部２４は、取得部２３が取得した位置情報を１階微分して速度を算出する。
　次に、ステップＳ２４において、判定部２４は、ステップＳ２３で算出した速度を基準速度と比較することで、作業者が移動しているか否かを判定する。詳細には、速度が基準速度を超えている場合、判定部２４は、作業者は移動していると判定し（ステップＳ２４でＹＥＳ）、処理をステップＳ２２に戻す。この場合、位置情報及び姿勢情報は遠隔端末３に転送されない。したがって、位置情報及び姿勢情報によりバーチャルカメラの位置及び姿勢が更新されない。一方、速度が基準速度を下回っている場合、判定部２４は、作業者は移動していないと判定し（ステップＳ２４でＮＯ）、処理はステップＳ２５に進む。この場合、位置情報及び姿勢情報が遠隔端末３に転送される。
　このように、実施の形態２によれば、移動中の作業者の位置及び姿勢にバーチャルカメラの位置及び姿勢が更新されることが防止されるので、変化が激しく視認性の低いバーチャルカメラ映像が生成されることを防止できる。
　（実施の形態３）
　実施の形態３は、実施の形態１において、位置情報及び姿勢情報について、前回更新してからの期間を考慮に入れて位置情報及び姿勢情報の更新を制御するものである。本実施の形態において実施の形態１、２と同一の構成については同一の符号を付し説明を省略する。本実施の形態においてブロック図は図１を使用する。
　図１において、判定部２４は、作業者が加速減速状態であると判定した場合、位置情報及び姿勢情報について、前回更新してから現在までの期間が一定期間を超えるか否かを判定する。かかる期間が一定期間を超える場合、判定部２４は、位置情報及び姿勢情報を通信部２５を用いて遠隔端末３に転送する。かかる期間が一定期間を超えない場合、判定部２４は、位置情報及び姿勢情報を転送しない。一定期間は、１分、３分などの適宜の値が採用される。
　図７は、実施の形態３における情報処理システム１００の処理の一例を示すフローチャートである。ステップＳ４１～Ｓ４３、Ｓ４５～Ｓ４９は図５のステップＳ１～Ｓ３、Ｓ５～Ｓ９と同じであるため説明を省略する。
　ステップＳ４４において、作業者が加速減速状態にあると判定した場合（ステップＳ４４でＹＥＳ）、判定部２４は、位置情報及び姿勢情報について、前回更新してから現在までの期間が一定期間を超えるか否かを判定する（ステップＳ５０）。かかる期間が一定期間を超える場合（ステップＳ５０でＹＥＳ）、処理はステップＳ４５に進む。この場合、位置情報及び姿勢情報が遠隔端末３に転送される。したがって、位置情報及び姿勢情報によりバーチャルカメラの位置及び姿勢が更新される。一方、かかる期間が一定期間を超えない場合（ステップＳ５０でＮＯ）、処理はステップＳ４２に戻る。この場合、位置情報及び姿勢情報は遠隔端末３に転送されない。したがって、位置情報及び姿勢情報によりバーチャルカメラの位置及び姿勢が更新されない。
　このように、実施の形態３によれば、作業者が加速減速状態にないと判定された場合であっても、位置情報及び姿勢情報について、前回更新してから現在までの期間が一定期間を超えている場合、位置情報及び姿勢情報が遠隔端末３に転送され、転送された位置情報及び姿勢情報を用いてバーチャルカメラの位置及び姿勢が更新される。そのため、長期間に亘って作業者の位置及び姿勢とバーチャルカメラの位置及び姿勢とが同期されなくなることを防止できる。これにより、遠隔者は作業者を適切に管理できる。
　（実施の形態４）
　実施の形態４は、実施の形態２において、位置情報及び姿勢情報について、前回更新してからの期間を考慮に入れて位置情報及び姿勢情報の更新を制御するものである。本実施の形態において実施の形態１～３と同一の構成については同一の符号を付し説明を省略する。本実施の形態においてブロック図は図１を使用する。
　図１において、判定部２４は、作業者が移動していると判定した場合、位置情報及び姿勢情報について、前回更新してから現在までの期間が一定期間を超えるか否かを判定する。かかる期間が一定期間を超えている場合、判定部２４は、位置情報及び姿勢情報を通信部２５を用いて遠隔端末３に転送する。かかる期間が一定期間を超えていない場合、判定部２４は、位置情報及び姿勢情報を転送しない。一定期間は、１分、３分、１０分などの適宜の値が採用される。
　図８は、実施の形態４における情報処理システム１００の処理の一例を示すフローチャートである。ステップＳ６１～Ｓ６３、Ｓ６５～Ｓ６９は図６のステップＳ２１～Ｓ２３、Ｓ２５～Ｓ２９と同じであるため説明を省略する。
　ステップＳ６４において、作業者が移動していると判定した場合（ステップＳ６４でＹＥＳ）、判定部２４は、位置情報及び姿勢情報について、前回更新してから現在までの期間が一定期間を超えるか否かを判定する（ステップＳ７０）。かかる期間が一定期間を超える場合（ステップＳ７０でＹＥＳ）、処理はステップＳ６５に進む。この場合、位置情報及び姿勢情報が遠隔端末３に転送される。したがって、位置情報及び姿勢情報によりバーチャルカメラの位置及び姿勢が更新される。一方、かかる期間が一定期間を超えない場合（ステップＳ７０でＮＯ）、処理はステップＳ６２に戻る。この場合、位置情報及び姿勢情報は遠隔端末３に転送されない。したがって、位置情報及び姿勢情報によりバーチャルカメラの位置及び姿勢が更新されない。
　このように、実施の形態４によれば、作業者が移動していないと判定された場合であっても、位置情報及び姿勢情報について、前回更新してから現在までの期間が一定期間を超えている場合、位置情報及び姿勢情報が遠隔端末３に転送され、転送された位置情報及び姿勢情報を用いてバーチャルカメラの位置及び姿勢が更新される。そのため、長期間に亘って作業者の位置及び姿勢によりバーチャルカメラの位置及び姿勢が更新されなくなることを防止でき、遠隔者は作業者を適切に管理できる。
　（実施の形態５）
　実施の形態５は、実施の形態１において、位置情報及び姿勢情報に対して補正処理を実行するものである。本実施の形態において実施の形態１～４と同一の構成については同一の符号を付し説明を省略する。本実施の形態においてブロック図は図１を使用する。
　図１において、取得部２３は、作業者の位置情報の変位及び姿勢情報の変位にローパスフィルターを適用して位置情報及び姿勢情報を補正する補正処理を実行する。位置情報の変位とは、例えば現在のサンプル時刻における位置情報と、１つ前のサンプル時刻における位置情報との差、すなわち、移動速度である。位置情報は３次元の座標データで構成されるので、位置情報の差は３次元の座標データの差で表される。姿勢情報の変位とは、現在のサンプル時刻における姿勢情報と、１つ前のサンプル時刻における姿勢情報との差、すなわち、姿勢が変化する速度である。姿勢情報は、３次元のベクトルで表されるので、姿勢情報の差は３次元ベクトルで表される。
　補正処理は、判定部２４において、作業者が加速減速状態でないと判定された場合、作業者が加速減速状態にあると判定された場合に比べて、ローパスフィルターの遮断周波数を小さくすることを含む。
　図９は、実施の形態５における情報処理システム１００の処理の一例を示すフローチャートである。ステップＳ８１～Ｓ８２、Ｓ８４～Ｓ９０は図５のステップＳ１～Ｓ２、Ｓ３～Ｓ９と同じであるため説明を省略する。すなわち、ステップＳ８３において補正処理が追加された点が相違する。
　ステップＳ８３において、取得部２３は、作業者の位置情報の変位及び姿勢情報の変位にローパスフィルターを適用して位置情報及び姿勢情報を補正する補正処理を実行する。例えば、位置情報の変位及び姿勢情報の変位の帯域が低周波領域、中周波領域、及び高周波領域に予め分けられるものとする。この場合において、取得部２３は、作業者が加速減速状態にあると判定された場合は、遮断周波数を低周波領域と中周波領域との境界の第１周波数にローパスフィルターの遮断周波数を設定すればよい。一方、作業者が加速減速状態にないと判定された場合、取得部２３は、中周波領域と高周波領域との境界の第２周波数（＞第１周波数）にローパスフィルターの遮断周波数を設定すればよい。これにより、作業者が加速減速状態にある場合、高周波領域及び中周波領域が遮断され、作業者が加速減速状態にない場合、高周波領域が遮断される。
　補正処理の詳細は以下の通りである。あるサンプル時刻ｔの位置情報又は姿勢情報の値をｚ（ｔ）とする。サンプル時刻（ｔ－１）とサンプル時刻ｔとの値の変位をΔｚ（ｔ）とする。取得部２３は、変位Δｚ（ｔ）に対して第１周波数又は第２周波数が設定されたローパスフィルターを適用する。ローパスフィルターの適用後の変位をΔｚ´（ｔ）とする。取得部２３は、サンプル時刻（ｔ－１）の値ｚ（ｔ－１）にΔｚ´（ｔ）を加算することで、補正後のサンプル時刻ｔの値ｚ´（ｔ）を算出する。取得部２３は、各サンプル時刻に対してこのような処理を適用することで、補正処理を実行する。
　このように、実施の形態５によれば、作業者が加速減速状態にある場合、加速減速状態にない場合に比べてローパスフィルターの遮断周波数が低周波側にシフトされるので、激しい変化が除去された位置情報及び姿勢情報が取得される。これにより、変化が激しく視認性の低いバーチャルカメラ映像が生成されることを防止できる。また、位置情報が安定するので、作業者が安定状態にあるか否かの判定精度が向上する。
　本開示は以下の変形例が採用できる。
　（１）実施の形態１～５では、安定状態にある場合にのみ位置情報及び姿勢情報によるバーチャルカメラの位置及び姿勢が更新されたが、本開示はこれに限定されず、安定状態にない場合、安定状態にある場合に比べてかかる更新の頻度を低下させてもよい。例えば、判定部２４は、作業者が安定状態にある場合は、位置情報及び姿勢情報を第１サンプリングレートで遠隔端末３に転送し、作業者が安定状態にない場合は、位置情報及び姿勢情報を第２サンプリングレートで遠隔端末３に転送すればよい。ここで、第２サンプリングレートは第１サンプリングレートよりも低い値が採用できる。第１サンプリングレートは、検出装置１が位置情報及び姿勢情報を検出するサンプリングレートが採用できる。
　（２）実施の形態５に示す補正処理は、実施の形態２～４に適用されてもよい。特に、補正処理を実施の形態３、４に適用した場合は、ステップＳ５０でＹＥＳ又はステップＳ７０でＹＥＳと判定された場合において、動きの激しさが軽減された位置情報及び姿勢情報を用いて同期処理が行われるので、変化の激しいバーチャルカメラ映像の生成が抑制される。
　（３）実施の形態１～５では位置情報は光学式モーションキャプチャシステムやＳＬＡＭ技術を用いて算出されたが、ＧＰＳセンサーにより検出された値を採用してもよい。
　（４）図１において、取得部２３及び判定部２４は、作業者端末２が備えているが、検出装置１又は遠隔端末３のプロセッサ３３に設けられていてもよい。
　（５）情報処理装置は、作業者端末２で構成されてもよいし、作業者端末２及び遠隔端末３を含んで構成されてもよい。ディスプレイ３４は遠隔端末３の構成要素から外されてもよい。
　本開示によれば、現場にいる作業者を遠隔から支援する技術分野において有用である。

Claims (11)

  1. 　作業者の作業を支援する情報処理装置における情報処理方法であって、
    　実空間における前記作業者の位置情報及び姿勢情報を取得し、前記位置情報及び前記姿勢情報は、前記実空間を模擬したバーチャル空間に設置されたバーチャルカメラの位置及び姿勢を更新するために用いられ、
    　前記位置情報に基づいて前記作業者が安定状態にあるか否かを判定し、
    　前記作業者が前記安定状態にないと判定した場合、前記作業者が前記安定状態にあると判定した場合に比べて、前記位置情報及び前記姿勢情報の更新頻度を低下させる、
    　情報処理方法。
  2. 　前記安定状態は、前記作業者が加速及び減速していない状態を示す、
    　請求項１記載の情報処理方法。
  3. 　前記判定は、前記位置情報から加速度を算出し、前記加速度の絶対値が基準加速度を超える場合、前記安定状態でないと判定し、前記加速度の絶対値が前記基準加速度を下回る場合、前記安定状態であると判定することを含む、
    　請求項２記載の情報処理方法。
  4. 　前記安定状態は、前記作業者が停止している状態を示す、
    　請求項１記載の情報処理方法。
  5. 　前記判定は、前記位置情報から速度を算出し、前記速度が基準速度を超える場合、前記作業者は前記安定状態でないと判定し、前記速度が前記基準速度を下回る場合、前記作業者は前記安定状態であると判定することを含む、
    　請求項４記載の情報処理方法。
  6. 　前記判定は、前記作業者が前記安定状態でないと判定した場合、前記位置情報及び前記姿勢情報について、前回更新してから現在まで期間が一定期間を超えるか否かを判定することを含み、
    　前記更新頻度の低下は、前記期間が前記一定期間を超えると判定された場合、前記更新を実行することを含む、
    　請求項１又は２記載の情報処理方法。
  7. 　さらに、前記位置情報の変位及び前記姿勢情報の変位にローパスフィルターを適用して前記位置情報及び前記姿勢情報を補正する補正処理を実行し、
    　前記補正処理は、前記作業者が前記安定状態にないと判定された場合、前記作業者が前記安定状態にあると判定された場合に比べて、前記ローパスフィルターの遮断周波数を小さくすることを含む、
    　請求項１又は２記載の情報処理方法。
  8. 　さらに、前記位置情報及び前記姿勢情報により前記バーチャルカメラの位置及び姿勢を更新し、
    　さらに、前記バーチャルカメラで前記バーチャル空間を撮影したバーチャルカメラ映像を生成し、
    　さらに、前記バーチャルカメラ映像をディスプレイに表示する、
    　請求項１又は２記載の情報処理方法。
  9. 　前記更新頻度の低下は、
    　前記作業者が前記安定状態にないと判定した場合、前記更新を実行しないことと、
    　前記作業者が前記安定状態にあると判定した場合、前記更新を実行することとを含む、
    　請求項１又は２記載の情報処理方法。
  10. 　プロセッサを含み、作業者の作業を支援する情報処理装置であって、
    　前記プロセッサは、
    　実空間における前記作業者の位置情報及び姿勢情報を取得し、前記位置情報及び前記姿勢情報は、前記実空間を模擬したバーチャル空間に設置されたバーチャルカメラの位置及び姿勢を更新するために用いられ、
    　前記位置情報に基づいて前記作業者が安定状態にあるか否かを判定し、
    　前記作業者が前記安定状態にないと判定した場合、前記作業者が前記安定状態にあると判定した場合に比べて、前記位置情報及び前記姿勢情報の更新頻度を低下させる、処理を実行する、
    　情報処理装置。
  11. 　作業者の作業を支援する情報処理方法をコンピュータに実行させる情報処理プログラムであって、
    　実空間における前記作業者の位置情報及び姿勢情報を取得し、前記位置情報及び前記姿勢情報は、前記実空間を模擬したバーチャル空間に設置されたバーチャルカメラの位置及び姿勢を更新するために用いられ、
    　前記位置情報に基づいて前記作業者が安定状態にあるか否かを判定し、
    　前記作業者が前記安定状態にないと判定した場合、前記作業者が前記安定状態にあると判定した場合に比べて、前記位置情報及び前記姿勢情報の更新頻度を低下させる、処理を前記コンピュータに実行させる、
    　情報処理プログラム。
PCT/JP2023/026001 2022-07-19 2023-07-14 情報処理方法、情報処理装置、及び情報処理プログラム WO2024019002A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263368826P 2022-07-19 2022-07-19
US63/368,826 2022-07-19
JP2023-097279 2023-06-13
JP2023097279 2023-06-13

Publications (1)

Publication Number Publication Date
WO2024019002A1 true WO2024019002A1 (ja) 2024-01-25

Family

ID=89617726

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/026001 WO2024019002A1 (ja) 2022-07-19 2023-07-14 情報処理方法、情報処理装置、及び情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2024019002A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293604A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP2017054457A (ja) * 2015-09-11 2017-03-16 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
JP2019164650A (ja) * 2018-03-20 2019-09-26 東芝インフォメーションシステムズ株式会社 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293604A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理方法、情報処理装置および遠隔複合現実感共有装置
JP2017054457A (ja) * 2015-09-11 2017-03-16 株式会社コーエーテクモゲームス 情報処理装置、表示制御方法、及び表示制御プログラム
JP2019164650A (ja) * 2018-03-20 2019-09-26 東芝インフォメーションシステムズ株式会社 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ADACHI TOMOAKI, TAKEFUMI OGAWA, KIYOSHI KJYOKAWA, TAKEMURA HARUO: "The Virtual Reality Society of Japan NII-Electronic Library Service", TRANSACTIONS OF THE VIRTUAL REALITY SOCIETY OF JAPAN, vol. 12, no. 4, 1 January 2007 (2007-01-01), pages 549 - 558, XP093130568 *
FUKUSHIMA HIROYUKI, YUSUKE SUZUKI: "Remote Workspace Sharing System Based on Spatial Model Data Generated by Three-Dimensional Space Measurement", IPSJ SIG TECHNICAL REPORT, vol. l.2018-GN-104 N, no. 18, 1 January 2018 (2018-01-01), pages 1 - 5, XP093130558 *

Similar Documents

Publication Publication Date Title
CA3053100C (en) A display system and method for remote operation using acquired three-dimensional data of an object and viewpoint position data of a worker
US8731276B2 (en) Motion space presentation device and motion space presentation method
US10139902B2 (en) Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
JP6290754B2 (ja) 仮想空間表示装置、仮想空間表示方法及びプログラム
JP2012218120A (ja) マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法
US11991477B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
JP6598191B2 (ja) 画像表示システムおよび画像表示方法
WO2024019002A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JPH01209505A (ja) 遠隔操作ロボットの教示装置
JP2020013242A (ja) ロボット制御システム、ロボット装置およびプログラム
CN113677412B (zh) 信息处理装置、信息处理方法和程序
JP2019220059A (ja) プログラム、情報処理装置、情報処理システム及び情報処理方法
JPH08504543A (ja) カメラの制御方法及び装置
CN116569545A (zh) 远程协助的方法和设备
JP6368503B2 (ja) 障害物監視システム及びプログラム
US11926064B2 (en) Remote control manipulator system and remote control assistance system
US11610343B2 (en) Video display control apparatus, method, and non-transitory computer readable medium
AU2022350996A1 (en) Method and a control node for controlling a mining rig
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法
EP4075786A1 (en) Image processing device, system, image processing method and image processing program
WO2023238759A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
KR20180060403A (ko) 영상 기반의 드론 제어장치
KR20210068383A (ko) 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
JP2020042667A (ja) 投影システム、投影方法及びプログラム
US11997429B2 (en) Reducing latency in head-mounted display for the remote operation of machinery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23842925

Country of ref document: EP

Kind code of ref document: A1