WO2023058680A1 - 作業支援システム - Google Patents

作業支援システム Download PDF

Info

Publication number
WO2023058680A1
WO2023058680A1 PCT/JP2022/037256 JP2022037256W WO2023058680A1 WO 2023058680 A1 WO2023058680 A1 WO 2023058680A1 JP 2022037256 W JP2022037256 W JP 2022037256W WO 2023058680 A1 WO2023058680 A1 WO 2023058680A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
position data
data
work support
instruction
Prior art date
Application number
PCT/JP2022/037256
Other languages
English (en)
French (fr)
Inventor
厚輝 中川
直弘 中村
雅弘 岩本
繁一 志子田
修 谷
政彦 赤松
臣吾 米本
Original Assignee
川崎重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 川崎重工業株式会社 filed Critical 川崎重工業株式会社
Priority to KR1020247013637A priority Critical patent/KR20240067950A/ko
Priority to CN202280066682.9A priority patent/CN118159930A/zh
Publication of WO2023058680A1 publication Critical patent/WO2023058680A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • This disclosure relates to a work support system for supporting work.
  • Patent Document 1 A work support system of this type is disclosed in Patent Document 1, for example.
  • An object of the present disclosure is to make it possible to reduce the data volume as much as possible when data communication is performed between the first user side and the second user side, and to place the position of the instruction by the second user at the first user side.
  • a work support system includes a first system used by a first user, and a second system used by a second user who instructs work in a space where the first user is present.
  • the first system comprises: an imaging unit that captures an image in the space; a virtual object generation unit that generates a work support virtual object that supports work in the space; A first display unit that displays an object, and a first communication unit that outputs imaging position data indicating an imaging position of the imaging unit in the space and the image.
  • the second system comprises: a second display unit that displays the image; pointing reference position data indicating a pointing reference position corresponding to the imaging position data; A data generation unit that generates pointing position data indicating a position, and a second communication unit that outputs the pointing reference position data and the pointing position data. Then, the virtual object generation unit generates the work support virtual object based on the instruction reference position data and the instruction position data.
  • the present disclosure it is possible to reduce the data volume as much as possible when data communication is performed between the first user side and the second user side, and the position of the instruction by the second user can be set by the first user side. It is possible to provide a work support system that can accurately grasp.
  • FIG. 1 is a block diagram showing the configuration of the work support system of the present disclosure.
  • FIG. 2 is a block diagram showing the configuration of the first system provided in the work support system.
  • FIG. 3 is a diagram showing the state of the physical space seen through the first display unit of the first display device provided in the first system.
  • FIG. 4 is a block diagram showing the configuration of the second system provided in the work support system.
  • FIG. 5 is a diagram showing the display state of the second display section in the second display device provided in the second system.
  • FIG. 6 is a diagram showing a display state of the second display unit when an operation is performed to designate a pointing position on the image displayed on the second display unit of the second display device.
  • FIG. 1 is a block diagram showing the configuration of the work support system of the present disclosure.
  • FIG. 2 is a block diagram showing the configuration of the first system provided in the work support system.
  • FIG. 3 is a diagram showing the state of the physical space seen through the first display unit of the first display device provided in
  • FIG. 7 is a diagram showing a state of the real space seen through the first display unit in a state where the work support virtual object is displayed on the first display unit of the first display device.
  • FIG. 8 is a diagram showing a first example of a display state of the first display device when an operation of designating the same pointed position is performed on a plurality of images on the second display device.
  • FIG. 9 is a diagram showing a second example of the display state of the first display device when an operation is performed to specify the same designated position for a plurality of images on the second display device.
  • FIG. 10 is a diagram showing a first example of the display state of the first display device when the work support virtual object is generated on the first display device based on the three-dimensional scan data by the scanning unit.
  • FIG. 11 is a diagram showing a second example of the display state of the first display device when the work support virtual object is generated on the first display device based on the three-dimensional scan data by the scanning unit.
  • FIG. 12 is a diagram showing a display state of the first display device when an operation of designating a pointed position on an image is continuously performed on the second display device.
  • FIG. 13 is a flow chart showing a work support method using the work support system.
  • a work support system 1 shown in FIG. 1 is a system for supporting work in a space where a first user is present based on instructions from a second user at a remote location.
  • the first user includes a worker who actually performs the work, a supervisor who supervises the worker's work, an assistant who assists the worker's work, and the like.
  • An example of the second user is an instructor who gives instructions for work.
  • the work support system 1 includes a first system 2 used by a first user and a second system 3 used by a second user.
  • the first system 2 includes an imaging device 21, a first display device 22 and a first management device 23.
  • the imaging device 21 and the first display device 22 are connected to the first management device 23
  • the first management device 23 is connected to the communication network 5 .
  • the second system 3 includes a second display device 31 and a second management device 32 .
  • the second display device 31 is connected to the second management device 32 and the second management device 32 is connected to the communication network 5 .
  • a file server device 4 is also connected to the communication network 5 .
  • the file server device 4 is connected to the first management device 23 and the second management device 32 via the communication network 9 so as to be capable of data communication.
  • the file server device 4 has a server storage section 41 that stores various data used in the first system 2 and the second system 3 . Details of the file server device 4 will be described later.
  • the imaging device 21, the first display device 22, and the first management device 23 that constitute the first system 2 will be described with reference to FIGS.
  • the imaging device 21 is a device that captures an image D11 in the physical space RS where the first user is.
  • the image D11 captured by the imaging device 21 is a two-dimensional image.
  • the imaging device 21 includes a control section 211 , an imaging communication section 212 , an imaging section 213 and an image processing section 214 .
  • the imaging communication section 212 , the imaging section 213 and the image processing section 214 are controlled by the control section 211 .
  • the imaging unit 213 and the image processing unit 214 acquire the image D ⁇ b>11
  • the imaging communication unit 212 transmits the image D ⁇ b>11 to the first management device 23 .
  • the imaging unit 213 is composed of a plurality of imaging bodies each having an imaging optical system and an imaging device.
  • Imaging optics include optical elements such as lenses, prisms, filters, and aperture stops.
  • the imaging element is an element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • An image captured by each imaging device of the plurality of imaging bodies is transferred to the image processing unit 214 .
  • the image processing unit 214 performs image processing for synthesizing the images from the respective imaging elements of the plurality of imaging bodies.
  • the image processing unit 214 generates an omnidirectional image with a solid angle of 4 ⁇ steradian as the image G11 by performing image processing for synthesizing the images.
  • the imaging device 21 acquires an omnidirectional image captured in all directions around the imaging position in the physical space RS where the first user is present as the image G11.
  • the image G ⁇ b>11 is transmitted to the first management device 23 via the imaging communication unit 212 .
  • the first display device 22 is a display device that displays a virtual object represented by CG (Computer Graphics) superimposed on the physical space RS in which the first user is present.
  • a first user using the first display device 22 can experience mixed reality (MR) in which virtual objects are combined with the real world in the real space RS.
  • MR mixed reality
  • the first display device 22 a portable terminal such as a tablet terminal that can be carried by the first user, a head-mounted display device that is worn on the head of the first user and used, and a device such as eyeglasses for the first user.
  • a spectacles-type display device that is worn and used by feeling can be mentioned.
  • the first display device 22 is configured by a spectacles-type display device. In such a first display device 22, a virtual object represented by CG is superimposed on the real world seen through the display and displayed.
  • the first display device 22 includes a control section 221 , a display communication section 222 , a scanning section 223 , a virtual object generation section 224 and a first display section 225 .
  • the display communication section 222 , the scanning section 223 , the virtual object generation section 224 and the first display section 225 are controlled by the control section 221 .
  • the first display unit 225 is a display capable of displaying a virtual object so as to be superimposed on the physical space RS.
  • the first display section 225 is configured to have a property of transmitting light. Then, in a state where the first display device 22 is worn by the first user, the first display unit 225 is arranged so as to cover both eyes of the first user from the outside. In this state, the first user can see the inside of the physical space RS through the first display unit 225 .
  • a virtual object displayed on the first display unit 225 is generated by the virtual object generation unit 224 .
  • the virtual object generation unit 224 generates a work assisting virtual object as a virtual object for assisting the work of the first user in the physical space RS. Details of the work support virtual object generation operation by the virtual object generation unit 224 will be described later. Note that in the first system 2 , the virtual object generator 224 is not limited to being provided in the first display device 22 . The virtual object generator 224 may be provided in the first management device 23 .
  • the scanning unit 223 is composed of a plurality of cameras, sensors, etc. arranged at positions close to the first display unit 225 .
  • the scanning unit 223 scans the three-dimensional physical space RS to generate three-dimensional scan data regarding the physical object RO in the physical space RS.
  • the first display device 22 has a SLAM (Simultaneous Localization and Mapping) function, which is a self-position estimation function based on the operation of generating three-dimensional scan data by the scanning unit 223 .
  • SLAM Simultaneous Localization and Mapping
  • an operation guide virtual object D13 as a virtual object represented by CG is visible through the first display unit 225 in the real space RS. is displayed on the first display unit 225 so as to be superimposed on the .
  • the operation guidance virtual object D13 is a virtual object for guiding the operation of the first user, and has a reference position recognition area D131, an imaging position recognition area D132, and a data reading area D133.
  • the scanning unit 223 In a state where the work reference mark M1 placed at the work reference position P11 in the physical space RS is visible through the first display unit 225, when the first user performs an operation to select the reference position recognition area D131, the scanning unit 223 generates three-dimensional scan data for working fiducial mark M1.
  • the three-dimensional scan data in this case becomes work reference position data indicating the work reference position P11 where the work reference mark M1 is arranged in the three-dimensional physical space RS.
  • the control unit 221 controls the real space of the first user wearing the first display device 22 with respect to the work reference position P11 indicated by the work reference position data, based on the three-dimensional scan data from the scanning unit 223. Recognizing the position in the RS and the orientation of the viewpoint of the first user.
  • the operation of selecting the imaging position recognition region D132 is performed by the first user while the imaging device 21 is visible through the first display unit 225. done.
  • the scanning unit 223 generates three-dimensional scan data regarding the imaging mark M2 attached to the imaging device 21 .
  • the three-dimensional scan data in this case becomes imaging position data D12 indicating an imaging position P12 by the imaging device 21 with respect to the work reference position P11 indicated by the work reference position data in the physical space RS.
  • This imaging position data D ⁇ b>12 is transmitted to the first management device 23 via the display communication unit 222 .
  • the display communication unit 222 displays the designated reference position data D21 and the designated position data stored in the server storage unit 41 of the file server device 4, which will be described later.
  • D22 is received via the first management device 23.
  • the instruction reference position data D21 and the instruction position data D22 received by the display communication unit 222 are referred to by the virtual object generation unit 224 .
  • the first management device 23 is configured by, for example, a personal computer.
  • the first management device 23 includes a control section 231 , a first communication section 232 and a storage section 233 .
  • the first communication section 232 and the storage section 233 are controlled by the control section 231 .
  • the first communication unit 232 performs data communication with the imaging device 21 and the first display device 22 and also performs data communication with the file server device 4 via the communication network 5 .
  • the first communication unit 232 receives the image D11 from the imaging device 21 and the imaging position data D12 from the first display device 22, and transfers the received image D11 and imaging position data D12 to a file via the communication network 5.
  • the first communication unit 232 receives the instruction reference position data D21 and the instruction position data D22 from the file server device 4 via the communication network 5, and transmits the received position data D21 and D22 to the first display device 22.
  • Send Send.
  • the storage unit 233 associates and stores the image D11 received by the first communication unit 232 and the imaging position data D12.
  • the image D ⁇ b>11 and the imaging position data D ⁇ b>12 are transmitted to the file server device 4 via the first communication unit 232 while being associated with each other.
  • the file server device 4 stores the received image D ⁇ b>11 and imaging position data D ⁇ b>12 in the server storage unit 41 .
  • the first management device 23 may be incorporated in the first display device 22. That is, the first display device 22 may be configured to have the functions of the first communication section 232 and the storage section 233 described above.
  • the second management device 32 is composed of, for example, a personal computer.
  • the second management device 32 has a function of performing data communication with the file server device 4 via the communication network 5 and a function of controlling the second display device 31 .
  • the second management device 32 includes a control section 321 , a second communication section 322 , a storage section 323 and a data generation section 324 .
  • the second communication section 322 , storage section 323 and data generation section 324 are controlled by the control section 321 .
  • the second communication unit 322 performs data communication with the second display device 31 and data communication with the file server device 4 via the communication network 5 .
  • the second communication unit 322 receives the image D ⁇ b>11 and the imaging position data D ⁇ b>12 from the file server device 4 via the communication network 5 and transmits the received image D ⁇ b>11 to the second display device 31 .
  • the second communication section 322 transmits pointing reference position data D21 and pointing position data D22 generated by a data generation section 324 described later to the file server device 4 via the communication network 5 .
  • the storage unit 323 stores the instruction reference position data D21 and the instruction position data D22 generated by the data generation unit 324 in association with each other.
  • the designated reference position data D21 and the designated position data D22 are transmitted to the file server device 4 via the second communication section 322 in a mutually associated state.
  • the data generation unit 324 performs data generation processing for generating the designated reference position data D21 and the designated position data D22. Data generation processing by the data generation unit 324 is performed in conjunction with image display by the second display device 31 . Therefore, the data generation processing by the data generation unit 324 will be described in association with the second display device 31 .
  • the second display device 31 is a display device that displays images of virtual reality (VR). Examples of the second display device 31 include a portable terminal such as a tablet terminal that can be carried by the second user, a head-mounted display device that is worn on the head of the second user and used, a personal computer, and the like. . In this embodiment, the second display device 31 is configured by a head-mounted display device.
  • a portable terminal such as a tablet terminal that can be carried by the second user
  • a head-mounted display device that is worn on the head of the second user and used
  • a personal computer and the like.
  • the second display device 31 is configured by a head-mounted display device.
  • the second display device 31 includes a control section 311 , a display communication section 312 and a second display section 313 .
  • the display communication section 312 and the second display section 313 are controlled by the control section 311 .
  • the second display device 31 is configured to receive a command signal from the second operation section 31A.
  • the second operation unit 31A is configured by, for example, a controller operated by the second user.
  • the second operation unit 31A may be mounted on the second display device 31 and configured by a sensor or the like that tracks the movement of the second user's hand or fingers.
  • the second display unit 313 is a display capable of displaying images.
  • an operation guidance virtual object D23 as a virtual object represented by CG is displayed on the second display unit 313, as shown in FIG.
  • the operation guidance virtual object D23 is a virtual object for guiding the second user's operation via the second operation unit 31A, and includes an image acquisition area D231, an image reading area D232, an instruction creation mode area D233, and an image A list display area D234, an instruction deletion area D235, and an instruction transmission area D236 are arranged.
  • the display communication unit 312 transfers the image D11 and the imaging position data D12 stored in the server storage unit 41 of the file server device 4 to the 2 received and acquired via the management device 32;
  • the display communication unit 312 functions as an acquisition unit that acquires the image D11 and the imaging position data D12.
  • the second display unit 313 reads the image D11 and the imaging position data D12 acquired by the display communication unit 312.
  • the second display device 31 When a command signal for selecting the instruction creation mode area D233 is output from the second operation unit 31A, the second display device 31 is set to a mode for creating data regarding an instruction position for designating a work position by the first user. be done.
  • the second display unit 313 displays a list of the images D11 in a state divided by the imaging position data D12.
  • the second display unit 313 displays the selected image D11.
  • the second management device 32 is operated based on the operation by the second operation unit 31A that designates the indicated position P22 on the image D11.
  • the data generation unit 324 generates pointing reference position data D21 and pointing position data D22.
  • the instruction reference position data D21 is data indicating the instruction reference position P21 corresponding to the imaging position data D12 associated with the image D11.
  • the indicated position data D22 is data indicating the indicated position P22 for indicating the working position of the first user.
  • a work instruction virtual object P2A representing a virtual object extending from the instruction reference position P21 to the instruction position P22 is generated in the second direction so as to overlap the image D11. It is displayed on the display unit 313 . By checking the work instruction virtual object P2A displayed on the second display unit 313, the second user can grasp the instruction position P22.
  • the instruction reference position data D21 and the instruction position data D22 generated by the data generation unit 324 are stored in the storage unit 323 while being associated with each other.
  • the second management device 32 when the command signal for selecting the instruction deletion area D235 on the operation guidance virtual object D23 displayed on the second display unit 313 is output from the second operation unit 31A, the second management device 32:
  • the data generation unit 324 deletes the created pointing reference position data D21 and pointing position data D22.
  • the second communication unit 322 of the second management device 32 When the command signal for selecting the instruction transmission area D236 on the operation guide virtual object D23 displayed on the second display unit 313 is output from the second operation unit 31A, the second communication unit 322 of the second management device 32 , the designated reference position data D ⁇ b>21 and the designated position data D ⁇ b>22 stored in the storage unit 323 are transmitted to the file server device 4 via the communication network 5 .
  • the file server device 4 stores the received pointing reference position data D21 and pointing position data D22 in the server storage unit 41.
  • the display communication unit 222 receives the designated reference position data D21 and the designated position data D22 stored in the server storage unit 41 of the file server device 4 via the first management device 23 .
  • the virtual object generation unit 224 generates the work support virtual object VO displayed on the first display unit 225 based on the instruction reference position data D21 and the instruction position data D22. to generate
  • the work support virtual object VO is a virtual object for supporting work by the first user.
  • the virtual object generator 224 generates a virtual object along a straight line P212 passing through the indicated reference position P21 indicated by the indicated reference position data D21 and the indicated position P22 indicated by the indicated position data D22 as the work support virtual object VO.
  • the pointing reference position P21 indicated by the pointing reference position data D21 may coincide with the imaging position P12 indicated by the imaging position data D12, or may be shifted from the imaging position P12. .
  • the imaging position data D12 of the imaging device 21 and the image D11 captured by the imaging device 21 are output via the first communication unit 232 of the first management device 23.
  • the data generator 324 of the second management device 32 generates the designated reference position data D21 and the designated position data D22.
  • Each of the generated position data D21 and D22 is output via the second communication section 322 of the second management device 32 .
  • the virtual object generation unit 224 generates the work support virtual object VO based on the designation reference position data D21 and the designation position data D22, and the first display unit 225 displays the work support virtual object VO. Display the supporting virtual object VO.
  • the imaging position data D12 and the image D11 are transmitted from the first system 2 side to the second system 3 side, and the instruction reference position data D21 and indicated position data D22 are transmitted from the second system 3 side to the first system 2 side.
  • the conventional technology Compared to the case where such video is the object of data communication, the data volume for data communication can be reduced as much as possible.
  • the first display unit 225 displays the work support virtual object VO generated by the virtual object generation unit 224 by superimposing it on the physical space RS in which the first user is present. do.
  • the work support virtual object VO is a virtual object generated based on each position data of the instruction reference position data D21 and the instruction position data D22.
  • the first display unit 225 displays a constant position within the physical space RS in which the first user is present, with reference to the designated reference position P21 indicated by the designated reference position data D21 and the designated position P22 indicated by the designated position data D22.
  • the work support virtual object VO is displayed so as to be localized at the position of .
  • the work support virtual object VO is localized at a fixed position within the physical space RS. ing.
  • the worker using the first display device 22 can confirm the work support virtual object VO displayed on the first display unit 225 so as to be localized at a certain position in the physical space RS. It is possible to accurately grasp the position of the work instruction by the user.
  • the data generation unit 324 of the second management device 32 generates a plurality of combination data of the designation reference position data D21 and the designation position data D22 corresponding to each operation on each of the plurality of images D11.
  • the virtual object generation unit 224 of the first display device 22 generates each position indicated by the designated reference position data D21 and the designated position data D22 of each of the plurality of combination data.
  • a first intersection point P231 between straight lines P212 passing through P21 and P22 is calculated.
  • the virtual object generator 224 generates the work support virtual object VO based on the calculated first intersection point P231.
  • such a work support virtual object VO is displayed on the first display unit 225 so as to be localized at a certain position based on the first intersection point P231 in the physical space RS where the first user is present. .
  • the indicated position P22 in the three-dimensional physical space RS can be represented by the position of the work support virtual object VO based on the first intersection point P231.
  • the first user using the first display device 22 can display the work support virtual object VO displayed on the first display unit 225 so as to be localized at a certain position based on the first intersection point P231 in the physical space RS. By checking, it is possible to more accurately grasp the position of the work instruction by the second user.
  • the virtual object generation unit 224 generates a plurality of line segments P212 extending from each of the plurality of pointing reference positions P21 indicated by the pointing reference position data D21 of each of the plurality of combination data to the first intersection point P231.
  • Each virtual object along each is generated as a work support virtual object VO.
  • the indicated position P22 in the three-dimensional physical space RS can be represented by the position of the end corresponding to the first intersection point P231 in the work support virtual object VO.
  • the first user using the first display device 22 can see the first intersection point P231 in the work support virtual object VO displayed on the first display unit 225 so as to be localized at a certain position in the physical space RS. By confirming the position of the corresponding end portion, it is possible to more accurately grasp the position of the work instruction by the second user.
  • the virtual object generation unit 224 generates a virtual mark arranged at the first intersection point P231 as the work support virtual object VO.
  • the pointing position P22 in the three-dimensional physical space RS can be represented by the position of the virtual mark arranged at the first intersection point P231.
  • the first user using the first display device 22 can perform a task consisting of a virtual mark displayed on the first display unit 225 so as to be localized at a certain position in the physical space RS corresponding to the first intersection point P231.
  • the virtual object generator 224 in the first display device 22 generates the work support virtual object VO based on the three-dimensional scan data generated by the scan unit 223.
  • the virtual object generation unit 224 generates a straight line P212 passing through the pointing reference position P21 indicated by the pointing reference position data D21 and the indicated position P22 indicated by the pointing position data D22, and the cubic line generated by the scanning unit 223.
  • a second point of intersection P232 with the outer surface of the specific physical object ROS in the physical space RS based on the original scan data is calculated.
  • the virtual object generator 224 generates the work support virtual object VO based on the calculated second intersection point P232.
  • such a work support virtual object VO is displayed on the first display unit 225 so as to be localized at a certain position based on the second intersection point P232 in the physical space RS where the first user is present.
  • the indicated position P22 in the three-dimensional physical space RS can be represented by the position of the work support virtual object VO based on the second intersection point P232.
  • the first user using the first display device 22 can display the work support virtual object VO displayed on the first display unit 225 so as to be localized at a certain position based on the second intersection point P232 in the physical space RS. By checking, it is possible to more accurately grasp the position of the work instruction by the second user.
  • the virtual object generation unit 224 generates a virtual object along a line segment P212 extending from the designation reference position P21 indicated by the designation reference position data D21 to the second intersection point P232 as the work support virtual object VO.
  • the indicated position P22 in the three-dimensional physical space RS can be represented by the position of the end corresponding to the second intersection point P232 in the work support virtual object VO.
  • the first user using the first display device 22 can correspond to the second intersection point P232 in the work support virtual object VO displayed on the first display unit 225 so as to be localized at a certain position in the physical space RS.
  • the virtual object generation unit 224 generates a virtual mark arranged at the second intersection point P232 as the work support virtual object VO.
  • the pointing position P22 in the three-dimensional physical space RS can be represented by the position of the virtual mark arranged at the second intersection point P232.
  • the first user using the first display device 22 can perform the work consisting of the virtual marks displayed on the first display unit 225 so as to be localized at a certain position in the physical space RS corresponding to the second intersection point P232.
  • the data generation unit 324 of the second management device 32 generates the instruction reference position data D21 corresponding to the imaging position data D12 associated with the image D11, and a plurality of continuous instruction positions corresponding to the successive operations. data D22.
  • the virtual object generation unit 224 of the first display device 22 generates the designated position indicated by each of the plurality of designated position data D22 from the designated reference position P21 indicated by the designated reference position data D21.
  • a plurality of virtual objects along a plurality of straight lines P212 extending toward P22 are generated as work support virtual objects VO.
  • such a plurality of work support virtual objects VO are displayed on the first display unit 225 so as to be localized at fixed positions in the physical space RS where the first user is present.
  • the ends of the plurality of work support virtual objects VO on the side opposite to the instruction reference position P21 side are displayed continuously when designating the instruction position P22 on the image D11 displayed on the second display device 31.
  • the first user using the first display device 22 can confirm the arrangement state of the end portions of the plurality of work support virtual objects VO localized at a certain position in the physical space RS, thereby enabling the second display device 22 to It is possible to more accurately grasp the position of the work instruction by the user.
  • the image D11, the imaging position data D12, the pointing reference position data D21, and the pointing position data D22 are stored in the server storage unit 41 of the file server device 4.
  • the file server device 4 is connected to the first communication unit 232 of the first management device 23 and the second communication unit 322 of the second management device 32 via the communication network 5 so as to be capable of data communication.
  • the second user can read the image D11 and the imaging position data D12 from the file server device 4 using the second management device 32 and use the second display device 31 at a desired timing that is convenient for the second user. Therefore, it is possible to create a work instruction while confirming the situation in the physical space RS where the first user is based on the image D11.
  • the first user uses the first management device 23 to read the designated reference position data D21 and the designated position data D22 from the file server device 4 at a desired timing that suits him/herself, and the first display device 22 can be used to perform work while confirming the work support virtual object VO.
  • the operation guide virtual object D13 is displayed on the first display unit 225 so as to be superimposed on the real space RS that can be seen through the first display unit 225 (FIG. 3). .
  • the scanning unit 223 generates three-dimensional scan data for working fiducial mark M1.
  • the control unit 221 of the first display device 22 recognizes the work reference position P11 where the work reference mark M1 is arranged in the three-dimensional physical space RS (step a1).
  • the operation of selecting the imaging position recognition region D132 is performed by the first user while the imaging device 21 is visible through the first display unit 225. done.
  • the scanning unit 223 generates three-dimensional scan data regarding the imaging mark M2 attached to the imaging device 21 .
  • the control unit 221 of the first display device 22 recognizes the imaging position P12 by the imaging device 21 with respect to the work reference position P11 in the physical space RS (step a2).
  • the imaging position data D ⁇ b>12 indicating the imaging position P ⁇ b>12 is transmitted to the first management device 23 via the display communication unit 222 .
  • the imaging device 21 acquires the image D11 by imaging the inside of the physical space RS at the imaging position P12 indicated by the imaging position data D12 (step a3).
  • the imaging communication unit 212 transmits the image D ⁇ b>11 to the first management device 23 .
  • the storage unit 233 associates and stores the image D11 and the imaging position data D12.
  • the first communication unit 232 then transmits the image D11 and the imaging position data D12 to the file server device 4 via the communication network 5 (step a4).
  • the file server device 4 stores the received image D ⁇ b>11 and imaging position data D ⁇ b>12 in the server storage unit 41 .
  • the operation guidance virtual object D23 is displayed on the second display unit 313 (Fig. 5).
  • the display communication unit 312 displays the image D11 stored in the server storage unit 41 of the file server device 4. and the imaging position data D12 are received and acquired via the second management device 32 (step b1).
  • the second display unit A reference numeral 313 displays a list of the images D11 classified by the image pickup position data D12.
  • the second display unit 313 displays the selected image D11 (step b2).
  • the second operation section 31A performs an operation of designating the indicated position P22 on the image D11 (step b3).
  • the data generator 324 of the second management device 32 generates the designated reference position data D21 and the designated position data D22 (FIG. 6, step b4).
  • the second communication unit 322 of the second management device 32 When the command signal for selecting the instruction transmission area D236 on the operation guide virtual object D23 displayed on the second display unit 313 is output from the second operation unit 31A, the second communication unit 322 of the second management device 32 , the designated reference position data D21 and the designated position data D22 are transmitted to the file server device 4 via the communication network 5 (step b5).
  • the file server device 4 stores the received instruction reference position data D21 and instruction position data D22 in the server storage unit 41.
  • the display communication unit 222 displays the file server device. 4, through the first management device 23, the designated reference position data D21 and the designated position data D22 stored in the server storage unit 41 of No. 4.
  • the virtual object generation unit 224 in the first display device 22 generates the work support virtual object VO displayed on the first display unit 225 based on the designation reference position data D21 and the designation position data D22 (see FIGS. 7 to 12). , step a5).
  • the first display unit 225 of the first display device 22 displays the work support virtual object VO superimposed on the physical space RS in which the first user is present (step a6).
  • the first display unit 225 is positioned at a certain position in the physical space RS with reference to the designated reference position P21 indicated by the designated reference position data D21 and the designated position P22 indicated by the designated position data D22.
  • the work support virtual object VO is displayed.
  • the first user using the first display device 22 confirms the work support virtual object VO displayed on the first display unit 225 so as to be localized at a certain position in the physical space RS, thereby performing the first 2. It is possible to accurately grasp the position of the work instruction by the user.
  • the work support system 1 may include other server devices such as a mail server device instead of the file server device 4 . Further, the work support system 1 may be configured without a server device such as the file server device 4 . In this case, the first communication unit 232 of the first system 2 and the second communication unit 322 of the second system 3 are connected via the communication network 5 so as to be capable of data communication.
  • a work support system includes a first system used by a first user and a second system used by a second user who instructs work in the space where the first user is present.
  • the first system comprises: an imaging unit that captures an image in the space; a virtual object generation unit that generates a work support virtual object that supports work in the space; A first display unit that displays an object, and a first communication unit that outputs imaging position data indicating an imaging position of the imaging unit in the space and the image.
  • the second system comprises: a second display unit that displays the image; pointing reference position data indicating a pointing reference position corresponding to the imaging position data; A data generation unit that generates pointing position data indicating a position, and a second communication unit that outputs the pointing reference position data and the pointing position data. Then, the virtual object generation unit generates the work support virtual object based on the instruction reference position data and the instruction position data.
  • the imaging position data of the imaging unit and the image captured by the imaging unit are output via the first communication unit.
  • the pointing reference position data and the pointing position data are generated by the data generating section while the image is displayed on the second display section.
  • Each generated position data is output via the second communication unit.
  • the virtual object generation unit generates the work support virtual object based on the designation reference position data and the designation position data, and the first display unit displays the work support virtual object.
  • imaging position data and images are transmitted from the first system side to the second system side, and indication reference position data and indication position data are transmitted from the second system side to the first system side.
  • the image can be converted into data as in the prior art. It is possible to reduce the amount of data as much as possible when performing data communication compared to the case of communication.
  • the first display unit displays the work support virtual object generated by the virtual object generation unit by superimposing it on the space in which the first user is present.
  • the work support virtual object is a virtual object generated based on each position data of the instruction reference position data and the instruction position data. Therefore, the first display unit displays the work support virtual object so as to be localized at a fixed position based on each position indicated by each position data in the space where the first user is present. In other words, even if the first user using the first display unit moves in the space or changes the orientation of the viewpoint, the task support virtual object is localized at a fixed position in the space. Accordingly, the first user using the first display unit can confirm the work support virtual object displayed on the first display unit so as to be oriented at a certain position in the space, thereby receiving the work instruction from the second user. It is possible to accurately grasp the position of
  • the data generation unit when each operation of designating a pointing position for each of the plurality of images with different imaging position data is an operation of designating the same pointing position, A plurality of combination data of the pointing reference position data and the pointing position data are generated in accordance with the operation.
  • the virtual object generator calculates a first intersection point between straight lines passing through each position indicated by the designated reference position data and the designated position data of each of the plurality of combination data, and calculates the first intersection point.
  • the task support virtual object is generated based on.
  • the data generation unit when an operation of designating the same pointing position is performed for each of a plurality of images with different imaging position data displayed on the second display unit of the second system, the data generation unit A plurality of combined data of pointing reference position data and pointing position data are generated corresponding to each operation.
  • the virtual object generation unit of the first system calculates a first intersection point between straight lines passing through each position indicated by the designated reference position data and the designated position data of each of the plurality of combination data, and calculates the first intersection point Generate work support virtual objects based on In the first system, such a task support virtual object is displayed on the first display unit so as to be localized at a certain position based on the first intersection point in the space where the first user is present.
  • the indicated position in the three-dimensional space can be represented by the position of the work support virtual object based on the first intersection.
  • the first user using the first display unit confirms the work support virtual object displayed on the first display unit so as to be oriented at a certain position based on the first intersection point in the space, thereby 2 It is possible to more accurately grasp the position of the work instruction by the user.
  • the virtual object generation unit generates a virtual object along a line segment extending from the instruction reference position indicated by the instruction reference position data of each of the plurality of combination data to the first intersection point. It is generated as a supporting virtual object.
  • the virtual object generation unit of the first system generates a virtual object along a line segment extending from the instruction reference position indicated by the instruction reference position data of each of the plurality of combination data to the first intersection as the work support virtual object. do.
  • the pointing position in the three-dimensional space can be represented by the position of the end corresponding to the first intersection point in the work support virtual object.
  • the first user using the first display unit can determine the position of the end corresponding to the first intersection point in the work support virtual object displayed on the first display unit so as to be oriented at a fixed position in the space. By checking, it is possible to more accurately grasp the position of the work instruction by the second user.
  • the virtual object generation unit generates a virtual mark arranged at the first intersection as the work support virtual object.
  • the virtual object generation unit of the first system generates the virtual mark arranged at the first intersection as the work support virtual object.
  • the pointing position in the three-dimensional space can be represented by the position of the virtual mark arranged at the first intersection.
  • the first user using the first display unit confirms the work support virtual object composed of the virtual mark displayed on the first display unit so as to be oriented at a certain position in the space corresponding to the first intersection point. By doing so, it is possible to more accurately grasp the position of the work instruction by the second user.
  • the first system further includes a scanning unit that scans the space to generate three-dimensional scan data regarding physical objects in the space.
  • the virtual object generator calculates a second intersection point between the outer surface of the physical object based on the three-dimensional scan data and a straight line passing through each position indicated by the designated reference position data and the designated position data. and generate the work support virtual object based on the second intersection.
  • the virtual object generation unit of the first system generates the outer surface of the real object in space based on the three-dimensional scan data generated by the scanning unit, and each position indicated by the designated reference position data and the designated position data. A second point of intersection with the straight line is calculated, and a task support virtual object is generated based on the second point of intersection.
  • a task support virtual object is displayed on the first display unit so as to be localized at a fixed position based on the second intersection point in the space where the first user is present.
  • the indicated position in the three-dimensional space can be represented by the position of the work support virtual object based on the second intersection.
  • the first user using the first display unit confirms the work support virtual object displayed on the first display unit so as to be oriented at a certain position based on the second intersection point in the space, thereby 2 It is possible to more accurately grasp the position of the work instruction by the user.
  • the virtual object generation unit generates, as the work support virtual object, a virtual object along a line segment extending from the instruction reference position indicated by the instruction reference position data to the second intersection.
  • the virtual object generation unit of the first system generates a virtual object along a line segment extending from the instruction reference position indicated by the instruction reference position data to the second intersection as the work support virtual object.
  • the pointing position in the three-dimensional space can be represented by the position of the end corresponding to the second intersection point in the task support virtual object.
  • the first user using the first display unit can determine the position of the end corresponding to the second intersection point in the work support virtual object displayed on the first display unit so as to be oriented at a fixed position in the space. By checking, it is possible to more accurately grasp the position of the work instruction by the second user.
  • the virtual object generation unit generates a virtual mark arranged at the second intersection as the work support virtual object.
  • the virtual object generation unit of the first system generates the virtual mark placed at the second intersection as the work support virtual object.
  • the pointing position in the three-dimensional space can be represented by the position of the virtual mark arranged at the second intersection.
  • the first user using the first display unit confirms the work support virtual object composed of the virtual mark displayed on the first display unit so as to be oriented at a certain position in the space corresponding to the second intersection point. By doing so, it is possible to more accurately grasp the position of the work instruction by the second user.
  • the data generation unit when an operation for designating a designated position on the image is performed in succession, the data generation unit generates a plurality of continuous designated position data corresponding to the operation.
  • the virtual object generator generates a plurality of virtual objects along a plurality of straight lines extending from the pointing reference position indicated by the pointing reference position data toward the pointing position indicated by each of the plurality of pointing position data. is generated as the work support virtual object.
  • the data generation unit when an operation for designating a pointing position on the image displayed on the second display unit is performed continuously, for example, by drawing an arc, the data generation unit generates a plurality of instructions corresponding to the operations performed continuously. Generate location data.
  • the virtual object generation unit of the first system generates a plurality of virtual objects along a plurality of straight lines extending from the designated reference position indicated by the designated reference position data toward the indicated position indicated by each of the plurality of indicated position data. It is generated as a work support virtual object.
  • such a plurality of work support virtual objects are displayed on the first display unit so as to be localized at fixed positions in the space where the first user is present.
  • the ends of the plurality of task support virtual objects on the side opposite to the instruction reference position side follow the trajectory of the operation performed continuously when designating the instruction position on the image displayed on the second display unit. are placed.
  • the first user using the first display unit can confirm the arrangement state of the end portions of the plurality of work support virtual objects that are localized at a certain position in the space, and thereby receive the work instruction from the second user. position can be grasped more accurately.
  • the above work support system further comprises a server device connected to the first communication unit and the second communication unit via a communication network so as to be able to communicate with each other.
  • the server device has a server storage unit that stores the imaging position data and the image, and the pointing reference position data and the pointing position data.
  • the imaging position data and the image, the pointing reference position data and the pointing position data are stored in the server storage section of the server device.
  • This server device is connected to the first communication section and the second communication section via a communication network so as to be capable of data communication.
  • the second user can use the second system to read out the imaging position data and the image from the server device at a desired timing that is convenient for the second user, and use the second display unit to read out the imaging position data and the image from the first user based on the image.
  • the first user uses the first system to read out the instruction reference position data and the instruction position data from the server device at a desired timing that is convenient for the first user, and uses the first display unit to read the work support virtual object. You can work while checking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

作業支援システムは、第１ユーザにより使用される第１システムと、前記第１ユーザの居る空間内での作業を指示する第２ユーザにより使用される第２システムと、を備える。前記第２システムは、前記第１システムが撮像した前記空間内の画像を表示する第２表示部と、前記画像上に指示位置を指定する操作に基づいて、撮像位置データに対応する指示基準位置を示す指示基準位置データと前記指示位置を示す指示位置データとを生成するデータ生成部と、前記指示基準位置データと前記指示位置データとを出力する第２通信部と、を含む。前記仮想物体生成部は、前記指示基準位置データと前記指示位置データとに基づいて、作業支援仮想物体を生成する。

Description

作業支援システム
　本開示は、作業を支援するための作業支援システムに関する。
　従来から、作業者である第１ユーザの居る空間内での作業を、遠隔地に居る指示者である第２ユーザによる指示に基づいて支援するための作業支援システムが知られている。この種の作業支援システムが例えば特許文献１に開示されている。
　特許文献１に開示されるシステムでは、通信ネットワークを介して接続された作業者側コンピュータと指示者側コンピュータとの間で、作業者の作業映像と指示者の作業指示映像とのデータ通信が行われる。このシステムでは、指示者は、指示者側モニタに表示された作業映像を見ながら作業指示映像を通じて作業者に作業指示を与えることができる。また、作業者は、作業者側モニタに表示された作業指示映像によって作業指示を確認しながら作業を行うことができる。
　しかしながら、作業映像及び作業指示映像の映像を通信ネットワークを介してデータ通信する場合、映像はデータ容量が比較的大きいので、通信ネットワークの環境によってはデータ通信に長時間を要するなどの問題が生じる虞がある。また、例えば、作業指示映像を確認せずに作業者が移動した場合、移動先の現在位置で作業者が作業指示映像を確認しても、当該作業指示映像で示される作業指示の位置を的確に把握することは困難である。
特許第６１７９９２７号公報
　本開示の目的は、第１ユーザ側と第２ユーザ側との間でデータ通信を行う際のデータ容量を可及的に小さくすることができるとともに、第２ユーザによる指示の位置を第１ユーザが的確に把握することが可能な作業支援システムを提供することである。
　本開示の一の局面に係る作業支援システムは、第１ユーザにより使用される第１システムと、前記第１ユーザの居る空間内での作業を指示する第２ユーザにより使用される第２システムと、を備える。前記第１システムは、前記空間内の画像を撮像する撮像部と、前記空間内での作業を支援する作業支援仮想物体を生成する仮想物体生成部と、前記空間に重ね合わせて前記作業支援仮想物体を表示する第１表示部と、前記空間内における前記撮像部の撮像位置を示す撮像位置データと前記画像とを出力する第１通信部と、を含む。前記第２システムは、前記画像を表示する第２表示部と、前記画像上に指示位置を指定する操作に基づいて、前記撮像位置データに対応する指示基準位置を示す指示基準位置データと前記指示位置を示す指示位置データとを生成するデータ生成部と、前記指示基準位置データと前記指示位置データとを出力する第２通信部と、を含む。そして、前記仮想物体生成部は、前記指示基準位置データと前記指示位置データとに基づいて、前記作業支援仮想物体を生成する。
　本開示によれば、第１ユーザ側と第２ユーザ側との間でデータ通信を行う際のデータ容量を可及的に小さくすることができるとともに、第２ユーザによる指示の位置を第１ユーザが的確に把握することが可能な作業支援システムを提供することができる。
図１は、本開示の作業支援システムの構成を示すブロック図である。 図２は、作業支援システムに備えられる第１システムの構成を示すブロック図である。 図３は、第１システムに備えられる第１表示装置の第１表示部越しに見える現実空間の様子を示す図である。 図４は、作業支援システムに備えられる第２システムの構成を示すブロック図である。 図５は、第２システムに備えられる第２表示装置における第２表示部の表示状態を示す図である。 図６は、第２表示装置の第２表示部に表示された画像に対して指示位置を指定する操作が行われた場合における、第２表示部の表示状態を示す図である。 図７は、第１表示装置の第１表示部に作業支援仮想物体が表示された状態で、第１表示部越しに見える現実空間の様子を示す図である。 図８は、第２表示装置において複数の画像に対して同一の指示位置を指定する操作が行われた場合における、第１表示装置の表示状態の第１例を示す図である。 図９は、第２表示装置において複数の画像に対して同一の指示位置を指定する操作が行われた場合における、第１表示装置の表示状態の第２例を示す図である。 図１０は、第１表示装置においてスキャン部による三次元スキャンデータに基づいて作業支援仮想物体が生成された場合における、第１表示装置の表示状態の第１例を示す図である。 図１１は、第１表示装置においてスキャン部による三次元スキャンデータに基づいて作業支援仮想物体が生成された場合における、第１表示装置の表示状態の第２例を示す図である。 図１２は、第２表示装置において画像に対して指示位置を指定する操作が連続でされる場合における、第１表示装置の表示状態を示す図である。 図１３は、作業支援システムを用いた作業支援方法を示すフローチャートである。
　以下、本開示に係る作業支援システムの実施形態について、図面に基づいて説明する。
　図１に示される作業支援システム１は、第１ユーザの居る空間内での作業を、遠隔地に居る第２ユーザによる指示に基づいて支援するためのシステムである。第１ユーザとしては、実際に作業を行う作業者、作業者の作業を監督する監督者、作業者の作業を補助する補助者などが挙げられる。第２ユーザとしては、作業の指示を行う指示者などが挙げられる。作業支援システム１は、第１ユーザにより使用される第１システム２と、第２ユーザにより使用される第２システム３とを備える。
　第１システム２は、撮像装置２１、第１表示装置２２及び第１管理装置２３を含む。第１システム２では、撮像装置２１及び第１表示装置２２は第１管理装置２３に接続され、第１管理装置２３は通信ネットワーク５に接続されている。一方、第２システム３は、第２表示装置３１及び第２管理装置３２を含む。第２システム３では、第２表示装置３１は第２管理装置３２に接続され、第２管理装置３２は通信ネットワーク５に接続されている。
　また、通信ネットワーク５には、ファイルサーバ装置４が接続されている。ファイルサーバ装置４は、第１管理装置２３及び第２管理装置３２と通信ネットワーク９を介してデータ通信可能に接続される。ファイルサーバ装置４は、第１システム２及び第２システム３において利用される各種データを記憶するサーバ記憶部４１を有している。ファイルサーバ装置４の詳細については後述する。
　図２及び図３を参照しながら、第１システム２を構成する撮像装置２１、第１表示装置２２及び第１管理装置２３について説明する。
　撮像装置２１は、第１ユーザの居る現実空間ＲＳ内の画像Ｄ１１を撮像する装置である。撮像装置２１により撮像される画像Ｄ１１は、二次元画像である。撮像装置２１は、制御部２１１と、撮像通信部２１２と、撮像部２１３と、画像処理部２１４とを備える。撮像装置２１では、撮像通信部２１２、撮像部２１３及び画像処理部２１４が制御部２１１によって制御される。制御部２１１の制御によって、撮像部２１３及び画像処理部２１４が画像Ｄ１１を取得し、撮像通信部２１２は画像Ｄ１１を第１管理装置２３に送信する。
　撮像部２１３は、結像光学系と撮像素子とを具備した複数の撮像体によって構成される。結像光学系は、レンズ、プリズム、フィルタ及び開口絞りなどの光学素子を含む。撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの素子である。複数の撮像体の各々の撮像素子により撮像された画像は、画像処理部２１４へ転送される。
　画像処理部２１４は、複数の撮像体の各々の撮像素子からの画像を合成する画像処理を行う。画像処理部２１４は、各画像を合成する画像処理を行うことにより、立体角４πステラジアンの全方位画像を画像Ｇ１１として生成する。
　つまり、撮像装置２１は、第１ユーザの居る現実空間ＲＳ内における撮像位置を中心として全方位を撮像した全方位画像を、画像Ｇ１１として取得する。画像Ｇ１１は、撮像通信部２１２を介して第１管理装置２３に送信される。
　第１表示装置２２は、第１ユーザの居る現実空間ＲＳに重ね合わせてＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）で表現された仮想物体を表示する表示装置である。第１表示装置２２を利用した第１ユーザは、現実空間ＲＳ内の現実世界に仮想物体が複合された複合現実（ＭＲ：Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）を体験することが可能である。第１表示装置２２としては、第１ユーザによる携帯が可能なタブレット端末などの携帯端末、第１ユーザの頭部に装着されて利用される頭部装着ディスプレイ装置、第１ユーザに眼鏡のような感覚で装着されて利用される眼鏡型ディスプレイ装置などを挙げることができる。本実施形態では、第１表示装置２２は、眼鏡型ディスプレイ装置によって構成される。このような第１表示装置２２では、ＣＧで表現された仮想物体が、ディスプレイ越しに見える現実世界に重ね合わされて表示される。
　第１表示装置２２は、制御部２２１と、表示通信部２２２と、スキャン部２２３と、仮想物体生成部２２４と、第１表示部２２５と、を備える。第１表示装置２２では、表示通信部２２２、スキャン部２２３、仮想物体生成部２２４、及び第１表示部２２５が制御部２２１によって制御される。
　第１表示部２２５は、現実空間ＲＳに重ね合わされるように仮想物体を表示することが可能なディスプレイである。眼鏡型ディスプレイ装置によって構成される第１表示装置２２では、第１表示部２２５は光を透過する特性を有するように構成される。そして、第１表示装置２２が第１ユーザに装着された状態において、第１表示部２２５は第１ユーザの両目を外側から覆うように配置される。この状態で第１ユーザは、第１表示部２２５越しに現実空間ＲＳ内を見ることができる。第１表示部２２５に表示される仮想物体は、仮想物体生成部２２４によって生成される。
　仮想物体生成部２２４は、現実空間ＲＳ内における第１ユーザの作業を支援するための仮想物体として作業支援仮想物体を生成する。この仮想物体生成部２２４による作業支援仮想物体の生成動作の詳細については、後述する。なお、第１システム２では、仮想物体生成部２２４は、第１表示装置２２に備えられることに限定されない。仮想物体生成部２２４は、第１管理装置２３に備えられていてもよい。
　スキャン部２２３は、第１表示部２２５に近接した位置に配置される複数のカメラやセンサなどによって構成される。スキャン部２２３は、三次元の現実空間ＲＳ内をスキャンすることにより、現実空間ＲＳ内の現実物体ＲＯに関する三次元スキャンデータを生成する。第１表示装置２２は、スキャン部２２３による三次元スキャンデータの生成動作に基づく自己位置推定機能であるＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）機能を有している。
　第１ユーザが第１表示装置２２を利用するに際しては、図３に示されるように、ＣＧで表現された仮想物体としての操作案内仮想物体Ｄ１３が、第１表示部２２５越しに見える現実空間ＲＳに重ね合わされるように第１表示部２２５に表示される。操作案内仮想物体Ｄ１３は、第１ユーザの操作を案内するための仮想物体であり、基準位置認識領域Ｄ１３１と、撮像位置認識領域Ｄ１３２と、データ読込領域Ｄ１３３とが配置されている。
　現実空間ＲＳ内の作業基準位置Ｐ１１に配置された作業基準マークＭ１が第１表示部２２５越しに見える状態において、基準位置認識領域Ｄ１３１を選択する操作が第１ユーザによって行われた場合、スキャン部２２３は、作業基準マークＭ１に関する三次元スキャンデータを生成する。この場合の三次元スキャンデータは、三次元の現実空間ＲＳ内において作業基準マークＭ１が配置された作業基準位置Ｐ１１を示す作業基準位置データとなる。
　第１表示装置２２において制御部２２１は、スキャン部２２３による三次元スキャンデータに基づいて、作業基準位置データで示される作業基準位置Ｐ１１に対する、第１表示装置２２を装着した第１ユーザの現実空間ＲＳ内の位置を認識するとともに、第１ユーザの視点の向きを認識する。
　撮像装置２１を利用して現実空間ＲＳ内の画像Ｄ１１を撮像する際には、第１表示部２２５越しに撮像装置２１が見える状態において、撮像位置認識領域Ｄ１３２を選択する操作が第１ユーザによって行われる。この場合、スキャン部２２３は、撮像装置２１に付された撮像マークＭ２に関する三次元スキャンデータを生成する。この場合の三次元スキャンデータは、現実空間ＲＳ内において、作業基準位置データで示される作業基準位置Ｐ１１に対する撮像装置２１による撮像位置Ｐ１２を示す撮像位置データＤ１２となる。この撮像位置データＤ１２は、表示通信部２２２を介して第１管理装置２３に送信される。
　なお、データ読込領域Ｄ１３３を選択する操作が第１ユーザによって行われた場合、表示通信部２２２は、ファイルサーバ装置４のサーバ記憶部４１に記憶される後記の指示基準位置データＤ２１及び指示位置データＤ２２を、第１管理装置２３を介して受信する。表示通信部２２２により受信された指示基準位置データＤ２１及び指示位置データＤ２２は、仮想物体生成部２２４により参照される。
　第１管理装置２３は、例えばパーソナルコンピュータによって構成される。第１管理装置２３は、制御部２３１と、第１通信部２３２と、記憶部２３３と、を備える。第１管理装置２３では、第１通信部２３２及び記憶部２３３が制御部２３１によって制御される。
　第１通信部２３２は、撮像装置２１及び第１表示装置２２とデータ通信を行うとともに、通信ネットワーク５を介してファイルサーバ装置４とデータ通信を行う。第１通信部２３２は、撮像装置２１からの画像Ｄ１１と第１表示装置２２からの撮像位置データＤ１２とを受信し、その受信した画像Ｄ１１及び撮像位置データＤ１２を、通信ネットワーク５を介してファイルサーバ装置４に送信する。また、第１通信部２３２は、通信ネットワーク５を介してファイルサーバ装置４から指示基準位置データＤ２１及び指示位置データＤ２２を受信し、その受信した各位置データＤ２１，Ｄ２２を第１表示装置２２に送信する。
　記憶部２３３は、第１通信部２３２により受信された画像Ｄ１１と撮像位置データＤ１２とを関連付けて記憶する。画像Ｄ１１と撮像位置データＤ１２とは互いに関連付けられた状態で、第１通信部２３２を介してファイルサーバ装置４に送信される。ファイルサーバ装置４は、受信した画像Ｄ１１及び撮像位置データＤ１２をサーバ記憶部４１に記憶する。
　なお、第１システム２では、第１管理装置２３が第１表示装置２２に組み込まれていてもよい。つまり、第１表示装置２２が上記の第１通信部２３２及び記憶部２３３の機能を有するように構成されていてもよい。
　次に、図１に加えて図４～図６を参照しながら、第２システム３を構成する第２表示装置３１及び第２管理装置３２について説明する。
　第２管理装置３２は、例えばパーソナルコンピュータによって構成される。第２管理装置３２は、通信ネットワーク５を介してファイルサーバ装置４とデータ通信を行う機能と、第２表示装置３１を制御する機能とを有している。第２管理装置３２は、制御部３２１と、第２通信部３２２と、記憶部３２３と、データ生成部３２４と、を備える。第２管理装置３２では、第２通信部３２２、記憶部３２３及びデータ生成部３２４が制御部３２１によって制御される。
　第２通信部３２２は、第２表示装置３１とデータ通信を行うとともに、通信ネットワーク５を介してファイルサーバ装置４とデータ通信を行う。第２通信部３２２は、通信ネットワーク５を介してファイルサーバ装置４から画像Ｄ１１及び撮像位置データＤ１２を受信し、その受信した画像Ｄ１１を第２表示装置３１に送信する。また、第２通信部３２２は、後記のデータ生成部３２４により生成される指示基準位置データＤ２１及び指示位置データＤ２２を、通信ネットワーク５を介してファイルサーバ装置４に送信する。
　記憶部３２３は、データ生成部３２４により生成される指示基準位置データＤ２１と指示位置データＤ２２とを関連付けて記憶する。指示基準位置データＤ２１と指示位置データＤ２２とは互いに関連付けられた状態で第２通信部３２２を介してファイルサーバ装置４に送信される。
　データ生成部３２４は、指示基準位置データＤ２１及び指示位置データＤ２２を生成するデータ生成処理を行う。データ生成部３２４によるデータ生成処理は、第２表示装置３１による画像の表示と連動して行われる。このため、データ生成部３２４によるデータ生成処理については、第２表示装置３１と関連付けて説明する。
　第２表示装置３１は、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）の画像を表示する表示装置である。第２表示装置３１としては、第２ユーザによる携帯が可能なタブレット端末などの携帯端末、第２ユーザの頭部に装着されて利用される頭部装着ディスプレイ装置、パーソナルコンピュータなどを挙げることができる。本実施形態では、第２表示装置３１は、頭部装着ディスプレイ装置によって構成される。
　第２表示装置３１は、制御部３１１と、表示通信部３１２と、第２表示部３１３と、を備える。第２表示装置３１では、表示通信部３１２及び第２表示部３１３が制御部３１１によって制御される。また、第２表示装置３１は、第２操作部３１Ａからの指令信号を受け付けるように構成される。第２操作部３１Ａは、例えば、第２ユーザにより操作されるコントローラによって構成される。また、第２操作部３１Ａは、第２表示装置３１に搭載され、第２ユーザの手や指の動きをトラッキングするセンサなどによって構成されていてもよい。
　第２表示部３１３は、画像を表示することが可能なディスプレイである。第２ユーザが第２表示装置３１を利用するに際しては、図５に示されるように、ＣＧで表現された仮想物体としての操作案内仮想物体Ｄ２３が、第２表示部３１３に表示される。操作案内仮想物体Ｄ２３は、第２ユーザによる第２操作部３１Ａを介した操作を案内するための仮想物体であり、画像取得領域Ｄ２３１と、画像読込領域Ｄ２３２と、指示作成モード領域Ｄ２３３と、画像一覧表示領域Ｄ２３４と、指示削除領域Ｄ２３５と、指示送信領域Ｄ２３６とが配置されている。
　画像取得領域Ｄ２３１を選択する指令信号が第２操作部３１Ａから出力された場合、表示通信部３１２は、ファイルサーバ装置４のサーバ記憶部４１に記憶される画像Ｄ１１及び撮像位置データＤ１２を、第２管理装置３２を介して受信して取得する。このように表示通信部３１２は、画像Ｄ１１及び撮像位置データＤ１２を取得する取得部としての機能を有する。
　画像読込領域Ｄ２３２を選択する指令信号が第２操作部３１Ａから出力された場合、第２表示部３１３は、表示通信部３１２により取得された画像Ｄ１１及び撮像位置データＤ１２を読み込む。
　指示作成モード領域Ｄ２３３を選択する指令信号が第２操作部３１Ａから出力された場合、第２表示装置３１は、第１ユーザによる作業位置を指示するための指示位置に関するデータを作成するモードに設定される。
　画像一覧表示領域Ｄ２３４を選択する指令信号が第２操作部３１Ａから出力された場合、第２表示部３１３は、撮像位置データＤ１２ごとに区分された状態で画像Ｄ１１を一覧表示する。一覧表示された画像Ｄ１１の中から一の画像Ｄ１１を選択する指令信号が第２操作部３１Ａから出力された場合、第２表示部３１３は、その選択された画像Ｄ１１を表示する。
　図６に示されるように、第２表示部３１３に画像Ｄ１１が表示された状態において、画像Ｄ１１上に指示位置Ｐ２２を指定する第２操作部３１Ａによる操作に基づいて、第２管理装置３２のデータ生成部３２４は、指示基準位置データＤ２１及び指示位置データＤ２２を生成する。指示基準位置データＤ２１は、画像Ｄ１１に関連付けられた撮像位置データＤ１２に対応する指示基準位置Ｐ２１を示すデータである。指示位置データＤ２２は、第１ユーザの作業位置を指示するための指示位置Ｐ２２を示すデータである。データ生成部３２４により指示基準位置データＤ２１及び指示位置データＤ２２が生成されると、指示基準位置Ｐ２１から指示位置Ｐ２２に延びる仮想物体を示す作業指示仮想物体Ｐ２Ａが、画像Ｄ１１に重なるように第２表示部３１３に表示される。第２表示部３１３に表示された作業指示仮想物体Ｐ２Ａを確認することにより、第２ユーザは、指示位置Ｐ２２を把握することができる。
　第２管理装置３２では、データ生成部３２４により生成された指示基準位置データＤ２１及び指示位置データＤ２２は、互いに関連付けられた状態で記憶部３２３に記憶される。
　図５に戻って、第２表示部３１３に表示された操作案内仮想物体Ｄ２３上の指示削除領域Ｄ２３５を選択する指令信号が第２操作部３１Ａから出力された場合、第２管理装置３２では、データ生成部３２４は、作成した指示基準位置データＤ２１及び指示位置データＤ２２を削除する。
　第２表示部３１３に表示された操作案内仮想物体Ｄ２３上の指示送信領域Ｄ２３６を選択する指令信号が第２操作部３１Ａから出力された場合、第２管理装置３２では、第２通信部３２２は、記憶部３２３に記憶されている指示基準位置データＤ２１及び指示位置データＤ２２を、通信ネットワーク５を介してファイルサーバ装置４に送信する。
　ファイルサーバ装置４は、受信した指示基準位置データＤ２１及び指示位置データＤ２２をサーバ記憶部４１に記憶する。
　既述の通り、第１表示装置２２においては、第１表示部２２５に表示された操作案内仮想物体Ｄ１３上のデータ読込領域Ｄ１３３を選択する操作が第１ユーザによって行われた場合、表示通信部２２２は、ファイルサーバ装置４のサーバ記憶部４１に記憶される指示基準位置データＤ２１及び指示位置データＤ２２を、第１管理装置２３を介して受信する。
　図７に示されるように、第１表示装置２２において、仮想物体生成部２２４は、指示基準位置データＤ２１及び指示位置データＤ２２に基づいて、第１表示部２２５に表示される作業支援仮想物体ＶＯを生成する。作業支援仮想物体ＶＯは、第１ユーザによる作業を支援するための仮想物体である。仮想物体生成部２２４は、指示基準位置データＤ２１で示される指示基準位置Ｐ２１と指示位置データＤ２２で示される指示位置Ｐ２２とを通る直線Ｐ２１２に沿う仮想物体を、作業支援仮想物体ＶＯとして生成する。この際、指示基準位置データＤ２１で示される指示基準位置Ｐ２１は、撮像位置データＤ１２で示される撮像位置Ｐ１２と一致していてもよいし、撮像位置Ｐ１２に対してずれた位置であってもよい。
　以上説明した通り、第１システム２では、撮像装置２１の撮像位置データＤ１２と撮像装置２１により撮像された画像Ｄ１１とが、第１管理装置２３の第１通信部２３２を介して出力される。一方、第２システム３では、第２表示装置３１に画像Ｄ１１が表示された状態で、第２管理装置３２のデータ生成部３２４によって指示基準位置データＤ２１と指示位置データＤ２２とが生成される。生成された各位置データＤ２１，Ｄ２２は、第２管理装置３２の第２通信部３２２を介して出力される。そして、第１システム２の第１表示装置２２では、仮想物体生成部２２４が指示基準位置データＤ２１と指示位置データＤ２２とに基づいて作業支援仮想物体ＶＯを生成し、第１表示部２２５が作業支援仮想物体ＶＯを表示する。
　このような第１システム２と第２システム３とで構成される作業支援システム１では、撮像位置データＤ１２及び画像Ｄ１１が第１システム２側から第２システム３側に送信され、指示基準位置データＤ２１及び指示位置データＤ２２が第２システム３側から第１システム２側に送信される。撮像位置データＤ１２、指示基準位置データＤ２１及び指示位置データＤ２２の各位置データと画像Ｄ１１とを、第１システム２と第２システム３との間でのデータ通信の対象とすることにより、従来技術のような映像をデータ通信の対象とする場合に比べて、データ通信を行う際のデータ容量を可及的に小さくすることができる。
　また、第１システム２の第１表示装置２２では、第１表示部２２５は、仮想物体生成部２２４により生成された作業支援仮想物体ＶＯを、第１ユーザの居る現実空間ＲＳに重ね合わせて表示する。上記の通り、作業支援仮想物体ＶＯは、指示基準位置データＤ２１と指示位置データＤ２２との各位置データに基づいて生成された仮想物体である。このため、第１表示部２２５は、第１ユーザの居る現実空間ＲＳ内において、指示基準位置データＤ２１で示される指示基準位置Ｐ２１と指示位置データＤ２２で示される指示位置Ｐ２２とを基準とした一定の位置に定位するように、作業支援仮想物体ＶＯを表示する。つまり、第１表示装置２２を利用する第１ユーザが現実空間ＲＳ内を移動し、或いは視点の向きを変化させても、作業支援仮想物体ＶＯは、現実空間ＲＳ内の一定の位置に定位している。これにより、第１表示装置２２を利用する作業者は、現実空間ＲＳ内の一定の位置に定位するように第１表示部２２５に表示される作業支援仮想物体ＶＯを確認することにより、第２ユーザによる作業指示の位置を的確に把握することが可能である。
　次に、第２表示装置３１に表示される、撮像位置データＤ１２が異なる複数の画像Ｄ１１の各々に対して同一の指示位置Ｐ２２を指定する操作がそれぞれ行われた場合を想定する。この場合、第２管理装置３２のデータ生成部３２４は、複数の画像Ｄ１１の各々に対する各操作に対応して、指示基準位置データＤ２１と指示位置データＤ２２との組み合わせデータを複数生成する。
　この場合、図８及び図９に示されるように、第１表示装置２２の仮想物体生成部２２４は、複数の組み合わせデータの各々の指示基準位置データＤ２１と指示位置データＤ２２とで示される各位置Ｐ２１，Ｐ２２を通る直線Ｐ２１２同士の第１交点Ｐ２３１を算出する。そして、仮想物体生成部２２４は、算出した第１交点Ｐ２３１に基づいて作業支援仮想物体ＶＯを生成する。第１表示装置２２では、このような作業支援仮想物体ＶＯが、第１ユーザの居る現実空間ＲＳ内において第１交点Ｐ２３１に基づく一定の位置に定位するように第１表示部２２５に表示される。この場合、第１交点Ｐ２３１に基づく作業支援仮想物体ＶＯの位置によって、三次元の現実空間ＲＳ内における指示位置Ｐ２２を表すことができる。これにより、第１表示装置２２を利用する第１ユーザは、現実空間ＲＳ内において第１交点Ｐ２３１に基づく一定の位置に定位するように第１表示部２２５に表示される作業支援仮想物体ＶＯを確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　図８に示す例では、仮想物体生成部２２４は、複数の組み合わせデータの各々の指示基準位置データＤ２１で示される複数の指示基準位置Ｐ２１の各々から第１交点Ｐ２３１まで延びる複数の線分Ｐ２１２の各々に沿う各仮想物体を、作業支援仮想物体ＶＯとして生成する。この場合、作業支援仮想物体ＶＯにおける第１交点Ｐ２３１に対応した端部の位置によって、三次元の現実空間ＲＳ内における指示位置Ｐ２２を表すことができる。これにより、第１表示装置２２を利用する第１ユーザは、現実空間ＲＳ内の一定の位置に定位するように第１表示部２２５に表示される作業支援仮想物体ＶＯにおける、第１交点Ｐ２３１に対応した端部の位置を確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　図９に示す例では、仮想物体生成部２２４は、第１交点Ｐ２３１に配置される仮想マークを作業支援仮想物体ＶＯとして生成する。この場合、第１交点Ｐ２３１に配置される仮想マークの位置によって、三次元の現実空間ＲＳ内における指示位置Ｐ２２を表すことができる。これにより、第１表示装置２２を利用する第１ユーザは、第１交点Ｐ２３１に対応した現実空間ＲＳ内の一定の位置に定位するように第１表示部２２５に表示される仮想マークからなる作業支援仮想物体ＶＯを確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　また、図１０及び図１１に示されるように、第１表示装置２２において仮想物体生成部２２４は、スキャン部２２３により生成される三次元スキャンデータに基づいて、作業支援仮想物体ＶＯを生成するように構成されていてもよい。具体的には、仮想物体生成部２２４は、指示基準位置データＤ２１で示される指示基準位置Ｐ２１と指示位置データＤ２２で示される指示位置Ｐ２２とを通る直線Ｐ２１２と、スキャン部２２３により生成される三次元スキャンデータに基づく現実空間ＲＳ内の特定の現実物体ＲＯＳの外面との第２交点Ｐ２３２を算出する。そして、仮想物体生成部２２４は、算出した第２交点Ｐ２３２に基づいて作業支援仮想物体ＶＯを生成する。
　第１表示装置２２では、このような作業支援仮想物体ＶＯが、第１ユーザの居る現実空間ＲＳ内において第２交点Ｐ２３２に基づく一定の位置に定位するように第１表示部２２５に表示される。この場合、第２交点Ｐ２３２に基づく作業支援仮想物体ＶＯの位置によって、三次元の現実空間ＲＳ内における指示位置Ｐ２２を表すことができる。これにより、第１表示装置２２を利用する第１ユーザは、現実空間ＲＳ内において第２交点Ｐ２３２に基づく一定の位置に定位するように第１表示部２２５に表示される作業支援仮想物体ＶＯを確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　図１０に示す例では、仮想物体生成部２２４は、指示基準位置データＤ２１で示される指示基準位置Ｐ２１から第２交点Ｐ２３２まで延びる線分Ｐ２１２に沿う仮想物体を作業支援仮想物体ＶＯとして生成する。この場合、作業支援仮想物体ＶＯにおける第２交点Ｐ２３２に対応した端部の位置によって、三次元の現実空間ＲＳ内における指示位置Ｐ２２を表すことができる。これにより、第１表示装置２２を利用する第１ユーザは、現実空間ＲＳ内の一定の位置に定位するように第１表示部２２５に表示される作業支援仮想物体ＶＯにおける第２交点Ｐ２３２に対応した端部の位置を確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　図１１に示す例では、仮想物体生成部２２４は、第２交点Ｐ２３２に配置される仮想マークを作業支援仮想物体ＶＯとして生成する。この場合、第２交点Ｐ２３２に配置される仮想マークの位置によって、三次元の現実空間ＲＳ内における指示位置Ｐ２２を表すことができる。これにより、第１表示装置２２を利用する第１ユーザは、第２交点Ｐ２３２に対応した現実空間ＲＳ内の一定の位置に定位するように第１表示部２２５に表示される仮想マークからなる作業支援仮想物体ＶＯを確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　次に、第２表示装置３１に表示される画像Ｄ１１上に指示位置Ｐ２２を指定する操作が例えば円弧を描くなどの連続でされる場合を想定する。この場合、第２管理装置３２のデータ生成部３２４は、画像Ｄ１１に関連付けられた撮像位置データＤ１２に対応する指示基準位置データＤ２１と、連続でされる操作に対応して連続した複数の指示位置データＤ２２とを生成する。
　この場合、図１２に示されるように、第１表示装置２２の仮想物体生成部２２４は、指示基準位置データＤ２１で示される指示基準位置Ｐ２１から複数の指示位置データＤ２２の各々で示される指示位置Ｐ２２に向かって延びる複数の直線Ｐ２１２に沿う複数の仮想物体を、作業支援仮想物体ＶＯとして生成する。第１表示装置２２では、このような複数の作業支援仮想物体ＶＯが、第１ユーザの居る現実空間ＲＳ内の一定の位置に定位するように第１表示部２２５に表示される。この場合、複数の作業支援仮想物体ＶＯにおける指示基準位置Ｐ２１側とは反対側の端部は、第２表示装置３１に表示された画像Ｄ１１上に指示位置Ｐ２２を指定する際の連続でされる操作の軌跡ＶＣに沿って配置される。これにより、第１表示装置２２を利用する第１ユーザは、現実空間ＲＳ内の一定の位置に定位している複数の作業支援仮想物体ＶＯにおける端部の配置態様を確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　また、既述の通り、画像Ｄ１１及び撮像位置データＤ１２と、指示基準位置データＤ２１及び指示位置データＤ２２とは、ファイルサーバ装置４のサーバ記憶部４１に記憶される。このファイルサーバ装置４は、第１管理装置２３の第１通信部２３２及び第２管理装置３２の第２通信部３２２と通信ネットワーク５を介してデータ通信可能に接続されている。これにより、第２ユーザは、自身の都合に合う所望のタイミングで第２管理装置３２を利用してファイルサーバ装置４から画像Ｄ１１及び撮像位置データＤ１２を読み出して、第２表示装置３１を利用して画像Ｄ１１に基づき第１ユーザの居る現実空間ＲＳ内の状況を確認しながら作業指示を作成することができる。一方、第１ユーザは、自身の都合に合う所望のタイミングで、第１管理装置２３を利用してファイルサーバ装置４から指示基準位置データＤ２１及び指示位置データＤ２２を読み出して、第１表示装置２２を利用して作業支援仮想物体ＶＯを確認しながら作業を行うことができる。
　次に、作業支援システム１を用いた作業支援方法について、図１３のフローチャートを参照しながら説明する。
　第１ユーザが第１表示装置２２を利用するに際し、第１表示部２２５越しに見える現実空間ＲＳに重ね合わされるように操作案内仮想物体Ｄ１３が第１表示部２２５に表示される（図３）。現実空間ＲＳ内の作業基準位置Ｐ１１に配置された作業基準マークＭ１が第１表示部２２５越しに見える状態において、基準位置認識領域Ｄ１３１を選択する操作が第１ユーザによって行われると、スキャン部２２３は、作業基準マークＭ１に関する三次元スキャンデータを生成する。これにより、第１表示装置２２において制御部２２１は、三次元の現実空間ＲＳ内において作業基準マークＭ１が配置された作業基準位置Ｐ１１を認識する（ステップａ１）。
　撮像装置２１を利用して現実空間ＲＳ内の画像Ｄ１１を撮像する際には、第１表示部２２５越しに撮像装置２１が見える状態において、撮像位置認識領域Ｄ１３２を選択する操作が第１ユーザによって行われる。この場合、スキャン部２２３は、撮像装置２１に付された撮像マークＭ２に関する三次元スキャンデータを生成する。これにより、第１表示装置２２において制御部２２１は、現実空間ＲＳ内における作業基準位置Ｐ１１に対する撮像装置２１による撮像位置Ｐ１２を認識する（ステップａ２）。この撮像位置Ｐ１２を示す撮像位置データＤ１２は、表示通信部２２２を介して第１管理装置２３に送信される。
　撮像装置２１は、撮像位置データＤ１２で示される撮像位置Ｐ１２において現実空間ＲＳ内を撮像することにより、画像Ｄ１１を取得する（ステップａ３）。撮像装置２１では、撮像通信部２１２は、画像Ｄ１１を第１管理装置２３に送信する。
　撮像装置２１からの画像Ｄ１１と第１表示装置２２からの撮像位置データＤ１２とを受信した第１管理装置２３では、記憶部２３３は、画像Ｄ１１と撮像位置データＤ１２とを関連付けて記憶する。そして、第１通信部２３２は、画像Ｄ１１及び撮像位置データＤ１２を、通信ネットワーク５を介してファイルサーバ装置４に送信する（ステップａ４）。ファイルサーバ装置４は、受信した画像Ｄ１１及び撮像位置データＤ１２をサーバ記憶部４１に記憶する。
　第２ユーザが第２表示装置３１を利用するに際し、操作案内仮想物体Ｄ２３が第２表示部３１３に表示される（図５）。第２表示装置３１においては、画像取得領域Ｄ２３１を選択する指令信号が第２操作部３１Ａから出力された場合、表示通信部３１２は、ファイルサーバ装置４のサーバ記憶部４１に記憶される画像Ｄ１１及び撮像位置データＤ１２を、第２管理装置３２を介して受信して取得する（ステップｂ１）。
　第２表示装置３１では、画像読込領域Ｄ２３２及び指示作成モード領域Ｄ２３３を選択する指令信号の後に画像一覧表示領域Ｄ２３４を選択する指令信号が第２操作部３１Ａから出力された場合、第２表示部３１３は、撮像位置データＤ１２ごとに区分された状態で画像Ｄ１１を一覧表示する。一覧表示された画像Ｄ１１の中から一の画像Ｄ１１を選択する指令信号が第２操作部３１Ａから出力された場合、第２表示部３１３は、その選択された画像Ｄ１１を表示する（ステップｂ２）。
　第２表示部３１３に画像Ｄ１１が表示された状態において、画像Ｄ１１上に指示位置Ｐ２２を指定する操作が第２操作部３１Ａにより行われる（ステップｂ３）。この場合、第２管理装置３２のデータ生成部３２４は、指示基準位置データＤ２１及び指示位置データＤ２２を生成する（図６、ステップｂ４）。
　第２表示部３１３に表示された操作案内仮想物体Ｄ２３上の指示送信領域Ｄ２３６を選択する指令信号が第２操作部３１Ａから出力された場合、第２管理装置３２では、第２通信部３２２は、指示基準位置データＤ２１及び指示位置データＤ２２を、通信ネットワーク５を介してファイルサーバ装置４に送信する（ステップｂ５）。ファイルサーバ装置４は、受信した指示基準位置データＤ２１及び指示位置データＤ２２をサーバ記憶部４１に記憶する。
　第１表示装置２２では、第１表示部２２５に表示された操作案内仮想物体Ｄ１３上のデータ読込領域Ｄ１３３を選択する操作が第１ユーザによって行われた場合、表示通信部２２２は、ファイルサーバ装置４のサーバ記憶部４１に記憶される指示基準位置データＤ２１及び指示位置データＤ２２を、第１管理装置２３を介して受信する。
　第１表示装置２２において仮想物体生成部２２４は、指示基準位置データＤ２１及び指示位置データＤ２２に基づいて、第１表示部２２５に表示される作業支援仮想物体ＶＯを生成する（図７～図１２、ステップａ５）。
　そして、第１表示装置２２において第１表示部２２５は、第１ユーザの居る現実空間ＲＳに重ね合わせて作業支援仮想物体ＶＯを表示する（ステップａ６）。この場合、第１表示部２２５は、現実空間ＲＳ内において、指示基準位置データＤ２１で示される指示基準位置Ｐ２１と指示位置データＤ２２で示される指示位置Ｐ２２とを基準とした一定の位置に定位するように、作業支援仮想物体ＶＯを表示する。これにより、第１表示装置２２を利用する第１ユーザは、現実空間ＲＳ内の一定の位置に定位するように第１表示部２２５に表示される作業支援仮想物体ＶＯを確認することにより、第２ユーザによる作業指示の位置を的確に把握することが可能である。
　作業支援システム１において、ファイルサーバ装置４が、第１システム２の第１通信部２３２及び第２システム３の第２通信部３２２と通信ネットワーク５を介してデータ通信可能に接続されている構成について説明したが、このような構成に限定されない。作業支援システム１は、ファイルサーバ装置４の代わりに、メールサーバ装置などの他のサーバ装置を備えていてもよい。また、作業支援システム１は、ファイルサーバ装置４などのサーバ装置を備えていない構成であってもよい。この場合、第１システム２の第１通信部２３２と第２システム３の第２通信部３２２とが、通信ネットワーク５を介してデータ通信可能に接続される。
　［本開示のまとめ］
　以上説明した具体的実施形態には、以下の構成を有する開示が含まれている。
　本開示に係る作業支援システムは、第１ユーザにより使用される第１システムと、前記第１ユーザの居る空間内での作業を指示する第２ユーザにより使用される第２システムと、を備える。前記第１システムは、前記空間内の画像を撮像する撮像部と、前記空間内での作業を支援する作業支援仮想物体を生成する仮想物体生成部と、前記空間に重ね合わせて前記作業支援仮想物体を表示する第１表示部と、前記空間内における前記撮像部の撮像位置を示す撮像位置データと前記画像とを出力する第１通信部と、を含む。前記第２システムは、前記画像を表示する第２表示部と、前記画像上に指示位置を指定する操作に基づいて、前記撮像位置データに対応する指示基準位置を示す指示基準位置データと前記指示位置を示す指示位置データとを生成するデータ生成部と、前記指示基準位置データと前記指示位置データとを出力する第２通信部と、を含む。そして、前記仮想物体生成部は、前記指示基準位置データと前記指示位置データとに基づいて、前記作業支援仮想物体を生成する。
　この作業支援システムによれば、第１システムでは、撮像部の撮像位置データと撮像部により撮像された画像とが、第１通信部を介して出力される。一方、第２システムでは、第２表示部に画像が表示された状態で、データ生成部によって指示基準位置データと指示位置データとが生成される。生成された各位置データは、第２通信部を介して出力される。そして、第１システムでは、仮想物体生成部が指示基準位置データと指示位置データとに基づいて作業支援仮想物体を生成し、第１表示部が作業支援仮想物体を表示する。このような作業支援システムでは、撮像位置データ及び画像が第１システム側から第２システム側に送信され、指示基準位置データ及び指示位置データが第２システム側から第１システム側に送信される。撮像位置データ、指示基準位置データ及び指示位置データの各位置データと画像とを、第１システムと第２システムとの間でのデータ通信の対象とすることにより、従来技術のような映像をデータ通信の対象とする場合に比べて、データ通信を行う際のデータ容量を可及的に小さくすることができる。
　また、第１システムでは、第１表示部は、仮想物体生成部により生成された作業支援仮想物体を、第１ユーザの居る空間に重ね合わせて表示する。上記の通り、作業支援仮想物体は、指示基準位置データと指示位置データとの各位置データに基づいて生成された仮想物体である。このため、第１表示部は、第１ユーザの居る空間内において、各位置データで示される各位置を基準とした一定の位置に定位するように作業支援仮想物体を表示する。つまり、第１表示部を利用する第１ユーザが空間内を移動し、或いは視点の向きを変化させても、作業支援仮想物体は、空間内の一定の位置に定位している。これにより、第１表示部を利用する第１ユーザは、空間内の一定の位置に定位するように第１表示部に表示される作業支援仮想物体を確認することにより、第２ユーザによる作業指示の位置を的確に把握することが可能である。
　上記の作業支援システムにおいて、前記データ生成部は、前記撮像位置データが異なる複数の前記画像の各々に対して指示位置を指定する各操作が同一の指示位置を指定する操作である場合、前記各操作に対応して前記指示基準位置データと前記指示位置データとの組み合わせデータを複数生成する。この場合、前記仮想物体生成部は、複数の前記組み合わせデータの各々の前記指示基準位置データと前記指示位置データとで示される各位置を通る直線同士の第１交点を算出し、前記第１交点に基づいて前記作業支援仮想物体を生成する。
　この態様では、第２システムの第２表示部に表示される、撮像位置データが異なる複数の画像の各々に対して同一の指示位置を指定する操作がそれぞれ行われた場合、データ生成部は、各操作に対応して指示基準位置データと指示位置データとの組み合わせデータを複数生成する。この場合、第１システムの仮想物体生成部は、複数の組み合わせデータの各々の指示基準位置データと指示位置データとで示される各位置を通る直線同士の第１交点を算出し、その第１交点に基づいて作業支援仮想物体を生成する。第１システムでは、このような作業支援仮想物体が、第１ユーザの居る空間内において第１交点に基づく一定の位置に定位するように第１表示部に表示される。この場合、第１交点に基づく作業支援仮想物体の位置によって、三次元の空間内における指示位置を表すことができる。これにより、第１表示部を利用する第１ユーザは、空間内において第１交点に基づく一定の位置に定位するように第１表示部に表示される作業支援仮想物体を確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　上記の作業支援システムにおいて、前記仮想物体生成部は、複数の前記組み合わせデータの各々の前記指示基準位置データで示される前記指示基準位置から前記第１交点まで延びる線分に沿う仮想物体を前記作業支援仮想物体として生成する。
　この態様では、第１システムの仮想物体生成部は、複数の組み合わせデータの各々の指示基準位置データで示される指示基準位置から第１交点まで延びる線分に沿う仮想物体を作業支援仮想物体として生成する。この場合、作業支援仮想物体における第１交点に対応した端部の位置によって、三次元の空間内における指示位置を表すことができる。これにより、第１表示部を利用する第１ユーザは、空間内の一定の位置に定位するように第１表示部に表示される作業支援仮想物体における第１交点に対応した端部の位置を確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　上記の作業支援システムにおいて、前記仮想物体生成部は、前記第１交点に配置される仮想マークを前記作業支援仮想物体として生成する。
　この態様では、第１システムの仮想物体生成部は、第１交点に配置される仮想マークを作業支援仮想物体として生成する。この場合、第１交点に配置される仮想マークの位置によって、三次元の空間内における指示位置を表すことができる。これにより、第１表示部を利用する第１ユーザは、第１交点に対応した空間内の一定の位置に定位するように第１表示部に表示される仮想マークからなる作業支援仮想物体を確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　上記の作業支援システムにおいて、前記第１システムは、前記空間内をスキャンすることにより、前記空間内の現実物体に関する三次元スキャンデータを生成するスキャン部を、更に含む。この場合、前記仮想物体生成部は、前記三次元スキャンデータに基づく前記現実物体の外面と、前記指示基準位置データと前記指示位置データとで示される各位置を通る直線との第２交点を算出し、前記第２交点に基づいて前記作業支援仮想物体を生成する。
　この態様では、第１システムの仮想物体生成部は、スキャン部により生成される三次元スキャンデータに基づく空間内の現実物体の外面と、指示基準位置データと指示位置データとで示される各位置を通る直線との第２交点を算出し、その第２交点に基づいて作業支援仮想物体を生成する。第１システムでは、このような作業支援仮想物体が、第１ユーザの居る空間内において第２交点に基づく一定の位置に定位するように第１表示部に表示される。この場合、第２交点に基づく作業支援仮想物体の位置によって、三次元の空間内における指示位置を表すことができる。これにより、第１表示部を利用する第１ユーザは、空間内において第２交点に基づく一定の位置に定位するように第１表示部に表示される作業支援仮想物体を確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　上記の作業支援システムにおいて、前記仮想物体生成部は、前記指示基準位置データで示される前記指示基準位置から前記第２交点まで延びる線分に沿う仮想物体を前記作業支援仮想物体として生成する。
　この態様では、第１システムの仮想物体生成部は、指示基準位置データで示される指示基準位置から第２交点まで延びる線分に沿う仮想物体を作業支援仮想物体として生成する。この場合、作業支援仮想物体における第２交点に対応した端部の位置によって、三次元の空間内における指示位置を表すことができる。これにより、第１表示部を利用する第１ユーザは、空間内の一定の位置に定位するように第１表示部に表示される作業支援仮想物体における第２交点に対応した端部の位置を確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　上記の作業支援システムにおいて、前記仮想物体生成部は、前記第２交点に配置される仮想マークを前記作業支援仮想物体として生成する。
　この態様では、第１システムの仮想物体生成部は、第２交点に配置される仮想マークを作業支援仮想物体として生成する。この場合、第２交点に配置される仮想マークの位置によって、三次元の空間内における指示位置を表すことができる。これにより、第１表示部を利用する第１ユーザは、第２交点に対応した空間内の一定の位置に定位するように第１表示部に表示される仮想マークからなる作業支援仮想物体を確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　上記の作業支援システムにおいて、前記データ生成部は、前記画像上に指示位置を指定する操作が連続でされる場合、その操作に対応して連続した複数の前記指示位置データを生成する。この場合、前記仮想物体生成部は、前記指示基準位置データで示される前記指示基準位置から複数の前記指示位置データの各々で示される前記指示位置に向かって延びる複数の直線に沿う複数の仮想物体を前記作業支援仮想物体として生成する。
　この態様では、第２表示部に表示された画像上における指示位置を指定する操作が例えば円弧を描くなどの連続でされる場合、データ生成部は、連続でされる操作に対応した複数の指示位置データを生成する。この場合、第１システムの仮想物体生成部は、指示基準位置データで示される指示基準位置から複数の指示位置データの各々で示される指示位置に向かって延びる複数の直線に沿う複数の仮想物体を作業支援仮想物体として生成する。第１システムでは、このような複数の作業支援仮想物体が、第１ユーザの居る空間内の一定の位置に定位するように第１表示部に表示される。この場合、複数の作業支援仮想物体における指示基準位置側とは反対側の端部は、第２表示部に表示された画像上に指示位置を指定する際の連続でされる操作の軌跡に沿って配置される。これにより、第１表示部を利用する第１ユーザは、空間内の一定の位置に定位している複数の作業支援仮想物体における端部の配置態様を確認することにより、第２ユーザによる作業指示の位置を、より的確に把握することが可能である。
　上記の作業支援システムは、前記第１通信部及び前記第２通信部と通信ネットワークを介してデータ通信可能に接続されるサーバ装置を、更に備える。前記サーバ装置は、前記撮像位置データ及び前記画像と、前記指示基準位置データ及び前記指示位置データと、を記憶するサーバ記憶部を有する。
　この態様では、撮像位置データ及び画像と、指示基準位置データ及び指示位置データとは、サーバ装置のサーバ記憶部に記憶される。このサーバ装置は、第１通信部及び第２通信部と通信ネットワークを介してデータ通信可能に接続されている。これにより、第２ユーザは、自身の都合に合う所望のタイミングで第２システムを利用してサーバ装置から撮像位置データ及び画像を読み出して、第２表示部を利用して画像に基づき第１ユーザの居る空間内の状況を確認しながら作業指示を作成することができる。一方、第１ユーザは、自身の都合に合う所望のタイミングで第１システムを利用してサーバ装置から指示基準位置データ及び指示位置データを読み出して、第１表示部を利用して作業支援仮想物体を確認しながら作業を行うことができる。
 

Claims (9)

  1. 　第１ユーザにより使用される第１システムと、
    　前記第１ユーザの居る空間内での作業を指示する第２ユーザにより使用される第２システムと、を備え、
    　前記第１システムは、
    　　前記空間内の画像を撮像する撮像部と、
    　　前記空間内での作業を支援する作業支援仮想物体を生成する仮想物体生成部と、
    　　前記空間に重ね合わせて前記作業支援仮想物体を表示する第１表示部と、
    　　前記空間内における前記撮像部の撮像位置を示す撮像位置データと前記画像とを出力する第１通信部と、を含み、
    　前記第２システムは、
    　　前記画像を表示する第２表示部と、
    　　前記画像上に指示位置を指定する操作に基づいて、前記撮像位置データに対応する指示基準位置を示す指示基準位置データと前記指示位置を示す指示位置データとを生成するデータ生成部と、
    　　前記指示基準位置データと前記指示位置データとを出力する第２通信部と、を含み、
    　前記仮想物体生成部は、前記指示基準位置データと前記指示位置データとに基づいて、前記作業支援仮想物体を生成する、作業支援システム。
  2. 　前記データ生成部は、前記撮像位置データが異なる複数の前記画像の各々に対して指示位置を指定する各操作が同一の指示位置を指定する操作である場合、前記各操作に対応して前記指示基準位置データと前記指示位置データとの組み合わせデータを複数生成し、
    　前記仮想物体生成部は、複数の前記組み合わせデータの各々の前記指示基準位置データと前記指示位置データとで示される各位置を通る直線同士の第１交点を算出し、前記第１交点に基づいて前記作業支援仮想物体を生成する、請求項１に記載の作業支援システム。
  3. 　前記仮想物体生成部は、複数の前記組み合わせデータの各々の前記指示基準位置データで示される前記指示基準位置から前記第１交点まで延びる線分に沿う仮想物体を前記作業支援仮想物体として生成する、請求項２に記載の作業支援システム。
  4. 　前記仮想物体生成部は、前記第１交点に配置される仮想マークを前記作業支援仮想物体として生成する、請求項２に記載の作業支援システム。
  5. 　前記第１システムは、前記空間内をスキャンすることにより、前記空間内の現実物体に関する三次元スキャンデータを生成するスキャン部を、更に含み、
    　前記仮想物体生成部は、前記三次元スキャンデータに基づく前記現実物体の外面と、前記指示基準位置データと前記指示位置データとで示される各位置を通る直線との第２交点を算出し、前記第２交点に基づいて前記作業支援仮想物体を生成する、請求項１に記載の作業支援システム。
  6. 　前記仮想物体生成部は、前記指示基準位置データで示される前記指示基準位置から前記第２交点まで延びる線分に沿う仮想物体を前記作業支援仮想物体として生成する、請求項５に記載の作業支援システム。
  7. 　前記仮想物体生成部は、前記第２交点に配置される仮想マークを前記作業支援仮想物体として生成する、請求項５に記載の作業支援システム。
  8. 　前記データ生成部は、前記画像上に指示位置を指定する操作が連続でされる場合、その操作に対応して連続した複数の前記指示位置データを生成し、
    　前記仮想物体生成部は、前記指示基準位置データで示される前記指示基準位置から複数の前記指示位置データの各々で示される前記指示位置に向かって延びる複数の直線に沿う複数の仮想物体を前記作業支援仮想物体として生成する、請求項１に記載の作業支援システム。
  9. 　前記第１通信部及び前記第２通信部と通信ネットワークを介してデータ通信可能に接続されるサーバ装置を、更に備え、
    　前記サーバ装置は、前記撮像位置データ及び前記画像と、前記指示基準位置データ及び前記指示位置データと、を記憶するサーバ記憶部を有する、請求項１～８のいずれか１項に記載の作業支援システム。
PCT/JP2022/037256 2021-10-05 2022-10-05 作業支援システム WO2023058680A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020247013637A KR20240067950A (ko) 2021-10-05 2022-10-05 작업 지원 시스템
CN202280066682.9A CN118159930A (zh) 2021-10-05 2022-10-05 作业辅助系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-164247 2021-10-05
JP2021164247A JP2023055110A (ja) 2021-10-05 2021-10-05 作業支援システム

Publications (1)

Publication Number Publication Date
WO2023058680A1 true WO2023058680A1 (ja) 2023-04-13

Family

ID=85803482

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037256 WO2023058680A1 (ja) 2021-10-05 2022-10-05 作業支援システム

Country Status (4)

Country Link
JP (1) JP2023055110A (ja)
KR (1) KR20240067950A (ja)
CN (1) CN118159930A (ja)
WO (1) WO2023058680A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209664A (ja) * 2005-01-31 2006-08-10 Canon Inc システム、画像処理装置、情報処理方法
JP2018056845A (ja) * 2016-09-29 2018-04-05 富士通株式会社 作業支援装置、システム、方法及びプログラム
US20210120221A1 (en) * 2018-06-19 2021-04-22 Hiscene Information Technology Co., Ltd Augmented reality-based remote guidance method and apparatus, terminal, and storage medium

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6179927U (ja) 1984-07-31 1986-05-28

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209664A (ja) * 2005-01-31 2006-08-10 Canon Inc システム、画像処理装置、情報処理方法
JP2018056845A (ja) * 2016-09-29 2018-04-05 富士通株式会社 作業支援装置、システム、方法及びプログラム
US20210120221A1 (en) * 2018-06-19 2021-04-22 Hiscene Information Technology Co., Ltd Augmented reality-based remote guidance method and apparatus, terminal, and storage medium

Also Published As

Publication number Publication date
JP2023055110A (ja) 2023-04-17
KR20240067950A (ko) 2024-05-17
CN118159930A (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
WO2014016987A1 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
US11284042B2 (en) Mobile robot, system and method for capturing and transmitting image data to remote terminal
JP2004213673A (ja) 強化現実システム及び方法
WO2006054598A1 (ja) 顔特徴照合装置、顔特徴照合方法、及びプログラム
JP4834424B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2010102215A (ja) 表示装置、画像処理方法、及びコンピュータプログラム
KR20170062439A (ko) 제어 장치, 제어 방법 및 프로그램
JP2012146236A (ja) ジェスチャ入力装置
KR20190100133A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
JP6381361B2 (ja) データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム
KR20190136962A (ko) 역각 시각화 장치, 로봇 및 역각 시각화 프로그램
JP5428639B2 (ja) ロボットの制御装置及びロボットのティーチング方法
JP6866467B2 (ja) ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
JP6696925B2 (ja) 操作支援装置
WO2023058680A1 (ja) 作業支援システム
JP2020086980A (ja) 設備点検支援端末、設備点検支援システム及びプログラム
WO2020241038A1 (ja) 構図制御装置、構図制御方法、プログラム
CN111580677A (zh) 一种人机交互方法及人机交互系统
US20220244788A1 (en) Head-mounted display
WO2019106862A1 (ja) 操作案内システム
JPH04210390A (ja) ロボットハンドの遠隔操作システム
JP2019063953A (ja) 作業システム、作業システムの制御方法及びプログラム
JP2018097645A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JPH05138582A (ja) ロボツトによる物体操作のための能動的カメラ探索装置
JP2021039567A (ja) 作業支援システム及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878548

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20247013637

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE