WO2020217591A1 - 治具の配置を示す映像処理システム - Google Patents

治具の配置を示す映像処理システム Download PDF

Info

Publication number
WO2020217591A1
WO2020217591A1 PCT/JP2019/050957 JP2019050957W WO2020217591A1 WO 2020217591 A1 WO2020217591 A1 WO 2020217591A1 JP 2019050957 W JP2019050957 W JP 2019050957W WO 2020217591 A1 WO2020217591 A1 WO 2020217591A1
Authority
WO
WIPO (PCT)
Prior art keywords
arrangement
jig
display
unit
detection unit
Prior art date
Application number
PCT/JP2019/050957
Other languages
English (en)
French (fr)
Inventor
健生 山▲崎▼
一 宮村
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to CN201980047253.5A priority Critical patent/CN112424838B/zh
Priority to US17/260,430 priority patent/US20210264678A1/en
Priority to JP2020561934A priority patent/JP7066013B2/ja
Priority to EP19926637.0A priority patent/EP3779893A4/en
Publication of WO2020217591A1 publication Critical patent/WO2020217591A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Definitions

  • the present disclosure relates to a video display system that displays a video that supports the work of the user.
  • Patent Document 1 A technique related to mixed reality (hereinafter referred to as "MR") that displays virtual information on a real object arranged in a real space by computer graphics or the like is known (see, for example, Patent Document 1). .. Patent Document 1 describes a technique for synthesizing and displaying a real image obtained by capturing an architectural model which is a real object and a virtual image.
  • MR device Head Mount Display
  • MR device Head Mount Display
  • the difficulty of the mounting work may not be improved only by superimposing and displaying the virtual object indicating the mounting member on the structure such as steel.
  • mounting work such as welding may be performed between the mounting member and the structure in a state where the mounting member having a relatively large size or weight is tilted with respect to the structure. In such a case, it is difficult to perform the above mounting work while maintaining the state in which the mounting member is arranged according to the display of the virtual object.
  • the present disclosure has been made in view of the above problems, and an object of the present disclosure is to provide a video display system capable of easily attaching members to a structure.
  • the image display system is an image display system used for attaching a member to a structure, and provides information on the arrangement of a jig for positioning the member with respect to the structure.
  • Storage unit that is stored, structure arrangement detection unit that detects the arrangement of structures arranged in real space, arrangement information of jigs stored in the storage unit, and detection results of the structure arrangement detection unit.
  • a control unit that performs display processing indicating the arrangement of jigs on the structure arranged in the real space is provided.
  • the arrangement information of the jig for positioning the member with respect to the structure is stored, and the display processing indicating the arrangement of the jig with respect to the structure arranged in the real space. Is done.
  • the user can easily arrange the jig according to the display process indicating the arrangement of the jig.
  • the member can be positioned with respect to the structure by the jig, and the member can be easily attached to the structure.
  • an image display system capable of easily attaching a member to a structure.
  • FIG. 1 shows a block diagram of a video display system.
  • the video display system 100 displays a virtual object by CG (computer graphics) associated with a real space (world coordinate system).
  • the video display system 100 is realized by, for example, an information processing terminal including an HMD worn by a user.
  • the video display system 100 may be a tablet terminal, projection mapping, or the like.
  • the video display system 100 will be described as an example of an HMD used in MR technology.
  • the image display system 100 employs an optical see-through method in which a user can visually recognize a real object and a virtual object in real space by using a half mirror.
  • the video display system 100 may employ a video see-through method in which a virtual object is fused with a real space video and visually recognized by the user.
  • the video display system 100 is a video see-through system.
  • the video display system 100 performs imaging in the same imaging direction as the user's line of sight.
  • the image display system 100 superimposes and displays a virtual object on the captured image. By looking at this display, the user can see a virtual object that does not exist in reality according to the arrangement of the actual object arranged in the real space.
  • "Arrangement" means a state of six degrees of freedom defined by the coordinates on a predetermined three-dimensional coordinate axis and the rotation (direction on the three-dimensional coordinate) around each axis of the three-dimensional coordinate axis.
  • the video display system 100 displays a virtual object using a virtual space (screen coordinate system) that is three-dimensional coordinates.
  • the video display system 100 arranges a virtual object at a preset position on the virtual space, and calculates the correspondence relationship between the virtual space and the real space.
  • the arrangement of virtual objects in virtual space is called "display arrangement".
  • the coordinate axis indicating the position of the virtual object in the virtual space is referred to as "virtual coordinate axis ⁇ ".
  • the image display system 100 displays an image viewed from a position and direction in virtual space corresponding to an imaging position and imaging direction in real space as a virtual object. That is, an image of a virtual object in the virtual space is displayed from the line of sight of a virtual user.
  • the display of the virtual object can be performed by using the conventional MR technique.
  • the video display system 100 detects the movement of the user and changes the display process according to the movement so as to match the change in the line of sight according to the movement of the user.
  • the video display system 100 is used for attaching a member (hereinafter, referred to as "attaching member") to a structure 110 arranged in a real space.
  • FIG. 2 shows a display that the video display system 100 makes the user visually recognize.
  • FIG. 3 shows a state in which the mounting member is mounted using the video display system 100.
  • the video display system 100 displays a virtual object indicating the arrangement of the jig 120 on the display corresponding to the arrangement of the structure 110 which is a real object arranged in the real space.
  • the video display system 100 performs a display process indicating the arrangement of the jig 120 on the structure 110 arranged in the real space.
  • the structure 110 is a long H steel material.
  • the jig 120 is a member that positions the mounting member with respect to the structure 110.
  • the user performs mounting work such as welding between the mounting member and the structure in a state where the mounting member is positioned with respect to the structure 110 by the jig 120.
  • the virtual object described above includes information indicating the structure 110 in the real space, information indicating the attachment member to be attached to the structure 110, and the distance from the reference position to the position where the jig 120 is arranged. Contains information that indicates.
  • the reference position is the end 110a of the structure 110.
  • the image display system 100 uses virtual mounting members 201, 202, 203, 204 indicating mounting members to be mounted on the structure 110, and jig 120 from a reference position.
  • Information 206 and 207 indicating the distance to the placement position is displayed.
  • the video display system 100 displays to the user so that a virtual object indicating the arrangement of the jig 120 is visually recognized by overlapping the structure 110 arranged in the real space, and the jig 120 is displayed on the structure 110. Indicates the position to install.
  • the virtual mounting member 201 shown in FIG. 2 corresponds to the mounting member 131.
  • the arrangement in which the virtual attachment member 201 is displayed is the arrangement in which the attachment member 131 is to be attached.
  • the virtual mounting member 203 shown in FIG. 2 corresponds to the mounting member 132.
  • the arrangement in which the virtual attachment member 203 is displayed is the arrangement in which the attachment member 132 is to be attached.
  • the image display system 100 has the shortest distance from the end 110a in the extending direction of the structure 110 to the mounting member and the distance of the structure 110 from the reference position to the position where the jig 120 is arranged.
  • the longest distance from the end 110a to the mounting member in the extending direction is displayed.
  • the image display system 100 shows that the shortest distance from the end 110a of the structure 110 in the extending direction to the mounting member is 260 mm, and the extension of the structure 110. It can be seen that the longest distance from the end 110a in the existing direction to the mounting member is 310 mm.
  • the video display system 100 detects a reference position by a reference marker 125 arranged with respect to the structure 110 in the real space.
  • the reference marker 125 is arranged with the structure 110 in a predetermined arrangement relationship before performing the work.
  • the reference marker 125 is provided on the face plate 112 of the structure 110 along the end portion 110a of the structure 110.
  • the reference marker 125 has a feature point at which the image display system 100 can identify the three-dimensional arrangement of the reference marker 125 in the real space by image recognition.
  • the reference marker 125 may include a figure or the like (for example, a two-dimensional code) having such a feature point.
  • the reference marker 125 is not limited to this form as long as the video display system 100 can identify the three-dimensional arrangement of the reference marker 125 in the real space.
  • the feature points of the reference marker 125 may be indicated by the color or blinking of the reference marker 125.
  • the three-dimensional position of the reference marker 125 may be identified by a three-dimensional position identification method using a magnetic signal, a sound wave signal, or the like.
  • FIG. 4 shows an example of a state in which the mounting member is mounted on the structure 110.
  • FIG. 4 shows a three-view view showing a state in which the mounting member is mounted at an angle with respect to the structure 110.
  • the structure 110 has a configuration in which three face plates 111, 112, and 113 extending in the elongated direction are integrally connected.
  • the face plates 111, 112, and 113 all have a rectangular shape.
  • the face plate 111 has main surfaces 111a and 111b facing each other.
  • the face plate 112 has main surfaces 112a and 112b facing each other.
  • the face plate 113 has main surfaces 113a and 113b facing each other.
  • the main surfaces 111a, 111b, 112a, 112b, 113a, 113b of the face plates 111, 112, 113 extend in the elongated direction and are in contact with the mounting members.
  • the face plate 111 is connected so as to be perpendicular to the face plates 112 and 113.
  • the central portion of the main surface 112a of the face plate 112 and the central portion of the main surface 113a of the face plate 113 are connected to the pair of long sides of the face plate 111, respectively.
  • FIG. 4 shows the appearance of the structure 110 to which the mounting member 131 is attached as seen from the direction orthogonal to the main surface 112b of the face plate 112, the appearance as seen from the direction orthogonal to the main surface 111a of the face plate 111, and the structure 110. It shows the relationship of appearance when viewed from the extending direction.
  • the mounting member 131 has a trapezoidal shape in a plan view and has four corner portions 131a, 131b, 131c, and 131d.
  • FIG. 4 shows the same corners connected by a alternate long and short dash line.
  • the mounting member 131 is inclined with respect to the main surface 111a of the face plate 111, and is also inclined with respect to the main surface 112a of the face plate 112 and the main surface 113a of the face plate 113.
  • the side connecting the corner portion 131b and the corner portion 131c is in contact with the main surface 111a of the structure 110.
  • the side connecting the corner portion 131a and the corner portion 131b is in contact with the main surface 112a of the structure 110.
  • the side connecting the corner portion 131c and the corner portion 131d is in contact with the main surface 113a of the structure 110.
  • the position of the corner portion 131a is the position of the shortest distance from the end portion 110a of the structure 110.
  • the position of the corner portion 131c is the position of the longest distance from the end portion 110a of the structure 110.
  • FIG. 5 is a partially enlarged view showing the arrangement relationship between the structure 110, the jig 120, and the display of the video display system 100.
  • FIG. 5A shows the appearance of the face plate 112 as viewed from a direction orthogonal to the main surface.
  • FIG. 5B shows the appearance of the face plate 111 as viewed from a direction orthogonal to the main surface 111a.
  • the virtual mounting member 201 has the same shape as the mounting member 131, and has four corner portions 131a, 131b, 131c, and 131d.
  • the jig 120 includes a first jig 121 and a second jig 122.
  • the first jig 121 has a flat surface 121a.
  • the second jig 122 has a flat surface 122a.
  • the plane 121a of the first jig 121 and the plane 122a of the second jig 122 are arranged perpendicular to the main surface 111a and the main surface 113a.
  • the first jig 121 and the second jig 122 each have a rectangular parallelepiped shape.
  • the first jig 121 and the second jig 122 are arranged so as to be in contact with at least the main surface 111a and the main surface 113a of the structure 110, respectively.
  • the plane 121a of the first jig 121 is arranged at the position of the shortest distance from the end 110a of the structure 110 in the extending direction to the mounting member 131.
  • the plane 122a of the second jig 122 is arranged at the position of the longest distance from the end 110a of the structure 110 in the extending direction to the mounting member.
  • the video display system 100 displays the virtual mounting member 201 in addition to displaying the information 206 and 207 indicating the distance from the reference position to the position where the jig 120 is arranged.
  • the first jig 121 is arranged so as to be in contact with a portion of the virtual mounting member 201 located at the shortest distance from the end 110a in the extending direction of the structure 110.
  • the second jig 122 is arranged so as to be in contact with a portion of the virtual mounting member 201 located at the longest distance from the end 110a in the extending direction of the structure 110.
  • the first jig 121 is arranged so that the flat surface 121a is in contact with the corner portion 131a of the virtual mounting member 201
  • the second jig 122 is arranged so that the flat surface 122a is in contact with the corner portion 131d of the virtual mounting member 201. Be placed. At this time, the plane 121a of the first jig 121 and the plane 122a of the second jig 122 face each other.
  • the jig 120 has the position of the mounting member 131 in the extending direction of the structure 110, the inclination angle of the mounting member 131 with respect to the main surface 111a of the structure 110, and the mounting member 131 with respect to the axis orthogonal to the main surface 111a. It is arranged so as to limit the rotation angle of. For example, by arranging the mounting member 131 so as to abut the main surface 111a of the structure 110, the plane 121a of the first jig 121, and the plane 122a of the second jig 122, the mounting member 131 is arranged in a desired arrangement. Is positioned.
  • FIG. 6 is a diagram showing the arrangement of jigs in the mounting work according to the modified example of the present embodiment.
  • the mounting member 135 whose length in the direction intersecting the main surface 111a of the face plate 111 is longer than that of the mounting member 131 is mounted on the structure 110.
  • the mounting member 135 also has four corners 131a, 131b, 131c, 131d.
  • the length of the mounting member 135 is larger than the length of the jig 120 in the direction intersecting the main surface 111a. In this case, the plane 122a is in contact with the corner 131d, but the plane 121a cannot be in contact with the corner 131a.
  • the first jig 121 is arranged so that the flat surface 121a is in contact with the side connecting the corner portion 131a and the corner portion 131b.
  • the image display system 100 indicates a portion of the side connecting the corner portion 131a and the corner portion 131b where the plane 121a of the first jig 121 contacts.
  • the video display system 100 displays information indicating the arrangement of the flat surface 121a of the first jig 121 from the end 110a in the region sandwiched between the first jig 121 and the second jig 122. The position of the shortest distance in the extending direction of the structure 110 up to the mounting member 135 is displayed.
  • the video display system 100 displays information indicating the arrangement of the plane 122a of the second jig 122 from the end portion 110a to the mounting member in the region sandwiched between the first jig 121 and the second jig 122. The position of the longest distance in the extending direction of the structure 110 is displayed.
  • the image display system 100 includes an imaging unit 101, an inertial measurement unit 102, a display unit 103, an environmental information detection unit 104, a storage unit 105, an operation detection unit 106, and a control unit 107. ..
  • the imaging unit 101, the inertial measurement unit 102, the display unit 103, the environmental information detection unit 104, the storage unit 105, the operation detection unit 106, and the control unit 107 may be housed in one housing, or a plurality of housings. It may be contained separately in the body. When housed in a plurality of housings, they may be connected by wire or wirelessly.
  • the imaging unit 101 and the display unit 103 is portable.
  • the image display system 100 does not have to include the imaging unit 101.
  • the display unit 103 and the inertial measurement unit 102 are housed in one housing.
  • the video display system 100 not only when the HMD is used, but also when the user carries a tablet or the like in which the imaging unit 101 does not operate, and when the user remotely checks the imaging unit 101 while checking the display unit 103 at hand. It can also be used to control the movement of the terminal to be held.
  • the imaging unit 101, the inertial measurement unit 102, and the display unit 103 are housed in one housing and the housing is fixed to the user's head is mainly described.
  • the imaging unit 101 images the real space and sequentially transmits the captured images to the environment information detection unit 104.
  • the imaging unit 101 is fixed to the user's head, and the position and posture of the imaging unit 101 change according to the movement of the user's head.
  • the position of the imaging unit 101 is the coordinate position of the imaging unit 101.
  • the posture of the imaging unit 101 is rotation (direction on the three-dimensional coordinates) around each axis of the three-dimensional coordinates.
  • the image pickup unit 101 is composed of a plurality of cameras such as a depth camera and an RGB camera.
  • the imaging unit 101 includes not only a front camera that captures the direction of the user's line of sight, but also an environmental camera that captures the side of the user.
  • the inertial measurement unit 102 measures the external force acting on the image pickup unit 101 or the display unit 103, and sequentially transmits the measurement results to the environment information detection unit 104.
  • the inertial measurement unit 102 is composed of an acceleration sensor, a gyro sensor, an orientation sensor, and the like fixed to the user's head.
  • the display unit 103 includes a display for displaying.
  • the display unit 103 displays a virtual image including a virtual object according to the position and orientation of the image pickup unit 101 or the display unit 103.
  • the display unit 103 is fixed to the user's head in a state in which the user can appropriately see the virtual object.
  • the position and posture of the display unit 103 change according to the movement of the user's head.
  • the position of the display unit 103 is the coordinate position of the display unit 103.
  • the posture of the display unit 103 is rotation (direction on the three-dimensional coordinates) around each axis of the three-dimensional coordinates.
  • the display unit 103 responds to an instruction from the control unit 107, which will be described later, from a display indicating the structure 110 in the real space, a display indicating the mounting member to be mounted on the structure 110, and a reference position. Information indicating the distance to the position where the jig 120 is arranged is displayed.
  • the environmental information detection unit 104 detects various information based on at least one of the image captured by the image pickup unit 101 and the measurement result of the inertial measurement unit 102.
  • the image display system 100 does not have to include the inertial measurement unit 102. In this case, the image display system 100 performs various processes in the environment information detection unit 104 based on the image captured by the image pickup unit 101. When the image display system 100 does not include the image pickup unit 101, the image display system 100 performs various processes in the environment information detection unit 104 based on the inertial measurement unit 102.
  • the environmental information detection unit 104 includes a reference position detection unit 151, a structure arrangement detection unit 152, a user position detection unit 153, a line-of-sight direction detection unit 154, a display arrangement detection unit 155, and a jig arrangement detection unit 156. Has.
  • the reference position detection unit 151 detects the reference position where the origin N of the virtual coordinate axis ⁇ is arranged. In the present embodiment, the reference position detection unit 151 detects a feature point capable of identifying the three-dimensional arrangement of the reference marker 125 in the real space from the image captured by the image pickup unit 101. The reference position detection unit 151 detects the reference position in the real space from the detected feature points. For example, in a state where the reference marker 125 is arranged along the end 110a of the structure 110, the reference position detection unit 151 detects the center of the end 110a on the face plate 112 as the reference position from the feature point of the reference marker 125. ..
  • the detection result of the reference position by the reference position detection unit 151 is, for example, a relative position of the reference position from the image pickup unit 101 or the display.
  • the reference position detection unit 151 is not a reference marker 125, but is a reference based on the arrangement of the edges of the structure 110 in the image captured by the image pickup unit 101, the surrounding environment of the structure 110 in the image captured by the image pickup unit 101, and the like. The position may be detected.
  • the reference position detection unit 151 may separately acquire a signal indicating a reference position in the real space wirelessly or by wire.
  • the detection result of the reference position by the reference position detection unit 151 may be a position on the image captured by the image pickup unit 101.
  • the structure arrangement detection unit 152 detects the arrangement of the structures 110 arranged in the real space.
  • the structure arrangement detection unit 152 detects the arrangement of the structure 110 based on the reference position detected by the reference position detection unit 151 and other feature points that specify the orientation of the structure 110. To do.
  • Other feature points that specify the orientation of the structure 110 are the orientation of the reference marker 125, the arrangement of markers provided on the structure 110 separately from the reference marker 125, the arrangement of the edges of the structure 110, or the arrangement of the structure 110. It may be the surrounding environment.
  • the structure arrangement detection unit 152 detects the arrangement of the edges of the structure 110 in the real space from the image captured by the image pickup unit 101.
  • the detection result of the arrangement of the structure 110 by the structure arrangement detection unit 152 is, for example, the relative arrangement of the structure 110 with respect to the image pickup unit 101 or the display.
  • the structure arrangement detection unit 152 may separately acquire a signal indicating the arrangement of the structure 110 in the real space by wireless or wired.
  • the detection result of the arrangement of the structure 110 by the structure arrangement detection unit 152 may be the arrangement on the image captured by the image pickup unit 101.
  • the user position detection unit 153 detects the position of the user who performs the mounting work.
  • the user position detection unit 153 detects the relative position of the imaging unit 101 with respect to the reference position as the user's position.
  • the user position detection unit 153 detects the feature points of the surrounding environment from the image captured by the image pickup unit 101.
  • the user position detection unit 153 detects the position of the image pickup unit 101 in the real space from the detected feature points.
  • the user position detection unit 153 may detect the position of the image pickup unit 101 based on the image captured by the image pickup unit 101, the detection result of the reference position, and the measurement result of the inertial measurement unit 102.
  • the user position detection unit 153 may detect the relative position of the display of the display unit 103 with respect to the reference position as the user's position.
  • the user position detection unit 153 may detect the relative position of the image pickup unit 101 with respect to the reference position as the position of the display.
  • the user position detection unit 153 may detect the position of the display based on the image captured by the image pickup unit 101, the detection result of the reference position, and the measurement result of the inertial measurement unit 102.
  • the user position detection unit 153 may detect the position of the display without using the image captured by the image pickup unit 101.
  • the user position detection unit 153 may separately acquire a signal indicating the position of the image pickup unit 101 or the display in the real space from, for example, an external image pickup unit.
  • the user position detection unit 153 may detect the position of the user with respect to an arbitrary position of the structure 110, even if it is not the position of the user with respect to the reference position.
  • the user position detection unit 153 may detect the position of the user with respect to the jig 120.
  • the line-of-sight direction detection unit 154 detects the line-of-sight direction of the user who performs the mounting work.
  • the "line-of-sight direction" may be the direction in which the front camera is facing, the center of the captured image, the direction in which the display is facing, or the user. It may be the direction calculated from the direction of the eyeball.
  • the line-of-sight direction detection unit 154 detects the posture of the image pickup unit 101 with respect to the reference position as the line-of-sight direction. For example, the line-of-sight direction detection unit 154 detects a feature point of the surrounding environment from the image captured by the image pickup unit 101.
  • the line-of-sight direction detection unit 154 detects the posture of the imaging unit 101 in the real space from the detected feature points.
  • the line-of-sight direction detection unit 154 may detect the posture of the image pickup unit 101 based on the image captured by the image pickup unit 101, the detection result of the reference position, and the measurement result of the inertial measurement unit 102.
  • the line-of-sight direction detection unit 154 may detect the posture of the display of the display unit 103 with respect to the reference position as the line-of-sight direction.
  • the line-of-sight direction detection unit 154 may detect the posture of the imaging unit 101 with respect to the reference position as the posture of the display.
  • the line-of-sight direction detection unit 154 may detect the posture of the display based on the image captured by the image pickup unit 101, the detection result of the reference position, and the measurement result of the inertial measurement unit 102.
  • the line-of-sight direction detection unit 154 may detect the posture of the display without using the image captured by the image pickup unit 101.
  • the line-of-sight direction detection unit 154 may separately acquire, for example, a signal indicating the posture of the image pickup unit 101 or the display in the real space from the image pickup unit or the like externally.
  • the display arrangement detection unit 155 detects the arrangement of the display.
  • the display arrangement detection unit 155 detects the arrangement of the display with respect to the reference position from the detection result of the user position detection unit 153 and the detection result of the line-of-sight direction detection unit 154.
  • the jig arrangement detection unit 156 detects the arrangement of the jig 120 arranged in the real space.
  • the jig arrangement detection unit 156 detects the feature points of each of the first jig 121 and the second jig 122 from the image captured by the imaging unit 101.
  • the feature points of the first jig 121 and the second jig 122 are, for example, the markers 140 provided on the first jig 121 and the second jig 122, respectively. It may be.
  • a QR code registered trademark
  • the jig arrangement detection unit 156 recognizes the QR code of the marker 140 from the image captured by the imaging unit 101, and calculates the arrangement of the first jig 121 and the second jig 122.
  • the marker 140 may have a characteristic pattern other than the QR code.
  • the jig arrangement detection unit 156 detects color, blinking, electromagnetic information, etc. from the first jig 121 and the second jig 122, and detects the arrangement of the first jig 121 and the second jig, respectively. May be good.
  • the jig arrangement detection unit 156 is the first jig 121 and the first jig 121 based on the information acquired from the laser distance measuring devices 171 and 172 arranged at both ends of the structure 110.
  • the arrangement of each of the two jigs may be detected.
  • the laser distance measuring device 171 transmits the distance from one end of the structure 110 to the end of the first jig 121 to the jig arrangement detection unit 156.
  • the jig arrangement detection unit 156 detects the arrangement of the first jig 121 from the distance from one end of the structure 110 to the end of the first jig 121.
  • the laser distance measuring device 172 transmits the distance from the other end of the structure 110 to the end of the second jig 122 to the jig arrangement detecting unit 156.
  • the jig arrangement detection unit 156 detects the arrangement of the second jig 122 from the distance from the other end of the structure 110 to the end of the second jig 122.
  • the jig arrangement detection unit 156 uses the total length of the structure 110 acquired in advance and the thicknesses of the first jig 121 and the second jig 122 to arrange the first jig 121 and the second jig, respectively. May be detected.
  • the image display system 100 may include laser distance measuring devices 171 and 172.
  • the storage unit 105 stores various information (CG data) necessary for displaying a virtual object in advance.
  • the storage unit 105 stores the arrangement information of the jig 120 with respect to the structure 110.
  • the arrangement information of the jig 120 includes the arrangement information of the first jig 121 and the second jig 122 in which the plane 121a and the plane 122a are in contact with the mounting member.
  • the arrangement information of the first jig 121 and the second jig 122 is orthogonal to the position of the mounting member in the extending direction of the structure 110, the inclination angle of the mounting member with respect to the main surface 111a of the structure 110, and the main surface 111a. Includes jig placement information that limits the rotation angle of the mounting member with respect to the shaft.
  • the storage unit 105 indicates the display arrangement of the virtual mounting members 201, 202, 203, 204 previously associated with the virtual coordinate axis ⁇ in the virtual space, and the distance from the reference position to the position where the jig 120 is arranged.
  • Information 206 and 207 are stored in advance.
  • the storage unit 105 stores the display arrangement of the virtual mounting members 201, 202, 203, 204 and the coordinates on the virtual coordinate axis ⁇ of the position where the jig 120 is arranged.
  • the display arrangement of the virtual mounting members 201, 202, 203, 204 corresponding to the position and orientation of the imaging unit 101 in the real space, and the position where the jig 120 is arranged are determined.
  • the storage unit 105, the predetermined reference marker 125 arranged in the real space, and the virtual coordinate axis ⁇ are also stored in advance.
  • the position of the reference point M in the real space of the reference marker 125 and the reference position where the origin N of the virtual coordinate axis ⁇ is arranged are associated with each other. That is, the arrangement of the reference marker 125 in the real space and the origin N of the virtual coordinate axis ⁇ are associated with each other.
  • the operation detection unit 106 detects the user's operation. For example, on the touch panel display of the video display system 100, the position touched by the user is detected. The operation detection unit 106 sequentially transmits the detected information to the control unit 107. For example, the operation detection unit 106 transmits a signal indicating the selected virtual mounting members 201, 202, 203, 204 to the control unit 107 in response to the user's operation.
  • the user's operation detected by the operation detection unit 106 may be a hand gesture, blinking, or button input.
  • the control unit 107 performs various controls based on the detection result of the environment information detection unit 104, the detection result of the operation detection unit 106, and the information stored in the storage unit 105.
  • the control unit 107 includes a reference arrangement setting unit 157, a display control unit 158, and a member determination unit 159.
  • the reference arrangement setting unit 157 sets the relationship between the virtual coordinate axis ⁇ that defines the display arrangement of the virtual object and the position and orientation of the image pickup unit 101 or the display detected by the user position detection unit 153 and the line-of-sight direction detection unit 154. ..
  • the reference arrangement setting unit 157 associates the virtual coordinate axis ⁇ with the real space according to the arrangement of the structure 110 detected by the structure arrangement detection unit 152.
  • the reference arrangement setting unit 157 arranges the origin N of the virtual coordinate axis ⁇ at the reference position based on the detection result detected by the structure arrangement detection unit 152, and sets the direction of the virtual coordinate axis ⁇ in the real space. Set.
  • the display control unit 158 refers to the jig 120 with respect to the structure 110 arranged in the real space based on the arrangement information of the jig 120 stored in the storage unit 105 and the detection result of the structure arrangement detection unit 152. Performs display processing indicating the arrangement of. For example, the display control unit 158 instructs the display unit 103 to display information indicating the arrangement of a plurality of members, and virtually attaches the information to the structure 110 arranged in the real space as shown in FIG. The members 201, 202, 203, and 204 are displayed on the display unit 103. In the present embodiment, the display control unit 158 acquires the arrangement information of the jig 120 from the storage unit 105.
  • the display arrangement and the arrangement of the information 206 and 207 indicating the distance from the reference position to the position where the jig 120 is arranged are associated with each other.
  • the display arrangement of the virtual mounting members 201, 202, 203, 204 and the arrangement of the information 206, 207 indicating the distance from the reference position to the position where the jig 120 is arranged are associated with the reference position.
  • the display control unit 158 reaches the positions where the virtual mounting members 201, 202, 203, 204, and the jig 120, which are associated with the reference positions, are arranged according to the user's position and the line-of-sight direction.
  • Information 206 and 207 indicating the distances of the above are displayed on the display unit 103.
  • the display control unit 158 may change the display arrangement of the information indicating the arrangement of the jig 120 according to the arrangement of the display detected by the display arrangement detection unit 155. For example, when the user changes the arrangement of the display, the display control unit 158 displays the position of the structure 110 on the display and the display of the virtual mounting members 201, 202, 203, 204 according to the change. The display arrangement of the information 206 and 207 indicating the arrangement and the distance to the position where the jig 120 is arranged may be changed.
  • the display control unit 158 provides information indicating the positional deviation of the jig 120 based on the arrangement of the jig 120 detected by the jig arrangement detection unit 156 and the arrangement information of the jig 120 stored in the storage unit 105. Is displayed. For example, when the arrangement of the jig 120 detected by the jig arrangement detection unit 156 deviates from the arrangement information of the jig 120 stored in the storage unit 105, the display control unit 158 deviates from the allowable error.
  • the display unit 103 is subjected to a display process indicating the occurrence of.
  • the display control unit 158 determines that the deviation has occurred, the display unit 103 causes the display unit 103 to display information 160 indicating that the deviation has occurred, as shown in FIG. 7.
  • the display control unit 158 may change the color of the virtual mounting member when it is determined that the above deviation has occurred.
  • the member determination unit 159 determines the attachment member to be attached by the user from the plurality of attachment members corresponding to the plurality of virtual attachment members stored in the storage unit 105.
  • the member determination unit 159 is at least one of the plurality of mounting members based on, for example, the detection result of the operation detection unit 106, the position of the user with respect to the structure 110, and at least one of the user's line-of-sight directions.
  • the mounting member is determined as a mounting member for which the user performs the mounting work.
  • the display control unit 158 determines information indicating the arrangement of the jig 120 corresponding to the mounting member determined by the member determination unit 159 as information used for the arrangement of the jig 120 by the user, and corresponds to other mounting members.
  • Display processing is performed on the information indicating the arrangement of the jig 120 to be used.
  • the display control unit 158 when the member determination unit 159 determines that the attachment member 131 corresponding to the virtual attachment member 201 is the attachment member for which the user performs the attachment work, the display control unit 158 arranges the jig 120 corresponding to the remaining attachment members.
  • the display unit 103 is instructed to hide the information indicating the above.
  • the display process for the remaining jig 120 is not limited to non-display, and includes changing the display such as semi-transparent display, blinking display, contour line display, color change, and display density change. For the remaining jig 120, the display may be changed only for the information indicating the distance of the jig 120.
  • the display control unit 158 may change the display with respect to the information indicating the arrangement of the jig 120 corresponding to the mounting member determined by the member determination unit 159.
  • FIG. 9 shows a state in which the information regarding the virtual mounting members 202, 203, and 204 is hidden.
  • the display control unit 158 may display the information indicating the arrangement of the jig 120 corresponding to the mounting member determined by the member determination unit 159 on the display unit 103 from the non-display state.
  • the member determination unit 159 is a mounting member that corresponds to a user's operation among a plurality of mounting members based on the detection result of the operation detection unit 106 and the arrangement information of the jig 120 stored in the storage unit 105. To judge.
  • the display control unit 158 performs a display process of information indicating the arrangement of the jig 120 corresponding to the determined mounting member. For example, when the user touches the virtual mounting member 201, the member determination unit 159 determines that the mounting member 131 corresponding to the virtual mounting member 201 operated by the user is a mounting member to be mounted by the user.
  • the display control unit 158 displays the virtual mounting member 201 operated by the user and the display thereof, as shown in FIG.
  • the virtual mounting members 202, 203, 204 may be hidden, leaving the corresponding distance indication.
  • the member determination unit 159 displays the mounting member corresponding to the operated information 206 and 207. It may be determined as a mounting member for which the user performs the mounting work.
  • the member determination unit 159 detects the line-of-sight direction detection unit 154 among the plurality of mounting members based on the detection result of the line-of-sight direction detection unit 154 and the arrangement information of the jig 120 stored in the storage unit 105. Determine the mounting member that corresponds to the result.
  • the display control unit 158 performs display processing of information indicating the arrangement of the jig 120 regarding the determined mounting member. For example, as shown in FIG. 9, the display control unit 158 leaves the display of the virtual mounting member 201 corresponding to the line-of-sight direction detected by the line-of-sight direction detection unit 154 and the display of the information 206 and 207 corresponding thereto. , Virtual mounting members 202, 203, 204 may be hidden.
  • the virtual mounting member corresponding to the line-of-sight direction may be the foremost virtual mounting member located on the half straight line in the line-of-sight direction.
  • the display control unit 158 changes the color of the virtual mounting member located on the extension line in the line-of-sight direction to display, and determines the display used for arranging the jig 120 according to the detection result of the user's operation by the operation detection unit 106. You may let me.
  • the member determination unit 159 detects the user position detection unit 153 among the plurality of mounting members based on the detection result of the user position detection unit 153 and the arrangement information of the jig 120 stored in the storage unit 105. Determine the mounting member that corresponds to the result.
  • the display control unit 158 performs display processing of information indicating the arrangement of the jig 120 regarding the determined mounting member.
  • the member determination unit 159 determines where the user is up, down, left, or right with respect to the structure 110 based on the detection result of the user position detection unit 153 and the arrangement information of the jig 120 stored in the storage unit 105. to decide. For example, as shown in FIG.
  • the plane orthogonal to the extending direction of the structure 110 is divided into four regions R1, R2, R3, and R4.
  • the member determination unit 159 outputs the virtual mounting member 202 corresponding to the area R1 as a determination result.
  • the display control unit 158 may leave the display of the information indicating the virtual mounting member 202 and the corresponding distance, and hide the remaining information.
  • the member determination unit 159 outputs the virtual mounting member corresponding to both regions as the determination result.
  • the member determination unit 159 may calculate the distance between the user and the structure 110 from the detection result of the user position detection unit 153, and determine the mounting member according to the distance. For example, the member determination unit 159 may output a virtual mounting member within 2 m from the user as a determination result.
  • the display control unit 158 may display, for example, the virtual mounting member located within 2 m from the user in blue, and hide or semi-transparently display the virtual mounting member located 2 m or more from the user. Good.
  • the display control unit 158 may hide the virtual mounting member located within 2 m from the user or the virtual mounting member located on the opposite side of the structure 110 from the user. For example, in FIG.
  • the member determination unit 159 may acquire the arrangement relationship between the user and the jig 120 from the detection result of the user position detection unit 153, and determine the attachment member according to the arrangement relationship.
  • FIG. 11 is a flowchart showing an example of processing performed in the video display system 100.
  • step S101 the reference position detection unit 151 detects the reference position where the origin N of the virtual coordinate axis ⁇ is arranged. Subsequently, the process proceeds to step S102.
  • step S102 the structure arrangement detection unit 152 detects the arrangement of the structure 110 arranged in the real space. Subsequently, the process proceeds to step S103.
  • step S103 the display arrangement detection unit 155 detects the display arrangement of the display unit 103. Subsequently, the process proceeds to step S104.
  • step S104 the jig arrangement detection unit 156 detects the arrangement of the jig 120 arranged in the real space. Subsequently, the process proceeds to step S105.
  • step S105 the control unit 107 performs display processing based on the information detected in steps S102 to S104.
  • the display unit 103 displays various types of information in response to an instruction from the control unit 107.
  • FIG. 12 is a flowchart showing a display process performed by the control unit 107.
  • step S111 the control unit 107 determines whether or not there is member selection information.
  • the member selection information is, for example, a determination result determined by the member determination unit 159 based on at least one of the detection result of the operation detection unit 106, the position of the user with respect to the structure 110, and the line-of-sight direction of the user. is there. If it is determined that there is no member selection information (NO in step S111), the control unit 107 proceeds to step S112. If it is determined that there is member selection information (YES in step S111), the control unit 107 proceeds to step S113.
  • step S112 the control unit 107 causes the display control unit 158 to display all the virtual mounting members stored in the storage unit 105 on the display unit 103, and proceeds to the process in step S117.
  • step S113 the control unit 107 determines whether or not the jig arrangement is detected by the jig arrangement detection unit 156. If it is determined that the jig arrangement has not been detected (NO in step S113), the control unit 107 proceeds to step S114. If it is determined that the jig arrangement has been detected (YES in step S113), the control unit 107 proceeds to step S115.
  • step S114 the control unit 107 causes the display control unit 158 to display the virtual mounting member corresponding to the mounting member determined by the member determination unit 159 on the display unit 103, and proceeds to the process in step S117.
  • step S115 the control unit 107 determines whether or not the jig arrangement is appropriate based on the detection result of the jig arrangement detection unit 156. If it is determined that the jig arrangement is appropriate (YES in step S115), the control unit 107 proceeds to step S114. If it is determined that the jig arrangement is not appropriate (NO in step S115), the control unit 107 proceeds to step S116.
  • step S116 the control unit 107 causes the display control unit 158 to display the virtual mounting member corresponding to the mounting member determined by the member determination unit 159 and the error on the display unit 103, and the control unit 107 causes the display unit 107 to display in step S117. Proceed with processing.
  • the display control unit 158 causes the display unit 103 to display, for example, information 160 indicating that the deviation has occurred.
  • step S117 the control unit 107 determines whether or not to end the display process. If it is determined that the display process is not completed (NO in step S117), the control unit 107 proceeds to step S111. When it is determined that the display process is finished (YES in step S117), the control unit 107 ends the display process.
  • the arrangement information of the jig 120 for positioning the mounting member with respect to the structure 110 is stored, and the arrangement of the jig 120 is shown with respect to the structure 110 arranged in the real space. Display processing is performed. The user can easily arrange the jig 120 according to the display process indicating the arrangement of the jig 120. As a result, the mounting member can be positioned with respect to the structure 110 by the jig 120, and the mounting work of the mounting member to the structure 110 can be easily performed.
  • the mounting member 131 is mounted on the structure 110 in a state of being inclined with respect to the main surface 111a of the face plate 111 and also with respect to the main surface 112a of the face plate 112 and the main surface 113a of the face plate 113.
  • the mounting work in such a state is very difficult.
  • the jig 120 includes a first jig 121 having a flat surface 121a and a second jig 122 having a flat surface 122a facing the flat surface 121a.
  • the arrangement information of the jig 120 includes the arrangement information of the jig 120 in which the flat surface 121a and the flat surface 122a come into contact with the mounting member. Therefore, according to the image display system 100, the jig 120 can be easily and appropriately arranged, and the mounting member 131 can be easily positioned with respect to the structure 110.
  • the structure 110 has a main surface 111a that extends in a predetermined direction and is in contact with the mounting member.
  • the arrangement information of the jig 120 is the arrangement information of the jig 120 that limits the position of the mounting member in a predetermined direction, the inclination angle of the mounting member with respect to the main surface 111a, and the rotation angle of the member with respect to the axis orthogonal to the main surface 111a. including. Therefore, according to the image display system 100, the jig 120 can be easily and appropriately arranged, and the mounting member 131 can be easily positioned with respect to the structure 110.
  • the video display system 100 includes a display arrangement detection unit 155 that detects the arrangement of displays that perform display by display processing.
  • the control unit 107 changes the display arrangement of the information indicating the display of the structure and the arrangement of the jig 120 on the display according to the arrangement of the display detected by the display arrangement detection unit 155. Therefore, the user can confirm the arrangement of the jig 120 with respect to the structure at an arbitrary position by moving the display.
  • the video display system 100 includes a jig arrangement detection unit 156 that detects the arrangement of the jigs 120 arranged in the real space.
  • the control unit 107 has information 160 indicating a misalignment of the jig 120 based on the arrangement of the jig 120 detected by the jig arrangement detection unit 156 and the arrangement information of the jig 120 stored in the storage unit 105. Is displayed. Therefore, the user can easily confirm whether or not the arrangement of the jig 120 is appropriate.
  • the video display system 100 includes an operation detection unit 106 that detects a user's operation.
  • the control unit 107 is a jig related to a mounting member corresponding to a user's operation among a plurality of mounting members based on the detection result of the operation detecting unit 106 and the arrangement information of the jig 120 stored in the storage unit 105. Performs display processing of information indicating the arrangement of. Therefore, the user can select the information indicating the arrangement of the jigs to be displayed.
  • the storage unit 105 stores the arrangement information of a plurality of mounting members with respect to the structure 110.
  • the control unit 107 instructs the display of information indicating the arrangement of the plurality of mounting members based on the arrangement information of the plurality of members stored in the storage unit 105.
  • the control unit 107 determines a mounting member corresponding to the detection result of the operation detection unit 106 among the plurality of mounting members, and performs a display process indicating the arrangement of the jig 120 related to the determined mounting member. Therefore, the user can select the information indicating the arrangement of the jig by operating the displayed mounting member.
  • the video display system 100 includes a user position detection unit 153 that detects the user's position. Based on the detection result of the user position detection unit 153 and the arrangement information of the jig 120 stored in the storage unit 105, the control unit 107 controls the mounting member corresponding to the user's position among the plurality of mounting members. Performs display processing of information indicating the arrangement of jigs. Therefore, information indicating an appropriate jig arrangement can be displayed according to the position of the user.
  • the video display system 100 includes a line-of-sight direction detection unit 154 that detects the line-of-sight direction of the user.
  • the control unit 107 relates to a mounting member corresponding to the user's line-of-sight direction among the plurality of mounting members based on the detection result of the line-of-sight direction detecting unit 154 and the arrangement information of the jig 120 stored in the storage unit 105. Performs display processing of information indicating the arrangement of jigs. Therefore, information indicating an appropriate jig arrangement can be displayed according to the user's line-of-sight direction.
  • each functional block is realized by any combination of at least one of hardware and software.
  • the method of realizing each functional block is not particularly limited. That is, each functional block may be realized by using one device that is physically or logically connected, or directly or indirectly (for example, by two or more devices that are physically or logically separated). , Wired, wireless, etc.) and may be realized using these plurality of devices.
  • the functional block may be realized by combining the software with the one device or the plurality of devices.
  • Functions include judgment, decision, judgment, calculation, calculation, processing, derivation, investigation, search, confirmation, reception, transmission, output, access, solution, selection, selection, establishment, comparison, assumption, expectation, and assumption.
  • broadcasting notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, assigning, etc., but only these. I can't.
  • a functional block (constituent unit) that functions transmission is called a transmitting unit or a transmitter.
  • the method of realizing each of them is not particularly limited.
  • the video display system may function as a computer that performs the processing according to the present embodiment.
  • FIG. 13 is a diagram showing an example of the hardware configuration of the video display system 100 according to the embodiment of the present disclosure.
  • the video display system 100 described above may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like.
  • the video display system 100 also includes hardware such as an image pickup unit 101, a sensor used for the inertial measurement unit 102, and a display.
  • the word “device” can be read as a circuit, device, unit, etc.
  • the hardware configuration of the video display system 100 may be configured to include one or more of the devices shown in the figure, or may be configured not to include some of the devices.
  • the processor 1001 For each function in the video display system 100, by loading predetermined software (program) on hardware such as the processor 1001 and the memory 1002, the processor 1001 performs an operation, controls communication by the communication device 1004, and controls the communication by the communication device 1004. It is realized by controlling at least one of reading and writing of data in the 1002 and the storage 1003.
  • predetermined software program
  • the processor 1001 operates, for example, an operating system to control the entire computer.
  • the processor 1001 may be configured by a central processing unit (CPU: Central Processing Unit) including an interface with peripheral devices, a control device, an arithmetic unit, a register, and the like.
  • CPU Central Processing Unit
  • the environment information detection unit 104, the control unit 107, and the like may be realized by the processor 1001.
  • the processor 1001 reads a program (program code), a software module, data, etc. from at least one of the storage 1003 and the communication device 1004 into the memory 1002, and executes various processes according to these.
  • a program program that causes a computer to execute at least a part of the operations described in the above-described embodiment is used.
  • the display unit 103, the environment information detection unit 104, the operation detection unit 106, and the control unit 107 may be realized by a control program stored in the memory 1002 and operating in the processor 1001, and the same applies to other functional blocks. It may be realized in.
  • Processor 1001 may be implemented by one or more chips.
  • the program may be transmitted from the network via a telecommunication line.
  • the memory 1002 is a computer-readable recording medium, and is composed of at least one such as a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM), and a RAM (Random Access Memory). May be done.
  • the memory 1002 may be referred to as a register, a cache, a main memory (main storage device), or the like.
  • the memory 1002 can store a program (program code), a software module, or the like that can be executed to implement the wireless communication method according to the embodiment of the present disclosure.
  • the storage 1003 is a computer-readable recording medium, for example, an optical disk such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disk, a magneto-optical disk (for example, a compact disk, a digital versatile disk, a Blu-ray). It may consist of at least one (registered trademark) disk), smart card, flash memory (eg, card, stick, key drive), floppy (registered trademark) disk, magnetic strip, and the like.
  • the storage 1003 may be referred to as an auxiliary storage device.
  • the storage medium described above may be, for example, a database, server or other suitable medium containing at least one of memory 1002 and storage 1003.
  • the communication device 1004 is hardware (transmission / reception device) for communicating between computers via at least one of a wired network and a wireless network, and is also referred to as, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the input device 1005 is an input device (for example, a keyboard, a mouse, a microphone, a switch, a button, a sensor, etc.) that receives an input from the outside.
  • the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that outputs to the outside.
  • the input device 1005 and the output device 1006 may have an integrated configuration (for example, a touch panel).
  • each device such as the processor 1001 and the memory 1002 is connected by the bus 1007 for communicating information.
  • the bus 1007 may be configured by using a single bus, or may be configured by using a different bus for each device.
  • the video display system 100 includes hardware such as a microprocessor, a digital signal processor (DSP: Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). It may be configured by, and a part or all of each functional block may be realized by the hardware. For example, processor 1001 may be implemented using at least one of these hardware.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • the notification of predetermined information (for example, the notification of "being X") is not limited to the explicit one, but is performed implicitly (for example, the notification of the predetermined information is not performed). May be good.
  • Each aspect / embodiment described in the present disclosure includes LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G (4th generation mobile communication system), and 5G (5th generation mobile communication).
  • system FRA (Future Radio Access), NR (new Radio), W-CDMA (registered trademark), GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi (registered trademark)) )), LTE 802.16 (WiMAX®), IEEE 802.20, UWB (Ultra-WideBand), Bluetooth®, and other systems that utilize suitable systems and have been extended based on these. It may be applied to at least one of the next generation systems. Further, a plurality of systems may be applied in combination (for example, a combination of at least one of LTE and LTE-A and 5G).
  • the input / output information and the like may be saved in a specific location (for example, memory), or may be managed using a management table. Input / output information and the like can be overwritten, updated, or added. The output information and the like may be deleted. The input information or the like may be transmitted to another device.
  • the determination may be made by a value represented by 1 bit (0 or 1), by a boolean value (Boolean: true or false), or by comparing numerical values (for example, a predetermined value). It may be done by comparison with the value).
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. may be voltage, current, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may be represented by a combination of.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. may be voltage, current, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may be represented by a combination of.
  • determining and “determining” used in this disclosure may include a wide variety of actions.
  • “Judgment” and “decision” are, for example, judgment (judging), calculation (calculating), calculation (computing), processing (processing), derivation (deriving), investigation (investigating), search (looking up, search, inquiry). It may include (eg, searching in a table, database or another data structure), ascertaining as “judgment” or “decision”.
  • judgment and “decision” are receiving (for example, receiving information), transmitting (for example, transmitting information), input (input), output (output), and access. (Accessing) (for example, accessing data in memory) may be regarded as “judgment” or “decision”.
  • judgment and “decision” mean that “resolving”, “selecting”, “choosing”, “establishing”, “comparing”, etc. are regarded as “judgment” and “decision”. Can include. That is, “judgment” and “decision” may include considering some action as “judgment” and “decision”. Further, “judgment (decision)” may be read as “assuming”, “expecting”, “considering” and the like.
  • references to elements using designations such as “first”, “second”, etc. as used in this disclosure does not generally limit the quantity or order of those elements. These designations can be used in the present disclosure as a convenient way to distinguish between two or more elements. Thus, references to the first and second elements do not mean that only two elements can be adopted, or that the first element must somehow precede the second element.
  • the term "A and B are different” may mean “A and B are different from each other”.
  • the term may mean that "A and B are different from C”.
  • Terms such as “separate” and “combined” may be interpreted in the same way as “different”.
  • 100 Video display system, 105 ... Storage unit, 106 ... Operation detection unit, 107 ... Control unit, 110 ... Structure, 111a ... Main surface, 120 ... Jig, 121 ... First jig, 121a, 122a ... Plane, 122 ... Second jig, 131, 132 ... Mounting member, 152 ... Structure arrangement detection unit, 153 ... User position detection unit, 154 ... Line-of-sight direction detection unit, 155 ... Display arrangement detection unit, 156 ... Jig arrangement detection unit , 201, 202, 203, 204 ... Virtual mounting member.

Abstract

映像表示システム（１００）は、構造体（１１０）に対する部材の取付作業に用いる映像表示システムであって、構造体（１１０）に対して部材の位置決めを行う治具の配置情報を格納している格納部（１０５）と、実空間に配置された構造体（１１０）の配置を検出する構造体配置検出部（１５２）と、格納部（１０５）に格納されている治具（１２０）の配置情報と構造体配置検出部（１５２）の検出結果とに基づいて、実空間に配置された構造体（１１０）に対して治具の配置を示す表示処理、を行う制御部（１０７）と、を備える。

Description

[規則37.2に基づきISAが決定した発明の名称]　治具の配置を示す映像処理システム
　本開示は、ユーザの作業を支援する映像を表示する映像表示システムに関する。
　実空間に配置された実物体に対して仮想情報をコンピュータグラフィック等によって表示する、複合現実感（Mixed　Reality；以下、「ＭＲ」という）に関する技術が知られている（例えば、特許文献１参照）。特許文献１は、実物体である建築模型を撮像した実映像と仮想映像を合成して表示する技術について記載している。
特開２００６－１８４４４号公報
　ＭＲ技術の利用方法として、ＨＭＤ（Head　Mount　Display）等（以下、「ＭＲデバイス」という）を介して、ユーザの作業を支援する仮想映像を実物体に対応させてユーザに提供することが考えられる。例えば、鋼材の溶接作業では、図面の読み解き、鋼材への罫書き、罫書きの確認といった作業が必要である。複雑な図面では熟練技師でも理解に時間を要し、溶接部分が多ければ単純ミスによる手戻りが発生する。このため、従来の鋼材の溶接作業には、熟練の技術を要していた。そこで、ＭＲデバイスを利用して、取付部材を示す仮想物体を実物の鋼材に重畳表示することが考えられる。
　しかしながら、取付部材を示す仮想物体を鋼材などの構造体に重畳表示させただけでは、取付作業の困難性が改善されない場合があった。例えば、寸法又は重量が比較的大きい取付部材を構造体に対して傾斜させた状態で、取付部材と構造体との間において溶接などの取付作業を行う場合がある。このような場合には、仮想物体の表示に合わせて取付部材を配置した状態を保ちながら上記取付作業を行うことは困難であった。
　本開示は、上記の問題に鑑みてなされたものであり、構造体に対する部材の取付作業を容易に行うことができる映像表示システムを提供することを目的とする。
　上記の目的を達成するために、本開示に係る映像表示システムは、構造体に対する部材の取付作業に用いる映像表示システムであって、構造体に対して部材の位置決めを行う治具の配置情報を格納している格納部と、実空間に配置された構造体の配置を検出する構造体配置検出部と、格納部に格納されている治具の配置情報と構造体配置検出部の検出結果とに基づいて、実空間に配置された構造体に対して治具の配置を示す表示処理、を行う制御部と、を備える。
　本開示に係る映像表示システムでは、構造体に対して部材の位置決めを行う治具の配置情報が格納されており、実空間に配置された構造体に対して上記治具の配置を示す表示処理が行われる。ユーザは、治具の配置を示す表示処理にしたがって容易に、当該治具を配置することができる。この結果、当該治具によって構造体に対して上記部材を位置決めし、構造体に対する部材の取付作業を容易に行うことができる。
　本開示によれば、構造体に対する部材の取付作業を容易に行うことができる映像表示システムを提供することができる。
一の実施形態に係る映像表示システムの機能を説明するための図である。 構造体と映像表示システムによる表示とを説明するための図である。 取付部材の一例を説明するための図である。 映像表示システムと治具とを用いて取付部材を取り付けた状態を示す図である。 取付作業における治具の配置を示す図である。 本実施形態の変形例に係る取付作業における治具の配置を示す図である。 映像表示システムによる治具の位置ズレ検出を説明するための図である。 本実施形態の変形例に係る映像表示システムによる治具の位置ズレ検出を説明するための図である。 映像表示システムによる表示選択を説明するための図である。 映像表示システムによる表示選択を説明するための図である。 映像表示システムによって行われる処理の一例を示すフローチャートである。 制御部によって行われる表示処理の一例を示すフローチャートである。 一の実施形態に係る映像表示システムのハードウェア構成を示す図である。
　以下、図面と共に本開示に係る映像表示システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
　［映像表示システムの概要］
　まず、本実施形態に係る映像表示システムについて説明する。図１は、映像表示システムのブロック図を示す。映像表示システム１００は、実空間（ワールド座標系）に対応付けられたＣＧ（コンピュータグラフィックス）による仮想物体を表示する。映像表示システム１００は、例えば、ユーザに装着されるＨＭＤを含む情報処理端末などによって実現される。映像表示システム１００は、タブレット端末及びプロジェクションマッピングなどであってもよい。以下では、映像表示システム１００がＭＲ技術に用いられるＨＭＤであることを例に説明する。映像表示システム１００は、ハーフミラーを用いて実空間の実物体と仮想物体とをユーザに視認させる光学シースルー方式を採用している。映像表示システム１００は、実空間の映像に仮想物体を融合してユーザに視認させるビデオシースルー方式を採用してもよい。本実施形態では、映像表示システム１００は、ビデオシースルー方式である。
　映像表示システム１００は、ユーザの目線と同様の撮像方向等で撮像を行う。映像表示システム１００は、撮像を行った画像に仮想物体を重畳して表示する。ユーザは、この表示を見ることで、実空間に配置された実体物の配置に応じた、現実にはない仮想物体を見ることができる。「配置」は、所定の３次元座標軸上の座標及び３次元座標軸の各軸周りの回転（３次元座標上の向き）によって規定される６自由度の状態を意味する。
　映像表示システム１００は、３次元座標である仮想空間（スクリーン座標系）を用いて仮想物体を表示する。映像表示システム１００は、仮想空間上の予め設定された位置に仮想物体を配置しておき、仮想空間と実空間との対応関係を算出する。仮想物体の仮想空間上の配置を「表示配置」という。以下の説明では、仮想空間において仮想物体の位置を示す座標軸を「仮想座標軸α」という。映像表示システム１００は、実空間での撮像位置及び撮像方向に対応する仮想空間上での位置及び方向から見た画像を仮想物体の表示とする。即ち、仮想的なユーザの視線から、仮想空間上の仮想物体を見た画像を表示する。上記の仮想物体の表示は、従来のＭＲ技術を用いて実施することができる。映像表示システム１００は、ユーザの移動を検出して、ユーザの移動に応じた視線の変化にあわせるように当該移動に応じて表示処理を変化させる。
　映像表示システム１００は、実空間に配置された構造体１１０に対する部材（以下、「取付部材」という）の取付作業に用いられる。図２は、映像表示システム１００がユーザに視認させる表示を示している。図３は、映像表示システム１００を用いて取付部材を取り付けた状態を示している。映像表示システム１００は、実空間に配置された実物体である構造体１１０の配置に対応してディスプレイに治具１２０の配置を示す仮想物体を表示する。換言すれば、映像表示システム１００は、実空間に配置された構造体１１０に対して治具１２０の配置を示す表示処理を行う。本実施形態では、構造体１１０は、長尺状のＨ鋼材である。
　治具１２０は、構造体１１０に対して取付部材を位置決めする部材である。ユーザは、例えば、治具１２０によって取付部材を構造体１１０に対して位置決めした状態で、取付部材と構造体との間における溶接などの取付作業を行う。本実施形態では、上述した仮想物体には、実空間の構造体１１０を示す情報、構造体１１０に取り付ける予定の取付部材を示す情報、及び、基準位置から治具１２０を配置する位置までの距離を示す情報が含まれている。基準位置は、構造体１１０の端部１１０ａである。
　本実施形態では、映像表示システム１００は、図２に示されるように、構造体１１０に取り付ける予定の取付部材を示す仮想取付部材２０１，２０２，２０３，２０４、及び、基準位置から治具１２０を配置する位置までの距離を示す情報２０６，２０７を表示する。映像表示システム１００は、ユーザに対して、治具１２０の配置を示す仮想物体が実空間に配置された構造体１１０に重なって視認されるように表示し、構造体１１０に対して治具１２０を取り付けるべき位置を示す。図２に示されている仮想取付部材２０１は、取付部材１３１に対応している。仮想取付部材２０１が表示される配置は、取付部材１３１を取り付ける予定の配置である。図２に示されている仮想取付部材２０３は、取付部材１３２に対応している。仮想取付部材２０３が表示される配置は、取付部材１３２を取り付ける予定の配置である。
　本実施形態では、映像表示システム１００は、基準位置から治具１２０を配置する位置までの距離として、構造体１１０の延在方向における端部１１０ａから取付部材までの最短距離と、構造体１１０の延在方向における端部１１０ａから取付部材までの最長距離とを表示する。図２及び図３に示されているように、映像表示システム１００によって、構造体１１０の延在方向における端部１１０ａから取付部材までの最短距離は２６０ｍｍであることが分かり、構造体１１０の延在方向における端部１１０ａから取付部材までの最長距離は３１０ｍｍであることが分かる。
　映像表示システム１００は、実空間において、構造体１１０に対して配置された基準マーカ１２５によって基準位置を検出する。基準マーカ１２５は、作業を行う前に構造体１１０と予め決められた配置関係で配置される。本実施形態では、基準マーカ１２５は、構造体１１０の面板１１２上において、構造体１１０の端部１１０ａに沿って設けられている。基準マーカ１２５は、映像表示システム１００が画像認識によって実空間における基準マーカ１２５の３次元配置を識別可能な特徴点を有する。例えば、基準マーカ１２５は、このような特徴点を有する図形等（例えば、２次元コード）を含んでいてもよい。基準マーカ１２５は、映像表示システム１００が実空間における基準マーカ１２５の３次元配置を識別可能であれば、この形態に限定されない。例えば、基準マーカ１２５の上記特徴点は、基準マーカ１２５の色又は明滅によって示されてもよい。磁気信号又は音波信号などを用いる３次元位置の識別手法によって、基準マーカ１２５の３次元位置が識別されてもよい。
　図４は、取付部材が構造体１１０に取り付けられた状態の一例をしている。図４では、取付部材が構造体１１０に対して傾斜して取り付けられた状態の三面図が示されている。図２から図４に示されているように、構造体１１０は、長尺方向に延在する３つの面板１１１，１１２，１１３が一体に接続されている構成を有している。面板１１１，１１２，１１３は、いずれも矩形状を呈している。
　面板１１１は、互いに対向する主面１１１ａ，１１１ｂを有する。面板１１２は、互いに対向する主面１１２ａ，１１２ｂを有する。面板１１３は、互いに対向する主面１１３ａ，１１３ｂを有する。各面板１１１，１１２，１１３の主面１１１ａ，１１１ｂ，１１２ａ，１１２ｂ，１１３ａ，１１３ｂは、長尺方向に延在すると共に取付部材が接する。面板１１１は、面板１１２，１１３に対して垂直となるように接続されている。面板１１１の一対の長辺に、それぞれ、面板１１２の主面１１２ａの中央部分と面板１１３の主面１１３ａの中央部分とが接続されている。
　図４は、取付部材１３１が取り付けられた構造体１１０について、面板１１２の主面１１２ｂに直交する方向から見た外観、面板１１１の主面１１１ａに直交する方向から見た外観、構造体１１０の延在方向から見た外観の関係性を示している。図４に示されているように、取付部材１３１は、平面視で台形状であり、４つの角部１３１ａ，１３１ｂ，１３１ｃ，１３１ｄを有している。図４は、同一の角部を一点鎖線で接続して示している。
　図４に示されているように、取付部材１３１は、面板１１１の主面１１１ａに対して傾斜しつつ、面板１１２の主面１１２ａ及び面板１１３の主面１１３ａに対しても傾斜している。角部１３１ｂと角部１３１ｃとを接続する辺は、構造体１１０の主面１１１ａに接している。角部１３１ａと角部１３１ｂとを接続する辺は、構造体１１０の主面１１２ａに接している。角部１３１ｃと角部１３１ｄとを接続する辺は、構造体１１０の主面１１３ａに接している。この場合、構造体１１０の延在方向において、角部１３１ａの位置は、構造体１１０の端部１１０ａから最短距離の位置である。構造体１１０の延在方向において、角部１３１ｃの位置は構造体１１０の端部１１０ａから最長距離の位置である。
　図５は、構造体１１０と治具１２０と映像表示システム１００の表示との配置関係を示す部分拡大図である。図５の（ａ）は、面板１１２の主面に直交する方向から見た外観を示している。図５の（ｂ）は、面板１１１の主面１１１ａに直交する方向から見た外観を示している。仮想取付部材２０１は、取付部材１３１と同一の形状を有しており、４つの角部１３１ａ，１３１ｂ，１３１ｃ，１３１ｄを有する。
　図３及び図５に示されているように、治具１２０は、第一治具１２１と第二治具１２２とを含む。第一治具１２１は、平面１２１ａを有する。第二治具１２２は、平面１２２ａを有する。本実施形態では、第一治具１２１の平面１２１ａ及び第二治具１２２の平面１２２ａは、主面１１１ａ及び主面１１３ａに垂直に配置される。第一治具１２１及び第二治具１２２は、それぞれ、直方体形状を有している。第一治具１２１及び第二治具１２２は、それぞれ、少なくとも構造体１１０の主面１１１ａ及び主面１１３ａに接するように配置される。
　映像表示システム１００の表示に基づいて、第一治具１２１の平面１２１ａは、構造体１１０の延在方向における端部１１０ａから取付部材１３１までの最短距離の位置に配置される。映像表示システム１００の表示に基づいて、第二治具１２２の平面１２２ａは、構造体１１０の延在方向における端部１１０ａから取付部材までの最長距離の位置に配置される。
　映像表示システム１００は、基準位置から治具１２０を配置する位置までの距離を示す情報２０６，２０７の表示に加えて、仮想取付部材２０１も表示する。第一治具１２１は、仮想取付部材２０１のうち、構造体１１０の延在方向において端部１１０ａから最短距離に位置する部分に接するように配置される。第二治具１２２は、仮想取付部材２０１のうち、構造体１１０の延在方向において端部１１０ａから最長距離に位置する部分に接するように配置される。本実施形態では、第一治具１２１は平面１２１ａが仮想取付部材２０１の角部１３１ａに接するように配置され、第二治具１２２は平面１２２ａが仮想取付部材２０１の角部１３１ｄに接するように配置される。この際、第一治具１２１の平面１２１ａと第二治具１２２の平面１２２ａとは、互いに対向する。これによって、治具１２０は、構造体１１０の延在方向における取付部材１３１の位置と、構造体１１０の主面１１１ａに対する取付部材１３１の傾斜角度と、主面１１１ａに直交する軸に対する取付部材１３１の回転角度とを制限するように配置される。例えば、取付部材１３１が、構造体１１０の主面１１１ａと第一治具１２１の平面１２１ａと第二治具１２２の平面１２２ａとに当接するように配置することで、所望の配置で取付部材１３１が位置決めされる。
　図６は、本実施形態の変形例に係る取付作業における治具の配置を示す図である。本変形例では、面板１１１の主面１１１ａと交差する方向における長さが、取付部材１３１よりも長い取付部材１３５を構造体１１０に取り付ける。取付部材１３５もまた、４つの角部１３１ａ，１３１ｂ，１３１ｃ，１３１ｄを有する。主面１１１ａに交差する方向において、取付部材１３５の長さは治具１２０の長さよりも大きい。この場合、平面１２２ａは角部１３１ｄに接するが、平面１２１ａは角部１３１ａに接し得ない。この場合、第一治具１２１は、平面１２１ａが角部１３１ａと角部１３１ｂとを接続する辺に接するように配置される。映像表示システム１００は、角部１３１ａと角部１３１ｂとを接続する辺のうち、第一治具１２１の平面１２１ａが接する部分を示す。換言すれば、映像表示システム１００は、第一治具１２１の平面１２１ａの配置を示す情報の表示として、端部１１０ａから、第一治具１２１と第二治具１２２とに挟まれる領域内の取付部材１３５までの構造体１１０の延在方向における最短距離の位置を表示する。映像表示システム１００は、第二治具１２２の平面１２２ａの配置を示す情報の表示として、端部１１０ａから、第一治具１２１と第二治具１２２とに挟まれる領域内の取付部材までの構造体１１０の延在方向における最長距離の位置を表示する。
　［映像表示システムの構成］
　映像表示システム１００は、図１に示されているように、撮像部１０１、慣性計測部１０２、表示部１０３、環境情報検出部１０４、格納部１０５、操作検出部１０６、及び制御部１０７を備える。撮像部１０１、慣性計測部１０２、表示部１０３、環境情報検出部１０４、格納部１０５、操作検出部１０６、及び制御部１０７は、一つの筐体に収容されていてもよいし、複数の筐体に分けて収容されていてもよい。複数の筐体に収容されている場合には、有線で接続されてもよいし、無線で接続されてもよい。
　映像表示システム１００のうち、撮像部１０１及び表示部１０３の少なくとも一つは、携帯可能である。映像表示システム１００は、撮像部１０１を備えていなくてもよい。撮像部１０１を携帯せずに表示部１０３を携帯する場合には、表示部１０３と慣性計測部１０２とが一つの筐体に収容されている。例えば、映像表示システム１００は、ＨＭＤを用いる場合だけでなく、撮像部１０１が動作しないタブレットなどをユーザが携帯する場合、及び、ユーザが手元の表示部１０３で確認しながら遠隔で撮像部１０１を有する端末の動きを操作する場合にも利用可能である。本実施形態では、撮像部１０１、慣性計測部１０２、及び表示部１０３が一つの筐体に収容され、当該筐体がユーザの頭に固定されるＨＭＤが用いられる場合を主として説明する。
　撮像部１０１は、実空間を撮像し、撮像した画像を逐次、環境情報検出部１０４へ送信する。本実施形態では、撮像部１０１はユーザの頭に固定され、ユーザの頭の動きに合わせて撮像部１０１の位置及び姿勢が変動する。撮像部１０１の位置は、撮像部１０１の座標位置である。撮像部１０１の姿勢は、３次元座標の各軸周りの回転（３次元座標上の向き）である。撮像部１０１は、深度カメラ、及びＲＧＢカメラ等の複数のカメラから構成されている。撮像部１０１は、ユーザの視線方向を撮像するフロントカメラだけでなく、ユーザの側方などを撮像する環境カメラも含む。
　慣性計測部１０２は、撮像部１０１又は表示部１０３に働く外力を計測し、計測結果を逐次、環境情報検出部１０４へ送信する。本実施形態では、慣性計測部１０２は、ユーザの頭に固定された、加速度センサ、ジャイロセンサ、及び方位センサ等によって構成されている。
　表示部１０３は、表示を行うディスプレイを含んでいる。表示部１０３は、撮像部１０１又は表示部１０３の位置及び姿勢に応じて、仮想物体含む仮想映像を表示する。本実施形態では、表示部１０３はユーザが仮想物体を適切に視認できる状態でユーザの頭に固定される。表示部１０３は、ユーザの頭の動きに合わせて表示部１０３の位置及び姿勢が変動する。表示部１０３の位置は、表示部１０３の座標位置である。表示部１０３の姿勢は、３次元座標の各軸周りの回転（３次元座標上の向き）である。本実施形態では、表示部１０３は、後述する制御部１０７からの指示に応じて、実空間の構造体１１０を示す表示、構造体１１０に取り付ける予定の取付部材を示す表示、及び、基準位置から治具１２０を配置する位置までの距離を示す情報の表示を行う。
　環境情報検出部１０４は、撮像部１０１で撮像された画像及び慣性計測部１０２の計測結果の少なくとも一方に基づいて、種々の情報を検出する。映像表示システム１００は、慣性計測部１０２を備えていなくてもよい。この場合、映像表示システム１００は、撮像部１０１で撮像される画像に基づいて、環境情報検出部１０４で種々の処理を行う。映像表示システム１００が撮像部１０１を備えていない場合、映像表示システム１００は、慣性計測部１０２に基づいて、環境情報検出部１０４で種々の処理を行う。環境情報検出部１０４は、基準位置検出部１５１と、構造体配置検出部１５２と、ユーザ位置検出部１５３と、視線方向検出部１５４と、ディスプレイ配置検出部１５５と、治具配置検出部１５６とを有する。
　基準位置検出部１５１は、仮想座標軸αの原点Ｎを配置する基準位置を検出する。本実施形態では、基準位置検出部１５１は、撮像部１０１で撮像された画像から、実空間における基準マーカ１２５の３次元配置を識別可能な特徴点を検出する。基準位置検出部１５１は、検出された上記特徴点から実空間における基準位置を検出する。例えば、構造体１１０の端部１１０ａに沿って基準マーカ１２５が配置された状態において、基準位置検出部１５１は、基準マーカ１２５の特徴点から面板１１２における端部１１０ａの中央を基準位置として検出する。基準位置検出部１５１による基準位置の検出結果は、例えば、撮像部１０１又はディスプレイからの基準位置の相対位置である。
　基準位置検出部１５１は、基準マーカ１２５でなく、撮像部１０１によって撮像された画像における構造体１１０のエッジの配置、又は、撮像部１０１によって撮像された画像における構造体１１０の周辺環境などから基準位置を検出してもよい。基準位置検出部１５１は、実空間における基準位置を示す信号を、無線又は有線で別途取得してもよい。基準位置検出部１５１による基準位置の検出結果は、撮像部１０１で撮像された画像上の位置であってもよい。
　構造体配置検出部１５２は、実空間に配置された構造体１１０の配置を検出する。本実施形態では、構造体配置検出部１５２は、基準位置検出部１５１によって検出された基準位置と、構造体１１０の向きを特定する他の特徴点とに基づいて、構造体１１０の配置を検出する。構造体１１０の向きを特定する他の特徴点は、基準マーカ１２５の向き、基準マーカ１２５とは別に構造体１１０に設けられたマーカの配置、構造体１１０のエッジの配置、又は構造体１１０の周辺環境でもよい。例えば、構造体配置検出部１５２は、撮像部１０１で撮像された画像から、実空間における構造体１１０のエッジの配置を検出する。
　構造体配置検出部１５２による構造体１１０の配置の検出結果は、例えば、撮像部１０１又はディスプレイに対する構造体１１０の相対配置である。構造体配置検出部１５２は、実空間における構造体１１０の配置を示す信号を、無線又は有線で別途取得してもよい。構造体配置検出部１５２による構造体１１０の配置の検出結果は、撮像部１０１で撮像された画像上の配置であってもよい。
　ユーザ位置検出部１５３は、取付作業を行うユーザの位置を検出する。本実施形態では、ユーザ位置検出部１５３は、基準位置に対する撮像部１０１の相対位置をユーザの位置として検出する。例えば、ユーザ位置検出部１５３は、撮像部１０１で撮像された画像から、周辺環境の特徴点を検出する。ユーザ位置検出部１５３は、検出された上記特徴点から実空間における撮像部１０１の位置を検出する。ユーザ位置検出部１５３は、撮像部１０１で撮像された画像と基準位置の検出結果と慣性計測部１０２の計測結果とに基づいて、撮像部１０１の位置を検出してもよい。
　ユーザ位置検出部１５３は、基準位置に対する表示部１０３のディスプレイの相対位置をユーザの位置として検出してもよい。ユーザ位置検出部１５３は、基準位置に対する撮像部１０１の相対位置をディスプレイの位置として検出してもよい。ユーザ位置検出部１５３は、撮像部１０１で撮像された画像と基準位置の検出結果と慣性計測部１０２の計測結果とに基づいて、ディスプレイの位置を検出してもよい。ユーザ位置検出部１５３は、撮像部１０１で撮像された画像を用いずに、ディスプレイの位置を検出してもよい。ユーザ位置検出部１５３は、実空間における撮像部１０１又はディスプレイの位置を示す信号を、例えば外部の撮像部などから別途取得してもよい。
　ユーザ位置検出部１５３は、基準位置に対するユーザの位置でなくとも、構造体１１０の任意の位置に対するユーザの位置を検出してもよい。ユーザ位置検出部１５３は、治具１２０に対するユーザの位置を検出してもよい。
　視線方向検出部１５４は、取付作業を行うユーザの視線方向を検出する。なお、「視線方向」とは、フロントカメラが向いている方向であってもよいし、撮像された画像の中心であってもよいし、ディスプレイが向いている方向であってもよいし、ユーザの眼球の向きから計算した方向であってもよい。本実施形態では、視線方向検出部１５４は、基準位置に対する撮像部１０１の姿勢を視線方向として検出する。例えば、視線方向検出部１５４は、撮像部１０１で撮像された画像から、周辺環境の特徴点を検出する。視線方向検出部１５４は、検出された上記特徴点から実空間における撮像部１０１の姿勢を検出する。視線方向検出部１５４は、撮像部１０１で撮像された画像と基準位置の検出結果と慣性計測部１０２の計測結果とに基づいて、撮像部１０１の姿勢を検出してもよい。
　視線方向検出部１５４は、基準位置に対する表示部１０３のディスプレイの姿勢を視線方向として検出してもよい。視線方向検出部１５４は、基準位置に対する撮像部１０１の姿勢をディスプレイの姿勢として検出してもよい。視線方向検出部１５４は、撮像部１０１で撮像された画像と基準位置の検出結果と慣性計測部１０２の計測結果とに基づいて、ディスプレイの姿勢を検出してもよい。視線方向検出部１５４は、撮像部１０１で撮像された画像を用いずに、ディスプレイの姿勢を検出してもよい。視線方向検出部１５４は、実空間における撮像部１０１又はディスプレイの姿勢を示す信号を、例えば外部に撮像部などから別途取得してもよい。
　ディスプレイ配置検出部１５５は、ディスプレイの配置を検出する。本実施形態では、ディスプレイ配置検出部１５５は、ユーザ位置検出部１５３の検出結果と視線方向検出部１５４の検出結果とから、基準位置に対するディスプレイの配置を検出する。
　治具配置検出部１５６は、実空間に配置された治具１２０の配置を検出する。本実施形態では、治具配置検出部１５６は、撮像部１０１で撮像された画像から、第一治具１２１及び第二治具１２２のそれぞれが有する特徴点を検出する。図７に示されているように、第一治具１２１及び第二治具１２２のそれぞれが有する特徴点は、例えば、第一治具１２１及び第二治具１２２のそれぞれに設けられたマーカ１４０であってもよい。本実施形態では、マーカ１４０にＱＲコード（登録商標）が付されている。治具配置検出部１５６は、例えば、撮像部１０１で撮像された画像からマーカ１４０のＱＲコードを認識して、第一治具１２１及び第二治具１２２の配置を演算する。マーカ１４０は、ＱＲコードでなく、他の特徴的な図柄を有していてもよい。治具配置検出部１５６は、第一治具１２１及び第二治具１２２から色、明滅又は電磁気情報などを検出して、第一治具１２１及び第二治具のそれぞれの配置を検出してもよい。
　図８に示されているように、治具配置検出部１５６は、構造体１１０の両端部に配置されたレーザー距離計測装置１７１，１７２から取得した情報に基づいて、第一治具１２１及び第二治具のそれぞれの配置を検出してもよい。例えば、レーザー距離計測装置１７１は、構造体１１０の一端部からの第一治具１２１の端部までの距離を治具配置検出部１５６に送信する。治具配置検出部１５６は、構造体１１０の一端部からの第一治具１２１の端部までの距離から第一治具１２１の配置を検出する。レーザー距離計測装置１７２は、構造体１１０の他端部からの第二治具１２２の端部までの距離を治具配置検出部１５６に送信する。治具配置検出部１５６は、構造体１１０の他端部からの第二治具１２２の端部までの距離から第二治具１２２の配置を検出する。治具配置検出部１５６は、予め取得された構造体１１０の全長と第一治具１２１及び第二治具１２２の厚さとを用いて、第一治具１２１及び第二治具のそれぞれの配置を検出してもよい。映像表示システム１００は、レーザー距離計測装置１７１，１７２を含んでいてもよい。
　格納部１０５は、仮想物体の表示に必要な各種情報（ＣＧデータ）を予め格納している。格納部１０５は、構造体１１０に対する治具１２０の配置情報を格納している。本実施形態では、治具１２０の配置情報は、平面１２１ａと平面１２２ａとが取付部材に接する第一治具１２１及び第二治具１２２の配置情報を含む。第一治具１２１及び第二治具１２２の配置情報は、構造体１１０の延在方向における取付部材の位置と、構造体１１０の主面１１１ａに対する取付部材の傾斜角度と、主面１１１ａに直交する軸に対する取付部材の回転角度とを制限する治具の配置情報を含む。
　例えば、格納部１０５は、仮想空間における仮想座標軸αに予め対応付けられた仮想取付部材２０１，２０２，２０３，２０４の表示配置、及び、基準位置から治具１２０を配置する位置までの距離を示す情報２０６，２０７を予め格納している。格納部１０５は、仮想取付部材２０１，２０２，２０３，２０４の表示配置、及び、治具１２０を配置する位置の仮想座標軸α上の座標を格納している。仮想座標軸αを実空間に対応付けることで、実空間での撮像部１０１の位置及び姿勢に対応する仮想取付部材２０１，２０２，２０３，２０４の表示配置、及び治具１２０を配置する位置が決定される。
　格納部１０５、予め定められた、実空間に配置された基準マーカ１２５と、仮想座標軸αとの配置関係も予め格納している。本実施形態では、基準マーカ１２５の実空間上の基準点Ｍの位置と、仮想座標軸αの原点Ｎを配置する基準位置とが対応付けられている。すなわち、実空間における基準マーカ１２５の配置と、仮想座標軸αの原点Ｎとが対応付けられている。
　操作検出部１０６は、ユーザの操作を検出する。例えば、映像表示システム１００のタッチパネルディスプレイにおいて、ユーザがタッチした位置を検出する。操作検出部１０６は、検出された情報を制御部１０７へ逐次送信する。例えば、操作検出部１０６は、ユーザの操作に応じて、選択された仮想取付部材２０１，２０２，２０３，２０４を示す信号を制御部１０７に送信する。操作検出部１０６によって検出されるユーザの操作は、ハンドジャスチャー、瞬き、又はボタン入力であってもよい。
　制御部１０７は、環境情報検出部１０４の検出結果、操作検出部１０６の検出結果、及び、格納部１０５に格納されている情報に基づいて、種々の制御を行う。制御部１０７は、基準配置設定部１５７、表示制御部１５８と、部材判断部１５９とを有している。
　基準配置設定部１５７は、仮想物体の表示配置を規定する仮想座標軸αと、ユーザ位置検出部１５３及び視線方向検出部１５４で検出された撮像部１０１又はディスプレイの位置及び姿勢との関係を設定する。本実施形態では、基準配置設定部１５７は、構造体配置検出部１５２で検出された構造体１１０の配置にしたがって、実空間に仮想座標軸αを対応付ける。換言すれば、基準配置設定部１５７は、構造体配置検出部１５２で検出された検出結果に基づいて、仮想座標軸αの原点Ｎを基準位置に配置すると共に、実空間における仮想座標軸αの方向を設定する。
　表示制御部１５８は、格納部１０５に格納されている治具１２０の配置情報と構造体配置検出部１５２の検出結果とに基づいて、実空間に配置された構造体１１０に対して治具１２０の配置を示す表示処理を行う。例えば、表示制御部１５８は、複数の部材の配置を示す情報の表示を表示部１０３に指示し、図２に示されているように、実空間に配置された構造体１１０に対して仮想取付部材２０１，２０２，２０３，２０４を表示部１０３に表示させる。本実施形態では、表示制御部１５８は、格納部１０５から治具１２０の配置情報を取得する。表示制御部１５８は、取得された治具１２０の配置情報に応じて、基準配置設定部１５７において実空間に対応付けられた仮想座標軸αに対して、仮想取付部材２０１，２０２，２０３，２０４の表示配置、及び、基準位置から治具１２０を配置する位置までの距離を示す情報２０６，２０７の配置を対応付ける。この結果、仮想取付部材２０１，２０２，２０３，２０４の表示配置、及び、基準位置から治具１２０を配置する位置までの距離を示す情報２０６，２０７の配置が、基準位置に対応付けられる。本実施形態では、表示制御部１５８は、ユーザの位置及び視線方向に応じて、基準位置に対応付けられた、仮想取付部材２０１，２０２，２０３，２０４、及び、治具１２０を配置する位置までの距離を示す情報２０６，２０７を表示部１０３に表示させる。
　表示制御部１５８は、ディスプレイ配置検出部１５５で検出されたディスプレイの配置に応じて、治具１２０の配置を示す情報の表示配置を変更してもよい。例えば、ユーザがディスプレイの配置を変更した場合には、表示制御部１５８は、当該変更に応じて、ディスプレイ上における、構造体１１０の表示は位置、仮想取付部材２０１，２０２，２０３，２０４の表示配置、及び、治具１２０を配置する位置までの距離を示す情報２０６，２０７の表示配置を変更させてもよい。
　表示制御部１５８は、治具配置検出部１５６で検出された治具１２０の配置と格納部１０５に格納されている治具１２０の配置情報とに基づいて、治具１２０の位置ズレを示す情報を表示させる。例えば、表示制御部１５８は、治具配置検出部１５６で検出された治具１２０の配置が格納部１０５に格納されている治具１２０の配置情報から許容誤差以上ズレている場合に、当該ズレの発生を示す表示処理を表示部１０３に行う。例えば、表示制御部１５８は、上記ズレが発生していると判断した場合に、図７に示されているように、ズレが発生していることを示す情報１６０を表示部１０３に表示させる。表示制御部１５８は、上記ズレが発生していると判断した場合に、仮想取付部材の色を変えてもよい。
　部材判断部１５９は、格納部１０５に格納されている複数の仮想取付部材に対応する複数の取付部材から、ユーザが取付作業を行う取付部材を判断する。例えば、部材判断部１５９は、例えば、操作検出部１０６の検出結果、構造体１１０に対するユーザの位置、及び、ユーザの視線方向のうち少なくとも一つに基づいて、上記複数の取付部材の少なくとも一つの取付部材を、ユーザが取付作業を行う取付部材として判断する。表示制御部１５８は、部材判断部１５９で判断された取付部材に対応する治具１２０の配置を示す情報を、ユーザが治具１２０の配置に用いる情報として判断し、それ以外の取付部材に対応する治具１２０の配置を示す情報について表示処理を行う。例えば、表示制御部１５８は、部材判断部１５９によって仮想取付部材２０１も対応する取付部材１３１がユーザが取付作業を行う取付部材として判断された場合、残りの取付部材に対応する治具１２０の配置を示す情報の非表示を表示部１０３に指示する。残りの治具１２０に対する表示処理は、非表示に限定されず、半透明表示、点滅表示、輪郭線表示、色の変更、及び表示濃度の変更など表示に変化を与えることを含む。残りの治具１２０に対して、当該治具１２０の距離を示す情報のみに対して表示に変化が与えてもよい。
　表示制御部１５８は、部材判断部１５９で判断された取付部材に対応する治具１２０の配置を示す情報に対して、表示に変化を与えてもよい。図９では、仮想取付部材２０２，２０３，２０４に関する情報が非表示にされている状態を示している。表示制御部１５８は、非表示の状態から、部材判断部１５９で判断された取付部材に対応する治具１２０の配置を示す情報を表示部１０３に表示させてもよい。
　例えば、部材判断部１５９は、操作検出部１０６の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、複数の取付部材のうち、ユーザの操作に対応する取付部材を判断する。表示制御部１５８は、判断された取付部材に対応する治具１２０の配置を示す情報の表示処理を行う。例えば、ユーザが仮想取付部材２０１をタッチした場合、部材判断部１５９は、ユーザが操作した仮想取付部材２０１に対応する取付部材１３１を、ユーザが取付作業を行う取付部材と判断する。表示制御部１５８は、構造体１１０に対して仮想取付部材２０１，２０２，２０３，２０４を表示した状態から、図９に示されているように、ユーザが操作した仮想取付部材２０１の表示とそれに対応する距離の表示とを残し、仮想取付部材２０２，２０３，２０４を非表示にさせてもよい。部材判断部１５９は、操作検出部１０６において、仮想取付部材でなく、治具１２０の距離を示す情報２０６，２０７が操作された場合に、操作された情報２０６，２０７に対応する取付部材を、ユーザが取付作業を行う取付部材として判断してもよい。
　例えば、部材判断部１５９は、視線方向検出部１５４の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、複数の取付部材のうち、視線方向検出部１５４の検出結果に対応する取付部材を判断する。表示制御部１５８は、判断された取付部材に関する治具１２０の配置を示す情報の表示処理を行う。例えば、表示制御部１５８は、図９に示されているように、視線方向検出部１５４で検出された視線方向に対応する仮想取付部材２０１の表示及びそれに対応する情報２０６，２０７の表示を残し、仮想取付部材２０２，２０３，２０４を非表示にさせてもよい。視線方向に対応する仮想取付部材は、視線方向の半直線上に位置する最も手前の仮想取付部材であってもよい。表示制御部１５８は、視線方向の延長線上に位置する仮想取付部材の色を変更して表示し、操作検出部１０６によるユーザの操作の検出結果に応じて治具１２０の配置に用いる表示を確定させてもよい。
　例えば、部材判断部１５９は、ユーザ位置検出部１５３の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、複数の取付部材のうち、ユーザ位置検出部１５３の検出結果に対応する取付部材を判断する。表示制御部１５８は、判断された取付部材に関する治具１２０の配置を示す情報の表示処理を行う。例えば、部材判断部１５９は、ユーザ位置検出部１５３の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、ユーザが構造体１１０に対して上下左右のどこにいるかを判断する。例えば、図１０に示されているように、構造体１１０の延在方向に直交する面が４つの領域Ｒ１，Ｒ２，Ｒ３，Ｒ４に区分される。部材判断部１５９は、ユーザ位置検出部１５３で検出されたユーザの位置が領域Ｒ１である場合には、領域Ｒ１に対応する仮想取付部材２０２を判断結果として出力する。表示制御部１５８は、仮想取付部材２０２及びそれに対応する距離を示す情報の表示を残し、残りの情報を非表示にしてもよい。部材判断部１５９は、ユーザの位置が異なる領域の間付近に位置する場合には、双方の領域に対応する仮想取付部材を判断結果として出力する。
　部材判断部１５９は、ユーザ位置検出部１５３の検出結果からユーザと構造体１１０との距離を演算し、当該距離に応じて取付部材を判断してもよい。例えば、部材判断部１５９は、ユーザから２ｍ以内にある仮想取付部材を判断結果として出力してもよい。この場合、表示制御部１５８は、例えば、ユーザから２ｍ以内に位置する仮想取付部材を青色で表示させ、ユーザから２ｍ以上離れている仮想取付部材を非表示にさせる又は半透明で表示させてもよい。表示制御部１５８は、ユーザから２ｍ以内に位置している仮想取付部材であっても、構造体１１０を挟んでユーザとは反対側に位置する仮想取付部材は非表示にさせてもよい。例えば、図９において、仮想取付部材２０２がユーザから２ｍ以内に位置していても、仮想取付部材２０２は構造体１１０を挟んでユーザとは反対側に位置しているため、表示制御部１５８は仮想取付部材２０２を非表示にさせる。部材判断部１５９は、ユーザ位置検出部１５３の検出結果からユーザと治具１２０との配置関係を取得し、当該配置関係に応じて取付部材を判断してもよい。
　［映像表示システムにおける処理］
　次に、図１１を参照して、映像表示システム１００において行われる処理の一例について説明する。図１１は、映像表示システム１００において行われる処理の一例を示すフローチャートである。
　ステップＳ１０１において、基準位置検出部１５１が仮想座標軸αの原点Ｎを配置する基準位置を検出する。続いて、ステップＳ１０２へ処理が進められる。
　ステップＳ１０２において、構造体配置検出部１５２が実空間に配置された構造体１１０の配置を検出する。続いて、ステップＳ１０３へ処理が進められる。
　ステップＳ１０３において、ディスプレイ配置検出部１５５が表示部１０３のディスプレイの配置を検出する。続いて、ステップＳ１０４へ処理が進められる。
　ステップＳ１０４において、治具配置検出部１５６が実空間に配置された治具１２０の配置を検出する。続いて、ステップＳ１０５へ処理が進められる。
　ステップＳ１０５において、制御部１０７が、ステップＳ１０２からステップＳ１０４で検出された情報に基づいて、表示処理を行う。表示部１０３は、制御部１０７からの指示に応じて、各種の情報を表示する。
　次に、図１２を参照して、制御部１０７による表示処理について説明する。図１２は、制御部１０７によって行われる表示処理を示すフローチャートである。
　ステップＳ１１１において、制御部１０７は、部材の選択情報があるか否かを判断する。部材の選択情報とは、例えば、操作検出部１０６の検出結果、構造体１１０に対するユーザの位置、及び、ユーザの視線方向のうち少なくとも一つに基づいて、部材判断部１５９が判断した判断結果である。部材の選択情報がないと判断された場合（ステップＳ１１１でＮＯ）、制御部１０７はステップＳ１１２に処理を進める。部材の選択情報があると判断された場合（ステップＳ１１１でＹＥＳ）、制御部１０７はステップＳ１１３に処理を進める。
　ステップＳ１１２において、制御部１０７は、表示制御部１５８によって、格納部１０５に格納されている全ての仮想取付部材を表示部１０３に表示させ、ステップＳ１１７に処理を進める。
　ステップＳ１１３において、制御部１０７は、治具配置検出部１５６において治具配置が検出されたか否かを判断する。治具配置が検出されていないと判断された場合（ステップＳ１１３でＮＯ）、制御部１０７はステップＳ１１４に処理を進める。治具配置が検出されたと判断された場合（ステップＳ１１３でＹＥＳ）、制御部１０７はステップＳ１１５に処理を進める。
　ステップＳ１１４において、制御部１０７は、表示制御部１５８によって、部材判断部１５９で判断された取付部材に対応する仮想取付部材を表示部１０３に表示させ、ステップＳ１１７に処理を進める。
　ステップＳ１１５において、制御部１０７は、治具配置検出部１５６の検出結果に基づいて、治具配置が適切か否かを判断する。治具配置が適切と判断された場合（ステップＳ１１５でＹＥＳ）、制御部１０７はステップＳ１１４に処理を進める。治具配置が適切でないと判断された場合（ステップＳ１１５でＮＯ）、制御部１０７はステップＳ１１６に処理を進める。
　ステップＳ１１６において、制御部１０７は、表示制御部１５８によって、部材判断部１５９で判断された取付部材に対応する仮想取付部材、及び、エラーを表示部１０３に表示させ、制御部１０７はステップＳ１１７に処理を進める。この場合、表示制御部１５８は、例えば、ズレが発生していることを示す情報１６０を表示部１０３に表示させる。
　ステップＳ１１７において、制御部１０７は、表示処理を終了するか否かを判断する。表示処理を終了しないと判断された場合（ステップＳ１１７でＮＯ）、制御部１０７はステップＳ１１１に処理を進める。表示処理を終了すると判断された場合（ステップＳ１１７でＹＥＳ）、制御部１０７は表示処理を終了する。
　［映像表示システムの作用及び効果］
　次に、本実施形態に係る映像表示システム１００の主な作用及び効果について説明する。
　映像表示システム１００では、構造体１１０に対して取付部材の位置決めを行う治具１２０の配置情報が格納されており、実空間に配置された構造体１１０に対して上記治具１２０の配置を示す表示処理が行われる。ユーザは、治具１２０の配置を示す表示処理にしたがって容易に、当該治具１２０を配置することができる。この結果、当該治具１２０によって構造体１１０に対して上記取付部材を位置決めし、構造体１１０に対する取付部材の取付作業を容易に行うことができる。
　例えば、取付部材１３１は、面板１１１の主面１１１ａに対して傾斜しつつ、面板１１２の主面１１２ａ及び面板１１３の主面１１３ａに対しても傾斜した状態で、構造体１１０に取り付けられる。このような状態における取付作業は、非常に困難である。治具１２０は、平面１２１ａを有する第一治具１２１と、平面１２１ａに対向する平面１２２ａを有する第二治具１２２とを含む。治具１２０の配置情報は、平面１２１ａと平面１２２ａとが取付部材に当接する、治具１２０の配置情報を含む。このため、映像表示システム１００によれば、上記治具１２０を容易に適切に配置できると共に構造体１１０に対する取付部材１３１の位置決めも容易である。
　構造体１１０は、所定方向に延在すると共に取付部材が接する主面１１１ａを有する。治具１２０の配置情報は、所定方向における取付部材の位置と、主面１１１ａに対する取付部材の傾斜角度と、主面１１１ａに直交する軸に対する部材の回転角度とを制限する治具１２０の配置情報を含む。このため、映像表示システム１００によれば、上記治具１２０を容易に適切に配置できると共に構造体１１０に対する取付部材１３１の位置決めも容易である。
　映像表示システム１００は、表示処理による表示を行うディスプレイの配置を検出するディスプレイ配置検出部１５５を備える。制御部１０７は、ディスプレイ配置検出部１５５で検出されたディスプレイの配置に応じて、当該ディスプレイ上における構造体の表示及び治具１２０の配置を示す情報の表示配置を変更させる。このため、ユーザは、ディスプレイを動かすことで、任意の位置について構造体に対する治具１２０の配置を確認できる。
　映像表示システム１００は、実空間に配置された治具１２０の配置を検出する治具配置検出部１５６を備える。制御部１０７は、治具配置検出部１５６で検出された治具１２０の配置と格納部１０５に格納されている治具１２０の配置情報とに基づいて、治具１２０の位置ズレを示す情報１６０を表示させる。このため、ユーザは、治具１２０の配置が適切か否かを容易に確認できる。
　映像表示システム１００は、ユーザの操作を検出する操作検出部１０６を備える。制御部１０７は、操作検出部１０６の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、複数の取付部材のうち、ユーザの操作に対応する取付部材に関する治具の配置を示す情報の表示処理を行う。このため、ユーザは、表示する治具の配置を示す情報を選択することができる。
　格納部１０５は、構造体１１０に対する複数の取付部材の配置情報を格納している。制御部１０７は、格納部１０５に格納された複数の部材の配置情報に基づいて、複数の取付部材の配置を示す情報の表示を指示する。制御部１０７は、複数の取付部材のうち、操作検出部１０６の検出結果に対応する取付部材を判断し、判断された取付部材に関する治具１２０の配置を示す表示処理を行う。このため、ユーザは、表示されている取付部材を操作することで、治具の配置を示す情報を選択することができる。
　映像表示システム１００は、ユーザの位置を検出するユーザ位置検出部１５３を備える。制御部１０７は、ユーザ位置検出部１５３の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、複数の取付部材のうち、ユーザの位置に対応する取付部材に関する治具の配置を示す情報の表示処理を行う。このため、ユーザの位置に応じて、適切な治具の配置を示す情報が表示され得る。
　映像表示システム１００は、ユーザの視線方向を検出する視線方向検出部１５４を備える。制御部１０７は、視線方向検出部１５４の検出結果と格納部１０５に格納されている治具１２０の配置情報とに基づいて、複数の取付部材のうち、ユーザの視線方向に対応する取付部材に関する治具の配置を示す情報の表示処理を行う。このため、ユーザの視線方向に応じて、適切な治具の配置を示す情報が表示され得る。
　なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
　機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting　unit）又は送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
　例えば、本開示の一実施の形態における映像表示システムは、本実施形態における処理を行うコンピュータとして機能してもよい。図１３は、本開示の一実施の形態に係る映像表示システム１００のハードウェア構成の一例を示す図である。上述の映像表示システム１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。また、映像表示システム１００は、上記以外にも、撮像部１０１、慣性計測部１０２に用いられるセンサ、及びディスプレイ等のハードウェアも備える。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。映像表示システム１００のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　映像表示システム１００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
　　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）によって構成されてもよい。例えば、環境情報検出部１０４及び制御部１０７などは、プロセッサ１００１で実現されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、表示部１０３、環境情報検出部１０４、操作検出部１０６、及び制御部１０７は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。　また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
　また、映像表示システム１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
　本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
　本開示において説明した各態様／実施形態は、ＬＴＥ（Long　Term　Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ　３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ（4th　generation　mobile　communication　system）、５Ｇ（5th　generation　mobile　communication　system）、ＦＲＡ（Future　Radio　Access）、ＮＲ（new　Radio）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra　Mobile　Broadband）、ＩＥＥＥ　８０２．１１（Ｗｉ－Ｆｉ（登録商標））、ＩＥＥＥ　８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ　８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ－Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。
　本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
　本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
　本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking　up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
　本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
　本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
　本開示において、例えば、英語でのa,　an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
　本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
１００…映像表示システム、１０５…格納部、１０６…操作検出部、１０７…制御部、１１０…構造体、１１１ａ…主面、１２０…治具、１２１…第一治具、１２１ａ，１２２ａ…平面、１２２…第二治具、１３１，１３２…取付部材、１５２…構造体配置検出部、１５３…ユーザ位置検出部、１５４…視線方向検出部、１５５…ディスプレイ配置検出部、１５６…治具配置検出部、２０１，２０２，２０３，２０４…仮想取付部材。

Claims (9)

  1. 　構造体に対する部材の取付作業に用いる映像表示システムであって、
    　前記構造体に対して前記部材の位置決めを行う治具の配置情報を格納している格納部と、
    　実空間に配置された前記構造体の配置を検出する構造体配置検出部と、
    　前記格納部に格納されている前記治具の配置情報と前記構造体配置検出部の検出結果とに基づいて、前記実空間に配置された前記構造体に対して前記治具の配置を示す表示処理、を行う制御部と、を備える、映像表示システム。
  2. 　前記表示処理による表示を行うディスプレイの配置を検出するディスプレイ配置検出部を更に備え、
    　前記制御部は、前記ディスプレイ配置検出部で検出された前記ディスプレイの配置に応じて、当該ディスプレイ上における前記構造体の表示配置及び前記治具の配置を示す情報の表示配置を変更させる、請求項１に記載の映像表示システム。
  3. 　前記実空間に配置された前記治具の配置を検出する治具配置検出部を更に備え、
    　前記制御部は、前記治具配置検出部で検出された前記治具の配置と前記格納部に格納されている前記治具の配置情報とに基づいて、前記治具の位置ズレを示す情報を表示させる、請求項１又は２に記載の映像表示システム。
  4. 　ユーザの操作を検出する操作検出部を更に備え、
    　前記制御部は、前記操作検出部の検出結果と前記格納部に格納されている前記治具の配置情報とに基づいて、複数の前記部材のうち、前記ユーザの操作に対応する部材に関する前記治具の配置を示す情報の表示処理を行う、請求項１又は２に記載の映像表示システム。
  5. 　前記格納部は、前記構造体に対する複数の前記部材の配置情報を格納しており、
    　前記制御部は、
    　　前記格納部に格納された複数の前記部材の配置情報に基づいて、複数の前記部材の配置を示す情報の表示を指示し、
    　　複数の前記部材のうち、前記操作検出部の検出結果に対応する部材を判断し、
    　　判断された前記部材に関する前記治具の配置を示す表示処理を行う、請求項４に記載の映像表示システム。
  6. 　ユーザの位置を検出するユーザ位置検出部を更に備え、
    　前記制御部は、前記ユーザ位置検出部の検出結果と前記格納部に格納されている前記治具の配置情報とに基づいて、複数の前記部材のうち、前記ユーザの位置に対応する部材に関する前記治具の配置を示す情報の表示処理を行う、請求項１～５のいずれか一項に記載の映像表示システム。
  7. 　ユーザの視線方向を検出する視線方向検出部を更に備え、
    　前記制御部は、前記視線方向検出部の検出結果と前記格納部に格納されている前記治具の配置情報とに基づいて、複数の前記部材のうち、前記ユーザの視線方向に対応する部材に関する前記治具の配置を示す情報の表示処理を行う、請求項１～６のいずれか一項に記載の映像表示システム。
  8. 　前記治具は、第一面を有する第一治具と、前記第一面に対向する第二面を有する第二治具とを含み、
    　前記治具の配置情報は、前記第一面と前記第二面とが前記部材に当接する、前記第一及び第二治具の配置情報を含む、請求項１～７のいずれか一項に記載の映像表示システム。
  9. 　前記構造体は、所定方向に延在すると共に前記部材が接する面を有し、
    　前記治具の配置情報は、前記所定方向における前記部材の位置と、前記面に対する前記部材の傾斜角度と、前記面に直交する軸に対する前記部材の回転角度とを制限する前記治具の配置情報を含む、請求項１～８のいずれか一項に記載の映像表示システム。
PCT/JP2019/050957 2019-04-25 2019-12-25 治具の配置を示す映像処理システム WO2020217591A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980047253.5A CN112424838B (zh) 2019-04-25 2019-12-25 示出夹具的配置的影像处理系统
US17/260,430 US20210264678A1 (en) 2019-04-25 2019-12-25 Video display system
JP2020561934A JP7066013B2 (ja) 2019-04-25 2019-12-25 治具の配置を示す映像処理システム
EP19926637.0A EP3779893A4 (en) 2019-04-25 2019-12-25 IMAGE PROCESSING SYSTEM WITH DISPLAY OF THE HOLDING ARRANGEMENT

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-084245 2019-04-25
JP2019084245 2019-04-25

Publications (1)

Publication Number Publication Date
WO2020217591A1 true WO2020217591A1 (ja) 2020-10-29

Family

ID=72942573

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050957 WO2020217591A1 (ja) 2019-04-25 2019-12-25 治具の配置を示す映像処理システム

Country Status (5)

Country Link
US (1) US20210264678A1 (ja)
EP (1) EP3779893A4 (ja)
JP (1) JP7066013B2 (ja)
CN (1) CN112424838B (ja)
WO (1) WO2020217591A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023004818A (ja) * 2021-06-25 2023-01-17 インタラクト カンパニー リミテッド 仮想現実トレーニングシステム及び床ユニット

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018444A (ja) 2004-06-30 2006-01-19 Taisei Corp 画像処理システム及び付加情報指示装置
JP2014215748A (ja) * 2013-04-24 2014-11-17 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
JP2017039168A (ja) * 2015-08-18 2017-02-23 リンカーン グローバル， インコーポレイテッドＬｉｎｃｏｌｎ Ｇｌｏｂａｌ， Ｉｎｃ． 溶接作業順序立てのための拡張現実インタフェース
JP2018047240A (ja) * 2016-09-16 2018-03-29 インテリジェンスファクトリー合同会社 手術支援端末及びプログラム
JP2019208737A (ja) * 2018-06-01 2019-12-12 インテリジェンスファクトリー合同会社 手術支援用マーカー及び手術支援システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009056013A1 (de) * 2009-09-09 2011-03-10 Volkswagen Ag Verfahren zum Erzeugen eines Augmented-Reality-Bildes
JP6451139B2 (ja) * 2014-08-11 2019-01-16 株式会社大林組 配置計画支援システム、配置計画支援方法及び配置計画支援プログラム
US9875665B2 (en) * 2014-08-18 2018-01-23 Illinois Tool Works Inc. Weld training system and method
US20160131904A1 (en) * 2014-11-07 2016-05-12 Osterhout Group, Inc. Power management for head worn computing
US10448692B2 (en) * 2015-03-06 2019-10-22 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
US9898091B2 (en) * 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
US20200073532A1 (en) * 2017-05-25 2020-03-05 Mitsubishi Electric Corporation Design review device, design review method, and program
JP6585665B2 (ja) * 2017-06-29 2019-10-02 ファナック株式会社 仮想オブジェクト表示システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018444A (ja) 2004-06-30 2006-01-19 Taisei Corp 画像処理システム及び付加情報指示装置
JP2014215748A (ja) * 2013-04-24 2014-11-17 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
JP2017039168A (ja) * 2015-08-18 2017-02-23 リンカーン グローバル， インコーポレイテッドＬｉｎｃｏｌｎ Ｇｌｏｂａｌ， Ｉｎｃ． 溶接作業順序立てのための拡張現実インタフェース
JP2018047240A (ja) * 2016-09-16 2018-03-29 インテリジェンスファクトリー合同会社 手術支援端末及びプログラム
JP2019208737A (ja) * 2018-06-01 2019-12-12 インテリジェンスファクトリー合同会社 手術支援用マーカー及び手術支援システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3779893A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023004818A (ja) * 2021-06-25 2023-01-17 インタラクト カンパニー リミテッド 仮想現実トレーニングシステム及び床ユニット
JP7304394B2 (ja) 2021-06-25 2023-07-06 インタラクト カンパニー リミテッド 仮想現実トレーニングシステム及び床ユニット

Also Published As

Publication number Publication date
JPWO2020217591A1 (ja) 2021-06-03
US20210264678A1 (en) 2021-08-26
CN112424838A (zh) 2021-02-26
JP7066013B2 (ja) 2022-05-12
EP3779893A4 (en) 2021-08-04
CN112424838B (zh) 2023-11-21
EP3779893A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
JP5374071B2 (ja) 携帯端末および領域特定処理実行方法
JP4642538B2 (ja) 画像処理方法および画像処理装置
US20050174361A1 (en) Image processing method and apparatus
US10261327B2 (en) Head mounted display and control method for head mounted display
JP2013054661A (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
JPWO2012124250A1 (ja) オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路
JPWO2008136064A1 (ja) 操作デバイス、情報処理システム、表示装置及び情報処理方法
JP2007064684A (ja) マーカ配置補助方法及び装置
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
US9594436B2 (en) Three-dimensional image display device, cursor display method therefor, and computer program
JP7066013B2 (ja) 治具の配置を示す映像処理システム
US20160191875A1 (en) Image projection apparatus, and system employing interactive input-output capability
JP6364389B2 (ja) 検査方法及び検査システム
JP6836979B2 (ja) 映像表示システム
JP6878235B2 (ja) 映像表示システム
US20230316668A1 (en) Display device for industrial machine
JP2006215750A (ja) 画像処理方法、画像処理装置
JP2016119019A (ja) 情報処理装置、情報処理方法、プログラム
JP6999821B2 (ja) 端末装置および端末装置の制御方法
US11620044B2 (en) Mobile terminal
JP6686319B2 (ja) 画像投影装置及び画像表示システム
JP7246254B2 (ja) 情報処理装置及びプログラム
US11431900B2 (en) Image data processing method and device therefor
JP7452917B2 (ja) 操作入力装置、操作入力方法及びプログラム
WO2023223750A1 (ja) 表示装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020561934

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019926637

Country of ref document: EP

Effective date: 20201103

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19926637

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE