WO2005005924A1 - 情報呈示装置及びそれを用いた情報呈示システム - Google Patents

情報呈示装置及びそれを用いた情報呈示システム Download PDF

Info

Publication number
WO2005005924A1
WO2005005924A1 PCT/JP2004/009786 JP2004009786W WO2005005924A1 WO 2005005924 A1 WO2005005924 A1 WO 2005005924A1 JP 2004009786 W JP2004009786 W JP 2004009786W WO 2005005924 A1 WO2005005924 A1 WO 2005005924A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
unit
shape information
input
Prior art date
Application number
PCT/JP2004/009786
Other languages
English (en)
French (fr)
Inventor
Akito Saito
Takao Shibasaki
Kazuhiko Takahashi
Takemasa Sugita
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2003273565A external-priority patent/JP2005031045A/ja
Priority claimed from JP2003400768A external-priority patent/JP4540329B2/ja
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to EP04747254A priority Critical patent/EP1653191A4/en
Priority to CN200480019973.4A priority patent/CN1823256B/zh
Publication of WO2005005924A1 publication Critical patent/WO2005005924A1/ja
Priority to US11/327,776 priority patent/US7433510B2/en
Priority to HK06110939.7A priority patent/HK1090414A1/xx

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • the present invention provides an information presenting apparatus capable of presenting information at a high density to an image observer by superimposing information related to a captured image on a shadow image and simultaneously displaying the information, and It is related to an information presentation system using it.
  • Barco Reader is a very well-known information presentation device that presents certain relevant information to real-world objects and / or predetermined skills.
  • USP 6, 389, 182 discloses an apparatus for presenting information using spatial localization information of an object and / or a predetermined marker. This is done by reading the two-dimensional code printed on the business card, which is the object, as a force with a camera, and using the program in the program to display the two-dimensional coded ID. To analyze. Then, photo image data of the person corresponding to the analyzed ID is read from the image database, and the two-dimensional code on the image of the name stimulus photographed with the above camera displayed on the computer display is displayed. Beside the code. Then, it is displayed as if there is a face image next to the 2D code on the business card.
  • Japanese Patent Application Laid-Open No. 2002-92044 discloses an image of an object in a real space input by image input means such as a CCD imaging device, for example, an image of a current building and a three-dimensional image.
  • image input means such as a CCD imaging device, for example, an image of a current building and a three-dimensional image.
  • CAD system has ⁇
  • a system has been proposed that detects (shift) and matches the design information with the object in the real space.
  • the information on the object or object in the real space is usually the building or building. It means enormous information such as detailed shape, dimensions, material, part name, etc., and is the power of management by 3D CAD etc. S General.
  • this 3D CAD or the like requires a large-capacity storage device for recording a huge amount of information and a high-performance display device for displaying the shape and dimensions in detail.
  • the display position of the face photo is always
  • the card is a whispering card that has a fixed positional relationship with respect to the two-dimensional code, the two-dimensional code and the display U are in the same space, and there is no problem.
  • relevant information about large-scale structures such as plant facilities
  • An object of the present invention is to accurately grasp an error between an object in real space and design information and to match the design information with the actual object, even though it is a portable device.
  • An object of the present invention is to provide an information presenting device that can be used and an information presenting system using the same.
  • Another object of the present invention is to provide an information presenting apparatus and an information presenting system using the information presenting apparatus, which can easily perform a registration operation.
  • an image input unit configured to input an image of a target object in a real space; and the image input unit based on the target image input from the image input unit.
  • a three-dimensional position / posture relationship detecting unit configured to detect a relative three-dimensional position and posture relationship with the object; a shape information storage unit configured to store shape information of the object; The position and orientation of the object detected by the three-dimensional position / posture detection unit are compared with the values stored in the shape information storage unit corresponding to the part of the object input from the image input unit.
  • An error comparison and detection unit configured to detect a difference between the input actual position and orientation of the object and the stored shape information of the object, and a difference value from the error comparison and detection unit.
  • the shape information stored in the shape information storage unit configured to reflect the image of the object inputted from the image picture input part, and the shape information of the shape information stored objects stored in the unit, an image obtained by superposing
  • an information presenting device comprising: a superimposed image generation unit configured to generate the image; and a display unit configured to display the image generated by the superimposed image generation unit.
  • the three-dimensional position / posture relationship detection unit detects the relative three-dimensional position and posture relationship between the image input unit and the target from the image of the target input from the image input unit.
  • the three-dimensional position and orientation relationship output unit configured to output the image and the image input unit and the relative three-dimensional position and orientation relationship detected by the three-dimensional position and orientation relationship output unit are compared with the above error. It is preferable to include a three-dimensional position / posture information management unit configured to reflect using a difference value from the detection unit.
  • the image input unit configured to input an image of an object in a real space, and the image of the object input from the image input unit
  • a three-dimensional position / posture relationship detecting unit configured to detect a relative three-dimensional position and posture relationship between the input unit and the object
  • a shape information storage unit configured to store shape information of the object.
  • the position and orientation of the object detected by the three-dimensional position / posture relationship detection unit are stored in the shape information storage unit corresponding to the part of the object input from the image input unit.
  • An error comparison and detection unit configured to compare the input position and orientation of the target object with the stored shape information of the target object, and the error comparison detection unit The difference value from the part is stored in the shape information storage part.
  • the shape information management unit configured to reflect the Jo information, and the image of the image input unit or et input object, the shape information
  • a superimposed image generator configured to generate an image in which the shape information of the object stored in the report storage unit is superimposed; and a display configured to display the image generated by the superimposed image generator.
  • An information presenting device having: a three-dimensional design information storage unit configured to store three-dimensional design information of an object; and a three-dimensional design information stored in the three-dimensional design information storage unit.
  • a shape information generation unit configured to generate shape information; and a three-dimensional CAD having: a shape information storage unit of the information presenting device, wherein the shape information storage unit of the three-dimensional CAD includes a shape generated by the shape information generation unit.
  • the three-dimensional position / posture relationship detection unit of the information presenting device calculates the relative three-dimensional position of the image input unit and the target from the image of the target input from the image input unit.
  • a three-dimensional position / posture relationship output unit configured to detect and output a posture relationship, and a relative three-dimensional position between the image input unit and the object detected by the three-dimensional position / posture relationship output unit.
  • a three-dimensional position / orientation information management unit configured to reflect the difference from the error comparison / detection unit in the posture relationship.
  • FIG. 1 is a block diagram showing a configuration of an information presenting apparatus and an information presenting system using the same according to a first embodiment of the present invention.
  • Figure 2 is a flowchart showing the procedure for associating the real space with the model space (registration).
  • FIG. 3A is a diagram showing an object and a display state before the completion of the registration work.
  • FIG. 3B is a diagram showing the target object and the display state after the completion of the resist- ation-relaying operation.
  • FIG. 4 is a flowchart showing a procedure of an operation for matching an object in real space with design information (shape information).
  • FIG. 5A is a diagram showing the target object in the real space and the design information (shape information) before the completion of the work, the display state, and the shape information of the target object.
  • FIG. 5B is a diagram showing the object, the display state, and the shape information of the object after completing the operation of matching the object in the real space with the design information (shape information).
  • FIG. 6A is a diagram showing an object and a display state before the completion of the registration work in the second embodiment of the present invention.
  • FIG. 6B is a diagram showing the target object and the display state after the completion of the registration work.
  • FIG. 7 is a diagram illustrating an object and a display state before and after completion of a registration operation for explaining a modification of the second embodiment.
  • FIG. 8A is a diagram showing an object, a display state, and shape information of the object before the completion of the registration operation in the third embodiment of the present invention.
  • FIG. 8B is a diagram showing the target object, the display state, and the shape information of the target object after the completion of the registration operation.
  • FIG. 9A is a diagram illustrating a target object, a display state, and shape information of the target object before the completion of the registration work for explaining a modification of the third embodiment.
  • FIG. 9B is a diagram illustrating an object, a display state, and shape information of the object after the registration work has been broken for explaining an example of the third embodiment.
  • FIG. 10 shows an information port according to the fourth embodiment of the present invention.
  • FIG. 11 is a block diagram showing a configuration of a kingdom indicating device and an information kingdom system using the same.
  • FIG. 11 shows an information indicating device according to a fifth embodiment of the present invention and information using the same.
  • FIG. 12 is a block diagram illustrating the configuration of the system.
  • FIG. 12 is a block diagram showing a configuration of the information system using the device for explaining a modification of the fifth embodiment.
  • FIG. 2 is a block diagram of a main display system.
  • FIG. 13A shows an information port according to the sixth embodiment of the present invention.
  • the target device in the real space and the display information and the shape information of the target object that match the target object in the real space and the total information (shape information) in the king display device and the information presentation system using it are shown. It is a diagram.
  • Figure 13B shows an object in real space and aj.
  • FIG. 7 is a diagram showing an object after a work to match an X51I report (shape information) with a display state, and shape information of the object;
  • FIG. 14 shows a device for explaining a form of the first embodiment and an information terminal using the device.
  • FIG. 15 is a block diagram of a hot K device and an information indicating system using the device for explaining a form example of the fourth embodiment.
  • FIG. 16 shows an information display device for explaining a configuration obtained by further modifying the modification shown in FIG. 14 and an information terminal using the same.
  • FIG. 17 is a block diagram of an information presenting apparatus and an information presenting system using the information presenting apparatus for explaining a configuration obtained by further modifying the modification shown in FIG.
  • the information presenting system according to the first embodiment of the present invention includes an information presenting device according to the first embodiment of the present invention, such as a force-melting PDA or a notebook personal computer.
  • Small information display device 10 that can be carried by any user, and a 3D C installed in an office, etc.
  • the information presentation device 10 includes an image input unit 14 3 3D position / posture relationship output unit 16, a shape information storage unit 18, an error comparison and detection unit 20, a shape information management unit 22, and a superimposed image generation. It consists of a part 24, a display part 26, and a three-dimensional position / posture relation information management part 28.
  • the image input unit 14 inputs an image of an object in real space
  • the three-dimensional position / posture relation output unit 16 calculates the relative three-dimensional position and orientation of the image input unit 14 and the object from the image of the object input from the image input unit 14. Has the function of detecting relationships.
  • the shape information storage section 18 is a memory or the like for storing shape information of the object.
  • the error comparison and detection unit 20 corresponds to the position and orientation of the object detected by the three-dimensional position and orientation relationship output unit 16 and the portion of the object input from the image input unit 14.
  • the above shape It has a function of comparing the values stored in the information storage unit 18 and detecting a difference between the input actual position and orientation of the object and the stored shape information of the object.
  • the shape information management unit 22 has a function of reflecting the difference value from the error comparison detection unit 20 in the shape information stored in the shape information storage unit 18.
  • the superimposed image generation unit 24 generates an image in which the image of the object input from the image input unit 14 and the shape information of the object stored in the shape information storage unit 18 are superimposed. It has the function to do.
  • the display unit 26 is a liquid crystal display or the like that displays an image generated by the superimposed image generation unit 24.
  • the three-dimensional position / posture relationship information management unit 28 applies the error to the relative three-dimensional li and posture relationship between the image input unit 14 detected by the three-dimensional position / posture relationship output unit 16 and the object.
  • Comparison detector 28 applies the error to the relative three-dimensional li and posture relationship between the image input unit 14 detected by the three-dimensional position / posture relationship output unit 16 and the object.
  • the three-dimensional position / posture relationship output unit 16 and the three-dimensional position / posture relationship information management unit 28 constitute a three-dimensional position / posture relationship detection unit 30 ⁇ .
  • the three-dimensional CAD 12 includes a three-dimensional design information storage unit 32 and a shape information generation unit 34.
  • the 3D design information storage section 32 is a hard disk that stores 3D design information of the object.
  • the shape information generation unit 34 has a function of generating shape information from the three-dimensional mouthpiece information stored in the three-dimensional design information storage unit 32.
  • the shape information stored in the shape information storage unit 18 of the L information presenting device is the shape information generation unit 3 4 of the 3D CAD 12. Is generated.
  • the transfer of the shape information from the shape information generation unit 34 to the shape information storage unit 18 may be performed online by wireless or wired communication, or may be performed offline via some storage medium. Good,
  • the “3D design information of the object” means the shape, color, material, part,
  • the shape information generation unit 34 which is based on information necessary for manufacturing and installing the object such as a PP name, extracts only shape information from the three-dimensional design information of such an object.
  • the object and the shape information have their own coordinate systems.
  • the coordinate system of the object is “real space” and the coordinate system of the shape information is
  • the shape information management unit 22 of the information control device 10 is connected to the error comparison detection unit 20 with the extracted shape information stored in the shape information storage unit 18. The value of the difference between 0 and
  • the exchange of information with the 3D design information storage section 32 of the 3D CAD 12 may be performed either online or offline.
  • a work of associating a real space with a model space is performed. That is, using the object itself, an object in the real space and a shape Display the object model in the module space created from the information By moving the object model in the model space so that both sides overlap, the work of associating the space with the model space is performed. Then, the movement amount of the object model at the time of this association work is recorded and used for associating the real space with the model space.
  • the image input unit 14 takes an image of an object (step S10).
  • the object used in this registration is one whose shape information is known in advance to be consistent between the real space and the model space. It may be registered as a landmark of.
  • the three-dimensional position / posture relation output unit 16 converts the relative three-dimensional position of the image input unit 14 and the object from the image of the object input by the image input unit 14.
  • the posture is detected (step S12). At this time, there is a difference between the real space and the model space because the association (registration h ratio) has not been completed.
  • the detection of the three-dimensional position and orientation is disclosed in USP 6,577,249, for example, by regarding the object itself as a marker. It can be performed by using the marker detection and position estimation method and the green report estimation method.
  • the three-dimensional position / posture relation output unit 16 further responds to the object from the shape information storage unit 18 based on the image of the object input by the image input unit 14.
  • the object used for this registration is, beforehand, confirmed that the shape information is identical between the real space and the model space beforehand. Since it uses the one that is available, it can be selected automatically.
  • the selected shape information is drawn so as to be directly supplied to the error comparison detection unit 20, the three-dimensional position / position relationship output unit 16 The selected shape information is deformed based on the detected three-dimensional position and orientation, and then input to the error comparison detection unit 20.
  • the error comparison and detection unit 20 includes the input image from the above described image image input unit 14 and the shape information storage unit 18.
  • Step S 16 The error at this time is the difference between the real space and the model space.
  • the input from the image input unit 14 is performed by the superimposed image generation unit 24.
  • the object model 40 created from the image 36 of the object 38 and the shape information of the object is displayed on the screen 42 of the display unit 26. Will be displayed shifted.
  • the 3D position / posture relationship information management unit 28 Based on the error detected by the unit 20, the information on the relative three-dimensional position and orientation relationship between the image input unit 14 and the object 38 is corrected so that the error is minimized (step S18). .
  • the three-dimensional position / posture relationship information management unit 28 supplies the corrected three-dimensional position / posture relationship information to the three-dimensional position / posture relationship output unit 16, thereby realizing the real space.
  • the work of associating the coordinate system with the model space is completed (step S20). As a result, as shown in FIG. 3B, the image 36 of the object 38 and the object model 40 are displayed on the screen 42 of the display unit 26 in alignment with each other.
  • an error between the object in the real space and the design information (in this embodiment, the shape information) is accurately grasped, and the design information and the actual object are matched. Work.
  • the image input unit 14 photographs the object 38 (step S30).
  • the three-dimensional position / posture relation output unit 16 is connected to the image input unit
  • the relative three-dimensional position and orientation of the image input unit 14 and the object 38 are detected from the image 36 of the object 38 input in step 14 (step S32). At this time, there is no difference between the real space and the model space, since the association (resistor resolution) has been completed.
  • the three-dimensional position / posture relation output unit 16 searches the data corresponding to the detected three-dimensional position and posture from information of a plurality of shapes stored in the shape information storage unit 18. Do (Step S34).
  • the retrieved shape information is input to the error comparison detection unit 20.
  • the error comparison detection unit 20 detects an error between the input image from the image input unit 14 and the shape information retrieved from the shape information storage unit 18 (Step S36) .
  • the error to be detected is, for example, the movement amount of the shape information.
  • this movement amount can be parallel movement, enlargement / reduction, rotation, or a combination of these.
  • the shape information management unit 22 determines whether or not the error detected by the error comparison and detection unit 20 is within an allowable range (step S38). No further work is required.
  • the shape information management unit 2.2 further performs the shape information search from the shape information storage unit 18 described above. Then, the detected error is added, and the shape information is changed (step S40). In other words, since the shape of the object 38 already created cannot be changed, the shape information is changed.
  • the shape information management unit 22 stores the shape change information in the shape information storage unit 18 to reflect the change (step S42).
  • the image input unit 14 takes an image of the object 38 as shown in FIG. 5A in which the parts 44 and 46 are attached to the main body 48.
  • the shape information 52 of the main body 48, the shape information 54 of the part 44, and the shape information of the part 46 The shape information 50 corresponding to the object 38 composed of 56 is searched, and the image 36 of the object 38 and such shape information 50 are compared by the error comparison detection unit 20.
  • the image generation unit 24 generates the object model 40 (model 58 of the body 48, model 6 of the part 44) created from the image 36 of the object 38 and the shape information 50. 0 Generates an image in which the part 46 overlaps with the model 62) of the part 46, and displays it on the display unit 26.
  • the image 64 of the component 46 displayed on the screen 42 of 26 and the model 62 of the component 46 are displayed with a deviation. It is determined by the actions of step S40 and step S42.
  • step S40 and step S42 are not performed.
  • the shape change information is stored in the 3D design information storage unit 3 2 of the 3D CAD 12 from the shape information management unit 22 as described above. It is also possible to return to.
  • an object 38 whose shape information does not match in the real space and the model space in advance is used in such a reference.
  • a sticker is movably arranged on the object 38 by sticking or the like.
  • the three-dimensional position and orientation are detected by the three-dimensional position and orientation relationship output unit 16, and the error comparison and detection unit 20 detects the object.
  • an actual marker for the object 38 is used. 7 Move the position of 6 By moving, the object 38 and the shape information 50 of the object 38 match. That is, while observing the image 36 of the photographed object 38 displayed on the display unit 26 and the object model 40 thereof, the image observer moves so that the two coincide. The position of the marker 76 is moved from the position 80 of the previous marker.
  • the object 42 is displayed on the screen 42 of the display unit 26.
  • a scale 82 may be added to 40 for display. By displaying such a scale 82, the observer can make a clear statement of the amount of displacement from the scale 82 on the screen 42, and according to the confirmed amount of displacement, the object 3 8 You can move the upper Ma-power 76.
  • the third embodiment is also the same as the second embodiment described above.
  • An object 38 whose shape information does not match in the real space and the model space in advance during the registration is used.
  • the marker 76 is attached to the object by printing or the like.
  • the three-dimensional position / posture output unit 16 detects the three-dimensional position and posture, and the error comparison / detection unit 20 outputs the target object.
  • the image 36 of 38 and the object model 40 will be displayed shifted.
  • the relative three-dimensional position and orientation relationship between the image input unit 14 detected by the three-dimensional orientation and orientation relationship output unit 16 and the object 38 by the three-dimensional position and orientation relationship information management unit 28 It is necessary to reflect the difference using the value of the difference from the error comparison / detection unit 20. In the present embodiment, this is reflected in the matrix force against the shape information 50 of the object 38. This is performed by moving the position and orientation of the shape information 84 of 76 and obtaining the shape information 86 as shown in FIG. 8B. As a result, as shown in FIG. 8B, the screen of the display unit 26 is displayed.
  • the image input unit 14 captures the object 38 from a plurality of directions to form a still image, and the merging force 76 with respect to the shape information 50 of the object 38 on any one of the still images.
  • the position and orientation of the shape information 84 are moved, the movement may be reflected even in a pair of still images.
  • FIG. 9A shows the movement of the shape information 84 of the force 76 with respect to the shape information 50 of the object 38
  • FIG. 9B shows the marker for the shape information 50 of the object 38.
  • the shape information of 76 is shown after the movement of 86 is completed.
  • the left column shows a case viewed from one direction a
  • the right column shows a case viewed from another direction b.
  • the movement of the shape information 84 of the marker 76 is performed by white movement.
  • the observer it is also possible for the observer to specify the movement direction and movement by using a keyboard or the like.
  • the scale 82 as described in the second embodiment is additionally displayed on the display screen 42 of the display unit 26 with respect to the object model 40.
  • the shape information of the object is stored, and an error from the actually shadowed object is detected and reflected.
  • attribute information of an object such as a part may be stored so that a change in the attribute information is reflected. Therefore, the information presentation system according to the fourth embodiment is configured as shown in FIG.
  • the three-dimensional CAD 12 is used for the object stored in the three-dimensional design information storage unit 32 in addition to the configuration in the first embodiment.
  • the information king's small device 10 is the same as the component in the first embodiment.
  • an attribute information storage unit 92, a keyboard # 94 and an attribute information management unit 96 are further provided.
  • the attribute information management unit 96 is controlled by the keypad 94 as an input unit. Has a function of reflecting the change of the inputted attribute information to the attribute information stored in the attribute information storage unit 92,
  • the superimposed image generation unit 24 of the information presenting device 10 includes the image of the object input from the image input unit 14 and the shape information of the object stored in the shape information storage unit 18.
  • the attribute information stored in the attribute information storage section 92 is also superimposed and displayed on the display section 26 C
  • the transfer of the attribute information from the attribute information generating unit 90 of the three-dimensional CAD 12 to the attribute information storage unit 92 of the information presenting device 10 is performed online by wireless or wired communication. Good, or go off-line via some storage medium
  • the sex information management unit 96 of the 3E / JN 3 device 10 is input by the keypad 94 in the same manner as the attribute information stored in the attribute information storage unit 92. It has the function of reflecting the change of the attribute information to the 3D 3 or BT information stored in the 3D 3 or total information storage unit 32 of the 3D CAD 1 2, that is, the original attribute information. Attribute information management unit 96 and 3D BX meter information storage unit of 3D CAD 12 above
  • Transfer of information between 3 and 2 May be performed in any of the above.
  • the information presentation system is provided with a keyboard 94 in place of the error comparison detection unit 20 in the configuration shown in FIG. 9 4 to 3 dimensions ML m
  • the configuration is such that the movement amount of the shape information is directly input as a value to the posture relation information management unit 28 and the shape information management unit 22.
  • the object is automatically corrected by the correction of the weight shift by 20.
  • the three-dimensional position and orientation relationship information management unit 28 and the shape information management unit 22 By instructing the three-dimensional position and orientation relationship information management unit 28 and the shape information management unit 22 to minimize the deviation between the image of the object and the object model created from the shape information of the object, Is to correct the gap ''
  • the input may be made to the three-dimensional position / posture relation information management unit 28 and the shape information management unit 22. With such a configuration, the same operation and effect as in the fourth embodiment can be obtained. (_ And not.
  • the observer observes the superimposed screen while For example, from the keyboard 94, the three-dimensional position / posture relationship information management unit 28 and the shape information management unit 2 are set so that the deviation between the image of the object and the object model created from the shape information of the object is minimized. By instructing to 2, the deviation was corrected.
  • the shape information management unit 22 is also configured to change the shape or ⁇ to instruct a component replacement.
  • the image input unit 14 takes an image of a body 48 as shown in FIG. 13A with a part 98 and a part 100 attached thereto as an object 38. I do.
  • the shape information 52 of the main body 48, the shape information 102 of the part 98, and the shape information of the part 100 corresponding to the three-dimensional position / posture relation detection unit 30 are obtained.
  • the shape information 50 of the object 38 consisting of 104 is retrieved.
  • the superimposed image generation unit 24 generates an image 36 of the object 38 and an object model 40 created from the shape information 50 (that is, a model 58 of the main body 48 and a part 98 of the part 98).
  • An image in which the model 106 and the part 100 model 108) are superimposed is generated, and is displayed on the display unit 26.
  • the shape of the actual part 100 and the shape information 100 of the part 100 are different from each other, as shown here. If there is, the image displayed on the screen 42 of the display unit 26 will be displaced from the image 110 of the 100 and its model 108.
  • the design information is the shape information 102 of the straight pipe (long) and the shape information 104 of the straight pipe (short), but for the object in the real space, Parts 98 are in the elpo tube, parts
  • 100 has a difference like it is a straight pipe (long)
  • the shape information management unit 22 exchanges the shape information 102 of the straight pipe (long) with the shape information 111 of the elliptic pipe, as shown in FIG. Change the length of the (short) shape information 104 (also the updated shape information 116).
  • the real space and the target information are matched. That is, when the shape information 102 of the part 98 is changed to the shape information 114, and the shape information 104 of the part 100 is changed to the shape information 116, the shift is canceled.
  • the image 1 10 of the part 98 displayed on the screen 42 of the display unit 26 matches the model 1 18 after the change, and the image 1 1 2 of the part mouth ⁇ 0 0 And the modified module 1 2 0 are displayed in a superimposed manner:
  • the three-dimensional CAD 12 3 by the shape information management unit 22 and the ⁇ ⁇ ⁇ or attribute information management unit 96 in the first embodiment and Z or the fourth embodiment is used. It does not have to be reflected in the dimension design information storage unit 32.
  • the input section is not limited to the keyboard 94, but may be a mouse track pole, a sunset panel or the like.
  • an image input unit configured to input an image of an object placed in a real space
  • a 3D position / posture relationship output configured to detect and output a relative 3D position / posture relationship between the upper image input unit and the target from the image of the target input from the image input unit.
  • a shape information storage unit configured to store shape information of the object;
  • the relative 3D position and orientation relationship between the image input unit and the object detected by the 3D position and orientation relationship output unit A three-dimensional position and orientation information management unit configured to reflect using the value input from the unit,
  • a superimposed image generation unit configured to generate an image in which the image of the object input from the image input unit and the shape information of the object stored in the shape information storage unit are superimposed;
  • a display unit configured to display the image generated by the image generation unit
  • the value input from the input unit includes the movement amount of the shape m report.
  • the information port described in (1) ⁇
  • the device according to (1) or (2) further including a shape information management unit configured to reflect the shape information stored in the shape information storage unit using the value input from the input unit.
  • Information presentation device configured to reflect the shape information stored in the shape information storage unit using the value input from the input unit.
  • the three-dimensional position and orientation information management unit includes: a first movement amount of shape information input from the input unit based on an image of the object captured from a first direction; and the first direction.
  • the information according to any one of (1) to (3), using the second movement amount of the shape information input from the input unit based on an image taken from a second direction different from the second direction. Presentation device.
  • the display unit includes: a first image generated by the superimposed image generation unit based on an image of the object captured in a first direction; and a second direction different from the first direction.
  • the information presenting device according to any one of (1) to (4), wherein a second image generated by the superimposed image generating unit based on an image captured from is displayed.
  • the information presentation device according to (1), wherein the value input from the input unit includes a value expressing a shape change of the shape information.
  • the device further including a shape information management unit configured to reflect the shape information stored in the shape information storage unit using the value input from the input unit.
  • Information presentation device configured to reflect the shape information stored in the shape information storage unit using the value input from the input unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

明 糸田 ¾■
情報呈示装置及びそれを用いた情報呈示システム
技術分野
本発明は、 撮影された画像に関連する情報を、 その 影画 像に重畳して同時に表示する こ とによって、 画像観察者によ り高密度な情報呈示を行う こ とが可能な情報呈示装置 及び それを用いた情報呈示システムに関するものである < i 景技術
実世界中の対象物及び/又は既定のマ一力に対し 所定の 関連情報を呈示する情報呈示装置と しては、 バーコ一 リ一 ダが非常によく知られている
そのう ち、 対象物及び/又は既定のマーカの空間定位情報 を利用 して情報を呈示する装置が、 U SP 6 , 389, 1 82 に開示 a れている。 これは、 対象物である名刺上に印刷された 一力 と しての 2 次元コー ドをカメ ラで読み込み、 コ ンビュ一夕内 のプログラムによ り 、 その 2 次元コー ド化された I Dを解析 する。 そして、 その解析した I D に相当する人物の 写真画 像データ を画像データベースか ら読み出 し、 それを コ ン ピ 夕ディ スプレイ に表示した上記カメ ラで撮影した名剌 の画像上における 2 次元コー ドの横に、 表示する。 Όする とで、 あたかも名刺上の 2 次元コー ドの横に顔写直がある かよう に表示する。
また、 特開 2 0 0 2 — 9 2 0 4 4号公報には、 C C D撮影 装置などの画像入力手段によ り入力された実空間中の対象物 例えば現状の建造物の画像と 、 3次元 C A Dシステムが持つ ている設計情報とを比較し、 相互検証する こ とで双方の誤 ΐέ.
(ずれ） を検出して、 実空間中の対象物に設計情報を一致さ せるシステムが提案されている
この特開 2 0 0 2 - 9 2 0 4 4号公報には詳細は記されて いないが、 実空間中の対象物 、 例えば建造物、 の P又口丁情報と は 、 通常、 その建造物の詳細な形状、 寸法、 材質 、 部品名等 の膨大な情報を意味し、 3 次元 C A D等によ り管理するの力 S 一般的である 。 しかしながら 、 この 3 次元 C A D等は 、 膨大 な情報を記録するための大容量な記憶装置や、 形状ゃ寸法を 詳細に表示するための高性能な表示装置を必要とする 従つ て 、 実際には 、 建築工事ゃ設備工事等の現場に持ち出すよう な携帯型の装置で実現する こ とは困難である。
よ /こ、 上 U S P 6 , 3 89 , 1 82 では、 2 次元コー ドヽを認 sicして、
2 次元コ ー ド座標データに基づいて、 顔写真を表示する を算出している ものであるが 、 その顔写真の表示位置は常に
2 次元コ ー ドに対して固定の位置関係になっている 名剌状 のカー ドであれば、 そのよう に 2 次元コー ド と表示 U置とは 同一空間であ り 、 問題はない 。 これに対して、 プラ ン 卜ゃェ 場設備などの大規模構造物について関連情報を 口
王示し 5 と する場合には 、 マーカ を、 設計情報通り に、 正確 art
Figure imgf000004_0001
又置する 必要がある。 しカゝ しながら、 実際には、 そのよ う な正確な マ一力設置は難しいのが現実である。 このよ う に 、 基準とな るマーカ 自体が設計情報と異なっている場合には 、 対象物固 有の座標系である実空間と、 その対象物の設計情報固有の座 系であるモデル空間とを関連付け （レジス ト レ一シ ン） しなければ、 対象物の画像と設計情報か ら作られた対象物モ デルとを正確に重畳表示させる こ とができない。
発明の開示
本発明の目的は、 携帯型の装置であ り ながら、 実空間中の 対象物と設計情報との間の誤差を的確に把握して、 設計情報 と実際の対象物とを一致させる こ とができる情報呈示装置及 びそれを用いた情報呈示システムを提供する こ とにある。
また、 本発明の別の目的は、 レジス ト レーシヨ ン作業を簡 単に行える情報呈示装置及びそれを用いた情報呈示システム を提供する こ とにある。
本発明の第 1 の態様によれば、 実空間中の対象物の画像を 入力するよう構成された画像入力部と、 上記画像入力部から 入力された対象物の画像から、 上記画像入力部と対象物との 相対的な 3 次元位置及び姿勢関係を検出するよ う構成された 3 次元位置姿勢関係検出部と、 対象物の形状情報を格納する よ う構成された形状情報格納部と、 上記 3 次元位置姿勢関係 検出部によ り検出された対象物の位置及び姿勢と、 上記画像 入力部から入力された対象物の部分に対応する上記形状情報 格納部に格納された値とを比較し、 入力された対象物の実際 の位置及び姿勢と格納された対象物の形状情報との差分を検 出するよう構成された誤差比較検出部と、 上記誤差比較検出 部か らの差分の値を、 上記形状情報格納部に格納された形状 情報に反映させるよう構成された形状情報管理部と、 上記画 像入力部から入力された対象物の画像と、 上記形状情報格納 部に格納された対象物の形状情報とを、 重ね合わせた画像を 生成するよう構成された重畳画像生成部と、 上記重畳画像生 成部が生成した画像を表示するよ う構成された表示部と、 を 具備する情報呈示装置が提供される。
なおこ こで、 上記 3 次元位置姿勢関係検出部は、 上記画像 入力部から入力された対象物の画像から、 上記画像入力部と 対象物との相対的な 3 次元位置及び姿勢関係を検出して出力 するよう構成された 3 次元位置姿勢関係出力部と、 上記 3 次 元位置姿勢関係出力部の検出する上記画像入力部と対象物と の相対的な 3 次元位置及び姿勢関係に、 上記誤差比較検出部 からの差分の値を用いて反映させるよう構成された 3 次元位 置姿勢情報管理部と、 を含むこ とが好ましい。
また、 本発明の第 2 の態様によれば、 実空間中の対象物の 画像を入力するよ う構成された画像入力部と、 上記画像入力 部から入力された対象物の画像から、 上記画像入力部と対象 物との相対的な 3 次元位置及び姿勢関係を検出するよう構成 された 3 次元位置姿勢関係検出部と、 対象物の形状情報を格 納するよう構成された形状情報格納部と、 上記 3 次元位置姿 勢関係検出部によ り検出された対象物の位置及び姿勢と、 上 記画像入力部か ら入力された対象物の部分に対応する上記形 状情報格納部に格納された値とを比較し、 入力された対象物 の実際の位置及び姿勢と格納された対象物の形状情報との差 分を検出するよ う構成された誤差比較検出部と、 上記誤差比 較検出部からの差分の値を、 上記形状情報格納部に格納され た形状情報に反映させるよう構成された形状情報管理部と、 上記画像入力部か ら入力された対象物の画像と、 上記形状情 報格納部に格納された対象物の形状情報とを、 重ね合わせた 画像を生成するよう構成された重畳画像生成部と、 上記重畳 画像生成部が生成した画像を表示するよ う構成された表示部 と、 を有する情報呈示装置と、 対象物の 3 次元設計情報を格 納するよう構成された 3 次元設計情報格納部と、 上記 3 次元 設計情報格納部に格納された 3 次元設計情報か ら形状情報を 生成するよう構成された形状情報生成部と、 を有する 3 次元 C A D と、 を具備し、 上記情報呈示装置の形状情報格納部は、 上記 3 次元 C A Dの形状情報生成部の生成した形状情報を格 納する情報呈示システムが提供される。
なお こ こで、 上記情報呈示装置の 3 次元位置姿勢関係検出 部は、 上記画像入力部か ら入力された対象物の画像から、 上 記画像入力部と対象物との相対的な 3 次元位置及び姿勢関係 を検出して出力するよ う構成された 3 次元位置姿勢関係出力 部と、 上記 3 次元位置姿勢関係出力部の検出する上記画像入 力部と対象物との相対的な 3 次元位置及び姿勢関係に、 上記 誤差比較検出部からの差分の値を用いて反映させるよう構成 された 3 次元位置姿勢情報管理部と、 を含むこ とが好ま しレ 図面の簡単な説明
図 1 は、 本発明の第 1 実施例に係る情報呈示装置及びそれ を用いた情報呈示システムの構成を示すブロ ッ ク図である。
図 2 は、 実空間とモデル空間の関連付け ( レジス 卜 レー シヨ ン） 作業の手順を示すフ ローチヤ一 トである。
図 3 Aは、 レジス ト レーシヨ ン作業完了前の対象物と表示 状態とを示す図である。 図 3 Bは、 レジス ト レーシヨ ン作業完了後の対象物と表示 状態とを示す図である。
図 4 は、 実空間中の対象物と設計情報 （形状情報） とを一 致させる作業の手順を示すフローチヤ一トである。
図 5 Aは、 実空間中の対象物と設計情報 （形状情報） とを 一致させる作業完了前の対象物と表示状態と対象物の形状情 報とを示す図である。
図 5 Bは、 実空間中の対象物と設計情報 （形状情報） とを 一致させる作業完了後の対象物と表示状態と対象物の形状情 報とを示す図である。
図 6 Aは、 本発明の第 2 実施例における レジス ト レ一ショ ン作業完了前の対象物と表示状態とを示す図である。
図 6 Bは、 レジス ト レーショ ン作業完了後の対象物と表示 状態とを示す図である。
図 7 は、 第 2 実施例の変形例を説明するための レジス ト レーショ ン作業完了前及び後の対象物と表示状態とを示す図 である。
図 8 Aは、 本発明の第 3 実施例における レジス ト レーショ ン作業完了前の対象物と表示状態と対象物の形状情報とを示 す図である。
図 8 Bは、 レジス ト レーショ ン作業完了後の対象物と表示 状態と対象物の形状情報とを示す図である。
図 9 Aは、 第 3 実施例の変形例を説明するためのレジス ト レーショ ン作業完了前の対象物と表示状態と対象物の形状情 報とを示す図である。 図 9 Bは、 第 3 実施例の 形例を説明するためのレジス 卜 レ一シヨ ン作業兀 後の対象物と表示状態と対象物の形状情 報とを示す図である
図 1 0 は、 本発明の第 4実施例に係る情報口
王示装置及びそ れを用いた情報王口 ^システムの構成を示すブ Π ッ ク図である 図 1 1 は、 本発明の第 5 実施例に係る情報口示装置及びそ れを用いた情報王口 -小= システムの構成を示すブ Π ッ ク図である 図 1 2 は、 第 5 実施例の変形例を説明するための情幸艮王 装置及びそれを用いた情報口
主示システムのブ Π ッ ク構成図で ある
図 1 3 Aは 、 本発明の第 6 実施例に係る情報口
王示装置及び それを用いた情報呈示システムにおいて実空間中の対象物と 又計情報 （形状情報 ) とを ―致させる作業元了 m の対象物と 表示状態と対象物の形状情報とを示す図である■
図 1 3 Bは 、 実空間中の対象物と aj. 'Ι
X 51 I冃報 (形状情報） と を一致させる作桌兀了後の対象物と表示状 匕と対象物の形状 情報とを示す図である
図 1 4 は、 第 1 実施例の 形例を説明するための情辛 Κ 3Ξ 装置及びそれを用いた情報口
王示システムのブ D ッ ク構成図で める □
図 1 5 は、 第 4実施例の 形例を説明するための情辛 K王 装置及びそれを用いた情報口示システムのブ ッ ク 成図で ある
図 1 6 は、 図 1 4 に示した変形例を更に変形した構成を説 明するための情 ¾王示装置及びそれを用いた情報口
王示システ ムのブ□ック構成図である
図 1 7 は、 図 1 5 に示した変形例を更に変形した構成を説 明するための情報呈示装置及びそれを用いた情報呈示システ ムのブ Π ック構成図である
発明を実施するための最良の形態
[第 1 実施例]
図 1 に示すよ う に、 本発明の第 1 実施例に係る情報呈示シ ステムは 、 本発明の第 1 実施例に係る情報呈示装置である力 メ ラ付ぎ P D Aやノー 卜パソ コ ン等の使用者が携帯可能な小 型の情報呈示装置 1 0 と、 オフィ ス等に設置された 3 次元 C
A D 1 2 とカゝらなる。
で 、 上記情報呈示装置 1 0 は、 画像入力部 1 4 3 次 元位置姿勢関係出力部 1 6 、 形状情報格納部 1 8 、 誤差比較 検出部 2 0 、 形状情報管理部 2 2 、 重畳画像生成部 2 4、 表 示部 2 6 、 及び 3 次元位置姿勢関係情報管理部 2 8 から構成 されている。
上記画像入力部 1 4 は、 実空間中の対象物の画像を入力
、 影 ) するカメ ラ等である。 上記 3 次元位置姿勢関係出力 部 1 6 は 、 上記画像入力部 1 4 か ら入力された対象物の画像 から 上記画像入力部 1 4 と対象物との相対的な 3 次元の位 置及び姿勢の関係を検出する機能を有する。 上記形状情報格 納部 1 8 は、 対象物の形状情報を格納するメモリ等で ;ある。
上記誤差比較検出部 2 0 は、 上記 3 次元位置姿勢関係出力 部 1 6 によ り検出された対象物の位置及び姿勢と、 上記画像 入力部 1 4から入力された対象物の部分に対応する上記形状 情報格納部 1 8 に格納された値とを比較し、 入力された対象 物の実際の位置及び姿勢と格納された対象物の形状情報との 差分を検出する機能を有する。 上記形状情報管理部 2 2 は、 上記誤差比較検出部 2 0 からの差分の値を、 上記形状情報格 納部 1 8 に格納された形状情報に反映させる機能を有する。
上記重畳画像生成部 2 4 は、 上記画像入力部 1 4から入力 された対象物の画像と、 上記形状情報格納部 1 8 に格納され た対象物の形状情報とを、 重ね合わせた画像を生成する機能 を有する。 上記表示部 2 6 は、 上記重畳画像生成部 2 4が生 成した画像を表示する液晶ディ スプレイ等である。
上記 3次元位置姿勢関係情報管理部 2 8 は、 上記 3次元位 置姿勢関係出力部 1 6 の検出する画像入力部 1 4 と対象物と の相対的な 3 次元 li及び姿勢関係に、 上記誤差比較検出部
2 0 か ら の差分の値を用いて反映させる機能を有する
3次元位置姿勢関係出力部 1 6 と上記 3 次元位置姿勢関係情 報管理部 2 8 とによって、 3次元位置姿勢関係検出部 3 0 が 構成されている ο
上記 3 次元 C A D 1 2 は 、 3 次元設計情報格納部 3 2 と、 形状情報生成部 3 4 とを備えている。 上記 3次元設計情報格 納部 3 2 は、 対象物の 3次元設計情報を格納するハ一 ドディ
曰.
スク等の大容里 pL '\ έ L ある。 上記形状情報生成部 3 4 は、 上記 3 次元設計情報格納部 3 2 に格納された 3 次元口又計情報 から形状情報を生成する機能を有する。
7ck i»、 上 L情報呈示装置の形状情報格納部 1 8 が格納する 形状報情報は、 上記 3次元 C A D 1 2 の形状情報生成部 3 4 が生成したものである。 この形状情報生成部 3 4から形状情 報格納部 1 8 への形状情報の受け渡しは、 無線又は有線の通 信によるォンラィ ンで行っても良いし、 何らかの記憶媒体を 介してォフラィ ンで行つても良い ,
で Γ対象物の 3 次元設計情報」 とは、 形状 色、 材 質 、 部 Π
PP名 等々の当該対象物を製造 · 設置するのに必要な 情報でめる 形状情報生成部 3 4 は、 そのような対象物の 3 次元設計情報の中から 、 形状の情報のみを抽出する また、 対象物及び形状情報はそれぞれ固有の座標系を有してお り 、 対象物に いての座標系を 「実空間」 、 形状情報の座標系を
Γモデル空間 J と称するものとする
また 上記情報王 小装置 1 0 の形状情報管理部 2 2 は、 上 記形状情報格納部 1 8 に格納している上記抽出した形状情報 と 1ロ]不 に 上記誤差比較検出部 2 0 か らの差分の値を 、 上 0
3 次元 C A D 1 2 の 3 次元設計情報格納部 3 2 に格納された
3 次元 ΒΧ計情報 つま り元の形状情報にも反映させるよ に 構成されている この場合も、 該形状情報管理部 2 2 と上記
3 次元 C A D 1 2 の 3 次元設計情報格納部 3 2 との間の情報 の受け渡しは ォンラィ ン及びォフライ ンの何れで行つても 構わない
次に のよラな構成における動作を説明する。
本実施例では まず 、 前処理と して、 実空間とモ了ル空間 の関連付け (レンス 卜 レーシヨ ン ) 作業を実施する 即ち、 対象物そのものを使用 して、 実空間上の対象物と、 形状情報 から作られたモ了ル空間上の対象物モデルとを、 表示部 2 6 に 畳表示させ、 両苕が重なり合う よう に、 モデル空間上の 対象物モデルを移動する こ とによ り .間とモデル空間の 関連付け作業を行う ものである。 そして、 この関連付け作業 時の対象物モデル移動量を記録し、 実空間とモデル空間の関 連付けに使用する。
の関連付け作業後は 、 実空間とモデル空間の座標系の対 応付けが完了しているの 乙、 ά示時に差異がある物は、 対象物と対象物モデルとの整合が取れていない （対象物が形 状情報通り になっていない） こ とにな 。
のよ うな実空間とモデル空間の関連付け （レジス ト レ一 シ a ン） 作業は、 図 2 のフ ローチヤ — 卜に示すよう にして行 われる
即ち、 まず、 画像入力部 1 4 は、 対象物を撮影する （ス テッ プ S 1 0 ) 。 なお、 この レジス ト レ一シヨ ンに使用する 対象物は、 予めその形状情報が実空間とモデル空間とで一致 しているのがわかっている ものを使用する よ τめレジ ス レーショ ンのためのラ ン ドマーク と して登録しておいて も良い。
次に、 上記 3 次元位置姿勢関係出力部 1 6 は、 上記画像入 力部 1 4で入力された対象物の画像か ら、 画像入力部 1 4 と 対象物との相対的な 3 次元 置及ひ姿勢を検出する (ステツ プ S 1 2 ) 。 この時、 実空間とモデル空間の関連付け (レジ ス h レーシヨ ン） が終了していないため、 両者に差異がある。
なお、 この 3 次元位置及び姿勢の検出は 、 例えば 対象物 そのものをマーカ と見なして、 U SP 6 , 577 , 249 に開示されて 2 いるマーカ検出や位置及び 1青報の推定方法を M用する とで行う こ とができる。
そして、 上記 3次元位置姿勢関係出力部 1 6 は 更に、 上 記画像入力部 1 4で入力された対象物の画像に基づいて、 形 状情報格納部 1 8 の中から 、 その対象物に対応する形状情報 を選択する （ステップ S 1 4 ) この場合、 上述のよ に この レジス 卜 レーシヨ ンに使用する対象物は予めその形状 報が実空間とモデル空間とで一致しているのがわかつている ものを使用するので、 自動的に選択する ことがでさる。 図で は、 図面の簡略化のため この選択された形状情報が直接 誤差比較検出部 2 0 に与え られるよう に描かれている 際 には、 上記 3 次元 置姿勢関係出力部 1 6 が、 上記検出した 3 次元位置及び姿勢に基づいてその選択した形状情報を変形 した上で、 上記誤差比較検出部 2 0 に入力する こ と となる。 そして、 誤差比較検出部 2 0 は 、、 上上記記画画像像入力部 1 4か ら の入力画像と 、 上記形状情報格納部 1 8 の中
された形状情報との誤差を検出するる （（スステテップ S 1 6 ) 。 な お、 この時の誤差は、 実空間とモデル空間と
確に行われていないために発生するる。 即即ちち、 重畳画像生成部 2 4 によって、 上記画像入力部 1 4からの入
択された形状情報とを重ね合わせた画像を生
2 6 に表示する とき、 図 3 Aに示すよう に、 表示部 2 6 の画 面 4 2 に、 対象物 3 8 の画像 3 6 と対象物の形状情報から作 成した対象物モデル 4 0 とがずれて表示される ことになる。
3次元位置姿勢関係情報管理部 2 8 は、 上記誤差比較検出 部 2 0 の検出した誤差に基づき、 その誤差が最小になるよう に画像入力部 1 4 と対象物 3 8 との相対的な 3 次元位置及び 姿勢関係に関する情報を修正する （ステップ S 1 8 ) 。
そして、 上記 3次元位置姿勢関係情報管理部 2 8 は、 その 修正した 3 次元位置及び姿勢関係に関する情報を、 上記 3 次 元位置姿勢関係出力部 1 6 に供給する こ とによ り 、 実空間と モデル空間との座標系の関連付け作業が終了する （ステッ プ S 2 0 ) 。 これによ り、 表示部 2 6 の画面 4 2 には、 図 3 B に示すよう に、 対象物 3 8 の画像 3 6 と対象物モデル 4 0 と がー致して表示されるよう になる。
このような前処理の完了後、 実空間中の対象物と設計情報 (本実施例では、 形状情報） との間の誤差を的確に把握して、 設計情報と実際の対象物とを一致させる作業を行う ことにな る。
即ち 、 図 4 のフ ロ チャー トに示すよう に、 まず、 画像入 力部 1 4は 、 対象物 3 8 を撮影する （ステップ S 3 0 ) 。
次に 、 3 次元位置姿勢関係出力部 1 6 は、 上記画像入力部
1 4で入力された対象物 3 8 の画像 3 6 から、 上記画像入力 部 1 4 と対象物 3 8 との相対的な 3 次元位置及び姿勢を検出 する （ステップ S 3 2 ) 。 この時、 実空間とモデル空間の関 連付け (レジス 卜 レ シヨ ン） が終了しているため、 両者に 差異はない
次に 、 上記 3次元位置姿勢関係出力部 1 6 は、 形状情報格 納部 1 8 に格納されている複数の形状の情報の中から、 上記 検出 した 3 次元位置及び姿勢に該当するデータ を検索する (ステップ S 3 4 ) 。 検索された形状情報は、 誤差比較検出 部 2 0 に入力される。
そして、 誤差比較検出部 2 0 は、 上記画像入力部 1 4か ら の入力画像と、 上記形状情報格納部 1 8 か ら検索した形状情 報との誤差を検出する （ステッ プ S 3 6 ) 。 なお、 検出する 誤差は、 例えば、 形状情報の移動量である。 この移動量は、 平行移動や、 拡大 · 縮小、 回転や、 これらの組み合わせでも、 もちろん構わない。
こ こで、 形状情報管理部 2 2 は、 上記誤差比較検出部 2 0 が検出した誤差が許容範囲内であるか否かを判別し （ステツ プ S 3 8 ) 、 許容範囲内であれば、 以降の作業を行う必要が ない。
これに対して、 検出 した誤差が許容範囲内でないな ら ば (ステッ プ S 3 8 ) 、 上記形状情報管理部 2 .2 は、 更に、 上 記形状情報格納部 1 8 か ら検索した形状情報に、 その検出し た誤差を付加し、 形状情報を変更する （ステッ プ S 4 0 ) 。 即ち、 既に作られてしまった対象物 3 8 の形状を変更する こ とはできないので、 形状情報を変更するものである。
そして、 上記形状情報管理部 2 2 は、 その形状変更情報を 形状情報格納部 1 8 に格納する こ とで、 その変更を反映させ る (ステップ S 4 2 ) 。
例えば、 画像入力部 1 4が上記対象物 3 8 と して、 図 5 A に示すような、 部品 4 4及び部品 4 6 が本体 4 8 に取り付け たものを撮影したとする。 この場合には、 本体 4 8 の形状情 報 5 2 、 部品 4 4 の形状情報 5 4、 及び部品 4 6 の形状情報 5 6 でなるその対象物 3 8 に対応する形状情報 5 0 が検索さ れ、 対象物 3 8 の画像 3 6 とそのよ う な形状情報 5 0 とが誤 差比較検出部 2 0 で比較される。 またこのとき 虽宜画像生 成部 2 4 は 対象物 3 8 の画像 3 6 と形状情報 5 0 か ら作成 された対象物モァル 4 0 (本体 4 8 のモデル 5 8 、 部品 4 4 のモデル 6 0 部品 4 6 のモデル 6 2 ) とを重 ·} 口 -<1 Jせた画 像を生成して 表示部 2 6 に表示する。
で 実際の部品 4 6 の取り付け位置とその部品 4 6 の 形状情報 5 6 とに誤差がめる と、 同図に示すよ Ό に、 表示部
2 6 の画面 4 2 に表示される部品 4 6 の画像 6 4 とそのモデ ル 6 2 とは ずれて表示される こ とになる。 の は、 上 目己ステップ S 4 0 及びステッ プ S 4 2 の動作によつてゝ 口 i 口口
4 6 の形状情報 5 6 が、 図 5 B に示すよう に形状情報 6 6 に 変更される とでキャ ンセルされ、 画面 4 2 に表示 れる部 品 4 6 の画像 6 4 とその変更後のモデル 6 8 とは一致して、 重ね合 て表示される ことになる。
また 図 5 Aに示すよ に、 実際の部品 4 4 の取り付け位 置とその部品 4 4 の形状情報 5 4、 及び本体 4 8 とその形状 情報 5 2 には それぞれ 差がないので、 表示部 2 6 の画面
4 2 に表示される部品 4 4 の画像 7 0 とそのモ了ル 6 0 、 及 び本体 4 8 の画像 7 2 とそのモデル 5 8 は、 それぞれ一致し て表示される o 従つて、 の場合には、 上記ステッ プ S 4 0 及びステ Vプ S 4 2 の動作を行わない。
なお 前 .したよ う に 上記形状情報管理部 2 2 か ら形状 変更情報を 3 次元 C A D 1 2 の 3 次元設計情報格納部 3 2 に戻すこ とも可能である。
[第 2実施例]
上記第 1 実施例では、 実空間とモデル空間の関連付け (レ ジス 卜 レーシヨ ン） 作業において使用する対象物 3 8 として、 予めその形状情報が実空間とモデル空間とで一致しているの がわかつている ものである必要があった。
しかしながら、 必ずしもそのよ うな対象物 3 8 を準備でき ない場合がある。
、■<· そ こで 、 本第 2 実施例においては、 そのよ う な レンス 卜 レ一ショ ン時に、 予めその形状情報が実空間とモデル空間と で一致していない対象物 3 8 を使用できるよ う にするために、 貼付等によ り 、 対象物 3 8上にマ一力を移動可能に配 する。
即ち、 上記 3 次元位置姿勢関係出力部 1 6 によつて 3 次元 位 及び姿勢の検出を行い、 誤差比較検出部 2 0 で 、 対象物
3 8 の画像 3 6 と対象物 3 8 の形状情報 5 0 とを比較した場
O ゝ 両者の間に誤差が検出される。 この場合 、 マ一力を基準 とするので、 マ一力の画像とマーカの形状情報とは一致する。 従つて、 この場合には、 例えば図 6 Aに示すよ う に 、 表示部
2 6 の画面 4 2 に表示されるマーカ 7 6 の画像 7 4 とその マ一力 7 6 のモデル 7 8 とは一致する ものの 、 対象物 3 8 の 画像 3 6 と対象物モデル 4 0 とは、 ずれて表示される <„ とに なる
そこで 、 本実施例では、 上記第 1 実施例のよ う に 3 次元位 置姿勢関係情報管理部 2 8 を用いるのではなく 、 図 6 B に示 すよう に 、 対象物 3 8 に対する実際のマーカ 7 6 の位置を移 動させる こ とで、 対象物 3 8 と対象物 3 8 の形状情報 5 0 と を一致させる ものである。 即ち、 画像観察者が 、 表示部 2 6 に表示された、 撮影された対象物 3 8 の画像 3 6 と 、 その対 象物モデル 4 0 とを観察しながら、 両者が一致するよう に、 移動前のマーカの位置 8 0 か らマーカ 7 6 の位置を移動して いく ものである。
また、 この場合、 マ一力 7 6 の位置の移動を容易にするた めに、 図 7 に示すよう に、 表示部 2 6 の画面 4 2 に 、 対象物
3 8 の画像 3 6 及び対象物モデル 4 0 と、 マ一力 7 6 の画像
7 4及びマーカ 7 6 のモデル 7 8 とに加えて 、 対象物モデル
4 0 に対してスケール 8 2 を付加して表示するよ う にしても 良い。 このよ うなスケール 8 2 を表示する こ とで 、 観察者は この画面 4 2 上のスケール 8 2 か ら、 ずれ量を確き口心し 、 その 確認したずれ量に応じて、 対象物 3 8 上のマ ―力 7 6 を移動 する こ とができる。
[第 3 実施例]
本第 3 実施例も、 上記第 2 実施例と同様 - レジス 卜 レ一 ショ ン時に予めその形状情報が実空間とモデル空間とで一致 していない対象物 3 8 を使用する ものである □ 但し 本第 3 実施例は、 マーカ 7 6 が貼付も し く は印刷等によ て対象物
3 8 上に配置されてお り、 マ一力 7 6 を移動でさない場合で ある。
即ち、 上記 3 次元位置姿勢関係出力部 1 6 によ て 3 次元 位置及び姿勢の検出を行い、 誤差比較検出部 2 0 で 、 対象物
3 8 の画像 3 6 と対象物 3 8 の形状情報 5 0 とを比車父した場 8 合、 両 の間に誤差が検出される。 この場合 マ一力 7 6 を 基準とするので マーカ 7 6 の画像 7 4 とマ 力 7 6 の形状 情報とは一致する 。 従って 、 この場合には、 図 8 Aに示すよ う に、 表示部 2 6 の画面 4 2 に表示されるマ 力 7 6 の画像
7 4 とマ一力 7 6 のモデル 7 8 とは一致する ものの、 対象物
3 8 の画像 3 6 と対象物モデル 4 0 とは、 ずれて表示される こ とにな o
よつて 3 次元位置姿勢関係情報管理部 2 8 によ り 、 3 次 元 置姿勢関係出力部 1 6 の検出する画像入力部 1 4 と対象 物 3 8 との相対的な 3 次元位置及び姿勢関係に 誤差比較検 出部 2 0 か らの差分の値を用いて反映させる とが必要とな る の ±县 本実施例では、 それを、 対象物 3 8 の形状情 報 5 0 に対するマ —力 7 6 の形状情報 8 4 の位置及び姿勢を 移動し 図 8 B に示すような形状情報 8 6 とする こ とによ り 行う。 れによ り 、 図 8 B に示すよ う に、 表示部 2 6 の画面
4 2 に表示されるマ一力 7 6 の画像 7 4 とマ 力 7 6 の移動 されたモデル 8 8 とが一致し、 また、 対象物 3 8 の画像 3 6 と対象物モデル 4 0 とも 致する こ ととなる，
また 画像入力部 1 4 によ り対象物 3 8 を複数方向か ら撮 影して静止画と し 、 何れか一つの静止画上で 対象物 3 8 の 形状情報 5 0 に対するマー力 7 6 の形状情報 8 4 の位置及び 姿勢を移動する と 、 対の静止画においてもその移動が反映さ れ よう に構成しても良い 。 図 9 Aは、 対象物 3 8 の形状情 報 5 0 に対するマ一力 7 6 の形状情報 8 4 の移動刖 示して お り 、 図 9 Bは 対象物 3 8 の形状情報 5 0 に対するマーカ 7 6 の形状情報 8 6 の移動完了後を示している。 なお、 これ らの図において、 左側の列はある方向 aか ら見た場合を示し てお り、 右側の列は別の方向 bから見た場合を示している。
なお 対象物 3 8 の特徵的な凹凸や 策をマ一力 とみなし てレジス レ ―シ 3 ンを行う場合においても 本実施例と 様にして 致させる とができる ,
また 本実施例では マーカ 7 6 の形状情報 8 4 の移動を 白動で行 たが、 キ ポ — ド等によ り観察者がその移動方向 及び移動 を指定するよう にしても良いこ とは勿論である その場 には 、 表示部 2 6 の表示画面 4 2 に 上記第 2 実施 例で説明したよ うなスケール 8 2 を対象物モ丁ル 4 0 に対し て付加して 示する とが好ましい
[第 4 施例]
上記第 1 実施例では 対象物の形状情報を格納しておさ 実際に 影した対象物との誤差を検出して反映させるよ う に していた
さ らに 部 等の対象物の属性情報も格納しておいて その属性情報の変更も反映させるよ う にして 良い。 そのた め 、 本第 4実施例における情報呈示システムは 、 図 1 0 のよ に構成され
即ち 3 次元 c A D 1 2 は、 上 1 実施例における構成 に加えて 3 次元設計情報格納部 3 2 に格納された対象物の
3 次元 又計情報から 属性情報を生成する機能を有する属性 情報生成部 9 0 を更に備える。
また 情報王口小装置 1 0 は、 上 し 1 実施例における 成 に加えて 属性情報格納部 9 2 、 キーポー ドヽ 9 4 及び属性 情報管理部 9 6 を更に有する。 こ こで 、 上記属性情報格納部
9 2 は、 上記 3 次元 C A D 1 2 の属性情報生成部 9 0 の生成 した属性情報を格納するメモリ等である o 上記属性情報管理 部 9 6 は 入力部としての上記キーポ ― ド 9 4 によつて入力 された属性情報の変更を上記属性情報格納部 9 2 に格納され た属性情報に反映させる機能を有する ,
なお、 上記情報呈示装置 1 0 の重畳画像生成部 2 4 は、 上 記画像入力部 1 4から入力された対象物の画像と 上記形状 情報格納部 1 8 に格納された対象物の形状情報とに加えて、 上記属性情報格納部 9 2 に格納された属性情報も 重ね合わ せて 、 表示部 2 6 に表示するよう構成されている C
また、 上記 3 次元 C A D 1 2 の属性情報生成部 9 0 から上 記情報呈示装置 1 0 の属性情報格納部 9 2 への属性情報の受 け渡しは 無線又は有線の通信によるォンラィ ンで行っても 良いし、 何らかの記憶媒体を介してォフラィ ンで行つても良 い
さ らに 、 上記情報 C3 =~ 壮
3E /JN 3¾置 1 0 の 性情報管理部 9 6 は、 上記属性情報格納部 9 2 に格納している上記属性情報に対す るのと同様に 上記キ一ポ ド 9 4 によつて入力された属性 情報の変更を 上記 3 次元 C A D 1 2 の 3 次元 3又計情報格納 部 3 2 に格納された 3 次元 ί3又 BT情報 つま り元の属性情報に も反映させる機能を有している 0 の場合も の属性情報 管理部 9 6 と上記 3 次元 C A D 1 2 の 3 次元 BX計情報格納部
3 2 との間の情報の受け渡しは 才ンラィ ン及びォフラィ ン の何れで行っても構わない。
[第 5実施例]
本第 5 実施例における情報呈示システムは 図 1 1 に示す よう に 、 図 1.に示した構成における誤差比較検出部 2 0 の代 わ り に 、 キーポー ド 9 4 を配し、 該キ一ポ 9 4か ら 3 次 元 ML m姿勢関係情報管理部 2 8 及び形状情報管理部 2 2 に値 と して直接、 形状情報の移動量を入力する構成としたもので める
即ち 、 刖述した第 1 乃至第 3 実施例では、 誤差比較検出部
2 0 によ り 自動的に重 ' lずれを補正していた れに対し 本第 5実施例では 、 観 & j 者が重畳画面を観察しながら例えば キ ボ — ド 9 4か ら、 対象物の画像と対象物の形状情報か ら 作成した対象物モデルとのずれが最小になるよ う に 3 次元 位置姿勢関係情報管理部 2 8 及び形状情報管理部 2 2 に指示 する ことによ り、 ずれを補正する ものである '
このよ うな構成と しても、 上記第 1 乃至第 3 実施例と同様 の作用効果を奏する とができる。
また 、 同様に、 図 1 2 に示すよう に、 図 1 0 に示した構成 における誤差比較検出部 2 0 に代わ り、 キーポ ドヽ 9 4から
3 次元位置姿勢関係情報管理部 2 8 及び形状情報管理部 2 2 に入力するよう にしても良いこ とは勿論である の うな 構成とすれば、 上記第 4実施例と同様の作用効果を奏する ( _ とがでざる。
6実施例]
上記第 5 実施例では 観察者が重畳画面を観察しながら 例えばキーボー ド 9 4から、 対象物の画像と対象物の形状情 報から作成した対象物モデルとのずれが最小になるよう に、 3 次元位置姿勢関係情報管理部 2 8及び形状情報管理部 2 2 に指示する こ とによ り、 ずれを補正していた。
本第 6実施例では、 位置及び姿勢だけではなく 、 更に、 形 状情報管理部 2 2 に対して 、 形状変更も し < は部品交換を指 示するよう にしたものである o
本第 6実施例における情報呈示システムの構成は、 上記第
5実施例と同様である。
本情報呈示システムにおいて、 例えば 、 画像入力部 1 4が、 図 1 3 Aに示すような本体 4 8 に部品 9 8 及び部品 1 0 0 を 取り付けたものを対象物 3 8 と して撮影したとする。 この場 合には、 3 次元位置姿勢関係検出部 3 0 によつて 、 それに対 応する本体 4 8 の形状情報 5 2 、 部品 9 8 の形状情報 1 0 2 、 及び部品 1 0 0 の形状情報 1 0 4でなる対象物 3 8 の形状情 報 5 0 が検索される。 そして、 重畳画像生成部 2 4が、 対象 物 3 8 の画像 3 6 と、 この形状情報 5 0 か ら作成された対象 物モデル 4 0 (即ち、 本体 4 8 のモデル 5 8 、 部品 9 8 のモ デル 1 0 6 、 部品 1 0 0 のモデル 1 0 8 ) とを重ね合わせた 画像を生成して、 表示部 2 6 に表不する， 。
こ こで、 実際の部品 9 8 の形状とその部口
PP 9 8 の形状情報
1 0 2 とに誤差がある と、 同図に示すよう に 、 表示部 2 6 の 画面 4 2 に表示される部品 9 8 の画像 1 1 0 は、 そのモデル
1 0 6 とはずれて表示される し こに /よる o 様に 、 実際の部 品 1 0 0 の形状とその部品 1 0 0 の形状情報 1 0 4 とに誤差 がある と 示部 2 6 の画面 4 2 に表示される部口 Ρ 1 0 0 の 画像 1 1 2 とそのモデル 1 0 8 とはずれて表示される。
即ち、 この図 1 3 Aの例では、 設計情報では直管 (長い） の形状情報 1 0 2 と直管 （短い） の形状情報 1 0 4 となって いるが、 実空間中の対象物では部品 9 8 はェルポ管に、 部品
1 0 0 は直管 (長い） になつてしまっている のような違 いがあるため 表示部 2 6 の画面 4 2 に表示される重畳画像 では、 部品の画像 1 1 0 1 1 2 とモデル 1 0 6 1 0 8 と がずれて表示される
従って のような場合には、 観察者が重畳画面を観察し ながら、 例えばキーボー ド 9 4から、 形状情報管理部 2 2 に 対して、 形状情報の形状変更を表現する値、 も し < は、 形状 情報の部品変更を表現する値を入力する。 これによ り、 形状 情報管理部 2 2 は、 図 1 3 Βに示すよう に、 直管 (長い） の 形状情報 1 0 2 をェルポ管の形状情報 1 1 4 と交换し、 また、 直管 （短い） の形状情報 1 0 4 の長さを変更 ( 亦更後の形状 情報 1 1 6 とする ) す 。 のような作業を行う とによつ て、 実空間と対象情報とが 致される。 即ち 部品 9 8 の形 状情報 1 0 2 が形状情報 1 1 4 に変更され、 また部品 1 0 0 の形状情報 1 0 4が形状情報 1 1 6 に変更される とで、 ず れがキヤ ンセルされ、 表示部 2 6 の画面 4 2 に表示される部 品 9 8 の画像 1 1 0 とその変更後のモデル 1 1 8 とは一致し、 また、 部口口 丄 0 0 の画像 1 1 2 とその変更後のモァル 1 2 0 とが一致して 重ね合って表示される ことに :なる
以上実施例に基づいて本発明を説明したが 本発明は上述 した実施例に限定されるものではなく 、 本発明の要旨の範囲 内で種 の変形や応用が可能なことは勿論である。
例えば 図 1 4及び図 1 5 に示すよう に、 上記第 1 実施例 及び Z又は第 4実施例における形状情報管理部 2 2 及び Ζ又 は属性情報管理部 9 6 による 3 次元 C A D 1 2 の 3 次元設計 情報格納部 3 2 への反映を行わなくても構わない。
また の場合も、 上記第 5 実施例で説明したよう に、 図
1 6及び図 1 7 に示すよう、 誤差比較検出部 2 0 に代わつて、 キーポ 9 4から 3次元位置姿勢関係情報管理部 2 8及び 形状情報管理部 2 2 に入力するよう にしても勿論構わない。
また 入力部は、 キーボー ド 9 4 に限定されず、 マウス 卜ラックポール、 夕ツチパネル等でももちろん構わない。
(付記 )
以上ロ 述した具体的実施例から、 請求の範囲に記載した 成以外に 、 以下のような構成を抽出する こ とができる。
( 1 ) 実空間に配置された対象物の画像を入力するよう 構成された画像入力部と、
上記画像入力部から入力された対象物の画像から 、 上 己画 像入力部と対象物との相対的な 3 次元位置及び姿勢関係を検 出して出力するよう構成された 3次元位置姿勢関係出力部と、 対象物の形状情報を格納するよう構成された形状情報格納 部と、
入力部と
3 次元位置姿勢関係出力部の検出する上記画像入力部 と対象物との相対的な 3次元位置及び姿勢関係に、 上記入力 部から入力された値を用いて反映させるよつ構成された 3次 元位置姿勢情報管理部と、
上記画像入力部から入力された対象物の画像と 、 上記形状 情報格納部に格納された対象物の形状情報とを 、 重ね合わせ た画像を生成するよう構成された重畳画像生成部と、
上 ρϋ 宜画像生成部が生成した画像を表示するよう構成さ れた表示部と、
を具備する情報呈示装置
( 2 ) 上記入力部から入力する値は 、 形状 m報の移動量 を含む （ 1 ) に記載の情報口 =^ 壮
王
( 3 ) 上記入力部から入力された値を用いて上記形状情 報格納部に格納された形状情報に反映させるよう構成された 形状情報管理部を更に具備する （ 1 ) 又は ( 2 ) に記載の情 報呈示装置
( 4 ) 上記 3次元位置姿勢情報管理部は、 上記対象物を 第 1 の方向から撮影した画像に基づいて上記入力部から入力 された形状情報の第 1 の移動量と 、 上記第 1 の方向とは異な る第 2 の方向から撮影した画像に基づいて上記入力部から入 力された形状情報の第 2 の移動量とを、 用 いる （ 1 ) 乃至 ( 3 ) の何れかに記載の情報呈示装置。
( 5 ) 上記表示部は、 上記対象物を第 1 の方向から撮影 した画像に基づいて上記重畳画像生成部が生成する第 1 の画 像と、 上記第 1 の方向とは異なる第 2 の方向から撮影した画 像に基づいて上記重畳画像生成部が生成する第 2 の画像と、 を表示する （ 1 ) 乃至 （ 4 ) の何れかに記載の情報呈示装置。 ( 6 ) 上記入力部から入力する値は、 上記形状情報の形 状変更を表現する値を含む （ 1 ) に記載の情報呈示装置。
( 7 ) 上記入力部から入力する値は、 上記形状情報の部 品変更を表現する値を含む （ 1 ) に記載の情報呈示装置。
( 8 ) 上記入力部から入力された値を用いて上記形状情 報格納部に格納された形状情報に反映させるよう構成された 形状情報管理部を更に具備する （ 6 ) 又は （ 7 ) に記載の情 報呈示装置。

Claims

請 求 の 範 囲
1 · 実空間中の対象物の画像を入力するよ う構成された 画像入力部と
上記画像入力部から入力された対象物の画像か ら、 上記画 像入力部と対象物との相対的な 3 次元位置及び姿勢関係を検 出するよう構成された 3 次元位置姿勢関係検出部と、
対象物の形状情報を格納するよう構成された形状情報格納 部と、
上記 3 次元位置姿勢関係検出部によ り検出 れた対象物の 位置及び姿勢と、 上記画像入力部か ら入力された対象物の部 分に対応する上記形状情報格納部に格納された値とを比較し 入力された対象物の実際の位置及び姿勢と格納された対象物 の形状情報との差分を検出するよう構成された誤差比較検出 部と、
上記誤差比較検出部からの差分の値を 、 上記形状情報格納 部に格納された形状情報に反映させるよう構成された形状情 報管理部と
上記画像入力部から入力された対象物の画像と、 上記形状 情報格納部に格納された対象物の形状情報とを 、 重ね合わせ た画像を生成するよう構成された重畳画像生成部と、
上 PD 画像生成部が生成した画像を表示するよう構成さ れた表示部と
を具備する情報呈示装置。
2 . 上記誤差比較検出部の検出する差分は 、 形状情報の 移動量を含む請求項 1 に記載の情報呈示 ¾罱
3 . 対象物の属性情報を格納するよう構成された属性情 報格納部を更に具備し 、
上記重畳画像生成部は、 上記属性情報格納部に格納された 属性情報も重ね合わせるよう構成されている 求項 1 に D載 の情報呈示装
4 . 入力部と、
上記入力部によつて入力された属性情報の変更を、 上記属 性情報格納部に格納された属性情報に反映させるよ う構成さ れた属性情報管理部と 、
を更に具備する請求項 3 に記載の情報呈示 置 o
5 . 上記 3 次元位置姿勢関係検出部は、
上記画像入力部から入力された対象物の画像から、 上記画 像入力部と対象物との相対的な 3 次元 及び姿勢関係を検 出して出力するよ う構成された 3 次元 1 姿勢関係出力部と、 上記 3次元位置姿勢関係出力部の検出する上記画像入力部 と対象物との相対的な 3 次元 M威及び姿勢関係に 、 上 し Αι. 比較検出部か らの差分の値を用いて反映させるよ う構成され た 3 次元位置姿勢情報管理部と、
を含む請求項 1 に記載の情報呈示
6 . 上記誤差比較検出部の検出する差分は 、 形状情報の 移動量を含む請求項 5 に記載の情報 □ ^ ί|士 薛
玉 5 农 直 o
7 . 上記誤差比較検出部か らの差分の値を用いて上記形 状情報格納部に格納された形状情報に反映させるよ う構成さ れた形状情報管理部を更に具備する請求項 5 に記載の情報呈 示装置。
8 . 上 3 次兀
り 記 置姿勢情報管理部は 、 上記対象物を第
1 の方向から撮影した画像に基づいて上記誤差比較検出部が 検出する第 1 の差分の値と、 上記第 1 の方向とは異なる第 2 の方向から 影した画像に基づいて上記誤差比較検出部が検 出する第 2 の差分の値と 、 を用いる請求項 5 に記載の情報呈==. 壮
j ¾st m- o
9 . 上記表示部は、 上記対象物を第 1 の方向から撮影し た画像に基づいて上記重畳画像生成部が生成する第 1 の画像 と、 上記第 1 の方向とは異なる第 2 の方向から撮影した画像 に基づいて上記重畳画像生成部が生成する第 2 の画像と、 を 表示するよう構成されている請求項 5 に記載の情報呈示装置。
1 0 実空間中の対象物の画像を入力するよう構成さ れた画像入力部と 、
上記画像入力 力、ら入力された対象物の画像から、 上記 画像入力部と対象物との相対的な 3 次元位置及び姿勢関係を 検出するよう構成された 3次元位置姿勢関係検出部と、
対象物の形状情報を格納するよう構成された形状情報格 納部と 、
上記 3 次元 置姿勢関係検出部によ り検出された対象物 の位置及び姿勢と 、 上目 Li画像入力部か ら入力された対象物の 対 J心する上記形状情報格納部に格納された値とを比較 し、 入力された対象物の実際の位置及び姿勢と格納された対 象物の形状情報との差分を検出するよう構成された誤差比較 検出部と 、
上記き 差比較検出部からの差分の値を 、 上記形状情報格 納部に格納された形状情報に反映させるよ う構成された形状 情報管理部と、
上記画像入力部から入力された対象物の画像と、 上記形 状情報格納部に格納された対象物の形状情報とを、 重ね合わ せた画像を生成するよう構成された重畳画像生成部と、
上記重畳画像生成部が生成した画像を表示するよ 構成 された表示部と 、
を有する情報口 -= ·
衣 と、
対象物の 3 次元 P又計情報を格納するよう構成された 3 次 元設計情報格納部と 、
上記 3 次元設計情報格納部に格納された 3 次元設計情報 から形状情報を生成するよう構成された形状情報生成部と、 を有する 3 次元 C A D と、
を具備し 、
上記情報王口 ^小装置の形状情報格納部は、 上記 3 次元 C A D の形状情報生成部の生成した形状情報を格納する情報呈示シ スアム。
1 1 . 上記情報口 ― 壮 m m- の形状情報管理部は 、 JL PL RT^ ¾c 比較検出部か らの差分の値を 、 上記 3 次元 C A Dの 3次元設 計情報格納部に格納された 3 次元設計情報にも反映させるよ う構成されている s冃求項 1 0 に記載の情報呈示システム。
1 2 . 上記情報口
K ¾ iaの誤差比較検出部の検出する差 分は、 形状情報の移動量を含む請求項 1 0 に記載の情報呈示 システム。
1 3 . 上記 3 次元 C A Dは、 対象物の 3 次元設計情報か 3 ら属性情報を生成するよう構成された属性情報生成部を更に 有し、
上記情報呈示装置は、 上記 3 次元 C A D の属性情報生成部 の生成した属性情報を格納するよう構成された属性情報格納 部を更に有し、
上記情報呈示装置の重畳画像生成部は、 上記属性情報格納 部に格納された属性情報も重ね合わせるよう構成されている 請求項 1 0 に記載の情報呈示システム。
1 4 . 上記情報呈示装置は、
入力部と、
上記入力部によって入力された属性情報の変更を上記属 性情報格納部に格納された属性情報に反映させるよう構成さ れた属性情報管理部と、
を更に 目備す 請求項 1 3 に記載の情報口
ンステム
1 5 . 上記情報呈示装置の属性情報管理部は 、 上記入力 部によつて入力された属性情報の変更を、 上記 3 次元 C A D の 3 次元 計情報格納部に格納された 3 次元 gk S十情報にも反 映させるよ 構成されている請求項 1 4 に記載の情報 3口Ε · /= ノ ステム。
1 6 . 上記情報呈示装置の 3 次元位置姿勢関係検出部は、 上記画像入力咅 β力 ら入力された対象物の画像か ら、 上記画 像入力部と対象物との相対的な 3 次元位置及び姿勢関係を検 出して出力するよう構成された 3 次元位置姿勢関係出力部と、 上記 3 次元位置姿勢関係出力部の検出する上記画像入力部 と対象物との相対的な 3 次元位置及び姿勢関係に 、 上 し 比較検出部からの差分の値を用いて反映させる つ 成され た 3 次元位置姿勢情報管理部と
を含む請求項 1 0 に記載の情報王口示システム
1 7 . 上記情報口示装置の誤差比較検出部の検出する差 分は、 形状情報の移動 を含む 虫
冃求項 1 6 に記載の情報 a口e示 システム。
1 8 上記情報口
王示装 gは 上記誤差比較検出部からの差 分の値を用いて上記形状情報格納部に格納された形状情報に 反映させるよう構成された形状情報管理部を更に具備する Θ冃 求項 1 6 に記載の情報呈示システム
1 9 . 上記情報口
王 装置の 3 次元位置姿勢情報管理部は、 上記対象物を第 1 の方向か ら 影した画像に基づいて上記誤 差比較検出部が検出する第 1 の差分の値と 上記第 1 の方向 とは異なる第 2 の方向から した画像に基づいて上記誤差 比較検出部が検出する第 2 の差分の値と を用いる §青求項 1
6 に記載の情報口
王示システム
2 0 . 上記情報王口 ΛΙ 装置の表示部は 上記対象物を第 1 の方向から 影した画像に基づいて上記重 画像生成部が生 成する第 1 の画像と 、 上記第 1 の方向とは異なる第 2 の方向 か ら撮影した画像に基づいて上記重 ' l画像生成部が生成する 第 2 の画像と を表示するよ 構成されている 求項 1 6 に 記載の情報王示システム
PCT/JP2004/009786 2003-07-11 2004-07-02 情報呈示装置及びそれを用いた情報呈示システム WO2005005924A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP04747254A EP1653191A4 (en) 2003-07-11 2004-07-02 INFORMATION PRESENTATION APPARATUS AND INFORMATION PRESENTATION SYSTEM USING THE DEVICE
CN200480019973.4A CN1823256B (zh) 2003-07-11 2004-07-02 信息呈现装置
US11/327,776 US7433510B2 (en) 2003-07-11 2006-01-06 Information presentation apparatus and information presentation system using the same
HK06110939.7A HK1090414A1 (en) 2003-07-11 2006-10-03 Information presentation device

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2003-273566 2003-07-11
JP2003273565A JP2005031045A (ja) 2003-07-11 2003-07-11 情報呈示装置及び情報呈示システム
JP2003-273565 2003-07-11
JP2003273566 2003-07-11
JP2003-355462 2003-10-15
JP2003355462 2003-10-15
JP2003400768A JP4540329B2 (ja) 2003-07-11 2003-11-28 情報呈示装置
JP2003-400768 2003-11-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/327,776 Continuation US7433510B2 (en) 2003-07-11 2006-01-06 Information presentation apparatus and information presentation system using the same

Publications (1)

Publication Number Publication Date
WO2005005924A1 true WO2005005924A1 (ja) 2005-01-20

Family

ID=34069248

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/009786 WO2005005924A1 (ja) 2003-07-11 2004-07-02 情報呈示装置及びそれを用いた情報呈示システム

Country Status (5)

Country Link
US (1) US7433510B2 (ja)
EP (1) EP1653191A4 (ja)
KR (1) KR20060030902A (ja)
HK (1) HK1090414A1 (ja)
WO (1) WO2005005924A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653263B2 (en) * 2005-06-30 2010-01-26 General Electric Company Method and system for volumetric comparative image analysis and diagnosis

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005005924A1 (ja) * 2003-07-11 2005-01-20 Olympus Corporation 情報呈示装置及びそれを用いた情報呈示システム
US8131055B2 (en) * 2008-01-31 2012-03-06 Caterpillar Inc. System and method for assembly inspection
US20090287450A1 (en) * 2008-05-16 2009-11-19 Lockheed Martin Corporation Vision system for scan planning of ultrasonic inspection
WO2011002441A1 (en) * 2009-06-29 2011-01-06 Snap-On Incorporated Vehicle measurement system with user interface
US8413341B2 (en) * 2009-06-29 2013-04-09 Snap-On Incorporated Vehicle measurement system with user interface
KR101044252B1 (ko) * 2010-09-14 2011-06-28 주식회사 티엠이앤씨 공간모델을 이용한 시설물 유지관리 시스템 및 시설물 유지관리 방법
EP2717181A1 (en) 2012-10-08 2014-04-09 Hexagon Technology Center GmbH Method and system for virtual assembly of a structure
CN107403050A (zh) * 2017-08-01 2017-11-28 贺州学院 装配式建筑检查方法、装置及系统
JP6970817B2 (ja) 2018-04-11 2021-11-24 富士フイルム株式会社 構造物管理装置、構造物管理方法、及び構造物管理プログラム
US11769268B1 (en) * 2019-09-30 2023-09-26 United Services Automobile Association (Usaa) System and method for detecting deviations in building structures using reconstructed 3d models

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6274155A (ja) * 1985-09-27 1987-04-04 Olympus Optical Co Ltd 医用画像フアイル装置
JP2002092044A (ja) * 2000-09-19 2002-03-29 Olympus Optical Co Ltd 設備管理システム及び方法ならびに設備管理プログラムを記録した記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6405072B1 (en) * 1991-01-28 2002-06-11 Sherwood Services Ag Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
TW548572B (en) 1998-06-30 2003-08-21 Sony Corp Image processing apparatus, image processing method and storage medium
JP3525896B2 (ja) * 1999-03-19 2004-05-10 松下電工株式会社 ３次元物体認識方法および同方法を使用したビンピッキングシステム
US6577249B1 (en) 1999-10-19 2003-06-10 Olympus Optical Co., Ltd. Information display member, position detecting method using the same, apparatus and method of presenting related information, and information presenting apparatus and information presenting method
US6697761B2 (en) * 2000-09-19 2004-02-24 Olympus Optical Co., Ltd. Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system
JP4674948B2 (ja) * 2000-09-29 2011-04-20 オリンパス株式会社 手術ナビゲーション装置および手術ナビゲーション装置の作動方法
JP2002324239A (ja) * 2001-04-25 2002-11-08 Olympus Optical Co Ltd 情報呈示システム
JP4635392B2 (ja) * 2001-08-09 2011-02-23 コニカミノルタホールディングス株式会社 ３次元物体の表面形状モデリング装置、および、プログラム
WO2005005924A1 (ja) * 2003-07-11 2005-01-20 Olympus Corporation 情報呈示装置及びそれを用いた情報呈示システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6274155A (ja) * 1985-09-27 1987-04-04 Olympus Optical Co Ltd 医用画像フアイル装置
JP2002092044A (ja) * 2000-09-19 2002-03-29 Olympus Optical Co Ltd 設備管理システム及び方法ならびに設備管理プログラムを記録した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1653191A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653263B2 (en) * 2005-06-30 2010-01-26 General Electric Company Method and system for volumetric comparative image analysis and diagnosis

Also Published As

Publication number Publication date
EP1653191A4 (en) 2010-09-08
US7433510B2 (en) 2008-10-07
KR20060030902A (ko) 2006-04-11
EP1653191A1 (en) 2006-05-03
US20060111797A1 (en) 2006-05-25
HK1090414A1 (en) 2006-12-22

Similar Documents

Publication Publication Date Title
JP4434890B2 (ja) 画像合成方法及び装置
US7433510B2 (en) Information presentation apparatus and information presentation system using the same
US7193633B1 (en) Method and apparatus for image assisted modeling of three-dimensional scenes
JP4002983B2 (ja) 投影装置、投影装置の制御方法、複合投影システム、投影装置の制御プログラム、投影装置の制御プログラムが記録された記録媒体
JP6171671B2 (ja) 情報処理装置、位置指定方法および位置指定プログラム
JP5991423B2 (ja) 表示装置、表示方法、表示プログラムおよび位置設定システム
US7602404B1 (en) Method and apparatus for image assisted modeling of three-dimensional scenes
Zhang Flexible camera calibration by viewing a plane from unknown orientations
CN104463975B (zh) 设置方法以及信息处理装置
JP3486613B2 (ja) 画像処理装置およびその方法並びにプログラム、記憶媒体
JP4834424B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Harders et al. Calibration, registration, and synchronization for high precision augmented reality haptics
JP4743818B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
Behringer et al. Augmented Reality: Placing artificial objects in real scenes
WO2015107665A1 (ja) 作業支援用データ作成プログラム
JP2009278456A (ja) 映像表示装置
JP6381361B2 (ja) データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム
US11395102B2 (en) Field cooperation system and management device
JP2005031045A (ja) 情報呈示装置及び情報呈示システム
CN113129362A (zh) 一种三维坐标数据的获取方法及装置
JP4540329B2 (ja) 情報呈示装置
JP2006018444A (ja) 画像処理システム及び付加情報指示装置
Siegl et al. An augmented reality human–computer interface for object localization in a cognitive vision system
Chen et al. Proposal of a rescue operation support system based on 3D reconstruction, GPS, and digital pen
JP2009008577A (ja) オブジェクト認識装置及びオブジェクト認識用プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480019973.4

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
REEP Request for entry into the european phase

Ref document number: 2004747254

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2004747254

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11327776

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020067000665

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2004747254

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11327776

Country of ref document: US