WO2005116785A1 - Mobile trackingeinheit - Google Patents

Mobile trackingeinheit Download PDF

Info

Publication number
WO2005116785A1
WO2005116785A1 PCT/EP2005/005781 EP2005005781W WO2005116785A1 WO 2005116785 A1 WO2005116785 A1 WO 2005116785A1 EP 2005005781 W EP2005005781 W EP 2005005781W WO 2005116785 A1 WO2005116785 A1 WO 2005116785A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
tracking unit
augmented reality
reality device
articulated arm
Prior art date
Application number
PCT/EP2005/005781
Other languages
English (en)
French (fr)
Inventor
André TEGTMEIER
Klaus-Christoph Ritter
Carsten PÖGE
Werner Scheffler
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Priority to EP05750870A priority Critical patent/EP1749248A1/de
Publication of WO2005116785A1 publication Critical patent/WO2005116785A1/de

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command

Definitions

  • the invention relates to a mobile tracking unit, which has a camera with a receiver for electromagnetic radiation.
  • the camera is designed to detect electromagnetic radiation emitted or reflected by an object at a detection angle.
  • the camera can generate a camera image signal representing an image of the object.
  • the tracking unit ' also has a camera position sensor which is designed to generate a camera position signal corresponding to a detection direction of the camera and to output it on the output side.
  • the tracking unit also has at least one image reproduction unit with an input for an image signal.
  • the tracking unit also has an augmented reality device which is connected on the input side to the camera position sensor and on the output side to the image display unit.
  • the augmented reality device is designed to generate an auxiliary information image signal representing auxiliary information as a function of the camera position signal from the camera image signal and to send this to the image display unit.
  • the augmented reality system comprises a mobile device for the context-dependent insertion of assembly instructions.
  • the context-dependent display of assembly instructions with process-optimized specification of necessary work steps results in support for work sequences that is appropriate to the situation.
  • the augmented reality system of WO 00/52539 proposes data glasses which, in addition to one in the area of the spectacle lenses arranged display device has an image capture device in the form of a camera.
  • Head-mounted displays have the disadvantage that they restrict the user with regard to freedom of movement and viewing angle when a device, in particular a motor vehicle, is to be repaired.
  • Another problem is the calibration of an augmented reality system with a head-mounted display.
  • the invention is therefore based on the object of specifying an augmented reality system which is simple to operate and which can also be easily calibrated. This object is achieved by the tracking unit according to the invention with an augmented reality system of the type mentioned at the beginning.
  • the mobile tracking unit has an articulated arm.
  • the articulated arm attaches to an articulated arm base with a base joint.
  • the articulated arm base is connected to the tracking unit and the articulated arm has a free articulated arm end, the camera being arranged in the region of the free end.
  • the articulated arm has at least one central joint between the articulated arm base and the free end.
  • the position sensor is operatively connected to the base joint of the articulated arm base and to the center joint and is designed to detect a base joint position and a center joint position and to generate the camera position signal as a function of the base joint position and the center joint position.
  • the camera position can be detected precisely, so that the augmented reality device can generate an auxiliary information image signal corresponding to the detection direction.
  • an augmented reality device can also have a camera position sensor with a laser interferometer.
  • the camera position sensor with a laser interferometer is designed to determine a distance to an object from the interference of a transmitted and back-reflected laser beam.
  • a camera position sensor with a laser interferometer preferably has a calibration device which is designed to measure predetermined calibration locations and, after measuring the calibration locations, to determine a camera position in a coordinate system.
  • a camera position sensor can have an ultrasound interferometer for determining the position.
  • the articulated arm has a first central joint and a second central joint, which are each designed as a swivel joint.
  • An articulated arm with two central joints is advantageously flexibly adjustable.
  • the articulated arm can have a camera joint in the region of the free end, via which the camera is connected to the articulated arm. As a result, the camera can be moved in different detection directions at a predetermined articulated arm position.
  • the augmented reality device is preferably designed for calibrating an articulated arm position.
  • the articulated arm has a probe tip which forms the free end.
  • the probe tip advantageously facilitates the calibration of the augmented reality device.
  • the probe tip can be brought to predetermined locations on the vehicle body for calibrating the augmented reality device.
  • Such calibration locations can be, for example, the dome bearings or the hood lock.
  • the augmented reality device can be designed for contactless calibration of the articulated arm position.
  • a contactless calibration can be carried out, for example, with a laser interferometer or an ultrasound interferometer, which can be part of the augmented reality device and thus of the tracking unit.
  • the augmented reality device of the mobile tracking unit has a 3-D database with a large number of 3-D data records, which in their entirety represent a graphic model in three dimensions of at least parts of a vehicle with its individual components ,
  • the augmented reality device has a VRML (Virtual Reality Modeling Language) module connected to the 3-D database.
  • the VRML module is designed to generate the auxiliary information image signal at least partially from at least one 3-D data record as a function of the camera position signal.
  • the VRML module can thus generate a three-dimensional view for displaying in a two-dimensional plane, in particular an image display unit, of at least one or more vehicle components for a camera position.
  • the VRML module can read out a selection of the parts to be loosened or replaced in a corresponding sequence from the 3D database and a view of these parts can be calculated for a predetermined camera position.
  • the augmented reality device can then generate the auxiliary information image signal from the camera image signal and from an output signal of the VRML module.
  • the auxiliary information image signal can contain, for example, information about a torque of a screw connection to be tightened.
  • the augmented reality device has a voice input unit and is designed to be controllable by the voice input unit.
  • a voice input unit gives a user both hands free for work to be performed when working with the mobile tracking unit.
  • the augmented reality device has a voice output unit which is designed to audibly output a voice auxiliary instruction signal representing a spoken language.
  • a voice auxiliary instruction signal representing a spoken language.
  • the augmented reality device is preferably designed to generate a video auxiliary instruction signal representing graphic information or text information and to generate the auxiliary information image signal from the camera image signal and the auxiliary instruction signal such that the auxiliary information image signal represents an image in which the graphic information or text information is superimposed on the image of the object.
  • the video auxiliary instruction signal can represent, for example, auxiliary instructions for predetermined repair steps.
  • the video auxiliary instruction signal can contain, for example, a calculated view of vehicle components from a predetermined detection direction of the camera.
  • the auxiliary video instruction signal can contain parts of the output signal of the VRML module or represent an output signal of the VRML module itself.
  • the augmented reality device has a mobile camera carrier for attachment to an object, the mobile camera carrier having at least one mobile camera with a receiver for electromagnetic radiation.
  • the mobile camera is designed to detect electromagnetic radiation emitted or reflected by the object in a detection direction and to generate a mobile camera image signal.
  • the mobile camera image signal represents an image of at least a part of the object.
  • the augmented reality device has an input for the mobile camera image signal, which can be operatively connected to the mobile camera.
  • a mobile camera can also be designed as an endoscope mobile camera, which comprises an elongated shaft with a deflectable movable end.
  • the endoscope mobile camera is designed to detect electromagnetic radiation emitted or reflected by the object in a detection direction in the region of the deflectable movable end and to generate a mobile camera image signal.
  • the augmented reality device can have a Bluetooth interface, which is connected on the output side to the input for the mobile camera image signal.
  • the mobile camera can be connected on the output side to a Bluetooth transmission unit.
  • An image reproduction unit of a mobile tracking unit can be connected wirelessly to the augmented reality device.
  • the image display unit can be connected wirelessly to the augmented reality device via an infrared interface or via a Bluetooth interface.
  • the mobile tracking unit has wheels which are arranged in the region of a floor of a mobile tracking unit such that the mobile tracking unit is rollable on a floor.
  • the wheels of the mobile tracking unit can be locked.
  • the mobile tracking unit is preferably designed in the area of the floor in such a way that the wheels can be sunk in the floor.
  • the mobile tracking unit can have a lowering device.
  • the tracking unit can have a lowering lever that is operatively connected to the lowering device, which is pivotably arranged and is operatively connected to the wheels in such a way that the wheels can be lowered inwards in the floor of the mobile tracking unit by actuating the lowering lever by hand.
  • the mobile tracking unit is preferably designed to be able to countersink the wheels in such a way that the wheels can be completely countersunk into the interior of the tracking unit in a plane formed by the tracking unit floor.
  • the tracking unit has feet and the tracking unit is designed to sink the wheels into the interior of the tracking unit such that the feet can come into active contact with a floor.
  • An image reproduction unit of the mobile tracking unit can also be designed as a see-through head-mounted display (STHMD).
  • the augmented reality system can display a calibration mark in the see-through head-mounted display, which makes it easier for a user to align an auxiliary instruction with a viewed object.
  • FIG. 1 shows a schematic exemplary embodiment of a mobile tracking unit with an augmented reality device and an articulated arm which has a camera in the region of the end;
  • Figure 2 is a schematic representation of a mobile tracking unit with an articulated arm and a mobile camera carrier for attachment to an object and
  • Figure 3 is a schematic representation of an augmented reality device for a mobile tracking unit.
  • FIG. 1 shows a schematic illustration of a mobile tracking unit 10.
  • the tracking unit 10 has an articulated arm 20 which is arranged on an upper side of the tracking unit 10.
  • the articulated arm 20 has an articulated arm base 28 on which the articulated arm 20 is attached.
  • the articulated arm base 28 has a base swivel 32, by means of which the articulated arm base 28 is designed to be rotatable about a base rotational axis 68 and for this purpose has a base swivel 32.
  • the articulated arm base 28 is connected to the tracking unit 10 via the base swivel joint 32.
  • the base swivel joint 32 is designed in such a way that the articulated arm base 28 can rotate around the base rotation axis 68. This is indicated by the directions of rotation 53 and 54.
  • the base axis of rotation 68 is arranged perpendicular to a surface of the tracking unit 10.
  • the articulated arm 20 has a longitudinally extending rigid base member 22.
  • the rigid base member 22 has two ends, one end being connected to the articulated arm base 28 via a base pivot joint 30 such that the rigid base member 22 is pivotally connected to the articulated arm base 28 about a pivot axis running perpendicular to the base axis of rotation 68.
  • the rigid base member 22 is connected in the region of the end facing away from the articulated arm base 28 to a rigid central member 24 via a central swivel joint 34.
  • the central swivel joint 34 is designed and arranged such that the rigid central member 24 can be swiveled about a swivel axis relative to the rigid base member 22, which runs parallel to the swivel axis of the basic swivel joint 30.
  • the rigid central link 24, like the rigid base link 22, is designed to extend longitudinally and has two ends.
  • the rigid middle link 24 is connected to a rigid end link 26 in the region of the end facing away from the central joint 34 via a central swivel joint 36.
  • the rigid end member 26 is elongated and has two ends.
  • the rigid end member 26 has a camera joint 39 in the region of the end facing away from the central swivel joint 36.
  • the mobile tracking unit 10 has a camera 40 which is connected to the rigid end member 26 via the camera joint 39.
  • the camera joint 39 is connected to the rigid end member 26 in such a way that the camera 40 about an axis of rotation 46 is rotatable all around.
  • the axis of rotation 46 extends coaxially with a longitudinal axis of the rigid end member 26.
  • the camera joint 39 is also designed such that the camera 40 is connected to the rigid end member 26 so as to be pivotable about a pivot axis 44, the pivot axis 44 running perpendicular to the axis of rotation 46.
  • the camera joint 39 has a swivel joint 38, which is arranged to connect the camera 40 to the camera joint 39.
  • the camera joint 39 is designed as a U-profile with a U-profile base and two U-profile side walls.
  • the axis of rotation 46 runs through the U-profile base and the pivot axis 44 runs through the U-profile side walls.
  • Swivel directions 46 and 66 of the rigid end member 26, swivel directions 60 and 62 of the rigid central member 24 and swivel directions 58 and 56 of the rigid base member 22 are also shown.
  • the camera joint 39, the central pivot joint 36, the central pivot joint 34 and the base pivot joint 30 each have a joint sensor.
  • the joint sensor is designed to detect the angular position of a joint.
  • the swivel angle range of the central swivel joint 34 and of the base swivel joint 30 can be limited here, so that the articulated arm 20 cannot sag.
  • the swivel angle range of the swivel joint 38 about the swivel axis 44 can be limited.
  • the mobile tracking unit 10 has four wheels 14 which are arranged in the region of a floor of the mobile tracking unit 10.
  • the mobile tracking unit 10 is designed such that the wheels 14 can be lowered into the interior of the mobile tracking unit 10.
  • the mobile tracking unit 10 has a lowering lever 16 which can be pivoted about a pivot axis 18.
  • the pivot axis 18 runs parallel to the bottom of the mobile tracking unit 10.
  • the wheels 14 are operatively connected to the lowering lever 16 such that the wheels 14 can be moved upwards in a lowering direction 68 by a pivoting movement 17 of the lowering lever 16.
  • the wheels 14 can be moved in an extension direction 70 by a pivoting movement of the lowering lever 16 opposite to the pivoting direction 17.
  • the mobile tracking unit 10 can have corresponding recesses for receiving the wheels 14 in order to lower the wheels 14 in the bottom of the tracking unit.
  • the mobile tracking unit 10 is designed such that the wheels 14 can be lowered in such a way that the bottom of the mobile tracking unit 10 comes into operative contact with a floor (not shown) with the floor 14 in a lowered position. As a result, the wheels 14 are relieved and the mobile tracking unit 10 is no longer fixed in a rollable manner.
  • the mobile tracking unit 10 has an image display unit 52.
  • the image display unit 52 can be designed as a TFT display.
  • the mobile tracking unit 10 has a computer unit 48 with an augmented reality device.
  • the mobile tracking unit 10 also has an input unit 50.
  • the input unit 50 can be designed as a keyboard.
  • the image display unit 52 and the input unit 50 are connected to the computer unit 48.
  • the articulated arm 20 of the mobile tracking unit 10 also has a lamp 42.
  • the lamp 42 is arranged on the rigid end member 26, for example in the region of the free end.
  • the lamp 42 can be pivotally connected to the rigid end member 26.
  • the lamp 42 can have a halogen lamp or at least one luminescent diode.
  • the articulated arm 20 of the mobile tracking unit 10 has a probe tip 41 in the area of the free end, the end of which forms the free end of the articulated arm 20.
  • the probe tip 41 is provided for calibrating the augmented reality device.
  • FIG. 2 shows an embodiment of a mobile tracking unit 110.
  • the mobile tracking unit 110 has an articulated arm 120 which is attached to an articulated arm base 128.
  • the articulated arm base 128 is connected to the mobile tracking unit 110 and is arranged on an upper side of the mobile tracking unit 110 and connected to the latter via a base swivel 132.
  • the articulated arm base 128 has a swivel joint 130, via which a rigid base member 122 is connected to the articulated arm base 128.
  • the rigid base member 122 has a central pivot joint 134 in the region of the end facing away from the base pivot joint 130.
  • the rigid base member 122 is connected to a rigid central member 124 via the central pivot joint 134.
  • the rigid central link 124 is connected to a rigid end link 126 via a central swivel joint 136 in the region of the end facing away from the central swivel joint 134.
  • the rigid end member 126 has an image display unit 160 in the region of a free end.
  • the rigid end member 126 also has a lamp 142 in the region of the free end, which can be pivotally connected to the rigid end member 126, for example.
  • a probe tip 141 is arranged, the end of which forms the free end of the articulated arm 120.
  • the mobile tracking unit 110 also has four wheels 114, which are operatively connected to a lowering lever 116 in such a way that the wheels 114 can each be lowered into a cavity of the tracking unit 110 provided for lowering the respective wheel by pivoting the lowering lever 116.
  • the mobile tracking unit 110 also has a computer unit 148 with an augmented reality device, an input unit 150 and an image display unit 152.
  • the image display unit 152 and the input unit 150 are connected to the computer unit 148.
  • the image display unit 152 can be a TFT screen, for example.
  • the input unit 150 can be a keyboard, for example.
  • a vehicle 102 to be repaired is also shown.
  • the vehicle 102 to be repaired has a bonnet 104.
  • the bonnet 104 is shown in the open state.
  • the mobile tracking unit 110 comprises a mobile camera carrier 146.
  • the mobile camera carrier 146 is rod-shaped and has a first mobile camera 140 along a longitudinal axis in the area of a first outer third section and in the area of a second outer third section, which is opposite the first outer third section, a second mobile camera 144.
  • the first Mobile camera 140 and the second mobile camera 144 are operatively connected to the computer unit 148 and thus to the augmented reality device.
  • the computer unit 148 has a Bluetooth interface for this purpose.
  • the first mobile camera 140 and the second mobile camera 144 can be connected to the LAN interface unit at least temporarily.
  • the first mobile camera 140 and the second mobile camera 144 can each be configured as a CCD camera.
  • the mobile tracking unit 110 also comprises a mobile image display unit 162 which is connected to the mobile camera carrier 146.
  • the mobile image display unit 162 can be connected to the computer unit 148.
  • the computer unit 148 includes a Bluetooth interface or an infrared interface, which are designed to connect the computer unit 148 to the mobile image display unit 162.
  • the first mobile camera 140 and the second mobile camera 144 can each generate a camera image signal, which corresponds in each case to an image of an object, for example an engine to be repaired.
  • the detection area that is to say the detection angle and the detection direction, of the first camera 140 and the second camera 144 must first be calibrated.
  • at least one marker can be attached at a predetermined location in the engine compartment of the vehicle 102.
  • a marker can be, for example, an infrared marker or a paper marker that is printed with a specific pattern.
  • the infrared signal or the specific pattern of the paper marker can be recognized in an image captured by the camera in the camera image signal.
  • the augmented reality device can have a marker recognition unit.
  • the Marker detection unit is designed to generate a camera position signal as a function of a marker position in an image of an object and to output it on the output side.
  • FIG. 3 shows a schematic illustration of an embodiment of an augmented reality device 301 for a mobile tracking unit.
  • the augmented reality device 301 has a central processing unit 310.
  • the central processing unit 310 can be a microprocessor, for example.
  • the augmented reality device 301 has a camera 312.
  • the camera 312 has a receiver for electromagnetic radiation and is designed to detect electromagnetic radiation emitted or reflected by an object at a detection angle and to generate a camera image signal representing an image of the object.
  • the augmented reality device 301 for a tracking unit also has a camera position sensor 328.
  • the camera position sensor 328 is designed to generate a camera position signal corresponding to a detection direction of the camera and to output it on the output side.
  • the augmented reality device 301 also has joint sensors 334, 332, 330 and 336.
  • the joint sensors 334, 332, 330, 336 are each operatively connected to a swivel or swivel joint of an articulated arm and are designed to detect an angular position of the corresponding joint and to generate a joint angle signal corresponding to the angular position of the joint and to output it on the output side.
  • a joint sensor can have a rotary potentiometer which has an ohmic resistance.
  • the ohmic resistance of the rotary potentiometer is dependent on the angular position of an at least partially revolving sliding contact.
  • the sliding contact is operatively connected to the swivel or swivel joint in such a way that an angle of rotation position of a swivel or swivel joint corresponds to an angle of rotation position of the sliding contact of the rotary potentiometer.
  • the rotary potentiometer can be arranged with the rotary or swivel joint on a common shaft or, for example, be operatively connected to the rotary or swivel joint via a toothed belt.
  • An optical angle sensor is also conceivable, in which a number of photodiodes and a number of luminescent diodes corresponding to the number of photodiodes are present.
  • the photodiodes and the luminescence diodes are each arranged in such a way that exactly one photodiode is arranged in the beam path of exactly one corresponding luminescence diode.
  • the optical angle sensor has a movable cutting disc, which is arranged and designed to interrupt the beam path between at least one luminescence diode and the corresponding photodiode as a function of an angular position of the swivel or swivel joint.
  • the augmented reality device 301 also has an image display unit 314 with a touch-sensitive surface 316.
  • the touch-sensitive surface 316 is designed to generate a touch signal representing the touch location as a function of a touch at a touch location of the touch-sensitive surface 316 and to output it on the output side.
  • the augmented reality device 301 also has a 3-D database with a large number of 3-D data records.
  • the 3-D data sets as a whole represent a graphic model in three dimensions of at least parts of an object, in particular a vehicle, with its individual components.
  • the augmented reality device 301 also has a 3-D calculation unit 318, which is connected to the 3-D database 320 via a connecting line 364.
  • the 3-D calculation unit 318 is connected to the central processing unit 310 via a connecting line 362 and is designed, depending on a camera position signal, to form a 3-D auxiliary instruction signal from at least one 3-D data set signal representing a 3-D data set produce.
  • the 3-D auxiliary instruction signal represents an image in two dimensions of at least one three-dimensional object in a detection direction corresponding to the camera position signal.
  • the augmented reality device 301 also has an auxiliary instruction memory 322, which is connected to the central processing unit 310 via a bidirectional data bus 366.
  • the auxiliary instruction store 322 has a number of records.
  • a data record can be a video data record, which is a graphic information or a Represents text information.
  • a data record can be an audio data record that represents spoken language.
  • the central processing unit 310 is designed to read out an audio data record or a video data record from the auxiliary instruction memory 322 via the bidirectional data bus 366 and to generate an audio auxiliary instruction signal corresponding to the audio data record or a video auxiliary instruction signal corresponding to the video data record.
  • the augmented reality device 301 also has a voice input unit 323.
  • the voice input unit 323 is connected on the input side via a connecting line 376 to a microphone 324 and on the output side via a connecting line 374 to the central processing unit 310.
  • the microphone 324 is designed to receive airborne sound and to generate a microphone signal corresponding to the airborne sound and to output it on the output side.
  • the voice input unit 323 is designed to digitize the microphone signal and to generate an ASCII signal from the digitized microphone signal in accordance with a predetermined assignment rule and to output it on the output side.
  • the augmented reality device 301 also has an audio output unit 326.
  • the audio output unit 326 has a loudspeaker for converting an electrical signal into airborne sound and is connected on the input side to the central processing unit 310 via a connecting line 372.
  • the image display unit 314 is connected on the input side to the central processing unit 310 via a connecting line 368.
  • the touch-sensitive surface 316 is connected to the central processing unit 310 via a connecting line 370.
  • the camera position sensor 328 is connected to the central processing unit via a connecting line 352.
  • the camera 312 is connected to the central processing unit 310 via a connecting line 350.
  • the camera position sensor 328 is connected on the input side via a connecting line 360 to the joint sensor 334, on the input side via a connecting line 358 to the joint sensor 332, on the input side via a connecting line 356 to the joint sensor 330 and on the input side via a connecting line 354 to the joint sensor 336.
  • the camera 312 can generate a camera signal corresponding to an object to be detected and send it on the output side to the central processing unit 310 via the connecting line 350.
  • the camera position sensor 328 can receive an angle signal via the connecting lines 360, 358, 356 and 354, which corresponds to an articulated position of a corresponding swivel or swivel joint of an articulated arm.
  • the camera position sensor 328 can generate a camera position signal which represents a camera position in a predetermined coordinate system and a detection direction and send this to the central processing unit 310 on the output side via the connecting line 352.
  • the central processing unit 310 can send the camera position signal to the 3-D calculation unit 318 via the bidirectional connecting line 362.
  • the 3-D calculation unit 318 can read out at least one 3-D data record from the 3-D database 320 and a 3-D data record signal corresponding to the 3-D data record, depending on a user interaction signal received via the connecting line 362 produce.
  • the 3-D calculation unit is further developed to generate a 3-D auxiliary instruction signal as a function of the camera position signal and to send this to the central processing unit 310 on the output side via the bidirectional connecting line 362.
  • the central processing unit 310 can generate the user interaction signal depending on a touch signal received via the connection line 370 and send the user interaction signal via the connection line 362 to the 3-D calculation unit.
  • the 3-D data records can, for example, represent individual objects of a vehicle model.
  • a user's hand 305 may touch a location of touch-sensitive surface 316 that corresponds to a predetermined repair program.
  • the central processing unit 310 can then generate a user interaction signal which corresponds to the 3-D data records to be read out from the 3-D database 320.
  • the central processing unit 310 can generate the user interaction signal depending on the ASCII signal of the voice input unit 323 received via the connecting line 374.
  • the central processing unit 310 can read out at least one audio data record via the bidirectional data bus 366 and generate an audio auxiliary instruction signal corresponding to the audio data record and send this to the audio output unit 326 via the connecting line 372.
  • the central processing unit 310 can also read out a video data record from the auxiliary instruction memory 322 via the bidirectional data bus 366 and generate a video auxiliary instruction signal corresponding to the video data record.
  • the central processing unit 310 is designed to generate an auxiliary information image signal from the camera image signal received on the input side via the connecting line 350, the 3-D auxiliary instruction signal received via the bidirectional connecting line 362 and from the video auxiliary instruction signal such that the auxiliary information image signal represents an image in which graphic information or text information is superimposed on the image of an object.
  • the central processing unit 310 can send the auxiliary information image signal via the connecting line 368 to the image display unit 314 on the output side.
  • the camera 312 can be connected to the central processing unit 310 via a radio data interface.
  • the radio data interface is designed to transmit a camera image signal wirelessly.
  • the image display unit 314 can accordingly be connected to the central processing unit 310 via a radio data interface.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft eine mobile Trackingeinheit (10, 110). Hierzu ist - eine Kamera (40, 140, 144, 312) mit einem Empfänger für elektromagnetische Strahlung vorgesehen, welche ausgebildet ist, in einem Erfassungswinkel von einem Objekt (102) ausgesendete oder reflektierte elektromagnetische Strahlung zu erfassen und ein eine Abbildung des Objekts (102) repräsentierendes Kamera-Bildsignal zu erzeugen, und - ein Kamera-Positionssensor (328), welcher ausgebildet ist, ein einer Erfassungsrichtung der Kamera (40, 140, 144, 312) entsprechendes Kamera-Positionssignal zu erzeugen und dieses ausgangsseitig auszugeben, und - wenigstens eine Bildwiedergabeeinheit (52, 152, 314) mit einem Eingang für ein Bildsignal und - eine Augmented-Reality-Vorrichtung (301), welche eingangsseitig mit dem Kamera-Positionssensor (328) und ausgangsseitig mit der Bildwiedergabeeinheit (52, 152, 314) verbunden ist, und dass die Augmented-Reality-Vorrichtung (301) ausgebildet ist, in Abhängigkeit von dem Kamera-Positionssignal aus dem Kamera-Bildsignal ein eine Hilfsinformation repräsentierendes Hilfsinformations-Bildsignal zu erzeugen und dieses an die Bildwiedergabeeinheit (52, 152, 160, 162, 314) zu senden.

Description

Mobile Trackingeinheit
Die Erfindung betrifft eine mobile Trackingeinheit, welche eine Kamera mit einem Empfänger für elektromagnetische Strahlung aufweist. Die Kamera ist ausgebildet, in einem Erfassungswinkel von einem Objekt ausgesendete oder reflektierte elektromagnetische Strahlung zu erfassen. Die Kamera kann ein eine Abbildung des Objekts repräsentierendes Kamera-Bildsignal erzeugen.
Die Trackingeinheit'weist auch einen Kamera-Positionssensor auf, welcher ausgebildet ist, ein einer Erfassungsrichtung der Kamera entsprechendes Kamera-Positionssignal zu erzeugen und dieses ausgangsseitig auszugeben.
Die Trackingeinheit weist auch wenigstens eine Bildwiedergabeeinheit mit einem Eingang für ein Bildsignal auf.
Die Trackingeinheit weist auch eine Augmented-Reality-Vorrichtung auf, welche eingangsseitig mit dem Kamera-Positionssensor und ausgangsseitig mit der Bildwiedergabeeinheit verbunden ist. Die Augmented-Reality-Vorrichtung ist ausgebildet, in Abhängigkeit von dem Kamera-Positionssignal aus dem Kamera-Bildsignal ein eine Hilfsinformation repräsentierendes Hilfsinformations-Bildsignal zu erzeugen und dieses an die Bildwiedergabeeinheit zu senden.
Aus der WO 00/52539 ist ein Augmented-Reality-System zur situationsgerechten Unterstützung der Interaktion zwischen einem Anwender und einer technischen Vorrichtung bekannt. Das Augmented-Reality-System umfasst eine mobile Vorrichtung zum kontextabhängigen Einblenden von Montagehinweisen. Durch das kontextabhängige Einblenden von Montagehinweisen mit prozessoptimierter Vorgabe notwendiger Arbeitsschritte ergibt sich eine situationsgerechte Unterstützung von Arbeitsfolgen. Das Augmented-Reality-System der WO 00/52539 schlägt zur Visualisierung der Augmented- Reality-Information eine Datenbrille vor, welche neben einer im Bereich der Brillengläser angeordneten Anzeigevorrichtung eine Bilderfassungsvorrichtung in Form einer Kamera aufweist.
Head-Mounted-Displays haben den Nachteil, dass sie den Anwender bei einer durchzuführenden Reparatur einer Vorrichtung, insbesondere eines Kraftfahrzeugs, den Benutzer hinsichtlich Bewegungsfreiheit und Blickwinkel einschränken.
Ein weiteres Problem ist die Kalibrierung eines Augmented-Reality-Systems mit einem Head-Mounted-Display.
Der Erfindung liegt somit die Aufgabe zugrunde, ein Augmented-Reality-System mit einer einfachen Bedienbarkeit anzugeben, welches sich auch einfach kalibrieren lässt. Diese Aufgabe wird durch die erfindungsgemäße Trackingeinheit mit einem Augmented-Reality- System der eingangs genannten Art gelöst.
In einer bevorzugten Ausführungsform weist die mobile Trackingeinheit einen Gelenkarm auf. Der Gelenkarm setzt an einer Gelenkarmbasis mit einem Basisgelenk an. Die Gelenkarmbasis ist mit der Trackingeinheit verbunden und der Gelenkarm weist ein freies Gelenkarmende auf, wobei die Kamera im Bereich des freien Endes angeordnet ist. Der Gelenkarm weist zwischen der Gelenkarmbasis und dem freien Ende wenigstens ein Mittelgelenk auf. Der Positionssensor ist mit dem Basisgelenk der Gelenkarmbasis und mit dem Mittelgelenk wirkverbunden und ausgebildet, eine Basisgelenkstellung und eine Mittelgelenkstellung zu erfassen und das Kamera-Positionssignal in Abhängigkeit von der Basisgelenkstellung und der Mittelgelenkstellung zu erzeugen. Dadurch ist die Kameraposition exakt erfassbar, so dass die Augmented-Reality-Vorrichtung ein der Erfassungsrichtung entsprechendes Hilfsinformations-Bildsignal erzeugen kann.
Alternativ zu dem Gelenkarm kann eine Augmented-Reality-Vorrichtung auch einen Kamera- Positionssensor mit einem Laser-Interferometer aufweisen. Der Kamera-Positionssensor mit einem Laser-Interferometer ist ausgebildet, aus der Interferenz eines gesendeten und zurückreflektierten Laserstrahls eine Entfernung zu einem Objekt zu bestimmen. Bevorzugt weist ein Kamera-Positionssensor mit einem Laser-Interferometer eine Kalibriervorrichtung auf, welche ausgebildet ist, vorbestimmte Kalibrierorte anzumessen und nach Anmessen der Kalibrierorte eine Kameraposition in einem Koordinatensystem festzulegen. Alternativ zu dem Laser-Interferometer kann ein Kamera-Positionssensor ein Ultraschall- Interferometer zur Positionsbestimmung aufweisen.
In einer bevorzugten Ausführungsform der Trackingeinheit weist der Gelenkarm ein erstes Mittelgelenk und ein zweites Mittelgelenk auf, welche jeweils als Schwenkgelenk ausgebildet sind. Ein Gelenkarm mit zwei Mittelgelenken ist vorteilhaft flexibel verstellbar. Weiter kann der Gelenkarm im Bereich des freien Endes ein Kameragelenk aufweisen, über welches die Kamera mit dem Gelenkarm verbunden ist. Dadurch kann die Kamera bei einer vorbestimmten Gelenkarmposition in verschiedene Erfassungsrichtungen bewegt werden.
Die Augmented-Reality-Vorrichtung ist bevorzugt zum Kalibrieren einer Gelenkarmposition ausgebildet.
In einer bevorzugten Ausführungsform weist der Gelenkarm eine Tastspitze auf, welche das freie Ende bildet. Die Tastspitze erleichtert vorteilhaft das Kalibrieren der Augmented- Reality-Vorrichtung. Beispielsweise kann an einem Fahrzeug im Bereich des Motorraums die Tastspitze an vorbestimmte Orte der Fahrzeugkarosserie zum Kalibrieren der Augmented- Reality-Vorrichtung gebracht werden. Solche Kalibrierorte können beispielsweise die Dom- Lager oder das Haubenschloss sein.
In einer alternativen Ausführungsform zu einer Kalibrierung mit Hilfe einer Tastspitze kann die Augmented-Reality-Vorrichtung zum berührungslosen Kalibrieren der Gelenkarmposition ausgebildet sein. Eine solche berührungslose Kalibrierung kann beispielsweise mit einem Laser-Interferometer oder einem Ultraschall-Interferometer erfolgen, welche Bestandteil der Augmented-Reality-Vorrichtung und somit der Trackingeinheit sein können.
In einer bevorzugten Ausführungsform weist die Augmented-Reality-Vorrichtung der mobilen Trackingeinheit eine 3-D-Datenbank mit einer Vielzahl von 3-D-Datensätzen auf, welche in ihrer Gesamtheit ein graphisches Modell in drei Dimensionen wenigstens von Teilen eines Fahrzeugs mit seinen Einzelkomponenten repräsentieren.
In einer bevorzugten Ausführungsvariante weist die Augmented-Reality-Vorrichtung ein mit der 3-D-Datenbank verbundenes VRML(Virtual Reality Modelling Language)-Modul auf. Das VRML-Modul ist ausgebildet, das Hilfsinformations-Bildsignal wenigstens teilweise aus mindestens einem 3-D-Datensatz in Abhängigkeit von dem Kamera-Positionssignal zu erzeugen. Durch die Anbindung der 3-D-Datenbank kann vorteilhaft die Ansicht eines jeden Bauteils oder einer Gruppe von Bauteilen aus einer vorbestimmten Blickrichtung heraus errechnet werden.
Das VRML-Modul kann somit eine dreidimensionale Ansicht zur Darstellung in einer zweidimensionalen Ebene, insbesondere einer Bildwiedergabeeinheit, von wenigstens einem oder von mehreren Fahrzeugkomponenten für eine Kameraposition erzeugen.
Beispielsweise kann für eine Reparatur von vorbestimmten Motorteilen eine Auswahl der zu lösenden oder auszutauschenden Teile in einer entsprechenden Reihenfolge von dem VRML-Modul aus der 3-D-Datenbank ausgelesen werden und eine Ansicht dieser Teile für eine vorbestimmte Kameraposition errechnet werden.
Die Augmented-Reality-Vorrichtung kann dann das Hilfsinformations-Bildsignal aus dem Kamera-Bildsignal und aus einem Ausgangssignal des VRML-Moduls erzeugen. Das Hilfsinformations-Bildsignal kann beispielsweise Informationen über ein Drehmoment einer festzuziehenden Schraubverbindung enthalten.
In einer bevorzugten Ausführungsform weist die Augmented-Reality-Vorrichtung eine Spracheingabeeinheit auf und ist durch die Spracheingabeeinheit steuerbar ausgebildet. Durch eine Spracheingabeeinheit hat ein Benutzer beim Arbeiten mit der mobilen Trackingeinheit beide Hände frei für zu verrichtende Tätigkeiten.
In einer vorteilhaften Ausführungsform weist die Augmented-Reality-Vorrichtung eine Sprachausgabeeinheit auf, welche ausgebildet ist, ein eine gesprochene Sprache repräsentierendes Sprach-Hilfsanweisungssignal hörbar auszugeben. Durch ein Sprach- Hilfsanweisungssignal kann vorteilhaft eine interaktive Benutzung der mobilen Trackingeinheit ermöglicht werden.
Bevorzugt ist die Augmented-Reality-Vorrichtung ausgebildet, ein eine graphische Information oder Textinformation repräsentierendes Video-Hilfsanweisungssignal zu erzeugen und aus dem Kamera-Bildsignal und dem Hilfsanweisungssignal das Hilfsinformations-Bildsignal derart zu erzeugen, dass das Hilfsinformations-Bildsignal eine Abbildung repräsentiert, bei welcher die graphische Information oder Textinformation der Abbildung des Objekts überlagert ist. Das Video-Hilfsanweisungssignal kann beispielsweise Hilfsanweisungen für vorbestimmte Reparaturschritte repräsentieren. Das Video-Hilfsanweisungssignal kann beispielsweise eine errechnete Ansicht von Fahrzeugkomponenten aus einer vorbestimmten Erfassungsrichtung der Kamera enthalten. Dazu kann das Video-Hilfsanweisungssignal Teile des Ausgangssignals des VRML-Moduls enthalten oder ein Ausgangssignal des VRML-Moduls selbst repräsentieren.
In einer anderen Ausführungsform weist die Augmented-Reality-Vorrichtung einen mobilen Kameraträger zum Anbringen an einem Objekt auf, wobei der mobile Kameraträger wenigstens eine Mobilkamera mit einem Empfänger für elektromagnetische Strahlung aufweist. Die Mobilkamera ist ausgebildet, in einer Erfassungsrichtung von dem Objekt ausgesendete oder reflektierte elektromagnetische Strahlung zu erfassen und ein Mobilkamera-Bildsignal zu erzeugen. Das Mobilkamera-Bildsignal repräsentiert eine Abbildung wenigstens eines Teils des Objekts. Die Augmented-Reality-Vorrichtung weist einen Eingang für das Mobilkamera-Bildsignal auf, welcher mit der Mobilkamera -wirkverbunden sein kann.
Eine Mobilkamera kann auch als Endoskop-Mobilkamera ausgebildet sein, welche einen langgestreckten Schaft mit einem auslenkbar beweglichen Ende umfasst. Die Endoskop- Mobilkamera ist ausgebildet, im Bereich des auslenkbar beweglichen Endes in einer Erfassungsrichtung von dem Objekt ausgesendete oder reflektierte elektromagnetische Strahlung zu erfassen und ein Mobilkamera-Bildsignal zu erzeugen.
Beispielsweise kann die Augmented-Reality-Vorrichtung eine Bluetooth-Schnittstelle aufweisen, welche ausgangsseitig mit dem Eingang für das Mobilkamera-Bildsignal verbunden ist. Die Mobilkamera kann ausgangsseitig mit einer Bluetooth-Sendeeinheit verbunden sein.
Eine Bildwiedergabeeinheit einer mobilen Trackingeinheit kann schnurlos mit der Augmented-Reality-Vorrichtung verbunden sein. Beispielsweise kann die Bildwiedergabeeinheit über eine Infrarot-Schnittstelle oder über eine Bluetooth-Schnittstelle mit der Augmented-Reality-Vorrichtung schnurlos verbunden sein.
In einer bevorzugten Ausführungsform weist die mobile Trackingeinheit Räder auf, welche im Bereich eines Bodens einer mobilen Trackingeinheit derart angeordnet sind, dass die mobile Trackingeinheit auf einem Boden rollbar ist. Beispielsweise können die Räder der mobilen Trackingeinheit arretierbar sein.
Bevorzugt ist die mobile Trackingeinheit im Bereich des Bodens derart ausgebildet, dass die Räder in dem Boden versenkt werden können. Dazu kann die mobile Trackingeinheit eine Versenkvorrichtung aufweisen.
Beispielsweise kann die Trackingeinheit einen mit der Versenkvorrichtung wirkverbundenen Versenkhebel aufweisen, welcher derart schwenkbar angeordnet und mit den Rädern wirkverbunden ist, dass die Räder durch eine Betätigung des Versenkhebels von Hand in dem Boden der mobilen Trackingeinheit nach innen versenkt werden können.
Bevorzugt ist die mobile Trackingeinheit ausgebildet, die Räder derart versenken zu können, dass die Räder in einer durch den Trackingeinheitboden gebildeten Ebene vollständig ins Innere der Trackingeinheit versenkbar sind.
In einer dazu alternativen Ausführungsform weist die Trackingeinheit Standfüße auf und die Trackingeinheit ist ausgebildet, die Räder derart ins Innere der Trackingeinheit zu versenken, dass die Standfüße mit einem Fußboden in Wirkkontakt geraten können.
Eine Bildwiedergabeeinheit der mobilen Trackingeinheit kann auch als See-Through-Head- Mounted-Display (STHMD) ausgebildet sein. Das Augmented-Reality-System kann eine Kalibriermarke in das See-Through-Head-Mounted-Display einblenden, was es einem Benutzer erleichtert, eine Hilfsanweisung mit einem gesehenen Objekt in Deckung zu bringen.
Weitere bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den übrigen, in den Unteransprüchen genannten Merkmalen.
Die Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen Zeichnungen erläutert. Es zeigen:
Figur 1 ein schematisches Ausführungsbeispiel einer mobilen Trackingeinheit mit einer Augmented-Reality-Vorrichtung und einem Gelenkarm, welcher im Bereich des Endes eine Kamera aufweist; Figur 2 eine schematische Darstellung einer mobilen Trackingeinheit mit einem Gelenkarm und einem mobilen Kameraträger zum Anbringen an einem Objekt und
Figur 3 eine schematische Darstellung einer Augmented-Reality-Vorrichtung für eine mobile Trackingeinheit.
Figur 1 zeigt eine schematische Darstellung einer mobilen Trackingeinheit 10. Die Trackingeinheit 10 weist einen Gelenkarm 20 auf, welcher an einer Oberseite der Trackingeinheit 10 angeordnet ist. Der Gelenkarm 20 weist eine Gelenkarmbasis 28 auf, an welcher der Gelenkarm 20 angesetzt ist. Die Gelenkarmbasis 28 weist ein Basisdrehgelenk 32 auf, über welches die Gelenkarmbasis 28 um eine Basisdrehachse 68 drehbar ausgebildet ist und weist dazu ein Basisdrehgelenk 32 auf. Die Gelenkarmbasis 28 ist über das Basisdrehgelenk 32 mit der Trackingeinheit 10 verbunden. Das Basisdrehgelenk 32 ist derart ausgebildet, dass die Gelenkarmbasis 28 um die Basisdrehachse 68 umlaufend drehbar ist. Dies ist durch die Drehrichtungen 53 und 54 angedeutet. Die Basisdrehachse 68 ist senkrecht zu einer Oberfläche der Trackingeinheit 10 angeordnet. Der Gelenkarm 20 weist ein sich längs erstreckendes starres Basisglied 22 auf. Das starre Basisglied 22 weist zwei Enden auf, wobei ein Ende über ein Basisschwenkgelenk 30 mit der Gelenkarmbasis 28 derart verbunden ist, dass das starre Basisglied 22 um eine senkrecht zur Basisdrehachse 68 verlaufende Schwenkachse schwenkbar mit der Gelenkarmbasis 28 verbunden ist. Das starre Basisglied 22 ist im Bereich des von der Gelenkarmbasis 28 abgewandeten Endes mit einem starren Mittelglied 24 über ein Mittelschwenkgelenk 34 verbunden. Das Mittelschwenkgelenk 34 ist derart ausgebildet und angeordnet, dass das starre Mittelglied 24 um eine Schwenkachse relativ zu dem starren Basisglied 22 schwenkbar ist, welche parallel zur Schwenkachse des Basisschwenkgelenks 30 verläuft. Das starre Mittelglied 24 ist ebenso wie das starre Basisglied 22 längs erstreckt ausgebildet und weist zwei Enden auf. Das starre Mittelglied 24 ist im Bereich des von dem Mittelgelenk 34 abgewandten Endes über ein Mittelschwenkgelenk 36 mit einem starren Endglied 26 verbunden. Das starre Endglied 26 ist längs gestreckt ausgebildet und weist zwei Enden auf. Das starre Endglied 26 weist im Bereich des von dem Mittelschwenkgelenk 36 abgewandten Endes ein Kameragelenk 39 auf.
Die mobile Trackingeinheit 10 weist eine Kamera 40 auf, welche über das Kameragelenk 39 mit dem starren Endglied 26 verbunden ist. Das Kameragelenk 39 ist derart mit dem starren Endglied 26 verbunden und ausgebildet, dass die Kamera 40 um eine Drehachse 46 umlaufend drehbar ist. Die Drehachse 46 verläuft koaxial zu einer Längsachse des starren Endglieds 26.
Das Kameragelenk 39 ist auch derart ausgebildet, dass die Kamera 40 um eine Schwenkachse 44 schwenkbar mit dem starren Endglied 26 verbunden ist, wobei die Schwenkachse 44 senkrecht zur Drehachse 46 verläuft. Dazu weist das Kameragelenk 39 ein Schwenkgelenk 38 auf, welches angeordnet ist, die Kamera 40 mit dem Kameragelenk 39 zu verbinden. In diesem Ausführungsbeispiel ist das Kameragelenk 39 als U-Profil mit einem U-Profilboden und zwei U-Profilseitenwänden ausgebildet. In diesem Ausführungsbeispiel verläuft die Drehachse 46 durch den U-Profilboden und die Schwenkachse 44 verläuft durch die U-Profilseitenwände.
Dargestellt sind auch Schwenkrichtungen 46 und 66 des starren Endglieds 26, Schwenkrichtungen 60 und 62 des starren Mittelglieds 24 und Schwenkrichtungen 58 und 56 des starren Basisglieds 22.
Das Kameragelenk 39, das Mittelschwenkgelenk 36, das Mittelschwenkgelenk 34 und das Basisschwenkgelenk 30 weisen jeweils einen Gelenksensor auf. Der Gelenksensor ist ausgebildet, die Winkelstellung eines Gelenks zu erfassen.
Der Schwenkwinkelbereich des Mittelschwenkgelenks 34 und des Basisschwenkgelenks 30 kann hierbei begrenzt sein, so dass der Gelenkarm 20 nicht durchsacken kann.
Der Schwenkwinkelbereich des Schwenkgelenks 38 um die Schwenkachse 44 kann begrenzt sein.
Die mobile Trackingeinheit 10 weist vier Räder 14 auf, welche im Bereich eines Bodens der mobilen Trackingeinheit 10 angeordnet sind. Die mobile Trackingeinheit 10 ist so ausgebildet, dass die Räder 14 ins Innere der mobilen Trackingeinheit 10 versenkbar sind. Dazu weist die mobile Trackingeinheit 10 einen Versenkhebel 16 auf, welcher um eine Schwenkachse 18 geschwenkt werden kann. Die Schwenkachse 18 verläuft parallel zu dem Boden der mobilen Trackingeinheit 10. Die Räder 14 sind mit dem Versenkhebel 16 derart wirkverbunden, dass die Räder 14 durch eine Schwenkbewegung 17 des Versenkhebels 16 in eine Versenkrichtung 68 nach oben bewegt werden können. Durch eine zur Schwenkrichtung 17 entgegengesetzte Schwenkbewegung des Versenkhebels 16 können die Räder 14 in eine Ausfahrrichtung 70 bewegt werden. Beispielsweise kann die mobile Trackingeinheit 10 zum Versenken der Räder 14 im Boden der Trackingeinheit entsprechende Ausnehmungen zur Aufnahme der Räder 14 aufweisen.
Die mobile Trackingeinheit 10 ist ausgebildet, dass die Räder 14 derart versenkbar sind, dass der Boden der mobilen Trackingeinheit 10 in einer Versenkstellung der Räder 14 mit einem - nicht dargestellten - Fußboden in Wirkkontakt geraten. Dadurch sind die Räder 14 entlastet und die mobile Trackingeinheit 10 ist nicht mehr verrollbar fixiert.
Die mobile Trackingeinheit 10 weist, eine Bildwiedergabeeinheit 52 auf. Die Bildwiedergabeeinheit 52 kann als TFT-Display ausgebildet sein. Die mobile Trackingeinheit 10 weist eine Rechnereinheit 48 mit einer Augmented-Reality-Vorrichtung auf.
Die mobile Trackingeinheit 10 weist auch eine Eingabeeinheit 50 auf. Die Eingabeeinheit 50 kann als Tastatur ausgebildet sein.
Die Bildwiedergabeeinheit 52 und die Eingabeeinheit 50 sind mit der Rechnereinheit 48 verbunden.
Der Gelenkarm 20 der mobilen Trackingeinheit 10 weist auch eine Leuchte 42 auf. Die Leuchte 42 ist an dem starren Endglied 26, beispielsweise im Bereich des freien Endes angeordnet. Die Leuchte 42 kann mit dem starren Endglied 26 schwenkbar verbunden sein. Die Leuchte 42 kann eine Halogenlampe oder wenigstens eine Lumineszenzdiode aufweisen.
Der Gelenkarm 20 der mobilen Trackingeinheit 10 weist im Bereich des freien Endes eine Tastspitze 41 auf, deren Ende das freie Ende des Gelenkarms 20 bildet. Die Tastspitze 41 ist zum Kalibrieren der Augmented-Reality-Vorrichtung vorgesehen.
Figur 2 zeigt eine Ausführungsform einer mobilen Trackingeinheit 110. Die mobile Trackingeinheit 110 weist einen Gelenkarm 120 auf, welcher an einer Gelenkarmbasis 128 angesetzt ist. Die Gelenkarmbasis 128 ist mit der mobilen Trackingeinheit 110 verbunden und ist an einer Oberseite der mobilen Trackingeinheit 110 angeordnet und mit dieser über ein Basisdrehgelenk 132 verbunden. Die Gelenkarmbasis 128 weist ein Schwenkgelenk 130 auf, über welches ein starres Basisglied 122 mit der Gelenkarmbasis 128 verbunden ist.
Das starre Basisglied 122 weist im Bereich des von dem Basisschwenkgelenk 130 abgewandten Endes ein Mittelschwenkgelenk 134 auf. Das starre Basisglied 122 ist über das Mittelschwenkgelenk 134 mit einem starren Mittelglied 124 verbunden. Das starre Mittelglied 124 ist über ein Mittelschwenkgelenk 136 im Bereich des von dem Mittelschwenkgelenk 134 abgewandten Endes mit einem starren Endglied 126 verbunden.
Das starre Endglied 126 weist im Bereich eines freien Endes eine Bildwiedergabeeinheit 160 auf. Das starre Endglied 126 weist auch im Bereich des freien Endes eine Leuchte 142 auf, welche beispielsweise schwenkbar mit dem starren Endglied 126 verbunden sein kann. Im Bereich des freien Endes des starren Endglieds 126 ist eine Tastspitze 141 angeordnet, deren Ende das freie Ende des Gelenkarms 120 bildet.
Die mobile Trackingeinheit 110 weist auch vier Räder 114 auf, welche mit einem Versenkhebel 116 derart wirkverbunden sind, dass die Räder 114 durch eine Schwenkbewegung des Versenkhebels 116 jeweils in einem zum Versenken des jeweiligen Rades vorgesehenen Hohlraum der Trackingeinheit 110 versenkt werden können.
Die mobile Trackingeinheit 110 weist auch eine Rechnereinheit 148 mit einer Augmented- Reality-Vorrichtung, einer Eingabeeinheit 150 und einer Bildwiedergabeeinheit 152 auf.
Die Bildwiedergabeeinheit 152 und die Eingabeeinheit 150 sind mit der Rechnereinheit 148 verbunden. Die Bildwiedergabeeinheit 152 kann beispielsweise ein TFT-Bildschirm sein. Die Eingabeeinheit 150 kann beispielsweise eine Tastatur sein.
Dargestellt ist auch ein zu reparierendes Fahrzeug 102. Das zu reparierende Fahrzeug 102 weist eine Motorhaube 104 auf. Die Motorhaube 104 ist in geöffnetem Zustand dargestellt.
Die mobile Trackingeinheit 110 umfasst in dieser Ausführungsform einen mobilen Kameraträger 146. Der mobile Kameraträger 146 ist stabförmig ausgebildet und weist entlang einer Stablängsachse im Bereich eines ersten äußeren Drittelabschnitts eine erste Mobilkamera 140 und im Bereich eines zweiten äußeren Drittelabschnitts, welcher den ersten äußeren Drittelabschnitt gegenüberliegt, eine zweite Mobilkamera 144 auf. Die erste Mobilkamera 140 und die zweite Mobilkamera 144 sind mit der Rechnereinheit 148 und somit mit der Augmented-Reality-Vorrichtung wirkverbunden.
Beispielsweise weist die Rechnereinheit 148 dazu eine Bluetooth-Schnittstelle auf. Alternativ zu der Bluetooth-Schnittstelle kann die Rechnereinheit 148 eine LAN-Schnittstelleneinheit (LAN = Local Area Network) aufweisen.
Die erste Mobilkamera 140 und die zweite Mobilkamera 144 können in diesem Ausführungsbeispiel mit der LAN-Schnittstelleneinheit wenigstens zeitweise verbunden sein. Die erste Mobilkamera 140 und die zweite Mobilkamera 144 können jeweils CCD-Kamera ausgebildet sein.
Die mobile Trackingeinheit 110 umfasst auch eine mobile Bildwiedergabeeinheit 162, welche mit dem mobilen Kameraträger 146 verbunden ist.
Die mobile Bildwiedergabeeinheit 162 kann mit der Rechnereinheit 148 verbunden sein. Beispielsweise umfasst die Rechnereinheit 148 dazu eine Bluetooth-Schnittstelle oder eine Infrarot-Schnittstelle, welche ausgebildet sind, die Rechnereinheit 148 mit der mobilen Bildwiedergabeeinheit 162 zu verbinden.
Die Infrarot-Schnittstelleineinheit kann beispielsweise gemäß der IRDA-Norm (IRDA = infrared Data Association) ausgebildet sein.
Im Anwendungsfall können beispielsweise die erste Mobilkamera 140 und die zweite Mobilkamera 144 jeweils ein Kamera-Bildsignal erzeugen, welches jeweils eine Abbildung eines Objekts, beispielsweise eines zu reparierenden Motors, entspricht.
Zum Anwenden einer Augmented-Reality-Vorrichtung mit einem mobilen Kameraträger 146 muss zunächst der Erfassungsbereich, das heißt der Erfassungswinkel und die Erfassungsrichtung, der ersten Kamera 140 und der zweiten Kamera 144 kalibriert werden. Dazu kann beispielsweise an einem vorbestimmten Ort im Motorraum des Fahrzeugs 102 wenigstens ein Marker angebracht werden. Ein solcher Marker kann beispielsweise ein Infrarot-Marker sein oder ein Papiermarker, welcher mit einem spezifischen Muster bedruckt ist. Das Infrarot-Signal oder das spezifische Muster des Papiermarkers können in einer von der Kamera erfassten Abbildung in dem Kamera-Bildsignal wiedererkannt werden. Dazu kann die Augmented-Reality-Vorrichtung eine Marker-Erkennungseinheit aufweisen. Die Marker-Erkennungseinheit ist ausgebildet, in Abhängigkeit von einer Markerposition in einer Abbildung eines Objekts ein Kamera-Positionssignal zu erzeugen und dieses ausgangsseitig auszugeben.
Figur 3 zeigt eine schematische Darstellung einer Ausführungsform einer Augmented- Reality-Vorrichtung 301 für eine mobile Trackingeinheit. Die Augmented-Reality-Vorrichtung 301 weist eine zentrale Verarbeitungseinheit 310 auf. Die zentrale Verarbeitungseinheit 310 kann beispielsweise ein Mikroprozessor sein. Die Augmented-Reality-Vorrichtung 301 weist eine Kamera 312 auf. Die Kamera 312 weist einen Empfänger für elektromagnetische Strahlung auf und ist ausgebildet, in einem Erfassungswinkel von einem Objekt ausgesendete oder reflektierte elektromagnetische Strahlung zu erfassen und ein eine Abbildung des Objekts repräsentierendes Kamera-Bildsignal zu erzeugen.
Die Augmented-Reality-Vorrichtung 301 für eine Trackingeinheit weist auch einen Kamera- Positionssensor 328 auf. Der Kamera-Positionssensor 328 ist ausgebildet ein einer Erfassungsrichtung der Kamera entsprechendes Kamera-Positionssignal zu erzeugen und dieses ausgangsseitig auszugeben.
Die Augmented-Reality-Vorrichtung 301 weist auch Gelenksensoren 334, 332, 330 und 336 auf. Die Gelenksensoren 334, 332, 330, 336 sind jeweils mit einem Schwenk- oder Drehgelenk eines Gelenkarms wirkverbunden und ausgebildet sind, eine Winkelstellung des entsprechenden Gelenkes zu erfassen und ein der Winkelstellung des Gelenkes entsprechendes Gelenkwinkelsignal zu erzeugen und dieses ausgangsseitig auszugeben.
Beispielsweise kann ein Gelenksensor ein Drehpotentiometer aufweisen, welches einen Ohm'schen Widerstand aufweist. Der Ohm'sche Widerstand des Drehpotentiometers ist abhängig von einer Winkelstellung eines wenigstens teilweise umlaufenden Schleifkontakts. Der Schleifkontakt ist mit dem Dreh- oder Schwenkgelenk derart wirkverbunden, dass eine Drehwinkelstellung eines Dreh- oder Schwenkgelenks einer Drehwinkelstellung des Schleifkontakts des Drehpotentiometers entspricht.
Das Drehpotentiometer kann mit dem Dreh- oder Schwenkgelenk auf einer gemeinsamen Welle angeordnet sein oder beispielsweise über einen Zahnriemen mit dem Dreh- oder Schwenkgelenk wirkverbunden sein. Denkbar ist auch ein optischer Winkelsensor, bei welchem eine Anzahl von Fotodioden und eine der Anzahl der Fotodioden entsprechende Anzahl von Lumineszenzdioden aufweist. Die Fotodioden und die Lumineszenzdioden sind jeweils derart angeordnet, dass genau eine Fotodioden im Strahlengang genau einer entsprechenden Lumineszenzdiode angeordnet ist.
Der optische Winkelsensor weist eine bewegliche Trennscheibe auf, welche angeordnet und ausgebildet ist, den Strahlengang zwischen wenigstens einer Lumineszenzdiode und der entsprechenden Fotodiode in Abhängigkeit von einer Winkelstellung des Dreh- oder Schwenkgelenks zu unterbrechen.
Die Augmented-Reality-Vorrichtung 301 weist auch eine Bildwiedergabeeinheit 314 mit einer berührungsempfindlichen Oberfläche 316 auf. Die berührungsempfindliche Oberfläche 316 ist ausgebildet, in Abhängigkeit von einer Berührung an einem Berührungsort der berührungsempfindlichen Oberfläche 316 ein den Berührungsort repräsentierendes Berührungssignal zu erzeugen und dieses ausgangsseitig auszugeben.
Die Bildwiedergabeeinheit 314 kann als TFT-Display ausgebildet sein (TFT-Display = Thin- Film-Transistor-Display).
Die Augmented-Reality-Vorrichtung 301 weist auch eine 3-D-Datenbank mit einer Vielzahl von 3-D-Datensätzen auf. Die 3-D-Datensätze repräsentieren in ihrer Gesamtheit ein graphisches Modell in drei Dimensionen wenigstens von Teilen eines Objekts, insbesondere eines Fahrzeugs, mit seinen Einzelkomponenten. Die Augmented-Reality-Vorrichtung 301 weist auch eine 3-D-Berechnungseinheit 318 auf, welche mit der 3-D-Datenbank 320 über eine Verbindungsleitung 364 verbunden ist. Die 3-D-Berechnungseinheit 318 ist über eine Verbindungsleitung 362 mit der zentralen Verarbeitungseinheit 310 verbunden und ausgebildet, in Abhängigkeit von einem Kamera-Positionssignal aus wenigstens einem einen 3-D-Datensatz repräsentierenden 3-D-Datensatzsignal ein 3-D-Hilfsanweisungssignal zu erzeugen. Das 3-D-Hilfsanweisungssignal repräsentiert eine Abbildung in zwei Dimensionen wenigstens eines dreidimensionalen Objekts in einer dem Kamera-Positionssignal entsprechenden Erfassungsrichtung.
Die Augmented-Reality-Vorrichtung 301 weist auch einen Hilfsanweisungsspeicher 322 auf, welcher über eine bidirektionalen Datenbus 366 mit der zentralen Verarbeitungseinheit 310 verbunden ist. Der Hilfsanweisungsspeicher 322 weist eine Anzahl von Datensätzen auf. Ein Datensatz kann ein Video-Datensatz sein, welcher eine graphische Information oder eine Textinformation repräsentiert. Ein Datensatz kann alternativ dazu ein Audio-Datensatz sein, welcher gesprochene Sprache repräsentiert. Die zentrale Verarbeitungseinheit 310 ist ausgebildet, über den bidirektionalen Datenbus 366 einen Audio-Datensatz oder einen Video-Datensatz aus dem Hilfsanweisungsspeicher 322 auszulesen und ein dem Audio- Datensatz entsprechendes Audio-Hilfsanweisungssignal oder ein dem Video-Datensatz entsprechendes Video-Hilfsanweisungssignal zu erzeugen.
Die Augmented-Reality-Vorrichtung 301 weist auch eine Spracheingabeeinheit 323 auf. Die Spracheingabeeinheit 323 ist eingangsseitig über eine Verbindungsleitung 376 mit einem Mikrophon 324 und ausgangsseitig über eine Verbindungsleitung 374 mit der zentralen Verarbeitungseinheit 310 verbunden. Das Mikrophon 324 ist ausgebildet, Luftschall zu empfangen und ein dem Luftschall entsprechendes Mikrophon-Signal zu erzeugen und dieses ausgangsseitig auszugeben.
Die Spracheingabeeinheit 323 ist ausgebildet, das Mikrophon-Signal zu digitalisieren und gemäß einer vorbestimmten Zuordnungsvorschrift aus dem digitalisierten Mikrophon-Signal ein ASCII-Signal zu erzeugen und ausgangsseitig auszugeben. Das ASCII-Signal repräsentiert eine Textinformation (ASCII = American Standard Code for Information Interchange).
Die Augmented-Reality-Vorrichtung 301 weist auch eine Audio-Ausgabeeinheit 326 auf. Die Audio-Ausgabeeinheit 326 weist einen Lautsprecher zur Wandlung eines elektrischen Signals in Luftschall auf und ist eingangsseitig über eine Verbindungsleitung 372 mit der zentralen Verarbeitungseinheit 310 verbunden.
Die Bildwiedergabeeinheit 314 ist über eine Verbindungsleitung 368 eingangsseitig mit der zentralen Verarbeitungseinheit 310 verbunden.
Die berührungsempfindliche Oberfläche 316 ist ausgangsseitig über eine Verbindungsleitung 370 mit der zentralen Verarbeitungseinheit 310 verbunden.
Der Kamera-Positionssensor 328 ist ausgangsseitig über eine Verbindungsleitung 352 mit der zentralen Verarbeitungseinheit verbunden.
Die Kamera 312 ist ausgangsseitig über eine Verbindungsleitung 350 mit der zentralen Verarbeitungseinheit 310 verbunden. Der Kamera-Positionssensor 328 ist eingangsseitig über eine Verbindungsleitung 360 mit dem Gelenksensor 334, eingangsseitig über eine Verbindungsleitung 358 mit dem Gelenksensor 332, eingangsseitig über eine Verbindungsleitung 356 mit dem Gelenksensor 330 und eingangsseitig über eine Verbindungsleitung 354 mit dem Gelenksensor 336 verbunden.
Die Funktionsweise der Augmented-Reality-Vorrichtung 301 soll nun im Folgenden erläutert werden:
Die Kamera 312 kann ein einem zu erfassenden Objekt entsprechendes Kamera-Signal erzeugen und dieses ausgangsseitig über die Verbindungsleitung 350 an die zentrale Verarbeitungseinheit 310 senden.
Der Kamera-Positionssensor 328 kann über die Verbindungsleitungen 360, 358, 356 und 354 jeweils ein Winkelsignal empfangen, welches einer Gelenkstellung eines entsprechenden Dreh- oder Schwenkgelenks eines Gelenkarmes entspricht.
Der Kamera-Positionssensor 328 kann in Abhängigkeit von den Winkelsignalen ein Kamera- Positionssignal erzeugen, welches eine Kameraposition in einem vorbestimmten Koordinatensystem und eine Erfassungsrichtung repräsentiert und dieses ausgangsseitig über die Verbindungsleitung 352 an die zentrale Verarbeitungseinheit 310 senden.
Die zentrale Verarbeitungseinheit 310 kann das Kamera-Positionssignal über die bidirektionale Verbindungsleitung 362 an die 3-D-Berechnungseinheit 318 senden. Die 3-D- Berechnungseinheit 318 kann in Abhängigkeit von einem über die Verbindungsleitung 362 empfangenen Benutzer-Interaktionssignal wenigstens einen 3-D-Datensatz aus der 3-D- Datenbank 320 auslesen und ein dem 3-D-Datensatz entsprechendes 3-D-Datensatzsignal erzeugen.
Die 3-D-Berechnungseinheit ist weiter ausgebildet, in Abhängigkeit von dem Kamera- Positionssignal ein 3-D-Hilfsanweisungssignal zu erzeugen und dieses ausgangsseitig über die bidirektionale Verbindungsleitung 362 an die zentrale Verarbeitungseinheit 310 zu senden. Die zentrale Verarbeitungseinheit 310 kann das Benutzer-Interaktionssignal in Abhängigkeit von einem über die Verbindungsleitung 370 empfangenen Berührungssignal erzeugen und das Benutzer-Interaktionssignal über die Verbindungsleitung 362 an die 3-D-Berechnungseinheit senden.
Die 3-D-Datensätze können beispielsweise einzelne Objekte eines Fahrzeugmodells repräsentieren. Beispielsweise kann die Hand eines Benutzers 305 einen Ort der Berührungsempfindlichen Oberfläche 316 berühren, welcher einem vorbestimmten Reparaturprogramm entspricht. Die zentrale Verarbeitungseinheit 310 kann daraufhin ein Benutzer-Interaktionssignal erzeugen, welches aus der 3-D-Datenbank 320 auszulesenden 3-D-Datensätzen entspricht.
Alternativ zu dem Berührungssignal kann die zentrale Verarbeitungseinheit 310 das Benutzer-Interaktionssignal in Abhängigkeit von dem über die Verbindungsleitung 374 empfangenen ASCII-Signal der Spracheingabeeinheit 323 erzeugen.
Die zentrale Verarbeitungseinheit 310 kann über den bidirektionalen Datenbus 366 wenigstens einen Audiodatensatz auslesen und ein dem Audiodatensatz entsprechendes Audio-Hilfsanweisungssignal erzeugen und dieses über die Verbindungsleitung 372 an die Audioausgabeeinheit 326 senden.
Die zentrale Verarbeitungseinheit 310 kann auch einen Video-Datensatz aus dem Hilfsanweisungsspeicher 322 über den bidirektionalen Datenbus 366 auslesen und ein dem Video-Datensatz entsprechendes Video-Hilfsanweisungssignal erzeugen.
Die zentrale Verarbeitungseinheit 310 ist ausgebildet, aus dem eingangsseitig über die Verbindungsleitung 350 empfangenen Kamera-Bildsignal, dem über die bidirektionale Verbindungsleitung 362 empfangenen 3-D-Hilfsanweisungssignal und aus dem Video- Hilfsanweisungssignal ein Hilfsinformations-Bildsignal derart zu erzeugen, dass das Hilfsinformations-Bildsignal eine Abbildung repräsentiert, bei welcher eine graphische Information oder eine Textinformation der Abbildung eines Objekts überlagert sind.
Die zentrale Verarbeitungseinheit 310 kann das Hilfsinformations-Bildsignal über die Verbindungsleitung 368 ausgangsseitig an die Bildwiedergabeeinheit 314 senden. Alternativ zur Verbindungsleitung 350 kann in einer anderen Ausführungsform der Augmented-Reality-Vorrichtung 301 die Kamera 312 über eine Funkdatenschnittstelle mit der zentralen Verarbeitungseinheit 310 verbunden sein.
Die Funkdaten-Schnittstelle ist ausgebildet, ein Kamera-Bildsignal schnurlos zu übertragen. Die Funkdaten-Schnittstelle kann beispielsweise eine Bluetooth-Schnittstelle oder eine Infrarot-Schnittstelle, insbesondere eine IRDA-Schnittstelle, sein (IRDA = Infrared Data Association).
Die Bildwiedergabeeinheit 314 kann dementsprechend über eine Funkdaten-Schnittstelle mit der zentralen Verarbeitungseinheit 310 verbunden sein.
BEZUGSZEICHENLISTE
10, 110 mobile Trackingeinheit
14, 114 - Räder
16, 116 Versenkhebel
18 Schwenkachse
20, 120 Gelenkarm
22, 122 starres Basisglied
24, 124 starres Mittelglied
26, 126 starres Endglied
28, 128 Gelenkarm basis
30, 130 Basisschwenkgelenk
32, 132 Basisdrehgelenk
34, 134 Mittelschwenkgelenk
36, 136 . Mittelschwenkgelenk
38 Schwenkgelenk
39 Kameragelenk
40 Kamera
41 , 141 Tastspitze
42, 140, 142 Leuchte 4 Schwenkachse 6 Drehachse 8, 148 Rechnereinheit
50, 150 Eingabeeinheit
52, 152 Bildwiedergabeeinheit
53, 54 Drehrichtung
56, 58, 60, 62, 64, 66 Schwenkrichtung 8 Basisdrehachse
102 Fahrzeug
104 Motorhaube
140 erste Mobilkamera
144 zweite Mobilkamera
146 mobiler Kameraträger
160, 162 Bildwiedergabeeinheit 01 Augmented-Reality-Vorrichtung für eine Trackingeinheit 305 Benutzer
310 zentrale Verarbeitungseinheit
312 Kamera
314 Bildwiedergabeeinheit
316 berührungsempfindliche Oberfläche
318 3-D-Berechnungseinheit
320 3-D-Datenbank
322 Hilfsanweisungsspeicher
323 Spracheingabeeinheit
324 Mikrophon
326 Kamera-Positionssensor
328 Kamera-Positionssensor
330, 332, 334, 336 Gelenksensor
350 Verbindungsleitung
352 Verbindungsleitung
354 Verbindungsleitung
356 Verbindungsleitung
358 Verbindungsleitung
360 Verbindungsleitung
362 1 bidirektionale Verbindungsleitung
364 bidirektionaler Datenbus
366 Verbindungsleitung
368 Verbindungsleitung
370 Verbindungsleitung
372 Verbindungsleitung
374 Verbindungsleitung
376 Verbindungsleitung

Claims

PATENTANSPRÜCHE
1. Mobile Trackingeinheit (10, 110), gekennzeichnet durch - eine Kamera (40, 140, 144, 312) mit einem Empfänger für elektromagnetische Strahlung, welche ausgebildet ist, in einem Erfassungswinkel von einem Objekt (102) ausgesendete oder reflektierte elektromagnetische Strahlung zu erfassen und ein eine Abbildung des Objekts (102) repräsentierendes Kamera-Bildsignal zu erzeugen, und - einen Kamera-Positionssensor (328), welcher ausgebildet ist, ein einer Erfassungsrichtung der Kamera (40, 140, 144, 312) entsprechendes Kamera- Positionssignal zu erzeugen und dieses ausgangsseitig auszugeben, und - wenigstens eine Bildwiedergabeeinheit (52, 152, 314) mit einem Eingang für ein Bildsignal und - eine Augmented-Reality-Vorrichtung (301 ), welche eingangsseitig mit dem Kamera- Positionssensor (328) und ausgangsseitig mit der Bildwiedergabeeinheit (52, 152, 314) verbunden ist, und dass die Augmented-Reality-Vorrichtung (301 ) ausgebildet ist, in Abhängigkeit von dem Kamera-Positionssignal aus dem Kamera-Bildsignal ein eine Hilfsinformation repräsentierendes Hilfsinformations-Bildsignal zu erzeugen und dieses an die Bildwiedergabeeinheit (52, 152, 160, 162, 314) zu senden.
2. Mobile Trackingeinheit nach Anspruch 1 , dadurch gekennzeichnet, dass die mobile Trackingeinheit (10, 110) einen Gelenkarm (20, 120) aufweist, wobei der Gelenkarm (20, 120) an einer Gelenkarmbasis (28, 128) mit einem Basisgelenk (130, 132) ansetzt, welche mit der Trackingeinheit (10, 110) verbunden ist und der Gelenkarm (20, 120) ein freies Gelenkarmende aufweist, wobei die Kamera (40) im Bereich des freien Endes angeordnet ist, und der Gelenkarm (20, 120) zwischen der Gelenkarmbasis (28, 128) und dem freien Ende wenigstens ein Mittelgelenk (34, 36, 134, 136) aufweist, und der Positionssensor (328) mit dem Basisgelenk (130, 132) und dem Mittelgelenk (34, 36, 134, 136) wirkverbunden und ausgebildet ist, eine Basisgelenkstellung und eine Mittelgelenkstellung zu erfassen und das Kamera- Positionssignal in Abhängigkeit von der Basisgelenkstellung und der Mittelgelenkstellung zu erzeugen.
3. Mobile Trackingeinheit nach Anspruch 2, dadurch gekennzeichnet, dass der Gelenkarm (20, 120) ein erstes Mittelgelenk (34, 134) und ein zweites Mittelgelenk (36b, 136) aufweist, welche jeweils als Schwenkgelenk ausgebildet sind.
4. Mobile Trackingeinheit nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass der Gelenkarm (20) im Bereich des freien Endes ein Kameragelenk (39) aufweist, über welches die Kamera (40) mit dem Gelenkarm (20) verbunden ist.
5. Mobile Trackingeinheit nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass der Gelenkarm (20, 120) eine Tastspitze (41 , 141 ) aufweist, welche das freie Ende des Gelenkarmes (20) bildet.
6. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) zum Kalibrieren einer Gelenkarmposition ausgebildet ist.
7. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) zum berührungslosen Kalibrieren einer Gelenkarmposition ausgebildet ist.
8. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) eine 3-D-Datenbank (320) mit einer Vielzahl von 3-D-Datensätzen aufweist, welche in ihrer Gesamtheit ein grafisches Modell in drei Dimensionen wenigstens von Teilen eines Objekts (102), insbesondere eines Fahrzeugs, mit seinen Einzelkomponenten repräsentieren.
9. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) ausgebildet ist, das Hilfsinformations- Bildsignal wenigstens teilweise aus mindestens einem 3-D-Datensatz entsprechenden 3-D-Datensatzsignal in Abhängigkeit von dem Kamera-Positionssignal zu erzeugen.
10. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) eine Spracheingabeeinheit (323) aufweist und durch die Spracheingabeeinheit (323) steuerbar ausgebildet ist.
11. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (328) eine Sprach-Ausgabeeinheit aufweist, welche ausgebildet ist, ein gesprochene Sprache repräsentierendes Sprach- Hilfsanweisungssignal hörbar auszugeben.
12. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) ausgebildet ist, ein eine grafische Information oder Textinformation repräsentierendes Video-Hilfsanweisungssignal zu erzeugen und aus dem Kamera-Bildsignal und dem Video-Hilfsanweisungssignal das Hilfsinformations-Bildsignal derart zu erzeugen, dass das Hilfsinformations-Bildsignal eine Abbildung repräsentiert, bei welcher die grafische Information oder Textinformation der Abbildung des Objekts (102) überlagert ist.
13. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung (301 ) einen mobilen Kameraträger (146) zum Anbringen an einem Objekt (104) aufweist, wobei der mobile Kameraträger (146) wenigstens eine Mobilkamera (140, 144) mit einem Empfänger für elektromagnetische Strahlung aufweist, welche ausgebildet ist, in einer Erfassungsrichtung von dem Objekt ausgesendete oder reflektierte elektromagnetische Strahlung zu erfassen und ein Mobilkamera-Bildsignal zu erzeugen, welches eine Abbildung wenigstens eines Teils des Objekts repräsentiert und die Augmented-Reality-Vorrichtung einen Eingang für das Mobilkamera-Bildsignal aufweist, welcher mit der Mobilkamera (140, 144) wirkverbunden sein kann.
14. Mobile Trackingeinheit nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildwiedergabeeinheit (160, 162) schnurlos mit der Augmented-Reality-Vorrichtung verbunden sein kann.
15. Mobile Trackingeinheit nach Anspruch 14, dadurch gekennzeichnet, dass die Augmented-Reality-Vorrichtung eine Funk-Schnittstelle oder eine Infrarot- Schnittstelle aufweist, welche ausgebildet ist, die Bildwiedergabeeinheit (160, 162) mit der Augmented-Reality-Vorrichtung schnurlos zu verbinden.
PCT/EP2005/005781 2004-05-28 2005-05-25 Mobile trackingeinheit WO2005116785A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP05750870A EP1749248A1 (de) 2004-05-28 2005-05-25 Mobile trackingeinheit

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102004027010 2004-05-28
DE102004027010.4 2004-05-28
DE102005011616.7 2005-03-07
DE102005011616.7A DE102005011616B4 (de) 2004-05-28 2005-03-07 Mobile Trackingeinheit

Publications (1)

Publication Number Publication Date
WO2005116785A1 true WO2005116785A1 (de) 2005-12-08

Family

ID=34970199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2005/005781 WO2005116785A1 (de) 2004-05-28 2005-05-25 Mobile trackingeinheit

Country Status (3)

Country Link
EP (1) EP1749248A1 (de)
DE (1) DE102005011616B4 (de)
WO (1) WO2005116785A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010016113A1 (de) 2010-03-24 2011-09-29 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Ausbildung eines Besatzungsmitglieds eines insbesondere militärischen Fahrzeugs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745387A (en) * 1995-09-28 1998-04-28 General Electric Company Augmented reality maintenance system employing manipulator arm with archive and comparison device
WO2000052539A1 (de) 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Augmented-reality-system zur situationsgerechten unterstützung der interaktion zwischen einem anwender und einer technischen vorrichtung
WO2003050626A1 (de) 2001-12-05 2003-06-19 Siemens Aktiengesellschaft System und verfahren zur erstellung einer dokumentation von arbeitsvorgängen zur darstellung in einem augmented-reality-system
US20030179308A1 (en) 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2642833B1 (fr) * 1989-02-06 1991-05-17 Vision 3D Procede d'etalonnage d'un systeme d'acquisition tridimensionnelle de forme et systeme d'acquisition pour la mise en oeuvre dudit procede
US6330356B1 (en) * 1999-09-29 2001-12-11 Rockwell Science Center Llc Dynamic visual registration of a 3-D object with a graphical model
EP1466300A1 (de) * 2002-01-15 2004-10-13 Information Decision Technologies LLC Verfahren und system zum anzeigen sowohl von sichtbaren als auch unsichtbaren gefahren und gefahreninformationen
DE10345743A1 (de) * 2003-10-01 2005-05-04 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745387A (en) * 1995-09-28 1998-04-28 General Electric Company Augmented reality maintenance system employing manipulator arm with archive and comparison device
WO2000052539A1 (de) 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Augmented-reality-system zur situationsgerechten unterstützung der interaktion zwischen einem anwender und einer technischen vorrichtung
WO2003050626A1 (de) 2001-12-05 2003-06-19 Siemens Aktiengesellschaft System und verfahren zur erstellung einer dokumentation von arbeitsvorgängen zur darstellung in einem augmented-reality-system
US20030179308A1 (en) 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies

Also Published As

Publication number Publication date
DE102005011616A1 (de) 2005-12-29
DE102005011616B4 (de) 2014-12-04
EP1749248A1 (de) 2007-02-07

Similar Documents

Publication Publication Date Title
EP2176833B1 (de) Verfahren und system zur ermittlung der position und orientierung einer kamera relativ zu einem realen objekt
DE112012005524B4 (de) Verfahren zur mechanischen Übermittlung eines Befehls zur Steuerung des Betriebs eines Lasertrackers
DE19513930B4 (de) Endoskopievorrichtung
DE3211029C2 (de) Abtasthalterung für eine Ultraschall-Diagnosesonde
EP2309925B1 (de) Röntgenbild-aufnahmesystem und röntgenbild-aufnahmeverfahren zur aufnahme von bilddaten mit röntgengeräten für eine volumenrekonstruktion
DE112013003584T5 (de) Tragbares Gelenkarm-Koordinatenmessgerät mit optischem Kommunikationsbus
DE102015015503A1 (de) Robotersystem, das eine mit erweiterter Realität kompatible Anzeige aufweist
DE102013110580A1 (de) Verfahren zum optischen Abtasten und Vermessen einer Szene
EP1761759A1 (de) Verfahren zur steuerung einer rohrrevisionsanlage und zur auswertung der revisionsdaten
EP1420264A1 (de) Verfahren und Vorrichtung zur Kalibrierung eines Messsystems
DE112016002057T5 (de) Dreidimensionales messgerät, lösbar verkoppelt mit einem roboterarm auf einer motorisierten mobilen plattform
EP3286532B1 (de) Verfahren zum erfassen von vibrationen einer vorrichtung und vibrationserfassungssystem
DE102007039788A1 (de) Detektor
DE2948573A1 (de) Verfahren und anordnung zur beruehrungslosen achsvermessung an kraftfahrzeugen
DE102009012590A1 (de) Vorrichtung zum Ermitteln der Stellung eines Roboterarms mit Kamera zur Durchführung von Aufnahmen
EP1047014A2 (de) Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
WO2015082683A2 (de) Vorrichtung und verfahren zur messung von werkstücken
DE112011100309T5 (de) Tragbares Gelenkarm-Koordinatenmessgerät mit abnehmbarem Zubehör
DE102006046689A1 (de) Medizintechnisches Behandlungssystem
DE112013002892T5 (de) Koordinatenmessgeräte mit entfernbaren Zusatzteilen
EP0481278A1 (de) Verfahren und Messeinrichtung zur Positionsbestimmung von Raumpunkten
DE102011119012A1 (de) Vereinfachtes Koordinatenmesssystem für Schulungszwecke
EP0884574B1 (de) Reifenprüfverfahren und -vorrichtung
EP1639337B1 (de) Kamerawagen
DE102005011616B4 (de) Mobile Trackingeinheit

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005750870

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005750870

Country of ref document: EP