WO2014001536A1 - Mobil handhabbare vorrichtung zur bearbeitung oder beobachtung eines körpers - Google Patents
Mobil handhabbare vorrichtung zur bearbeitung oder beobachtung eines körpers Download PDFInfo
- Publication number
- WO2014001536A1 WO2014001536A1 PCT/EP2013/063699 EP2013063699W WO2014001536A1 WO 2014001536 A1 WO2014001536 A1 WO 2014001536A1 EP 2013063699 W EP2013063699 W EP 2013063699W WO 2014001536 A1 WO2014001536 A1 WO 2014001536A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image data
- environment
- device head
- mobile device
- head
- Prior art date
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
- A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/363—Use of fiducial points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/374—NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3954—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3966—Radiopaque markers visible in an X-ray image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
Definitions
- the invention relates to a mobile device such as a tool, an instrument or a sensor or the like, in particular for processing or observation of a body.
- the invention relates to a mobile manipulatable medical device, in particular for processing or observation of a biological body, in particular tissue.
- the invention relates to a mobile manageable non-medical device, in particular for processing or observation of a technical body, in particular article.
- the invention also relates to a method for handling, in particular calibration, of the device, in particular in the medical or non-medical field.
- An initially mentioned mobile device that can be handled in particular can be a tool, instrument or sensor or similar device.
- an initially mentioned mobile device preferably a medical or non-medical device
- the mobile device has at least one mobile device head formed for manual or automatic guidance, and guide means adapted for navigation to enable automatic guidance of the mobile device head.
- guide means adapted for navigation to enable automatic guidance of the mobile device head.
- an endoscopic navigation or instrument navigation is pursued for displaying a guidance device, in which optical or electromagnetic tracking methods are used for navigation;
- a guidance device in which optical or electromagnetic tracking methods are used for navigation;
- modular systems for an endoscope with expanding system modules such as a tracking camera, a computing unit and a visual display unit for displaying a clinical navigation are known.
- Under tracking is basically a method for tracking or tracking to understand what the tracking of moving objects - namely in the present case the mobile device head - serves.
- the goal of this tracking is usually the mapping of the observed actual movement, especially relative to a cartographed environment, for technical use. This may be the merging of the tracked (guided) object - the mobile device head - with another object (e.g., a target point or target trajectory in the environment) or simply the knowledge of the current "pose" - d.
- H. Position and / or orientation and / or movement state of the tracked object are examples of the tracked object.
- absolute data relating to the position and / or orientation (pose) of the object and / or the movement of the object are regularly used for the purpose of tracking, as for example in the abovementioned system.
- the quality of the particular pose and / or movement information initially depends on the quality of the observation, the tracking algorithm used and on the modeling, which serves to compensate for unavoidable measurement errors. Without modeling, however, the quality of the particular position and movement information is usually relatively poor.
- absolute coordinates of a mobile device head e.g. In the context of a medical application, for example, also from the relative relationship between a patient tracker and a tracker for the device head.
- tracking absolute modules Fundamentally problematic in such modular systems, which are referred to as tracking absolute modules, is the additional outlay-in terms of space and time-for displaying the required trackers. The space requirement is enormous and proves to be highly problematic in an operating room with a large number of actors.
- a signal connection between the tracker and an image data acquisition unit must be obtained on a regular basis, for example, to a tracking device. Camera will be preserved.
- This can be for example an optical or electromagnetic or similar signal connection. Cancels such a particular optical signal connection abz. B. when an actor in the image pick-up line between tracking camera and a patient tracker device missing the necessary navigation information and the leadership of the mobile device head must be interrupted. Particularly in the case of the optical signal connection, this problem is known as the so-called "line of sight" problem.
- a mobile device that can be improved in this respect is known with a tracking system from WO 2006/131373 A2, wherein the device is advantageously designed for the contactless determination and measurement of a spatial position and / or spatial orientation of bodies.
- New approaches try to assist the navigation of a mobile device head by means of an intraoperative magnetic resonance tomography or computer tomography in general, by coupling them with an imaging unit.
- the registration of for example by means of image data obtained with endoscopic video data with a preoperative CT scan is described in the article by Mirota et al. "A System for Video-Based Navigation for Endoscopic Endonasal Skull Base Surgery", IEEE Transactions on Medical Imaging, Vol. 31, No. 4, April 2012, or in the article by Burschka et al., Scale-invariant registration of monocular endoscopic images to CT scans for sinus surgery "in Medical Image Analysis 9 (2005) 413-426.
- An essential goal of the registration of image data obtained, for example, by means of endoscopic video data is an accuracy improvement of the registration.
- the invention is based, whose object is to provide a mobile device and a method that can be handled in an improved manner, while still allowing improved accuracy for guiding a mobile device head.
- it is an object of a device and a Specify method in which a navigation with relatively little effort and increased flexibility, especially in situ is possible.
- a non-medical mobile device head with a distal end for placement relative to a technical body, in particular object, in particular with a distal end for insertion or attachment to the body should be automatically feasible.
- a non-medical method for handling, in particular calibration, of the device should be specified.
- a medical mobile device head with a distal end for placement relative to a biological body, in particular tissue-like body, in particular with a distal end for insertion or attachment to the body should be automatically feasible.
- a medical method for handling, in particular calibration, of the device should be specified.
- the object concerning the device is solved by the invention with a device of claim 1 with a mobile device head.
- the device is preferably a device which can be handled in a mobile manner, such as a tool, instrument or sensor or the like, in particular for processing or observation of a body.
- the device is a medical mobile device with a medical mobile device head, such as an endoscope, a pointer instrument or a surgical instrument or the like, with a distal end for placement relative to a body, in particular body tissue, preferably attachment or attachment to the body, in particular on a body tissue, in particular for processing or observation of a biological body, such as a tissue-like body or the like.
- a medical mobile device head such as an endoscope, a pointer instrument or a surgical instrument or the like
- a distal end for placement relative to a body, in particular body tissue, preferably attachment or attachment to the body, in particular on a body tissue, in particular for processing or observation of a biological body, such as a tissue-like body or the like.
- the device is a non-medical mobile device with a non-medical mobile device head, such as an endoscope, a pointer instrument or a tool or the like, with a distal end for placement relative to a body, in particular a technical object such as a device or a Device, preferably attachment or attachment to the body, in particular to an object, in particular for processing or observation of a technical body, such as an object or device or the like.
- a distal end of the device head is to be understood as meaning an end of the device head which is far away from a guide device, in particular the farthest end of the device head.
- a proximal end of the device head is to be understood as meaning an end of the device head which is close to a guide device, in particular the end of the device head nearest to it.
- the device comprises:
- At least one mobile device head designed for manual or automatic guidance
- the guide device is designed to provide navigation information for guiding the mobile device head, the distal end of which can be guided in a proximity environment (NU),
- NU proximity environment
- An image data acquisition unit which is adapted to image data of an environment (U) of the device head, in particular continuously to detect and provide
- an image data processing unit which is designed to create a map of the environment (U) by means of the image data
- a navigation unit which is designed to indicate, by means of the image data and an image data flow, at least one position of the device head in the near environment (NU) from the map such that the mobile device head can be guided by the map.
- a guide means which has a position reference to the device head and is assigned thereto, wherein the guide means is adapted to make information on the position of the device head with respect to the environment (U) in the map, the environment (U) via the near environment (NU) goes out.
- the position reference of the guide means to the device head may advantageously be rigid.
- the position reference need not be rigid as long as the position reference is determinate variable or movable or at least calibrated. This may be the case, for example, when the device head at the distal end of a robot arm is part of a handling apparatus and the guide means is attached to the robot arm; the z. B. caused by errors or strains variance in the non-rigid but basically deterministic position reference between the guide means and device head is calibrated in this case.
- An image data flow is understood to be the flow of image data points in time change, which occurs when one considers a number of image data points at a first and a second time while changing their position, direction and / or velocity for a defined passage area; an example is explained in Fig. 5.
- the guide means comprises the image data acquisition unit.
- the guide means advantageously comprises a separate guide optics.
- the guide means preferably comprises at least one optic, in particular a sighting and / or guiding optic and / or an external optic.
- the guide means may also additionally or alternatively another orientation module -.
- B a movement module and / or an acceleration sensor or the like. Sensors, which is designed to provide a further indication of the position, in particular pose (position and / or orientation), and / or movement of the device head with respect to the card.
- a movement module in particular in the form of a motion sensor such as an acceleration sensor, a speed sensor, a gyroscope sensor or the like, is advantageously designed to provide a further indication of the pose and / or movement of the device head with respect to the card.
- a motion sensor such as an acceleration sensor, a speed sensor, a gyroscope sensor or the like
- at least one, possibly also a plurality of mobile device heads can be guided on the basis of the card.
- Under navigation is basically any type of map creation stating a position in the map and / or the indication of a destination point in the map, advantageous in relation to the position to understand; in the broader sense, therefore, the determination of a position with respect to a coordinate system and / or the indication of a destination point, in particular the indication of a route advantageously evident on the map between position and destination point.
- the invention also leads to a method of claim 30, in particular for handling, in particular calibration, a device with a mobile device head.
- the invention is based on a substantially image data-based mapping and navigation in a map for the environment of the device head in a broader sense; that is, an environment that is not bound to a vicinity of the distal end of the device head, such as the visually detectable proximity at the distal end of an endoscope.
- the method is practicable with a non-medical mobile device head having a distal end for placement relative to a technical body, or a medical mobile device head having a distal end for placement relative to a tissue-like body, particularly with a distal end for insertion feasible on the body.
- the method is only suitable for calibrating a device with a mobile device head.
- the concept of the invention provides, with the guiding means, the possibility of mapping an environment, from a different perspective of the distal end of the device head, e.g. B. from its proximal end, such as from the perspective of a proximal end of the device head.
- the environment in the medical field, for example, a face surface or in the non-medical area, for example, a motor vehicle body
- the proximity environment eg, a nasal interior or, in the non-medical field, for example, an engine compartment.
- the device or a method is non-invasive d. H. without physical intervention on the body.
- an environment may also include a proximity environment.
- a near environment may include an operating area in which a lesion is treated, wherein the guidance of a distal end of the endoscope in the near environment is by navigation in a map created by an environment adjacent to the neighborhood.
- the device or method is as far as possible non-invasive, ie, without physical intervention on the body, in particular if the environment does not comprise an operating environment of the distal end of the mobile device head.
- the proximity environment may be an operating environment of the distal end of the mobile device head, and the proximity environment may include those image data that are captured within visual range of a first optic of the image data acquisition unit at the distal end of the mobile device head.
- the environment may include an area that is in the vicinity of and beyond the operating environment of the distal end of the mobile device head.
- the concept offers the possibility of the accuracy of the card with an additional guide means, for. B. a movement module or optics or the like orientation module to increase; this creates, according to the concept of the invention, the prerequisite that the at least one mobile device head can only be guided on the basis of the card.
- the image data itself is used to create a map; insofar as it allows a purely image-based mapping and navigation of a surface of a body. This can relate to external as well as internal surfaces of a body. For example, in the medical field, surfaces of the eyes, nose, ears or toes can be used for patient registration.
- the advantage of using a disjointed environment for cartography and navigation is that the environment has sufficient reference points that can serve as markers and can be more accurately detected; on the other hand, the properties for taking image data of a near environment, in particular an operating environment, can be used for improved visualization of the lesion.
- the invention is equally applicable in a medical field and in a non-medical field, in particular non-invasive and without physical intervention on a body.
- the method may preferably be restricted to a non-medical field.
- the invention in particular in the context of the device is not limited to an application in the medical field but can rather be used meaningfully in a non-medical field; especially in the assembly or repair of technical items such.
- the concept presented is particularly advantageous applicable.
- tools can be equipped with the presented system and navigated through it.
- the system can increase the accuracy or make existing assembly activities that are not possible with robots feasible.
- a worker / mechanic -z. B. by instructions attached to the tool data processing on the basis of the presented concept- the assembly activity can be facilitated.
- the assembly eg screw connection of spark plugs of a component (eg spark plug or screw)
- the assembly eg screw connection of spark plugs of a component (eg spark plug or screw)
- the device and a method preferably prove to be real-time capable, in particular in the case of continuous provision and real-time processing of the image data.
- navigation is based on a SLAM method, in particular a 6D-SLAM method, preferably a SLAM method combined with a KF (Kalman filter), in particular preferably a 6D-SLAM method combined with an EKF (extended Kalman filter).
- a SLAM method in particular a 6D-SLAM method, preferably a SLAM method combined with a KF (Kalman filter), in particular preferably a 6D-SLAM method combined with an EKF (extended Kalman filter).
- KF Key filter
- EKF extended Kalman filter
- the invention has recognized that a fundamental problem of purely image data-based navigation and guidance on the basis of a map is that the accuracy of previous image data related approaches in the navigation and guidance of the device head depends on the resolution of the objective used in the image data acquisition unit; the requirements for real-time capability, accuracy and flexibility may be in conflict.
- the invention has recognized that these requirements however, can be satisfactorily satisfied by the use of guide means adapted to provide further indication of the pose and / or movement of the device head with respect to the card.
- the invention has recognized that a fundamental problem of purely image data-based navigation and guidance on the basis of a map is that the accuracy of previous image data-related approaches in the navigation and guidance of the device depends on the number of image data-gathering units and the scope of the simultaneously detected environmental regions , Nevertheless, further guidance means, such.
- motion modules such as sensors for acceleration measurement, such.
- acceleration sensors or gyroscopes able to further increase the accuracy, in particular with respect to a particularly suitable for instrument navigation map of the environment, including the local environment.
- the management device may have a tracking absolute module, in particular sensors or the like, which is temporarily limited activated and temporally largely disabled to create the map of the local environment.
- a tracking absolute module can not be constantly activated on an optical or electromagnetic basis in order to allow sufficient navigation and guidance of the device head.
- the mobile device further comprises a control and a handling apparatus, which are formed in accordance with a pose and / or movement of the device head and the card for guiding the mobile device head.
- the handling apparatus can be formed by means of the control via a control connection for automatic guidance of the mobile device head, and the control is preferably formed by means of the guidance device via a data coupling for the navigation of the device head.
- a suitable Control loop are provided, in which the control terminal is designed for the transfer of a desired pose and / or desired movement of the device head and the data coupling for the transfer of an actual pose and / or actual movement of the device head.
- the image data acquisition unit has at least a number of optics configured to acquire image data of a near environment.
- the number of optics may include a single optic but also two, three or more optics.
- a monocular or binocular principle can be used.
- the image data acquisition unit can basically be formed in the form of a camera, in particular part of a camera system with a number of cameras. For example, in the case of an endoscope, a built in the endoscope camera has proved advantageous.
- the image data acquisition unit may have a sighting optic that sits at a distal end of the device head, wherein the sighting optic is configured to capture image data of a proximity environment at a distal end of the device head, in particular as target optics incorporated in the device head.
- a camera or other type of guiding optics can be seated at another position of the device head, for example on a shaft, in particular on a shaft of an endoscope.
- the image data acquisition unit may have a guiding optic which is located at a guide point away from a distal end, in particular at a proximal end of the device head and / or on the guide device.
- the guide optics is advantageously designed to detect the image data of a proximity environment of a guidance location -thus an environment which is disjunctive to the proximity environment at a distal end of the device head.
- the guiding optics can basically be mounted at any suitable location of the device head or tool, instrument or sensor or similar location, such that the movement of the device head, for example an endoscope, and the assignment of the position continues or more precisely possible.
- the system is also functional if the camera never penetrates into a body. Basically, a plurality of cameras or optics may be provided, all of which access the same card, but it is also conceivable that different cards are created, for. B. when using different sensors such as ultrasound, radar and camera, and these different maps continuously by form, history or etc. are assigned or registered
- a guide device is provided with an image data acquisition unit with higher accuracy when multiple cameras or optics are operated simultaneously on a device head or a movable part of the automatic guide.
- a first optics image data and a second optic advantageously acquire second image data which are spatially offset.
- the first and second image data are recorded at the same time.
- the accuracy of localization and map generation can be increased by further optics, z. B. by two or more optics.
- the said accuracy can be increased.
- the same optics acquire first image data and second image data, in particular first and second space-identical image data which are shifted in time.
- a development is suitable in combination with a further developed image data processing unit.
- the further developed image data processing unit advantageously has a module that is designed to recognize target movements and to take them into account when creating a map of the local environment.
- the target movements are target body movements, advantageously recognizable according to a physiological pattern; For example, rhythmic target body movements such as a breathing movement, a heartbeat movement or a dithering movement.
- Detecting more than one optic different environments or partially different environments a motion detection is possible due to the comparison of the various environmental information.
- the moving areas are separated from the fixed areas and the movement is calculated or estimated.
- a pose (ie position and / or orientation) and / or movement of the device head can be specified on the basis of the map relative to a reference point on an object at an environment of the device head.
- a guide device on a module for marking a reference point on the object so that it is particularly advantageous for navigation used.
- the reference site is most preferably part of the map of the near environment, ie, the near environment in the target area, such as the distal end of an endoscope or a distal end of a tool or sensor.
- the field of navigation or the image data used for navigation is insignificant;
- the movement of the device head and the assignment of the position can continue to be carried out, or more precisely, on the basis of other environments of the device head.
- the reference site may be outside the map of the neighborhood and serve as a marker.
- a specific relation between the reference location and a map position can be specified.
- a navigation of the device head can nevertheless take place, even if a guidance optics supplies image data of a proximity environment which is not a processing point under an endoscope, a microscope or a surgical instrument or the like.
- the environment certain objects, e.g. For example, if printed areas are added, the system can operate more accurately in terms of localization and map generation.
- the image data processing unit can be designed to identify a reference location on an object on a visual image with a fixed location of a foreign image after a predetermined test.
- the overlay of the card with external images in the context of a known matching, marking or registration method is used in particular for patient registration in medical applications. It has been found that, due to the above-described concept, a more reliable registration can take place in the context of the present development.
- a visual image can be registered and / or supplemented with a foreign image. This is not continuous or the like essential for carrying out the method but is an initial or periodically available tool. It depends on an available computing power also a continuous update conceivable.
- a visual image based on the map produced according to the concept of the invention proves to be of high quality in order to be identified or registered with high-resolution foreign images.
- a foreign image can be a CT or MRI image in particular.
- a development leads to a method for the visual navigation of an instrument, comprising the steps:
- mapping of the environment for creating a map in particular creation of external and internal surfaces of the environment
- simultaneous localization of an object in the environment at least for determining a position and / or orientation (POSE) of the object in the environment, in particular with a SLAM method by means of an image data acquisition unit such as a recording unit, in particular a 2D or 3D Camera or the like for imaging data recording of the environment, and by means of a navigation unit and a motion module for motion navigation in the environment, in particular for distance and speed measurement.
- an image data acquisition unit such as a recording unit, in particular a 2D or 3D Camera or the like for imaging data recording of the environment
- a navigation unit and a motion module for motion navigation in the environment, in particular for distance and speed measurement.
- a guide device is in particular designed to generate a localization of the object from the data recording of the environment in a particularly accurate manner, wherein the processing of the data recording from the recording unit can take place in real time.
- the at least one mobile device head practically without further aids on the basis of the map "in situ" feasible.
- the subject matter of the claims comprises in particular a mobile handleable medical device and a particularly non-invasive method for processing or observation of a biological body such as a tissue or the like.
- a biological body such as a tissue or the like.
- This may in particular be an endoscope, a pointing instrument or a surgical instrument or the like medical device for processing or observation of a body or for detecting the own position, or the instrument position, relative to the environment.
- the subject matter of the claims particularly comprises a mobile manageable non-medical device and a particularly non-invasive method for processing or observing a technical body such as an object or a device or the like.
- the concept may be used in industrial processing. tion, positioning or monitoring processes are successfully applied.
- a claimed mobile handleable device - such as an instrument, tool or sensor-like system - are used according to the described principle
- the described essentially image-based concept is advantageous.
- these applications include a device in which image data detects a movement of a device head and a map is created with the assistance of a motion sensor. Only this map is mainly used for navigation according to the concept. If a plurality of device heads, such as instruments, tools or sensors, in particular or endoscope, a pointer instrument or a surgical instrument, each with at least one mounted image camera used, it is possible that all access to the navigation on the same image card or update this.
- Embodiments of the invention will now be described below with reference to the drawing in comparison with the prior art, which is also partly shown, this in the medical application frame, in which the concept is implemented with respect to a biological body. however, the embodiments also apply to a non-medical application framework in which the concept is implemented with respect to a technical body.
- FIG. 1 exemplary embodiments of mobile devices in a position relative to a body surface in a view (A) with a device head in the form of a gripping instrument, in view (B) with a device head in the form of a hand-held instrument, such as an endoscope, in view (C) in the form of a robot-guided instrument, such as an endoscope or the like;
- Fig. 2 is a general diagram illustrating a basic system and the functional components of a mobile device according to the concept of the invention
- FIG. 3 shows a basic concept using the mobile navigable medical visual navigation device according to the concept of the invention based on the system of FIG. 2;
- Fig. 4 shows an application for implementing a patient registration method with a mobile device as shown in Fig. 1 (B);
- FIG. 5 is a schematic diagram for explaining the SLAM method, in which a so-called feature point matching is used to a movement state of an object, for.
- the device head
- FIG. 6 shows a further preferred embodiment for processing time-varying images in a mobile device
- FIG. 7 shows a further preferred embodiment of a mobile device with a mobile device head, in view (A) with an internal and external camera, in view (B) only with an external camera in the form of an endoscope or a pointer instrument; 8 shows a schematic representation of different constellations of an environment surrounding a surgical environment and of an environment realized by one or more cameras, wherein in particular the first is visualized and serves to engage in a body tissue or generally a body, and in particular the latter without visualization, but above all for mapping and navigation serves; Fig. 9 is an illustration of an example of a preferred embodiment; 10 shows a detail of the representation of, for example, FIG. 9.
- FIG. 1 shows by way of example as part of a mobile device 1000 described in more detail in FIGS. 2 and 3 a mobile device head 101 designed for manual or automatic guidance with respect to a body 300.
- the body 300 has an application area 301 which the mobile device head 101 is to be referred to; this for processing or observation of the field of application 301.
- the body is formed in the context of a medical application with a tissue of a human or animal body, which in the application area 301 has a depression 302, that is to say a tissue-free region in the present case.
- the device head 101 is presently provided as an instrument with a pliers or gripping device formed at the distal end 101D, referred to as an instrument head 10-10, and a handling device, such as one, attached to the proximal end 101P, not shown in view (A) Handle (view (B)) or a rotor arm (view (C)).
- a handling device such as one, attached to the proximal end 101P, not shown in view (A) Handle (view (B)) or a rotor arm (view (C)).
- the device head thus has, as a tool at the distal end 101 D, an instrument head 110, which can be formed as a pair of pliers or grippers, but also as another tool head, such as a milling cutter, a pair of scissors, a processing laser or the like.
- the tool has a shaft 101 S extending between the distal end 101 D and the proximal end 101 P.
- the device head 101 for forming a guide device 400 designed for navigation has an image data acquisition unit 410 and a movement module 421 in the form of a sensor system, here an acceleration sensor or gyroscope.
- the image data acquisition unit 410 and the movement module 420 are presently connected via a data cable 510 to further units of the guide device 400 for the transmission of image data and movement data.
- the image data acquisition unit in the example shown in FIG. 1 includes an external 2D or 3D camera fixed to the shaft 101 S while the mobile device head 101 is moved, whether outside or inside the body 300 , the built-in camera takes pictures continuously.
- the motion data of the motion module 420 are also supplied continuously, and the accuracy the subsequent evaluation of the data transmitted with the data cable 510 data are used.
- View (B) of FIG. 1 shows another embodiment of a mobile device head 102 having a distal end 102D and a proximal end 102P.
- an optic of an image data acquisition unit 412 and a motion module 422 is installed; the mobile device head 102 is thus provided with an integrated 2D or SD camera.
- the device head has a handle 120 on which an operator 201, e.g. As a doctor, the instrument can grip and guide in the form of an endoscope.
- the distal end 102D is thus provided with an internal image data acquisition unit 412 and in the shaft 102S a data cable 510 is guided to the proximal end 102P and connects the device head 102 in data communication with other units of the guide device 400 explained in greater detail in FIGS. 2 and 3 ,
- View (C) of Fig. 1 shows substantially the same situation as in view (B); but this time for an automatically guided mobile device head 103 in the form of an endoscope.
- a robotic manipulator 202 having a robot arm which holds the mobile device head 103.
- the data cable 510 is guided along the robot arm.
- FIG. 2 shows in generalized form a mobile device 1000 having a device head 100, for example a mobile device head, adapted for manual or automatic guidance, such as one of the device heads 101, 102, 103 shown in FIG or to allow automatic guidance of the device head 100, a guide device 400 is provided.
- the device head 100 may be guided by a handling apparatus 200, such as an operator 201 or a robot 202.
- the handling apparatus 200 is controlled by a controller 500.
- the navigation device for navigation in the device head 100 has an image data acquisition unit 410 and a motion module 420. Furthermore, the guide device has an image data processing unit 430 located outside of the device head 100 and a navigation unit 440, both of which are explained in greater detail with reference to the following FIG. Further, optionally, but not necessarily, the guide means may comprise an external image data acquisition unit 450 and an external tracker 460. With reference to FIGS. 3 and 4, the external image data acquisition unit is used in particular in the preoperative area in order to provide a foreign image, for example based on CT or MRT, which can be used initially or irregularly to supplement the image data processing unit 430.
- the image data acquisition unit 410 is designed to continuously detect and provide image data of a vicinity of the device head 100, in particular.
- the image data are then provided to a navigation unit 440, which is configured to use the image data and an image data flow to create a pose and / or movement of the device head based on a map 470 created by the image data acquisition unit 480.
- Image data of the image data acquisition unit 410 is supplied to the image data acquisition unit 430 via an image data link 51 1, for example, data cable 510.
- the data cable 510 transmits a camera signal of the camera.
- Movement data of the movement module 420 are supplied to the navigation unit 440 via a movement data connection 512, for example by means of the data cable 510.
- the image data acquiring unit is configured to acquire and provide image data of a vicinity of the device head 100 for further processing.
- the image data of the image data acquisition unit 410 is continuously detected and provided.
- the image data processing unit 430 has a module 431 for mapping the image data, namely, for creating a map of the vicinity by means of the image data.
- the card 470 serves as a template for a navigation unit 440, which is designed to indicate a pose (position and / or orientation) and / or movement of the device head 100 by means of the image data and an image data flow.
- the card 470 may be provided to a controller 500 along with the pose and / or movement 480 of the device head 100.
- the controller 500 is configured to control, in accordance with a pose and / or movement of the device head 100 and from the map, a handling apparatus 200 that guides the device head 100.
- the handling apparatus 200 is connected to the controller 500 via a control connection 510.
- the device head 100 is coupled to the manipulator via a data link 210 for navigating the device head 100.
- the navigation unit 440 has a suitable module 441 for navigation, that is to say in particular evaluation of a pose and / or movement of the device head 100 relative to the card.
- a plurality of device heads such as instruments, tools or sensors, in particular or endoscope, a pointer instrument or a surgical instrument, each with at least one mounted image camera used, it is possible that all access to the navigation on the same image card or update this.
- a method for creating the map 470 and the navigation that is to say for creating a pose and / or movement 480 in the map 470, which is also known as a simultaneous localization and mapping method (SLAM Simultaneous Localization and Mapping ).
- the SLAM algorithm of the module 431 is in the present case combined with an extended Kalman filter EKF (Extended Kalman Filter), which is conducive to real-time evaluation for navigation.
- EKF Extended Kalman Filter
- the navigation is thus carried out by a motion detection evaluation based on the image data and used for position evaluation (navigation).
- the image data acquisition unit 410 continuously captures images.
- the simultaneously applied SLAM method determines, based on the image data, the movement of the camera relative to the environment and creates a map 470, here a 3D map in the form of a dot sequence or in the form of a surface model, with the aid of images from different positions and orientations;
- the latter method taking into account various positions and orientations, is also referred to as the 6D method, in particular the 6D SLAM method. If a map of the application area 301 already exists, the map is either updated or used for navigation on this map 470, 480.
- the motion sensor system referred to herein as motion module 420 can significantly increase the accuracy of the card 470 as such, as well as the accuracy of the navigation 480, following the concept of the invention.
- the concept is designed in such a way that the sufficient computing time is sufficient for real-time realization.
- the data processing calculates the direction of movement in space from temporally different images. These data are z. B. redundantly compared with the data of the combined further motion sensor, in particular acceleration and gyroscope sensors. It is conceivable to take into account the data of the acceleration sensor in the data processing of the recordings. Both sensor values complement each other and the movement of the instrument can be calculated more accurately.
- an image map of the target area should initially be created. This is done primarily by means of map 470 and pose or navigation 480 by moving the instrument and camera along all or part of the target area, i. H. practically alone based on the image data.
- an initial or other image map creation may be advantageous. It is also possible to use the external image data of an external image data source or image data acquisition unit 450 to visually detect the instrument or parts of the instrument. For example, image cards based on preoperative image sources, such. As CT, DVT or MRI, or intraoperative 3D image data of the patient are generated.
- the absolute position can only be estimated without any further method
- the determination of the absolute position can be carried out by means of known navigation methods, such as optical tracking in a tracker module 460.
- the determination of the absolute position is only necessary initially or regularly, so that this sensor technology is only temporary during the navigated application
- the relative position between the camera or camera image data and the tracking system used is better known, the calculated map data of the image data registration surfaces can also be used be used.
- the modules 450, 460 are optional.
- additional modules such as an external image data source 450 -particularly external images from CT, MRT or the like and / or external tracker modules 460-will be used only to a limited extent, or the device will do without it ,
- the apparatus 1000 described here thus does not require conventional navigation sensors, such as optical or electromagnetic tracking.
- the navigation 480 as well as the creation of the card 470 and the controller 500 of the handling apparatus 200, this is sufficient primarily, especially alone significantly using the image data to create the card 470 and the navigation 480 on the card 470.
- the basis of 2 described method in particular with reference to a tool, instrument or a sensor for device navigation without classical measuring systems can be used. Due to the image or map-based navigation typical tracking methods are no longer required.
- the integrated endoscope camera data FIGGS. 1B, C.
- medical tools can be equipped with cameras (FIG. 1A) in order to navigate on the basis of the acquired images of the instrument and, if necessary, to create a map; In the best case, it is even possible to save the endoscope for imaging.
- a position and image data acquisition of the surfaces of a body can be performed. It is possible to generate an intraoperative patient model consisting of data of the surface and texturing of the operating area.
- the method and apparatus 1000 is for collision avoidance, so that the created card 470 can also be used for collision-free guiding of the device head 100 by means of a robot arm 202 or the like automatic guidance or handling apparatus 200.
- the feedback mechanism or control loops described by way of example with reference to FIG. 2 it is possible for a doctor or user to avoid or at least be notified of collisions, etc.
- a doctor or user In a combination of the automatic and manual guidance - by way of example Fig. 1 C and 1 B - can also realize a semi-automatic operation.
- an MCR module 432 for registering a movement of surfaces and for motion compensation has become e.g. B. in the image data processing unit 430 proved to be advantageous (MCR - Motion Clutter Removal).
- the continuous acquisition of image data of the same region by the endoscope can be achieved by a movement of the same surface, for. B. by breathing and heartbeat, be falsified. Since many organic movements can be described as having harmonic, uniform, and / or recurring movements, image processing can detect such movements. The navigation can be adjusted accordingly. The physician will be informed of these movements visually and / or as feedback. A prediction of the movement can be calculated, specified and used.
- the device can be optimally extended for automatic SD image registration, as described for example with reference to FIG. 3 and FIG. 4.
- the 3D card 470 can be connected to volume data sets of the patient. These can be CT or MRI records. So the doctor knows the surface as well as the underlying tissue and structures. In addition, this data can be taken into account for surgery planning.
- FIG. 3 shows the basic concept of the medical visual navigation presented here with reference to the example of FIG. 1B. Again, identical reference numerals are used for identical or similar features or features of identical or similar function.
- the image data acquisition unit 412 in the form of a camera supplies image data of a near environment U, namely the recording area of the camera.
- the image data relates to a surface of the application area 301.
- image card 470 stores image B301 in an image card memory as image card 470.
- the card 470 may also be stored in another memory. In this respect, the card memory represents the previously stored image card 470.
- a subsurface structure 302 may be stored as image B302 in a preoperative source 450 as a CT, MRI or the like image.
- the preoperative source 450 may include a 3D image data store.
- the preoperative source represents 3D image data of the proximity environment U or of the underlying structures.
- the merging of the card 470 with the data of the preoperative source 450 ensues with the aid of the image data processing unit and the navigation unit 430, 440 visually synopsis of the card 470 and a navigation information 480 about the mobile device head, here in the form of the endoscope or the determination of the pose and movement in the receiving area of the camera, that is the Nahummony U.
- the output can on a visual detection unit shown in FIG 600 done.
- the visual detection unit 600 may include an output device for position-overlapping display of image data and current instrument positions.
- the synopsis of images B301 and B302 is a combination of the current surface map of the instrument camera and the 3D image data of the preoperative source.
- the connection 471 between the image and data processing unit and image card feed also includes a connection between the image data processing unit and the navigation unit 430, 440. These include the previously explained modules of a SLAM and EKF.
- the detected current position of the instrument is also referred to as matching the instrument.
- Other aspects of the picture can also be matched; z.
- Fig. 4 shows by way of example a preferred arrangement of the mobile device of Fig. 1 (B) for registering a patient 2000 wherein also a predefined overlay with external image data is provided.
- a predefined overlay with external image data is provided in an application area 301, 302 of a body 300 of the patient 2000.
- the surfaces of eyes, nose, ears or teeth may be used for patient registration.
- Automated or manual, external image data eg, CT data of the area
- the automatic method can be realized, for example, with 3D matching methods.
- a manual overlay of external image data with the image map data may be done, for example, by the user marking a family of prominent points 701, 702 (eg, subnasal and eye angle) both in the CT data and in the map data.
- a family of prominent points 701, 702 eg, subnasal and eye angle
- Fig. 5 shows schematically the principle of the SLAM method for simultaneous localization and map generation. In the present case, this is done using so-called feature point matching at prominent points (eg 701, 702 of FIG. 4 or other prominent points 703, 704, 705, 706), and an estimate of the movement.
- the SLAM method is only one possible option. The method uses only the sensor signals for orientation in an extensive area, which is made up of a variety of neighborhoods. In this case, the own movement is estimated on the basis of the sensor data (typically image data BU) and a map 470.1, 470.2 of the detected area is continuously created. In addition to map generation and motion detection, the currently acquired sensor information is also checked for matches with the previously stored image map data.
- the system knows its own current position and orientation within the map. On this basis, relatively robust algorithms can be specified and used successfully.
- the "monocular SLAM" method was introduced, in which feature points 701, 702, 703, 704, 705, 706 of an object 700 are continuously recorded in the video image and their motion in the image is evaluated in the view (A) shows the feature points 701, 702, 703, 704, 705, 706 of an object 700 and in view (B) a movement thereof rear right (701 ', 702', 703 ', 704', 705th ', 706') of an object 700, wherein the length of the vector to the displaced object 700 'is a measure of the movement, in particular distance and speed.
- FIG. 5 thus shows two images of a proximity environment BU, BU 'at a first recording time T1 and a second recording time T2.
- the salient points 701 to 706 are associated with the first acquisition time T1
- the salient points 701 'to 706' are associated with the second acquisition time T2, that is, as shown in FIG. H.
- Object 700 at time T1 appears at time T2 as object 700 'with different object position and / or orientation.
- example vector V give the distance and time difference between times T1 and T2, the speed of the relation between objects 700 and 700 '.
- FIG. 6 shows how with the aid of this method camera images (here the endoscope camera) can be combined to form a map and displayed as a patient model in a common 3D view.
- FIG. 6 shows a device 1000 that can be handled by a mobile device, as has been explained in principle with reference to FIGS. 2 and 3, wherein the same reference numerals are again used for identical or similar parts or parts of identical or similar function, so that in this respect reference is made to the description of the aforementioned Fig. 2 and Fig. 3 is referenced.
- Fig. 6 shows the device with a mobile device head 300 at three different times T1, T2, T3; namely, temporally offset the mobile device heads 100T1, 100T2 and 100T3.
- the proximity environment U of the mobile device head 100 which is essentially determined by a receiving area of a camera or the like having a data acquisition unit 410, is able to run a specific area 303 of the body 300 to be mapped by means of the three times T1, T2, T3 shown here by way of example Device head 100 is moved and occupies different positions at the times T1, T2, T3.
- the area 303 to be mapped is thus composed of a pick-up area of the vicinity U1 at the time T1 and a pick-up area at time T2 corresponding to the vicinity U2 and a pick-up area of the vicinity U3 at time T3.
- Respective image data transmitted via the data cable 510 to the visual detection unit 600 or the like monitor represents the area to be mapped as image B303; this is thus made up of a sequence of images of which three images BU1, BU2, BU3 corresponding to the time T1, T2, T3 are shown.
- this could be an image B301 of the application area 301 or the depression 302 of FIG. 1 or another image representation of the structure 310.
- the surface of the body 300 in the form of the structure 310 can be reproduced in the area 303 to be mapped as image B303; So the one that can be detected for example by a camera.
- the detectable is not necessarily limited to the surface but can also go in part to the depth, depending on the property of the image data acquisition unit, in particular the camera.
- the camera installed in the endoscope in particular in endoscopes, can be used as the camera system.
- the image information and movement of the camera the 3D image information can be calculated or estimated.
- All known camera types are suitable as camera, in particular unidirectional and omnidirectional 2D cameras or 3D camera systems, for example with stereoscopy or time-of-flight methods.
- 3D image data can be calculated using multiple 2D cameras built into the instrument, or the quality of the image data can be improved using multiple 2D and 3D cameras. Camera systems capture in most common case light visible wavelengths between 400 and 800 nanometers.
- FIG. 7 shows by way of example preferred possibilities for further external camera positions on an instrument. Since the area of the image data used for navigation is basically irrelevant, a camera can also be mounted in other places of the instrument, so that the movement of the endoscope and the assignment of the position continues to be possible or more accurate. Fig.
- FIG. 7 shows in view (A) a further example of a device head 104 in the form of an endoscope, identical reference numerals being used for identical or similar parts or parts of identical or similar function as in Fig. 1B and Fig. 1C.
- the device head has a first image data acquisition unit 41 1 in the form of an external camera attached to the shaft 102S or handle 120 of the endoscope and an internal second image data acquisition unit 412 integrated in the endoscope in the form of another camera, namely the endoscope camera.
- the external camera 41 1 has a first recording area U41 1, and the internal camera has a second recording area U 412.
- the image data recorded in the first recording area U41 1 or a first near-field environment determined thereby is transmitted to a guide device 400 via a first data cable 510.1.
- image data of a second recording area U412 or of a second local area defined thereby is transmitted to the guide device 400 through a second data cable 510.2 of the endoscope.
- the image data link 51 1 shown via the data cable is shown for connecting the image data acquisition unit 410 and an image data processing unit and / or navigation unit 430, 440; accordingly, the image data acquisition unit 410 shown in FIG. 2 may include, as exemplified in FIG.
- two image data acquisition units such as image data acquisition units 41 1, 412 as shown in FIG. 7A.
- the availability of two simultaneous images of a first and a second local environment with a, at least partially overlapping, exposure area from different perspectives can be converted into an image data processing unit and / or the navigation unit 430, 440 for accuracy improvement.
- the system is also functional if the camera never penetrates the body. To increase the accuracy of course, several cameras can be operated simultaneously on one instrument.
- the use of instruments and pointer instruments together with a built-in camera is conceivable. If, for example, the relative position of the tip of the pointer instrument to the camera or to the 3D image data is known, a patient registration can be carried out with the aid of this pointer instrument or a similarly usable instrument.
- FIG. 7 (B) shows another embodiment of a mobile device head 105 in the form of a pointer instrument, again using the same reference numerals as in the previous figures for identical or similar features or features of identical or similar functions.
- the pointer instrument has a pointer tip S105 at the distal end 105D of the shaft 105S of the pointer instrument 105.
- the pointer instrument also has a handle 120 at the proximal end 105P.
- an image data acquisition unit 41 1 is attached to the handle 120 as a single camera of the pointer instrument.
- the tip S105 or the distal end 105D of the pointer instrument 105 falls essentially for determining the proximity environment.
- the receiving areas U41 1, U412 of the first and second camera 41 1, 412 are overlapping such that the structure 302 lies in the overlapping area.
- a guide means associated with positional reference to the device head is adapted to provide indications of the position of the device head 100 with respect to the environment U in the card 470, the environment U going beyond the proximity environment NU alone can to create a map; this is z.
- this is z.
- Fig. 7 (B) the case of Fig. 7 (B).
- it will be particularly preferred in addition to guide z.
- an image data acquisition unit 412 may also have a dual role in that it serves to map an environment as well as to visually capture a proximity environment. This may be the case, for example, when the proximity environment is an operating environment of the distal end of the mobile device head 100; for example with a lesion.
- the proximity environment NU may then further include those image data that are captured within visual range of a first optic 412 of the image data acquisition unit 410 at the distal end of the mobile device head 100.
- the environment U may include an area that is in the vicinity of NU and beyond the operating environment of the distal end of the mobile device head 100.
- image acquisition units (such as, for example, the cameras 41 1, 412 in FIG. 7 (A)) can be installed at various and arbitrary positions on the instrument, pointing in the same or different directions, in order to obtain different ones in the latter case To be able to record near and (far) surroundings.
- a proximity environment regularly includes an operating environment of the distal end of the mobile device head 100, in which the surgeon engages.
- the operating area or the near environment is not necessarily the cartographed area.
- the near environment may not be visualized in the immediate vicinity of the distal end of the mobile device head 100 (eg, if only a pointing or surgical instrument is used instead of the endoscope); then, as explained at Fig. 7 (B) above, the environment U may go beyond the proximity environment NU and be provided alone to create a map.
- FIG. 8 shows in view (A) an arrangement of an environment U with a completely surrounding Nahu NU arranged completely within it, which is representative of the situation of FIG. 7 (A), which respectively corresponds to a viewing area of an internal camera 412 or external camera 41 1 assigned.
- the hatched area of the near environment serves to engage in a body tissue as the operating environment OU; the entire region of the environment U is used for mapping and thus for navigation of an instrument, such as here the internal vision camera 412 at the distal end of the endoscope.
- Fig. 8 (A) visualized in a modified form and an example of FIG.
- Fig. 8 (B) shows that the areas of an environment U, a neighborhood environment NU, and the operation environment OU may also coincide more or less congruently; this may be the case in particular in an example of FIG. 1 (B) or FIG. 1 (C); namely an internal viewing camera 412 of the endoscope is used to monitor tissue on an operating environment OU in the region of the proximity environment NU (i.e., in the field of view of the internal camera 412); the same area serves as environment U also for mapping and thus for navigation of the distal end 101 D of the endoscope.
- an internal viewing camera 412 of the endoscope is used to monitor tissue on an operating environment OU in the region of the proximity environment NU (i.e., in the field of view of the internal camera 412); the same area serves as environment U also for mapping and thus for navigation of the distal end 101 D of the endoscope.
- Fig. 8 (C) illustrates a situation already described above in which the proximity environment NU and the environment U are juxtaposed and touching or partially overlapping, the environment U serving for mapping and only the neighborhood NU comprising the operation environment OU.
- This may for example occur for a cartilage or bone area of the environment U and a mucous area of the vicinity NU, wherein the mucous membrane at the same time includes the surgical environment.
- the mucous membrane is poorly approachable for mapping because it is comparatively diffuse while a cartilage or a bone of the environment U has visual positions that can serve as markers and thus can be the basis of a navigation.
- Fig. 8 (A) in an approximately circular area of an environment U, there may be solid tissue such as cartilage or bone that lends itself well to mapping while in a lying within Area of a near environment NU blood or nerve vessels are arranged.
- an environment U and a neighborhood NU are disjoint, that is, image areas that are completely isolated from each other.
- an environment U can lie, for example, in the field of view of an external camera and comprise operating devices, an operating room or objects of orientation in a space clearly beyond the proximity environment NU.
- this can be the Environment U be on the surface of a patient's face. The face is often due to prominent positions such as an eye pupil or a nostril to provide marker positions available on the basis of which a comparatively good navigation is possible.
- the area of operation in the near environment NU may differ significantly, e.g. B. include a nasal cavity or an area in the throat of a patient or below the surface of the face, ie in the head, lie.
- FIG. 9 shows an exemplary application of a mobile device 1000 with a mobile device head 106 in the form of a movable endoscope or bronchoscope, conceivable also with instruments such.
- B a biopsy needle on the device head GK.
- a bronchoscope or endoscope used in the operating room can be used as a hardware with a camera module or with a miniaturized camera module at the distal end 106D-as shown in FIG. 10-with flexible support at a proximal end 106P.
- a global map -so corresponding to the map of the surroundings or as a complementary or part of it forming map of the environment U- can be captured by the surface model of mostly recorded before surgery SD record (for example, CT (computed tomography) or MRI (magnetic resonance tomography)) to be created.
- the local map of the neighborhood NU is registered to the global map of the neighborhood U, resulting in a lens position in the global map.
- the path to the target area that has been marked in the 3D data set can be displayed in the camera image for the surgeon.
- One advantage is the ability to navigate within the human body with flexible, flexible medical instruments or other device heads - such as a device head 106 having an endoscope or bronchoscope head as the gadget GK, if necessary, with biopsy needle at the distal end 106D-.
- the local positioning of the navigation is independent of soft tissue part movements, for example due to the breathing of the patient, possible.
- the local deformation of the bronchi is very small, but the absolute deviation of the situation considerably.
- a position detection of a device head GK at the distal end 106D of the device head 106 is also shown in FIG Soft tissue structures enable and facilitate the location of these structures in preoperatively recorded datasets.
- FIG. 10 shows a camera characteristic for representing an image data acquisition unit 412 on the device head GK of the device head 106 at the distal end 106D thereof on a movable instrument, here an endoscope or bronchoscope of FIG. 9.
- a movable instrument here an endoscope or bronchoscope of FIG. 9.
- an expanded field of view SF to represent a proximity environment NU form fields of view SF1, SF2, SF3 ... SFn of several cameras or to provide a camera with a further field of view SF for displaying a proximity environment NU; advantageous are camera heads with image recording and illumination in many directions for the fields of view SF1, SF2, SF3 ... SFn or for a wide field of view SF.
- 101P, 102P, 105P, 106P proximal end 101S, 102S, 105S shaft 1 10 Instrument head
- preoperative source 470 470.1, 470.2 card, picture card
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Gynecology & Obstetrics (AREA)
- Endoscopes (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Die Erfindung betrifft eine mobil handhabbare Vorrichtung (1000) mit einem mobilen Vorrichtungskopf (100), insbesondere einem medizinischen mobilen Vorrichtungskopf (100) mit einem distalen Ende zur Anordnung relativ zu einem Körper, insbesondere Ein- oder Anbringung am Körper, mit wenigstens einem zur manuellen oder automatischen Führung ausgebildeten mobilen Vorrichtungskopf (100), einer zur Navigation ausgebildeten Führungseinrichtung (400), einer Bilddatenverarbeitungseinheit (430), die mittels der Bilddaten eine Karte (470) der Umgebung erstellt, und eine Navigationseinheit, die mittels der Bilddaten und einem Bilddatenfluss wenigstens eine Position (480) des Vorrichtungskopfes (100) anhand der Karte angeben kann.
Description
MOBIL HANDHABBARE VORRICHTUNG ZUR BEARBEITUNG ODER BEOBACHTUNG
EINES KÖRPERS
Die Erfindung betrifft eine mobil handhabbare Vorrichtung wie ein Werkzeug, ein Instrument oder einen Sensor oder dergleichen, insbesondere zur Bearbeitung oder Beobachtung eines Körpers. Vorzugsweise betrifft die Erfindung eine mobil handhabbare medizinische Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines biologischen Körpers, insbesondere Gewebes. Vorzugsweise betrifft die Erfindung eine mobil handhabbare nicht-medizinische Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines technischen Körpers, insbesondere Gegenstandes. Die Erfindung betrifft auch ein Verfahren zur Handhabung, insbesondere Kalibrierung, der Vorrichtung, insbesondere im medizinischen oder nicht-medizinischen Bereich.
Eine eingangs genannte mobile handhabbare Vorrichtung kann insbesondere ein Werkzeug, Instrument oder Sensor oder dergleichen Gerät sein. Insbesondere kann eine eingangs genannte mobil handhabbare Vorrichtung -vorzugsweise medizinische oder nicht-medizinische Vorrichtung- ein Endoskop, ein Zeigerinstrument oder ein Instrument oder Werkzeug -vorzugsweise ein nicht-medizinisches Instrument oder Werkzeug oder ein medizinisches Instrument oder Werkzeug, insbesondere ein chirurgisches Instrument oder Werkzeug- sein. Die mobil handhabbare Vorrichtung weist wenigstens einen zur manuellen oder automatischen Führung ausgebildeten mobilen Vorrichtungskopf auf und eine Führungseinrichtung, die zur Navigation ausgebildet ist, um eine automatische Führung des mobilen Vorrichtungskopfes zu ermöglichen.
In der Robotik, insbesondere im medizinischen oder nicht-medizinischen Bereich, haben sich Ansätze zur mobil handhabbaren Vorrichtung der eingangsgenannten Art entwickelt. Zur Zeit wird zur Darstellung einer Führungseinrichtung insbesondere der Ansatz einer endoskopischen Navigation bzw. Instrumentennavigation verfolgt, bei dem optische oder elektromagnetische Tracking-Verfahren zur Navigation verwendet werden; bekannt sind beispielsweise modulare Systeme für eine Endoskop mit erweiternden Systemmodulen wie einer Trackingkamera, einer Recheneinheit und einer visuellen Darstellungseinheit zur Darstellung einer klinischen Navigation.
Unter Tracking ist grundsätzlich ein Verfahren zur Spurbildung bzw. Nachführung zu verstehen, was die Verfolgung von bewegten Objekten -nämlich vorliegend dem mobilen Vorrichtungskopf- dient. Ziel dieser Verfolgung ist meist das Abbilden der beobachteten tatsächlichen Bewegung, insbesondere relativ zu einer kartographierten Umgebung, zur technischen Verwendung. Dies kann das Zusammenführen des getrackten (geführten) Objekts -nämlich dem mobilen Vorrichtungskopf- mit einem anderen Objekt (z. B. ein Zielpunkt oder eine Zieltrajektorie in der Umgebung) sein oder schlicht die Kenntnis der momentanen "Pose"— d. h. Position und/oder Orientierung- und/oder Bewegungszustand des getrackten Objektes.
Bislang werden zum Tracken regelmäßig Absolutdaten betreffend die Position und/oder Orientierung (Pose) des Objektes und/oder der Bewegung des Objektes herangezogen, wie beispielsweise bei dem obengenannten System. Die Güte der bestimmten Pose und/oder Bewegungsinformation hängt zunächst von der Güte der Beobachtung, dem verwendetem Tracking-Algorithmus sowie von der Modellbildung ab, die der Kompensation unvermeidlicher Messfehler dient. Ohne Modellbildung ist die Güte der bestimmten Lage- und Bewegungsinformation jedoch meist vergleichsweise schlecht. Derzeit werden absolute Koordinaten eines mobilen Vorrichtungskopfes— z. B. im Rahmen einer medizinischen Anwendung- auch beispielsweise aus der Relativbeziehung zwischen einem Patienten-Tracker und einem Tracker für den Vorrichtungskopf geschlossen. Grundsätzlich problematisch bei solchen als Tracking-Absolut-Module bezeichneten modularen Systemen ist der zusätzliche Aufwand -räumlich und zeitlich- zur Darstellung der erfor- derlichen Tracker. Der Platzbedarf ist enorm und erweist sich als höchst problematisch in einem Operationssaal mit einer Vielzahl von Akteuren.
So muss darüberhinaus eine ausreichende Navigationsinformation zur Verfügung stehen; d. h. bei Tracking-Verfahren muss regelmäßig eine Signalverbindung zwischen Tracker und einer Bilddatenerfassungseinheit erhalten sein, beispielsweise zu einer Tracking-
Kamera erhalten bleiben. Dies kann beispielsweise eine optische oder elektromagnetische oder dergleichen Signalverbindung sein. Bricht eine solche insbesondere optische Signalverbindung ab— z. B. wenn ein Akteur in die Bildaufnahmelinie zwischen Tracking- Kamera und einem Patiententracker gerät- fehlt die nötige Navigationsinformation und die Führung des mobilen Vorrichtungskopfes muss unterbrochen werden. Insbesondere bei der optischen Signalverbindung ist diese Problematik als sogenannte„Line of Sight"- Problematik bekannt.
Eine stabilere Signalverbindung kann zwar beispielsweise mittels elektromagnetischer Tracking-Verfahren zur Verfügung gestellt werden, die weniger anfällig ist als eine opti- sehe Signalverbindung. Anderseits sind solche elektromagnetischen Tracking-Verfahren zwangsläufig jedoch ungenauer und empfindlicher gegenüber elektrisch oder ferromagnetisch leitfähigen Objekten im Messraum; dies ist insbesondere im Falle medizinischer Anwendungen relevant, da die mobil handhabbare Vorrichtung regelmäßig zur Unterstützung bei chirurgischen Eingriffen oder dergleichen dienen soll, sodass die Anwesenheit von elektrisch oder ferromagnetisch leitfähigen Objekten im Messraum, d. h. an der Operationsstelle, die Regel sein kann. Wünschenswert ist eine mobil handhabbare Vorrichtung, die eine mit vorbeschriebener klassischer Tracking-Sensorik zur Navigation verbundene Problematik weitgehend vermeidet. Insbesondere betrifft dies die Probleme vorgenannten optischer oder elektromagnetischer Tracking-Verfahren. Dennoch sollte eine Genauigkeit einer Führungseinrichtung zur Navigation möglichst hoch sein, um eine möglichst präzise Robotikanwendung näher der mobil handhabbaren Vorrichtung, insbesondere medizinische Anwendung der mobil handhabbaren Vorrichtung, zu ermöglichen.
Darüberhinaus besteht aber auch das Problem, dass die Beständigkeit einer ortsfesten Position eines Patiententrackers oder Lokators bei der Patientenregistrierung maßgeblich für die Genauigkeit des Trackens ist; dies kann ebenfalls in der Praxis eines Operationssaals mit einer Vielzahl von Akteuren nicht immer gewährleistet werden. Grundsätzlich ist eine dahingehend verbesserte mobil handhabbare Vorrichtung mit einem Tracking- System aus WO 2006/131373 A2 bekannt, wobei die Vorrichtung zum berührungslosen Ermitteln und Vermessen einer Raumposition und/oder Raumorientierung von Körpern vorteilhaft ausgebildet ist.
Neue Ansätze, insbesondere im medizinischen Bereich, versuchen mit Hilfe einer intraoperativen Magnetresonanz Tomographie oder allgemein Computertomographie die Navigation eines mobilen Vorrichtungskopfes zu unterstützen, indem diese mit einer bildgebenden Einheit gekoppelt werden. Die Registrierung von beispielsweise mittels
endoskopischen Videodaten gewonnenen Bilddaten mit einer präoperativen CT- Aufnahme ist beschrieben in dem Artikel von Mirota et al. „A System for Video-Based Navigation for Endoscopic Endonasal Skull Base Surgery" IEEE Transactions on Medical Imaging, Vol. 31 , No. 4, April 2012 oder in dem Artikel von Burschka et al. "Scale- invariant registration of monocular endoscopic images to CT-scans for sinus surgery" in Medical Image Analysis 9 (2005) 413 - 426. Ein wesentliches Ziel der Registrierung von beispielsweise mittels endoskopischen Videodaten gewonnenen Bilddaten ist eine Genauigkeitsverbesserung der Registrierung.
Solche Ansätze sind andererseits jedoch vergleichsweise unflexibel, da immer eine zweite Bilddatenquelle vorbereitet werden muss, z. B. in einem präoperativen CT-Scan. Zudem sind CT-Daten mit hohem Aufwand und hohen Kosten verbunden. Die akute und flexible Verfügbarkeit solcher Ansätze zu einem beliebigen gewünschten Zeitpunkt, z. B. spontan während einer Operation, ist daher nicht bzw. nur begrenzt und mit Vorbereitung möglich. Neueste Ansätze prognostizieren die Möglichkeit, Verfahren zur simultanen Lokalisierung und Kartographierung "in vivo" zur Navigation einzusetzen. Eine grundsätzliche Studie dazu ist beispielsweise beschrieben worden, in dem Artikel von Mountney et al. zur 31st Annual International Conference of the IEEE EMBS Minneapolis, Minnesota, USA, September 2 - 6, 2009 (978-1-4244-3296-7/09). In dem Artikel von Grasa et al.„EKF monoc- ular SLAM with relocalization for laparoscopic sequences" in 201 1 IEEE International Conference on Robotics and Automation, Shanghai. May 9 - 13, 201 1 (978-1-61284-385- 8/1 1 ) ist eine Echtzeitanwendung bei 30 Hz für ein 3D-Modell im Rahmen einer visuellen SLAM mit einem erweitertem Kaiman Filter (EKF) beschrieben. Die Pose (Position und/oder Orientierung) einer Bilddatenerfassungseinheit wird in einem Drei-Punkt- Algorithmus berücksichtigt. Eine Echtzeitverwendbarkeit und die Robustheit hinsichtlich eines moderaten Pegels an Objektbewegung wurden geprüft.
Grundsätzlich erweisen sich diese Ansätze als Erfolg versprechend, sind jedoch noch verbesserbar.
An dieser Stelle setzt die Erfindung an, deren Aufgabe es ist eine mobile handhabbare Vorrichtung und ein Verfahren anzugeben, die in verbesserter Weise eine Navigation ermöglichen und dennoch eine verbesserte Genauigkeit zur Führung eines mobilen Vorrichtungskopfes erlauben. Insbesondere ist es Aufgabe eine Vorrichtung und ein
Verfahren anzugeben, bei welcher eine Navigation mit vergleichsweise wenig Aufwand und erhöhter Flexibilität, insbesondere in situ möglich ist.
Insbesondere soll ein nicht-medizinischer mobiler Vorrichtungskopf mit einem distalen Ende zur Anordnung relativ zu einem technischen Körper, insbesondere Gegenstand, insbesondere mit einem distalen Ende zur Ein- oder Anbringung am Körper automatisch führbar sein. Insbesondere soll ein nicht-medizinisches Verfahren zur Handhabung, insbesondere Kalibrierung, der Vorrichtung angegeben werden.
Insbesondere soll ein medizinischer mobiler Vorrichtungskopf mit einem distalen Ende zur Anordnung relativ zu einem biologischen Körper, insbesondere gewebeartigen Kör- per, insbesondere mit einem distalen Ende zur Ein- oder Anbringung am Körper automatisch führbar sein. Insbesondere soll ein medizinisches Verfahren zur Handhabung, insbesondere Kalibrierung, der Vorrichtung angegeben werden.
Die Aufgabe betreffend die Vorrichtung wird durch die Erfindung mit einer Vorrichtung des Anspruchs 1 mit einem mobilen Vorrichtungskopf gelöst. Bevorzugt ist die Vorrich- tung eine mobil handhabbare Vorrichtung wie ein Werkzeug, Instrument oder Sensor oder dgl., insbesondere zur Bearbeitung oder Beobachtung eines Körpers.
Insbesondere ist die Vorrichtung eine medizinische mobile Vorrichtung mit einem medizinischen mobilen Vorrichtungskopf, wie ein Endoskop, ein Zeigerinstrument oder ein chirurgisches Instrument oder dgl., mit einem distalen Ende zur Anordnung relativ zu einem Körper, insbesondere Körpergewebe, vorzugsweise Ein- oder Anbringung am Körper, insbesondere an einem Körpergewebe, insbesondere zur Bearbeitung oder Beobachtung eines biologischen Körpers, wie ein gewebeartiger Körper od. dgl. Körpergewebe.
Insbesondere ist die Vorrichtung eine nicht-medizinische mobile Vorrichtung mit einem nicht-medizinischen mobilen Vorrichtungskopf, wie ein Endoskop, ein Zeigerinstrument oder ein Werkzeug oder dgl., mit einem distalen Ende zur Anordnung relativ zu einem Körper, insbesondere technischen Gegenstand wie einer Vorrichtung oder einem Gerät, vorzugsweise Ein- oder Anbringung am Körper, insbesondere an einem Gegenstand, insbesondere zur Bearbeitung oder Beobachtung eines technischen Körpers, wie einem Gegenstand oder Gerät oder dgl. Vorrichtung.
Unter einem distalen Ende des Vorrichtungskopfes ist ein von einer Führungseinrichtung weit entferntes Ende des Vorrichtungskopfes, insbesondere am weitesten entferntes Ende des Vorrichtungskopfes, zu verstehen. Entsprechend ist unter einem proximalen Ende des Vorrichtungskopfes ein zu einer Führungseinrichtung nahe gelegenes Ende des Vorrichtungskopfes, insbesondere am nächsten gelegenes Ende des Vorrichtungskopfes, zu verstehen.
Erfindungsgemäß weist die Vorrichtung auf:
- wenigstens einen zur manuellen oder automatischen Führung ausgebildeten mobilen Vorrichtungskopf,
- eine Führungseinrichtung, wobei die Führungseinrichtung zur Bereitstellung von Navigationsinformationen zur Führung des mobilen Vorrichtungskopf ausgebildet ist, wobei dessen distales Ende in einer Nahumgebung (NU) führbar ist,
- eine Bilddatenerfassungseinheit, die ausgebildet ist, Bilddaten einer Umgebung (U) des Vorrichtungskopfes, insbesondere kontinuierlich, zu erfassen und bereitzustellen
- eine Bilddatenverarbeitungseinheit, die ausgebildet ist mittels der Bilddaten eine Karte der Umgebung (U) zu erstellen,
- eine Navigationseinheit, die ausgebildet ist, mittels der Bilddaten und einem Bilddaten- fluss wenigstens eine Position des Vorrichtungskopfes in der Nahumgebung (NU) anhand der Karte anzugeben, derart, dass der mobile Vorrichtungskopf anhand der Karte führbar ist.
Weiter ist erfindungsgemäß ein Führungsmittel vorgesehen, das einen Positionsbezug zum Vorrichtungskopf hat und diesem zugeordnet ist, wobei das Führungsmittel ausgebildet ist, Angaben zur Position des Vorrichtungskopfes in Bezug auf die Umgebung (U) in der Karte zu machen, wobei die Umgebung (U) über die Nahumgebung (NU) hinaus- geht.
Der Positionsbezug des Führungsmittels zum Vorrichtungskopf kann vorteilhaft starr sein. Der Positionsbezug muss jedoch nicht starr sein solange der Positionsbezug determiniert veränderlich oder beweglich ist oder jedenfalls kalibrierbar ist. Dies kann beispielsweise der Fall sein, wenn der Vorrichtungskopf am distalen Ende eines Roboterarms als Teil eines Handhabungsapparates ist und das Führungsmittel am Roboterarm angebracht ist; die z. B. durch Fehler oder Dehnungen hervorgerufene Varianz in dem nicht starren aber grundsätzlich deterministischen Positionsbezug zwischen Führungsmittel und Vorrichtungskopf ist in diesem Falle kalibrierbar.
Unter einem Bilddatenfluss ist der Fluss von Bilddatenpunkten in zeitlicher Veränderung zu verstehen, der entsteht, wenn man eine Anzahl von Bilddatenpunkten zu einem ersten und einem zweiten Zeitpunkt unter Veränderung der Position, Richtung und/oder Geschwindigkeit derselben für eine definierte Durchtrittsfläche betrachtet; ein Beispiel ist in Fig. 5 erläutert.
Bevorzugt, jedoch nicht notwendigerweise umfasst das Führungsmittel die Bilddatenerfassungseinheit. Beispielsweise in dem Falle dass der Vorrichtungskopf ein einfaches Zeigerinstrument ohne Zieloptik ist, umfasst das Führungsmittel vorteilhaft eine separate Führungsoptik. Bevorzugt umfasst das Führungsmittel wenigstens eine Optik, insbeson- dere eine Ziel- und/oder Führungsoptik und/oder eine externe Optik.
Das Führungsmittel kann auch zusätzlich oder alternativ ein weiteres Orientierungsmodul — z. B. ein Bewegungsmodul und/oder einen Beschleunigungssensor oder dgl. Sensorik- umfassen, das ausgebildet ist, eine weitere Angabe zur Position, insbesondere Pose (Position und/oder Orientierung), und/oder Bewegung des Vorrichtungskopfes in Bezug auf die Karte bereitzustellen.
Ein Bewegungsmodul, insbesondere in Form einer Bewegungssensorik wie einem Beschleunigungssensor, einem Geschwindigkeitssensor, einem Gyroskopsensor oder dergleichen, ist vorteilhaft ausgebildet, eine weitere Angabe zur Pose und/oder Bewegung des Vorrichtungskopfes in Bezug auf die Karte bereitzustellen. Vorteilhaft ist weiter vorgesehen, dass wenigstens ein, ggfs. auch mehrere mobile Vorrichtungsköpfe anhand der Karte führbar sind.
Unter Navigation ist grundsätzlich jede Art der Kartenerstellung unter Angabe einer Position in der Karte und/oder die Angabe eines Zielpunktes in der Karte, vorteilhaft in Relation zur Position zu verstehen; im weiteren Sinne also das Feststellen einer Position in Bezug auf ein Koordinatensystem und/oder die Angabe eines Zielpunktes, insbesondere die Angabe einer vorteilhaft auf der Karte ersichtlichen Route zwischen Position und Zielpunkt.
Die Erfindung führt auch auf ein Verfahren des Anspruchs 30, insbesondere zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung mit einem mobilen Vorrichtungskopf.
Die Erfindung geht aus von einer im Wesentlichen bilddaten-basierten Kartographie und Navigation in einer Karte für die Umgebung des Vorrichtungskopfes im weiteren Sinne; also einer Umgebung, die nicht an eine Nahumgebung des distalen Endes des Vorrichtungskopfes, wie etwa der visuell erfassbaren Nahumgebung am distalen Endes eines Endoskops gebunden ist. Das Verfahren ist mit einem nicht-medizinischen mobilen Vorrichtungskopf mit einem distalen Ende zur Anordnung relativ zu einem technischen Körper durchführbar oder mit einem medizinischen mobilen Vorrichtungskopf mit einem distalen Ende zur Anordnung relativ zu einem gewebeartigen Körper, insbesondere mit einem distalen Ende zur Ein- oder Anbringung am Körper durchführbar. Insbesondere eignet sich das Verfahren in einer Weiterbildung lediglich zur Kalibrierung, einer Vorrichtung mit einem mobilen Vorrichtungskopf.
Das Konzept der Erfindung sieht mit den Führungsmitteln, die Möglichkeit vor, eine Umgebung zu kartographieren, aus einer anderen Perspektive des distalen Endes des Vorrichtungskopfes, z. B. aus dessen proximalen Ende, etwa aus der Perspektive eines proximalen Endes des Vorrichtungskopfes. Dies könnte z. B. die Perspektive einer am Griff eines Endoskops angebrachten Führungsoptik einer externen Kamera sein. Da für das Führungsmittel vorgesehen ist, dass ein Positionsbezug zum Vorrichtungskopf besteht, kann eine Kartographie der Umgebung des Vorrichtungskopfes und eine Navigation in Bezug auf eine solche Karte der Umgebung dennoch eine sichere Führung des distalen Endes des Vorrichtungskopfes in der Nahumgebung desselben erlauben.
Die Umgebung (im medizinischen Bereich z. B. eine Gesichtsoberfläche oder im nichtmedizinischen Bereich z. B. eine Kraftfahrzeugkarosserie) kann disjunkt zur Nahumgebung sein (z. B. ein Naseninnenraum oder im nicht-medizinischen Bereich z. B. eine Motorraum). Insbesondere in diesem Fall ist die Vorrichtung bzw. ein Verfahren nicht- invasiv d. h. ohne physischen Eingriff am Körper.
Gleichwohl kann eine Umgebung auch eine Nahumgebung umfassen. Z. B. kann eine Nahumgebung ein Operationsgebiet umfassen, in dem eine Läsion behandelt wird, wobei die Führung eines distalen Endes des Endoskops in der Nahumgebung anhand einer Navigation in einer Karte erfolgt, die von einer zur Nahumgebung benachbarten Umge- bung erstellt wurde. Auch in diesem Fall ist die Vorrichtung bzw. ein Verfahren weitest gehend nicht-invasiv d. h. ohne physischen Eingriff am Körper, insbesondere wenn die Umgebung nicht eine Operationsumgebung des distalen Endes des mobilen Vorrichtungskopf umfasst.
Die Nahumgebung kann eine Operationsumgebung des distalen Endes des mobilen Vorrichtungskopf sein und die Nahumgebung kann diejenigen Bilddaten umfassen, die in visueller Reichweite einer ersten Optik der Bilddatenerfassungseinheit am distalen Ende des mobilen Vorrichtungskopf erfasst sind. Im Falle einer möglichen unmittelbaren Nachbarschaft der Nahumgebung und der Umgebung kann diese Vorgehensweise synergetisch genutzt werden, um Bilddaten der Nahumgebung und einer etwaigen Ausdehnung derselben zu sammeln und gleichzeitig die gesamte Umgebung zu kartographieren. So kann die Umgebung ein Gebiet umfassen, das in der Nahumgebung und jenseits der Operationsumgebung des distalen Endes des mobilen Vorrichtungskopfes liegt.
Zunächst ergibt sich der besondere Vorteil, dass verkürzt ausgedrückt, vergleichsweise aufwendige und unflexible klassische Tracking-Sensoren weitgehend vermieden werden.
Darüberhinaus bietet das Konzept die Möglichkeit, die Genauigkeit der Karte mit einem zusätzlichen Führungsmittel, z. B. einem Bewegungsmodul oder einer Optik oder dergleichen Orientierungsmodul zu erhöhen; dies schafft gemäß dem Konzept der Erfindung die Voraussetzung, dass der wenigstens eine mobile Vorrichtungskopf nur anhand der Karte führbar wird. Insbesondere werden gemäß dem Konzept die Bilddaten selbst zur Erstellung einer Karte genutzt; insofern also ein rein bilddaten-basiertes Kartographieren und Navigieren einer Oberfläche eines Körpers ermöglicht. Dies kann außen- als auch innenliegende Oberflächen eines Körpers betreffen. Insbesondere im medizinischen Bereich können beispielsweise Oberflächen von Augen, Nasen, Ohren oder Zehen zur Patientenregistrierung verwendet werden. Eine zur Nahumgebung disjunkte Umgebung zur Kartographie und Navigation zu nutzen, hat auch den Vorteil, dass die Umgebung ausreichend Referenzstellen aufweist, die als Marker dienen können und genauer erfasst werden könne; dagegen können die Eigenschaften zur Aufnahme von Bilddaten einer Nahumgebung, insbesondere einer Operationsumgebung zur verbesserten bildlichen Darstellung der Läsion genutzt werden.
Die Erfindung ist in einem medizinischen Bereich und in einem nicht-medizinischen Bereich gleichermaßen anwendbar, insbesondere nicht-invasiv und ohne physischen Eingriff an einem Körper.
Das Verfahren kann vorzugsweise auf einen nicht-medizinischen Bereich beschränkt sein.
Vorzugsweise ist die Erfindung, insbesondere im Rahmen der Vorrichtung, nicht beschränkt auf eine Anwendung im medizinischen Bereich sondern kann vielmehr auch in einem nicht-medizinischen Bereich sinnvoll eingesetzt werden; insbesondere in der Montage oder Instandsetzung von technischen Gegenständen wie z. B. Kraftfahrzeugen oder Elektronik ist das vorgestellte Konzept besonders vorteilhaft anwendbar. Beispielsweise können Werkzeuge mit dem vorgestellten System ausgestattet und darüber navigiert werden. Das System kann bei der Montage mit Industrierobotern die Genauigkeit erhöhen bzw. bisherige—mit Robotern nicht mögliche- Montagetätigkeiten realisierbar machen. Außerdem kann einem Arbeiter/Mechaniker -z. B. durch Anweisungen einer an dessen Werkzeug befestigten Datenverarbeitung auf Basis des vorgestellten Konzepts- die Montagetätigkeit erleichtert werden. Beispielhaft kann, durch die Verwendung dieser Navigationsmöglichkeit in Verbindung mit einem Montagewerkzeug (beispielsweise Akkuschrauber) an einem Aufbau (z. B. Kraftfahrzeugkarosserie), die Montage (z. B. Schraubverbindung von Zündkerzen) eines Bauteils (z. B. Zündkerze od. Schraube) mithilfe einer Datenverarbeitung der Arbeitsumfang durch Hilfestellung verringert und/oder die Qualität der ausführten Tätigkeit durch Überprüfung erhöht werden.
Die Vorrichtung und ein Verfahren erweist sich bevorzugt als echtzeitfähig, insbesondere bei kontinuierlicher Bereitstellung und Echtzeitverarbeitung der Bilddaten.
Im Rahmen einer besonders bevorzugten Weiterbildung basiert die Navigation auf einem SLAM-Verfahren, insbesondere einem 6D-SLAM-Verfahren, vorzugsweise eines SLAM- Verfahrens kombiniert mit einem KF (Kaiman-Filter), insbesondere vorzugsweise eines 6D-SLAM-Verfahrens kombiniert mit einem EKF (erweiterter Kaiman-Filter). Beispielsweise Videobilder einer Kamera oder dergleichen Bilddatenerfassungseinheit werden zur Erstellung der Karte verwendet. Die Navigation und Führung des Vorrichtungskopfes erfolgt anhand der Karte, insbesondere nur anhand der Karte. Es zeigt sich, dass die weitere Bewegungssensorik zur Genauigkeitssteigerung ausreichend ist, um eine erhebliche Genauigkeitsverbesserung zu erreichen, insbesondere bis in den Submillimeter- Bereich.
Die Erfindung hat erkannt, dass ein grundsätzliches Problem der rein bilddatenbasierten Navigation und Führung anhand einer Karte darin besteht, dass die Genauigkeit bisheriger Bilddaten bezogener Ansätze, bei der Navigation und Führung des Vorrichtungskopfes von der Auflösung des bei der Bilddatenerfassungseinheit zum Einsatz gekommenen Objektivs abhängig ist; die Anforderungen hinsichtlich Echtzeitfähigkeit, Genauigkeit und Flexibilität sind ggf. gegenläufig. Die Erfindung hat erkannt, dass sich diese Anforderun-
gen gleichwohl übereinstimmend befriedigen lassen unter Einsatz eines Führungsmittels, das ausgebildet ist, eine weitere Angabe zur Pose und/oder Bewegung des Vorrichtungskopfes in Bezug auf die Karte bereit zu stellen.
Die Erfindung hat erkannt, dass ein grundsätzliches Problem der rein bilddatenbasierten Navigation und Führung anhand einer Karte darin besteht, dass die Genauigkeit bisheriger Bilddaten bezogener Ansätze, bei der Navigation und Führung der Vorrichtung von der Anzahl der bilddatenerfassende Einheiten und dem Umfang der gleichzeitig erfassten Umgebungsbereiche abhängt. Gleichwohl sind weitere Führungsmittel, wie z. B. Bewegungsmodule, wie Sensorik zur Beschleunigungsmessung, wie z. B. Beschleunigungs- sensoren oder Gyroskope, in der Lage, die Genauigkeit weiter zu erhöhen, insbesondere in Bezug auf eine zur Instrumentennavigation besonders gut geeigneten Karte der Umgebung, umfassend die Nahumgebung.
Soweit das Konzept der Erfindung darauf basiert eine Navigation und Führung nur anhand der Karte zu ermöglichen, so bedeutet dies, dass gleichwohl— z. B. initial oder in besonderen Situationen- die Führungseinrichtung ein Tracking-Absolutmodul aufweisen kann, insbesondere Sensorik oder dergleichen, das zum Erstellen der Karte der Nahumgebung temporär beschränkt aktivierbar und zeitlich überwiegend deaktiviert ist. Dies widerspricht dem Konzept, einen mobilen Vorrichtungskopf nur anhand der Karte zu führen nicht, denn im Unterschied zu bisher bekannten Verfahrens kann ein Tracking- Absolutmodul auf optischer oder elektromagnetischer Basis beispielsweise nicht ständig aktiviert sein, um eine ausreichende Navigation und Führung des Vorrichtungskopfes zu ermöglichen.
Vorteilhafte Weiterbildungen in der Erfindung sind den Unteransprüchen zu entnehmen und geben im Einzelnen vorteilhafte Möglichkeiten an, dass oben erläuterte Konzept im Rahmen der Aufgabenstellung, sowie hinsichtlich weiterer Vorteile zu realisieren.
Im Rahmen einer besonders bevorzugten Weiterbildung der Erfindung weist die mobil handhabbare Vorrichtung weiter eine Steuerungs- und eine Handhabungsapparat auf, die gemäß einer Pose und/oder Bewegung des Vorrichtungskopfes und anhand der Karte zur Führung des mobilen Vorrichtungskopfes ausgebildet sind. So lässt sich besonders bevorzugt der Handhabungsapparat mittels der Steuerung über einen Steueranschluss zur automatischen Führung des mobilen Vorrichtungskopfes ausbilden und die Steuerung ist bevorzugt mittels der Führungseinrichtung über eine Datenkopplung zur Navigation des Vorrichtungskopfes ausgebildet. Beispielsweise kann auf diese Weise eine geeignete
Regelschleife zur Verfügung gestellt werden, bei der der Steueranschluss zur Übergabe einer SOLL-Pose und/oder SOLL-Bewegung des Vorrichtungskopfes und die Datenkopplung zur Übergabe einer IST-Pose und/oder IST-Bewegung des Vorrichtungskopfes ausgebildet ist. Grundsätzlich ist es möglich, aufgrund der gesteigerten Genauigkeit der Karte und Navigation sowie Führung die gewonnenen Kartendaten bei der Navigation des Instrumentes oder zum Matchen mit weiteren Bilddaten wie z. B. CT-Daten oder MRT-Daten einzusetzen.
Besonders bevorzugt weist die Bilddatenerfassungseinheit wenigstens eine Anzahl von Optiken auf, die ausgebildet ist, Bilddaten einer Nahumgebung zu erfassen. Die Anzahl von Optiken kann eine einzige Optik aber auch zwei, drei oder mehr Optiken umfassen. Insbesondere kann ein monokulares oder binokulares Prinzip zur Anwendung kommen. Die Bilddatenerfassungseinheit kann insgesamt grundsätzlich in Form einer Kamera gebildet sein, insbesondere Teil eines Kamerasystems mit einer Anzahl von Kameras. Beispielsweise im Fall eines Endoskops hat sich eine in dem Endoskop verbaute Kamera als vorteilhaft erwiesen. Allgemein kann die Bilddatenerfassungseinheit eine Zieloptik aufweisen, die an einem distalen Ende des Vorrichtungskopfes sitzt, wobei die Zieloptik ausgebildet ist, Bilddaten einer Nahumgebung an einem distalen Ende des Vorrichtungskopfes zu erfassen, insbesondere als in dem Vorrichtungskopf eingebaute Zieloptik.
Insbesondere kann eine Kamera oder andere Art einer Führungsoptik an einer anderen Position des Vorrichtungskopfes sitzen, beispielsweise an einem Schaft, insbesondere an einem Schaft eines Endoskops. Allgemein kann die Bilddatenerfassungseinheit eine Führungsoptik aufweisen, die an einer Führungsstelle von einem distalen Ende entfernt, insbesondere an einem proximalen Ende des Vorrichtungskopfes und/oder an der Führungseinrichtung sitzt. Dabei ist die Führungsoptik vorteilhaft ausgebildet, die Bilddaten einer Nahumgebung einer Führungsstelle -also eine Umgebung, die disjunkt zur Nahumgebung an einem distalen Ende des Vorrichtungskopfes ist— zu erfassen. Da das Gebiet der zur Navigation verwendeten Bilddaten grundsätzlich unerheblich ist, kann die Führungsoptik grundsätzlich an jeder geeigneten Stelle des Vorrichtungskopfes bzw. Werkzeugs, Instrumentes oder Sensors oder dergleichen Stelle montiert werden, sodass die Bewegung des Vorrichtungskopfes, beispielsweise eines Endoskops, und die Zuordnung der Position weiterhin oder genauer möglich ist.
Das System ist auch funktionsfähig, wenn die Kamera nie in einen Körper eindringt.
Grundsätzlich können eine Mehrzahl von Kameras bzw. Optiken vorgesehen sein, die alle auf dieselbe Karte zugreifen, denkbar ist aber auch dass verschiedene Karten erstellt werden, z. B. beim Einsatz unterschiedlicher Sensorik wie Ultraschall, Radar und Kamera, und diese verschiedenen Karten kontinuierlich durch Form, Verlauf oder etc. zugeord- net bzw. registriert werden
Grundsätzlich ist eine Führungseinrichtung mit einer Bilddatenerfassungseinheit dann mit höherer Genauigkeit versehen, wenn mehrere Kameras oder Optiken gleichzeitig an einem Vorrichtungskopf oder einem beweglichen Teil der automatischen Führung betrieben werden. Insbesondere führt dies allgemein auf eine Weiterbildung, bei welcher vorteilhaft eine erste Optik Bilddaten und eine zweite Optik zweite Bilddaten erfasst, die räumlich versetzt sind. Insbesondere sind die ersten und zweiten Bilddaten zeitgleich erfasst. Die Genauigkeit der Lokalisation und Kartenerstellung kann durch weitere Optiken gesteigert werden, z. B. durch zwei oder mehr Optiken. Durch die Nutzung verschiedener bildgebender Einheiten, z. B. 2D-optische Bilddaten mit Radardaten, kann außer- dem die genannte Genauigkeit gesteigert werden.
In einer Variante ist vorgesehen, dass die gleiche Optik erste Bilddaten und zweite Bilddaten erfasst, insbesondere erste und zweite raumgleiche Bilddaten erfasst, die zeitlich verschoben sind. Insbesondere eignet sich eine solche Weiterbildung in Kombination mit einer weitergebildeten Bilddatenverarbeitungseinheit. Die weitergebildete Bilddatenverar- beitungseinheit weist vorteilhaft ein Modul auf, das ausgebildet ist, Zielbewegungen zu erkennen und bei der Erstellung einer Karte der Nahumgebung zu berücksichtigen. Vorteilhaft handelt es sich bei den Zielbewegungen um Zielkörperbewegungen, vorteilhaft nach einem physiologischen Muster erkennbar; beispielsweise rhythmische Zielkörperbewegungen wie eine Atembewegung, eine Herzschlagbewegung oder eine Zitterbewe- gung.
Erfassen mehr als eine Optik unterschiedliche Umgebungen oder teilweise unterschiedlichen Umgebungen, ist eine Bewegungserkennung aufgrund des Vergleichs der verschiedenen Umgebungsinformationen möglich. Dabei werden die sich bewegenden Bereiche von den festen Bereichen getrennt und die Bewegung errechnet bzw. ge- schätzt.
Besonders bevorzugt ist eine Pose (d. h. Position und/oder Orientierung) und/oder Bewegung des Vorrichtungskopfes anhand der Karte relativ zu einer Referenzstelle an einem Objekt an einer Umgebung des Vorrichtungskopfes angebbar. Vorteilhaft weist
eine Führungseinrichtung ein Modul zur Markierung einer Referenzstelle an dem Objekt auf, sodass diese besonders vorteilhaft zur Navigation verwendbar ist. Die Referenzstelle ist in besonders bevorzugter Weise Teil der Karte der Nahumgebung, d. h. der Nahumgebung im Zielbereich wie beispielsweise am distalen Ende eines Endoskops oder einem distalen Ende eines Werkzeugs oder Sensors.
Grundsätzlich ist das Gebiet der Navigation bzw. der zur Navigation verwendeten Bilddaten jedoch unerheblich; die Bewegung des Vorrichtungskopfes und die Zuordnung der Position kann weiterhin oder genauer auch anhand anderer Umgebungen des Vorrichtungskopfes erfolgen. Insbesondere kann die Referenzstelle außerhalb der Karte der Nahumgebung liegen und als Marker dienen. Vorzugsweise kann eine bestimmte Relation zwischen der Referenzstelle und einer Kartenposition angebbar sein. Damit kann aufgrund der festen Beziehung gleichwohl eine Navigation des Vorrichtungskopfes erfolgen, auch wenn eine Führungsoptik Bilddaten einer Nahumgebung liefert, die nicht einer Bearbeitungsstelle unter einem Endoskop, einem Mikroskop oder einem chirurgischen Instrument oder dergleichen liegt. Indem der Umgebung bestimmte Objekte, z. B. bedruckte Flächen, hinzugefügt werden, kann das System genauer in Hinsicht auf die Lokalisation und Kartenerstellung arbeiten.
Besonders bevorzugt kann die Bilddatenverarbeitungseinheit ausgebildet sein, eine Referenzstelle an einem Objekt an einem Sichtbild mit einer Fixstelle eines Fremdbildes nach einem vorbestimmten Test zu identifizieren. Die Überlagerung der Karte mit externen Bildern im Rahmen eines an sich bekannten Matching-, Markierungs- oder Registrierungs-Verfahren dient insbesondere der Patientenregistrierung bei medizinischen Anwendungen. Es hat sich gezeigt, dass aufgrund des oben erläuterten Konzepts im Rahmen der vorliegenden Weiterbildung eine verlässlichere Registrierung erfolgen kann. Insbesondere kann ein Sichtbild mit einem Fremdbild registriert und/oder ergänzt werden. Dies erfolgt nicht kontinuierlich oder dergleichen essentiell zur Durchführung des Verfahrens sondern ist ein initiales oder in regelmäßigen Abständen zur Verfügung stehendes Hilfsmittel. Es ist abhängig von einer verfügbaren Rechenleistung auch eine kontinuierliche Aktualisierung vorstellbar. Ein Sichtbild auf Grundlage der nach dem erfindungsgemäßen Konzept erstellten Karte erweist sich als qualitativ hochwertig, um auch mit hochauflösenden Fremdbildern identifiziert zu werden oder registriert zu werden. Ein Fremdbild kann insbesondere ein CT- oder MRT-Bild sein.
Vorteilhaft führt eine Weiterbildung auf ein Verfahren zur visuellen Navigation eines Instrumentes, aufweisend die Schritte:
- Kartographieren der Umgebung zur Erstellung einer Landkarte, insbesondere Erstellung von außenliegenden und innenliegenden Oberflächen der Umgebung,
- simultanes Lokalisieren eines Objektes in der Umgebung -wenigstens zur Feststellung einer Position und/oder Orientierung (POSE) des Objektes in der Umgebung, insbesondere mit einem SLAM-Verfahren- mittels einer Bilddatenerfassungseinheit wie einer Aufnahme-Einheit, insbesondere einer 2D- oder 3D-Kamera oder dgl. zur bildgebenden Datenaufnahme der Umgebung, und mittels einer Navigationseinheit und einem Bewegungsmodul zur Bewegungsnavigation in der Umgebung, insbesondere zur Distanz und Geschwindigkeitsmessung.
Eine Führungseinrichtung ist insbesondere ausgebildet, aus der Datenaufnahme der Umgebung eine Lokalisierung des Objektes besonders genau zu generieren, wobei die Verarbeitung der Datenaufnahme aus der Aufnahme-Einheit in Echtzeit erfolgen kann. Damit ist der wenigstens eine mobile Vorrichtungskopf praktisch ohne weitere Hilfsmittel anhand der Karte "in situ" führbar.
Das Konzept oder eine der Weiterbildungen erweist sich in einer Vielzahl von technischen Anwendungsgebieten wie beispielsweise der Robotik als vorteilhaft; insbesondere in der Medizintechnik oder in einem nicht-medizinischen Bereich. So umfasst der Gegenstand der Ansprüche insbesondere eine mobile handhabbare medizinische Vorrichtung und ein insbesondere nicht-invasives Verfahren zur Bearbeitung oder Beobachtung eines biologischen Körpers wie ein Gewebe oder dgl.. Dies kann insbesondere ein Endoskop, ein Zeigerinstrument oder ein chirurgisches Instrument oder dgl. medizinische Vorrichtung zur Bearbeitung oder Beobachtung eines Körpers sein oder zur Erfassung der eigenen Position, bzw. der Instrumentenposition, relativ zur Umgebung.
So umfasst der Gegenstand der Ansprüche insbesondere eine mobile handhabbare nicht-medizinische Vorrichtung und ein insbesondere nicht-invasives Verfahren zur Bearbeitung oder Beobachtung eines technischen Körpers wie einen Gegenstand oder eine Vorrichtung od. dgl.. Beispielsweise kann das Konzept bei industriellen Bearbei-
tungs-, Positionier- oder Monitorprozessen erfolgreich angewendet werden. Aber auch für andere Anwendungen, in denen eine beanspruchte mobile handhabbare Vorrichtung— etwa im Rahmen eines Instrumenten-, Werkzeug oder Sensor-ähnlichen Systems- nach dem beschriebenen Prinzip verwendet werden, ist das beschriebene im wesentlichen auf Bilddaten beruhende Konzept vorteilhaft. Verkürzt ausgedrückt umfasst diese Anwendungen einer Vorrichtung bei denen mit Bilddaten eine Bewegung eines Vorrichtungskopfes erkannt und eine Karte erstellt wird mit Unterstützung einer Bewegungssensorik. Nur diese Karte wird gemäß dem Konzept überwiegend zur Navigation verwendet. Werden mehrere Vorrichtungsköpfe, wie Instrumenten-, Werkzeug oder Sensoren, insbesondere oder Endoskop, ein Zeigerinstrument oder ein chirurgische Instrumente mit jeweils mindestens einer montierten Bildkamera verwendet, so ist möglich, dass alle zur Navigation auf dieselbe Bildkarte zugreifen bzw. diese aktualisieren.
Ausführungsbeispiele der Erfindung werden nun nachfolgend anhand der Zeichnung im Vergleich zum Stand der Technik, welcher zum Teil ebenfalls dargestellt ist, beschrieben -dies im medizinischen Anwendungsrahmen, bei dem das Konzept in Bezug auf einen biologischen Körper umgesetzt ist; gleichwohl gelten die Ausführungsbeispiele auch für einen nicht-medizinische Anwendungsrahmen, bei dem das Konzept in Bezug auf einen technischen Körper umgesetzt ist.
Die Zeichnung soll die Ausführungsbeispiele nicht notwendigerweise maßstäblich darstel- len, vielmehr ist die Zeichnung, wo zur Erläuterung dienlich, in schematisierter und/oder leicht verzerrter Form ausgeführt. Im Hinblick auf Ergänzungen der aus der Zeichnung unmittelbar erkennbaren Lehren wird auf den einschlägigen Stand der Technik verwiesen. Dabei ist zu berücksichtigen, dass vielfältige Modifikationen und Änderungen betreffend die Form und das Detail einer Ausführungsform vorgenommen werden können, ohne von der allgemeinen Idee der Erfindung abzuweichen. Die in der Beschreibung, in der Zeichnung sowie in den Ansprüchen offenbarten Merkmale der Erfindung können sowohl einzeln als auch in beliebiger Kombination für die Weiterbildung der Erfindung wesentlich sein. Zudem fallen in den Rahmen der Erfindung alle Kombinationen aus zumindest zwei der in der Beschreibung, der Zeichnung und/oder den Ansprüchen offen- barten Merkmale. Die allgemeine Idee der Erfindung ist nicht beschränkt auf die exakte Form oder das Detail der im Folgenden gezeigten und beschriebenen bevorzugten Ausführungsform oder beschränkt auf einen Gegenstand, der eingeschränkt wäre im Vergleich zu dem in den Ansprüchen beanspruchten Gegenstand. Bei angegebenen Bemessungsbereichen sollen auch innerhalb der genannten Grenzen liegende Werte als Grenzwerte Offenbart und beliebig einsetzbar und beanspruchbar sein. Weitere Vorteile,
Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung der bevorzugten Ausführungsbeispiele sowie anhand der Zeichnung; diese zeigt in:
Fig. 1 beispielhafte Ausführungsformen mobil handhabbarer Vorrichtungen in einer Relativposition zu einer Körperoberfläche - in einer Ansicht (A) mit einem Vorrichtungs- köpf in Form eines Greifinstruments, in Ansicht (B) mit einem Vorrichtungskopf in Form eines handgeführten Instruments, wie beispielsweise eines Endoskops, in Ansicht (C) in Form eines robotergeführten Instruments, wie einem Endoskop oder dergleichen;
Fig. 2 ein allgemeines Schema zur Darstellung eines grundsätzlichen Systems und der funktionalen Komponenten einer mobil handhabbaren Vorrichtung gemäß dem Konzept der Erfindung;
Fig. 3 ein Basiskonzept unter Verwendung der mobil handhabbaren Vorrichtung zur medizinischen visuellen Navigation gemäß dem Konzept der Erfindung aufbauend auf dem System der Fig. 2;
Fig. 4 eine Anwendung zur Umsetzung eines Patientenregistrierungsverfahrens mit einer mobil handhabbaren Vorrichtung wie sie in Fig. 1 (B) gezeigt ist;
Fig. 5 eine Prinzipskizze zur Erläuterung des SLAM-Verfahrens, bei dem ein sogenanntes Feature-Point-Matching genutzt wird um einen Bewegungszustand eines Objektes, z. B. des Vorrichtungskopfes, zu schätzen;
Fig. 6 eine weitere bevorzugte Ausführungsform zur Verarbeitung von zeitunterschiedli- chen Bildern bei einer mobil handhabbaren Vorrichtung;
Fig. 7 noch eine weitere bevorzugte Ausführungsform einer mobil handhabbaren Vorrichtung mit einem mobilen Vorrichtungskopf, in Ansicht (A) mit einer internen und externen Kamera, in Ansicht (B) nur mit einer externen Kamera in Form eines Endoskops bzw. eines Zeigerinstrumentes; Fig. 8 eine schematische Darstellung verschiedener durch eine oder mehrere Kameras realisierte Konstellationen einer eine Operationsumgebung umfassenden Nahumgebung sowie einer Umgebung, wobei insbesondere erste visualisiert wird und zum Eingriff in ein Körpergewebe oder allgemein einen Körper dient und insbesondere letztere ohne Visualisierung, aber vor allem zur Kartographierung und Navigation dient;
Fig. 9 eine Darstellung zu einem Beispiel einer bevorzugten Ausführungsform; Fig.10 ein Detail der Darstellung zum Beispiel der Fig. 9.
Es sind in der Figurenbeschreibung unter Verweis auf die korrespondierenden Beschreibungsteile durchweg für identische oder ähnliche Merkmale oder Merkmale identischer oder ähnlicher Funktion gleiche Bezugszeichen verwendet.
Fig. 1 zeigt beispielhaft als Teil einer in Fig. 2 und Fig. 3 näher erläuterten, mobil handhabbaren Vorrichtung 1000 einen zur manuellen oder automatischen Führung ausgebildeten mobilen Vorrichtungskopf 101 in Bezug auf einen Körper 300. Der Körper 300 weist ein Anwendungsgebiet 301 auf, an welches der mobile Vorrichtungskopf 101 her- angeführt werden soll; dies zur Bearbeitung oder Beobachtung des Anwendungsgebiets 301 . Vorliegend ist der Körper im Rahmen einer medizinischen Anwendung mit einem Gewebe eines menschlichen oder tierischen Körpers gebildet, das im Anwendungsgebiet 301 eine Vertiefung 302, das heißt vorliegend einen gewebefreien Bereich, aufweist. Der Vorrichtungskopf 101 ist vorliegend als ein Instrument mit einer am distalen Ende 101 D gebildeten Zange oder Greifvorrichtung versehen- bezeichnet als Instrumentenkopf 1 10- - und einer am proximalen Ende 101 P angebrachten, in Ansicht (A) nicht näher dargestellten Handhabungseinrichtung, wie etwa einem Griff (Ansicht (B)) oder einem Rotorarm (Ansicht (C)).
Der Vorrichtungskopf weist als Werkzeug am distalen Ende 101 D somit einen Instrumen- tenkopf 1 10 auf, der als Zange oder Greifer, aber auch als ein anderer Werkzeugkopf, wie ein Fräser, eine Schere, ein Bearbeitungslaser oder dergleichen, gebildet sein kann. Das Werkzeug hat einen Schaft 101 S, der sich zwischen distalem Ende 101 D und dem proximalen Ende 101 P erstreckt. Außerdem weist der Vorrichtungskopf 101 zur Bildung einer zur Navigation ausgebildeten Führungseinrichtung 400 eine Bilddatenerfassungs- einheit 410 und ein Bewegungsmodul 421 in Form einer Sensorik, hier ein Beschleunigungssensor oder Gyroskop, auf. Die Bilddatenerfassungseinheit 410 und das Bewegungsmodul 420 sind vorliegend über eine Datenkabel 510 mit weiteren Einheiten der Führungseinrichtung 400 zur Übermittlung von Bilddaten und Bewegungsdaten verbunden. Die Bilddatenerfassungseinheit umfasst in dem in Fig. 1 (Ansicht (A)) gezeigten Beispiel eine externe, am Schaft 101 S fixierte 2D- oder 3D-Kamera, während der mobile Vorrichtungskopf 101 - egal, ob außerhalb oder innerhalb des Körpers 300 - bewegt wird, nimmt die verbaute Kamera kontinuierlich Bilder auf. Die Bewegungsdaten des Bewegungsmoduls 420 werden ebenso kontinuierlich geliefert und können die Genauig-
keit der nachfolgenden Auswertung der mit dem Datenkabel 510 übermittelten Daten verwendet werden.
Ansicht (B) der Fig. 1 zeigt eine weitere Ausführungsform eines mobilen Vorrichtungskopfes 102 mit einem distalen Ende 102D und einem proximalen Ende 102P. Am distalen Ende 102D ist eine Optik einer Bilddatenerfassungseinheit 412 und ein Bewegungsmodul 422 verbaut; der mobile Vorrichtungskopf 102 ist somit mit einer integrierten 2D- oder SD- Kamera versehen. Am proximalen Ende 102P weist der Vorrichtungskopf einen Griff 120 auf, an dem eine Bedienperson 201 , z. B. ein Arzt, das Instrument in Form eines Endoskops greifen und führen kann. Das distale Ende 102D ist so mit einer internen Bildda- tenerfassungseinheit 412 versehen und im Schaft 102S ist ein Datenkabel 510 bis zum proximalen Ende 102P geführt und verbindet den Vorrichtungskopf 102 datenkommunizierend mit weiteren Einheiten der in Fig. 2 und Fig. 3 näher erläuterte Führungseinrichtung 400.
Ansicht (C) der Fig. 1 zeigt im Wesentlichen die gleiche Situation wie in Ansicht (B); diesmal jedoch für einen automatisch geführten mobilen Vorrichtungskopf 103 in Form eines Endoskops. Vorliegend ist ein Handhabungsapparat in Form eines Roboters 202 mit einem Roboterarm vorgesehen, der den mobilen Vorrichtungskopf 103 hält. Das Datenkabel 510 ist entlang des Roboterarms geführt.
Fig. 2 zeigt in verallgemeinerter Form eine mobil handhabbare Vorrichtung 1000 mit einem Vorrichtungskopf 100, beispielsweise einem mobilen Vorrichtungskopf, der zur manuellen oder automatischen Führung ausgebildet ist, wie beispielsweise einer der in Fig. 1 gezeigten Vorrichtungsköpfe 101 , 102, 103. Um eine manuelle oder automatische Führung des Vorrichtungskopfes 100 zu ermöglichen, ist eine Führungseinrichtung 400 vorgesehen. Der Vorrichtungskopf 100 kann mittels eines Handhabungsapparats 200, beispielsweise einer Bedienperson 201 oder einem Roboter 202, geführt werden. Im Falle einer automatischen Führung der Fig. 2 wird der Handhabungsapparat 200 über eine Steuerung 500 gesteuert.
Im Einzelnen weist die Führungseinrichtung zur Navigation im Vorrichtungskopf 100 eine Bilddatenerfassungseinheit 410 und ein Bewegungsmodul 420 auf. Weiter weist die Führungseinrichtung eine außerhalb des Vorrichtungskopfes 100 befindliche Bilddatenverarbeitungseinheit 430 und eine Navigationseinheit 440 auf, die beide in Bezug auf die folgende Fig. 3 näher erläutert sind.
Weiter kann optional, aber nicht notwendiger weise, die Führungseinrichtung eine externe Bilddatenerfassungseinheit 450 und einen externen Tracker 460 aufweisen. Die externe Bilddatenerfassungseinheit wird mit Verweis auf Fig. 3 und Fig. 4 insbesondere im präoperativen Bereich eingesetzt, um ein Fremdbild, beispielsweise auf Basis von CT oder MRT, zu liefern, das initial oder unregelmäßig zur Ergänzung der Bilddatenverarbeitungseinheit 430 herangezogen werden kann.
Die Bilddatenerfassungseinheit 410 ist ausgebildet, Bilddaten einer Nahumgebung des Vorrichtungskopfes 100 insbesondere kontinuierlich zu erfassen und bereitzustellen. Die Bilddaten werden anschließend einer Navigationseinheit 440 zur Verfügung gestellt, die ausgebildet ist, mittels der Bilddaten und einem Bilddatenfluss eine Pose und/oder Bewegung des Vorrichtungskopfes anhand einer von der Bilddatenerfassungseinheit erstellten Karte 470 zu erstellen, 480.
Die Funktionsweise der mobil handhabbaren Vorrichtung 1000 ergibt sich damit wie folgt. Bilddaten der Bilddatenerfassungseinheit 410 werden über eine Bilddatenverbindung 51 1 , beispielsweise Datenkabel 510, der Bilddatenerfassungseinheit 430 zugeführt. Die Datenkabel 510 übermittelt ein Kamerasignal der Kamera.
Bewegungsdaten des Bewegungsmoduls 420 werden über eine Bewegungsdatenverbindung 512, beispielsweise mittels des Datenkabels 510, der Navigationseinheit 440 zugeführt. Die Bilddatenerfassungseinheit ist ausgebildet, Bilddaten einer Nahumgebung des Vorrichtungskopfes 100 zu erfassen und bereitzustellen zur weiteren Verarbeitung. Insbesondere werden vorliegend die Bilddaten der Bilddatenerfassungseinheit 410 kontinuierlich erfasst und bereitgestellt. Die Bilddatenverarbeitungseinheit 430 weit ein Modul 431 zur Kartographierung der Bilddaten, nämlich zur Erstellung einer Karte der Nahumgebung mittels der Bilddaten, auf. Die Karte 470 dient als Vorlage für eine Navigations- einheit 440, die ausgebildet ist, mittels der Bilddaten und einem Bilddatenfluss eine Pose (Position und/oder Orientierung) und/oder Bewegung des Vorrichtungskopfes 100 anzugeben. Die Karte 470 kann zusammen mit der Pose und/oder Bewegung 480 des Vorrichtungskopfes 100 an eine Steuerung 500 gegeben werden. Die Steuerung 500 ist ausgebildet, gemäß einer Pose und/oder Bewegung des Vorrichtungskopfes 100 und anhand der Karte einen Handhabungsapparat 200 anzusteuern, der den Vorrichtungskopf 100 führt. Dazu ist der Handhabungsapparat 200 über einen Steueranschluss 510 mit der Steuerung 500 verbunden. Der Vorrichtungskopf 100 ist mit dem Handhabungsapparat über eine Datenkopplung 210 gekoppelt zur Navigation des Vorrichtungskopfes 100.
Die Navigationseinheit 440 weist ein geeignetes Modul 441 zur Navigation, das heißt insbesondere Auswertung einer Pose und/oder Bewegung des Vorrichtungskopfes 100 relativ zur Karte, auf.
Auch wenn die Einheiten 430, 440, hier mit den Modulen 431 , 441 , als einzelne Baustei- ne dargestellt sind, so ist dennoch klar, dass diese auch als Vielzahl von Bausteinen über die gesamte Vorrichtung 1000 verteilt und insbesondere in Kombination zusammenwirken können.
Werden mehrere Vorrichtungsköpfe, wie 302 Instrumenten-, Werkzeug oder Sensoren, insbesondere oder Endoskop, ein Zeigerinstrument oder ein chirurgische Instrumente mit jeweils mindestens einer montierten Bildkamera verwendet, so ist möglich, dass alle zur Navigation auf dieselbe Bildkarte zugreifen bzw. diese aktualisieren.
Beispielhaft ist vorliegend ein Verfahren zur Erstellung der Karte 470 und der Navigation, das heißt zur Erstellung einer Pose und/oder Bewegung 480 in der Karte 470 zu nennen, das auch als simultanes Lokalisierungs- und Kartographier-Verfahren bekannt ist (SLAM Simultaneous Localization and Mapping). Der SLAM-Algorithmus des Moduls 431 wird vorliegend mit einem erweiterten Kaiman-Filter EKF (Extended Kaiman Filter) zusammen, was einer Echtzeitauswertung zur Navigation zuträglich ist. Die Navigation wird also durch eine Bewegungserkennungsauswertung auf Basis der Bilddaten vorgenommen und zur Positionsauswertung (Navigation) verwendet. Während der Vorrichtungskopf 100 also außerhalb oder innerhalb eines Körpers 300 (Fig. 1A bzw. Fig. 1 B, C) bewegt wird, nimmt die Bilddatenerfassungseinheit 410 kontinuierlich Bilder auf. Das gleichzeitig angewendete SLAM-Verfahren ermittelt aufgrund der Bilddaten die Bewegung der Kamera relativ zur Umgebung und erstellt eine Karte 470, hier eine 3D-Karte in Form einer Punktfolge oder in Form eines Oberflächenmodells, mit Hilfe der Bilder aus verschiede- nen Positionen und Orientierungen; letzteres Verfahren unter Berücksichtigung verschiedener Positionen und Orientierungen wird auch als 6D-Verfahrens, insbesondere 6D SLAM-Verfahren, bezeichnet. Ist bereits eine Karte des Anwendungsgebiets 301 vorhanden, wird die Karte entweder aktualisiert oder zur Navigation auf dieser Karte 470, 480 verwendet. Die vorliegend als Bewegungsmodul 420 bezeichnete Bewegungssensorik, wie beispielsweise Beschleunigungs- und Gyroskop-Sensoren, können dem Konzept der Erfindung folgend die Genauigkeit der Karte 470 an sich als auch die Genauigkeit der Navigation 480 erheblich steigern. Gleichzeitig ist das Konzept derart ausgelegt, dass die auf-
zuwendende Rechenzeit für eine Echtzeitrealisierung ausreichend ist. Die Datenverarbeitung errechnet aus zeitlich unterschiedlichen Aufnahmen die Bewegungsrichtung im Raum. Diese Daten werden z. B. redundant mit den Daten der kombinierten weiteren Bewegungssensorik, insbesondere Beschleunigungs- und Gyroskop-Sensoren vergli- chen. Denkbar ist, die Daten des Beschleunigungssensors bei der Datenverarbeitung der Aufnahmen zu berücksichtigen. Dabei ergänzen sich beide Sensorwerte und die Bewegung des Instrumentes kann genauer errechnet werden.
Damit eine Bildkartengestützte Navigation im Zielgebiet möglich ist, sollte initial eine Bildkarte des Zielgebietes erstellt werden. Dies geschieht primär anhand der Karte 470 und Pose oder Navigation 480 durch das Bewegen des Instrumentes samt Kamera entlang des gesamten oder in Teilen des Zielbereichs, d. h. praktisch allein anhand der Bilddaten.
Sekundär besteht zusätzlich die Möglichkeit durch externe, mobile oder stationäre Kamerasysteme wie die externe Bilddatenerfassungseinheit 450 die Bildkarte anfänglich zu erstellen oder stetig zu aktualisieren. Insbesondere kann eine initiale oder anderweitige Bildkartenerstellung vorteilhaft sein. Auch ist es möglich die externen Bilddaten einer externen Bilddatenquelle oder Bilddatenerfassungseinheit 450 zu verwenden, um das Instrument oder Teile des Instrumentes visuell zu erfassen. Beispielsweise können Bildkarten anhand präoperativer Bildquellen, wie z. B. CT, DVT oder MRT, oder intraoperati- ver 3D-Bilddaten des Patienten generiert werden.
Auch kann, ebenfalls sekundär, jedenfalls temporär beschränkt eine gemeinsame Nutzung mit klassischen Tracking-Verfahren vorteilhaft sein. Da das Navigieren 480 mithilfe der Bildkarte 470 ein„Henne-Ei"-Problem ist, in dem nur Relativpositionen bestimmbar sind, kann die absolute Position ohne ein weiteres Verfahren nur geschätzt werden. Das Konzept der Erfindung liefert dazu einen flexiblen, genauen und echtzeitfähigen Lösungsansatz. Ergänzend kann in einer Weiterbildung die Feststellung der Absolutposition mithilfe bekannter Navigationsverfahren, wie z. B. des optischen Trackings erfolgen in einem Trackermodul 460. Dabei ist die Feststellung der Absolutposition eben nur initial oder regelmäßig nötig, sodass diese Sensorik während der navigierten Anwendung nur temporär eingesetzt wird. Beispielsweise ist so die optische Verbindung zwischen Markern und optischer Trackingkamera nicht mehr dauerhaft notwendig. Sobald die relative Position zwischen Kamera bzw. Kamerabilddaten und verwendeten Trackingsystem besser bekannt ist, können außerdem die berechneten Kartendaten der Oberflächen zur Bilddatenregistrierung verwendet werden.
Grundsätzlich sind die Module 450, 460 jedoch optional. Bei der vorliegend dargestellten Vorrichtung wird auf den Einsatz von zusätzlichen Modulen, wie eine externe Bilddatenquelle 450 -insbesondere externe Bilder aus CT, MRT oder dergleichen- und/oder externe Trackermodule 460 nur eingeschränkt zurückgegriffen werden bzw. die Vorrich- tung kommt ganz ohne diese aus. Insbesondere kommt die vorliegend beschriebene Vorrichtung 1000 also ohne klassische Navigationssensorik, wie optisches oder elektromagnetisches Tracking, aus.
Was die Navigation 480 sowie die Erstellung der Karte 470 und die Steuerung 500 der Handhabungsapparatur 200 anbetrifft, erfolgt diese in ausreichender Weise primär, insbesondere allein maßgeblich unter Nutzung der Bilddaten zur Erstellung der Karte 470 und der Navigation 480 auf der Karte 470. Das anhand von Fig. 2 beschriebene Verfahren bzw. die Vorrichtung kann insbesondere, wie anhand von Fig. 1 beispielhaft erläutert, im Hinblick auf ein Werkzeug, Instrument oder einen Sensor zur Vorrichtungsnavigation ohne klassische Messsysteme verwendet werden. Durch die bild- bzw. kartengestützte Navigation sind typische Tracking-Verfahren nicht mehr erforderlich. Insbesondere bei der Endoskop-Navigation ist es möglich, die integrierte Endoskopkamera-Daten zu verwenden (Fig. 1 B, C). Auch können beispielsweise medizinische Werkzeuge mit Kameras ausgestattet (Fig. 1A) werden, um auf Basis der gewonnen Bilder des Instruments zu navigieren und gegebenenfalls eine Karte zu erstel- len; es lässt sich im besten Fall sogar das Endoskop zur Bildgebung einsparen.
Weiter lässt sich eine Positions- und Bilddatenakquise der Oberflächen eines Körpers durchführen. Es lässt sich ein intraoperatives Patientenmodell, bestehend aus Daten der Oberfläche samt Texturierung des Operationsgebietes, generieren.
Das Verfahren und die Vorrichtung 1000 dient der Kollisionsvermeidung, so dass die erstellte Karte 470 auch zum kollisionsfreien Führen des Vorrichtungskopfes 100 mit Hilfe eines Roboterarms 202 oder dergleichen automatischen Führung oder Handhabungsapparatur 200 verwendet werden kann. Durch den anhand von Fig. 2 beispielhaft beschriebene Feedback-Mechanismus oder derartige Regelschleifen ist es einem Arzt bzw. Anwender möglich, Kollisionen etc. zu vermeiden oder jedenfalls mitgeteilt zu bekommen. In einer Kombination der automatischen und manuellen Führung - beispielhaft Fig. 1 C und 1 B - lässt sich auch eine halbautomatische Betriebsweise realisieren.
Auch ein MCR-Modul 432 zur Registrierung einer Bewegung von Oberflächen und zur Bewegungskompensation hat sich z. B. in der Bilddatenverarbeitungseinheit 430 als vorteilhaft erwiesen (MCR - Motion Clutter Removal). Die stetige Aufnahme von Bilddaten derselben Region durch das Endoskop kann durch eine Bewegung derselben Ober- fläche, z. B. durch Atmung und Herzschlag, verfälscht werden. Da viele organische Bewegungen mit harmonischen, gleichförmigen und/oder wiederkehrenden Bewegungen beschrieben werden können, kann die Bildverarbeitung solche Bewegungen erkennen. Die Navigation kann dementsprechend angepasst werden. Dem Arzt werden diese Bewegungen visuell und/oder als Feedback mitgeteilt. Eine Vorhersage der Bewegung kann errechnet, angegeben und verwendet werden.
Gleichwohl lässt sich die Vorrichtung optimal erweitern zur automatischen SD- Bildregistrierung, wie dies beispielsweise anhand von Fig. 3 und Fig. 4 beschrieben ist. Mit Hilfe von Bildregistrierungsverfahren bzw. 3D-Matching-Algorithmen zur Erkennung von gleichen 3D-Daten bzw. Oberflächen durch unterschiedliche bildgebende Verfahren kann bei der vorgestellten Instrumenten-Navigation 480 die 3D-Karte 470 mit Volumendatensätzen des Patienten verbunden werden. Dies können CT- oder MRT-Datensätze sein. So sind dem Arzt die Oberfläche wie auch das darunterliegende Gewebe und Strukturen bekannt. Außerdem können diese Daten zur OP-Planung berücksichtigt werden. Im Einzelnen zeigt dazu Fig. 3 das Basiskonzept der hier vorgestellten medizinischen visuellen Navigation in Bezug auf das Beispiel von Fig. 1 B. Wiederum sind für identische oder ähnliche Merkmale oder Merkmale identischer oder ähnlicher Funktion gleiche Bezugszeichen verwendet. Die Bilddatenerfassungseinheit 412 in Form einer Kamera liefert Bilddaten einer Nahumgebung U, nämlich dem Aufnahmebereich der Kamera. Die Bilddaten betreffen eine Oberfläche des Anwendungsgebietes 301 . Diese werden als Bild B301 in einem Bildkartenspeicher als Bildkarte 470 hinterlegt. Die Karte 470 kann auch in einem anderen Speicher hinterlegt sein. Insofern stellt der Kartenspeicher die bisher gespeicherte Bildkarte 470 dar.
Eine unter der Oberfläche liegende Struktur 302 kann als Bild B302 in einer präoperati- ven Quelle 450 als CT-, MRT- oder dergleichen Bild hinterlegt sein. Die präoperative Quelle 450 kann einen 3D-Bilddatenspeicher umfassen. Insofern stellt die präoperative Quelle 3D-Bilddaten der Nahumgebung U bzw. der darunterliegenden Strukturen dar. Die Zusammenführung der Karte 470 mit den Daten der präoperativen Quelle 450 erfolgt mit Hilfe der Bilddatenverarbeitungseinheit und der Navigationseinheit 430, 440 zu einer
visuellen Zusammenschau der Karte 470 und einer Navigationsinformation 480 über den mobilen Vorrichtungskopf, hier in Form des Endoskops bzw. die Feststellung der Pose und Bewegung im Aufnahmebereich der Kamera, das heißt der Nahumgebung U. Die Ausgabe kann auf einer in Fig. 2 dargestellten visuellen Erfassungseinheit 600 erfolgen. Die visuelle Erfassungseinheit 600 kann eine Ausgabevorrichtung zur positionsüberlager- ten Darstellung von Bilddaten und aktuellen Instrumentenpositionen umfassen.
Die Zusammenschau der Bilder B301 und B302 ist eine Kombination aus aktueller Oberflächenkarte der Instrumentenkamera und den 3D-Bilddaten der präoperativen Quelle. Die Verbindung 471 zwischen Bild- und Datenverarbeitungseinheit und Bildkartenspei- eher umfasst auch eine Verbindung zwischen Bilddatenverarbeitungseinheit und Navigationseinheit 430, 440. Diese umfassen die zuvor erläuterten Module eines SLAM und EKF.
Die erkannte aktuelle Lage des Instruments wird auch als Matching des Instrumentes bezeichnet. Auch andere Bildaspekte lassen sich matchen; z. B. eine Schar von markan- ten Punkten. Fig. 4 zeigt beispielhaft eine bevorzugte Anordnung der mobilen Vorrichtung der Fig. 1 (B) zur Registrierung eines Patienten 2000 wobei auch eine vorbeschriebene Überlagerung mit externen Bilddaten vorgesehen ist. Beispielsweise können in einem Anwendungsgebiet 301 , 302 eines Körpers 300 des Patienten 2000 die Oberflächen von Augen, Nase, Ohren oder Zähnen zur Patientenregistrierung verwendet werden. Automa- tisch oder manuell können externe Bilddaten (z. B. CT-Daten des Gebietes) mit den Bildkartendaten der Nahumgebung und die im Wesentlichen dem Aufnahmebereich der Kamera entspricht, dieses Verfahrens kombiniert werden. Das automatische Verfahren ist beispielsweise mit 3D-Matching-Verfahren realisierbar.
Eine manuelle Überlagerung externer Bilddaten mit den Bildkartendaten kann beispiels- weise dadurch geschehen, dass der Verwender eine Schar an markanten Punkten 701 , 702 (z. B. Subnasale und Augenwinkel) sowohl in den CT-Daten wie auch in den Kartendaten markiert.
Fig. 5 zeigt schematisch das Prinzip des SLAM-Verfahrens zur simultanen Lokalisierung und Kartenerstellung. Dies geschieht vorliegend anhand des sogenannten Feature-Point- Matching bei markanten Punkten (z. B. 701 , 702 der Fig. 4 oder andere markante Punkte 703, 704, 705, 706), und einer Schätzung der Bewegung. Zur Umsetzung des erläuterten Konzepts der Erfindung ist das SLAM-Verfahren jedoch nur eine mögliche Option. Das Verfahren nutzt ausschließlich die Sensorsignale zur Orientierung in einem ausgedehn-
ten Gebiet, das sich aus einer Vielzahl von Nahumgebungen zusammensetzt. Dabei wird anhand der Sensordaten (typischerweise Bilddaten BU) die eigene Bewegung geschätzt sowie kontinuierlich eine Karte 470.1 , 470.2 des erfassten Gebiets erstellt. Neben der Kartenerstellung sowie Bewegungserkennung werden gleichzeitig die aktuell erfassten Sensorinformationen auf Übereinstimmungen mit den bisher gespeicherten Bildkartendaten geprüft. Wird eine Übereinstimmung festgestellt ist dem System die eigene aktuelle Position und Orientierung innerhalb der Karte bekannt. Es lassen sich auf dieser Basis vergleichsweise robuste Algorithmen angeben und erfolgreich einsetzen. Für die Nutzung von 2D-Kamerabildem als Informationsquelle wurde das„Monocular SLAM"- Verfahren vorgestellt. Dabei werden kontinuierlich Merkmalspunkte 701 , 702, 703, 704, 705, 706 eines Objekts 700 im Videobild erfasst und deren Bewegung im Bild ausgewertet. Fig. 5 zeigt dazu im in Ansicht (A) die Merkmalspunkte 701 , 702, 703, 704, 705, 706 eines Objekts 700 und in Ansicht (B) eine Bewegung derselben nach hinten rechts (701 ', 702', 703', 704', 705', 706') eines Objektes 700, wobei die Länge des Vektors zum versetzten Objekt 700' ein Maß für die Bewegung, insbesondere Distanz und Geschwindigkeit, ist.
Im Einzelnen zeigt Fig. 5 also zwei Bilder einer Nahumgebung BU, BU' zu einem ersten Aufnahmezeitpunkt T1 und einem zweiten AufnahmezeitpunktT2. Dem ersten Aufnahmezeitpunkt T1 sind die markanten Punkte 701 bis 706 und dem zweiten Aufnahmezeitpunkt T2 sind die markanten Punkte 701 ' bis 706' zugeordnet, d. h. Objekt 700 zum Zeitpunkt T1 erscheint zum Zeitpunkt T2 als Objekt 700' mit anderen Objektposition und/oder Orientierung. Die nicht näher bezeichneten Vektoren zwischen den Zeitpunkt zugeordneten markanten Punkten (d. h. Vektoren zwischen Punkten 701 , 701 ' sowie 702, 702' sowie 703, 703' sowie 704, 704' sowie 705, 705' sowie 706, 706') beispielhaft Vektor V geben die Distanz und über die Zeitdifferenz zwischen den Zeitpunkten T1 und T2, die Geschwindigkeit der Relation zwischen Objekten 700 und 700' an.
In der eben in Fig. 5 gezeigten Form lässt sich somit erkennen, dass sich das Objekt 700 zum Zeitpunkt T1 offensichtlich nach hinten rechts verschoben hat mit einer aus den Zeitpunkten T1 und T2 ermittelbaren Geschwindigkeit. Entsprechend lässt sich daraus die Bewegung einer Bilddatenerfassungseinheit 410, insbesondere ein Objektiv am distalen Ende 101 D oder 102D eines Vorrichtungskopfes bestimmen.
Fig. 6 zeigt, wie mit Hilfe dieses Verfahrens Kamerabilder (hier die Endoskopkamera) zu einer Karte zusammengefasst und als Patientenmodell in einer gemeinsamen 3D-Ansicht dargestellt werden können.
Dazu zeigt Fig. 6 eine mobil handhabbare Vorrichtung 1000 wie sie grundsätzlich anhand von Fig. 2 und Fig. 3 erläutert wurde, wobei wiederum für identische oder ähnliche Teile oder Teile identischer oder ähnlicher Funktion gleiche Bezugszeichen verwendet sind, sodass diesbezüglich auf die Beschreibung der vorgenannten Fig. 2 und Fig. 3 verwiesen wird. Fig. 6 zeigt die Vorrichtung mit einem mobilen Vorrichtungskopf 300 zu drei verschiedenen Zeitpunkten T1 , T2, T3; nämlich zeitlich versetzt die mobilen Vorrichtungsköpfe 100T1 , 100T2 und 100T3. Die im Wesentlichen durch einen Aufnahmebereich einer Kamera oder dergleichen mit Datenerfassungseinheit 410 bestimmte Nahumgebung U des mobilen Vorrichtungskopfes 100 ist mittels der vorliegend exemplarisch gezeigten drei Zeitpunkte T1 , T2, T3 in der Lage, ein bestimmtes zu kartographierendes Gebiet 303 des Körpers 300 abzufahren, indem der Vorrichtungskopf 100 verschoben wird und zu den Zeitpunkten T1 , T2, T3 unterschiedliche Positionen einnimmt. Das zu kartographierende Gebiet 303 setzt sich damit zusammen aus einem Aufnahmebereich der Nahumgebung U1 zum Zeitpunkt T1 und einem Aufnahmebereich zum Zeitpunkt T2 entsprechend der Nahumgebung U2 und einem Aufnahmebereich der Nahumgebung U3 zum Zeitpunkt T3. Entsprechende über das Datenkabel 510 an die visuelle Erfassungseinheit 600 oder dergleichen Monitor übermittelten Bilddaten geben das zu kartographierende Gebiet als Bild B303 wieder; dieses setzt sich somit zusammen aus einer Sequenz von Bildern von denen drei den Zeitpunkt T1 , T2, T3 entsprechende Bilder BU1 , BU2, BU3 gezeigt sind. Beispielshaft könnte dies ein Bild B301 des Anwendungsgebiets 301 oder der Vertiefung 302 der Fig. 1 sein oder eine andere Bilddarstellung der Struktur 310. Grundsätzlich lässt sich in dem zu kartographierenden Gebiet 303 als Bild B303 die Oberfläche des Körpers 300 in Form der Struktur 310 wiedergeben; also dasjenige das etwa durch eine Kamera erfasst werden kann. Das Erfassbare ist dabei nicht notwendiger Weise auf die Oberfläche beschränkt sondern kann zum Teil auch in die Tiefe gehen, je nach Eigenschaft der Bilddatenerfassungseinheit, insbesondere der Kamera.
Als Kamerasystem kann prinzipiell die im Endoskop verbaute Kamera, insbesondere bei Endoskopen, zum Einsatz kommen. Bei 2D-Kameras können, aus Bildsequenzen und einer Bewegung der Kamera, die 3D-Bild Informationen errechnet bzw. geschätzt werden. Insbesondere bei Instrumenten sind Kameras auch an anderen Positionen des Instrumentes bzw. Endoskops denkbar, wie beispielsweise am Schaft. Als Kamera kommen alle bekannten Kameratypen in Frage, insbesondere unidirektionale sowie omnidirektionale 2D-Kameras oder 3D-Kamerasysteme, beispielsweise mit Stereoskopieoder Time-Of-Flight-Verfahren. Außerdem können mithilfe mehrerer am Instrument verbauten 2D-Kameras 3D-Bilddaten errechnet werden oder mithilfe mehrerer 2D- und 3D-Kameras die Qualität der Bilddaten verbessert werden. Kamerasysteme erfassen im
häufigsten Falle Licht sichtbarer Wellenlängen zwischen 400 und 800 Nanometern. In Verwendung mit diesem System können darüber hinaus aber auch weitere Wellenlängenbereiche, wie Infrarot oder UV, verwendet werden. Denkbar ist auch die Nutzung weiterer Sensorik zur Bilddatengewinnung, wie z. B. Radar- oder Ultraschall-Systeme, zur Erfassung der Oberfläche oder ggf. tiefer liegenden, reflektierenden oder emittierenden Schichten. Gerade um schnelle Bewegungen des Instrumentes zu erfassen, sind Kamerasysteme mit einer besonders hohen Bildaufnahmefrequenz bis hin zu High-Speed Kameras besonders vorteilhaft. Fig. 7 zeigt beispielhaft bevorzugte Möglichkeiten einer weiteren externen Kamerapositionen an einem Instrument. Da das Gebiet der zur Navigation verwendeten Bilddaten grundsätzlich unerheblich ist, kann eine Kamera auch an weiteren Stellen des Instruments montiert werden, sodass die Bewegung des Endoskops und die Zuordnung der Position weiterhin oder genauer möglich ist. Fig. 7 zeigt in Ansicht (A) ein weiteres Beispiel eines Vorrichtungskopfes 104 in Form eines Endoskops, wobei für identische oder ähnliche Teile bzw. Teile identischer oder ähnlicher Funktion gleiche Bezugszeichen wie in Fig. 1 B und Fig. 1 C verwendet sind. Der Vorrichtungskopf weist vorliegend eine erste Bilddatenerfassungseinheit 41 1 in Form einer externen am Schaft 102S oder am Griff 120 des Endoskops befestigten Kamera auf und eine interne im Endoskop integrierte zweite Bilddatenerfassungseinheit 412 in Form einer weiteren Kamera, nämlich der Endoskopkamera auf. Die externe Kamera 41 1 hat einen ersten Aufnahmebereich U41 1 und die interne Kamera hat einen zweiten Aufnahmebereich U412. Die im ersten Aufnahmebereich U41 1 bzw. einer dadurch bestimmten ersten Nahumgebung aufgenommenen Bilddaten werden über ein erstes Datenkabel 510.1 an eine Führungseinrichtung 400 übermittelt. Ebenso werden Bilddaten eines zweiten Aufnahmebereichs U412 bzw. einer dadurch bestimmten zweiten Nahumgebung durch ein zweites Datenkabel 510.2 des Endoskops an die Führungseinrichtung 400 übermittelt. Betreffend die Führungseinrichtung 400 wird auf die Beschreibung der Fig. 2 und Fig. 3 verwiesen, bei welcher die über das Datenkabel dargestellte Bilddatenverbin- dung 51 1 gezeigt ist zur Verbindung der Bilddatenerfassungseinheit 410 und einer Bilddatenverarbeitungseinheit und/oder Navigationseinheit 430, 440; dementsprechend kann die in Fig. 2 dargestellte Bilddatenerfassungseinheit 410 wie beispielhaft in Fig. 7A dargestellt, zwei Bilddatenerfassungseinheiten, beispielsweise Bilddatenerfassungseinheiten 41 1 , 412 wie in Fig. 7A dargestellt, umfassen.
Die Verfügbarkeit von zwei zeitgleichen Bildern einer ersten und einer zweiten Nahumge- bung mit einem, jedenfalls teilweise überlappenden Aufnahmebereich aus unterschiedlichen Perspektiven kann in einer Bilddatenverarbeitungseinheit und/der Navigationseinheit 430, 440 rechentechnisch zur Genauigkeitsverbesserung umgesetzt werden. Das System ist auch funktionsfähig, wenn die Kamera nie in den Körper eindringt. Zur Steigerung der Genauigkeit können selbstverständlich auch mehrere Kameras gleichzeitig an einem Instrument betrieben werden. Darüber hinaus ist die Verwendung von Instrumenten und Zeigerinstrumenten zusammen mit einer verbauten Kamera denkbar. Ist beispielsweise die relative Lage der Spitze des Zeigerinstrumentes zur Kamera bzw. zu den 3D-Bilddaten bekannt, kann eine Patientenregistrierung mithilfe dieses Zeigerinstrumentes oder eines ähnlich nutzbaren Instrumentes durchgeführt werden.
Dazu zeigt Fig. 7(B) eine weitere Ausführungsform eines mobilen Vorrichtungskopfes 105 in Form eines Zeigerinstrumentes, bei dem wiederum für identische oder ähnliche Merkmale oder Merkmale identischer oder ähnlicher Funktionen gleiche Bezugszeichen wie in den vorhergehenden Figuren verwendet sind. Das Zeigerinstrument hat eine Zeigerspitze S105 am distalen Ende 105D des Schaftes 105S des Zeigerinstruments 105. Das Zeigerinstrument hat auch am proximalen Ende 105P einen Griff 120. Vorliegend ist am Griff 120 eine Bilddatenerfassungseinheit 41 1 als einzige Kamera des Zeigerinstruments befestigt. In dem Aufnahmebereich der Bilddatenerfassungseinheit 41 1 fällt im Wesentli- chen zur Bestimmung der Nahumgebung die Spitze S105 bzw. das distale Ende 105D des Zeigerinstruments 105 als auch das Anwendungsgebiet 301 . Damit ist eine Struktur 302 auf welche die Spitze S105 des Zeigerinstruments 105 weist mit Hilfe der Kamera erfassbar und kartographierbar zusammen mit der relativen Lage der Spitze S105 und der Struktur 302; also einer Pose der Spitze 105 relativ zur Struktur 302. In Fig. 7(A) sind die Aufnahmebereiche U41 1 , U412 der ersten und zweiten Kamera 41 1 , 412 derart überlappend, dass die Struktur 302 im Überlappungsgebiet liegt.
Es ist zu verstehen, dass ein mit Positionsbezug zum Vorrichtungskopf, diesem zugeordnetes Führungsmittel, ausgebildet ist, Angaben zur Position des Vorrichtungskopfes 100 in Bezug auf die Umgebung U in der Karte 470 zu machen, wobei die Umgebung U über die Nahumgebung NU hinausgeht allein vorgesehen sein kann, um eine Karte zu erstellen; dies ist z. B. der Fall bei Fig. 7(B).
Gleichwohl wird es besonders bevorzugt sein Führungsmittel zusätzlich z. B. zu einer Bilddatenerfassungseinheit 412 vorzusehen, wenn letztere im Vorrichtungskopf installiert ist.
In einer Abwandlung kann einer Bilddatenerfassungseinheit 412 auch ein Doppelrolle insofern zukommen, als dass diese der Kartographierung einer Umgebung dient als auch der visuellen Erfassung einer Nahumgebung. Dies kann beispielsweise der Fall sein, wenn die Nahumgebung eine Operationsumgebung des distalen Endes des mobilen Vorrichtungskopf 100 ist; beispielsweise mit einer Läsion. Die Nahumgebung NU kann dann weiter diejenigen Bilddaten umfassen, die in visueller Reichweite einer ersten Optik 412 der Bilddatenerfassungseinheit 410 am distalen Ende des mobilen Vorrichtungskopf 100 erfasst sind. Die Umgebung U kann ein Gebiet umfassen, das in der Nahumgebung NU und jenseits der Operationsumgebung des distalen Endes des mobilen Vorrichtungskopfes 100 liegt.
Grundsätzlich können an verschiedenen und beliebigen Positionen am Instrument Bild- aufnahmeeinheiten (wie z. B. die Kameras 41 1 , 412 in Fig. 7(A)) verbaut werden und dabei in gleiche oder aber auch verschiedene Richtungen zeigen, um in letzterem Falle verschiedene Nah- und (Fern)-Umgebungen erfassen zu können.
Eine Nahumgebung umfasst dabei regelmäßig eine Operationsumgebung des distalen Endes des mobilen Vorrichtungskopfes 100, in dem der Operateur eingreift. Das Opera- tionsgebiet bzw. die Nahumgebung ist aber eben nicht notwendigerweise das kar- tographierte Gebiet. Insbesondere kann dem Beispiel nach Fig. 7(B) folgend die Nahumgebung nicht in unmittelbarer Nähe des distalen Endes des mobilen Vorrichtungskopfes 100 visualisiert bzw. aufgenommen werden (z. B. wenn statt des Endoskops nur ein Zeiger- oder ein Chirurgieinstrument verwendet wird); dann kann wie an Fig. 7(B) oben erläutert die Umgebung U über die Nahumgebung NU hinausgehen und allein vorgesehen sein, um eine Karte zu erstellen.
Fig. 8 zeigt in Ansicht (A) eine unter anderen für die Situation der Fig. 7(A) repräsentative Anordnung einer Umgebung U mit einer vollständig innerhalb dieser angeordneten Nahumgebung NU, welche jeweils einem Sichtbereich einer internen Kamera 412 bzw. externen Kamera 41 1 zugeordnet sind. Der schraffierte Bereich der Nahumgebung dient dabei zum Eingriff in ein Körpergewebe als Operationsumgebung OU; der gesamte Bereich der Umgebung U dient zur Kartographierung und damit zur Navigation eines Instruments, wie hier der internen Sichtkamera 412 am distalen Ende des Endoskops.
Fig. 8(A) visualisiert in abgewandelter Form auch ein Beispiel gemäß Fig. 1 (A), bei dem eine Umgebung U zur Kartograph ierung dient, eine Operationsumgebung OU, aber nicht visualisiert wird (insofern eine Nahumgebung NU nicht vorhanden ist), da am distalen Ende des Vorrichtungskopfes keine interne Kamera sondern hier lediglich im Beispiel der Fig. 1 (A) ein chirurgischer Instrumentenkopf angebracht ist.
Fig. 8(B) zeigt, dass die Bereiche einer Umgebung U, einer Nahumgebung NU und der Operationsumgebung OU auch mehr oder weniger kongruent zusammenfallen können; dies kann insbesondere bei einem Beispiel der Fig. 1 (B) oder Fig. 1 (C) der Fall sein; dabei wird nämlich eine interne Sichtkamera 412 des Endoskops genutzt, um auf einer Operationsumgebung OU im Bereich der Nahumgebung NU (d. h. im Sichtfeld der internen Kamera 412) Gewebe zu monitoren; der gleiche Bereich dient als Umgebung U auch zur Kartographierung und damit zur Navigation des distalen Endes 101 D des Endoskops.
Fig. 8(C) veranschaulicht eine bereits oben beschriebene Situation, in welcher die Nahumgebung NU und die Umgebung U nebeneinander liegen und sich dabei berühren oder teilweise überlagern, wobei die Umgebung U zur Kartographierung dient und nur die Nahumgebung NU die Operationsumgebung OU umfasst. Dies kann beispielsweise auftreten für einen Knorpel- oder Knochenbereich der Umgebung U und einen Schleimhautbereich der Nahumgebung NU, wobei die Schleimhaut gleichzeitig die Operationsumgebung umfasst. In dem Fall zeigt sich, dass die Schleimhaut nur schlecht Ansatz- punkte zur Kartographierung gibt, da sie vergleichsweise diffus ist während ein Knorpel oder ein Knochen der Umgebung U Sichtpositionen aufweist, die als Marker dienen können und damit Grundlage einer Navigation sein können.
Ähnlich kann es sich bei dem oben erläuterten Beispiel der Fig. 8(A) verhalten, bei dem in einem in etwa ringförmig angeordneten Bereich einer Umgebung U festes Gewebe wie Knorpel oder Knochen vorhanden ist, die sich gut zur Kartographierung eignen während in einem darin liegenden Bereich einer Nahumgebung NU Blut oder Nervengefäße angeordnet sind.
Wie in Fig. 8(D) zeigt, kann die Situation jedoch auch derart sein, dass eine Umgebung U und eine Nahumgebung NU disjunkt sind, d. h. völlig unabhängig voneinander lokalisierte Bildbereiche darstellen. Eine Umgebung U kann im Extremfall, aber besonders bevorzugt, beispielsweise im Sichtfeld einer externen Kamera liegen und Operationsgeräte, einen Operationsraum oder Orientierungsgegenstände in einem Raum deutlich jenseits der Nahumgebung NU umfassen. Auch kann dies in einem weniger extremen Fall die
Umgebung U an der Oberfläche eines Gesichts eines Patienten sein. Das Gesicht eignet sich aufgrund markanter Positionen wie einer Augenpupille oder einer Nasenöffnung oftmals dazu Markerpositionen zur Verfügung zustellen, anhand derer eine vergleichsweise gute Navigation möglich ist. Das Operationsgebiet in der Nahumgebung NU kann deutlich davon abweichen, z. B. eine Nasenhöhle oder einen Bereich im Rachen eines Patienten umfassen bzw. unterhalb der Oberfläche des Gesichts, also im Kopfinneren, liegen.
Beispiel
Fig. 9 zeigt eine beispielhafte Anwendung einer mobil handhabbaren Vorrichtung 1000 mit einem mobilen Vorrichtungskopf 106 in Form eines beweglichen Endoskops bzw. Bronchoskops, denkbar auch mit Instrumenten, wie z. B. einer Biopsie-Nadel am Gerätekopf GK. So kann ein im Operationssaal eingesetztes Bronchoskop oder Endoskop mit einem Kameramodul oder mit einem miniaturisierten Kameramodul am distalen Ende 106D -etwa wie in Fig. 10 gezeigt- mit flexibler Halterung an einem proximalen Ende 106P als Hardware dienen. Durch sukzessive Rekonstruktion von Umgebungskarte (Karte der Umgebung U) und Schätzung der Position und Orientierung (Pose) des Objektivs in der Umgebungskarte ist die Pose in der lokalen Karte (Karte der Nahumgebung NU) bekannt. Eine globale Karte -also entsprechend der Umgebungskarte oder als eine dazu ergänzende oder einen Teil derselben bildende Karte der Umgebung U— kann durch das Oberflächenmodell aus zumeist vor der Operation aufgenommenen SD- Datensatz (beispielsweise CT (Computertomographie) oder MRT (Magnetresonanz- Tomographie)) erstellt werden. Die lokale Karte der Nahumgebung NU wird zur globalen Karte der Umgebung U registriert, woraus sich eine Objektivposition in der globalen Karte ergibt. Des Weiteren kann -ähnlich dem Prinzip einer Augmented Reality- der Weg zum Zielgebiet, der in dem 3D-Datensatz markiert wurde, im Kamerabild für den Operateur angezeigt werden. Ein Vorteil liegt in der Möglichkeit innerhalb des menschlichen Körpers mit flexiblen, biegsamen medizinischen Instrumenten oder anderen Vorrichtungsköpfen— wie hier einem Vorrichtungskopf 106 mit einem Endoskop- bzw. Bronchoskop-Kopf als Gerätekopf GK ggfs. mit Biopsienadel am distalen Ende 106D- zu navigieren. Die lokale Postenbestimmung der Navigation ist unabhängig von Weichgewebsteilbewegungen, beispielsweise aufgrund der Atmung des Patienten, möglich. Die lokale Verformung der Bronchien ist nur sehr gering, die Absolutabweichung der Lage aber erheblich. Auf Grundlage des hier beschriebenen Konzepts der Erfindung wird eine Lageerfassung eines Gerätekopfes GK am distalen Ende 106D des Vorrichtungskopfes 106 auch in
Strukturen von Weichgewebe ermöglicht und vereinfacht die Lagebestimmung dieser Strukturen in präoperativ aufgenommenen Datensätzen.
Fig. 10 zeigt eine Kameraausprägung zur Darstellung einer Bilddatenerfassungseinheit 412 am Gerätekopf GK des Vorrichtungskopfes 106 am distalen Ende 106D desselben bei einem beweglichen Instrumentes, hier ein Endoskop oder Bronchoskop der Fig. 9. Es ist möglich, ein erweitertes Sichtfeld SF zur Darstellung einer Nahumgebung NU durch Sichtfelder SF1 , SF2, SF3 ...SFn von mehreren Kameras zu bilden oder eine Kamera mit einem weiteren Sichtfeld SF zur Darstellung einer Nahumgebung NU zur Verfügung zu stellen; vorteilhaft sind Kameraköpfe mit Bildaufnahme und Beleuchtung in viele Richtun- gen für die Sichtfelder SF1 , SF2, SF3 ...SFn bzw. für einen weiten Sichtbereich SF.
Bezuqszeichenliste
B301, B302, B303 Bilder
BU Bilddaten
EKF Extended Kaiman Filter GK Gerätekopf
S105 Spitze
T1 erster Zeitpunkt T2 zweiter Zeitpunkt T3 dritter Zeitpunkt U, U1, U2, U3 Umgebung
NU Nahumgebung
SF, SF1, SF2, SF3, SFn Sichtfeld
U411, U412, Aufnahmebereich
V Vektor
100, 100T1, 100T2,100T3 Vorrichtungskopf 101, 102, 103, 104, 105, 106 mobiler Vorrichtungskopf 101D, 102D, 105D, 106D distales Ende
101P, 102P, 105P, 106P proximales Ende 101S, 102S, 105S Schaft
1 10 Instrumentenkopf
120 Griff
200 Handhabungsapparat
201 Bedienperson
202 Roboter, Roboterarm
210 Datenkopplung
300 Körper
301 Anwendungsgebiet
302 Vertiefung, Struktur
303 kartographierendes Gebiet
400 Führungseinrichtung
410, 41 1 , 412, Bilddatenerfassungseinheit
420, 421 , 422 Bewegungsmodul
430 Bilddatenverarbeitungseinheit
431 , 441 Modul
432 MCR-Modul (Motion clutter removal)
440 Navigationseinheit
450, 460 Trackermodul
450 externe Bilddatenquelle, präoperative Quelle
470, 470.1, 470.2 Karte, Bildkarte
471 Verbindung
480 Pose und/oder Bewegung
500 Steuerung
510,510.1,510.2 Datenkabel
51 Bilddatenverbindung
512 Bewegungsdatenverbindung 600 visuelle Erfassungseinheit 700 Objekt
701,702, 703,704,705,706, markante Punkte (Merkmalspunkte) 701', 702', 703', 704', 705', 706' markante Punkte (Merkmalspunkte) 1000 mobil handhabbare Vorrichtung 2000 Patienten
Claims
1. Mobil handhabbare, insbesondere kalibrierbare, Vorrichtung (1000) mit einem mobilen Vorrichtungskopf (100), insbesondere einem nicht-medizinischen mobilen Vorrichtungskopf (100) mit einem distalen Ende zur Anordnung relativ zu einem technischen Körper oder einem medizinischen mobilen Vorrichtungskopf (100) mit einem distalen Ende zur Anordnung relativ zu einem gewebeartigen Körper, insbesondere mit einem distalen Ende zur Ein- oder Anbringung am Körper, aufweisend:
- wenigstens einen zur manuellen oder automatischen Führung ausgebildeten mobilen Vorrichtungskopf (100),
- eine Führungseinrichtung (400), wobei die Führungseinrichtung (400) zur Bereitstellung von Navigationsinformationen zur Führung des mobilen Vorrichtungskopfes (100) ausgebildet ist, wobei dessen distales Ende in einer Nahumgebung (NU) führbar ist,
- eine Bilddatenerfassungseinheit (410), die ausgebildet ist, Bilddaten einer Umgebung (U) des Vorrichtungskopfes (100), insbesondere kontinuierlich, zu erfassen und bereitzu- stellen
- eine Bilddatenverarbeitungseinheit (430), die ausgebildet ist mittels der Bilddaten eine Karte (470) der Umgebung (U) zu erstellen,
- eine Navigationseinheit (440), die ausgebildet ist, mittels der Bilddaten und einem Bilddatenfluss wenigstens eine Position (480) des Vorrichtungskopfes (100) in der Nah- Umgebung (NU) anhand der Karte (470) anzugeben, derart, dass der mobile Vorrichtungskopf (100) anhand der Karte (470) führbar ist, wobei
- ein mit Positionsbezug zum Vorrichtungskopf, diesem zugeordnetes Führungsmittel, das ausgebildet ist, Angaben zur Position des Vorrichtungskopfes (100) in Bezug auf die Umgebung (U) in der Karte (470) zu machen, wobei die Umgebung (U) über die Nahum- gebung (NU) hinausgeht.
2. Vorrichtung (1000) nach Anspruch 1 dadurch gekennzeichnet, dass der Positionsbezug des Führungsmittels zum Vorrichtungskopf starr oder determiniert beweglich ist, insbesondere kalibrierbar ist.
3. Vorrichtung (1000) nach Anspruch 1 oder 2 dadurch gekennzeichnet, dass das Führungsmittel die Bilddatenerfassungseinheit (410) und/oder ein weiteres Orientierungsmodul umfasst, das ausgebildet ist, eine weitere Angabe zur Position, insbesondere Pose (Position und/oder Orientierung), und/oder Bewegung des Vorrichtungskopfes (100) in Bezug auf die Karte (470) bereitzustellen.
4. Vorrichtung (1000) nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Orientierungsmodul ein Bewegungsmodul (422) und/oder Beschleunigungssensor oder dgl. Sensorik umfasst und/oder das Orientierungsmodul wenigstens eine Optik (41 1 , 412), insbesondere eine Ziel- und/oder Führungsoptik (412) und/oder eine externe Optik (41 1 ) umfasst.
5. Vorrichtung (1000) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass eine Position, insbesondere Pose und/oder Bewegung (480) des Vorrichtungskopfes (100) in der Nahumgebung (NU) anhand der Karte (470) angebbar ist, derart, dass eine Steuerung (500) und ein Handhabungsapparat 200 gemäß der Position, insbeson- dere Position und/oder Orientierung (Pose) und/oder Bewegung (480) des Vorrichtungskopfes (100) und anhand der Karte (470) der Umgebung (U) den mobilen Vorrichtungskopf (100) führen können.
6. Vorrichtung (1000) nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass, der Handhabungsapparat (200) mittels der Steuerung (500) über einen Steueran- schluss zur automatischen Führung des mobilen Vorrichtungskopfes (100) ausgebildet ist, und die Steuerung mittels der Führungseinrichtung (400) über eine Datenkopplung zur Navigation des Vorrichtungskopfes (100) ausgebildet ist, insbesondere der Steueran- schluss zur Übergabe einer SOLL-Position, insbesondere Pose, und/oder SOLL- Bewegung des Vorrichtungskopfes (100) und die Datenkopplung zur Übergabe einer IST- Position, insbesondere Pose, und/oder IST-Bewegung des Vorrichtungskopfes (100) ausgebildet ist.
7. Vorrichtung (1000) nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Navigationseinheit (440) einen erweiterten Kaiman Filter (EKF) und/oder ein Modul zur Durchführung eines SLAM-Algorithmus aufweist.
8. Vorrichtung (1000) nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Führungseinrichtung (400) weiter ausgebildet ist, den wenigstens einen mobilen Vorrichtungskopf (101 ) nur anhand der Karte (470) zu führen, insbesondere die Führungseinrichtung (400) ein Tracking-Absolutmodul, insbesondere eine weitere Sensorik, aufweist, die zum Erstellen der Karte der Nahumgebung (U) temporär beschränkt akti- vierbar oder deaktivierbar und/oder teilweise aktivierbar oder deaktivierbar ist.
9. Vorrichtung (1000) nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass der mobile Vorrichtungskopf (100) ein erster mobiler Vorrichtungskopf ist und we-
nigstens ein zweiter mobiler Vorrichtungskopf (101 , 102), insbesondere eine Mehrzahl mobiler Vorrichtungsköpfe, anhand der Karte (470), insbesondere dergleichen einzigen Karte, führbar ist.
10. Vorrichtung (1000) nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Karte (470) Marker enthält und das Führungsmittel ausgebildet ist, mindestens eine unbekannte oder bekannte Köperform in der Umgebung (U) als Marker zu erkennen und die relative Position, insbesondere relative Pose, des Vorrichtungskopfes zu einer Position, insbesondere Position, der erkannten Körperform ermittelbar ist, insbesondere gleichzeitig eine relative Position, insbesondere relative Pose, einer Anzahl von Körper- formen zueinander und/oder zum Vorrichtungskopf ermittelbar ist.
1 1. Vorrichtung (1000) nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Karte (470) Marker enthält, wobei Objekte als Marker in die Umgebung eingebracht werden, welche besonders geeignet sind von der Bilddatenerfassungseinheit erfasst zu werden, insbesondere das Führungsmittel ausgebildet ist, ein feststehendes Objekt einmalig und zur mehrmaligen Verwendung als Marker zu vermessen oder kontinuierlich zu vermessen.
12. Vorrichtung (1000) nach einem der Ansprüche 1 bis 1 1 , dadurch gekennzeichnet, dass die Position, insbesondere Pose und/oder Bewegung (480), des Vorrichtungskopfes (100) anhand der Karte (470) relativ zu einer Referenzstelle an einer Körperform oder einem Objekt in der Umgebung des Vorrichtungskopfes (100) angebbar ist, wobei die Referenzstelle Teil der Karte (470) der Umgebung, insbesondere der Nahumgebung (NU), ist.
13. Vorrichtung (1000) nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass eine Referenzstelle außerhalb der Nahumgebung (NU) liegt, wobei eine determi- nierte Relation zwischen der Referenzstelle und einer Kartenposition angebbar ist.
14. Vorrichtung (1000) nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass das Führungsmittel ausgebildet ist, eine bewegliche Mechanik oder Bewegungskinematik auf Positionierabweichungen einmalig, regelmäßig oder kontinuierlich zu vermessen.
15. Vorrichtung (1000) nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass die Bilddatenverarbeitungseinheit (430) ausgebildet ist, eine Referenzstelle an
einem Objekt in einem Sichtbild mit einer Fixstelle eines Fremdbildes nach einem vorbestimmten Test zu identifizieren.
16. Vorrichtung (1000) nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass die Bilddatenverarbeitungseinheit (430) ausgebildet ist, ein Sichtbild, insbesondere die Karte (470), mit einem Fremdbild, insbesondere einem Computertomografie- oder Magnetresonanztomografie-Bild (CT- oder MRT-Bild) oder dgl. Bild, zu registrieren und/oder zu ergänzen, insbesondere initial, regelmäßig oder kontinuierlich.
17. Vorrichtung (1000) nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, dass die Bilddatenverarbeitungseinheit (430) ein Modul (431 ) aufweist, das ausgebildet ist, Zielbewegungen, insbesondere Zielkörperbewegungen, insbesondere nach einem physiologischen Muster erkennbare, vorzugsweise rhythmische, Zielkörperbewegungen zu erkennen und bei der Erstellung einer Karte (470) der Nahumgebung (U) zu berücksichtigen.
18. Vorrichtung (1000) nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass die Umgebung (U) die Nahumgebung (NU) umfasst.
19. Vorrichtung (1000) nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass die Umgebung (U) disjunkt zur Nahumgebung (NU) ist.
20. Vorrichtung (1000) nach einem der Ansprüche 1 bis 19, dadurch gekennzeichnet, dass die Nahumgebung eine Operationsumgebung des distalen Endes des mobilen Vorrichtungskopf (100) ist.
21. Vorrichtung (1000) nach einem der Ansprüche 1 bis 20, dadurch gekennzeichnet, dass die Nahumgebung (NU) diejenigen Bilddaten umfasst, die in visueller Reichweite einer ersten Optik (412) der Bilddatenerfassungseinheit (410) am distalen Ende des mobilen Vorrichtungskopf (100) erfasst sind.
22. Vorrichtung (1000) nach einem der Ansprüche 1 bis 21 , dadurch gekennzeichnet, dass die Umgebung (U) ein Gebiet umfasst, das in der Nahumgebung (NU) und jenseits der Operationsumgebung des distalen Endes des mobilen Vorrichtungskopfes (100) liegt.
23. Vorrichtung (1000) nach einem der Ansprüche 1 bis 22, dadurch gekennzeichnet, dass mindestens ein erster und ein zweiter Bereich der Umgebung (U) durch die Füh-
rungsmittel und/oder die Bilderfassungseinheit (430) erfassbar ist, wobei wenigstens der erste Bereich ein Teil einer Operationsumgebung ist, in welcher eine Bewegung detek- tierbar ist, insbesondere eine Bewegung einer Körperform und/oder eines distalen Endes des Vorrichtungskopfes (100).
24. Vorrichtung (1000) nach einem der Ansprüche 1 bis 23, dadurch gekennzeichnet, dass mindestens ein erster und ein zweiter Bereich der Umgebung (U) durch die Führungsmittel und/oder die Bilderfassungseinheit (430) erfassbar ist, wobei in mindestens dem ersten erfassten Bereich Fehler, Ausfälle oder Signallosigkeit od. dgl. Störungen mittels der Auswertung wenigstens des zweiten Bereichs durch die Führungsmittel detektierbar und/oder kompensierbar sind.
25. Vorrichtung (1000) nach einem der Ansprüche 1 bis 24, dadurch gekennzeichnet, dass die Führungsmittel, insbesondere die Bilddatenerfassungseinheit (410) und/oder das Orientierungsmodul, ausgebildet ist, die Bilddaten der Umgebung (U) des Vorrichtungskopfes (100) kontinuierlich zu erfassen und die Bilddatenverarbeitungseinheit (430), ausgebildet ist, mittels der Bilddaten eine Karte (470) der Umgebung (U), insbesondere eine weitere Angabe zur Position -insbesondere Pose und/oder Bewegung des Vorrich- tungskopfes(100) in Bezug auf die Karte (470)- in Echtzeit, insbesondere während einer Operation, zu erstellen.
26. Vorrichtung (1000) nach einem der Ansprüche 1 bis 25, dadurch gekennzeichnet, dass die Bilddatenerfassungseinheit (410) wenigstens eine, insbesondere zwei, drei oder eine andere Anzahl von Optiken aufweist, die ausgebildet sind, denselben Bereich oder weitere Bereiche der Umgebung (U)— insbesondere Bereiche in einer Nahumgebung (NU) und/oder zusätzlich zur Nahumgebung (NU)- mittels Bilddaten gleichzeitig erfassen, insbesondere eine Bewegung eines in sich beweglichen Instrumentes aufgrund mindestens zweier Optiken ermittelbar ist.
27. Vorrichtung (1000) nach einem der Ansprüche 1 bis 26, dadurch gekennzeichnet, dass eine erste Optik erste Bilddaten und eine zweite Optik zweite Bilddaten erfasst, wobei erste und zweite Bilddaten zeitgleich erfasst werden, die räumlich versetzt sind oder wobei erste und zweite raumgleiche Bilddaten erfasst werden, die zeitlich versetzt sind.
28. Vorrichtung (1000) nach einem der Ansprüche 1 bis 27, dadurch gekennzeichnet, dass die Bilddatenerfassungseinheit (410) eine Zieloptik aufweist, die an einem distalen
Ende (101 D) des Vorrichtungskopfes (100) sitzt, wobei die Zieloptik ausgebildet ist, Bilddaten einer Nahumgebung (U) an einem distalen Ende des Vorrichtungskopfes zu erfassen.
29. Vorrichtung (1000) nach einem der Ansprüche 1 bis 28, dadurch gekennzeichnet, dass die Führungsmittel, insbesondere die Bilddatenerfassungseinheit (410) und/oder das Orientierungsmodul, eine Führungsoptik aufweist, die an einer Führungsstelle -von einem distalen Ende (101 D) entfernt, insbesondere an einem proximalen Ende (101 P) des Vorrichtungskopfes (100) und/oder an der Führungseinrichtung (400)- sitzt, wobei die Führungsoptik ausgebildet ist, Bilddaten einer Umgebung (U) des Vorrichtungskopfes (100), insbesondere in der Nähe der Führungsstelle, zu erfassen.
30. Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung (1000) mit einem mobilen Vorrichtungskopf (100), insbesondere einem nicht-medizinischen mobilen Vorrichtungskopf (100) mit einem distalen Ende zur Anordnung relativ zu einem technischen Körper oder einem medizinischen mobilen Vorrichtungskopf (100) mit einem distalen Ende zur Anordnung relativ zu einem gewebeartigen Körper, insbesondere mit einem distalen Ende zur Ein- oder Anbringung am Körper, aufweisend die Schritte:
- manuelle oder automatische Führung des mobilen Vorrichtungskopfes (100),
- Bereitstellung von Navigationsinformationen zur Führung des mobilen Vorrichtungskopfes (100), wobei dessen distales Ende in einer Nahumgebung (NU) geführt wird, - Erfassen und Bereitstellen von Bilddaten einer Umgebung (U) des Vorrichtungskopfes (100), insbesondere kontinuierlich,
- Erstellen einer Karte (470) der Umgebung (U) mittels der Bilddaten,
- Angeben wenigstens einer Position (480) des Vorrichtungskopfes (100) in der Nahumgebung (NU) anhand der Karte (470) mittels der Bilddaten und einem Bilddatenfluss, derart, dass der mobile Vorrichtungskopf (100) anhand der Karte (470) führbar ist, wobei
- mit Positionsbezug zum Vorrichtungskopf Angaben zur Position des Vorrichtungskopfes (100) in Bezug auf die Umgebung (U) in der Karte (470) gemacht werden, wobei die Umgebung (U) über die Nahumgebung (NU) hinausgeht.
31. Verfahren nach Anspruch 30 dadurch gekennzeichnet, dass der Positionsbezug zum Vorrichtungskopf starr oder determiniert bewegt wird, insbesondere kalibriert wird.
32. Verfahren nach Anspruch 30 oder 31 dadurch gekennzeichnet, dass eine weitere Angabe zur Position, insbesondere Pose (Position und/oder Orientierung), und/oder Bewegung des Vorrichtungskopfes (100) in Bezug auf die Karte (470) bereitgestellt wird.
33. Verfahren nach einem der Ansprüche 30 bis 32, dadurch gekennzeichnet, dass, der mobile Vorrichtungskopf (100) automatisch geführt wird, wobei eine SOLL-Position, insbesondere Pose, und/oder SOLL-Bewegung des Vorrichtungskopfes (100) übergeben wird und eine IST-Position, insbesondere Pose, und/oder IST-Bewegung des Vorrich- tungskopfes (100) übergeben wird.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13736814.8A EP2867855A1 (de) | 2012-06-29 | 2013-06-28 | Mobil handhabbare vorrichtung zur bearbeitung oder beobachtung eines körpers |
US14/411,602 US20150223725A1 (en) | 2012-06-29 | 2013-06-28 | Mobile maneuverable device for working on or observing a body |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012211378.9 | 2012-06-29 | ||
DE102012211378 | 2012-06-29 | ||
DE102012220116.5A DE102012220116A1 (de) | 2012-06-29 | 2012-11-05 | Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung |
DE102012220116.5 | 2012-11-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014001536A1 true WO2014001536A1 (de) | 2014-01-03 |
Family
ID=49754199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2013/063699 WO2014001536A1 (de) | 2012-06-29 | 2013-06-28 | Mobil handhabbare vorrichtung zur bearbeitung oder beobachtung eines körpers |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150223725A1 (de) |
EP (1) | EP2867855A1 (de) |
DE (1) | DE102012220116A1 (de) |
WO (1) | WO2014001536A1 (de) |
Families Citing this family (105)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8672837B2 (en) | 2010-06-24 | 2014-03-18 | Hansen Medical, Inc. | Methods and devices for controlling a shapeable medical device |
US11871901B2 (en) | 2012-05-20 | 2024-01-16 | Cilag Gmbh International | Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage |
DE102012220115A1 (de) * | 2012-11-05 | 2014-05-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bildgebendes System, Operationsvorrichtung mit dem bildgebenden System und Verfahren zur Bildgebung |
US9057600B2 (en) | 2013-03-13 | 2015-06-16 | Hansen Medical, Inc. | Reducing incremental measurement sensor error |
US9629595B2 (en) | 2013-03-15 | 2017-04-25 | Hansen Medical, Inc. | Systems and methods for localizing, tracking and/or controlling medical instruments |
US9271663B2 (en) | 2013-03-15 | 2016-03-01 | Hansen Medical, Inc. | Flexible instrument localization from both remote and elongation sensors |
US9014851B2 (en) | 2013-03-15 | 2015-04-21 | Hansen Medical, Inc. | Systems and methods for tracking robotically controlled medical instruments |
DE102013206911A1 (de) * | 2013-04-17 | 2014-10-23 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zur stereoskopischen Darstellung von Bilddaten |
US11020016B2 (en) | 2013-05-30 | 2021-06-01 | Auris Health, Inc. | System and method for displaying anatomy and devices on a movable display |
DE102014226240A1 (de) * | 2014-12-17 | 2016-06-23 | Kuka Roboter Gmbh | System zur roboterunterstützten medizinischen Behandlung |
US9442564B1 (en) * | 2015-02-12 | 2016-09-13 | Amazon Technologies, Inc. | Motion sensor-based head location estimation and updating |
AU2016323982A1 (en) | 2015-09-18 | 2018-04-12 | Auris Health, Inc. | Navigation of tubular networks |
US10143526B2 (en) | 2015-11-30 | 2018-12-04 | Auris Health, Inc. | Robot-assisted driving systems and methods |
EP3397921A1 (de) | 2015-12-30 | 2018-11-07 | Faro Technologies, Inc. | Registrierung von auf den inneren und äusseren teilen eines objekts gemessenen dreidimensionalen koordinaten |
GB2578422B (en) * | 2016-02-25 | 2021-09-15 | Noel Dyer Kelly | System and method for automatic muscle movement detection |
US10244926B2 (en) | 2016-12-28 | 2019-04-02 | Auris Health, Inc. | Detecting endolumenal buckling of flexible instruments |
WO2018179986A1 (ja) * | 2017-03-30 | 2018-10-04 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
WO2018183727A1 (en) | 2017-03-31 | 2018-10-04 | Auris Health, Inc. | Robotic systems for navigation of luminal networks that compensate for physiological noise |
US10022192B1 (en) | 2017-06-23 | 2018-07-17 | Auris Health, Inc. | Automatically-initialized robotic systems for navigation of luminal networks |
CN110809452B (zh) | 2017-06-28 | 2023-05-23 | 奥瑞斯健康公司 | 电磁场发生器对准 |
AU2018292281B2 (en) | 2017-06-28 | 2023-03-30 | Auris Health, Inc. | Electromagnetic distortion detection |
US20200170731A1 (en) * | 2017-08-10 | 2020-06-04 | Intuitive Surgical Operations, Inc. | Systems and methods for point of interaction displays in a teleoperational assembly |
US11058493B2 (en) | 2017-10-13 | 2021-07-13 | Auris Health, Inc. | Robotic system configured for navigation path tracing |
US10555778B2 (en) | 2017-10-13 | 2020-02-11 | Auris Health, Inc. | Image-based branch detection and mapping for navigation |
US11564756B2 (en) | 2017-10-30 | 2023-01-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US11510741B2 (en) | 2017-10-30 | 2022-11-29 | Cilag Gmbh International | Method for producing a surgical instrument comprising a smart electrical system |
US11801098B2 (en) | 2017-10-30 | 2023-10-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US11925373B2 (en) | 2017-10-30 | 2024-03-12 | Cilag Gmbh International | Surgical suturing instrument comprising a non-circular needle |
US11911045B2 (en) | 2017-10-30 | 2024-02-27 | Cllag GmbH International | Method for operating a powered articulating multi-clip applier |
AU2018384820B2 (en) | 2017-12-14 | 2024-07-04 | Auris Health, Inc. | System and method for estimating instrument location |
AU2018390476B2 (en) | 2017-12-18 | 2024-03-28 | Auris Health, Inc. | Methods and systems for instrument tracking and navigation within luminal networks |
US11464559B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Estimating state of ultrasonic end effector and control system therefor |
US20190201113A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Controls for robot-assisted surgical platforms |
US11969216B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution |
US11832840B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical instrument having a flexible circuit |
US11864728B2 (en) | 2017-12-28 | 2024-01-09 | Cilag Gmbh International | Characterization of tissue irregularities through the use of mono-chromatic light refractivity |
US11818052B2 (en) | 2017-12-28 | 2023-11-14 | Cilag Gmbh International | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
US11026751B2 (en) | 2017-12-28 | 2021-06-08 | Cilag Gmbh International | Display of alignment of staple cartridge to prior linear staple line |
US11857152B2 (en) | 2017-12-28 | 2024-01-02 | Cilag Gmbh International | Surgical hub spatial awareness to determine devices in operating theater |
US11666331B2 (en) | 2017-12-28 | 2023-06-06 | Cilag Gmbh International | Systems for detecting proximity of surgical end effector to cancerous tissue |
US10892995B2 (en) | 2017-12-28 | 2021-01-12 | Ethicon Llc | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
US11903601B2 (en) | 2017-12-28 | 2024-02-20 | Cilag Gmbh International | Surgical instrument comprising a plurality of drive systems |
US11659023B2 (en) | 2017-12-28 | 2023-05-23 | Cilag Gmbh International | Method of hub communication |
US11166772B2 (en) | 2017-12-28 | 2021-11-09 | Cilag Gmbh International | Surgical hub coordination of control and communication of operating room devices |
US11786245B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Surgical systems with prioritized data transmission capabilities |
US10758310B2 (en) | 2017-12-28 | 2020-09-01 | Ethicon Llc | Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices |
US11202570B2 (en) | 2017-12-28 | 2021-12-21 | Cilag Gmbh International | Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems |
US11844579B2 (en) | 2017-12-28 | 2023-12-19 | Cilag Gmbh International | Adjustments based on airborne particle properties |
US11109866B2 (en) | 2017-12-28 | 2021-09-07 | Cilag Gmbh International | Method for circular stapler control algorithm adjustment based on situational awareness |
US11744604B2 (en) | 2017-12-28 | 2023-09-05 | Cilag Gmbh International | Surgical instrument with a hardware-only control circuit |
US11540855B2 (en) | 2017-12-28 | 2023-01-03 | Cilag Gmbh International | Controlling activation of an ultrasonic surgical instrument according to the presence of tissue |
US11896443B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Control of a surgical system through a surgical barrier |
US12096916B2 (en) | 2017-12-28 | 2024-09-24 | Cilag Gmbh International | Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub |
US11678881B2 (en) | 2017-12-28 | 2023-06-20 | Cilag Gmbh International | Spatial awareness of surgical hubs in operating rooms |
US11786251B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
US11389164B2 (en) | 2017-12-28 | 2022-07-19 | Cilag Gmbh International | Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices |
US11559307B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method of robotic hub communication, detection, and control |
US11571234B2 (en) | 2017-12-28 | 2023-02-07 | Cilag Gmbh International | Temperature control of ultrasonic end effector and control system therefor |
US11257589B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes |
US11969142B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws |
US11559308B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method for smart energy device infrastructure |
US11576677B2 (en) | 2017-12-28 | 2023-02-14 | Cilag Gmbh International | Method of hub communication, processing, display, and cloud analytics |
US11589888B2 (en) | 2017-12-28 | 2023-02-28 | Cilag Gmbh International | Method for controlling smart energy devices |
US12062442B2 (en) | 2017-12-28 | 2024-08-13 | Cilag Gmbh International | Method for operating surgical instrument systems |
US11076921B2 (en) | 2017-12-28 | 2021-08-03 | Cilag Gmbh International | Adaptive control program updates for surgical hubs |
US11832899B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical systems with autonomously adjustable control programs |
US11132462B2 (en) | 2017-12-28 | 2021-09-28 | Cilag Gmbh International | Data stripping method to interrogate patient records and create anonymized record |
US11896322B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub |
US20190201146A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Safety systems for smart powered surgical stapling |
US11376002B2 (en) | 2017-12-28 | 2022-07-05 | Cilag Gmbh International | Surgical instrument cartridge sensor assemblies |
US11179175B2 (en) | 2017-12-28 | 2021-11-23 | Cilag Gmbh International | Controlling an ultrasonic surgical instrument according to tissue location |
US11937769B2 (en) | 2017-12-28 | 2024-03-26 | Cilag Gmbh International | Method of hub communication, processing, storage and display |
US11602393B2 (en) | 2017-12-28 | 2023-03-14 | Cilag Gmbh International | Surgical evacuation sensing and generator control |
US11998193B2 (en) | 2017-12-28 | 2024-06-04 | Cilag Gmbh International | Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation |
US11633237B2 (en) | 2017-12-28 | 2023-04-25 | Cilag Gmbh International | Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures |
US12127729B2 (en) | 2017-12-28 | 2024-10-29 | Cilag Gmbh International | Method for smoke evacuation for surgical hub |
US20190206569A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method of cloud based data analytics for use with the hub |
US20190201039A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Situational awareness of electrosurgical systems |
US11986233B2 (en) | 2018-03-08 | 2024-05-21 | Cilag Gmbh International | Adjustment of complex impedance to compensate for lost power in an articulating ultrasonic device |
US11344326B2 (en) | 2018-03-08 | 2022-05-31 | Cilag Gmbh International | Smart blade technology to control blade instability |
US11259830B2 (en) | 2018-03-08 | 2022-03-01 | Cilag Gmbh International | Methods for controlling temperature in ultrasonic device |
US11259806B2 (en) | 2018-03-28 | 2022-03-01 | Cilag Gmbh International | Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein |
WO2019191143A1 (en) | 2018-03-28 | 2019-10-03 | Auris Health, Inc. | Systems and methods for displaying estimated location of instrument |
US11090047B2 (en) | 2018-03-28 | 2021-08-17 | Cilag Gmbh International | Surgical instrument comprising an adaptive control system |
JP7214747B2 (ja) | 2018-03-28 | 2023-01-30 | オーリス ヘルス インコーポレイテッド | 位置センサの位置合わせのためのシステム及び方法 |
KR102499906B1 (ko) | 2018-05-30 | 2023-02-16 | 아우리스 헬스, 인코포레이티드 | 위치 센서-기반 분지부 예측을 위한 시스템 및 방법 |
US10898286B2 (en) | 2018-05-31 | 2021-01-26 | Auris Health, Inc. | Path-based navigation of tubular networks |
US11503986B2 (en) | 2018-05-31 | 2022-11-22 | Auris Health, Inc. | Robotic systems and methods for navigation of luminal network that detect physiological noise |
WO2019232236A1 (en) | 2018-05-31 | 2019-12-05 | Auris Health, Inc. | Image-based airway analysis and mapping |
CN110633336B (zh) * | 2018-06-05 | 2022-08-05 | 杭州海康机器人技术有限公司 | 激光数据搜索范围的确定方法、装置及存储介质 |
US11291507B2 (en) | 2018-07-16 | 2022-04-05 | Mako Surgical Corp. | System and method for image based registration and calibration |
GB2576574B (en) | 2018-08-24 | 2023-01-11 | Cmr Surgical Ltd | Image correction of a surgical endoscope video stream |
US12076100B2 (en) | 2018-09-28 | 2024-09-03 | Auris Health, Inc. | Robotic systems and methods for concomitant endoscopic and percutaneous medical procedures |
EP3860426A4 (de) * | 2018-10-02 | 2022-12-07 | Convergascent LLC | Endoskop mit trägheitsmesseinheiten und/oder haptischen eingabesteuerungen |
DE102018125592A1 (de) | 2018-10-16 | 2020-04-16 | Karl Storz Se & Co. Kg | Steuerungsanordnung, Verfahren zur Steuerung einer Bewegung eines Roboterarms und Behandlungsvorrichtung mit Steuerungsanordnung |
JP7286948B2 (ja) * | 2018-11-07 | 2023-06-06 | ソニーグループ株式会社 | 医療用観察システム、信号処理装置及び医療用観察方法 |
US11517309B2 (en) | 2019-02-19 | 2022-12-06 | Cilag Gmbh International | Staple cartridge retainer with retractable authentication key |
US11464511B2 (en) | 2019-02-19 | 2022-10-11 | Cilag Gmbh International | Surgical staple cartridges with movable authentication key arrangements |
WO2021038469A1 (en) | 2019-08-30 | 2021-03-04 | Auris Health, Inc. | Systems and methods for weight-based registration of location sensors |
US11147633B2 (en) | 2019-08-30 | 2021-10-19 | Auris Health, Inc. | Instrument image reliability systems and methods |
JP7494290B2 (ja) | 2019-09-03 | 2024-06-03 | オーリス ヘルス インコーポレイテッド | 電磁歪み検出及び補償 |
CN114901194B (zh) | 2019-12-31 | 2024-08-30 | 奥瑞斯健康公司 | 解剖特征识别和瞄准 |
WO2021137109A1 (en) | 2019-12-31 | 2021-07-08 | Auris Health, Inc. | Alignment techniques for percutaneous access |
CN118383870A (zh) | 2019-12-31 | 2024-07-26 | 奥瑞斯健康公司 | 用于经皮进入的对准界面 |
DE102020123171A1 (de) | 2020-09-04 | 2022-03-10 | Technische Universität Dresden, Körperschaft des öffentlichen Rechts | Medizinisches schneidwerkzeug, hf-erfassungsvorrichtung für ein medizinisches schneidwerkzeug und verfahren zum betreiben desselben |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006131373A2 (de) | 2005-06-09 | 2006-12-14 | Ife Industrielle Forschung Und Entwicklung Gmbh | Vorrichtung zum berührungslosen ermitteln und vermessen einer raumposition und/oder einer raumorientierung von körpern |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10015826A1 (de) * | 2000-03-30 | 2001-10-11 | Siemens Ag | System und Verfahren zur Erzeugung eines Bildes |
FR2855292B1 (fr) * | 2003-05-22 | 2005-12-09 | Inst Nat Rech Inf Automat | Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation |
WO2006043720A1 (ja) * | 2004-10-20 | 2006-04-27 | Fujitsu Ten Limited | 表示装置、表示装置の画質調整方法、画質調整装置、およびコントラスト調整装置 |
JP4215782B2 (ja) * | 2005-06-30 | 2009-01-28 | 富士通テン株式会社 | 表示装置、および表示装置の音声調整方法 |
WO2008017051A2 (en) * | 2006-08-02 | 2008-02-07 | Inneroptic Technology Inc. | System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities |
US7979108B2 (en) * | 2007-08-27 | 2011-07-12 | William Harrison Zurn | Automated vessel repair system, devices and methods |
US8494608B2 (en) * | 2008-04-18 | 2013-07-23 | Medtronic, Inc. | Method and apparatus for mapping a structure |
US8532734B2 (en) * | 2008-04-18 | 2013-09-10 | Regents Of The University Of Minnesota | Method and apparatus for mapping a structure |
US8839798B2 (en) * | 2008-04-18 | 2014-09-23 | Medtronic, Inc. | System and method for determining sheath location |
US8340751B2 (en) * | 2008-04-18 | 2012-12-25 | Medtronic, Inc. | Method and apparatus for determining tracking a virtual point defined relative to a tracked member |
US8663120B2 (en) * | 2008-04-18 | 2014-03-04 | Regents Of The University Of Minnesota | Method and apparatus for mapping a structure |
US8457371B2 (en) * | 2008-04-18 | 2013-06-04 | Regents Of The University Of Minnesota | Method and apparatus for mapping a structure |
US8218847B2 (en) * | 2008-06-06 | 2012-07-10 | Superdimension, Ltd. | Hybrid registration method |
US20110190637A1 (en) * | 2008-08-18 | 2011-08-04 | Naviswiss Ag | Medical measuring system, method for surgical intervention as well as use of a medical measuring system |
US8690776B2 (en) * | 2009-02-17 | 2014-04-08 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image guided surgery |
US8348831B2 (en) * | 2009-12-15 | 2013-01-08 | Zhejiang University | Device and method for computer simulated marking targeting biopsy |
US20130293690A1 (en) * | 2012-05-07 | 2013-11-07 | Eric S. Olson | Medical device navigation system stereoscopic display |
-
2012
- 2012-11-05 DE DE102012220116.5A patent/DE102012220116A1/de not_active Ceased
-
2013
- 2013-06-28 EP EP13736814.8A patent/EP2867855A1/de not_active Ceased
- 2013-06-28 WO PCT/EP2013/063699 patent/WO2014001536A1/de active Application Filing
- 2013-06-28 US US14/411,602 patent/US20150223725A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006131373A2 (de) | 2005-06-09 | 2006-12-14 | Ife Industrielle Forschung Und Entwicklung Gmbh | Vorrichtung zum berührungslosen ermitteln und vermessen einer raumposition und/oder einer raumorientierung von körpern |
Non-Patent Citations (12)
Title |
---|
ANONYMOUS: "Augmented reality - Wikipedia, the free encyclopedia", 15 June 2012 (2012-06-15), XP055087194, Retrieved from the Internet <URL:http://en.wikipedia.org/w/index.php?title=Augmented_reality&oldid=497666972> [retrieved on 20131107] * |
ANONYMOUS: "Computer-assisted surgery - Wikipedia, the free encyclopedia", 29 May 2012 (2012-05-29), XP055087373, Retrieved from the Internet <URL:http://en.wikipedia.org/w/index.php?title=Computer-assisted_surgery&oldid=494938929> [retrieved on 20131108] * |
BROWN ET AL: "Three-dimensional endoscopic sinus surgery: Feasibility and technical aspects", OTOLARYNGOLOGY AND HEAD AND NECK SURGERY, ROCHESTER, US, vol. 138, no. 3, 27 February 2008 (2008-02-27), pages 400 - 402, XP022504449, ISSN: 0194-5998, DOI: 10.1016/J.OTOHNS.2007.12.007 * |
BURSCHKA D ET AL: "Scale-invariant registration of monocular endoscopic images to CT-scans for sinus surgery", MEDICAL IMAGE ANALYSIS, OXFORD UNIVERSITY PRESS, OXOFRD, GB, vol. 9, no. 5, 1 October 2005 (2005-10-01), pages 413 - 426, XP027847032, ISSN: 1361-8415, [retrieved on 20051001] * |
BURSCHKA ET AL.: "Scale- invariant registration of monocular endoscopic images to CT-scans for sinus surgery", MEDICAL IMAGE ANALYSIS, vol. 9, 2005, pages 413 - 426, XP005040719, DOI: doi:10.1016/j.media.2005.05.005 |
DANIEL J. MIROTA ET AL: "Vision-Based Navigation in Image-Guided Interventions", ANNUAL REVIEW OF BIOMEDICAL ENGINEERING, vol. 13, no. 1, 15 August 2011 (2011-08-15), pages 297 - 319, XP055087379, ISSN: 1523-9829, DOI: 10.1146/annurev-bioeng-071910-124757 * |
GRASA ET AL.: "EKF monoc- ular SLAM with relocalization for laparoscopic sequences", 2011 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, 9 May 2011 (2011-05-09) |
LEE S L ET AL: "From medical images to minimally invasive intervention: Computer assistance for robotic surgery", COMPUTERIZED MEDICAL IMAGING AND GRAPHICS, PERGAMON PRESS, NEW YORK, NY, US, vol. 34, no. 1, 2010, pages 33 - 45, XP026810789, ISSN: 0895-6111, [retrieved on 20090820] * |
MIROTA ET AL.: "A System for Video-Based Navigation for Endoscopic Endonasal Skull Base Surgery", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. 31, no. 4, April 2012 (2012-04-01), XP011491075, DOI: doi:10.1109/TMI.2011.2176500 |
MOUNTNEY ET AL., 31ST ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE EMBS MINNEAPOLIS, 2 September 2009 (2009-09-02) |
OSCAR G GRASA ET AL: "EKF Monocular SLAM 3D Modeling, Measuring and Augmented Reality from Endoscope Image Sequences", 5TH WORKSHOP ON AUGMENTED ENVIRONMENTS FOR MEDICAL IMAGING INCLUDING AUGMENTED REALITY IN COMPUTER-AIDED SURGERY, 2009, XP055087364, Retrieved from the Internet <URL:http://webdiis.unizar.es/~jcivera/papers/garcia_etal_miccai09.pdf> [retrieved on 20131108] * |
See also references of EP2867855A1 |
Also Published As
Publication number | Publication date |
---|---|
EP2867855A1 (de) | 2015-05-06 |
DE102012220116A1 (de) | 2014-01-02 |
US20150223725A1 (en) | 2015-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2867855A1 (de) | Mobil handhabbare vorrichtung zur bearbeitung oder beobachtung eines körpers | |
US20240277421A1 (en) | Systems and methods for using tracking in image-guided medical procedure | |
EP2914194A1 (de) | Bildgebendes system, operationsvorrichtung mit dem bildgebenden system und verfahren zur bildgebung | |
DE102019004235B4 (de) | System und verfahren zur bildbasierten registrierung und kalibrierung | |
DE69503814T2 (de) | Videobasiertes System zur rechnerunterstützten Chirurgie und Lokalisierung | |
DE69322202T2 (de) | System und Verfahren zur Verbesserung von endoskopischer Chirurgie | |
EP3076369B1 (de) | Verfahren und vorrichtung zum darstellen eines objektes | |
EP2632382B2 (de) | Navigationsaufsatz für optische geräte in der medizin und verfahren | |
EP0682919A2 (de) | Verfahren zum Korrelieren verschiedener Koordinatensysteme in der rechnergestützten, stereotaktischen Chirurgie | |
EP4213755B1 (de) | Chirurgisches assistenzsystem | |
WO2008058520A2 (de) | Vorrichtung zur bereitstellung von bildern für einen operateur | |
DE102014102425B4 (de) | Mikroskopsystem und Mikroskopieverfahren unter Verwendung digitaler Marker | |
DE102008032508B4 (de) | Medizinische Untersuchungs- und Behandlungseinrichtung zur Planung und Durchführung einer Punktion eines Patienten sowie zugehöriges Verfahren | |
DE102011006537B4 (de) | Verfahren zur Registrierung eines ersten Koordinatensystems einer ersten medizinischen Bildgebungseinrichtung mit einem zweiten Koordinatensystem einer zweiten medizinischen Bildgebungseinrichtung und/oder einem dritten Koordinatensystem eines medizinischen Instruments, welches durch Marker einer medizinischen Navigationseinrichtung definiert ist, und medizinisches Untersuchungs- und/oder Behandlungssystem | |
WO2018007091A1 (de) | Vorrichtung zur bildgebung in einem operationssaal | |
US20210267440A1 (en) | Systems and methods for detecting an orientation of medical instruments | |
DE102020215559B4 (de) | Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und Visualisierungssystem für eine chirurgische Anwendung | |
EP4284290A1 (de) | Chirurgisches assistenzsystem mit operationsmikroskop und kamera und darstellungsverfahren | |
DE10109310A1 (de) | Vorrichtung und Verfahren zur dreidimensionalen Navigation von Biopsie-Sonden | |
DE202015009588U1 (de) | Motorisiertes vollfeldadaptives Mikroskop | |
EP4228543B1 (de) | Chirurgisches navigationssystem mit verbessertem instrumententracking und navigationsverfahren | |
DE102010020285B4 (de) | Kombinierte Referenzierung für eine medizinische Navigation | |
WO2024156820A1 (de) | Chirurgisches assistenzsystem und verfahren zur datenvisualisierung für einen chirurgischen eingriff | |
DE102021207950A1 (de) | Verfahren und System zur Bestimmung einer Lage zumindest eines Objekts in einem Operationssaal | |
DE102022125798A1 (de) | Verfahren zur medizintechnischen Kalibrierung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13736814 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2013736814 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14411602 Country of ref document: US |