WO2018059660A1 - Verfahren und anordnung zum bereitstellen einer hyperspektralen bildgebung - Google Patents

Verfahren und anordnung zum bereitstellen einer hyperspektralen bildgebung Download PDF

Info

Publication number
WO2018059660A1
WO2018059660A1 PCT/EP2016/072942 EP2016072942W WO2018059660A1 WO 2018059660 A1 WO2018059660 A1 WO 2018059660A1 EP 2016072942 W EP2016072942 W EP 2016072942W WO 2018059660 A1 WO2018059660 A1 WO 2018059660A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
operated
imaging
illumination device
modulation
Prior art date
Application number
PCT/EP2016/072942
Other languages
English (en)
French (fr)
Inventor
Thomas Engel
Alexander Michael Gigler
Clemens Otte
Remigiusz Pastusiak
Tobias Paust
Evamaria STÜTZ
Stefanie VOGL
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to PCT/EP2016/072942 priority Critical patent/WO2018059660A1/de
Publication of WO2018059660A1 publication Critical patent/WO2018059660A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0064—Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/069—Supply of sources
    • G01N2201/0691—Modulated (not pulsed supply)

Definitions

  • remote sensing also called “remote sensing”
  • spectroscopy or “spectrometry”
  • the ROI is illuminated and the reflections are evaluated. Typically, this is illuminated on the sample surface area, referred to as “measurement spot”, thus very small and thus to Siert the light typi ⁇ cally of high intensity and often strong focus.
  • the problem underlying the invention is to provide a solution for material discrimination overcoming the disadvantages of the prior art.
  • This object is achieved by the method for providing hyperspectral imaging according to the preamble of claim 1 by the features thereof as well as by the arrangement for providing hyperspectral imaging according to the preamble of claim 13 by the features thereof.
  • an illumination device for illuminating a to be detected sample surface is so operated with an imaging device and operatively connected to a modulation of the emitted by the illumination ⁇ device light based on a digital shaping of the modulation characteristics by at least carried out a light modulator ,
  • the light is emitted by light modulators placed externally with regard to the illumination device, while play, synthetic light sources, the synthesized spectral Ver ⁇ division modulated.
  • the maximum possible, ie full, light intensity is available for each pixel.
  • any trajectories can be realized with the light. Switching on / off can be realized with a shutter.
  • the inventive method is further developed such that the light on the Probenoberflä ⁇ che, in particular in meandering fashion, is rasterized. By scanning, the sample surface is scanned along the predetermined path with the measurement point. If, moreover, the spectral profile of light used in a scanning between successive Abrasterungen of the detected range, in particular according to the above in this regard, can be used without
  • “Hyperspectral Imaging” camera can be used to generate hyperspectral imaging.
  • the spectral profile of the light used during scanning can preferably be chosen so that a distinction between different sample components can be made safely.
  • Light for the respective scanning can thus set the selectivity of the light distribution for the re-emission and thus the differentiation of certain characteristics and / or material properties for the sample surface to be examined can be optimized.
  • the method according to the invention can also be developed in such a way that the light is absorbed by light modulators internally placed in the illumination device. modulated.
  • the light beam is modulated locally by means of a projector system.
  • the method is preferably further developed in such a way that the modulation takes the form of a so-called "digital
  • the erfindungsge ⁇ Permitted solution is supported if the method exhaustive search ⁇ forms is that at least one, in particular ⁇ special designed as a so-called “Digital Micromirror Device", micromirror array is used as light modulators.
  • the light beams or the light in addition to the DMD can also be spectrally modulated by means of LCD filters, galvo scanners, rotating polygons and / or shutters.
  • the development of the method according to the invention unfolds its advantages, in which the imaging is controlled such that the fol ⁇ ing steps are performed:
  • the imaging is controlled such that the following steps are carried out: a) taking at least one image of the sample surface, b) segmenting the image into at least two distinguishable in at least one optical property ⁇ portions, selecting at least one of the partial ⁇ areas of the image,
  • step c) detecting a determinate number of reflected spectra in the selected subregion on the basis of at least two, in particular with regard to their wavelength, disjoint emission of light, d) validation of the acquisition performed in step c) on the basis of at least one, in particular in the manner of machine learning , trained model for the prediction of a discriminating material property present in the respective subarea, e) selection of a model based on the validation, f) implementation of the measurement.
  • the functionally connected units are controlled and operated such that a user is enabled to navigate, for example in the form of beam steering or by relative movement of the device, to individual areas of the area to be explored.
  • the method is developed in such a way that the functionally connected units are controlled in such a way and operated in such a way that a prescribable number of data records per disjoint emission is received for the subregions selected in step c), the method according to the invention preferably being further developed in such a way that the functionally connected units are controlled and operated in such a way that a measurement permanently records are recorded and the jeweili ⁇ ge prediction per sub-area characterizing simultaneous representation of the sub-areas is carried out.
  • an illumination device for illuminating a to be detected sample surface is such operated with an imaging device and operatively connected to a modulation of the emitted by the illumination ⁇ device light based on a digital shaping of the modulation characteristics by at least one
  • FIGURE shows a flow chart with a simplified representation of an embodiment of the Ver ⁇ method
  • the exemplary embodiment begins according to a first step S1, which represents an initial state "start” of the illustrated illumination and measurement strategy. Starting with this initial state, the sequence continues with a second step S2, in which a picture of the surface is taken, for example in the visible range. On the basis of this recording, then, in a third step S3, the manual selection of areas in the previously recorded image or an automatic segmentation of the image into undoubtedly identifiable areas, the individual material classes, for example a material "A”, “B” or “C” can be assigned according to the selected or OP scenario "tumor” or “non ⁇ tumor tissue” or "color effect 1 or 2 color effect”.
  • a detection of a predetermined number of spectra takes place in the areas selected in the third step S3. That is, there is a recording of a predetermined number of records within this selected in the third step S3 areas.
  • Step S7 repeated. If necessary, this can also be terminated by a termination condition, for example, the possible selection is exhausted models or Festge ⁇ put time is exceeded. If the statement is affirmative, the method is continued in an eighth step S8 in which the prediction model is used for a measurement which takes place in a "measurement" state given by a ninth step S9.
  • individual areas of the ROI can then be approached and measured as needed and / or data is constantly recorded and prediction maps are created, which are displayed to the user.
  • a lateral pattern is projected onto the surface for a selected spectral composition (in the simplest case a single wavelength).
  • a detection element in this case only a line array-based spectrometer or a single-pixel Intensi ⁇ tiquess detector (pin photodiode) instead of a
  • a lateral image of the surface can also be achieved with only a single-pixel detector.
  • neuro-tumor detection or other classification task may initially a portion of the surface property 1 (such as tumor), then a white ⁇ more excellent with property 2 (healthy eg fabric) and a further region with feature n (eg bone ) can be selected on which then recalibration data can be obtained for an individualization of the predictive model.
  • a portion of the surface property 1 such as tumor
  • a white ⁇ more excellent with property 2 health eg fabric
  • n eg bone

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Anordnung zum Bereitstellen einer hyperspektralen Bildgebung bei denen eine Beleuchtungseinrichtung zur Beleuchtung einer zu erfassenden Probenoberfläche derart mit einer Bildgebungseinrichtung betrieben und funktional verbunden wird bzw. ist, dass eine Modulation des seitens der Beleuchtungseinrichtung abgegebenen Lichts auf Grundlage einer digitalen Formung der Modulationseigenschaften durch zumindest einen Lichtmodulator erfolgt.

Description

Beschreibung
Verfahren und Anordnung zum Bereitstellen einer hyperspektralen Bildgebung
Verfahren zum Bereitstellen einer hyperspektralen Bildgebung nach dem Gattungsbegriff des Anspruchs 1 sowie Anordnung zum Bereitstellen einer hyperspektralen Bildgebung gemäß dem Gattungsbegriff des Anspruchs 13.
Es ist bekannt für eine Fernerkundung (auch „Remote Sensing" genannt) , Spektroskopie (oder auch „Spektrometrie" ) einzuset¬ zen, um Materialeigenschaften eines zu erkundenden Gebietes, auch als so genanntes „Region of Interest" (ROI) bezeichnet, ohne Berührung desselbigen zu ermitteln.
Bei der Spektroskopie wird dabei die ROI ausgeleuchtet und die Reflexionen ausgewertet. Typischer Weise ist dieses auf der Probenoberfläche ausgeleuchtete Gebiet, auch als „Mess- fleck" bezeichnet, somit sehr klein und damit das Licht typi¬ scherweise von hoher Intensität und häufig dazu stark fokus- siert .
Liegt nun im zu erkundenden Material eine starke Inhomogeni- tät vor, so ist die Aussagekraft des durch diese Verfahrens¬ weise gewonnenen Messergebnisses sehr gering einzuschätzen, da die gewonnene Information auf die Dimension des Messflecks beschränkt ist. Ein hier gegenüber verbesserter Ansatz ergibt sich durch die Anwendung einer hyperspektralen Bildgebung, auch als
„Hyperspectral Imaging" bekannt. Diese erlaubt die sequenti¬ elle Messung von lateralen Materialverteilungsbildern an der Oberfläche bei verschiedenen entsprechend sequentiell verän- derten spektralen Beleuchtungen bzw. bei breitbandiger Beleuchtung bei verschiedenen entsprechend sequentiell veränderten spektralen Filtersätzen vor einer aufnehmenden Kamera bzw. der spektralen Auflösung der Lichtwellenlängen mit einem Spektrometer .
Nachteilig hierbei ist, dass man beim Einsatz auf die durch den Filtersatz gegebene Auswahl an Spektren eingeschränkt ist .
Die der Erfindung zugrundeliegende Aufgabe ist es eine die Nachteile des Standes der Technik überwindende Lösung für ei- ne Materialunterscheidung anzugeben.
Diese Aufgabe wird durch das Verfahren zum Bereitstellen einer hyperspektralen Bildgebung gemäß dem Gattungsbegriff des Anspruchs 1 durch dessen Merkmale gelöst sowie durch die An- Ordnung zum Bereitstellen einer hyperspektralen Bildgebung gemäß dem Gattungsbegriff des Anspruchs 13 durch dessen Merkmale gelöst.
Bei dem erfindungsgemäßen Verfahren zum Bereitstellen einer hyperspektralen Bildgebung wird eine Beleuchtungseinrichtung zur Beleuchtung einer zu erfassenden Probenoberfläche derart mit einer Bildgebungseinrichtung betrieben und funktional verbunden, dass eine Modulation des seitens der Beleuchtungs¬ einrichtung abgegebenen Lichts auf Grundlage einer digitalen Formung der Modulationseigenschaften durch zumindest einen Lichtmodulator erfolgt.
Hierdurch wird ein zumindest spektral frei variierbares Be¬ leuchtungssystem bereitgestellt. D.h. es können prinzipiell beliebig viele Spektren zum Einsatz kommen.
Weitere Vorteile sind durch die in den Unteransprüchen ange¬ gebenen Weiterbildungen gegeben. Bei einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens wird das Licht durch hinsichtlich der Beleuchtungseinrichtung extern platzierte Lichtmodulatoren, bei- spielsweise synthetische Lichtquellen, die die spektrale Ver¬ teilung synthetisiert, moduliert.
Hierbei steht für jeden Bildpunkt (Pixel) die maximal mögli- che, also volle, Lichtintensität zur Verfügung. Zudem können mit dem Licht beliebige Trajektorien realisiert werden. Ein Ein-/Ausschalten kann dabei mit einem Shutter realisiert werden . Alternativ oder ergänzend wird das erfindungsgemäße Verfahren derart weitergebildet, dass das Licht über die Probenoberflä¬ che, insbesondere mäanderförmig, gerastert wird. Durch ein Rastern wird die Probenoberfläche entlang der vorbestimmten Bahn mit dem Messpunkt abgetastet. Wird zudem das spektrale Profil des bei einem Abrastern eingesetzten Lichts zwischen aufeinanderfolgenden Abrasterungen des zu erfassenden Bereichs, insbesondere gemäß den diesbezüglich zuvor herausge¬ stellten Weiterbildungen, modifiziert, kann auch ohne
„Hyperspectral Imaging" Kamera eine hyperspektrale Bildgebung erzeugt werden.
Das spektrale Profil des beim Abrastern eingesetzten Lichts kann bevorzugt so gewählt werden, dass eine Unterscheidung von unterschiedlichen Probenbestandteilen sicher getroffen werden kann. Über die vorbestimmte spektrale Verteilung des
Lichts für die jeweilige Abrasterung kann so die Selektivität der Lichtverteilung für die Reemission eingestellt und so die Differenzierung von bestimmten Merkmalen und/oder Stoffeigen- schaften für die zu untersuchende Probenoberfläche optimiert werden.
Eine bevorzugte Weiterbildung ist gegeben, wenn als Lichtmo¬ dulatoren hierzu zumindest eine, insbesondere galvanometrisch betriebene, Kippspiegelanordnung verwendet wird.
Alternativ oder ergänzend kann das erfindungsgemäße Verfahren auch derart weitergebildet werden, dass das Licht durch in der Beleuchtungseinrichtung intern platzierte Lichtmodulato- ren moduliert wird. Hiermit wird also mittels Projektorsystem der Lichtstrahl lokal moduliert.
Bevorzug wird hierzu das Verfahren derart weitergebildet, dass die Modulation nach Art eines so genannten „Digital
Light Processing" durchgeführt wird. Hierdurch können belie¬ bige Flächen und Muster simultan beleuchtet werden, womit eine Mittelung der spektralen Information dieser Bereiche einhergeht .
Bei der Verwirklichung dieses Vorteils wird die erfindungsge¬ mäße Lösung unterstützt, wenn das Verfahren derart weiterge¬ bildet wird, dass als Lichtmodulatoren mindestens ein, insbe¬ sondere als so genanntes „Digital Micromirror Device" ausge- staltetes, Mikrospiegelarray verwendet wird.
Alternativ oder ergänzend lassen sich die Lichtstrahlen bzw. das Licht neben dem DMD auch durch LCD-Filter, Galvoscanner, rotierende Polygone und/oder Shutter spektral modulieren.
Insbesondere in einer medizinischen Anwendung entfaltet die Weiterbildung des erfindungsgemäßen Verfahrens seine Vorteile, bei der die Bildgebung derart angesteuert wird, dass fol¬ gende Schritte durchgeführt werden:
a) Aufnahme zumindest eines Bildes der Probenoberfläche, b) Auswahl von zumindest einem Teilbereich des Bildes, c) Erfassen einer determinierten Anzahl von reflektierten Spektren des ausgewählten Teilbereichs auf Grund- läge zumindest zweier, insbesondere hinsichtlich ih¬ rer Wellenlänge, disjunkter Abstrahlungen von Licht, d) Validierung der in Schritt c) durchgeführten Erfassung auf Grundlage mindestens eines, insbesondere nach Art des maschinellen Lernens, trainierten Mo- dells zur Vorhersage einer im Teilbereich vorliegenden diskriminierenden Materialeigenschaft, e) Auswahl eines Modells auf Grundlage der Validierung, f) Durchführung der Messung.
Die gleichen Vorteile, jedoch mit weiteren Freiheitsgraden und Möglichkeiten, entfaltet auch die Weiterbildung des er- findungsgemäßen Verfahrens, bei der die Bildgebung derart angesteuert wird, dass folgende Schritte durchgeführt werden: a) Aufnahme zumindest eines Bildes der Probenoberfläche, b) Segmentierung des Bildes in zumindest zwei in zumin¬ dest einer optischen Eigenschaft unterscheidbaren Teilbereiche, Auswahl von zumindest einem der Teil¬ bereiche des Bildes,
c) Erfassen einer determinierten Anzahl von reflektierten Spektren im ausgewählten Teilbereichs auf Grundlage zumindest zweier, insbesondere hinsichtlich ih- rer Wellenlänge, disjunkter Abstrahlungen von Licht, d) Validierung der in Schritt c) durchgeführten Erfassung auf Grundlage mindestens eines, insbesondere nach Art des maschinellen Lernens, trainierten Modells zur Vorhersage einer im jeweiligen Teilbereich vorliegenden diskriminierenden Materialeigenschaft, e) Auswahl eines Modells auf Grundlage der Validierung, f) Durchführung der Messung.
Gemäß einer Weiterbildung des Verfahrens werden die funktio- nal verbundenen Einheiten derart angesteuert und betrieben, dass einem Nutzer eine Navigation, beispielsweise in Form von Strahlenlenkung oder durch relative Bewegung der Vorrichtung, zu einzelnen Bereichen des zu erkundenden Gebietes ermöglicht wird .
Dies ermöglicht den vorteilhaften Einsatz des Verfahrens in Einsatzgebieten wo eine nähere Betrachtung oder ein Verfolgen von Verläufen von signifikanten Segmenten des zu erfassenden Bereiches, wie beispielsweise der minimalinvasiven Chirurgie, notwendig ist.
Vorzugsweise wird das Verfahren dabei derart weitergebildet, dass die funktional verbundenen Einheiten derart angesteuert und betrieben werden, dass für die im Schritt c) ausgewählten Teilbereiche jeweils eine vorgebbare Anzahl von Datensätzen je disjunkter Abstrahlung aufgenommen wird, wobei wiederum bevorzugt das erfindungsgemäße Verfahren derart weitergebil- det wird, dass die funktional verbundenen Einheiten derart angesteuert und betrieben werden, dass während einer Messung permanent Datensätze aufgenommen werden und eine die jeweili¬ ge Vorhersage je Teilbereich kennzeichnende gleichzeitige Darstellung der Teilbereiche erfolgt.
Eine weitere Weiterbildung ist gegeben, wenn das erfindungs¬ gemäße Verfahren derart weitergebildet wird, dass die Messung derart durchgeführt wird, dass eine Detektionseinrichtung mit der Beleuchtungseinrichtung und/oder digitalen Formung funk- tional betrieben und verbunden wird, das reflektierte Licht¬ anteile durch ein, insbesondere Linienarray-basiertes , Spekt- rometer und/oder als, beispielsweise als pin-Photodiode aus¬ gestalteter, Einzelpunktdetektor aufgenommen werden. Hierdurch wird eine deutlich kostengünstigere Realisisierung ei- ner hyperspektralen Bildgebung möglich, da diese Detektoren dank des erfindungsgemäßen Verfahrens eine „Hyperspektral Imaging" Kamera als Detektor ersetzen können.
Bei der erfindungsgemäßen Anordnung zum Bereitstellen einer hyperspektralen Bildgebung ist eine Beleuchtungseinrichtung zur Beleuchtung einer zu erfassenden Probenoberfläche derart mit einer Bildgebungseinrichtung betrieben und funktional verbunden, dass eine Modulation des seitens der Beleuchtungs¬ einrichtung abgegebenen Lichts auf Grundlage einer digitalen Formung der Modulationseigenschaften durch zumindest einen
Lichtmodulator erfolgt. Es hilft die durch das Verfahren gegebenen Vorteile zu verwirklichen, da es eine geeignete Im¬ plementierung hierfür darstellt. Das Gleiche gilt für die Weiterbildung der Anordnung die durch Mittel zur Durchführung der Weiterbildungen des Verfahrens ausgestaltet ist. Weitere Vorteile und Einzelheiten der Erfindung werden nun ausgehend von dem in der einzigen Figur dargestellten Ausführungsbeispiels der Erfindung näher erläutert. Dabei zeigt die FIGUR ein Ablaufdiagram mit vereinfachter Darstellung eines Ausführungsbeispiels des erfindungsgemäßen Ver¬ fahrens
In der FIGUR ist der Ablauf eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens zum Bereitstellen einer hyperspektralen Bildgebung stark vereinfacht dargestellt, anhand dessen auch Merkmale der Anordnung zum Bereitstellen einer hyperspektralen Bildgebung und möglicher Ausgestaltungsformen/alternativer oder ergänzender Weiterbildungen von beiden näher erläutert werden.
Dem dargestellten Beispiel liegt als Szenario der Einsatz der Erfindung im Rahmen eines integrierten Systems im OP- Mikroskop zugrunde. Ferner sind folgende Annahmen zugrundge- legt:
• Es existiert bereits ein im Labor oder im Feld validiertes statistisches Vorhersagemodell für die zu identifi¬ zierenden bzw. quantifizierenden Materialien
• Es kann von derselben Oberfläche von derselben Region of Interest (ROI) und aus derselben Richtung ein Bild auf¬ genommen werden · die Messeinheit für Spektren erlaubt es, diese ROI
abzuscannen, um von jedem Punkt in dieser Geometrie ein Spektrum zu gewinnen
Das Ausführungsbeispiel beginnt gemäß einem ersten Schritt Sl der einen Anfangszustand „Start" der dargestellten Beleuch- tungs- und Messstrategie darstellt. Beginnend mit diesem Ausgangszustand setzt sich der Ablauf mit einem zweiten Schritt S2 fort bei dem eine Aufnahme eines Bildes der Oberfläche, z.B. im sichtbaren Bereich erfolgt. Auf Grundlage dieser Aufnahme erfolgt dann in einem dritten Schritt S3 die manuelle Selektion von Bereichen im zuvor aufgenommenen Bild bzw. eine automatische Segmentierung des Bildes in zweifellos identifizierbare Bereiche, die einzelnen Materialklassen, beispielsweise einem Material „A",„B" oder „C" oder gemäß gewähltem OP Szenario „Tumor-" oder „nicht¬ Tumor Gewebe" oder „Farbwirkung 1 oder Farbwirkung 2" zugeordnet werden können.
In einem vierten Schritt S4 erfolgt eine Erfassung von einer vorgegebenen Anzahl von Spektren in den im dritten Schritt S3 selektierten Bereichen. D.h. es erfolgt eine Aufnahme einer vorgegebenen Zahl von Datensätzen innerhalb dieser im dritten Schritt S3 selektierten Bereiche. Dem vierten Schritt S4 schließt sich in einem fünften Schritt S5 ein Validierungsdurchlauf der im vierten Schritt S4 aufge¬ nommenen Datensätze im Vorhersagemodell an.
Auf Grundlage dieses Validierungsdurchlaufs erfolgt in einem sich anschließenden sechsten Schritt S6 ein Vergleich des Er- gebnisses des Validierungsdurchlaufs mit einer aus der Model¬ lierung bekannten Performance des Vorhersagesystems.
Dem schließt sich in einem siebten Schritt S7 eine Entschei¬ dung an, ob dieses Vorhersagesystem valide ist.
Ist dies nicht der Fall, werden beginnend mit dem fünften Schritt S5 die Schritte bis zur Entscheidung im siebten
Schritt S7 wiederholt. Gegebenenfalls kann dies durch eine Abbruchbedingung auch beendet werden, wenn beispielsweise die mögliche Auswahl von Modellen erschöpft ist oder eine festge¬ legte Zeitdauer überschritten ist. Bei einer positiven Aussage wird das Verfahren in einem achten Schritt S8 fortgesetzt in dem das Vorhersagemodell für eine Messung zugrundegelegt wird, die in einem durch einen neunten Schritt S9 gegebenen Zustand „Messung" erfolgt.
Im Rahmen der Messung können dann entsprechend den Eingaben des Nutzers einzelne Bereiche der ROI nach Bedarf angefahren und gemessen werden und/oder es werden permanent Daten aufgenommen und Vorhersage Maps erstellt, die dem Nutzer angezeigt werden.
Ferner kann das dargestellte Ausführungsbeispiel noch derart ergänzt werden, dass verschiedene Messstrategien verfolgt werden, wie zum Beispiel:
I. Punktweise Erfassung von Messdaten und Vorhersage zu diesen einzelnen Informationen
Wie I., aber Mittelung der Vorhersageergebnisse zur Verbesserung der Aussagequalität, da sich durch die Mittelung eine Robustheit gegen Ausreißer im Messfleck ergibt, vor der Anzeige des Ergebnisses sowie Interpretation des Ergebnisses als repräsentativ für die gemessene Fläche
Flächenweise mittelnde Erfassung von Messdaten und Interpretation dieser Daten als repräsentativ für die gemessene Fläche
I. - III., aber unter Berücksichtigung der Zusammengehörigkeit der Flächen der einzelnen Materialien
Die Erfindung ist nicht auf das dargestellte Beispiel des Verfahrens, oder beschriebenen (Anordnungs- ) Varianten eingeschränkt. Vielmehr umfasst sie alle Kombinationen und Ausge¬ staltungsvarianten, die durch die Ansprüche gegeben sind und dabei eines oder mehrere der folgenden Merkmale/Vorteile bzw alternative oder ergänzende Ausgestaltungsmerkmale aufweisen Im Wesentlichen wird ein laterales Muster bei einer gewählten spektralen Komposition (im einfachsten Fall eine einzelne Wellenlänge) auf die Oberfläche projiziert. Als Detektionselement wird hierbei nur noch ein Linienarray- basiertes Spektrometer bzw. ein Single-Pixel Intensi¬ täts-Detektor (Pin-Photodiode) anstatt eines
„Hyperspectral Imaging" (HSI) -Kamera Setups benötigt.
Durch die gleichzeitige laterale Beleuchtung mehrerer Bereiche, die gleichzeitig im Detektor analysiert wer¬ den, wird die Signalqualität verbessert (höheres SNR) .
Durch ein mäanderförmiges Rastern des beleuchteten Seg ments über die Oberfläche hinweg, kann ein laterales Bild der Oberfläche auch mit nur einem Single-Pixel- Detektor erzielt werden.
Im Fall der neuro-Tumor-Detektion oder einer anderen Klassifikationsaufgabe, kann zunächst ein Bereich der Oberfläche mit Eigenschaft 1 (z.B. Tumor), dann ein wei¬ terer mit Eigenschaft 2 (z.B. gesundes Gewebe) und ein weiterer Bereich mit Eigenschaft n (z.B. Knochen) gewählt werden auf denen dann Rekalibrationsdaten für eine Individualisierung des Vorhersagemodells gewonnen werden können .
Hernach werden die generellen Modelle rejustiert und danach erst die wirkliche Untersuchung (z.B. intraoperative
Chirurgieunterstützung der Neuro-Tumor-Chirurgie) vorgenommen .

Claims

Patentansprüche
1. Verfahren zum Bereitstellen einer hyperspektralen
Bildgebung, dadurch gekennzeichnet, dass eine Beleuchtungs- einrichtung zur Beleuchtung einer zu erfassenden Probenoberfläche derart mit einer Bildgebungseinrichtung betrieben und funktional verbunden wird, dass eine Modulation des seitens der Beleuchtungseinrichtung abgegebenen Lichts auf Grundlage einer digitalen Formung der Modulationseigenschaften durch zumindest einen Lichtmodulator erfolgt.
2. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das Licht durch hinsichtlich der Beleuchtungseinrichtung extern platzierte Lichtmodulatoren moduliert wird.
3. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das Licht über die Probenoberfläche, ins¬ besondere mäanderförmig, gerastert wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Lichtmodulatoren zumindest ei¬ ne, insbesondere galvanometrisch betriebene, Kippspiegelanordnung verwendet wird.
5. Verfahren nach dem Anspruch 1, dadurch gekennzeichnet, dass das Licht durch in der Beleuchtungseinrichtung intern platzierte Lichtmodulatoren moduliert wird.
6. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Modulation nach Art eines so genannten „Digital Light Processing" durchgeführt wird.
7. Verfahren nach einem der beiden vorhergehenden Ansprüche dadurch gekennzeichnet, dass als Lichtmodulatoren mindestens ein, insbesondere als so genanntes „Digital Micromirror Devi¬ ce" ausgestaltetes, Mikrospiegelarray verwendet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildgebung derart angesteuert wird, dass folgende Schritte durchgeführt werden:
a) Aufnahme zumindest eines Bildes der Probenoberfläche, b) Auswahl von zumindest einem der Teilbereich des Bildes, c) Erfassen einer determinierten Anzahl von reflektierten Spektren des ausgewählten Teilbereichs auf Grundlage zumin¬ dest zweier, insbesondere hinsichtlich ihrer Wellenlänge, disjunkter Abstrahlungen von Licht,
d) Validierung der in Schritt c) durchgeführten Erfassung auf Grundlage mindestens eines, insbesondere nach Art des ma¬ schinellen Lernens, trainierten Modells zur Vorhersage einer im Teilbereich vorliegenden diskriminierenden Materialeigenschaft,
e) Auswahl eines Modells auf Grundlage der Validierung, f) Durchführung der Messung.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildgebung derart angesteuert wird, dass folgende Schritte durchgeführt werden:
a) Aufnahme zumindest eines Bildes der Probenoberfläche, b) Segmentierung des Bildes in zumindest zwei in zumindest einer optischen Eigenschaft unterscheidbare Teilbereiche, c) Auswahl von zumindest einem der Teilbereiche des Bildes, d) Erfassen einer determinierten Anzahl von reflektierten
Spektren des ausgewählten Teilbereichs auf Grundlage zumin¬ dest zweier, insbesondere hinsichtlich ihrer Wellenlänge, disjunkter Abstrahlungen von Licht,
e) Validierung der in Schritt d) durchgeführten Erfassung auf Grundlage mindestens eines, insbesondere nach Art des ma¬ schinellen Lernens, trainierten Modells zur Vorhersage einer im jeweiligen Teilbereich vorliegenden diskriminierenden Materialeigenschaft,
f) Auswahl eines Modells auf Grundlage der Validierung, g) Durchführung der Messung.
10. Verfahren nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die funktional verbundenen Einheiten derart angesteuert und betrieben werden, dass einem Nutzer eine Navigation zu einzelnen Bereichen des zu erkundenden Gebietes ermöglicht wird.
11. Verfahren nach einem der dem Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die funktional verbundenen Einheiten derart angesteuert und betrieben werden, dass für die ausge¬ wählten Teilbereiche jeweils eine vorgebbare Anzahl von Da¬ tensätzen je disjunkter Abstrahlung aufgenommen wird.
12. Verfahren nach dem Anspruch 9 oder 10, dadurch gekennzeichnet, dass die funktional verbundenen Einheiten derart angesteuert und betrieben werden, dass während einer Messung permanent Datensätze aufgenommen werden und eine die jeweili- ge Vorhersage je Teilbereich kennzeichnende gleichzeitige Darstellung der Teilbereiche erfolgt.
13. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Messung derart durchgeführt wird, dass eine Detektionseinrichtung mit der Beleuchtungseinrichtung und/oder digitalen Formung funktional betrieben und verbunden wird, das reflektierte Lichtanteile durch ein, insbesondere Linienarray-basiertes , Spektrometer und/oder einen, bei¬ spielsweise als pin-Photodiode ausgestalteten, Einzelpixelde- tektor aufgenommen werden.
14. Anordnung zum Bereitstellen einer hyperspektralen
Bildgebung, dadurch gekennzeichnet, dass eine Beleuchtungs¬ einrichtung zur Beleuchtung einer zu erfassenden Probenober- fläche derart mit einer Bildgebungseinrichtung betrieben und funktional verbunden ist, dass eine Modulation des seitens der Beleuchtungseinrichtung abgegebenen Lichts auf Grundlage einer digitalen Formung der Modulationseigenschaften durch zumindest einen Lichtmodulator erfolgt.
15. Anordnung nach dem vorhergehenden Anspruch, gekennzeichnet durch Mittel zur Durchführung des Verfahrens nach einem der Ansprüche 2 bis 12.
PCT/EP2016/072942 2016-09-27 2016-09-27 Verfahren und anordnung zum bereitstellen einer hyperspektralen bildgebung WO2018059660A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/072942 WO2018059660A1 (de) 2016-09-27 2016-09-27 Verfahren und anordnung zum bereitstellen einer hyperspektralen bildgebung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/072942 WO2018059660A1 (de) 2016-09-27 2016-09-27 Verfahren und anordnung zum bereitstellen einer hyperspektralen bildgebung

Publications (1)

Publication Number Publication Date
WO2018059660A1 true WO2018059660A1 (de) 2018-04-05

Family

ID=57133133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/072942 WO2018059660A1 (de) 2016-09-27 2016-09-27 Verfahren und anordnung zum bereitstellen einer hyperspektralen bildgebung

Country Status (1)

Country Link
WO (1) WO2018059660A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3885078A1 (de) * 2020-03-25 2021-09-29 Siemens Aktiengesellschaft Hyperspektrale oberflächenabtastung eines körpers

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130271752A1 (en) * 2012-04-11 2013-10-17 Chevron U.S.A. Inc. System and method for interrogation of target material in situ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130271752A1 (en) * 2012-04-11 2013-10-17 Chevron U.S.A. Inc. System and method for interrogation of target material in situ

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALLEN DAVID W ET AL: "An examination of spectral diversity of medical scenes for hyperspectral projection", EMERGING DIGITAL MICROMIRROR DEVICE BASED SYSTEMS AND APPLICATIONS III, SPIE, 1000 20TH ST. BELLINGHAM WA 98225-6705 USA, vol. 7932, no. 1, 10 February 2011 (2011-02-10), pages 1 - 6, XP060006639, DOI: 10.1117/12.877188 *
DI WU ET AL: "Advanced applications of hyperspectral imaging technology for food quality and safety analysis and assessment: A review ? Part I: Fundamentals", INNOVATIVE FOOD SCIENCE AND EMERGING TECHNOLOGIES, vol. 19, 1 July 2013 (2013-07-01), NL, pages 1 - 14, XP055383769, ISSN: 1466-8564, DOI: 10.1016/j.ifset.2013.04.014 *
NICHOLAS MACKINNON ET AL: "Spectrally programmable light engine for in vitro or in vivo molecular imaging and spectroscopy", APPLIED OPTICS, vol. 44, no. 11, 1 January 2005 (2005-01-01), pages 2033, XP055054373, ISSN: 0003-6935, DOI: 10.1364/AO.44.002033 *
RICE JOSEPH P ET AL: "Hyperspectral image projector applications", EMERGING DIGITAL MICROMIRROR DEVICE BASED SYSTEMS AND APPLICATIONS IV, SPIE, 1000 20TH ST. BELLINGHAM WA 98225-6705 USA, vol. 8254, no. 1, 8 March 2012 (2012-03-08), pages 1 - 8, XP060024380, DOI: 10.1117/12.907898 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3885078A1 (de) * 2020-03-25 2021-09-29 Siemens Aktiengesellschaft Hyperspektrale oberflächenabtastung eines körpers
WO2021190851A1 (de) * 2020-03-25 2021-09-30 Siemens Aktiengesellschaft Hyperspektrale oberflächenabtastung eines körpers

Similar Documents

Publication Publication Date Title
EP2137488B1 (de) Verfahren und anordnung zur optischen abbildung mit tiefendiskriminierung
WO2008003419A2 (de) Verfahren und vorrichtung zur erzeugung eines bildes einer dünnen schicht eines objekts
US8126205B2 (en) Sample imaging and classification
EP2472302B2 (de) Verfahren zur Korrektur von Bildverzeichnungen bei einem konfokalen Scan-Mikroskop
DE10222779A1 (de) Verfahren und Anordnung zur Untersuchung von Proben
WO2009043485A1 (de) Verfahren und optische anordnung zur untersuchung einer probe
DE102009015598B4 (de) Verfahren und Vorrichtung zum Auffinden von funktionstragenden Gewebearealen in einem Gewebebereich
DE19537376A1 (de) Autofokussierungsmikroskop
EP1574842A1 (de) Ellipsometrisches Messverfahren mit Korrektur durch Bildregistrierung
DE102007017598A1 (de) Verfahren und Anordnung zum Positionieren eines Lichtblattes in der Fokusebene einer Detektionsoptik
DE102004053730B4 (de) Verfahren und Anordnung zur Unterdrückung von Falschlicht
DE102008044522A1 (de) Verfahren und Vorrichtung zur Erfassung von Konturdaten und/oder optischen Eigenschaften eines dreidimensionalen semitransparenten Objekts
DE10018305C2 (de) Verfahren und Vorrichtung zur Analyse von Strömungen
DE10118463A1 (de) Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
DE102019201272B4 (de) Vorrichtung, Vermessungssystem und Verfahren zur Erfassung einer zumindest teilweise spiegelnden Oberfläche unter Verwendung zweier Spiegelungsmuster
WO2018059660A1 (de) Verfahren und anordnung zum bereitstellen einer hyperspektralen bildgebung
DE102012005417A1 (de) Vorrichtung und Verfahren zur winkelaufgelösten Streulichtmessung
DE102019208114B4 (de) Vorrichtung und Verfahren zur 3D Vermessung von Objektkoordinaten
DE102005058185A1 (de) Verfahren und Anordnung zur Detektion von Fluoreszenz- oder Reflexionsspektren beliebig wählbarer Bereiche und Strukturen eines vom Fremdlicht überlagerten Objekts unter geringer Strahlenbelastung
DE102019109832B3 (de) Lichtblattmikroskop und Verfahren zum Erfassen einer Messgröße
US8892400B2 (en) Method for evaluating fluorescence correlation spectroscopy measurement data
DE102018122816A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts
DE102022106599A1 (de) Verfahren zur identifizierung der zusammensetzung eines anatomischen ziels
DE102016216928A1 (de) Vorrichtung und Verfahren zum Bestimmen einer Beschaffenheit Fahrbahnoberfläche
EP3899423A1 (de) Vorrichtung, vermessungssystem und verfahren zur erfassung einer zumindest teilweise spiegelnden oberfläche unter verwendung zweier spiegelungsmuster

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16781304

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16781304

Country of ref document: EP

Kind code of ref document: A1