WO2019053364A1 - Dispositif de capture d'une image hyperspectrale - Google Patents

Dispositif de capture d'une image hyperspectrale Download PDF

Info

Publication number
WO2019053364A1
WO2019053364A1 PCT/FR2018/052215 FR2018052215W WO2019053364A1 WO 2019053364 A1 WO2019053364 A1 WO 2019053364A1 FR 2018052215 W FR2018052215 W FR 2018052215W WO 2019053364 A1 WO2019053364 A1 WO 2019053364A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
diffracted
intensity
sensor
diffracted image
Prior art date
Application number
PCT/FR2018/052215
Other languages
English (en)
Inventor
Gérald GERMAIN
Original Assignee
Carbon Bee
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carbon Bee filed Critical Carbon Bee
Priority to EP18830502.3A priority Critical patent/EP3682201A1/fr
Priority to US16/645,142 priority patent/US20210250526A1/en
Publication of WO2019053364A1 publication Critical patent/WO2019053364A1/fr

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0294—Multi-channel spectroscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/18—Generating the spectrum; Monochromators using diffraction elements, e.g. grating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging

Definitions

  • the present invention relates to a device for capturing a hyperspectral image.
  • the invention finds a particularly advantageous application for on-board systems intended to acquire one or more hyperspectral images.
  • the invention can be applied to all technical fields using hyperspectral images.
  • the invention can be used in the medical field to achieve phenotyping; in the plant field for the detection of symptoms of stress, disease or species differentiation and in the field of chemical analysis, for concentration measurements.
  • a hyperspectral image comprises three dimensions: two “spatial” dimensions and a third "spectral” dimension expressing the variations of the luminous reflectance for different wavelengths.
  • a hyperspectral image is usually encoded as voxels.
  • a voxel corresponds to a pixel of a focal plane of a scene observed for a particular wavelength.
  • a voxel therefore has three coordinates: the abscissa x and the ordinate y (hereinafter named "spatial coordinates") illustrating the position of the pixel on the focal plane and a wavelength ⁇ (hereinafter named "spectral coordinate ").
  • CTIS Computer Tomography Imaging Spectrometer
  • This CTIS method also makes it possible to acquire instantly, that is to say in a single shot, an image containing all the information necessary to find the hyperspectral image.
  • the digital sensor simultaneously acquires the original image and its diffractions, significantly reducing the number of pixels available for each of these elements.
  • the spatial accuracy thus obtained is relatively low compared with the requirements of certain applications of hypere- perfusion imaging.
  • this CTIS method is particularly complex to use because of the process of estimation of the hyperspectral image implemented from the diffractions. Indeed, the transfer function of the diffraction optics must be reversed to reconstitute the hyperspectral image. Unfortunately, the matrix of this transfer function is only partially defined and the result can only be iteratively approached by inversion methods that are expensive in computation time.
  • This CTIS method has been the subject of numerous research projects aimed at improving its implementation. Recently, the scientific publication “Practical Spectral Photography", published in Eurographics, volume 31 (2012) number 2, proposed an optimized implantation strategy in which the time to obtain a hyperal- graphical image is 11 min. a powerful computer with 16 processor cores.
  • the implementations of the CTIS method do not allow to quickly obtain precise hyperspectral images (from a spatial or spectral point of view).
  • the traditional process of analysis involves acquiring the data in situ for later processing. This approach places many constraints on the acquisition procedures and the prior assessment of the quality of future hyperspectral images.
  • the technical problem of the invention consists in improving the process of obtaining a hyperspectral image by diffraction of the focal plane.
  • the present invention proposes to answer this technical problem by using the intrinsic non-linearity of a neural network to obtain the hyperspectral image resulting from the diffracted image.
  • the invention proposes to couple the diffracted image with spatially accurate images, obtained using separate chromatographic filters. This "data fusion" improves the spatial accuracy of the hyperspectral image.
  • the invention relates to a device for capturing a hyperspectral image, said device comprising:
  • the invention is characterized in that the device comprises means for acquiring at least two non-diffracted images of said focal plane obtained with separate chromatographic filters.
  • Said construction means integrate a neural network configured to calculate an intensity of each voxel of said hyperspectral image according to:
  • the invention thus makes it possible to correlate the information contained in the diffraction diffractions of the diffracted image with information contained in non-diffracted images.
  • a voxel corresponds to a pixel of the focal plane of the scene observed for a particular wavelength.
  • a voxel thus has three coordinates: the abscissa x and the ordinate y (hereinafter named "spatial coordinates") illustrating the position of the pixel on the focal plane and a wavelength ⁇ (hereinafter referred to as " spectral coordinate ").
  • the relevant pixels of the non-diffracted images are searched according to its coordinates.
  • Spatial coordinates can be used directly while the spectral coordinate can weight the interest of the pixels. This weighting is performed as a function of the distance between the desired wavelength and that of the chromatographic filter used.
  • the invention has several methods for determining the relevant pixels.
  • an apprenticeship of the neural network makes it possible to indicate the position of each voxel in one or more diffractions.
  • backpropagation learning of the gradient or its derivatives from calibration data can be used.
  • the invention thus makes it possible to obtain each voxel of the hyperspectral image more rapidly than the matrix iterative resolution methods present in the state of the art.
  • the determination of each voxel can be done independently. Since there is no interdependence between the estimates, the invention can thus perform all the calculations in parallel. It follows a facilitation implementation of the device for capturing the hyperspectral image in an embedded system.
  • the invention makes it possible to obtain a hyperspectral image in real time between two acquisitions of the focal plane of the observed scene. In doing so, it is no longer necessary to defer the processing of the diffracted images and it is no longer necessary to store these diffracted images after obtaining the hyperspectral image.
  • the intensity of each voxel is sought in eight chromatic representations according to the following relationship: X + X 0 ffsetX n + ⁇ . ⁇ siicex
  • said intensity of the pixel in each diffraction of the diffracted image is sought by producing a convolution product between the intensity of the pixel of said diffracted image and the intensity of its near neighbors in said diffractions of the diffracted image. diffracted image.
  • This embodiment makes it possible to limit the impact of the accuracy of the detection of the positioning of the pixel in the different diffractions.
  • said diffracted image and said non-diffracted images are obtained by a set of semi-transparent mirrors so as to capture said focal plane on several sensors simultaneously. This embodiment makes it possible to instantly capture identical planes.
  • said diffracted image and said non-diffracted images are obtained by several juxtaposed sensors, each sensor incorporating a pretreatment step for extracting a focal plane present on all the sensors.
  • This embodiment makes it possible to conserve optical power with respect to the embodiment with the semi-transparent mirrors.
  • three non-diffracted images are obtained by an RGB type sensor. This embodiment makes it possible to obtain several non-diffracted images with a single sensor.
  • a non-diffracted image is obtained by an infrared sensor. This embodiment makes it possible to obtain information that is invisible to the human eye. According to one embodiment, a non-diffracted image is obtained by a sensor whose wavelength is between 10,000 nanometer and 20000 nanometers. This embodiment makes it possible to obtain information on the temperature of the observed scene. According to one embodiment, a non-diffracted image is obtained by a sensor whose wavelength is between 0.001 nanometers and 10 nanometers. This embodiment makes it possible to obtain information on the X-rays present on the observed scene. According to one embodiment, said diffracted image is obtained by a sensor comprising:
  • a first converging lens configured to focus the information of a scene on an aperture
  • a collimator configured to capture the rays passing through said opening and to transmit these rays on a diffraction grating
  • a second convergent lens configured to focus the rays coming from the diffraction grating onto a capture surface.
  • This embodiment is particularly simple to implement and can be adapted to an existing sensor.
  • FIGS. 1 to 4 represent:
  • FIG. 1 a schematic front view of a hyperspectral image capture device according to one embodiment of the invention
  • FIG. 1 a schematic structural representation of the elements of the device of Figure 1;
  • FIG. 4 a schematic representation of the architecture of the neural network of FIG. 2. WAY OF DESCRIBING THE INVENTION
  • FIG. 1 illustrates a device 10 for capturing a hyperspectral image 15 comprising three juxtaposed sensors 11-13.
  • a first sensor 11 makes it possible to obtain a diffracted image 14 'of a focal plane P11' of an observed scene.
  • this first sensor 11 comprises a first convergent lens 30 which focuses the focal plane P11 'on an aperture 31.
  • a collimator 32 captures the rays passing through the aperture 31 and transmits these rays to a lightning grating. diffraction 33.
  • a second convergent lens 34 focuses these rays coming from the diffraction grating 33 onto a pick-up surface 35.
  • This optical network is relatively similar to that described in the scientific publication "Computed tomography imaging spectrometer: experimental calibration and reconstruction results", published in APPLIED OPTICS, volume 34 (1995) number 22.
  • This optical structure makes it possible to obtain a diffracted image 14, illustrated in FIG. 3, having several diffractions R0-R7 of the focal plane Pli 'arranged around a small non-diffracted image.
  • the image diffracted has eight distinct R0-R7 diffractions obtained with two diffraction axes of the diffraction grating 33.
  • three diffraction axes may be used on the diffraction grating 33 so as to obtain a diffracted image 14 with sixteen diffractions.
  • the capture surface 35 may correspond to a CCD sensor (for "charge-coupled device” in the English literature, that is to say a charge transfer device), to a CMOS sensor (for "complementary metal -oxide-semiconductor "in the English literature, a technology for manufacturing electronic components), or any other known sensor.
  • a CCD sensor for "charge-coupled device” in the English literature, that is to say a charge transfer device
  • CMOS sensor for "complementary metal -oxide-semiconductor "in the English literature, a technology for manufacturing electronic components
  • any other known sensor for example, the scientific publication Practical Spectral Photography, published in Eurographics, volume 31 (2012) number 2, proposes to associate this optical structure with a standard digital camera for sensor diffracted image.
  • each pixel of the diffracted image 14 is coded on 8 bits thus making it possible to represent 256 colors.
  • a second sensor 12 makes it possible to obtain a non-diffracted image 17 'of a local plane P12' of the same observed scene, but with an offset induced by the shift between the first 11 and the second sensor 12.
  • This second sensor 12 corresponds to an RGB sensor, that is to say a sensor for coding the influence of the three colors of Red, Green and Blue of the focal plane P12 '. It makes it possible to account for the influence of the use of a blue filter F1, a green filter F2 and a red filter F3 on the observed scene.
  • This sensor 12 can be realized by a CMOS or CCD sensor associated with Bayer filter. Alternatively, any other sensor can be used to acquire this RGB image 17 '. Preferably, each color of each pixel the RGB image 17 'is encoded on 8 bits. Thus, each pixel of the RGB image 17 'is coded on 3 times 8 bits.
  • a third sensor 13 makes it possible to obtain an infrared image 18 ', IR, of a third focal plane P13' of the same observed scene with also an offset with the first 11 and the second sensor 12. This sensor 13 makes it possible to account for the influence of the use of an infrared filter F4 on the observed scene.
  • each pixel of the IR image 18 is encoded on 8 bits.
  • the distance between the three sensors 11-13 may be less than 1 cm so as to obtain a large overlap of the focal planes Pll'-P13 'by the three sensors 11-13.
  • the topology and the number of the sensors can vary without changing the invention.
  • the sensors 11-13 can acquire an image of the same scene observed by using semi-transparent mirrors to transmit the information of the observed scene to the different sensors 11-13.
  • FIG. 1 illustrates a device 10 comprising three sensors 11-13.
  • other sensors may be mounted on the device 10 to increase the information contained in the hyperspectral image.
  • the device 10 can integrate a sensor whose wavelength is between 0.001 nanometer and 10 nanometers or a sensor whose wavelength is between 10,000 nanometer and 20000 nanometers.
  • the device 10 also comprises means 16 for constructing a hyperspectral image 15 from the different diffractions R0-R7 of the diffracted image 14 and non-diffracted images 17, 18.
  • a pretreatment step is carried out in order to extract a Pli -PI 3 focal plane present on each of the images 14 ', 17'-18' acquired by the three sensors 11-13.
  • This pretreatment consists, for each focal plane P11-P13 ', in isolating the common part of the focal planes P11'-P13' and then extracting this common part to form the image 14, 17-18 of each focal plane P11 -P13 observed by the specific 11-13 sensor.
  • the part of each image 14 ', 17'-18' to be insulated 25 can be defined directly in a memory of the sensor device 10 according to the positioning choices of the sensors 11-13 between them, or a learning step can be used to identify the part to be isolated 25.
  • the 17'-18 'images from RGB and IR sensor are cut using a two-dimensional cross-correlation.
  • the extraction of the focal plane of the diffracted image 14 ' is calculated by interpolation of the x and y offsets between the sensors 12-13 brought to the position of the sensor 11 of the diffracted image by knowing the distance between each sensor 11. 13.
  • This pretreatment step is not always necessary, especially when the sensors 11-13 are configured to capture the same focal plane, for example with the use of semi-transparent mirrors.
  • the construction means 16 implement a network of neurons 20 to form a hyperspectral image 15 from the information of these three images 14, 17-18 '.
  • This neural network 20 aims to determine the intensity ⁇ , ⁇ , ⁇ of each voxel V x , y, xàz the hyperspectral image 15.
  • the neural network 20 comprises an input layer 40, able to extract the information from the images 14, 17-18, and an output layer 41, able to process these images. information so as to create information for the voxel V xy x considered.
  • the first neuron of the input layer 40 makes it possible to extract the intensity I ixy) of the IR image 18 as a function of the x and y coordinates of the desired voxel V ⁇ y ⁇ . For example, if the IR image 18 is 8-bit coded, this first neuron transmits to the output layer 41 the 8-bit value of the pixel of the IR image 18 at the desired x and y coordinates.
  • the second neuron of the input layer 40 performs the same task for the red color of the RGB image 17.
  • the desired intensity lR ( x> y is also The third neuron searches for the intensity Iv (_x, y) in the same way, and the fourth neuron searches for intensity ( ⁇ y) .
  • the following neurons of the input layer 40 are more complex because each of the following neurons is associated with an R0-R7 diffraction of the diffracted image 14.
  • This relation between the three coordinates of the voxel V xy xQt the position in x and y can be encoded in a memory during the integration of the neural network 20.
  • a learning phase makes it possible to define this relation by using a known model whose parameters are sought from representations of known objects.
  • An example of a model is defined by the following relation:
  • a learning phase thus makes it possible to define the parameters A siice , ⁇ 5 ⁇ ⁇ , x offset x n , and offsetYn so that each neuron can quickly find the intensity of the corresponding pixel.
  • other models are possible, in particular depending on the nature of the diffraction grating 33 used.
  • the information related to the intensity of the pixel I n (x, y) sought by each neuron can be determined by a convolution product between the intensity of the pixel of the diffracted image 14 and its close neighbors in the different diffractions R0-R7.
  • the output of these neurons from the input layer 40 is also coded on 8 bits.
  • this output neuron 41 associates a weight to each information as a function of the wavelength ⁇ of the desired voxel. Following this modulation on the influence of the contributions of each image 17-18 and each diffraction R0-R7, this output neuron 41 can sum the contributions to determine an average intensity which will form the intensity ⁇ ⁇ ⁇ ⁇ ⁇ voxel V ⁇ ⁇ searched, for example coded on 8 bits. This process is repeated for all the coordinates of the voxel V xy X so as to obtain a hypercube containing all the spatial and spectral information from the non-diffracted images 17-18 and each diffraction R0-R7.
  • the output neuron 41 will use the spatial information of the undifferentiated images obtained with blue and green F2 filters and the information of the different R0-R7 diffractions obtained as a function of the wavelength considered. It is possible to configure the neural network 20 so as not to take into account certain R0-R7 diffractions so as to limit the calculation time of the sum of the contributions. In the example of FIG. 3, the third diffraction R2 is not considered by the neuron of the output layer 41.
  • the weight of each contribution as a function of the wavelength ⁇ of the desired Voxel V ⁇ y ⁇ can also be defined during the implantation of the neural network 20 or determined by a learning phase.
  • Learning can be achieved by using known scenes picked up by the three sensors 11-13 and determining the weights of each contribution for each wavelength ⁇ so that the information from each known scene corresponds to the information contained therein. in the known scenes.
  • This learning can be performed independently or simultaneously with the learning of the relations between the three coordinates of the voxel V ⁇ y ⁇ and the position in x and y on the diffracted image 14.
  • This neural network 20 can be implemented in an embedded system so as to process in real time the images from the sensors 11-13 to define and store a hyperspectral image 15 between two acquisitions of the sensors 11-13.
  • the embedded system may include a power supply for the sensors 11-13, a processor configured to perform the calculations of the neurons of the input layer 40 and the output layer 41 and a memory integrating the weights of each neuron of the input layer 40 as a function of the wavelength ⁇ .
  • the different treatments can be performed independently on several electronic circuits without changing the invention.
  • an acquisition circuit can acquire and transmit information from the neurons of the first layer 40 to a second circuit which contains the neuron of the second layer 41.
  • the invention thus makes it possible to obtain a hyperspectral image 15 rapidly and with great discretization in the spectral dimension.
  • the use of a neural network 20 makes it possible to limit the complexity of the operations to be performed during the analysis of the diffracted image 14.
  • the neural network 20 also allows the association of the information of this diffracted image. 14 with non-diffracted images 17-18 to improve accuracy in the spatial dimension.

Abstract

L'invention concerne un dispositif de capture d'une image hyperspectrale (15) comportant : - des moyens d'acquisition d'une image diffractée (14) d'un plan focal; - des moyens d'acquisition d'au moins deux images non-diffractées (17-18) dudit plan focal obtenues avec des filtres chromatographiques (F1-F4) distincts; et - des moyens de construction d'une image hyperspectrale (15) à partir des différentes diffractions (R0-R7) comportant un réseau de neurones configuré pour calculer une intensité de chaque voxel de ladite image hyperspectrale (15) en fonction : - d'une intensité lumineuse dans chacune des images non-diffractées (17-18) aux coordonnées x et y, le poids de chaque intensité dépendant de la proximité entre la longueur d'onde recherchée et la couleur du filtre chromatographique de ladite image non-diffractée; et - des intensités lumineuses dans chacune des diffractions de l'image diffractée (14) dont les coordonnées x, y sont dépendantes des coordonnées x, y et λ dudit voxel.

Description

DISPOSITIF DE CAPTURE D'UNE IMAGE HYPERSPECTRALE
DOMAINE TECHNIQUE
La présente invention se rapporte à un dispositif de capture d'une image hypers- pectrale.
L'invention trouve une application particulièrement avantageuse pour les sys- tèmes embarqués destinés à acquérir une ou plusieurs images hyperspectrales.
L'invention peut être appliquée à l'ensemble des domaines techniques faisant appel à des images hyperspectrales. Ainsi, et de manière non exhaustive, l'invention peut être utilisée dans le domaine médical, pour réaliser du phénotypage ; dans le domaine végétal pour la détection de symptômes de stress, de maladies ou la différenciation des espèces et dans le domaine de l'analyse chimique, pour des mesures de concentration.
ART ANTERIEUR Au sens de l'invention, une image hyperspectrale comporte trois dimensions : deux dimensions « spatiales » et une troisième dimension « spectrale » exprimant les variations de la réflectance lumineuse pour différentes longueurs d'onde.
Une image hyperspectrale est généralement codée sous la forme de voxels. Au sens de l'invention, un voxel correspond à un pixel d'un plan focal d'une scène observée pour une longueur d'onde particulière. Un voxel comporte donc trois coordonnées : l'abscisse x et l'ordonnée y (ci-après nommées « coordonnées spatiales ») illustrant la position du pixel sur le plan focal et une longueur d'onde λ (ci-après nommée « coordonnée spectrale »).
L'obtention de cette image hyperspectrale peut être réalisée simplement en utilisant une succession de filtres chromato graphiques distincts et en capturant l'image de la scène observée sous l'influence respective de chacun de ces filtres chromatographiques. Cette solution est insatisfaisante, car elle requiert autant de filtres chromatogra- phiques que de longueurs d'onde à analyser. Il s'ensuit une complexifïcation importante de l'optique d'acquisition pour mettre en œuvre le déplacement des différents filtres devant un capteur fixe.
Pour résoudre ce problème, la thèse de doctorat « Non-scanning imaging spectro- metry », Descour, Michael Robert, 1994, The university of Arizona, propose d'acquérir une seule image de la scène observée contenant toutes les informations sur l'influence des différentes longueurs d'onde.
Cette méthode, dénommée CTIS (pour « Computed-Tomography Imaging Spec- trometer »), propose de capturer une image diffractée du plan focal de la scène observée au moyen d'un réseau de diffraction disposé en amont d'un capteur numérique. Cette image diffractée, acquise par le capteur numérique, prend la forme de multiples projections du plan focal de la scène observée et contient l'ensemble des informations spectrales.
Cette méthode CTIS permet également d'acquérir instantanément, c'est-à-dire en une seule prise de vue, une image contenant toutes les informations nécessaires pour retrouver l'image hyperspectrale. Cependant, le capteur numérique acquiert simultanément l'image originale et ses diffractions, réduisant significativement le nombre de pixels disponibles pour chacun de ces éléments. La précision spatiale ainsi obtenue est relativement faible au regard des exigences de certaines applications de l'imagerie hy- perspectrale.
En outre, bien que l'acquisition soit rapide, cette méthode CTIS est particulièrement complexe à utiliser en raison du processus d'estimation de l'image hyperspectrale mis en œuvre à partir des diffractions. En effet, la fonction de transfert de l'optique de diffraction doit être inversée pour reconstituer l'image hyperspectrale. Malheureusement, la matrice de cette fonction de transfert n'est que partiellement définie et le résultat peut seulement être approché itérativement par des méthodes d'inversion coûteuses en temps de calcul. Cette méthode CTIS a fait l'objet de nombreux travaux de recherche visant à en améliorer l'implémentation. Récemment, la publication scientifique « Practical Spectral Photography », publiée dans Eurographics, volume 31 (2012) nombre 2, a proposé une stratégie d'implantation optimisée dans laquelle le temps d'obtention d'une image hy- perspectrale est de 11 min sur un ordinateur puissant avec 16 cœurs de processeur.
En l'état actuel, les implémentations de la méthode CTIS ne permettent pas d'obtenir rapidement des images hyperspectrales précises (d'un point de vue spatial ou spectral). Pour pallier les temps de traitements, le processus classique d'analyse consiste à acquérir in situ les données pour les traiter ultérieurement. Cette approche pose de nombreuses contraintes quant aux procédures d'acquisition et à l'évaluation préalable de la qualité des futures images hyperspectrales. Le problème technique de l'invention consiste à améliorer le processus d'obtention d'une image hyperspectrale par diffraction du plan focal.
EXPOSE DE L'INVENTION La présente invention se propose de répondre à ce problème technique en utilisant la non-linéarité intrinsèque d'un réseau de neurones pour obtenir l'image hyperspectrale issue de l'image diffractée.
L'utilisation du réseau de neurones permet de multiplier les entrées du réseau de neurones sans augmenter exponentiellement la complexité des traitements effectués. Ainsi, l'invention propose de coupler l'image diffractée avec des images spatialement précises, obtenues à l'aide de filtres chromatographiques distincts. Cette « fusion de données » permet d'améliorer la précision spatiale de l'image hyperspectrale. À cet effet, l'invention concerne un dispositif de capture d'une image hyperspectrale, ledit dispositif comportant :
- des moyens d'acquisition d'une image diffractée d'un plan focal selon deux ou trois axes de diffraction ; chaque diffraction dudit plan focal permettant de représenter ledit plan focal sous un angle spécifique ; et
- des moyens de construction d'une image hyperspectrale à partir des différentes diffractions.
L'invention se caractérise en ce que le dispositif comporte des moyens d'acquisition d'au moins deux images non-diffractées dudit plan focal obtenues avec des filtres chromatographiques distincts. Lesdits moyens de construction intègrent un réseau de neurones configuré pour calculer une intensité de chaque voxel de ladite image hyperspectrale en fonction :
d'une intensité lumineuse dans chacune des images non-diffractées aux coordonnées x et y, le poids de chaque intensité dépendant de la proximité entre la longueur d'onde recherchée et la couleur du filtre chromatographique de ladite image non-diffractée ; et
- des intensités lumineuses dans chacune des diffractions de ladite image diffractée dont les coordonnées x, y sont dépendantes des coordonnées x, y et λ dudit voxel.
L'invention permet ainsi de corréler les informations contenues dans les diffé- rentes diffractions de l'image diffractée avec des informations contenues dans des images non-diffractées.
L'image diffractée contenant une information limitée spatialement, mais très complète spectralement et les images non-diffractées contenant une information très complète spatialement, mais spéctralement limitée, l'invention permet d'extraire le meilleur de ces deux types d'information afin d'obtenir une image hyperspectrale très précise spatialement et spectralement.
Le réseau de neurones permet de corréler facilement les informations en les asso- ciant simultanément selon leurs influences, c'est-à-dire leurs pondérations respectives par rapport au voxel recherché dans l'image hyperspectrale. Au sens de l'invention, un voxel correspond à un pixel du plan focal de la scène observée pour une longueur d'onde particulière. Un voxel comporte donc trois coordonnées : l'abscisse x et l'ordonnée y (ci-après nommées « coordonnées spatiales ») illustrant la position du pixel sur le plan focal et une longueur d'onde λ (ci-après nom- mée « coordonnée spectrale »).
Pour chaque voxel, les pixels pertinents des images non-diffractées sont recherchés en fonction de ses coordonnées. Les coordonnées spatiales peuvent être utilisées directement tandis que la coordonnée spectrale permet de pondérer l'intérêt des pixels. Cette pondération s'effectue en fonction de la distance entre la longueur d'onde recherchée et celle du filtre chromatographique employé.
En ce qui concerne l'image diffractée, l'invention dispose de plusieurs méthodes de détermination des pixels pertinents. Parmi celles-ci, un apprentissage du réseau de neurones permet d'indiquer la position de chaque voxel dans une ou plusieurs diffractions. Par exemple, un apprentissage par rétropropagation du gradient ou ses dérivés à partir de données de calibrage peut être utilisé.
L'invention permet ainsi d'obtenir chaque voxel de l'image hyperspectrale plus rapidement que les méthodes de résolution itérative matricielles présentes dans l'état de l'art. En outre, la détermination de chaque voxel peut s'effectuer indépendamment. Comme il n'existe pas d'interdépendance entre les estimations, l'invention peut ainsi réaliser tous les calculs parallèlement. Il s'ensuit une facilitation d'implantation du dispositif de capture de l'image hyperspectrale dans un système embarqué.
En pratique, contrairement à l'état de l'art classique de la méthode CTIS, l'invention permet d'obtenir une image hyperspectrale en temps réel entre deux acquisitions du plan focal de la scène observée. Ce faisant, il n'est plus nécessaire de différer le traitement des images diffractées et il n'est plus nécessaire de stocker ces images dif- fractées après l'obtention de l'image hyperspectrale.
Selon un mode de réalisation, l'intensité de chaque voxel est recherchée dans huit représentations chromatiques selon la relation suivante : X + X0ffsetXn + λ. ^siicex
Y + YoffsetYn +
Figure imgf000008_0001
avec :
• n compris entre 0 et 7 ;
• sUceX correspondant à la constante du pas spectral du pixel en X de ladite image diffractée ;
• siiceY correspondant à la constante du pas spectral du pixel en Y de ladite image diffractée ;
• x0ffsetxn correspondant au décalage suivant l'axe X de la diffraction n ;
• y0ffsetYn orrespondant au décalage suivant l'axe Y de la diffraction n.
Ces relations permettent de rechercher rapidement l'intensité des pixels d'intérêts dans chaque diffraction. En effet, certains pixels peuvent être négligés si la longueur d'onde de l'image diffractée n'est pas significative.
Selon un mode de réalisation, ladite intensité du pixel dans chacune des diffractions de l'image diffractée est recherchée en réalisant un produit de convolution entre l'intensité du pixel de ladite image diffractée et l'intensité de ses proches voisins dans lesdites diffractions de l'image diffractée.
Ce mode de réalisation permet de limiter l'impact de la précision de la détection du positionnement du pixel dans les différentes diffractions.
Selon un mode de réalisation, ladite image diffractée et lesdites images non- diffractées sont obtenues par un ensemble de miroirs semi-transparents de sorte à capter ledit plan focal sur plusieurs capteurs simultanément. Ce mode de réalisation permet de capter instantanément des plans identiques.
Selon un mode de réalisation, ladite image diffractée et lesdites images non- diffractées sont obtenues par plusieurs capteurs juxtaposés, chaque capteur intégrant une étape de prétraitement visant à extraire un plan focal présent sur l'ensemble des capteurs. Ce mode de réalisation permet de conserver de la puissance optique par rapport au mode de réalisation avec les miroirs semi-transparents. Selon un mode de réalisation, trois images non-diffractées sont obtenues par un capteur de type RVB. Ce mode de réalisation permet d'obtenir plusieurs images non- diffractées avec un seul capteur.
Selon un mode de réalisation, une image non-diffractée est obtenue par un capteur infrarouge. Ce mode de réalisation permet d'obtenir une information invisible à l'œil humain. Selon un mode de réalisation, une image non-diffractée est obtenue par un capteur dont la longueur d'onde est comprise entre 10000 nanomètre et 20000 nanomètres. Ce mode de réalisation permet d'obtenir une information sur la température de la scène observée. Selon un mode de réalisation, une image non-diffractée est obtenue par un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres. Ce mode de réalisation permet d'obtenir une information sur les rayons X présents sur la scène observée. Selon un mode de réalisation, ladite image diffractée est obtenue par un capteur comportant :
- une première lentille convergente configurée pour focaliser les informations d'une scène sur une ouverture ;
- un collimateur configuré pour capter les rayons traversant ladite ouverture et pour transmettre ces rayons sur un réseau de diffraction ; et
- une seconde lentille convergente configurée pour focaliser les rayons issus du réseau de diffraction sur une surface de captation.
Ce mode de réalisation est particulièrement simple à réaliser et peut être adapté sur un capteur existant. DESCRIPTION SOMMAIRE DES FIGURES
La manière de réaliser l'invention ainsi que les avantages qui en découlent ressor- tiront bien du mode de réalisation qui suit, donné à titre indicatif, mais non limitatif, à l'appui des figures annexées dans lesquelles les figures 1 à 4 représentent :
- Figure 1 : une représentation schématique de face d'un dispositif de capture d'une image hyperspectrale selon un mode de réalisation de l'invention ;
- Figure 2 : une représentation schématique structurelle des éléments du dispositif de la figure 1 ;
- Figure 3 : une représentation schématique des poids d'influence du réseau de neurones de la figure 2 ; et
- Figure 4 : une représentation schématique de l'architecture du réseau de neurones de la figure 2. MANIERE DE DECRIRE L'INVENTION
La figure 1 illustre un dispositif de capture 10 d'une image hyperspectrale 15 comportant trois capteurs juxtaposés 11-13. Un premier capteur 11 permet d'obtenir une image diffractée 14' d'un plan focal Pli' d'une scène observée. Tel qu'illustré sur la figure 2, ce premier capteur 11 comporte une première lentille convergente 30 qui focalise le plan focal Pli' sur une ouverture 31. Un collimateur 32 capte les rayons traversant l'ouverture 31 et transmet ces rayons à un réseau de diffraction 33. Une seconde lentille convergente 34 focalise ces rayons issus du réseau de diffraction 33 sur une surface de captation 35.
La structure de ce réseau optique est relativement similaire à celle décrite dans la publication scientifique « Computed-tomography imaging spectrometer : expérimental calibration and reconstruction results », publiée dans APPLIED OPTICS, volume 34 (1995) nombre 22.
Cette structure optique permet d'obtenir une image diffractée 14, illustrée sur la figure 3, présentant plusieurs diffractions R0-R7 du plan focal Pli' disposées autour d'une image non diffractée de petite taille. Dans l'exemple des figures 1 à 4, l'image diffractée présente huit diffractions R0-R7 distinctes obtenues avec deux axes de diffraction du réseau de diffraction 33.
En variante, trois axes de diffractions peuvent être utilisés sur le réseau de diffrac- tion 33 de sorte à obtenir une image diffractée 14 avec seize diffractions.
La surface de captation 35 peut correspondre à un capteur CCD (pour « charge- coupled device » dans la littérature anglo-saxonne, c'est-à-dire un dispositif à transfert de charge), à un capteur CMOS (pour « complementary metal-oxide-semiconductor » dans la littérature anglo-saxonne, une technologie de fabrication de composants électroniques), ou à tout autre capteur connus. Par exemple, la publication scientifique « Practical Spectral Photography », publiée dans Eurographics, volume 31 (2012) nombre 2, propose d'associer cette structure optique à un appareil photo numérique standard pour capteur l'image diffractée.
De préférence, chaque pixel de l'image diffractée 14 est codé sur 8 bits permettant ainsi de représenter 256 couleurs.
Un second capteur 12 permet d'obtenir une image non diffractée 17' d'un plan fo- cal P12' de la même scène observée, mais avec un décalage induit par le décalage entre le premier 11 et le second capteur 12. Ce second capteur 12 correspond à un capteur RVB, c'est-à-dire un capteur permettant de coder l'influence des trois couleurs Rouge, Verte et Bleue du plan focal P12'. Il permet de rendre compte de l'influence de l'utilisation d'un filtre bleu Fl, d'un filtre vert F2 et d'un filtre rouge F3 sur la scène observée.
Ce capteur 12 peut être réalisé par un capteur CMOS ou CCD associé à filtre de Bayer. En variante, tout autre capteur peut être utilisé pour acquérir cette image RVB 17'. De préférence, chaque couleur de chaque pixel l'image RVB 17' est codée sur 8 bits. Ainsi, chaque pixel de l'image RVB 17' est codé sur 3 fois 8 bits.
Un troisième capteur 13 permet d'obtenir une image infrarouge 18', IR, d'un troisième plan focal P13' de la même scène observée avec également un décalage avec le premier 11 et le second capteur 12. Ce capteur 13 permet de rendre compte de l'influence de l'utilisation d'un filtre infrarouge F4 sur la scène observée.
Tout type de capteur connu peut être utilisé pour acquérir cette image IR 18. De préférence, chaque pixel de l'image IR 18 est codé sur 8 bits.
La distance entre les trois capteurs 11-13 peut être inférieure à 1 cm de sorte à obtenir un recoupement important des plans focaux Pll'-P13' par les trois capteurs 11-13. La topologie et le nombre des capteurs peuvent varier sans changer l'invention.
Par exemple, les capteurs 11-13 peuvent acquérir une image de la même scène observée en utilisant des miroirs semi-transparents pour transmettre les informations de la scène observée aux différents capteurs 11-13. La figure 1 illustre un dispositif 10 comportant trois capteurs 11-13. En variante, d'autres capteurs peuvent être montés sur le dispositif 10 pour augmenter les informations contenues dans l'image hyperspectrale. Par exemple, le dispositif 10 peut intégrer un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nano- mètres ou un capteur dont la longueur d'onde est comprise entre 10000 nanomètre et 20000 nanomètres.
Tel qu'illustré sur la figure 2, le dispositif 10 comporte également des moyens de construction 16 d'une image hyperspectrale 15 à partir des différentes diffractions R0- R7 de l'image diffractée 14 et des images non-diffractées 17, 18.
Dans l'exemple des figures 1 à 4, dans lequel les capteurs 11-13 sont juxtaposés, une étape de prétraitement est réalisée pour extraire un plan focal Pli -PI 3 présent sur chacune des images 14', 17'-18' acquises par les trois capteurs 11-13. Ce prétraitement consiste, pour chaque plan focal Pll'-P13', à isoler 25 la partie commune des plans focaux Pll'-P13' puis à extraire 26 cette partie commune pour former l'image 14, 17- 18 de chaque plan focal P11-P13 observé par le capteur 11-13 spécifique. La partie de chaque image 14', 17'-18' à isoler 25 peut être définie directement dans une mémoire du dispositif de capteur 10 en fonction des choix de positionnement des capteurs 11-13 entre eux, ou une étape d'apprentissage peut être utilisée pour identifier la partie à isoler 25.
De préférence, les images 17'-18' issues de capteur RVB et IR sont recoupées en utilisant une corrélation croisée en deux dimensions. L'extraction du plan focal de l'image diffractée 14' est calculée par interpolation des décalages en x et y entre les capteurs 12-13 ramenés à la position du capteur 11 de l'image diffractée en connaissant la distance entre chaque capteur 11-13. Cette étape de prétraitement n'est pas toujours nécessaire, notamment, lorsque les capteurs 11-13 sont configurés pour capturer le même plan focal, par exemple avec l'utilisation de miroirs semi-transparents.
Lorsque les images 14, 17 et 18 de chaque plan focal P11-P13 observées par chaque capteur 11-13 sont obtenues, les moyens de constructions 16 mettent en œuvre un réseau de neurones 20 pour former une image hyperspectrale 15 à partir des informations de ces trois images 14, 17-18'.
Ce réseau de neurones 20 vise à déterminer l'intensité Ιχ,γ,χ de chaque voxel Vx,y,xàz l'image hyperspectrale 15.
Pour ce faire, tel qu'illustré sur la figure 4, le réseau de neurones 20 comporte une couche d'entrée 40, apte à extraire les informations des images 14, 17-18, et une couche de sortie 41, apte à traiter ces informations de sorte à créer une information pour le voxel Vx y x considéré.
Le premier neurone de la couche d'entrée 40 permet d'extraire l'intensité I ixy) de l'image IR 18 en fonction des coordonnées x et y du voxel V^ y^recherché. Par exemple, si l'image IR 18 est codée sur 8 bits, ce premier neurone transmet à la couche de sortie 41 la valeur sur 8 bits du pixel de l'image IR 18 aux coordonnées x et y recherchées. Le second neurone de la couche d'entrée 40 effectue la même tâche pour la couleur rouge de l'image RVB 17. Selon l'exemple précédent, chaque couleur étant codée sur 8 bits, l'intensité recherchée lR(x>y est également codée sur 8 bits. Le troisième neurone recherche l'intensité Iv(_x,y) de la même manière et le quatrième neurone recherche Γ intensité /^y). Ainsi, pour ces quatre premiers neurones, il est très facile d'obtenir l'intensité, car il suffit d'utiliser la position en x et y du voxel ^recherché.
Les neurones suivants de la couche d'entrée 40 sont plus complexes, car chacun des neurones suivants est associé à une diffraction R0-R7 de l'image diffractée 14.
Ces neurones recherchent l'intensité d'une diffraction spécifique ln(x,y) en fonction de la position en x et y, mais également de la longueur d'onde λ du voxel Vx>y ^recherché.
Cette relation entre les trois coordonnées du voxel Vx y xQt la position en x et y peut être codée dans une mémoire lors de l'intégration du réseau de neurones 20.
De préférence, une phase d'apprentissage permet de définir cette relation en utilisant un modèle connu dont les paramètres sont recherchés à partir de représentations d'objets connus. Un exemple de modèle est défini par la relation suivante :
½ _ J + xoffsetXn + ^- ^-slicex)
n \ y + y0ffsetYn + . ÀsUceY j avec :
• n compris entre 0 et 7 ;
• ^-siicex correspondant à la constante du pas spectral du pixel en X de ladite image diffractée ; • sliceY correspondant à la constante du pas spectral du pixel en Y de ladite image diffractée ;
• x0ffsetxn correspondant au décalage suivant l'axe X de la diffraction n ;
• y0ffsetYn correspondant au décalage suivant l'axe Y de la diffraction n.
Une phase d'apprentissage permet donc de définir les paramètres Asiice , λ5ηοβγ, xoffsetxn, et offsetYn de sorte que chaque neurone puisse trouver rapidement l'intensité du pixel correspondant. En variante, d'autres modèles sont possibles, notamment en fonction de la nature du réseau de diffraction 33 utilisé.
En outre, l'information liée à l'intensité du pixel ln{x,y) recherchée par chaque neurone peut être déterminée par un produit de convolution entre l'intensité du pixel de l'image diffractée 14 et de ses proches voisins dans les différentes diffractions R0-R7. Selon l'exemple précédent, la sortie de ces neurones de la couche d'entrée 40 est également codée sur 8 bits.
Toutes ces différentes intensités de la couche d'entrée 40 sont injectées dans un seul neurone de la couche de sortie 41 qui a pour fonction de faire le tri entre la perti- nence de toutes ces informations et de fournir la valeur de l'intensité Ιχ,γ,χ du voxel ^recherché.
Pour ce faire, ce neurone de sortie 41 associe un poids à chaque information en fonction de la longueur d'onde λ du voxel ^recherché. Suite à cette modulation sur l'influence des contributions de chaque image 17-18 et de chaque diffraction R0-R7, ce neurone de sortie 41 peut faire la somme des contributions pour en déterminer une intensité moyenne qui formera l'intensité ΙΧ γ λώχ voxel V^ ^^recherché, par exemple codé sur 8 bits. Ce processus est répété pour toutes les coordonnées du voxel Vx y XàQ sorte à obtenir un hypercube contenant toutes les informations spatiales et spectrales issues des images non-diffractées 17-18 et de chaque diffraction R0-R7. Par exemple, tel qu'illustré sur la figure 3, pour rechercher l'intensité /^y^d'un voxel V^y^dont la longueur d'onde est de 500 nm, c'est-à-dire une longueur d'onde comprise entre celle bleu (480 nm) et celle du vert (525 nm).
Le neurone de sortie 41 va utiliser les informations spatiales des images non dif- fractées obtenues avec des filtres bleu Fl et vert F2 ainsi que les informations des différentes diffractions R0-R7 obtenues en fonction de la longueur d'onde considérée. II est possible de configurer le réseau de neurones 20 pour ne pas prendre en compte certaines diffractions R0-R7 de sorte à limiter le temps de calcul de la somme des contributions. Dans l'exemple de la figure 3, la troisième diffraction R2 n'est pas considérée par le neurone de la couche de sortie 41. Le poids de chaque contribution en fonction de la longueur d'onde λ du voxel V^y^recherché peut également être défini lors de l'implantation du réseau de neurones 20 ou déterminé par une phase d'apprentissage. L'apprentissage peut être réalisé en utilisant des scènes connues captées par les trois capteurs 11-13 et en déterminant les poids de chaque contribution pour chaque longueur d'onde λ de sorte que les informa- tions issues de chaque scène connue correspondent aux informations contenues dans les scènes connues. Cet apprentissage peut être réalisé indépendamment ou simultanément avec l'apprentissage des relations entre les trois coordonnées du voxel V^y^et la position en x et y sur l'image diffractée 14. Ce réseau de neurones 20 peut être implémenté dans un système embarqué de sorte à traiter en temps réel les images issues des capteurs 11-13 pour définir et stocker une image hyperspectrale 15 entre deux acquisitions des capteurs 11-13. Par exemple, le système embarqué peut comporter une alimentation pour les capteurs 11-13, un processeur configuré pour réaliser les calculs des neurones de la couche d'entrée 40 et de la couche de sortie 41 et une mémoire intégrant les poids de chaque neurone de la couche d'entrée 40 en fonction de la longueur d'onde Λ. En variante, les différents traitements peuvent être réalisés indépendamment sur plusieurs circuits électroniques sans changer l'invention. Par exemple, un circuit d'acquisition peut acquérir et transmettre les informations issues des neurones de la première couche 40 à un second circuit qui contient le neurone de la seconde couche 41.
L'invention permet ainsi d'obtenir une image hyperspectrale 15 rapidement et avec une grande discrétisation dans la dimension spectrale. L'utilisation d'un réseau de neurones 20 permet de limiter la complexité des opérations à effectuer lors de l'analyse de l'image diffractée 14. En outre, le réseau de neurones 20 permet également l'association des informations de cette image diffractée 14 avec celles d'images non- diffractées 17-18 pour améliorer la précision dans la dimension spatiale.

Claims

REVENDICATIONS
1. Dispositif de capture (10) d'une image hyperspectrale (15), ledit dispositif comportant :
- des moyens d'acquisition (1 1) d'une image diffractée (14) d'un plan focal selon deux ou trois axes de diffraction ; chaque diffraction (R0-R7) dudit plan focal permettant de représenter ledit plan focal sous un angle spécifique ; et
- des moyens de construction (16) d'une image hyperspectrale (15) à partir des différentes diffractions (R0-R7) ;
caractérisé en ce qu'il comporte des moyens d'acquisition (12-13) d'au moins deux images non-diffractées (17-18) dudit plan focal obtenues avec des filtres chroma- tographiques (F1-F4) distincts ;
et en ce que lesdits moyens de construction (16) intègrent un réseau de neurones (20) configuré pour calculer une intensité (Ιχ>ν>λ) de chaque voxel (Υχ>ν>λ) de ladite image hyperspectrale (15) en fonction :
d'une intensité lumineuse (lR(x>y ; Ιβ(.χ,γ > (.x,y)> ½(%,y)) dans chacune des images non-diffractées (17-18) aux coordonnées x et y, le poids de chaque intensité (lR(x>y ; Ιβ(.χ,γ > (.x,y) > ½0,y)) dépendant de la proximité entre la longueur d'onde recherchée (A) et la couleur du filtre chromatographique de ladite image non-diffractée (17-18) ; et
des intensités lumineuses (In(x>y)) dans chacune des diffractions (R0-R7) de ladite image diffractée (14) dont les coordonnées x, y sont dépendantes des coordonnées x, y, A dudit voxel (νχ>ν>λ).
2. Dispositif selon la revendication 1 , dans lequel l'intensité (In(x>y)) de chaque voxel (νχ>ν>λ) est recherchée dans huit représentations chromatiques (R0-R7) selon la relation suivante :
Figure imgf000018_0001
avec :
• n compris entre 0 et 7 ; • sliceX correspondant à la constante du pas spectral du pixel en X de ladite image diffractée (14) ;
• siiceY correspondant à la constante du pas spectral du pixel en Y de ladite image diffractée (14) ;
· x0ffsetxn correspondant au décalage suivant l'axe X de la diffraction n ;
• y0ffsetYn orrespondant au décalage suivant l'axe Y de la diffraction n.
3. Dispositif selon la revendication 1 ou 2, dans lequel ladite intensité (In(x>y)) du pixel dans chacune des diffractions (R0-R7) de l'image diffractée (14) est recherchée en réali- sant un produit de convolution entre l'intensité (In(x>y)) du pixel de ladite image diffractée (14) et l'intensité de ses proches voisins dans lesdites diffractions (R0-R7) de l'image diffractée (14).
4. Dispositif selon l'une des revendications 1 à 3, dans lequel ladite image diffrac- tée (14) et lesdites images non-diffractées (17-18) sont obtenues par un ensemble de miroirs semi-transparents de sorte à capter ledit plan focal sur plusieurs capteurs (1 1-13) simultanément.
5. Dispositif selon l'une des revendications 1 à 3, dans lequel ladite image diffrac- tée (14) et lesdites images non-diffractées (17-18) sont obtenues par plusieurs capteurs
(1 1-13) juxtaposés, chaque capteur (1 1-13) intégrant une étape de prétraitement visant à extraire un plan focal présent sur l'ensemble des capteurs (1 1-13).
6. Dispositif selon l'une des revendications 1 à 5, dans lequel trois images non- diffractées (17) sont obtenues par un capteur (12) de type RVB.
7. Dispositif selon l'une des revendications 1 à 6, dans lequel une image non- diffractées (18) est obtenue par un capteur (12) infrarouge.
8. Dispositif selon l'une des revendications 1 à 7, dans lequel une image non- diffractée est obtenue par un capteur dont la longueur d'onde est comprise entre 10000 nanomètre et 20000 nanomètres.
9. Dispositif selon l'une des revendications 1 à 8, dans lequel une image non- diffractée est obtenue par un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres.
10. Dispositif selon l'une des revendications 1 à 9, dans lequel ladite image diffractée (14) est obtenue par un capteur (11) comportant :
- une première lentille convergente (30) configurée pour focaliser les informations d'une scène sur une ouverture (31) ;
- un collimateur (32) configuré pour capter les rayons traversant ladite ouver- ture (31) et pour transmettre ces rayons sur un réseau de diffraction (33) ; et
- une seconde lentille convergente (34) configurée pour focaliser les rayons issus du réseau de diffraction (33) sur une surface de captation (35).
PCT/FR2018/052215 2017-09-12 2018-09-11 Dispositif de capture d'une image hyperspectrale WO2019053364A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18830502.3A EP3682201A1 (fr) 2017-09-12 2018-09-11 Dispositif de capture d'une image hyperspectrale
US16/645,142 US20210250526A1 (en) 2017-09-12 2018-09-11 Device for capturing a hyperspectral image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1758396A FR3071124B1 (fr) 2017-09-12 2017-09-12 Dispositif de capture d'une image hyperspectrale
FR1758396 2017-09-12

Publications (1)

Publication Number Publication Date
WO2019053364A1 true WO2019053364A1 (fr) 2019-03-21

Family

ID=61258301

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2018/052215 WO2019053364A1 (fr) 2017-09-12 2018-09-11 Dispositif de capture d'une image hyperspectrale

Country Status (4)

Country Link
US (1) US20210250526A1 (fr)
EP (1) EP3682201A1 (fr)
FR (1) FR3071124B1 (fr)
WO (1) WO2019053364A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3098962A1 (fr) 2019-07-17 2021-01-22 Carbon Bee Système de détection d’une particularité hyperspectrale
EP3922099A1 (fr) 2020-06-09 2021-12-15 Carbon BEE Dispositif de contrôle de circuit hydraulique de distribution d'un produit liquide à pulvériser d'une machine agricole

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020242485A1 (fr) * 2019-05-30 2020-12-03 Hewlett-Packard Development Company, L.P. Imagerie de particules

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001001854A2 (fr) * 1999-07-02 2001-01-11 Hypermed Imaging, Inc. Dispositif d'imagerie a modalite integree
WO2009154765A1 (fr) * 2008-06-18 2009-12-23 Spectral Image, Inc. Systèmes et procédés d'imagerie hyperspectrale

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001001854A2 (fr) * 1999-07-02 2001-01-11 Hypermed Imaging, Inc. Dispositif d'imagerie a modalite integree
WO2009154765A1 (fr) * 2008-06-18 2009-12-23 Spectral Image, Inc. Systèmes et procédés d'imagerie hyperspectrale

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Computed-tomography imaging spectrometer : experimental calibration and reconstruction results", APPLIED OPTICS, vol. 34, no. 22, 1995
"Practical Spectral Photography", EUROGRAPHICS, vol. 31, no. 2, 2012
MICHAEL ROBERT: "Non-scanning imaging spectro-metry", DESCOUR, 1994

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3098962A1 (fr) 2019-07-17 2021-01-22 Carbon Bee Système de détection d’une particularité hyperspectrale
EP3922099A1 (fr) 2020-06-09 2021-12-15 Carbon BEE Dispositif de contrôle de circuit hydraulique de distribution d'un produit liquide à pulvériser d'une machine agricole

Also Published As

Publication number Publication date
US20210250526A1 (en) 2021-08-12
EP3682201A1 (fr) 2020-07-22
FR3071124A1 (fr) 2019-03-15
FR3071124B1 (fr) 2019-09-06

Similar Documents

Publication Publication Date Title
Arad et al. Sparse recovery of hyperspectral signal from natural RGB images
Koundinya et al. 2D-3D CNN based architectures for spectral reconstruction from RGB images
Oh et al. Do it yourself hyperspectral imaging with everyday digital cameras
EP3714399A1 (fr) Dispositif de détection hyperspectrale
KR20190075057A (ko) 이미지로부터의 초분광 데이터 복원
EP3387824B1 (fr) Système et procédé d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique
Jia et al. Fourier spectral filter array for optimal multispectral imaging
EP3832359B1 (fr) Procédé et dispositif d'imagerie d'une image hyperspectrale sans lentille
FR3071124B1 (fr) Dispositif de capture d'une image hyperspectrale
WO2020127422A1 (fr) Dispositif de détection hyperspectrale
WO2017055580A1 (fr) Procédé de détermination de la réflectance d'un objet et dispositif associé
EP2561681A1 (fr) Traitement numérique de compensation de signaux issus de photosites d'un capteur couleur.
WO2020182840A1 (fr) Dispositif de contrôle de traitement agricole
EP3763116B1 (fr) Procede de reconstruction d'une image couleur acquise par un capteur recouvert d'une mosaïque de filtres couleurs
CA2778676A1 (fr) Dispositif et procede de compensation de relief d'images hyper-spectrales
FR3098962A1 (fr) Système de détection d’une particularité hyperspectrale
EP3956712A1 (fr) Dispositif de microscopie holographique hyperspectrale par fusion de capteurs
FR2966257A1 (fr) Procede et dispositif de construction d'une image en relief a partir d'images en deux dimensions
Pushparaj et al. Reconstruction of hyperspectral images from RGB images
FR3091382A1 (fr) Dispositif de détection à acquisition hyperspectrale
FR3093613A1 (fr) Dispositif de contrôle de traitement agricole
FR2895823A1 (fr) Correction d'image couleur et obtention d'au moins un invar iant couleur
Yu et al. High Spectral Resolution Imaging Based on Dual-Camera System With Filter Wheel
FR3091380A1 (fr) Dispositif de détection hyperspectrale par fusion de capteurs
WO2017153700A1 (fr) Procédé de traitement d'images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18830502

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018830502

Country of ref document: EP

Effective date: 20200414