WO2023170551A1 - Device and method for characterising camera alignment in a photonic chip-based sensor - Google Patents

Device and method for characterising camera alignment in a photonic chip-based sensor Download PDF

Info

Publication number
WO2023170551A1
WO2023170551A1 PCT/IB2023/052089 IB2023052089W WO2023170551A1 WO 2023170551 A1 WO2023170551 A1 WO 2023170551A1 IB 2023052089 W IB2023052089 W IB 2023052089W WO 2023170551 A1 WO2023170551 A1 WO 2023170551A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
spots
columns
lines
photonic chip
Prior art date
Application number
PCT/IB2023/052089
Other languages
French (fr)
Inventor
Van Tri NGUYEN
Delfina FAINGUERSCH
Original Assignee
Aryballe
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aryballe filed Critical Aryballe
Publication of WO2023170551A1 publication Critical patent/WO2023170551A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30072Microarray; Biochip, DNA array; Well plate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Definitions

  • the present invention relates to a device, method and computer program for characterizing camera alignment in a photonic chip sensor. It also relates to a method of manufacturing and a method of calibrating a photonic chip sensor, including this method of characterizing a camera alignment.
  • the photonic chip may include, on an upper interaction face, an optical waveguide end intended to receive an optical signal coming from a VCSEL diode (from the English “Vertical-Cavity Surface-Emitting Laser » for vertical cavity laser diode emitting from the surface), a plurality of photonic olfactory sensors intended to be crossed by optical signals resulting from this optical signal and a plurality of ends of optical waveguides emitting optical signals having passed through the plurality of olfactory sensors, these ends corresponding to the optical outputs organized matrixly in M columns and N lines.
  • VCSEL diode from the English “Vertical-Cavity Surface-Emitting Laser » for vertical cavity laser diode emitting from the surface
  • a plurality of photonic olfactory sensors intended to be crossed by optical signals resulting from this optical signal
  • a plurality of ends of optical waveguides emitting optical signals having passed through the plurality of olfactory sensors, these ends corresponding to the optical outputs organized matrixly in M
  • This photonic chip implements for example a Mach-Zehnder interferometer matrix technology, called MZI technology (from the English “Mach-Zehnder Interferometer”), or more precisely an MZI technology with multimodal interference, called MZI/MMI technology ( from English “Multi Mode Interference”).
  • MZI technology from the English “Mach-Zehnder Interferometer”
  • MZI/MMI technology from English “Multi Mode Interference”.
  • This technology notably taught in the article by Halir et al, entitled “Direct and sensitive phase readout for integrated waveguide sensors”, published in IEEE Photonics Journal, volume 5, no. 4, in August 2013, is particularly suitable for detection volatile organic compounds.
  • the camera receiving the optical signals emitted at the output of the photonic chip is generally equipped with multiple photoreceptors. This is, for example, a camera taking the form of a CCD (Charge Coupled Device) photographic sensor.
  • CCD Charge Coupled Device
  • the detection of spots in the binarized image includes a placement of bounding boxes around these spots in the binarized image, so as to associate with each spot found parameters comprising at least the coordinates of a center of the stain and a size of the stain.
  • the adjustment of said at least one acquisition parameter includes the adjustment of an exposure time of the camera.
  • the device 20 for multivariate measurement of the presence of compounds present in a fluid represented schematically on the , also fulfilling a function of characterizing a camera alignment is a non-limiting example of a device integrating a photonic chip sensor for a non-limiting application of odor identification. It comprises a measuring chamber 22 intended to receive a fluid to be analyzed, for example a gas such as ambient air. To do this, it includes a suction device 24 designed to suck in the air located inside the measuring chamber 22 and let it exit outside. It further comprises an air inlet 26 which can be selectively closed to keep the ambient air in the measuring chamber 22 or open to allow the evacuation of the ambient air from the measuring chamber 22 and its renewal by the activation of the suction device 24. It is thus equipped with means for controlling incoming and outgoing flows.
  • the multivariate measuring device 20 comprises several olfactory sensors 28, distributed respectively over as many reactive sites, for example around sixty, designed to interact with compounds likely to be present in the measuring chamber 22 when the device 20 is placed near a fluid to be analyzed emitting these compounds, particularly when the air inlet 26 is close to the fluid in question.
  • the compounds emitted are generally volatile organic compounds but the present invention is not limited to such compounds.
  • Each olfactory sensor 28 is itself, for example, a biosensor designed to interact with compounds from a particular family of volatile organic compounds.
  • each olfactory sensor 28 may comprise a molecule, such as a peptide immobilized on a substrate or a polymer covering a surface, complementary to the compounds of the family associated with this olfactory sensor 28.
  • the multivariate measuring device 20 could be adapted to be brought into contact with any fluid, liquid or gas, other than ambient air. According to a particularly simple version, it could also not include the suction device 24 and the air inlet 26, or even the measuring chamber 22. In this simple version, the olfactory sensors 28 are then likely to be directly placed in contact with the fluid to be analyzed without flow control.
  • olfactory sensors 28 ie biosensors, polymers, carbon nanotubes, etc.
  • They adsorb and desorb volatile organic compounds in a differentiated manner, forming a differentiated molecular interaction response of the olfactory sensors, and amplifying the response in the form of a sequence of electrical measuring signals S using a physical transduction device.
  • the olfactory sensors 28 are therefore associated with at least one transducer 30 with which they interact.
  • This transducer 30 is arranged and configured to measure any change in physical property caused by an interaction of the olfactory sensors 28 with the fluid to be analyzed. It provides the sequence of electrical measurement signals S which characterizes this fluid since it is representative of the volatile organic compounds with which the olfactory sensors 28 can interact in the measuring chamber 22.
  • the transducer 30 is a photonic chip system, advantageously an optical index variation amplification system by Mach-Zehnder interferometry, for example according to interferometer matrix technology.
  • Mach-Zehnder called MZI technology (from the English “Mach-Zehnder Interferometer”), or more precisely an MZI technology with multimodal interference, called MZI/MMI technology (from the English “Multi Mode Interference”).
  • Such a system is configured to measure any change in a refractive index due to an interaction of the fluid studied with at least one of the olfactory sensors 28, each olfactory sensor being positioned on two arms of the same interferometer, thanks to a detectable phase shift between one of the two arms called the reference arm of the interferometer relating to this arbitrary olfactory sensor and the other of the two arms called the detection arm of the interferometer on which the reactive site of this olfactory sensor whatever is arranged.
  • the resulting photonic chip transducer provides the sequence of measurement signals S which is in the form of a sequence of images of spots materializing the phase shifts, expressed in Radian, of the olfactory sensors 28.
  • the assembly made up of the sensors olfactory 28 and the transducer 30 form a photonic chip sensor.
  • the transducer 30 comprises more precisely a photonic chip 32 whose optical elements are represented very schematically for a functional understanding of their arrangement. According to a preferred embodiment, it comprises a lower face 32A for placing on a support and an upper face 32B with an optical waveguide end 34 receiving an optical signal O, with a plurality of interferometers 36 forming respective supports for the olfactory sensors 28 and intended to be crossed by optical signals from the optical signal O, and with a plurality 38 of ends of optical waveguides emitting optical signals having passed through the plurality of interferometers 36. These ends 38 form the optical outputs of the photonic chip 32 and are organized matrixly in M columns and N rows.
  • a staggered matrix organization of the plurality of optical outputs 38 is illustrated on the .
  • M 16 columns C 1 , ..., C M
  • N 24 lines L 1 , ..., L N .
  • the distance between the columns C 1 , ..., C M has no reason to be equal to that between the rows L 1 , ..., L N .
  • the columns are further apart than the rows.
  • the transducer 30 further comprises a VCSEL diode 40 which produces the optical signal O and is optically connected to the receiving end 34 of the photonic chip 32.
  • the transducer 30 comprises a CCD camera 42 provided with multiple photoreceptors 44, arranged facing the matrix organization of the plurality of optical outputs 38 at a predefined distance.
  • the interferometers 36 with olfactory sensors 28 of the photonic chip 32 are arranged in the central part of its upper face 32B, in contact with any fluid to be analyzed in the measuring chamber 22, while the receiving end 34 and the plurality of optical outputs 38 are on the outskirts.
  • FIG. 1 An example of a grayscale spot image IM that can be produced by the CCD camera 42 is illustrated in the .
  • the CCD camera 42 of the transducer 30 is able to output an entire sequence S of such images when a fluid to be analyzed is introduced into the measuring chamber 22.
  • the multivariate measuring device 20 further comprises several functional modules which will be described below.
  • these modules are software in nature.
  • the device 20 comprises a computer type element 46 comprising a processing unit (for example a processor) 48 and an associated memory area 50 (for example a RAM memory or other) in which several computer programs or several functions of the same computer program are recorded.
  • These computer programs include instructions designed to be executed by the processing unit 48 in order to carry out the functions of the software modules. They are presented as distinct, but this distinction is purely functional. They could just as easily be grouped in all possible combinations into one or more software programs. Their functions could also be at least partly micro-programmed or micro-wired into dedicated integrated circuits, such as digital circuits.
  • the computer 46 could be replaced by an electronic device composed solely of digital circuits (without a computer program) for carrying out the same functions.
  • the multivariate measuring device 20 thus comprises first of all a software module 52, intended to be executed by the processing unit 48, for controlling the suction device 24 (if it is provided in the device 20), the air inlet 26 (if it is also provided in device 20) and the transducer 30.
  • a software module 54 intended to be executed by the processing unit 48, for selection, among the olfactory sensors 28 of the multivariate measuring device 20, of a subset of sensitive sensors to volatile components characteristic of a sought-after olfactory imprint. These characteristic volatile components can vary from one application or fluid studied to another so that the selection of olfactory sensors made by the software module 54 can also vary and be parameterized.
  • the selected subset comprises for example M ⁇ 1 olfactory sensor(s), in particular advantageously several olfactory sensors (M ⁇ 2).
  • the multivariate measuring device 20 further comprises a software module 56, intended to be executed by the processing unit 48, to extract M sensorgrams respectively representative of the interactions of the M olfactory sensors selected with the volatile organic compounds concerned from the values specific to these M olfactory sensors in the sequence of images S provided by the transducer 30.
  • These sensorgrams take the form of phase shift signals and are expressed in Radian since the transducer 30 is an MZI or MZI/MMI amplification system.
  • the multivariate measuring device 20 further comprises a software module 58, intended to be executed by the processing unit 48, to obtain in a well-known and non-detailed manner a GIS characterization of the composition of the fluid to analyze from M sensorgrams .
  • This GIS characterization can take the form of a standardized olfactory signature as illustrated in the in the form of a circular diagram.
  • the multivariate measuring device 20 further fulfills the aforementioned function of characterizing an alignment of the CCD camera 42 with respect to the plurality of optical outputs 38.
  • the processing unit 48 which receives the sequence of images S is capable of extracting at least one, for example the image IM of the , to process it digitally.
  • the multivariate measuring device 20 then comprises a software module 60, intended to be executed by the processing unit 48, to distribute at least part of the spots of the image IM into M distinct groups corresponding to the M columns according to a method of automatic classification which will be detailed with reference to the , determine these M columns in the IM spot image by linear regression and, optionally but advantageously, calculate a first angular deviation ⁇ with respect to the M columns of the matrix organization of the optical outputs 38 of the photonic chip 32.
  • a software module 60 intended to be executed by the processing unit 48, to distribute at least part of the spots of the image IM into M distinct groups corresponding to the M columns according to a method of automatic classification which will be detailed with reference to the , determine these M columns in the IM spot image by linear regression and, optionally but advantageously, calculate a first angular deviation ⁇ with respect to the M columns of the matrix organization of the optical outputs 38 of the photonic chip 32.
  • a software module 62 intended to be executed by the processing unit 48, to distribute at least part of the spots of the IM image into N distinct groups corresponding to the N lines according to an automatic classification method which will be detailed according to different variants with reference to Figures 7 and 13, determine these N lines in the image of spots IM by linear regression and, optionally but advantageously, calculate a second angular deviation ⁇ with respect to the N lines of the matrix organization optical outputs 38 of the photonic chip 32.
  • a software module 64 intended to be executed by the processing unit 48, to characterize the camera alignment by these M columns and N lines determined in the image of spots IM, and in particular by comparing their respective angular deviations ⁇ and ⁇ , according to a method of calculating score(s) which will be detailed with reference to the .
  • the first or second angular deviation, ⁇ or ⁇ effectively makes it possible to characterize a possible problem of positioning the CCD camera 42 around an axis orthogonal to the plane of the plurality of optical outputs 38, while a comparison of these two deviations angular, for example the ratio ⁇ / ⁇ , makes it possible to characterize a possible problem of positioning the CCD camera 42 around at least one axis parallel to the plane of the plurality of optical outputs 38.
  • the function of characterizing an alignment of the CCD camera 32 can be performed software by a computer 66 external to the multivariate measuring device 20.
  • the computer 66 can receive the image of spots IM and has software means to process it, in particular a memory capable of storing the software modules 60, 62 and 64 and a processor capable of executing them. In this case also, these software modules may not be recorded in memory area 50.
  • the device for characterizing a camera alignment then consists of at least the photonic chip sensor 28, 30 and the computer 66.
  • a method of characterizing a camera alignment implemented by the multivariate measuring device 20 of the will now be detailed with reference to the . This process could just as easily be implemented by the computer 66.
  • an image of spots in gray levels is captured by the CCD camera 42 and supplied to the processing unit 48.
  • An example not limiting implementation of such a distribution comprises a first sub-step 102-1 of binarization by thresholding of the IM image, a second sub-step 102-2 of spot detection in the binarized image, a third sub-step 102-3 of filtering the spots detected by a size criterion, a fourth sub-step 102-4 of automatically grouping the spots detected and preserved by filtering in M columns.
  • the first substep 102-1 firstly comprises thresholding of the IM image.
  • An optimal threshold is thus chosen by analyzing its histogram.
  • the threshold selection method described in Otsu's article, entitled “A threshold selection method from gray-level histograms”, published in IEEE Transactions on Systems, Man, and Cybernetics, Vol. SMC-9, No. 1, in January 1979 is used.
  • the optimal threshold is determined by minimizing an intra-class intensity variance, or equivalently by maximizing an inter-class intensity variance.
  • the second substep 102-2 comprises a search and a determination of areas of interest in the binarized image IMb. These areas of interest are the 192 spots corresponding to the 192 optical outputs 38 of the photonic chip 32. This can be done by a known method of searching and placing bounding boxes such as that carried out by executing the “regionprops” function of the “skimage” digital library. Not all stains are necessarily found during this operation. Additionally, artifacts may be detected as forming spots by mistake.
  • each spot found is associated with parameters obtained in a manner known in itself thanks to the bounding box which surrounds and corresponds to it: coordinates of a center of the spot, size of the spot, minor principal axis, major axis main, possibly orientation.
  • a representation of bounding boxes associated with the spots of the binarized image IMb of the is illustrated in the .
  • the corresponding parameters are expressed in a reference frame (x,y) with horizontal (abscissa) and vertical (ordinate) coordinates.
  • the third substep 102-3 then includes a filtering of the spots detected in the form of bounding boxes by a size criterion.
  • a statistical calculation of AREA_MEAN mean and AREA_STD standard deviation is for example carried out on the size parameters obtained in the previous sub-step and all the spots presenting a size which does not fall within the range of values [AREA_MEAN - AREA_STD ; AREA_MEAN + AREA_STD] are excluded by filtering.
  • Other size criteria may be taken into consideration to exclude stains. For example, an analysis of a diagram of increasing sizes of the spots found can extract at least one of two values MIN_AREA and MAX_AREA corresponding to two possible points of maximum curvature of this diagram.
  • the fourth sub-step 102-4 uses a method of automatic grouping of spots by considering the a priori knowledge of M groups of columns corresponding to the M known columns of the matrix organization of the optical outputs 38 of the photonic chip 32.
  • This grouping is advantageously carried out on the basis of the abscissae of the centers of the spots detected and preserved by filtering in the binarized image IMb by minimizing intra-class abscissa variations and maximizing inter-class abscissa variations. classes.
  • This principle is for example implemented in the Jenks optimization method (“Jenks optimization method” or “Jenks natural breaks classification method”) applicable here.
  • the M columns in which the spots have been distributed by automatic grouping are concretely determined in the form of straight lines in the image IM or in the binarized image IMb by regression linear.
  • this linear regression is advantageously carried out on the basis of the coordinates of the centers of the spots having been grouped in this column. This can for example be done by executing the “polyfit” function of the “numpy” digital library.
  • a first angular deviation ⁇ of the M columns thus determined in the image IM or in the image IMb relative to the M columns of the matrix organization of the optical outputs 38 of the photonic chip 32 is calculated. This involves, for example, calculating an average angular deviation of the M columns determined in the image IM or in the image IMb relative to a vertical reference axis of the image IM or the image IMb such that y axis of the ordinates.
  • step 108 is executed after steps 102, 104, 106, or in any case at least after step 102 as is the case in the example illustrated by , substeps 108-1, 108-2 and 108-3 do not need to be executed, as indicated in broken lines in the . It is enough to exploit the result of substep 102-3.
  • the fourth sub-step 108-4 in a possible embodiment when the optical output lines 38 are sufficiently distant from each other, it can proceed from the same principle as step 102-4, that is- i.e. by automatic grouping operating on the basis of the ordinates of the centers of the spots detected and preserved by filtering in the binarized image IMb by minimizing intra-class ordinate variations and maximizing inter-class ordinate variations according to the Jenks optimization method.
  • step 108 when the optical output lines 38 are much closer together than the columns, it is actually advantageous to execute step 108 after steps 102, 104 and 106 to exploit the result of step 106, namely the knowledge of the first angular deviation ⁇ of the columns determined in the image IM or in the binarized image IMb.
  • the rimpedement of the lines between them and the first angular deviation ⁇ can be such that two spots whose centers have very close or even identical ordinates can in fact belong to different lines taking into account a slight rotation of the organization matrix of the optical outputs 38 in the image IM.
  • a variant is proposed for substep 108-4.
  • this variant can include a prior vertical angular registration of the image IM or the binarized image IMb according to an angle - ⁇ opposite to the first angular deviation ⁇ , to then proceed from the same principle as the step 102-4. But if this is not sufficient to obtain a satisfactory result, other possibilities specific to the matrix organization of the optical outputs 38 can be considered. In the very specific example of the , in which the optical outputs are arranged in a staggered manner along lines that are much closer together than the columns, a specific and clever method for executing substep 108-4 is proposed. It will be detailed later with reference to the .
  • the N lines in which the spots have been distributed by automatic grouping are concretely determined in the form of straight lines in the image IM or in the binarized image IMb by regression linear.
  • this linear regression is advantageously carried out on the basis of the coordinates of the centers of the spots having been grouped in this line. This can for example be done by executing the “polyfit” function of the “numpy” digital library.
  • a second angular deviation ⁇ of the N lines thus determined in the image IM or in the binarized image IMb relative to the N lines of the matrix organization of the outputs optics 38 of the photonic chip 32 is calculated. This involves, for example, calculating an average angular deviation of the N lines determined in the image IM or in the binarized image IMb relative to a horizontal reference axis of the image IM or the image IMb such that l x-axis of abscissa.
  • a mask image IMref is generated from the M columns and N lines determined by linear regressions in the image IM or in the binarized image IMb.
  • Reference spots with predetermined dimensions are arranged there, being centered on the intersections of lines and columns corresponding to the optical outputs 38 of the photonic chip 32, that is to say staggered in the example of the . These reference spots are for example elliptical and of the same dimensions.
  • the two images IMref and IMb are then superimposed to match the reference elliptical spots and the spots of the binarized image IMb as illustrated by the .
  • an alignment score Sa is then calculated. This calculation consists first of all in calculating for each spot denoted Ti of the binarized image IMb: (1) the total surface area of this spot, denoted Si and for example expressed in the number of white pixels belonging to this spot; (2) the partial surface of this spot included in the corresponding elliptical reference spot in the mask image IMref by superposition, denoted ⁇ Si and for example also expressed in the number of white pixels belonging to this spot and to the elliptical spot of corresponding reference.
  • Si the total surface area of this spot
  • ⁇ Si partial surface of this spot included in the corresponding elliptical reference spot in the mask image IMref by superposition
  • steps 114, 116 and 118 are two non-limiting examples of exploitation of the two angular deviations ⁇ and ⁇ calculated in steps 106 and 112. More generally, the calculation of these two angular deviations makes it possible to characterize the camera alignment in accordance with the general principles of the present invention. Even more generally, the determination of the M columns and N lines in the image of spots by linear regressions makes it possible to characterize the camera alignment in accordance with the essential principles of the present invention. These essential principles are the executions of steps 102, 104, 108 and 110 mentioned above.
  • a first step 200 of this sub-step 108-4 only the even columns of spots detected in sub-step 102-4 are selected to take into account the staggered arrangement of the optical outputs 38 and thus detect the odd lines of spots.
  • a priori knowledge of the arrangement of the odd lines is used to group the detected spots, such as: the distance d between two successive odd lines of the optical outputs; the expected ordinate y 0 of the first spot in each even column, that is to say the expected ordinate of each spot in the first odd row.
  • a tolerance ⁇ y around a target spot ordinate in each even column is predefined, an odd row index i is initialized to 0 and all the spots of the binarized image IMb are selectable.
  • the selectable spot with the smallest ordinate of each even column is selected. It is verified for this spot that its y ordinate is indeed between y 0 + idtan( ⁇ ) - ⁇ y and y 0 + idtan( ⁇ ) + ⁇ y. If this is the case, the task considered is classified in the (i+1)-th odd line and deleted from the list of selectable tasks. If this is not the case, it is not classified in the (i+1)-th odd line but remains in the list of selectable tasks.
  • the index i is incremented by one unit.
  • Step 208 is similar to step 200, but only the odd columns of spots detected in substep 102-4 are selected to take into account the staggered arrangement of the optical outputs 38 and thus detect the even rows of spots .
  • a priori knowledge of the arrangement of the even lines is used to group the detected spots, such as: the distance d between two successive even lines of the optical outputs; the expected ordinate y 0 of the first spot in each odd column, that is to say the expected ordinate of each spot in the first even row.
  • a tolerance ⁇ y around a target spot ordinate in each odd column is predefined, an index i of even row is initialized to 0 and all the spots of the binarized image IMb are selectable.
  • step 210 the selectable spot with the smallest ordinate of each odd column is selected. It is verified for this spot that its y ordinate is indeed between y 0 + idtan( ⁇ ) - ⁇ y and y 0 + idtan( ⁇ ) + ⁇ y. If this is the case, the task considered is classified in the (i+1)-th even line and deleted from the list of selectable tasks. If this is not the case, it is not classified in the (i+1)-th even line but remains in the list of selectable tasks.
  • step 212 identical to step 204, the index i is incremented by one unit.
  • a process for manufacturing a photonic chip sensor will now be detailed with reference to the , according to a possible embodiment of the present invention.
  • the photonic chip sensor 28, 30 is assembled in particular by arrangement of the CCD camera 42 facing the optical outputs 38 organized matrixly in M columns and N lines on the upper face 32B of the photonic chip 32 .
  • an image of spots is acquired, such as the image IM of the .
  • steps 102 to 112 of the method of characterizing an alignment of the CCD camera 42 of the are executed to obtain the angular deviations ⁇ and ⁇ .
  • step 114 of the method of is executed to obtain the parallelism score Sp.
  • the parallelism score Sp is compared to the interval [ ⁇ p ; 1/ ⁇ p ]. If Sp is not in this interval, then the manufacturing process returns to step 300 to improve the positioning of the CCD camera 42 relative to the optical outputs 38 by adjusting its arrangement. If Sp is in this interval, then the manufacturing process passes to a step 310 of information about the good parallelism of the CCD camera 42 and the end of the camera adjustment for continued manufacturing of the photonic chip sensor of manner known per se.
  • a photonic chip sensor calibration method will now be detailed with reference to the , according to a possible embodiment of the present invention.
  • an image of spots is acquired, such as the IM image of the .
  • steps 102 to 112 of the method of characterizing an alignment of the CCD camera 42 of the are executed to obtain the angular deviations ⁇ and ⁇ .
  • steps 114, 116 and 118 of the method of are executed to obtain the alignment score Sa and the parallelism score Sp.
  • acquisition parameter which can be adjusted is the exposure time of the CCD camera 42. As a non-limiting example, for the acquisition of an image at 256 gray levels, it can be a priori adjusted to reach a maximum gray level value of the pixels of the IM spot image at 150. It can then be adjusted upwards in step 408 to reach a maximum value of 170 or more, while setting an upper limit at 200 for example.
  • the calibration process passes to a step 410 of informing of the correct alignment of the optical outputs in the spot image acquired in step 400 and the end of calibration.
  • the parallelism score Sp is compared to the interval [ ⁇ p ; 1/ ⁇ p ]. If Sp is not in this interval, then the calibration process passes to a step 414 of information about the poor parallelism of the CCD camera 42 with a view to possible readjustment of the latter. If Sp is in this interval, then the calibration process passes to a step 416 of informing of the correct parallelism of the CCD camera 42.

Abstract

The invention relates to a device (20) for characterising camera alignment, the device comprising a sensor (28, 30) based on a photonic chip (32) and a camera (42) arranged facing a matrix arrangement of N columns and M rows of optical outputs (38) of the photonic chip. A processing unit (48) of said device is designed (60, 62, 64) to process an image, provided by the camera (42), of spots corresponding to the optical outputs (38). More specifically, it is designed to distribute the spots in the image into M groups corresponding to the M columns and to determine (60) said M columns in the image by means of linear regression; to distribute (62) the spots of the image into N groups corresponding to the N rows and to determine (62) said N rows in the image by means of linear regression; and to characterise (64) the camera alignment by said determined M columns and N rows in the image.

Description

Dispositif et procédé de caractérisation d’un alignement de caméra dans un capteur à puce photoniqueDevice and method for characterizing camera alignment in a photonic chip sensor
La présente invention concerne un dispositif, un procédé et un programme d’ordinateur pour la caractérisation d’un alignement de caméra dans un capteur à puce photonique. Elle concerne également un procédé de fabrication et un procédé d’étalonnage d’un capteur à puce photonique, incluant ce procédé de caractérisation d’un alignement de caméra.The present invention relates to a device, method and computer program for characterizing camera alignment in a photonic chip sensor. It also relates to a method of manufacturing and a method of calibrating a photonic chip sensor, including this method of characterizing a camera alignment.
L'invention s’applique plus particulièrement à un dispositif de caractérisation d’un alignement de caméra comportant :
  • un capteur à puce photonique comportant :
    • une puce photonique à pluralité de sorties optiques organisées matriciellement en M colonnes et N lignes, et
    • une caméra disposée face à cette organisation matricielle des sorties optiques ; et
  • une unité de traitement programmée pour traiter numériquement une image de taches correspondant aux sorties optiques de la puce photonique, cette image étant fournie par la caméra.
The invention applies more particularly to a device for characterizing a camera alignment comprising:
  • a photonic chip sensor comprising:
    • a photonic chip with a plurality of optical outputs organized matrixly in M columns and N lines, and
    • a camera placed facing this matrix organization of the optical outputs; And
  • a processing unit programmed to digitally process an image of spots corresponding to the optical outputs of the photonic chip, this image being provided by the camera.
Un tel capteur est communément utilisé pour la détection de composés dans un fluide, notamment la détection de composés organiques volatils. Par exemple, la puce photonique peut comporter, sur une face supérieure d’interaction, une extrémité de guide d’onde optique destinée à recevoir un signal optique provenant d’une diode VCSEL (de l’anglais « Vertical-Cavity Surface-Emitting Laser » pour diode laser à cavité verticale émettant par la surface), une pluralité de capteurs olfactifs photoniques destinés à être traversés par des signaux optiques issus de ce signal optique et une pluralité d’extrémités de guides d’ondes optiques émettrices de signaux optiques ayant traversé la pluralité de capteurs olfactifs, ces extrémités correspondant aux sorties optiques organisées matriciellement en M colonnes et N lignes. Cette puce photonique implémente par exemple une technologie à matrice d’interféromètres de Mach-Zehnder, dite technologie MZI (de l’anglais « Mach-Zehnder Interferometer »), voire plus précisément une technologie MZI à interférences multimodales, dite technologie MZI/MMI (de l’anglais « Multi Mode Interference »). Cette technologie, notamment enseignée dans l’article de Halir et al, intitulé « Direct and sensitive phase readout for integrated waveguide sensors », publié dans IEEE Photonics Journal, volume 5, n° 4, en août 2013, est particulièrement adaptée à la détection de composés organiques volatils. A titre d’exemple non limitatif, pour 64 capteurs olfactifs différents disposés en face supérieure de la puce photonique, la technologie MZI/MMI à déphasage de 2Π/3 engendre 3x64 = 192 sorties optiques, avantageusement disposées en quinconce sur une grille matricielle à M = 16 colonnes et N = 24 lignes. Les 192 sorties optiques occupent donc la moitié des 16x24 = 384 intersections des M colonnes et N lignes, conformément à cette disposition en quinconce.Such a sensor is commonly used for the detection of compounds in a fluid, in particular the detection of volatile organic compounds. For example, the photonic chip may include, on an upper interaction face, an optical waveguide end intended to receive an optical signal coming from a VCSEL diode (from the English “Vertical-Cavity Surface-Emitting Laser » for vertical cavity laser diode emitting from the surface), a plurality of photonic olfactory sensors intended to be crossed by optical signals resulting from this optical signal and a plurality of ends of optical waveguides emitting optical signals having passed through the plurality of olfactory sensors, these ends corresponding to the optical outputs organized matrixly in M columns and N lines. This photonic chip implements for example a Mach-Zehnder interferometer matrix technology, called MZI technology (from the English “Mach-Zehnder Interferometer”), or more precisely an MZI technology with multimodal interference, called MZI/MMI technology ( from English “Multi Mode Interference”). This technology, notably taught in the article by Halir et al, entitled “Direct and sensitive phase readout for integrated waveguide sensors”, published in IEEE Photonics Journal, volume 5, no. 4, in August 2013, is particularly suitable for detection volatile organic compounds. By way of non-limiting example, for 64 different olfactory sensors arranged on the upper face of the photonic chip, MZI/MMI technology with a phase shift of 2Π/3 generates 3x64 = 192 optical outputs, advantageously arranged in a staggered manner on a matrix grid at M = 16 columns and N = 24 rows. The 192 optical outputs therefore occupy half of the 16x24 = 384 intersections of the M columns and N lines, in accordance with this staggered arrangement.
La caméra réceptrice des signaux optiques émis en sortie de la puce photonique est généralement munie de multiples photorécepteurs. Il s’agit par exemple d’une caméra prenant la forme d’un capteur photographique CCD (de l’anglais « Charge Coupled Device »).The camera receiving the optical signals emitted at the output of the photonic chip is generally equipped with multiple photoreceptors. This is, for example, a camera taking the form of a CCD (Charge Coupled Device) photographic sensor.
La fabrication d’un tel capteur à puce photonique, et en particulier son assemblage, est délicate. Il s’agit, d’une part, d’assurer la meilleure régularité possible de l’organisation matricielle, en quinconce ou non, des sorties optiques de la puce photonique et, d’autre part, de disposer le plus précisément possible la caméra face à cette organisation matricielle à une certaine distance prédéterminée. L’alignement des sorties optiques et le parallélisme de la caméra doivent pouvoir être contrôlés pendant la fabrication mais aussi pendant l’utilisation de chaque capteur à puce photonique. Cela s’appelle la caractérisation de l’alignement de caméra. Or cela se fait actuellement essentiellement par contrôle visuel et manuel.The manufacture of such a photonic chip sensor, and in particular its assembly, is delicate. This involves, on the one hand, ensuring the best possible regularity of the matrix organization, staggered or not, of the optical outputs of the photonic chip and, on the other hand, arranging the camera as precisely as possible facing this matrix organization at a certain predetermined distance. The alignment of the optical outputs and the parallelism of the camera must be able to be controlled during manufacturing but also during use of each photonic chip sensor. This is called camera alignment characterization. However, this is currently done mainly by visual and manual control.
Il existe pourtant des procédés automatiques permettant des contrôles d’alignement de caméra dans des capteurs olfactifs. Un exemple est enseigné dans la demande de brevet internationale publiée sous le numéro WO 2021/053285 A1. Mais il s’applique dans un contexte d’imagerie directe des sites de capture olfactive par résonance de plasmons de surface, c’est-à-dire par un système d’imagerie de type SPR (de l’anglais « Surface Plasmon Resonance »). Il suppose en outre l’enregistrement préalable d’une carte des sites de capture olfactive destinée à être superposée à l’image de taches qui représente alors une perception directe des sites de capture olfactive. Cet enseignement consistant à mettre à jour la position et/ou l’orientation de superposition de cette carte n’apparaît pas du tout adapté à la situation spécifique d’une image de tâches obtenue à l’aide d’un capteur à puce photonique. Il n’est pas non plus adapté pour une exécution en cours de fabrication d’un capteur olfactif.However, there are automatic processes allowing camera alignment checks in olfactory sensors. An example is taught in the international patent application published under number WO 2021/053285 A1. But it applies in a context of direct imaging of olfactory capture sites by surface plasmon resonance, that is to say by an SPR type imaging system (from the English “Surface Plasmon Resonance”). ). It also involves the prior recording of a map of the olfactory capture sites intended to be superimposed on the image of spots which then represents a direct perception of the olfactory capture sites. This teaching consisting of updating the position and/or orientation of superposition of this card does not appear at all adapted to the specific situation of an image of tasks obtained using a photonic chip sensor. It is also not suitable for execution during the manufacture of an olfactory sensor.
Il peut ainsi être souhaité de prévoir un dispositif de caractérisation d’un alignement de caméra pour un capteur à puce photonique qui permette de s’affranchir d’au moins une partie des problèmes et contraintes précités.It may therefore be desired to provide a device for characterizing a camera alignment for a photonic chip sensor which makes it possible to overcome at least part of the aforementioned problems and constraints.
Il est donc proposé un dispositif de caractérisation d’un alignement de caméra comportant :
  • un capteur à puce photonique comportant :
    • une puce photonique à pluralité de sorties optiques organisées matriciellement en M colonnes et N lignes, et
    • une caméra disposée face à cette organisation matricielle des sorties optiques ; et
  • une unité de traitement conçue pour traiter numériquement une image de taches correspondant aux sorties optiques de la puce photonique, cette image étant fournie par la caméra ;
dans lequel l’unité de traitement plus précisément conçue pour :
  • répartir au moins une partie des taches de l’image dans M groupes distincts correspondant aux M colonnes et déterminer ces M colonnes dans l’image de taches par régression linéaire ;
  • répartir au moins une partie des taches de l’image dans N groupes distincts correspondant aux N lignes et déterminer ces N lignes dans l’image de taches par régression linéaire ; et
  • caractériser l’alignement de caméra par ces M colonnes et N lignes déterminées dans l’image de taches.
A device is therefore proposed for characterizing a camera alignment comprising:
  • a photonic chip sensor comprising:
    • a photonic chip with a plurality of optical outputs organized matrixly in M columns and N lines, and
    • a camera placed facing this matrix organization of the optical outputs; And
  • a processing unit designed to digitally process an image of spots corresponding to the optical outputs of the photonic chip, this image being provided by the camera;
in which the processing unit more precisely designed for:
  • distribute at least part of the spots in the image into M distinct groups corresponding to the M columns and determine these M columns in the image of spots by linear regression;
  • distribute at least part of the spots in the image into N distinct groups corresponding to the N lines and determine these N lines in the spot image by linear regression; And
  • characterize the camera alignment by these M columns and N lines determined in the spot image.
Ainsi, en exploitant astucieusement une connaissance a priori de l’organisation matricielle en M colonnes et N lignes des sorties optiques de la puce photonique, on est capable de déterminer automatiquement et surtout très simplement leurs projections dans l’image de taches qui s’avèrent particulièrement pertinentes pour caractériser le parallélisme de la caméra du capteur pendant sa fabrication ou son utilisation. Ce résultat obtenu par régressions linéaires permet en outre de juger d’un alignement des sorties optiques.Thus, by cleverly exploiting a priori knowledge of the matrix organization in M columns and N lines of the optical outputs of the photonic chip, we are able to automatically and above all very simply determine their projections in the image of spots which turn out to be particularly relevant for characterizing the camera parallelism of the sensor during its manufacture or use. This result obtained by linear regressions also makes it possible to judge an alignment of the optical outputs.
Il est également proposé un procédé de caractérisation d’un alignement de caméra dans un capteur à puce photonique, ce capteur comportant :
  • une puce photonique à pluralité de sorties optiques organisées matriciellement en M colonnes et N lignes ; et
  • une caméra disposée face à cette organisation matricielle des sorties optiques ;
le procédé comportant une étape de capture, par la caméra, d’une image de taches correspondant aux sorties optiques de la puce photonique et comportant en outre les étapes suivantes :
  • répartition d’au moins une partie des taches de l’image dans M groupes distincts correspondant aux M colonnes et détermination de ces M colonnes dans l’image de taches par régression linéaire ;
  • répartition d’au moins une partie des taches de l’image dans N groupes distincts correspondant aux N lignes et détermination de ces N lignes dans l’image de taches par régression linéaire ; et
  • caractérisation de l’alignement de caméra par ces M colonnes et N lignes déterminées dans l’image de taches.
A method of characterizing a camera alignment in a photonic chip sensor is also proposed, this sensor comprising:
  • a photonic chip with a plurality of optical outputs organized matrixly in M columns and N lines; And
  • a camera placed facing this matrix organization of the optical outputs;
the method comprising a step of capturing, by the camera, an image of spots corresponding to the optical outputs of the photonic chip and further comprising the following steps:
  • distribution of at least part of the spots in the image into M distinct groups corresponding to the M columns and determination of these M columns in the image of spots by linear regression;
  • distribution of at least part of the spots in the image into N distinct groups corresponding to the N lines and determination of these N lines in the image of spots by linear regression; And
  • characterization of the camera alignment by these M columns and N lines determined in the spot image.
De façon optionnelle, la répartition d’au moins une partie des taches de l’image dans M groupes distincts correspondant aux M colonnes et/ou la répartition d’au moins une partie des taches de l’image dans N groupes distincts correspondant aux N lignes comporte :
  • une première sous-étape de binarisation par seuillage de l’image de taches ;
  • une deuxième sous-étape de détection des taches dans l’image binarisée ;
  • une troisième sous-étape de filtrage des taches détectées par un critère de taille ; et
  • une quatrième sous-étape de regroupement automatique des taches détectées et conservées par filtrage en M colonnes et/ou en N lignes.
Optionally, the distribution of at least part of the spots in the image in M distinct groups corresponding to the M columns and/or the distribution of at least part of the spots in the image in N distinct groups corresponding to the N lines includes:
  • a first sub-step of binarization by thresholding of the spot image;
  • a second sub-step for detecting spots in the binarized image;
  • a third sub-step of filtering the spots detected by a size criterion; And
  • a fourth sub-step of automatic grouping of the spots detected and preserved by filtering into M columns and/or N rows.
De façon optionnelle également, la détection de taches dans l’image binarisée comporte un placement de boîtes englobantes autour de ces taches dans l’image binarisée, de manière à associer à chaque tache trouvée des paramètres comportant au moins les coordonnées d’un centre de la tache et une taille de la tache.Also optionally, the detection of spots in the binarized image includes a placement of bounding boxes around these spots in the binarized image, so as to associate with each spot found parameters comprising at least the coordinates of a center of the stain and a size of the stain.
De façon optionnelle également, le regroupement automatique des taches détectées et conservées par filtrage en M colonnes et/ou en N lignes comporte :
  • un regroupement automatique des taches détectées et conservées par filtrage en M colonnes sur la base d’abscisses des centres des taches détectées et conservées par filtrage dans l’image binarisée en minimisant des variations d’abscisses intra-classes et en maximisant des variations d’abscisses inter-classes ; et/ou
  • un regroupement automatique des taches détectées et conservées par filtrage en N lignes sur la base d’ordonnées des centres des taches détectées et conservées par filtrage dans l’image binarisée en minimisant des variations d’abscisses intra-classes et en maximisant des variations d’abscisses inter-classes.
Also optionally, the automatic grouping of spots detected and preserved by filtering in M columns and/or in N lines includes:
  • an automatic grouping of the spots detected and preserved by filtering in M columns on the basis of abscissae of the centers of the spots detected and preserved by filtering in the binarized image by minimizing variations of intra-class abscissae and maximizing variations of inter-class abscissa; and or
  • an automatic grouping of spots detected and preserved by filtering in N lines on the basis of ordinates of the centers of the spots detected and preserved by filtering in the binarized image by minimizing intra-class abscissa variations and maximizing variations of inter-class abscissa.
De façon optionnelle également, un procédé de caractérisation d’un alignement de caméra selon l’invention peut en outre comporter les étapes suivantes :
  • calcul d’une première déviation angulaire des M colonnes déterminées dans l’image de taches par rapport aux M colonnes de l’organisation matricielle des sorties optiques de la puce photonique ;
  • calcul d’une deuxième déviation angulaire des N lignes déterminées dans l’image de taches par rapport aux N lignes de l’organisation matricielle des sorties optiques de la puce photonique ; et
  • caractérisation de l’alignement de caméra par ces deux déviations angulaires.
Also optionally, a method for characterizing a camera alignment according to the invention may further comprise the following steps:
  • calculation of a first angular deviation of the M columns determined in the spot image relative to the M columns of the matrix organization of the optical outputs of the photonic chip;
  • calculation of a second angular deviation of the N lines determined in the spot image relative to the N lines of the matrix organization of the optical outputs of the photonic chip; And
  • characterization of the camera alignment by these two angular deviations.
Il est également proposé un procédé de fabrication d’un capteur à puce photonique, comportant les étapes suivantes :
  • assemblage du capteur par disposition ou ajustement d’une caméra face aux sorties optiques d’une puce photonique à pluralité de sorties optiques organisées matriciellement en M colonnes et N lignes ;
  • application d’un procédé de caractérisation d’un alignement de caméra selon l’invention ;
  • calcul d’un coefficient de parallélisme défini en tant que ratio des première et deuxième déviations angulaires calculées ; et
  • répétition des trois étapes précédentes tant que ce ratio n’est pas compris dans un intervalle prédéterminé autour de 1.
A method of manufacturing a photonic chip sensor is also proposed, comprising the following steps:
  • assembly of the sensor by arrangement or adjustment of a camera facing the optical outputs of a photonic chip with a plurality of optical outputs organized matrixly in M columns and N lines;
  • application of a method for characterizing a camera alignment according to the invention;
  • calculation of a parallelism coefficient defined as the ratio of the first and second calculated angular deviations; And
  • repetition of the three previous steps as long as this ratio is not included in a predetermined interval around 1.
Il est également proposé un procédé d’étalonnage d’un capteur à puce photonique, comportant les étapes suivantes :
  • application d’un procédé de caractérisation d’un alignement de caméra selon l’invention ;
  • génération d’une image de masque de référence à partir des M colonnes et N lignes déterminées dans l’image de taches, cette image de masque de référence comportant une modélisation des sorties optiques sous la forme de taches de référence aux dimensions prédéterminées centrées sur des intersections des M colonnes et N lignes déterminées dans l’image de taches ;
  • calcul d’un coefficient d’alignement défini en tant que ratio :
    • d’une somme de surfaces partielles des taches de l’image de taches incluses dans les taches de référence par superposition de l’image de taches et de l’image de masque de référence, et
    • d’une somme de surfaces totales des taches de l’image de taches ; et
  • répétition d’un ajustement d’au moins un paramètre d’acquisition d’une nouvelle d’image de taches et des trois étapes précédentes tant que ce ratio n’est pas supérieur à un seuil prédéterminé.
A method for calibrating a photonic chip sensor is also proposed, comprising the following steps:
  • application of a method for characterizing a camera alignment according to the invention;
  • generation of a reference mask image from the M columns and N lines determined in the spot image, this reference mask image comprising a modeling of the optical outputs in the form of reference spots with predetermined dimensions centered on intersections of the M columns and N lines determined in the spot image;
  • calculation of an alignment coefficient defined as a ratio:
    • a sum of partial surfaces of the spots of the spot image included in the reference spots by superposition of the spot image and the reference mask image, and
    • a sum of total areas of the spots of the spot image; And
  • repetition of an adjustment of at least one parameter for acquiring a new image of spots and of the three previous steps as long as this ratio is not greater than a predetermined threshold.
De façon optionnelle, l’ajustement dudit au moins un paramètre d’acquisition comporte l’ajustement d’un temps d’exposition de la caméra.Optionally, the adjustment of said at least one acquisition parameter includes the adjustment of an exposure time of the camera.
Il est également proposé un programme d’ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur et/ou exécutable par un processeur programmé pour traiter numériquement une image de taches correspondant aux sorties optiques d’une puce photonique à pluralité de sorties optiques organisées matriciellement en M colonnes et N lignes, cette image étant fournie par une caméra disposée face à l’organisation matricielle des sorties optiques de la puce photonique, le programme d’ordinateur comprenant des instructions pour l’exécution des étapes suivantes :
  • répartition d’au moins une partie des taches de l’image dans M groupes distincts correspondant aux M colonnes et détermination de ces M colonnes dans l’image de taches par régression linéaire ;
  • répartition d’au moins une partie des taches de l’image dans N groupes distincts correspondant aux N lignes et détermination de ces N lignes dans l’image de taches par régression linéaire ; et
  • caractérisation d’un alignement de la caméra par ces M colonnes et N lignes déterminées dans l’image de taches ;
lorsque ledit programme est exécuté sur un ordinateur.There is also proposed a computer program downloadable from a communications network and/or recorded on a computer-readable medium and/or executable by a processor programmed to digitally process an image of spots corresponding to the optical outputs of a photonic chip with plurality of optical outputs organized matrixly in M columns and N lines, this image being provided by a camera arranged facing the matrix organization of the optical outputs of the photonic chip, the computer program comprising instructions for executing the following steps :
  • distribution of at least part of the spots in the image into M distinct groups corresponding to the M columns and determination of these M columns in the image of spots by linear regression;
  • distribution of at least part of the spots in the image into N distinct groups corresponding to the N lines and determination of these N lines in the image of spots by linear regression; And
  • characterization of an alignment of the camera by these M columns and N lines determined in the spot image;
when said program is executed on a computer.
L’invention sera mieux comprise à l’aide de la description qui va suivre, donnée uniquement à titre d’exemple et faite en se référant aux dessins annexés dans lesquels :
  • la représente schématiquement la structure générale d’un dispositif de caractérisation d’un alignement de caméra, selon un mode de réalisation de l’invention,
  • la représente schématiquement en vue de côté la structure générale d’un capteur à puce photonique du dispositif de la ,
  • la représente schématiquement en vue de dessus un exemple d’organisation matricielle de sorties optiques de la puce photonique du capteur de la ,
  • la illustre un exemple d’image de taches en niveaux de gris pouvant être produite par une caméra du capteur à puce photonique de la ,
  • la illustre un exemple de superposition de diagrammes temporels de signaux de réponse, ou sensorgrammes, pouvant être obtenus par le dispositif de la , dans des conditions maîtrisées de mesure multivariée,
  • la illustre, sous la forme d’un diagramme circulaire, un exemple de signature olfactive normée pouvant être calculée par le dispositif de la à partir de sensorgrammes tels que ceux de la ,
  • la illustre les étapes successives d’un procédé de caractérisation d’un alignement de caméra, selon un mode de réalisation de l’invention,
  • la illustre le résultat d’une binarisation de l’image de taches de la ,
  • la illustre le résultat d’une recherche et d’une détermination de zones d’intérêt dans l’image binarisée de la ,
  • la illustre le résultat d’une détermination de M colonnes par régression linéaire dans l’image binarisée de la ,
  • la illustre le résultat d’une détermination de N lignes par régression linéaire dans l’image binarisée de la ,
  • la illustre la superposition de l’image binarisée de la et d’une image de masque résultant des M colonnes et N lignes des figures 10 et 11,
  • la illustre les étapes successives d’une sous-étape de regroupement automatique du procédé de la , selon un mode de réalisation de l’invention,
  • la illustre les étapes successives d’un procédé de fabrication d’un capteur à puce photonique, selon un mode de réalisation de l’invention, et
  • la illustre les étapes successives d’un procédé d’étalonnage d’un capteur à puce photonique, selon un mode de réalisation de l’invention.
The invention will be better understood with the help of the description which follows, given solely by way of example and made with reference to the appended drawings in which:
  • there schematically represents the general structure of a device for characterizing a camera alignment, according to one embodiment of the invention,
  • there schematically represents in side view the general structure of a photonic chip sensor of the device of the ,
  • there schematically represents in top view an example of matrix organization of optical outputs of the photonic chip of the sensor of the ,
  • there illustrates an example of a grayscale spot image that can be produced by a camera of the photonic chip sensor of the ,
  • there illustrates an example of superposition of temporal diagrams of response signals, or sensorgrams, which can be obtained by the device of the , under controlled multivariate measurement conditions,
  • there illustrates, in the form of a circular diagram, an example of a standardized olfactory signature that can be calculated by the device of the from sensorgrams such as those of the ,
  • there illustrates the successive stages of a method for characterizing a camera alignment, according to one embodiment of the invention,
  • there illustrates the result of a binarization of the image of spots of the ,
  • there illustrates the result of a search and determination of areas of interest in the binarized image of the ,
  • there illustrates the result of a determination of M columns by linear regression in the binarized image of the ,
  • there illustrates the result of a determination of N lines by linear regression in the binarized image of the ,
  • there illustrates the superposition of the binarized image of the and a mask image resulting from the M columns and N rows of Figures 10 and 11,
  • there illustrates the successive stages of an automatic grouping sub-stage of the method of , according to one embodiment of the invention,
  • there illustrates the successive stages of a process for manufacturing a photonic chip sensor, according to one embodiment of the invention, and
  • there illustrates the successive steps of a method for calibrating a photonic chip sensor, according to one embodiment of the invention.
Le dispositif 20 de mesure multivariée de présence de composés présents dans un fluide représenté schématiquement sur la , remplissant également une fonction de caractérisation d’un alignement de caméra selon un mode de réalisation possible de la présente invention, est un exemple non limitatif de dispositif intégrant un capteur à puce photonique pour une application non limitative d’identification d’odeurs. Il comporte une chambre de mesure 22 destinée à recevoir un fluide à analyser, par exemple un gaz tel que de l’air ambiant. Pour ce faire, il comporte un dispositif d’aspiration 24 conçu pour aspirer l’air situé à l’intérieur de la chambre de mesure 22 et le faire sortir à l’extérieur. Il comporte en outre une entrée d’air 26 pouvant être sélectivement fermée pour garder l’air ambiant dans la chambre de mesure 22 ou bien ouverte pour permettre l’évacuation de l’air ambiant de la chambre de mesure 22 et son renouvellement par l’activation du dispositif d’aspiration 24. Il est ainsi doté de moyens de maîtrise des flux entrant et sortant.The device 20 for multivariate measurement of the presence of compounds present in a fluid represented schematically on the , also fulfilling a function of characterizing a camera alignment according to a possible embodiment of the present invention, is a non-limiting example of a device integrating a photonic chip sensor for a non-limiting application of odor identification. It comprises a measuring chamber 22 intended to receive a fluid to be analyzed, for example a gas such as ambient air. To do this, it includes a suction device 24 designed to suck in the air located inside the measuring chamber 22 and let it exit outside. It further comprises an air inlet 26 which can be selectively closed to keep the ambient air in the measuring chamber 22 or open to allow the evacuation of the ambient air from the measuring chamber 22 and its renewal by the activation of the suction device 24. It is thus equipped with means for controlling incoming and outgoing flows.
Dans sa chambre de mesure 22, Le dispositif de mesure multivariée 20 comporte plusieurs capteurs olfactifs 28, répartis respectivement sur autant de sites réactifs, par exemple une soixantaine, conçus pour interagir avec des composés susceptibles d’être présents dans la chambre de mesure 22 lorsque le dispositif 20 est placé à proximité d’un fluide à analyser émetteur de ces composés, notamment lorsque l’entrée d’air 26 est à proximité du fluide considéré. Les composés émis sont généralement des composés organiques volatils mais la présente invention ne se limite pas à de tels composés.In its measuring chamber 22, the multivariate measuring device 20 comprises several olfactory sensors 28, distributed respectively over as many reactive sites, for example around sixty, designed to interact with compounds likely to be present in the measuring chamber 22 when the device 20 is placed near a fluid to be analyzed emitting these compounds, particularly when the air inlet 26 is close to the fluid in question. The compounds emitted are generally volatile organic compounds but the present invention is not limited to such compounds.
Chaque capteur olfactif 28 est lui-même par exemple un biocapteur conçu pour interagir avec les composés d’une famille particulière de composés organiques volatils. En pratique, chaque capteur olfactif 28 peut comporter une molécule, telle qu’un peptide immobilisé sur un substrat ou un polymère recouvrant une surface, complémentaire des composés de la famille associée à ce capteur olfactif 28. Each olfactory sensor 28 is itself, for example, a biosensor designed to interact with compounds from a particular family of volatile organic compounds. In practice, each olfactory sensor 28 may comprise a molecule, such as a peptide immobilized on a substrate or a polymer covering a surface, complementary to the compounds of the family associated with this olfactory sensor 28.
En variante, le dispositif de mesure multivariée 20 pourrait être adapté pour être mis en contact avec tout autre fluide, liquide ou gazeux, que de l’air ambiant. Il pourrait également selon une version particulièrement simple ne pas comporter le dispositif d’aspiration 24 et l’entrée d’air 26, voire même la chambre de mesure 22. Dans cette version simple, les capteurs olfactifs 28 sont alors susceptibles d’être directement mis au contact du fluide à analyser sans maîtrise de flux.Alternatively, the multivariate measuring device 20 could be adapted to be brought into contact with any fluid, liquid or gas, other than ambient air. According to a particularly simple version, it could also not include the suction device 24 and the air inlet 26, or even the measuring chamber 22. In this simple version, the olfactory sensors 28 are then likely to be directly placed in contact with the fluid to be analyzed without flow control.
L’idée générale reste de fonctionnaliser des sites réactifs à l’aide des capteurs olfactifs 28 (i.e. biocapteurs, polymères, nanotubes de carbones, etc.) de telle sorte qu’ils adsorbent et désorbent de manière différenciée les composés organiques volatils, de former une réponse d’interaction moléculaire différenciée des capteurs olfactifs, et d’amplifier la réponse sous la forme d’une séquence de signaux électriques de mesure S à l’aide d’un dispositif de transduction physique.The general idea remains to functionalize reactive sites using olfactory sensors 28 (ie biosensors, polymers, carbon nanotubes, etc.) in such a way that they adsorb and desorb volatile organic compounds in a differentiated manner, forming a differentiated molecular interaction response of the olfactory sensors, and amplifying the response in the form of a sequence of electrical measuring signals S using a physical transduction device.
Les capteurs olfactifs 28 sont donc associés à au moins un transducteur 30 avec lequel ils interagissent. Ce transducteur 30 est arrangé et configuré pour mesurer tout changement de propriété physique provoqué par une interaction des capteurs olfactifs 28 avec le fluide à analyser. Il fournit la séquence de signaux électriques de mesure S qui caractérise ce fluide puisqu’elle est représentative des composés organiques volatils avec lesquels les capteurs olfactifs 28 peuvent interagir dans la chambre de mesure 22.The olfactory sensors 28 are therefore associated with at least one transducer 30 with which they interact. This transducer 30 is arranged and configured to measure any change in physical property caused by an interaction of the olfactory sensors 28 with the fluid to be analyzed. It provides the sequence of electrical measurement signals S which characterizes this fluid since it is representative of the volatile organic compounds with which the olfactory sensors 28 can interact in the measuring chamber 22.
Plus précisément dans le contexte technique de la présente invention, le transducteur 30 est un système à puce photonique, avantageusement un système d’amplification de variation d’indice optique par interférométrie de Mach-Zehnder, par exemple selon une technologie à matrice d’interféromètres de Mach-Zehnder, dite technologie MZI (de l’anglais « Mach-Zehnder Interferometer »), voire plus précisément une technologie MZI à interférences multimodales, dite technologie MZI/MMI (de l’anglais « Multi Mode Interference »). Un tel système est configuré pour mesurer tout changement d’un indice de réfraction dû à une interaction du fluide étudié avec au moins l’un quelconque des capteurs olfactifs 28, chaque capteur olfactif étant positionné sur deux bras d’un même interféromètre, grâce à un décalage de phases détectable entre l’un des deux bras dit bras de référence de l’interféromètre relatif à ce capteur olfactif quelconque et l’autre des deux bras dit bras de détection de l’interféromètre sur lequel le site réactif de ce capteur olfactif quelconque est disposé. Le transducteur à puce photonique résultant fournit la séquence de signaux de mesure S qui se présente sous la forme d’une séquence d’images de taches matérialisant les décalages de phases, exprimés en Radian, des capteurs olfactifs 28. L’ensemble constitué des capteurs olfactifs 28 et du transducteur 30 forme un capteur à puce photonique. More precisely in the technical context of the present invention, the transducer 30 is a photonic chip system, advantageously an optical index variation amplification system by Mach-Zehnder interferometry, for example according to interferometer matrix technology. of Mach-Zehnder, called MZI technology (from the English “Mach-Zehnder Interferometer”), or more precisely an MZI technology with multimodal interference, called MZI/MMI technology (from the English “Multi Mode Interference”). Such a system is configured to measure any change in a refractive index due to an interaction of the fluid studied with at least one of the olfactory sensors 28, each olfactory sensor being positioned on two arms of the same interferometer, thanks to a detectable phase shift between one of the two arms called the reference arm of the interferometer relating to this arbitrary olfactory sensor and the other of the two arms called the detection arm of the interferometer on which the reactive site of this olfactory sensor whatever is arranged. The resulting photonic chip transducer provides the sequence of measurement signals S which is in the form of a sequence of images of spots materializing the phase shifts, expressed in Radian, of the olfactory sensors 28. The assembly made up of the sensors olfactory 28 and the transducer 30 form a photonic chip sensor.
Comme illustré sur la , le transducteur 30 comporte plus précisément une puce photonique 32 dont les éléments optiques sont représentés de façon très schématique pour une compréhension fonctionnelle de leur agencement. Selon un mode de réalisation préféré, elle comporte une face inférieure 32A de pose sur un support et une face supérieure 32B à extrémité 34 de guide d’onde optique réceptrice d’un signal optique O, à pluralité d’interféromètres 36 formant des supports respectifs pour les capteurs olfactifs 28 et destinés à être traversés par des signaux optiques issus du signal optique O, et à pluralité 38 d’extrémités de guides d’ondes optiques émettrices de signaux optiques ayant traversé la pluralité d’interféromètres 36. Ces extrémités 38 forment les sorties optiques de la puce photonique 32 et sont organisées matriciellement en M colonnes et N lignes.As illustrated on the , the transducer 30 comprises more precisely a photonic chip 32 whose optical elements are represented very schematically for a functional understanding of their arrangement. According to a preferred embodiment, it comprises a lower face 32A for placing on a support and an upper face 32B with an optical waveguide end 34 receiving an optical signal O, with a plurality of interferometers 36 forming respective supports for the olfactory sensors 28 and intended to be crossed by optical signals from the optical signal O, and with a plurality 38 of ends of optical waveguides emitting optical signals having passed through the plurality of interferometers 36. These ends 38 form the optical outputs of the photonic chip 32 and are organized matrixly in M columns and N rows.
Une organisation matricielle en quinconce de la pluralité de sorties optiques 38 est illustrée sur la . Dans l’exemple précité de 64 interféromètres 36 et autant de capteurs olfactifs 28 différents disposés en face supérieure 32B de la puce photonique 32, la technologie MZI/MMI à déphasage de 2Π/3 engendre 192 sorties optiques 38, disposées ici en quinconce sur une grille matricielle à M = 16 colonnes C1, …, CM et N = 24 lignes L1, …, LN. On notera que la distance entre les colonnes C1, …, CM n’a aucune raison d’être égale à celle entre les lignes L1, …, LN. Dans l’exemple illustré, les colonnes sont plus distantes entre elles que les lignes.A staggered matrix organization of the plurality of optical outputs 38 is illustrated on the . In the aforementioned example of 64 interferometers 36 and as many different olfactory sensors 28 arranged on the upper face 32B of the photonic chip 32, the MZI/MMI technology with a phase shift of 2Π/3 generates 192 optical outputs 38, arranged here in a staggered manner on a matrix grid with M = 16 columns C 1 , …, C M and N = 24 lines L 1 , …, L N . Note that the distance between the columns C 1 , …, C M has no reason to be equal to that between the rows L 1 , …, L N . In the example shown, the columns are further apart than the rows.
De retour à la , le transducteur 30 comporte en outre une diode VCSEL 40 qui produit le signal optique O et est optiquement raccordée à l’extrémité réceptrice 34 de la puce photonique 32. Enfin, le transducteur 30 comporte une caméra CCD 42 munie de multiples photorécepteurs 44, disposée face à l’organisation matricielle de la pluralité de sorties optiques 38 à une distance prédéfinie. Les interféromètres 36 à capteurs olfactifs 28 de la puce photonique 32 sont disposés en partie centrale de sa face supérieure 32B, au contact de tout fluide à analyser dans la chambre de mesure 22, tandis que l’extrémité réceptrice 34 et la pluralité de sorties optiques 38 sont en périphérie.Back to the , the transducer 30 further comprises a VCSEL diode 40 which produces the optical signal O and is optically connected to the receiving end 34 of the photonic chip 32. Finally, the transducer 30 comprises a CCD camera 42 provided with multiple photoreceptors 44, arranged facing the matrix organization of the plurality of optical outputs 38 at a predefined distance. The interferometers 36 with olfactory sensors 28 of the photonic chip 32 are arranged in the central part of its upper face 32B, in contact with any fluid to be analyzed in the measuring chamber 22, while the receiving end 34 and the plurality of optical outputs 38 are on the outskirts.
Un exemple d’image de taches en niveaux de gris IM qui peut être produite par la caméra CCD 42 est illustré sur la . La caméra CCD 42 du transducteur 30 est apte à fournir en sortie toute une séquence S de telles images lorsqu’un fluide à analyser est introduit dans la chambre de mesure 22.An example of a grayscale spot image IM that can be produced by the CCD camera 42 is illustrated in the . The CCD camera 42 of the transducer 30 is able to output an entire sequence S of such images when a fluid to be analyzed is introduced into the measuring chamber 22.
De retour à la , le dispositif de mesure multivariée 20 comporte en outre plusieurs modules fonctionnels qui vont être décrits ci-dessous. Dans l’exemple décrit, ces modules sont de nature logicielle. Ainsi, le dispositif 20 comporte un élément de type ordinateur 46 comportant une unité de traitement (par exemple un processeur) 48 et une zone de mémoire associée 50 (par exemple une mémoire RAM ou autre) dans laquelle plusieurs programmes d’ordinateurs ou plusieurs fonctions d’un même programme d’ordinateur sont enregistrés. Ces programmes d’ordinateurs comportent des instructions conçues pour être exécutées par l’unité de traitement 48 afin de réaliser les fonctions des modules logiciels. Ils sont présentés comme distincts, mais cette distinction est purement fonctionnelle. Ils pourraient tout aussi bien être regroupés selon toutes les combinaisons possibles en un ou plusieurs logiciels. Leurs fonctions pourraient aussi être au moins en partie micro programmées ou micro câblées dans des circuits intégrés dédiés, tels que des circuits numériques. Ainsi, en variante, l’ordinateur 46 pourrait être remplacé par un dispositif électronique composé uniquement de circuits numériques (sans programme d’ordinateur) pour la réalisation des mêmes fonctions.Back to the , the multivariate measuring device 20 further comprises several functional modules which will be described below. In the example described, these modules are software in nature. Thus, the device 20 comprises a computer type element 46 comprising a processing unit (for example a processor) 48 and an associated memory area 50 (for example a RAM memory or other) in which several computer programs or several functions of the same computer program are recorded. These computer programs include instructions designed to be executed by the processing unit 48 in order to carry out the functions of the software modules. They are presented as distinct, but this distinction is purely functional. They could just as easily be grouped in all possible combinations into one or more software programs. Their functions could also be at least partly micro-programmed or micro-wired into dedicated integrated circuits, such as digital circuits. Thus, as a variant, the computer 46 could be replaced by an electronic device composed solely of digital circuits (without a computer program) for carrying out the same functions.
Le dispositif de mesure multivariée 20 comporte ainsi tout d’abord un module logiciel 52, destiné à être exécuté par l’unité de traitement 48, de commande du dispositif d’aspiration 24 (s’il est prévu dans de dispositif 20), de l’entrée d’air 26 (si elle est également prévue dans de dispositif 20) et du transducteur 30.The multivariate measuring device 20 thus comprises first of all a software module 52, intended to be executed by the processing unit 48, for controlling the suction device 24 (if it is provided in the device 20), the air inlet 26 (if it is also provided in device 20) and the transducer 30.
Il comporte en outre de façon optionnelle mais avantageuse un module logiciel 54, destiné à être exécuté par l’unité de traitement 48, de sélection, parmi les capteurs olfactifs 28 du dispositif de mesure multivariée 20, d’un sous-ensemble de capteurs sensibles à des composants volatils caractéristiques d’une empreinte olfactive recherchée. Ces composants volatils caractéristiques peuvent varier d’une application ou d’un fluide étudié à l’autre de sorte que la sélection de capteurs olfactifs réalisée par le module logiciel 54 peut varier elle aussi et être paramétrée. Le sous-ensemble sélectionné comporte par exemple M ≥ 1 capteur(s) olfactif(s), notamment avantageusement plusieurs capteurs olfactifs (M ≥ 2).It further comprises in an optional but advantageous manner a software module 54, intended to be executed by the processing unit 48, for selection, among the olfactory sensors 28 of the multivariate measuring device 20, of a subset of sensitive sensors to volatile components characteristic of a sought-after olfactory imprint. These characteristic volatile components can vary from one application or fluid studied to another so that the selection of olfactory sensors made by the software module 54 can also vary and be parameterized. The selected subset comprises for example M ≥ 1 olfactory sensor(s), in particular advantageously several olfactory sensors (M ≥ 2).
Le dispositif de mesure multivariée 20 comporte en outre un module logiciel 56, destiné à être exécuté par l’unité de traitement 48, pour extraire M sensorgrammes respectivement représentatifs des interactions des M capteurs olfactifs sélectionnés avec les composés organiques volatils concernés à partir des valeurs propres à ces M capteurs olfactifs dans la séquence d’images S fournie par le transducteur 30. Ces sensorgrammes prennent la forme de signaux de décalages de phases et sont exprimés en Radian puisque le transducteur 30 est un système d’amplification MZI ou MZI/MMI.The multivariate measuring device 20 further comprises a software module 56, intended to be executed by the processing unit 48, to extract M sensorgrams respectively representative of the interactions of the M olfactory sensors selected with the volatile organic compounds concerned from the values specific to these M olfactory sensors in the sequence of images S provided by the transducer 30. These sensorgrams take the form of phase shift signals and are expressed in Radian since the transducer 30 is an MZI or MZI/MMI amplification system.
La figure 5 illustre ainsi les diagrammes temporels superposés d’une soixantaine de sensorgrammes obtenus à l’aide d’un système d’amplification MZI ou MZI/MMI tel que le transducteur 30 sur une durée d’environ 190 secondes selon un protocole de mesure connu et bien maîtrisé, impliquant une commande du dispositif d’aspiration 24 et de l’entrée d’air 26, dans lequel :
  • les capteurs olfactifs 28 sont tout d’abord exposés à un environnement fluidique de référence à fluide porteur sans présence des composés cibles d’un fluide à analyser au cours d’un premier état de référence identifiable par une première portion PH1 des sensorgrammes,
  • ils sont ensuite exposés au fluide à analyser au cours d’un deuxième état analytique d’adsorption déclenché par une injection maîtrisée de ce fluide dans la chambre de mesure 22, ce deuxième état étant identifiable par une deuxième portion PH2 des sensorgrammes, et
  • ils sont finalement exposés de nouveau à l’environnement fluidique de référence au cours d’un troisième état final de désorption par une évacuation maîtrisée du fluide à analyser hors de la chambre de mesure 22, ce troisième état étant identifiable par une troisième portion PH3 des sensorgrammes.
Figure 5 thus illustrates the superimposed temporal diagrams of around sixty sensorgrams obtained using an MZI or MZI/MMI amplification system such as the transducer 30 over a period of approximately 190 seconds according to a known and well-controlled measurement protocol, involving control of the suction device 24 and of the air inlet 26, in which:
  • the olfactory sensors 28 are first exposed to a reference fluid environment with a carrier fluid without the presence of the target compounds of a fluid to be analyzed during a first reference state identifiable by a first portion PH1 of the sensorgrams,
  • they are then exposed to the fluid to be analyzed during a second analytical adsorption state triggered by a controlled injection of this fluid into the measuring chamber 22, this second state being identifiable by a second portion PH2 of the sensorgrams, and
  • they are finally exposed again to the reference fluidic environment during a third final state of desorption by a controlled evacuation of the fluid to be analyzed from the measuring chamber 22, this third state being identifiable by a third portion PH3 of the sensorgrams.
De retour à la figure 1, le dispositif de mesure multivariée 20 comporte en outre un module logiciel 58, destiné à être exécuté par l’unité de traitement 48, pour obtenir de façon bien connue et non détaillée une caractérisation SIG de la composition du fluide à analyser à partir des M sensorgrammes . Cette caractérisation SIG peut prendre la forme d’une signature olfactive normée telle qu’illustrée dans la sous la forme d’un diagramme circulaire.Returning to Figure 1, the multivariate measuring device 20 further comprises a software module 58, intended to be executed by the processing unit 48, to obtain in a well-known and non-detailed manner a GIS characterization of the composition of the fluid to analyze from M sensorgrams . This GIS characterization can take the form of a standardized olfactory signature as illustrated in the in the form of a circular diagram.
Conformément aux principes généraux d’un mode de réalisation possible de la présente invention, le dispositif de mesure multivariée 20 remplit en outre la fonction précitée de caractérisation d’un alignement de la caméra CCD 42 par rapport à la pluralité de sorties optiques 38.In accordance with the general principles of a possible embodiment of the present invention, the multivariate measuring device 20 further fulfills the aforementioned function of characterizing an alignment of the CCD camera 42 with respect to the plurality of optical outputs 38.
Pour cela, l’unité de traitement 48 qui reçoit la séquence d’images S est apte à en extraire au moins une, par exemple l’image IM de la , pour la traiter numériquement.For this, the processing unit 48 which receives the sequence of images S is capable of extracting at least one, for example the image IM of the , to process it digitally.
Le dispositif de mesure multivariée 20 comporte alors un module logiciel 60, destiné à être exécuté par l’unité de traitement 48, pour répartir au moins une partie des taches de l’image IM dans M groupes distincts correspondant aux M colonnes selon un procédé de classification automatique qui sera détaillé en référence à la , déterminer ces M colonnes dans l’image de taches IM par régression linéaire et, de façon optionnelle mais avantageuse, calculer une première déviation angulaire α par rapport aux M colonnes de l’organisation matricielle des sorties optiques 38 de la puce photonique 32.The multivariate measuring device 20 then comprises a software module 60, intended to be executed by the processing unit 48, to distribute at least part of the spots of the image IM into M distinct groups corresponding to the M columns according to a method of automatic classification which will be detailed with reference to the , determine these M columns in the IM spot image by linear regression and, optionally but advantageously, calculate a first angular deviation α with respect to the M columns of the matrix organization of the optical outputs 38 of the photonic chip 32.
Il comporte en outre un module logiciel 62, destiné à être exécuté par l’unité de traitement 48, pour répartir au moins une partie des taches de l’image IM dans N groupes distincts correspondant aux N lignes selon un procédé de classification automatique qui sera détaillé selon différentes variantes en référence aux figures 7 et 13, déterminer ces N lignes dans l’image de taches IM par régression linéaire et, de façon optionnelle mais avantageuse, calculer une deuxième déviation angulaire β par rapport aux N lignes de l’organisation matricielle des sorties optiques 38 de la puce photonique 32.It further comprises a software module 62, intended to be executed by the processing unit 48, to distribute at least part of the spots of the IM image into N distinct groups corresponding to the N lines according to an automatic classification method which will be detailed according to different variants with reference to Figures 7 and 13, determine these N lines in the image of spots IM by linear regression and, optionally but advantageously, calculate a second angular deviation β with respect to the N lines of the matrix organization optical outputs 38 of the photonic chip 32.
Il comporte enfin un module logiciel 64, destiné à être exécuté par l’unité de traitement 48, pour caractériser l’alignement de caméra par ces M colonnes et N lignes déterminées dans l’image de taches IM, et notamment par la comparaison de leurs déviations angulaires respectives α et β, selon un procédé de calcul de score(s) qui sera détaillé en référence à la . La première ou deuxième déviation angulaire, α ou β, permet effectivement de caractériser un éventuel problème de positionnement de la caméra CCD 42 autour d’un axe orthogonal au plan de la pluralité de sorties optiques 38, tandis qu’une comparaison de ces deux déviations angulaires, par exemple le ratio α/β, permet de caractériser un éventuel problème de positionnement de la caméra CCD 42 autour d’au moins un axe parallèle au plan de la pluralité de sorties optiques 38.It finally includes a software module 64, intended to be executed by the processing unit 48, to characterize the camera alignment by these M columns and N lines determined in the image of spots IM, and in particular by comparing their respective angular deviations α and β, according to a method of calculating score(s) which will be detailed with reference to the . The first or second angular deviation, α or β, effectively makes it possible to characterize a possible problem of positioning the CCD camera 42 around an axis orthogonal to the plane of the plurality of optical outputs 38, while a comparison of these two deviations angular, for example the ratio α/β, makes it possible to characterize a possible problem of positioning the CCD camera 42 around at least one axis parallel to the plane of the plurality of optical outputs 38.
Selon un autre mode de réalisation possible conforme aux principes généraux de la présente invention, la fonction de caractérisation d’un alignement de la caméra CCD 32 peut être logiciellement réalisée par un ordinateur 66 extérieur au dispositif de mesure multivariée 20. Dans ce cas, il suffit que l’ordinateur 66 puisse recevoir l’image de taches IM et dispose de moyens logiciels pour la traiter, notamment une mémoire apte à stocker les modules logiciels 60, 62 et 64 et un processeur apte à les exécuter. Dans ce cas également, ces modules logiciels peuvent ne pas être enregistrés en zone de mémoire 50. Le dispositif de caractérisation d’un alignement de caméra est alors constitué a minima du capteur à puce photonique 28, 30 et de l’ordinateur 66.According to another possible embodiment conforming to the general principles of the present invention, the function of characterizing an alignment of the CCD camera 32 can be performed software by a computer 66 external to the multivariate measuring device 20. In this case, it it is enough that the computer 66 can receive the image of spots IM and has software means to process it, in particular a memory capable of storing the software modules 60, 62 and 64 and a processor capable of executing them. In this case also, these software modules may not be recorded in memory area 50. The device for characterizing a camera alignment then consists of at least the photonic chip sensor 28, 30 and the computer 66.
Un procédé de caractérisation d’un alignement de caméra mis en œuvre par le dispositif de mesure multivariée 20 de la va maintenant être détaillé en référence à la . Ce procédé pourrait tout aussi bien être mis en œuvre par l’ordinateur 66.A method of characterizing a camera alignment implemented by the multivariate measuring device 20 of the will now be detailed with reference to the . This process could just as easily be implemented by the computer 66.
Au cours d’une première étape 100, une image de taches en niveaux de gris est capturée par la caméra CCD 42 et fournie à l’unité de traitement 48. Il s’agit par exemple de l’image IM de la qui est une représentation des 192 sorties optiques 38 réparties en quinconce sur M = 16 colonnes et N = 24 lignes d’une matrice de disposition en face supérieure 32B de la puce photonique 32.During a first step 100, an image of spots in gray levels is captured by the CCD camera 42 and supplied to the processing unit 48. This is for example the image IM of the which is a representation of the 192 optical outputs 38 distributed staggered over M = 16 columns and N = 24 lines of an arrangement matrix on the upper face 32B of the photonic chip 32.
Au cours d’une étape suivante 102 réalisée par exécution du module logiciel 60, les taches de l’image IM sont réparties en M = 16 groupes distincts correspondant aux M = 16 colonnes de l’organisation matricielle des sorties optiques 38. Un exemple non limitatif d’implémentation d’une telle répartition, mais avantageux en termes de simplicité et efficacité, comporte une première sous-étape 102-1 de binarisation par seuillage de l’image IM, une deuxième sous-étape 102-2 de détection des taches dans l’image binarisée, une troisième sous-étape 102-3 de filtrage des taches détectées par un critère de taille, une quatrième sous-étape 102-4 de regroupement automatique des taches détectées et conservées par filtrage en M colonnes.During a following step 102 carried out by execution of the software module 60, the spots of the image IM are distributed into M = 16 distinct groups corresponding to the M = 16 columns of the matrix organization of the optical outputs 38. An example not limiting implementation of such a distribution, but advantageous in terms of simplicity and efficiency, comprises a first sub-step 102-1 of binarization by thresholding of the IM image, a second sub-step 102-2 of spot detection in the binarized image, a third sub-step 102-3 of filtering the spots detected by a size criterion, a fourth sub-step 102-4 of automatically grouping the spots detected and preserved by filtering in M columns.
Dans l’exemple décrit, la première sous-étape 102-1 comporte tout d’abord un seuillage de l’image IM. Un seuil optimal est ainsi choisi en analysant son histogramme. Par exemple, la méthode de choix du seuil décrite dans l’article de Otsu, intitulé « A threshold selection method from gray-level histograms », publié dans IEEE Transactions on Systems, Man, and Cybernetics, Vol. SMC-9, No. 1, en Janvier 1979, est utilisée. Ainsi, le seuil optimal est déterminé en minimisant une variance d’intensité intra-classes, ou de façon équivalente en maximisant une variance d’intensité inter-classes. Tous les pixels qui présentent une luminance (i.e. un niveau de gris) inférieure à ce seuil sont considérés comme appartenant à l’arrière-plan et mis à une première valeur binaire minimale tandis que tous les pixels qui présentent une luminance supérieure ou égale à ce seuil sont considérés comme appartenant à une tache et mis à une deuxième valeur binaire maximale. On obtient ainsi l’image binarisée IMb de la dans laquelle les taches sont représentées en blanc et l’arrière-plan en noir.In the example described, the first substep 102-1 firstly comprises thresholding of the IM image. An optimal threshold is thus chosen by analyzing its histogram. For example, the threshold selection method described in Otsu's article, entitled “A threshold selection method from gray-level histograms”, published in IEEE Transactions on Systems, Man, and Cybernetics, Vol. SMC-9, No. 1, in January 1979, is used. Thus, the optimal threshold is determined by minimizing an intra-class intensity variance, or equivalently by maximizing an inter-class intensity variance. All pixels which have a luminance (ie a gray level) lower than this threshold are considered to belong to the background and set to a first minimum binary value while all pixels which have a luminance greater than or equal to this threshold are considered to belong to a spot and set to a second maximum binary value. We thus obtain the binarized image IMb of the in which the spots are shown in white and the background in black.
Dans l’exemple décrit également, la deuxième sous-étape 102-2 comporte une recherche et une détermination de zones d’intérêt dans l’image binarisée IMb. Ces zones d’intérêt sont les 192 taches correspondant aux 192 sorties optiques 38 de la puce photonique 32. Cela peut se faire par une méthode connue de recherche et placement de boîtes englobantes (de l’anglais « bounding boxes ») telle que celle réalisée par exécution de la fonction « regionprops » de la bibliothèque numérique « skimage ». Toutes les taches ne sont pas nécessairement trouvées lors de cette opération. De plus, des artéfacts peuvent être détectés comme formant des taches par erreur. En revanche, chaque tache trouvée est associée à des paramètres obtenus de façon connue en soi grâce à la boîte englobante qui l’entoure et lui correspond : coordonnées d’un centre de la tache, taille de la tache, petit axe principal, grand axe principal, éventuellement orientation. Une représentation de boîtes englobantes associées aux taches de l’image binarisée IMb de la est illustrée dans la . Les paramètres correspondants sont exprimés dans un repère (x,y) de coordonnées horizontales (en abscisse) et verticales (en ordonnée).In the example also described, the second substep 102-2 comprises a search and a determination of areas of interest in the binarized image IMb. These areas of interest are the 192 spots corresponding to the 192 optical outputs 38 of the photonic chip 32. This can be done by a known method of searching and placing bounding boxes such as that carried out by executing the “regionprops” function of the “skimage” digital library. Not all stains are necessarily found during this operation. Additionally, artifacts may be detected as forming spots by mistake. On the other hand, each spot found is associated with parameters obtained in a manner known in itself thanks to the bounding box which surrounds and corresponds to it: coordinates of a center of the spot, size of the spot, minor principal axis, major axis main, possibly orientation. A representation of bounding boxes associated with the spots of the binarized image IMb of the is illustrated in the . The corresponding parameters are expressed in a reference frame (x,y) with horizontal (abscissa) and vertical (ordinate) coordinates.
La troisième sous-étape 102-3 comporte alors un filtrage des taches détectées sous forme de boîtes englobantes par un critère de taille. Un calcul statistique de moyenne AREA_MEAN et d’écart-type AREA_STD est par exemple effectué sur les paramètres de taille obtenus à la sous-étape précédente et toutes les taches présentant une taille qui n’entre pas dans la plage de valeurs [AREA_MEAN - AREA_STD ; AREA_MEAN + AREA_STD] sont exclues par filtrage. D’autres critères de taille peuvent être pris en considération pour exclure des taches. Par exemple, une analyse d’un diagramme de tailles croissantes des taches trouvées peut extraire au moins une de deux valeurs MIN_AREA et MAX_AREA correspondant à deux points éventuels de courbure maximale de ce diagramme. Dans ce cas, il peut être considéré que si MIN_AREA est inférieur à AREA_MEAN - AREA_STD alors on n’exclut par filtrage inférieur que les taches de taille inférieure à MIN_AREA et si MAX_AREA est supérieur à AREA_MEAN + AREA_STD alors on n’exclut par filtrage supérieur que les taches de taille supérieure à MAX_AREA. Il en résulte selon les cas une exclusion par filtrage de toutes les taches présentant une taille qui n’entre pas dans la plage [AREA_MEAN - AREA_STD ; AREA_MEAN + AREA_STD], ou dans la plage [MIN_AREA ; AREA_MEAN + AREA_STD], ou dans la plage [AREA_MEAN - AREA_STD ; MAX_AREA], ou dans la plage [MIN_AREA ; MAX_AREA].The third substep 102-3 then includes a filtering of the spots detected in the form of bounding boxes by a size criterion. A statistical calculation of AREA_MEAN mean and AREA_STD standard deviation is for example carried out on the size parameters obtained in the previous sub-step and all the spots presenting a size which does not fall within the range of values [AREA_MEAN - AREA_STD ; AREA_MEAN + AREA_STD] are excluded by filtering. Other size criteria may be taken into consideration to exclude stains. For example, an analysis of a diagram of increasing sizes of the spots found can extract at least one of two values MIN_AREA and MAX_AREA corresponding to two possible points of maximum curvature of this diagram. In this case, it can be considered that if MIN_AREA is less than AREA_MEAN - AREA_STD then we only exclude by lower filtering the spots of size less than MIN_AREA and if MAX_AREA is greater than AREA_MEAN + AREA_STD then we exclude by higher filtering than spots larger than MAX_AREA. Depending on the case, this results in an exclusion by filtering of all the spots having a size which does not fall within the range [AREA_MEAN - AREA_STD; AREA_MEAN + AREA_STD], or in the range [MIN_AREA; AREA_MEAN + AREA_STD], or in the range [AREA_MEAN - AREA_STD; MAX_AREA], or in the range [MIN_AREA; MAX_AREA].
Dans l’exemple décrit également, la quatrième sous-étape 102-4 utilise une méthode de regroupement automatique de taches en considérant la connaissance a priori de M groupes de colonnes correspondant aux M colonnes connues de l’organisation matricielle des sorties optiques 38 de la puce photonique 32. Ce regroupement s’opère avantageusement sur la base des abscisses des centres des taches détectées et conservées par filtrage dans l’image binarisée IMb en minimisant les variations d’abscisses intra-classes et en maximisant les variations d’abscisses inter-classes. Ce principe est par exemple mis en œuvre dans la méthode d’optimisation de Jenks (de l’anglais « Jenks optimization method » ou « Jenks natural breaks classification method ») applicable ici.In the example also described, the fourth sub-step 102-4 uses a method of automatic grouping of spots by considering the a priori knowledge of M groups of columns corresponding to the M known columns of the matrix organization of the optical outputs 38 of the photonic chip 32. This grouping is advantageously carried out on the basis of the abscissae of the centers of the spots detected and preserved by filtering in the binarized image IMb by minimizing intra-class abscissa variations and maximizing inter-class abscissa variations. classes. This principle is for example implemented in the Jenks optimization method (“Jenks optimization method” or “Jenks natural breaks classification method”) applicable here.
Au cours d’une étape suivante 104 réalisée par exécution du module logiciel 60, les M colonnes dans lesquelles ont été réparties les taches par regroupement automatique sont concrètement déterminées sous forme de droites dans l’image IM ou dans l’image binarisée IMb par régression linéaire. Pour chacune des M colonnes à déterminer, cette régression linéaire s’opère avantageusement sur la base des coordonnées des centres des taches ayant été regroupées dans cette colonne. Cela peut par exemple se faire par exécution de la fonction « polyfit » de la bibliothèque numérique « numpy ». On obtient l’image binarisée IMb de la dans laquelle sont représentées les M colonnes C1, …, CM telles que déterminées.During a following step 104 carried out by execution of the software module 60, the M columns in which the spots have been distributed by automatic grouping are concretely determined in the form of straight lines in the image IM or in the binarized image IMb by regression linear. For each of the M columns to be determined, this linear regression is advantageously carried out on the basis of the coordinates of the centers of the spots having been grouped in this column. This can for example be done by executing the “polyfit” function of the “numpy” digital library. We obtain the binarized image IMb of the in which the M columns C 1 , …, C M are represented as determined.
Au cours d’une étape suivante 106 réalisée par exécution du module logiciel 60, une première déviation angulaire α des M colonnes ainsi déterminées dans l’image IM ou dans l’image IMb par rapport aux M colonnes de l’organisation matricielle des sorties optiques 38 de la puce photonique 32 est calculée. Il s’agit par exemple de calculer une déviation angulaire moyenne des M colonnes déterminées dans l’image IM ou dans l’image IMb par rapport à un axe vertical de référence de l’image IM ou de l’image IMb tel que l’axe y des ordonnées.During a following step 106 carried out by execution of the software module 60, a first angular deviation α of the M columns thus determined in the image IM or in the image IMb relative to the M columns of the matrix organization of the optical outputs 38 of the photonic chip 32 is calculated. This involves, for example, calculating an average angular deviation of the M columns determined in the image IM or in the image IMb relative to a vertical reference axis of the image IM or the image IMb such that y axis of the ordinates.
Au cours d’une étape 108 réalisée par exécution du module logiciel 62, les taches de l’image IM sont réparties en N = 24 groupes distincts correspondant aux N = 24 lignes de l’organisation matricielle des sorties optiques 38. Il peut être procédé comme pour l’étape 102, et indépendamment de cette dernière, en quatre sous-étapes : une première sous-étape 108-1 de binarisation par seuillage de l’image IM identique à la sous-étape 102-1, une deuxième sous-étape 108-2 de détection des taches dans l’image binarisée identique à la sous-étape 102-2, une troisième sous-étape 108-3 de filtrage des taches détectées par un critère de taille identique à la sous-étape 102-3, une quatrième sous-étape 108-4 de regroupement automatique des taches détectées et conservées par filtrage en N lignes.During a step 108 carried out by execution of the software module 62, the spots of the image IM are distributed into N = 24 distinct groups corresponding to the N = 24 lines of the matrix organization of the optical outputs 38. It can be carried out as for step 102, and independently of the latter, in four sub-steps: a first sub-step 108-1 of binarization by thresholding of the IM image identical to sub-step 102-1, a second sub-step step 108-2 of detecting spots in the binarized image identical to substep 102-2, a third substep 108-3 of filtering the spots detected by a size criterion identical to substep 102-3 , a fourth sub-step 108-4 for automatic grouping of spots detected and preserved by filtering into N lines.
Si l’étape 108 est exécutée après les étapes 102, 104, 106, ou en tout cas au moins après l’étape 102 comme c’est le cas de l’exemple illustré par la , les sous-étapes 108-1, 108-2 et 108-3 n’ont pas besoin d’être exécutées, comme indiqué en traits interrompus dans la . Il suffit d’exploiter le résultat de la sous-étape 102-3. Quant à la quatrième sous-étape 108-4, dans un mode de réalisation envisageable lorsque les lignes de sorties optiques 38 sont suffisamment éloignées les unes des autres, elle peut procéder du même principe que l’étape 102-4, c’est-à-dire par regroupement automatique s’opérant sur la base des ordonnées des centres des taches détectées et conservées par filtrage dans l’image binarisée IMb en minimisant les variations d’ordonnées intra-classes et en maximisant les variations d’ordonnées inter-classes selon la méthode d’optimisation de Jenks.If step 108 is executed after steps 102, 104, 106, or in any case at least after step 102 as is the case in the example illustrated by , substeps 108-1, 108-2 and 108-3 do not need to be executed, as indicated in broken lines in the . It is enough to exploit the result of substep 102-3. As for the fourth sub-step 108-4, in a possible embodiment when the optical output lines 38 are sufficiently distant from each other, it can proceed from the same principle as step 102-4, that is- i.e. by automatic grouping operating on the basis of the ordinates of the centers of the spots detected and preserved by filtering in the binarized image IMb by minimizing intra-class ordinate variations and maximizing inter-class ordinate variations according to the Jenks optimization method.
Mais lorsque les lignes de sorties optiques 38 sont beaucoup plus rapprochées entre elles que les colonnes, il est effectivement avantageux d’exécuter l’étape 108 après les étapes 102, 104 et 106 pour exploiter le résultat de l’étape 106, à savoir la connaissance de la première déviation angulaire α des colonnes déterminées dans l’image IM ou dans l’image binarisée IMb. En effet, le rapprochement des lignes entre elles et la première déviation angulaire α peuvent être tels que deux taches dont les centres ont des ordonnées très proches voire identiques peuvent en fait appartenir à des lignes différentes compte tenu d’une légère rotation de l’organisation matricielle des sorties optiques 38 dans l’image IM. Dans ce cas, il est proposé une variante pour la sous-étape 108-4. Selon une première possibilité assez générale, cette variante peut comporter un recalage angulaire vertical préalable de l’image IM ou de l’image binarisée IMb selon un angle -α opposé à la première déviation angulaire α, pour ensuite procéder du même principe que l’étape 102-4. Mais si ce n’est pas suffisant pour obtenir un résultat satisfaisant, d’autres possibilités spécifiques à l’organisation matricielle des sorties optiques 38 peuvent être envisagées. Dans l’exemple très spécifique de la , dans lequel les sorties optiques sont disposées en quinconce selon des lignes nettement plus rapprochées entre elles que les colonnes, une méthode spécifique et astucieuse pour l’exécution de la sous-étape 108-4 est proposée. Elle sera détaillée ultérieurement en référence à la .But when the optical output lines 38 are much closer together than the columns, it is actually advantageous to execute step 108 after steps 102, 104 and 106 to exploit the result of step 106, namely the knowledge of the first angular deviation α of the columns determined in the image IM or in the binarized image IMb. Indeed, the rapprochement of the lines between them and the first angular deviation α can be such that two spots whose centers have very close or even identical ordinates can in fact belong to different lines taking into account a slight rotation of the organization matrix of the optical outputs 38 in the image IM. In this case, a variant is proposed for substep 108-4. According to a first fairly general possibility, this variant can include a prior vertical angular registration of the image IM or the binarized image IMb according to an angle -α opposite to the first angular deviation α, to then proceed from the same principle as the step 102-4. But if this is not sufficient to obtain a satisfactory result, other possibilities specific to the matrix organization of the optical outputs 38 can be considered. In the very specific example of the , in which the optical outputs are arranged in a staggered manner along lines that are much closer together than the columns, a specific and clever method for executing substep 108-4 is proposed. It will be detailed later with reference to the .
Au cours d’une étape suivante 110 réalisée par exécution du module logiciel 62, les N lignes dans lesquelles ont été réparties les taches par regroupement automatique sont concrètement déterminées sous forme de droites dans l’image IM ou dans l’image binarisée IMb par régression linéaire. Pour chacune des N lignes à déterminer, cette régression linéaire s’opère avantageusement sur la base des coordonnées des centres des taches ayant été regroupées dans cette ligne. Cela peut par exemple se faire par exécution de la fonction « polyfit » de la bibliothèque numérique « numpy ». On obtient l’image binarisée IMb de la dans laquelle sont représentées les N lignes L1, …, LN telles que déterminées.During a following step 110 carried out by execution of the software module 62, the N lines in which the spots have been distributed by automatic grouping are concretely determined in the form of straight lines in the image IM or in the binarized image IMb by regression linear. For each of the N lines to be determined, this linear regression is advantageously carried out on the basis of the coordinates of the centers of the spots having been grouped in this line. This can for example be done by executing the “polyfit” function of the “numpy” digital library. We obtain the binarized image IMb of the in which the N lines L 1 , …, L N are represented as determined.
Au cours d’une étape suivante 112 réalisée par exécution du module logiciel 62, une deuxième déviation angulaire β des N lignes ainsi déterminées dans l’image IM ou dans l’image binarisée IMb par rapport aux N lignes de l’organisation matricielle des sorties optiques 38 de la puce photonique 32 est calculée. Il s’agit par exemple de calculer une déviation angulaire moyenne des N lignes déterminées dans l’image IM ou dans l’image binarisée IMb par rapport à un axe horizontal de référence de l’image IM ou de l’image IMb tel que l’axe x des abscisses.During a following step 112 carried out by execution of the software module 62, a second angular deviation β of the N lines thus determined in the image IM or in the binarized image IMb relative to the N lines of the matrix organization of the outputs optics 38 of the photonic chip 32 is calculated. This involves, for example, calculating an average angular deviation of the N lines determined in the image IM or in the binarized image IMb relative to a horizontal reference axis of the image IM or the image IMb such that l x-axis of abscissa.
Au cours d’une étape suivante 114 réalisée par exécution du module logiciel 64, un score de parallélisme Sp est calculé, par exemple Sp = α/β. En outre, une valeur seuil σp peut être prédéterminée pour juger d’un bon parallélisme entre l’organisation matricielle des sorties optiques 38 et la caméra CCD 42, selon le critère suivant :
  • le parallélisme est acceptable si et seulement si σp ≤ Sp ≤ 1/σp, avec σp proche de 1 par valeur inférieure, par exemple égal à 0,95.
During a following step 114 carried out by execution of the software module 64, a parallelism score Sp is calculated, for example Sp = α/β. In addition, a threshold value σ p can be predetermined to judge good parallelism between the matrix organization of the optical outputs 38 and the CCD camera 42, according to the following criterion:
  • parallelism is acceptable if and only if σ p ≤ Sp ≤ 1/σ p , with σ p close to 1 by lower value, for example equal to 0.95.
Au cours d’une étape suivante 116 réalisée par exécution du module logiciel 64, une image de masque IMref est engendrée à partir des M colonnes et N lignes déterminées par régressions linéaires dans l’image IM ou dans l’image binarisée IMb. Des taches de référence aux dimensions prédéterminées y sont disposées en étant centrées sur les intersections de lignes et colonnes correspondant aux sorties optiques 38 de la puce photonique 32, c’est-à-dire en quinconce dans l’exemple de la . Ces taches de référence sont par exemple elliptiques et de mêmes dimensions. Les deux images IMref et IMb sont alors superposées pour faire correspondre les taches elliptiques de référence et les taches de l’image binarisée IMb comme illustré par la .During a following step 116 carried out by execution of the software module 64, a mask image IMref is generated from the M columns and N lines determined by linear regressions in the image IM or in the binarized image IMb. Reference spots with predetermined dimensions are arranged there, being centered on the intersections of lines and columns corresponding to the optical outputs 38 of the photonic chip 32, that is to say staggered in the example of the . These reference spots are for example elliptical and of the same dimensions. The two images IMref and IMb are then superimposed to match the reference elliptical spots and the spots of the binarized image IMb as illustrated by the .
Au cours d’une étape suivante 118 réalisée par exécution du module logiciel 64, un score d’alignement Sa est alors calculé. Ce calcul consiste tout d’abord à calculer pour chaque tache notée Ti de l’image binarisée IMb : (1) la surface totale de cette tache, notée Si et par exemple exprimée en nombre de pixels blancs appartenant à cette tache ; (2) la surface partielle de cette tache incluse dans la tache elliptique de référence correspondante dans l’image de masque IMref par superposition, notée δSi et par exemple exprimée elle aussi en nombre de pixels blancs appartenant à cette tache et à la tache elliptique de référence correspondante. On obtient le score Sa par l’équation suivante :During a following step 118 carried out by execution of the software module 64, an alignment score Sa is then calculated. This calculation consists first of all in calculating for each spot denoted Ti of the binarized image IMb: (1) the total surface area of this spot, denoted Si and for example expressed in the number of white pixels belonging to this spot; (2) the partial surface of this spot included in the corresponding elliptical reference spot in the mask image IMref by superposition, denoted δSi and for example also expressed in the number of white pixels belonging to this spot and to the elliptical spot of corresponding reference. We obtain the Sa score by the following equation:
On observe que le score Sa est toujours compris dans l’intervalle [0 ; 1]. Plus il est proche de 1, plus l’alignement est correct, plus il est proche de 0, plus l’alignement est mauvais. Une valeur seuil prédéterminée d’acceptabilité de l’alignement peut être fixée, par exemple à σa = 0,6.We observe that the score Sa is always included in the interval [0; 1]. The closer it is to 1, the better the alignment, the closer it is to 0, the worse the alignment. A predetermined threshold value for acceptability of the alignment can be set, for example at σ a = 0.6.
On notera que les étapes 114, 116 et 118 sont deux exemples non limitatifs d’exploitation des deux déviations angulaires α et β calculées aux étapes 106 et 112. Plus généralement, le calcul de ces deux déviations angulaires permet de caractériser l’alignement de caméra conformément aux principes généraux de la présente invention. Plus généralement encore, la détermination des M colonnes et N lignes dans l’image de taches par régressions linéaires permet de caractériser l’alignement de caméra conformément aux principes essentiels de la présente invention. Ces principes essentiels sont les exécutions des étapes 102, 104, 108 et 110 précitées.Note that steps 114, 116 and 118 are two non-limiting examples of exploitation of the two angular deviations α and β calculated in steps 106 and 112. More generally, the calculation of these two angular deviations makes it possible to characterize the camera alignment in accordance with the general principles of the present invention. Even more generally, the determination of the M columns and N lines in the image of spots by linear regressions makes it possible to characterize the camera alignment in accordance with the essential principles of the present invention. These essential principles are the executions of steps 102, 104, 108 and 110 mentioned above.
Comme évoqué précédemment, la illustre un mode de réalisation possible et très spécifique de la sous-étape 108-4 de regroupement automatique lorsque les sorties optiques 38 sont disposées en quinconce selon des lignes nettement plus rapprochées entre elles que les colonnes et conformément à la disposition schématisée dans la .As mentioned previously, the illustrates a possible and very specific embodiment of the automatic grouping sub-step 108-4 when the optical outputs 38 are arranged in a staggered manner along lines that are significantly closer together than the columns and in accordance with the arrangement shown schematically in the .
Au cours d’une première étape 200 de cette sous-étape 108-4, seules les colonnes paires de taches détectées à la sous-étape 102-4 sont sélectionnées pour tenir compte de la disposition en quinconce des sorties optiques 38 et détecter ainsi les lignes impaires de taches. Une connaissance a priori de la disposition des lignes impaires est exploitée pour y regrouper les taches détectées, telle que : la distance d entre deux lignes impaires successives des sorties optiques ; l’ordonnée attendue y0 de la première tache de chaque colonne paire, c’est-à-dire l’ordonnée attendue de chaque tache de la première ligne impaire. Par ailleurs, une tolérance Δy autour d’une ordonnée cible de tache dans chaque colonne paire est prédéfinie, un indice i de ligne impaire est initialisé à 0 et toutes les taches de l’image binarisée IMb sont sélectionnables.During a first step 200 of this sub-step 108-4, only the even columns of spots detected in sub-step 102-4 are selected to take into account the staggered arrangement of the optical outputs 38 and thus detect the odd lines of spots. A priori knowledge of the arrangement of the odd lines is used to group the detected spots, such as: the distance d between two successive odd lines of the optical outputs; the expected ordinate y 0 of the first spot in each even column, that is to say the expected ordinate of each spot in the first odd row. Furthermore, a tolerance Δy around a target spot ordinate in each even column is predefined, an odd row index i is initialized to 0 and all the spots of the binarized image IMb are selectable.
Au cours d’une étape suivante 202, la tache sélectionnable de plus petite ordonnée de chaque colonne paire est sélectionnée. Il est vérifié pour cette tache que son ordonnée y est bien comprise entre y0 + i.d.tan(α) - Δy et y0 + i.d.tan(α) + Δy. Si c’est le cas, la tache considérée est classée dans la (i+1)-ième ligne impaire et supprimée de la liste des taches sélectionnables. Si ce n’est pas le cas, elle n’est pas classée dans la (i+1)-ième ligne impaire mais reste dans la liste des taches sélectionnables.During a following step 202, the selectable spot with the smallest ordinate of each even column is selected. It is verified for this spot that its y ordinate is indeed between y 0 + idtan(α) - Δy and y 0 + idtan(α) + Δy. If this is the case, the task considered is classified in the (i+1)-th odd line and deleted from the list of selectable tasks. If this is not the case, it is not classified in the (i+1)-th odd line but remains in the list of selectable tasks.
Au cours d’une étape suivante 204, l’indice i est incrémenté d’une unité.During a following step 204, the index i is incremented by one unit.
Au cours d’une étape de test suivante 206, tant que l’indice iMAX = N/2 de la dernière ligne impaire n’a pas été atteint, on retourne à l’étape 202. Sinon on passe à une étape 208.During a following test step 206, as long as the index i MAX = N/2 of the last odd line has not been reached, we return to step 202. Otherwise we go to a step 208.
L’étape 208 est similaire à l’étape 200, mais seules les colonnes impaires de taches détectées à la sous-étape 102-4 sont sélectionnées pour tenir compte de la disposition en quinconce des sorties optiques 38 et détecter ainsi les lignes paires de taches. De nouveau, une connaissance a priori de la disposition des lignes paires est exploitée pour y regrouper les taches détectées, telle que : la distance d entre deux lignes paires successives des sorties optiques ; l’ordonnée attendue y0 de la première tache de chaque colonne impaire, c’est-à-dire l’ordonnée attendue de chaque tache de la première ligne paire. Par ailleurs, une tolérance Δy autour d’une ordonnée cible de tache dans chaque colonne impaire est prédéfinie, un indice i de ligne paire est initialisé à 0 et toutes les taches de l’image binarisée IMb sont sélectionnables.Step 208 is similar to step 200, but only the odd columns of spots detected in substep 102-4 are selected to take into account the staggered arrangement of the optical outputs 38 and thus detect the even rows of spots . Again, a priori knowledge of the arrangement of the even lines is used to group the detected spots, such as: the distance d between two successive even lines of the optical outputs; the expected ordinate y 0 of the first spot in each odd column, that is to say the expected ordinate of each spot in the first even row. Furthermore, a tolerance Δy around a target spot ordinate in each odd column is predefined, an index i of even row is initialized to 0 and all the spots of the binarized image IMb are selectable.
Au cours d’une étape suivante 210 similaire à l’étape 202, la tache sélectionnable de plus petite ordonnée de chaque colonne impaire est sélectionnée. Il est vérifié pour cette tache que son ordonnée y est bien comprise entre y0 + i.d.tan(α) - Δy et y0 + i.d.tan(α) + Δy. Si c’est le cas, la tache considérée est classée dans la (i+1)-ième ligne paire et supprimée de la liste des taches sélectionnables. Si ce n’est pas le cas, elle n’est pas classée dans la (i+1)-ième ligne paire mais reste dans la liste des taches sélectionnables.During a following step 210 similar to step 202, the selectable spot with the smallest ordinate of each odd column is selected. It is verified for this spot that its y ordinate is indeed between y 0 + idtan(α) - Δy and y 0 + idtan(α) + Δy. If this is the case, the task considered is classified in the (i+1)-th even line and deleted from the list of selectable tasks. If this is not the case, it is not classified in the (i+1)-th even line but remains in the list of selectable tasks.
Au cours d’une étape suivante 212 identique à l’étape 204, l’indice i est incrémenté d’une unité.During a following step 212 identical to step 204, the index i is incremented by one unit.
Au cours d’une étape de test suivante 214 similaire à l’étape 206, tant que l’indice iMAX = N/2 de la dernière ligne paire n’a pas été atteint, on retourne à l’étape 210. Sinon la sous-étape 108-4 de regroupement automatique est considérée comme terminée (étape finale 216).During a following test step 214 similar to step 206, as long as the index i MAX = N/2 of the last even line has not been reached, we return to step 210. Otherwise the automatic grouping substep 108-4 is considered completed (final step 216).
Un procédé de fabrication de capteur à puce photonique va maintenant être détaillé en référence à la , selon un mode de réalisation possible de la présente invention.A process for manufacturing a photonic chip sensor will now be detailed with reference to the , according to a possible embodiment of the present invention.
Au cours d’une première étape 300, le capteur à puce photonique 28, 30 est assemblé notamment par disposition de la caméra CCD 42 face aux sorties optiques 38 organisées matriciellement en M colonnes et N lignes sur la face supérieure 32B de la puce photonique 32.During a first step 300, the photonic chip sensor 28, 30 is assembled in particular by arrangement of the CCD camera 42 facing the optical outputs 38 organized matrixly in M columns and N lines on the upper face 32B of the photonic chip 32 .
Au cours d’une étape suivante 302, une image de taches est acquise, telle que l’image IM de la .During a following step 302, an image of spots is acquired, such as the image IM of the .
Au cours d’une étape suivante 304, les étapes 102 à 112 du procédé de caractérisation d’un alignement de la caméra CCD 42 de la sont exécutées pour l’obtention des déviations angulaires α et β.During a following step 304, steps 102 to 112 of the method of characterizing an alignment of the CCD camera 42 of the are executed to obtain the angular deviations α and β.
Au cours d’une étape 306 suivante, l’étape 114 du procédé de la est exécutée pour l’obtention du score de parallélisme Sp.During a following step 306, step 114 of the method of is executed to obtain the parallelism score Sp.
Au cours d’une étape de test 308 suivante, le score de parallélisme Sp est comparé à l’intervalle [σp  ; 1/σp]. Si Sp n’est pas dans cet intervalle, alors le procédé de fabrication retourne à l’étape 300 pour améliorer le positionnement de la caméra CCD 42 par rapport aux sorties optiques 38 en ajustant sa disposition. Si Sp est dans cet intervalle, alors le procédé de fabrication passe à une étape 310 d’information du bon parallélisme de la caméra CCD 42 et de la fin de l’ajustement de caméra pour une poursuite de la fabrication du capteur à puce photonique de façon connue en soi.During a following test step 308, the parallelism score Sp is compared to the interval [σ p  ; 1/ σp ]. If Sp is not in this interval, then the manufacturing process returns to step 300 to improve the positioning of the CCD camera 42 relative to the optical outputs 38 by adjusting its arrangement. If Sp is in this interval, then the manufacturing process passes to a step 310 of information about the good parallelism of the CCD camera 42 and the end of the camera adjustment for continued manufacturing of the photonic chip sensor of manner known per se.
Un procédé d’étalonnage de capteur à puce photonique va maintenant être détaillé en référence à la , selon un mode de réalisation possible de la présente invention.A photonic chip sensor calibration method will now be detailed with reference to the , according to a possible embodiment of the present invention.
Au cours d’une première étape 400, une image de taches est acquise, telle que l’image IM de la .During a first step 400, an image of spots is acquired, such as the IM image of the .
Au cours d’une étape suivante 402, les étapes 102 à 112 du procédé de caractérisation d’un alignement de la caméra CCD 42 de la sont exécutées pour l’obtention des déviations angulaires α et β.During a following step 402, steps 102 to 112 of the method of characterizing an alignment of the CCD camera 42 of the are executed to obtain the angular deviations α and β.
Au cours d’une étape 404 suivante, les étapes 114, 116 et 118 du procédé de la sont exécutées pour l’obtention du score d’alignement Sa et du score de parallélisme Sp.During a following step 404, steps 114, 116 and 118 of the method of are executed to obtain the alignment score Sa and the parallelism score Sp.
Au cours d’une étape de test 406 suivante, le score d’alignement Sa est comparé à la valeur seuil σa = 0,6. Si Sa est strictement inférieur à σa, alors le procédé d’étalonnage passe à une étape 408 d’ajustement d’au moins un paramètre d’acquisition d’une nouvelle image de taches puis retourne à l’étape 400. Un exemple de paramètre d’acquisition qui peut être ajusté est le temps d’exposition de la caméra CCD 42. A titre d’exemple non limitatif, pour l’acquisition d’une image à 256 niveaux de gris, il peut être a priori réglé pour atteindre une valeur maximale de niveau de gris des pixels de l’image de taches IM à 150. Il peut ensuite être ajusté à la hausse lors de l’étape 408 pour atteindre une valeur maximale de 170 ou plus, tout en se fixant une limite supérieure à 200 par exemple.During a following test step 406, the alignment score Sa is compared to the threshold value σ a = 0.6. If Sa is strictly less than σ a , then the calibration process passes to a step 408 of adjusting at least one parameter for acquiring a new image of spots then returns to step 400. An example of acquisition parameter which can be adjusted is the exposure time of the CCD camera 42. As a non-limiting example, for the acquisition of an image at 256 gray levels, it can be a priori adjusted to reach a maximum gray level value of the pixels of the IM spot image at 150. It can then be adjusted upwards in step 408 to reach a maximum value of 170 or more, while setting an upper limit at 200 for example.
Si Sa est supérieur ou égal à σa lors du test 406, alors le procédé d’étalonnage passe à une étape 410 d’information du bon alignement des sorties optiques dans l’image de taches acquise à l’étape 400 et de la fin de l’étalonnage.If Sa is greater than or equal to σ a during test 406, then the calibration process passes to a step 410 of informing of the correct alignment of the optical outputs in the spot image acquired in step 400 and the end of calibration.
Au cours d’une étape de test 412 qui suit également l’étape 404, le score de parallélisme Sp est comparé à l’intervalle [σp  ; 1/σp]. Si Sp n’est pas dans cet intervalle, alors le procédé d’étalonnage passe à une étape 414 d’information du mauvais parallélisme de la caméra CCD 42 en vue d’un éventuel réajustement de cette dernière. Si Sp est dans cet intervalle, alors le procédé d’étalonnage passe à une étape 416 d’information du bon parallélisme de la caméra CCD 42.During a test step 412 which also follows step 404, the parallelism score Sp is compared to the interval [σ p  ; 1/ σp ]. If Sp is not in this interval, then the calibration process passes to a step 414 of information about the poor parallelism of the CCD camera 42 with a view to possible readjustment of the latter. If Sp is in this interval, then the calibration process passes to a step 416 of informing of the correct parallelism of the CCD camera 42.
Il apparaît clairement qu’un dispositif/procédé de caractérisation d’un alignement de caméra tel que celui décrit précédemment permet de caractériser automatiquement et surtout très simplement le parallélisme de la caméra d’un capteur à puce photonique pendant sa fabrication ou son utilisation, ainsi que le bon alignement des sorties optiques de la puce photonique.It clearly appears that a device/process for characterizing a camera alignment such as that described above makes it possible to automatically and above all very simply characterize the parallelism of the camera of a photonic chip sensor during its manufacture or use, as well as as the correct alignment of the optical outputs of the photonic chip.
On notera par ailleurs que l’invention n’est pas limitée aux modes de réalisation décrits précédemment. Il apparaîtra en effet à l'homme de l'art que diverses modifications peuvent être apportées aux modes de réalisation décrits ci-dessus, à la lumière de l'enseignement qui vient de lui être divulgué. Dans la présentation détaillée de l’invention qui est faite précédemment, les termes utilisés ne doivent pas être interprétés comme limitant l’invention aux modes de réalisation exposés dans la présente description, mais doivent être interprétés pour y inclure tous les équivalents dont la prévision est à la portée de l'homme de l'art en appliquant ses connaissances générales à la mise en œuvre de l'enseignement qui vient de lui être divulgué.It should also be noted that the invention is not limited to the embodiments described above. It will indeed appear to those skilled in the art that various modifications can be made to the embodiments described above, in light of the teaching which has just been disclosed to him. In the detailed presentation of the invention which is made previously, the terms used should not be interpreted as limiting the invention to the embodiments set out in the present description, but must be interpreted to include all the equivalents for which the prediction is within the reach of those skilled in the art by applying their general knowledge to the implementation of the teaching which has just been disclosed to them.

Claims (10)

  1. Dispositif (20) de caractérisation d’un alignement de caméra comportant :
    • un capteur à puce photonique (28, 30) comportant :
      • une puce photonique (32) à pluralité de sorties optiques (38) organisées matriciellement en M colonnes et N lignes, et
      • une caméra (42) disposée face à cette organisation matricielle des sorties optiques (38) ; et
    • une unité de traitement (48) conçue (60, 62, 64) pour traiter numériquement une image de taches (IM) correspondant aux sorties optiques (38) de la puce photonique (32), cette image étant fournie par la caméra (42) ;
    caractérisé en ce que l’unité de traitement (48) est plus précisément conçue pour :
    • répartir (60) au moins une partie des taches de l’image (IM) dans M groupes distincts correspondant aux M colonnes et déterminer (60) ces M colonnes dans l’image de taches (IM) par régression linéaire ;
    • répartir (62) au moins une partie des taches de l’image (IM) dans N groupes distincts correspondant aux N lignes et déterminer (62) ces N lignes dans l’image de taches (IM) par régression linéaire ; et
    • caractériser (64) l’alignement de caméra par ces M colonnes et N lignes déterminées dans l’image de taches (IM).
    Device (20) for characterizing a camera alignment comprising:
    • a photonic chip sensor (28, 30) comprising:
      • a photonic chip (32) with a plurality of optical outputs (38) organized matrixly in M columns and N lines, and
      • a camera (42) arranged facing this matrix organization of the optical outputs (38); And
    • a processing unit (48) designed (60, 62, 64) to digitally process an image of spots (IM) corresponding to the optical outputs (38) of the photonic chip (32), this image being provided by the camera (42) ;
    characterized in that the processing unit (48) is more precisely designed to:
    • distribute (60) at least part of the spots in the image (IM) into M distinct groups corresponding to the M columns and determine (60) these M columns in the image of spots (IM) by linear regression;
    • distribute (62) at least part of the spots in the image (IM) into N distinct groups corresponding to the N lines and determine (62) these N lines in the spot image (IM) by linear regression; And
    • characterize (64) the camera alignment by these M columns and N lines determined in the spot image (IM).
  2. Procédé de caractérisation d’un alignement de caméra dans un capteur à puce photonique (28, 30), ce capteur comportant :
    • une puce photonique (32) à pluralité de sorties optiques (38) organisées matriciellement en M colonnes et N lignes ; et
    • une caméra (42) disposée face à cette organisation matricielle des sorties optiques (38) ;
    le procédé comportant une étape de capture (100), par la caméra (42), d’une image de taches (IM) correspondant aux sorties optiques (38) de la puce photonique (32) et étant caractérisé en ce qu’il comporte en outre les étapes suivantes :
    • répartition (102) d’au moins une partie des taches de l’image (IM) dans M groupes distincts correspondant aux M colonnes et détermination (104) de ces M colonnes dans l’image de taches (IM) par régression linéaire ;
    • répartition (108) d’au moins une partie des taches de l’image (IM) dans N groupes distincts correspondant aux N lignes et détermination (110) de ces N lignes dans l’image de taches (IM) par régression linéaire ; et
    • caractérisation (114, 116, 118) de l’alignement de caméra par ces M colonnes et N lignes déterminées dans l’image de taches (IM).
    Method for characterizing camera alignment in a photonic chip sensor (28, 30), this sensor comprising:
    • a photonic chip (32) with a plurality of optical outputs (38) organized matrixly in M columns and N lines; And
    • a camera (42) arranged facing this matrix organization of the optical outputs (38);
    the method comprising a step of capturing (100), by the camera (42), an image of spots (IM) corresponding to the optical outputs (38) of the photonic chip (32) and being characterized in that it comprises in addition the following steps:
    • distribution (102) of at least part of the spots of the image (IM) in M distinct groups corresponding to the M columns and determination (104) of these M columns in the image of spots (IM) by linear regression;
    • distribution (108) of at least part of the spots of the image (IM) in N distinct groups corresponding to the N lines and determination (110) of these N lines in the image of spots (IM) by linear regression; And
    • characterization (114, 116, 118) of the camera alignment by these M columns and N lines determined in the spot image (IM).
  3. Procédé de caractérisation d’un alignement de caméra selon la revendication 2, dans lequel la répartition (102) d’au moins une partie des taches de l’image (IM) dans M groupes distincts correspondant aux M colonnes et/ou la répartition (108) d’au moins une partie des taches de l’image (IM) dans N groupes distincts correspondant aux N lignes comporte :
    • une première sous-étape (102-1, 108-1) de binarisation par seuillage de l’image de taches (IM) ;
    • une deuxième sous-étape (102-2, 108-2) de détection des taches dans l’image binarisée (IMb) ;
    • une troisième sous-étape (102-3, 108-3) de filtrage des taches détectées par un critère de taille ; et
    • une quatrième sous-étape (102-4, 108-4) de regroupement automatique des taches détectées et conservées par filtrage en M colonnes et/ou en N lignes.
    Method for characterizing a camera alignment according to claim 2, in which the distribution (102) of at least part of the spots of the image (IM) in M distinct groups corresponding to the M columns and/or the distribution ( 108) of at least part of the spots of the image (IM) in N distinct groups corresponding to the N lines includes:
    • a first sub-step (102-1, 108-1) of binarization by thresholding of the spot image (IM);
    • a second sub-step (102-2, 108-2) for detecting spots in the binarized image (IMb);
    • a third sub-step (102-3, 108-3) of filtering the spots detected by a size criterion; And
    • a fourth sub-step (102-4, 108-4) for automatically grouping the spots detected and preserved by filtering into M columns and/or N lines.
  4. Procédé de caractérisation d’un alignement de caméra selon la revendication 3, dans lequel la détection (102-2, 108-2) de taches dans l’image binarisée (IMb) comporte un placement de boîtes englobantes autour de ces taches dans l’image binarisée (IMb), de manière à associer à chaque tache trouvée des paramètres comportant au moins les coordonnées d’un centre de la tache et une taille de la tache.A method of characterizing a camera alignment according to claim 3, wherein the detection (102-2, 108-2) of spots in the binarized image (IMb) comprises placing bounding boxes around these spots in the binarized image (IMb), so as to associate with each spot found parameters comprising at least the coordinates of a center of the spot and a size of the spot.
  5. Procédé de caractérisation d’un alignement de caméra selon la revendication 4, dans lequel le regroupement automatique (102-4, 108-4) des taches détectées et conservées par filtrage en M colonnes et/ou en N lignes comporte :
    • un regroupement automatique (102-4) des taches détectées et conservées par filtrage en M colonnes sur la base d’abscisses des centres des taches détectées et conservées par filtrage dans l’image binarisée (IMb) en minimisant des variations d’abscisses intra-classes et en maximisant des variations d’abscisses inter-classes ; et/ou
    • un regroupement automatique (108-4) des taches détectées et conservées par filtrage en N lignes sur la base d’ordonnées des centres des taches détectées et conservées par filtrage dans l’image binarisée (IMb) en minimisant des variations d’abscisses intra-classes et en maximisant des variations d’abscisses inter-classes.
    Method for characterizing a camera alignment according to claim 4, in which the automatic grouping (102-4, 108-4) of the spots detected and preserved by filtering in M columns and/or in N lines comprises:
    • an automatic grouping (102-4) of the spots detected and preserved by filtering in M columns on the basis of abscissae of the centers of the spots detected and preserved by filtering in the binarized image (IMb) by minimizing variations of intra-abscissae classes and maximizing inter-class abscissa variations; and or
    • an automatic grouping (108-4) of the spots detected and preserved by filtering in N lines on the basis of ordinates of the centers of the spots detected and preserved by filtering in the binarized image (IMb) by minimizing intra-abscissa variations classes and maximizing inter-class abscissa variations.
  6. Procédé de caractérisation d’un alignement de caméra selon l’une quelconque des revendications 2 à 5, comportant en outre les étapes suivantes :
    • calcul (106) d’une première déviation angulaire des M colonnes déterminées dans l’image de taches (IM) par rapport aux M colonnes de l’organisation matricielle des sorties optiques (38) de la puce photonique (32) ;
    • calcul (112) d’une deuxième déviation angulaire des N lignes déterminées dans l’image de taches (IM) par rapport aux N lignes de l’organisation matricielle des sorties optiques (38) de la puce photonique (32) ; et
    • caractérisation (114) de l’alignement de caméra par ces deux déviations angulaires.
    Method for characterizing a camera alignment according to any one of claims 2 to 5, further comprising the following steps:
    • calculation (106) of a first angular deviation of the M columns determined in the spot image (IM) relative to the M columns of the matrix organization of the optical outputs (38) of the photonic chip (32);
    • calculation (112) of a second angular deviation of the N lines determined in the spot image (IM) relative to the N lines of the matrix organization of the optical outputs (38) of the photonic chip (32); And
    • characterization (114) of the camera alignment by these two angular deviations.
  7. Procédé de fabrication d’un capteur à puce photonique (28, 30), comportant les étapes suivantes :
    • assemblage (300) du capteur (28, 30) par disposition ou ajustement d’une caméra (42) face aux sorties optiques (38) d’une puce photonique (32) à pluralité de sorties optiques (38) organisées matriciellement en M colonnes et N lignes ;
    • application (302, 304) d’un procédé de caractérisation d’un alignement de caméra selon la revendication 6 ;
    • calcul (306) d’un coefficient de parallélisme défini en tant que ratio des première et deuxième déviations angulaires calculées ; et
    • répétition des trois étapes précédentes (300, 302, 304, 306) tant que ce ratio n’est pas compris dans un intervalle prédéterminé autour de 1.
    Method for manufacturing a photonic chip sensor (28, 30), comprising the following steps:
    • assembly (300) of the sensor (28, 30) by arrangement or adjustment of a camera (42) facing the optical outputs (38) of a photonic chip (32) with a plurality of optical outputs (38) organized matrixly in M columns and N lines;
    • application (302, 304) of a method for characterizing a camera alignment according to claim 6;
    • calculation (306) of a parallelism coefficient defined as the ratio of the first and second calculated angular deviations; And
    • repetition of the three previous steps (300, 302, 304, 306) as long as this ratio is not included in a predetermined interval around 1.
  8. Procédé d’étalonnage d’un capteur à puce photonique (28, 30), comportant les étapes suivantes :
    • application (400, 402) d’un procédé de caractérisation d’un alignement de caméra selon l’une quelconque des revendications 2 à 6 ;
    • génération (404) d’une image de masque de référence (IMref) à partir des M colonnes et N lignes déterminées dans l’image de taches (IM), cette image de masque de référence (IMref) comportant une modélisation des sorties optiques sous la forme de taches de référence aux dimensions prédéterminées centrées sur des intersections des M colonnes et N lignes déterminées dans l’image de taches (IM) ;
    • calcul (404) d’un coefficient d’alignement défini en tant que ratio :
      • d’une somme de surfaces partielles des taches de l’image de taches (IM) incluses dans les taches de référence par superposition de l’image de taches (IM) et de l’image de masque de référence (IMref), et
      • d’une somme de surfaces totales des taches de l’image de taches (IM) ; et
    • répétition d’un ajustement (408) d’au moins un paramètre d’acquisition d’une nouvelle d’image de taches (IM) et des trois étapes précédentes (400, 402, 404) tant que ce ratio n’est pas supérieur à un seuil prédéterminé.
    Method for calibrating a photonic chip sensor (28, 30), comprising the following steps:
    • application (400, 402) of a method for characterizing a camera alignment according to any one of claims 2 to 6;
    • generation (404) of a reference mask image (IMref) from the M columns and N lines determined in the spot image (IM), this reference mask image (IMref) comprising a modeling of the optical outputs under the shape of reference spots with predetermined dimensions centered on intersections of the M columns and N lines determined in the spot image (IM);
    • calculation (404) of an alignment coefficient defined as a ratio:
      • a sum of partial areas of the spots of the spot image (IM) included in the reference spots by superposition of the spot image (IM) and the reference mask image (IMref), and
      • a sum of total areas of the spots of the spot image (IM); And
    • repetition of an adjustment (408) of at least one parameter for acquiring a new spot image (IM) and of the three previous steps (400, 402, 404) as long as this ratio is not greater at a predetermined threshold.
  9. Procédé d’étalonnage d’un capteur à puce photonique (28, 30) selon la revendication 8, dans lequel l’ajustement (408) dudit au moins un paramètre d’acquisition comporte l’ajustement d’un temps d’exposition de la caméra (42).Method for calibrating a photonic chip sensor (28, 30) according to claim 8, in which the adjustment (408) of said at least one acquisition parameter comprises the adjustment of an exposure time of the camera (42).
  10. Programme d’ordinateur (60, 62, 64) téléchargeable depuis un réseau de communication et/ou enregistré sur un support (50) lisible par ordinateur (46 ; 66) et/ou exécutable par un processeur (48) programmé pour traiter numériquement une image de taches (IM) correspondant aux sorties optiques (38) d’une puce photonique (32) à pluralité de sorties optiques (38) organisées matriciellement en M colonnes et N lignes, cette image (IM) étant fournie par une caméra (42) disposée face à l’organisation matricielle des sorties optiques (38) de la puce photonique (32), le programme d’ordinateur (60, 62, 64) étant caractérisé en ce qu’il comprend des instructions pour l’exécution des étapes suivantes :
    • répartition (102) d’au moins une partie des taches de l’image (IM) dans M groupes distincts correspondant aux M colonnes et détermination (104) de ces M colonnes dans l’image de taches (IM) par régression linéaire ;
    • répartition (108) d’au moins une partie des taches de l’image (IM) dans N groupes distincts correspondant aux N lignes et détermination (110) de ces N lignes dans l’image de taches (IM) par régression linéaire ; et
    • caractérisation (114, 116, 118) de l’alignement de caméra par ces M colonnes et N lignes déterminées dans l’image de taches (IM) ;
    lorsque ledit programme (60, 62, 64) est exécuté sur un ordinateur (46 ; 66).
    Computer program (60, 62, 64) downloadable from a communications network and/or recorded on a computer-readable medium (50) (46; 66) and/or executable by a processor (48) programmed to digitally process a image of spots (IM) corresponding to the optical outputs (38) of a photonic chip (32) with a plurality of optical outputs (38) organized matrixly in M columns and N lines, this image (IM) being provided by a camera (42 ) arranged facing the matrix organization of the optical outputs (38) of the photonic chip (32), the computer program (60, 62, 64) being characterized in that it comprises instructions for the execution of the steps following:
    • distribution (102) of at least part of the spots of the image (IM) in M distinct groups corresponding to the M columns and determination (104) of these M columns in the image of spots (IM) by linear regression;
    • distribution (108) of at least part of the spots of the image (IM) in N distinct groups corresponding to the N lines and determination (110) of these N lines in the image of spots (IM) by linear regression; And
    • characterization (114, 116, 118) of the camera alignment by these M columns and N lines determined in the spot image (IM);
    when said program (60, 62, 64) is executed on a computer (46; 66).
PCT/IB2023/052089 2022-03-11 2023-03-06 Device and method for characterising camera alignment in a photonic chip-based sensor WO2023170551A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2202173 2022-03-11
FR2202173A FR3133474B1 (en) 2022-03-11 2022-03-11 Device and method for characterizing camera alignment in a photonic chip sensor

Publications (1)

Publication Number Publication Date
WO2023170551A1 true WO2023170551A1 (en) 2023-09-14

Family

ID=82694032

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2023/052089 WO2023170551A1 (en) 2022-03-11 2023-03-06 Device and method for characterising camera alignment in a photonic chip-based sensor

Country Status (2)

Country Link
FR (1) FR3133474B1 (en)
WO (1) WO2023170551A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001029756A2 (en) * 1999-10-21 2001-04-26 3M Innovative Properties Company Autogrid analysis
US20110268347A1 (en) * 2010-04-30 2011-11-03 Complete Genomics, Inc. Method and system for accurate alignment and registration of array for dna sequencing
US20180058882A1 (en) * 2016-09-01 2018-03-01 Mitsubishi Electric Corporation Calibration device and calibration method
WO2021053285A1 (en) 2019-09-19 2021-03-25 Aryballe Technologies Odour detection device, corresponding odour detection method and computer program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001029756A2 (en) * 1999-10-21 2001-04-26 3M Innovative Properties Company Autogrid analysis
US20110268347A1 (en) * 2010-04-30 2011-11-03 Complete Genomics, Inc. Method and system for accurate alignment and registration of array for dna sequencing
US20180058882A1 (en) * 2016-09-01 2018-03-01 Mitsubishi Electric Corporation Calibration device and calibration method
WO2021053285A1 (en) 2019-09-19 2021-03-25 Aryballe Technologies Odour detection device, corresponding odour detection method and computer program

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HALIR ET AL.: "Direct and sensitive phase readout for integrated waveguide sensors", IEEE PHOTONICS JOURNAL, vol. 5, no. 4, August 2013 (2013-08-01), XP011526126, DOI: 10.1109/JPHOT.2013.2276747
HALIR R ET AL: "Direct and Sensitive Phase Readout for Integrated Waveguide Sensors", IEEE PHOTONICS JOURNAL, IEEE, USA, vol. 5, no. 4, August 2013 (2013-08-01), pages 6800906, XP011526126, DOI: 10.1109/JPHOT.2013.2276747 *
OTSU: "A threshold sélection method from gray-level histograms", IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS, vol. SMC-9, no. 1, January 1979 (1979-01-01)

Also Published As

Publication number Publication date
FR3133474A1 (en) 2023-09-15
FR3133474B1 (en) 2024-03-22

Similar Documents

Publication Publication Date Title
EP3274689B1 (en) Method and apparatsu for analysing particles
EP3274694B1 (en) Method for determining the state of a cell
EP2661222B1 (en) System and method for analysing at least one characteristic of the skin
EP3906402B1 (en) Method for characterising target compounds
FR2725532A1 (en) AUTOFOCUS MICROSCOPE
EP3388975A1 (en) Device for capturing an impression of a body part
EP1733181A1 (en) Mixed optical and mechanical sensor and associated resetting method
EP2646789B1 (en) Method of determining at least one refraction characteristic of an ophthalmic lens
US6879401B2 (en) Device and method for the examination of thin layers
EP3388976B1 (en) Method for detecting fraud
EP1157261B1 (en) Method and device for analysing a highly dynamic wavefront
WO2023170551A1 (en) Device and method for characterising camera alignment in a photonic chip-based sensor
EP3726423B1 (en) Device and method for biometric acquisition and processing
EP3236241B1 (en) Method and device for measuring optical characteristics of a sample
EP4031854A1 (en) Odour detection device, corresponding odour detection method and computer program
EP3833999B1 (en) System for optical characterization of a zone of interest of an object
EP0939316A2 (en) Method and apparatus for measuring the concentration of especially sugar in fruits and vegetables
FR3032036A1 (en) METHODS AND DEVICES FOR DETECTING SURFACE CONTAMINATION BY FREE-AIR EVOLVING PARTICLES
WO2021204772A1 (en) Method and device for document imaging
WO2016083703A1 (en) Method and device for detecting inoculation and automated inoculation facility provided with such a detection device
FR3106212A1 (en) Electronic device, method and computer program for the olfactory assessment of the state of a product
EP2734813B1 (en) Digital movement measuring device
BE1015708A3 (en) Method for measuring the height of spheres or hemispheres.
WO2023237980A1 (en) Method and computer program for calibrating an electronic device for characterizing a fluid, and corresponding electronic device
WO2023187547A1 (en) Device and method for multivariate measurement of the presence of compounds in a fluid

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23709483

Country of ref document: EP

Kind code of ref document: A1