WO2022253925A1 - Method for constructing an image from an optical device with variable focal length - Google Patents

Method for constructing an image from an optical device with variable focal length Download PDF

Info

Publication number
WO2022253925A1
WO2022253925A1 PCT/EP2022/064972 EP2022064972W WO2022253925A1 WO 2022253925 A1 WO2022253925 A1 WO 2022253925A1 EP 2022064972 W EP2022064972 W EP 2022064972W WO 2022253925 A1 WO2022253925 A1 WO 2022253925A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
focal length
optics
image
distance
Prior art date
Application number
PCT/EP2022/064972
Other languages
French (fr)
Inventor
Ali KHACHLOUF
Tanguy SERRAT
Original Assignee
Squaremind
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR2105767A external-priority patent/FR3123486A1/en
Application filed by Squaremind filed Critical Squaremind
Priority to AU2022286641A priority Critical patent/AU2022286641A1/en
Publication of WO2022253925A1 publication Critical patent/WO2022253925A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/60
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Definitions

  • the field of the invention relates to that of optical devices with variable focal length making it possible to acquire images of a body.
  • the field of the invention relates to the field of liquid lens optical devices making it possible to acquire high-resolution images of a human body and to exploit these images.
  • the field of the invention finds particular application in guiding a robot arm at the end of which an optical device is configured to acquire images of the skin of an individual.
  • optics with a shallow depth of field are generally used.
  • the quality of the image is essential for the a posteriori analysis of the surface of the skin.
  • reduced-field optics are favored to highlight the definition of the colors and roughness of a surface of the skin.
  • the invention relates to a method for acquiring images of a first surface of a human body using an image pickup device comprising variable focal length optics, said method comprising the steps of:
  • One advantage is to make it possible to reconstruct a clear image of a human body in order to make it possible, for example, to categorize dermatological patterns such as moles.
  • the construction of an image of a portion of the surface of the body comprises: cutting out the images of the plurality of images from estimated sharpness information to generate sharp areas and areas blurry;
  • One advantage is to allow reconstruction of a complex surface of the human body by making the most of the optics and the images acquired over the entire area considered.
  • the method comprises a measurement or an estimation of a distance between the variable focal length optics and a first point on the surface of the body, the control law taking into account said distance measured or estimated between the optics with variable focal length and the first point to modify the focal length of the optics between at least two images acquired in the vicinity of the point on the surface of the body.
  • One advantage is to increase the performance of the control law by reducing the range of values of the variation of the focal length. Furthermore, a distance measurement also allows a better estimation of the sharpness of the images.
  • the measurement or estimation of the distance between the variable focal length optics and a first point on the surface of the body is carried out:
  • by a distance measurement combined with known topological information of the body model of the body surface and/or; ⁇ by known topological information of the body model of the surface of the body and position information of the optics with respect to the 3D model and/or;
  • by a measurement of distance combined with a measurement of the local geometry of the imaged zone of the surface of the body and/or, ⁇ by a measurement of the local geometry of the imaged zone of the surface of the body and position information of the optics compared to the 3D model.
  • An advantage is to obtain a better estimate by combining different estimates or measurements of the distance between the varifocal optics and a first point on the surface of the body so as to increase the performance and/or the quality of the result.
  • the measurement, calculation or estimation of the distance between the variable focal length optics and a first point on the surface of the body is carried out either by a measurement or by an estimation: "at the using a means of measuring the distance;
  • the method comprises the steps of: ⁇ Reception of a 3D model of at least a part of a body, said 3D model modeling at least a first surface of said body;
  • the acquisitions of a plurality of images being carried out by varying the focal length of the variable focal length optics according to a control law also taking into account the local topological data of the vicinity of the first point of the first surface.
  • An advantage is to know a topological information of the body which allows on the one hand to optimize the control law in calculation and in time and on the other hand to effectively guide a mobile device if necessary.
  • the first surface of the 3D model is a surface of a human body.
  • the first surface of the 3D model is a cloud of points, in particular a connected graph oriented in space.
  • An advantage is to have easily exploitable metrics to address and superimpose the sharp 3D images reconstructed on the body. Another advantage is to allow easy planning of guidance trajectories on the surface of the body. Another advantage is to make it possible to know the local depths of field of a region of the surface with precision to control the control law of the focal length of the optics.
  • the method comprises the steps of:
  • An advantage is to automatically generate a complete image of a human body by programming a mobile device such as a robot arm in advance.
  • the range of values of the focal length of the variable focal length optics is defined according to the local topological data of the 3D model in the vicinity of the first point of the processing trajectory.
  • the acquired images are processed so as to generate sharpness gradient information between the pixels of the same image, said gradients being exploited so as to generate alignment instructions between the successive acquired images, said realigned images to produce a set of image portions covering the same pixel areas, the sharpness or blur information or of these portions being compared to select the sharpest pixels, said selected pixels being merged to construct a 2D image or Composite 3D.
  • An advantage is to obtain a sharpness map of each image in order to collect and select the set of sharpest pixels of an image.
  • the construction of the image of a portion of the surface of the body comprising the cutting and the assembly of the images is carried out using a learning algorithm, of the neural network type, trained so as to producing a sharp 3D output image from a plurality of input acquired images.
  • One advantage is to generate sharp images quickly thanks to an artificial intelligence algorithm.
  • the image processing algorithm estimating the sharpness or the blur of each point of the images of the plurality of images is implemented by a first learning function, for example an automatic learning method.
  • the image processing algorithm comprises a selection and a cutting of each group of pixels of each image having a sharpness greater than a predefined threshold or a sharpness greater than the sharpness of pixels by at least one another image of the same area.
  • the method comprises a step of estimating the value of the distance between the variable focal length optics and at least a first point of the processing trajectory from an estimate the sharpness of points of the images of the plurality of images, said estimation being carried out from an image processing algorithm.
  • An advantage is to make it possible to generate a depth map by software means that do not require additional equipment.
  • the estimation step carried out by software means makes it possible, for example, to refine the measurement of a device.
  • the method comprises an estimation of the relative depth between the pixels of the same image and a calibration of the measurement of at least one pixel to generate absolute depth information of at least one pixel.
  • variable focal length optics are arranged on a guide element configured to move a lens.
  • the method comprises, between the steps of generating a processing trajectory and measuring the distance, the steps of:
  • the method includes a step of correcting the guidance trajectory from the real-time reconstruction of the 3D model.
  • the invention relates to an image pickup device characterized in that it comprises variable focal length optics for acquiring a plurality of images of the surface of an individual's body using of the image pickup device, said acquisitions being made by varying the focal distance of the variable focal length optics according to a control law, said device comprising at least one computer configured to implement an image processing algorithm to generate a sharp 3D image.
  • the image pickup device comprises means for measuring a distance between the variable focal length optics and a first point on the surface of the body, said acquisitions being carried out by varying the focal length of the variable-focal lens according to a control law taking into account the distance between the variable-focal lens and the first point.
  • the image pickup device further comprises an interface for receiving a 3D model of at least one part of a human body, said model modeling at least a first surface of the body and a mobile platform, said computer(s) being configured for:
  • the image pickup device comprises a device for measuring the distance between the variable focal length optics and the first point configured to measure in real time a distance between the variable focal length optics and a first point on the surface of the body and means for measuring the orientation of the optics to deduce viewing angle information, said orientation and said distance being used by a computer of the device to correct or transform the acquired image.
  • the image pickup device comprises a guide element comprising variable focal length optics, the computer(s) being configured for:
  • Generate a processing trajectory on the surface of the 3D model, said processing trajectory comprising at least two points on the surface of the 3D model; ⁇ Calculate a guide trajectory for the varifocal optics
  • Activate a kinematics of the guiding element to traverse the guiding trajectory, said guiding trajectory being calculated in real time from the 3D surface model.
  • variable focal length optic is a liquid lens.
  • the invention relates to a mobile platform comprising an image capture device of the invention, said platform comprising a command interface for receiving guidance instructions calculated in particular from the body model calculated in real time .
  • the mobile platform is:
  • - a drone comprising optics forming an image capture device; - a guide rail on which the imaging device is movable or:
  • a reception booth for a human subject comprising means for guiding an image-taking device
  • a platform comprising a fixed part accommodating the image capture device a mobile part driving an individual in motion vis-à-vis the fixed part.
  • the invention relates to a gun-type device comprising a tip holding the image pickup device according to the invention.
  • Figure 1 an example of a guidance device configured to acquire images of the surface of a body and to reconstruct a sharp image of at least a portion of the surface of the body;
  • Figure 2 an example of an image pickup device of the invention guided along a guide trajectory to acquire images in the vicinity of a trajectory on the surface of a body;
  • Figure 3 an example of a guiding device configured to acquire images of the surface of a human body such as a patient;
  • Figure 4 an example of a flowchart representing the steps of the image acquisition process for their processing in order to reconstruct a clear image of all or part of a surface of a body.
  • FIG. 1 illustrates an image acquisition device 20 of the invention comprising variable focal length optics 40.
  • An image acquisition device 20 also called an image pickup device, is configured to acquire a plurality of images in the vicinity of at least one point located on the surface of a body.
  • the invention finds particular application in dermatology and the analysis of images of an individual's skin. However, the invention is not limited to this application and can be implemented in other fields. Finally, the invention is particularly advantageous when image acquisition devices 20 comprise optics suitable for macrophotography, or even microphotography, such as optics having a large aperture.
  • One objective of the invention is to reconstruct the photograph of the surface of a body so that each portion of the reconstructed three-dimensional image is as sharp as possible.
  • body will mean the body of a human.
  • the invention is not limited to this embodiment, the invention can be implemented for any type of body having a three-dimensional surface of which it is sought to represent at least a portion as faithfully as possible.
  • the acquisition parameters including the number of images, the dimensions of the images and the resolution of the images can be predefined or defined according to a displacement configuration of the acquisition device 20, for example when the latter is arranged on a mobile platform moving around the body.
  • the invention advantageously makes it possible to acquire a set of images in the vicinity of a point by varying the focal distance of the acquisition optics according to a control law taking into account the distance between the variable focal length optics and the target point.
  • the operation can thus be repeated on a plurality of points of a surface of a body in order to acquire several sequences each comprising a plurality of images in the vicinity of a plurality of points.
  • This method can be carried out continuously on a set of points on a surface to cover all or part of the surface of a body or this method can be carried out along a trajectory on the surface of the body in order to acquire images in the vicinity of points defining the trajectory.
  • step by step the entire surface of a body can be treated.
  • the expression "image in the vicinity of a point” must be understood as an image of a body surface including said point.
  • variable focal length optics 40 is advantageously a variable focal length lens, also called an adaptive lens.
  • the lens used is a lens deformable by piezoelectric actuation.
  • the lens is a liquid crystal lens. The latter use a change in the optical index of the liquid crystals in order to modify the focal length of the lens.
  • another embodiment can be implemented from a liquid lens whose geometry is controllable by micro-fluidic parameters or mechanical parameters such as parameters defining the geometry of a membrane retaining a liquid or even a combination of the two.
  • a liquid lens comprises a circular membrane made of electroactive polymer. The central part of the membrane forms the lens and the peripheral part is surmounted by an annular electrode. By applying an electric voltage between this electrode and the substrate, an electrostatic pressure is created, which tends to move the fluid towards the central part, inflating the membrane, and thus modifying the curvature of the lens.
  • These parameters can be adjusted, configured or controlled from a digital setpoint from a sensor or a computer or any other electronic device.
  • variable focal length optic comprises a magnetic actuator making it possible to move an optical element, such as a lens, to modify the focal length.
  • the optical element moves for example in a tube, the position in the tube defining a focal distance specific to the optical configuration of the lens.
  • the magnetic actuator can be controlled by an electromagnetic field generated from a dedicated component.
  • the field can be adjusted, configured or controlled from a digital control setpoint. This digital setpoint can be generated by a control law from a computer or a sensor or any other electronic equipment.
  • variable focal length optic comprises a mechanical actuator making it possible to move an optical element, such as a lens, to modify the focal length.
  • the actuator can be controlled by an electronic component making it possible to receive a digital instruction and to generate a mechanical instruction.
  • this digital setpoint can also be generated by a control law from a computer or a sensor or any other electronic equipment.
  • variable focal length optics is to overcome the shortcomings of macrophotography which acquires images with a relatively shallow depth of field which remains incompatible with the acquisition of images in a portion of curved surface for example on the calf or the arm.
  • Another advantage is to have very low response times, for example a response time of less than 25ms.
  • variable focal length optics for example in addition to optics with a larger aperture, makes it possible to acquire sufficient precision of the images of a surface of a body so as to reconstitute a clear global image by an image reconstruction algorithm.
  • the invention makes it possible to automatically vary the focal length of an optic according to a control law in order to reconstitute a clear image of the vicinity of the targeted point.
  • the controller controls the numerical value of the focal length of the lens.
  • the numerical value makes it possible to vary the shape of the lens.
  • the control of the liquid lens is carried out by means of a continuous signal such as a trigonometric function, for example a sine function or a linear function, for example a function whose shape is in -saw.
  • a continuous signal such as a trigonometric function, for example a sine function or a linear function, for example a function whose shape is in -saw.
  • Such control makes it possible to optimize the stabilization of the medium constituting the liquid lens.
  • Such a control signal makes it possible to minimize the nonlinear effects and to reduce the relaxation times or the transient phases of modification of the medium of the liquid lens.
  • Such a variation of the focal length of the lens is moreover consistent with the evolution of the curvature of the zone in the vicinity of the target point Pi.
  • the image acquisition by the liquid lens 20 is carried out according to a predefined sampling over the entire range of focal lengths addressable by the lens.
  • the number of images acquired is constant according to a speed of movement of the imaging device.
  • the acquired image is a color image in the visible spectrum.
  • the frequency range of the acquired image can in this case be the visible, that is to say for wavelengths between 380 nm and 700 nm. According to modes where ranges extend on either side of the visible spectrum, it is possible to acquire images in a broader spectrum from dedicated equipment.
  • the acquired images are acquired in an infrared range, that is to say for wavelengths comprised between 700 nm and 1000 nm.
  • the acquired images are acquired in an ultraviolet range, that is to say for wavelengths comprised between 10 nm and 380 nm.
  • the image is a multispectral image.
  • spectral imaging equipment can be used.
  • a configuration of such equipment with a controllable variable focal length can be used in the context of the invention.
  • the equipment used for the acquisition can be configured to acquire images whose spectrum is notably distributed over several spaced frequency bands. An interest is to obtain an image over a wider band of frequencies including for example infrared, near infrared and ultraviolet.
  • the acquired image is a hyperspectral image.
  • an imaging spectrometer also called an imaging spectrometer or an imager associated with a spectrometer, makes it possible to generate a hyperspectral image.
  • the equipment used for the acquisition can be configured to acquire images whose spectrum is notably distributed over several contiguous frequency bands.
  • the equipment used can be configured with a controllable variable focal length. An interest is to obtain an image over a wider band of frequencies with a high degree of resolution including for example infrared, near infrared and ultraviolet.
  • the equipment is a chemical imager or a chemical imaging device configured to create an image from an acquired frequency spectrum such as a spectrometer and spatial and temporal information.
  • the image pickup device 20 includes means for measuring the distance between the variable focal length optical device 40 and a first point Pi on the surface of the body.
  • This means for measuring the distance can be an active physical device such as an emitted laser placed close to the variable focal length optics 40.
  • the emission of the laser beam makes it possible to measure the distance to the center of the acquired image.
  • Other devices for measuring the distance between a point on the surface of the body and the variable focal length optics 20 can be used, for example a radioelectric rangefinder, an optical rangefinder or even an acoustic rangefinder.
  • Other examples of distance measuring devices can be used in the context of the invention, such as a Lidar, a Radar, a Sonar or even a stadimetric rangefinder.
  • the invention can implement a single-point measurement device such as a laser or a multipoint measurement system such as a laser, a so-called “matrix Time-of-Flight” device. , a lidar, an active/passive stereoscopic device, or even a device comprising a projection of structured light.
  • a single-point measurement device such as a laser or a multipoint measurement system such as a laser, a so-called “matrix Time-of-Flight” device.
  • a lidar an active/passive stereoscopic device, or even a device comprising a projection of structured light.
  • the means for measuring the distance between the variable focal length optics 40 and a first point Pi of the surface of the body is a software means implementing a computer processing the images acquired in order to extract sharpness or blur information to reconstruct from this data information characterizing the distance between a point Pi of the surface and the optics.
  • An exemplary embodiment may be an algorithm detecting the sharpest pixel(s) of an image to deduce therefrom information on the distance between a point Pi of the surface and the optics, knowing moreover the focal length of the optics used .
  • the gradients between the sharpest pixels and the other pixels can also be exploited in order to consolidate the measurement of the distance between a point Pi on the surface and the optics.
  • the focal length information is then used to process the evaluation of the distance between the variable focal length optics and a point Pi on the surface of the body.
  • the set of shades of sharpness or blur between the pixels can then be used to consolidate the calculation of the distance between a point Pi on the surface and the optics or to define a local depth map in the vicinity of the aiming point Pi or a point whose sharpness is considered the highest.
  • an algorithm can be implemented by a learning function, of the function type driven by automatic learning, such as a deep learning algorithm.
  • a CNN-like convolutional neural network can be used.
  • the learning function makes it possible in particular to detect the pixel(s) assumed to be the sharpest in the image and to determine a distance between a point Pi on the surface and the optics.
  • a sharpness map also called “defocus map” in English terminology, can be established for each of the images in the image stack by varying the focal length of the lens.
  • Such a sharpness map makes it possible to encode blur or sharpness information, for example on a standardized scale of 0 to 1.
  • the sharpness map of an area is constructed by considering the sharpest pixels of each image.
  • the distance measured by a sensor can be combined with another measurement of the distance obtained either by another sensor or by another method making it possible to evaluate the distance.
  • a first method consists in evaluating the distance between the variable focal length optics 40 and a point Pi of the surface of the body from the acquired images and by an algorithm for estimating the sharpness of different points of the image in order to reconstruct distance information between at least one point on the surface and the optics.
  • this method the differences in sharpness of different points of different images having been acquired with different focal lengths make it possible to obtain an estimate of the distance of each of these points with respect to the optics.
  • This estimate may or may not be combined with another method or data from a sensor. This estimate can be used to define an input of a control law Le of the focal length of the optics 40.
  • the invention comprises a component making it possible to generate a body model, in particular of the three-dimensional surface of this body.
  • This surface can be a surface defined in space or it can be defined by a cloud of points or a mesh.
  • the point cloud can be advantageously connected and oriented in space, we speak of spatial orientation in space. When the cloud of points is oriented, it is possible to identify the surface of the body model in space, for example within a predetermined reference frame Ro.
  • this control law can be calculated in real time without having to plan a trajectory of the optics beforehand.
  • This embodiment is particularly advantageous in the case of optics embedded in a mobile device of the pistol type, that is to say removable according to the movements of an operator's hand for example.
  • this control law can be calculated for example by planning a preliminary trajectory of the optics.
  • This embodiment is particularly interesting in the case of an optics embedded in a robotic device of the type an articulated robot arm and more generally a device embedded in any removable platform.
  • the invention When the invention implements an automatic generation of the body model of an individual, the latter can be generated from an optical device capturing partial views or complete views of the body of the individual.
  • the partial views can then be used to generate a body model for example from an algorithm implemented by a learning function, such as a function that has been trained by automatic learning.
  • a learning function such as a function that has been trained by automatic learning.
  • An example is a convolutional neural network.
  • Such a function makes it possible to generate in real time 3D body models of an individual from acquired partial views.
  • Such a possibility makes it possible to calculate topological data in the vicinity of a target point Pi of the surface of the body during the scanning of a trajectory by the imaging device 20.
  • the knowledge of the topology can come from different devices or methods of calculation of at least one local topological descriptor at the targeted point Pi.
  • the descriptor comes from a calculation carried out in real time from an acquired image.
  • This calculation can be performed with a second optical device configured with an aperture, a depth of field or a focal length allowing local analysis of the depth map in the vicinity of the point Pi.
  • the second optical device can comprise a optics in an infrared range.
  • a device comprising a projection of images whose deformation is calculated makes it possible to calculate a depth map.
  • Another example is the use of structured light.
  • the descriptor comes from a real-time calculation from an image extracted from a surface model of the human body which is oriented and positioned in space.
  • a body model can for example be generated in real time from partial or total knowledge of a patient's body.
  • a priori knowledge of the trajectory that has been planned and of the patient's body model for which local images of the skin are to be obtained and finally knowledge of the imaging device 20 and its arrangement vis-à-vis the bodies make it possible to generate a set of local descriptors a priori before the image acquisition process in the vicinity of the targeted points Pi.
  • Such a technique makes it possible to configure the control law Le of the variable focal length optics without depending on a constraint real time. Moreover, this technique saves calculation time in real time and makes it possible to optimize the best ratio of images necessary for the reconstruction of a clear image of all or part of the human body for which a clear image is desired.
  • At least one local shape descriptor and/or one global shape descriptor is calculated.
  • a descriptor can be of the type: “Wave Kernel Signature” (WKS) or “Heat Kernel Signature” (HKS) or “Gaussian Curvature”.
  • WKS Wave Kernel Signature
  • HKS Heat Kernel Signature
  • Gaussian Curvature a descriptor that is characterized by the Laplace-Beltrami operator.
  • An advantage is to define descriptors shape from a spectral analysis of the region in the vicinity of a point.
  • An advantage is the simplified use of standardized equations or operators whose numerical processing can be optimized.
  • the calculation of the vector normal to the surface at the targeted point Pi also makes it possible to define a local shape descriptor.
  • the control law is calculated in real time on the body in such a way that the focal length of the optic scans the entire depth range of the points of the mesh of a local zone considered, it that is to say between the most distant points of the optics and the closest points of the optics.
  • the a priori knowledge of the local topology due to the knowledge of the body model makes it possible to control the control law in an optimal manner according to the inspected zone.
  • the invention makes it possible to extract a range of focal length values making it possible to control the control law of the optics.
  • the value of the latter makes it possible to generate a range of values of the focal length and to define a sampling of images taken from the variable focal length optics within this range.
  • This sampling can be predefined or calculated in real time depending on the specific case.
  • a shape coefficient is calculated in order to establish a simple correspondence rule between the shape coefficient and a range of variation of the focal length.
  • the invention comprises guiding an image pickup device 20 along a trajectory or a surface to be traversed on the surface of an individual's body.
  • the method therefore makes it possible to process a plurality of target points Pi along a trajectory.
  • the trajectory can be planned initially on the surface of a calculated body model of an individual and then this trajectory can be recalculated or deformed during the guiding of the imaging device 20 according to the movements or movements of the individual. .
  • the position in space of at least one point of the surface can be recalculated in order to control the path of movement of the imaging device.
  • the topological descriptors can be recalculated at the points of the servo path, for example if the movement involves a deformation of the surface of the body.
  • the values of the descriptors in first approximation can be kept at the points located on the trajectory having changed position.
  • a shape detection algorithm can be implemented. This algorithm can be, for example, implemented to recognize postures ⁇ sitting, standing, arms raised, etc. ⁇ or even typical movements. According to an alternative, an operator can initiate a change of imaging modes imposing a recalculation of the body model and its position in space.
  • the optical device is moved at a plurality of points forming a trajectory of the optical device.
  • the optical device can be moved along a predefined trajectory in an automated way, for example by a robotic arm.
  • the optical device is guided directly by a user.
  • the optical device can comprise a handle to be grabbed by the hand of the user.
  • the trajectory should be understood as a relative trajectory with respect to the body surface.
  • the displacement of the optical device along its trajectory is continuous, that is to say that the displacement relative to the human body does not mark a pause.
  • the relative displacement of the optical device with respect to the human body is never zero along said trajectory.
  • two successive images are taken from two different positions. The two acquired images sharing an overlap rate overlap so as to share a common image portion as detailed later.
  • the movement of the optical device along a predetermined trajectory comprises a step of acquiring a point cloud representing the surface of the subject's skin, a step of continuously updating said point cloud in according to changes in the three-dimensional geometry of said surface due to the action of the muscles or a movement of the body and optionally, the continuous updating of said trajectory according to the updated point cloud.
  • the device of the invention comprises an electronic controller making it possible to control the device with variable focal length 40.
  • One advantage of the implementation of a control law Le is to vary the focal distance at each acquisition of images in the vicinity of a point Pi of a trajectory 30 of the surface of the body while guiding the imaging device 20 along a trajectory to be traveled 32.
  • the control law Le can be planned in advance, that is to say before the images are taken.
  • This embodiment is possible when the body model of an individual is known and when the guiding trajectory of the imaging device 20 is planned.
  • all the variables of the control law can be precomputed so that all the images to be acquired can be in order to form the final composite image.
  • This embodiment can be combined with local modifications of the position of the body and therefore of the trajectory of the targeted points and therefore of the guiding trajectory of the imaging device 20. In this case, the control law does not is not modified since the configuration of the system ⁇ body - imaging device ⁇ remains unchanged.
  • the control law Le is calculated in real time from the data acquired in real time.
  • a trajectory can be planned on the surface of the body, but the distance between the imaging device 20 and the surface of the body is not known a priori or even the local topology of the vicinity of the targeted points is not known. unknown and must be discovered in real time.
  • a real-time calculation is carried out to control the variable focal length optics and the position of the image pickup device 20 so that all of the images necessary for the reconstruction of a clear composite image is achieved.
  • the control law Le can be configured so that the image pickup device 20 scans a set of points to acquire sharp images of a complete zone of all or part of a surface of the body. In order to optimize the number of images acquired and the range of values of the focal length of the varifocal optics, the control law Le can take into counts a topology datum in the vicinity of a point P1 of which it is desired to acquire images.
  • the points in the vicinity of the point P1 are in a reduced range of values of the focal length.
  • the focal length of the optics is controlled to acquire sharp images near the point P1.
  • the range of values of the focal length makes it possible to acquire sharp high definition images in a depth of field of 1 mm
  • the number of images to be acquired to obtain a set of sharp images in the vicinity of the point P1 can be reduced.
  • the capture of images is limited to the variation of the focal length over a range of reduced focal length values. Such an area can correspond to that of a flat stomach of a fit and not overweight person.
  • the points in the vicinity of the point Pi are in a wide range of focal length values.
  • the focal length of the optics is controlled to acquire sharp images near point P1.
  • the range of values of the focal length is configured so as to be widened and the number of images acquired in this zone is greater than in the previous case.
  • Such an area can correspond to that of a calf or an arm.
  • Some areas may have even greater curvature such as the bent elbow, nose, ears or toes.
  • the control law Le can also have an influence on the speed of movement of the imaging device 20 depending on the number of images to be acquired locally in the vicinity of a point Pi and more generally for all the points Pi d a trajectory.
  • this control law Le can be configured a priori or in real time according to the desired recovery rate of the images acquired from the surface of the human body.
  • the coverage rate can be a percentage value defining the proportion of the image surface covered, for example on the edges of the images in order to reconstruct an overall image.
  • the recovery rate can also be calculated so that it defines a statistic of proportion of sharp images at a given precision factor with a given error factor.
  • the recovery rate can also be defined step by step between two successive acquisitions.
  • the overlap rate can be a percentage of the proportion of a repeated image within an image as a function of a previously acquired image.
  • An advantage of this last configuration is to obtain an area covered with two acquired images obtained with different focal lengths.
  • overlap rate between two successive images is thus meant that two successive images partially overlap in a common portion, that is to say that the common portions of two successive images can be superimposed.
  • the purpose of this overlap rate will thus be to use two different images to form a single continuous image comprising the common portions and the non-common portions of said acquired images.
  • Two successive images sharing an overlap rate can be acquired with different focal lengths of the optical device.
  • the optical device is moved along the trajectory, to a first position and then to a second position.
  • the control law triggers the acquisition of at least one image of the point P1 from the first position then of at least one image from the second position.
  • the first position and the second position are sufficiently close to each other to allow partial overlap of the successive images acquired at these two positions.
  • the control law generates the acquisition of a first group of images from the position then of a second group of images from the second position.
  • the images of the first group and the images of the second group partially overlap in a common portion as previously described.
  • the first group of images and the second group of images each include a plurality of images acquired with different focal lengths.
  • An advantage is to obtain a first multifocal image and a second multifocal image from respectively the first group of images and the second group of images.
  • a first image is acquired from the first position and a second image is acquired from the second position.
  • the first and the second image are then acquired with different focal lengths.
  • the first image and the second image share an overlap rate.
  • the movement of the relative optical device is continuous. Continuous motion is understood to mean a motion that does not reach zero speed. In this case, each image is acquired from a different position.
  • the recovery rate is strictly less than 100%. In other words, the two successive images only partially overlap and each includes a common portion, but also a portion not included in the other image. Preferably, the recovery rate is strictly less than 99%.
  • the recovery rate is greater than 75% and strictly less than 100% or 99%. At least 75% of the image area will be shared with at least one other image.
  • the advantage of such an overlap rate is, for each point of the body surface, to acquire a plurality of images.
  • the advantage is to be able to acquire a plurality of images acquired with different focal lengths, increasing the chances of having at least a sharp portion of said point for the construction of a sharp image from the plurality of images acquired from said surface 12 as described below.
  • a point on the surface of the subject's body is captured by a plurality of acquired images, even when the optical device was in motion between the taking of successive acquired images.
  • the acquisition focal lengths of two successive images having an overlap rate are different from each other.
  • control law Le can be configured with the following variables:
  • the movement speed V d is selected from a speed range [Vdmin; Vmax ];
  • the image overlap rate TR is selected from a range of image overlap rates [Tmin; Tmax];
  • the focal length of the varifocal optics Fv is selected from a range of focal lengths [Fmin; F ma x];
  • the topological descriptor or the local shape coefficient calculated from several local topological descriptors Cf Fv is selected from a range of shape coefficients [Cmin Cmax]
  • the distance df between the variable focal length optics and the aiming point Pi of the surface 12 of the body is selected from a distance range [dmin; d my x].
  • the acquisition speed or delay between two successive TA acquisitions is selected from a range of durations
  • the viewing angle and image size are considered predefined.
  • the dimensions of images and the viewing angles may vary as parameters.
  • control law Le allowing the images to be acquired.
  • the control law Le can itself be a complex control law depending on several control laws Lc1, Lc2, etc. depending on how input variables are taken into account.
  • the platform transporting the optical device is moved along a trajectory at a speed of movement Vd comprised between 4 cm/s and 30 cm/s.
  • the optical device acquires images of the structure of the subject's skin at a frequency of between 5 images per second and 200 images per second (i.e. a delay between two acquisitions of between 0.2 s and 5 ms) while moving the optics.
  • the control law varies, between two successive acquisitions, the focal length of the variable focal length optics.
  • the displacement of the optics coupled with the acquisition speed and the variation of focal length between two successive acquisitions advantageously allow the acquisition of successive images sharing a common portion at different focal lengths.
  • the common portion can thus be composed from the pixels of different images acquired according to the sharpness index of each pixel for each image acquired.
  • the invention comprises a step of constructing a sharp image of all or part of the surface 12 of the body 10 from the plurality of images acquired of said surface 12.
  • This image is a composite image formed from a plurality of portions of images acquired by the image pickup device 20.
  • the method of the invention comprises a step of comparing a sharpness criterion of each pixel or each group of pixels of a image with those of another image comprising an overlap of this or these pixel(s).
  • a pixel with sufficient sharpness for example when the value of the criterion is greater than a predefined threshold, then the pixel is retained in the composite image.
  • no pixel has sufficient sharpness, i.e. whose sharpness criterion exceeds a certain threshold, then the sharpest pixel is selected.
  • an image alignment algorithm can be used to calibrate the images to each other and more particularly the portions of images covering the same areas of the surface. from the body.
  • the construction of a sharp image comprises a cutting of acquired images according to their sharpest portions while checking that the cut-out areas not retained are included in other acquired images covering the removed part of an image. This control can be carried out automatically from the rate of coverage of the images acquired and from a marking of the areas covered.
  • the invention makes it possible to generate a sharpness map of each image of the stack of images in order to select the sharpest pixels of the stack of acquired images covering a given area. It is therefore possible to generate an image from the sharpness map(s) in which the sharpest pixels are selected.
  • a sharpness estimation step is performed to generate sharp areas and remove blurred areas.
  • a sharpness estimation algorithm can be implemented.
  • different solutions can be implemented such as a calculation of the mean or the variance of a gradient.
  • Another method can be implemented by means of automatic learning from a learning function.
  • the learning function can be deep learning type learning.
  • a CNN convolutional neural network may be implemented.
  • Such an algorithm makes it possible to generate sharpness maps of all the images in order to identify the sharpest pixels in a second step to generate a 3D image that is entirely sharp or at least as sharp as possible.
  • Such a deep learning algorithm i.e. deep learning, can also be implemented to process the alignment of successively acquired images.
  • the method of the invention comprises a step of assembling the sharp zones to construct a sharp image of the surface of all or part of the body.
  • the stitching step can be seen as a step of aggregating image portions from different shots.
  • Another way of carrying out an assembly is to carry out a fusion of the zones of covering by addressing each point by the sharpest pixels and by removing the pixels of these zones of covering more fuzzy.
  • the surface area of the body surface represented by the sharp image generated is greater than the surface area of the body surface represented by one of the acquired images that made it possible to generate said sharp image.
  • the assembled images can be assembled in a two-dimensional space or in a three-dimensional space. Indeed, knowing the depth information either from a body model or from an estimate during image acquisition, a 3D image can be automatically reconstructed.
  • the 3D image can be reconstructed following assembly during processing applied to the final aggregated image.
  • an end-to-end learning algorithm can be used to generate from a stack of acquired images, also called in English terminology “stack” of images, corresponding to the plurality of images collected, outputting a sharp image on the one hand and a depth map on the other.
  • the learning of such a learning function for example of the CNN type, can be carried out on the basis of images acquired by optics or images generated by a computer of a body or of a model of body and on the other hand a totally clear 3D image obtained from all the images.
  • We then speak here of an end-to-end neural network to designate a neural network capable of directly generating a sharp 3D image at any point.
  • the passage through the sharpness map of each of the images of the stack of acquired images is then implicit in the implementation of such an end-to-end algorithm.
  • this latter algorithm can be trained on synthetic data.
  • a network of the CNN convolutional neural network type can for example be implemented.
  • the set of learning data makes it possible to train the neural network to obtain a learning function configured or learned with weighting coefficients.
  • the completely clean 3D image can be calculated from another algorithm in order to supervise the training of the neural network.
  • Such learning can also result in the generation of a depth map.
  • the neural network used whether functional or end-to-end, can be configured in different ways.
  • the configuration of the CNN neural network may include:
  • the configuration of the CNN neural network includes as inputs images acquired by the optics.
  • the CNN neural network can include in its first layers convolutions then layers of fully connected neurons, called “fully connected layers” at the end of the model. In the latter case, they are neurons connected to all the neurons of the previous layer and connected to all those of the following layer.
  • the convolution layers may include a scan of an input matrix producing a series of matrix calculations.
  • the other layers of the neural network generally include matrix calculations on the size of the input matrix.
  • each convolution comprises a matrix product between an input matrix and a weight matrix and the consideration of an additional bias.
  • Applying layered processing within the CNN neural network includes applying a series of matrix multiplications which are followed by a nonlinear function to produce an output of said layer.
  • the succession of these operations defines the depth of the neural network.
  • the neural network is a multilayer perceptron, known by the acronym MLP and in English terminology by “multi-layers perceptron”.
  • the neural network can be a network equivalent to the MLP.
  • An advantage of the invention is also to reconstruct a relative depth map of all or part of the body.
  • relative depth map we mean a map where each point of the image, for example each pixel, can be positioned vis-à-vis another point of the reconstructed image.
  • One of the advantages of this characteristic is to make it possible to eliminate the effects of perspective or deformation of the images linked to the viewing angle or to the optics themselves.
  • Another advantage of this method is to obtain an accurate estimation of the local geometry of the imaged surface. This allows to augment and refine the 3D body model when this latest body model is available as input to the system. This estimated depth information can have a resolution between 500um and 1cm. The input body model can then be refined to define a high resolution 3D body model.
  • the image pickup device 20 is mounted on a mobile platform.
  • the mobile platform can be arranged at the end of a robotic arm mobile in space and comprising a plurality of degrees of freedom.
  • the platform is a drone controlled by a wireless remote control.
  • the platform is a manual gun comprising a distal end piece on which is arranged the image pickup device 20 and in particular the variable focal length optics.
  • the gun includes further a handle intended to be taken in hand by the examiner, for example at the proximal end of the gun.
  • the device is fixed and the patient is turned by means of a rotating platform or vice versa.
  • the invention is intended for any type of dynamic mobile platform comprising a distal end piece on which the variable focal length optics are arranged.
  • the mobile platform comprises a rail or a guide means along a predefined trajectory and the optical device is movably mounted on said rail or guide means between two positions.
  • the invention further comprises a cabin comprising a location intended to receive a subject, in particular a human subject and said mobile platform.
  • the cabin may include at least one rail to give the mobile platform a curved trajectory around said subject placed in said location.
  • the rail is movable in translation.
  • the cabin comprises a plurality of rails and a plurality of platforms for imaging the skin of said subject.
  • the varifocal optics include a photographic sensor.
  • This last photographic sensor comprises a photosensitive electronic component and is used to convert electromagnetic radiation passing through the varifocal optics to convert it into an analog or digital signal.
  • the photographic sensor can integrate, according to the embodiments, various components making it possible to filter or amplify the converted signal.
  • CMOS sensor whose acronym in English terminology stands for “Complementary Metal-Oxide-Semiconductor”
  • a CCD sensor designating “charge coupled device” in English terminology, that is to say a charge transfer device
  • An important advantage of the invention is that it does not require a specific hardware sensor having to implement a hardware configuration that is structurally difficult to implement or costly from a hardware architecture point of view. In other words, a CMOS photographic sensor or CCD is sufficient to obtain clear images in a very short time, the operations being able to be carried out in real time.
  • a single calculation unit such as a single processor, addressing all the pixels of the sensor is implemented.
  • the processor is thus coupled to a physical memory.
  • the implementation of a single couple of ⁇ processor, memory ⁇ allows a simplified implementation of the software processing processing the acquired images.
  • An advantage of the invention is not having to process subsets of pixels that must be addressed and physically associated with electronic hardware dedicated to the subset, such as a processor or a memory.
  • the invention makes it possible to obtain a sharp image at any point of a volume, such as a human body, and makes it possible to obtain real-time depth information at a high rate with market components such as a CMOS or CCD sensor that does not require the implementation of a complex electronic architecture.
  • the invention can be implemented with a simple photographic sensor due to the following different possibilities making it possible to obtain fast calculation times:
  • the range of values of the variation of the focal distance can be reduced due to a priori knowledge of a pre-generated body model making it possible to know locally the curvature of the volume from which the images are acquired and/or;
  • the distance between the volume and the optics can be measured by means such as a laser to estimate the distance between the optics on the one hand and the acquired volume on the other, which makes it possible to perform a variation of the focal length circumscribed to a reduced range of values.
  • the invention makes it possible to obtain depth data and of sharpness in a reduced range of values. This possibility makes it possible to reconstitute the three-dimensional envelope and the sharp images of each point of this envelope with great real-time acquisition performance.
  • the invention also includes the implementation of a neural network classifying the sharp images of singularity of the skin of an individual.
  • the invention comprises a step of detection or a step of segmentation of the image or a step of regression or even a step of generation of a new image.
  • a step of generating a new image can be carried out by modifying the resolution of said image, by improving all or part of the image by a given processing, a transformation of the image for example by changing its dimensions or its colorimetry, its sharpness, or any other color parameter, or else a step of increasing, for example, the scale of the image or of only part of the image.
  • Different analysis tasks can thus be performed from the sharp images produced by the method of the invention.
  • all or part of the volume of an individual's body is scanned by varifocal optics.
  • This operation can be carried out for example from a robot arm automatically evolving around a human body in order to follow a guide trajectory.
  • the images are acquired and processed according to the method of the invention in order to collect a set of sharp images of the body of a patient.
  • Machine learning can be done from photos of skin peculiarities, such as moles, scars, melanomas, carcinomas, freckles, etc.
  • An advantage of the invention is to make it possible to train a neural network with sharp images at all points in order to obtain very good classification performance due to the maximum resolution obtained by the sharp images.
  • the invention therefore relates to a method for training a neural network from sharp images obtained by the acquisition method of the invention.
  • the training method is characterized by the input data of the neural network which are images obtained by the method of the invention.
  • the method applies for example to a convolutional neural network of the CNN type and to any other type of neural network, in particular those previously described in this description.
  • a “transformer” type network used alone or in combination with one or more convolutional neural network(s) of the CNN type.
  • Such a type of network makes it possible in particular to differentially weight the importance of each part of the input data.
  • the training can conventionally use image labels to classify the different singularities visible on the images or to perform any other analysis task previously listed. Furthermore, the invention relates to a method for classifying sharp images according to labels. Such a classification method can be applied to all of the images acquired by the method of the invention of an individual's body.
  • the images can be represented according to a grouping of images of the same label with a mention of the member of the human body to which the image relates or an indication of a position on the human body or a body model.
  • the invention can represent different zoom scales of a region of interest of a singularity so that a user can appreciate the high resolution of the image of a given singularity alongside a larger image. of the part of the body on which the photo is extracted.

Abstract

The invention relates to a method for capturing images of a first surface (12) of a human body using an imaging device (20) comprising a lens (40) with variable focal length, said method comprising the steps of: - capturing a plurality of images using the imaging device (20), said capturing being carried out by varying the focal length (df) of the lens (40) with variable focal length according to a control law; - constructing a sharp image of a portion of the surface (12) of the human body from the plurality of captured images of said surface (12); and - estimating the depth map of the local geometry of the first surface (12).

Description

PROCEDE DE CONSTRUCTION D’UNE IMAGE A PARTIR D’UN DISPOSITIF OPTIQUE A FOCALE VARIABLE METHOD FOR CONSTRUCTING AN IMAGE FROM AN OPTICAL DEVICE WITH VARIABLE FOCUS
DOMAINE DE L’INVENTION Le domaine de l’invention se rapporte à celui des dispositifs optiques à focale variable permettant d’acquérir des images d’un corps. En particulier, le domaine de l’invention se rapporte au domaine des dispositifs optiques à lentille liquide permettant d’acquérir des images à haute résolution d’un corps humain et pour exploiter ces dernières. Le domaine de l’invention trouve notamment une application dans le guidage d’un bras robot au bout duquel un dispositif optique est configuré pour acquérir des images de la peau d’un individu. FIELD OF THE INVENTION The field of the invention relates to that of optical devices with variable focal length making it possible to acquire images of a body. In particular, the field of the invention relates to the field of liquid lens optical devices making it possible to acquire high-resolution images of a human body and to exploit these images. The field of the invention finds particular application in guiding a robot arm at the end of which an optical device is configured to acquire images of the skin of an individual.
ÉTAT DE LA TECHNIQUE STATE OF THE ART
Actuellement, pour acquérir des images nettes et de bonne résolution d’une zone d’un corps qu’on souhaite analyser, des optiques ayant une faible profondeur de champ sont généralement utilisées. Par exemple, dans le cadre d’applications dermatologiques, la qualité de l’image est essentielle à l’analyse a posteriori de la surface de la peau. Ainsi, on privilégie des optiques en champ réduit permettant de mettre en avant la définition des couleurs et aspérités d’une surface de la peau. Currently, to acquire sharp images with good resolution of an area of a body that one wishes to analyze, optics with a shallow depth of field are generally used. For example, in the context of dermatological applications, the quality of the image is essential for the a posteriori analysis of the surface of the skin. Thus, reduced-field optics are favored to highlight the definition of the colors and roughness of a surface of the skin.
Toutefois, ces optiques macrophotographiques qui ont une profondeur de champ relativement faible impliquent que la zone nette de l’image acquise est faible également. Néanmoins, cette solution est incompatible avec l’acquisition de zones courbées dans lesquelles la profondeur de champ utilisée rend certaines parties du voisinage d’un point floues puisqu’elles quittent la zone de netteté. Il est donc nécessaire d’effectuer des acquisitions du voisinage de ce point soit en modifiant la prise de vue soit en modifiant l’optique pour étendre la zone d’acquisition d’une surface plus importante. Or il est difficile de configurer les réglages de la prise de vue sans connaître au préalable la topologie de surface de corps dont on souhaite acquérir les images. Cette méconnaissance rend les opérations complexes et longues. Par ailleurs, les différentes configurations de prises de vues utilisées sont un obstacle à la restitution d’une portion de surface complète et suffisamment explicite. On connaît également le document CHOI DAVID et al. - “Improved image sélection for focus stacking in digital photography” - 2017 décrivant la prise d’un stack d’images par un dispositif à focale variable pour obtenir une image nette. Cependant, ce type de dispositif n’est pas applicable aux images dermatologiques à cause du temps nécessaire pour l’acquisition de toutes les images nécessaires. L’invention permet de pallier ces inconvénients. However, these macrophotographic lenses which have a relatively shallow depth of field imply that the sharp zone of the acquired image is also small. Nevertheless, this solution is incompatible with the acquisition of curved zones in which the depth of field used makes certain parts of the neighborhood of a point blurred since they leave the zone of sharpness. It is therefore necessary to carry out acquisitions in the vicinity of this point either by modifying the shot or by modifying the optics to extend the acquisition zone by a larger surface. However, it is difficult to configure the shooting settings without first knowing the surface topology of the body whose images are to be acquired. This lack of knowledge makes the operations complex and time-consuming. Furthermore, the different shooting configurations used are an obstacle to the restitution of a complete and sufficiently explicit portion of the surface. Also known is the document CHOI DAVID et al. - “Improved image selection for focus stacking in digital photography” - 2017 describing the capture of a stack of images by a variable focal length device to obtain a sharp image. However, this type of device is not applicable to dermatological images because of the time necessary for the acquisition of all the necessary images. The invention makes it possible to overcome these drawbacks.
RESUME DE L’INVENTION SUMMARY OF THE INVENTION
Selon un premier aspect, l’invention concerne un procédé d’acquisition d’images d’une première surface d’un corps humain à l’aide d’un dispositif de prise d’image comportant une optique à focale variable, ledit procédé comportant les étapes de : According to a first aspect, the invention relates to a method for acquiring images of a first surface of a human body using an image pickup device comprising variable focal length optics, said method comprising the steps of:
acquisitions d’une pluralité d’images à l’aide du dispositif de prise d’image, lesdites acquisitions étant réalisées en faisant varier la distance focale de l’optique à focale variable selon une loi de commande ; ■ construction d’une image nette d’une portion de la surface du corps humain à partir de la pluralité d’images acquises de ladite surface, acquisitions of a plurality of images using the image pickup device, said acquisitions being carried out by varying the focal length of the variable focal length optics according to a control law; ■ construction of a sharp image of a portion of the surface of the human body from the plurality of images acquired from said surface,
estimation de la carte de profondeur de la géométrie locale de la première surface. Un avantage est de permettre de reconstruire une image nette d’un corps humain afin de permettre par exemple de catégoriser des motifs dermatologiques tels que des grains de beauté. estimation of the depth map of the local geometry of the first surface. One advantage is to make it possible to reconstruct a clear image of a human body in order to make it possible, for example, to categorize dermatological patterns such as moles.
Selon un mode de réalisation, la construction d’une image d’une portion de la surface du corps comprend : ■ découpage des images de la pluralité d’images à partir d’une information de netteté estimée pour générer des zones nettes et des zones floues ; According to one embodiment, the construction of an image of a portion of the surface of the body comprises: cutting out the images of the plurality of images from estimated sharpness information to generate sharp areas and areas blurry;
assemblage des zones nettes desdites images pour construire une image nette de la surface de la portion du corps. Un avantage est de permettre une reconstruction d’une surface complexe du corps humain en tirant le meilleur parti de l’optique et des images acquises sur toute la zone considérée. assembly of the sharp areas of said images to construct a sharp image of the surface of the portion of the body. One advantage is to allow reconstruction of a complex surface of the human body by making the most of the optics and the images acquired over the entire area considered.
Selon un mode de réalisation, le procédé comprend une mesure ou une estimation d’une distance entre l’optique à focale variable et d’un premier point de la surface du corps, la loi de commande prenant en compte ladite distance mesurée ou estimée entre l’optique à focale variable et le premier point pour modifier la focale de l’optique entre au moins deux images acquises au voisinage du point de la surface du corps. According to one embodiment, the method comprises a measurement or an estimation of a distance between the variable focal length optics and a first point on the surface of the body, the control law taking into account said distance measured or estimated between the optics with variable focal length and the first point to modify the focal length of the optics between at least two images acquired in the vicinity of the point on the surface of the body.
Un avantage est d’augmenter la performance de la loi de commande en réduisant la plage de valeurs de la variation de la distance focale. Par ailleurs, une mesure de la distance permet également une meilleure estimation de la netteté des images. One advantage is to increase the performance of the control law by reducing the range of values of the variation of the focal length. Furthermore, a distance measurement also allows a better estimation of the sharpness of the images.
Selon un mode de réalisation, la mesure ou l’estimation de la distance entre l’optique à focale variable et d’un premier point de la surface du corps est réalisée : According to one embodiment, the measurement or estimation of the distance between the variable focal length optics and a first point on the surface of the body is carried out:
par une mesure de distance par point et/ou ; by a distance measurement per point and/or;
par une mesure de distance combinée à une information topologique connue du modèle de corps de la surface du corps et/ou ; ■ par une information topologique connue du modèle de corps de la surface du corps et une information de position de l’optique par rapport au modèle 3D et/ou ; by a distance measurement combined with known topological information of the body model of the body surface and/or; ■ by known topological information of the body model of the surface of the body and position information of the optics with respect to the 3D model and/or;
par une mesure de distance combinée à une mesure de la géométrie locale de la zone imagée de la surface du corps et/ou, ■ par une mesure de la géométrie locale de la zone imagée de la surface du corps et une information de position de l’optique par rapport au modèle 3D. by a measurement of distance combined with a measurement of the local geometry of the imaged zone of the surface of the body and/or, ■ by a measurement of the local geometry of the imaged zone of the surface of the body and position information of the optics compared to the 3D model.
Un avantage est d’obtenir une meilleure estimation en combinant différentes estimations ou mesures de la distance entre l’optique à focale variable et d’un premier point de la surface du corps de manière à augmenter la performance et/ou la qualité du résultat. An advantage is to obtain a better estimate by combining different estimates or measurements of the distance between the varifocal optics and a first point on the surface of the body so as to increase the performance and/or the quality of the result.
Selon un mode de réalisation, la mesure, le calcul ou l’estimation de la distance entre l’optique à focale variable et d’un premier point de la surface du corps est réalisée soit par une mesure ou par une estimation : " à l’aide d’un moyen de mesure de la distance ; According to one embodiment, the measurement, calculation or estimation of the distance between the variable focal length optics and a first point on the surface of the body is carried out either by a measurement or by an estimation: "at the using a means of measuring the distance;
à partir d’une information de netteté de l’ensemble des images acquises et d’un algorithme d’estimation du flou et/ou de la netteté. from information on the sharpness of all the images acquired and an algorithm for estimating the blur and/or the sharpness.
Selon un mode de réalisation, le procédé comporte les étapes de : Réception d’un modèle 3D d’au moins une partie d’un corps, ledit modèle 3D modélisant au moins une première surface dudit corps ; According to one embodiment, the method comprises the steps of: Reception of a 3D model of at least a part of a body, said 3D model modeling at least a first surface of said body;
Récupération de données topologiques locales du voisinage d’au moins le premier point, lesdites données topologiques locales étant extraites du modèle 3D ou calculées à partir du modèle 3D ; Recovery of local topological data from the neighborhood of at least the first point, said local topological data being extracted from the 3D model or calculated from the 3D model;
Les acquisitions d’une pluralité d’images étant réalisées en faisant varier la distance focale de l’optique à focale variable selon une loi de commande prenant en compte en outre les données topologiques locales du voisinage du premier point de la première surface. The acquisitions of a plurality of images being carried out by varying the focal length of the variable focal length optics according to a control law also taking into account the local topological data of the vicinity of the first point of the first surface.
Un avantage est de connaître une information topologique du corps qui permet d’une part d’optimiser la loi de commande en calcul et en temps et d’autre part de guider efficacement un dispositif mobile le cas échéant. An advantage is to know a topological information of the body which allows on the one hand to optimize the control law in calculation and in time and on the other hand to effectively guide a mobile device if necessary.
Selon un mode de réalisation, la première surface du modèle 3D est une surface d’un corps humain. According to one embodiment, the first surface of the 3D model is a surface of a human body.
Selon un mode de réalisation, la première surface du modèle 3D est un nuage de points, notamment un graphe connecté orienté dans l’espace. According to one embodiment, the first surface of the 3D model is a cloud of points, in particular a connected graph oriented in space.
Un avantage est de disposer de métriques facilement exploitables pour adresser et superposer les images 3D nettes reconstruites sur le corps. Un autre avantage est de permettre de planifier facilement des trajectoires de guidage à la surface du corps. Un autre avantage est de permettre de connaître les profondeurs de champ locales d’une région de la surface avec précision pour piloter la loi de commande de la focale de l’optique. An advantage is to have easily exploitable metrics to address and superimpose the sharp 3D images reconstructed on the body. Another advantage is to allow easy planning of guidance trajectories on the surface of the body. Another advantage is to make it possible to know the local depths of field of a region of the surface with precision to control the control law of the focal length of the optics.
Selon un mode de réalisation, le procédé comporte les étapes de : According to one embodiment, the method comprises the steps of:
Génération d’une trajectoire de traitement à la surface du modèle 3D au moyen d’un calculateur, ladite trajectoire de traitement comportant au moins deux points à la surface du modèle 3D ; Generation of a processing trajectory on the surface of the 3D model by means of a computer, said processing trajectory comprising at least two points on the surface of the 3D model;
Construction d’une image d’une portion de la surface du corps au voisinage de la trajectoire de traitement. Construction of an image of a portion of the surface of the body in the vicinity of the treatment trajectory.
Un avantage est de générer automatique une image complète d’un corps humain en programmant à l’avance un dispositif mobile tel qu’un bras robot. Selon un mode de réalisation, la gamme de valeurs de la focale de l’optique à focale variable est définie en fonction des données topologiques locales du modèle 3D au voisinage du premier point de la trajectoire de traitement. Selon un mode de réalisation, les images acquises sont traitées de manière à générer des informations de gradient de netteté entre les pixels d’une même image, lesdits gradients étant exploités de sorte à générer des consignes d’alignement entre les images acquises successives, lesdites images réalignées pour produire un ensemble de portions d’image couvrant des mêmes zones de pixels, les informations de netteté ou de flou ou de ces portions étant comparées pour sélectionner les pixels les plus nets, lesdits pixels sélectionnés étant fusionnées pour construire une image 2D ou 3D composite. An advantage is to automatically generate a complete image of a human body by programming a mobile device such as a robot arm in advance. According to one embodiment, the range of values of the focal length of the variable focal length optics is defined according to the local topological data of the 3D model in the vicinity of the first point of the processing trajectory. According to one embodiment, the acquired images are processed so as to generate sharpness gradient information between the pixels of the same image, said gradients being exploited so as to generate alignment instructions between the successive acquired images, said realigned images to produce a set of image portions covering the same pixel areas, the sharpness or blur information or of these portions being compared to select the sharpest pixels, said selected pixels being merged to construct a 2D image or Composite 3D.
Un avantage est d’obtenir une carte de netteté de chaque image afin de collecter et sélectionner l’ensemble des pixels les plus nets d’une image. An advantage is to obtain a sharpness map of each image in order to collect and select the set of sharpest pixels of an image.
Selon un mode de réalisation, la construction de l’image d’une portion de la surface du corps comprenant le découpage et l’assemblage des images est réalisée à partir d’un algorithme apprenant, de type réseau de neurones, entraîné de sorte à produire une image 3D nette en sortie à partir d’une pluralité d’images acquises en entrée. According to one embodiment, the construction of the image of a portion of the surface of the body comprising the cutting and the assembly of the images is carried out using a learning algorithm, of the neural network type, trained so as to producing a sharp 3D output image from a plurality of input acquired images.
Un avantage est de générer des images nettes rapidement grâce à un algorithme d’intelligence artificielle. One advantage is to generate sharp images quickly thanks to an artificial intelligence algorithm.
Selon un mode de réalisation, l’algorithme de traitement d’image estimant la netteté ou le flou de chaque point des images de la pluralité d’images est mis en oeuvre par une première fonction apprenante, par exemple une méthode d’apprentissage automatique. According to one embodiment, the image processing algorithm estimating the sharpness or the blur of each point of the images of the plurality of images is implemented by a first learning function, for example an automatic learning method.
Selon un mode de réalisation, l’algorithme de traitement d’image comporte une sélection et un découpage de chaque groupe de pixels de chaque image ayant une netteté supérieure à un seuil prédéfini ou une netteté supérieure à la netteté de pixels d’au moins une autre image de la même zone. According to one embodiment, the image processing algorithm comprises a selection and a cutting of each group of pixels of each image having a sharpness greater than a predefined threshold or a sharpness greater than the sharpness of pixels by at least one another image of the same area.
Selon un mode de réalisation, le procédé comporte une étape d’estimation de la valeur de la distance entre l’optique à focale variable et d’au moins un premier point de la trajectoire de traitement à partir d’une estimation de la netteté de points des images de la pluralité d’images, ladite estimation étant réalisée à partir d’un algorithme de traitement d’images. According to one embodiment, the method comprises a step of estimating the value of the distance between the variable focal length optics and at least a first point of the processing trajectory from an estimate the sharpness of points of the images of the plurality of images, said estimation being carried out from an image processing algorithm.
Un avantage est de permettre de générer une carte de profondeur par des moyens logiciels ne nécessitant pas un équipement supplémentaire. Dans le cas où un équipement permettant de générer une carte de profondeur est utilisé, l’étape d’estimation réalisée par un moyen logiciel permet par exemple d’affiner la mesure d’un appareil. An advantage is to make it possible to generate a depth map by software means that do not require additional equipment. In the case where equipment making it possible to generate a depth map is used, the estimation step carried out by software means makes it possible, for example, to refine the measurement of a device.
Selon un mode de réalisation, le procédé comprend une estimation de la profondeur relative entre les pixels d’une même image et une calibration de la mesure d’au moins un pixel pour générer une information de profondeur absolue d’au moins un pixel. According to one embodiment, the method comprises an estimation of the relative depth between the pixels of the same image and a calibration of the measurement of at least one pixel to generate absolute depth information of at least one pixel.
Selon un mode de réalisation, l’optique à focale variable est agencée sur un élément de guidage configuré pour déplacer une lentille. According to one embodiment, the variable focal length optics are arranged on a guide element configured to move a lens.
Selon un mode de réalisation, le procédé comporte, entre les étapes de génération d’une trajectoire de traitement et de mesure de la distance, les étapes de : According to one embodiment, the method comprises, between the steps of generating a processing trajectory and measuring the distance, the steps of:
Calcul d’une trajectoire de guidage de l’optique à focale variable ; Calculation of a guide trajectory for the variable focal length optics;
Génération d’une cinématique de l’élément de guidage de sorte qu’un point de l’optique à focale variable soit asservi sur la trajectoire de guidage ; Generation of a kinematics of the guide element so that a point of the optics with variable focal length is slaved on the guide trajectory;
Activation de la cinématique de l’élément de guidage pour parcourir la trajectoire de guidage, ladite trajectoire de guidage étant calculée en temps réel à partir du modèle 3D de surface. Selon un mode de réalisation, le procédé comprend une étape de correction de la trajectoire de guidage à partir de la reconstruction en temps réel du modèle 3D. Activation of the kinematics of the guide element to traverse the guide trajectory, said guide trajectory being calculated in real time from the 3D surface model. According to one embodiment, the method includes a step of correcting the guidance trajectory from the real-time reconstruction of the 3D model.
Selon un autre aspect, l’invention concerne un dispositif de prise d’image caractérisé en ce qu’il comporte une optique à focale variable pour acquérir une pluralité d’images de la surface d’un corps d’un individu à l’aide du dispositif de prise d’image, lesdites acquisitions étant réalisées en faisant varier la distance focale de l’optique à focale variable selon une loi de commande, ledit dispositif comportant au moins un calculateur configuré pour mettre en oeuvre un algorithme de traitement d’images pour générer une image 3D nette. Selon un mode de réalisation, le dispositif de prise d’image comporte des moyens pour mesurer une distance entre l’optique à focale variable et d’un premier point de la surface du corps, lesdites acquisitions étant réalisées en faisant varier la distance focale de l’optique à focale variable selon une loi de commande prenant en compte la distance entre l’optique à focale variable et le premier point. According to another aspect, the invention relates to an image pickup device characterized in that it comprises variable focal length optics for acquiring a plurality of images of the surface of an individual's body using of the image pickup device, said acquisitions being made by varying the focal distance of the variable focal length optics according to a control law, said device comprising at least one computer configured to implement an image processing algorithm to generate a sharp 3D image. According to one embodiment, the image pickup device comprises means for measuring a distance between the variable focal length optics and a first point on the surface of the body, said acquisitions being carried out by varying the focal length of the variable-focal lens according to a control law taking into account the distance between the variable-focal lens and the first point.
Selon un mode de réalisation, le dispositif de prise d’image comporte en outre une interface pour réceptionner un modèle 3D d’au moins une partie d’un corps humain, ledit modèle modélisant au moins une première surface du corps et une plateforme mobile, ledit ou lesdits calculateurs étant configuré(s) pour : According to one embodiment, the image pickup device further comprises an interface for receiving a 3D model of at least one part of a human body, said model modeling at least a first surface of the body and a mobile platform, said computer(s) being configured for:
Récupérer des données topologiques locales du voisinage d’au moins le premier point, lesdites données topologiques locales étant extraites du modèle 3D ou calculées à partir du modèle 3D ; Retrieving local topological data from the neighborhood of at least the first point, said local topological data being extracted from the 3D model or calculated from the 3D model;
Commander l’acquisition d’une pluralité d’image par le dispositif de prise d’image, lesdites acquisitions étant réalisées en faisant varier la distance focale de l’optique à focale variable selon une loi de commande prenant en compte la distance entre l’optique à focale variable et le premier point, et données topologiques locales du voisinage du premier point de la première surface. Control the acquisition of a plurality of images by the image pickup device, said acquisitions being carried out by varying the focal length of the variable focal length optics according to a control law taking into account the distance between the varifocal optics and the first point, and local topological data of the neighborhood of the first point of the first surface.
Selon un mode de réalisation, le dispositif de prise d’image comporte un dispositif de mesure de la distance entre l’optique à focale variable et le premier point configuré pour mesurer en temps réel une distance entre l’optique à focale variable et un premier point de la surface du corps et un moyen de mesure de l’orientation de l’optique pour déduire une information d’angle de vue, ladite orientation et ladite distance étant utilisées par un calculateur du dispositif pour corriger ou transformer l’image acquise. According to one embodiment, the image pickup device comprises a device for measuring the distance between the variable focal length optics and the first point configured to measure in real time a distance between the variable focal length optics and a first point on the surface of the body and means for measuring the orientation of the optics to deduce viewing angle information, said orientation and said distance being used by a computer of the device to correct or transform the acquired image.
Selon un mode de réalisation, le dispositif de prise d’image comporte un élément de guidage comportant l’optique à focale variable, le ou les calculateur(s) étant configuré(s) pour : According to one embodiment, the image pickup device comprises a guide element comprising variable focal length optics, the computer(s) being configured for:
Générer une trajectoire de traitement à la surface du modèle 3D, ladite trajectoire de traitement comportant au moins deux points à la surface du modèle 3D ; Calculer une trajectoire de guidage de l’optique à focale variable Generate a processing trajectory on the surface of the 3D model, said processing trajectory comprising at least two points on the surface of the 3D model; Calculate a guide trajectory for the varifocal optics
Générer une cinématique de l’élément de guidage de sorte qu’un point de l’optique à focale variable soit asservi sur la trajectoire de guidage ; Generate a kinematics of the guide element so that a point of the variable focal length optics is slaved on the guide trajectory;
Activer une cinématique de l’élément de guidage pour parcourir la trajectoire de guidage, ladite trajectoire de guidage étant calculée en temps réel à partir du modèle 3D de surface. Activate a kinematics of the guiding element to traverse the guiding trajectory, said guiding trajectory being calculated in real time from the 3D surface model.
Selon un mode de réalisation, l’optique à focale variable est une lentille liquide. According to one embodiment, the variable focal length optic is a liquid lens.
Selon un autre aspect, l’invention concerne une plateforme mobile comportant un dispositif de prise d’image de l’invention, ladite plateforme comportant une interface de commande pour recevoir des consignes de guidage calculées notamment à partir du modèle de corps calculé en temps réel. According to another aspect, the invention relates to a mobile platform comprising an image capture device of the invention, said platform comprising a command interface for receiving guidance instructions calculated in particular from the body model calculated in real time .
Selon un mode de réalisation, la plateforme mobile est :According to one embodiment, the mobile platform is:
- un bras robot comportant une pluralité de degré de liberté ; - a robot arm comprising a plurality of degrees of freedom;
- un drone comportant une optique formant un dispositif de prise d’image ; - un rail de guidage sur lequel le dispositif de prise d’image est mobile ou : - a drone comprising optics forming an image capture device; - a guide rail on which the imaging device is movable or:
- une cabine d’accueil d’un sujet humain comportant des moyens de guidage d’un dispositif de prise d’image, - a reception booth for a human subject comprising means for guiding an image-taking device,
- une plateforme comportant une partie fixe accueillant le dispositif de prise d’image une partie mobile entraînant un individu en mouvement vis-à-vis de la partie fixe. - a platform comprising a fixed part accommodating the image capture device a mobile part driving an individual in motion vis-à-vis the fixed part.
Selon un aspect, l’invention concerne un dispositif de type pistolet comportant un embout maintenant le dispositif de prise d’image selon l’invention. According to one aspect, the invention relates to a gun-type device comprising a tip holding the image pickup device according to the invention.
BREVE DESCRIPTION DES FIGURES BRIEF DESCRIPTION OF FIGURES
D’autres caractéristiques et avantages de l’invention ressortiront à la lecture de la description détaillée qui suit, en référence aux figures annexées, qui illustrent : Figure 1 : un exemple de dispositif de guidage configuré pour acquérir des images de la surface d’un corps et pour reconstruire une image nette d’au moins une portion de la surface du corps ; Other characteristics and advantages of the invention will become apparent on reading the following detailed description, with reference to the appended figures, which illustrate: Figure 1: an example of a guidance device configured to acquire images of the surface of a body and to reconstruct a sharp image of at least a portion of the surface of the body;
Figure 2 : un exemple de dispositif de prise d’image de l’invention guidé selon une trajectoire de guidage pour acquérir des images au voisinage d’une trajectoire à la surface d’un corps ; Figure 2: an example of an image pickup device of the invention guided along a guide trajectory to acquire images in the vicinity of a trajectory on the surface of a body;
Figure 3 : un exemple de dispositif de guidage configuré pour acquérir des images de la surface d’un corps humain tel qu’un patient ; Figure 3: an example of a guiding device configured to acquire images of the surface of a human body such as a patient;
Figure 4 : un exemple d’un logigramme représentant les étapes du procédé d’acquisition des images pour leur traitement afin de reconstruire une image nette de toute ou partie d’une surface d’un corps. Figure 4: an example of a flowchart representing the steps of the image acquisition process for their processing in order to reconstruct a clear image of all or part of a surface of a body.
DESCRIPTION DÉTAILLÉE DETAILED DESCRIPTION
La figure 1 illustre un dispositif d’acquisition d’image 20 de l’invention comportant une optique à focale variable 40. Un dispositif d’acquisition d’image 20, également appelé dispositif de prise d’images est configuré pour acquérir une pluralité d’images au voisinage d’au moins un point localisé à la surface d’un corps. L’invention trouve notamment une application dans la dermatologie et l’analyse d’images de la peau d’un individu. Toutefois, l’invention ne se limite pas à cette application et peut être mise en oeuvre dans d’autres domaines. Enfin, l’invention est particulièrement avantageuse lorsque des dispositifs d’acquisition d’image 20 comportent des optiques adaptées à la macrophotographie, voire la microphotographie, telle que des optiques ayant une grande ouverture. FIG. 1 illustrates an image acquisition device 20 of the invention comprising variable focal length optics 40. An image acquisition device 20, also called an image pickup device, is configured to acquire a plurality of images in the vicinity of at least one point located on the surface of a body. The invention finds particular application in dermatology and the analysis of images of an individual's skin. However, the invention is not limited to this application and can be implemented in other fields. Finally, the invention is particularly advantageous when image acquisition devices 20 comprise optics suitable for macrophotography, or even microphotography, such as optics having a large aperture.
Un objectif de l’invention est de reconstruire la photographie de la surface d’un corps de sorte que chaque portion de l’image tridimensionnelle reconstruite soit la plus nette possible. One objective of the invention is to reconstruct the photograph of the surface of a body so that each portion of the reconstructed three-dimensional image is as sharp as possible.
Dans la suite de la description, par « corps » on entendra le corps d’un humain. Toutefois, l’invention ne se limite pas à ce mode de réalisation, l’invention peut être mise en oeuvre pour tout type de corps présentant une surface tridimensionnelle dont on cherche à représenter le plus fidèlement possible au moins une portion. In the remainder of the description, the term “body” will mean the body of a human. However, the invention is not limited to this embodiment, the invention can be implemented for any type of body having a three-dimensional surface of which it is sought to represent at least a portion as faithfully as possible.
Les paramètres d’acquisition, dont le nombre d’images, les dimensions des images et la résolution des images peuvent être prédéfinis ou définis selon une configuration de déplacement du dispositif d’acquisition 20, par exemple lorsque ce dernier est agencé sur une plateforme mobile se déplaçant autour du corps. The acquisition parameters, including the number of images, the dimensions of the images and the resolution of the images can be predefined or defined according to a displacement configuration of the acquisition device 20, for example when the latter is arranged on a mobile platform moving around the body.
L’invention permet avantageusement d’acquérir un ensemble d’images au voisinage d’un point en faisant varier la distance focale de l’optique d’acquisition selon une loi de commande prenant en compte la distance entre l’optique à focale variable et le point ciblé. The invention advantageously makes it possible to acquire a set of images in the vicinity of a point by varying the focal distance of the acquisition optics according to a control law taking into account the distance between the variable focal length optics and the target point.
L’opération peut ainsi être répétée sur une pluralité de points d’une surface d’un corps afin d’acquérir plusieurs séquences comportant chacune une pluralité d’images au voisinage d’une pluralité de points. Ce procédé peut être réalisé de manière continue sur un ensemble de points d’une surface pour parcourir tout ou partie de la surface d’un corps ou ce procédé peut réaliser le long d’une trajectoire à la surface du corps afin d’acquérir des images au voisinage de points définissant la trajectoire. Ainsi, de proche en proche l’intégralité d’une surface d’un corps peut être traitée. The operation can thus be repeated on a plurality of points of a surface of a body in order to acquire several sequences each comprising a plurality of images in the vicinity of a plurality of points. This method can be carried out continuously on a set of points on a surface to cover all or part of the surface of a body or this method can be carried out along a trajectory on the surface of the body in order to acquire images in the vicinity of points defining the trajectory. Thus, step by step, the entire surface of a body can be treated.
Dans un mode de réalisation, l’expression « image au voisinage d’un point » doit être comprise comme une image d’une surface de corps incluant ledit point. In one embodiment, the expression "image in the vicinity of a point" must be understood as an image of a body surface including said point.
Optique à focale variable Varifocal optics
Selon un mode de réalisation, l’optique à focale variable 40 est avantageusement une lentille à focale variable, dite également lentille adaptative. Selon un mode de réalisation, la lentille utilisée est une lentille déformable par actionnement piézoélectrique. Selon un autre mode de réalisation, la lentille est une lentille à cristaux liquides. Ces dernières utilisent un changement de l'indice optique des cristaux liquides afin de modifier la focale de la lentille. Enfin, un autre mode de réalisation peut être mis en oeuvre à partir d’une lentille liquide dont la géométrie est contrôlable par des paramètres micro-fluidiques ou des paramètres mécaniques tels que des paramètres définissant la géométrie d’une membrane retenant un liquide ou encore une combinaison des deux. Selon un exemple, une lentille liquide comprend une membrane circulaire en polymère électroactif. La partie centrale de la membrane forme la lentille et la partie périphérique est surmontée d'une électrode annulaire. En appliquant une tension électrique entre cette électrode et le substrat, on crée une pression électrostatique, qui tend à déplacer le fluide vers la partie centrale, gonflant la membrane, et modifiant ainsi la courbure de la lentille. Ces dispositifs peuvent être contrôlés avec une tension de pilotage. According to one embodiment, the variable focal length optics 40 is advantageously a variable focal length lens, also called an adaptive lens. According to one embodiment, the lens used is a lens deformable by piezoelectric actuation. According to another embodiment, the lens is a liquid crystal lens. The latter use a change in the optical index of the liquid crystals in order to modify the focal length of the lens. Finally, another embodiment can be implemented from a liquid lens whose geometry is controllable by micro-fluidic parameters or mechanical parameters such as parameters defining the geometry of a membrane retaining a liquid or even a combination of the two. According to one example, a liquid lens comprises a circular membrane made of electroactive polymer. The central part of the membrane forms the lens and the peripheral part is surmounted by an annular electrode. By applying an electric voltage between this electrode and the substrate, an electrostatic pressure is created, which tends to move the fluid towards the central part, inflating the membrane, and thus modifying the curvature of the lens. These devices can be controlled with a pilot voltage.
Ces paramètres peuvent être réglés, configurés ou pilotés à partir d’une consigne numérique provenant d’un capteur ou d’un calculateur ou de tout autre dispositif électronique. These parameters can be adjusted, configured or controlled from a digital setpoint from a sensor or a computer or any other electronic device.
Selon un autre mode de réalisation, l’optique à focale variable comporte un actionneur magnétique permettant de déplacer un élément optique, tel qu’une lentille, pour modifier la focale. Selon un exemple, l’élément optique se déplace par exemple dans un tube, la position dans le tube définissant une distance focale propre à configuration optique de la lentille. L’actionneur magnétique peut être commandé par un champ électromagnétique généré à partir d’un composant dédié. Le champ peut être réglé, configuré ou piloté à partir d’une consigne numérique de pilotage. Cette consigne numérique peut être générée par une loi de commande provenant d’un calculateur ou d’un capteur ou tout autre équipement électronique. According to another embodiment, the variable focal length optic comprises a magnetic actuator making it possible to move an optical element, such as a lens, to modify the focal length. According to one example, the optical element moves for example in a tube, the position in the tube defining a focal distance specific to the optical configuration of the lens. The magnetic actuator can be controlled by an electromagnetic field generated from a dedicated component. The field can be adjusted, configured or controlled from a digital control setpoint. This digital setpoint can be generated by a control law from a computer or a sensor or any other electronic equipment.
Selon un autre mode de réalisation, l’optique à focale variable comporte un actionneur mécanique permettant de déplacer un élément optique, tel qu’une lentille, pour modifier la focale. L’actionneur peut être commandé par un composant électronique permettant de recevoir une consigne numérique et de générer une consigne mécanique. Dans ce cas, cette consigne numérique peut être générée également par une loi de commande provenant d’un calculateur ou d’un capteur ou tout autre équipement électronique. According to another embodiment, the variable focal length optic comprises a mechanical actuator making it possible to move an optical element, such as a lens, to modify the focal length. The actuator can be controlled by an electronic component making it possible to receive a digital instruction and to generate a mechanical instruction. In this case, this digital setpoint can also be generated by a control law from a computer or a sensor or any other electronic equipment.
Un avantage de l’utilisation d’une optique à distance focale variable est de s’affranchir des défauts d’une macrophotographie qui acquiert des images avec une profondeur de champ relativement faible qui reste incompatible de l’acquisition d’images dans une portion de surface courbée par exemple sur le mollet ou le bras. Un autre avantage est d’avoir des temps de réponse très faibles, par exemple un temps de réponse inférieur à 25ms. An advantage of using variable focal length optics is to overcome the shortcomings of macrophotography which acquires images with a relatively shallow depth of field which remains incompatible with the acquisition of images in a portion of curved surface for example on the calf or the arm. Another advantage is to have very low response times, for example a response time of less than 25ms.
En conséquence, l’utilisation d’une optique à focale variable, par exemple en complément d’une optique avec une plus grande ouverture, permet d’acquérir une précision suffisante des images d’une surface d’un corps de manière à reconstituer une image globale nette par un algorithme de reconstruction d’images. Afin de guider la prise de vue automatiquement au voisinage d’un point de visée, l’invention permet de faire varier automatiquement la focale d’une optique selon une loi de commande afin de reconstituer une image nette du voisinage du point ciblé. Consequently, the use of variable focal length optics, for example in addition to optics with a larger aperture, makes it possible to acquire sufficient precision of the images of a surface of a body so as to reconstitute a clear global image by an image reconstruction algorithm. In order to guide shooting automatically in the vicinity of an aiming point, the invention makes it possible to automatically vary the focal length of an optic according to a control law in order to reconstitute a clear image of the vicinity of the targeted point.
Cas de la lentille liquide Liquid lens case
Dans le cas d’une lentille liquide, le contrôleur pilote la valeur numérique de la focale de la lentille. Dans cet exemple, la valeur numérique permet de faire varier la forme de la lentille. In the case of a liquid lens, the controller controls the numerical value of the focal length of the lens. In this example, the numerical value makes it possible to vary the shape of the lens.
Selon un mode de réalisation, le contrôle de la lentille liquide est réalisé au moyen d’un signal continu tel qu’une fonction trigonométrique, par exemple une fonction sinus ou une fonction linéaire, par exemple une fonction dont la forme est en dents-de-scie. Un tel contrôle permet d’optimiser la stabilisation du milieu constituant la lentille liquide. Un tel signal de commande permet de minimiser les effets non linéaires et de réduire les temps de relaxation ou les phases transitoires de modification du milieu de la lentille liquide. Une telle variation de la focale de la lentille est par ailleurs cohérente avec l’évolution de la courbure de la zone au voisinage du point cible Pi. En effet, il n’existe pas de discontinuité supposée, sauf effet d’artefact ou d’effets de bords de la surface du corps, ainsi une loi de commande de la focale peut être régulière et continue de sorte à faire correspondre les variations de topologies de surface avec les variations de la focale de la lentille. According to one embodiment, the control of the liquid lens is carried out by means of a continuous signal such as a trigonometric function, for example a sine function or a linear function, for example a function whose shape is in -saw. Such control makes it possible to optimize the stabilization of the medium constituting the liquid lens. Such a control signal makes it possible to minimize the nonlinear effects and to reduce the relaxation times or the transient phases of modification of the medium of the liquid lens. Such a variation of the focal length of the lens is moreover consistent with the evolution of the curvature of the zone in the vicinity of the target point Pi. Indeed, there is no supposed discontinuity, except for the effect of artefact or edge effects of the surface of the body, thus a law of control of the focal length can be regular and continuous so as to match the variations of surface topologies with the variations of the focal length of the lens.
Selon un exemple, l’acquisition d’image par la lentille liquide 20 est réalisée selon un échantillonnage prédéfini sur l’ensemble de la gamme de focales adressables par la lentille. Dans ce mode de réalisation, le nombre d’images acquises est constant selon une vitesse de déplacement du dispositif de prise d’images. Un intérêt de cette solution est de collecter le plus grand nombre d’images possibles afin d’obtenir une stratification des images selon les différentes focales de la lentille. Un avantage de cette solution est d’obtenir une carte de profondeur régulière de l’ensemble des points définissant des pixels de l’image acquise. According to one example, the image acquisition by the liquid lens 20 is carried out according to a predefined sampling over the entire range of focal lengths addressable by the lens. In this embodiment, the number of images acquired is constant according to a speed of movement of the imaging device. One advantage of this solution is to collect the greatest number of images possible in order to obtain a stratification of the images according to the different focal lengths of the lens. An advantage of this solution is to obtain a regular depth map of all the points defining pixels of the acquired image.
Image Image
Selon un mode de réalisation, l’image acquise est une image couleur dans le spectre visible. La gamme de fréquences de l’image acquise peut être dans ce cas le visible, c’est-à-dire pour des longueurs d’onde comprise entre 380 nm et 700 nm. Selon des modes où des gammes s’étendent de part et d’autre du spectre visible, il est possible d’acquérir des images dans un spectre plus large à partir d’un équipement dédié. Selon un exemple, les images acquises le sont dans une gamme infrarouge, c’est-à-dire pour des longueurs d’onde comprises entre 700 nm et 1000 nm. Selon un autre exemple, les images acquises le sont dans une gamme ultraviolette, c’est-à-dire pour des longueurs d’onde comprises entre 10 nm et 380 nm. According to one embodiment, the acquired image is a color image in the visible spectrum. The frequency range of the acquired image can in this case be the visible, that is to say for wavelengths between 380 nm and 700 nm. According to modes where ranges extend on either side of the visible spectrum, it is possible to acquire images in a broader spectrum from dedicated equipment. According to one example, the acquired images are acquired in an infrared range, that is to say for wavelengths comprised between 700 nm and 1000 nm. According to another example, the acquired images are acquired in an ultraviolet range, that is to say for wavelengths comprised between 10 nm and 380 nm.
Selon un mode de réalisation, l’image est une image multispectrale. Dans ce dernier cas, un équipement d’imagerie spectrale peut être utilisé. Une configuration d’un tel équipement avec une focale variable pilotable peut être utilisée dans le cadre de l’invention. L’équipement utilisé pour l’acquisition peut être configuré pour acquérir des images dont le spectre est notamment réparti sur plusieurs bandes de fréquences espacées. Un intérêt est d’obtenir une image sur une plus large bande de fréquences incluant par exemple l’infrarouge, le proche infrarouge et l’ultraviolet. According to one embodiment, the image is a multispectral image. In the latter case, spectral imaging equipment can be used. A configuration of such equipment with a controllable variable focal length can be used in the context of the invention. The equipment used for the acquisition can be configured to acquire images whose spectrum is notably distributed over several spaced frequency bands. An interest is to obtain an image over a wider band of frequencies including for example infrared, near infrared and ultraviolet.
Selon un autre exemple qui peut être combiné aux précédents modes, l’image acquise est une image hyperspectrale. Dans ce dernier cas, un spectromètre d’imagerie, également appelé un spectromètre imageur ou un imageur associé à un spectromètre, permet de générer une image hypespectrale. L’équipement utilisé pour l’acquisition peut être configuré pour acquérir des images dont le spectre est notamment réparti sur plusieurs bandes de fréquences contiguës. L’équipement utilisé peut être configuré avec une focale variable pilotable. Un intérêt est d’obtenir une image sur une plus large bande de fréquences avec un haut degré de résolution incluant par exemple l’infrarouge, le proche infrarouge et l’ultraviolet. According to another example which can be combined with the previous modes, the acquired image is a hyperspectral image. In the latter case, an imaging spectrometer, also called an imaging spectrometer or an imager associated with a spectrometer, makes it possible to generate a hyperspectral image. The equipment used for the acquisition can be configured to acquire images whose spectrum is notably distributed over several contiguous frequency bands. The equipment used can be configured with a controllable variable focal length. An interest is to obtain an image over a wider band of frequencies with a high degree of resolution including for example infrared, near infrared and ultraviolet.
Selon un mode de réalisation, l’équipement est un imageur chimique ou un dispositif d’imagerie chimique configuré pour créer une image à partir d’un spectre fréquentiel acquis tel qu’un spectromètre et des informations spatiales et temporelles. According to one embodiment, the equipment is a chemical imager or a chemical imaging device configured to create an image from an acquired frequency spectrum such as a spectrometer and spatial and temporal information.
Moyen de mesure de la distance Means of measuring distance
Selon un mode de réalisation, le dispositif de prise d’image 20 comporte un moyen de mesure de la distance entre le dispositif optique à focale variable 40 et un premier point Pi de la surface du corps. According to one embodiment, the image pickup device 20 includes means for measuring the distance between the variable focal length optical device 40 and a first point Pi on the surface of the body.
Ce moyen de mesure de la distance peut être un dispositif physique actif tel qu’un laser émis disposé à proximité de l’optique à focale variable 40. L’émission du faisceau laser permet de mesurer la distance au centre de l’image acquise. D’autres dispositifs pour mesurer la distance entre un point de la surface du corps et l’optique à focale variable 20 peuvent être utilisés, par exemple un télémètre radioélectrique, un télémètre optique ou encore un télémètre acoustique. D’autres exemples de dispositifs de mesure de la distance peuvent être utilisés dans le cadre de l’invention, tels qu’un Lidar un Radar, un Sonar ou encore un télémètre stadimétrique. This means for measuring the distance can be an active physical device such as an emitted laser placed close to the variable focal length optics 40. The emission of the laser beam makes it possible to measure the distance to the center of the acquired image. Other devices for measuring the distance between a point on the surface of the body and the variable focal length optics 20 can be used, for example a radioelectric rangefinder, an optical rangefinder or even an acoustic rangefinder. Other examples of distance measuring devices can be used in the context of the invention, such as a Lidar, a Radar, a Sonar or even a stadimetric rangefinder.
Afin de réaliser la mesure de distance, l’invention peut mettre en oeuvre un dispositif de mesure à point unique tel qu’un laser ou un système de mesure multipoints tel qu’un laser, un dispositif dit « Time-of-Flight matriciel », un lidar, un dispositif stéréoscopique active/passive, ou encore un dispositif comportant une projection d’une lumière structurée. In order to carry out the distance measurement, the invention can implement a single-point measurement device such as a laser or a multipoint measurement system such as a laser, a so-called “matrix Time-of-Flight” device. , a lidar, an active/passive stereoscopic device, or even a device comprising a projection of structured light.
Selon une alternative, ou selon un mode complémentaire, le moyen de mesure de la distance entre l’optique à focale variable 40 et un premier point Pi de la surface du corps est un moyen logiciel mettant en oeuvre un calculateur traitant les images acquises pour en extraire une information de netteté ou de flou pour reconstruire à partir de cette donnée une information caractérisant la distance entre un point Pi de la surface et l’optique. Un exemple de réalisation peut être un algorithme détectant le ou les pixels les plus nets d’une image pour en déduire une information sur la distance entre un point Pi de la surface et l’optique en connaissant par ailleurs la focale de l’optique utilisée. Les gradients entre les pixels les plus nets et les autres pixels peuvent également être exploités afin de consolider la mesure de la distance entre un point Pi de la surface et l’optique. L’information de distance focale est alors utilisée pour traiter l’évaluation de la distance entre l’optique à focale variable et un point Pi de la surface du corps. L’ensemble des nuances de netteté ou de flou entre les pixels peut alors être utilisé pour consolider le calcul de la distance entre un point Pi de la surface et l’optique ou pour définir une carte de profondeur locale au voisinage du point Pi de visée ou d’un point dont la netteté est considérée comme la plus élevée. According to an alternative, or according to a complementary mode, the means for measuring the distance between the variable focal length optics 40 and a first point Pi of the surface of the body is a software means implementing a computer processing the images acquired in order to extract sharpness or blur information to reconstruct from this data information characterizing the distance between a point Pi of the surface and the optics. An exemplary embodiment may be an algorithm detecting the sharpest pixel(s) of an image to deduce therefrom information on the distance between a point Pi of the surface and the optics, knowing moreover the focal length of the optics used . The gradients between the sharpest pixels and the other pixels can also be exploited in order to consolidate the measurement of the distance between a point Pi on the surface and the optics. The focal length information is then used to process the evaluation of the distance between the variable focal length optics and a point Pi on the surface of the body. The set of shades of sharpness or blur between the pixels can then be used to consolidate the calculation of the distance between a point Pi on the surface and the optics or to define a local depth map in the vicinity of the aiming point Pi or a point whose sharpness is considered the highest.
Selon un exemple de réalisation, un algorithme peut être mis en oeuvre par une fonction apprenante, de type fonction entraînée par un apprentissage automatique, tel qu’un algorithme de deep learning. Dans ce mode de réalisation, un réseau de neurones convolutif de type CNN peut être utilisé. La fonction apprenante permet notamment de détecter le ou les pixels supposés être les plus nets de l’image et de déterminer une distance entre un point Pi de la surface et l’optique. According to an exemplary embodiment, an algorithm can be implemented by a learning function, of the function type driven by automatic learning, such as a deep learning algorithm. In this embodiment, a CNN-like convolutional neural network can be used. The learning function makes it possible in particular to detect the pixel(s) assumed to be the sharpest in the image and to determine a distance between a point Pi on the surface and the optics.
A cette fin, une carte de netteté, également appelée « defocus map » dans la terminologie anglosaxonne peut être établie pour chacune des images de la pile d’images en faisant varier la focale de l’optique. Une telle carte de netteté permet d’encoder une information de flou ou de netteté par exemple sur une échelle normalisée de 0 à 1 . To this end, a sharpness map, also called “defocus map” in English terminology, can be established for each of the images in the image stack by varying the focal length of the lens. Such a sharpness map makes it possible to encode blur or sharpness information, for example on a standardized scale of 0 to 1.
Lorsqu’une méthode classique est mise en oeuvre, la carte de netteté d’une zone est construite en considérant les pixels les plus nets de chaque image. When a classical method is implemented, the sharpness map of an area is constructed by considering the sharpest pixels of each image.
Méthodes de mesure de la distance à partir des images acquises Methods of measuring distance from acquired images
Selon un exemple de réalisation, la distance mesurée par un capteur peut être combinée à une autre mesure de la distance obtenue soit par un autre capteur soit par une autre méthode permettant d’évaluer la distance. According to an exemplary embodiment, the distance measured by a sensor can be combined with another measurement of the distance obtained either by another sensor or by another method making it possible to evaluate the distance.
Parmi les autres méthodes, une première méthode consiste à évaluer la distance entre l’optique à focale variable 40 et un point Pi de la surface du corps à partir des images acquises et par un algorithme d’estimation de la netteté de différents points de l’image afin de reconstruire une information de distance entre au moins un point de la surface et l’optique. En effet, dans cette méthode les différences de netteté de différents points de différentes images ayant été acquises avec des distances focales différentes permettent d’obtenir une estimation de la distance de chacun de ces points par rapport à l’optique. Cette estimation peut être combinée ou non avec une autre méthode ou une donnée d’un capteur. Cette estimation peut être utilisée afin de définir une entrée d’une loi de commande Le de la distance focale de l’optique 40. Among the other methods, a first method consists in evaluating the distance between the variable focal length optics 40 and a point Pi of the surface of the body from the acquired images and by an algorithm for estimating the sharpness of different points of the image in order to reconstruct distance information between at least one point on the surface and the optics. Indeed, in this method the differences in sharpness of different points of different images having been acquired with different focal lengths make it possible to obtain an estimate of the distance of each of these points with respect to the optics. This estimate may or may not be combined with another method or data from a sensor. This estimate can be used to define an input of a control law Le of the focal length of the optics 40.
Parmi les méthodes, l’une d’entre elles peut être mise en oeuvre si une connaissance à priori du volume ou de la surface 12 du corps est connue. Selon un exemple de réalisation, l’invention comprend un composant permettant de générer un modèle de corps, notamment de la surface tridimensionnelle de ce corps. Cette surface peut être une surface définie dans l’espace ou elle peut être définie par un nuage de points ou un maillage. Le nuage de points peut être avantageusement connecté et orienté dans l’espace, on parle d’orientation spatiale dans l’espace. Lorsque le nuage de points est orienté, il est possible de repérer la surface du modèle de corps dans l’espace par exemple au sein d’un référentiel prédéterminé Ro. Lorsque le modèle de corps est repéré dans un référentiel Ro et que le dispositif d’acquisition d’images l’est aussi, il est alors possible de calculer une distance entre un point Pi de la surface 12 du corps et l’optique à focale variable 40 et d’utiliser cette distance pour mettre en œuvre une loi de commande Le pilotant automatiquement la distance focale df du dispositif à focale variable 20. Among the methods, one of them can be implemented if a priori knowledge of the volume or of the surface 12 of the body is known. According to an exemplary embodiment, the invention comprises a component making it possible to generate a body model, in particular of the three-dimensional surface of this body. This surface can be a surface defined in space or it can be defined by a cloud of points or a mesh. The point cloud can be advantageously connected and oriented in space, we speak of spatial orientation in space. When the cloud of points is oriented, it is possible to identify the surface of the body model in space, for example within a predetermined reference frame Ro. When the body model is located in a reference frame Ro and the image acquisition device is also, it is then possible to calculate a distance between a point Pi of the surface 12 of the body and the optical focal variable 40 and to use this distance to implement a control law Le automatically controlling the focal length df of the variable focal length device 20.
A partir des données suivantes : la position et l’orientation du corps en 3D dans Ro, la connaissance du modèle de corps et la position du dispositif optique dans Ro, il est possible de calculer en temps réel une loi de commande de l’optique en fonction de la position relative de celle-ci par rapport au corps. From the following data: the position and orientation of the body in 3D in Ro, the knowledge of the body model and the position of the optical device in Ro, it is possible to calculate in real time an optical control law depending on its relative position with respect to the body.
Selon un premier cas, cette loi de commande peut être calculée en temps réel sans avoir préalablement à planifier une trajectoire de l’optique. Ce mode de réalisation, est particulièrement intéressant dans le cas d’une optique embarquée dans un dispositif mobile de type un pistolet, c’est-à-dire amovible selon les mouvements d’une main d’un opérateur par exemple. According to a first case, this control law can be calculated in real time without having to plan a trajectory of the optics beforehand. This embodiment is particularly advantageous in the case of optics embedded in a mobile device of the pistol type, that is to say removable according to the movements of an operator's hand for example.
Selon un second cas, cette loi de commande peut être calculée par exemple en planifiant une trajectoire préalable de l’optique. Ce mode de réalisation, est particulièrement intéressant dans le cas d’une optique embarquée dans un dispositif robotique de type un bras robot articulé et de manière plus générale un dispositif embarqué dans toute plateforme amovible. According to a second case, this control law can be calculated for example by planning a preliminary trajectory of the optics. This embodiment is particularly interesting in the case of an optics embedded in a robotic device of the type an articulated robot arm and more generally a device embedded in any removable platform.
Utilisation d’un modèle de corps Using a body template
Lorsque l’invention met en œuvre une génération automatique du modèle de corps d’un individu, ce dernier peut être généré à partir d’un dispositif optique capturant des vues partielles ou des vues complètes du corps de l’individu. Les vues partielles peuvent ensuite être utilisées pour générer un modèle de corps par exemple à partir d’un algorithme mis en œuvre par une fonction apprenante, telle qu’une fonction ayant été entraînée par un apprentissage automatique. Un exemple est un réseau de neurones convolutif. Une telle fonction permet de générer en temps réel des modèles de corps en 3D d’un individu à partir de vues partielles acquises. Une telle possibilité permet de calculer des données topologiques au voisinage d’un point cible Pi de la surface du corps lors du balayage d’une trajectoire par le dispositif de prise d’images 20. Descripteur topologique When the invention implements an automatic generation of the body model of an individual, the latter can be generated from an optical device capturing partial views or complete views of the body of the individual. The partial views can then be used to generate a body model for example from an algorithm implemented by a learning function, such as a function that has been trained by automatic learning. An example is a convolutional neural network. Such a function makes it possible to generate in real time 3D body models of an individual from acquired partial views. Such a possibility makes it possible to calculate topological data in the vicinity of a target point Pi of the surface of the body during the scanning of a trajectory by the imaging device 20. Topological descriptor
La connaissance de la topologie peut provenir de différents dispositifs ou méthodes de calcul d’au moins un descripteur topologique local au point Pi ciblé. The knowledge of the topology can come from different devices or methods of calculation of at least one local topological descriptor at the targeted point Pi.
Selon un premier mode de réalisation, le descripteur provient d’un calcul effectué en temps réel à partir d’une image acquise. Ce calcul peut être effectué avec un second dispositif optique configuré avec une ouverture, une profondeur de champ ou une distance focale permettant une analyse locale de la carte de profondeur au voisinage du point Pi. Selon ce même exemple, le second dispositif optique peut comprendre une optique dans une gamme infrarouge. Selon un autre exemple de descripteur calculé en temps réel, un dispositif comportant une projection d’images dont on calcule la déformation permet de calculer une carte de profondeur. Un autre exemple consiste en l’utilisation de lumière structurée. According to a first embodiment, the descriptor comes from a calculation carried out in real time from an acquired image. This calculation can be performed with a second optical device configured with an aperture, a depth of field or a focal length allowing local analysis of the depth map in the vicinity of the point Pi. According to this same example, the second optical device can comprise a optics in an infrared range. According to another example of a descriptor calculated in real time, a device comprising a projection of images whose deformation is calculated makes it possible to calculate a depth map. Another example is the use of structured light.
Selon un second mode de réalisation, le descripteur provient d’un calcul en temps réel à partir d’une image extraite d’un modèle de surface du corps humain qui est orienté et positionné dans l’espace. Un tel modèle de corps peut être par exemple généré en temps réel à partir d’une connaissance partielle ou totale du corps d’un patient. La connaissance à priori de la trajectoire qui a été planifiée et du modèle de corps du patient dont on souhaite obtenir des images locales de la peau et enfin la connaissance du dispositif de prise d’image 20 et de son agencement vis-à-vis du corps permettent de générer un ensemble de descripteurs locaux à priori avant le process d’acquisition des images au voisinage des points ciblés Pi. Une telle technique permet de configurer la loi de commande Le de l’optique à focale variable sans dépendre d’une contrainte temps réel. Par ailleurs, cette technique permet de gagner un temps de calcul en temps réel et permet d’optimiser le meilleur ratio d’images nécessaires à la reconstruction d’une image nette de toute ou partie du corps humain dont on souhaite obtenir une image nette. According to a second embodiment, the descriptor comes from a real-time calculation from an image extracted from a surface model of the human body which is oriented and positioned in space. Such a body model can for example be generated in real time from partial or total knowledge of a patient's body. A priori knowledge of the trajectory that has been planned and of the patient's body model for which local images of the skin are to be obtained and finally knowledge of the imaging device 20 and its arrangement vis-à-vis the bodies make it possible to generate a set of local descriptors a priori before the image acquisition process in the vicinity of the targeted points Pi. Such a technique makes it possible to configure the control law Le of the variable focal length optics without depending on a constraint real time. Moreover, this technique saves calculation time in real time and makes it possible to optimize the best ratio of images necessary for the reconstruction of a clear image of all or part of the human body for which a clear image is desired.
Selon un mode de réalisation, au moins un descripteur de forme locale et/ou un descripteur de forme globale est calculé(s). Un descripteur peut être du type : « Wave Kernel Signature » (WKS) ou « Heat Kernel Signature » (HKS) ou « Gaussian Curvature ». A titre d’exemple, le descripteur HKS est notamment basé sur une solution de l’équation de chaleur, il est basé sur l’opérateur de Laplace - Beltrami. Un avantage est de définir des descripteurs de forme à partir d’une analyse spectrale de la région au voisinage d’un point. Un avantage est l’utilisation simplifiée d’équations ou d’opérateurs normalisés dont le traitement numérique peut être optimisé. According to one embodiment, at least one local shape descriptor and/or one global shape descriptor is calculated. A descriptor can be of the type: “Wave Kernel Signature” (WKS) or “Heat Kernel Signature” (HKS) or “Gaussian Curvature”. By way of example, the HKS descriptor is notably based on a solution of the heat equation, it is based on the Laplace-Beltrami operator. An advantage is to define descriptors shape from a spectral analysis of the region in the vicinity of a point. An advantage is the simplified use of standardized equations or operators whose numerical processing can be optimized.
Selon un exemple, le calcul du vecteur normal à la surface au point Pi ciblé permet également de définir un descripteur de forme local. According to an example, the calculation of the vector normal to the surface at the targeted point Pi also makes it possible to define a local shape descriptor.
Selon un autre exemple, la loi de commande est calculée en temps réel sur le corps de telle manière à ce la focale de l’optique balaie l’intégralité de la gamme de profondeur des points du maillage d’une zone locale considérée, c’est-à-dire entre les points les plus lointains de l’optique et les points les plus proches de l’optique. Ainsi, la connaissance à priori de la topologie locale du fait de la connaissance du modèle de corps permet de piloter la loi de commande manière optimale selon la zone inspectée. En d’autres termes, à partir du nuage de points d’une zone locale du modèle de corps, l’invention permet d’extraire une gamme de valeurs de focale permettant de commander la loi de commande de l’optique. According to another example, the control law is calculated in real time on the body in such a way that the focal length of the optic scans the entire depth range of the points of the mesh of a local zone considered, it that is to say between the most distant points of the optics and the closest points of the optics. Thus, the a priori knowledge of the local topology due to the knowledge of the body model makes it possible to control the control law in an optimal manner according to the inspected zone. In other words, from the cloud of points of a local area of the body model, the invention makes it possible to extract a range of focal length values making it possible to control the control law of the optics.
Lorsqu’au moins un descripteur de forme est calculé, la valeur de ce dernier permet de générer une gamme de valeur de la focale et de définir un échantillonnage de prise d’images de l’optique à focale variable au sein de cette gamme. Cet échantillonnage peut être prédéfini ou calculé en temps réel en fonction du cas d’espèce. When at least one shape descriptor is calculated, the value of the latter makes it possible to generate a range of values of the focal length and to define a sampling of images taken from the variable focal length optics within this range. This sampling can be predefined or calculated in real time depending on the specific case.
Selon un exemple lorsque plusieurs descripteurs de forme sont calculés localement, un coefficient de forme est calculé afin d’établir une règle simple de correspondance ne le coefficient de forme et une gamme de variation de la focale. According to an example when several shape descriptors are calculated locally, a shape coefficient is calculated in order to establish a simple correspondence rule between the shape coefficient and a range of variation of the focal length.
Génération d’une trajectoire Generation of a trajectory
Selon un exemple, l’invention comprend le guidage d’un dispositif de prise d’image 20 selon une trajectoire ou une surface à parcourir à la surface du corps d’un individu. Le procédé permet donc de traiter une pluralité de points cibles Pi le long d’une trajectoire. La trajectoire peut être planifiée initialement à la surface d’un modèle de corps calculé d’un individu puis cette trajectoire peut être recalculée ou déformée pendant le guidage du dispositif de prise d’image 20 en fonction des déplacements ou des mouvements de l’individu. Dans ce cas, la position dans l’espace d'au moins un point de la surface peut être recalculée afin d’asservir la trajectoire de déplacement du dispositif de prise d’images. Dans cet exemple, les descripteurs topologiques peuvent être recalculés aux points de la trajectoire asservie, par exemple si le mouvement implique une déformation de la surface du corps. Selon un autre cas, les valeurs des descripteurs en première approximation peuvent être conservées aux points situés sur la trajectoire ayant changé de position. According to one example, the invention comprises guiding an image pickup device 20 along a trajectory or a surface to be traversed on the surface of an individual's body. The method therefore makes it possible to process a plurality of target points Pi along a trajectory. The trajectory can be planned initially on the surface of a calculated body model of an individual and then this trajectory can be recalculated or deformed during the guiding of the imaging device 20 according to the movements or movements of the individual. . In this case, the position in space of at least one point of the surface can be recalculated in order to control the path of movement of the imaging device. In this example, the topological descriptors can be recalculated at the points of the servo path, for example if the movement involves a deformation of the surface of the body. According to another case, the values of the descriptors in first approximation can be kept at the points located on the trajectory having changed position.
Selon un exemple, un algorithme de détection de forme peut être mis en œuvre. Cet algorithme peut être, par exemple, mis en œuvre pour reconnaître des postures {assise, debout, bras levés, etc.} ou encore des mouvements typiques. Selon une alternative, un opérateur peut initier un changement de modes de prises d’images imposant un recalcul du modèle de corps et de sa position dans l’espace. According to one example, a shape detection algorithm can be implemented. This algorithm can be, for example, implemented to recognize postures {sitting, standing, arms raised, etc.} or even typical movements. According to an alternative, an operator can initiate a change of imaging modes imposing a recalculation of the body model and its position in space.
Dans cet exemple, le dispositif optique est déplacé en une pluralité de points formant une trajectoire du dispositif optique. Le dispositif optique peut être déplacé le long d’une trajectoire prédéfinie de manière automatisée, par exemple par un bras robotique. In this example, the optical device is moved at a plurality of points forming a trajectory of the optical device. The optical device can be moved along a predefined trajectory in an automated way, for example by a robotic arm.
Dans un autre exemple, le dispositif optique est guidé directement par un utilisateur. Dans ce cas, le dispositif optique peut comprendre un manche pour être attrapé par la main de l’utilisateur. In another example, the optical device is guided directly by a user. In this case, the optical device can comprise a handle to be grabbed by the hand of the user.
Dans un mode de réalisation, la trajectoire doit être comprise comme une trajectoire relative par rapport à la surface de corps. Préférentiellement, le déplacement du dispositif optique le long de sa trajectoire est continu, c’est-à-dire que le déplacement par rapport au corps humain ne marque pas de pause. Le déplacement relatif du dispositif optique par rapport au corps humain n’est jamais nul le long de ladite trajectoire. Dans ce mode de réalisation, deux images successives sont prises depuis deux positions différentes. Les deux images acquises partageant un taux de recouvrement se chevauchent de manière à partager une portion d’image commune comme détaillée ultérieurement. In one embodiment, the trajectory should be understood as a relative trajectory with respect to the body surface. Preferably, the displacement of the optical device along its trajectory is continuous, that is to say that the displacement relative to the human body does not mark a pause. The relative displacement of the optical device with respect to the human body is never zero along said trajectory. In this embodiment, two successive images are taken from two different positions. The two acquired images sharing an overlap rate overlap so as to share a common image portion as detailed later.
Dans une mode de réalisation, le déplacement du dispositif optique selon une trajectoire prédéterminée comprend une étape d’acquisition d’un nuage de point représentant la surface de la peau du sujet, une étape de mise à jour de manière continue dudit nuage de point en fonction des changements de géométrie tridimensionnelle de ladite surface due à l’action des muscles ou un mouvement du corps et optionnellement, la mise à jour de manière continue de ladite trajectoire en fonction du nuage de points actualisé. Loi de commande In one embodiment, the movement of the optical device along a predetermined trajectory comprises a step of acquiring a point cloud representing the surface of the subject's skin, a step of continuously updating said point cloud in according to changes in the three-dimensional geometry of said surface due to the action of the muscles or a movement of the body and optionally, the continuous updating of said trajectory according to the updated point cloud. Control law
Le dispositif de l’invention comprend un contrôleur électronique permettant de contrôler le dispositif à focale variable 40. Un intérêt de la mise en oeuvre d’une loi de commande Le est de faire varier la distance focale à chaque acquisition d’images au voisinage d’un point Pi d’une trajectoire 30 de la surface du corps tout en guidant le dispositif de prise d’image 20 le long d’une trajectoire à parcourir 32. The device of the invention comprises an electronic controller making it possible to control the device with variable focal length 40. One advantage of the implementation of a control law Le is to vary the focal distance at each acquisition of images in the vicinity of a point Pi of a trajectory 30 of the surface of the body while guiding the imaging device 20 along a trajectory to be traveled 32.
Selon un premier mode de réalisation, la loi de commande Le peut être planifiée à l’avance, c’est-à-dire avant la prise d’images. Ce mode de réalisation est possible lorsque le modèle de corps d’un individu est connu et lorsque la trajectoire de guidage du dispositif de prise d’images 20 est planifiée. Dans cette configuration, l’ensemble des variables de la loi de commande peuvent être précalculées afin que l’ensemble des images à acquérir puisse l’être afin de former l’image composite finale. Ce mode de réalisation peut être combiné avec des modifications locales de la position du corps et donc de la trajectoire des points ciblés et donc de la trajectoire de guidage du dispositif de prise d’image 20. Dans ce cas, la loi de commande n’est pas modifiée puisque la configuration du système {corps - dispositif de prise d’image} reste inchangée. According to a first embodiment, the control law Le can be planned in advance, that is to say before the images are taken. This embodiment is possible when the body model of an individual is known and when the guiding trajectory of the imaging device 20 is planned. In this configuration, all the variables of the control law can be precomputed so that all the images to be acquired can be in order to form the final composite image. This embodiment can be combined with local modifications of the position of the body and therefore of the trajectory of the targeted points and therefore of the guiding trajectory of the imaging device 20. In this case, the control law does not is not modified since the configuration of the system {body - imaging device} remains unchanged.
Selon un second mode de réalisation, la loi de commande Le est calculée en temps réel à partir des données acquises en temps réel. Ainsi, une trajectoire peut être planifiée à la surface du corps, mais la distance entre le dispositif de prise d’image 20 et la surface du corps n’est pas connue a priori ou encore la topologie locale du voisinage des points ciblés n’est pas connue et doit être découverte en temps réel. Lorsque la loi de commande Le est pilotée en temps réel, un calcul en temps réel est réalisé pour asservir l’optique à focale variable et la position du dispositif de prise d’image 20 de sorte que l’ensemble des images nécessaire à la reconstruction d’une image composite nette soit réalisée. According to a second embodiment, the control law Le is calculated in real time from the data acquired in real time. Thus, a trajectory can be planned on the surface of the body, but the distance between the imaging device 20 and the surface of the body is not known a priori or even the local topology of the vicinity of the targeted points is not known. unknown and must be discovered in real time. When the control law Le is controlled in real time, a real-time calculation is carried out to control the variable focal length optics and the position of the image pickup device 20 so that all of the images necessary for the reconstruction of a clear composite image is achieved.
La loi de commande Le peut être configurée de sorte que le dispositif de prise d’image 20 balaie un ensemble de points pour acquérir des images nettes d’une zone complète de toute ou partie d’une surface du corps. Afin d’optimiser le nombre d’images acquises et la gamme de valeurs de la focale de l’optique à focale variable, la loi de commande Le peut prendre en compte une donnée de topologie au voisinage d’un point P1 dont on souhaite acquérir des images. The control law Le can be configured so that the image pickup device 20 scans a set of points to acquire sharp images of a complete zone of all or part of a surface of the body. In order to optimize the number of images acquired and the range of values of the focal length of the varifocal optics, the control law Le can take into counts a topology datum in the vicinity of a point P1 of which it is desired to acquire images.
Lorsque la surface 12 du corps est relativement plane au voisinage du point P-i, les points au voisinage du point P1 sont dans une plage réduite de valeurs de la focale. Au sein de cette gamme, la focale de l’optique est pilotée pour acquérir des images nettes à proximité du point P1 . Typiquement, si la gamme de valeurs de la focale permet d’acquérir des images haute définition nettes dans une profondeur de champ de 1 mm, le nombre d’images à acquérir pour obtenir un ensemble d’images nettes au voisinage du point P1 peut être réduit. La prise d’images se limite à la variation de la focale sur une plage de valeurs de focales réduite. Une telle zone peut correspondre à celle d’un ventre plat d’une personne en forme et non en surpoids. When the surface 12 of the body is relatively flat in the vicinity of the point P-i, the points in the vicinity of the point P1 are in a reduced range of values of the focal length. Within this range, the focal length of the optics is controlled to acquire sharp images near the point P1. Typically, if the range of values of the focal length makes it possible to acquire sharp high definition images in a depth of field of 1 mm, the number of images to be acquired to obtain a set of sharp images in the vicinity of the point P1 can be reduced. The capture of images is limited to the variation of the focal length over a range of reduced focal length values. Such an area can correspond to that of a flat stomach of a fit and not overweight person.
Lorsque la surface 12 du corps est relativement courbée au voisinage du point Pi, les points au voisinage du point Pi sont dans une large plage de valeurs de la focale. Au sein de cette gamme plus large que la gamme réduite, la focale de l’optique est pilotée pour acquérir des images nettes à proximité du point P1. Afin d’acquérir des images nettes sur une profondeur de champ plus importante, par exemple 20 mm, alors la gamme de valeurs de la focale est configurée de sorte à être élargie et le nombre d’images acquises dans cette zone est plus important que dans le cas précédent. Une telle zone peut correspondre à celle d’un mollet ou d’un bras. When the surface 12 of the body is relatively curved in the vicinity of the point Pi, the points in the vicinity of the point Pi are in a wide range of focal length values. Within this wider range than the reduced range, the focal length of the optics is controlled to acquire sharp images near point P1. In order to acquire sharp images over a greater depth of field, for example 20 mm, then the range of values of the focal length is configured so as to be widened and the number of images acquired in this zone is greater than in the previous case. Such an area can correspond to that of a calf or an arm.
Certaines zones peuvent avoir une courbure encore plus importante telles que le coude plié, le nez, les oreilles ou les orteils. Some areas may have even greater curvature such as the bent elbow, nose, ears or toes.
La loi de commande Le peut également avoir une influence sur la vitesse de déplacement du dispositif de prise d’image 20 selon le nombre d’images à acquérir localement au voisinage d’un point Pi et plus généralement pour l’ensemble des points Pi d’une trajectoire. Enfin, cette loi de commande Le peut être configurée à priori ou en temps réel en fonction du taux de recouvrement souhaité des images acquises de la surface du corps humain. Le taux de recouvrement peut être une valeur en pourcentage définissant la proportion de la surface d’image recouverte par exemple sur les bords des images afin de reconstruire une image globale. Le taux de recouvrement peut également être calculé de sorte qu’il définisse une statistique de proportion d’images nettes à un facteur de précision donnée avec un facteur d’erreur donné. Le taux de recouvrement peut également être défini de proche en proche entre deux acquisitions successives. A titre d’exemple, le taux de recouvrement peut être un pourcentage de la proportion d’une image répétée au sein d’une image en fonction d’une image précédemment acquise. The control law Le can also have an influence on the speed of movement of the imaging device 20 depending on the number of images to be acquired locally in the vicinity of a point Pi and more generally for all the points Pi d a trajectory. Finally, this control law Le can be configured a priori or in real time according to the desired recovery rate of the images acquired from the surface of the human body. The coverage rate can be a percentage value defining the proportion of the image surface covered, for example on the edges of the images in order to reconstruct an overall image. The recovery rate can also be calculated so that it defines a statistic of proportion of sharp images at a given precision factor with a given error factor. The recovery rate can also be defined step by step between two successive acquisitions. By way of example, the overlap rate can be a percentage of the proportion of a repeated image within an image as a function of a previously acquired image.
Un intérêt de cette dernière configuration est d’obtenir une zone recouvrée avec deux images acquises obtenues avec des focales différentes. Dans cette réalisation, il est possible de reconstruire un gradient pour générer une image reconstruite qui sera nette sur une plus grande dimension que chaque image acquise séparément. An advantage of this last configuration is to obtain an area covered with two acquired images obtained with different focal lengths. In this embodiment, it is possible to reconstruct a gradient to generate a reconstructed image which will be sharp over a larger dimension than each image acquired separately.
Par « taux de recouvrement entre deux images successives » on entend ainsi que deux images successives se chevauchent partiellement en une portion commune, c’est-à-dire que les portions communes de deux images successives peuvent être superposées. Le but de ce taux de recouvrement sera ainsi d’utiliser deux images différentes pour former une unique image continue comprenant les portions communes et les portions non communes desdites images acquises. Deux images successives partageant un taux de recouvrement peuvent être acquises avec des distances focales du dispositif optique différentes. By “overlap rate between two successive images” is thus meant that two successive images partially overlap in a common portion, that is to say that the common portions of two successive images can be superimposed. The purpose of this overlap rate will thus be to use two different images to form a single continuous image comprising the common portions and the non-common portions of said acquired images. Two successive images sharing an overlap rate can be acquired with different focal lengths of the optical device.
Dans un exemple, le dispositif optique est déplacé le long de la trajectoire, en une première position puis en une seconde position. La loi de commande déclenche l’acquisition d’au moins une image du point P1 depuis la première position puis d’au moins une image depuis la seconde position. La première position et la seconde position sont suffisamment proches l’une de l’autre pour permettre le chevauchement partiel des images successives acquises en ces deux positions. In one example, the optical device is moved along the trajectory, to a first position and then to a second position. The control law triggers the acquisition of at least one image of the point P1 from the first position then of at least one image from the second position. The first position and the second position are sufficiently close to each other to allow partial overlap of the successive images acquired at these two positions.
Dans un premier mode de réalisation, la loi de commande génère l’acquisition d’un premier groupe d’images depuis la position puis d’un second groupe d’images depuis la seconde position. Dans ce mode, les images du premier groupe et les images du second groupe se chevauchent partiellement en une portion commune comme décrit précédemment. Le premier groupe d’images et le second groupe d’images comprennent chacun une pluralité d’images acquises avec des distances focales différentes. Un avantage est d’obtenir une première image multifocale et une seconde image multifocale à partir de respectivement du premier groupe d’images et du second groupe d’images. Dans un second mode de réalisation préférentiel, une première image est acquise depuis la première position et une seconde image est acquise depuis la seconde position. La première et la seconde image sont alors acquises avec des distances focales différentes. Dans ce mode de réalisation, la première image et la seconde image partagent un taux de recouvrement. Préférentiellement, le mouvement du dispositif optique par rapport est continu. On entend par mouvement continu un mouvement n’atteignant pas une vitesse nulle. Dans ce cas, chaque image est acquise depuis une position différente. In a first embodiment, the control law generates the acquisition of a first group of images from the position then of a second group of images from the second position. In this mode, the images of the first group and the images of the second group partially overlap in a common portion as previously described. The first group of images and the second group of images each include a plurality of images acquired with different focal lengths. An advantage is to obtain a first multifocal image and a second multifocal image from respectively the first group of images and the second group of images. In a second preferred embodiment, a first image is acquired from the first position and a second image is acquired from the second position. The first and the second image are then acquired with different focal lengths. In this embodiment, the first image and the second image share an overlap rate. Preferably, the movement of the relative optical device is continuous. Continuous motion is understood to mean a motion that does not reach zero speed. In this case, each image is acquired from a different position.
Dans un mode de réalisation, le taux de recouvrement est strictement inférieur à 100%. Autrement dit, les deux images successives ne se chevauchent que partiellement et comprennent chacune une portion commune, mais également une portion non compris dans l’autre image. Préférentiellement, le taux de recouvrement est strictement inférieur à 99%. In one embodiment, the recovery rate is strictly less than 100%. In other words, the two successive images only partially overlap and each includes a common portion, but also a portion not included in the other image. Preferably, the recovery rate is strictly less than 99%.
Dans un mode de réalisation, le taux de recouvrement est supérieur à 75% et strictement inférieur à 100% ou 99%. Au moins 75 % de la surface de l’image sera en commun avec au moins une autre image. L’avantage d’un tel taux de recouvrement est, pour chaque point de la surface de corps, d’acquérir une pluralité d’images. L’avantage est de pouvoir acquérir une pluralité d’images acquises avec des distances focales différentes, augmentant les chances d’avoir au moins une portion nette dudit point pour la construction d’une image nette à partir de la pluralité d’images acquises de ladite surface 12 telle que décrite ci-après. Autrement dit, un point de la surface de corps du sujet est capturé par une pluralité d’images acquises, même lorsque le dispositif optique était en mouvement entre la prise d’images acquises successives. In one embodiment, the recovery rate is greater than 75% and strictly less than 100% or 99%. At least 75% of the image area will be shared with at least one other image. The advantage of such an overlap rate is, for each point of the body surface, to acquire a plurality of images. The advantage is to be able to acquire a plurality of images acquired with different focal lengths, increasing the chances of having at least a sharp portion of said point for the construction of a sharp image from the plurality of images acquired from said surface 12 as described below. In other words, a point on the surface of the subject's body is captured by a plurality of acquired images, even when the optical device was in motion between the taking of successive acquired images.
Préférentiellement, les distances focales d’acquisition de deux images successives présentant un taux de recouvrement sont différentes l’une de l’autre. Preferably, the acquisition focal lengths of two successive images having an overlap rate are different from each other.
Lorsque la courbure de la zone augmente, l’acquisition des images peut être réalisée de manière plus rapide avec un échantillonnage d’une plage plus importante de la focale de l’optique à focale variable, le mouvement du dispositif de prise d’image 20 peut ralentir et le recouvrement peut être configuré de sorte à être plus important entre deux images successives. Ainsi selon un exemple la loi de commande Le peut être configurée avec les variables suivantes : As the curvature of the area increases, image acquisition can be performed more quickly with sampling of a larger range of the focal length of the varifocal optics, the movement of the imaging device 20 can slow down and the overlap can be configured to be more important between two successive images. Thus, according to an example, the control law Le can be configured with the following variables:
- La vitesse de déplacement Vd est sélectionnée dans une gamme de vitesse [Vdmin ; V max] ; - The movement speed V d is selected from a speed range [Vdmin; Vmax ];
- Le taux de recouvrement d’image TR est sélectionné dans une gamme de taux de recouvrement d’image [Tmin ; Tmax] ; - The image overlap rate TR is selected from a range of image overlap rates [Tmin; Tmax];
- La focale de l’optique à focale variable Fv est sélectionnée dans une gamme de focales [Fmin ; Fmax] ; - The focal length of the varifocal optics Fv is selected from a range of focal lengths [Fmin; F ma x];
- Le descripteur topologique ou le coefficient de forme local calculé à partir de plusieurs descripteurs topologiques locaux Cf Fv est sélectionné dans une gamme de coefficients de forme [Cmin Cmax] - The topological descriptor or the local shape coefficient calculated from several local topological descriptors Cf Fv is selected from a range of shape coefficients [Cmin Cmax]
- La distance df entre l’optique à focale variable et le point de visée Pi de la surface 12 du corps est sélectionnée dans une gamme de distance [dmin ; dmax]. - The distance df between the variable focal length optics and the aiming point Pi of the surface 12 of the body is selected from a distance range [dmin; d my x].
- La vitesse d’acquisition ou de délai entre deux acquisitions successives TA est sélectionné dans une gamme de durées- The acquisition speed or delay between two successive TA acquisitions is selected from a range of durations
[Tmin Tmax]· [Tmin Tmax]
Dans un mode d’exemple, l’angle de vue et la taille d’image sont considérés comme prédéfinis. Toutefois, selon d’autres exemples, les dimensions d’images et les angles de vues peuvent varier comme des paramètres. In an example mode, the viewing angle and image size are considered predefined. However, according to other examples, the dimensions of images and the viewing angles may vary as parameters.
Selon différents modes de réalisation, l’une ou plusieurs de ces variables sont utilisées pour définir ou paramétrer la loi de commande Le permettant d’acquérir les images. La loi de commande Le peut être elle-même une loi de commande complexe dépendant de plusieurs lois de commande Lc1 , Lc2, etc. selon la prise en compte des variables d’entrées. According to different embodiments, one or more of these variables are used to define or parameterize the control law Le allowing the images to be acquired. The control law Le can itself be a complex control law depending on several control laws Lc1, Lc2, etc. depending on how input variables are taken into account.
Par exemple, pour un point de la trajectoire comprenant une pluralité de points cible Pi, on peut écrire par exemple que la focale est définie par une première loi de commande Lc1 définie par une relation de type : Fv = Lc1 (df, Cf). Et pour une trajectoire donnée, le délai entre deux acquisitions TA et la vitesse de déplacement Vd du dispositif de prise d’images 20 sont commandés selon une seconde loi de commande Lc2 définie par une relation de type : {Vd ; TA}= LC2(TR, Cf}. Dans un mode de réalisation, la plateforme transportant le dispositif optique est déplacée le long d’une trajectoire à une vitesse de déplacement Vd comprise entre 4 cm/s et 30 cm/s. For example, for a point of the trajectory comprising a plurality of target points Pi, it can be written for example that the focal length is defined by a first control law Lc1 defined by a relation of the type: Fv=Lc1 (df, Cf). And for a given trajectory, the delay between two acquisitions TA and the displacement speed V d of the imaging device 20 are controlled according to a second control law Lc2 defined by a relation of the type: {V d ; T A }= LC2(TR, Cf}. In one embodiment, the platform transporting the optical device is moved along a trajectory at a speed of movement Vd comprised between 4 cm/s and 30 cm/s.
Préférentiellement, le dispositif optique réalise des acquisitions d’images de la structure de la peau du sujet à une fréquence comprise entre 5 images par seconde et 200 images par seconde (soit un délai entre deux acquisitions compris entre 0,2 s et 5 ms) pendant le déplacement de l’optique. Dans un mode de réalisation, la loi de commande fait varier, entre deux acquisitions successives, la distance focale de l’optique à focale variable. Preferably, the optical device acquires images of the structure of the subject's skin at a frequency of between 5 images per second and 200 images per second (i.e. a delay between two acquisitions of between 0.2 s and 5 ms) while moving the optics. In one embodiment, the control law varies, between two successive acquisitions, the focal length of the variable focal length optics.
Le déplacement de l’optique couplé à la vitesse d’acquisition et la variation de distance focale entre deux acquisitions successives permettent avantageusement l’acquisition d’images successives partageant une portion commune à différente distance focale. The displacement of the optics coupled with the acquisition speed and the variation of focal length between two successive acquisitions advantageously allow the acquisition of successive images sharing a common portion at different focal lengths.
Lors de la génération d’une image nette, la portion commune peut ainsi être composée à partir des pixels de différentes images acquises en fonction de l’indice de netteté de chaque pixel pour chaque image acquise. When generating a sharp image, the common portion can thus be composed from the pixels of different images acquired according to the sharpness index of each pixel for each image acquired.
Construction d’une image nette Building a sharp image
Selon un mode de réalisation, l’invention comporte une étape de construction d’une image nette de toute ou partie de la surface 12 du corps 10 à partir de la pluralité d’images acquises de ladite surface 12. Cette image est une image composite formée à partir d’une pluralité de portions d’images acquises par le dispositif de prise d’image 20. According to one embodiment, the invention comprises a step of constructing a sharp image of all or part of the surface 12 of the body 10 from the plurality of images acquired of said surface 12. This image is a composite image formed from a plurality of portions of images acquired by the image pickup device 20.
Afin de sélectionner les portions d’images ou les groupes de pixels, voire un pixel d’une image, le procédé de l’invention comprend une étape de comparaison d’un critère de netteté de chaque pixel ou chaque groupe de pixels d’une image avec ceux d’une autre image comportant un recouvrement de ce ou ces pixel(s). Lorsqu’un pixel ayant une netteté suffisante est détecté, par exemple lorsque la valeur du critère est supérieure à un seuil prédéfini, alors le pixel est retenu dans l’image composite. Lorsqu'aucun pixel n’a une netteté suffisante, c’est-à-dire dont le critère de netteté dépasse un certain seuil, alors le pixel le plus net est sélectionné. In order to select the portions of images or the groups of pixels, or even a pixel of an image, the method of the invention comprises a step of comparing a sharpness criterion of each pixel or each group of pixels of a image with those of another image comprising an overlap of this or these pixel(s). When a pixel with sufficient sharpness is detected, for example when the value of the criterion is greater than a predefined threshold, then the pixel is retained in the composite image. When no pixel has sufficient sharpness, i.e. whose sharpness criterion exceeds a certain threshold, then the sharpest pixel is selected.
Afin de comparer la netteté ou le flou de pixels d’images différentes couvrant une même zone, un algorithme d’alignement des images peut être utilisé pour calibrer les images entre elles et plus particulièrement les portions d’images couvrant les mêmes zones de la surface du corps. La construction d’une image nette comprend un découpage d’images acquises selon leurs portions les plus nettes tout en contrôlant que les zones découpées non retenues sont comprises dans d’autres images acquises recouvrant la partie retirée d’une image. Ce contrôle peut être réalisé automatiquement à partir du taux de recouvrement des images acquises et d’un marquage des zones recouvrées. In order to compare the sharpness or the blurring of pixels of different images covering the same area, an image alignment algorithm can be used to calibrate the images to each other and more particularly the portions of images covering the same areas of the surface. from the body. The construction of a sharp image comprises a cutting of acquired images according to their sharpest portions while checking that the cut-out areas not retained are included in other acquired images covering the removed part of an image. This control can be carried out automatically from the rate of coverage of the images acquired and from a marking of the areas covered.
L’invention permet de générer une carte de netteté de chaque image de la pile d’images afin de sélectionner les pixels les plus nets de la pile d’images acquises recouvrant une zone donnée. Il est donc possible de générer une image à partir de la ou des carte(s) de netteté dans laquelle les pixels les plus nets sont sélectionnés. The invention makes it possible to generate a sharpness map of each image of the stack of images in order to select the sharpest pixels of the stack of acquired images covering a given area. It is therefore possible to generate an image from the sharpness map(s) in which the sharpest pixels are selected.
Selon un mode de réalisation, une étape d’estimation de la netteté est réalisée pour générer des zones nettes et retirer les zones floues. Afin de réaliser cette étape, un algorithme d’estimation de la netteté peut être mis en œuvre. Parmi les algorithmes possiblement utilisables au sein de l’invention, différentes solutions peuvent être mises en œuvre telles qu’un calcul de la moyenne ou la variance d’un gradient. Une autre méthode peut être mise en œuvre au moyen d’un apprentissage automatique à partir d’une fonction apprenante. La fonction apprenante peut être un apprentissage de type deep learning. Selon un exemple, un réseau de neurones convolutif CNN peut être mis en œuvre. Un tel algorithme permet de générer des cartes de netteté de l’ensemble des images afin de permettre d’identifier dans un second temps les pixels les plus nets pour générer une image 3D entièrement nette ou du moins la plus nette possible. Un tel algorithme de deep learning, i.e. d’apprentissage profond, peut également mis en œuvre pour traiter l’alignement des images acquises successivement. Lorsqu’un réseau de neurones est utilisé de cette manière il est dit fonctionnel dans la présente demande dans la mesure où il permet de réaliser une fonction intermédiaire telle que la génération d’une carte de netteté ou une carte de profondeur ou encore pour réaligner des images. According to one embodiment, a sharpness estimation step is performed to generate sharp areas and remove blurred areas. In order to achieve this step, a sharpness estimation algorithm can be implemented. Among the algorithms that can be used within the invention, different solutions can be implemented such as a calculation of the mean or the variance of a gradient. Another method can be implemented by means of automatic learning from a learning function. The learning function can be deep learning type learning. According to one example, a CNN convolutional neural network may be implemented. Such an algorithm makes it possible to generate sharpness maps of all the images in order to identify the sharpest pixels in a second step to generate a 3D image that is entirely sharp or at least as sharp as possible. Such a deep learning algorithm, i.e. deep learning, can also be implemented to process the alignment of successively acquired images. When a neural network is used in this way it is said to be functional in the present application insofar as it makes it possible to perform an intermediate function such as the generation of a sharpness map or a depth map or even to realign pictures.
La prise d’images successives ayant un taux de recouvrement entre elles permet d’améliorer l’estimation de la netteté. Enfin, la connaissance à priori d’une part de la distance entre le point cible Pi et l’optique à focale variable 20 et d’autre part de la focale permet également de réaliser une bonne estimation de la netteté puisqu’il existe des zones références pouvant être définies comme nette. The capture of successive images having a rate of overlap between them makes it possible to improve the estimation of the sharpness. Finally, the a priori knowledge on the one hand of the distance between the target point Pi and the variable focal length optics 20 and on the other hand of the focal length also makes it possible to achieve a good estimation of sharpness since there are reference areas that can be defined as sharp.
Lorsque les zones les plus nettes sont identifiées et les images découpées selon ces zones, le procédé de l’invention comprend une étape d’assemblage des zones nettes pour construire une image nette de la surface de toute ou partie du corps. When the sharpest zones are identified and the images cut out according to these zones, the method of the invention comprises a step of assembling the sharp zones to construct a sharp image of the surface of all or part of the body.
L’étape d’assemblage peut être vue comme une étape d’agrégation de portion d’image provenant de différentes prises de vues. Une autre manière de réaliser un assemblage est de réaliser une fusion des zones de recouvrement en adressant chaque point par les pixels les plus nets et en supprimant les pixels de ces zones de recouvrement les plus flous. The stitching step can be seen as a step of aggregating image portions from different shots. Another way of carrying out an assembly is to carry out a fusion of the zones of covering by addressing each point by the sharpest pixels and by removing the pixels of these zones of covering more fuzzy.
Dans un mode de réalisation, la superficie de la surface de corps représentée par l’image nette générée est supérieure à la superficie de la surface de corps représentée par l’une des images acquises ayant permis de générer ladite image nette. In one embodiment, the surface area of the body surface represented by the sharp image generated is greater than the surface area of the body surface represented by one of the acquired images that made it possible to generate said sharp image.
Selon un mode de réalisation, les images assemblées peuvent l’être dans un espace de deux dimensions ou dans un espace de trois dimensions. En effet, connaissant l’information de profondeur soit à partir d’un modèle de corps soit à partir d’une estimation lors de l’acquisition des images, une image 3D peut être automatiquement reconstruite. According to one embodiment, the assembled images can be assembled in a two-dimensional space or in a three-dimensional space. Indeed, knowing the depth information either from a body model or from an estimate during image acquisition, a 3D image can be automatically reconstructed.
L’image 3D peut être reconstruite consécutivement à l’assemblage lors d’un traitement appliqué à l’image finale agrégée. The 3D image can be reconstructed following assembly during processing applied to the final aggregated image.
Selon un autre exemple, un algorithme apprenant de bout-en-bout peut être utilisé pour générer à partir d’une pile d’images acquises, également appelée dans la terminologie anglosaxonne « stack » d’images, correspondant à la pluralité d’images collectée, en sortie une image nette d’une part et une carte de profondeur d’autre part. L’apprentissage d’une telle fonction apprenante, par exemple de type CNN, peut être réalisé à partir d’une part d’images acquises par une optique ou d'images générées par un calculateur d’un corps ou d’un modèle de corps et d’autre part une image 3D totalement nette obtenue à partir de l’ensemble des images. On parle alors ici d’un réseau de neurones de bout-en-bout pour désigner un réseau de neurones capable de générer directement en sortie une image 3D nette en tout point. Le passage par la carte de netteté de chacune des images de la pile d’images acquise est alors implicite dans la mise en œuvre d’un tel algorithme de bout en bout. Selon un mode de réalisation, ce dernier algorithme peut être entraîné sur des données synthétiques. According to another example, an end-to-end learning algorithm can be used to generate from a stack of acquired images, also called in English terminology “stack” of images, corresponding to the plurality of images collected, outputting a sharp image on the one hand and a depth map on the other. The learning of such a learning function, for example of the CNN type, can be carried out on the basis of images acquired by optics or images generated by a computer of a body or of a model of body and on the other hand a totally clear 3D image obtained from all the images. We then speak here of an end-to-end neural network to designate a neural network capable of directly generating a sharp 3D image at any point. The passage through the sharpness map of each of the images of the stack of acquired images is then implicit in the implementation of such an end-to-end algorithm. According to one embodiment, this latter algorithm can be trained on synthetic data.
On a en entrée les images de la pile de la zone au voisinage proche du point Pi acquise et en sortie une image composite de cette même zone et la carte de profondeur. Un réseau de type réseau neuronal convolutif CNN peut être par exemple mis en œuvre. We have as input the images of the stack of the area close to the acquired point Pi and as output a composite image of this same area and the depth map. A network of the CNN convolutional neural network type can for example be implemented.
L’ensemble des données d’apprentissage permet d’entraîner le réseau de neurones pour obtenir une fonction apprenante configurée ou apprise avec des coefficients de pondération. Dans ce cas de figure, l’image 3D totalement nette peut être calculée à partir d’un autre algorithme de manière à superviser l’apprentissage du réseau de neurones. Un tel apprentissage peut également entraîner la génération d’une carte de profondeur. The set of learning data makes it possible to train the neural network to obtain a learning function configured or learned with weighting coefficients. In this case, the completely clean 3D image can be calculated from another algorithm in order to supervise the training of the neural network. Such learning can also result in the generation of a depth map.
Le réseau de neurones utilisé qu’il soit de type fonctionnel ou de type bout-en-bout peut être configuré de différentes manières. The neural network used, whether functional or end-to-end, can be configured in different ways.
Selon un mode de réalisation, la configuration du réseau de neurones CNN peut comprendre : According to one embodiment, the configuration of the CNN neural network may include:
Des convolutions ou des couches de réseau de neurones comportant une pluralité de multiplications de matrices comportant des coefficients de pondération obtenus à partir d’un procédé d’apprentissage ; Convolutions or neural network layers comprising a plurality of multiplications of matrices comprising weighting coefficients obtained from a learning process;
des opérations non-linéaires. non-linear operations.
Selon un mode de réalisation, la configuration du réseau de neurones CNN comprend en entrées des images acquises par l’optique. According to one embodiment, the configuration of the CNN neural network includes as inputs images acquired by the optics.
Le réseau de neurones CNN peut comprendre dans ses premières couches des convolutions puis des couches de neurones entièrement connectées, dite « fully connected layers » à la fin du modèle. Dans ce dernier cas, ce sont des neurones connectés à tous les neurones de la couche précédente et connectés à tous ceux de la couche suivante. The CNN neural network can include in its first layers convolutions then layers of fully connected neurons, called “fully connected layers” at the end of the model. In the latter case, they are neurons connected to all the neurons of the previous layer and connected to all those of the following layer.
Les couches de convolutions peuvent comprendre un balayage d’une matrice d’entrée produisant une série de calculs matriciels. Les autres couches du réseau de neurones comprennent, elles généralement des calculs matriciels sur la taille de la matrice d’entrée. Selon un exemple, chaque convolution comprend un produit de matrice entre une matrice d’entrées et une matrice de poids et la prise en compte d’un biais additionnel. The convolution layers may include a scan of an input matrix producing a series of matrix calculations. The other layers of the neural network generally include matrix calculations on the size of the input matrix. According to one example, each convolution comprises a matrix product between an input matrix and a weight matrix and the consideration of an additional bias.
L’application d’un traitement par couches successives au sein du réseau de neurones CNN comprend l’application d’une série de multiplications matricielles qui sont suivies d’une fonction non linéaire pour produire une sortie de ladite couche. La succession de ces opérations définit la profondeur du réseau de neurones. Applying layered processing within the CNN neural network includes applying a series of matrix multiplications which are followed by a nonlinear function to produce an output of said layer. The succession of these operations defines the depth of the neural network.
Selon un exemple de réalisation, le réseau de neurones est un perceptron multicouche, connu sous l’acronyme MLP et dans la terminologie anglo-saxonne par « multi-layers perceptron ». Selon un exemple, le réseau de neurones peut être un réseau équivalent au MLP. According to an exemplary embodiment, the neural network is a multilayer perceptron, known by the acronym MLP and in English terminology by “multi-layers perceptron”. According to one example, the neural network can be a network equivalent to the MLP.
Un avantage de l’invention est également de reconstruire une carte de profondeur relative de toute ou partie du corps. Par « carte de profondeur relative », on entend une carte où chaque point de l’image, par exemple chaque pixel, peut être positionné vis-à-vis d’un autre point de l’image reconstruite. Un des avantages de cette caractéristique est de permettre de supprimer les effets de perspective ou de déformation des images liés à l’angle de vue ou à l’optique elle-même. Un autre avantage de cette méthode est d’obtenir une estimation précise de la géométrie locale de la surface imagée. Cela permet d’augmenter et d’affiner le modèle 3D de corps lorsque ce dernier modèle de corps est disponible en entrée du système. Ces informations de profondeur estimée peuvent avoir une résolution comprise entre 500um et 1cm. Le modèle de corps en entrée peut alors être affiné afin de définir un modèle de corps 3D de haute résolution. An advantage of the invention is also to reconstruct a relative depth map of all or part of the body. By “relative depth map”, we mean a map where each point of the image, for example each pixel, can be positioned vis-à-vis another point of the reconstructed image. One of the advantages of this characteristic is to make it possible to eliminate the effects of perspective or deformation of the images linked to the viewing angle or to the optics themselves. Another advantage of this method is to obtain an accurate estimation of the local geometry of the imaged surface. This allows to augment and refine the 3D body model when this latest body model is available as input to the system. This estimated depth information can have a resolution between 500um and 1cm. The input body model can then be refined to define a high resolution 3D body model.
Plateformes Platforms
Selon un exemple de réalisation, le dispositif de prise d’image 20 est monté sur une plateforme mobile. Selon un premier mode de réalisation, la plateforme mobile peut être agencée au bout d’un bras robotique mobile dans l’espace et comportant une pluralité de degré de liberté. Selon un second mode de réalisation, la plateforme est un drone commandé par une télécommande sans fil. According to an exemplary embodiment, the image pickup device 20 is mounted on a mobile platform. According to a first embodiment, the mobile platform can be arranged at the end of a robotic arm mobile in space and comprising a plurality of degrees of freedom. According to a second embodiment, the platform is a drone controlled by a wireless remote control.
Selon un autre mode de réalisation, la plateforme est un pistolet manuel comportant un embout distal sur lequel est agencé le dispositif de prise d’image 20 et notamment l’optique à focale variable. Le pistolet comprend en outre une manette destinée à être prise en main par l’examinateur, par exemple à l’extrémité proximale du pistolet. According to another embodiment, the platform is a manual gun comprising a distal end piece on which is arranged the image pickup device 20 and in particular the variable focal length optics. The gun includes further a handle intended to be taken in hand by the examiner, for example at the proximal end of the gun.
Selon un autre mode, le dispositif est fixe et le patient est tourné au moyen d’une plateforme tournante ou inversement. L’invention s’adresse à tout type de plateforme mobile dynamique comportant un embout distal sur lequel est agencée l’optique à focale variable. According to another mode, the device is fixed and the patient is turned by means of a rotating platform or vice versa. The invention is intended for any type of dynamic mobile platform comprising a distal end piece on which the variable focal length optics are arranged.
Dans un mode de réalisation, la plateforme mobile comprend un rail ou un moyen de guidage selon une trajectoire prédéfinie et le dispositif optique est monté mobile sur ledit rail ou moyen de guidage entre deux positions. Préférentiellement, l’invention comprend en outre une cabine comprenant un emplacement destiné à recevoir un sujet, notamment un sujet humain et ladite plateforme mobile. La cabine peut comprendre au moins un rail pour donner à la plateforme mobile une trajectoire courbe autour dudit sujet placé dans ledit emplacement. Dans un mode de réalisation, le rail est mobile en translation. Dans un autre mode de réalisation, la cabine comprend une pluralité de rail et une pluralité de plateforme pour réaliser des images de la peau dudit sujet. In one embodiment, the mobile platform comprises a rail or a guide means along a predefined trajectory and the optical device is movably mounted on said rail or guide means between two positions. Preferably, the invention further comprises a cabin comprising a location intended to receive a subject, in particular a human subject and said mobile platform. The cabin may include at least one rail to give the mobile platform a curved trajectory around said subject placed in said location. In one embodiment, the rail is movable in translation. In another embodiment, the cabin comprises a plurality of rails and a plurality of platforms for imaging the skin of said subject.
Utilisation d’un capteur photographique simple Use of a simple photographic sensor
L’optique à focale variable comprend un capteur photographique. Ce dernier capteur photographique comprend un composant électronique photosensible et sert à convertir un rayonnement électromagnétique passant au travers de l’optique à focale variable pour le convertir en un signal analogique ou numérique. Le capteur photographique peut intégrer selon les modes de réalisations différents composants permettant de filtrer ou d’amplifier le signal converti. The varifocal optics include a photographic sensor. This last photographic sensor comprises a photosensitive electronic component and is used to convert electromagnetic radiation passing through the varifocal optics to convert it into an analog or digital signal. The photographic sensor can integrate, according to the embodiments, various components making it possible to filter or amplify the converted signal.
Selon un exemple, un capteur CMOS, dont l’acronyme dans la terminologie anglo-saxonne signifie « Complementary Metal-Oxide- Semiconductor », peut être utilisé. Selon un autre exemple, un capteur CCD, désignant « charge coupled device » dans la terminologie anglo-saxonne, c’est-à-dire un dispositif à transfert de charges, peut être utilisé. Un avantage important de l’invention est qu’il ne nécessite pas de capteur matériel spécifique devant mettre en oeuvre une configuration matérielle structurellement difficile à mettre en oeuvre ou coûteuse d’un point de vue de l’architecture matériel. En d’autres termes, un capteur photographique CMOS ou CCD est suffisant pour obtenir des images nettes en un temps très courts, les opérations pouvant être réalisées en temps réel. According to one example, a CMOS sensor, whose acronym in English terminology stands for “Complementary Metal-Oxide-Semiconductor”, can be used. According to another example, a CCD sensor, designating “charge coupled device” in English terminology, that is to say a charge transfer device, can be used. An important advantage of the invention is that it does not require a specific hardware sensor having to implement a hardware configuration that is structurally difficult to implement or costly from a hardware architecture point of view. In other words, a CMOS photographic sensor or CCD is sufficient to obtain clear images in a very short time, the operations being able to be carried out in real time.
Selon un mode de réalisation, une unique unité de calcul, tel qu’un unique processeur, adressant l’ensemble des pixels du capteur est mise en oeuvre. Le processeur est ainsi couplé à une mémoire physique. La mise en oeuvre d’un unique couple de {processeur, mémoire} permet une mise en oeuvre simplifiée du traitement logiciel traitant les images acquises. According to one embodiment, a single calculation unit, such as a single processor, addressing all the pixels of the sensor is implemented. The processor is thus coupled to a physical memory. The implementation of a single couple of {processor, memory} allows a simplified implementation of the software processing processing the acquired images.
Afin de simplifier les calculs logiciels, l’ensemble des pixels de l’image acquise sont considérés indépendamment et sont traités comme une unité au sein du même ensemble de pixels. Un avantage de l’invention est de ne pas avoir à traiter des sous-ensembles de pixels devant être adressés et associés physiquement à un matériel électronique dédié au sous-ensemble tel qu’un processeur ou une mémoire. In order to simplify the software calculations, all the pixels of the acquired image are considered independently and are treated as a unit within the same set of pixels. An advantage of the invention is not having to process subsets of pixels that must be addressed and physically associated with electronic hardware dedicated to the subset, such as a processor or a memory.
Ainsi, l’invention permet d’obtenir une image nette en tout point d’un volume, tel qu’un corps humain, et permet d’obtenir une information de profondeur en temps réel à une cadence élevée avec des composants du marché tel qu’un capteur CMOS ou CCD ne nécessitant pas une mise en oeuvre d’une architecture électronique complexe. Thus, the invention makes it possible to obtain a sharp image at any point of a volume, such as a human body, and makes it possible to obtain real-time depth information at a high rate with market components such as a CMOS or CCD sensor that does not require the implementation of a complex electronic architecture.
L’invention peut être mise en oeuvre avec un simple capteur photographique du fait des différentes possibilités suivantes permettant d’obtenir des temps de calculs rapides : The invention can be implemented with a simple photographic sensor due to the following different possibilities making it possible to obtain fast calculation times:
- la plage de valeurs de la variation de la distance focale peut être réduite du fait d’une connaissance à priori d’un modèle de corps pré-généré permettant de connaître localement la courbure du volume dont est acquis les images et/ou ; - the range of values of the variation of the focal distance can be reduced due to a priori knowledge of a pre-generated body model making it possible to know locally the curvature of the volume from which the images are acquired and/or;
- la distance entre le volume et l’optique peut être mesurée par un moyen tel qu’un laser pour estimer la distance entre d’une part l’optique et d’autre part le volume acquis, ce qui permet d’effectuer une variation de la distance focale circonscrite à une gamme de valeurs réduite. - the distance between the volume and the optics can be measured by means such as a laser to estimate the distance between the optics on the one hand and the acquired volume on the other, which makes it possible to perform a variation of the focal length circumscribed to a reduced range of values.
Ainsi, à partir d’une connaissance à priori, i.e. le modèle de corps, ou d’une information calculée en temps réel, i.e. la distance entre l’optique et la surface, l’invention permet d’obtenir des données de profondeur et de netteté dans une gamme réduite de valeurs. Cette possibilité permet de reconstituer l’enveloppe tridimensionnelle et les images nettes de chaque point de cette enveloppe avec une grande performance d’acquisition en temps réel. Thus, from a priori knowledge, ie the body model, or information calculated in real time, ie the distance between the optics and the surface, the invention makes it possible to obtain depth data and of sharpness in a reduced range of values. This possibility makes it possible to reconstitute the three-dimensional envelope and the sharp images of each point of this envelope with great real-time acquisition performance.
Apprentissage d’un réseau de neurones et classification à partir d’images nettes Training of a neural network and classification from sharp images
L’invention comporte également la mise en oeuvre d’un réseau de neurones classifiant les images nettes de singularité de la peau d’un individu. Selon un autre mode, l’invention comporte une étape de détection ou une étape de segmentation de l’image ou une étape de régression ou encore une étape de génération d’une nouvelle image. Une étape de génération d’une nouvelle image peut être réalisée en modifiant la résolution de ladite image, en améliorant tout ou partie de l’image par un traitement donné, une transformation de l’image par exemple en changeant ses dimensions ou sa colorimétrie, sa netteté, ou tout autre paramètre de couleur, ou encore une étape d’augmentation par exemple d’échelle de l’image ou d’une partie seulement de l’image. Différentes tâches d’analyse peuvent ainsi être effectuées à partir des images nettes produites par le procédé de l’invention. The invention also includes the implementation of a neural network classifying the sharp images of singularity of the skin of an individual. According to another mode, the invention comprises a step of detection or a step of segmentation of the image or a step of regression or even a step of generation of a new image. A step of generating a new image can be carried out by modifying the resolution of said image, by improving all or part of the image by a given processing, a transformation of the image for example by changing its dimensions or its colorimetry, its sharpness, or any other color parameter, or else a step of increasing, for example, the scale of the image or of only part of the image. Different analysis tasks can thus be performed from the sharp images produced by the method of the invention.
A cette fin, tout ou partie du volume du corps d’un individu est scanné par une optique à focale variable. Cette opération peut être réalisée par exemple à partir d’un bras robot évoluant automatiquement autour d’un corps humain afin de parcourir une trajectoire de guidage. Les images sont acquises et traitées selon le procédé de l’invention afin de collecter un ensemble d’images nettes du corps d’un patient. Un apprentissage automatique peut être réalisé à partir de photos de singularités de la peau, telles que des grains de beauté, des cicatrices, des mélanomes, des carcinomes, des taches de rousseur, etc. To this end, all or part of the volume of an individual's body is scanned by varifocal optics. This operation can be carried out for example from a robot arm automatically evolving around a human body in order to follow a guide trajectory. The images are acquired and processed according to the method of the invention in order to collect a set of sharp images of the body of a patient. Machine learning can be done from photos of skin peculiarities, such as moles, scars, melanomas, carcinomas, freckles, etc.
Un avantage de l’invention est de permettre d’entrainer un réseau de neurones avec des images nettes en tout point afin d’obtenir de très bonnes performances de classification du fait de la résolution maximale obtenue par les images nettes. An advantage of the invention is to make it possible to train a neural network with sharp images at all points in order to obtain very good classification performance due to the maximum resolution obtained by the sharp images.
L’invention concerne donc un procédé d’entrainement d’un réseau de neurones à partir d’images nettes obtenues par le procédé d’acquisition de l’invention. Le procédé d’entrainement est caractérisé par les données d’entrées du réseau de neurones qui sont des images obtenues par le procédé de l’invention. Le procédé s’applique par exemple à un réseau de neurones convolutif de type CNN et à tout autre type de réseau de neurones, notamment ceux décrits précédemment dans la présente description. Selon un mode de réalisation, un réseau de type « transformeur » utilisé seul ou en combinaison avec un ou des réseau(x) de neurones convolutif de type CNN. Un tel type de réseau permet notamment de pondérer de manière différentielle l’importance de chaque partie des données d’entrées. The invention therefore relates to a method for training a neural network from sharp images obtained by the acquisition method of the invention. The training method is characterized by the input data of the neural network which are images obtained by the method of the invention. The method applies for example to a convolutional neural network of the CNN type and to any other type of neural network, in particular those previously described in this description. According to one embodiment, a “transformer” type network used alone or in combination with one or more convolutional neural network(s) of the CNN type. Such a type of network makes it possible in particular to differentially weight the importance of each part of the input data.
L’entrainement peut classiquement utiliser des labels d’images permettant de classifier les différentes singularités visibles sur les images ou de réaliser toute autre tâche d’analyse précédemment énumérée. En outre, l’invention concerne un procédé de classification des images nettes en fonction des labels. Un tel procédé de classification peut être appliqué à l’ensemble des images acquises par le procédé de l’invention d’un corps d’un individu. The training can conventionally use image labels to classify the different singularities visible on the images or to perform any other analysis task previously listed. Furthermore, the invention relates to a method for classifying sharp images according to labels. Such a classification method can be applied to all of the images acquired by the method of the invention of an individual's body.
Ainsi, les images peuvent être représentées selon un regroupement d’images d’un même label avec une mention du membre du corps humain auquel se rapporte l’image ou une indication d’une position sur le corps humain ou un modèle de corps. Par exemple, l’invention peut représenter différentes échelles de zoom d’une zone d’intérêt d’une singularité afin qu’un utilisateur puisse apprécier la haute résolution de l’image d’une singularité donnée à côté d’une image plus large de la partie du corps sur laquelle est extraite la photo. Thus, the images can be represented according to a grouping of images of the same label with a mention of the member of the human body to which the image relates or an indication of a position on the human body or a body model. For example, the invention can represent different zoom scales of a region of interest of a singularity so that a user can appreciate the high resolution of the image of a given singularity alongside a larger image. of the part of the body on which the photo is extracted.

Claims

REVENDICATIONS
1. Procédé d’acquisition d’images d’une première surface (12) d’un corps humain à l’aide d’un dispositif de prise d’image (20) comportant une optique à focale variable (40), ledit procédé comportant les étapes de : 1. Method for acquiring images of a first surface (12) of a human body using an image pickup device (20) comprising variable focal length optics (40), said method comprising the steps of:
acquisitions (ACQ) d’une pluralité d’images à l’aide du dispositif de prise d’image (20) le long d’une trajectoire de traitement (30) à la surface d’un corps humain ; les images acquises successivement comprenant entre elles un taux de recouvrement d’une portion de la surface du corps humain ; lesdites acquisitions étant réalisées en une pluralités de positions par rapport à la surface du corps et en faisant varier la distance focale (df) de l’optique à focale variable (40) selon une loi de commande prenant en compte une distance mesurée ou estimée entre l’optique à focale variable (40) et un premier point (P1) de la trajectoire de traitement (30); acquisitions (ACQ) of a plurality of images using the image pickup device (20) along a treatment path (30) on the surface of a human body; the successively acquired images comprising between them a rate of coverage of a portion of the surface of the human body; said acquisitions being carried out in a plurality of positions relative to the surface of the body and by varying the focal distance (d f ) of the variable focal length optics (40) according to a control law taking into account a measured or estimated distance between the variable focal length optics (40) and a first point (P1) of the treatment path (30);
construction d’une image nette d’une portion de la surface (12) du corps humain (10) à partir de la pluralité d’images acquises de ladite surface (12) dont au moins deux images acquises successivement par le dispositif optique en deux positions d’acquisitions différentes par rapport à la surface de corps et comprenant entre elles un taux de recouvrement. construction of a sharp image of a portion of the surface (12) of the human body (10) from the plurality of images acquired from said surface (12) including at least two images acquired successively by the optical device in two different acquisition positions with respect to the body surface and comprising between them an overlap rate.
2. Procédé selon la revendication 1, caractérisé en ce que l’étape d’acquisition comprend une première acquisition d’un premier groupe d’images en faisant varier la distance focale de l’optique en une première position et une seconde acquisition d’un second groupe d’images en faisant varier la distance focale de l’optique en une seconde position différente de la première position ; les images du premier groupe d’images partageant avec les images du second groupe d’images un taux de recouvrement. 2. Method according to claim 1, characterized in that the acquisition step comprises a first acquisition of a first group of images by varying the focal length of the optics in a first position and a second acquisition of a second group of images by varying the focal length of the optics at a second position different from the first position; the images of the first group of images sharing with the images of the second group of images an overlap rate.
3. Procédé selon la revendication 1 , caractérisé en ce que les au moins deux images acquises successivement en deux positions d’acquisition différentes sont chacune acquises avec une distance focale (df) de l’optique à focale variable différente. 3. Method according to claim 1, characterized in that the at least two images acquired successively in two acquisition positions different are each acquired with a focal length (d f ) of the different varifocal optics.
4. Procédé selon la revendication 3, caractérisé en ce qu’au moins deux images successives sont acquises en faisant varier la position et la distance focale (df) de l’optique à focale variable (40). 4. Method according to claim 3, characterized in that at least two successive images are acquired by varying the position and the focal distance (d f ) of the variable focal length optics (40).
5. Procédé d’acquisition d’images selon l’une des revendications 1 à 4 caractérisé en ce que la construction d’une image nette d’une portion de la surface (12) du corps (10) comprend : 5. Image acquisition method according to one of claims 1 to 4, characterized in that the construction of a sharp image of a portion of the surface (12) of the body (10) comprises:
découpage des images de la pluralité d’images successives à partir d’une information de netteté estimée pour générer des zones nettes et des zones floues ; slicing of the images of the plurality of successive images from estimated sharpness information to generate sharp zones and blurred zones;
assemblage des zones nettes desdites images pour construire l’image nette de la surface de la portion du corps. assembly of the sharp areas of said images to construct the sharp image of the surface of the portion of the body.
6. Procédé d’acquisition selon l’une quelconque des revendications précédentes, caractérisé en ce que le procédé comprend une mesure ou une estimation (MES) d’une distance entre l’optique à focale variable et d’un premier point (Pi) de la surface du corps, la loi de commande prenant en compte ladite distance mesurée ou estimée entre l’optique à focale variable (40) et le premier point (Pi) pour modifier la focale de l’optique entre au moins deux images acquises au voisinage du point (Pi) de la surface du corps. 6. Acquisition method according to any one of the preceding claims, characterized in that the method comprises a measurement or an estimation (MES) of a distance between the variable focal length optics and a first point (Pi) of the surface of the body, the control law taking into account said measured or estimated distance between the optics with variable focal length (40) and the first point (Pi) to modify the focal length of the optics between at least two images acquired at the neighborhood of the point (Pi) of the surface of the body.
7. Procédé d’acquisition selon la revendication précédente, caractérisé en ce que la mesure ou l’estimation (MES) de la distance entre l’optique à focale variable (40) et d’un premier point (Pi) de la surface du corps est réalisée : 7. Acquisition method according to the preceding claim, characterized in that the measurement or estimation (MES) of the distance between the variable focal length optics (40) and a first point (Pi) of the surface of the body is made:
par une mesure de distance par point et/ou ; by a distance measurement per point and/or;
par une mesure de distance combinée à une information topologique connue du modèle de corps de la surface du corps et/ou ; par une information topologique connue du modèle de corps de la surface du corps et une information de position de l’optique par rapport au modèle 3D et/ou ; by a distance measurement combined with known topological information of the body model of the body surface and/or; by known topological information of the body model of the surface of the body and position information of the optics with respect to the 3D model and/or;
par une mesure de distance combinée à une mesure de la géométrie locale de la zone imagée de la surface du corps et/ou, by a distance measurement combined with a measurement of the local geometry of the imaged area of the surface of the body and/or,
par une mesure de la géométrie locale de la zone imagée de la surface du corps et une information de position de l’optique par rapport au modèle 3D. by measuring the local geometry of the imaged zone of the surface of the body and information on the position of the optics in relation to the 3D model.
8. Procédé d’acquisition selon la revendication précédente, caractérisé en ce que le calcul de la distance entre l’optique à focale variable (40) et un premier point (Pi) de la surface du corps est réalisé soit par une mesure ou par une estimation : 8. Acquisition method according to the preceding claim, characterized in that the calculation of the distance between the variable focal length optics (40) and a first point (Pi) of the surface of the body is carried out either by a measurement or by an estimation :
à l’aide d’un moyen de mesure de la distance (42) ; using a distance measuring means (42);
à partir d’une information de netteté de l’ensemble des images acquises et d’un algorithme d’estimation du flou et/ou de la netteté. from information on the sharpness of all the images acquired and an algorithm for estimating the blur and/or the sharpness.
9. Procédé d’acquisition selon la revendication précédente, ledit procédé comportant en outre les étapes de : 9. Acquisition method according to the preceding claim, said method further comprising the steps of:
Réception (REC) d’un modèle 3D d’au moins une partie d’un corps (10), ledit modèle 3D modélisant au moins une première surface (12) dudit corps (10) ; Reception (REC) of a 3D model of at least a part of a body (10), said 3D model modeling at least a first surface (12) of said body (10);
Récupération (RECUP) de données topologiques locales du voisinage d’au moins le premier point (Pi), lesdites données topologiques locales étant extraites du modèle 3D ou calculées à partir du modèle 3D ; Recovery (RECUP) of local topological data from the neighborhood of at least the first point (Pi), said local topological data being extracted from the 3D model or calculated from the 3D model;
Les acquisitions (ACQ) d’une pluralité d’images étant réalisées en faisant varier la distance focale (df) de l’optique à focale variable (40) selon une loi de commande prenant en compte en outre les données topologiques locales (DTOPO) du voisinage du premier point (P1) de la première surface (12). The acquisitions (ACQ) of a plurality of images being carried out by varying the focal distance (d f ) of the variable focal length optics (40) according to a control law also taking into account the local topological data ( DTOPO) of the vicinity of the first point (P1) of the first surface (12).
10. Procédé d’acquisition d’images selon la revendication précédente, ledit procédé comportant en outre les étapes de : Génération (GENi) d’une trajectoire de traitement (30) à la surface (12) du modèle 3D au moyen d’un calculateur, ladite trajectoire de traitement (30) comportant au moins deux points à la surface (12) du modèle 3D ; 10. Process for acquiring images according to the preceding claim, said process further comprising the steps of: Generation (GENi) of a processing path (30) on the surface (12) of the 3D model by means of a computer, said processing path (30) comprising at least two points on the surface (12) of the model 3D;
Construction d’une image nette d’une portion de la surface du corps au voisinage de la trajectoire de traitement (30). Construction of a sharp image of a portion of the surface of the body in the vicinity of the treatment trajectory (30).
11 . Dispositif de prise d’image (20) caractérisé en ce qu’il comporte une optique à focale variable (40) pour acquérir une pluralité d’images de la surface d’un corps d’un individu à l’aide du dispositif de prise d’image (20), lesdites acquisitions étant réalisées en faisant varier la distance focale (df) de l’optique à focale variable (40) selon une loi de commande, ledit dispositif (20) comportant au moins un calculateur configuré pour mettre en oeuvre les étapes du procédé selon l’une des revendications précédentes. 11 . Image pickup device (20) characterized in that it includes variable focal length optics (40) for acquiring a plurality of images of the surface of an individual's body with the aid of the image (20), said acquisitions being made by varying the focal distance (d f ) of the variable focal length optics (40) according to a control law, said device (20) comprising at least one computer configured to put implements the steps of the method according to one of the preceding claims.
12. Dispositif de prise d’image (20) selon la revendication 10 caractérisé en ce qu’il comporte des moyens pour mesurer une distance entre l’optique à focale variable et d’un premier point (Pi) de la surface du corps, lesdites acquisitions étant réalisées en faisant varier la distance focale (df) de l’optique à focale variable (40) selon une loi de commande prenant en compte la distance entre l’optique à focale variable (40) et le premier point (Pi). 12. Image pickup device (20) according to claim 10 characterized in that it comprises means for measuring a distance between the variable focal length optics and a first point (Pi) of the surface of the body, said acquisitions being made by varying the focal distance (d f ) of the variable focal length optics (40) according to a control law taking into account the distance between the variable focal length optics (40) and the first point (Pi ).
13. Plateforme mobile comportant un dispositif de prise d’image (20) selon l’une quelconque des revendications 11 à 12, ladite plateforme comportant une interface de commande pour recevoir des consignes de guidage calculées notamment à partir du modèle de corps calculé en temps réel. 13. Mobile platform comprising an image pickup device (20) according to any one of claims 11 to 12, said platform comprising a control interface for receiving guidance instructions calculated in particular from the body model calculated in time real.
PCT/EP2022/064972 2021-06-01 2022-06-01 Method for constructing an image from an optical device with variable focal length WO2022253925A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
AU2022286641A AU2022286641A1 (en) 2021-06-01 2022-06-01 Method for constructing an image from an optical device with variable focal length

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
FR2105767A FR3123486A1 (en) 2021-06-01 2021-06-01 Process for constructing an image from a variable focal length optical device.
FRFR2105767 2021-06-01
FR2108163 2021-07-27
FRFR2108163 2021-07-27

Publications (1)

Publication Number Publication Date
WO2022253925A1 true WO2022253925A1 (en) 2022-12-08

Family

ID=82115791

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/064972 WO2022253925A1 (en) 2021-06-01 2022-06-01 Method for constructing an image from an optical device with variable focal length

Country Status (2)

Country Link
AU (1) AU2022286641A1 (en)
WO (1) WO2022253925A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793900A (en) * 1995-12-29 1998-08-11 Stanford University Generating categorical depth maps using passive defocus sensing
US6532036B1 (en) * 1997-01-30 2003-03-11 Yissum Research Development Company Of The Hebrew University Of Jerusalem Generalized panoramic mosaic
US20090066786A1 (en) * 2004-05-10 2009-03-12 Humaneyes Technologies Ltd. Depth Illusion Digital Imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793900A (en) * 1995-12-29 1998-08-11 Stanford University Generating categorical depth maps using passive defocus sensing
US6532036B1 (en) * 1997-01-30 2003-03-11 Yissum Research Development Company Of The Hebrew University Of Jerusalem Generalized panoramic mosaic
US20090066786A1 (en) * 2004-05-10 2009-03-12 Humaneyes Technologies Ltd. Depth Illusion Digital Imaging

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHOI DAVID ET AL., IMPROVED IMAGE SELECTION FOR FOCUS STACKING IN DIGITAL PHOTOGRAPHY, 2017
CHOI DAVID ET AL: "Improved image selection for focus stacking in digital photography", 2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), IEEE, 17 September 2017 (2017-09-17), pages 2761 - 2765, XP033323078, DOI: 10.1109/ICIP.2017.8296785 *
ZHAO XU ET AL: "3D visual sensing technique based on focal stack for snake robotic applications", RESULTS IN PHYSICS, vol. 12, 1 March 2019 (2019-03-01), NL, pages 1520 - 1528, XP055893346, ISSN: 2211-3797, Retrieved from the Internet <URL:https://www.sciencedirect.com/science/article/pii/S2211379718321144/pdfft?md5=b166fb3390b6c0d3b0048d2f8864b67e&pid=1-s2.0-S2211379718321144-main.pdf> DOI: 10.1016/j.rinp.2019.01.045 *

Also Published As

Publication number Publication date
AU2022286641A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
Peng et al. Learned large field-of-view imaging with thin-plate optics.
CN109521547B (en) Variable-step-length automatic focusing method and system
KR101824936B1 (en) Focus error estimation in images
FR3094124A1 (en) GUIDING PROCESS OF A ROBOT ARM, GUIDING SYSTEM
JP2023508780A (en) Systems and methods for blind multispectral image fusion
EP3707676A1 (en) Method for estimating the installation of a camera in the reference frame of a three-dimensional scene, device, augmented reality system and associated computer program
EP2795575B1 (en) Integrated three-dimensional vision sensor
US11875482B2 (en) Lensless imaging device
CN109671031B (en) Multispectral image inversion method based on residual learning convolutional neural network
FR3069690A1 (en) ELECTRONIC DEVICE AND METHOD OF GENERATING FROM AT LEAST ONE PAIR OF SUCCESSIVE IMAGES OF A SCENE, A SCENE DEPTH CARD, DRONE AND COMPUTER PROGRAM
Wu et al. Geometry based three-dimensional image processing method for electronic cluster eye
JP2019512188A (en) Device for generating a synthetic 2D image of an enhanced depth of field of an object
EP2909671B1 (en) Method for designing a single-path imager able to estimate the depth of field
EP3143583B1 (en) System and method for improved computational imaging
WO2022253925A1 (en) Method for constructing an image from an optical device with variable focal length
FR3055727B1 (en) METHOD AND DEVICE FOR CHARACTERIZING ABERRATIONS OF AN OPTICAL SYSTEM
FR3123486A1 (en) Process for constructing an image from a variable focal length optical device.
FR2729236A1 (en) Robot positioning in three-dimensional space by active lighting
EP3937628A1 (en) Agricultural treatment control device
EP3942532A1 (en) Method for generating a three-dimensional working surface of a human body, system
US20190004283A1 (en) Plenoptic zoom with optimised range
Nikonorov et al. Deep learning-based image reconstruction for multi-aperture diffractive lens
CN117083851A (en) Stereoscopic imaging platform with parallax and sharpness control auto-focus mode
CN117121477A (en) Stereoscopic imaging platform with continuous auto-focusing mode
CN108921053B (en) Scene target automatic analysis detection processing method and device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22731608

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022286641

Country of ref document: AU

Ref document number: AU2022286641

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 2022286641

Country of ref document: AU

Date of ref document: 20220601

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2022731608

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022731608

Country of ref document: EP

Effective date: 20240227