WO2020002810A1 - Detecting nerves in a series of ultrasound images by determining regions of interest which are defined by detecting arteries - Google Patents

Detecting nerves in a series of ultrasound images by determining regions of interest which are defined by detecting arteries Download PDF

Info

Publication number
WO2020002810A1
WO2020002810A1 PCT/FR2019/051540 FR2019051540W WO2020002810A1 WO 2020002810 A1 WO2020002810 A1 WO 2020002810A1 FR 2019051540 W FR2019051540 W FR 2019051540W WO 2020002810 A1 WO2020002810 A1 WO 2020002810A1
Authority
WO
WIPO (PCT)
Prior art keywords
artery
image
nerves
regions
interest
Prior art date
Application number
PCT/FR2019/051540
Other languages
French (fr)
Inventor
Adel HAFIANE
Arnaud PARIS
Original Assignee
Universite D'orleans
Institut National Des Sciences Appliquees Centre Val De Loire
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universite D'orleans, Institut National Des Sciences Appliquees Centre Val De Loire filed Critical Universite D'orleans
Publication of WO2020002810A1 publication Critical patent/WO2020002810A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the invention relates to the field of analysis of digital images from ultrasound. It relates more particularly to the automatic detection of nerves in a series of images to assist the work of an anesthesiologist.
  • Locoregional anesthesia requires injecting the anesthetic product near a patient's nerve. It is therefore important for the anesthesiologist to have tools that facilitate his work by allowing him to precisely locate the nerves. To do this, it has equipment allowing it to view in real time an ultrasound image of the studied area of the patient's anatomy. The anesthesiologist can scan the area to find the nerves and determine the appropriate place to insert the anesthetic.
  • the invention provides such a tool for detecting nerves, automatically and in real time, in a series of images from an ultrasound.
  • Such a tool must deal with the very nature of ultrasound images which contain significant noise and numerous artifacts linked to ultrasound imaging.
  • the variability of the nervous structures also makes their appearance on the images very varied and all the more difficult an automatic detection process.
  • the object of the invention is therefore to provide an automatic detection method having performances substantially improving the existing techniques and greatly facilitating the work of the anesthesiologist.
  • the invention aims to provide a method of detecting a nerve in a series of ultrasound images, comprising, for each image in said series,
  • a step of determining a set of regions of interest by the detection of arteries said detection consisting in applying an automatic classification to a sliding window on said image generating a set of candidate zones, then in selecting regions of interests among said candidate areas by seeking outlines characteristic of an artery within said candidate areas;
  • the invention includes one or more of the following features which can be used separately or in partial combination with one another or in total combination with one another:
  • the automatic classification is implemented by a previously trained neural network applied to each zone defined by a position of said sliding window and making it possible to determine the probability of said zone of corresponding to an artery;
  • the determination step comprises a pre-processing sub-step consisting in calculating a monogenic map of said image
  • the selection of regions of interest includes a likelihood calculation between an artery contour extracted from said image and a reference form
  • the selection of regions of interest includes a search for elliptical shapes within said image
  • the determination of the nerves as a function of the relative arrangement with respect to the arteries detected within said regions of interest comprises the calculation of a probability map determining the probabilities of the presence of a set of types of nerves in the vicinity of a artery;
  • Another object of the invention relates to an information processing device having the means to implement the method as previously presented.
  • Another object of the invention relates to a computer program comprising computer code implementing the method such as previously presented, when run on an information processing device.
  • FIG. 1 schematically represents an example of practical use of the method according to an embodiment of the invention.
  • FIG. 2 schematically represents an example of a processing chain according to an embodiment of the invention.
  • FIGS. 3 a and 3b schematically represent examples of a neural network for the implementation of an embodiment of the invention.
  • FIG. 4 schematically represents an example of the application of a principal component analysis, PCA, according to an embodiment of the invention.
  • FIG. 5 represents the most common relative anatomical positions between the median, ulnar, radian and musculocutaneous nerves relative to the position of the artery, according to an embodiment of the invention.
  • the anesthesiologist scans an area of the patient's body with an ultrasound probe to identify the nerves and determine the area where to inject the anesthetic product.
  • the ultrasound equipment operates continuously and generates a flow of images (that is to say a video) which are displayed in real time on a monitor available to the anesthesiologist, or another practitioner ( surgeon, etc.). So the scanning exercised by the anesthesiologist can be done according to what he sees on the monitor.
  • the method according to the invention is based on a digital image processing chain taking as input the flow of ultrasound images and providing as output a detection of anatomical structures such as nerves, arteries, etc. on this stream.
  • FIG. 1 shows schematically a situation of practical use of the method according to the invention.
  • An anesthesiologist 10 visualizes a terminal 11 while handling a probe 12.
  • the ultrasound images from the probe 12 are transmitted to a processing platform 13 (typically a computer) which implements software modules 14 implementing the method according to the invention .
  • a stream of enriched images, as well as possibly other data are transmitted to the terminal 11.
  • These enriched images can be similar to the images coming from the probe, but contain data generated by the detection of nerves, arteries, etc.
  • this detection can lead to the highlighting of nerves, arteries and other structures of interest in overexposure on the flow of ultrasound images displayed on the monitor.
  • this highlighting may consist in surrounding the detected nerve, or in precisely delimiting its contours, etc. It can be done in color to make the practitioner's task even easier: for example, the nerves in yellow, the arteries in red, the veins in blue, the bone in white, ...
  • Detection must therefore be done in real time since it must be reflected on the monitor to guide the practitioner's action in real time.
  • FIG. 2 illustrates the processing chain according to an embodiment of the invention.
  • a first set of steps consists in determining regions of interest by detecting routes. The nerves will then be sought based on these regions of interest.
  • a first step E1 consists in applying an automatic classification by a sliding window on an image resulting from the flow of ultrasound images, in order to generate a set of candidate zones which may contain the main artery.
  • the classification method provides an index of confidence in the classification.
  • an index of confidence in the classification At each position of the window during its course of the image, we provide both a class among at least two possible classes: corresponds or does not correspond to an artery, as well as an index of confidence in this classification .
  • the positions of the window which maximize the confidence index in the “artery” class constitute the output, or result, of this step E1 and therefore represent “candidate zones”.
  • a “deep leaming” type approach can be used to perform this classification. This approach uses a learning base comprising different real situations in ultrasound images, in order to build models via training on this basis.
  • a sliding window of 140 by 140 pixels is used, by applying a pitch of 6 pixels in height and in width.
  • the size of the window and the pitch will depend on the ultrasound device used, the resolution of the image, the depth of the nerves, the size of the artery, ...
  • Each of the zones defined by the window is assessed using a network of deep leaming type, previously trained. This allows to calculate the probability of 4 classes (artery, vein, skin and other). The areas classified by the neural network as the artery, and whose values of classification confidence are the most important are kept for the following steps.
  • FIG. 3a represents a general description of a neural network according to an embodiment of the invention.
  • a neural network can consist of an input layer, “Input”, 310, of a first element 320, called “Feature Map” which can consist of several layers of neurons, of a second element, “ FC ", 330, which can also consist of several layers of neurons, and an output," Output ", 340.
  • FIG. 3b illustrates a particular embodiment of such a diagram of a convolutional neural network consisting of 6 internal layers 301, 302, 303, 304, 305, 306 and an input layer 300.
  • the first three internal layers consist of convolutional layers, one of which, 303, is normalized. These layers are followed by 3 layers of neurons, 304, 305, 306, completely connected (FC for "Fully Connected” in the figure)
  • FC Fully Connected
  • the figures indicated in the figure represent a number of neurons for the layer.
  • Other types of neural network can be used in this case. Learning and detection can be done using the "caffe” library, as described in the article "Caffe: Convolutional architecture for fast feature embedding.
  • a post-processing step E2 can be implemented in order to reduce the number of candidate zones.
  • the positions determined for the same artery can be very close. It is then possible to reconcile these positions, in order to merge the corresponding candidate zones into a single zone of larger size. This makes it possible to reduce the number of zones to be treated by the subsequent stages of the treatment chain.
  • a validation step E3 it is sought to select regions of interest from among the candidate areas by seeking outlines characteristic of an artery within these candidate areas. It is therefore considered that the previous steps E1, E2 are configured so as to generate over-detections, therefore not to be too selective but to generate candidate zones as soon as the confidence index is sufficiently high.
  • Step E3 aims to reject a certain number of candidate zones according to a morphological criterion consisting in finding that the arteries appear globally round on an ultrasound image.
  • the Doppler ultrasound allows to distinguish between arteries and veins because it is based on the direction of blood flow.
  • a pre-processing sub-step E31 can be implemented in order to optimize the subsequent deployment of the sub-steps E32, E33 for searching the contours of the arteries.
  • Different preprocessing of the image is possible in order to allow better detection of the contours of the arteries, for example by reducing noise.
  • Noise reduction can itself be implemented in various ways, in particular by using low-pass or selective filters.
  • the monogenic signal approach can be used, as described in Michael Felsberg and Gerald Sommer, "The monogenic signal", 2001, IEEE Transactions on Signal Processing, (49), 12, 3136-3144.
  • Hafiane, A., Vieyres, P. and Delbos, A., "Phase-based Probabilistic active contour for nerve detection in ultrasound images for regional anesthesia ”, in Computers in Biology and Medicine, 52: 88-95, 2014 such a monogenic map can be used to identify the contours in an image.
  • the transformation into a monogenic signal, or card allows an efficient representation of the variations and thus identifies the contours of the artery within the noisy image.
  • the monogenic map f ⁇ i is calculated using the Riesz transformation defined by the following equation:
  • Another preprocessing making it possible to specify the position of the artery within the candidate zones originating from steps E1 and E2 may consist in using a method of calculating connected components on the previously calculated monogenic map, in order to label the binary regions spatially separated.
  • the artery corresponds to one of the largest labeled regions in terms of number of pixels.
  • the selected regions are used to initialize the procedures E32 and E33.
  • the steps E32 and E33 represent the validation steps proper, consisting in selecting regions of interest from among the candidate areas by searching for the characteristic contours of an artery within these candidate areas provided by the steps E1, E2.
  • the first method E32 to validate the result of the classification El consists in checking the likelihood between the shape of the artery calculated in a given area and a reference shape of the artery.
  • a first sub-step consists in extracting the contour of the artery in the candidate zones resulting from the pre-treatment step E31 (or possibly directly from steps El, E2 of determining the regions of interest).
  • the contour of the artery can be calculated according to different algorithms, such as for example those described in Papari G., and Petkov, N. in "Edge and line oriented contour detection: State of the art In Image and Vision Computing, 29 (2-3): 79-103, 2011
  • a contour can be defined by a set of points connected together.
  • the method consists in moving each point in its neighborhood in order to minimize the energy of the contour E sna ke defined by the following formula:
  • Ei mg is the energy of the image
  • ac, bo and I are respective weights of the energies of continuity, curvature and image.
  • N is the number of points of the contour.
  • a first version thus consists in directly using the values of the pixels. It is also possible to preprocess the image. For example, use the gradient of the pixel value. It was chosen to calculate the energy using the gradient of the monogenic map, calculated as described above. The points being moved at each iteration, the final contour depends on the initial contour. Thus, the method is initialized using the previously defined connected components.
  • This contour determined on the image is then compared to a reference shape calculated from a multitude of contours representative of an artery. This comparison will provide a measure of likelihood.
  • the reference shape can be calculated with a statistical method from a learning base containing the different variations of the contours of the arteries.
  • the contours extracted from the learning base can be normalized and aligned beforehand in order to eliminate the problems of scales (zoom ..) and orientations.
  • the Shape Context and ICP Interative Closest Point
  • the points are then associated and the components are defined using a principal component analysis, PCA.
  • PCA principal component analysis
  • the choice of the initial shape allowing the points to be aligned is a parameter to be taken into account in order to improve the results.
  • a first naive approach consists in aligning on the first calculated contour.
  • a second approach consists in regularly calculating the statistical forms as the contours of the videos are extracted, by aligning the extracted contours then on these forms.
  • an additional step is to delete the extracted forms containing outliers. This step is added before the calculation of the intermediate statistical forms used to align the contours.
  • This method makes it possible to define the reference form of the artery by three sets of values: the average of the values of the x and y coordinates of the different points making up the form, their eigenvectors P s and their weighted eigenvalues b s , according to the formula :
  • the defined statistical model can then be used to calculate the likelihood between a form defined in the previous phase and the statistical form.
  • the current contour is, first of all, normalized with respect to the reference shape.
  • Likelihood is then defined as the statistical distance from the contour. For this, at each point of the contour is calculated its likelihood in relation to the point closest to the statistical form, defined by normalization.
  • an additional step can be used to strengthen the identification of the artery. This is to take into account the hypoechoic character of the artery. This means that the average of the pixel values within the artery outline is relatively small. This average is used with the plausibility of the statistical form for the notation of the various zones with a view to their rejection.
  • the second method, or sub-step, E33 to validate the result of the classification El consists in finding the elliptical forms most conforming to the typical form of an artery, within the detected zones. Generally speaking, one can model the blood vessels by an ellipse, including the arteries. These can also be approximated to circles, that is to say ellipses whose values of the major and minor axes are very close. This sub-step E33 thus reinforces the statistical validation carried out in step E32 by another complementary methodology. It is also possible to deploy only this single validation method by elliptical shapes or to combine it with other validation methods.
  • G is the gradient of the monogenic map.
  • This score assesses whether the ellipse corresponds to the reality of an elliptical shape in the image.
  • a second method is based on the optimization of an objective function f (x, y, a, b) by gradient descent, with x, y the coordinates of the center of the ellipse.
  • This function can be expressed as follows:
  • f (x, y, a, b) wi. S i (x, y, a, b) + w 2 . S 2 (x, y, a, b) + w 3 . S 3 (a, b) + w 4 . S 4 (x, y, a, b)
  • the parameters wi, w 2 , w 3 , w 4 represent weights weighting the sub-functions Si, S 2 , S 3 , S 4 respectively.
  • the objective function f (x, y, a, b) is composed of different sub-functions Si, S 2 , S 3 , S 4 .
  • the sub-function Si can be based on Smistad and can be defined by the following formula:
  • the sub-function S 2 is based on the assumption that the pixel values inside the ellipse are lower and their means closer than outside the ellipse. More generally, the sub-function S 2 represents a colorimetric difference between the inside and the outside of the ellipse to be detected (hereinafter called "main ellipse").
  • the parameters x, y, a, b are the same as those of the main ellipse.
  • p ext, i the points of the external ellipse.
  • S 3 is defined according to the following formula:
  • the sub-function S4 is defined by the following formula with v c and V h the mean values in the neighborhoods of the pixels defined respectively by (x, y + b) and (x, yb). the neighborhood chosen within the framework of this function are the designated pixel as well as the 4 immediately adjacent pixels along the horizontal and vertical axes.
  • This sub-function makes it possible to ensure that the parameter b corresponds well to the size of the ellipse, and to take into account the technology of ultrasound which makes the edges at the top and bottom of the artery are much more marked than on the coast. We can thus for example write:
  • the parameters x and y are input parameters of the method. Since the gradient descent is very sensitive to local minima, the ellipse returned by the method may not be correct if the center is not close enough to reality. These two methods make it possible to estimate the different potentialent areas resulting from the classification phase. The returned areas that do not correspond to the artery can then be rejected in order to validate the position of the artery.
  • the ellipses of each labeled region are assessed against the characteristics of the artery.
  • the first criterion tested is the size of the ellipse, proportional to the image acquisition depth. For this, the values were defined from the learning base.
  • the second is to check that the ellipse tends towards a round shape, i.e. 3 ⁇ 4 1.
  • this step E4 of determination of the nerves within the regions of interest previously determined is based on the relative arrangement of the nerves with respect to the arteries.
  • the first is that it is easier to detect than the nerves in the axillary block.
  • the second is that the relative position of the different nerves with respect to the artery largely follows well defined anatomical topologies.
  • the detection of nerves is guided by the delimitation of a smaller research area since only confined to a limited number of regions of interest, thanks to the relative positions of the nerves with respect to the arteries.
  • the proposed approach thus wins both in quality of results but also in processing performance, by reducing the calculation time.
  • Figure 5 is inspired by the article by Christophe, JL, Berthier, F., Boillot, A., Tatu, L., Viennet, A., Boichut, N., and Samain, E., “Assessment of topographie brachial plexus nerves variations at the axilla using ultrasonography ”in British Journal of Anaesthesia, 103 (4): 606-6l2, 2009. It presents the most common relative anatomical positions between the median nerves 51, ulnar 52, radian 53 and musculocutaneous 54 by with respect to the axis of the artery 50. Each of the arrangements shown corresponds to a probability of occurrence, respectively 64.7%, 13%,
  • the relative position of the different nerves relative to the artery is calculated in the learning base.
  • These define a number of variations in the positions of the nerves relative to the artery. It is possible to define, for each nerve in the axillary block, P (ni
  • the probability distributions depend on the positions of the nerves, which can be defined in a polar coordinate system with the center of the artery as the reference point, by two variables: the angle Q and the distance d.
  • the probability Pfnfx ,, yi)) that the nerve i is at position (x, y) in the image can be defined by the formula
  • the learning step is to calculate the parameters of the Gaussian distributions using the relative positions of the nerves in the learning database. These parameters are calculated by maximizing the probability of the positions calculated in the database. From these Gaussians and the position of the artery, it is possible to calculate the probability of the presence of each of the nerves in a given area. Gaussian parameters can be improved by increasing the number of examples.
  • a validation step can be applied to the areas of probable nerves previously generated.
  • This step consists in applying to the image a second network of neurons making it possible to detect the nerves. In addition, it is not necessary to test the entire image.
  • the map of probable positions indeed makes it possible to exclude all the areas of the image where the probabilities of presence of the nerves are too low. This can significantly reduce the number of areas to be tested.
  • This step will locate nerves more precisely than the probability map.
  • a possible evolution can consist in constructing a dynamic probability map.
  • This evolution will consist in integrating the sets of Gaussians within a model allowing to calculate the probability maps by integrating the temporal dimension of the images within the video.
  • HMM Hidden Markov Model
  • This model is defined by the tuple (p, A, B).
  • the parameter p defines the probabilities of the initial state of the model. These probabilities correspond, in our case, to the probability of the initial topology at the start of the processing of the image stream. Given the different topologies (spatial artery-nerves arrangements) possible, this parameter may correspond to the probabilities of occurrence of the different topologies.
  • the transition matrix A defines the probability of transition from one state to another, that is to say the set of probability functions a nm such that a , is the probability of the transition from state Si to the state Sj. In our case, it makes it possible to model the evolution of the relative positions during successive images, for example, the reduction of the distance between the musculocutaneous nerve and the median nerve when the probe goes up, or, conversely, the increase in distance.
  • the third parameter defining the MoG-HMM is the set of observation probabilities B. In the case of HMM, it is a matrix defining the probability that a state will emit an observation, ie l the set of functions b n (k) such that bi (k) is the probability that the state Si causes the observation k. MoG-HMM replace these probabilities with sets of Gaussians. For this, the probabilities of observations B are redefined with
  • Ci m the mixing coefficient of state i
  • G a Gaussian function, with a vector of mean m and a covariance matrix U.
  • the modeling of the probabilities of position of the nerves described for the implementation according to a static probability map corresponds here to the probabilities of emission of the MoG-HMM, in other words the probabilities of a spatial arrangement of the nerves around the artery.
  • the properties of the Markov models make it possible in particular to take into account the evolution of the variations of the positions.
  • the algorithm is an iterative method allowing to locally resolve argmax l P (0
  • neural networks and MoG-HMM can be hybridized to improve detection.
  • the results of the neural network make it possible to define, a posteriori, the probabilities of St as a function of O t . These results thus make it possible to define in a more specific way the probabilities of s t + i .
  • the probability map can thus be more specific, making it possible to reduce the size of the zones where the probabilities of presence of the nerve are non-zero. This reduction also makes it possible to reduce the number of zones to be tested with neural networks.
  • the method defined above makes it possible to detect the artery, and thus the relative positions of the nerves in a given image, resulting from a video (or flow of images). In order to increase the efficiency of the method, it is possible to use the results from the previous images in the image stream, in order to test in particular whether the results are consistent.
  • a second advantage is to speed up the calculation time. For this, the results of the previous phases are used to improve the different phases. It is thus possible to directly reject the zones whose probabilities are too low in the previous images. Another example is to use the contours calculated during the previous image to speed up the calculation of the contour for the current image.

Abstract

The invention relates to a method for detecting a nerve in a series of ultrasound images, comprising, for each image of said series, - a step of determining (E1, E3) a group of regions of interest by detecting arteries, this detection consisting of applying an automatic classification to a sliding window on said image generating a set of candidate zones, then selecting (E32, E33) regions of interest among the candidate zones by searching for contours which are characteristic of an artery within them; - a step of determining (E4) the nerves depending on the relative arrangement in relation to the arteries detected depending on said regions of interest.

Description

DÉTECTION DE NERFS DANS UNE SÉRIE D’IMAGES ÉCHOGRAPHIQUES PAR LA DÉTERMINATION DE RÉGIONS  DETECTION OF NERVES IN A SERIES OF ECHOGRAPHIC IMAGES BY DETERMINING REGIONS
D’INTÉRÊTS DÉFINIES PAR LA DÉTECTION D’ARTÈRES  INTERESTS DEFINED BY ARTERY DETECTION
DOMAINE DE L’INVENTION FIELD OF THE INVENTION
L'invention est relative au domaine de l'analyse d'images numériques issues d’échographies. Elle concerne plus particulièrement la détection automatique des nerfs dans une série d’images afin d’aider le travail d’un anesthésiste. The invention relates to the field of analysis of digital images from ultrasound. It relates more particularly to the automatic detection of nerves in a series of images to assist the work of an anesthesiologist.
CONTEXTE DE L’INVENTION BACKGROUND OF THE INVENTION
Une anesthésie locorégionale nécessite d’injecter le produit anesthésiant à proximité d'un nerf du patient. Il est donc important pour l'anesthésiste de disposer d'outils facilitant son travail en lui permettant de localiser précisément les nerfs. Pour ce faire, il dispose d’appareillage lui permettant de visualiser en temps-réel une image échographique de la zone étudiée de l'anatomie du patient. L'anesthésiste peut balayer la zone pour rechercher les nerfs et déterminer l'endroit approprié pour insérer le produit anesthésiant. Locoregional anesthesia requires injecting the anesthetic product near a patient's nerve. It is therefore important for the anesthesiologist to have tools that facilitate his work by allowing him to precisely locate the nerves. To do this, it has equipment allowing it to view in real time an ultrasound image of the studied area of the patient's anatomy. The anesthesiologist can scan the area to find the nerves and determine the appropriate place to insert the anesthetic.
Toutefois, la détection des nerfs dans une image échographique est une tâche malaisée, même pour un anesthésiste expérimenté.  However, detecting nerves in an ultrasound image is an awkward task, even for an experienced anesthesiologist.
Il est donc intéressant de permettre à l’anesthésiste de disposer d’outils automatiques l'aidant dans sa tâche et d'ainsi minimiser la fatigue, les risques d’erreur et le temps nécessaire pour chaque acte de l’anesthésiste. L’invention propose un tel outil permettant de détecter les nerfs, automatiquement et en temps-réel, dans une série d’images provenant d’une échographie. Un tel outil doit faire face à la nature même des images échographiques qui comportent un bruit important et de nombreux artefacts liés à l'imagerie échographique. La variabilité des structures nerveuses rend en outre leurs apparences sur les images très variées et d'autant plus difficile un processus de détection automatique. It is therefore advantageous to allow the anesthesiologist to have automatic tools helping him in his task and thus minimize fatigue, the risk of error and the time necessary for each act of the anesthesiologist. The invention provides such a tool for detecting nerves, automatically and in real time, in a series of images from an ultrasound. Such a tool must deal with the very nature of ultrasound images which contain significant noise and numerous artifacts linked to ultrasound imaging. The variability of the nervous structures also makes their appearance on the images very varied and all the more difficult an automatic detection process.
De plus, du fait de la criticité du travail de l'anesthésiste, le procédé automatique doit être suffisamment robuste pour minimiser les erreurs malgré la mauvaise qualité des images échographiques, tant en sur-détection qu'en sous-détection.  In addition, due to the criticality of the anesthesiologist's work, the automatic process must be robust enough to minimize errors despite the poor quality of ultrasound images, both in over-detection and under-detection.
L'invention a donc pour but de fournir un procédé de détection automatique présentant des performances améliorant substantiellement les techniques existante et facilitant grandement le travail de l’anesthésiste.  The object of the invention is therefore to provide an automatic detection method having performances substantially improving the existing techniques and greatly facilitating the work of the anesthesiologist.
RÉSUMÉ DE L’INVENTION SUMMARY OF THE INVENTION
Plus particulièrement, l’invention vise à fournir un procédé de détection d'un nerf dans une série d'images échographiques, comportant, pour chaque image de ladite série, More particularly, the invention aims to provide a method of detecting a nerve in a series of ultrasound images, comprising, for each image in said series,
- une étape de détermination d’un ensemble de régions d’intérêts par la détection d'artères, ladite détection consistant à appliquer une classification automatique sur une fenêtre glissante sur ladite image générant un ensemble de zones candidates, puis à sélectionner des régions d'intérêts parmi lesdites zones candidates en recherchant des contours caractéristiques d'une artère au sein desdites zones candidates;  a step of determining a set of regions of interest by the detection of arteries, said detection consisting in applying an automatic classification to a sliding window on said image generating a set of candidate zones, then in selecting regions of interests among said candidate areas by seeking outlines characteristic of an artery within said candidate areas;
- une étape de détermination des nerfs en fonction de l’agencement relatif par rapport aux artères détectés en fonction des dites régions d'intérêts. Suivant des modes de réalisation préférés, l’invention comprend une ou plusieurs des caractéristiques suivantes qui peuvent être utilisées séparément ou en combinaison partielle entre elles ou en combinaison totale entre elles : a step of determining the nerves as a function of the relative arrangement with respect to the arteries detected as a function of said regions of interest. According to preferred embodiments, the invention includes one or more of the following features which can be used separately or in partial combination with one another or in total combination with one another:
- la classification automatique est mise en œuvre par un réseau de neurones préalablement entraîné appliquée à chaque zone définie par une position de ladite fenêtre glissante et permettant de déterminer la probabilité de ladite zone de correspondre à une artère ;  the automatic classification is implemented by a previously trained neural network applied to each zone defined by a position of said sliding window and making it possible to determine the probability of said zone of corresponding to an artery;
- préalablement à la sélection, l’étape de détermination comprend une sous-étape de prétraitement consistant à calculer une carte monogénique de ladite image ;  - prior to selection, the determination step comprises a pre-processing sub-step consisting in calculating a monogenic map of said image;
- la sélection de régions d’intérêt comprend un calcul de vraisemblance entre un contour d’artère extrait à partir de ladite image et une forme de référence ;  - the selection of regions of interest includes a likelihood calculation between an artery contour extracted from said image and a reference form;
- la détermination dudit contour d’artère est effectuée par un contour actif ;  - the determination of said artery contour is carried out by an active contour;
- la sélection de régions d’intérêt comprend une recherche de formes elliptiques au sein de ladite image ;  - the selection of regions of interest includes a search for elliptical shapes within said image;
- la détermination des nerfs en fonction de l'agencement relatif par rapport aux artères détectés au sein desdites régions d’intérêts comprend le calcul d’une carte de probabilités déterminant des probabilités de présence d’ensemble de types de nerfs au voisinage d’une artère ;  the determination of the nerves as a function of the relative arrangement with respect to the arteries detected within said regions of interest comprises the calculation of a probability map determining the probabilities of the presence of a set of types of nerves in the vicinity of a artery;
- les résultats obtenus sur une image de ladite série sont exploités pour examiner leur cohérence dans les images suivantes du flux ;  - the results obtained on an image of said series are used to examine their consistency in the following images of the flow;
Un autre objet de l’invention concerne un dispositif de traitement de l’information disposant des moyens pour mettre en œuvre le procédé tel que précédemment présenté. Another object of the invention relates to an information processing device having the means to implement the method as previously presented.
Un autre objet de l’invention concerne un programme d’ordinateur comportant du code informatique mettant en œuvre le procédé tel que précédemment présenté, lorsqu’il est exécuté sur un dispositif de traitement de l’information. Another object of the invention relates to a computer program comprising computer code implementing the method such as previously presented, when run on an information processing device.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit d’un mode de réalisation préféré de l'invention, donnée à titre d'exemple et en référence aux dessins annexés. Other characteristics and advantages of the invention will appear on reading the following description of a preferred embodiment of the invention, given by way of example and with reference to the accompanying drawings.
BRÈVE DESCRIPTION DES DESSINS La figure 1 représente schématiquement un exemple d’utilisation pratique du procédé selon un mode de réalisation de l’invention. BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 schematically represents an example of practical use of the method according to an embodiment of the invention.
La figure 2 représente schématiquement un exemple de chaîne de traitements selon un mode de réalisation de l’invention.  FIG. 2 schematically represents an example of a processing chain according to an embodiment of the invention.
Les figures 3 a et 3b représentent schématiquement des exemples de réseau de neurones pour l’implémentation d’un mode de réalisation de l’invention.  FIGS. 3 a and 3b schematically represent examples of a neural network for the implementation of an embodiment of the invention.
La figure 4 représente schématiquement un exemple d’application d’une analyse en composantes principales, ACP, selon un mode de réalisation de l’invention.  FIG. 4 schematically represents an example of the application of a principal component analysis, PCA, according to an embodiment of the invention.
La figure 5 représente les positions anatomiques relatives les plus courantes entre les nerfs médian, ulnaire, radian et musculocutané par rapport à la position de l’artère, selon un mode de réalisation de l’invention.  FIG. 5 represents the most common relative anatomical positions between the median, ulnar, radian and musculocutaneous nerves relative to the position of the artery, according to an embodiment of the invention.
DESCRIPTION DÉTAILLÉE DE L’INVENTION DETAILED DESCRIPTION OF THE INVENTION
En pratique, l’anesthésiste balaye une zone du corps du patient avec une sonde échographique afin de repérer les nerfs et déterminer la zone où procéder à l’injection du produit anesthésiant. L’appareillage échographique fonctionne de façon continue et génère un flux d'images (c'est-à-dire une vidéo) qui sont affichées en temps-réel sur un moniteur à disposition de l’anesthésiste, ou d’un autre praticien (chirurgien, etc.). Ainsi, le balayage exercé par l'anesthésiste peut se faire en fonction de ce qu'il visualise sur le moniteur. In practice, the anesthesiologist scans an area of the patient's body with an ultrasound probe to identify the nerves and determine the area where to inject the anesthetic product. The ultrasound equipment operates continuously and generates a flow of images (that is to say a video) which are displayed in real time on a monitor available to the anesthesiologist, or another practitioner ( surgeon, etc.). So the scanning exercised by the anesthesiologist can be done according to what he sees on the monitor.
Le procédé selon l’invention repose sur une chaîne de traitement numérique d'images prenant en entrée le flux d'images échographiques et fournissant en sortie une détection de structures anatomiques telles que des nerfs, des artères, etc. sur ce flux.  The method according to the invention is based on a digital image processing chain taking as input the flow of ultrasound images and providing as output a detection of anatomical structures such as nerves, arteries, etc. on this stream.
La figure 1 schématise une situation d’utilisation pratique du procédé selon l’invention. Un anesthésiste 10 visualise un terminal 11 tout en manipulant une sonde 12. Les images échographiques issues de la sonde 12 sont transmises à une plateforme de traitement 13 (typiquement un ordinateur) qui met en œuvre des modules logiciels 14 implémentant le procédé selon l’invention. En sortie, un flux d’images enrichies, ainsi qu’ éventuellement d’autres données, sont transmis au terminal 11. Ces images enrichies peuvent être similaires aux images issues de la sonde, mais contenir des données engendrées par la détection des nerfs, des artères, etc.  Figure 1 shows schematically a situation of practical use of the method according to the invention. An anesthesiologist 10 visualizes a terminal 11 while handling a probe 12. The ultrasound images from the probe 12 are transmitted to a processing platform 13 (typically a computer) which implements software modules 14 implementing the method according to the invention . At the output, a stream of enriched images, as well as possibly other data, are transmitted to the terminal 11. These enriched images can be similar to the images coming from the probe, but contain data generated by the detection of nerves, arteries, etc.
Typiquement, cette détection peut entraîner la mise en exergue des nerfs, des artères ainsi que d’autres structures d’intérêt en surexposition sur le flux d’images échographiques affiché sur le moniteur. Par exemple, cette mise en exergue peut consister à entourer le nerf détecté, ou à en délimiter précisément les contours, etc. Elle peut se faire en couleur afin de faciliter plus encore la tâche du praticien : par exemple, les nerfs en jaune, les artères en rouges, les veines en bleu, l’os en blanc,...  Typically, this detection can lead to the highlighting of nerves, arteries and other structures of interest in overexposure on the flow of ultrasound images displayed on the monitor. For example, this highlighting may consist in surrounding the detected nerve, or in precisely delimiting its contours, etc. It can be done in color to make the practitioner's task even easier: for example, the nerves in yellow, the arteries in red, the veins in blue, the bone in white, ...
La détection doit donc se faire en temps-réel puisqu'elle doit être reflétée sur le moniteur pour guider en temps-réel l’action du praticien.  Detection must therefore be done in real time since it must be reflected on the monitor to guide the practitioner's action in real time.
La détection directe des nerfs pouvant présenter un grand nombre de difficultés, il est proposé de se baser sur les repères anatomiques, notamment la distance et la position des nerfs par rapport à l’artère, afin de restreindre les zones possibles de l’image où peuvent se situer les nerfs. Cela consiste à détecter dans un premier temps un élément anatomique plus facilement détectable et dont la position, par rapport aux nerfs, est connue. Dans le cas du bloc axillaire, il s’agit de l’artère. Cette information est ensuite utilisée afin de définir les probabilités des positions des nerfs dans l’image. Il sera ensuite possible de les identifier. La figure 2 illustre la chaîne de traitement selon un mode de réalisation de l'invention. Since the direct detection of nerves can present a large number of difficulties, it is proposed to rely on anatomical landmarks, in particular the distance and position of the nerves relative to the artery, in order to restrict the possible areas of the image where the nerves can be located. This consists in first detecting an anatomical element that is more easily detectable and whose position, relative to the nerves, is known. In the case of the axillary block, it is the artery. This information is then used to define the probabilities of nerve positions in the image. It will then be possible to identify them. FIG. 2 illustrates the processing chain according to an embodiment of the invention.
Détermination de régions d'intérêts par détection d'artères Un premier ensemble d'étape consiste à déterminer des régions d'intérêts par la détection d'artères. Les nerfs seront ensuite recherchés en fonction de ces régions d’intérêts. Determining regions of interest by detecting routes A first set of steps consists in determining regions of interest by detecting routes. The nerves will then be sought based on these regions of interest.
Pour ce faire, une première étape El consiste à appliquer une classification automatique par une fenêtre glissante sur une image issue du flux d’images échographiques, afin de générer un ensemble de zones candidates pouvant contenir l’artère principale. To do this, a first step E1 consists in applying an automatic classification by a sliding window on an image resulting from the flow of ultrasound images, in order to generate a set of candidate zones which may contain the main artery.
Autrement dit, pour chaque image, on fait parcourir une fenêtre sur l’image, au sein de laquelle on applique une méthode de classification automatique afin de décider si la fenêtre contient ou non une artère.  In other words, for each image, we scroll through a window on the image, within which we apply an automatic classification method in order to decide whether or not the window contains an artery.
Selon un mode de réalisation, la méthode de classification fournit un indice de confiance en la classification. Ainsi, à chaque position de la fenêtre lors de son parcours de l’image, on fournit à la fois une classe parmi au moins deux classes possibles : correspond ou ne correspond pas à une artère, ainsi qu'un indice de confiance en cette classification. According to one embodiment, the classification method provides an index of confidence in the classification. Thus, at each position of the window during its course of the image, we provide both a class among at least two possible classes: corresponds or does not correspond to an artery, as well as an index of confidence in this classification .
Les positions de la fenêtre qui maximisent l'indice de confiance en la classe « artère » constituent la sortie, ou résultat, de cette étape El et représentent donc des « zones candidates ». Selon un mode de réalisation de l'invention, une approche de type « deep leaming » peut être utilisée pour effectuer cette classification. Cette approche utilise une base d'apprentissage comprenant différentes situations réelles dans des images échographiques, afin de construire des modèles via un entrainement sur cette base. The positions of the window which maximize the confidence index in the “artery” class constitute the output, or result, of this step E1 and therefore represent “candidate zones”. According to an embodiment of the invention, a “deep leaming” type approach can be used to perform this classification. This approach uses a learning base comprising different real situations in ultrasound images, in order to build models via training on this basis.
Selon un mode de réalisation particulier, on utilise une fenêtre glissante de 140 par 140 pixels, en appliquant un pas de 6 pixels en hauteur et en largeur. Cependant, la taille de fenêtre et le pas dépendra de l’appareil échographique utilisé, de la résolution de l’image, de la profondeur des nerfs, de la taille de l’artère,... Chacune des zones définies par la fenêtre est évaluée en utilisant un réseau de type deep leaming, préalablement entraîné. Celui-ci permet de calculer la probabilité de 4 classes (artère, veine, peau et autre). Les zones classifiées par le réseau de neurones comme étant l’artère, et dont les valeurs de la confiance de classification sont les plus importantes sont gardées pour les étapes suivantes. According to a particular embodiment, a sliding window of 140 by 140 pixels is used, by applying a pitch of 6 pixels in height and in width. However, the size of the window and the pitch will depend on the ultrasound device used, the resolution of the image, the depth of the nerves, the size of the artery, ... Each of the zones defined by the window is assessed using a network of deep leaming type, previously trained. This allows to calculate the probability of 4 classes (artery, vein, skin and other). The areas classified by the neural network as the artery, and whose values of classification confidence are the most important are kept for the following steps.
La figure 3a représente une description générale d’un réseau de neurones selon un mode de réalisation de l’invention. Un tel réseau de neurones peut être constituée d’une couche d’entrée, « Input », 310, d’un premier élément 320, dit « Feature Map » pouvant être constitué de plusieurs couches de neurones, d’un second élément, « FC », 330, pouvant également être constitué de plusieurs couches de neurones, et d’une sortie, « Output », 340.  FIG. 3a represents a general description of a neural network according to an embodiment of the invention. Such a neural network can consist of an input layer, “Input”, 310, of a first element 320, called “Feature Map” which can consist of several layers of neurons, of a second element, “ FC ", 330, which can also consist of several layers of neurons, and an output," Output ", 340.
La figure 3b illustre un exemple particulier de réalisation d’un tel schéma de réseau de neurones convolutifs constitué de 6 couches internes 301, 302, 303, 304, 305, 306 et une couche d’entrée 300. Les trois premières couches internes consistent en des couches de convolution, dont une, 303, est normalisée. Ces couches sont suivies de 3 couches de neurones, 304, 305, 306, complètement connectés (FC pour « Fully Connected » sur la figure) Les chiffres indiqués sur la figure représentent un nombre de neurones pour la couche. D’autres types de réseau de neurones pourront être employés dans ce cas. L’apprentissage et la détection peuvent se faire en utilisant la librairie « caffe » , telle que décrite dans l’article « Caffe: Convolutional architecture for fast feature embedding. » de Jia, Y., Shelhamer, E., Donahue, J., Karayev, S., Long, J., Girshick, R., Guadarrama, S., et Darrell, T., 2014, arXiv : 1408.5093. FIG. 3b illustrates a particular embodiment of such a diagram of a convolutional neural network consisting of 6 internal layers 301, 302, 303, 304, 305, 306 and an input layer 300. The first three internal layers consist of convolutional layers, one of which, 303, is normalized. These layers are followed by 3 layers of neurons, 304, 305, 306, completely connected (FC for "Fully Connected" in the figure) The figures indicated in the figure represent a number of neurons for the layer. Other types of neural network can be used in this case. Learning and detection can be done using the "caffe" library, as described in the article "Caffe: Convolutional architecture for fast feature embedding. By Jia, Y., Shelhamer, E., Donahue, J., Karayev, S., Long, J., Girshick, R., Guadarrama, S., and Darrell, T., 2014, arXiv: 1408.5093.
Une étape E2 de post-traitement peut être mise en œuvre afin de réduire le nombre de zones candidates. Notamment, les positions déterminées pour une même artère peuvent être très proches. Il est alors possible de rapprocher ces positions, afin de fusionner les zones candidates correspondantes en une seule zone de taille plus importante. Cela permet de réduire le nombre de zones à traiter par les étapes subséquentes de la chaîne de traitement. A post-processing step E2 can be implemented in order to reduce the number of candidate zones. In particular, the positions determined for the same artery can be very close. It is then possible to reconcile these positions, in order to merge the corresponding candidate zones into a single zone of larger size. This makes it possible to reduce the number of zones to be treated by the subsequent stages of the treatment chain.
De plus, au cours de cette mutualisation, nous pouvons considérer les probabilités combinées afin de favoriser les zones fortement renvoyées par le réseau de neurones.  In addition, during this pooling, we can consider the combined probabilities in order to favor the areas strongly returned by the neural network.
Il est également important de prendre en considération l’information écho-doppler pour réduire les zones de recherches des artères. Les appareils échographiques actuels disposent de la fonctionnalité doppler, permettant de visualiser le flux sanguin par rapport à la sonde et l’inclure dans le flux d’images de sortie de l’échographe. Dans le cadre de cette application, il est tout à fait possible de récupérer les informations doppler pour localiser les régions susceptibles de contenir des artères, et par conséquent on peut réduire la zone de recherche de celles-ci. Ce qui permettra de réduire les faux positifs de détection d’artère. It is also important to take into account echo-doppler information to narrow the search areas of the arteries. Current ultrasound devices have Doppler functionality, which allows you to visualize the blood flow relative to the probe and include it in the output image stream from the ultrasound system. Within the framework of this application, it is entirely possible to recover the doppler information in order to locate the regions likely to contain arteries, and consequently one can reduce the search area for these. This will reduce false positive artery detection.
Dans une étape E3 de validation, on cherche à sélectionner des régions d'intérêts parmi les zones candidates en recherchant des contours caractéristiques d’une artère au sein de ces zones candidates. On considère, donc que les étapes antérieures El, E2 sont paramétrées de façon à générer des sur-détections, donc à ne pas être trop sélectives mais à générer des zones candidates dès que l'indice de confiance est suffisamment élevé. In a validation step E3, it is sought to select regions of interest from among the candidate areas by seeking outlines characteristic of an artery within these candidate areas. It is therefore considered that the previous steps E1, E2 are configured so as to generate over-detections, therefore not to be too selective but to generate candidate zones as soon as the confidence index is sufficiently high.
L’étape E3 vise alors à rejeter un certain nombre de zones candidates selon un critère morphologique consistant à constater que les artères apparaissent globalement rondes sur une image échographique.  Step E3 then aims to reject a certain number of candidate zones according to a morphological criterion consisting in finding that the arteries appear globally round on an ultrasound image.
En outre, il est également possible de distinguer les artères des veines car les artères ne se compresse que soumise à une forte pression de la sonde échographique, contrairement aux veines qui peuvent s’aplatir sous des pressions plus faibles. Ainsi les veines peuvent apparaître, en fonction de la pression de la sonde, rondes, ovales ou complètement aplaties. Il est à noter, que l’écho-doppler permet de distinguer entre les artères et le veines car il est basé sur la direction du flux sanguin.  In addition, it is also possible to distinguish the arteries from the veins because the arteries only compress when subjected to high pressure from the ultrasound probe, unlike the veins which can flatten out under lower pressures. Thus the veins may appear, depending on the pressure of the probe, round, oval or completely flattened. It should be noted that the Doppler ultrasound allows to distinguish between arteries and veins because it is based on the direction of blood flow.
Plusieurs sous-étapes E32, E33 peuvent être mises en place, soit de façon indépendantes, soit en combinaison, selon différentes mises en œuvre de l’invention.  Several sub-steps E32, E33 can be implemented, either independently or in combination, according to different implementations of the invention.
En outre, une sous-étape E31 de prétraitement peut être mise en œuvre afin d'optimiser le déploiement subséquent des sous-étapes E32, E33 de recherche de contours des artères.  In addition, a pre-processing sub-step E31 can be implemented in order to optimize the subsequent deployment of the sub-steps E32, E33 for searching the contours of the arteries.
Différents prétraitement de l’image sont possibles afin de permettre une meilleure détection des contours des artères, par exemple en réduisant le bruit.  Different preprocessing of the image is possible in order to allow better detection of the contours of the arteries, for example by reducing noise.
La réduction de bruit peut elle-même être mise en œuvre de différentes façons, notamment en utilisant des filtres passe-bas ou sélectifs.  Noise reduction can itself be implemented in various ways, in particular by using low-pass or selective filters.
Afin de détecter les contours de l’artère, selon un mode de réalisation, on peut utiliser l’approche du signal monogénique, tel que décrit dans Michael Felsberg and Gerald Sommer, « The monogenic signal », 2001, IEEE Transactions on Signal Processing, (49), 12, 3136-3144. Ainsi que décrit dans Hafiane, A., Vieyres, P. et Delbos, A., « Phase-based Probabilistic active contour for nerve détection in ultrasound images for régional anesthésia », in Computers in Biology and Medecine, 52:88-95, 2014, une telle carte monogénique peut être utilisée pour identifier les contours dans une image. In order to detect the contours of the artery, according to one embodiment, the monogenic signal approach can be used, as described in Michael Felsberg and Gerald Sommer, "The monogenic signal", 2001, IEEE Transactions on Signal Processing, (49), 12, 3136-3144. As described in Hafiane, A., Vieyres, P. and Delbos, A., "Phase-based Probabilistic active contour for nerve detection in ultrasound images for regional anesthesia ”, in Computers in Biology and Medicine, 52: 88-95, 2014, such a monogenic map can be used to identify the contours in an image.
La transformation en signal, ou carte, monogénique permet une représentation efficace des variations et d’ainsi identifier les contours de l’artère au sein de l’image bruitée. Pour une image f, la carte monogénique f\i est calculée en utilisant la transformation de Riesz définie par l’équation suivante :
Figure imgf000012_0001
The transformation into a monogenic signal, or card, allows an efficient representation of the variations and thus identifies the contours of the artery within the noisy image. For an image f, the monogenic map f \ i is calculated using the Riesz transformation defined by the following equation:
Figure imgf000012_0001
La carte monogénique est calculée par la combinaison de deux composantes : f et sa transformation de Riesz fM=(f, f*hi, f*h2) The monogenic map is calculated by the combination of two components: f and its Riesz transformation fM = (f, f * hi, f * h 2 )
Il faut néanmoins pour cela définir les longueurs d’onde correctes du signal permettant de définir de manière optimale les contours de l’artère tout en réduisant les erreurs. Il a été choisi trois longueurs d’onde : 15.0, 21.0 et 23.0 testées expérimentalement et confirmant les valeurs de ces paramètres issus d’un travail précédent et publié dans Hafïane, A., Vieyre, P., Delbos, A., « Phase-based probabilistic active contour for nerve détection in ultrasound images for régional anessthesia » in Computers in Biology and Medecine, 52 :88-95 (2014).  However, this requires defining the correct wavelengths of the signal to optimally define the contours of the artery while reducing errors. Three wavelengths were chosen: 15.0, 21.0 and 23.0 tested experimentally and confirming the values of these parameters from previous work and published in Hafïane, A., Vieyre, P., Delbos, A., "Phase -based probabilistic active contour for nerve detection in ultrasound images for regional anessthesia ”in Computers in Biology and Medicine, 52: 88-95 (2014).
Un autre prétraitement permettant de préciser la position de l’artère au sein des zones candidates issues de des étapes El et E2 peut consister à utiliser une méthode de calcul de composantes connectées sur la carte monogénique précédemment calculée, afin d’étiqueter les régions binaires spatialement séparées. Another preprocessing making it possible to specify the position of the artery within the candidate zones originating from steps E1 and E2 may consist in using a method of calculating connected components on the previously calculated monogenic map, in order to label the binary regions spatially separated.
Pour ce faire, on applique dans un premier temps un seuil inverse sur la carte monogénique, ainsi qu’une binarisation de l’image dans les zones candidates. Ceci permet d’obtenir les régions à l’intérieur des contours. L’étiquetage en composantes connexes permet de donner un numéro unique pour chaque région binaire. To do this, we first apply an inverse threshold on the monogenic map, as well as a binarization of the image in the zones candidates. This provides the regions within the contours. Labeling of related components allows a unique number to be given for each binary region.
On suppose que l’artère correspond à l’une des régions étiquetées les plus grandes en termes de nombre de pixels. Les régions sélectionnées permettent d’initialiser les procédures E32 et E33.  It is assumed that the artery corresponds to one of the largest labeled regions in terms of number of pixels. The selected regions are used to initialize the procedures E32 and E33.
Les étapes E32 et E33 représentent les étapes de validation proprement dites, consistant à sélectionner des régions d'intérêts parmi les zones candidates en recherchant des contours caractéristiques d'une artère au sein de ces zones candidates fournies par les étapes El, E2. The steps E32 and E33 represent the validation steps proper, consisting in selecting regions of interest from among the candidate areas by searching for the characteristic contours of an artery within these candidate areas provided by the steps E1, E2.
La première méthode E32 pour valider le résultat de la classification El consiste à vérifier la vraisemblance entre la forme de l’artère calculée dans une zone donnée et une forme de référence de l’artère. The first method E32 to validate the result of the classification El consists in checking the likelihood between the shape of the artery calculated in a given area and a reference shape of the artery.
Une première sous-étape consiste à extraire le contour de l’artère dans les zones candidates issues de l’étape de prétraitement E31 (ou éventuellement directement des étapes El, E2 de détermination des régions d’intérêt).  A first sub-step consists in extracting the contour of the artery in the candidate zones resulting from the pre-treatment step E31 (or possibly directly from steps El, E2 of determining the regions of interest).
A partir de la position initialisée précédemment, on peut calculer le contour de l’artère selon différents algorithmes, tels que par exemple ceux décrits dans Papari G., et Petkov, N. dans « Edge and line oriented contour détection : State of the art » in Image and Vision Computing, 29 (2-3) :79- 103, 2011  From the position initialized previously, the contour of the artery can be calculated according to different algorithms, such as for example those described in Papari G., and Petkov, N. in "Edge and line oriented contour detection: State of the art In Image and Vision Computing, 29 (2-3): 79-103, 2011
Selon un mode de réalisation de l’invention, il est proposé d’utiliser la méthode des contours actifs, telle que par exemple décrite dans Kass, M., Witkin, A et Terzopoulos, D., « Snakes : Active contour models » in International Journal of Computer Vision, 1(4) :321-331, 1988.  According to one embodiment of the invention, it is proposed to use the method of active contours, as for example described in Kass, M., Witkin, A and Terzopoulos, D., "Snakes: Active contour models" in International Journal of Computer Vision, 1 (4): 321-331, 1988.
Un contour peut être défini par un ensemble de points connectés ensemble. La méthode consiste à déplacer chacun des points dans son voisinage afin de minimiser l’énergie du contour Esnake définie par la formule suivante :
Figure imgf000014_0001
A contour can be defined by a set of points connected together. The method consists in moving each point in its neighborhood in order to minimize the energy of the contour E sna ke defined by the following formula:
Figure imgf000014_0001
dans laquelle  in which
Econt est l’énergie de continuité  Econt is the energy of continuity
Ecurv est l’énergie de courbure  Ecurv is the energy of curvature
Eimg est l’énergie de l’image Ei mg is the energy of the image
ac, bo et je sont des poids respectifs des énergies de continuité, de courbure et de l’image.  ac, bo and I are respective weights of the energies of continuity, curvature and image.
N est le nombre de points du contour.  N is the number of points of the contour.
On applique ensuite un processus itératif pour faire converger le contour vers la région désirée en minimisant l’énergie.  We then apply an iterative process to converge the contour towards the desired region while minimizing the energy.
L’énergie étant définie par la somme pondérée des trois énergies, les poids doivent être définis. Selon un mode de réalisation de l’invention, les poids ont été fixés à ac=3, b( =2.0 et yc=l .5. The energy being defined by the weighted sum of the three energies, the weights must be defined. According to one embodiment of the invention, the weights have been fixed at ac = 3, b ( = 2.0 and yc = 1.5.
De plus, afin de calculer l’énergie de l’image Eimg différentes variantes existe en fonction des valeurs à partir desquelles l’énergie est calculée. Une première version consiste ainsi à utiliser directement les valeurs des pixels. Il est également possible de prétraiter l’image. Par exemple, utiliser le gradient de la valeur des pixels. Il a été choisi de calculer l’énergie en utilisant le gradient de la carte monogénique, calculé comme décrit plus haut. Les points étant déplacés à chaque itération, le contour final dépend du contour initial. Ainsi, la méthode est initialisée en utilisant les composants connectés précédemment définis. In addition, in order to calculate the energy of the image Ei mg different variants exist depending on the values from which the energy is calculated. A first version thus consists in directly using the values of the pixels. It is also possible to preprocess the image. For example, use the gradient of the pixel value. It was chosen to calculate the energy using the gradient of the monogenic map, calculated as described above. The points being moved at each iteration, the final contour depends on the initial contour. Thus, the method is initialized using the previously defined connected components.
Ce contour déterminé sur l’image est ensuite comparé à une forme de référence calculée à partir d’une multitude de contours représentatifs d’une artère. Cette comparaison permettra de fournir une mesure de vraisemblance. La forme de référence peut être calculée avec une méthode statistique à partir d’une base d’apprentissage contenant les différentes variations des contours des artères. This contour determined on the image is then compared to a reference shape calculated from a multitude of contours representative of an artery. This comparison will provide a measure of likelihood. The reference shape can be calculated with a statistical method from a learning base containing the different variations of the contours of the arteries.
Les contours extraient de la base d’apprentissage peuvent être préalablement normalisés et alignés afin d’évacuer les problématiques d’échelles (zoom..) et d’orientations. Pour ce faire, les méthodes de « Shape Context » et d’ICP (Interative Closest Point) peuvent être utilisées.  The contours extracted from the learning base can be normalized and aligned beforehand in order to eliminate the problems of scales (zoom ..) and orientations. To do this, the Shape Context and ICP (Interative Closest Point) methods can be used.
Les points sont ensuite associés et les composantes sont définies grâce à une analyse en composantes principales, ACP. Cela permet de définir un modèle statistique de la forme du nerf, ainsi que représenté sur la figure 4. Le choix de la forme initiale permettant d’aligner les points est un paramètre à prendre en compte afin d’améliorer les résultats. Une première approche naïve consiste à aligner sur le premier contour calculé. Une deuxième approche consiste à régulièrement calculer les formes statistiques au fur et à mesure de l’extraction des contours des vidéos, en alignant les contours extraits ensuite sur ces formes.  The points are then associated and the components are defined using a principal component analysis, PCA. This makes it possible to define a statistical model of the shape of the nerve, as shown in FIG. 4. The choice of the initial shape allowing the points to be aligned is a parameter to be taken into account in order to improve the results. A first naive approach consists in aligning on the first calculated contour. A second approach consists in regularly calculating the statistical forms as the contours of the videos are extracted, by aligning the extracted contours then on these forms.
Pour optimiser la forme statistique, une étape supplémentaire est de supprimer les formes extraites contenant des points aberrants. Cette étape est ajoutée avant le calcul des formes statistique intermédiaires utilisées pour aligner les contours. Cette méthode permet de définir la forme de référence de l’artère par trois ensembles de valeurs : la moyenne des valeurs des coordonnées x et y des différents points composant la forme, leurs vecteur propres Ps et leurs valeurs propres pondérées bs, selon la formule : To optimize the statistical form, an additional step is to delete the extracted forms containing outliers. This step is added before the calculation of the intermediate statistical forms used to align the contours. This method makes it possible to define the reference form of the artery by three sets of values: the average of the values of the x and y coordinates of the different points making up the form, their eigenvectors P s and their weighted eigenvalues b s , according to the formula :
x = x + Ps . b s x = x + P s . b s
Le modèle statistique défini peut ensuite être utilisé afin de calculer la vraisemblance entre une forme définie lors de la phase précédente et la forme statistique. Pour cela, le contour courant est, en premier lieu, normalisé par rapport à la forme de référence. La vraisemblance est ensuite définie comme la distance statistique du contour. Pour cela, à chaque point du contour est calculée sa vraisemblance par rapports au point le plus proche de la forme statistique, défini grâce à la normalisation. The defined statistical model can then be used to calculate the likelihood between a form defined in the previous phase and the statistical form. For this, the current contour is, first of all, normalized with respect to the reference shape. Likelihood is then defined as the statistical distance from the contour. For this, at each point of the contour is calculated its likelihood in relation to the point closest to the statistical form, defined by normalization.
Une fois que le contour est défini, une étape supplémentaire peut être utilisée pour renforcer l’identification de l’artère. Il s’agit de prendre en compte le caractère hypoéchogène de l’artère. Cela signifie que la moyenne des valeurs des pixels à l’intérieur du contour de l’artère est relativement faible. Cette moyenne est utilisée avec la vraisemblance de la forme statistique pour la notation des différentes zones en vue de leur rejet. La seconde méthode, ou sous-étape, E33 pour valider le résultat de la classification El consiste à trouver les formes elliptiques les plus conformes à la forme typique d’une artère, au sein des zones détectées. D’une façon générale, on peut modéliser les vaisseaux sanguins par une ellipse, y compris les artères. Celles-ci peuvent en outre être approximées à des ronds, c’est-à-dire des ellipses dont les valeurs des axes majeur et mineur sont très proches. Cette sous-étape E33 vient ainsi renforcer la validation statistique effectuée en étape E32 par une autre méthodologie complémentaire. Il est également envisageable de ne déployer que cette unique méthode de validation par formes elliptiques ou bien de l’adjoindre avec d’autres méthodes de validation.  Once the outline is defined, an additional step can be used to strengthen the identification of the artery. This is to take into account the hypoechoic character of the artery. This means that the average of the pixel values within the artery outline is relatively small. This average is used with the plausibility of the statistical form for the notation of the various zones with a view to their rejection. The second method, or sub-step, E33 to validate the result of the classification El consists in finding the elliptical forms most conforming to the typical form of an artery, within the detected zones. Generally speaking, one can model the blood vessels by an ellipse, including the arteries. These can also be approximated to circles, that is to say ellipses whose values of the major and minor axes are very close. This sub-step E33 thus reinforces the statistical validation carried out in step E32 by another complementary methodology. It is also possible to deploy only this single validation method by elliptical shapes or to combine it with other validation methods.
Dans le cas où l’on se base sur les résultats de l’étape E32, on peut appliquer cette seconde méthode aux contours extraits.  In the case where we base ourselves on the results of step E32, we can apply this second method to the extracted contours.
Dans le calcul des formes elliptiques, on ne considère que les régions étiquetées par la méthode des composantes connectées lors de l’étape E31. En effet, la méthode des composants connectés, décrite précédemment pour la sous-étape E31, permet de définir les coordonnées a priori de l’ellipse, et notamment de son centre c. Il est donc possible de réduire les centres testés aux pixels situés à proximité du centre des régions étiquetées. La recherche consiste ensuite à faire varier les valeurs des rayons a et b, afin de définir un ensemble d’ellipses. Plusieurs méthodes peuvent être utilisées pour détecter les ellipses. Par exemple, les ellipses peuvent être recherchées en utilisant la méthode décrite par : Guerrero et al. « Real-time vessel segmentation and trackingfor ultrasound imaging applications » in IEEE Transactions on Medical Imaging 26(8), 1079-1090, 2007. In the calculation of the elliptical shapes, we only consider the regions labeled by the method of the connected components during step E31. Indeed, the method of connected components, described above for sub-step E31, makes it possible to define the a priori coordinates of the ellipse, and in particular of its center c. It is therefore possible to reduce the centers tested to pixels located near the center of the labeled regions. The research then consists in varying the values of the radii a and b, in order to define a set of ellipses. Several methods can be used to detect ellipses. For example, ellipses can be searched using the method described by: Guerrero et al. "Real-time vessel segmentation and trackingfor ultrasound imaging applications" in IEEE Transactions on Medical Imaging 26 (8), 1079-1090, 2007.
À chacune de ces ellipses correspond alors un score, défini par la formule suivante,
Figure imgf000017_0001
Each of these ellipses corresponds to a score, defined by the following formula,
Figure imgf000017_0001
dans laquelle  in which
n; est la normale au point pi, et  not; is normal to point pi, and
G est le gradient de la carte monogénique.  G is the gradient of the monogenic map.
Ce score permet d’évaluer si l’ellipse correspond à la réalité d’une forme elliptique dans l’image. Afin d’améliorer les résultats, nous ne calculons pas les scores des ellipses à partir de l’image d’origine mais sur la carte monogénique calculée précédemment auquel est appliqué un filtre gaussien. Les gradients sont ensuite calculés sur le résultat de ce filtre, permettant de définir les scores des différentes ellipses. Les ellipses de chaque région étiquetée ayant les scores les plus élevés sont gardées.  This score assesses whether the ellipse corresponds to the reality of an elliptical shape in the image. In order to improve the results, we do not calculate the scores of the ellipses from the original image but on the previously calculated monogenic map to which a Gaussian filter is applied. The gradients are then calculated on the result of this filter, allowing the scores of the different ellipses to be defined. The ellipses of each labeled region with the highest scores are kept.
Une seconde méthode est basée sur l’optimisation d’une fonction objectif f(x,y,a,b) par descente de gradient, avec x, y les coordonnées du centre de l’ellipse. Cette fonction peut s’exprimer ainsi : A second method is based on the optimization of an objective function f (x, y, a, b) by gradient descent, with x, y the coordinates of the center of the ellipse. This function can be expressed as follows:
f(x,y,a,b) = wi . S i (x,y,a,b)+w2. S2(x,y,a,b)+w3. S3(a,b)+w4. S4(x,y,a,b) Les paramètres wi, w2, w3, w4 représentent des poids pondérant les sous-fonctions Si, S2, S3, S4 respectivement. f (x, y, a, b) = wi. S i (x, y, a, b) + w 2 . S 2 (x, y, a, b) + w 3 . S 3 (a, b) + w 4 . S 4 (x, y, a, b) The parameters wi, w 2 , w 3 , w 4 represent weights weighting the sub-functions Si, S 2 , S 3 , S 4 respectively.
Pour cela, on peut considérer un modèle d’ellipse non orientée et composée de N points pi équitablement distribués et défini par la formule suivante :
Figure imgf000018_0001
For this, we can consider a non-oriented ellipse model composed of N points pi equitably distributed and defined by the following formula:
Figure imgf000018_0001
avec  with
c le centre de l’ellipse,  c the center of the ellipse,
a le grand axe,  has the major axis,
b le petit axe, et  b the minor axis, and
r un facteur de taille  r a size factor
L’orientation de l’ellipse n’est pas prise en compte. Cette hypothèse est faible étant donné que l’artère a une forme globalement ronde.  The orientation of the ellipse is not taken into account. This assumption is weak since the artery has a generally round shape.
La fonction objectif f(x,y,a,b) est composée de différentes sous- fonctions Si, S2, S3, S4. The objective function f (x, y, a, b) is composed of different sub-functions Si, S 2 , S 3 , S 4 .
La sous-fonction Si peut être basée sur Smistad et peut être définie par la formule suivante :
Figure imgf000018_0002
The sub-function Si can be based on Smistad and can be defined by the following formula:
Figure imgf000018_0002
avec ni la normale au point pi, et M la valeur de la dérivée de la carte monogénique au point pi.  with neither the normal at point pi, and M the value of the derivative of the monogenic map at point pi.
La sous-fonction S2 se base sur l’hypothèse que les valeurs de pixels à l’intérieur de l’ellipse sont plus faibles et leurs moyennes plus proches qu’à l’extérieur de l’ellipse. Plus généralement, la sous-fonction S2 représente une différence colorimétrique entre l’intérieur et l’extérieur de l’ellipse à détecter (dite ci-après « ellipse principale »). The sub-function S 2 is based on the assumption that the pixel values inside the ellipse are lower and their means closer than outside the ellipse. More generally, the sub-function S 2 represents a colorimetric difference between the inside and the outside of the ellipse to be detected (hereinafter called "main ellipse").
Pour ce faire, on peut définir des ellipses spécifiques définis à partir de l’ellipse principale afin de mieux caractériser celle-ci.  To do this, we can define specific ellipses defined from the main ellipse in order to better characterize it.
La première ellipse spécifique supplémentaire est définie comme l’ellipse extérieure caractérisée par un rapport sur les rayons tel que r=l .2. Les paramètres x,y,a,b sont les mêmes que ceux de l’ellipse principale. Dans la suite, nous appelons pext,i les points de l’ellipse extérieure. The first additional specific ellipse is defined as the external ellipse characterized by a ratio on the radii such that r = 1.2. The parameters x, y, a, b are the same as those of the main ellipse. In the following, we call p ext, i the points of the external ellipse.
Un autre ensemble d’ellipses ajoutées sont les ellipses intérieures de l’ellipse principale. Pour cela, nous définissons : Another set of ellipses added are the inner ellipses of the main ellipse. For this, we define:
),3), et
Figure imgf000018_0003
avec 0<l<Lab. ), 3), and
Figure imgf000018_0003
with 0 <l <L ab .
Pour une ellipse principale donnée, nous définissons Lab-l ellipses intérieures. Les rapports aux rayons sont définis, pour chacune des ellipses intérieures, par r=l/Lab. On définit py le point i de l’ellipse 1. For a given main ellipse, we define L ab -l interior ellipses. The relationships to the radii are defined, for each of the interior ellipses, by r = l / L ab . We define py the point i of ellipse 1.
Ces ellipses permettent de définir la sous-fonction S2 selon la formule suivante, avec 0(p) la valeur du pixel situé aux coordonnées p. These ellipses make it possible to define the sub-function S 2 according to the following formula, with 0 (p) the value of the pixel located at the coordinates p.
Figure imgf000019_0001
Figure imgf000019_0001
La sous-fonction S^pcrmct de s’assurer que la taille des ellipses est suffisamment grande. Pour cela, S 3 est définie selon la formule suivante :  The S ^ pcrmct sub-function ensures that the size of the ellipses is large enough. For this, S 3 is defined according to the following formula:
S3=ln(min(a,b)2) S3 = ln (min (a, b) 2 )
La sous-fonction S4 est définie par la formule suivante avec vc et Vh les valeurs moyennes aux voisinages des pixels défini respectivement par (x, y+b) et (x,y-b). le voisinage choisi dans le cadre de cette fonction sont le pixel désigné ainsi que les 4 pixels immédiatement voisins selon les axes horizontal et vertical. Cette sous-fonction permet de s’assurer que la paramètre b corresponde bien à la taille de l’ellipse, et de prendre compte la technologie des échographies qui fait que les bords en haut et en bas de l’artère sont beaucoup plus marqués que sur les côtés. On peut ainsi par exemple écrire :
Figure imgf000019_0002
The sub-function S4 is defined by the following formula with v c and V h the mean values in the neighborhoods of the pixels defined respectively by (x, y + b) and (x, yb). the neighborhood chosen within the framework of this function are the designated pixel as well as the 4 immediately adjacent pixels along the horizontal and vertical axes. This sub-function makes it possible to ensure that the parameter b corresponds well to the size of the ellipse, and to take into account the technology of ultrasound which makes the edges at the top and bottom of the artery are much more marked than on the coast. We can thus for example write:
Figure imgf000019_0002
Afin d’initialiser la méthode de la descente de gradient, les paramètres x et y sont des paramètres d’entrée de la méthode. La descente de gradient étant très sensible aux minima locaux, l’ellipse renvoyée par la méthode peut ne pas être correcte si le centre n’est pas suffisamment proche de la réalité. Ces deux méthodes permettent d’estimer les différentes zones potentilles issues de la phase de classification. Les zones renvoyées ne correspondant pas à l’artère peuvent ensuite être rejetées afin de valider la position de l’artère. In order to initialize the gradient descent method, the parameters x and y are input parameters of the method. Since the gradient descent is very sensitive to local minima, the ellipse returned by the method may not be correct if the center is not close enough to reality. These two methods make it possible to estimate the different potentialent areas resulting from the classification phase. The returned areas that do not correspond to the artery can then be rejected in order to validate the position of the artery.
Les ellipses de chaque région étiquetée sont évaluées par rapport aux caractéristiques de l’artère. Le premier critère testé est la taille de l’ellipse, proportionnellement à la profondeur d’acquisition de l’image. Pour cela, les valeurs ont été définies à partir de la base d’apprentissage. Le second est de vérifier que l’ellipse tend vers une forme ronde, c’est à dire
Figure imgf000020_0001
¾ 1. The ellipses of each labeled region are assessed against the characteristics of the artery. The first criterion tested is the size of the ellipse, proportional to the image acquisition depth. For this, the values were defined from the learning base. The second is to check that the ellipse tends towards a round shape, i.e.
Figure imgf000020_0001
¾ 1.
Ces étapes de validation E31, E32 permettent ainsi de rejeter des zones candidates issues de l’étape El, et de n’en sélectionner qu’une partie, constituant les régions clés (artères,...) à partir desquelles les nerfs vont être recherchés. These validation steps E31, E32 thus make it possible to reject candidate zones originating from step E1, and to select only a part thereof, constituting the key regions (arteries, etc.) from which the nerves will be research.
Détermination des nerfs en fonction des artères précédemment détectées Selon l’invention, cette étape E4 de détermination des nerfs au sein des régions d’intérêt précédemment déterminées se base sur l'agencement relatif des nerfs par rapport aux artères. Determination of the nerves as a function of the previously detected arteries According to the invention, this step E4 of determination of the nerves within the regions of interest previously determined is based on the relative arrangement of the nerves with respect to the arteries.
Le fait de commencer par détecter l’artère a deux avantages majeurs. Le premier est que celle-ci est plus facile à détecter que les nerfs du bloc axillaire. Le second est que la position relative des différents nerfs par rapport à l’artère suit, en grande partie, des topologies anatomiques bien définies.  There are two main advantages to detecting the artery first. The first is that it is easier to detect than the nerves in the axillary block. The second is that the relative position of the different nerves with respect to the artery largely follows well defined anatomical topologies.
Ainsi, la détection des nerfs est guidée par la délimitation d’une zone de recherche plus réduite puisque que cantonnée à un nombre restreint de régions d’intérêts, grâce aux positions relatives des nerfs par rapport aux artères. L’approche proposée gagne ainsi à la fois en qualité des résultats mais aussi en performances de traitement, par la réduction du temps de calcul. Thus, the detection of nerves is guided by the delimitation of a smaller research area since only confined to a limited number of regions of interest, thanks to the relative positions of the nerves with respect to the arteries. The proposed approach thus wins both in quality of results but also in processing performance, by reducing the calculation time.
La figure 5 est inspirée de l’article de Christophe, J. L., Berthier, F., Boillot, A., Tatu, L., Viennet, A., Boichut, N., et Samain, E., « Assessment of topographie brachial plexus nerves variations at the axilla using ultrasonography » in British Journal of Anaesthesia, 103(4) :606-6l2, 2009. Elle présente les positions anatomiques relatives les plus courantes entre les nerfs médian 51, ulnaire 52, radian 53 et musculocutané 54 par rapport à l’axe de l’artère 50. A chacun des arrangements représentés, correspond une probabilité d’occurrence, respectivement 64.7%, 13%, Figure 5 is inspired by the article by Christophe, JL, Berthier, F., Boillot, A., Tatu, L., Viennet, A., Boichut, N., and Samain, E., “Assessment of topographie brachial plexus nerves variations at the axilla using ultrasonography ”in British Journal of Anaesthesia, 103 (4): 606-6l2, 2009. It presents the most common relative anatomical positions between the median nerves 51, ulnar 52, radian 53 and musculocutaneous 54 by with respect to the axis of the artery 50. Each of the arrangements shown corresponds to a probability of occurrence, respectively 64.7%, 13%,
5.2%, 5.2%. 5.2%, 5.2%.
Ainsi, connaissant la position de l’artère, on peut cibler les recherches des nerfs dans les localisations à plus forte probabilité.  Thus, knowing the position of the artery, we can target the searches for nerves in the most likely locations.
Plusieurs mises en œuvre sont possibles pour ce faire.  Several implementations are possible to do this.
II est ainsi possible d’utiliser une carte de probabilité statique, ou une carte de probabilité dynamique. Il pourrait être également possible de définir la probabilité des zones par un réseau de neurones.  It is thus possible to use a static probability map, or a dynamic probability map. It might also be possible to define the probability of the zones by a neural network.
Selon une première mise en œuvre, on calcule, dans la base d’apprentissage, la position relative des différents nerfs par rapport à l’artère. Celles-ci permettent de définir un certain nombre de variations des positions des nerfs par rapport à l’artère. Il est possible de définir, pour chaque nerf du bloc axillaire, P(ni|a), la probabilité de la position du nerf i connaissant la position de l’artère dans l’image, c’est à dire la probabilité de la position relative des nerfs par rapport à l’artère. According to a first implementation, the relative position of the different nerves relative to the artery is calculated in the learning base. These define a number of variations in the positions of the nerves relative to the artery. It is possible to define, for each nerve in the axillary block, P (ni | a), the probability of the position of the nerve i knowing the position of the artery in the image, i.e. the probability of the position relative of nerves with respect to the artery.
Les distributions de probabilités dépendent des positions des nerfs, qui peuvent être définies dans un système de coordonnées polaires avec le centre de l’artère comme point de référence, par deux variables : l’angle Q et la distance d.  The probability distributions depend on the positions of the nerves, which can be defined in a polar coordinate system with the center of the artery as the reference point, by two variables: the angle Q and the distance d.
Ainsi, la probabilité Pfnfx,, yi)) que le nerf i soit à la position (x, y) dans l’image peut être défini par la formule
Figure imgf000022_0001
Thus, the probability Pfnfx ,, yi)) that the nerve i is at position (x, y) in the image can be defined by the formula
Figure imgf000022_0001
avec  with
axa ,ya l’artère à la position (xa, ya) dans l’image, xi=xa+di.cos(0i), et, ax a, ya the artery at position (x a , y a ) in the image, xi = x a + di.cos (0i), and,
yi=ya+di.sin(0i),
Figure imgf000022_0002
sont statiquement indépendants. yi = y a + di.sin (0i),
Figure imgf000022_0002
are statically independent.
Une seconde hypothèse est que ces distributions de probabilité sont, chacune, modélisées par une fonction Gaussienne.  A second hypothesis is that these probability distributions are each modeled by a Gaussian function.
Ces hypothèses permettent de modéliser une variation anatomique des positions des nerfs du bloc axillaire par rapport à l’artère par un ensemble de 8 distributions Gaussiennes, 2 pour chaque nerf. L’étape d’apprentissage consiste à calculer les paramètres des distributions Gaussiennes en utilisant les positions relatives des nerfs dans la base de données d’apprentissage. Ces paramètres sont calculés grâce à la maximisation de la probabilité des positions calculées dans la base de données. À partir de ces Gaussiennes et de la position de l’artère, il est possible de calculer la probabilité de la présence de chacun des nerfs dans une zone donnée. Les paramètres des gaussiennes peuvent être améliorés par une augmentation du nombre d’exemples.  These hypotheses make it possible to model an anatomical variation of the positions of the nerves of the axillary block relative to the artery by a set of 8 Gaussian distributions, 2 for each nerve. The learning step is to calculate the parameters of the Gaussian distributions using the relative positions of the nerves in the learning database. These parameters are calculated by maximizing the probability of the positions calculated in the database. From these Gaussians and the position of the artery, it is possible to calculate the probability of the presence of each of the nerves in a given area. Gaussian parameters can be improved by increasing the number of examples.
Ainsi, la formule précédente qui fournit la probabilité que le nerf i soit à la position (¾, y) peut être modifiées pour prendre en compte les variations anatomiques en définissant S topologies : Thus, the previous formula which provides the probability that the nerve i is at position ( ¾ , y) can be modified to take into account anatomical variations by defining S topologies:
Figure imgf000022_0003
Une étape de validation peut être appliquée sur les zones de nerfs probables générées préalablement. Cette étape consiste à appliquer sur l’image un second réseau de neurones permettant de détecter les nerfs. De plus, il n’est pas nécessaire de tester toute l’image. La carte des positions probables permet en effet d’exclure l’ensemble des zones de l’image où les probabilités de présence des nerfs sont trop faibles. Cela peut permettre de réduire considérablement le nombre de zones à tester. Cette étape permettra de localiser les nerfs d’une manière plus précise que la carte de probabilité. Selon un deuxième mode de réalisation, une évolution possible peut consister à construire une carte de probabilité dynamique.
Figure imgf000022_0003
A validation step can be applied to the areas of probable nerves previously generated. This step consists in applying to the image a second network of neurons making it possible to detect the nerves. In addition, it is not necessary to test the entire image. The map of probable positions indeed makes it possible to exclude all the areas of the image where the probabilities of presence of the nerves are too low. This can significantly reduce the number of areas to be tested. This step will locate nerves more precisely than the probability map. According to a second embodiment, a possible evolution can consist in constructing a dynamic probability map.
Cette évolution va consister à intégrer les ensembles des gaussiennes au sein d’un modèle permettant de calculer les cartes de probabilités en intégrant la dimension temporelle des images au sein de la vidéo. Compte tenu de cette définition, le choix a été fait d’utiliser une variante du Modèle de Markov caché ou « Hidden Markov Model » (HMM) permettant de gérer les différentes positions relatives, le Mélange de gaussienne-HMM ou « Mixture of Gaussian-HMM » (MoG-HMM). Ce modèle est défini par le tuple (p, A, B). Le paramètre p définit les probabilités de l’état initial du modèle. Ces probabilités correspondent, dans notre cas, à la probabilité de la topologie initiale au début du traitement du flux d’images. Compte tenu des différentes topologies (dispositions spatiales artère-nerfs) possibles, ce paramètre pourra correspondre aux probabilités d’occurrence des différentes topologies.  This evolution will consist in integrating the sets of Gaussians within a model allowing to calculate the probability maps by integrating the temporal dimension of the images within the video. Given this definition, the choice was made to use a variant of the Hidden Markov Model (HMM) making it possible to manage the different relative positions, the Gaussian Mixture-HMM or “Mixture of Gaussian- HMM ”(MoG-HMM). This model is defined by the tuple (p, A, B). The parameter p defines the probabilities of the initial state of the model. These probabilities correspond, in our case, to the probability of the initial topology at the start of the processing of the image stream. Given the different topologies (spatial artery-nerves arrangements) possible, this parameter may correspond to the probabilities of occurrence of the different topologies.
La matrice de transition A, définit la probabilité de passage d’un état à un autre, c’est à dire l’ensemble des fonctions de probabilité anm tel que a,, est la probabilité de la transition de l’état Si à l’état Sj . Dans notre cas, elle permet de modéliser l’évolution des positions relatives au cours d’images successives, par exemple, la réduction de la distance entre le nerf musculocutané et le nerf médian quand la sonde monte, ou, à l’inverse, l’augmentation de la distance. Le troisième paramètre définissant les MoG-HMM est l’ensemble des probabilités d’observation B. Dans le cas des HMM, il s’agit d’une matrice définissant la probabilité qu’un état émette une observation, c’est à dire l’ensemble de fonctions bn(k) tel que bi(k) est la probabilité que l’état Si provoque l’observation k. Les MoG-HMM remplacent ces probabilités par des ensembles de gaussiennes. Pour cela, les probabilités d’observations B sont redéfinies avec
Figure imgf000024_0001
The transition matrix A, defines the probability of transition from one state to another, that is to say the set of probability functions a nm such that a ,, is the probability of the transition from state Si to the state Sj. In our case, it makes it possible to model the evolution of the relative positions during successive images, for example, the reduction of the distance between the musculocutaneous nerve and the median nerve when the probe goes up, or, conversely, the increase in distance. The third parameter defining the MoG-HMM is the set of observation probabilities B. In the case of HMM, it is a matrix defining the probability that a state will emit an observation, ie l the set of functions b n (k) such that bi (k) is the probability that the state Si causes the observation k. MoG-HMM replace these probabilities with sets of Gaussians. For this, the probabilities of observations B are redefined with
Figure imgf000024_0001
avec  with
O un vecteur d’observation à un instant donné,  O a vector of observation at a given time,
Cim le coefficient de mélange de l’état i, Ci m the mixing coefficient of state i,
G une fonction gaussienne, avec un vecteur de moyenne m et une matrice de covariance U.  G a Gaussian function, with a vector of mean m and a covariance matrix U.
La modélisation des probabilités de position des nerfs décrite pour la mise en œuvre selon une carte de probabilité statique correspond ici aux probabilités d’émission des MoG-HMM, en d’autres termes les probabilités d’un arrangement spatiale des nerfs autour de l’artère. The modeling of the probabilities of position of the nerves described for the implementation according to a static probability map corresponds here to the probabilities of emission of the MoG-HMM, in other words the probabilities of a spatial arrangement of the nerves around the artery.
Si les probabilités d’émissions permettent de modéliser les positions des nerfs, les propriétés des modèles de Markov permettent notamment de prendre en compte l’évolution des variations des positions.. Le modèle peut être appris en utilisant l’algorithme de Baum-Welch. Cet algorithme permet de définir le modèle l= (p, A, B) permettant de représenter au mieux le système ayant généré la séquence d’observations O, c’est à dire trouver l tel que la probabilité R(0|l) soit maximale. Dans notre cas, les observations sont les ensembles de positions relatives des nerfs par rapport à l’artère. L’algorithme est une méthode itérative permettant de résoudre localement argmaxl P(0|l). Afin d’éviter des maxima locaux, l’algorithme est itéré plusieurs fois, en utilisant plusieurs modèles initiaux aléatoires. En outre, les réseaux de neurones et le MoG-HMM peuvent être hybridés afin d’améliorer la détection. Les résultats du réseau de neurones permettent de définir, a posteriori, les probabilités de St en fonction de Ot. Ces résultats permettant ainsi de définir de manière plus spécifique les probabilités de st+i. La carte de probabilité peut ainsi être plus spécifique, permettant de réduire la taille des zones où les probabilités de présence du nerf sont non-nulles. Cette réduction permet également de réduire le nombre de zones à tester avec les réseaux de neurones. If the emission probabilities make it possible to model the positions of the nerves, the properties of the Markov models make it possible in particular to take into account the evolution of the variations of the positions. The model can be learned using the Baum-Welch algorithm. This algorithm makes it possible to define the model l = (p, A, B) making it possible to best represent the system having generated the sequence of observations O, that is to say find l such that the probability R (0 | l) is Max. In our case, observations are the sets of relative positions of the nerves relative to the artery. The algorithm is an iterative method allowing to locally resolve argmax l P (0 | l). In order to avoid local maxima, the algorithm is iterated several times, using several random initial models. In addition, neural networks and MoG-HMM can be hybridized to improve detection. The results of the neural network make it possible to define, a posteriori, the probabilities of St as a function of O t . These results thus make it possible to define in a more specific way the probabilities of s t + i . The probability map can thus be more specific, making it possible to reduce the size of the zones where the probabilities of presence of the nerve are non-zero. This reduction also makes it possible to reduce the number of zones to be tested with neural networks.
Utilisation de la cohérence temporelle Use of time coherence
La méthode définie précédemment permet de détecter l’artère, et ainsi les positions relatives des nerfs dans une image donnée, issue d’une vidéo (ou flux d’images). Afin d’augmenter l’efficacité de la méthode, il est possible d’utiliser les résultats issus des images précédentes du flux d’images, afin de tester notamment si les résultats sont cohérents. The method defined above makes it possible to detect the artery, and thus the relative positions of the nerves in a given image, resulting from a video (or flow of images). In order to increase the efficiency of the method, it is possible to use the results from the previous images in the image stream, in order to test in particular whether the results are consistent.
Dans la seconde mise en œuvre, l’utilisation des méthodes de Markov permet une première forme de cohérence temporelle, mais d’autres possibilités existent.  In the second implementation, the use of Markov methods allows a first form of temporal coherence, but other possibilities exist.
Par exemple, il est possible de prendre en compte l’évolution des zones détectées au cours de différentes images successives du flux, afin d’améliorer les résultats, notamment en prenant en compte l’aspect dynamique des structures anatomiques  For example, it is possible to take into account the evolution of the zones detected during different successive images of the flow, in order to improve the results, in particular by taking into account the dynamic aspect of the anatomical structures.
Pour cela, différents critères peuvent être pris en compte, comme les probabilités déterminées lors des images précédentes, les positions calculées, la consistance des structures anatomiques, ou la cohérence des configurations spatiales. For this, different criteria can be taken into account, such as the probabilities determined in the previous images, the positions calculated, the consistency of anatomical structures, or the consistency of spatial configurations.
Un second avantage est d’accélérer le temps de calcul. Pour cela, les résultats des phases précédentes sont utilisés afin d’améliorer les différentes phases. Il est ainsi possible de rejeter directement les zones dont les probabilités sont trop faibles dans les images précédentes. Un autre exemple, est d’utiliser les contours calculés lors de l’image précédente afin d’accélérer le calcul du contour pour l’image courante. A second advantage is to speed up the calculation time. For this, the results of the previous phases are used to improve the different phases. It is thus possible to directly reject the zones whose probabilities are too low in the previous images. Another example is to use the contours calculated during the previous image to speed up the calculation of the contour for the current image.
Bien entendu, la présente invention n'est pas limitée aux exemples et au mode de réalisation décrits et représentés, mais elle est susceptible de nombreuses variantes accessibles à l'homme de l'art. Of course, the present invention is not limited to the examples and to the embodiment described and shown, but it is susceptible of numerous variants accessible to those skilled in the art.

Claims

REVENDICATIONS
1. Procédé de détection d'un nerf dans une série d'images échographiques, comportant, pour chaque image de ladite série, 1. Method for detecting a nerve in a series of ultrasound images, comprising, for each image in said series,
- une étape de détermination (El, E3) d'un ensemble de régions d’intérêts par la détection d’artères, ladite détection consistant à appliquer une classification automatique sur une fenêtre glissante sur ladite image générant un ensemble de zones candidates, puis à sélectionner (E32, E33) des régions d'intérêts parmi lesdites zones candidates en recherchant des contours caractéristiques d'une artère au sein desdites zones candidates;  a step of determining (E1, E3) a set of regions of interest by the detection of arteries, said detection consisting in applying an automatic classification to a sliding window on said image generating a set of candidate areas, then to selecting (E32, E33) regions of interest from among said candidate areas by searching for characteristic contours of an artery within said candidate areas;
- une étape de détermination (E4) des nerfs en fonction de l’agencement relatif par rapport aux artères détectés en fonction desdites régions d'intérêts.  - a step of determining (E4) the nerves as a function of the relative arrangement with respect to the arteries detected as a function of said regions of interest.
2. Procédé selon la revendication précédente, dans lequel ladite classification automatique est mise en œuvre par un réseau de neurones préalablement entraîné appliquée à chaque zone définie par une position de ladite fenêtre glissante et permettant de déterminer la probabilité de ladite zone de correspondre à une artère. 2. Method according to the preceding claim, in which said automatic classification is implemented by a previously trained neural network applied to each zone defined by a position of said sliding window and making it possible to determine the probability of said zone of corresponding to an artery. .
3. Procédé selon Tune des revendications 1 ou 2, dans lequel, préalablement à la sélection, ladite étape de détermination (E3) comprend une sous-étape de prétraitement (E31) consistant à calculer une carte monogénique de ladite image. 3. Method according to one of claims 1 or 2, wherein, prior to selection, said determining step (E3) comprises a preprocessing sub-step (E31) consisting in calculating a monogenic map of said image.
4. Procédé selon Tune des revendications précédentes, dans lequel la sélection de régions d’intérêt comprend un calcul de vraisemblance (E32) entre un contour d’artère extrait à partir de ladite image et une forme de référence. 4. Method according to one of the preceding claims, in which the selection of regions of interest comprises a likelihood calculation (E32) between an artery contour extracted from said image and a reference shape.
5. Procédé selon la revendication précédente, dans lequel la détermination dudit contour d’artère est effectuée par un contour actif 5. Method according to the preceding claim, wherein the determination of said artery contour is carried out by an active contour
6. Procédé selon l’une des revendications précédentes, dans lequel la sélection de régions d’intérêt comprend une recherche (E33) de formes elliptiques au sein de ladite image. 6. Method according to one of the preceding claims, in which the selection of regions of interest comprises a search (E33) for elliptical shapes within said image.
7. Procédé selon la revendication précédente, dans lequel la recherche de formes elliptiques consiste à effectuer une descente de gradient pour optimiser une fonction objectif. 7. Method according to the preceding claim, in which the search for elliptical shapes consists in performing a gradient descent to optimize an objective function.
8. Procédé selon l’une des revendications précédentes, dans lequel ladite détermination (E4) des nerfs en fonction de l'agencement relatif par rapport aux artères détectés au sein desdites régions d’intérêts comprend le calcul d’une carte de probabilités déterminant des probabilités de présence d’ensemble de types de nerfs au voisinage d’une artère. 8. Method according to one of the preceding claims, in which said determination (E4) of the nerves as a function of the relative arrangement with respect to the arteries detected within said regions of interest comprises the calculation of a probability map determining probabilities of the presence of a set of types of nerves in the vicinity of an artery.
9. Procédé selon l’une des revendications précédente, dans lequel les résultats obtenus sur une image de ladite série sont exploités pour examiner leur cohérence dans les images suivantes du flux. 9. Method according to one of the preceding claims, in which the results obtained on an image of said series are used to examine their consistency in the following images of the stream.
10. Dispositif de traitement de l’information disposant des moyens pour mettre en œuvre le procédé selon l’une quelconque des revendications précédentes. 10. Information processing device having means for implementing the method according to any one of the preceding claims.
11. Programme d’ordinateur comportant du code informatique mettant en œuvre le procédé selon l’une quelconque des revendications précédentes lorsqu’il exécuté sur un dispositif de traitement de l’information. 11. Computer program comprising computer code implementing the method according to any one of the preceding claims when it is executed on an information processing device.
PCT/FR2019/051540 2018-06-25 2019-06-24 Detecting nerves in a series of ultrasound images by determining regions of interest which are defined by detecting arteries WO2020002810A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1855623 2018-06-25
FR1855623A FR3082976B1 (en) 2018-06-25 2018-06-25 DETECTION OF NERVES IN A SERIES OF ECHOGRAPHIC IMAGES BY DETERMINING REGIONS OF INTERESTS DEFINED BY DETECTION OF ARTERIES

Publications (1)

Publication Number Publication Date
WO2020002810A1 true WO2020002810A1 (en) 2020-01-02

Family

ID=63963130

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2019/051540 WO2020002810A1 (en) 2018-06-25 2019-06-24 Detecting nerves in a series of ultrasound images by determining regions of interest which are defined by detecting arteries

Country Status (2)

Country Link
FR (1) FR3082976B1 (en)
WO (1) WO2020002810A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183518A (en) * 2020-09-25 2021-01-05 伏羲九针智能科技(北京)有限公司 Vein target point automatic determination method, device and equipment
US20220343494A1 (en) * 2021-04-23 2022-10-27 Fujifilm Sonosite, Inc. Identifying blood vessels in ultrasound images
US11896425B2 (en) 2021-04-23 2024-02-13 Fujifilm Sonosite, Inc. Guiding instrument insertion

Non-Patent Citations (15)

* Cited by examiner, † Cited by third party
Title
ADEL HAFIANE ET AL: "Deep learning with spatiotemporal consistency for nerve segmentation in ultrasound images", 19 June 2017 (2017-06-19), XP055561927, Retrieved from the Internet <URL:https://arxiv.org/pdf/1706.05870.pdf> [retrieved on 20190225] *
CAFFEDE JIA, Y.SHELHAMER, E.DONAHUE, J.KARAYEV, S.LONG, J.GIRSHICK, R.GUADARRAMA, S.DARRELL, T.: "Convolutional architecture for fast feature embedding", ARXIV : 1408.5093, 2014
CHRISTOPHE, J. L.BERTHIER, F.BOILLOT, A.TATU, L.VIENNET, A.BOICHUT, N.SAMAIN, E.: "Assessment of topographie brachial plexus nerves variations at the axilla using ultrasonography", BRITISH JOURNAL OF ANAESTHESIA, vol. 103, no. 4, 2009, pages 606 - 612
ERIK SMISTAD ET AL: "Real-Time Automatic Artery Segmentation, Reconstruction and Registration for Ultrasound-Guided Regional Anaesthesia of the Femoral Nerve", IEEE TRANSACTIONS ON MEDICAL IMAGING., vol. 35, no. 3, 1 March 2016 (2016-03-01), US, pages 752 - 761, XP055561921, ISSN: 0278-0062, DOI: 10.1109/TMI.2015.2494160 *
ERIK SMISTAD ET AL: "Vessel Detection in Ultrasound Images Using Deep Convolutional Neural Networks", DEEP LEARNING AND DATA LABELING FOR MEDICAL APPLICATIONS, vol. 10008, 21 October 2016 (2016-10-21), Cham, pages 30 - 38, XP055562373, ISSN: 0302-9743, ISBN: 978-3-642-37803-4, DOI: 10.1007/978-3-319-46976-8-4 *
GUERRERO ET AL.: "Real-time vessel segmentation and trackingfor ultrasound imaging applications", IEEE TRANSACTIONS ON MÉDICAL IMAGING, vol. 26, no. 8, 2007, pages 1079 - 1090, XP011189208, DOI: doi:10.1109/TMI.2007.899180
GUERRERO J ET AL: "Real-Time Vessel Segmentation and Tracking for Ultrasound Imaging Applications", IEEE TRANSACTIONS ON MEDICAL IMAGING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 26, no. 8, 1 August 2007 (2007-08-01), pages 1079 - 1090, XP011189208, ISSN: 0278-0062, DOI: 10.1109/TMI.2007.899180 *
HAFIANE ADEL ET AL: "Phase-based probabilistic active contour for nerve detection in ultrasound images for regional anesthesia", COMPUTERS IN BIOLOGY AND MEDICINE, NEW YORK, NY, US, vol. 52, 16 June 2014 (2014-06-16), pages 88 - 95, XP029046574, ISSN: 0010-4825, DOI: 10.1016/J.COMPBIOMED.2014.06.001 *
HAFIANE, A.VIEYRE, P.DELBOS, A.: "Phase-based probabilistic active contour for nerve détection in ultrasound images for régional anessthesia", COMPUTERS IN BIOLOGY AND MEDECINE, vol. 52, 2014, pages 88 - 95
HAFIANE, A.VIEYRES, P.DELBOS, A.: "Phase-based Probabilistic active contour for nerve détection in ultrasound images for régional anesthesia", COMPUTERS IN BIOLOGY AND MEDECINE, vol. 52, 2014, pages 88 - 95, XP029046574, DOI: doi:10.1016/j.compbiomed.2014.06.001
JIEQI YU ET AL: "Robust Fitting of Ellipses and Spheroids", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 9 December 2009 (2009-12-09), XP080381399, DOI: 10.1109/ACSSC.2009.5470160 *
KASS, M.WITKIN, ATERZOPOULOS, D.: "Snakes : Active contour models", INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 1, no. 4, 1988, pages 321 - 331, XP000675014, DOI: doi:10.1007/BF00133570
MICHAEL FELSBERGGERALD SOMMER: "The monogenic signal", IEEE TRANSACTIONS ON SIGNAL PROCESSING, vol. 12, no. 49, 2001, pages 3136 - 3144
PAPARI G.PETKOV, N.: "Edge and line oriented contour détection : State of the art", IMAGE AND VISION COMPUTING, vol. 29, no. 2-3, 2011, pages 79 - 103, XP027542613
SMISTAD ERIK ET AL: "Automatic Segmentation and Probe Guidance for Real-Time Assistance of Ultrasound-Guided Femoral Nerve Blocks", ULTRASOUND IN MEDICINE AND BIOLOGY, vol. 43, no. 1, 7 October 2016 (2016-10-07), pages 218 - 226, XP029838895, ISSN: 0301-5629, DOI: 10.1016/J.ULTRASMEDBIO.2016.08.036 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183518A (en) * 2020-09-25 2021-01-05 伏羲九针智能科技(北京)有限公司 Vein target point automatic determination method, device and equipment
US20220343494A1 (en) * 2021-04-23 2022-10-27 Fujifilm Sonosite, Inc. Identifying blood vessels in ultrasound images
US11900593B2 (en) * 2021-04-23 2024-02-13 Fujifilm Sonosite, Inc. Identifying blood vessels in ultrasound images
US11896425B2 (en) 2021-04-23 2024-02-13 Fujifilm Sonosite, Inc. Guiding instrument insertion

Also Published As

Publication number Publication date
FR3082976A1 (en) 2019-12-27
FR3082976B1 (en) 2020-06-26

Similar Documents

Publication Publication Date Title
Sevastopolsky Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network
Yang et al. A novel multi-task deep learning model for skin lesion segmentation and classification
Lin et al. A multi‐model approach to simultaneous segmentation and classification of heterogeneous populations of cell nuclei in 3D confocal microscope images
KR102250694B1 (en) Method and device for predicting disease using segmentating vessel in eye image
Balakrishna et al. Automatic detection of lumen and media in the IVUS images using U-Net with VGG16 Encoder
EP3640843B1 (en) Method for extracting characteristics of a fingerprint represented by an input image
WO2020002810A1 (en) Detecting nerves in a series of ultrasound images by determining regions of interest which are defined by detecting arteries
FR2931006A1 (en) SYSTEM AND METHOD FOR VISUAL RECOGNITION
Motta et al. Vessel optimal transport for automated alignment of retinal fundus images
Emeršič et al. The unconstrained ear recognition challenge 2019
EP3552146B1 (en) Detection of nerves in a series of echographic images
Alhasson et al. The relationship between curvilinear structure enhancement and ridge detection methods
FR2979727A1 (en) IDENTIFICATION BY RECOGNITION OF IRIS
Al Shehhi et al. An automatic cognitive graph-based segmentation for detection of blood vessels in retinal images
Kanawong et al. An automatic tongue detection and segmentation framework for computer–aided tongue image analysis
Fasquel et al. Approach for sequential image interpretation using a priori binary perceptual topological and photometric knowledge and k-means-based segmentation
Yalcinkaya et al. Convolutional neural network and fuzzy logic-based hybrid melanoma diagnosis system
Niemeijer et al. Automatic Detection of the Optic Disc, Fovea and Vacular Arch in Digital Color Photographs of the Retina.
Bhagat et al. Iris recognition using radon transform and GLCM
Emeršič et al. The unconstrained ear recognition challenge 2019-arxiv version with appendix
Wang et al. Segmentation of intravascular ultrasound images based on convex–concave adjustment in extreme regions
FR3112008A1 (en) Method of detecting at least one biometric trait visible on an input image using a convolutional neural network
Naeem et al. DVFNet: A deep feature fusion-based model for the multiclassification of skin cancer utilizing dermoscopy images
Mathuravalli et al. Deep Learning Techniques For Exoticism Mining From Visual Content Based Image Retrieval
BEKTAŞ et al. Evaluating the effect of lesion segmentation on the detection of skin cancer by pre-trained CNN models

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19742878

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19742878

Country of ref document: EP

Kind code of ref document: A1