WO2022238658A1 - Suivi semi-automatise d'une plaie - Google Patents
Suivi semi-automatise d'une plaie Download PDFInfo
- Publication number
- WO2022238658A1 WO2022238658A1 PCT/FR2022/050898 FR2022050898W WO2022238658A1 WO 2022238658 A1 WO2022238658 A1 WO 2022238658A1 FR 2022050898 W FR2022050898 W FR 2022050898W WO 2022238658 A1 WO2022238658 A1 WO 2022238658A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- wound
- image
- pixels
- calibration
- ref
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000009826 distribution Methods 0.000 claims abstract description 14
- 238000010801 machine learning Methods 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims description 24
- 230000017074 necrotic cell death Effects 0.000 claims description 22
- 102000009123 Fibrin Human genes 0.000 claims description 17
- 108010073385 Fibrin Proteins 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 17
- 229950003499 fibrin Drugs 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 17
- BWGVNKXGVNDBDI-UHFFFAOYSA-N Fibrin monomer Chemical compound CNC(=O)CNC(=O)CN BWGVNKXGVNDBDI-UHFFFAOYSA-N 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 15
- 238000012512 characterization method Methods 0.000 claims description 13
- 230000034303 cell budding Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000007935 neutral effect Effects 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 claims description 4
- 238000009966 trimming Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000004040 coloring Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims 1
- 208000027418 Wounds and injury Diseases 0.000 description 143
- 206010052428 Wound Diseases 0.000 description 142
- 206010028851 Necrosis Diseases 0.000 description 19
- 230000001684 chronic effect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000011282 treatment Methods 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000035876 healing Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 208000004210 Pressure Ulcer Diseases 0.000 description 4
- 239000000853 adhesive Substances 0.000 description 4
- 230000001070 adhesive effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 206010011985 Decubitus ulcer Diseases 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 210000003141 lower extremity Anatomy 0.000 description 3
- 231100000241 scar Toxicity 0.000 description 3
- 206010042566 Superinfection Diseases 0.000 description 2
- 208000025865 Ulcer Diseases 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 206010012601 diabetes mellitus Diseases 0.000 description 2
- 238000010252 digital analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005469 granulation Methods 0.000 description 2
- 230000003179 granulation Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 231100000397 ulcer Toxicity 0.000 description 2
- 241000766026 Coregonus nasus Species 0.000 description 1
- 201000004624 Dermatitis Diseases 0.000 description 1
- 206010040943 Skin Ulcer Diseases 0.000 description 1
- 208000002847 Surgical Wound Diseases 0.000 description 1
- 208000000558 Varicose Ulcer Diseases 0.000 description 1
- 206010053716 Wound necrosis Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 210000000416 exudates and transudate Anatomy 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000036074 healthy skin Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000019612 pigmentation Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000037390 scarring Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 231100000019 skin ulcer Toxicity 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Definitions
- the present invention relates to the medical field, and more particularly to the field of wound monitoring.
- One of the objects of the present invention relates to a method and a system for monitoring a patient's wound for characterizing said wound by means of image processing based on so-called machine learning methods (from English Machine Learning) implemented by neural networks.
- the present invention will find many advantageous applications, in particular for the monitoring and characterization of chronic wounds such as, for example, diabetic wounds, bedsores, ulcers of the lower limbs or even cancerous wounds.
- Chronic wounds can be of various origins.
- diabetic wounds plantar perforating pain
- pressure sores ulcers of the lower limbs
- cancerous wounds The most frequently encountered pathologies associated with these wounds are: diabetic wounds (plantar perforating pain), pressure sores, ulcers of the lower limbs and cancerous wounds.
- the controlled healing of a chronic wound is a long process that extends over several months. It involves many health players, including home nurses, general practitioners and certain specialists such as dermatologists, diabetologists, surgeons and geriatricians.
- the supposed etiology of the wound pressure sore, venous ulcer, perforating plantar injury, cancerous wound, separation of a surgical wound, etc.
- the directed healing phase cleansing, budding, epidermization; - the beginning, the middle or the end of the phase; the concomitance of several phases according to the zones of the loss of substances and the percentage of each of these phases in the wound;
- the dimensions of the loss of substances can be measured with a paper ruler to objectify the width, length and depth. Precise calculations of the area or volume of the loss of substance are only very rarely carried out.
- the doctor summarizes the data collected (antecedents, reason for consultation, history of the disease, clinical examination) and proposes appropriate therapeutic management based on his experience and the data acquired from science.
- the treatment includes advice (hygiene, lifestyle, dietary rules), general treatments and local care. Local care will most often be entrusted to a home nurse who will be responsible for cleaning the wound and changing the dressing every day or every two days until a permanent healing.
- the prescribing doctor then sees the patient regularly at variable intervals (weekly, fortnightly, monthly) in order to observe the good progress of the controlled healing and to modify his prescription if necessary.
- the morphological parameters studied are: the location of the wound, the date, the local vascular conditions (arterial and venous), the dimension of the wound, the type of tissue observed in the wound, the presence of an exudate, the quality of peripheral skin: dryness, redness, fragility, pain, pigmentation, infection.
- Treatment assistance proposal of a treatment algorithm based on the data collected and on the recommendations of the EPUAP and the NPUAP;
- the Applicant submits that the technology proposed in this document for characterizing the wound is based on the use of different classifiers for each tissue zone corresponding to a likelihood map. A matching is performed at the end of the analysis in order to merge regions of the wound corresponding to likelihood maps that are identical.
- this document proposes the implementation of an SVM type process for “Support Vector Machine”, and more precisely the use of a combination of SVMs in order to segment budding, fibrin and necrosis.
- an SVM makes it possible to carry out binary classifications, for example a classification between budding and all the rest, a classification between fibrin and all the rest or a classification between necrosis and all the rest.
- the method proposed in this document therefore remains fragile and is not suitable for medical use because the performances obtained are not sufficiently reliable, in particular when the shooting conditions vary (case of specular reflection).
- document US 2020/0234444 A1 proposes a medical device aimed at calculating a wound surface and at segmenting the wound into different tissue zones.
- the object of the present invention is to improve the situation described above.
- the present invention therefore aims to remedy the various drawbacks mentioned above by proposing a simple solution requiring few computer resources which allows monitoring and characterization of the wound with good accuracy, regardless of the camera used and the conditions. of shooting.
- the object of the present invention relates, according to a first aspect, to a method for monitoring a wound of a patient which is implemented by computer means and which comprises the following steps:
- a characterization of the wound comprising a determination of a rate of distribution of the characteristics of the wound by counting a number of pixels for each class.
- the method described here takes into account the context of the wound, will easily detect the specular reflection and ignore it as if it does not exist. There will therefore be no impact on our results at the end of the segmentation process.
- the classification step implements a convolutional neural network.
- the characterization step includes coloring with a single color of each of the pixels of the wound belonging to the same class.
- the characteristics of the wound are among the following:
- the characterization step comprises a calculation of a percentage of each class according to the number of pixels of the same class relative to a total number of pixels of the segmented image.
- the method according to the present invention includes contouring of the wound from the acquired image.
- the method according to the present invention comprises a transmission of said acquired image to a remote server.
- the method according to the present invention comprises an analysis of the rate of distribution of the characteristics of the wound by comparison with a predetermined wound model and/or a history of values recorded for the wound.
- the method according to the present invention comprises generation of a warning signal when the analysis of the comparison detects a risk of complication.
- the method according to the present invention comprises a step of restoring on a communication terminal an analysis report comprising the rate of distribution of the characteristics of the wound.
- the restitution step comprises a display on a graphic interface of a communication terminal of the segmented image and/or of the rate of distribution of the characteristics of the wound.
- the acquisition step is performed using a lidar type camera to determine a depth map of the wound.
- the method according to the present invention comprises a first calibration of the scale of the image to determine a measurement reference.
- a computer determines the distance between each of the pixels of said image from the depth map to determine the measurement reference of the image.
- the acquisition step includes a prior provision of a reference element affixed close to the wound in the field of vision of the camera.
- the reference element has at least two fiduciary markers separated from each other by a known distance.
- the first calibration comprises detection of said at least two markers in the acquired image in order to determine the measurement reference of the image.
- the detection and extraction of markers are instantaneous, and do not require any image processing.
- each of said at least two fiduciary markers is surrounded by a white frame; this improves its detection during the first calibration step. The reliability of detection and extraction is then 100% guaranteed.
- the reference element is in the form of an adhesive, one rear face of which comprises an adhesive strip intended to be fixed to the skin of the patient.
- the reference element has a front face comprising three fiduciary markers. This allows immediate knowledge of the orientation and inclination in the plane.
- the method according to the present invention includes a step of calculating the dimensions of the wound as a function of said image measurement reference.
- the dimensions of the wound include the length of the wound and/or the width of the wound and/or the area of the wound and/or the average depth of the wound and/or the maximum depth of the wound.
- the method according to the present invention includes a second colorimetric calibration of the image to determine a colorimetric reference.
- the reference element comprises on the front face:
- the method according to the present invention comprises a calibration of the acquired image.
- the calibration step comprises a colorimetric rebalancing consisting in normalizing the colors of the image according to the colorimetric reference of the image.
- the calibration step includes detection of a deformation of the reference element.
- the calibration step comprises a comparison between the acquired image and the calibrated image to determine a quality index of said image.
- the extraction of the reference element is carried out reliably thanks to fiduciary markers and mathematical rules, where document US 2019026891 only describes an extraction carried out by color which may therefore vary considerably depending on lighting conditions and/or image quality.
- This same sticker also makes it possible to offer a more reliable process for validating the correct conditions for acquiring the image.
- the reference element according to the present invention makes it possible to verify that the image acquisition metrics (distortion, inclination, distance from the camera) are satisfactory to lead to well (or not) the process.
- the object of the present invention relates, according to a second aspect, to a computer program which comprises instructions adapted for the execution of the steps of the method as described above, this in particular when said computer program is executed by at least one processor.
- Such a computer program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other desirable form.
- the object of the present invention relates, according to a third aspect, to a recording medium readable by a computer on which is recorded a computer program comprising instructions for the execution of the steps of the method as described above.
- the recording medium can be any entity or device capable of storing the program.
- the medium may comprise a storage means, such as a ROM memory, for example a CD-ROM or a ROM memory of the microelectronic circuit type, or even a magnetic recording means or a hard disk.
- this recording medium can also be a transmissible medium such as an electrical or optical signal, such a signal being able to be conveyed via an electrical or optical cable, by conventional or hertzian radio or by self-directed laser beam or by other ways.
- the computer program according to the invention can in particular be downloaded from an Internet-type network.
- the recording medium may be an integrated circuit in which the computer program is incorporated, the integrated circuit being adapted to execute or to be used in the execution of the method in question.
- the object of the present invention relates, according to a fourth aspect, to a system for monitoring a patient's wound.
- the system comprises computer means configured for the implementation of the steps of the method described above.
- system according to the present invention comprises:
- a processor comprising an artificial intelligence algorithm configured to segment by machine learning said acquired image into a plurality of classes according to at least one determined image datum representative of a characteristic of said wound;
- - a calculator configured to count a number of pixels for each class
- a processing circuit configured to characterize said wound by determining a rate of distribution of the characteristics of said wound as a function of the number of pixels of each of the classes.
- Figure 1 shows an image of a wound with a reference element
- Figure 2 shows a schematic view of a reference element according to Figure 1.
- Figure 3 is a flowchart of a wound monitoring method according to an exemplary embodiment of the present invention.
- Figure 4 is a schematic view of a wound monitoring system according to an exemplary embodiment of the present invention.
- One of the objectives of the present invention is to design a tool to assist in the management of chronic wounds based on image analysis and artificial intelligence.
- a first step SI which consists in acquiring an image I of a wound PL to analyze it using a camera 10.
- This acquisition SI of image I can be done in several different ways .
- the carer has a communication terminal T of the smartphone or tablet type, for example, on which a dedicated software application is installed.
- this communication terminal T is equipped with an operating system (OS) of the Android® or iOS type, preferably Android® version 24 minimum or iOS version 12 minimum.
- OS operating system
- the communication terminal T can also be a computer or equivalent.
- Such a communication terminal T is also equipped with a camera 10 capable of capturing an image I or a stream of images.
- real-time assistance integrated into the application can optionally be offered in order to assist the caregiver in carrying out this step.
- This software assistance can in particular guide the caregiver to correctly center the PL wound during the SI image capture.
- step S1 it is also possible prior to step S1 to affix during a step S2 a reference element 20 in the field of view of said camera 10.
- Such a reference element 20 is characteristic of the present invention.
- the SI acquisition step can be done directly on the mobile application by importing an image found in the personal gallery of the caregiver's communication terminal T (with the same prerequisites as those mentioned above);
- the IS acquisition step can also be done on the web interface by choosing I images to be analyzed from the caregiver's medical photo library or by digitally importing other I images from the computer gallery , or any external storage media.
- One of the objects of the present invention is to have a usable I image from which it is possible to extract the precise dimensions of the PL wound and to characterize the PL wound.
- such a reference element 20 is in the form of a sticker.
- this reference element 20 comprises in this example an adhesive with a rear face comprising an adhesive strip intended to be in contact with the skin of the patient in order to fix the reference element 20 integrally to the skin of the patient close to the wound.
- PL as shown in Figure 1.
- the reference element 20 has a surface dimension that is known and uniform over time.
- the characteristics of the reference element 20 are as follows:
- Such a depth map can be obtained from different types of 3D camera such as a Lidar, True Depth or Time of Flight (ToF) type camera.
- a Lidar True Depth
- ToF Time of Flight
- a second colorimetric calibration S4 of the image I is also provided to determine a colorimetric reference REF_2 of the image I from the known colors present on the reference element 20.
- This S5 calibration step contains several sub-steps including:
- - a copy of the original image on a remote SD server, and in particular on electronic storage means of the volatile at/or non-volatile memory type and/or on a memory storage device which may include volatile memory and /or non-volatile, such as EEPROM, ROM, PROM, RAM, DRAM, SRAM, flash, magnetic or optical disk, in order to keep track of the original image in case of any problems; - a colorimetric rebalancing consisting in particular of normalizing the colors of the image I in order to minimize the impact of the different lighting conditions as much as possible (level of exposure, color of the lights, etc.);
- a calibration circuit 60 integrated on a dedicated platform such as for example the remote server SD.
- this calibration step S5 for recording the calibrated image G on electronic storage means of the volatile at/or non-volatile memory type and/or on a memory storage device which may comprise memory volatile and/or non-volatile, such as EEPROM, ROM, PROM, RAM, DRAM, SRAM, flash, magnetic or optical disk.
- This recording aims to be able to compare calibrated wounds under the same conditions.
- This optional step aims to standardize all the images I in order to reduce as much as possible the disparities between the terminals T of the different users. It is thus possible in the long term to offer consistent and similar analyzes regardless of the communication terminal T at the origin of the image.
- this calibration step S5 provision is made to determine the quality of the calibration by comparing the acquired image I and the calibrated image G. If the quality of the calibrated images is insufficient or if the calculation of the scale is imprecise, it may be considered that it is not possible to correctly characterize the PL wound, and therefore that it will not be necessary to continue with the rest of the procedure.
- Quality measurement can be done in different ways:
- each calibration S5 carried out with the reference element 20 causes a slight modification of the colors of the digital image I such that the colors of the reference element 20 as perceived through the image I (before calibration) come as close as possible to the real (and known) colors of the reference element 20 (after calibration).
- another method also consists of dividing the image into n subdivisions, calculating the average luminance for each of these zones and determining whether there is too great a difference in luminance between two related zones (threshold also configurable). If necessary, it becomes possible to detect a poor lighting condition.
- Such contouring S6 makes it possible to calculate the different characteristics of the wound with more precision.
- this zoom corresponds to the area between the screen and the finger when the latter are in contact;
- Such an automatic S6 clipping implements one or more Machine Learning algorithms in order to first segment the digital image into two classes: wound and other, then implements one or more image processing algorithms in order to segment the wound PL with respect to color differences between wound and skin and detect the set of all contours in the image. It is then possible to combine the results of these different approaches in order to map the digital image and determine a first outline of the wound. This S6 clipping can then be adjusted later by the user if necessary.
- the S6 clipping provided in the context of the present invention is therefore more precise and more reliable because it allows the user to correct the points of the polygon obtained thanks to the clipping (manual or automatic by AI) to extract the wound from the healthy skin.
- the method provides for a classification step S8 of the calibrated image F by machine learning as a function of at least one determined image datum representative of a characteristic of the wound PL (budding, fibrin, necrosis wet, dry necrosis, neutral), in order to segment the image into a plurality of classes.
- This step S8 makes it possible to extract the different properties necessary for the characterization of the wound (budding, fibrin, wet necrosis, dry necrosis, neutral).
- performing this step S 8 implements a convolutional neural network whose main role is to segment the wound into several classes.
- the step lasts only a few seconds.
- the output image a wound identical to the input one, is colored: each of the classes used for the characterization of the wound is colored with a unique color. Thus it is easy to distinguish which pixel of the digital output image belongs to which characteristic of the wound.
- Fibrin / Wet Necrosis (yellow / white / green hues);
- Dry necrosis purple / dark gray / black shades
- Neutral anything external to the wound.
- the implementation of such a neural network is not done locally on the communication terminal T but rather on a sufficiently powerful dedicated platform (remote server in the clouds, here denoted SD) to launch analyzes in parallel and manage user requests.
- a convolutional neural network also called convolutional neural network or convolutional neural network noted CNN or ConvNet (from the English “Convolutional Neural Networks”) corresponds to a network of artificial acyclic neurons (from the English “feed-forward” ).
- Such a convolutional neural network comprises a convolutional part implementing one or more convolution layers and a densely connected part implementing one or more layers of densely connected (or fully connected) neurons ensuring the classification of information according to an MLP type model (from English “Multi Layers Perceptron” or in French “Perceptrons multicouches”) for example.
- Such a process makes it possible to pool the resources necessary to determine the characteristics of a set of input data, these characteristics then being used by several layers of a multilayer neural network.
- This classification step S 8 is characteristic of the present invention. This is implemented by a processor 30 or a microcontroller of the type CPU, GPU, TPU, FPGA, etc., for example.
- a characterization step S9 is then provided during which a processing circuit 50 characterizes the wound PL by determining a rate of distribution of the characteristics of the wound PL.
- step S9 includes in particular: the counting by a computer 40 of the quantity of pixels for each class and the calculation of the percentage of each class relative to the total quantity of segmented pixels.
- a dimension calculation step S7 making it possible to calculate according to the measurement reference REF 1 of the image I a set of characteristic dimensions such as the area (expressed in cm 2 ), the depth (if applicable) or even the greatest length/width.
- Alerts can then be generated on the SC user interface if one of the parameters indicates a risk of complication or an unfavorable evolution of the PL wound over time: increased wound size, increased percentage of necrosis, increased percentage of fibrin.
- a report (for example in .pdf format) of this analysis can also be generated on the SC interface during a final SI 1 restitution step.
- This report will contain all the previously mentioned elements (patient information, images analyzed for this patient, analysis tables, evolution curves).
- This SI 1 restitution step also makes it possible to display the results of the digital analysis directly on the SC user interface (mobile application or online medical photo library).
- three images are displayed on the SC interface: the original image, the image with the contoured wound and the calibrated image (optional).
- a second table can also be displayed; this includes the results of the calculation of the dimensions of the wound: length, width, area, depth (optional).
- the present invention thus provides caregivers and various health actors acting in this type of follow-up with an intelligent medical aid tool adapted to chronic wounds.
- the present invention makes it possible in particular to semi-automate several tasks from one or more images of wounds, in order to:
- the present invention therefore allows a semi-automated analysis of images of chronic wounds and offers in particular the following advantages: the structuring and protection of data, the reduction of treatment costs, the improvement of the quality of care and the improving the working conditions of caregivers. It should be noted that this detailed description relates to a particular embodiment of the present invention, but that in no case does this description have any limiting character to the subject of the invention; on the contrary, it aims to remove any possible imprecision or any misinterpretation of the following claims.
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
La présente invention concerne un procédé suivi d'une plaie (PL) d'un patient mis en œuvre par des moyens informatiques et comprenant les étapes suivantes : une acquisition (S1) d'une image (I) de ladite plaie (PL) à l'aide d'une caméra (10); une classification (S8) de ladite image acquise (I) par apprentissage machine en fonction d'au moins une donnée d'image déterminée représentative d'une caractéristique de ladite plaie (PL) afin de segmenter ladite image (I) en une pluralité de classes; une caractérisation (S9) de ladite plaie comprenant une détermination d'un taux de distribution des caractéristiques de ladite plaie par un comptage d'un nombre de pixels pour chaque classe.
Description
SUIVI SEMI-AUTOMATISE D’UNE PLAIE
Domaine technique
La présente invention concerne le domaine médical, et plus particulièrement le domaine du suivi des plaies.
Un des objets de la présente invention concerne un procédé et un système de suivi d’une plaie d’un patient pour une caractérisation de ladite plaie par des moyens de traitement d’images s’appuyant sur des méthodes dites d’apprentissage machine (de l’anglais Machine Learning ) mises en œuvre par des réseaux de neurones.
La présente invention trouvera de nombreuses applications avantageuses notamment pour le suivi et la caractérisation de plaies chroniques telles que par exemple les plaies diabétiques, les escarres, les ulcères des membres inférieurs ou encore les plaies cancéreuses.
Eiai de la technique
Les plaies chroniques peuvent être d’origine diverses.
Les pathologies les plus fréquemment rencontrées associées à ces plaies sont : les plaies diabétiques (maux perforants plantaires), les escarres, les ulcères des membres inférieurs et plaies cancéreuses.
Le suivi de ces plaies représente un enjeu important et permet notamment de prévenir les risques liés à ces plaies.
De nombreuses innovations ont ainsi été développées ces dernières années pour diminuer l'apparition de ces plaies chroniques ; ces innovations visent principalement à :
- renforcer les plans de gestion du risque pour la prévention des escarres à l’hôpital,
- améliorer la prescription des dispositifs de prévention par un accompagnement des prescripteurs, et
- faciliter l'identification et la qualification des plaies afin de déterminer un traitement adapté. La cicatrisation dirigée d’une plaie chronique est un processus long qui s’étend sur plusieurs mois. Elle implique de nombreux acteurs de la santé dont notamment les infirmiers à domiciles, les médecins généralistes et certains spécialistes comme les dermatologues, les diabétologues, les chirurgiens, les gériatres.
La bonne prise en charge des plaies impose de connaître les antécédents et l’état général du patient, d’analyser l’aspect local de la perte de substance, de prescrire un traitement adapté et d’organiser un suivi régulier pour juger de l’évolution.
La coordination et la communication entre les acteurs de santé passe par des prescriptions et des courriers manuscrits.
On comprend ici que la description clinique de la plaie est donc au cœur du processus décisionnel et fait l’objet d’une observation minutieuse retranscrite dans le dossier médical. Les clichés photographiques lorsqu’ils sont effectués permettent d’enrichir grandement la description clinique.
A l’heure actuelle, la gestion de la photographie médicale est très hétérogène.
De façon générale, les systèmes en place sont artisanaux et non sécurisés.
Ainsi, lorsque des clichés photographiques de la plaie sont effectués, ils sont exceptionnellement associés aux courriers médicaux. Les échanges de photographies entre les acteurs de soins passent souvent par des messageries électroniques non sécurisés sans systématisation ni référencement.
Par ailleurs, il est souhaitable que la description optimale d’une plaie contienne les paramètres suivants :
- l’étiologie supposée de la plaie : escarre, ulcère veineux, mal perforant plantaire, plaie cancéreuse, désunion d’une plaie chirurgicale, etc.
- la localisation précise au niveau de l’organisme : membre supérieur ou inférieur, thorax, abdomen, cuir chevelu, etc.
- la forme et les dimensions de la perte de substance : longueur, largeur, profondeur, surface, etc.
- la phase de la cicatrisation dirigée : détersion, bourgeonnement, épidermisation ; - le début, le milieu ou la fin de la phase ; la concomitance de plusieurs phases selon les zones de la perte de substances et le pourcentage de chacune de ces phases dans la plaie ;
- les paramètres intercurrents visibles susceptibles de freiner la bonne évolution cicatricielle : surinfection, bourgeon charnu atone, plaie fibrineuse, exposition articulaire, osseuse ou tendineuse, hyper-bourgeonnement, dermite périphérique, cancérisation, etc.
- l’évolution du processus cicatriciel dans le temps : évolution normale, évolution lente, absence d’évolution, aggravation, complication.
L’ensemble de ces éléments descriptifs font partie de l’examen clinique d’une plaie et sont normalement consignés dans le dossier médical à chaque consultation.
L’exercice est souvent long et difficile, et jusqu’à présent peu d’outils permettent de faciliter ce travail.
Les dimensions de la perte de substances peuvent être mesurées avec une réglette en papier pour objectiver la largeur, la longueur et la profondeur.
Les calculs précis de surface ou de volume de la perte de substance ne sont que très rarement effectués.
Assez souvent, il existe dans la plaie des zones avec des évolutions cicatricielles différentes. La description de la plaie devient alors plus complexe puisqu’il faut analyser précisément la proportion, la localisation et la nature de chacune de ces zones.
A la fin de la consultation, le médecin synthétise les données recueillies (antécédents, motif de consultation, histoire de la maladie, examen clinique) et propose une prise en charge thérapeutique adaptée en s’appuyant sur son expérience et les données acquises de la science. Le traitement englobe des conseils (hygiène, mode de vie, règles diététiques), des traitements généraux et des soins locaux. Les soins locaux seront confiés le plus souvent à un(e) infîrmier(-ère) à domicile qui aura la charge de nettoyer la plaie et de changer le pansement tous les jours ou tous les deux jours jusqu’à l’obtention d’une cicatrisation définitive. Le médecin prescripteur revoit ensuite le patient régulièrement à intervalle variable (hebdomadaire, bimensuel, mensuel) afin de constater la bonne évolution de la cicatrisation dirigée et de modifier sa prescription si nécessaire.
D’une consultation à une autre, l’analyse fine de l’évolution cicatricielle devrait pouvoir s’appuyer sur des mesures précises de la perte de substance et sur des clichés photographiques reproductibles, ce qui n’est pas toujours le cas aujourd’hui faute d’outil adapté.
Il existe aujourd’hui des outils d’aide à la prise en charge des plaies chroniques basé sur de l’analyse d’images visant à faciliter ce travail de suivi et de caractérisation de plaie.
On connaît par exemple la solution « WoundCareLog APP » qui est une application mobile qui collecte toutes les données médicales relatives à la plaie et offre une possibilité d’apporter une description morphologique textuelle (comme de très nombreuses applications mobiles de ce type).
Dans cette solution, il n’existe pas de système d’analyse photographique de la plaie, mais simplement la possibilité d’enregistrer une photographie numérisée.
Les paramètres morphologiques étudiés sont : la localisation de la plaie, la date, les conditions vasculaires locales (artérielle et veineuse), la dimension de la plaie, le type de tissue observé dans la plaie, la présence d’un exsudât, la qualité de la peau périphérique : sécheresse, rougeur, fragilité, douleur, pigmentation, infection.
On connaît également la solution « Mowa® » qui est une application mobile permettant de calculer la surface et d’analyser la qualité des tissus des ulcères cutanés de façon ergonomique : « Ciancio F, Portincasa A, Parisi D, Innocenti A. MowA®: A simple and
économie way of monitoring chronic wounds outcome with your mobile devices. Ann Ital Chir. 2017;88:94 ».
Les fonctionnalités de cette application « Mowa® » sont les suivantes :
- Le dimensionnement : quantification de la taille de la lésion en centimètres carrés ;
- La segmentation : système de détection du pourcentage de fibrine, de granulation et de tissu nécrotique ;
- La recherche de complications : détection d’infection, de saignement et estimation de la profondeur de la lésion ;
- L’aide au traitement : proposition d’un algorithme de traitement basé sur les données recueillies et sur les recommandations de l'EPUAP et de la NPUAP ;
- La production d’un document synthétique : génération d’un fichier sous format .pdf ou .jpeg avec la photographie et les caractéristiques de la plaie.
Une étude pilote conduite sur huit plaies chroniques semble démontrer une bonne précision et répétabilité de l’application Mowa® : « Scalise A, Bottoni M, Scalise L, Pierangeli M. Evaluation of the efficacy of an innovative System for measuring chronic wounds: Mobile Wound Analyzer. mar 2015 ».
Néanmoins, aucune analyse de fiabilité n’a été publiée.
De plus, le Demandeur soumet que des améliorations sur l’algorithme ainsi que la mise en place d’études à plus grande échelle sont nécessaires pour valider sur le plan scientifique et thérapeutique cette solution.
On connaît aussi le document US 2019026891 qui divulgue une analyse numérique d’une image comprenant une plaie pour sa caractérisation automatique. Dans ce document, il s’agit de sélectionner aléatoirement des pixels de l’image et d’estimer la qualité de la classification en fonction de la forme de la distribution des classes dans les pixels sélectionnés.
Le Demandeur soumet que la technologie proposée dans ce document pour caractériser la plaie repose sur l’utilisation de classificateurs différents pour chaque zone tissulaire correspondant à une carte de vraisemblance. Une mise en correspondance est réalisée à la fin de l’analyse afin de fusionner des régions de la plaie correspondant à des cartes de vraisemblance qui sont identiques.
Plus particulièrement, ce document propose la mise en œuvre d’un processus de type SVM pour « Support Vector Machine », et plus précisément l’utilisation d’une combinaison de SVM afin de segmenter le bourgeonnement, la fibrine et la nécrose.
On notera ici que l’utilisation de plusieurs SVM et non d’un seul s’explique par le fait qu’un SVM permet de réaliser des classifications binaires, par exemple une classification entre
bourgeonnement et tout le reste, une classification entre fibrine et tout le reste ou encore une classification entre nécrose et tout le reste.
Ainsi, rutilisation des trois SVM et la combinaison de leurs résultats permet d’obtenir une carte de vraisemblance finale laquelle permet de caractériser la plaie.
Le Demandeur soumet que cette technique est connue depuis plusieurs dizaines d’années.
Le Demandeur soumet par ailleurs que cette technique reste très sensible aux variations de couleurs (et notamment à l’éclairage, les reflets, etc.) car celle-ci se base uniquement sur la couleur des pixels afin de réaliser la classification.
Ainsi, par exemple, lorsque nous avons l’apparition d’un phénomène de reflet spéculaire (brillance/reflets blancs liés à l’humidité de la plaie), ce dernier modifie la couleur des pixels de la plaie. Dans ce cas, la méthode proposée dans le document US 2019026891 ignore ces reflets et ne prend pas en compte ceux-ci dans les calculs finaux des taux de distributions des classes.
La méthode proposée dans ce document reste donc fragile et ne convient pas à un usage médical car les performances obtenues ne sont pas suffisamment fiables, notamment lorsque les conditions de prise de vue varient (cas du reflet spéculaire).
On connaît enfin le document US 2020/0234444 Al qui propose un dispositif médical visant à calculer une surface de plaie et à segmenter la plaie en différentes zones tissulaires.
Bien que l’ensemble des solutions ci-dessus soit intéressante, le Demandeur soumet qu’à ce jour il n’existe pas de solution permettant d’analyser de manière semi-automatisée la surface et le contenu d’une plaie à partir d’une image obtenue quel que soit le type de dispositif d’acquisition d’images.
Résumé de la présente invention
L’objet de la présente invention est d’améliorer la situation décrite ci-dessus.
La présente invention vise donc à remédier aux différents inconvénients mentionnés ci-dessus en proposant une solution simple nécessitant peu de ressources informatiques qui permet un suivi et une caractérisation de la plaie présentant une bonne précision, et ce quelle que soient la caméra utilisée et les conditions de prise de vue.
A cet effet, l’objet de la présente invention concerne selon un premier aspect un procédé de suivi d’une plaie d’un patient qui est mis en œuvre par des moyens informatiques et qui comprend les étapes suivantes :
- une acquisition d’une image de la plaie à l’aide d’une caméra ;
- une classification de l’image acquise par apprentissage machine, ou Machine Learning, en fonction d’au moins une donnée d’image déterminée représentative d’une caractéristique de la plaie afin de segmenter l’image en une pluralité de classes ;
- une caractérisation de la plaie comprenant une détermination d’un taux de distribution des caractéristiques de la plaie par un comptage d’un nombre de pixels pour chaque classe.
Selon la présente invention, le procédé décrit ici prend en compte le contexte de la plaie, va facilement détecter le reflet spéculaire et l’ignorer comme s’il n’existait pas. Il n’y aura donc aucun impact sur nos résultats à la fin du processus de segmentation.
Avantageusement, l’étape de classification met en œuvre un réseau neuronal à convolution. Avantageusement, l’étape de caractérisation comporte une coloration par une unique couleur de chacun des pixels de la plaie appartenant à une même classe.
Avantageusement, les caractéristiques de la plaie sont parmi les suivantes :
- bourgeonnement ;
- fibrine ;
- nécrose humide ;
- nécrose sèche ; et
- neutre.
Avantageusement, l’étape de caractérisation comporte un calcul d’un pourcentage de chaque classe en fonction du nombre de pixels d’une même classe par rapport à un nombre total de pixels de l’image segmentée.
Avantageusement, le procédé selon la présente invention comporte un détourage de la plaie à partir de l’image acquise.
Avantageusement, le procédé selon la présente invention comporte une transmission de ladite image acquise vers un serveur déporté.
Avantageusement, le procédé selon la présente invention comporte une analyse du taux de distribution des caractéristiques de la plaie par comparaison avec un modèle de plaie prédéterminée et/ou un historique de valeurs enregistrées pour la plaie.
Avantageusement, le procédé selon la présente invention comporte une génération d’un signal d’avertissement lorsque l’analyse de la comparaison détecte un risque de complication.
De préférence, un risque de complication est détecté en cas d’une augmentation des dimensions de la plaie et/ou d’une augmentation du pourcentage de nécrose de la plaie et/ou d’une augmentation du pourcentage de fibrine de la plaie.
Avantageusement, le procédé selon la présente invention comporte une étape de restitution sur un terminal de communication d’un rapport d’analyse comprenant le taux de distribution des caractéristiques de la plaie.
Avantageusement, l’étape de restitution comprend un affichage sur une interface graphique d’un terminal de communication de l’image segmentée et/ou du taux de distribution des caractéristiques de la plaie.
Avantageusement, l’étape d’acquisition est réalisée à l’aide d’une caméra de type lidar pour déterminer une carte de profondeur de la plaie.
Avantageusement, le procédé selon la présente invention comporte un premier étalonnage de l’échelle de l’image pour déterminer une référence de mesure.
Avantageusement, un calculateur détermine la distance entre chacun des pixels de ladite image à partir de la carte de profondeur pour déterminer la référence de mesure de l’image. Avantageusement, l’étape d’acquisition comprend une fourniture préalable d’un élément de référence apposé à proximité de la plaie dans le champ de vision de la caméra. Avantageusement, l’élément de référence présente au moins deux marqueurs fiduciaires séparés entre eux d’une distance connue.
Avantageusement, le premier étalonnage comprend une détection desdits au moins deux marqueurs dans l’image acquise afin de déterminer la référence de mesure de l’image. Contrairement au document US 2019026891, la détection et l’extraction des marqueurs sont instantanées, et ne nécessitent aucun traitement d’images.
De préférence, chacun desdites au moins deux marqueurs fiduciaires est entouré d’un cadre blanc ; ceci permet d’en améliorer la détection lors de la première étape d’étalonnage. La fiabilité de la détection et de l’extraction est alors assurée à 100%.
Avantageusement, l’élément de référence se présente sous la forme d’un adhésif dont une face arrière comprend une bande adhésive destinée à être fixée sur la peau du patient. Avantageusement, l’élément de référence présente une face avant comprenant trois marqueurs fiduciaires. Ceci permet de connaître de manière immédiate l’orientation et l’inclinaison dans le plan.
Avantageusement, le procédé selon la présente invention comporte une étape de calcul des dimensions de la plaie en fonction de ladite référence de mesure de l’image.
De préférence, les dimensions de la plaie comprennent la longueur de la plaie et/ou la largeur de la plaie et/ou la surface de la plaie et/ou la profondeur moyenne de la plaie et/ou la profondeur maximale de la plaie.
Avantageusement, le procédé selon la présente invention comporte un deuxième étalonnage colorimétrique de l’image pour déterminer une référence colorimétrique.
De préférence, l’élément de référence comprend en face avant :
- au moins trois couleurs primaires et/ou secondaires ; et
- une pluralité de couleurs correspondant chacune à une caractéristique de la plaie.
Il est prévu de préférence une application des règles de trigonométrie pour extraire instantanément les couleurs (par exemple quinze couleurs). Avantageusement, le procédé selon la présente invention comporte une calibration de l’image acquise.
De préférence, l’étape de calibration comprend un rééquilibrage colorimétrique consistant à normaliser les couleurs de l’image en fonction de la référence colorimétrique de l’image.
De préférence, l’étape de calibration comprend une détection d’une déformation de l’élément de référence.
Avantageusement, l’étape de calibration comprend une comparaison entre l’image acquise et l’image calibrée pour déterminer un indice de qualité de ladite image.
Ainsi, selon la présente invention, l’extraction de l’élément de référence (ou sticker) s’effectue de manière fiable grâce aux marqueurs fiduciaires et à des règles mathématiques, là où le document US 2019026891 ne décrit qu’une extraction effectuée par couleur laquelle peut donc varier considérablement en fonction des conditions d’éclairage et/ou de la qualité de l’image. Ce même sticker permet également de proposer un processus plus fiable de validation des bonnes conditions d’acquisition de l’image. En effet, en plus de corriger la luminosité de l’image, l’élément de référence selon la présente invention permet de vérifier que les métriques d’acquisition d’image (distorsion, inclinaison, distance de la caméra) sont satisfaisantes pour mener à bien (ou non) le processus.
Les études pré-cliniques menées ont démontré que ces métriques permettaient de corriger jusqu’à 20% d’erreur dans les mesures de segmentation et de calcul de taille.
Corrélativement, l’objet de la présente invention concerne selon un deuxième aspect un programme d’ordinateur qui comporte des instructions adaptées pour l’exécution des étapes du procédé tel que décrit ci-dessus, ceci notamment lorsque ledit programme d’ordinateur est exécuté par au moins un processeur.
Un tel programme d’ordinateur peut utiliser n’importe quel langage de programmation, et être sous la forme d’un code source, d’un code objet, ou d’un code intermédiaire entre un code source et un code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable.
De même, l’objet de la présente invention concerne selon un troisième aspect un support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé tel que décrit ci-dessus. D’une part, le support d’enregistrement peut être n'importe quel entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu’une mémoire ROM, par exemple un CD-ROM ou une mémoire ROM de type circuit microélectronique, ou encore un moyen d'enregistrement magnétique ou un disque dur.
D'autre part, ce support d’enregistrement peut également être un support transmissible tel qu'un signal électrique ou optique, un tel signal pouvant être acheminé via un câble électrique ou optique, par radio classique ou hertzienne ou par faisceau laser autodirigé ou par d'autres moyens. Le programme d’ordinateur selon l’invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme d’ordinateur est incorporé, le circuit intégré étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
L’objet de la présente invention concerne selon un quatrième aspect un système de suivi d’une plaie d’un patient.
Selon l’invention, le système comprend des moyens informatiques configurés pour la mise en œuvre des étapes du procédé décrit ci-dessus.
Plus particulièrement, le système selon la présente invention comprend :
- au moins une caméra configurée pour capturer une image de ladite plaie ;
- un processeur comprenant un algorithme d’intelligence artificielle configuré pour segmenter par apprentissage machine ladite image acquise en une pluralité de classes en fonction d’au moins une donnée d’image déterminée représentative d’une caractéristique de ladite plaie ;
- un calculateur configuré pour compter un nombre de pixels pour chaque classe ;
- un circuit de traitement configuré pour caractériser ladite plaie en déterminant un taux de distribution des caractéristiques de ladite plaie en fonction du nombre de pixels de chacune des classes.
Ainsi, l’objet de la présente invention, par ses différents aspects fonctionnels et structurels décrits ci-dessus, permet de suivre et caractériser efficacement et en temps réel une plaie.
Brève description des figures annexées
D’autres caractéristiques et avantages de la présente invention ressortiront de la description ci-dessous, en référence aux figures 1 à 4 annexées qui en illustrent un exemple de réalisation dépourvu de tout caractère limitatif et sur lesquelles :
[Fig- 1 ]
La figure 1 représente une image d’une plaie avec un élément de référence ;
[Fig.2]
La figure 2 représente une vue schématique d’un élément de référence conforme à la figure 1. [Fig.3]
La figure 3 est un organigramme d’un procédé de suivi d’une plaie selon un exemple de réalisation de la présente invention.
[Fig.4]
La figure 4 est une vue schématique d’un système de suivi de plaie selon un exemple de réalisation de la présente invention.
Description détaillée
Un procédé de suivi d’une plaie d’un patient ainsi que le système qui lui est associé vont maintenant être décrits dans ce qui va suivre en référence conjointement aux figures 1 à 4.
Un des objectifs de la présente invention est de concevoir un outil d’aide à la prise en charge des plaies chroniques basé sur l’analyse d’image et l’intelligence artificielle.
Ceci est rendu dans l’exemple qui va suivre.
Dans cet exemple, on prévoit une première étape SI qui consiste à acquérir une image I d’une plaie PL pour l’analyser à l’aide d’une caméra 10. Cette acquisition SI d’image I peut se faire de plusieurs manières différentes.
Le soignant dispose d’un terminal de communication T de type par exemple Smartphone ou tablette sur lequel est installée une application logicielle dédiée.
De préférence, ce terminal de communication T est doté d’un système d’exploitation (OS) de type Android® ou iOS, de préférence Android® version 24 minimum ou iOS version 12 minimum.
Le terminal de communication T peut aussi être un ordinateur ou équivalent.
On comprendra ici qu’un tel terminal de communication T est également doté d’une caméra 10 apte à capturer une image I ou un flux d’images.
Dans l’exemple décrit ici, une assistance en temps réelle intégrée dans l’application peut optionnellement être proposée afin d’assister le soignant dans la réalisation de cette étape.
Cette assistance logicielle peut notamment guider le soignant à centrer correctement la plaie PL lors de la capture d’image SI.
Elle peut également alerter le soignant que :
- les conditions d’éclairage ne sont pas suffisantes,
- la plaie est trop proche ou trop éloignée de l’objectif, ou encore que
- l’utilisation du flash est nécessaire.
Dans cet exemple et comme illustré en figure 2, il est également possible préalablement à l’étape SI d’apposer lors d’une étape S2 un élément de référence 20 dans le champ de vision de ladite caméra 10.
Comme on pourra le comprendre dans la suite de la description, la fourniture S2 d’un tel élément de référence 20 permet ultérieurement de calibrer correctement l’image I.
Un tel élément de référence 20 est caractéristique de la présente invention.
On notera alternativement que :
- l’étape d’acquisition SI peut se faire directement sur l’application mobile en important une image se trouvant dans la galerie personnelle du terminal de communication T du soignant (disposant des mêmes prérequis que ceux cités précédemment) ;
- l’étape d’acquisition SI peut également se faire sur l’interface web en choisissant des images I à analyser se trouvant sur la photothèque médicale du soignant ou en important numériquement d’autres images I à partir de la galerie de l’ordinateur, ou de tout support de stockage externe.
A l’issue de cette étape d’acquisition SI, on dispose donc d’une image I comprenant la plaie PL du patient. Une telle image I est illustrée par exemple en figure 1.
Un des objets de la présente invention est de disposer d’une image I exploitable dont il est possible d’extraire les dimensions précises de la plaie PL et de caractériser la plaie PL.
A cet effet, on peut prévoir comme indiqué ci-dessus la fourniture S2 d’un élément de référence 20.
Dans cet exemple, et comme illustré en figures 1 et 2, un tel élément de référence 20 se présente sous la forme d’un sticker.
Ainsi, cet élément de référence 20 comprend dans cet exemple un adhésif avec une face arrière comprenant une bande adhésive destinée à être en contact avec la peau du patient pour fixer solidairement l’élément de référence 20 sur la peau du patient à proximité de la plaie PL, comme illustré en figure 1.
Dans cet exemple, l’élément de référence 20 présente une dimension de surface connue et uniforme dans le temps.
Dans cet exemple, les caractéristiques de l’élément de référence 20 sont les suivantes :
- un minimum de trois couleurs primaires et/ou secondaires (connues) ;
- un minimum de six couleurs proches du domaine d’étude (nécrose, bourgeonnement, fibrine et peau) ; et
- un minimum de trois marqueurs fiduciaires Ml, M2 et M3 pour, d’une part, détecter et extraire l’élément de référence 20 de l’image numérique I et, d’autre part, établir le référentiel de mesure REF 1 à partir de la surface (connue) de l’élément de référence 20.
On notera que, dans le cas où l’élément de référence 20 est appliqué sur une surface déformée, la plus grande distance entre deux marqueurs prévaudra dans le calcul de surface. Ainsi, il est possible, lorsque cet élément de référence 20 est présent dans l’image I de l’extraire automatiquement grâce aux marqueurs fiduciaires Ml, M2 et M3.
Il devient ainsi possible d’obtenir un indicateur de surface pour une quantité de pixels donnée puis de convertir n’importe quelle quantité de pixels dans l’image numérique I en une dimension exprimée en centimètre carré.
D’autres alternatives possibles existent pour calculer la référence de mesure REF 1 de l’image.
Dans une variante, on peut utiliser une carte de profondeur de type Depth Map.
Une telle carte de profondeur peut s’obtenir à partir de différents types de caméra 3D comme par exemple une caméra de type Lidar, True Depth ou encore Time ofFlight (ToF). Une fois la carte de profondeur automatiquement calculée par le terminal de communication T, il devient possible de déterminer la profondeur qui sépare la plaie PF du terminal T et ce, pour chaque pixel de l’image I. Ainsi, par l’application d’une pluralité de formules de trigonométrie, il est possible de calculer la distance qui sépare n’importe quel pixel de l’image numérique I directement en centimètres.
Dans cet exemple, on prévoit également un deuxième étalonnage colorimétrique S4 de l’image I pour déterminer une référence colorimétrique REF_2 de l’image I à partir des couleurs connues et présentes sur l’élément de référence 20.
F’ image I est ensuite calibrée avec l’aide de ces deux références REF 1 et REF_2.
Cete étape de calibration S5 contient plusieurs sous-étapes dont notamment :
- une copie de l’image d’origine sur un serveur déporté SD, et notamment sur des moyens de stockage électronique de type mémoire volatile at/ou non volatile et/ou sur un dispositif de stockage mémoire qui peut comprendre de la mémoire volatile et/ou non volatile, telle que EEPROM, ROM, PROM, RAM, DRAM, SRAM, flash, disque magnétique ou optique, afin de garder une trace de l’image d’origine en cas d’éventuels problèmes ;
- un rééquilibrage colorimétrique consistant notamment à normaliser les couleurs de l’image I afin de minimiser au maximum l’impact des différentes conditions d’éclairage (niveau d’exposition, couleur des lumières, etc.) ;
- une balance des blancs ; et
- une détection des éventuelles déformations de l’élément de référence 20 afin d’indiquer au soignant que la surface à photographier est naturellement déformée (bras, jambe, cou, visage, etc.) et que, dans le cas où on souhaite mesurer les dimensions de la plaie ultérieurement, des erreurs seront nécessairement introduites.
Ces différentes sous-étapes sont réalisées par un circuit de calibration 60 intégré sur une plateforme dédiée telle que par exemple le serveur déporté SD.
On notera la présence sur le terminal de communication T et le serveur SD des interfaces de communication permettant une communication entre les deux entités, laquelle est sécurisée. Enfin, il est prévu lors de cette étape de calibration S5 un enregistrement de l’image calibrée G sur des moyens de stockage électronique de type mémoire volatile at/ou non volatile et/ou sur un dispositif de stockage mémoire qui peut comprendre de la mémoire volatile et/ou non volatile, telle que EEPROM, ROM, PROM, RAM, DRAM, SRAM, flash, disque magnétique ou optique. Cet enregistrement vise à pouvoir comparer des plaies calibrées dans les mêmes conditions. Cette étape optionnelle vise à uniformiser l’ensemble des images I afin de réduire autant que possible les disparités entre les terminaux T des différents utilisateurs. Il est ainsi possible à termes de proposer des analyses cohérentes et similaires et ce quel que soit le terminal de communication T à l’origine de l’image.
A la fin de cette étape de calibration S5, on prévoit de déterminer la qualité de la calibration en comparant l’image acquise I et l’image calibré G. Si la qualité des images calibrées est insuffisante ou si le calcul de l’échelle est imprécis, on peut considérer qu’il n’est pas possible de caractériser correctement la plaie PL, et donc qu’il ne sera pas nécessaire de poursuivre la suite de la procédure.
Il est alors proposé de recommencer le procédé à l’étape SI.
La mesure de la qualité peut s’effectuer de différentes manières :
Selon une première variante, chaque calibration S5 réalisée avec l’élément de référence 20 entraîne une légère modification des couleurs de l’image numérique I de telle sorte que les couleurs de l’élément de référence 20 telles que perçu au travers de l’image I (avant calibration) se rapprochent au plus près des couleurs réelles (et connues) de l’élément de référence 20 (après calibration). On peut donc en déduire un score de calibration qui renseigne
sur la qualité de cette dernière. Il sera alors possible, en définissant un ou plusieurs seuils de calibration minimaux, de déterminer s’il est nécessaire de recommencer la procédure ou non. Selon une deuxième variante, il convient d’étudier la luminance au sein de l’image numérique I. Selon un certain procédé, il est possible d’évaluer la qualité de l’éclairage de l’image numérique I. Alternativement, une autre méthode consiste également à découper l’image en n subdivisions, calculer la luminance moyenne pour chacune de ces zones et déterminer s’il existe une trop grande différence de luminance entre deux zones connexes (seuil également configurable). Le cas échéant, il devient possible de détecter une mauvaise condition d’éclairage.
Selon une troisième variante, il est possible de demander à l’utilisateur de renseigner des informations complémentaires sur les dimensions de la plaie (par exemple : plus grande largeur, plus grande longueur) s’il souhaite poursuivre à l’étape suivante.
A l’issue de cette calibration S5, il est prévu dans cet exemple d’extraire la plaie PL de l’image I. On parle de détourage S6.
Un tel détourage S6 permet de calculer avec plus de précision les différentes caractéristiques de la plaie.
Plusieurs approches sont possibles pour effectuer un tel détourage S6.
On peut ainsi prévoir une approche d’extraction dite manuelle au cours de laquelle on demande au soignant d’utiliser l’écran tactile de son terminal de communication afin de détourer la plaie avec le doigt (ou sur l’ordinateur via une interface web à l’aide d’une souris ou d’un pavé tactile). Il sera possible de proposer un ensemble d’éléments visuels afin de l’aider dans cette tâche, avec par exemple :
- la mise à disposition, sur une partie de l’interface, d’un zoom sur la plaie qui suit le tracé point par point. Idéalement, ce zoom correspond à la zone située entre l’écran et le doigt quand ces derniers sont en contact ;
- la possibilité de modifier la position d’un ou plusieurs points constituant le tracé, mais également la possibilité de rajouter des tracés supplémentaires (dans le cas où l’image numérique contient plusieurs plaies) ou bien de supprimer un tracé.
On peut aussi prévoir une approche d’extraction dite automatique.
Un tel détourage S6 automatique met en œuvre un ou plusieurs algorithmes de Machine Learning afin de segmenter une première fois l’image numérique en deux classes : plaie et autre, puis met en œuvre un ou plusieurs algorithmes de traitement d’image afin de segmenter la plaie PL par rapport aux différences de couleurs entre plaie et peau et détecter l’ensemble de tous les contours de l’image.
Il est ensuite possible de combiner les résultats de ces différentes approches afin de cartographier l’image numérique et de déterminer un premier détourage de la plaie. Ce détourage S6 peut alors être ajusté par la suite par l’utilisateur si nécessaire.
Dans le document US 2019026891, il est prévu d’effectuer simultanément un détourage et une segmentation grâce à la mise en œuvre d’un processus SVM pour « Support Vector Machine ». Le Demandeur soumet qu’un tel processus ne permet pas d’avoir une étape intermédiaire dédiée à la correction du détourage de la plaie.
Le détourage S6 prévu dans le cadre de la présente invention est donc plus précis et plus fiable car il permet à l’utilisateur de corriger les points du polygone obtenu grâce au détourage (manuel ou automatique par IA) pour extraire avec précision la plaie de la peau saine.
Une fois la plaie détourée, le procédé prévoit une étape de classification S8 de l’image calibrée F par apprentissage machine en fonction d’au moins une donnée d’image déterminée représentative d’une caractéristique de la plaie PL (bourgeonnement, fibrine, nécrose humide, nécrose sèche, neutre), ceci afin de segmenter l’image en une pluralité de classes.
On notera ici que, préalablement au traitement, des experts détourent chaque zone tissulaire sur un ensemble de plusieurs centaines de photos en précisant de quel type de tissue il s’agit. L’IA est ensuite entraînée sur cet ensemble. Elle devient donc capable de segmenter à son tour et de manière autonome toute nouvelle image.
Cette étape S8 permet d’extraire les différentes propriétés nécessaires à la caractérisation de la plaie (bourgeonnement, fibrine, nécrose humide, nécrose sèche, neutre). Dans cet exemple, la réalisation de cette étape S 8 met en œuvre un réseau neuronal à convolution dont le rôle principal est de segmenter la plaie en plusieurs classes.
Les caractéristiques de ce réseau neuronal sont les suivantes :
- La plaie en entrée est détourée.
- L’étape ne dure que quelques secondes.
- L’image en sortie, une plaie identique à celle en entrée, est coloriée : chacune des classes utilisées pour la caractérisation de la plaie est coloriée avec une couleur unique. Ainsi il est facile de distinguer quel pixel de l’image numérique en sortie appartient à quelle caractéristique de la plaie.
- Les caractéristiques identifiées par le réseau neuronal sont les suivantes :
Bourgeonnement (teintes rouges / roses) ;
Fibrine / Nécrose Humide (teintes jaunes / blanches / vertes) ;
Nécrose sèche (teintes violettes / gris foncés / noires) ; et Neutre (tout ce qui est externe à la plaie).
De préférence, la mise en œuvre d’un tel réseau neuronal ne se fait pas en local sur le terminal de communication T mais plutôt sur une plateforme dédiée suffisamment puissante (serveur déporté dans les nuages, ici noté SD) pour lancer des analyses en parallèle et gérer les requêtes utilisateurs.
Un réseau de neurones à convolution, également appelé réseau neuronal convolutif ou réseau de neurones convolutifs noté CNN ou ConvNet (de l’anglais « Convolutional Neural Networks ») correspond à un réseau de neurones artificiels acycliques (de l’anglais « feed- forward »). Un tel réseau neuronal convolutif comprend une partie convolutive mettant en œuvre une ou plusieurs couches de convolution et une partie densément connectée mettant en œuvre une ou plusieurs couches de neurones densément connectées (ou entièrement connectés) assurant la classification des informations selon un modèle de type MLP (de l’anglais « Multi Layers Perceptron » ou en français « Perceptrons multicouches ») par exemple.
Un tel procédé permet de mutualiser les ressources nécessaires pour déterminer les caractéristiques d’un ensemble de données d’entrée, ces caractéristiques étant ensuite utilisées par plusieurs couches d’un réseau de neurones multicouches.
Cette étape de classification S 8 est caractéristique de la présente invention. Celle-ci est mis en œuvre par un processeur 30 ou un microcontrôleur de type par exemple CPU, GPU, TPU, FPGA, etc.
Dans l’exemple décrit ici, on prévoit ensuite une étape de caractérisation S9 au cours de laquelle un circuit de traitement 50 caractérise la plaie PL en déterminant un taux de distribution des caractéristiques de la plaie PL.
Dans cet exemple, l’étape S9 comprend notamment : le comptage par un calculateur 40 de la quantité de pixels pour chaque classe et le calcul du pourcentage de chaque classe par rapport à la quantité totale de pixels segmentés.
En parallèle et indépendamment de l’étape de classification S8 et de caractérisation S9, on prévoit dans cet exemple la mise en œuvre d’une étape de calcul de dimensions S7 permettant calculer en fonction de la référence de mesure REF 1 de l’image I un ensemble de dimensions caractéristiques telles que la surface (exprimée en cm2), la profondeur (si applicable) ou encore la plus grande longueur/largeur.
Dans cet exemple, il est ensuite prévu une analyse S 10 de cette caractérisation S9.
Des alertes peuvent alors être générées sur l’interface utilisateur SC si un des paramètres indique un risque de complication ou une évolution défavorable de la plaie PL dans le temps :
augmentation de la taille de la plaie, augmentation du pourcentage de nécrose, augmentation du pourcentage de fibrine.
Ces alertes peuvent s’afficher automatiquement après analyse de la plaie.
Enfin, un rapport (par exemple sous format .pdf) de cette analyse peut également être généré sur l’interface SC lors d’une ultime étape de restitution SI 1. Ce rapport contiendra l’ensemble des éléments précédemment évoqués (information patient, images analysées pour ce patient, tableaux d’analyse, courbes d’évolution).
Cette étape de restitution SI 1 permet également d’afficher les résultats de l’analyse numérique directement sur l’interface utilisateur SC (application mobile ou photothèque médicale en ligne).
Dans cet exemple, trois images sont affichées sur l’interface SC : l’image d’origine, l’image avec la plaie détourée et l’image calibrée (facultatif).
Toujours dans cet exemple, on prévoit également d’afficher un premier tableau qui présente l’analyse du contenu de la plaie : pourcentage de nécrose, pourcentage de bourgeonnement, pourcentage de fibrine.
Un second tableau peut également être affiché ; celui-ci comprend les résultats du calcul des dimensions de la plaie : longueur, largueur, surface, profondeur (facultatif).
Si plusieurs images PL d’une même plaie PL sont analysées sur des temps différents, des courbes d’évolution temporelle s’afficheront pour montrer l’évolution des différents paramètres :
- évolution dans le temps des dimensions de la plaie : longueur, largeur, surface, profondeur (quand cela est possible) ; et
- évolution dans le temps du contenu de la plaie : pourcentage de nécrose (correspondant à la nécrose sèche), pourcentage de fibrine (correspondant à la fibrine et la nécrose humide), pourcentage de bourgeonnement.
La présente invention met ainsi à disposition des soignants et des différents acteurs de la santé agissant dans ce type de suivi un outil d’aide médicale intelligent adapté aux plaies chroniques.
La présente invention permet notamment de semi-automatiser plusieurs tâches à partir d’une ou plusieurs images de plaies, ceci afin de :
- Standardiser le cliché : couleur, dimensions, cadrage. Plusieurs images sont prises dans le temps avec des smartphones différents et des conditions d’éclairage différents.
- Délimiter la plaie de façon automatique afin de pouvoir remplacer le détourage manuel.
- Mesurer les dimensions de la plaie : calculer sa surface, estimer la plus grande largeur et la
plus grande longueur.
- Segmenter la plaie en différentes zones, identifier le contenu et le pourcentage de chacune des trois zones : nécrose sèche, nécrose humide et fibrine, granulation.
- Analyser l’évolution dans le temps des dimensions et du contenu de la plaie. Estimer si possible la cinétique de cicatrisation.
- Générer des alertes automatiques face à une complication ou une évolution défavorable de la plaie dans le temps : augmentation de la taille de la plaie, augmentation du pourcentage de nécrose, augmentation du pourcentage de fibrine
En s’appuyant sur des recueils de données systématisés, sur des mesures précises de la plaie et sur des algorithmes d’intelligence artificielle, il devient effet possible d’améliorer grandement les capacités de recueil, de synthèse et d’analyse des données.
Les avantages apportés par la technologie proposés dans le cadre de la présente invention se situent à plusieurs niveaux :
A) Analyse détaillée et potentialisée de la plaie chronique à travers la photographie (ce sont les avantages apportés par l’analyse d’images) :
- Automatisation des tâches permettant une meilleure reproductibilité : mesure précise des dimensions de la plaie, segmentation, zonage et analyse du contenu, recherche de complications ou de facteurs péjoratifs ;
- Analyse comparative de l’évolution de ces données au fil du temps ;
- Génération d’alertes automatiques face à une complication ou une évolution défavorable ;
- Gain de temps important pour les soignants ;
- Analyse à distance, sans contact permettant de diminuer les manipulations et donc les risques de surinfection ;
- Augmentation de la précision et multiplication des données recueillies ;
- Estimation de la durée prévisionnelle de cicatrisation ; et
- Génération de rapports d’analyse, à la demande, au format .pdf.
B) Proposition d’une prise en charge adaptée à partir de cette analyse, sur la base des recommandations en vigueur. Proposition en complément de l’expertise du personnel soignant, capable de soutenir efficacement les décisions médicales, en particulier pour les soignants les moins expérimentés.
La présente invention permet donc une analyse semi-automatisée d’images de plaies chroniques et offre notamment les avantages suivants : la structuration et la protection des données, la diminution des coûts de prise en charge, l’amélioration de la qualité des soins et l’amélioration des conditions de travail des soignants.
Il devra être observé que cette description détaillée porte sur un exemple de réalisation particulier de la présente invention, mais qu’en aucun cas cette description ne revêt un quelconque caractère limitatif à l’objet de l’invention ; bien au contraire, elle a pour objectif d’ôter toute éventuelle imprécision ou toute mauvaise interprétation des revendications qui suivent.
Il devra également être observé que les signes de références mis entre parenthèses dans les revendications qui suivent ne présentent en aucun cas un caractère limitatif ; ces signes ont pour seul but d’améliorer l’intelligibilité et la compréhension des revendications qui suivent ainsi que la portée de la protection recherchée.
Claims
1. Procédé de suivi d’une plaie (PL) d’un patient, dans lequel ledit procédé mis en œuvre par ordinateur comprend les étapes suivantes :
- une acquisition (SI) d’une image (I) de ladite plaie (PL) à l’aide d’une caméra (10) ;
- une classification (S 8) de ladite image acquise (I) par apprentissage machine en fonction d’au moins une donnée d’image déterminée représentative d’une caractéristique de ladite plaie (PL) afin de segmenter ladite image (I) en une pluralité de classes ;
- une caractérisation (S9) de ladite plaie comprenant une détermination d’un taux de distribution des caractéristiques de ladite plaie (PL) par un comptage d’un nombre de pixels pour chaque classe, dans lequel est réalisé un calcul d’un pourcentage de chaque classe en fonction du nombre de pixels d’une même classe par rapport à un nombre total de pixels de ladite image segmentée.
2. Procédé selon la revendication 1, dans lequel l’étape de classification (S8) met en œuvre un réseau neuronal à convolution.
3. Procédé selon la revendication 1 ou 2, dans lequel l’étape de caractérisation (S9) comporte une coloration par une unique couleur de chacun des pixels de la plaie appartenant à une même classe.
4. Procédé selon l’une quelconque des revendications précédentes, dans lequel les caractéristiques de ladite plaie (PL) sont parmi les suivantes :
- bourgeonnement ;
- fibrine ;
- nécrose humide ;
- nécrose sèche ; et
- neutre.
5. Procédé selon l’une quelconque des revendications précédentes, lequel comporte une extraction de la plaie (PL) par un détourage (S6) de ladite plaie (PL) à partir de l’image acquise (I).
6. Procédé selon Tune quelconque des revendications précédentes, lequel comprend une transmission de ladite image acquise (I) vers un serveur déporté (SD).
7. Procédé selon Tune quelconque des revendications précédentes, lequel comprend une analyse (S 10) du taux de distribution des caractéristiques de ladite plaie (PL) par
comparaison avec un modèle de plaie prédéterminée et/ou un historique de valeurs enregistrées pour ladite plaie.
8. Procédé selon la revendication 7, lequel comprend une génération d’un signal d’avertissement lorsque l’analyse (S10) de ladite comparaison détecte un risque de complication.
9. Procédé selon la revendication 8, dans lequel un risque de complication est détecté en cas d’une augmentation des dimensions de la plaie et/ou d’une augmentation du pourcentage de nécrose de la plaie et/ou d’une augmentation du pourcentage de fibrine de la plaie.
10. Procédé selon l’une quelconque des revendications précédentes, lequel comprend une étape de restitution (SI 1) sur un terminal de communication (T) d’un rapport d’analyse comprenant le taux de distribution des caractéristiques de ladite plaie (PL).
11. Procédé selon la revendication 11, dans lequel l’étape de restitution (SI 1) comprend un affichage sur une interface graphique (SC) d’un terminal de communication (T) de l’image segmentée et/ou du taux de distribution des caractéristiques de ladite plaie (PL).
12. Procédé selon l’une quelconque des revendications précédentes, dans lequel l’étape d’acquisition (SI) est réalisée à l’aide d’une caméra (10) de type lidar pour déterminer une carte de profondeur de ladite plaie (PL).
13. Procédé selon l’une quelconque des revendications précédentes, lequel comprend un premier étalonnage (S3) de l’échelle de l’image (I) pour déterminer une référence de mesure (REF 1).
14. Procédé selon la revendication 12 et 13, dans lequel, lors de la première étape d’étalonnage (S3), un calculateur détermine la distance entre chacun des pixels de ladite image (I) à partir de ladite carte de profondeur pour déterminer ladite référence de mesure (REF 1) de l’image (I).
15. Procédé selon l’une quelconque des revendications précédentes, lequel comprend une fourniture (S2) d’un élément de référence (20) apposé à proximité de ladite plaie (PF) dans le champ de vision de ladite caméra (10).
16. Procédé selon la revendication 15 rattachée à la revendication 13, dans lequel l’élément de référence (20) présente au moins deux marqueurs fiduciaires (Ml, M2, M3) séparés entre eux d’une distance connue et dans lequel le premier étalonnage (S3) comprend une détection desdits au moins deux marqueurs (Ml, M2, M3) dans ladite image acquise (I) afin de déterminer la référence de mesure (REF 1) de l’image (I).
17. Procédé selon la revendication 16, dans lequel l’élément de référence (20) présente une face avant (20a) comprenant trois marqueurs fiduciaires (Ml, M2, M3).
18. Procédé selon l’une quelconque des revendications 13 à 17, lequel comprend une étape de calcul (S7) des dimensions de ladite plaie (PL) en fonction de ladite référence de mesure (REF 1) de l’image (I).
19. Procédé selon la revendication 18, dans lequel les dimensions de ladite plaie (PL) comprennent la longueur de ladite plaie (PL) et/ou la largeur de ladite plaie (PL) et/ou la surface de ladite plaie (PL) et/ou la profondeur moyenne de ladite plaie (PL) et/ou la profondeur maximale de ladite plaie (PL).
20. Procédé selon l’une quelconque des revendications précédentes, lequel comprend un deuxième étalonnage colorimétrique (S4) de l’image (I) pour déterminer une référence colorimétrique (REF 2).
21. Procédé selon la revendication 20 rattachée au moins à la revendication 15, 16 ou 17, dans lequel l’élément de référence (20) comprend en face avant (20a) :
- au moins trois couleurs primaires et/ou secondaires ; et
- une pluralité de couleurs correspondant chacune à une caractéristique de ladite plaie (PF).
22. Procédé selon l’une quelconque des revendications 15 à 17 ou selon la revendication 21, lequel comprend une calibration (S5) de ladite image acquise.
23. Procédé selon la revendication 22 rattachée à la revendication 21, dans lequel l’étape de calibration (S5) comprend un rééquilibrage colorimétrique consistant à normaliser les couleurs de ladite image acquise (I) en fonction de la référence colorimétrique (REF 2) de l’image (I).
24. Procédé selon la revendication 22 ou 23, dans lequel l’étape de calibration (S5) comprend une détection d’une déformation de l’élément de référence (20) en fonction de la référence de mesure (REF 1) de l’image (I).
25. Procédé selon l’une quelconque des revendications 22 à 24, dans lequel l’étape de calibration (S5) comprend une comparaison entre l’image acquise (I) et l’image calibrée (F) pour déterminer un indice de qualité de ladite image (I).
26. Programme d’ordinateur comportant des instructions adaptées pour l’exécution des étapes du procédé selon l’une quelconque des revendications 1 à 25 lorsque ledit programme d’ordinateur est exécuté par au moins un processeur.
Support d’enregistrement lisible par un ordinateur sur lequel est enregistré un programme d’ordinateur comprenant des instructions pour l’exécution des étapes du procédé selon l’une quelconque des revendications 1 à 25. Système de suivi (100) d’une plaie (PL) d’un patient comportant : - une caméra (10) configurée pour capturer une image (I) de la plaie (PL) ;
- un processeur (30) comprenant un algorithme d’intelligence artificielle configuré pour segmenter par apprentissage machine ladite image acquise (I) en une pluralité de classes en fonction d’au moins une donnée d’image déterminée représentative d’une caractéristique de ladite plaie (PL) ; - un calculateur (40) configuré pour compter un nombre de pixels pour chaque classe ;
- un circuit de traitement (50) configuré pour caractériser ladite plaie (PL) en déterminant un taux de distribution des caractéristiques de ladite plaie (PL) en fonction du nombre de pixels de chacune des classes. Système (100) selon la revendication 28, lequel comprend des moyens informatiques configurés pour la mise en œuvre des étapes du procédé selon l’une quelconque des revendications 2 à 25.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP22727384.4A EP4338094A1 (fr) | 2021-05-10 | 2022-05-10 | Suivi semi-automatise d'une plaie |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2104935A FR3122758B1 (fr) | 2021-05-10 | 2021-05-10 | Suivi semi-automatisé d’une plaie |
| FRFR2104935 | 2021-05-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022238658A1 true WO2022238658A1 (fr) | 2022-11-17 |
Family
ID=77519189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/FR2022/050898 WO2022238658A1 (fr) | 2021-05-10 | 2022-05-10 | Suivi semi-automatise d'une plaie |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4338094A1 (fr) |
| FR (1) | FR3122758B1 (fr) |
| WO (1) | WO2022238658A1 (fr) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190026891A1 (en) | 2016-01-07 | 2019-01-24 | Urgo Recherche Innovation Et Developpement | Digital analysis of a digital image representing a wound for its automatic characterisation |
| WO2019239106A1 (fr) * | 2018-06-14 | 2019-12-19 | Fuel 3D Technologies Limited | Détection de bord de déformation |
| US20200234444A1 (en) | 2019-01-18 | 2020-07-23 | Tissue Analytics, Inc. | Systems and methods for the analysis of skin conditions |
| US20200330028A1 (en) * | 2017-10-17 | 2020-10-22 | Kronikare Pte Ltd | System and method for facilitating analysis of a wound in a target subject |
| WO2021030454A1 (fr) * | 2019-08-12 | 2021-02-18 | Photon-X, Inc. | Système de gestion de données pour une imagerie de phase spatiale |
-
2021
- 2021-05-10 FR FR2104935A patent/FR3122758B1/fr active Active
-
2022
- 2022-05-10 WO PCT/FR2022/050898 patent/WO2022238658A1/fr active Application Filing
- 2022-05-10 EP EP22727384.4A patent/EP4338094A1/fr active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190026891A1 (en) | 2016-01-07 | 2019-01-24 | Urgo Recherche Innovation Et Developpement | Digital analysis of a digital image representing a wound for its automatic characterisation |
| US20200330028A1 (en) * | 2017-10-17 | 2020-10-22 | Kronikare Pte Ltd | System and method for facilitating analysis of a wound in a target subject |
| WO2019239106A1 (fr) * | 2018-06-14 | 2019-12-19 | Fuel 3D Technologies Limited | Détection de bord de déformation |
| US20200234444A1 (en) | 2019-01-18 | 2020-07-23 | Tissue Analytics, Inc. | Systems and methods for the analysis of skin conditions |
| WO2021030454A1 (fr) * | 2019-08-12 | 2021-02-18 | Photon-X, Inc. | Système de gestion de données pour une imagerie de phase spatiale |
Non-Patent Citations (1)
| Title |
|---|
| KAMATH SANMATHI ET AL: "Machine learning for mobile wound assessment", PROGRESS IN BIOMEDICAL OPTICS AND IMAGING, SPIE - INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING, BELLINGHAM, WA, US, vol. 10579, 6 March 2018 (2018-03-06), pages 1057917 - 1057917, XP060103591, ISSN: 1605-7422, ISBN: 978-1-5106-0027-0, DOI: 10.1117/12.2293704 * |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3122758A1 (fr) | 2022-11-11 |
| EP4338094A1 (fr) | 2024-03-20 |
| FR3122758B1 (fr) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3432217B1 (fr) | Procede d'analyse d'une image d'une arcade dentaire | |
| US11783480B2 (en) | Semi-automated system for real-time wound image segmentation and photogrammetry on a mobile platform | |
| EP3213293B1 (fr) | Controle de la dentition | |
| EP3445270B1 (fr) | Système de fabrication d'un appareil orthodontique | |
| KR102317478B1 (ko) | 상처의 평가 및 관리를 위한 방법 및 시스템 | |
| Papazoglou et al. | Image analysis of chronic wounds for determining the surface area | |
| US20190216326A1 (en) | Multispectral mobile tissue assessment | |
| JP2023085517A (ja) | 創傷の評価、治癒予測および治療のための機械学習システム | |
| JP2022192065A (ja) | 拡張現実の分光法 | |
| FR3069359A1 (fr) | Procede d'analyse d'une image d'une arcade dentaire | |
| FR3069358A1 (fr) | Procede d'analyse d'une image d'une arcade dentaire | |
| FR3069361A1 (fr) | Procede d'analyse d'une image d'une arcade dentaire | |
| Dhane et al. | Spectral clustering for unsupervised segmentation of lower extremity wound beds using optical images | |
| US20210174965A1 (en) | Hyperspectral scanning to determine skin health | |
| US11967412B2 (en) | Selective reaction to failure to complete medical action | |
| WO2020234411A1 (fr) | Procede de generation d'un modele d'une arcade dentaire | |
| Pires et al. | Wound area assessment using mobile application | |
| EP3365868B1 (fr) | Analyse numerique d'une image numerique representant une plaie pour sa caracterisation automatique | |
| WO2022238658A1 (fr) | Suivi semi-automatise d'une plaie | |
| WO2013119102A1 (fr) | Méthodologie et appareil pour évaluation objective et in vivo de la croissance du tissu de granulation dans des ulcères chroniques à l'aide de l'imagerie numérique | |
| US20120093389A1 (en) | Temporal oximeter | |
| Pratumgul et al. | The prototype of computer-assisted for screening and identifying severity of diabetic retinopathy automatically from color fundus images for mhealth system in Thailand | |
| Vasconcelos et al. | Improving Teledermatology Referral with Edge-AI: Mobile App to Foster Skin Lesion Imaging Standardization | |
| KR20230144797A (ko) | 병원에서 욕창 상태를 결정하고 치료하기 위한 장치 및 장치의 동작 방법 | |
| Cash | Using Domain-Specific Information in Image Processing Applied Mathematics Scientific Computing (AMSC) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22727384 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2022727384 Country of ref document: EP |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2022727384 Country of ref document: EP Effective date: 20231211 |