WO2022145999A1 - 인공지능 기반의 자궁경부암 검진 서비스 시스템 - Google Patents

인공지능 기반의 자궁경부암 검진 서비스 시스템 Download PDF

Info

Publication number
WO2022145999A1
WO2022145999A1 PCT/KR2021/020091 KR2021020091W WO2022145999A1 WO 2022145999 A1 WO2022145999 A1 WO 2022145999A1 KR 2021020091 W KR2021020091 W KR 2021020091W WO 2022145999 A1 WO2022145999 A1 WO 2022145999A1
Authority
WO
WIPO (PCT)
Prior art keywords
reading
cervical cancer
unit
cervical
image
Prior art date
Application number
PCT/KR2021/020091
Other languages
English (en)
French (fr)
Inventor
김태희
김학보
신현수
Original Assignee
㈜엔티엘헬스케어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ㈜엔티엘헬스케어 filed Critical ㈜엔티엘헬스케어
Priority to BR112023013249A priority Critical patent/BR112023013249A2/pt
Publication of WO2022145999A1 publication Critical patent/WO2022145999A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/303—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the vagina, i.e. vaginoscopes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present invention relates to a cervical cancer screening service system, and more particularly, to an artificial intelligence-based cervical cancer screening service system.
  • Cervical cancer the second most common cancer in women worldwide, is a cancer that can be diagnosed early through regular checkups. ) is high, so there is a need for a screening method that can compensate for this.
  • the present invention has been proposed to solve the above problems of the previously proposed methods, and by mounting a pre-learned first reading model to read a cervical image in a cervical cancer diagnosis camera device, the Internet environment is not smooth.
  • the purpose of this is to provide an AI-based cervical cancer screening service system that can help in cervical cancer screening by checking the AI reading results with a cervical cancer diagnosis camera device alone in the region.
  • the cervical cancer diagnosis camera device can directly transmit the cervical image to the server to request a reading, so that a reading can be conveniently requested and a reading report can be provided from a reading expert.
  • the server provides the AI reading result derived by applying the second reading model to the reading expert to help in the reading of the cervical image, which can increase the accuracy of the final reading result.
  • Another purpose is to provide an AI-based cervical cancer screening service system.
  • the present invention includes a central server that processes a read request and a plurality of regional servers located in preset regional bases, so that even in countries with slow Internet line speeds, the final result by a reading expert can be performed as quickly and efficiently as possible.
  • a central server that processes a read request
  • a plurality of regional servers located in preset regional bases so that even in countries with slow Internet line speeds, the final result by a reading expert can be performed as quickly and efficiently as possible.
  • Another purpose is to provide an AI-based cervical cancer screening service system that can provide a reading report.
  • An artificial intelligence-based cervical cancer screening service system for achieving the above object,
  • a cervical cancer diagnosis camera device that mounts a pre-trained first reading model to read a cervix image, takes the cervix, uses the captured cervix image as an input of the first reading model, and outputs an AI reading result;
  • a server that receives a reading request including the cervical image from the cervical cancer diagnosis camera device, requests a reading expert to read it, and provides a final reading report to a user of the cervical cancer diagnosis camera device,
  • the cervical cancer diagnosis camera device The cervical cancer diagnosis camera device
  • a camera unit for obtaining an image of the cervix by photographing the cervix
  • a first reading unit storing the first reading model, receiving the cervical image obtained from the camera unit, and predicting and outputting an AI reading result from the first reading model
  • a touch panel unit for outputting a real-time image captured by the camera unit and an AI reading result of the first reading unit, and receiving a user input signal
  • It is characterized in that it includes a communication unit for transmitting a read request including the cervical image to the server.
  • the server Preferably, the server,
  • a data generating unit that detects a cervical region from the cervical images classified according to the lesion criteria and generates and stores annotation data
  • a learning unit configured to learn a second reading model based on deep learning to predict a reading result by understanding the relationship between the cervical region image and the lesion reference in the cervical image by using the annotation data as training data;
  • a second reading unit for outputting an AI reading result based on artificial intelligence by applying the cervical image received from the cervical cancer diagnosis camera device to the second reading model learned by the learning unit;
  • a reading requesting unit that transmits the cervical image and the AI reading result of the second reading unit to a reading expert to request a final reading
  • a result providing unit that receives the final reading report from the reading expert and provides the result to the user of the cervical cancer diagnosis camera device.
  • the first reading unit More preferably, the first reading unit,
  • AI reading results can be predicted and output.
  • the first reading unit More preferably, the first reading unit,
  • the cervical cancer diagnosis camera device The cervical cancer diagnosis camera device
  • the test is terminated, and the AI reading result output from the first reading unit has the highest positive probability or is the same as the user's opinion If different, it may further include a control unit for transmitting the read request to the server through the communication unit.
  • the first read model and the second read model include:
  • the communication unit includes
  • the cervical image may be transmitted to an application installed in the user device.
  • the server More preferably, the server,
  • It is configured to include a central server that provides a final reading report according to the reading request and a plurality of regional servers located in preset regional bases,
  • the communication unit of the cervical cancer diagnosis camera device transmits the read request to a local server of the nearest base among the local servers,
  • the local server receiving the read request may transmit the read request to the central server, and receive and provide a final read report according to the read request.
  • the server Even more preferably, the server,
  • the payment processor may further include a payment processing unit that manages the user's points and deducts the points when the read request is received from the cervical cancer diagnosis camera device.
  • the first reading model pre-learned to read the cervical image is mounted on the cervical cancer diagnosis camera device, so that the uterus even in an area where the Internet environment is not smooth
  • the cervical cancer diagnosis camera device alone can check the AI reading results to help cervical cancer screening.
  • the cervical cancer diagnosis camera device can directly transmit the cervical image to the server and request a reading, so it is convenient By requesting a reading and receiving a reading report from a reading expert, the convenience of the medical staff can be maximized. By helping, the accuracy of the final reading result can be increased.
  • the AI-based cervical cancer screening service system proposed in the present invention, by configuring a central server that processes a reading request and a plurality of regional servers located in preset regional bases, the Internet line speed is improved Even in slow countries, it is possible to provide a final reading report by a reading expert as quickly and efficiently as possible.
  • FIG. 1 is a diagram showing the configuration of an AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a detailed configuration of a cervical cancer diagnosis camera device in an AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a manufacturing process of a camera unit in an AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a comparison between an image of a cervix and an image of a cervix with reduced light reflection in the AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a detailed configuration of a server in an AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating, for example, annotation data stored by a data generator in an AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating, for example, a configuration of a detection model in an AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • FIG. 8 is a view showing, for example, a detection result by a detection model of an AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating, for example, a configuration of a reading model in an AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating, for example, a reading result of a classification model in an AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • the AI-based cervical cancer screening service system may include a cervical cancer diagnosis camera device 100 and a server 200 , and a user device 300 and a reading expert device 400 may be further included.
  • the cervical cancer diagnosis camera device 100 is equipped with a pre-trained first reading model to read a cervix image, the cervix is photographed, and the captured cervix image is input to the first reading model, and the AI reading result is obtained. can be printed out. More specifically, the cervical cancer diagnosis camera device 100 is a device that acquires a cervical image by photographing the cervix. You can print it yourself. A detailed configuration of the cervical cancer diagnosis camera apparatus 100 will be described in detail later with reference to FIG. 2 .
  • the server 200 receives a reading request including a cervical image from the cervical cancer diagnosis camera device 100 , requests a reading expert to read it, and provides a final reading report to the user of the cervical cancer diagnosis camera device 100 . can do. That is, when it is difficult for the medical staff to be convinced by only the AI reading result of the first reading model mounted on the cervical cancer diagnosis camera device 100 , the server 200 may be requested to read as an additional measure and a final reading report may be provided.
  • the server 200 includes an independent second reading model different from the first reading model mounted on the cervical cancer diagnosis camera device 100, and provides the AI reading result derived by the second reading model to the reading expert By doing so, it is possible to support the judgment of the reading expert and increase the accuracy of the final reading result.
  • the server 200 can utilize a lot of computational resources and big data, unlike the cervical cancer diagnosis camera device 100, it uses a highly accurate second reading model to provide a highly reliable AI reading result to a reading expert even if there is a lot of computation. can provide A detailed configuration of the server 200 will be described in detail later with reference to FIG. 5 .
  • the server 200 may include a central server that provides a final reading report according to a reading request and a plurality of regional servers located in preset regional bases.
  • the cervical cancer diagnosis camera device 100 transmits a read request to a local server at a base closest to the local servers, and the local server receiving the read request transmits a read request to the central server and a final read report according to the read request can be received and provided.
  • overseas medical staff using the cervical cancer diagnosis camera device 100 may transmit a cervical image to a local server at a base closest to a plurality of local servers, access the local server, and check the final reading report.
  • domestic reading experts can respond to requests from many foreign countries using only reading devices and programs.
  • the server 200 as a central server that processes a read request and a plurality of regional servers located in preset regional bases, a read request requested in a country with a slow Internet line speed is processed as quickly and efficiently as possible. and can provide a final reading report.
  • the user device 300 may be a terminal of a user that performs cervical cancer screening using the cervical cancer diagnosis camera device 100 .
  • the user may check the final reading report provided from the server 200 through an application or web program installed in the user device 300 .
  • the reading expert device 400 may be a reading expert's terminal that receives a reading request from the server 200 , reads a cervical image, prepares a final reading report, and transmits it to the server 200 .
  • the reading expert may install a reading program in the reading expert device 400 and receive and respond to a reading request from the server 200 .
  • the user device 300 and the reading expert device 400 may be implemented as various electronic devices capable of Internet communication.
  • the electronic device is a smart phone, a tablet PC (personal computer), a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation ), a server, a personal digital assistant (PDA), a media box, a game console, an electronic dictionary, or a wearable device may include at least one of, and the wearable device is an accessory type (eg, a watch, a ring, Bracelets, anklets, necklaces, eyeglasses, contact lenses, or head-mounted-devices (HMDs), fabrics or integral garments (such as electronic garments), body-mounted (such as skin pads or tattoo), or at least one of an implantable circuit.
  • the electronic device is not limited to the aforementioned devices, but may be a combination of two or more of the aforementioned various devices. have.
  • the cervical cancer diagnosis camera device 100 of the AI-based cervical cancer screening service system includes a camera unit 110 , a first reader unit 120 , It may be configured to include the touch panel unit 130 and the communication unit 140 , and may further include a control unit 150 , a handle unit 160 , and an alarm unit 170 .
  • the camera unit 110 may acquire an image of the cervix by photographing the cervix.
  • the camera unit 110 may include a high-resolution Time-of-Flight (ToF) sensor. That is, a three-dimensional image of the structure of the cervix can be confirmed using the camera unit 110 to which the ToF sensor is applied, and information on the surface tissue of the cervix can be obtained and optimized to discriminate lesions on the surface of the cervix.
  • ToF Time-of-Flight
  • the camera unit 110 of the cervical cancer diagnosis camera device 100 includes a camera lens 111 and a polarized light. It may be configured to include a filter unit 112 .
  • the camera unit 110 may be configured with a camera lens 111 for photographing the cervix at the distal end of the camera module, reduce light reflection to improve the image quality of the cervix image, and use the cervix image
  • the polarization filter unit 112 may be further included.
  • FIG. 4 is a diagram illustrating a comparison between an image of a cervix and an image of a cervix with reduced light reflection in the AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • the presence or absence of white epithelial lesions and the severity of the lesions are read and graded by a gynecologist oncologist.
  • the mucus is removed to prevent obstruction of the diagnostic visual field due to the light reflection.
  • a syringe or 3-5% acetic acid CH 3 COOH
  • CH 3 COOH 3-5% acetic acid
  • a method such as adjusting the color tone of the camera or using stereo photography may be used.
  • the image shown on the right side of FIG. As shown, the white light reflection is significantly reduced, so that a highly reliable cervical image can be obtained.
  • the polarization filter unit 112 is attached to the camera lens 111 located at the distal end of the camera module, and may be composed of a polarizing film made of a coated negative film material. As shown in FIG. 3 , the polarizing filter unit 112 may be configured by attaching a polarizing film to the camera lens 111 using a UV adhesive, and attaching a plurality of polarizing films to the camera lens 111 by overlapping them. may be configured.
  • a polarizing film made of a coated negative film material has the advantages of being adjustable in size, light weight, and low in unit cost, and is a flexible material that is attached to the camera lens 111 and is easy to implement by integrating the camera unit 100 .
  • the polarization angle can be adjusted, and the color and angle can be changed according to the amount of overlap, so that the polarization efficiency can be improved by 50% or more.
  • a linear polarizer filter (PL) or a circular polarizer filter (CPL) may be used as the polarizing film.
  • the polarizing filter unit 112 may further include a long pass filter that transmits a long wave between the camera lens 111 and the polarizing film.
  • the camera unit 110 irradiating light to the object to be photographed at the end, may be configured to further include a light source composed of a high-brightness LED.
  • a light source composed of a high-brightness LED.
  • high-brightness white LED and RGB LED can be used, and a standard light source can be provided to take a clear image with the same primary color.
  • the first reading unit 120 may store the first reading model, receive the cervical image acquired from the camera unit 110 , and predict and output the AI reading result from the first reading model. In this case, since the first reading unit 120 uses a cervical image in which light reflection is reduced by the polarization filter unit 112 , reading accuracy can be greatly improved. In addition, the first reading unit 120 may predict and output the AI reading result in the embedded state, and may output negative, positive, and the possibility of the need for biopsy, respectively, as probabilities. For example, it can be output as negative 23%, positive 47%, biopsy required 30%, etc.
  • the first reading unit 120 is equipped with a pre-trained first reading model to predict the presence or absence of cervical cancer from a cervical image, and reads the reading result in an embedded state without separate communication with the web server 200 or the like. It can be derived and printed. That is, the learning of the first reading model is processed by the server 200, etc., and the learned model is pre-loaded in the first reading unit 120 at the time of shipment or mounted using wired/wireless communication to enable embedded prediction, and if necessary Accordingly, the first reading model may be updated through wired/wireless communication.
  • the first reading model is an artificial intelligence model learned using a large amount of cervical images labeled with cervical cancer, precancerous stage, voice, etc., and artificial intelligence such as a convolutional neural network (CNN) and a recurrent neural network (RNN) It may be based on a neural network or a random forest classifier.
  • CNN convolutional neural network
  • RNN recurrent neural network
  • the first reading model needs to output the AI reading result from the cervical cancer diagnosis camera device 100 with limited computational resources, it may be a lightweight model to use less computational resources, and transfer learning is used to It may have been learned. Transfer learning is the reuse of an already trained model for a new problem. Since it uses an already trained model, it has the advantage of being able to train deep neural networks with relatively little data. Also, most real-world problems can be useful because you don't usually have millions of labeled data to train a complex model.
  • the touch panel unit 130 may output a real-time image captured by the camera unit 110 and an AI reading result of the first reader 120 , and receive a user input signal.
  • a 6-inch touch panel may be applied, the direction may be adjusted by a tilt method, and a manipulation signal including a focus position touch input of the camera unit 110 may be input.
  • the communication unit 140 may transmit a read request including the cervical image to the server 200 .
  • the communication network used by the communication unit 140 is a wired network such as a local area network (LAN), a wide area network (WAN), or a value added network (VAN) or a mobile communication network (mobile).
  • radio communication network such as a local area network (LAN), a wide area network (WAN), or a value added network (VAN) or a mobile communication network (mobile).
  • radio communication network such as a local area network (LAN), a wide area network (WAN), or a value added network (VAN) or a mobile communication network (mobile).
  • radio communication network such as a local area network (LAN), a wide area network (WAN), or a value added network (VAN) or a mobile communication network (mobile).
  • radio communication network such as a local area network (LAN), a wide area network (WAN), or a value added network (VAN) or a mobile communication network (mobile).
  • satellite communication network such as a local area network
  • the communication unit 140 may transmit various signals and data together while transmitting an image of the cervix with reduced light reflection to the server 200 according to a manipulation signal input through the touch panel unit 130 . Therefore, when the reading result by the first reading unit 120 output to the touch panel unit 130 does not match the user's opinion or when a biopsy is required, the user transmits the cervical image to the server 200 while You can request an image reading or biopsy.
  • the communication unit 140 may transmit the cervical image to an application installed in the user device 300 . Accordingly, the user may check the cervical image captured by the cervical cancer diagnosis camera device 100 through the application.
  • the controller 150 terminates the test, and the AI reading result output from the first reading unit 120 is determined. If the positive probability is highest or is different from the user's opinion, a read request may be transmitted to the server 200 through the communication unit 140 .
  • the first reading unit 120 may output negative, positive, and the possibility of the need for biopsy, respectively, as probabilities, and the control unit 150 receives the opinions of users such as medical staff through the touch panel unit 130 It is possible to receive input, compare the AI reading result with the user's opinion, and determine whether to request a reading to the server 200 and process it.
  • the handle unit 160 may be configured to photograph the cervix in a handheld manner. That is, as in the case of the cervical cancer diagnosis camera device 100 shown in FIG. 1 , the user holds the handle 160 and can take a picture while checking the real-time cervical image output to the touch panel 130 in real time. It can also be provided with a shooting button on the handle so that you can comfortably shoot with one hand.
  • the camera unit 110 may include a correction function and an auto-focus function for hand-shake, and may alleviate even light shake to stably acquire a cervical image in a hand-held manner.
  • the alarm unit 170 may generate an alarm when a problem occurs. That is, when an error occurs in the cervical diagnosis camera device 100 , an alarm sound may be generated or an alarm may be output to the touch panel unit 130 , and an alarm may be transmitted to the server 200 to enable integrated control.
  • the server 200 of the AI-based cervical cancer screening service system includes a data generating unit 210 , a learning unit 220 , and a second reading unit ( 230 ), the read request unit 240 , and the result providing unit 250 may be included, and may further include a payment processing unit 260 .
  • the data generator 210 may detect a cervix region from the cervix images classified according to the lesion criteria to generate and store annotation data.
  • the data generator 210 may collect a large amount of cervical images, and may classify positive, negative, and positive cervical cancer, precancerous stages, and the like. Since cervical images contain unnecessary regions other than the cervix, which may affect accurate cervical cancer diagnosis, it is possible to remove unnecessary regions and collect annotation data for diagnosis using only the cervical region.
  • FIG. 6 is a diagram illustrating, for example, annotation data stored by the data generator 210 in an AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • the data generator 210 of the AI-based cervical cancer screening service system according to an embodiment of the present invention selects the cervical region in the cervical image as a region of interest (RoI). ) in the form of a box to collect annotation data.
  • RoI region of interest
  • the data generator 210 may evaluate and verify the quality of the collected cervical image data to construct generalized high-quality learning data except for the low-quality data.
  • the low-quality data can be used as learning data for classifying technical defect images in the future by establishing a separate database.
  • the learning unit 220 may learn the second reading model based on deep learning to predict the reading result by understanding the relationship between the cervical region image and the lesion reference in the cervical image by using the annotation data as training data. . At this time, the learning unit 220 learns to detect the cervical region in the cervix image using the annotation data generated and stored by the data generating unit 210 , and predicts the reading result using the label classified according to the lesion criterion. can learn to do
  • the second reading unit 230 applies the cervical image received from the cervical cancer diagnosis camera device 100 to the second reading model learned by the learning unit 220 to output the AI reading result based on artificial intelligence.
  • the second reading model is an artificial intelligence model learned using a large amount of cervical images labeled with cervical cancer, precancerous stage, voice, etc., and artificial intelligence such as CNN (Convolutional Neural Network), RNN (Recurrent Neural Network) It may be based on a neural network or a random forest classifier.
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • the second reading model since the second reading model is learned by the learning unit 220 and operated in the server 200 such as performing prediction by the second reading unit 230, more computational resources can be used compared to the first reading model, and relatively Because real-time is not required, it can be configured with emphasis on accuracy. Accordingly, the second reading model may be configured as a deep learning model with a deep depth, and a model obtained by compressing and/or reducing the weight of the second reading model may be configured as the first reading model. Also, the server 200 may upgrade the second reading model by periodically performing additional learning using the newly collected cervical images.
  • the reading requesting unit 240 may transmit the cervical image and the AI reading result of the second reading unit 230 to a reading expert to request a final reading. That is, when a reading expert is requested to read, the AI reading result of the second reader 230 may be provided to assist the reading expert in decision making.
  • the result providing unit 250 may receive the final reading report from the reading expert and provide it to the user of the cervical cancer diagnosis camera device 100 .
  • the result providing unit 250 may provide the final reading report through an application or web program installed in the user device 300 .
  • the payment processing unit 260 may manage the user's points, and may deduct the points upon receiving a read request from the cervical cancer diagnosis camera device 100 .
  • the payment processing unit 260 may manage the user's points, and may deduct the points upon receiving a read request from the cervical cancer diagnosis camera device 100 .
  • a user who uses the cervical cancer diagnosis camera device 100 abroad makes a request for reading, it is difficult to use the same payment method as in Korea. payment can be processed in this way.
  • the first reading model and the second reading model may include a detection model for detecting a cervical region in the cervical image, and a classification model for predicting an AI reading result from the cervical region detected in the detection model. That is, the first reading model or the second reading model may be a model that performs both detection and reading, but may include a detection model specialized for cervical region detection and a classification model for classifying and reading an image.
  • the first reading model and the second reading model of the AI-based cervical cancer screening service system may use a detection model implemented using RetinaNet, Depending on the example, faster RCNN may be used. That is, based on a model such as RetinaNet or faster RCNN, a detection model specialized for cervical position detection can be configured by modifying the hyper parameter by using the cervical image in which the region of interest is displayed as training data.
  • the detection models constituting the first reading model and the second reading model are learned using annotation data as shown in FIG. 6 , and unnecessary regions are removed from the cervix image and the position of the cervix is determined as a region of interest (Region of Interest). Interest, RoI) can be extracted.
  • FIG. 8 is a diagram illustrating, for example, a detection result by a detection model of an AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • a red box indicates a region of interest detected by a detection model of an AI-based cervical cancer screening service system according to an embodiment of the present invention
  • a green box indicates standard annotation data.
  • the learned detection model is specialized for cervical position detection, so that unnecessary parts can be removed from the image and only the region of interest can be extracted with high accuracy.
  • FIG. 9 is a diagram illustrating, for example, a configuration of a reading model in an AI-based cervical cancer screening service system according to an embodiment of the present invention.
  • the first reading model and the second reading model of the AI-based cervical cancer screening service system according to an embodiment of the present invention may use a classification model implemented using ResNet, Depending on the example, InceptionResNet may be used.
  • the classification model may be first trained to distinguish between positive and negative, and then additionally trained to distinguish between positive and negative cases requiring a biopsy. The classification model can be tested through k-fold cross validation.
  • the classification model may be trained using transfer learning.
  • Transfer learning is the reuse of an already trained model for a new problem. Since it uses an already trained model, it has the advantage of being able to train deep neural networks with relatively little data. Also, most real-world problems can be useful because you don't usually have millions of labeled data to train a complex model.
  • transfer learning by using such transfer learning to generate an artificial intelligence classification model optimized for a domestic patient from a model already trained with a large amount of data, more precise and high-accuracy reading results can be obtained.
  • the classification model constituting the first reading model and the second reading model may classify the ROI detected in the detection model and output a reading result. More specifically, the first reading model and the second reading model may output probabilities of negative, positive, and biopsy needs, respectively, as probabilities. For example, it can be output as negative 23%, positive 47%, biopsy required 30%, etc. In this case, since the classification model uses a cervical image with reduced light reflection, reading accuracy can be greatly improved.
  • the collected cervical images are classified and labeled as normal and abnormal, trained with a total of 7,657 labeled images (normal: 2,829, abnormal: 5,028), and modeled with 1,965 images (normal: 708, abnormal: 1,257) By using it for verification, a classification model was created. At this time, the ResNet-50 algorithm specialized in classification among deep learning architecture algorithms was optimized for cervical data and learned.
  • the generated classification model showed precision of 91.72%, recall of 78.24%, and F1 score of 84.44%, and as a result of analysis through ROC curve, AUC (Area Under the Curve) value of 95% was recorded.
  • FIG. 10 is a diagram illustrating, for example, a reading result of a classification model in an AI-based cervical cancer screening service system according to an embodiment of the present invention. As shown in FIG. 10 , it is confirmed that the classification model of the AI-based cervical cancer screening service system according to an embodiment of the present invention has excellent performance in predicting the reading result by classifying normal and abnormal. can
  • the first reading model pre-trained to read the cervical image is mounted on the cervical cancer diagnosis camera device 100, and the Internet Even in an area where the environment is not smooth, the cervical cancer diagnosis camera device 100 alone can check the AI reading result to help cervical cancer screening.
  • the cervical cancer diagnosis camera device 100 directly transmits the cervical image to the server 200 to request a reading. Therefore, it is possible to conveniently request a reading and receive a reading report from a reading expert, thereby maximizing the convenience of the medical staff, and the server 200 can read the AI reading result derived by applying the second reading model to the reading expert The accuracy of the final reading result can be increased by providing the
  • the AI-based cervical cancer screening service system proposed in the present invention, by configuring a central server that processes a reading request and a plurality of regional servers located in preset regional bases, the Internet line speed is improved Even in slow countries, it is possible to provide a final reading report by a reading expert as quickly and efficiently as possible.
  • the present invention may include a computer-readable medium including program instructions for performing operations implemented in various communication terminals.
  • the computer-readable medium includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD_ROM and DVD, and floppy disks. It may include magneto-optical media and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Such a computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer-readable medium may be specially designed and configured to implement the present invention, or may be known and available to those skilled in the art of computer software.
  • it may include not only machine language code such as generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • Reproductive Health (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에서 제안하고 있는 인공지능 기반의 자궁경부암 검진 서비스 시스템에 따르면, 자궁경부암 진단 카메라 장치에 자궁경부 영상을 판독하도록 사전 학습된 제1 판독 모델을 탑재하여, 인터넷 환경이 원활하지 못한 지역에서도 자궁경부암 진단 카메라 장치 단독으로 AI 판독 결과를 확인하여 자궁경부암 검진에 도움을 줄 수 있다.

Description

인공지능 기반의 자궁경부암 검진 서비스 시스템
본 발명은 자궁경부암 검진 서비스 시스템에 관한 것으로서, 보다 구체적으로는 인공지능 기반의 자궁경부암 검진 서비스 시스템에 관한 것이다.
전 세계 여성 암 발생률 2위인 자궁경부암은 정기검진을 통해 조기진단이 가능한 암으로, 자궁경부암을 검진하는 가장 기본적인 검사방법으로는 세포검사가 있으나 민감도(sensitivity) 50~60%로 위음성률(오진율)이 높으므로, 이를 보완할 수 있는 검진방법이 필요하다.
현재 세포검사를 보완하기 위해, 자궁경부의 형태학적 이상 유무를 관찰하여 판독하는 방법이 사용되고 있는데, 촬영된 자궁경부 영상을 사람의 눈으로 진단하는 방법으로 주관적이고 즉각적이지 못한 한계가 있다.
이와 같은 한계를 극복하고 판독의 정확도를 높이기 위해, 등록특허 제10-2056847호(발명의 명칭: 자궁경부 자동판독 및 임상의사결정지원시스템 기반의 원격 자궁경부암 검진 시스템, 등록일자: 2019년 12월 11일) 등이 개시된 바 있다.
최근에는, 인공지능 기술이 발달하면서, 자궁경부 영상 판독에 딥러닝 기술을 적용하기 위한 연구들이 진행되고 있다. 그러나 아직 뚜렷한 연구성과는 없는 단계로, 충분한 정확도가 확보되지 않은 상태이다. 또한, 아프리카, 인도 등 의료 낙후지역에서도 사용하기 위한 배려가 부족하여, 기대만큼 효과적으로 활용되고 있지 못한 실정이다.
따라서 자궁경부 영상 판독 정확도를 높이고, 의료 낙후 지역에서도 효과적으로 사용될 수 있는 시스템의 개발이 필요한 실정이다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 자궁경부암 진단 카메라 장치에 자궁경부 영상을 판독하도록 사전 학습된 제1 판독 모델을 탑재하여, 인터넷 환경이 원활하지 못한 지역에서도 자궁경부암 진단 카메라 장치 단독으로 AI 판독 결과를 확인하여 자궁경부암 검진에 도움을 줄 수 있는, 인공지능 기반의 자궁경부암 검진 서비스 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 원격 판독이 필요한 경우, 자궁경부암 진단 카메라 장치에서 자궁경부 영상을 바로 서버에 전송하여 판독 요청을 할 수 있으므로, 편리하게 판독을 요청하고 판독 전문가로부터 판독 보고서를 제공받을 수 있어, 의료진의 편의를 극대화할 수 있으며, 서버가 제2 판독 모델을 적용해 도출한 AI 판독 결과를 판독 전문가에게 제공하여 자궁경부 영상의 판독에 도움을 줌으로써, 최종 판독 결과의 정확도를 높일 수 있는, 인공지능 기반의 자궁경부암 검진 서비스 시스템을 제공하는 것을 다른 목적으로 한다.
뿐만 아니라, 본 발명은, 판독 요청을 처리하는 중앙 서버와 미리 설정된 지역별 거점에 위치하는 복수의 지역 서버를 포함해 구성함으로써, 인터넷 회선 속도가 느린 국가에서도 가능한 한 신속하고 효율적으로 판독 전문가에 의한 최종 판독 보고서를 제공할 수 있는, 인공지능 기반의 자궁경부암 검진 서비스 시스템을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템은,
자궁경부암 검진 서비스 시스템으로서,
자궁경부 영상을 판독하도록 사전 학습된 제1 판독 모델을 탑재하여, 자궁경부를 촬영하고 촬영한 자궁경부 영상을 상기 제1 판독 모델의 입력으로 하여, AI 판독 결과를 출력하는 자궁경부암 진단 카메라 장치; 및
상기 자궁경부암 진단 카메라 장치로부터 상기 자궁경부 영상을 포함하는 판독 요청을 수신하고, 판독 전문가에게 판독을 의뢰하여 상기 자궁경부암 진단 카메라 장치의 사용자에게 최종 판독 보고서를 제공하는 서버를 포함하며,
상기 자궁경부암 진단 카메라 장치는,
자궁경부를 촬영하여 자궁경부 영상을 획득하는 카메라부;
상기 제1 판독 모델을 저장하고, 상기 카메라부에서 획득한 자궁경부 영상을 전달받아, 상기 제1 판독 모델로부터 AI 판독 결과를 예측하여 출력하는 제1 판독부;
상기 카메라부에서 촬영되는 실시간 영상 및 상기 제1 판독부의 AI 판독 결과를 출력하고, 사용자 입력 신호를 입력받는 터치 패널부; 및
상기 자궁경부 영상을 포함하는 판독 요청을 상기 서버에 전송하는 통신부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 서버는,
병변 기준에 따라 분류된 자궁경부 영상에서, 자궁경부 영역을 검출해 주석(annotation) 데이터를 생성하여 저장하는 데이터 생성부;
상기 주석 데이터를 학습 데이터로 하여, 자궁경부 영상 내의 자궁경부 영역 이미지와 병변 기준 사이의 관계를 이해하여 판독 결과를 예측하도록 딥러닝 기반으로 제2 판독 모델을 학습하는 학습부;
상기 자궁경부암 진단 카메라 장치로부터 수신한 상기 자궁경부 영상을, 상기 학습부에서 학습한 상기 제2 판독 모델에 적용해 인공지능 기반으로 AI 판독 결과를 출력하는 제2 판독부;
상기 자궁경부 영상 및 상기 제2 판독부의 AI 판독 결과를 판독 전문가에게 전송하여 최종 판독을 요청하는 판독 요청부; 및
상기 판독 전문가로부터 최종 판독 보고서를 수신하여, 상기 자궁경부암 진단 카메라 장치의 사용자에게 제공하는 결과 제공부를 포함할 수 있다.
더욱 바람직하게는, 상기 제1 판독부는,
임베디드 상태에서 AI 판독 결과를 예측하여 출력할 수 있다.
더욱 바람직하게는, 상기 제1 판독부는,
음성, 양성 및 조직검사 필요의 가능성을 각각 확률로 출력하며,
상기 자궁경부암 진단 카메라 장치는,
상기 제1 판독부에서 출력되는 AI 판독 결과가 음성 확률이 가장 높고, 사용자의 소견과 일치하면 검사를 종료하고, 상기 제1 판독부에서 출력되는 AI 판독 결과가 양성 확률이 가장 높거나 사용자 소견과 상이하면, 상기 통신부를 통해 상기 판독 요청을 상기 서버에 전송하는 제어부를 더 포함할 수 있다.
더욱 바람직하게는, 상기 제1 판독 모델 및 제2 판독 모델은,
상기 자궁경부 영상에서 자궁경부 영역을 검출하는 검출 모델; 및
상기 검출 모델에서 검출된 자궁경부 영역으로부터 AI 판독 결과를 예측하는 분류 모델을 포함하여 구성될 수 있다.
더욱 바람직하게는,
상기 자궁경부암 진단 카메라 장치를 사용해 자궁경부암 검진을 수행하는 사용자의 사용자 디바이스를 더 포함하며,
상기 결과 제공부는,
상기 사용자 디바이스에 설치된 애플리케이션 또는 웹 프로그램을 통해 상기 최종 판독 보고서를 제공하고,
상기 통신부는,
상기 사용자 디바이스에 설치된 애플리케이션에 상기 자궁경부 영상을 전송할 수 있다.
더욱 바람직하게는, 상기 서버는,
상기 판독 요청에 따른 최종 판독 보고서를 제공하는 중앙 서버와 미리 설정된 지역별 거점에 위치하는 복수의 지역 서버를 포함하여 구성되되,
상기 자궁경부암 진단 카메라 장치의 통신부는, 상기 지역 서버 중에서 가장 가까운 거점의 지역 서버에 상기 판독 요청을 전송하며,
상기 판독 요청을 수신한 지역 서버는, 상기 중앙 서버로 상기 판독 요청을 전송하고, 상기 판독 요청에 따른 최종 판독 보고서를 수신하여 제공할 수 있다.
더더욱 바람직하게는, 상기 서버는,
사용자의 포인트를 관리하며, 상기 자궁경부암 진단 카메라 장치로부터 상기 판독 요청을 수신하면 상기 포인트를 차감하는 결제 처리부를 더 포함할 수 있다.
본 발명에서 제안하고 있는 인공지능 기반의 자궁경부암 검진 서비스 시스템에 따르면, 자궁경부암 진단 카메라 장치에 자궁경부 영상을 판독하도록 사전 학습된 제1 판독 모델을 탑재하여, 인터넷 환경이 원활하지 못한 지역에서도 자궁경부암 진단 카메라 장치 단독으로 AI 판독 결과를 확인하여 자궁경부암 검진에 도움을 줄 수 있다.
또한, 본 발명에서 제안하고 있는 인공지능 기반의 자궁경부암 검진 서비스 시스템에 따르면, 원격 판독이 필요한 경우, 자궁경부암 진단 카메라 장치에서 자궁경부 영상을 바로 서버에 전송하여 판독 요청을 할 수 있으므로, 편리하게 판독을 요청하고 판독 전문가로부터 판독 보고서를 제공받을 수 있어, 의료진의 편의를 극대화할 수 있으며, 서버가 제2 판독 모델을 적용해 도출한 AI 판독 결과를 판독 전문가에게 제공하여 자궁경부 영상의 판독에 도움을 줌으로써, 최종 판독 결과의 정확도를 높일 수 있다.
뿐만 아니라, 본 발명에서 제안하고 있는 인공지능 기반의 자궁경부암 검진 서비스 시스템에 따르면, 판독 요청을 처리하는 중앙 서버와 미리 설정된 지역별 거점에 위치하는 복수의 지역 서버를 포함해 구성함으로써, 인터넷 회선 속도가 느린 국가에서도 가능한 한 신속하고 효율적으로 판독 전문가에 의한 최종 판독 보고서를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 자궁경부암 진단 카메라 장치의 세부적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 카메라부의 제작 과정을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 자궁경부 영상과 빛 반사가 감소된 자궁경부 영상을 비교하여 도시한 도면.
도 5는 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 서버의 세부적인 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 데이터 생성부가 저장한 주석 데이터를 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 검출 모델의 구성을 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템의 검출 모델에 의한 검출 결과를 예를 들어 도시한 도면.
도 9는 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 판독 모델의 구성을 예를 들어 도시한 도면.
도 10은 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 분류 모델의 판독 결과를 예를 들어 도시한 도면.
<부호의 설명>
100: 자궁경부암 진단 카메라 장치
110: 카메라부
111: 카메라 렌즈
112: 편광 필터부
120: 제1 판독부
130: 터치 패널부
140: 통신부
150: 제어부
160: 손잡이부
170: 알람부
200: 서버
210: 데이터 생성부
220: 학습부
230: 제2 판독부
240: 판독 요청부
250: 결과 제공부
260: 결제 처리부
300: 사용자 디바이스
400: 판독 전문가 디바이스
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템은, 자궁경부암 진단 카메라 장치(100) 및 서버(200)를 포함하여 구성될 수 있으며, 사용자 디바이스(300) 및 판독 전문가 디바이스(400)를 더 포함하여 구성될 수 있다.
자궁경부암 진단 카메라 장치(100)는, 자궁경부 영상을 판독하도록 사전 학습된 제1 판독 모델을 탑재하여, 자궁경부를 촬영하고 촬영한 자궁경부 영상을 제1 판독 모델의 입력으로 하여, AI 판독 결과를 출력할 수 있다. 보다 구체적으로, 자궁경부암 진단 카메라 장치(100)는, 자궁경부를 촬영해 자궁경부 영상을 획득하는 장치로써, 인공지능 기반의 제1 판독 모델을 탑재해 통신망의 사용 없이도 임베디드 모델을 사용해 AI 판독 결과를 자체적으로 출력할 수 있다. 자궁경부암 진단 카메라 장치(100)의 세부적인 구성에 대해서는 추후 도 2를 참조하여 상세히 설명하도록 한다.
서버(200)는, 자궁경부암 진단 카메라 장치(100)로부터 자궁경부 영상을 포함하는 판독 요청을 수신하고, 판독 전문가에게 판독을 의뢰하여 자궁경부암 진단 카메라 장치(100)의 사용자에게 최종 판독 보고서를 제공할 수 있다. 즉, 자궁경부암 진단 카메라 장치(100)에 탑재된 제1 판독 모델의 AI 판독 결과만으로는 의료진이 확신하기 힘든 경우, 추가적인 조치로 서버(200)에 판독을 의뢰하여 최종 판독 보고서를 제공받을 수 있다.
여기서, 서버(200)는, 자궁경부암 진단 카메라 장치(100)에 탑재된 제1 판독 모델과 다른 독자적인 제2 판독 모델을 포함하고, 제2 판독 모델에 의해 도출된 AI 판독 결과를 판독 전문가에게 제공함으로써, 판독 전문가의 판단을 지원하고 최종 판독 결과의 정확도를 높일 수 있다. 특히, 서버(200)는 자궁경부암 진단 카메라 장치(100)와 달리 많은 계산 자원과 빅데이터를 활용할 수 있으므로, 계산량이 많더라도 정확도가 높은 제2 판독 모델을 사용해 신뢰도 높은 AI 판독 결과를 판독 전문가에게 제공할 수 있다. 서버(200)의 세부적인 구성에 대해서는 추후 도 5를 참조하여 상세히 설명하도록 한다.
한편, 해외에 있는 의료진이 자궁경부암 진단 카메라 장치(100)를 사용할 때, 각 국가와 지역마다 인터넷 환경이 다르므로, 인터넷 회선 속도가 느린 국가에서 국내의 서버(200)에 실시간으로 자궁경부 영상을 전송하기는 쉽지 않을 수 있다. 따라서, 서버(200)는, 판독 요청에 따른 최종 판독 보고서를 제공하는 중앙 서버와 미리 설정된 지역별 거점에 위치하는 복수의 지역 서버를 포함하여 구성될 수 있다. 자궁경부암 진단 카메라 장치(100)는, 지역 서버 중에서 가장 가까운 거점의 지역 서버에 판독 요청을 전송하며, 판독 요청을 수신한 지역 서버는, 중앙 서버로 판독 요청을 전송하고 판독 요청에 따른 최종 판독 보고서를 수신하여 제공할 수 있다.
따라서 자궁경부암 진단 카메라 장치(100)를 사용하는 해외의 의료진은, 복수의 지역 서버 중 가장 가까운 거점의 지역 서버에 자궁경부 영상을 전송하고, 해당 지역 서버에 접속하여 최종 판독 보고서를 확인할 수 있다. 또한, 국내의 판독 전문가는 판독 디바이스와 프로그램만 사용해 해외 여러 국가의 의뢰에 대응할 수 있다.
이와 같이, 서버(200)를 판독 요청을 처리하는 중앙 서버와 미리 설정된 지역별 거점에 위치하는 복수의 지역 서버로 구성함으로써, 인터넷 회선 속도가 느린 국가에서 요청된 판독 요청을 가능한 한 신속하고 효율적으로 처리하고 최종 판독 보고서를 제공할 수 있다.
사용자 디바이스(300)는, 자궁경부암 진단 카메라 장치(100)를 사용해 자궁경부암 검진을 수행하는 사용자의 단말기일 수 있다. 사용자는 사용자 디바이스(300)에 설치된 애플리케이션 또는 웹 프로그램을 통해 서버(200)로부터 제공받은 최종 판독 보고서를 확인할 수 있다.
판독 전문가 디바이스(400)는, 서버(200)로부터 판독 요청을 받아 자궁경부 영상의 판독을 하고, 최종 판독 보고서를 작성해 서버(200)에 전송하는 판독 전문가의 단말기일 수 있다. 판독 전문가는, 판독 전문가 디바이스(400)에 판독 프로그램을 설치하고 서버(200)로부터 판독 요청을 수신해 대응할 수 있다.
사용자 디바이스(300) 및 판독 전문가 디바이스(400)는 인터넷 통신이 가능한 다양한 전자 장치로 구현될 수 있다. 여기서, 전자 장치는 스마트폰, 태블릿(tablet) PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) 컴퓨터, 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), 미디어 박스, 게임 콘솔, 전자사전 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으며, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리착용형 장치(HMD, head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 전술한 기기들에 한정되지는 않으며, 전술한 다양한 장치 중 둘 이상의 조합일 수 있다.
도 2는 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 자궁경부암 진단 카메라 장치(100)의 세부적인 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템의 자궁경부암 진단 카메라 장치(100)는, 카메라부(110), 제1 판독부(120), 터치 패널부(130) 및 통신부(140)를 포함하여 구성될 수 있으며, 제어부(150), 손잡이부(160) 및 알람부(170)를 더 포함하여 구성될 수 있다.
카메라부(110)는, 자궁경부를 촬영하여 자궁경부 영상을 획득할 수 있다. 실시예에 따라서, 카메라부(110)는, 고해상도 ToF(Time-of-Flight) 센서를 포함할 수 있다. 즉, ToF 센서가 적용된 카메라부(110)를 이용해 자궁경부의 입체적인 구조 이미지를 확인할 수 있고, 자궁경부의 표면 조직에 대한 정보를 획득해 자궁경부 표면의 병변을 감별하는데 최적화할 수 있다.
도 3은 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 카메라부(110)의 제작 과정을 설명하기 위해 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 자궁경부암 진단 카메라 장치(100)의 카메라부(110)는, 카메라 렌즈(111)와 편광 필터부(112)를 포함하여 구성될 수 있다.
즉, 카메라부(110)는 카메라 모듈의 말단에 자궁경부를 촬영하기 위한 카메라 렌즈(111)를 구비해 구성될 수 있으며, 빛 반사를 감소시켜 자궁경부 영상의 화질을 향상시키고, 자궁경부 영상을 이용한 판독의 정확도를 높이기 위해 편광 필터부(112)를 더 포함하여 구성될 수 있다.
도 4는 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 자궁경부 영상과 빛 반사가 감소된 자궁경부 영상을 비교하여 도시한 도면이다. 자궁경부 영상 판독을 위해서는, 백색 상피 병변 유무와 병변의 심한 정도를 부인 종양 전문의가 판독하고 등급화하고 있다. 그러나, 도 4의 좌측에 도시된 자궁경부 영상에서 확인할 수 있는 바와 같이, 자궁경부 영상의 촬영 시 빛 반사로 인하여 점액과 백색 상피 병변의 감별이 어려워 판독의 어려움 있다.
이러한 빛 반사로 인한 진단 시야 방해를 막기 위해 점액을 제거하는데, 점액 감소를 위해 주사기(syringe)를 이용하거나 3~5%의 초산(acetic acid (CH3COOH))을 도포하기도 한다. 그러나, 카메라의 강한 영상 밝기로 인해 색 온도가 8,000˚K를 초과하면 백색 반사광이 발생하므로, 이러한 처리에도 불구하고 여전히 빛 반사가 발생하고, 이로 인해 도 4의 좌측에 도시된 바와 같이 병변 시야를 가리게 되어 진단에 어려움이 있다.
이와 같은 백색 반사광 감소를 위해, 카메라의 색조를 조절하거나, 스테레오 촬영을 이용하는 등의 방법을 사용할 수 있으나, 이는 반사광 제거용 카메라를 별도로 운영해야 하므로, 부피가 크고 무거우며 단가가 높은 문제가 있다.
본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서는, 편광 필터부(112)를 이용해 빛 반사 감소기술이 일체화된 카메라부(110)를 구현함으로써, 도 4의 우측에 도시된 바와 같이 백색의 빛 반사가 현저히 감소하여 신뢰도 높은 자궁경부 영상을 획득할 수 있다.
보다 구체적으로, 편광 필터부(112)는, 카메라 모듈의 말단에 위치한 카메라 렌즈(111)에 부착되며, 코팅 음화 필름 재질의 편광필름으로 구성될 수 있다. 도 3에 도시된 바와 같이, 편광 필터부(112)는, 편광필름을 UV 접착제를 이용해 카메라 렌즈(111)에 부착하여 구성될 수 있으며, 복수의 편광필름을 겹쳐서 카메라 렌즈(111)에 부착하여 구성될 수도 있다.
코팅 음화 필름 재질의 편광필름은, 크기 조절이 가능하고 가벼우며 단가가 낮은 장점이 있으며, 유연한 재질로 카메라 렌즈(111)에 부착해 카메라부(100)를 일체화하여 구현하기에 용이하다. 또한, 편광필름 여러 개를 겹쳐 부착하여, 편광 각도를 조절할 수 있으며, 겹침 수량에 따라 색과 각도를 변경할 수 있어서 편광 효율이 50% 이상 개선될 수 있다. 여기서, 편광필름으로는, PL(Linear Polarizer filter) 또는 CPL(Circular Polarizer filter)이 사용될 수 있다.
또한, 카메라 렌즈(111)와 편광 필터부(112) 사이에 외부 공기가 노출되면, 카메라 조명이 침투하여 역광이 발생할 수 있으며 카메라 성능이 역으로 50% 이하 떨어질 가능성이 있다. 따라서 도 3에 도시된 바와 같이, UV 접착제를 이용해 외부광원 침투를 차단할 수 있다. 한편, 편광 필터부(112)는, 카메라 렌즈(111)와 편광필름 사이에 장파를 투과하는 장파 패스 필터(long pass filter)를 더 포함하여 구성될 수 있다.
한편, 카메라부(110)는, 말단에서 촬영 대상에 광을 조사하며, 고휘도 LED로 구성된 광원을 더 포함하여 구성될 수 있다. 여기서, 광원은 고휘도 white LED 및 RGB LED를 사용할 수 있으며, 표준 광원을 제공해 원색과 동일하고 선명한 이미지를 촬영할 수 있다. 이러한 고휘도 광원을 포함함으로써, 자궁경부의 위치 특성상 360도에서 골고루 빛을 비춰주어야 하고, 어느 한 곳에서만 빛을 비추면 그림자가 생겨 정확한 영상을 얻기 어려운 문제를 극복할 수 있다.
제1 판독부(120)는, 제1 판독 모델을 저장하고, 카메라부(110)에서 획득한 자궁경부 영상을 전달받아, 제1 판독 모델로부터 AI 판독 결과를 예측하여 출력할 수 있다. 이때, 제1 판독부(120)는 편광 필터부(112)에 의해 빛 반사가 감소한 자궁경부 영상을 사용하기 때문에, 판독 정확도를 크게 높일 수 있다. 또한, 제1 판독부(120)는, 임베디드 상태에서 AI 판독 결과를 예측하여 출력할 수 있으며, 음성, 양성 및 조직검사 필요의 가능성을 각각 확률로 출력할 수 있다. 예를 들어, 음성 23%, 양성 47%, 조직검사 필요 30% 등으로 출력할 수 있다.
보다 구체적으로, 제1 판독부(120)는, 자궁경부 영상으로부터 자궁경부암 여부를 예측하도록 사전 학습된 제1 판독 모델을 탑재하여 웹 서버(200) 등과의 별도의 통신 없이 임베디드 상태에서 판독 결과를 도출하고 출력할 수 있다. 즉, 제1 판독 모델의 학습은 서버(200) 등에서 처리되고, 학습된 모델을 제1 판독부(120)에 출고 시 미리 탑재하거나, 유무선 통신을 사용해 탑재하여 임베디드 예측이 가능하도록 하고, 필요에 따라 유무선 통신으로 제1 판독 모델을 업데이트할 수 있다.
여기서, 제1 판독 모델은, 자궁경부암, 암 전 단계, 음성 등으로 레이블 된 대량의 자궁경부 영상을 이용해 학습된 인공지능 모델로서, CNN(Convolutional neural network), RNN(Recurrent Neural Network) 등의 인공신경망 또는 랜덤 포레스트 분류기(Random Forest Classifier) 등을 기반으로 할 수 있다.
특히, 제1 판독 모델은, 계산 자원이 한정된 자궁경부암 진단 카메라 장치(100)에서 AI 판독 결과를 출력해야 하므로, 적은 계산 자원을 사용하도록 경량화된 모델일 수 있으며, 전이 학습(Transfer learning)을 사용해 학습된 것일 수도 있다. 전이 학습은 새로운 문제에 대해 이미 훈련된 모델을 재사용하는 것이다. 이미 훈련된 모델을 사용하므로, 상대적으로 적은 데이터로 깊은 신경망을 훈련시킬 수 있는 장점이 있다. 또한, 대부분의 실제 문제들은 일반적으로 복잡한 모델을 훈련시키기 위해 수백만 개의 라벨이 붙은 데이터를 가지고 있지 않기 때문에 유용하게 사용될 수 있다.
제1 판독 모델의 구체적인 구성에 대해서는 추후 도 7 내지 도 10을 참조하여 상세히 설명하도록 한다.
터치 패널부(130)는, 카메라부(110)에서 촬영되는 실시간 영상 및 제1 판독부(120)의 AI 판독 결과를 출력하고, 사용자 입력 신호를 입력받을 수 있다. 이때, 6인치의 터치패널이 적용될 수 있으며, 틸트 방식으로 방향 조절이 가능하며, 카메라부(110)의 초점 위치 터치 입력을 포함하는 조작 신호를 입력받을 수 있다.
통신부(140)는, 자궁경부 영상을 포함하는 판독 요청을 서버(200)에 전송할 수 있다. 여기서, 통신부(140)가 사용하는 통신망은, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 5G(5th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다. 특히, 무선통신을 사용하면 자궁경부암 진단 카메라 장치(100)를 케이블 없이 편하게 사용할 수 있다. 또한, https(TLS 1.2) SSL 보안을 적용해 안전하게 영상이 전송될 수 있다.
특히, 통신부(140)는, 터치 패널부(130)를 통해 입력받은 조작 신호에 따라 빛 반사가 감소한 자궁경부 영상을 서버(200)에 전송하면서, 각종 신호 및 데이터를 함께 전송할 수 있다. 따라서 사용자는 터치 패널부(130)에 출력된 제1 판독부(120)에 의한 판독 결과가 사용자의 소견과 일치하지 않거나 조직검사 등이 필요한 경우이면, 서버(200)에 자궁경부 영상을 전송하면서 영상의 판독이나 조직검사의 의뢰를 요청할 수 있다.
또한, 통신부(140)는, 사용자 디바이스(300)에 설치된 애플리케이션에 자궁경부 영상을 전송할 수 있다. 따라서 사용자는 애플리케이션을 통해 자궁경부암 진단 카메라 장치(100)에서 촬영한 자궁경부 영상을 확인할 수 있다.
제어부(150)는, 제1 판독부(120)에서 출력되는 AI 판독 결과가 음성 확률이 가장 높고, 사용자의 소견과 일치하면 검사를 종료하고, 제1 판독부(120)에서 출력되는 AI 판독 결과가 양성 확률이 가장 높거나 사용자 소견과 상이하면, 통신부(140)를 통해 서버(200)에 판독 요청을 전송할 수 있다.
보다 구체적으로, 제1 판독부(120)는, 음성, 양성 및 조직검사 필요의 가능성을 각각 확률로 출력할 수 있는데, 제어부(150)는 터치 패널부(130)를 통해 의료진 등 사용자의 소견을 입력받고, AI 판독 결과와 사용자의 소견을 비교해 서버(200)에 판독 요청을 할지를 결정하고 처리할 수 있다.
손잡이부(160)는, 핸드헬드 방식으로 자궁경부를 촬영하기 위한 구성일 수 있다. 즉, 도 1에 도시된 자궁경부암 진단 카메라 장치(100)의 모습과 같이, 사용자가 손잡이부(160)를 잡고 터치 패널부(130)로 출력되는 실시간 자궁경부 영상을 실시간으로 확인하면서 촬영을 할 수 있으며, 한 손으로 편안하게 촬영할 수 있도록 촬영 버튼을 손잡이에 구비할 수도 있다. 또한, 카메라부(110)는, 손 떨림을 보정 기능과 자동초점 기능을 포함하여, 가벼운 흔들림까지 완화하여 핸드헬드 방식으로 안정적으로 자궁경부 영상을 획득할 수 있도록 할 수 있다.
알람부(170)는, 문제 발생 시 알람을 발생할 수 있다. 즉, 자궁경부 진단 카메라 장치(100)에서 오류가 발생하면 알람음을 발생하거나, 터치 패널부(130)로 알람을 출력할 수 있으며, 서버(200)에 알람을 전송하여 통합 관제가 가능하도록 할 수 있다.
도 5는 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 서버(200)의 세부적인 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템의 서버(200)는, 데이터 생성부(210), 학습부(220), 제2 판독부(230), 판독 요청부(240) 및 결과 제공부(250)를 포함하여 구성될 수 있으며, 결제 처리부(260)를 더 포함하여 구성될 수 있다.
데이터 생성부(210)는, 병변 기준에 따라 분류된 자궁경부 영상에서, 자궁경부 영역을 검출해 주석(annotation) 데이터를 생성하여 저장할 수 있다. 데이터 생성부(210)는 대량의 자궁경부 영상을 수집하고, 양성과 음성, 양성 중에서는 자궁경부암, 암 전 단계 등으로 분류할 수 있다. 자궁경부 영상에는 자궁경부 이외에 불필요한 영역이 포함되어 있으며, 이는 정확한 자궁경부암 진단에 영향을 미칠 가능성이 있으므로, 불필요한 영역을 제거하고 자궁경부 영역만을 사용해 진단하기 위해 주석 데이터를 수집할 수 있다.
도 6은 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 데이터 생성부(210)가 저장한 주석 데이터를 예를 들어 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템의 데이터 생성부(210)는, 자궁경부 영상 내의 자궁경부 영역을 관심 영역(Region of Interest, RoI)으로 박스 형태로 표시하여 주석 데이터를 수집할 수 있다.
한편, 데이터 생성부(210)는, 수집된 자궁경부 영상 데이터의 질을 평가 및 검증하여, 저품질 데이터를 제외하고 일반화(generalization)된 양질의 학습 데이터를 구축할 수 있다. 이때, 저품질 데이터들은 별도로 데이터베이스를 구축해 추후 기술적 결함 영상을 분류해내기 위한 학습 데이터로 활용할 수 있다.
학습부(220)는, 주석 데이터를 학습 데이터로 하여, 자궁경부 영상 내의 자궁경부 영역 이미지와 병변 기준 사이의 관계를 이해하여 판독 결과를 예측하도록 딥러닝 기반으로 제2 판독 모델을 학습할 수 있다. 이때, 학습부(220)는, 데이터 생성부(210)에서 생성 및 저장한 주석 데이터를 이용해 자궁경부 영상에서 자궁경부 영역을 검출하도록 학습하고, 병변 기준에 따라 분류된 레이블을 이용해 판독 결과를 예측하도록 학습할 수 있다.
제2 판독부(230)는, 자궁경부암 진단 카메라 장치(100)로부터 수신한 자궁경부 영상을, 학습부(220)에서 학습한 제2 판독 모델에 적용해 인공지능 기반으로 AI 판독 결과를 출력할 수 있다.
여기서, 제2 판독 모델은, 자궁경부암, 암 전 단계, 음성 등으로 레이블 된 대량의 자궁경부 영상을 이용해 학습된 인공지능 모델로서, CNN(Convolutional neural network), RNN(Recurrent Neural Network) 등의 인공신경망 또는 랜덤 포레스트 분류기(Random Forest Classifier) 등을 기반으로 할 수 있다.
이때, 제2 판독 모델은 학습부(220)에서 학습되고 제2 판독부(230)에서 예측을 수행하는 등 서버(200)에서 동작하므로 제1 판독 모델에 비해 많은 계산 자원을 사용할 수 있고, 상대적으로 실시간성이 요구되지 않으므로, 정확도에 비중을 두어 구성될 수 있다. 따라서 제2 판독 모델은 깊이가 깊은 딥러닝 모델로 구성하고, 제2 판독 모델을 압축 및/또는 경량화 한 모델을 제1 판독 모델로 구성할 수 있다. 또한, 서버(200)는 새로 수집되는 자궁경부 영상을 이용해 주기적으로 추가 학습을 수행해 제2 판독 모델을 업그레이드할 수 있다.
제2 판독 모델의 세부적인 구성에 대해서는 추후 도 7 내지 도 10을 참조하여 상세히 설명하도록 한다.
판독 요청부(240)는, 자궁경부 영상 및 제2 판독부(230)의 AI 판독 결과를 판독 전문가에게 전송하여 최종 판독을 요청할 수 있다. 즉, 판독 전문가에게 판독 요청 시, 제2 판독부(230)의 AI 판독 결과를 제공해 판독 전문가의 의사결정에 도움을 줄 수 있다.
결과 제공부(250)는, 판독 전문가로부터 최종 판독 보고서를 수신하여, 자궁경부암 진단 카메라 장치(100)의 사용자에게 제공할 수 있다. 이때, 결과 제공부(250)는, 사용자 디바이스(300)에 설치된 애플리케이션 또는 웹 프로그램을 통해 최종 판독 보고서를 제공할 수 있다.
결제 처리부(260)는, 사용자의 포인트를 관리하며, 자궁경부암 진단 카메라 장치(100)로부터 판독 요청을 수신하면 포인트를 차감할 수 있다. 특히, 해외에서 자궁경부암 진단 카메라 장치(100)를 사용하는 사용자가 판독 요청을 하는 경우, 국내에서와 동일한 결제 방식을 이용하기는 어려우므로, 사전에 포인트를 구매하여 판독 요청 건만큼 포인트를 차감하는 방식으로 결제를 처리할 수 있다.
이하에서는, 제1 판독 모델 및 제2 판독 모델에 대해 상세히 설명하도록 한다.
제1 판독 모델 및 제2 판독 모델은, 자궁경부 영상에서 자궁경부 영역을 검출하는 검출 모델, 및 검출 모델에서 검출된 자궁경부 영역으로부터 AI 판독 결과를 예측하는 분류 모델을 포함하여 구성될 수 있다. 즉, 제1 판독 모델 또는 제2 판독 모델은, 검출과 판독을 모두 수행하는 모델일 수도 있으나, 자궁경부 영역 검출에 특화된 검출 모델과 영상을 분류하여 판독하는 분류 모델을 포함해 구성될 수 있다.
도 7은 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 검출 모델의 구성을 예를 들어 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템의 제1 판독 모델 및 제2 판독 모델은, RetinaNet을 이용해 구현된 검출 모델을 사용할 수 있으며, 실시예에 따라서는 faster RCNN을 사용할 수도 있다. 즉, RetinaNet 또는 faster RCNN 등의 모델을 기반으로, 관심 영역이 표시된 자궁경부 영상을 학습 데이터로 하여 초 매개변수(hyper parameter)를 수정함으로써, 자궁경부 위치 검출에 특화된 검출 모델을 구성할 수 있다. 제1 판독 모델 및 제2 판독 모델을 구성하는 검출 모델은, 도 6에 도시된 바와 같은 주석 데이터를 이용해 학습된 것으로서, 자궁경부 영상에서 불필요한 영역은 제거하고 자궁경부의 위치를 관심 영역(Region of Interest, RoI)으로 추출할 수 있다.
도 8은 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템의 검출 모델에 의한 검출 결과를 예를 들어 도시한 도면이다. 도 8에서 빨간색 박스는 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템의 검출 모델에 의해 검출된 관심 영역이고, 녹색 박스는 표준 주석 데이터를 표시한 것이다. 도 8에 도시된 바와 같이, 학습된 검출 모델은 자궁경부 위치 검출에 특화되어 영상에서 불필요한 부분을 제거하고 관심 영역만을 매우 정확도 높게 추출할 수 있음을 확인할 수 있다.
도 9는 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 판독 모델의 구성을 예를 들어 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템의 제1 판독 모델 및 제2 판독 모델은, ResNet을 이용해 구현된 분류 모델을 사용할 수 있으며, 실시예에 따라서는 InceptionResNet을 사용할 수도 있다. 이때, 분류 모델은 1차로 양성과 음성을 구분하기 위해 학습을 한 다음, 양성 중에서 조직검사가 필요한 경우를 구분하기 위해 2차로 추가적인 학습을 수행할 수 있다. 분류 모델은 k겹 교차 검증(k-Fold cross validation)을 통해 테스트 될 수 있다.
실시예에 따라서, 분류 모델은 전이 학습(Transfer learning)을 사용해 학습될 수도 있다. 전이 학습은 새로운 문제에 대해 이미 훈련된 모델을 재사용하는 것이다. 이미 훈련된 모델을 사용하므로, 상대적으로 적은 데이터로 깊은 신경망을 훈련시킬 수 있는 장점이 있다. 또한, 대부분의 실제 문제들은 일반적으로 복잡한 모델을 훈련시키기 위해 수백만 개의 라벨이 붙은 데이터를 가지고 있지 않기 때문에 유용하게 사용될 수 있다. 본 발명에서는, 이와 같은 전이 학습을 이용해, 대량의 데이터로 이미 훈련된 모델로부터, 국내 환자에 최적화된 인공지능 분류 모델을 생성함으로써, 더욱 정밀하고 정확도 높은 판독 결과를 얻을 수 있다.
제1 판독 모델 및 제2 판독 모델을 구성하는 분류 모델은, 검출 모델에서 검출된 관심 영역을 분류하여 판독 결과를 출력할 수 있다. 보다 구체적으로, 제1 판독 모델 및 제2 판독 모델은, 음성, 양성 및 조직검사 필요의 가능성을 각각 확률로 출력할 수 있다. 예를 들어, 음성 23%, 양성 47%, 조직검사 필요 30% 등으로 출력할 수 있다. 이때, 분류 모델은 빛 반사가 감소한 자궁경부 영상을 사용하기 때문에, 판독 정확도를 크게 높일 수 있다.
실험 결과
본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 분류 모델의 생성 및 검증을 위한 실험을 수행하였다.
먼저, 수집한 자궁경부 영상을 정상과 비정상으로 분류 및 레이블하고, 레이블 된 총 7,657장의 영상(정상: 2,829, 비정상: 5,028)으로 학습하고, 1,965장의 영상(정상: 708, 비정상: 1,257)으로 모델 검증에 활용하여, 분류 모델을 생성하였다. 이때, 딥러닝 아키텍처 알고리즘 중 분류에 특화된 ResNet-50 알고리즘을 자궁경부 데이터에 최적화하여 학습하였다.
생성된 분류 모델은, 91.72%의 precision과 78.24%의 recall, 84.44%의 F1 score를 보였으며, ROC curve를 통한 분석 결과, 95%의 AUC(Area Under the Curve) 값을 기록하였다.
도 10은 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템에서, 분류 모델의 판독 결과를 예를 들어 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반의 자궁경부암 검진 서비스 시스템의 분류 모델은, 정상과 비정상을 분류하여 판독 결과를 예측하는 데에 뛰어난 성능을 가진다는 것을 확인할 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 인공지능 기반의 자궁경부암 검진 서비스 시스템에 따르면, 자궁경부암 진단 카메라 장치(100)에 자궁경부 영상을 판독하도록 사전 학습된 제1 판독 모델을 탑재하여, 인터넷 환경이 원활하지 못한 지역에서도 자궁경부암 진단 카메라 장치(100) 단독으로 AI 판독 결과를 확인하여 자궁경부암 검진에 도움을 줄 수 있다.
또한, 본 발명에서 제안하고 있는 인공지능 기반의 자궁경부암 검진 서비스 시스템에 따르면, 원격 판독이 필요한 경우, 자궁경부암 진단 카메라 장치(100)에서 자궁경부 영상을 바로 서버(200)에 전송하여 판독 요청을 할 수 있으므로, 편리하게 판독을 요청하고 판독 전문가로부터 판독 보고서를 제공받을 수 있어, 의료진의 편의를 극대화할 수 있으며, 서버(200)가 제2 판독 모델을 적용해 도출한 AI 판독 결과를 판독 전문가에게 제공하여 자궁경부 영상의 판독에 도움을 줌으로써, 최종 판독 결과의 정확도를 높일 수 있다.
뿐만 아니라, 본 발명에서 제안하고 있는 인공지능 기반의 자궁경부암 검진 서비스 시스템에 따르면, 판독 요청을 처리하는 중앙 서버와 미리 설정된 지역별 거점에 위치하는 복수의 지역 서버를 포함해 구성함으로써, 인터넷 회선 속도가 느린 국가에서도 가능한 한 신속하고 효율적으로 판독 전문가에 의한 최종 판독 보고서를 제공할 수 있다.
한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

Claims (8)

  1. 자궁경부암 검진 서비스 시스템으로서,
    자궁경부 영상을 판독하도록 사전 학습된 제1 판독 모델을 탑재하여, 자궁경부를 촬영하고 촬영한 자궁경부 영상을 상기 제1 판독 모델의 입력으로 하여, AI 판독 결과를 출력하는 자궁경부암 진단 카메라 장치(100); 및
    상기 자궁경부암 진단 카메라 장치(100)로부터 상기 자궁경부 영상을 포함하는 판독 요청을 수신하고, 판독 전문가에게 판독을 의뢰하여 상기 자궁경부암 진단 카메라 장치(100)의 사용자에게 최종 판독 보고서를 제공하는 서버(200)를 포함하며,
    상기 자궁경부암 진단 카메라 장치(100)는,
    자궁경부를 촬영하여 자궁경부 영상을 획득하는 카메라부(110);
    상기 제1 판독 모델을 저장하고, 상기 카메라부(110)에서 획득한 자궁경부 영상을 전달받아, 상기 제1 판독 모델로부터 AI 판독 결과를 예측하여 출력하는 제1 판독부(120);
    상기 카메라부(110)에서 촬영되는 실시간 영상 및 상기 제1 판독부(120)의 AI 판독 결과를 출력하고, 사용자 입력 신호를 입력받는 터치 패널부(130); 및
    상기 자궁경부 영상을 포함하는 판독 요청을 상기 서버(200)에 전송하는 통신부(140)를 포함하는 것을 특징으로 하는, 인공지능 기반의 자궁경부암 검진 서비스 시스템.
  2. 제1항에 있어서, 상기 서버(200)는,
    병변 기준에 따라 분류된 자궁경부 영상에서, 자궁경부 영역을 검출해 주석(annotation) 데이터를 생성하여 저장하는 데이터 생성부(210);
    상기 주석 데이터를 학습 데이터로 하여, 자궁경부 영상 내의 자궁경부 영역 이미지와 병변 기준 사이의 관계를 이해하여 판독 결과를 예측하도록 딥러닝 기반으로 제2 판독 모델을 학습하는 학습부(220);
    상기 자궁경부암 진단 카메라 장치(100)로부터 수신한 상기 자궁경부 영상을, 상기 학습부(220)에서 학습한 상기 제2 판독 모델에 적용해 인공지능 기반으로 AI 판독 결과를 출력하는 제2 판독부(230);
    상기 자궁경부 영상 및 상기 제2 판독부(230)의 AI 판독 결과를 판독 전문가에게 전송하여 최종 판독을 요청하는 판독 요청부(240); 및
    상기 판독 전문가로부터 최종 판독 보고서를 수신하여, 상기 자궁경부암 진단 카메라 장치(100)의 사용자에게 제공하는 결과 제공부(250)를 포함하는 것을 특징으로 하는, 인공지능 기반의 자궁경부암 검진 서비스 시스템.
  3. 제2항에 있어서, 상기 제1 판독부(120)는,
    임베디드 상태에서 AI 판독 결과를 예측하여 출력하는 것을 특징으로 하는, 인공지능 기반의 자궁경부암 검진 서비스 시스템.
  4. 제2항에 있어서, 상기 제1 판독부(120)는,
    음성, 양성 및 조직검사 필요의 가능성을 각각 확률로 출력하며,
    상기 자궁경부암 진단 카메라 장치(100)는,
    상기 제1 판독부(120)에서 출력되는 AI 판독 결과가 음성 확률이 가장 높고, 사용자의 소견과 일치하면 검사를 종료하고, 상기 제1 판독부(120)에서 출력되는 AI 판독 결과가 양성 확률이 가장 높거나 사용자 소견과 상이하면, 상기 통신부(140)를 통해 상기 판독 요청을 상기 서버(200)에 전송하는 제어부(150)를 더 포함하는 것을 특징으로 하는, 인공지능 기반의 자궁경부암 검진 서비스 시스템.
  5. 제2항에 있어서, 상기 제1 판독 모델 및 제2 판독 모델은,
    상기 자궁경부 영상에서 자궁경부 영역을 검출하는 검출 모델; 및
    상기 검출 모델에서 검출된 자궁경부 영역으로부터 AI 판독 결과를 예측하는 분류 모델을 포함하여 구성되는 것을 특징으로 하는, 인공지능 기반의 자궁경부암 검진 서비스 시스템.
  6. 제2항에 있어서,
    상기 자궁경부암 진단 카메라 장치(100)를 사용해 자궁경부암 검진을 수행하는 사용자의 사용자 디바이스(300)를 더 포함하며,
    상기 결과 제공부(250)는,
    상기 사용자 디바이스(300)에 설치된 애플리케이션 또는 웹 프로그램을 통해 상기 최종 판독 보고서를 제공하고,
    상기 통신부(140)는,
    상기 사용자 디바이스(300)에 설치된 애플리케이션에 상기 자궁경부 영상을 전송하는 것을 특징으로 하는, 인공지능 기반의 자궁경부암 검진 서비스 시스템.
  7. 제2항에 있어서, 상기 서버(200)는,
    상기 판독 요청에 따른 최종 판독 보고서를 제공하는 중앙 서버와 미리 설정된 지역별 거점에 위치하는 복수의 지역 서버를 포함하여 구성되되,
    상기 자궁경부암 진단 카메라 장치(100)의 통신부(140)는, 상기 지역 서버 중에서 가장 가까운 거점의 지역 서버에 상기 판독 요청을 전송하며,
    상기 판독 요청을 수신한 지역 서버는, 상기 중앙 서버로 상기 판독 요청을 전송하고, 상기 판독 요청에 따른 최종 판독 보고서를 수신하여 제공하는 것을 특징으로 하는, 인공지능 기반의 자궁경부암 검진 서비스 시스템.
  8. 제7항에 있어서, 상기 서버(200)는,
    사용자의 포인트를 관리하며, 상기 자궁경부암 진단 카메라 장치(100)로부터 상기 판독 요청을 수신하면 상기 포인트를 차감하는 결제 처리부(260)를 더 포함하는 것을 특징으로 하는, 인공지능 기반의 자궁경부암 검진 서비스 시스템.
PCT/KR2021/020091 2020-12-30 2021-12-30 인공지능 기반의 자궁경부암 검진 서비스 시스템 WO2022145999A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
BR112023013249A BR112023013249A2 (pt) 2020-12-30 2021-12-30 Sistema de serviço de triagem de câncer cervical baseado em inteligência artificial

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200187157A KR102462975B1 (ko) 2020-12-30 2020-12-30 인공지능 기반의 자궁경부암 검진 서비스 시스템
KR10-2020-0187157 2020-12-30

Publications (1)

Publication Number Publication Date
WO2022145999A1 true WO2022145999A1 (ko) 2022-07-07

Family

ID=82260899

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/020091 WO2022145999A1 (ko) 2020-12-30 2021-12-30 인공지능 기반의 자궁경부암 검진 서비스 시스템

Country Status (3)

Country Link
KR (1) KR102462975B1 (ko)
BR (1) BR112023013249A2 (ko)
WO (1) WO2022145999A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843956A (zh) * 2023-06-14 2023-10-03 长江大学 一种宫颈病理图像异常细胞识别方法、系统及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117940070A (zh) * 2022-08-18 2024-04-26 美迪科诶爱有限公司 心电图判读服务提供方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100107266A (ko) * 2009-03-25 2010-10-05 주식회사 케이티 원격 진료를 위한 장치 및 방법
KR102056847B1 (ko) * 2018-10-16 2019-12-17 김태희 자궁경부 자동판독 및 임상의사결정지원시스템 기반의 원격 자궁경부암 검진 시스템
KR20200038120A (ko) * 2018-10-02 2020-04-10 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
JP2020098370A (ja) * 2018-12-17 2020-06-25 廣美 畑中 医用画像をａｉの判断で症状度合いごと画像に表示する診断方法。
KR102155381B1 (ko) * 2019-09-19 2020-09-11 두에이아이(주) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100107266A (ko) * 2009-03-25 2010-10-05 주식회사 케이티 원격 진료를 위한 장치 및 방법
KR20200038120A (ko) * 2018-10-02 2020-04-10 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
KR102056847B1 (ko) * 2018-10-16 2019-12-17 김태희 자궁경부 자동판독 및 임상의사결정지원시스템 기반의 원격 자궁경부암 검진 시스템
JP2020098370A (ja) * 2018-12-17 2020-06-25 廣美 畑中 医用画像をａｉの判断で症状度合いごと画像に表示する診断方法。
KR102155381B1 (ko) * 2019-09-19 2020-09-11 두에이아이(주) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843956A (zh) * 2023-06-14 2023-10-03 长江大学 一种宫颈病理图像异常细胞识别方法、系统及存储介质

Also Published As

Publication number Publication date
KR102462975B1 (ko) 2022-11-08
BR112023013249A2 (pt) 2023-10-10
KR20220097585A (ko) 2022-07-08

Similar Documents

Publication Publication Date Title
WO2022145999A1 (ko) 인공지능 기반의 자궁경부암 검진 서비스 시스템
WO2020032555A1 (en) Electronic device and method for providing notification related to image displayed through display and image stored in memory based on image analysis
WO2020235966A1 (ko) 예측된 메타데이터를 이용하여 의료 영상을 처리하는 장치 및 방법
WO2017135564A1 (ko) 전자장치, 휴대단말기 및 그 제어방법
WO2018110994A1 (en) Optical lens assembly and method of forming image using the same
WO2016018108A1 (en) Apparatus and method for enhancing accuracy of a contactless body temperature measurement
WO2019039771A1 (en) ELECTRONIC DEVICE FOR STORING DEPTH INFORMATION IN RELATION TO AN IMAGE BASED ON DEPTH INFORMATION PROPERTIES OBTAINED USING AN IMAGE, AND ITS CONTROL METHOD
WO2019088555A1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
WO2023182727A1 (en) Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
WO2020171512A1 (en) Electronic device for recommending composition and operating method thereof
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2017010628A1 (en) Method and photographing apparatus for controlling function based on gesture of user
WO2019107981A1 (en) Electronic device recognizing text in image
WO2019083227A1 (en) MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING APPARATUS IMPLEMENTING THE METHOD
WO2021054518A1 (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법, 장치 및 소프트웨어 프로그램
WO2022114731A1 (ko) 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
EP3440593A1 (en) Method and apparatus for iris recognition
WO2016182090A1 (ko) 안경형 단말기 및 이의 제어방법
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2023136409A1 (en) Technique for identifying dementia based on mixed tests
WO2023022537A1 (ko) Ai 기반 차량 디스크 불량 검출 시스템
WO2020256325A1 (en) Electronic device and method for providing function by using corneal image in electronic device
WO2020231156A1 (en) Electronic device and method for acquiring biometric information using light of display
WO2018174431A1 (ko) 옵티칼 렌즈 어셈블리 및 이를 포함한 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21915797

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2301003997

Country of ref document: TH

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112023013249

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01E

Ref document number: 112023013249

Country of ref document: BR

Free format text: APRESENTE NOVA FOLHA DO RESUMO ADAPTADA AO ART. 22 INCISO I DA INSTRUCAO NORMATIVA/INPI/NO 31/2013, UMA VEZ QUE O CONTEUDO ENVIADO NA PETICAO NO 870230057308 DE 30/06/2023 ENCONTRA-SE FORA DA NORMA EM RELACAO AO TITULO, NAO APRESENTANDO O TITULO EM DESTAQUE. A EXIGENCIA DEVE SER RESPONDIDA EM ATE 60 (SESSENTA) DIAS DE SUA PUBLICACAO E DEVE SER REALIZADA POR MEIO DA PETICAO GRU CODIGO DE SERVICO 207.

ENP Entry into the national phase

Ref document number: 112023013249

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20230630

122 Ep: pct application non-entry in european phase

Ref document number: 21915797

Country of ref document: EP

Kind code of ref document: A1