WO2025239609A1 - 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템, 장치 및 방법 - Google Patents

영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템, 장치 및 방법

Info

Publication number
WO2025239609A1
WO2025239609A1 PCT/KR2025/006252 KR2025006252W WO2025239609A1 WO 2025239609 A1 WO2025239609 A1 WO 2025239609A1 KR 2025006252 W KR2025006252 W KR 2025006252W WO 2025239609 A1 WO2025239609 A1 WO 2025239609A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical
information
medical examination
examination
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/006252
Other languages
English (en)
French (fr)
Inventor
김영곤
배정호
신유민
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seoul National University Hospital
Original Assignee
Seoul National University Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seoul National University Hospital filed Critical Seoul National University Hospital
Publication of WO2025239609A1 publication Critical patent/WO2025239609A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present invention relates to a system, device and method for providing medical examination information and feedback using image processing and artificial intelligence technologies.
  • Cancer is a disease in which cells proliferate abnormally and disrupt normal cell function.
  • Representative cancers include lung cancer, gastric cancer (GC), breast cancer (BRC), and colorectal cancer (CRC), but it can develop in virtually any tissue.
  • Some of these cancers e.g., gastric cancer, colon cancer, etc.
  • endoscopic examinations For example, early detection and removal of polyps (also known as gastric fundic gland polyps or adenomatous polyps) in the stomach or colon can prevent cancer.
  • polyps also known as gastric fundic gland polyps or adenomatous polyps
  • the diagnosis rate of polyps can vary significantly depending on the examiner's skill level.
  • the risk of developing polyps into cancer varies depending on their size, so accurately measuring their size is very important.
  • the accuracy of size measurement can vary depending on the examiner's skill level and/or the location of the polyp.
  • the current endoscopic examination has the problem that the diagnosis can vary depending on the examiner's skill and/or experience, and an accurate diagnosis cannot be made if the examiner's skill level is low.
  • the captured image is unclear due to light reflection issues that are commonly encountered during endoscopic examinations (e.g., light reflection from the mucus inside the colon), interpretation errors can occur, leading to misdiagnosis.
  • the present invention can provide a system, device, and method for providing medical examination information and feedback using image processing and artificial intelligence technologies that can improve the usability of medical examination devices.
  • the present invention can provide a system, device, and method for providing medical examination information and feedback using image processing and artificial intelligence technologies that can improve the accuracy and/or efficiency of diagnosis.
  • the present invention can provide a system, device, and method for providing medical examination information and feedback using image processing and artificial intelligence technologies that can provide standardization and/or quality uniformity of medical examinations.
  • the method may further include a step of pre-processing the acquired medical image.
  • the step of extracting the medical information may include a step of extracting the medical information from the medical image through at least one of deep learning-based image processing and non-deep learning-based image processing.
  • the method may further include a step of providing guide information for guiding the operation of the medical examination device to satisfy the regulation based on the feedback information.
  • the method may further include the step of providing the medical information via a display.
  • the method may further include the step of editing the provided medical information in response to a request from the examiner; and the step of generating a reading statement based on the edited medical information.
  • the method may further include the step of transmitting the readout to a designated server via a communication module.
  • a device for providing medical examination information and feedback using image processing and artificial intelligence technology may include a camera module for photographing a body part of a subject for examination to obtain a medical image; a processing module for extracting medical information including first information related to the usability of a medical examination device and second information related to a standardized examination index from the medical image, checking whether the medical information satisfies a specified regulation, and generating feedback information for notifying that at least a portion of the medical information does not satisfy the regulation when at least a portion of the medical information does not satisfy the regulation; and a display for providing the feedback information.
  • the processing module can extract the medical information from the medical image through at least one of deep learning-based image processing and non-deep learning-based image processing.
  • the processing module may generate guide information for guiding the operation of the medical examination device so as to satisfy the regulation based on the feedback information, and provide the guide information through the display.
  • the processing module can generate a reading text based on the medical information.
  • the processing module can generate the reading text based on a standardized template or convert the generated reading text based on the standardized template.
  • the device may further include a communication module that transmits the readout to a designated server.
  • a system for providing medical examination information and feedback using image processing and artificial intelligence technology may include: a medical examination device that photographs a part of a body of a subject for examination to obtain a medical image, extracts medical information including first information related to the usability of a medical examination device and second information related to a standardized examination index from the medical image, determines whether the medical information satisfies a specified regulation, generates feedback information notifying that at least a part of the medical information does not satisfy the regulation when at least a part of the medical information does not satisfy the regulation, provides the generated feedback information, and generates a reading statement based on the medical information; and a server that receives and stores the reading statement from the medical examination device.
  • Various embodiments of the present invention can improve the usability (or performance) of medical examination devices (e.g., endoscopes).
  • medical examination devices e.g., endoscopes
  • the present invention can improve an examiner's ability to use a medical examination device by providing (or providing in real time) feedback information on whether the medical examination device is being used appropriately.
  • the present invention can improve the quality of medical tests (e.g., diagnostic accuracy and/or efficiency).
  • the present invention can maintain or improve the quality of medical tests by providing (or providing in real time) feedback information on whether a test performed using a medical test device (hereinafter, "medical test") satisfies standardized test indicators (e.g., quality indicators).
  • medical test e.g., diagnostic accuracy and/or efficiency
  • standardized test indicators e.g., quality indicators
  • the present invention can improve the accuracy and/or completeness of the medical report.
  • the present invention can extract at least a portion of the information to be included in the medical report from a medical image (or test result) and automatically input the extracted information into the medical report, thereby preventing errors (e.g., omissions, misrepresentations, subjectivity, etc.) by the examiner.
  • the present invention can improve the accuracy and/or completeness of the medical report.
  • the present invention can standardize the medical report, facilitating communication among medical professionals (e.g., enabling standardized interpretation through recording objective information rather than subjective information).
  • the present invention can rapidly analyze and/or interpret medical images and automatically record at least a portion of the medical report. This can save time, manpower, and/or costs for the examiner. Furthermore, the present invention can more accurately assess and monitor the patient's condition, thereby improving the efficiency of patient management.
  • FIG. 1 is a diagram illustrating a system that provides medical examination information and feedback using image processing and artificial intelligence technology according to one embodiment of the present invention.
  • FIG. 2 is a schematic drawing of a medical examination device of a system according to one embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method for providing medical examination information and feedback using image processing and artificial intelligence technology of a system according to one embodiment of the present invention.
  • FIG. 4a is a diagram illustrating an example of estimating location information of a dragon according to one embodiment of the present invention.
  • FIG. 4b is a diagram illustrating an example of detecting a polyp and segmenting a polyp area according to one embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of quantitative characteristics of a dragon according to one embodiment of the present invention.
  • FIG. 6a and FIG. 6b are exemplary diagrams showing an example of a screen providing medical information according to one embodiment of the present invention.
  • Figure 7 is a block diagram illustrating the configuration of a medical examination device according to one embodiment of the present invention.
  • Figure 8 is a flowchart illustrating an operation method of a medical examination device according to one embodiment of the present invention.
  • first, second, etc. are used to describe various elements, components, and/or sections, these elements, components, and/or sections are not limited by these terms. These terms are only used to distinguish one element, component, or section from other elements, components, or sections. Accordingly, it should be understood that a first element, a first component, or a first section referred to below may also be a second element, a second component, or a second section within the technical spirit of the present invention.
  • FIG. 1 is a drawing illustrating a system that provides medical examination information and feedback using image processing and artificial intelligence technology according to an embodiment of the present invention
  • FIG. 2 is a drawing schematically illustrating a medical examination device of the system according to an embodiment of the present invention.
  • a system (1000) for providing information related to a medical examination may include a medical examination device (100) and a server (200).
  • the medical examination device (100) can provide medical examinations on the inside of the body (e.g., inside the stomach, inside the large intestine, etc.) of an examination target (e.g., a human or an animal) (hereinafter, a subject).
  • the medical examination device (100) can be an endoscope, as illustrated in FIG. 2.
  • the medical examination device (100) can include a camera module (110) for photographing the inside of the body of the subject, an operation module (120) for adjusting the camera module (110), a processing module (130) for processing medical images (e.g., lesion detection, segmentation, diagnosis, etc.) and generating medical information and a reading based on the processing results, and a display (140) for providing medical information.
  • a display 140 for providing medical information.
  • the above medical examination device (100) can capture the inside of the subject's body to obtain a medical image, analyze (or diagnose) the medical image (e.g., detect a lesion (e.g., polyp, adenoma, etc.), determine the status of the lesion (e.g., negative, benign, or malignant)), and provide the analysis result (hereinafter, test result).
  • a lesion e.g., polyp, adenoma, etc.
  • determine the status of the lesion e.g., negative, benign, or malignant
  • the medical examination device (100) can provide feedback information on whether an examiner (e.g., a doctor) is using the medical examination device (100) appropriately.
  • the medical examination device (100) can provide feedback information on whether the examination result satisfies (or meets) standardized examination indicators (e.g., quality indicators).
  • the medical examination device (100) can extract at least a portion of the information required for the reading report from the examination result and automatically generate the reading report based on the extracted information.
  • the present invention can prevent the problem of an inexperienced person who is not skilled in using the medical examination device (100) omitting or incorrectly entering information that should be recorded in the reading report.
  • the present invention can improve the objectivity of the reading report by automatically recording at least a portion of the reading report, thereby eliminating subjective judgment as much as possible.
  • the server (200) can store various medical information obtained through the medical examination device (100). For example, the server (200) can receive and store a medical report from the medical examination device (100). The server (200) can store medical information (e.g., a medical report) in a database (DB). For example, the server (200) can store a medical report based on a quantified template.
  • the system (100) of the present invention can standardize various types of medical reports, improve objectivity, and facilitate communication among medical professionals.
  • FIG. 3 is a flowchart illustrating a method for providing medical examination information and feedback using image processing and artificial intelligence technology of a system according to an embodiment of the present invention
  • FIG. 4a is a diagram illustrating an example of estimating location information of a polyp according to an embodiment of the present invention
  • FIG. 4b is a diagram illustrating an example of detecting a polyp and segmenting a polyp area according to an embodiment of the present invention
  • FIG. 5 is a diagram illustrating an example of quantitative characteristics of a polyp according to an embodiment of the present invention
  • FIGS. 6a and 6b are exemplary diagrams illustrating an example of a screen providing medical information according to an embodiment of the present invention.
  • a method for providing information related to a medical examination of a system may include a step (S301) of acquiring a medical image.
  • the medical examination device (100) may acquire a medical image by photographing the inside of the subject's body through a camera module (110).
  • the medical examination device (100) may acquire the medical image based on a specified frame rate (e.g., 30 FPS (frames per second)).
  • the above method may include a step (S303) of preprocessing a medical image.
  • the medical examination device (100) may preprocess a medical image to make it suitable for image analysis.
  • the preprocessing may include sampling, which converts the frame rate of the medical image to a specified frame rate (e.g., 15 FPS).
  • the preprocessing may include image processing such as cropping, which cuts each frame into a specified size (e.g., 512 pixels * 512 pixels), resizing, which converts it into a specified size, and intensity normalization.
  • the above method may include a step (S305) of extracting medical information.
  • the medical examination device (100) may analyze a pre-processed medical image to extract medical information.
  • the medical information may be extracted through image processing based on artificial intelligence (e.g., deep learning) and image processing based on non-artificial intelligence.
  • the image processing based on artificial intelligence e.g., deep learning
  • the artificial neural network may include, but is not limited to, a convolution neural network (CNN), a vision transformer (ViT), etc.
  • the non-AI-based image processing can extract meaningful medical information from medical images through various image processing techniques (e.g., image enhancement, image restoration, image analysis, image compression, image synthesis, etc.).
  • image processing techniques e.g., image enhancement, image restoration, image analysis, image compression, image synthesis, etc.
  • the meaningful medical information obtained through the non-AI-based image processing can include characteristics related to texture information such as compactness, skewness, and coarseness.
  • the medical information may include first information related to the ability to use a medical examination device and second information related to a standardized examination index (e.g., quality index) for evaluating the quality of a medical examination.
  • the first information is information for evaluating the appropriateness of the examiner's technique for observing (or examining) the internal organs (or tissues) of a subject using an endoscope.
  • a colonoscopy involves inserting an endoscope through the anus to the cecum, inflating the colon through appropriate air injection to minimize wrinkles, and then retracting the endoscope from the cecum to the anus to observe each structure and surface of the colon.
  • a good examiner can observe each structure and surface of the colon at an appropriate speed while looking at the screen of the colonoscope, and can confirm the presence or absence of polyps (or adenomas) by washing foreign substances from the intestinal surface.
  • An excellent examiner with a high polyp detection rate can manipulate the endoscope so that all quadrants of the cylindrical endoscope structure are included in the screen without missing any of them, and can move the endoscope delicately and at an appropriate speed to implement a clear image quality without blurring the frames of the image on the screen.
  • an excellent examiner can learn various types of polyp recognition techniques through experience and learning, and can find polyps that are included in the screen without missing any of them.
  • the medical examination device (100) can evaluate the examiner's ability to use the medical examination device (100) by checking whether all quadrants of the endoscopic structure are included in the screen, whether the movement speed of the endoscope is appropriate, or whether the image quality of the medical image is appropriate.
  • the medical examination device (100) can provide the examiner with feedback information on the use of the medical examination device (100) based on the evaluation results.
  • the second information is information for assessing compliance (or satisfaction) with standardized examination indicators (e.g., quality indicators) to compensate for qualitative differences in endoscopic examinations due to the examiner's skill level.
  • the second information may include polyp characteristics, insertion location (e.g., cecal insertion rate), examination time (or observation time), bowel cleansing, and follow-up monitoring intervals.
  • the above-mentioned adenoma characteristics may include, but are not limited to, the number of adenomas, the adenoma detection rate (ADR), and the advanced adenoma detection rate (AADR).
  • the medical examination device (100) may detect adenomas using an artificial intelligence model (e.g., a CNN-based detection model) and calculate the total number of adenomas based on the number of times adenomas are detected during an endoscopic examination. Meanwhile, the medical examination device (100) according to an embodiment of the present invention may prevent the same adenoma from being detected more than twice.
  • the medical examination device (100) can calculate the adenoma detection rate (ADR) by dividing the number of adenomas found in the entire examination by the total number of examinations.
  • the medical examination device (100) can calculate the high-risk adenoma detection rate (AADR) by dividing the number of high-risk adenomas found in the entire examination (e.g., adenomas larger than a specified size (e.g., 1 cm), villous adenoma, or high-grade dysplasia adenoma, etc.) by the total number of examinations.
  • ADR adenoma detection rate
  • AADR high-risk adenoma detection rate
  • the medical examination device (100) may provide feedback information based on respective set criteria for the number of adenomas, the adenoma detection rate, and the high-risk adenoma detection rate. For example, the medical examination device (100) may determine that the test indicator (e.g., quality indicator) is not satisfied and provide feedback information if at least one of the number of adenomas, the adenoma detection rate, and the high-risk adenoma detection rate is lower than the respective set criteria.
  • the respective criteria for the number of adenomas, the adenoma detection rate, and the high-risk adenoma detection rate may vary based on the patient's age, health status, medical history, etc.
  • the zone estimation model (420) and the pose estimation model (430) may be learned based on learning data (410) obtained from each zone by dividing the colon into a specified number (e.g., 3) of zones (Zone 1, Zone 2, Zone 3), as illustrated in FIG. 4A.
  • the learning data (410) may include a medical image photographing a polyp (hereinafter, “adenoma image”) and labeling information.
  • the labeling information may include location information of a zone in which a polyp image is photographed and pose information of an endoscope and/or a polyp when photographing the polyp image.
  • the pose information may be obtained by a camera included in an endoscope device.
  • the posture information may further include information (e.g., 3-dimensional information) for supplementing the 2-dimensional information acquired from the 2-dimensional medical image.
  • the posture information may further include 6-degree-of-freedom information of the polyp estimated based on the angle and/or position of the camera module (110), depth information of the polyp, and rotation information of the polyp.
  • the examination time refers to the time from the start of the examination to its completion.
  • the medical examination device (100) can calculate the examination time by comparing the time when the examination starts and the time when the examination ends, and record the calculated examination time in the reading report. If the calculated examination time is shorter than the reference time, the medical examination device (100) can determine that the examination indicator (e.g., quality indicator) is not satisfied and provide feedback information.
  • the examination indicator e.g., quality indicator
  • the examination time may be mismeasured (e.g., over-estimated).
  • the medical examination device (100) may determine that the examination is terminated when the endoscope is exposed to the outside of the body. Specifically, the medical examination device (100) may extract a feature map for the medical image, compare the extracted feature maps, and determine that the endoscope has come out of the body from inside the body if the similarity difference exceeds a specified standard value, thereby terminating the examination.
  • Bowel cleanliness refers to the cleanliness of the colonic mucosa. Bowel cleanliness can be classified into three or five levels according to guidelines.
  • the medical examination device (100) may include a classification model (e.g., a multi-class classification model, a regression-based CNN model, etc.) that analyzes medical images to classify bowel cleanliness. If the bowel cleanliness is lower than a reference level, the medical examination device (100) may determine that the test indicator (e.g., a quality indicator) is not satisfied and provide feedback information.
  • a classification model e.g., a multi-class classification model, a regression-based CNN model, etc.
  • the second information may further include quantitative characteristics of the polyp.
  • the quantitative characteristics of the polyp may include, but are not limited to, size, shape, texture, and color.
  • the medical examination device (100), as illustrated in FIG. 4B, can detect (451, 453) a polyp from an original medical image (441, 443) using a detection model, segment (461, 463) a polyp area using a segmentation model, and recognize the size of the polyp based on the segmented polyp area.
  • the medical examination device (100) includes a distance sensor module (e.g., a depth camera or a laser sensor) for measuring a distance, and can calculate the distance between the camera and the polyp through the distance sensor module. Thereafter, the medical examination device (100) can calculate and quantify the size of the polyp based on the number of pixels of the segmented polyp area and the calculated distance.
  • a distance sensor module e.g., a depth camera or a laser sensor
  • the medical examination device (100) can identify and quantify the shape (e.g., circular, oval, etc.) of the segmented polyp area through morphological calculation of the segmentation map.
  • the shape of the polyp may include a region and a contour, as illustrated in FIG. 5.
  • the medical examination device (100) can identify and quantify surface characteristics (e.g., roughness, presence of repetitive patterns) based on radiomics features of the segmented polyp area.
  • the surface characteristics of the polyp may include spatial and spectral characteristics, as illustrated in FIG. 5 .
  • the medical examination device (100) can identify and quantify color information based on characteristic information related to the color of the polyp.
  • the color of the polyp may include a color histogram, a color coherence vector, color moments, and a color correlogram, as illustrated in FIG. 5.
  • the above method may include a step (S309) of editing medical information.
  • the medical examination device (100) may edit medical information according to a request from the examiner obtained through the input module.
  • the examiner may review the medical information provided on the display (140) and, based on their own opinions, correct incorrect medical information, add missing medical information, or delete unnecessary medical information.
  • the above method may include a step (S313) of transmitting a reading text.
  • the medical examination device (100) may transmit the reading text to a designated server (200) via a communication module (not shown).
  • the above method may include a step (S315) of storing the read text.
  • the server (200) may store the received read text.
  • the server (200) may store the read text in a database.
  • the server (200) may check the format of the read text, and if it differs from a specified format, convert the read text to correspond to a specified template and store it.
  • the server (200) may convert non-standard terms recorded in the read text to standard terms, correct typos, and then store the read text.
  • the present invention described above can automatically provide information related to standardized examination indicators (e.g., quality indicators) to compensate for qualitative differences in endoscopic examinations between examiners in real time.
  • the present invention can automatically provide real-time information on whether the examination quality indicators are met based on medical images.
  • the conventional method of writing an endoscopic report involves the examiner evaluating the endoscopic performance process and expressing the diagnostic results in writing.
  • This conventional method may lack objectivity and/or accuracy due to its dependence on the examiner's subjective judgment and experience.
  • the conventional method aims to include all information identified in the medical image in the report, there are limitations in describing all information in reality. Consequently, the conventional method may only include key information or omit important information.
  • Figure 7 is a block diagram illustrating the configuration of a medical examination device according to one embodiment of the present invention.
  • a medical examination device (700) may include a camera module (710), an operation module (720), a processing module (730), a display (740), a communication module (750), and an input module (760).
  • the medical examination device (700) may be the medical examination device (100) of FIG. 1.
  • the camera module (710), the operation module (720), the processing module (730), and the display (740) of the medical examination device (700) may correspond to the camera module (110), the operation module (120), the processing module (130), and the display (140) of the medical examination device (100) of FIG. 1.
  • the camera module (710) can capture images of the inside of the subject's body.
  • the camera module (710) can be inserted into the body of the subject (e.g., the large intestine) to capture images of the inside of the body.
  • the camera module (710) can include a light source (711), an image sensor (712), and a driving module (713).
  • the light source (711) can be turned on by the operation module (720) or the processing module (730) to obtain a clear medical image of the inside of the body.
  • the light source (711) can include a light-emitting diode including a light-emitting diode (LED), an organic light-emitting diode (OLED), or a laser diode, or a filament lamp.
  • the image sensor (712) may include a CMOS (Complementary Metal Oxide Semiconductor) or CCD (Charge-Coupled Device) image sensor.
  • the driving module (713) may adjust the camera module (710) in response to an operation signal of the operation module (720). For example, the driving module (713) may change the direction and/or angle of the camera module (710) or rotate it in response to an operation signal of the operation module (720).
  • the manipulation module (720) is located at the rear end of the camera module (710) and can receive manipulation commands from the examiner.
  • the manipulation module (720) is a part that is held by the examiner and can manipulate the direction, angle, and/or rotation of the camera module (710) inserted into the body of the examinee.
  • the manipulation module (720) may include a number of buttons for manipulating the photographing module (710).
  • the processing module (730) can control the overall operation of the medical examination device (700).
  • the processing module (730) can receive commands or instructions from a memory (not shown) and control each component according to the received commands or instructions to perform various functions.
  • the processing module (730) can be formed of a central processing unit (CPU), a micro control unit (MCU), a micro processor unit (MPU), or the like.
  • the processing module (730) may include an image processing module (731), a feedback provision module (732), and a reading text generation module (733).
  • the image processing module (731) can extract medical information from a medical image, including first information related to the usability of the medical examination device (700) and second information related to standardized examination indicators. According to one embodiment, the image processing module (731) can extract medical information from the medical image through at least one of deep learning-based image processing and non-deep learning-based image processing. Meanwhile, the image processing module (731) can perform pre-processing on the medical image.
  • the feedback provision module (732) may generate and provide feedback information regarding whether a medical examination via the medical examination device (700) is being performed appropriately. For example, the feedback provision module (732) may verify whether the extracted medical information satisfies specified regulations, and generate and provide feedback information notifying the examiner if at least some of the extracted medical information does not satisfy the regulations. In addition, the feedback provision module (732) may generate and provide guide information that guides the operation of the medical examination device (700) so that the regulations can be satisfied based on the feedback information.
  • the reading text generation module (733) can generate a reading text based on medical information. For example, the reading text generation module (733) can extract information to be recorded in the reading text from the medical information and automatically record the extracted information in the reading text. Meanwhile, the reading text generation module (733) can generate a reading text based on a standardized template. Alternatively, the reading text generation module (733) can convert a previously generated reading text (e.g., a non-standardized reading text) based on the standardized template.
  • a previously generated reading text e.g., a non-standardized reading text
  • the display (740) can provide (e.g., display) various medical information acquired through the medical examination device (700). According to one embodiment, the display (740) can provide feedback information (e.g., outputting a warning message) indicating that the medical information does not meet specified requirements. In addition, the display (740) can provide guidance information that guides the operation of the medical examination device so that the medical information can meet specified requirements.
  • feedback information e.g., outputting a warning message
  • the display (740) can provide guidance information that guides the operation of the medical examination device so that the medical information can meet specified requirements.
  • the communication module (750) can perform wired or wireless communication with a designated external device (e.g., server (200). For example, the communication module (750) can transmit a read text generated by the read text generation module (733) to the external device.
  • a designated external device e.g., server (200).
  • the communication module (750) can transmit a read text generated by the read text generation module (733) to the external device.
  • the input module (760) may include a plurality of input devices (e.g., buttons, dials, keyboards, mice, etc.) for operating the medical examination device (700).
  • the examiner may edit medical information and/or a diagnosis text through the input module (760).
  • the medical examination device (700) may further include, although not shown in FIG. 7, an air supply module that supplies air to a part inserted into the body of the subject (e.g., the area around the camera module (710)), a water supply unit that supplies water, a biopsy module that removes (or collects) a portion of tissue, and a suction module that sucks in air or foreign substances.
  • an air supply module that supplies air to a part inserted into the body of the subject (e.g., the area around the camera module (710)
  • a water supply unit that supplies water
  • a biopsy module that removes (or collects) a portion of tissue
  • a suction module that sucks in air or foreign substances.
  • Figure 8 is a flowchart illustrating an operation method of a medical examination device according to one embodiment of the present invention.
  • the operating method of a medical examination device may include a step (S801) of acquiring a medical image.
  • the medical examination device (700) may acquire a medical image by photographing the inside of the subject's body through a camera module (710).
  • the method may further include a step of pre-processing the medical image to make it suitable for image analysis.
  • the method may include a step (S803) of extracting medical information from a medical image.
  • the medical examination device (700) may extract medical information from a medical image (or a pre-processed medical image).
  • the medical information may be extracted through image processing based on artificial intelligence (e.g., deep learning) and image processing based on non-artificial intelligence, as described in FIG. 3.
  • the medical information may include first information related to the ability to use the medical examination device and second information related to a standardized examination index (e.g., a quality index) for evaluating the quality of a medical examination.
  • a standardized examination index e.g., a quality index
  • the first information may include, but is not limited to, information for evaluating the appropriateness of the examiner's technique, and may include information on whether each quadrant of the endoscopic structure is fully included in the screen, information on the movement speed of the endoscope, and/or information on the image quality of the medical image.
  • the second information is information for evaluating compliance (or satisfaction) with the standardized examination index (e.g., a quality index) for compensating for qualitative differences in endoscopic examinations depending on the examiner's skill level.
  • the second information may include polyp characteristics, insertion location (e.g., cecal insertion rate), examination time (or observation time), bowel cleanliness, and follow-up monitoring intervals.
  • the second information may further include quantitative characteristics of the polyp.
  • the above method may include a step (S805) of verifying whether the medical information satisfies the specified regulations.
  • the medical examination device (700) may verify whether the first information and the second information satisfies the specified regulations.
  • the medical examination device (700) may verify whether each quadrant of the endoscopic structure is fully included in the screen, whether the movement speed of the endoscope is appropriate (e.g., whether the movement speed of the endoscope is within a specified speed range), or whether the image quality of the medical image is appropriate (e.g., whether the image quality of the medical image is above a specified sharpness).
  • the medical examination device (700) can check whether the polyp characteristics (e.g., number of polyps, polyp detection rate, high-risk polyp detection rate) meet the criteria. As another example, the medical examination device (700) can check whether the shape of the cecum, the appendix opening, and the ileocecal valve are recognized. As another example, the medical examination device (700) can check whether the observation time (e.g., the time for observing the colonic mucosa purely excluding the polyp removal time) is less than a specified criteria time. As another example, the medical examination device (700) can check whether the cleanliness of the colonic mucosa is less than a criteria. As another example, the medical examination device (700) can check whether the follow-up monitoring interval is greater than or less than a specified size than the recommended follow-up monitoring interval.
  • the polyp characteristics e.g., number of polyps, polyp detection rate, high-risk polyp detection rate
  • the medical examination device (700) can check whether the shape of the cecum,
  • the method may proceed to step S807 of providing feedback information.
  • the medical examination device (700) may provide feedback information that visually, tactilely, and/or audibly notifies that the medical information does not satisfy the specified regulations.
  • the medical examination device (700) may further provide guide information on how to operate the medical examination device (700) (e.g., the camera module (710)) so that the first information or the second information satisfies the regulations.
  • the medical examination device (700) may provide guide information (e.g., a message) requesting to reduce the movement speed, guide information requesting to insert more of the endoscope, etc.
  • the above method may include a step (S809) of adjusting the medical examination device.
  • the medical examination device (700) may adjust the position, posture, direction, and/or movement speed of the camera module (710) in response to an operator's operation command via the operation module (720).
  • the method may proceed to step S811 of providing medical information.
  • the medical examination device (700) may provide medical information on the display (140), as illustrated in FIG. 6A.
  • the medical examination device (700) may provide the examiner with various calculated values helpful for providing medical information during an endoscopic examination via the display (140), as illustrated in FIG. 6B.
  • the above method may include a step (S813) of determining whether editing of medical information is requested.
  • the medical examination device (700) may determine whether the examiner requests modification, deletion, or addition of medical information.
  • step S815 the method may proceed to step S815 of editing the medical information.
  • the medical examination device (700) may modify, delete, or add medical information in response to a request from the examiner.
  • step S813 the method may proceed to step S817 for determining whether the examination is terminated.
  • the medical examination device (700) may determine that the examination is terminated if the end (e.g., rectum or anus) of the examination tissue (e.g., colon) is detected, or if the endoscope is detected to be protruding from the body.
  • the medical examination device (700) may determine that the examination is terminated if a designated button (e.g., end button) is pressed.
  • the method may return to step S801 and repeat the above-described process.
  • the method may proceed to the step of generating a reading statement (S819).
  • the medical examination device (700) may extract information to be recorded in the reading statement from the extracted medical information (or test results) and generate the reading statement based on the extracted information.
  • the method may further include a step of transmitting the reading to a designated server.
  • the medical examination device (700) may transmit the reading to a designated server via the communication module (737).
  • the above description exemplifies a colonoscope as the medical examination device.
  • the present invention can also be applied to other endoscopes (e.g., gastroscopes, laryngoscopes, bronchoscopes, earscopes, laparoscopes, cystoscopes, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Bioethics (AREA)
  • Quality & Reliability (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명은 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템, 장치 및 방법에 관한 것이다. 상기 방법은 의료 검사 장치를 통해 검사 대상의 신체 일부를 촬영하여 의료 영상을 획득하는 단계; 상기 의료 영상으로부터 상기 의료 검사 장치의 사용 능력과 관련된 제1 정보 및 표준화된 검사 지표와 관련된 제2 정보를 포함하는 의료 정보를 추출하는 단계; 상기 의료 정보가 지정된 규정을 만족하는지 여부를 확인하는 단계; 및 상기 의료 정보 중 적어도 일부가 상기 규정을 만족하지 못하는 경우 상기 규정을 만족하지 못하고 있음을 통지하는 피드백 정보를 제공하는 단계를 포함할 수 있다. 본 발명은 의료 검사 장치(예: 내시경)에 대한 사용 능력(또는 수행 능력) 및/또는 의료 검사의 품질(예: 진단의 정확도 및/또는 효율성)을 개선할 수 있다. 또한, 본 발명은 판독문에 대한 정확성 및/또는 완성도를 향상시킬 수 있다.

Description

영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템, 장치 및 방법
본 발명은 영상 처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템, 장치 및 방법에 관한 것이다.
최근 암 환자가 증가하고 있다. 암은 세포가 비정상적으로 증식해 정상적인 세포의 기능을 방해하는 질병으로, 폐암, 위암(gastric cancer, GC), 유방암(breast cancer, BRC), 대장암(colorectal cancer, CRC) 등이 대표적이나, 실질적으로 어느 조직에서나 발생할 수 있다. 상기 암들 중 일부(예: 위암, 대장암 등)는 내시경 검사를 통해 예방할 수 있다. 예를 들어, 내시경 검사를 통해 위 또는 대장에 생긴 작은 종양인 용종(polyp)(또는 위저선 용종(gastric fundic gland polyp), 선종(adenomatous polyp))을 조기에 발견해 제거한다면 암을 예방할 수 있다.
상기 내시경 검사는 거의 전적으로 내시경 검사를 시행(또는 수행)하는 검사자(예: 의사)의 주관적 판단에 의존하고 있다. 이에, 상기 내시경 검사는 검사자의 숙련도에 따라 용종(또는 선종)의 진단율에 큰 차이가 발생할 수 있다. 예를 들어, 용종은 크기에 따라 암으로의 발전할 위험도가 다르기 때문에 크기를 정확하게 측정하는 것이 매우 중요하다. 하지만, 검사자의 숙련도나 용종의 위치에 따라 크기 측정의 정확도가 달라질 수 있다. 다시 말해, 현재의 내시경 검사는 검사자의 숙련도 및/또는 경험에 따라 진단이 달라질 수 있고, 검사자의 숙련도가 낮은 경우 정확한 진단이 이루어질 수 없다는 문제점이 존재한다. 또한, 현재는 내시경 검사 시 흔히 접할 수 있는 빛 반사 문제(예: 대장 내측의 점액질에 의해 빛 반사)로 인해 촬영된 영상이 불분명한 경우에도 판독 오류가 발생하여 오진이 발생할 수 있다.
한편, 현재는 숙련된 검사자(이하, 숙련자)가 미숙련자(예: 초보자)의 내시경 검사를 참관하고, 내시경의 조작 및 관찰법을 교육하고 있다. 현재의 교육 방식은 숙련자별로 지도 방식이 상이할 수 있고, 교육 편차가 존재할 수 있다. 또한. 현재의 교육 방식은 숙련자가 항상 참관할 수 없어 효율적이지 못하다는 문제가 존재한다. 또한, 우수한 관찰기술과 지식을 체득한 숙련자라 할지라도, 업무량 및 개인적 상황에 따라서 높은 수준의 내시경 관찰 및 조작 기술을 구현하지 못할 수 있다. 이에, 상기 내시경 검사가 적절하게 수행되고 있는지 여부를 검사자에게 실시간으로 피드백할 수 있는 방안이 요구되고 있다.
본 발명은 의료 검사 장치의 사용 능력을 향상시킬 수 있는 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템, 장치 및 방법을 제공할 수 있다.
또한, 본 발명은 진단의 정확도 및/또는 효율성을 향상시킬 수 있는 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템, 장치 및 방법을 제공할 수 있다.
또한, 본 발명은 의료 검사의 표준화 및/또는 품질의 균일화를 제공할 수 있는 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템, 장치 및 방법을 제공할 수 있다.
본 발명의 일 실시 예에 따른 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 방법은 의료 검사 장치를 통해 검사 대상의 신체 일부를 촬영하여 의료 영상을 획득하는 단계; 상기 의료 영상으로부터 상기 의료 검사 장치의 사용 능력과 관련된 제1 정보 및 표준화된 검사 지표와 관련된 제2 정보를 포함하는 의료 정보를 추출하는 단계; 상기 의료 정보가 지정된 규정을 만족하는지 여부를 확인하는 단계; 및 상기 의료 정보 중 적어도 일부가 상기 규정을 만족하지 못하는 경우 상기 규정을 만족하지 못하고 있음을 통지하는 피드백 정보를 제공하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 획득된 의료 영상을 전-처리하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 의료 정보를 추출하는 단계는 딥러닝 기반의 영상 처리 및 비딥러닝 기반의 영상 처리 중 적어도 하나를 통해 상기 의료 영상으로부터 상기 의료 정보를 추출하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 피드백 정보에 기초하여, 상기 규정을 만족하도록 상기 의료 검사 장치의 조작을 가이드하는 가이드 정보를 제공하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 디스플레이를 통해 상기 의료 정보를 제공하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 검사자의 요청에 대응하여 상기 제공된 의료 정보를 편집하는 단계; 및 상기 편집된 의료 정보를 기초로, 판독문을 생성하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 판독문을 생성하는 단계는 표준화된 템플릿을 기반으로 상기 판독문을 생성하는 단계; 또는 상기 표준화된 템플릿을 기반으로 상기 생성된 판독문을 변환하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 통신 모듈을 통해 상기 판독문을 지정된 서버로 전송하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 장치는 검사 대상의 신체 일부를 촬영하여 의료 영상을 획득하는 카메라 모듈; 상기 의료 영상으로부터 의료 검사 장치의 사용 능력과 관련된 제1 정보 및 표준화된 검사 지표와 관련된 제2 정보를 포함하는 의료 정보를 추출하고, 상기 의료 정보가 지정된 규정을 만족하는지 여부를 확인하고, 상기 의료 정보 중 적어도 일부가 상기 규정을 만족하지 못하는 경우 상기 의료 정보 중 적어도 일부가 상기 규정을 만족하지 못하고 있음을 통지하는 피드백 정보를 생성하는 처리 모듈; 및 상기 피드백 정보를 제공하는 디스플레이를 포함할 수 있다.
일 실시 예에 따르면, 상기 처리 모듈은 딥러닝 기반의 영상 처리 및 비딥러닝 기반의 영상 처리 중 적어도 하나를 통해 상기 의료 영상으로부터 상기 의료 정보를 추출할 수 있다.
일 실시 예에 따르면, 상기 처리 모듈은 상기 피드백 정보에 기초하여, 상기 규정을 만족할 수 있도록 상기 의료 검사 장치의 조작을 가이드하는 가이드 정보를 생성하고, 상기 디스플레이를 통해 제공할 수 있다.
일 실시 예에 따르면, 상기 처리 모듈은 상기 의료 정보를 기초로, 판독문을 생성할 수 있다.
일 실시 예에 따르면, 상기 처리 모듈은 표준화된 템플릿을 기반으로 상기 판독문을 생성하거나, 상기 표준화된 템플릿을 기반으로 상기 생성된 판독문을 변환할 수 있다.
일 실시 예에 따르면, 상기 장치는 상기 판독문을 지정된 서버로 전송하는 통신 모듈을 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템은 검사 대상의 신체 일부를 촬영하여 의료 영상을 획득하고, 상기 의료 영상으로부터 의료 검사 장치의 사용 능력과 관련된 제1 정보 및 표준화된 검사 지표와 관련된 제2 정보를 포함하는 의료 정보를 추출하고, 상기 의료 정보가 지정된 규정을 만족하는지 여부를 확인하고, 상기 의료 정보 중 적어도 일부가 상기 규정을 만족하지 못하는 경우 상기 의료 정보 중 적어도 일부가 상기 규정을 만족하지 못하고 있음을 통지하는 피드백 정보를 생성하고, 상기 생성된 피드백 정보를 제공하며, 상기 의료 정보를 기초로 판독문을 생성하는 의료 검사 장치; 및 상기 의료 검사 장치로부터 상기 판독문을 수신하여 저장하는 서버를 포함할 수 있다.
본 발명의 다양한 실시 예들은 의료 검사 장치(예: 내시경)에 대한 사용 능력(또는 수행 능력)을 개선할 수 있다. 예를 들어, 본 발명은 의료 검사 장치를 적절하게 사용하고 있는지에 대한 피드백 정보를 제공(또는 실시간으로 제공)하여 의료 검사 장치에 대한 검사자의 사용 능력을 개선할 수 있다.
또한, 본 발명은 의료 검사의 품질(예: 진단의 정확도 및/또는 효율성)을 개선할 수 있다. 예를 들어, 본 발명은 의료 검사 장치를 통한 검사(이하, 의료 검사)가 표준화된 검사 지표(예: 질 지표)을 만족하는지에 대한 피드백 정보를 제공(또는 실시간으로 제공)하여 의료 검사의 품질을 일정하게 유지하거나 향상시킬 수 있다.
또한, 본 발명은 판독문에 대한 정확성 및/또는 완성도를 향상시킬 수 있다. 예를 들어, 본 발명은 의료 영상(또는 검사 결과)으로부터 판독문에 포함될 정보 중 적어도 일부를 추출하고, 추출된 정보를 판독문에 자동 입력하여 검사자에 의한 실수(예: 누락, 오기입, 주관성 등)를 방지할 수 있다. 이로 인하여, 본 발명은 판독문에 대한 정확성 및/또는 완성도를 향상시킬 수 있다. 또한, 본 발명은 판독문을 표준화하여 의료인들 간의 의사소통을 원할(예: 주관적인 정보의 기록이 아닌 객관적인 정보의 기록을 통해 표준화된 해석이 가능)하게 할 수 있다.
또한, 본 발명은 의료 영상을 신속하게 분석 및/또는 해석하고, 판독문의 적어도 일부를 자동으로 기록할 수 있다. 이를 통해, 본 발명은 검사자의 시간, 인력 및/또는 비용을 절감할 수 있다. 또한, 본 발명은 환자 상태를 보다 정확하게 평가하고 모니터링할 수 있어, 환자 관리의 효율성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 시스템의 의료 검사 장치를 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 시스템의 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 방법을 설명하기 위한 흐름도이다.
도 4a는 본 발명의 일 실시 예에 따른 용종의 위치 정보를 추정하는 일 예를 도시한 도면이다.
도 4b는 본 발명의 일 실시 예에 따른 용종 검출 및 용종 영역을 분할하는 일 예를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 용종의 정량적 특성의 일 예를 도시한 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 의료 정보를 제공하는 화면의 일 예를 도시한 예시도이다.
도 7은 본 발명의 일 실시 예에 따른 의료 검사 장치의 구성을 도시한 블록도이다.
도 8은 본 발명의 일 실시 예에 따른 의료 검사 장치의 동작 방법을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 이하에서 동일한 참조 부호는 동일 구성 요소를 지칭한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "이루어지다(made of)"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 구성에 대하여 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템을 도시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 시스템의 의료 검사 장치를 개략적으로 도시한 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 의료 검사와 관련된 정보를 제공하는 시스템(1000)은 의료 검사 장치(100) 및 서버(200)를 포함할 수 있다.
상기 의료 검사 장치(100)는 검사 대상(예: 사람 또는 동물)(이하, 피검자)의 신체 내부(예: 위 내부, 대장 내부 등)에 대한 의료 검사를 제공할 수 있다. 예를 들어, 상기 의료 검사 장치(100)는, 도 2에 도시된 바와 같이, 내시경일 수 있다. 상기 의료 검사 장치(100)는 피검자의 신체 내부를 촬영하는 카메라 모듈(110), 카메라 모듈(110)을 조정하는 조작 모듈(120), 의료 영상을 처리(예: 병변 검출, 분할, 진단 등)하고, 처리 결과를 기초로 의료 정보 및 판독문을 생성하는 처리 모듈(130), 및 의료 정보를 제공하는 디스플레이(140)를 포함할 수 있다. 상기 의료 검사 장치(100)의 각 구성들(110, 120, 130, 140)에 대한 상세한 설명은 도 7을 참조하여 후술하기로 한다.
상기 의료 검사 장치(100)는 피검자의 신체 내부를 촬영하여 의료 영상을 획득하고, 의료 영상을 분석(또는 진단)(예: 병변(예: 용종, 선종 등)의 검출, 병변의 상태(예: 음성, 양성 또는 악성)를 판별)하고, 분석 결과(이하, 검사 결과)를 제공할 수 있다.
일 실시 예에 따르면, 상기 의료 검사 장치(100)는 검사자(예: 의사)가 의료 검사 장치(100)를 적절하게 사용하고 있는지에 대한 피드백(feedback) 정보를 제공할 수 있다. 또한, 상기 의료 검사 장치(100)는 검사 결과가 표준화된 검사 지표(예: 질 지표(quality indicators))을 만족(또는 충족)하는지에 대한 피드백 정보를 제공할 수 있다. 또한, 상기 의료 검사 장치(100)는 검사 결과로부터 판독문에 필요한 정보 중 적어도 일부를 추출하고, 추출된 정보를 기초로 판독문을 자동으로 생성할 수 있다. 이를 통해 본 발명은 의료 검사 장치(100)의 사용이 미숙한 미숙련자가 판독문에 기록해야 할 정보를 누락하거나, 오기입하는 문제를 예방할 수 있다. 또한, 본 발명은 판독문의 적어도 일부를 자동 기록함에 따라 주관적인 판단을 최대한 배제하여 판단문에 대한 객관성을 향상시킬 수 있다.
서버(200)는 의료 검사 장치(100)를 통해 획득된 다양한 의료 정보를 저장할 수 있다. 예를 들어, 서버(200)는 의료 검사 장치(100)로부터 판독문을 전송받아 저장할 수 있다. 서버(200)는 의료 정보(예: 판독문)를 데이터베이스(database: DB)로 저장할 수 있다. 예를 들어, 서버(200)는 정량화된 템플릿을 기반으로 판독문을 저장할 수 있다. 이를 통해, 본 발명의 시스템(100)은 다양한 형태의 판독문을 표준화할 수 있고, 객관성을 향상시킬 수 있으며, 의료 전문가들 사이에 의사 소통을 원할하게 할 수 있다.
한편, 상기 시스템(1000)의 동작에 대한 상세한 설명은 도 3 내지 도 8을 참조하여 후술하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 시스템의 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 방법을 설명하기 위한 흐름도이고, 도 4a는 본 발명의 일 실시 예에 따른 용종의 위치 정보를 추정하는 일 예를 도시한 도면이고, 도 4b는 본 발명의 일 실시 예에 따른 용종 검출 및 용종 영역을 분할하는 일 예를 도시한 도면이고, 도 5는 본 발명의 일 실시 예에 따른 용종의 정량적 특성의 일 예를 도시한 도면이고, 도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 의료 정보를 제공하는 화면의 일 예를 도시한 예시도이다.
도 3 내지 도 6b를 참조하면, 본 발명의 일 실시 예에 따른 시스템의 의료 검사와 관련된 정보를 제공하는 방법은 의료 영상을 획득하는 단계(S301)를 포함할 수 있다. 예를 들어, 상기 의료 검사 장치(100)는 카메라 모듈(110)을 통해 피검자의 신체 내부를 촬영하여 의료 영상을 획득할 수 있다. 상기 의료 검사 장치(100)는 지정된 프레임율(frame rate)(예: 30 FPS(frame per second))에 기초하여 의료 영상을 획득할 수 있다.
상기 방법은 의료 영상을 전-처리하는 단계(S303)를 포함할 수 있다. 예를 들어, 상기 의료 검사 장치(100)는 영상 분석에 적합하도록 의료 영상을 전-처리할 수 있다. 상기 전-처리는 의료 영상의 프레임율을 지정된 프레임율(예: 15 FPS)로 변환하는 샘플링(sampling)을 포함할 수 있다. 또한, 상기 전-처리는 각 프레임을 지정된 크기(예: 512 pixel * 512 pixel)로 잘라내는 잘라내기(crop), 지정된 크기로 변환하는 리사이즈(resize), 강도 정규화(intensity normalization) 등의 영상 처리를 포함할 수 있다.
상기 방법은 의료 정보를 추출하는 단계(S305)를 포함할 수 있다. 예를 들어, 의료 검사 장치(100)는 전-처리된 의료 영상을 분석하여 의료 정보를 추출할 수 있다. 상기 의료 정보는 인공지능(예: 딥러닝) 기반의 영상 처리 및 비인공지능 기반의 영상 처리를 통해 추출될 수 있다. 상기 인공지능(예: 딥러닝) 기반의 영상 처리는 인공 신경망(Artificial Neural Network)을 학습시키고, 학습된 인공 신경망을 이용하여 의료 영상에 대한 병변(예: 용종, 선종 등) 검출, 병변 영역 분할, 및/또는 병변 진단(예: 양성, 음성, 악성 등)을 수행하여 의료 영상으로부터 의료 정보를 추출할 수 있다. 상기 인공 신경망은, 이에 한정되지 않지만, CNN(Convolution Neural Network), ViT(Vision Transformer) 등을 포함할 수 있다. 한편, 상기 비인공지능 기반의 영상 처리는 다양한 영상 처리 기술(예: 영상 강조(image enhancement), 영상 복원(image restoration), 영상 분석(image analysis), 영상 압축(image compression), 영상 합성(image synthesis) 등)을 통해 의료 영상으로부터 유의미한 의료 정보를 추출할 수 있다. 예를 들어, 상기 비인공지능 기반의 영상 처리를 통해 획득되는 유의미한 의료 정보는 다짐도(compactness), 왜도(또는 비대칭도)(skewness), 거침(coarseness) 등의 질감 정보와 관련된 특성을 포함할 수 있다.
일 실시 예에 따른 본 발명은 인공지능 기반의 영상 처리 및 비인공지능 기반의 영상 처리 중 적어도 하나를 이용하여 의료 정보를 추출할 수 있다. 상기 인공지능 기반의 영상 처리는 복잡한 패턴과 관계를 학습하며 정확성을 높일 수 있지만, 많은 데이터와 연산량을 필요로 한다. 반면에, 상기 비인공지능 기반의 영상 처리는 상대적으로 적은 데이터로 진행이 가능하며 처리 속도가 빠른 반면에 정확성이 상대적으로 낮을 수 있다. 본 발명은 의료 영상의 특성에 따라 인공지능 기반의 영상 처리 및 비인공지능 기반의 영상 처리 중 적어도 하나를 이용하여 의료 영상으로부터 의료 정보를 추출할 수 있다. 이로 인하여, 본 발명은 의료 영상을 보다 효과적으로(또는 효율적으로) 분석(또는 해석)할 수 있다.
한편, 상기 의료 정보는 의료 검사 장치의 사용 능력과 관련된 제1 정보 및 의료 검사의 질을 평가하기 위해 표준화된 검사 지표(예: 질 지표)와 관련된 제2 정보를 포함할 수 있다. 상기 제1 정보는 내시경을 이용하여 피검자의 내부 기관(또는 조직)을 관찰(또는 검사)하는 검사자의 술기의 적절성을 평가하기 위한 정보이다. 예를 들어, 대장 내시경 검사는 항문을 통해서 맹장까지 내시경을 삽입한 후 적절한 공기 주입을 통해서 대장을 팽창시켜 주름을 최소화하고, 맹장에서부터 항문까지 내시경을 후퇴하며 대장의 각 구조물과 표면들을 관찰한다. 이때, 우수한 검사자는 대장 내시경의 화면을 보면서 대장의 각 구조물과 표면들을 적절한 속도로 관찰하며 장표면의 이물질의 세척을 통해서 용종(또는 선종)의 존재 유무를 확인할 수 있다. 용종 발견율이 높은 우수한 검사자는 원통형 내시경 구조의 각 사분면을 놓치지 않고 모두 화면에 들어오도록 내시경을 조작하며, 화면의 영상의 프레임이 흐트러지지 않는 선명한 화질을 구현하고자 내시경을 섬세하게 적절한 속도로 움직일 수 있다. 또한, 우수한 검사자는 다양한 형태의 용종 인식 기술을 경험과 학습으로 터득하여, 화면에 들어온 용종을 놓치지 않고 찾아낼 수 있다. 상기 의료 검사 장치(100)는 내시경 구조의 각 사분면이 화면에 모두 포함되는지, 내시경의 이동 속도가 적절한지, 또는 의료 영상의 화질이 적절한지 확인하여 검사자에 대한 의료 검사 장치(100)의 사용 능력을 평가할 수 있다. 상기 의료 검사 장치(100)는 평가 결과를 기초로 검사자에게 의료 검사 장치(100)의 사용에 대한 피드백 정보를 제공할 수 있다.
한편, 상기 제2 정보는 검사자의 숙련도에 따른 내시경 검사의 질적 차이를 보완하기 위해 표준화된 검사 지표(예: 질 지표)의 준수(또는 충족) 여부를 평가하기 위한 정보이다. 예를 들어, 상기 제2 정보는 용종 특성, 삽입 위치(예: 맹장 삽입율), 검사 소요 시간(또는 관찰 시간), 장 정결도, 및 추적 감시 간격을 포함할 수 있다.
상기 용종 특성은, 이에 한정되지는 않지만, 선종 개수(number of adenoma), 선종 발견율(Adenoma Detection Rate: ADR), 및 고위험 선종 발견율(Advanced Adenoma Detection Rate: AADR)을 포함할 수 있다. 예를 들어, 의료 검사 장치(100)는 인공지능 모델(예: CNN 기반의 검출 모델)을 통해 선종을 검출하고, 내시경 검사를 수행하는 동안 선종이 검출되는 횟수를 기반으로 전체 선종의 개수를 산출할 수 있다. 한편, 본 발명의 일 실시 예에 따른 의료 검사 장치(100)는 동일한 선종이 2회 이상 검출되는 것을 방지할 수 있다. 상세하게는, 본 발명은 입력 데이터 및 출력 데이터에 동일한 선종을 적용한 후 검출 모델(예: 오토-인코더(auto-encoder))을 학습시키고, 학습된 검출 모델을 기반으로 각 선종의 고유 특징을 추정하고, 추정된 고유 특징의 유사도(예; 코사인 유사도(cosine similarity))가 지정된 기준치(예: 0.85)이상인 경우 동일한 선종으로 처리하여 검출된 선종의 개수가 오버 카운트(over-count)(예: 동일한 선종이 중복으로 카운트)되는 것을 방지할 수 있다.
한편, 의료 검사 장치(100)는 전체 검사에서 발견한 선종의 수를 전체 검사 수로 나누어 선종 발견율(ADR)을 산출할 수 있다. 유사하게, 의료 검사 장치(100)는 전체 검사에서 발견한 고위험 선종(예: 지정된 크기(예: 1cm) 이상의 선종, 융모산 선종(villous adenoma) 또는 고도 이형성 선종(high grade dysplasia adenoma) 등)의 수를 전체 검사 수로 나누어 고위험 선종 발견율(AADR)을 산출할 수 있다.
상기 의료 검사 장치(100)는 선종의 수, 선종 발견율, 및 고위험 선종 발견율에 대하여 각각 설정된 기준치를 기초로, 피드백 정보를 제공할 수 있다. 예를 들어, 상기 의료 검사 장치(100)는 선종의 수, 선종 발견율, 및 고위험 선종 발견율 중 적어도 하나가 각각 설정된 기준치보다 낮은 경우 검사 지표(예: 질 지표)를 만족하지 못하는 것으로 판단하여 피드백 정보를 제공할 수 있다. 상기 선종의 수, 선종 발견율, 및 고위험 선종 발견율 각각의 기준치는 환자의 연령, 건강 상태, 병력 등에 기초하여 달라질 수 있다.
또한, 의료 검사 장치(100)는 기 학습된 인공지능 모델(예: 위치 추정 모델)을 통해 선종(또는 용종)의 위치를 인식할 수 있다. 상기 위치 추정 모델은 다수의 분할된 존들 중 선종이 위치하는 존을 추정하는 존 추정 모델(420) 및 선종을 촬영할 때 내시경 및/또는 용종의 자세(예: 내시경의 6자유도(6 degrees of freedom: 6DOF)를 추정하는 자세 추정 모델(430)을 포함할 수 있다. 예를 들어, 존 추정 모델(420) 및 자세 추정 모델(430)은, 도 4a에 도시된 바와 같이, 대장을 지정된 수(예: 3 개)의 존(Zone 1, Zone 2, Zone 3)으로 분할하고, 각 존으로부터 획득된 학습 데이터(410)를 기반으로 학습될 수 있다. 상기 학습 데이터(410)는 선종을 촬영한 의료 영상(이하, 선종 영상) 및 라벨링 정보를 포함할 수 있다. 상기 라벨링 정보는 선종 영상이 촬영된 존의 위치 정보 및 해당 선종 영상을 촬영할 때 내시경 및/또는 용종의 자세(pose) 정보를 포함할 수 있다. 예를 들어, 상기 자세 정보는 내시경 장치에 포함된 카메라 모듈(110)의 각도 및/또는 위치를 식별하기 위한 6자유도 정보를 포함할 수 있다. 또한, 상기 자세 정보는 2차원 의료 영상으로부터 획득되는 2차원 정보를 보완하기 위한 정보(예: 3차원 정보)를 더 포함할 수 있다. 예를 들어, 상기 자세 정보는 카메라 모듈(110)의 각도 및/또는 위치를 기반으로 추정된 용종의 6자유도 정보, 용종의 깊이(depth) 정보, 및 용종의 회전(rotation) 정보를 더 포함할 수 있다.
상기 삽입 위치(예: 맹장 삽입율(cecal intubation rate))는 판독문에 제공되어야 하는 주요 정보 중 하나이다. 상기 의료 검사 장치(100)는 도 4a의 위치 추정 모델을 통해 내시경의 위치를 추정하고, 최종 삽입 위치(예: 내시경이 후퇴하기 직전의 위치)를 판독문에 자동으로 기록할 수 있다. 상기 의료 검사 장치(100)는 내시경이 맹장까지 도달한 검사 수를 전체 검사 수로 나누고, 백분율로 맹장 삽입율을 표현할 수 있다. 구체적으로, 상기 의료 검사 장치(100)는 의료 영상으로부터 맹장(또는 충수 개구부, 회맹판)이 인식되는지 확인하고, 맹장이 인식되지 않는 경우 검사 지표를 만족하지 못하고 있는 것으로 판단하여 피드백 정보를 제공할 수 있다. 예를 들어, 의료 검사 장치(100)는 화면의 색상을 지정된 색상(예: 빨간색)으로 변경할 수 있다.
검사 소요 시간(또는 관찰 시간)은 검사를 시작해서 완료할 때까지의 시간을 의미한다. 예를 들어, 의료 검사 장치(100)는 검사가 시작된 시간과 검사가 종료되는 시간을 비교하여 검사 소요 시간을 산출하고, 산출된 검사 소요 시간을 판독문에 기록할 수 있다. 상기 의료 검사 장치(100)는 산출된 검사 소요 시간이 기준 시간보다 짧은 경우 검사 지표(예: 질 지표)를 만족하지 못하는 것으로 판단하여 피드백 정보를 제공할 수 있다.
한편, 검사 종료 명령없이(예: 카메라 모듈을 종료하지 않고)내시경만을 피검자로부터 제거한 경우 검사 소요 시간이 오측정(예: 오버 추정(over-estimate))될 수 있다. 이를 방지하기 위해, 의료 검사 장치(100)는 내시경이 신체 외부로 노출되는 경우 검사가 종료된 것으로 판단할 수 있다. 구체적으로, 의료 검사 장치(100)는 의료 영상에 대한 특징 맵(feature map)을 추출하고, 추출된 특징 맵들을 비교하고, 유사도가 지정된 기준치 이상으로 차이가 나는 경우 내시경이 신체 내부에서 신체 외부로 빠져나온 것으로 판단하여 검사를 종료할 수 있다.
장 정결도는 대장 점막의 정결도를 의미한다. 장 정결도는 가이드라인에 따라 3단계 또는 5단계로 분류될 수 있다. 상기 의료 검사 장치(100)는 의료 영상을 분석하여 장 정결도를 분류하는 분류 모델(예: 멀티-클래스 분류(Multi-class classification) 모델, 회귀(regression) 기반의 CNN 모델 등)을 포함할 수 있다. 상기 의료 검사 장치(100)는 장 정결도가 기준 단계보다 낮은 경우 검사 지표(예: 질 지표)를 만족하지 못하는 것으로 판단하여 피드백 정보를 제공할 수 있다.
추적 감시 간격은 피검자의 상태를 추적 감시하기 위한 기간을 의미한다. 상기 검사자는 검사 결과를 기초로 추적 감시 간격을 설정할 수 있다. 예를 들어, 검사자는 검사 결과가 양호한 경우 추적 감시 간격을 길게 설정하고, 검사 결과가 불량한 경우 추적 감시 간격을 짧게 설정할 수 있다. 상기 의료 검사 장치(100)는 의료 영상의 분석 결과 및/또는 판독 결과를 기초로 추적 감시 간격을 추천할 수 있다. 예를 들어, 상기 의료 검사 장치(100)는 유사한 케이스에서 이전에 제공되었던 추적 감시 간격들에 대한 정보(예: 데이터베이스)를 기초로 추적 감시 간격을 추천할 수 있다. 한편, 상기 의료 검사 장치(100)는 검사자가 설정한 추적 감시 간격이 추천된 추적 감시 간격보다 지정된 크기 이상으로 작거나 큰 경우 검사 지표(예: 질 지표)를 만족하지 못하는 것으로 판단하여 피드백 정보를 제공할 수 있다. 상기 검사자는 상기 추천된 추적 감시 간격을 참조하여 피검자에 대한 추적 감시 간격을 최종적으로 결정할 수 있다. 이를 통해, 본 발명은 짧은 주기로 검사를 수행하여 불필요한 의료비 지출 및 검사 위험을 예방할 수 있고, 너무 긴 주기로 검사를 수행하여 암을 조기에 발견하지 못하는 문제를 예방할 수 있다.
한편, 상기 제2 정보는 용종의 정량적 특성을 더 포함할 수 있다. 상기 용종의 정량적 특성은, 이에 한정되지는 않지만, 크기(size), 형태(shape), 표면특성(texture), 색상(color)을 포함할 수 있다.
상기 의료 검사 장치(100)는, 도 4b에 도시된 바와 같이, 검출 모델을 이용하여 원본 의료 영상(441, 443)으로부터 용종을 검출(451, 453)하고, 분할 모델을 이용하여 용종 영역을 분할(461, 463)하고, 분할된 용종 영역을 기반으로 용종의 크기를 인식할 수 있다. 구체적으로는, 상기 의료 검사 장치(100)는 거리를 측정하기 위한 거리 센서 모듈(예: 깊이 카메라(depth camera) 또는 레이저 센서)를 포함하고, 거리 센서 모듈을 통해 카메라와 용종 간의 거리를 산출할 수 있다. 이후, 상기 의료 검사 장치(100)는 분할된 용종 영역의 픽셀 수와 상기 산출된 거리를 기초로 용종의 크기를 산출하여 정량화할 수 있다.
또한, 상기 의료 검사 장치(100)는 분할 맵의 모폴로지 연산을 통해 분할된 용종 영역의 형태(shape)(예: 원형, 타원형 등)를 식별하여 정량화할 수 있다. 한편, 상기 용종의 형태는, 도 5에 도시된 바와 같이, 영역(region) 및 윤곽(contour)를 포함할 수 있다.
또한, 상기 의료 검사 장치(100)는 분할된 용종 영역의 방사성 특징(radiomics feature)을 기초로 표면 특성(예: 거침 정도, 반복 패턴의 존재)을 식별하여 정량화할 수 있다. 한편, 상기 용종의 표면 특성은, 도 5에 도시된 바와 같이, 공간(spatial) 및 스펙트럼(spectral)을 포함할 수 있다.
또한, 상기 의료 검사 장치(100)는 용종의 색상과 관련된 특징 정보를 기초로 색상 정보를 식별하여 정량화할 수 있다. 한편, 상기 용종의 색상은, 도 5에 도시된 바와 같이, 색상 히스토그램, 색상 일관성 벡터(color coherence vector), 색상 모먼트(color moments), 및 색상 코렐로그램(color correlogram)을 포함할 수 있다.
상기 방법은 의료 정보를 제공하는 단계(S307)를 포함할 수 있다. 예를 들어, 상기 의료 검사 장치(100)는 추출된 의료 정보를 디스플레이(140)를 통해 제공(예: 표시)할 수 있다. 구체적으로는, 상기 의료 검사 장치(100)는, 도 6a에 도시된 바와 같이, 의료 영상(601), 분석 정보(602), 분기별 지표 정보(603), 분기별 지표 정보 (603) 중 주요 지표(예: 용종 발견율(PDR), 선종 발견율(ADR))의 최근/연간 평균 정보(604), 용종 발견율(PDR)에 대한 상세 정보(605)를 디스플레이(140)를 통해 제공할 수 있다. 상기 분석 정보(602)는 검사 결과(예: 검출된 위치(존) 정보 및/또는 용종(HP) 또는 선종(AD)일 확률)를 포함할 수 있다. 분기별 지표 정보(603)는 용종 발견율(PDR), 선종 발견율(ADR), 작은 용종 발견율(Cecal Small PDR: CSPDR), 검사 소요 시간(WT), 암 발견울(CDR), 장정결도(BBPS)에 대한 평가 점수 및 기준 점수를 포함할 수 있다. 상기 검사자는 평가 점수와 기준 점수를 비교하여 자신의 내시경 검사 수준(예: 숙련자의 검사와 유사한 정도)을 용이하게 확인할 수 있다.
한편, 의료 검사 장치(700)는 내시경 검사동안 의료 정보에 도움이 되는 다양한 연산된 값들을 디스플레이(140)를 통해 검사자에게 제공할 수 있다. 예를 들어, 의료 검사 장치(700)는, 도 6b에 도시된 바와 같이, 내시경 검사동안 실시간으로 획득되는 의료 영상(611), 참고 이미지(612), 기타 정보(613)를 디스플레이(140)를 통해 검사자에게 제공할 수 있다. 참고 이미지(612)는 의료 영상(611)으로부터 검출되는 용종 이미지를 보정(예: 인페인팅, 히트맵)한 적어도 하나의 보정 이미지(612a) 및 이전에 저장된 용종들 중 의료 영상(611)으로부터 검출되는 용종과 가장 유사한 적어도 하나의 용종의 이미지(612b)(및 진단 결과)를 포함할 수 있다. 기타 정보(613)는 질감 특성 정보, 혈관 특성 정보, 색상 특성 정보, 형태학적 특성 정보를 포함할 수 있다. 상기 도 6a 및 도 6b는 일 예일 뿐, 본 발명을 한정하지는 않는다.
상기 방법은 의료 정보를 편집하는 단계(S309)를 포함할 수 있다. 예를 들어, 의료 검사 장치(100)는 입력 모듈을 통해 획득되는 검사자의 요청에 따라 의료 정보를 편집할 수 있다. 다시 말해, 검사자는 디스플레이(140) 상에 제공된 의료 정보를 확인하고, 자신의 견해에 기초하여 잘못된 의료 정보를 수정하거나, 누락된 의료 정보를 추가하거나, 불필요한 의료 정보를 삭제할 수 있다.
상기 방법은 판독문을 생성하는 단계(S311)를 포함할 수 있다. 예를 들어, 의료 검사 장치(100)는 추출된 의료 정보 중 적어도 일부에 기초하여 판독문을 생성할 수 있다. 일 실시 예에 따르면, 상기 의료 검사 장치(100)는 표준화된 템플릿에 기초하여 판독문을 생성될 수 있다.
상기 방법은 판독문을 전송하는 단계(S313)를 포함할 수 있다. 예를 들어, 의료 검사 장치(100)는 판독문을 통신 모듈(미도시)을 통해 지정된 서버(200)로 전송할 수 있다.
상기 방법은 판독문을 저장하는 단계(S315)를 포함할 수 있다. 예를 들어, 서버(200)는 수신된 판독문을 저장할 수 있다. 서버(200)는 판독문을 데이터베이스로 저장할 수 있다. 어떤 실시 예에 따르면, 서버(200)는 판독문의 형식을 확인하고, 지정된 형식과 상이한 경우 지정된 템플릿에 대응하도록 판독문을 변환하여 저장할 수 있다. 또한, 서버(200)는 판독문에 기록된 비표준 용어를 표준 용어로 변환하고, 오타를 수정한 후 저장할 수 있다.
상술한 본 발명은 검사자별 내시경 검사의 질적 차이를 보완하기 위한 표준화된 검사 지표(예: 질 지표)와 관련된 정보를 자동으로 실시간으로 제공할 수 있다. 즉, 본 발명은 의료 영상에 기반하여 검사의 질 지표에 대한 충족 여부를 자동으로 실시간으로 제공할 수 있다. 이에 반하여, 종래의 내시경 판독문 작성 방식은 검사자가 내시경의 수행과정을 평가하고 진단 결과를 글로 표현하는 과정을 포함하고 있다. 이러한 종래의 방식은 검사자별 주관적인 판단과 검사자의 경험에 의존하여 객관성 및/또는 정확성이 결여될 수 있다. 또한, 종래의 방식은 의료 영상에서 확인되는 모든 정보를 판독문에 기재하는 것을 원칙으로 하나, 현실적으로 모든 정보를 기술하는데 한계가 있다. 이에 따라 종래의 방식은 주요 정보만을 기재하게 되거나, 중요한 정보를 누락하는 경우가 발생할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 의료 검사 장치의 구성을 도시한 블록도이다.
도 7을 참조하면, 본 발명의 일 실시 예에 따른 의료 검사 장치(700)는 카메라 모듈(710), 조작 모듈(720), 처리 모듈(730), 디스플레이(740), 통신 모듈(750), 및 입력 모듈(760)를 포함할 수 있다. 상기 의료 검사 장치(700)는 도 1의 의료 검사 장치(100)일 수 있다. 상기 의료 검사 장치(700)의 카메라 모듈(710), 조작 모듈(720), 처리 모듈(730), 및 디스플레이(740)는 도 1의 의료 검사 장치(100)의 카메라 모듈(110), 조작 모듈(120), 처리 모듈(130), 및 디스플레이(140)에 대응할 수 있다.
카메라 모듈(710)은 피검자의 신체 내부를 촬영할 수 있다. 예를 들어, 카메라 모듈(710)은 피검자의 신체 내부(예: 대장)로 삽입되어 신체 내부를 촬영할 수 있다. 카메라 모듈(710)은 광원(711), 이미지 센서(712) 및 구동 모듈(713)을 포함할 수 있다. 광원(711)은 신체 내부에 대한 선명한 의료 영상을 획득할 수 있도록 조작 모듈(720) 또는 처리 모듈(730)에 의해 턴-온될 수 있다. 광원(711)은 LED(Light Emitting Diode), OLED(Organic Light Emitting Diode), 또는 레이저다이오드를 포함하는 발광 다이오드, 또는 필라멘트 램프 등을 포함할 수 있다. 이미지 센서(712)는 CMOS((Complementary Metal Oxide Semiconductor) 또는 CCD(Charge-Coupled Device) 이미지 센서를 포함할 수 있다. 구동 모듈(713)은 조작 모듈(720)의 조작 신호에 대응하여 카메라 모듈(710)을 조정할 수 있다. 예를 들어, 구동 모듈(713)은 조작 모듈(720)의 조작 신호에 대응하여 카메라 모듈(710)의 방향 및/또는 각도 등을 변경하거나, 회전시킬 수 있다.
조작 모듈(720)은 카메라 모듈(710)의 후단에 위치하고, 검사자의 조작 명령을 입력받을 수 있다. 조작 모듈(720)은 검사자에 의하여 파지되는 부분으로서, 피검자의 체내로 삽입되는 카메라 모듈(710)의 방향, 각도, 및/.또는 회전을 조작할 수 있다. 조작 모듈(720)은 촬영 모듈(710)을 조작하기 위한 다수의 버튼을 포함할 수 있다.
처리 모듈(730)은 의료 검사 장치(700)의 전반적인 동작을 제어할 수 있다. 처리 모듈(730)은 메모리(미도시)로부터 명령(command) 또는 인스트럭션들(instructions)을 수신하고, 수신된 명령 또는 인스트럭션들에 따라 각 구성 요소들을 제어하여, 다양한 기능들을 수행할 수 있다. 처리 모듈(730)은 중앙 처리 장치(central processing unit: CPU), 마이크로 컨트롤 유닛(micro control unit: MCU), 마이크로 프로세서 유닛(micro processor unit: MPU) 등으로 형성될 수 있다.
일 실시 예에 따른, 상기 처리 모듈(730)은 영상 처리 모듈(731), 피드백 제공 모듈(732), 및 판독문 생성 모듈(733)을 포함할 수 있다.
영상 처리 모듈(731)은 의료 영상으로부터 의료 영상으로부터 의료 검사 장치(700)의 사용 능력과 관련된 제1 정보 및 표준화된 검사 지표와 관련된 제2 정보를 포함하는 의료 정보를 추출할 수 있다. 일 실시 예에 따르면, 상기 영상 처리 모듈(731)은 딥러닝 기반의 영상 처리 및 비딥러닝 기반의 영상 처리 중 적어도 하나를 통해 의료 영상으로부터 의료 정보를 추출할 수 있다. 한편, 영상 처리 모듈(731)은 의료 영상에 대한 전-처리를 수행할 수 있다.
피드백 제공 모듈(732)은 의료 검사 장치(700)를 통한 의료 검사가 적절하게 수행되고 있는지에 대한 피드백 정보를 생성하여 제공할 수 있다. 예를 들어, 피드백 제공 모듈(732)은 추출된 의료 정보가 지정된 규정을 만족하는지 여부를 확인하고, 상기 추출된 의료 정보 중 적어도 일부가 상기 규정을 만족하지 못하는 경우 이를 검사자에게 통지하는 피드백 정보를 생성하여 제공할 수 있다. 또한, 피드백 제공 모듈(732)은 피드백 정보를 기초로 상기 규정을 만족할 수 있도록 상기 의료 검사 장치(700)의 조작을 가이드하는 가이드 정보를 생성하여 제공할 수 있다.
판독문 생성 모듈(733)은 의료 정보를 기초로 판독문을 생성할 수 있다. 예를 들어, 판독문 생성 모듈(733)은 의료 정보 중 판독문에 기록될 정보를 추출하고, 추출된 정보를 판독문에 자동으로 기록할 수 있다. 한편, 판독문 생성 모듈(733)은 표준화된 템플릿을 기반으로 판독문을 생성할 수 있다. 또는, 판독문 생성 모듈(733)은 기 생성된 판독문(예: 비표준화된 판독문)을 상기 표준화된 템플릿을 기반으로 변환할 수 있다.
디스플레이(740)는 의료 검사 장치(700)를 통해 획득되는 다양한 의료 정보를 제공(예: 표시)할 수 있다. 일 실시 예에 따르면, 상기 디스플레이(740)는 의료 정보가 지정된 규정을 만족하지 못함을 알리는 피드백 정보(예: 경고 메시지 출력)를 제공할 수 있다. 또한, 상기 디스플레이(740)는 의료 정보가 지정된 규정을 만족할 수 있도록 상기 의료 검사 장치의 조작을 가이드하는 가이드 정보를 제공할 수 있다.
통신 모듈(750)은 지정된 외부 장치(예: 서버(200)와 유선 또는 무선 통신을 수행할 수 있다. 예를 들어, 통신 모듈(750)은 판독문 생성 모듈(733)에 의해 생성된 판독문을 외부 장치로 전송할 수 있다.
입력 모듈(760)은 의료 검사 장치(700)의 조작을 위한 다수의 입력 장치(예: 버튼, 다이얼, 키보드, 마우스 등)를 포함할 수 있다. 일 실시 예에 따르면, 검사자는 상기 입력 모듈(760)을 통해 의료 정보 및/또는 판독문을 편집할 수 있다.
한편, 상기 의료 검사 장치(700)는, 도 7에 도시하지는 않았지만, 피검자의 신체 내부에 삽입되는 부분(예: 카메라 모듈(710)의 주변)에 공기를 공급하는 공기 공급 모듈, 물을 공급하는 물 공급 유닛, 조직의 일부를 제거(또는 체취)하는 생검 모듈, 및 공기 또는 이물질을 흡입하는 석션 모듈 등을 더 포함할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 의료 검사 장치의 동작 방법을 도시한 흐름도이다.
도 8을 참조하면, 본 발명의 일 실시 예에 따른 의료 검사 장치의 동작 방법은 의료 영상을 획득하는 단계(S801)를 포함할 수 있다. 예를 들어, 의료 검사 장치(700)는 카메라 모듈(710)을 통해 피검자의 신체 내부를 촬영하여 의료 영상을 획득할 수 있다. 또한, 도시하지는 않았지만, 상기 방법은 영상 분석에 적합하도록 의료 영상을 전-처리하는 단계를 더 포함할 수 있다.
상기 방법은 의료 영상으로부터 의료 정보를 추출하는 단계(S803)를 포함할 수 있다. 예를 들어, 의료 검사 장치(700)는 의료 영상(또는 전-처리된 의료 영상)으로부터 의료 정보를 추출할 수 있다. 상기 의료 정보는, 도 3에서 설명한 바와 같이, 인공지능(예: 딥러닝) 기반의 영상 처리 및 비인공지능 기반의 영상 처리를 통해 추출될 수 있다. 상기 의료 정보는 의료 검사 장치의 사용 능력과 관련된 제1 정보 및 의료 검사의 질을 평가하기 위해 표준화된 검사 지표(예: 질 지표)와 관련된 제2 정보를 포함할 수 있다. 상기 제1 정보는, 이에 한정되지는 않지만, 검사자의 술기의 적절성을 평가하기 위한 정보로, 내시경 구조의 각 사분면이 화면에 모두 포함되는지에 대한 정보, 내시경의 이동 속도 정보, 및/또는 의료 영상의 화질 정보를 포함할 수 있다. 상기 제2 정보는 검사자의 숙련도에 따른 내시경 검사의 질적 차이를 보완하기 위해 표준화된 검사 지표(예: 질 지표)의 준수(또는 충족) 여부를 평가하기 위한 정보이다. 예를 들어, 상기 제2 정보는 용종 특성, 삽입 위치(예: 맹장 삽입율), 검사 소요 시간(또는 관찰 시간), 장 정결도, 및 추적 감시 간격을 포함할 수 있다. 상기 제2 정보는 용종의 정량적 특성을 더 포함할 수 있다.
상기 방법은 의료 정보가 지정된 규정을 만족하는지 확인하는 단계(S805)를 포함할 수 있다. 예를 들어, 의료 검사 장치(700)는 제1 정보 및 제2 정보가 지정된 규정을 만족하는지 확인할 수 있다. 구체적으로는, 의료 검사 장치(700)는 내시경 구조의 각 사분면이 화면에 모두 포함되는지, 내시경의 이동 속도가 적절한지(예: 내시경의 이동 속도가 지정된 속도 범위내인지), 또는 의료 영상의 화질이 적절한지(예: 의료 영상의 화질이 지정된 선명도 이상인지)확인할 수 있다.
또한, 상기 의료 검사 장치(700)는 용종 특성(예: 선종 개수, 선종 발견율, 고위험 선종 발견율)이 기준치를 만족하는지 확인할 수 있다. 다른 예로, 상기 의료 검사 장치(700)는 맹장, 충수 개구부, 및 회맹판의 형태가 인식되는지 확인할 수 있다. 또 다른 예로, 의료 검사 장치(700)는 관찰 시간(예: 용종 제거 시간을 제외하고, 순수하게 대장의 점막을 관찰한 시간)이 지정된 기준 시간 미만인지 확인할 수 있다. 또 다른 예로, 의료 검사 장치(700)는 대장 점막의 정결도가 기준치 미만인지 확인할 수 있다. 또 다른 예로, 의료 검사 장치(700)는 추적 감시 간격이 추천 추적 감시 간격보다 지정된 크기 이상으로 크거나 작은지 확인할 수 있다.
상기 S805 단계의 확인 결과, 상기 의료 정보가 지정된 규정을 만족하지 못하는 경우 상기 방법은 피드백 정보를 제공하는 단계(S807)로 진행할 수 있다. 예를 들어, 의료 검사 장치(700)는 의료 정보가 지정된 규정을 만족하지 못함을 시각, 촉각, 및/또는 청각적으로 통지하는 피드백 정보를 제공할 수 있다. 의료 검사 장치(700)는 상기 제1 정보 또는 제2 정보가 상기 규정을 만족하기 위해 의료 검사 장치(700)(예: 카메라 모듈(710))를 어떻게 조작해야 하는지에 대한 가이드 정보를 더 제공할 수 있다. 예를 들어, 상기 의료 검사 장치(700)는 이동 속도를 감소하도록 요청하는 가이드 정보(예: 메시지), 내시경을 더 삽입하도록 요청하는 가이드 정보 등을 제공할 수 있다.
상기 방법은 의료 검사 장치를 조정하는 단계(S809)를 포함할 수 있다. 예를 들어, 의료 검사 장치(700)는 조작 모듈(720)을 통한 검사자의 조작 명령에 대응하여 카메라 모듈(710)의 위치, 자세, 방향, 및/또는 이동 속도 등을 조정할 수 있다.
한편, 상기 S805 단계의 확인 결과, 상기 의료 정보가 지정된 규정을 만족하는 경우 상기 방법은 의료 정보를 제공하는 단계(S811)로 진행할 수 있다. 예를 들어, 의료 검사 장치(700)는, 도 6a에 도시된 바와 같이, 의료 정보를 디스플레이(140)상에 제공할 수 있다. 한편, 의료 검사 장치(700)는, 도 6b에 도시된 바와 같이, 내시경 검사동안 의료 정보에 도움이 되는 다양한 연산된 값들을 디스플레이(140)를 통해 검사자에게 제공할 수 있다.
상기 방법은 의료 정보의 편집이 요청되는지 확인하는 단계(S813)를 포함할 수 있다. 예를 들어, 상기 의료 검사 장치(700)는 검사자가 의료 정보의 수정, 삭제, 또는 추가를 요청하는지 확인할 수 있다.
상기 S813 단계의 확인 결과, 상기 의료 정보의 편집이 요청되는 경우 상기 방법은 의료 정보를 편집하는 단계(S815)로 진행할 수 있다. 예를 들어, 상기 의료 검사 장치(700)는 검사자에 요청에 대응하여 의료 정보를 수정, 삭제, 또는 추가할 수 있다.
한편, 상기 S813 단계의 확인 결과, 상기 의료 정보의 편집이 요청되지 않는 경우 상기 방법은 검사가 종료되는지 확인하는 단계(S817)로 진행할 수 있다. 예를 들어, 의료 검사 장치(700)는 검사 조직(예: 대장)의 끝부분(예: 직장 또는 항문)이 검출되거나, 내시경이 신체 외부로 빠져나오는 것을 검출하는 경우 검사가 종료된 것으로 판단할 수 있다. 또는, 상기 의료 검사 장치(700)는 지정된 버튼(예: 종료 버튼)이 입력되는 경우 검사가 종료된 것으로 판단할 수 있다.
상기 S817 단계의 확인 결과, 상기 검사가 종료되지 않는 경우 상기 방법은 S801 단계로 복귀하여 상술한 과정을 반복할 수 있다. 반면에, 상기 S817 단계의 확인 결과, 상기 검사가 종료되는 경우 상기 방법은 판독문을 생성하는 단계(S819)로 진행할 수 있다. 예를 들어, 의료 검사 장치(700)는 추출된 의료 정보(또는 검사 결과)로부터 판독문에 기록할 정보를 추출하고, 추출된 정보를 기초로 판독문을 생성할 수 있다.
한편, 도시하지는 않았지만, 상기 방법은 판독문을 지정된 서버로 전송하는 단계를 더 포함할 수 있다. 예를 들어, 의료 검사 장치(700)는 통신 모듈(737)을 통해 판독문을 지정된 서버로 전송할 수 있다.
한편, 이상에서는 상기 의료 검사 장치가 대장 내시경인 경우를 예로 하여 설명하였다. 하지만, 본 발명은 다른 내시경(위 내시경, 후두 내시경, 기관지 내시경, 귀 내시경, 복강경, 방광경 등)에도 적용될 수 있다.
이상과 같이 본 발명의 도시된 실시 예를 참고하여 설명하고 있으나, 이는 예시적인 것들에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 본 발명의 요지 및 범위에 벗어나지 않으면서도 다양한 변형, 변경 및 균등한 다양한 타 실시 예들이 가능하다는 것을 명백하게 알 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적인 사상에 의해 정해져야 할 것이다.

Claims (15)

  1. 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 방법에 있어서,
    의료 검사 장치를 통해 검사 대상의 신체 일부를 촬영하여 의료 영상을 획득하는 단계;
    상기 의료 영상으로부터 상기 의료 검사 장치의 사용 능력과 관련된 제1 정보 및 표준화된 검사 지표와 관련된 제2 정보를 포함하는 의료 정보를 추출하는 단계;
    상기 의료 정보가 지정된 규정을 만족하는지 여부를 확인하는 단계; 및
    상기 의료 정보 중 적어도 일부가 상기 규정을 만족하지 못하는 경우 상기 규정을 만족하지 못하고 있음을 통지하는 피드백 정보를 제공하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 획득된 의료 영상을 전-처리하는 단계를 더 포함하는 방법.
  3. 제 1 항에 있어서,
    상기 의료 정보를 추출하는 단계는
    딥러닝 기반의 영상 처리 및 비딥러닝 기반의 영상 처리 중 적어도 하나를 통해 상기 의료 영상으로부터 상기 의료 정보를 추출하는 단계를 포함하는 방법.
  4. 제 1 항에 있어서,
    상기 피드백 정보에 기초하여, 상기 규정을 만족하도록 상기 의료 검사 장치의 조작을 가이드하는 가이드 정보를 제공하는 단계를 더 포함하는 방법.
  5. 제 1 항에 있어서,
    디스플레이를 통해 상기 의료 정보를 제공하는 단계를 더 포함하는 방법.
  6. 제 5 항에 있어서,
    검사자의 요청에 대응하여 상기 제공된 의료 정보를 편집하는 단계; 및
    상기 편집된 의료 정보를 기초로, 판독문을 생성하는 단계를 더 포함하는 방법.
  7. 제 6 항에 있어서,
    상기 판독문을 생성하는 단계는
    표준화된 템플릿을 기반으로 상기 판독문을 생성하는 단계; 또는
    상기 표준화된 템플릿을 기반으로 상기 생성된 판독문을 변환하는 단계를 포함하는 방법.
  8. 제 6 항에 있어서,
    통신 모듈을 통해 상기 판독문을 지정된 서버로 전송하는 단계를 더 포함하는 방법.
  9. 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 장치에 있어서,
    검사 대상의 신체 일부를 촬영하여 의료 영상을 획득하는 카메라 모듈;
    상기 의료 영상으로부터 의료 검사 장치의 사용 능력과 관련된 제1 정보 및 표준화된 검사 지표와 관련된 제2 정보를 포함하는 의료 정보를 추출하고, 상기 의료 정보가 지정된 규정을 만족하는지 여부를 확인하고, 상기 의료 정보 중 적어도 일부가 상기 규정을 만족하지 못하는 경우 상기 의료 정보 중 적어도 일부가 상기 규정을 만족하지 못하고 있음을 통지하는 피드백 정보를 생성하는 처리 모듈; 및
    상기 피드백 정보를 제공하는 디스플레이를 포함하는 장치.
  10. 제 9 항에 있어서,
    상기 처리 모듈은
    딥러닝 기반의 영상 처리 및 비딥러닝 기반의 영상 처리 중 적어도 하나를 통해 상기 의료 영상으로부터 상기 의료 정보를 추출하는 장치.
  11. 제 9 항에 있어서,
    상기 처리 모듈은
    상기 피드백 정보에 기초하여, 상기 규정을 만족할 수 있도록 상기 의료 검사 장치의 조작을 가이드하는 가이드 정보를 생성하고, 상기 디스플레이를 통해 제공하는 장치.
  12. 제 9 항에 있어서,
    상기 처리 모듈은
    상기 의료 정보를 기초로, 판독문을 생성하는 장치.
  13. 제 12 항에 있어서,
    상기 처리 모듈은
    표준화된 템플릿을 기반으로 상기 판독문을 생성하거나, 상기 표준화된 템플릿을 기반으로 상기 생성된 판독문을 변환하는 장치.
  14. 제 12 항에 있어서,
    상기 판독문을 지정된 서버로 전송하는 통신 모듈을 더 포함하는 장치.
  15. 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템에 있어서,
    검사 대상의 신체 일부를 촬영하여 의료 영상을 획득하고, 상기 의료 영상으로부터 의료 검사 장치의 사용 능력과 관련된 제1 정보 및 표준화된 검사 지표와 관련된 제2 정보를 포함하는 의료 정보를 추출하고, 상기 의료 정보가 지정된 규정을 만족하는지 여부를 확인하고, 상기 의료 정보 중 적어도 일부가 상기 규정을 만족하지 못하는 경우 상기 의료 정보 중 적어도 일부가 상기 규정을 만족하지 못하고 있음을 통지하는 피드백 정보를 생성하고, 상기 생성된 피드백 정보를 제공하며, 상기 의료 정보를 기초로 판독문을 생성하는 의료 검사 장치; 및
    상기 의료 검사 장치로부터 상기 판독문을 수신하여 저장하는 서버를 포함하는 시스템.
PCT/KR2025/006252 2024-05-16 2025-05-09 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템, 장치 및 방법 Pending WO2025239609A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2024-0063942 2024-05-16
KR1020240063942A KR20250164482A (ko) 2024-05-16 2024-05-16 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템, 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2025239609A1 true WO2025239609A1 (ko) 2025-11-20

Family

ID=97720506

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/006252 Pending WO2025239609A1 (ko) 2024-05-16 2025-05-09 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템, 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20250164482A (ko)
WO (1) WO2025239609A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120012778A (ko) * 2009-02-12 2012-02-10 아메리칸 레지스트리 포 다이아그나스틱 메디칼 소노그라피 인코퍼레이티드 의료 초음파 이미징 조작자의 숙련도를 평가하기 위한 시스템 및 방법
US20180225820A1 (en) * 2015-08-07 2018-08-09 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
WO2020242949A1 (en) * 2019-05-28 2020-12-03 Google Llc Systems and methods for video-based positioning and navigation in gastroenterological procedures
KR20220038035A (ko) * 2020-09-14 2022-03-25 주식회사 뷰노 의료 영상에서 이상 소견 탐지 및 판독문 생성 방법
US20230110263A1 (en) * 2021-10-08 2023-04-13 Cosmo Artificial Intelligence - Al Limited Computer-implemented systems and methods for analyzing examination quality for an endoscopic procedure

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120012778A (ko) * 2009-02-12 2012-02-10 아메리칸 레지스트리 포 다이아그나스틱 메디칼 소노그라피 인코퍼레이티드 의료 초음파 이미징 조작자의 숙련도를 평가하기 위한 시스템 및 방법
US20180225820A1 (en) * 2015-08-07 2018-08-09 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
WO2020242949A1 (en) * 2019-05-28 2020-12-03 Google Llc Systems and methods for video-based positioning and navigation in gastroenterological procedures
KR20220038035A (ko) * 2020-09-14 2022-03-25 주식회사 뷰노 의료 영상에서 이상 소견 탐지 및 판독문 생성 방법
US20230110263A1 (en) * 2021-10-08 2023-04-13 Cosmo Artificial Intelligence - Al Limited Computer-implemented systems and methods for analyzing examination quality for an endoscopic procedure

Also Published As

Publication number Publication date
KR20250164482A (ko) 2025-11-25

Similar Documents

Publication Publication Date Title
JP7335552B2 (ja) 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム
KR102222547B1 (ko) 인공지능 기반의 대장내시경 영상 분석 방법
WO2020071677A1 (ko) 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
CN114569043B (zh) 一种基于人工智能的内窥镜辅助检查方法及装置
US7319781B2 (en) Method and system for multiple passes diagnostic alignment for in vivo images
US8503747B2 (en) Image analysis for cervical neoplasia detection and diagnosis
WO2020071678A2 (ko) 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
WO2021036863A1 (zh) 基于深度学习的消化道早癌辅助诊断系统和检查装置
US20180263568A1 (en) Systems and Methods for Clinical Image Classification
CN113888518A (zh) 一种基于深度学习分割、分类多任务的喉咽内镜肿瘤检测及良恶性分类方法
CN111839428A (zh) 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法
CN112969402A (zh) 内窥镜系统以及用于内窥镜系统的图像处理装置和图像处理方法
US20250000329A1 (en) Information processing device, information processing method, and recording medium
WO2022114357A1 (ko) 영상 병변 진단 시스템
WO2020215810A1 (zh) 一种基于图像识别的结肠镜手术中窄带成像检测方法
WO2022184154A1 (zh) 超声内镜小探头伸出长度的识别方法、系统及存储介质
CN119091206A (zh) 一种基于人工智能的肠镜合格退镜时间评估方法及系统
CN114359131A (zh) 幽门螺杆菌胃部视频全自动智能分析系统及其标记方法
CN113768452A (zh) 一种电子内窥镜智能计时方法及装置
WO2014157796A1 (ko) 진단 보조용 내시경 시스템 및 그 제어 방법
WO2025239609A1 (ko) 영상처리 및 인공지능 기술을 활용한 의료 검사 정보 및 피드백을 제공하는 시스템, 장치 및 방법
CN117291899A (zh) 用于胶囊内窥镜的消化道出血图像检测方法
JP2024027854A (ja) がん評価方法、がん評価システム及びプログラム
KR102781534B1 (ko) 내시경 검사 판독 보조 시스템
Liang et al. The applications and challenges of artificial intelligence in colonoscopy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25803808

Country of ref document: EP

Kind code of ref document: A1