WO2024101530A1 - 인공지능을 이용한 이미지 분석 기반 피부암 진단 방법 - Google Patents

인공지능을 이용한 이미지 분석 기반 피부암 진단 방법 Download PDF

Info

Publication number
WO2024101530A1
WO2024101530A1 PCT/KR2022/020576 KR2022020576W WO2024101530A1 WO 2024101530 A1 WO2024101530 A1 WO 2024101530A1 KR 2022020576 W KR2022020576 W KR 2022020576W WO 2024101530 A1 WO2024101530 A1 WO 2024101530A1
Authority
WO
WIPO (PCT)
Prior art keywords
disease
image data
score
target tissue
information
Prior art date
Application number
PCT/KR2022/020576
Other languages
English (en)
French (fr)
Inventor
변성현
민완기
Original Assignee
스페클립스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스페클립스 주식회사 filed Critical 스페클립스 주식회사
Publication of WO2024101530A1 publication Critical patent/WO2024101530A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • This disclosure relates to an image analysis-based skin cancer diagnosis method using artificial intelligence using image analysis and a server that performs the same.
  • One problem that the present invention seeks to solve is to provide a method of providing disease information related to a lesion using image data obtained by photographing the lesion using an artificial neural network, and a diagnostic device that performs the same.
  • a body part and at least one suspicious tissue located in the body part are photographed.
  • a step of analyzing the first image data using an artificial neural network wherein the first artificial neural network is trained to detect target tissue related to a disease from image data taken of a body part, and the first artificial neural network is trained to detect target tissue related to a disease based on the analysis result.
  • a method of providing disease information including the step of learning to obtain a result value and providing a disease score based on the target result value may be provided.
  • disease information about a lesion can be accurately and easily determined using an artificial neural network learned from image data labeled with multiple disease indicators.
  • FIG. 1 is a diagram schematically showing a disease information providing system according to various embodiments.
  • Figure 2 is a block diagram showing the general operation of a disease information system according to various embodiments.
  • Figure 3 is a block diagram showing the configuration of a user terminal according to various embodiments.
  • Figure 4 is a block diagram showing the configuration of an analysis server according to various embodiments.
  • Figure 5 is a flowchart showing a method of providing disease information according to various embodiments.
  • FIG. 6 is a diagram illustrating an operation in which disease information is provided from a user terminal, according to various embodiments.
  • Figure 7 is a diagram illustrating an image analysis operation performed on a server, according to various embodiments.
  • FIG. 8 is a diagram illustrating an example of a disease score provided from a server, according to various embodiments.
  • FIG. 9 is a diagram illustrating how detection of image data is performed according to various embodiments.
  • FIG. 10 is a diagram illustrating detection of target tissue from image data, according to various embodiments.
  • FIG. 11 is a flowchart illustrating a method of providing disease information related to a target tissue, according to various embodiments.
  • FIG. 12 is a diagram illustrating providing disease information of a target tissue according to various embodiments.
  • Figure 13 is a flowchart showing a method of providing disease information including a reminder indication, according to various embodiments.
  • FIG. 14 is a diagram showing how the method for providing disease information of FIG. 13 is implemented.
  • This specification relates to a method for providing disease information using image analysis and a system for performing the same.
  • disease information is a comprehensive concept that includes determining the state or characteristics of the object to be analyzed and secondary judgments based on judgment of these characteristics.
  • the disease information may include pathological information regarding the target.
  • disease information may include diagnosis information. Diagnostic information can be expressed as a probability value that the target is a diseased tissue. Additionally, disease information may be provided as numerical information (e.g., probability value) regarding various disease indicators for the target.
  • the diagnostic system 10 is a system that provides disease information about a target using image analysis.
  • FIG. 1 is a diagram schematically showing a disease information providing system according to various embodiments.
  • Figure 2 is a block diagram showing the general operation of a disease information system according to various embodiments.
  • the disease information providing system 10 may include a user terminal 100 and an analysis server 200.
  • the user terminal 100 and the analysis server 200 may be connected to each other through an online network.
  • the user terminal 100 may transmit data to the analysis server 200 and/or receive data from the analysis server 200.
  • the user terminal 100 may obtain image data necessary to provide disease information and transmit it to the analysis server 200.
  • the user terminal 100 may transmit image data (or video) in which at least part of a person's body is photographed to an analysis server.
  • the analysis server 200 may receive image data from the user terminal 100 and analyze the received image data.
  • the analysis server 200 may analyze image data using an artificial neural network model, detect a target included in the image data, and/or provide disease information about the target.
  • 'target' may refer to a specific object included in the image data and the purpose of acquiring disease information.
  • the target may be skin tissue suspected of having a disease.
  • the disease information providing system 10 may use image data to provide target disease information included in the image data.
  • the disease information providing system 10 acquires image data of at least a part of the body of the user (or another patient) through the user terminal 100, and the analysis server 200 collects the acquired image data. can be analyzed, and as a result, disease information about the target included in the image data can be provided.
  • the disease information provision system 10 for providing disease information related to skin cancer will be mainly described. That is, the disease information providing system 10 may analyze image data in which a affected area suspected of having skin cancer is photographed and provide disease information related to the affected area present in the image data.
  • the idea of the present disclosure is not limited to skin cancer and may be applied to various diseases.
  • Figure 3 is a block diagram showing the configuration of a user terminal according to various embodiments.
  • the user terminal 100 includes a first processor 101, an input module 110, an output module 120, a first communication module 130, a camera 140, and a first memory 150. It may include all or part of.
  • the user terminal 100 of FIG. 3 may be identical or similar in whole or in part to the configuration of the user terminal 100 of FIGS. 1 and 2 .
  • the first communication module 130 can communicate with an external device.
  • the user terminal 100 can transmit and receive data with the analysis server 200 or an external server through the first communication module 130.
  • the user terminal 100 may transmit image data to the analysis server 200 through the first communication module 130.
  • the user terminal 100 may access the Internet through the first communication module 130 and upload image data.
  • the first communication module 130 is largely divided into wired type and wireless type.
  • the user terminal 100 may be provided with both a wired type and a wireless type.
  • LAN Local Area Network
  • USB Universal Serial Bus
  • WLAN Wireless Local Area Network
  • Wi-Fi Wireless Local Area Network
  • the first memory 150 can store various types of information. Various data may be temporarily or semi-permanently stored in the first memory 150. Examples of the first memory 150 include hard disk drive (HDD), solid state drive (SSD), flash memory, read-only memory (ROM), and random access memory (RAM). ), etc.
  • the first memory 150 may be provided in a form built into the user terminal 100 or in a detachable form.
  • the first memory 150 includes an operating program (OS: Operating System) for driving the user terminal 100 and various programs necessary for operating the user terminal 100, including programs for operating each component of the user terminal 100. Data can be stored. For example, a program capable of processing analysis results received from the analysis server 200 may be stored in the first memory 150 .
  • OS Operating System
  • the first processor 101 may control the overall operation of the user terminal 100. For example, the first processor 101 loads and executes a program for processing image data analyzed in the analysis server 200 from the first memory 150 or provides an indication to the user through the output module 120. can be provided.
  • the first processor 101 may be implemented as a CPU (Central Processing Unit) or a similar device depending on hardware, software, or a combination thereof. In hardware, it may be provided in the form of an electronic circuit that processes electrical signals to perform a control function, and in software, it may be provided in the form of a program or code that drives the hardware circuit.
  • CPU Central Processing Unit
  • the user terminal 100 may have a separate power supply unit or may receive power from an external source either wired or wirelessly, and may have a separate switch for controlling the power supply unit.
  • the input module 110 may receive user input from the user.
  • User input can take various forms, including key input, touch input, and voice input.
  • Examples of the input module 110 include a traditional keypad, keyboard, and mouse as well as a touch sensor that detects the user's touch and various other types of input means that detect or receive user input. It is a concept.
  • the input module 110 may be implemented in the form of an input interface (USB port, PS/2 port, etc.) that connects an external input device that receives user input to an electronic device instead of a device that detects user input by itself. there is.
  • the output module 120 can output various information and provide it to the user.
  • the output module 120 is a comprehensive concept that includes a display that outputs an image, a speaker that outputs sound, a haptic device that generates vibration, and various other types of output means.
  • the output module 120 may be implemented in the form of a port-type output interface that connects individual output means to an electronic device.
  • the camera 140 can capture the surrounding environment of the user terminal 100.
  • the camera 140 is controlled by the first processor 101 and can photograph at least part of the user's body and generate image data.
  • Figure 4 is a block diagram showing the configuration of an analysis server according to various embodiments.
  • the analysis server 200 may include all or part of a second processor 201, a second memory 250, and a second communication module 230.
  • the analysis server 200 of FIG. 4 may have the same configuration in whole or in part as the analysis server 200 of FIGS. 1 and 2 .
  • the analysis server 200 may analyze image data transmitted from the user terminal 100 and provide disease information about the suspicious tissue included in the image data.
  • the analysis server 200 may transmit analysis results or disease information to the user terminal 100.
  • the second processor 201 obtains image data of a body part from the user terminal 100 using the second communication module 230 and stores a program stored in the second memory 250. You can use to determine the pathology information of the suspicious tissue included in the image data.
  • the second communication module 230 can communicate with external devices.
  • the analysis server 200 may perform data communication with the user terminal 100 or an external server using the second communication module 230.
  • the analysis server 200 may obtain image data from the user terminal 100 using the second communication module 130.
  • the second communication module 230 may be provided similarly to the first communication module 130, a detailed description thereof will be omitted.
  • the second memory 250 may store various information about the analysis server 200.
  • the second memory 250 may store various data necessary for the operation of the analysis server 200, including an operation program for operating the analysis server 200 or a program for operating each component of the analysis server 200. .
  • a program for analyzing image data and an artificial neural network for data analysis may be stored in the second memory 250.
  • the second memory 250 may be provided similarly to the first memory 150, a detailed description thereof will be omitted.
  • the second processor 201 may control the overall operation of the analysis server 200. For example, the second processor 201 loads a program for data processing and analysis from the second memory 250, processes and analyzes data obtained from the user terminal 100, and sends the results to the user terminal 100. A control signal can be generated to be provided to the user.
  • the second processor 201 may be provided similarly to the first controller 1250, a detailed description thereof will be omitted.
  • the method of providing disease information according to an embodiment of the present specification is performed by the disease information providing system 10 described above.
  • the method of providing disease information according to an embodiment of the present specification is not limited to being implemented in the disease information providing system 10 described above.
  • the disease provision method described later does not necessarily have to be performed only by the disease information provision system 10 described above, and can also be performed by another system or device having a similar function to the disease information provision system 10 described above. do.
  • Figure 5 is a flowchart showing a method of providing disease information according to various embodiments.
  • a method of providing disease information includes a step of displaying a body image (S110), a step of obtaining a user input related to a unit body part (S120), and a first image related to the unit body part. It may include all or part of the step of acquiring data (S130), analyzing the first image data (S140), and detecting the target tissue and obtaining a disease score based on the analysis results (S150).
  • the user terminal 100 may display a body image (S110).
  • the user terminal 100 may display a body image including at least two body parts through the output module 120.
  • the body image may be a full-body image, but is not necessarily limited thereto.
  • the body image may be divided into a plurality of unit body parts.
  • the user terminal 100 may obtain user input related to a unit body part (S120). For example, the user may select at least one of the unit body parts included in the displayed body image regarding the body part for which he or she wishes to receive disease information (e.g., a body part where skin tissues of which it is unclear whether the disease exists). You can select (e.g., authorize touch input).
  • disease information e.g., a body part where skin tissues of which it is unclear whether the disease exists.
  • the user terminal 100 may acquire first image data related to the selected unit body part (S130).
  • the first image data may refer to image data in which a unit body part is photographed as a whole.
  • the first image data may be imaged with skin tissues of which it is unclear whether they are diseased tissues.
  • skin tissues whose disease status is unclear are referred to as 'suspicious tissues.'
  • the user terminal 100 may transmit the acquired first image data to the analysis server 200, and the analysis server 200 may analyze the first image data (S140). As will be described later, the analysis server 200 may analyze the first image data using an artificial neural network.
  • the analysis server 200 transmits the analysis result of the first image data to the user terminal 100, and the user terminal 100 can detect the target tissue and obtain a disease score.
  • the processor 201 may be comprised of one or multiple processors.
  • one or more processors may be a general-purpose processor such as a CPU, AP, or DSP (Digital Signal Processor), a graphics-specific processor such as a GPU or VPU (Vision Processing Unit), or an artificial neural network-specific processor such as an NPU.
  • One or more processors control input data to be processed according to predefined operation rules or artificial neural network models stored in the memory 250.
  • the processors dedicated to artificial neural networks may be designed with a hardware structure specialized for processing a specific artificial neural network model.
  • the artificial neural network model can be implemented in the form of a classifier that generates diagnostic assistance information.
  • the classifier can perform double classification or multiple classification.
  • the neural network model may be a binary classification model that classifies input data into normal or abnormal classes with respect to target diagnostic auxiliary information such as a specific disease or abnormality symptom.
  • the neural network model may be a multi-classification model that classifies input data into a plurality of grade classes for specific characteristics (eg, degree of disease progression).
  • the neural network model may be implemented as a regression model that outputs specific numbers related to a specific disease.
  • Predefined operation rules or artificial neural network models are characterized by being created through learning.
  • created through learning means that a basic artificial neural network model is learned using a large number of learning data by a learning algorithm, thereby creating a predefined operation rule or artificial neural network model set to perform the desired characteristics (or purpose). It means burden.
  • This learning may be accomplished in the device itself on which the artificial neural network according to the present disclosure is performed, or may be accomplished through a separate server and/or system. Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the examples described above.
  • An artificial neural network model may be composed of multiple neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and neural network calculation is performed through calculation between the calculation result of the previous layer and the plurality of weights.
  • the plurality of weights of the plurality of neural network layers can be optimized by the learning results of the artificial neural network model. For example, during the learning process, a plurality of weights may be updated so that loss or cost values obtained from the artificial neural network model are reduced or minimized.
  • DNN deep neural networks
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • GAN Generative Adversarial Network
  • RBM Restricted Boltzmann Machine
  • DNN Deep Belief Network
  • BDN Bidirectional Recurrent Deep Neural Network
  • DQ-Networks Deep Q-Networks, but are not limited to the examples described above.
  • FIG. 6 is a diagram illustrating an operation in which disease information is provided from a user terminal, according to various embodiments.
  • the user terminal 100 may obtain image data in which at least part of the body is photographed.
  • the user terminal 100 may display an image 1 related to the body.
  • the first processor 101 may display the body image 1 through the output module 120.
  • the body image 1 may be a full body image or an image of a part of the body.
  • the user terminal 100 may obtain user input for unit body parts 2 to 6 from the user.
  • the unit body parts (2 to 6) may refer to body parts for which disease information is to be provided. Additionally, the unit body parts 2 to 6 may refer to at least one part of the body that can be physically divided. In addition to this, unit body parts can be distinguished in various ways.
  • the unit body part may be divided into at least some of the hand, arm (2), shoulder (3), chest (6), stomach, back, leg (5), arm, and head (4).
  • hands can be divided into fingers
  • arms can be divided into upper and lower arms, etc. in more detail.
  • the user may select at least one of at least some unit body parts 2 to 6 included in the body image output through the output module 120.
  • the user can select a unit body part for which he/she wants to receive disease information from among the displayed body images through an input module (eg, touch input).
  • the body image does not necessarily need to be divided into unit body parts.
  • the user can select a location on the body image that corresponds to the area on the user's (or patient's) body where the suspect tissue is present.
  • the explanation will focus on how to provide disease information through selection of unit body parts.
  • the composition of the body image 1 output through the user terminal 100 may be adjusted.
  • the body included in the body image 1 may be rotated, zoomed in/out, and/or moved. The user can select the optimal unit body parts (2 to 6) while adjusting the composition of the body image (1).
  • the user terminal 100 may provide an indication requesting upload of an image related to the unit body part 2 in response to user input.
  • the user terminal 100 displays an image for a unit body part (e.g., arm 2) corresponding to the user input, and requests upload of an image for the unit body part 2.
  • the indication can be displayed together.
  • the user terminal 100 may obtain first image data related to a unit body part from the user. For example, the user may upload first image data in which a photo or video related to the selected unit body part is captured. In some embodiments, the user terminal 100 operates the camera 140 in response to user input, allowing the user to photograph unit body parts in real time.
  • the user terminal 100 may compare the uploaded first image data with a unit body part selected by user input. For example, if the user selects an arm as a unit body part and uploads image data related to the leg, the first processor 101 may analyze whether the uploaded image data corresponds to the arm. As a result of the analysis, if the uploaded image data does not correspond to the arm, the user terminal 100 may provide the user with an indication related to the upload of another photo or an error occurrence.
  • the body image 1 may not be divided into a plurality of unit body parts 2 to 6.
  • the user may select the first image data without selecting a separate unit body part (2 to 6). You can also upload it.
  • the user selects the body part where the suspicious tissue occurs in the body image (1) itself, which is not divided into a plurality of unit body parts (2 to 6), and selects the body part where the suspicious tissue occurs and displays the first image related to that part. You can also upload data. That is, segmentation of the body image 1 into unit body parts 2 to 6 may not be performed.
  • Figure 7 is a diagram illustrating an image analysis operation performed on a server, according to various embodiments.
  • FIG. 8 is a diagram illustrating an example of a disease score provided from a server, according to various embodiments.
  • the analysis server 200 may obtain a disease score from image data using a pre-trained artificial neural network model.
  • the artificial neural network model may be primarily for, but is not limited to, detecting objects in image data.
  • artificial neural network models such as RCNN, Fast-RCNN, Faster-RCNN, Fastest-RCNN, and Yolo can be used.
  • the artificial neural network model 202 may be trained using a learning data set in which disease indicators are tagged with previously acquired image data.
  • disease indicators may be divided into two or more types.
  • the disease indicator may include a malignant indicator, a pre-malignant indicator, and a benign indicator.
  • the disease indicator may be further divided into detailed disease indicators.
  • malignant disease indicators can be specifically divided into malignant melanoma, basal cell carcinoma, and squamous cell carcinoma.
  • preliminary malignant disease indicators can be specifically divided into actinic keratosis, dysplastic nevus syndrome, and macropigmented moles.
  • benign disease indicators may be classified as all or some of the following, specifically epidermoid cysts, warts, seborrheic keratosis, milia, sebaceous hyperplasia, dermatofibromas, moles, corns, calluses and/or freckles.
  • a sufficiently learned artificial neural network can analyze image data and obtain a disease score of a tissue included in the image data.
  • the disease score may be generated by combining the results of an artificial neural network model for a plurality of disease indicators assigned to suspicious tissues included in image data.
  • the disease score may mean the result value (or each value derived therefrom) of an artificial neural network model for each of a plurality of disease indicators assigned to tissues included in image data.
  • the result of the artificial neural network model may mean a probability value that the suspicious tissue included in the first image data corresponds to one of a plurality of disease indicators.
  • the result of an artificial neural network model may mean the result.
  • the 'result value of the artificial neural network model' will be simply abbreviated as 'result value'.
  • the disease score may be divided into a plurality of different scores.
  • the disease score may include at least one of a detailed score, an item score, and a comprehensive score.
  • the detailed score may be the result of an artificial neural network model for a plurality of detailed disease indicators.
  • a detailed score may mean a probability value corresponding to a plurality of detailed disease indicators.
  • the sum of the detailed scores may be 1.
  • the overall score (T) may be generated based on all or part of the detailed scores (M1 to M3, P1 to P3, and B1 to B10). In one embodiment, the overall score (T) may be generated based on weighted values for all or part of the detailed scores (M1 to M3, P1 to P3, and B1 to B10). For example, the composite score (T) is based on the weighted values of the subscores for malignant disease indicators (M1 to M3) and/or the subscores for preliminary malignant disease indicators (P1 to P3). It can be created.
  • the malignant disease indicators (M1 to M3) are greater than the detailed scores for preliminary malignant disease indicators (P1 to P3) and/or the detailed scores for benign disease indicators (B1 to B10). Weights may be assigned. Additionally, the detailed scores (P1 to P3) for preliminary malignant disease indicators may be given greater weight than the detailed scores (B1 to B10) for benign disease indicators. In one embodiment, in calculating the composite score (T), only the detailed scores for malignant disease indicators (M1 to M3) and the detailed scores for preliminary malignant disease indicators (P1 to P3) may be used. . In this case, the detailed scores (P1 to P3) regarding preliminary malignant disease indicators may be given a weight value greater than 0 and less than 1.
  • the stock score for a malignant disease indicator may be expressed as Mt1.
  • the stock score may be generated by combining the results of detailed indicators included in the same disease indicator.
  • an item score (Mt1) for a malignant disease indicator may be generated by combining detailed scores (M1, M2, M3) for detailed disease indicators.
  • the item score (Mt1) may be the average value of the detailed scores (M1, M2, and M3).
  • the item score (Mt1) may be the highest or lowest value among the detailed scores (M1, M2, M3).
  • the item score (Mt1) may be the median of the detailed scores (M1, M2, M3).
  • the item score Mt1 may be generated based on weighted values of all or part of the detailed scores M1, M2, and M3.
  • Descriptions regarding malignant disease indicators may apply to preliminary malignant disease indicators and benign disease indicators.
  • the description of the detailed scores (P1, P2, P3) and item score (Pt1) for the preliminary malignant disease indicator is the same as the explanation of the detailed score (M1, M2, M3) and item score (Mt1) for the preliminary malignant disease indicator. It can be.
  • the description of the detailed scores (B1,B2,B3,..., B10) and stock scores (Bt1) for benign disease indicators is equivalent to the description of detailed scores (M1,M2,M3) and stock scores for malignant disease indicators.
  • the explanation for (Mt1) can be applied mutatis mutandis.
  • the overall score (T) may be generated by combining multiple item score (Mt1, Pt1, Bt1) values.
  • the overall score (T) may be the average of the item scores (Mt1, Pt1, Bt1).
  • the overall score (T) may be the highest or lowest value among the item scores (Mt1, Pt1, Bt1).
  • the overall score (T) may be the median of the item scores (Mt1, Pt1, Bt1).
  • FIG. 9 is a diagram illustrating detection of a suspicious tissue within image data, according to various embodiments.
  • FIG. 10 is a diagram illustrating detection of target tissue from image data, according to various embodiments.
  • the disease information providing system 10 may analyze the first image data and detect at least one suspicious tissue included in the first image data.
  • the content of FIG. 8 may be referred to.
  • the analysis server 200 may detect at least one suspicious tissue included in the first image data.
  • the user terminal 100 may divide and display detected suspicious tissues.
  • the suspicious tissue detected in the image data eg, the bounding box area detected in the image data
  • 'preliminary target tissue' the suspicious tissue detected in the image data (eg, the bounding box area detected in the image data) as a result of the analysis by the analysis server 200 will be referred to as 'preliminary target tissue'.
  • the disease score may be used by the analysis server 200 to detect preliminary target tissues.
  • a partial area within the first image data where a disease score greater than or equal to a threshold is confirmed may be detected as a preliminary target tissue.
  • the disease score may be at least one of the detailed score, item score, and/or comprehensive score described above.
  • the disease score for detecting the preliminary target tissue within the image data may be referred to as a 'detection score'. Therefore, in the present disclosure, the terms 'disease score' and 'detection score' may be used interchangeably.
  • a detection score may be derived by results associated with a disease-related malignant disease indicator and/or a preliminary malignant disease indicator.
  • the detection score may also be derived from results for positive disease indicators to detect skin tissue with an unusual shape. Therefore, if the detection score is less than the threshold, even if the tissue is abnormal when viewed with the naked eye, it may not be detected as a preliminary target tissue in the analysis results of the analysis server 200.
  • the threshold may be determined considering relevance to the disease. For example, the larger the threshold value is set, the more tissues related to the disease can be detected. Conversely, the smaller the threshold value is set, the more tissues less related to the disease can be detected.
  • the threshold may be set by the user. Additionally, the threshold may be determined based on the type of disease indicator used to generate the detection score. For example, if the detection score is generated only using a malignant disease indicator and/or a preliminary malignant disease indicator, tissues related to the disease may be detected even if the threshold is set relatively low.
  • the analysis server 200 may detect at least one target tissue included in the first image data.
  • the target tissue is a tissue suspected of having a disease and may refer to a tissue for which detailed pathology information is required.
  • the target tissue may be detected by a detection score derived from a combination of all or some of the disease scores for a malignant disease indicator and/or disease scores for a preliminary malignant disease indicator within the first image data. there is.
  • specific suspicious organizations for which detection scores higher than a threshold are confirmed may be viewed as target tissues.
  • the threshold for detecting the preliminary target tissue may be referred to as a first threshold
  • the threshold for detecting the target tissue may be referred to as a second threshold.
  • the analysis server 200 classifies several preliminary target tissues included in the first image data (see FIG. 9), and selects a target tissue highly related to the disease from among the classified suspicious tissues. Further detection is possible (see FIG. 10). According to some embodiments, the analysis server 200 provides only result values for disease indicators of pixels included in the first image data, and the first processor 101 of the user terminal 100 detects suspicious tissues and/or Target tissue can also be detected.
  • analysis server 200 may detect only target tissue. For example, in a specific case, the user is only interested in information about tissues related to the disease, so the analysis server 200 can detect only target tissues that are relatively highly related to the disease.
  • the system 10 may partition and display the preliminary target tissue and/or target tissue and simultaneously tag and display disease information related to the preliminary target tissue and/or target tissue.
  • the user terminal 100 may display a preliminary target tissue and/or a bounding box for dividing the target tissue and a disease score corresponding to the bounding box.
  • a variety of methods for tagging disease information in the user terminal 100 may be used.
  • the user terminal 100 may tag disease information in the preliminary target tissue and/or adjacent to the target tissue.
  • the user terminal 100 may display disease information when a preliminary target tissue and/or a user input for the target tissue is received (eg, when the user applies a touch input).
  • the analysis server 200 may transmit information to be displayed through the user terminal 200.
  • various implementation variations are possible.
  • the user terminal 100 may display the preliminary target organization and the target organization to distinguish between them. According to one embodiment, the user terminal 100 may provide different indications to the preliminary target organization and the target organization. For example, the user terminal 100 may display the preliminary target organization and the target organization in different colors. As another example, the preliminary target organization and the target organization may be distinguished by different sizes.
  • the analysis server 200 may transmit information to be displayed through the user terminal 200. In addition to this, various implementation modifications may be possible.
  • the user terminal 100 may provide other indications based on the corresponding preliminary target tissue and/or the disease score (or detection score) confirmed in the target tissue.
  • a visually stimulating indication may be provided as the disease score increases. For example, as the disease score is higher, a darker color indication may be provided, or as the disease score is lower, a lighter color indication may be provided.
  • the indication may be applied to the bounding box and/or pixels within the first image data.
  • the first to third preliminary targets (K1, K2, K3) are disease scores greater than the above-described first threshold
  • the fourth target (K4) is a disease score greater than the second threshold
  • the analysis server 200 may determine location information of a preliminary target organization.
  • the analysis server 200 may detect a set of pixels whose result values for disease indicators are greater than or equal to a threshold value as a preliminary target tissue area and determine location information about the preliminary target tissue area.
  • location information for the preliminary target tissue area may be determined based on the location of pixels or bounding boxes within the image data.
  • the user terminal 100 may provide a preliminary target organization and/or location information of the target organization to the user.
  • system 10 may visually segment only target tissue (K4) with a high disease score (highly associated with disease). For example, when the threshold value related to a disease is 80, the analysis server 200 may partition only the target (K4) with a disease score of 80 or more into a bounding box.
  • the user terminal 100 can receive and display the information.
  • system 10 may request re-imaging for target tissue (K4) with a high disease score.
  • target tissue K4
  • the third threshold may be a threshold value of a disease score requiring re-imaging.
  • the analysis server 200 may request to capture second image data for the corresponding target tissue (K4).
  • the user terminal 100 may display a photographing request in exchange for the second image data so that the user can recognize it.
  • the second image data may be an enlarged image of the target tissue (K4).
  • the second image data may be a close-up image of the target tissue K4 or a dermascopic image, but is not limited thereto.
  • FIG. 11 is a flowchart illustrating a method of providing disease information related to a target tissue, according to various embodiments.
  • the method of providing disease information related to the target tissue includes acquiring second image data in which the target tissue is photographed (S220) and obtaining a disease score for the target tissue (S240). can do.
  • the system 10 may acquire second image data in which the target tissue is photographed (S220).
  • the second image data is image data in which a tissue detected as a target tissue (or preliminary target tissue) is photographed in the first image data, and may mean image data in which the target tissue is photographed in a more enlarged manner.
  • the user terminal 100 may transmit the second image data to the analysis server 200.
  • system 10 may provide an indication requesting upload of second image data for the target tissue.
  • the user may select at least one target tissue (or preliminary target tissue) among the target tissues (or preliminary target tissues) detected as a result of analysis of the first image data (e.g., apply a touch input),
  • the user terminal 100 may request upload of second image data for the selected target organization.
  • the analysis server 200 may analyze the second image data and provide a disease score for the target tissue included in the second image data (S240). Specifically, the analysis server 200 may provide a disease score for the target tissue included in the second image data.
  • FIG. 12 is a diagram illustrating providing disease information of a target tissue according to various embodiments.
  • the system 10 may provide disease information of the target tissue included in the second image data.
  • the second image data may be an enlarged image or a dermatoscope image, as described above.
  • system 10 may provide disease information to target tissue detected in the second image data.
  • a disease score can be provided along with detection information about the target tissue.
  • the disease score may be provided as a detailed score for all of the detailed disease indicators described above.
  • the detailed score can be weighted according to the disease index.
  • result values related to the target organization may be referred to as target result values.
  • the analysis server 200 may detect the target tissue within the second image data based on location information of the target tissue (or preliminary target tissue). For example, the analysis server 200 compares the location information of the target tissue detected in the first image data and the target tissue detected in the second image data to provide disease information between the corresponding target tissues. You can.
  • the system 10 may provide disease information about the target tissue. For example, when two or more target organizations exist in the second image data, when the user applies a touch input to one target organization, the analysis server 200 analyzes the target organization through the user terminal 100. Can provide disease information. In some embodiments, when two or more target tissues exist in the second image data, the analysis server 200 may provide comparative information for each target tissue through the user terminal 100.
  • the analysis server 200 may provide dictionary information about the disease as disease information. For example, when the disease score is calculated to have a high detailed disease index related to melanoma, the analysis server 200 may provide preliminary information about melanoma to the user through the user terminal 100.
  • dictionary information may be provided in response to user input. For example, when a user applies an input (e.g., touch input) to a detailed disease indicator (e.g., melanoma, squamous cancer, wart, etc.) displayed through the display, the analysis server 200 provides an input corresponding to the user's input. It can provide preliminary information about the disease.
  • a detailed disease indicator e.g., melanoma, squamous cancer, wart, etc.
  • Figure 13 is a flowchart showing a method of providing disease information including a reminder indication, according to various embodiments.
  • the method of providing disease information including a reminder indication includes providing a reminder indication after a predetermined time has elapsed (S320) and acquiring third image data for the target tissue (S340). ) and a step of providing disease score comparison results (S360).
  • the system 10 when a predetermined time has elapsed after the analysis result of the first image data or the analysis result of the second image data is provided, A reminder indication can be provided to the user.
  • the reminder indication may be provided by the analysis server 200 or the user terminal 100.
  • the analysis server 200 transmits a signal for providing a reminder indication to the user terminal 100, and the user terminal 100 may provide a reminder indication in response.
  • the predetermined time may mean a period of time during which re-diagnosis of tissue suspected of being diseased is required.
  • the predetermined time may be two weeks.
  • the predetermined time may be determined based on the disease score of the target tissue (or preliminary target tissue). For example, when the disease score of the target tissue (or preliminary target tissue) is low, a reminder indication may be provided after a relatively longer period of time than when the disease score is high.
  • the reminder indication may be provided through the output module 120 of the user terminal 100.
  • the reminder indication may be provided through visual information through a display, tactile information through vibration, and/or sound information. In addition to this, various methods can be used.
  • the user terminal 100 may acquire third image data related to the target organization K4.
  • the third image data may be image data taken in a composition that is substantially the same or similar to the above-described first image data or second image data.
  • the third image data may refer to image data in which the target tissue K4 (or preliminary target tissues K1, K2, K3) included in the first image data or the second image data is photographed.
  • the user terminal 100 may transmit the third image data to the analysis server 200.
  • the analysis server 200 may provide disease score comparison results.
  • the analysis server 200 may analyze the third image data, detect preliminary target tissue and/or target tissue included in the third image data, and obtain a disease score. After analysis of the third image data, the analysis server 200 determines the disease score for the target tissue (K4') and the preliminary target tissue included in the first image data, and the target tissue (K4') included in the first image data. And the disease score of the target tissue (K4'') and the preliminary target tissue in the third image data corresponding to the preliminary target tissue may be compared. Similarly, disease scores of the second and third image data may be compared.
  • FIG. 14 is a diagram showing how the method for providing disease information of FIG. 13 is implemented.
  • system 10 may provide a disease score comparison result of first image data (and/or second image data) and third image data.
  • the analysis server 200 after analyzing the third image data, provides a disease score for the target tissue (K4') and the preliminary target tissue included in the first image data.
  • the disease scores of the target tissue (K4') and the preliminary target tissue included in image data 1 and the target tissue (K4'') and the preliminary target tissue in the corresponding third image data may be compared.
  • disease scores of the second and third image data may be compared.
  • the system 10 compares the disease score of the target tissue (K4') included in the first image data and the target tissue (K4'') included in the third image data, and outputs the result. can do.
  • the user terminal 100 may display disease scores and/or difference values (e.g., FIG. The difference value 15) of 14(b) can also be output.
  • the above-described location information can be used.
  • the user terminal 100 when the difference between the disease score values of the target tissue included in the first image data and the target tissue included in the third image data is greater than or equal to the fourth threshold, the user terminal 100 sends a first alarm to the user.
  • the fourth threshold may mean a threshold for the difference in disease scores for generating an alarm.
  • the alarm may reflect that the target tissue is related to a disease or that the target tissue has grown significantly.
  • the user terminal 100 when the difference between the disease score values of the target tissue included in the first image data and the target tissue included in the third image data is minimal or less than the fifth threshold, the user terminal 100 sends a second alarm to the user.
  • the second alarm may reflect that the target tissue (or preliminary target tissue) is less related to the disease or has not grown significantly.
  • the system 10 may compare first image data (or second image data) and third image data to determine whether a new lesion has occurred.
  • the analysis server 200 determines the target organization (or preliminary target organizations (J1a, J2a)) in the first image data and the target organization (or preliminary target organizations (J1b, J2b)) in the third image data. ), the degree of disease progression can be determined, and the occurrence of new suspicious tissue (J3) can also be determined.
  • the analysis server 200 may segment the new suspicious organization (J3), and the user terminal 100 may segment and display it.
  • the location information of the preliminary target tissues (J1a, J2a) of the first image data and the target tissue or By comparing the location information of the preliminary target organizations (J1b, J2b), it is possible to determine whether the target organizations correspond to each other.
  • system 10 may be integrated into a single device.
  • a body part and at least one suspicious tissue located in the body part are photographed.
  • a step of analyzing the first image data using an artificial neural network wherein the first artificial neural network is trained to detect target tissue related to a disease from image data taken of a body part, and the first artificial neural network is trained to detect target tissue related to a disease based on the analysis result.
  • a method of providing disease information including the step of learning to obtain a result value and providing a disease score based on the target result value may be provided.
  • the plurality of disease indicators include at least some of 1) malignancy disease indicators, 2) benign disease indicators, and pre-malignant disease indicators. A method of providing disease information This can be provided.
  • the malignant disease indicator includes indicators each reflecting three or more diseases
  • the benign disease indicator each includes indicators reflecting five or more benign tissues
  • the preliminary malignant disease indicator includes A method of providing disease information that includes indicators reflecting two or more preliminary diseases may be provided.
  • the disease score is generated by combining at least some of the target result value for the malignant disease index, the target result value for the preliminary malignant disease index, and the target result value for the benign disease index.
  • a method of providing disease information may be provided.
  • the disease score is generated by combining the target result value for the malignant disease index with a weighted value for the target result value for the preliminary malignant disease index, and the weight is greater than 0 and less than or equal to 1.
  • a method of providing disease information selected from a range may be provided.
  • a method for providing disease information may be provided, wherein the detection score is generated by combining the result values for the malignant disease index and the result values for the preliminary malignant disease index.
  • the threshold includes a first threshold and a second threshold that is greater than the first threshold, and when the detection score is greater than the first threshold but less than the second threshold and the detection score is If the value is greater than or equal to the second threshold, a method for providing disease information may be provided that further includes instructing to provide different indications.
  • a method of providing disease information may be provided in which the disease score includes disease information on three indicators with the highest values among the plurality of target result values.
  • a method of providing disease information may be provided, further comprising merging at least one of the detection score and the disease score with the first image data.
  • a method of providing disease information may be provided in which the body part includes at least one of arms, legs, abdomen, back, hands, and feet.
  • the analysis result is obtained using an artificial neural network, and the artificial neural network is trained to detect target tissue related to the disease from image data of a body part, and , Based on the analysis results, at least one disease score obtained from the results of at least some of the plurality of disease indicators among the at least one suspicious tissue included in the first image data is analyzed to be equal to or higher than a threshold value.
  • Detecting target tissue Obtaining location information of the detected target tissue; After a predetermined time has elapsed, requesting acquisition of second image data for the same body part as the body part; Obtaining a disease score of a target tissue included in the second image data using the artificial neural network; and comparing disease scores of target tissues in the first image data and target tissues in the second image data, respectively located at corresponding positions, based on the location information. and providing disease information based on the comparison results.
  • a method of providing disease information including a step may be provided.
  • the plurality of disease indicators may include at least some of 1) malignancy disease indicators, 2) benign disease indicators, and pre-malignant disease indicators.
  • the malignant disease indicator includes indicators each reflecting three or more diseases
  • the benign disease indicator each includes indicators reflecting five or more benign tissues
  • the preliminary malignant disease indicator is A method of providing disease information that includes indicators reflecting two or more preliminary diseases may be provided.
  • the disease score is generated by combining at least some of the target result value for the malignant disease index, the target result value for the preliminary malignant disease index, and the target result value for the benign disease index.
  • a method of providing disease information may be provided.
  • the step of comparing the disease scores includes obtaining a difference in detection score values of target tissues at the same location included in the first image data and the second image data. This can be provided.
  • a method of providing disease information including a step may be provided.
  • the disease score is generated by combining the target result value for the malignant disease index with a weighted value for the target result value for the preliminary malignant disease index, and the weight is disease information selected from the range of 0 to 1.
  • a method of provision may be provided.
  • the step of outputting the disease score includes outputting three or more target results with the largest values or disease information corresponding to three or more target results with the largest values. This can be provided.
  • a method of providing disease information may be provided, including providing a reminder indication to the user before the predetermined time elapses.
  • outputting a body image including the unit body part A method of providing disease information may be provided that further includes receiving a user input for the unit body part based on the output body image.
  • a method of providing disease information may be provided, further comprising determining the degree of disease progression of the target tissue based on the comparison result.
  • a method for providing disease information may be provided, further comprising detecting a target tissue that does not exist in the first image data from the third image data.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Dermatology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

다양한 실시예에 따르면, 신체 부위 및 상기 신체 부위에 위치된 적어도 하나 이상의 의심 조직이 촬영된 제1 이미지 데이터를 획득하는 단계; 인공신경망을 이용하여 상기 제1 이미지 데이터를 분석하는 단계로서, 상기 제1 인공신경망은 신체 부위를 촬영한 이미지 데이터로부터 질병과 관련된 타겟 조직을 검출하도록 학습되고, 상기 분석 결과에 기초하여 상기 제1 이미지 데이터 내에 포함된 상기 적어도 하나 이상의 의심조직들 중에서 상기 복수의 질병 지표들 중 적어도 일부의 결과값으로부터 파생된 검출 스코어가 임계값 이상으로 분석된 적어도 하나 이상의 상기 타겟 조직을 검출하는 단계; 상기 적어도 하나 이상의 타겟 조직이 촬영된 제2 이미지 데이터를 획득하는 단계; 제2 인공신경망을 이용하여 상기 타겟 조직과 상응하는 상기 복수의 질병 지표들의 질병 정보를 획득하는 단계로서, 상기 제2 인공신경망은 상기 타겟 결과값에 기초하여 질병 스코어를 제공하는 단계;를 포함하는 질병 정보 제공 방법이 제공될 수 있다.

Description

인공지능을 이용한 이미지 분석 기반 피부암 진단 방법
본 개시는 이미지 분석을 이용한 인공지능을 이용한 이미지 분석 기반 피부암 진단 방법 및 이를 수행하는 서버에 관한 것이다.
현대 의료 기술 분야에서는 기존의 조직 검사의 불편함을 최소화하는 비침습적인 형태로 보다 정확하게 진단을 수행하기 위한 다양한 기법들에 대한 요구가 점차 증대되고 있다.
이러한 추세 속에서, 병변의 외관을 촬영한 이미지 데이터를 이용하여, 간편하게 병변의 병리학적 정보를 판단할 수 있는 방법이 각광받고 있다.
본 발명이 해결하고자 하는 일 과제는, 인공 신경망을 이용하여 병변을 촬영한 이미지 데이터를 이용하여 병변과 관련된 질병 정보를 제공하는 방법 및 이를 수행하는 진단 장치를 제공하는 것이다.
다양한 실시예에 따르면, 메모리 및 상기 메모리로부터 로드된 프로그램을 구동하는 프로세서를 포함하는 분석 서버에 의해 수행되는 질병 정보 제공 방법에 있어서, 신체 부위 및 상기 신체 부위에 위치된 적어도 하나 이상의 의심 조직이 촬영된 제1 이미지 데이터를 획득하는 단계; 인공신경망을 이용하여 상기 제1 이미지 데이터를 분석하는 단계로서, 상기 제1 인공신경망은 신체 부위를 촬영한 이미지 데이터로부터 질병과 관련된 타겟 조직을 검출하도록 학습되고, 상기 분석 결과에 기초하여 상기 제1 이미지 데이터 내에 포함된 상기 적어도 하나 이상의 의심조직들 중에서 상기 복수의 질병 지표들 중 적어도 일부의 결과값으로부터 파생된 검출 스코어가 임계값 이상으로 분석된 적어도 하나 이상의 상기 타겟 조직을 검출하는 단계; 상기 적어도 하나 이상의 타겟 조직에 대한 제2 이미지 데이터를 요청하는 단계; 상기 적어도 하나 이상의 타겟 조직이 촬영된 제2 이미지 데이터를 획득하는 단계; 제2 인공신경망을 이용하여 상기 타겟 조직과 상응하는 상기 복수의 질병 지표들의 질병 정보를 획득하는 단계로서, 상기 제2 인공신경망은 이미지 데이터에 포함된 타겟 조직에 대한 복수의 질병 지표들에 관한 타겟 결과값을 획득하도록 학습되고, 및 상기 타겟 결과값에 기초하여 질병 스코어를 제공하는 단계;를 포함하는 질병 정보 제공 방법이 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시예에 따르면, 다수의 질병 지표들이 레이블링 된 이미지 데이터로 학습된 인공신경망을 이용하여, 정확하고 간편하게 병변에 대한 질병 정보를 판단할 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다
도 1은 다양한 실시예에 따른 질병 정보 제공 시스템을 개략적으로 나타낸 도면이다.
도 2는 다양한 실시예에 따른 질병 정보 시스템의 개괄적인 동작을 나타낸 블록도이다.
도 3은 다양한 실시예에 따른 사용자 단말의 구성을 나타낸 블록도이다.
도 4는 다양한 실시예에 따른 분석 서버의 구성을 나타낸 블록도이다.
도 5는 다양한 실시예에 따른 질병 정보 제공 방법을 나타낸 순서도이다.
도 6은 다양한 실시예에 따라, 사용자 단말에서 질병 정보가 제공되는 동작을 나타낸 도면이다.
도 7은 다양한 실시예에 따라, 서버에서 수행되는 이미지 분석 동작을 나타낸 도면이다.
도 8은 다양한 실시예에 따라, 서버에서 제공되는 질병 스코어의 일 예를 나타낸 도면이다.
도 9는 다양한 실시예에 따라, 이미지 데이터의 검출이 수행되는 것을 나타낸 도면이다.
도 10은 다양한 실시예에 따라, 이미지 데이터로부터 타겟 조직이 검출되는 것을 나타낸 도면이다.
도 11은 다양한 실시예에 따라, 타겟 조직과 관련된 질병 정보를 제공하는 방법을 나타낸 순서도이다.
도 12는 다양한 실시예에 따라, 타겟 조직의 질병 정보를 제공하는 모습을 나타낸 도면이다.
도 13은 다양한 실시예에 따라, 리마인더 인디케이션을 포함하는 질병 정보 제공 방법을 나타낸 순서도이다.
도 14는 도 13의 질병 정보 제공 방법이 구현되는 모습을 나타낸 도면이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 검출기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "유닛", "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서는 이미지 분석을 이용한 질병 정보 제공 방법 및 이를 수행하는 시스템에 관한 것이다.
본 명세서에서 '질병 정보'는, 분석하고자 하는 목적물의 상태나 특성을 판단하는 것 및 이러한 특성의 판단에 기초한 2차적 판단을 포함하는 포괄적인 개념이다. 일 실시예에서, 질병 정보는 목적물에 관한 병리학적 정보를 포함할 수 있다. 예를 들어, 질병 정보는 진단 정보를 포함할 수 있다. 진단 정보는 목적물이 질병 조직일 확률값으로 표현될 수 있다. 또한, 질병 정보는, 목적물에 대한 다양한 질병 지표들에 관한 수치적인 정보(예: 확률값)으로 제공될 수도 있다.
이하에서는 본 명세서의 일 실시예에 따른 질병 정보 제공 시스템(10)에 관하여 도 1 및 도 2를 참조하여 설명한다.
본 명세서의 일 실시예에 따른 진단 시스템(10)은 이미지 분석을 이용하여 목적물에 대한 질병 정보를 제공하는 시스템이다.
도 1은 다양한 실시예에 따른 질병 정보 제공 시스템을 개략적으로 나타낸 도면이다. 도 2는 다양한 실시예에 따른 질병 정보 시스템의 개괄적인 동작을 나타낸 블록도이다.
도 1 및 도 2를 참조하면, 질병 정보 제공 시스템(10)은 사용자 단말(100) 및 분석 서버(200)를 포함할 수 있다. 사용자 단말(100)과 분석 서버(200)는 온라인 네트워크를 통해 서로 연결될 수 있다.
다양한 실시예에 따르면, 사용자 단말(100)은 분석 서버(200)에 데이터를 전송하거나 및/또는 분석 서버(200)로부터 데이터를 전송받을 수 있다. 일 실시예에서, 사용자 단말(100)은, 질병 정보 제공에 필요한 이미지 데이터를 획득하고, 이를 분석 서버(200)로 전송할 수 있다. 예를 들어, 사용자 단말(100)은, 사람의 신체의 적어도 일부가 촬영된 이미지 데이터(또는 영상)을 분석 서버로 전송할 수 있다.
다양한 실시예에 따르면, 분석 서버(200)는 사용자 단말(100)으로부터 이미지 데이터를 전송받고, 전송받은 이미지 데이터를 분석할 수 있다. 일 실시예에서, 분석 서버(200)는, 인공신경망 모델을 이용하여 이미지 데이터를 분석하고, 이미지 데이터 내에 포함된 타겟을 검출하거나 및/또는 타겟에 대한 질병 정보를 제공할 수 있다. 여기서, '타겟'은 이미지 데이터에 포함되고, 질병 정보 획득의 목적이 되는 특정 물체를 의미할 수 있다. 예를 들어, 타겟은 질환이 의심되는 피부 조직일 수 있다.
다양한 실시예에 따르면, 질병 정보 제공 시스템(10)은 이미지 데이터를 이용하여, 이미지 데이터 내에 포함된 타겟의 질병 정보를 제공할 수 있다. 일 실시예에서, 질병 정보 제공 시스템(10)은, 사용자 단말(100)을 통해 사용자(또는 다른 환자)의 신체 적어도 일부가 촬영된 이미지 데이터를 획득하고, 분석 서버(200)는 획득된 이미지 데이터를 분석하여, 그 결과로 이미지 데이터에 포함된 타겟에 대한 질병 정보를 제공할 수 있다.
이하의 설명에서, 피부암과 관련된 질병 정보를 제공하기 위한 질병 정보 제공 시스템(10)에 대해 주로 설명하기로 한다. 즉, 질병 정보 제공 시스템(10)은, 피부암으로 의심되는 환부가 촬영된 이미지 데이터를 분석하여, 해당 이미지 데이터 내에 존재하는 환부와 관련된 질병 정보를 제공할 수 있다. 다만, 본 개시의 사상이 피부암에만 국한되어 적용되는 것은 아니며, 다양한 질병에 적용될 수도 있다.
도 3은 다양한 실시예에 따른 사용자 단말의 구성을 나타낸 블록도이다.
도 3을 참조하면, 사용자 단말(100)은 제1 프로세서(101), 입력 모듈(110), 출력 모듈(120), 제1 통신 모듈(130), 카메라(140) 및 제1 메모리(150) 중 전부 또는 일부를 포함할 수 있다. 도 3의 사용자 단말(100)은, 도 1 및 도 2의 사용자 단말(100) 구성과 전부 또는 일부가 동일하거나 유사할 수 있다.
제1 통신 모듈(130)은 외부 기기와 통신을 수행할 수 있다. 사용자 단말(100)은 제1 통신 모듈(130)을 통해 분석 서버(200)나 외부 서버와 데이터 송수신을 할 수 있다. 예를 들어, 사용자 단말(100)은 제1 통신 모듈(130)을 통해 이미지 데이터를 분석 서버(200)에 전달할 수 있다. 또 다른 예로, 사용자 단말(100)은 제1 통신 모듈(130)을 통해 인터넷에 접속하여 이미지 데이터를 업로드할 수 있다.
제1 통신 모듈(130)은 크게 유선 타입과 무선 타입으로 나뉜다. 경우에 따라서는 사용자 단말(100)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다.
여기서, 유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다. 또 여기서, 무선 타입의 경우에는 주로 블루투스(Bluetooth)나 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식을 이용할 수 있다. 그러나, 무선 통신 프로토콜이 이로 제한되는 것은 아니므로 무선 타입의 통신 모듈은 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식이나 그 외의 알려진 다른 통신 방식을 이용하는 것도 가능하다.
제1 메모리(150)는 각종 정보를 저장할 수 있다. 제1 메모리(150)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 제1 메모리(150)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 제1 메모리(150)는 사용자 단말(100)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다.
제1 메모리(150)에는 사용자 단말(100)을 구동하기 위한 운용 프로그램(OS: Operating System)이나 사용자 단말(100)의 각 구성을 동작시키기 위한 프로그램을 비롯해 사용자 단말(100)의 동작에 필요한 각종 데이터가 저장될 수 있다. 예를 들어, 제1 메모리(150)에는 분석 서버(200)에서 전송받은 분석 결과를 처리할 수 있는 프로그램이 저장될 수 있다.
제1 프로세서(101)는 사용자 단말(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제1 프로세서(101)는 제1 메모리(150)로부터 분석 서버(200)에서 분석된 이미지 데이터의 처리를 위한 프로그램을 로딩하여 실행하거나 출력 모듈(120)을 통해 사용자에게 인디케이션을 제공할 수 있다.
제1 프로세서(101)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 CPU(Central Processing Unit)나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다.
사용자 단말(100)은 별도의 전원부를 가지거나 유선 혹은 무선으로 외부로부터 전원을 공급받을 수 있으며 전원부를 제어하는 스위치를 별도로 가질 수 있다.
입력 모듈(110)은 사용자로부터 사용자 입력을 수신할 수 있다. 사용자 입력은 키 입력, 터치 입력, 음성 음력을 비롯한 다양한 형태로 이루어질 수 있다. 입력 모듈(110)의 예로는 전통적인 형태의 키패드나 키보드, 마우스는 물론, 사용자의 터치를 감지하는 터치 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력 받는 다양한 형태의 입력 수단을 모두 포함하는 포괄적인 개념이다. 또, 입력 모듈(110)은 자체적으로 사용자 입력을 감지하는 장치 대신 전자 기기에 사용자 입력을 입력 받는 외부의 입력 장치를 연결시키는 입력 인터페이스(USB 포트, PS/2 포트 등)의 형태로 구현될 수도 있다.
출력 모듈(120)은 각종 정보를 출력해 사용자에게 이를 제공할 수 있다. 출력 모듈(120)은 영상을 출력하는 디스플레이, 소리를 출력하는 스피커, 진동을 발생시키는 햅틱 장치 및 그 외의 다양한 형태의 출력 수단을 모두 포함하는 포괄적인 개념이다. 이외에도 출력 모듈(120)은 전자 기기에 개별 출력 수단을 연결시키는 포트 타입의 출력 인터페이스의 형태로 구현될 수도 있다.
카메라(140)는 사용자 단말(100)의 주변 환경을 촬영할 수 있다. 카메라(140)는 제1 프로세서(101)에 의해 제어되며, 사용자의 신체 적어도 일부를 촬영하고 이미지 데이터를 생성할 수 있다.
도 4는 다양한 실시예에 따른 분석 서버의 구성을 나타낸 블록도이다.
도 4를 참조하면, 분석 서버(200)는, 제2 프로세서(201), 제2 메모리(250) 및 제2 통신 모듈(230) 중 전부 또는 일부를 포함할 수 있다. 도 4의 분석 서버(200)는, 도 1 및 도 2의 분석 서버(200)와 전부 또는 일부가 동일한 구성을 의미할 수 있다.
본 명세서의 일 실시예에 따르면, 분석 서버(200)는 사용자 단말(100)로부터 전송받은 이미지 데이터를 분석하고, 이미지 데이터에 포함된 의심 조직에 대한 질병 정보를 제공할 수 있다. 분석 서버(200)는 분석 결과 또는 질병 정보를 사용자 단말(100)에 전송할 수 있다.
본 명세서의 일 실시예에 따르면, 제2 프로세서(201)는 제2 통신모듈(230)을 이용해 사용자 단말(100)로부터 신체 일부가 촬영된 이미지 데이터를 획득하고 제2 메모리(250)에 저장된 프로그램을 이용하여 이미지 데이터에 포함된 의심 조직의 병리학 정보를 판단할 수 있다.
제2 통신모듈(230)은 외부 기기와 통신을 수행할 수 있다. 분석 서버(200)은 제2 통신모듈(230)을 이용하여 사용자 단말(100) 또는 외부 서버와 데이터 통신을 수행할 수 있다. 예를 들어, 분석 서버(200)는 제2 통신모듈(130)을 이용하여 사용자 단말(100)로부터 이미지 데이터를 획득할 수 있다.
제2 통신모듈(230)은 제1 통신 모듈(130)과 유사하게 제공될 수 있으므로, 이에 대한 보다 자세한 설명은 생략하기로 한다.
제2 메모리(250)는 분석 서버(200)의 각종 정보를 저장할 수 있다.
제2 메모리(250)에는 분석 서버(200)을 구동하기 위한 운용 프로그램이나 분석 서버(200)의 각 구성을 동작시키기 위한 프로그램을 비롯해 분석 서버(200)의 동작에 필요한 각종 데이터가 저장될 수 있다. 예를 들어, 제2 메모리(250)에는 이미지 데이터를 분석하기 위한 프로그램 및 데이터 분석을 위한 인공 신경망이 저장될 수 있다.
제2 메모리(250)는 제1 메모리(150)와 유사하게 제공될 수 있으므로, 이에 대한 보다 자세한 설명은 생략하기로 한다.
제2 프로세서(201)는 분석 서버(200)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제2 프로세서(201)는 제2 메모리(250)로부터 데이터 가공 및 분석을 위한 프로그램을 로딩하여 사용자 단말(100)로부터 획득한 데이터를 가공 및 분석하고 그 결과를 사용자 단말(100)을 통해 사용자에게 제공하도록 제어 신호를 생성할 수 있다.
제2 프로세서(201)는 제1 콘트롤러(1250)와 유사하게 제공될 수 있으므로, 이에 대한 보다 자세한 설명은 생략하기로 한다.
이하에서는 본 명세서의 일 실시예에 따른 질병 정보 제공 방법에 관하여 설명한다. 이하의 설명에서는 본 명세서의 일 실시예에 따른 질병 정보 제공 방법이 상술한 질병 정보 제공 시스템(10)에 의해 수행되는 것으로 설명한다. 다만, 이는 설명의 편의를 위한 것에 불과하므로, 본 명세서의 일 실시예에 따른 질병 정보 제공 방법이 상술한 질병 정보 제공 시스템(10)에서 구현되는 것으로 한정되는 것은 아니다. 즉, 후술되는 질병 제공 방법 방법이 반드시 상술한 질병 정보 제공 시스템(10)에 의해서만 수행되어야 하는 것은 아니며 상술한 질병 정보 제공 시스템(10)과 유사한 기능을 갖는 다른 시스템이나 장치 등에 의해 수행되는 것도 가능하다.
도 5는 다양한 실시예에 따른 질병 정보 제공 방법을 나타낸 순서도이다.
도 5를 참조하면, 다양한 실시예에 따른 질병 정보 제공 방법은, 신체 이미지를 디스플레이 하는 단계(S110), 단위 신체 부위와 관련된 유저 입력을 획득하는 단계(S120), 단위 신체 부위와 관련된 제1 이미지 데이터를 획득하는 단계(S130), 제1 이미지 데이터를 분석하는 단계(S140) 및 분석 결과에 기초하여 타겟 조직을 검출하고 질병 스코어를 획득하는 단계(S150) 중 전부 또는 일부를 포함할 수 있다.
다양한 실시예에 따르면, 사용자 단말(100)은 신체 이미지를 디스플레이 할 수 있다(S110). 예를 들어, 사용자 단말(100)은 출력 모듈(120)을 통해 적어도 2 이상의 신체 부위가 포함된 신체 이미지를 디스플레이 할 수 있다. 여기서, 신체 이미지는 전신 이미지일 수 있으나, 반드시 이에 국한되는 것은 아니다. 일 실시예에서, 신체 이미지는 복수의 단위 신체 부위로 구획되어 있을 수 있다.
다양한 실시예에 따르면, 사용자 단말(100)은 단위 신체 부위와 관련된 유저 입력을 획득할 수 있다(S120). 예를 들어, 사용자는 질병 정보를 제공받고자 하는 신체 부위(예를 들어, 질병인지 여부가 불분명한 피부 조직들이 존재하는 신체 부위)에 관하여, 디스플레이 된 신체 이미지에 포함된 단위 신체 부위 중 적어도 어느 하나를 선택(예: 터치 입력을 인가)할 수 있다.
다양한 실시예에 따르면, 사용자 단말(100)은, 선택된 단위 신체 부위와 관련된 제1 이미지 데이터를 획득할 수 있다(S130). 여기서, 제1 이미지 데이터는, 단위 신체 부위가 전체적으로 촬영된 이미지 데이터를 의미할 수 있다. 또한, 제1 이미지 데이터는 질병 조직인지 여부가 불분명한 피부 조직들이 함께 촬영될 수도 있다. 이하의 설명에서, 질병 조직 여부가 불분명한 피부 조직들은 '의심 조직'이라고 지칭한다.
다양한 실시예에 따르면, 사용자 단말(100)은, 획득된 제1 이미지 데이터를 분석 서버(200)로 전송하고, 분석 서버(200)는 제1 이미지 데이터를 분석할 수 있다(S140). 후술할 바와 같이, 분석 서버(200)는 인공신경망을 이용하여 제1 이미지 데이터를 분석할 수 있다.
다양한 실시예에 따르면, 분석 서버(200)는 제1 이미지 데이터의 분석 결과를 사용자 단말(100)로 전송하고, 사용자 단말(100)은 타겟 조직을 검출하고 질병 스코어를 획득할 수 있다.
본 개시에서 이용되는 인공신경망 모델과 관련된 기능은 프로세서(예: 제2 프로세서(201))와 메모리(예: 제2 메모리(250))를 통해 동작된다. 프로세서(201)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공신경망 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리(250)에 저장된 기 정의된 동작 규칙 또는 인공신경망 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공신경망 전용 프로세서인 경우, 인공신경망 전용 프로세서는, 특정 인공신경망 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
인공 신경망 모델은 진단 보조 정보를 생성하는 분류기(classifier)의 형태로 구현될 수 있다. 분류기는 이중 분류 또는 다중 분류를 수행할 수 있다. 예컨대, 신경망 모델은 입력 데이터를 특정 질병 또는 이상 징후 등의 타겟 진단 보조 정보에 대하여 정상 또는 비정상 클래스로 분류하는 이진 분류 모델일 수 있다. 또는, 신경망 모델은 입력 데이터를 특정 특성(예컨대, 질병의 진행 정도)에 대한 복수의 등급 클래스로 분류하는 다중 분류 모델일 수 있다. 또는, 신경망 모델은 특정 질병과 관련된 특정 수치를 출력하는 회귀 형태의 모델로 구현될 수도 있다.
기 정의된 동작 규칙 또는 인공신경망 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공신경망 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공신경망 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공신경망이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공신경망 모델은 학습을 통해 만들어질 수 있다. 인공신경망 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공신경망 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공신경망 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.
인공 신경망은 심층 신경망(DNN: Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), GAN (Generative Adversarial Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
이하에서, 도 5의 질병 정보 제공 방법의 구현에 대해 도 6 내지 도 10을 참조하여 설명한다.
도 6은 다양한 실시예에 따라, 사용자 단말에서 질병 정보가 제공되는 동작을 나타낸 도면이다.
도 6을 참조하면, 사용자 단말(100)은 신체의 적어도 일부가 촬영된 이미지 데이터를 획득할 수 있다.
다양한 실시예에 따르면(주로 (a)를 참조하면), 사용자 단말(100)은 신체와 관련된 이미지(1)를 디스플레이 할 수 있다. 구체적으로, 제1 프로세서(101)는 출력 모듈(120)을 통해 신체 이미지(1)를 디스플레이할 수 있다. 여기서, 신체 이미지(1)는 전신 이미지 또는 신체 일부에 관한 이미지일 수 있다.
다양한 실시예에 따르면, 사용자 단말(100)은, 사용자로부터 단위 신체 부위(2 내지 6)에 대한 유저 입력을 획득할 수 있다. 여기서, 단위 신체 부위(2 내지 6)는, 질병 정보를 제공받고자 하는 신체 부위를 의미할 수 있다. 또한, 단위 신체 부위(2 내지 6)는 물리적으로 구획될 수 있는 신체의 적어도 일 부분을 의미할 수 있다. 이 외에도, 단위 신체 부위는 다양한 방식으로 구별될 수 있다.
예시적으로, 단위 신체 부위는, 손, 팔(2), 어깨(3), 가슴(6), 배, 등, 다리(5), 팔, 머리(4) 중 적어도 일부로 구분될 수 있다. 더하여, 손은 손가락, 팔은 상완과 하완 등, 더 세부적으로 구분될 수도 있다.
다양한 실시예에 따르면, 사용자는 출력 모듈(120)을 통해 출력된 신체 이미지에 포함된 적어도 일부의 단위 신체 부위(2 내지 6) 중 적어도 하나를 선택할 수 있다. 예를 들어, 사용자는 입력 모듈(예: 터치 입력)을 통해, 디스플레이 된 신체 이미지 중에서 질병 정보를 제공받고자 하는 단위 신체 부위를 선택할 수 있다. 다만, 본 개시의 다양한 실시예에서, 신체 이미지는 반드시 단위 신체 부위로 구획될 필요는 없다. 예를 들어, 사용자는 사용자(또는 환자)의 신체에서 의심 조직이 존재하는 부위와 상응하는 곳을 신체 이미지에서 선택할 수 있다. 다만, 설명의 편의를 위해 단위 신체 부위의 선택을 통한 질병 정보 제공 방법 위주로 설명한다.
어떤 실시예에서, 사용자 단말(100)을 통해 출력되는 신체 이미지(1)는 구도가 조절될 수 있다. 일 실시예에서, 신체 이미지(1)에 포함된 신체는 회전되거나, 확대/축소되거나 및/또는 이동될 수 있다. 사용자는, 신체 이미지(1)의 구도를 조절하면서, 최적의 단위 신체 부위(2 내지 6)를 선택할 수 있다.
다양한 실시예에 따르면(도 6의 (b)를 참조하면), 사용자 단말(100)은, 유저 입력에 상응하여, 단위 신체 부위(2)와 관련된 이미지의 업로드를 요청하는 인디케이션을 제공할 수 있다. 일 실시예에서, 사용자 단말(100)은, 유저 입력과 상응하는 단위 신체 부위(예: 팔(2))에 관한 이미지를 디스플레이 하고, 해당 단위 신체 부위(2)에 대한 이미지의 업로드를 요청하는 인디케이션을 함께 디스플레이할 수 있다.
다양한 실시예에 따르면(주로 도 6의 (c)를 참조하면), 사용자 단말(100)은, 사용자로부터 단위 신체 부위와 관련된 제1 이미지 데이터를 획득할 수 있다. 예를 들어, 사용자는, 선택된 단위 신체 부위와 관련된 사진이나 영상이 촬영된 촬영된 제1 이미지 데이터를 업로드할 수 있다. 어떤 실시예에서, 사용자 단말(100)은, 유저 입력에 상응하여 카메라(140)를 구동시킴으로써, 사용자로 하여금 실시간으로 단위 신체 부위를 촬영하게끔 할 수 있다.
어떤 실시예에서, 사용자 단말(100)은, 업로드된 제1 이미지 데이터와 유저 입력에 의해 선택된 단위 신체 부위를 비교할 수 있다. 예를 들어, 사용자가 단위 신체 부위로 팔을 선택하고 다리와 관련된 이미지 데이터를 업로드 한 경우, 제1 프로세서(101)는 업로드된 이미지 데이터가 팔에 해당하는 지 분석할 수 있다. 분석 결과, 업로드된 이미지 데이터가 팔에 해당하지 않는 경우, 사용자 단말(100)은 사용자에게 다른 사진의 업로드 또는 오류 발생에 관련된 인디케이션을 제공할 수 있다.
어떤 실시예에서, 신체 이미지(1)는 복수의 단위 신체 부위들(2 내지 6)으로 구분되지 않을 수도 있다. 예를 들어, 팔과 어깨의 경계와 같이, 확실하게 구분되기 어려운 위치에 의심 조직이 위치할 수도 있기 때문에, 사용자는 별도의 단위 신체 부위(2 내지 6)에 대한 선택 없이, 제1 이미지 데이터를 업로드 할 수도 있다. 또한, 어떤 실시예에서, 사용자는 복수의 단위 신체 부위들(2 내지 6)으로 구분되지 않은 신체 이미지(1) 그 자체에서, 의심 조직이 발생한 신체 부위를 선택하고, 해당 부위와 관련된 제1 이미지 데이터를 업로드 할 수도 있다. 즉, 신체 이미지(1)의 단위 신체 부위(2 내지 6)으로의 구획은 수행되지 않을 수도 있다.
도 7은 다양한 실시예에 따라, 서버에서 수행되는 이미지 분석 동작을 나타낸 도면이다. 도 8은 다양한 실시예에 따라, 서버에서 제공되는 질병 스코어의 일 예를 나타낸 도면이다.
도 7 및 도 8을 참조하면, 분석 서버(200)는 미리 학습된 인공신경망 모델을 이용하여, 이미지 데이터로부터 질병 스코어를 획득할 수 있다. 본 개시의 설명에서, 인공신경망 모델은 주로 이미지 데이터에서 물체를 검출하기 위한 것일 수 있으나, 이에 국한되지는 않는다. 예를 들어, 인공신경망 모델은 RCNN, Fast-RCNN, Faster-RCNN, Fastest-RCNN, Yolo 등의 모델들이 이용될 수 있다.
다양한 실시예에 따르면, 인공신경망 모델(202)은, 미리 획득된 이미지 데이터들에 질병 지표가 태깅된 학습 데이터 셋으로 학습될 수 있다. 일 실시예에서, 질병 지표는 2개 이상의 종류로 구분될 수 있다. 예를 들어, 질병 지표는 악성(malignant) 지표, 예비 악성(pre-malignant) 지표, 양성(benign) 지표를 포함할 수 있다. 일 실시예에서, 따르면, 질병 지표는, 다시 세부 질병 지표로 구분될 수 있다. 예를 들어, 악성 질병 지표는, 세부적으로 악성 흑색종, 기저 세포암, 편평 세포암으로 구분될 수 있다. 다른 예로, 예비 악성 질병 지표는, 세부적으로 광선 각화증, 이형성 모반 증후군 및 거대 색소성 점으로 구분될 수 있다. 또 다른 예로, 양성 질병 지표는, 세부적으로 표피 낭종, 사마귀, 지루 각화증, 비립종, 피지샘 증식증, 피부 섬유종, 점, 티눈, 굳은살 및/또는 주근깨 중 전부 또는 일부로 구분될 수 있다.
다양한 실시예에 따르면, 충분히 학습된 인공신경망은, 이미지 데이터를 분석하여, 이미지 데이터 내에 포함된 조직의 질병 스코어를 획득할 수 있다.
일 실시예에서, 질병 스코어는, 이미지 데이터 내에 포함된 의심 조직들에 부여된 복수의 질병 지표들에 대한 인공신경망 모델의 결과값이 조합되어 생성될 수 있다. 또는, 질병 스코어는, 이미지 데이터 내에 포함된 조직에 부여된 복수의 질병 지표들 각각에 대한 인공신경망 모델의 결과값(또는 이로부터 파생된 각각의 값)을 의미할 수도 있다. 여기서, 인공신경망 모델의 결과값은, 제1 이미지 데이터에 포함된 의심 조직이 복수의 질병 지표들 중 어느 하나에 해당할 확률값을 의미할 수 있다. 다른 예로, 인공신경망 모델의 결과값은 결과값을 의미할 수도 있다. 이하에서, '인공신경망 모델의 결과값'은 단순히 '결과값'으로 축약하여 지칭하기로 한다.
다양한 실시예에 따르면, 질병 스코어는 복수의 다른 스코어로 구분될 수 있다. 일 실시예에서, 질병 스코어는 세부 스코어, 종목 스코어 및 종합 스코어 중 적어도 어느 하나를 포함할 수 있다.
일 실시예에서, 세부 스코어는, 복수의 세부 질병 지표들에 대한 인공신경망 모델의 결과값일 수 있다. 예를 들어, 세부 스코어는, 복수의 세부 질병 지표들에 해당할 확률값을 의미할 수 있다. 이 경우, 세부 스코어들의 합은 1일 수 있다.
다양한 실시예에 따르면, 종합 스코어(T)는 세부 스코어들(M1 ~ M3, P1 ~ P3, B1 ~ B10) 중 전부 또는 일부에 기초하여 생성될 수 있다. 일 실시예에서, 종합 스코어(T)는 세부 스코어들(M1 ~ M3, P1 ~ P3, B1 ~ B10) 중 전부 또는 일부에 가중치를 부여한 값에 기초하여 생성될 수 있다. 예를 들어, 종합 스코어(T)는 악성 질병 지표들에 관한 세부 스코어들(M1 ~ M3) 및/또는 예비 악성 질병 지표들에 관한 세부 스코어들(P1 ~ P3)에 가중치가 부여된 값에 기초하여 생성될 수 있다. 이때, 일 예로, 악성 질병 지표들(M1 ~ M3)에는 예비 악성 질병 지표들에 관한 세부 스코어들(P1 ~ P3) 및/또는 양성 질병 지표들에 관한 세부 스코어들(B1~B10) 보다 더 큰 가중치가 부여될 수 있다. 또한, 예비 악성 질병 지표들에 관한 세부 스코어들(P1 ~ P3)에는 양성 질병 지표들에 관한 세부 스코어들(B1 ~ B10) 보다 더 큰 가중치가 부여될 수 있다. 일 실시예에서, 종합 스코어(T)를 산출함에 있어서, 악성 질병 지표들에 관한 세부 스코어들(M1 ~ M3) 및 예비 악성 질병 지표들에 관한 세부 스코어들(P1 ~ P3)만이 이용될 수도 있다. 이 경우, 예비 악성 질병 지표들에 관한 세부 스코어들(P1 ~ P3)에는 0보다 크고 1보다 작은 가중치 값이 부여될 수 있다.
어떤 실시예에서, 악성 질병 지표에 관한 종목 스코어는 Mt1로 표현될 수 있다. 여기서, 종목 스코어는, 동일한 질병 지표에 포함되는 세부 지표들에 대한 결과값이 조합되어 생성될 수 있다. 예를 들어, 악성 질병 지표에 대한 종목 스코어(Mt1)는, 세부 질병 지표들에 대한 세부 스코어들(M1, M2, M3)이 조합되어 생성될 수 있다. 일 예로, 종목 스코어(Mt1)는 세부 스코어들(M1,M2,M3)의 평균값일 수 있다. 다른 예로, 종목 스코어(Mt1)는 세부 스코어들(M1,M2,M3) 중 가장 높거나 가장 낮은 값일 수 있다. 또 다른 예로, 종목 스코어(Mt1)는 세부 스코어들(M1,M2,M3)의 중간값일 수 있다. 어떤 실시예에서, 종목 스코어(Mt1)는 세부 스코어(M1,M2,M3)들의 전부 또는 일부에 가중치가 부여된 값에 기초하여 생성될 수도 있다. 악성 질병 지표에 관한 설명은, 예비 악성 질병 지표 및 양성 질병 지표에 적용될 수 있다. 예비 악성 질병 지표에 대한 세부 스코어(P1,P2,P3) 및 종목 스코어(Pt1)에 대한 설명은 악성 질병 지표에 대한 세부 스코어(M1,M2,M3) 및 종목 스코어(Mt1)에 대한 설명이 준용될 수 있다. 유사하게, 양성 질병 지표에 대한 세부 스코어(B1,B2,B3,..., B10) 및 종목 스코어(Bt1)에 대한 설명은 악성 질병 지표에 대한 세부 스코어(M1,M2,M3) 및 종목 스코어(Mt1)에 대한 설명이 준용될 수 있다.
일 실시예에서, 종합 스코어(T)는 복수의 종목 스코어(Mt1, Pt1, Bt1)값이 조합되어 생성될 수 있다. 일 예로, 종합 스코어(T)는 종목 스코어들(Mt1, Pt1, Bt1)의 평균값일 수 있다. 다른 예로, 종합 스코어(T)는 종목 스코어들(Mt1, Pt1, Bt1) 중 가장 높거나 가장 낮은 값일 수 있다. 또 다른 예로, 종합 스코어(T)는 종목 스코어들(Mt1, Pt1, Bt1)의 중간값일 수 있다.
도 9는 다양한 실시예에 따라, 이미지 데이터 내에서 의심 조직의 검출이 수행되는 것을 나타낸 도면이다. 도 10은 다양한 실시예에 따라, 이미지 데이터로부터 타겟 조직이 검출되는 것을 나타낸 도면이다.
도 9 및 도 10을 참조하면, 질병 정보 제공 시스템(10)은 제1 이미지 데이터를 분석하여, 제1 이미지 데이터 내에 포함된 적어도 하나 이상의 의심 조직을 검출할 수 있다. 도 9 및 도 10을 설명함에 있어, 도 8에 관한 내용이 참조될 수 있다.
다양한 실시예에 따르면, 분석 서버(200)는 제1 이미지 데이터에 포함된 적어도 하나 이상의 의심 조직을 검출할 수 있다. 어떤 실시예에서, 사용자 단말(100)은 검출된 의심 조직들을 구획하여 디스플레이 할 수도 있다. 이하의 설명에서, 분석 서버(200)에서의 분석 결과로, 이미지 데이터 내에서 검출된 의심 조직(예: 이미지 데이터 내에서 검출된 바운딩 박스 영역)을 '예비 타겟 조직' 이라고 지칭하기로 한다.
다양한 실시예에 따르면, 분석 서버(200)가 예비 타겟 조직들을 검출함에 있어서 질병 스코어가 이용될 수 있다. 일 실시예에서, 임계값 이상의 질병 스코어가 확인된 제1 이미지 데이터 내의 일부 영역이 예비 타겟 조직으로 검출될 수 있다. 여기서, 질병 스코어는, 상술한 세부 스코어, 종목 스코어 및/또는 종합 스코어 중 적어도 어느 하나가 이용될 수 있다. 또한 여기서, 이미지 데이터 내에서 예비 타겟 조직을 검출하기 위한 질병 스코어는, '검출 스코어'라고 지칭될 수도 있다. 따라서, 본 개시에서 '질병 스코어'와 '검출 스코어'의 용어는 혼용되어 사용될 수 있다. 어떤 실시예에서, 검출 스코어는, 질병과 관련있는 악성 질병 지표 및/또는 예비 악성 질병 지표와 관련된 결과값에 의해 파생될 수 있다. 다른 실시예에서, 검출 스코어는, 형상이 특이한 피부 조직을 검출하기 위하여, 양성 질병 지표에 대한 결과값에 의해서도 파생될 수 있다. 따라서, 검출 스코어가 임계값 미만이라면, 육안으로 보았을 때 이상 조직이더라도, 분석 서버(200)의 분석 결과에서 예비 타겟 조직으로 검출되지 않을 수 있다.
다양한 실시예에서, 임계값은 질병과의 관련도를 고려하여 결정될 수 있다. 예를 들어, 임계값이 크게 설정될수록 질병과 관련이 큰 조직들이 검출될 수 있다. 반대로, 임계값이 작게 설정될수록 질병과 관련이 적은 조직들도 검출될 수 있다. 어떤 실시예에서, 임계값은 사용자에 의해 설정될 수 있다. 또한, 임계값은, 검출 스코어의 생성에 이용되는 질병 지표의 종류에 기초하여 결정될 수도 있다. 예를 들어, 검출 스코어가 악성 질병 지표 및/또는 예비 악성 질병 지표를 이용하여만 생성되는 경우, 임계값이 상대적으로 낮게 설정되어도 질병과 관련있는 조직들이 검출될 수 있다.
다양한 실시예에 따르면, 분석 서버(200)는 제1 이미지 데이터에 포함된 적어도 하나 이상의 타겟 조직을 검출할 수 있다. 일 실시예에서, 타겟 조직은 질병으로 의심되는 조직으로서, 세부적인 병리학 정보가 요구되는 조직을 의미할 수 있다. 예를 들어, 타겟 조직은 제1 이미지 데이터 내에서, 악성 질병 지표에 대한 질병 스코어들 및/또는 예비 악성 질병 지표에 대한 질병 스코어들 중 전부 또는 일부가 조합되어 파생된 검출 스코어에 의해 검출될 수 있다. 또한, 어떤 실시예에서는, 임계값 이상의 검출 스코어가 확인된 예비 타겟 조직들 중에서, 더 높은 임계값 이상의 검출 스코어가 확인된 특정 의심 조직들을 타겟 조직으로 볼 수도 있을 것이다. 이때, 예비 타겟 조직을 검출하기 위한 임계값은 제1 임계값, 타겟 조직을 검출하기 위한 임계값은 제2 임계값이라고 지칭할 수도 있다.
도 9 및 도 10을 함께 참조하면, 분석 서버(200)는 제1 이미지 데이터 내에 포함된 여러 예비 타겟 조직들을 분류하고(도 9 참조), 분류된 의심 조직들 중에서 질병과 관련이 높은 타겟 조직을 더 검출할 수 있다(도 10 참조). 어떤 실시예에 따르면, 분석 서버(200)는 제1 이미지 데이터에 포함된 픽셀들의 질병 지표에 대한 결과값만을 제공하고, 사용자 단말(100)의 제1 프로세서(101)에서 의심 조직들 및/또는 타겟 조직을 검출할 수도 있다.
어떤 실시예에서는, 분석 서버(200)는 타겟 조직만을 검출할 수도 있다. 예를 들어, 특정한 경우에 사용자는 질병과 관련된 조직에 관한 정보만을 궁금해하므로, 분석 서버(200)는 상대적으로 질병과 관련도가 높은 타겟 조직만을 검출할 수 있다.
다양한 실시예에 따르면, 시스템(10)은, 예비 타겟 조직 및/또는 타겟 조직을 구획하여 디스플레이 함과 동시에, 해당 예비 타겟 조직 및/또는 타겟 조직과 관련된 질병 정보를 함께 태깅하여 디스플레이 할 수 있다. 일 실시예에서, 사용자 단말(100)은, 예비 타겟 조직 및/또는 타겟 조직을 구획하기 위한 바운딩 박스 및 해당 바운딩 박스와 상응하는 질병 스코어를 함께 디스플레이할 수 있다. 사용자 단말(100)에서 질병 정보를 태깅하는 방식은 다양하게 이용될 수 있을 것이다. 예를 들어, 사용자 단말(100)은 예비 타겟 조직 및/또는 타겟 조직과 인접하게 질병 정보를 태깅할 수 있다. 다른 예로, 사용자 단말(100)은 예비 타겟 조직 및/또는 타겟 조직에 대한 유저 입력이 수신되면(예: 사용자가 터치 인풋을 인가하면), 질병 정보를 디스플레이할 수도 있다. 또는, 분석 서버(200)에서, 사용자 단말(200)을 통해 디스플레이 될 정보를 송신할 수도 있다. 이 외에도 다양한 실시 변형이 가능하다.
다양한 실시예에 따르면, 사용자 단말(100)은, 예비 타겟 조직과 타겟 조직이 구별되도록 디스플레이 할 수도 있다. 일 실시예에 따르면, 사용자 단말(100)은 예비 타겟 조직과 타겟 조직에 대해 서로 다른 인디케이션을 제공할 수 있다. 예를 들어, 사용자 단말(100)은 예비 타겟 조직과 타겟 조직을 서로 다른 색으로 구별되도록 디스플레이 할 수 있다. 다른 예로, 예비 타겟 조직과 타겟 조직은 서로 다른 크기로 구별될 수도 있다. 분석 서버(200)에서, 사용자 단말(200)을 통해 디스플레이 될 정보를 송신할 수도 있다. 이 외에도 다양한 실시 변형이 가능할 것이다.
어떤 실시예에서, 사용자 단말(100)은 해당 예비 타겟 조직 및/또는 타겟 조직에 확인된 질병 스코어(또는 검출 스코어)에 기초하여 다른 인디케이션을 제공할 수도 있다. 일 실시예에서, 질병 스코어가 높을수록 시각적으로 자극적인 인디케이션이 제공될 수 있다. 예를 들어, 질병 스코어가 높을수록 진한 색의 인디케이션이 제공되거나 질병 스코어가 낮을수록 연한 색의 인디케이션이 제공될 수 있다. 여기서, 인디케이션은 바운딩 박스 및/또는 제1 이미지 데이터 내의 픽셀에 적용될 수 있다. 예를 들어, 제1 내지 제3 예비 타겟들(K1, K2, K3)은 상술한 제1 임계값 이상의 질병 스코어이고, 제4 타겟(K4)는 제2 임계값 이상의 질병 스코어일 때, 제1 내지 제3 예비 타겟들(K1,K2,K3)에 대한 인디케이션(예: 바운딩 박스(K1a,K2a,K3a)와 제4 타겟(K4)에 대한 인디케이션(예: 바운딩 박스(K4a)는 시각적으로 구분될 수 있다. 예를 들어, 서로 다른 색의 바운딩 박스로 표현될 수 있다.
다양한 실시예에 따르면, 분석 서버(200)는 예비 타겟 조직의 위치 정보를 판단할 수 있다. 일 실시예에서, 분석 서버(200)는 질병 지표들에 대한 결과값이 임계값 이상인 픽셀들의 집합을 예비 타겟 조직 영역으로 검출하고, 예비 타겟 조직 영역에 대한 위치 정보를 판단할 수 있다. 여기서, 예비 타겟 조직 영역에 대한 위치 정보는, 이미지 데이터 내에서 픽셀들 또는 바운딩 박스의 위치에 기초하여 정해질 수 있다. 다양한 실시예에 따르면, 사용자 단말(100)은, 예비 타겟 조직 및/또는 타겟 조직의 위치 정보를 사용자에게 제공할 수 있다.
어떤 실시예에서는(도 10을 참조하면), 시스템(10)은 질병 스코어가 높은(질병과 관련도가 큰) 타겟 조직(K4)에 대해서만 시각적으로 구획할 수 있다. 예를 들어, 분석 서버(200)는 질병과 관련된 임계값이 80이라고 할 때, 80 이상의 질병 스코어를 가진 타겟(K4)에 대해서만 바운딩 박스로 구획할 수 있다. 사용자 단말(100)은, 해당 정보를 수신하여 디스플레이 할 수 있다.
다양한 실시예에 따르면, 시스템(10)은, 질병 스코어가 높은 타겟 조직(K4)에 대해서, 재촬영을 요청할 수 있다. 다만, 도 9에서처럼, 예비 타겟 조직들(K1, K2, K3)에 대해서 재촬영을 요청할 수도 있음은 물론이다. 즉, 질병 스코어에 관한 제3 임계값 설정이 가능하고, 제3 임계값 이상의 질병 스코어가 획득된 예비 타겟 및/또는 타겟 조직들에 대한 재 촬영 요청이 가능한 것이다. 여기서, 제3 임계값은 재촬영이 요구되는 질병 스코어의 임계값일 수 있다. 일 실시예에서, 질병 스코어가 제2 임계값(예: 질병과 관련도가 높은) 이상일 경우, 분석 서버(200)는 해당 타겟 조직(K4)에 대한 제2 이미지 데이터를 촬영하도록 요청할 수 있다. 사용자 단말(100)은, 제2 이미지 데이터에 대환 촬영 요청을, 사용자가 인식하도록 디스플레이할 수 있다. 여기서, 제2 이미지 데이터는 타겟 조직(K4)에 대한 확대 이미지 일 수 있다. 예를 들어, 제2 이미지 데이터는, 타겟 조직(K4)에 대한 근접 이미지이거나, 피부경 이미지(dermascopic image)를 의미할 수 있으나 이에 국한되지 않는다.
도 11은 다양한 실시예에 따라, 타겟 조직과 관련된 질병 정보를 제공하는 방법을 나타낸 순서도이다.
도 11을 참조하면, 타겟 조직과 관련된 질병 정보를 제공하는 방법은, 타겟 조직이 촬영된 제2 이미지 데이터를 획득하는 단계(S220) 및 타겟 조직에 대한 질병 스코어를 획득하는 단계(S240)를 포함할 수 있다.
다양한 실시예에 따르면, 시스템(10)은 타겟 조직이 촬영된 제2 이미지 데이터를 획득할 수 있다(S220). 여기서, 제2 이미지 데이터는, 제1 이미지 데이터에서 타겟 조직(또는 예비 타겟 조직)으로 검출된 조직이 촬영된 이미지 데이터로서, 해당 타겟 조직이 보다 확대되어 촬영된 이미지 데이터를 의미할 수 있다. 사용자 단말(100)은 제2 이미지 데이터를 분석 서버(200)로 전송할 수 있다.
다양한 실시예에서, 시스템(10)은 타겟 조직에 대한 제2 이미지 데이터의 업로드 요청 인디케이션을 제공할 수 있다. 예를 들어, 사용자는 제1 이미지 데이터의 분석 결과 검출된 타겟 조직들(또는 예비 타겟 조직들) 중 적어도 하나의 타겟 조직(또는 예비 타겟 조직)을 선택할 수 있고(예: 터치 입력을 인가), 사용자 단말(100)은 선택된 타겟 조직에 대한 제2 이미지 데이터의 업로드를 요청할 수 있다.
다양한 실시예에 따르면, 분석 서버(200)는 제2 이미지 데이터를 분석하고, 제2 이미지 데이터에 포함된 타겟 조직에 대한 질병 스코어를 제공할 수 있다(S240). 구체적으로, 분석 서버(200)는 제2 이미지 데이터에 포함된 타겟 조직에 대한 질병 스코어를 제공할 수 있다.
도 12는 다양한 실시예에 따라, 타겟 조직의 질병 정보를 제공하는 모습을 나타낸 도면이다.
도 12를 참조하면, 시스템(10)은 제2 이미지 데이터 내에 포함된 타겟 조직의 질병 정보를 제공할 수 있다. 여기서, 제2 이미지 데이터는 전술한 바와 같이, 확대 이미지 또는 피부경 이미지 일 수 있다.
다양한 실시예에 따르면, 시스템(10)은 제2 이미지 데이터에서 검출된 타겟 조직에 질병 정보를 제공할 수 있다. 예를 들어, 타겟 조직에 대한 검출 정보와 함께 질병 스코어를 함께 제공할 수 있다. 여기서, 질병 스코어는 상술한 세부 질병 지표에 대한 세부 스코어가 모두 제공될 수 있다. 세부 스코어에는, 질병 지표에 따라 가중치가 부여될 수 있음은 물론이다. 또한, 타겟 조직(또는 예비 타겟 조직)에 관한 결과값들은, 타겟 결과값으로 지칭될 수 있다.
다양한 실시예에 따르면, 분석 서버(200)는, 타겟 조직(또는 예비 타겟 조직)의 위치 정보에 기초하여, 제2 이미지 데이터 내에서 타겟 조직을 검출할 수 있다. 예를 들어, 분석 서버(200)는 제1 이미지 데이터 내에서 검출된 타겟 조직과 제2 이미지 데이터 내에서 검출된 타겟 조직의 위치 정보를 비교하여, 서로 상응하는 타겟 조직들 간의 질병 정보를 제공할 수 있다.
다양한 실시예에 따르면, 시스템(10)은 사용자가 사용자 단말(100)에 출력된 타겟 조직을 선택하면(예: 터치 입력을 인가하면), 해당 타겟 조직에 대한 질병 정보를 제공할 수 있다. 예를 들어, 제2 이미지 데이터 내에 2 이상의 타겟 조직이 존재하는 경우, 하나의 타겟 조직에 대해 사용자가 터치 입력을 인가하면, 분석 서버(200)는 사용자 단말(100)을 통해 해당 타겟 조직에 대한 질병 정보를 제공할 수 있다. 어떤 실시예에서, 제2 이미지 데이터 내에 2 이상의 타겟 조직이 존재하는 경우에, 분석 서버(200)는 사용자 단말(100)을 통해 각각의 타겟 조직에 대한 비교 정보를 제공할 수도 있다.
어떤 실시예에서, 분석 서버(200)는 질병 정보로서, 해당 질병에 관한 사전적 정보를 제공할 수도 있다. 예를 들어, 흑색종과 관련된 세부 질병 지표가 높게 질병 스코어가 계산된 경우에, 분석 서버(200)는 흑색종에 대한 사전적 정보를 사용자 단말(100)을 통해 사용자에게 제공할 수 있다. 여기서, 사전적 정보는 유저 입력에 응답하여 제공될 수 있다. 예를 들어, 사용자가 디스플레이를 통해 도시되는 세부 질병 지표(예: 흑색종, 편평암, 사마귀 등)에 입력을 인가하면(예: 터치 입력), 분석 서버(200)는 사용자의 입력에 상응하는 질병에 관한 사전적 정보를 제공할 수 있다.
도 13은 다양한 실시예에 따라, 리마인더 인디케이션을 포함하는 질병 정보 제공 방법을 나타낸 순서도이다.
도 13을 참조하면, 리마인더 인디케이션을 포함하는 질병 정보 제공 방법은, 소정의 시간이 경과된 이후 리마인더 인디케이션을 제공하는 단계(S320), 타겟 조직에 대한 제3 이미지 데이터를 획득하는 단계(S340) 및 질병 스코어 비교 결과를 제공하는 단계(S360)를 포함할 수 있다.
다양한 실시예에 따르면(도 14의 (a)를 참조하면), 시스템(10)은, 제1 이미지 데이터에 대한 분석 결과 또는 제2 이미지 데이터에 대한 분석 결과가 제공된 이후 소정의 시간이 경과되면, 사용자에게 리마인더 인디케이션을 제공할 수 있다. 리마인더 인디케이션은 분석 서버(200)가 제공할 수도 있고, 사용자 단말(100)이 제공할 수도 있다. 예를 들어, 소정의 기간이 경과 후 분석 서버(200)에서 리마인더 인디케이션의 제공을 위한 시그널을 사용자 단말(100)로 전송하고, 사용자 단말(100)은 이에 응답하여 리마인더 인디케이션을 제공할 수 있다. 여기서, 소정의 시간은 질병으로 의심되는 조직의 재 진단이 필요한 기간을 의미할 수 있다. 예를 들어, 소정의 시간은 2주일 수 있다. 여기서, 소정의 시간은, 해당 타겟 조직(또는 예비 타겟 조직)의 질병 스코어에 기초하여 결정될 수 있다. 예를 들어, 타겟 조직(또는 예비 타겟 조직)의 질병 스코어가 낮은 경우에는, 높은 경우보다 상대적으로 긴 시간 이후에 리마인더 인디케이션을 제공할 수 있다. 일 실시예에 따르면, 리마인더 인디케이션은 사용자 단말(100)의 출력 모듈(120)을 통해 제공될 수 있다. 여기서, 리마인더 인디케이션은, 디스플레이를 통한 시각적 정보, 진동을 통한 촉각 정보 및/또는 음향 정보를 통해 제공될 수 있다. 이 외에도 다양한 방식이 이용될 수 있다.
다양한 실시예에 따르면, 사용자 단말(100)은 타겟 조직(K4)과 관련된 제3 이미지 데이터를 획득할 수 있다. 여기서, 제3 이미지 데이터는, 상술한 제1 이미지 데이터 또는 제2 이미지 데이터와 실질적으로 동일하거나 유사한 구도에서 촬영된 이미지 데이터일 수 있다. 또는, 제3 이미지 데이터는 제1 이미지 데이터 또는 제2 이미지 데이터에 포함된 타겟 조직(K4)(또는 예비 타겟 조직(K1,K2,K3))이 촬영된 이미지 데이터를 의미할 수 있다. 사용자 단말(100)은, 제3 이미지 데이터를 분석 서버(200)로 전송할 수 있다.
다양한 실시예에 따르면, 분석 서버(200)는 질병 스코어 비교 결과를 제공할 수 있다. 일 실시예에서, 분석 서버(200)는 제3 이미지 데이터에 대해 분석하고, 제3 이미지 데이터에 포함된 예비 타겟 조직 및/또는 타겟 조직을 검출하고 질병 스코어를 획득할 수 있다. 제3 이미지 데이터의 분석 이후, 분석 서버(200)는 제1 이미지 데이터에 포함된 타겟 조직(K4') 및 예비 타겟 조직에 대한 질병 스코어와, 제1 이미지 데이터에 포함된 타겟 조직(K4') 및 예비 타겟 조직과 상응하는 제3 이미지 데이터 내의 타겟 조직(K4'') 및 예비 타겟 조직의 질병 스코어를 비교할 수 있다. 이와 유사하게, 제2 이미지 데이터와 제3 이미지 데이터의 질병 스코어가 비교될 수 있다.
도 14는 도 13의 질병 정보 제공 방법이 구현되는 모습을 나타낸 도면이다.
도 14를 참조하면, 시스템(10)은, 제1 이미지 데이터(및/또는 제2 이미지 데이터)와 제3 이미지 데이터의 질병 스코어 비교 결과를 제공할 수 있다.
다양한 실시예에 따르면, 분석 서버(200)는 제3 이미지 데이터의 분석 이후, 분석 서버(200)는 제1 이미지 데이터에 포함된 타겟 조직(K4') 및 예비 타겟 조직에 대한 질병 스코어와, 제1 이미지 데이터에 포함된 타겟 조직(K4') 및 예비 타겟 조직과 상응하는 제3 이미지 데이터 내의 타겟 조직(K4'') 및 예비 타겟 조직의 질병 스코어를 비교할 수 있다. 이와 유사하게, 제2 이미지 데이터와 제3 이미지 데이터의 질병 스코어가 비교될 수 있다.
다양한 실시예에 따르면, 시스템(10)은 제1 이미지 데이터에 포함된 타겟 조직(K4')과 제3 이미지 데이터에 포함된 타겟 조직(K4'')의 질병 스코어를 비교하고, 그 결과를 출력할 수 있다. 예를 들어, 사용자 단말(100)은 제1 이미지 데이터와 제3 이미지 데이터에 각각 포함되고 서로 상응하는 타겟 조직(K4',K4'') 각각의 질병 스코어 및/또는 그 차이값(예: 도 14(b)의 차이값 15)을 함께 출력할 수 있다. 여기서, 서로 상응하는 타겟 조직을 판단함에 있어서, 상술한 위치 정보가 이용될 수 있음은 물론이다.
일 실시예에서, 제1 이미지 데이터에 포함된 타겟 조직과 제3 이미지 데이터에 포함된 타겟 조직의 질병 스코어 값의 차이가 제4 임계값 이상인 경우, 사용자 단말(100)은 사용자에게 제1 알람을 제공할 수 있다. 예를 들어, 제4 임계값은 알람을 발생시키기 위한 질병 스코어의 차이값에 대한 임계값을 의미할 수 있다. 또한, 알람은 타겟 조직이 질병과 관련되었다는 의미 또는 타겟 조직이 유의미하게 성장한 것을 반영할 수 있다. 다른 예로, 제1 이미지 데이터에 포함된 타겟 조직과 제3 이미지 데이터에 포함된 타겟 조직의 질병 스코어 값의 차이가 미미하거나 제5 임계값 미만인 경우, 사용자 단말(100)은 사용자에게 제2 알람을 제공할 수 있다. 여기서, 제2 알람은 타겟 조직(또는 예비 타겟 조직)이 질병과 관련이 적거나 유의미하게 성장하지 못한 것을 반영할 수 있다.
다양한 실시예에 따르면, 시스템(10)은 제1 이미지 데이터(또는 제2 이미지 데이터)와 제3 이미지 데이터를 비교하여, 새로운 병변의 발생 여부를 판단할 수 있다. 일 실시예에서, 분석 서버(200)는, 제1 이미지 데이터 내의 타겟 조직(또는 예비 타겟 조직들(J1a, J2a))과 제3 이미지 데이터 내의 타겟 조직(또는 예비 타겟 조직들(J1b, J2b)) 사이의 질병 진행 정도를 판단하고, 새로운 의심 조직(J3)의 발생 여부를 판단할 수도 있다. 분석 서버(200)는 새로운 의심 조직(J3)을 구획할 수 있고, 사용자 단말(100)은 이를 구획하여 디스플레이 할 수도 있다. 여기서, 제1 이미지 데이터(또는 제2 이미지 데이터)와 제3 이미지 데이터를 비교함에 있어서, 제1 이미지 데이터의 예비 타겟 조직들(J1a, J2a)의 위치 정보와 제3 이미지 데이터의 타겟 조직(또는 예비 타겟 조직들(J1b, J2b))의 위치 정보를 비교하여, 서로 상응하는 타겟 조직인지 여부를 판단할 수 있다.
이상에서 설명된 질병 정보 제공 방법들은, 사용자 단말(100)에서만 수행되거나, 분석 서버(200)에서 수행되거나, 적어도 일부는 사용자 단말(100)에서 수행되고 적어도 일부는 분석 서버(200)에서 수행될 수 있다. 어떤 실시예에서는, 시스템(10)은 하나의 장치로 통합될 수도 있다.
다양한 실시예에 따르면, 메모리 및 상기 메모리로부터 로드된 프로그램을 구동하는 프로세서를 포함하는 분석 서버에 의해 수행되는 질병 정보 제공 방법에 있어서, 신체 부위 및 상기 신체 부위에 위치된 적어도 하나 이상의 의심 조직이 촬영된 제1 이미지 데이터를 획득하는 단계; 인공신경망을 이용하여 상기 제1 이미지 데이터를 분석하는 단계로서, 상기 제1 인공신경망은 신체 부위를 촬영한 이미지 데이터로부터 질병과 관련된 타겟 조직을 검출하도록 학습되고, 상기 분석 결과에 기초하여 상기 제1 이미지 데이터 내에 포함된 상기 적어도 하나 이상의 의심조직들 중에서 상기 복수의 질병 지표들 중 적어도 일부의 결과값으로부터 파생된 검출 스코어가 임계값 이상으로 분석된 적어도 하나 이상의 상기 타겟 조직을 검출하는 단계; 상기 적어도 하나 이상의 타겟 조직에 대한 제2 이미지 데이터를 요청하는 단계; 상기 적어도 하나 이상의 타겟 조직이 촬영된 제2 이미지 데이터를 획득하는 단계; 제2 인공신경망을 이용하여 상기 타겟 조직과 상응하는 상기 복수의 질병 지표들의 질병 정보를 획득하는 단계로서, 상기 제2 인공신경망은 이미지 데이터에 포함된 타겟 조직에 대한 복수의 질병 지표들에 관한 타겟 결과값을 획득하도록 학습되고, 및 상기 타겟 결과값에 기초하여 질병 스코어를 제공하는 단계;를 포함하는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 복수의 질병 지표는, 1) 악성(malignancy) 질병 지표, 2) 양성(benign) 질병 지표 및 예비 악성(pre-malignant) 질병 지표 중 적어도 일부를 포함하는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 악성 질병 지표는, 각각 3개 이상의 질병을 반영하는 지표들을 포함하고, 상기 양성 질병 지표는 각각 5개 이상의 양성 조직을 반영하는 지표들을 포함하고, 상기 예비 악성 질병 지표는 2개 이상의 예비 질병을 반영하는 지표들을 포함하는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 질병 스코어는 상기 악성 질병 지표에 대한 타겟 결과값, 상기 예비 악성 질병 지표에 대한 타겟 결과값 및 상기 양성 질병 지표에 대한 타겟 결과값 중 적어도 일부가 조합되어 생성되는 것인 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 질병 스코어는, 상기 악성 질병 지표에 대한 타겟 결과값에 상기 예비 악성 질병 지표에 대한 타겟 결과값에 가중치를 부여한 값이 조합되어 생성되고, 상기 가중치는 0 초과 1 이하의 범위에서 선택되는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 검출 스코어는, 상기 악성 질병 지표에 대한 결과값 및 상기 예비 악성 질병 지표에 대한 결과값이 조합되어 생성되는 것인질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 임계값은 제1 임계값 및 상기 제1 임계값 보다 큰 제2 임계값을 포함하고, 상기 검출 스코어가 제1 임계값 이상 제2 임계값 미만인 경우와 상기 검출 스코어가 제2 임계값 이상인 경우, 서로 다른 인디케이션을 제공하도록 지시하는 단계;를 더 포함하는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 질병 스코어는, 상기 복수의 타겟 결과값들 중에서 값이 가장 큰 3개의 지표들에 대한 질병 정보를 포함하는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 제1 이미지 데이터에 상기 검출 스코어 또는 상기 질병 스코어 중 적어도 어느 하나를 병합하는 단계;를 더 포함하는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 신체 부위는 팔, 다리, 복부, 등, 손 및 발 중 적어도 어느 하나를 포함하는 질병 정보 제공 방법이 제공될 수 있다.
다양한 실시예에 따르면. 외부 기기로부터 신체 부위 및 상기 신체 부위에 위치된 적어도 하나 이상의 의심 조직이 촬영된 제1 이미지 데이터를 획득하는 단계; 상기 제1 이미지 데이터에 대한 분석하는 단계로서, 상기 분석 결과는 인공신경망을 이용하여 획득되고, 상기 인공신경망은 상기 인공신경망은 신체 부위를 촬영한 이미지 데이터로부터 질병과 관련된 타겟 조직을 검출하도록 학습되고, 상기 분석 결과에 기초하여 상기 제1 이미지 데이터 내에 포함된 상기 적어도 하나 이상의 의심조직들 중에서 상기 복수의 질병 지표들 중 적어도 일부의 결과값으로부터 획득된 질병 스코어가 임계값 이상으로 분석된 적어도 하나 이상의 타겟 조직을 검출하는 단계; 상기 검출된 타겟 조직의 위치 정보를 획득하는 단계; 소정의 시간이 경과된 이후, 상기 신체 부위와 동일한 신체 부위에 대한 제2 이미지 데이터의 획득을 요청하는 단계; 상기 인공신경망을 이용하여, 상기 제2 이미지 데이터 내에 포함된 타겟 조직의 질병 스코어를 획득하는 단계; 및 상기 위치 정보에 기초하여, 서로 상응하는 위치에 각각 위치된 제1 이미지 데이터 내의 타겟 조직과 제2 이미지 데이터 내의 타겟 조직의 질병 스코어를 비교하는 단계; 및 상기 비교 결과에 기초하여 질병 정보를 제공하는 단계;를 포함하는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면. 상기 복수의 질병 지표는, 1) 악성(malignancy) 질병 지표, 2) 양성(benign) 질병 지표 및 예비 악성(pre-malignant) 질병 지표 중 적어도 일부를 포함하는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 악성 질병 지표는, 각각 3개 이상의 질병을 반영하는 지표들을 포함하고, 상기 양성 질병 지표는 각각 5개 이상의 양성 조직을 반영하는 지표들을 포함하고, 상기 예비 악성 질병 지표는 2개 이상의 예비 질병을 반영하는 지표들을 포함하는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 질병 스코어는 상기 악성 질병 지표에 대한 타겟 결과값, 상기 예비 악성 질병 지표에 대한 타겟 결과값 및 상기 양성 질병 지표에 대한 타겟 결과값 중 적어도 일부가 조합되어 생성되는 것인 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 질병 스코어를 비교하는 단계는, 상기 제1 이미지 데이터와 상기 제2 이미지 데이터에 포함된 서로 동일한 위치의 타겟 조직의 검출 스코어 값의 차이를 획득하는 것인 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 비교 결과에 기초하여, 상기 타겟 조직에 관한 제3 이미지 데이터를 촬영하도록 지시하는 단계; 및 상기 제3 이미지 데이터에 포함된 상기 타겟 조직에 대한 질병 스코어를 출력하는 단계;를 포함하는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면. 상기 질병 스코어는, 상기 악성 질병 지표에 대한 타겟 결과값에 상기 예비 악성 질병 지표에 대한 타겟 결과값에 가중치를 부여한 값이 조합되어 생성되고, 상기 가중치는 0 초과 1 이하의 범위에서 선택되는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 질병 스코어를 출력하는 단계는, 값이 가장 큰 3개 이상의 타겟 결과값 또는 값이 가장 큰 3개 이상의 타겟 결과값에 상응하는 질병 정보를 출력하는 것인 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 소정의 시간이 경과되기 이전, 사용자에게 리마인드 인디케이션을 제공하는 단계;를 포함하는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 단위 신체 부위가 포함된 신체 이미지를 출력하는 단계; 상기 출력된 신체 이미지에 기초하여 상기 단위 신체 부위에 대한 사용자 입력을 수신하는 단계;를 더 포함하는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면. 상기 비교 결과에 기초하여, 상기 타겟 조직의 질병 진행도를 판단하는 단계;를 더 포함하는 질병 정보 제공 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 제3 이미지 데이터로부터, 상기 제1 이미지 데이터에 존재하지 않는 타겟 조직을 검출하는 단계;를 더 포함하는 질병 정보 제공 방법이 제공될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 메모리 및 상기 메모리로부터 로드된 프로그램을 구동하는 프로세서를 포함하는 분석 서버에 의해 수행되는 질병 정보 제공 방법에 있어서,
    신체 부위 및 상기 신체 부위에 위치된 적어도 하나 이상의 의심 조직이 촬영된 제1 이미지 데이터를 획득하는 단계;
    인공신경망을 이용하여 상기 제1 이미지 데이터를 분석하는 단계로서, 상기 제1 인공신경망은 신체 부위를 촬영한 이미지 데이터로부터 질병과 관련된 타겟 조직을 검출하도록 학습되고,
    상기 분석 결과에 기초하여 상기 제1 이미지 데이터 내에 포함된 상기 적어도 하나 이상의 의심조직들 중에서 상기 복수의 질병 지표들 중 적어도 일부의 결과값으로부터 파생된 검출 스코어가 임계값 이상으로 분석된 적어도 하나 이상의 상기 타겟 조직을 검출하는 단계;
    상기 적어도 하나 이상의 타겟 조직에 대한 제2 이미지 데이터를 요청하는 단계;
    상기 적어도 하나 이상의 타겟 조직이 촬영된 제2 이미지 데이터를 획득하는 단계;
    제2 인공신경망을 이용하여 상기 타겟 조직과 상응하는 상기 복수의 질병 지표들의 질병 정보를 획득하는 단계로서, 상기 제2 인공신경망은 이미지 데이터에 포함된 타겟 조직에 대한 복수의 질병 지표들에 관한 타겟 결과값을 획득하도록 학습되고, 및
    상기 타겟 결과값에 기초하여 질병 스코어를 제공하는 단계;를 포함하는 질병 정보 제공 방법.
  2. 제1 항에 있어서,
    상기 복수의 질병 지표는, 1) 악성(malignancy) 질병 지표, 2) 양성(benign) 질병 지표 및 예비 악성(pre-malignant) 질병 지표 중 적어도 일부를 포함하는 질병 정보 제공 방법.
  3. 제2 항에 있어서,
    상기 악성 질병 지표는, 각각 3개 이상의 질병을 반영하는 지표들을 포함하고,
    상기 양성 질병 지표는 각각 5개 이상의 양성 조직을 반영하는 지표들을 포함하고,
    상기 예비 악성 질병 지표는 2개 이상의 예비 질병을 반영하는 지표들을 포함하는
    질병 정보 제공 방법.
  4. 제2 항에 있어서,
    상기 질병 스코어는 상기 악성 질병 지표에 대한 타겟 결과값, 상기 예비 악성 질병 지표에 대한 타겟 결과값 및 상기 양성 질병 지표에 대한 타겟 결과값 중 적어도 일부가 조합되어 생성되는 것인
    질병 정보 제공 방법.
  5. 제4 항에 있어서,
    상기 질병 스코어는, 상기 악성 질병 지표에 대한 타겟 결과값에 상기 예비 악성 질병 지표에 대한 타겟 결과값에 가중치를 부여한 값이 조합되어 생성되고,
    상기 가중치는 0 초과 1 이하의 범위에서 선택되는 질병 정보 제공 방법.
  6. 제2 항에 있어서,
    상기 검출 스코어는, 상기 악성 질병 지표에 대한 결과값 및 상기 예비 악성 질병 지표에 대한 결과값이 조합되어 생성되는 것인
    질병 정보 제공 방법.
  7. 제6 항에 있어서,
    상기 임계값은 제1 임계값 및 상기 제1 임계값 보다 큰 제2 임계값을 포함하고,
    상기 검출 스코어가 제1 임계값 이상 제2 임계값 미만인 경우와 상기 검출 스코어가 제2 임계값 이상인 경우, 서로 다른 인디케이션을 제공하도록 지시하는 단계;를 더 포함하는
    질병 정보 제공 방법.
  8. 제2 항에 있어서,
    상기 질병 스코어는, 상기 복수의 타겟 결과값들 중에서 값이 가장 큰 3개의 지표들에 대한 질병 정보를 포함하는
    질병 정보 제공 방법.
  9. 제1 항에 있어서,
    상기 제1 이미지 데이터에 상기 검출 스코어 또는 상기 질병 스코어 중 적어도 어느 하나를 병합하는 단계;를 더 포함하는
    질병 정보 제공 방법.
  10. 제1 항에 있어서,
    상기 신체 부위는 팔, 다리, 복부, 등, 손 및 발 중 적어도 어느 하나를 포함하는 질병 정보 제공 방법.
PCT/KR2022/020576 2022-11-07 2022-12-16 인공지능을 이용한 이미지 분석 기반 피부암 진단 방법 WO2024101530A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0147037 2022-11-07
KR1020220147037A KR20240066530A (ko) 2022-11-07 2022-11-07 인공지능을 이용한 이미지 분석 기반 피부암 진단 방법

Publications (1)

Publication Number Publication Date
WO2024101530A1 true WO2024101530A1 (ko) 2024-05-16

Family

ID=84535750

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/020576 WO2024101530A1 (ko) 2022-11-07 2022-12-16 인공지능을 이용한 이미지 분석 기반 피부암 진단 방법

Country Status (4)

Country Link
US (1) US20240013394A1 (ko)
EP (1) EP4365909A1 (ko)
KR (1) KR20240066530A (ko)
WO (1) WO2024101530A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101540A (ko) * 2019-02-01 2020-08-28 장현재 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
KR102222509B1 (ko) * 2020-05-28 2021-03-03 주식회사 에프앤디파트너스 의료 영상에 관한 판단을 보조하는 방법 및 이를 이용한 장치
WO2021216721A1 (en) * 2020-04-22 2021-10-28 Dermtech, Inc. Teledermatology system and methods
KR20220070816A (ko) * 2020-11-23 2022-05-31 한림대학교 산학협력단 인공지능 기반 피부암 판단을 위한 제어 방법, 장치 및 프로그램
KR102410545B1 (ko) * 2021-04-26 2022-06-23 주식회사 에프앤디파트너스 고해상화 피부 임상 영상의 관리 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564578A (zh) * 2018-04-13 2018-09-21 上海商汤智能科技有限公司 病理诊断辅助方法、装置及系统
CA3112071A1 (en) * 2018-11-02 2020-05-07 Hologic, Inc. Digital imaging system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101540A (ko) * 2019-02-01 2020-08-28 장현재 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
WO2021216721A1 (en) * 2020-04-22 2021-10-28 Dermtech, Inc. Teledermatology system and methods
KR102222509B1 (ko) * 2020-05-28 2021-03-03 주식회사 에프앤디파트너스 의료 영상에 관한 판단을 보조하는 방법 및 이를 이용한 장치
KR20220070816A (ko) * 2020-11-23 2022-05-31 한림대학교 산학협력단 인공지능 기반 피부암 판단을 위한 제어 방법, 장치 및 프로그램
KR102410545B1 (ko) * 2021-04-26 2022-06-23 주식회사 에프앤디파트너스 고해상화 피부 임상 영상의 관리 장치

Also Published As

Publication number Publication date
EP4365909A1 (en) 2024-05-08
US20240013394A1 (en) 2024-01-11
KR20240066530A (ko) 2024-05-16

Similar Documents

Publication Publication Date Title
WO2020235966A1 (ko) 예측된 메타데이터를 이용하여 의료 영상을 처리하는 장치 및 방법
WO2020242239A1 (ko) 앙상블 학습 알고리즘을 이용한 인공지능 기반 진단 보조 시스템
WO2021025461A1 (ko) 초음파 영상 기반의 기계 학습을 통한 관상동맥 병변 진단 시스템 및 이의 진단 방법
WO2013085193A1 (ko) 사용자 인지 향상 장치 및 그 인지 향상 방법
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2016159523A1 (ko) 생체 정보 획득 방법 및 이를 위한 장치
WO2021162207A1 (ko) 인공지능에 기반한 외사시환자 재활훈련 가상현실 시스템, 방법 및 컴퓨터-판독가능매체
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2021261808A1 (ko) 병변 판독 결과 표시 방법
WO2021101073A1 (ko) 생체 데이터를 획득하는 장치 및 그 방법
WO2019045385A1 (ko) 영상 얼라인먼트 방법 및 그 장치
WO2022173232A2 (ko) 병변의 발생 위험성을 예측하는 방법 및 시스템
WO2014208950A1 (en) Method and apparatus for managing medical data
WO2020209618A1 (en) Electronic device and method for providing information for stress relief by same
WO2022149836A1 (ko) 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
WO2022124705A1 (ko) 의료 영상 기반 홀로그램 제공 장치 및 방법
WO2024101530A1 (ko) 인공지능을 이용한 이미지 분석 기반 피부암 진단 방법
WO2017090815A1 (ko) 관절 가동 범위를 측정하는 장치 및 방법
WO2024039058A1 (ko) 피부 진단 장치, 이를 포함하는 피부 진단 시스템 및 그 방법
WO2020116878A1 (ko) 안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법
WO2019164273A1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
WO2023080697A1 (ko) 심장 신호 분할 방법 및 이를 이용한 심장 신호 분할용 디바이스
WO2012015093A1 (ko) 원격진료방법 및 전자기기
WO2022050713A1 (ko) 흉부 이미지 판독 방법
WO2024122981A1 (ko) 분광 이미지 기반의 흑색종 판정 방법, 검사 방법 및 이를 지원하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22965299

Country of ref document: EP

Kind code of ref document: A1