WO2023277622A1 - 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 - Google Patents

활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 Download PDF

Info

Publication number
WO2023277622A1
WO2023277622A1 PCT/KR2022/009452 KR2022009452W WO2023277622A1 WO 2023277622 A1 WO2023277622 A1 WO 2023277622A1 KR 2022009452 W KR2022009452 W KR 2022009452W WO 2023277622 A1 WO2023277622 A1 WO 2023277622A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
edema
image
prediction
eyelid
Prior art date
Application number
PCT/KR2022/009452
Other languages
English (en)
French (fr)
Inventor
신규보
김종찬
박재민
Original Assignee
주식회사 타이로스코프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210085542A external-priority patent/KR102379061B1/ko
Application filed by 주식회사 타이로스코프 filed Critical 주식회사 타이로스코프
Priority to JP2023577479A priority Critical patent/JP7513239B2/ja
Priority to CN202280059376.2A priority patent/CN117897779A/zh
Priority to EP22769066.6A priority patent/EP4138094A4/en
Priority claimed from KR1020220080423A external-priority patent/KR102498785B1/ko
Priority to US17/945,270 priority patent/US11741610B2/en
Publication of WO2023277622A1 publication Critical patent/WO2023277622A1/ko
Priority to US18/218,142 priority patent/US20230360219A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a method for guiding visits to the hospital for treatment of active thyroid ophthalmopathy and a system for performing the same.
  • Ophthalmic diseases are diseases that occur in the eyeball and the periphery surrounding it. Since eye diseases are occurring to many people around the world and cause great inconvenience in daily life, such as causing visual impairment in serious cases, it is necessary to monitor the occurrence or degree of eye diseases.
  • an eye disease may be one of several complications caused by other diseases.
  • thyroid ophthalmopathy as a complication caused by abnormal thyroid function.
  • thyroid eye disease becomes severe, it is very important to diagnose thyroid eye disease early because the eyeball protrudes and cannot be treated without surgery.
  • thyroid ophthalmopathy is difficult to diagnose early because there are no clear prognostic symptoms.
  • the clinical activity score (CAS), which has been proposed since 1989, is used to evaluate thyroid ophthalmopathy at an early stage. Efforts are being made to diagnose.
  • a total of 7 items are considered in determining the clinical activity score for thyroid ophthalmopathy, and a total of 7 items are considered: 1) Spontaneous retrobulbar pain, 2) Pain on attempted eye movement upward or downward gaze), 3) Redness of eyelid, 4) Redness of conjunctiva, 5) Swelling of eyelid, 6) Swelling of conjunctiva, and 7) Swelling of lacrimal caruncle.
  • a doctor's medical examination and visual observation are essential. For example, spontaneous pain in the posterior part of the mouth and pain during eye movement can be confirmed through a doctor's medical examination, and eyelid redness, conjunctival congestion, eyelid edema, conjunctival edema, and lacrimal edema can be visually observed by a doctor. can be confirmed by This method of visual examination and interview with a doctor for confirming the clinical activity score requires a direct visit of the patient to the hospital for the diagnosis of thyroid eye disease as a prerequisite, so there was difficulty in diagnosing thyroid eye disease at an early stage.
  • the problem to be solved by the contents disclosed by this application is the learning used to predict the clinical activity score related to thyroid eye disease using images obtained with a digital camera that can be used by the general public rather than a professional medical diagnostic device. to provide a model.
  • Another problem to be solved by the contents disclosed by this application is to provide a method and system that can continuously monitor clinical activity scores related to thyroid ophthalmia without the help of doctors and without direct visits to hospitals.
  • a conjunctival congestion prediction model is trained using learning data sets - at this time, each of the learning data sets is a learning image, an evaluation value for conjunctival congestion, an evaluation value for conjunctival edema, a tear hill an evaluation value for edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, wherein the training image is labeled with the evaluation values according to the diagnosis of the training image; obtaining a first image including at least one eye of a subject and an area outside an outline of the eye; A first prediction value for conjunctival congestion, a first prediction value for conjunctival edema, a first prediction value for tear hill edema, and a first prediction value for eyelid redness by processing the first image using a conjunctival hyperemia prediction model executed in a processor.
  • a computer-implementable method comprising generating a score for the conjunctival hyperemia considering the selected first predictive value for the conjunctival hyperemia is disclosed.
  • the first image may be generated for one of both eyes, and the generated prediction values may be prediction values for the one eye.
  • the method acquires a second image including the other eye of both eyes of the subject and an outer region of an outline of the other eye;
  • the second image is processed using the conjunctival hyperemia prediction model executed in the processor to process the second predicted value for conjunctival hyperemia, the second predictive value for conjunctival edema, the second predictive value for tear hill edema, and the second predictive value for eyelid redness.
  • the method may further include selecting the second predictive value for the conjunctival congestion from among the five second predictive values based on a predetermined setting, and generating a score for the conjunctival congestion comprises the selected first predictive value.
  • a score for the conjunctival congestion may be generated by further considering the selected second predictive value in addition to the predictive value.
  • generating a score for the conjunctival congestion is when the first prediction value is greater than or equal to a predetermined threshold value, the second prediction value is greater than or equal to the predetermined threshold value, or the first prediction value and the second prediction value are It may include assigning a predetermined value to the score when all of the scores are equal to or greater than the predetermined threshold.
  • a conjunctival edema prediction model is trained using learning data sets - at this time, each of the learning data sets is a learning image, an evaluation value for conjunctival congestion, and an evaluation value for conjunctival edema , an evaluation value for tear hill edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, wherein the training image is labeled with the evaluation values according to the diagnosis of the training image; obtaining a first image including at least one eye of a subject and an area outside an outline of the eye; A first prediction value for conjunctival congestion, a first prediction value for conjunctival edema, a first prediction value for lacrimal edema, and a first prediction value for eyelid redness by processing the first image using a conjunctival edema prediction model executed in a processor.
  • a computer-implementable method comprising generating a score for the conjunctival edema in consideration of the selected first predictive value for the conjunctival edema is disclosed.
  • the first image may be generated for one of both eyes, and the generated prediction values may be prediction values for the one eye.
  • the method further comprises: obtaining a second image including the other eye of both eyes of the subject and an outer region of an outline of the other eye;
  • the second image is processed using the conjunctival edema prediction model executed in the processor to process a second prediction value for conjunctival congestion, a second prediction value for conjunctival edema, a second prediction value for lacrimal edema, and a second prediction value for eyelid redness.
  • the method may further include selecting the second predictive value for the conjunctival edema from among the five second predicted values based on a predetermined setting, and generating a score for the conjunctival edema includes the selected first predicted value.
  • a score for the conjunctival edema may be generated by further considering the selected second prediction value in addition to the prediction value.
  • generating a score for the conjunctival edema is that the first prediction value is greater than or equal to a predetermined threshold value, the second prediction value is greater than or equal to the predetermined threshold value, or the first prediction value and the second prediction value are It may include assigning a predetermined value to the score when all of the scores are equal to or greater than the predetermined threshold.
  • a tear hill edema prediction model is trained using learning data sets - at this time, each of the learning data sets is a training image, an evaluation value for conjunctival congestion, and a value for conjunctival edema an evaluation value, an evaluation value for tear hill edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, wherein the training image is labeled with the evaluation values according to the diagnosis of the training image; obtaining a first image including at least one eye of a subject and an area outside an outline of the eye; A first prediction value for conjunctival congestion, a first prediction value for conjunctival edema, a first prediction value for lacrimal edema, and a first prediction value for eyelid redness are obtained by processing the first image using a tear hill edema prediction model executed in a processor.
  • a computer-implementable method comprising generating a score for the lacrimal edema taking into account the selected first predictive value for the lacrimal edema.
  • the first image may be generated for one of both eyes, and the generated prediction values may be prediction values for the one eye.
  • the method further comprises: obtaining a second image including the other eye of both eyes of the subject and an outer region of an outline of the other eye;
  • the second image is processed using the lacrimal edema prediction model executed in the processor to process the second predicted value for conjunctival congestion, the second predicted value for conjunctival edema, the second predicted value for lacrimal edema, and the redness of the eyelid. output a second predicted value and a second predicted value for eyelid edema;
  • the method may further include selecting the second predicted value for the edema of the tear hill from among the five second predicted values based on a predetermined setting, wherein generating a score for the edema of the tear hill comprises the selected second predictive value.
  • a score for the tear hill edema may be generated by further considering the selected second prediction value in addition to the first prediction value.
  • generating a score for the tear hill edema is when the first predicted value is greater than or equal to a predetermined threshold value, the second predicted value is greater than or equal to the predetermined threshold value, or the first predicted value and the second predicted value It may include assigning a predetermined value to the score when all of these scores are equal to or greater than the predetermined threshold value.
  • a eyelid redness prediction model is trained using learning data sets, wherein each of the learning data sets is a learning image, an evaluation value for conjunctival congestion, and an evaluation for conjunctival edema a value, an evaluation value for tear hill edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, wherein the training image is labeled with the evaluation values according to the diagnosis of the training image; obtaining a first image including at least one eye of a subject and an area outside an outline of the eye; A first prediction value for conjunctival congestion, a first prediction value for conjunctival edema, a first prediction value for lacrimal edema, and a first prediction value for eyelid redness by processing the first image using an eyelid erythema prediction model executed in a processor.
  • a computer-implementable method comprising generating a score for the eyelid redness by considering the selected first predictive value for the eyelid redness.
  • the first image may be generated for one of both eyes, and the generated prediction values may be prediction values for the one eye.
  • the method further comprises: obtaining a second image including the other eye of both eyes of the subject and an outer region of an outline of the other eye;
  • the second image is processed using the eyelid erythema prediction model executed in the processor to obtain a second prediction value for conjunctival congestion, a second prediction value for conjunctival edema, a second prediction value for lacrimal edema, and a second prediction value for eyelid redness.
  • the method may further include selecting the second predicted value for the redness of the eyelids from among the five second predicted values based on a predetermined setting, and generating a score for the redness of the eyelids may include selecting the selected first predicted value for the redness of the eyelids.
  • a score for the redness of the eyelid may be generated by further considering the selected second prediction value in addition to the prediction value.
  • generating a score for the redness of the eyelid is that the first prediction value is greater than or equal to a predetermined threshold value, the second prediction value is greater than or equal to the predetermined threshold value, or the first prediction value and the second prediction value are It may include assigning a predetermined value to the score when all of the scores are equal to or greater than the predetermined threshold.
  • an eyelid edema prediction model is trained using learning data sets - at this time, each of the learning data sets is a learning image, an evaluation value for conjunctival congestion, and an evaluation for conjunctival edema a value, an evaluation value for tear hill edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, wherein the training image is labeled with the evaluation values according to the diagnosis of the training image; obtaining a first image including at least one eye of a subject and an area outside an outline of the eye; A first prediction value for conjunctival congestion, a first prediction value for conjunctival edema, a first prediction value for lacrimal edema, and a first prediction value for eyelid redness by processing the first image using an eyelid edema prediction model executed in a processor.
  • a computer-implementable method comprising generating a score for eyelid edema taking into account the selected first predictive value for eyelid edema.
  • the first image may be generated for one of both eyes, and pre-generated prediction values may be prediction values for the one eye.
  • the method includes acquiring a second image including an outer region of the other eye of both eyes of the subject and an outline of the other eye;
  • the second image is processed using the eyelid edema prediction model executed in the processor to process the second predictive value for conjunctival congestion, the second predictive value for conjunctival edema, the second predictive value for lacrimal edema, and the second predictive value for eyelid redness.
  • the method may further include selecting the second prediction value for the eyelid edema from among the five second prediction values based on a predetermined setting, and generating a score for the eyelid edema includes the selected first prediction value.
  • a score for the eyelid edema may be generated by further considering the selected second prediction value in addition to the prediction value.
  • generating a score for the eyelid edema is that the first predicted value is greater than or equal to a predetermined threshold value, the second predicted value is greater than or equal to the predetermined threshold value, or the first predicted value and the second predicted value are It may include assigning a predetermined value to the score when all of the scores are equal to or greater than the predetermined threshold.
  • FIG. 1 is a diagram illustrating a system for predicting a clinical activity score related to thyroid eye disease according to an embodiment disclosed by the present application.
  • FIG. 2 is a block diagram of a user terminal provided by the present application.
  • FIG. 3 is a block diagram of a server disclosed by the present application.
  • FIG. 4 is a diagram for explaining an eye exposed to the outside and its surrounding tissue so that it can be captured by a camera when a face is photographed using a camera.
  • 5 is a view for explaining an eyeball exposed to the outside.
  • FIG. 6 is a view for explaining the cornea exposed to the outside.
  • FIG. 7 is a view for explaining the conjunctiva exposed to the outside.
  • FIG. 8 is a diagram for explaining a face image and a binocular image.
  • FIG. 9 is a diagram for explaining a method of detecting an eye outline.
  • FIG. 10 is a diagram illustrating a first crop area.
  • FIG. 11 is a diagram illustrating a first cropped image by way of example.
  • FIG. 12 is diagrams exemplarily illustrating a second cropped area determined in various ways.
  • FIG. 13 is a diagram illustrating a second cropped image by way of example.
  • FIG. 14 is a diagram for explaining a method of determining a third cropped area.
  • 15 is a diagram illustrating a third crop area by way of example.
  • 16 is a diagram illustrating a third cropped image by way of example.
  • 17 is a diagram illustrating various examples of an original image and a horizontally inverted image.
  • 18 is a diagram illustrating resized images by way of example.
  • 19 is a flowchart for explaining a method for predicting conjunctival congestion.
  • 20 is a flowchart illustrating a method for predicting conjunctival edema.
  • 21 is a flowchart illustrating a method for predicting tear hill edema.
  • 22 is a flowchart for explaining a method for predicting eyelid redness.
  • 23 is a flowchart for explaining a method for predicting eyelid edema.
  • 24 is a diagram for explaining a method for predicting clinical activity scores related to thyroid ophthalmopathy.
  • a conjunctival congestion prediction model is trained using learning data sets - at this time, each of the learning data sets is a learning image, an evaluation value for conjunctival congestion, an evaluation value for conjunctival edema, a tear hill an evaluation value for edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, wherein the training image is labeled with the evaluation values according to the diagnosis of the training image; obtaining a first image including at least one eye of a subject and an area outside an outline of the eye; A first prediction value for conjunctival congestion, a first prediction value for conjunctival edema, a first prediction value for tear hill edema, and a first prediction value for eyelid redness by processing the first image using a conjunctival hyperemia prediction model executed in a processor.
  • a computer-implementable method comprising generating a score for the conjunctival hyperemia considering the selected first predictive value for the conjunctival hyperemia is disclosed.
  • the first image may be generated for one of both eyes, and the generated prediction values may be prediction values for the one eye.
  • the method acquires a second image including the other eye of both eyes of the subject and an outer region of an outline of the other eye;
  • the second image is processed using the conjunctival hyperemia prediction model executed in the processor to process the second predicted value for conjunctival hyperemia, the second predictive value for conjunctival edema, the second predictive value for tear hill edema, and the second predictive value for eyelid redness.
  • the method may further include selecting the second predictive value for the conjunctival congestion from among the five second predictive values based on a predetermined setting, and generating a score for the conjunctival congestion comprises the selected first predictive value.
  • a score for the conjunctival congestion may be generated by further considering the selected second predictive value in addition to the predictive value.
  • generating a score for the conjunctival congestion is when the first prediction value is greater than or equal to a predetermined threshold value, the second prediction value is greater than or equal to the predetermined threshold value, or the first prediction value and the second prediction value are It may include assigning a predetermined value to the score when all of the scores are equal to or greater than the predetermined threshold.
  • a conjunctival edema prediction model is trained using learning data sets - at this time, each of the learning data sets is a learning image, an evaluation value for conjunctival congestion, and an evaluation value for conjunctival edema , an evaluation value for tear hill edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, wherein the training image is labeled with the evaluation values according to the diagnosis of the training image; obtaining a first image including at least one eye of a subject and an area outside an outline of the eye; A first prediction value for conjunctival congestion, a first prediction value for conjunctival edema, a first prediction value for lacrimal edema, and a first prediction value for eyelid redness by processing the first image using a conjunctival edema prediction model executed in a processor.
  • a computer-implementable method comprising generating a score for the conjunctival edema in consideration of the selected first predictive value for the conjunctival edema is disclosed.
  • the first image may be generated for one of both eyes, and the generated prediction values may be prediction values for the one eye.
  • the method further comprises: obtaining a second image including the other eye of both eyes of the subject and an outer region of an outline of the other eye;
  • the second image is processed using the conjunctival edema prediction model executed in the processor to process a second prediction value for conjunctival congestion, a second prediction value for conjunctival edema, a second prediction value for lacrimal edema, and a second prediction value for eyelid redness.
  • the method may further include selecting the second predictive value for the conjunctival edema from among the five second predicted values based on a predetermined setting, and generating a score for the conjunctival edema includes the selected first predicted value.
  • a score for the conjunctival edema may be generated by further considering the selected second prediction value in addition to the prediction value.
  • generating a score for the conjunctival edema is that the first prediction value is greater than or equal to a predetermined threshold value, the second prediction value is greater than or equal to the predetermined threshold value, or the first prediction value and the second prediction value are It may include assigning a predetermined value to the score when all of the scores are equal to or greater than the predetermined threshold.
  • a tear hill edema prediction model is trained using learning data sets - at this time, each of the learning data sets is a training image, an evaluation value for conjunctival congestion, and a value for conjunctival edema an evaluation value, an evaluation value for tear hill edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, wherein the training image is labeled with the evaluation values according to the diagnosis of the training image; obtaining a first image including at least one eye of a subject and an area outside an outline of the eye; A first prediction value for conjunctival congestion, a first prediction value for conjunctival edema, a first prediction value for lacrimal edema, and a first prediction value for eyelid redness are obtained by processing the first image using a tear hill edema prediction model executed in a processor.
  • a computer-implementable method comprising generating a score for the lacrimal edema taking into account the selected first predictive value for the lacrimal edema.
  • the first image may be generated for one of both eyes, and the generated prediction values may be prediction values for the one eye.
  • the method further comprises: obtaining a second image including the other eye of both eyes of the subject and an outer region of an outline of the other eye;
  • the second image is processed using the lacrimal edema prediction model executed in the processor to process the second predicted value for conjunctival congestion, the second predicted value for conjunctival edema, the second predicted value for lacrimal edema, and the redness of the eyelid. output a second predicted value and a second predicted value for eyelid edema;
  • the method may further include selecting the second predicted value for the edema of the tear hill from among the five second predicted values based on a predetermined setting, wherein generating a score for the edema of the tear hill comprises the selected second predictive value.
  • a score for the tear hill edema may be generated by further considering the selected second prediction value in addition to the first prediction value.
  • generating a score for the tear hill edema is when the first predicted value is greater than or equal to a predetermined threshold value, the second predicted value is greater than or equal to the predetermined threshold value, or the first predicted value and the second predicted value It may include assigning a predetermined value to the score when all of these scores are equal to or greater than the predetermined threshold value.
  • a eyelid redness prediction model is trained using learning data sets, wherein each of the learning data sets is a learning image, an evaluation value for conjunctival congestion, and an evaluation for conjunctival edema a value, an evaluation value for tear hill edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, wherein the training image is labeled with the evaluation values according to the diagnosis of the training image; obtaining a first image including at least one eye of a subject and an area outside an outline of the eye; A first prediction value for conjunctival congestion, a first prediction value for conjunctival edema, a first prediction value for lacrimal edema, and a first prediction value for eyelid redness by processing the first image using an eyelid erythema prediction model executed in a processor.
  • a computer-implementable method comprising generating a score for the eyelid redness by considering the selected first predictive value for the eyelid redness.
  • the first image may be generated for one of both eyes, and the generated prediction values may be prediction values for the one eye.
  • the method further comprises: obtaining a second image including the other eye of both eyes of the subject and an outer region of an outline of the other eye;
  • the second image is processed using the eyelid erythema prediction model executed in the processor to obtain a second prediction value for conjunctival congestion, a second prediction value for conjunctival edema, a second prediction value for lacrimal edema, and a second prediction value for eyelid redness.
  • the method may further include selecting the second predicted value for the redness of the eyelids from among the five second predicted values based on a predetermined setting, and generating a score for the redness of the eyelids may include selecting the selected first predicted value for the redness of the eyelids.
  • a score for the redness of the eyelid may be generated by further considering the selected second prediction value in addition to the prediction value.
  • generating a score for the redness of the eyelid is that the first prediction value is greater than or equal to a predetermined threshold value, the second prediction value is greater than or equal to the predetermined threshold value, or the first prediction value and the second prediction value are It may include assigning a predetermined value to the score when all of the scores are equal to or greater than the predetermined threshold.
  • an eyelid edema prediction model is trained using learning data sets - at this time, each of the learning data sets is a learning image, an evaluation value for conjunctival congestion, and an evaluation for conjunctival edema a value, an evaluation value for tear hill edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, wherein the training image is labeled with the evaluation values according to the diagnosis of the training image; obtaining a first image including at least one eye of a subject and an area outside an outline of the eye; A first prediction value for conjunctival congestion, a first prediction value for conjunctival edema, a first prediction value for lacrimal edema, and a first prediction value for eyelid redness by processing the first image using an eyelid edema prediction model executed in a processor.
  • a computer-implementable method comprising generating a score for eyelid edema taking into account the selected first predictive value for eyelid edema.
  • the first image may be generated for one of both eyes, and pre-generated prediction values may be prediction values for the one eye.
  • the method includes acquiring a second image including an outer region of the other eye of both eyes of the subject and an outline of the other eye;
  • the second image is processed using the eyelid edema prediction model executed in the processor to process the second predictive value for conjunctival congestion, the second predictive value for conjunctival edema, the second predictive value for lacrimal edema, and the second predictive value for eyelid redness.
  • the method may further include selecting the second prediction value for the eyelid edema from among the five second prediction values based on a predetermined setting, and generating a score for the eyelid edema includes the selected first prediction value.
  • a score for the eyelid edema may be generated by further considering the selected second prediction value in addition to the prediction value.
  • generating a score for the eyelid edema is that the first predicted value is greater than or equal to a predetermined threshold value, the second predicted value is greater than or equal to the predetermined threshold value, or the first predicted value and the second predicted value are It may include assigning a predetermined value to the score when all of the scores are equal to or greater than the predetermined threshold.
  • a system for predicting a clinical activity score (CAS) for thyroid eye disease of a user is disclosed.
  • FIG. 1 is a diagram illustrating a system for predicting a clinical activity score related to thyroid eye disease according to an embodiment disclosed by the present application.
  • the system 1 includes a plurality of user terminals 10 and a server 20 .
  • the plurality of user terminals 10 transmit information to the server 20 through various networks and also receive information from the server 20 .
  • the plurality of user terminals 10 are images of the user's upper and lower eyelids and eyeballs exposed to the outside by the upper and lower eyelids (hereinafter referred to as eye images). ) may be obtained, and necessary processing of the obtained eye image may be performed, or the obtained eye image or the processed eye image may be transmitted to the server 20 .
  • the plurality of user terminals 10 may receive, from the server 20 , prediction results related to clinical activity scores processed by the server 20 .
  • the server 20 transmits information to the plurality of user terminals 10 through various networks and also receives information from the plurality of user terminals 10 .
  • the server 20 may receive the eye image from the plurality of user terminals 10 . At this time, the server 20 may process the eye image. Alternatively, the server 20 may receive the processed eye image.
  • the server 20 may obtain a prediction result for a clinical activity score related to the user's thyroid eye disease based on the processed eye image.
  • the server 20 may transmit the prediction result for the clinical activity score to the plurality of user terminals 10 .
  • terminal software needs to be installed in the plurality of user terminals 10, and server software needs to be installed in the server 20. need to be
  • Various pre-processing algorithms may be used to perform the necessary pre-processing of the eye image.
  • a plurality of predictive models for predicting a clinical activity score based on the preprocessed eye image may be used.
  • the plurality of preprocessing algorithms may be driven by terminal software installed in the user terminals 10 or may be driven by software installed in the server 20 . Alternatively, some of the plurality of pre-processing algorithms may be executed by the user terminals 10 and other parts may be executed by the server 20 .
  • the plurality of predictive models may be driven by software installed in the server 20 .
  • the plurality of prediction models may be driven by terminal software installed in the user terminals 10 .
  • some of the plurality of predictive models may be executed by the user terminals 10 and other parts may be executed by the server 20 .
  • FIG. 2 is a block diagram of a user terminal disclosed by the present application.
  • a user terminal 10 disclosed by the present application includes an output unit 110 , a communication unit 120 , a memory 130 , a camera 140 and a controller 150 .
  • the output unit 110 outputs various types of information according to the control command of the controller 150 .
  • the output unit 110 may include a display 112 that visually outputs information to a user.
  • a speaker that aurally outputs information to the user and a vibration motor that tactilely outputs information to the user may be included.
  • the communication unit 120 may include a wireless communication module and/or a wired communication module.
  • the wireless communication module may include a Wi-Fi communication module, a cellular communication module, and the like.
  • the memory 130 stores execution codes that can be read by the controller 150, processed result values, and necessary data.
  • the memory 130 may include a hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), ROM, RAM, and the like.
  • the memory 130 may store the aforementioned terminal software and may store execution codes for implementing various preprocessing algorithms and/or learning models described above. Furthermore, the memory 130 may store the eye image obtained through the camera 140 and the preprocessed eye image.
  • the camera 140 is a digital camera and may include an image sensor and an image processing unit.
  • An image sensor is a device that converts an optical image into an electrical signal, and may be configured as a chip in which a plurality of photo diodes are integrated.
  • the image sensor may include a Charge Coupled Device (CCD), Complementary Metal Oxide Semiconductor (CMOS), and the like.
  • the image processing unit may generate image information by processing a photographed result.
  • the controller 150 may include at least one processor. At this time, each processor may execute a predetermined operation by executing at least one command stored in the memory 130 . Specifically, the controller 150 may process information according to terminal software, a preprocessing algorithm, and/or a learning model driven in the user terminal 10 . Meanwhile, the controller 150 controls overall operations of the user terminal 10 .
  • the user terminal 10 may include a user input unit.
  • the user terminal 10 can receive input from a user through the user input unit for various information necessary for the operation of the user terminal 10 .
  • FIG. 3 is a block diagram of a server disclosed by the present application.
  • a server 20 disclosed by the present application includes a communication unit 210 , a memory 220 and a controller 230 .
  • the communication unit 210 may include a wireless communication module and/or a wired communication module.
  • the wireless communication module may include a Wi-Fi communication module, a cellular communication module, and the like.
  • the memory 220 stores execution codes that can be read by the controller 230, processed result values, and necessary data.
  • the memory 220 may include a hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), ROM, RAM, and the like.
  • the memory 220 may store the above-described server software and may store execution codes for implementing the above-described various preprocessing algorithms and/or learning models. Furthermore, the memory 220 may store the eye image received from the user terminal 10 and the preprocessed eye image.
  • the controller 230 may include at least one processor. At this time, each processor may execute a predetermined operation by executing at least one command stored in the memory 220 . Specifically, the controller 230 may process information according to server software running in the server 20, a preprocessing algorithm, and/or a learning model. Meanwhile, the controller 230 controls overall operations of the server 20 .
  • FIG. 4 is a diagram for explaining an eye exposed to the outside and its surrounding tissue so that it can be captured by a camera when a face is photographed using a camera.
  • the eyelids upper eyelid
  • lower eyelid lacrimal caruncle
  • conjunctiva conjunctiva
  • white The white of eye, cornea or iris and eyebrow are shown.
  • the eye or eyeball is larger than shown in FIG. 4 .
  • the eyeball is protected from the outside by tissues such as the upper and lower eyelids, and accordingly, only a part of the eyeball is exposed to the outside even when the person's eyes are open.
  • conjunctiva generally corresponds to the position of the white of the eye
  • conjunctiva and white of the eye may be used interchangeably.
  • the terms cornea and iris may be used interchangeably.
  • the term 'iris' is used to include the pupil area.
  • the upper eyelid is called the upper eyelid, and the lower eyelid is called the lower eyelid.
  • the outer surface is made of skin, and the inner surface is made of conjunctiva. In between, there are muscles that move the eyelids and tissue that contains meibomian glands, which maintain the shape of the eyelids. there is.
  • the eyelids protect the eyeball and at the same time clean the eyeball with tears by blinking or make the cornea shiny and transparent.
  • Eyebrows are hairs that grow in an arch along the bony prominence above the eye.
  • eyeballs exposed to the outside means a part that is not covered by the upper eyelid, the lower eyelid and the tear hill, that is, the part exposed to the outside by the upper eyelid, the lower eyelid and the tear hill when the person's eyes are open.
  • the inside of the dotted line shown in FIG. 5 is referred to as “the eyeball exposed to the outside”.
  • eye outline means the boundary between the eyeball and the eyelids (upper and lower eyelids) exposed to the outside when the person's eyes are open. That is, the outline of the eyeball exposed to the outside is referred to as “eye outline”. For example, the dotted line shown in FIG. 5 is referred to as “eye outline”.
  • exposed cornea refers to a portion of the cornea that is not covered by the upper and lower eyelids when the person's eyes are open, that is, a portion of the cornea exposed to the outside by the upper and lower eyelids.
  • exposed cornea the inside of the dotted line shown in FIG. 6 is referred to as “exposed cornea”.
  • conjunctiva exposed to the outside refers to the part of the conjunctiva that is not covered by the upper eyelid, the lower eyelid, and the tear hill, that is, the part of the conjunctiva exposed to the outside by the upper eyelid, the lower eyelid, and the tear hill, when the person's eyes are open. it means.
  • the inside of the dotted line shown in FIG. 7 is referred to as “exposed conjunctiva".
  • One object of the present application is to provide a learning model capable of predicting a clinical activity score related to thyroid eye disease by using images acquired by a digital camera usable by the general public rather than a professional medical diagnostic device.
  • an image that the general public can easily acquire about the eyeball and tissues around the eyeball should be used.
  • digital images obtained by digital cameras that can be easily used by ordinary people or built-in smartphones should be used for image analysis, rather than digital images obtained by specialized medical devices that can be used in medical institutions. do.
  • the inventors of the present application tried to build a system for predicting scores for 5 items related to thyroid eye disease using face images as shown in FIG. 8, but confirmed that the prediction accuracy was not high.
  • the inventors of the present application have determined that the reason for the low prediction accuracy is that there are many areas unnecessary for analysis in the face image, and therefore, it has been determined that there is a need to secure a more detailed cropped image.
  • five of the seven items for evaluating the clinical activity score for thyroid eye disease are items evaluated according to the doctor's visual observation of the user's eyeball and its surrounding area.
  • the five items evaluated according to the doctor's visual observation are as follows.
  • the subject of visual observation is divided into three parts such as “conjunctiva”, “tear hill” and “eyelid”. Focusing on the loss, it was determined that creating a total of three prediction models capable of predicting a total of five symptoms would increase the accuracy of the prediction model. That is, in learning the three predictive models, it was determined that it would be more advantageous to have different cropping methods for images to be used as training data for each predictive model.
  • first cropping or externally exposed eye cropping.
  • the first cropping can be applied to both the right-eye image and the left-eye image, but for convenience of explanation, it will be described based on securing the left-eye cropped image.
  • the purpose of the second crop is to select an image to be used as an input image for a model for predicting redness of conjunctiva and a model for predicting swelling of conjunctiva among prediction models to be described later.
  • the purpose is to generate an image in which information about the cornea exposed to the outside is maximized and information about other regions is minimized.
  • a first crop may be applied to a face image or a part of a face image including both eyes.
  • a landmark detection algorithm may be used to detect an eye outline.
  • a facial landmark detection algorithm provided by dlib may be used to detect pixels located in the outline of an eye.
  • the number of pixels corresponding to the eye outline may vary, but according to the facial landmark detection algorithm described above, 6 pixels correspond to each of the eye outlines of both eyes. can be detected.
  • One of the six pixels (for example, P4 shown in (a) of FIG. 9) may correspond to a pixel determined to be the leftmost of the eye outline in the image, and another of the six pixels One (eg, P1 shown in (a) of FIG. 9) may correspond to a pixel determined to be the rightmost of the eye outline in the image, and the other two of the six pixels (eg, For example, P2 and P3 shown in (a) of FIG.
  • 9) may be pixels corresponding to the boundary between the eyeball and the upper eyelid exposed to the outside in the image, and another two of the six pixels (eg, , P5 and P6 shown in (a) of FIG. 9) may be pixels corresponding to the boundary between the eyeball and the lower eyelid exposed to the outside in the image.
  • detecting the eye outline may mean detecting all pixels corresponding to the eye outline, or among pixels corresponding to the eye outline using landmark detection or the like. It can also mean detecting some.
  • the detected pixels are checked, and a rectangle with a minimum size including all 6 pixels is set.
  • the maximum value of X coordinate values of 6 pixels X max
  • the minimum value of X coordinate values of 6 pixels X min
  • the maximum value of Y coordinate values of 6 pixels Y max
  • the minimum value (Y min ) of the Y coordinate values of the pixels is checked, and based on the checked X max , X min , Y max , Y min , a rectangle having the following 4 points as vertices is created, and the An area included inside may be determined as the first cropped area.
  • FIG. 10 is a diagram illustrating a first crop area.
  • (a) of FIG. 10 shows the maximum value (X max ) of the above-described X coordinate values of the six pixels, the minimum value (X min ) of the X coordinate values of the six pixels, and the maximum value of the Y coordinate values of the six pixels.
  • (Y max ) and the minimum value (Y min ) of the Y coordinate values of 6 pixels are checked
  • FIG. 10 (b) shows the maximum and minimum values of the checked X coordinates and the maximum and minimum values of the Y coordinates. It is a diagram showing a first cropped area made using .
  • the first cropped area may be determined in the same way for the right eye.
  • First cropped images may be generated using pixels.
  • the first cropped images include a first right eye cropped image generated for the right eye (FIG. 11(b)) and a first left eye cropped image generated for the left eye (FIG. 11(a)).
  • first cropped image may be used interchangeably with the term “eyeball cropped image exposed to the outside”
  • first right eye cropped image may be used interchangeably with the term “eyeball cropped image exposed to the outside of the right eye”.
  • first left eye cropped image may be used interchangeably with the term “eyeball cropped image exposed to the outside of the left eye”.
  • first cropped image or externally exposed eyeball cropped image
  • first cropped image means either a first right eye cropped image and a first left eye cropped image, or both depending on the context. can mean
  • the first cropped image means an image that is cropped in such a way that the ratio of the number of pixels corresponding to the eyeball exposed to the outside and the number of all pixels included in the cropped image can be maximized, and is different from the above method. Even if the cropped image is generated according to , if the cropped area is generated to contain as much information about the eyeball exposed to the outside as possible, it should be referred to as a first cropped image (cropped image of the eyeball exposed to the outside).
  • the terms maximum value and minimum value should be understood in a relative sense, not in an absolute sense. It won't. That is, as the position of the origin of the coordinate system is changed, the maximum value of the above-described X coordinate value may be the minimum value of the X coordinate value in the coordinate system whose origin is changed, and the minimum value of the X coordinate value is the X coordinate value in the coordinate system whose origin is changed. It may be the maximum value of coordinate values. This can also be applied to the Y coordinate value in the same way.
  • This crop method is referred to as a second crop or eyelid-included crop.
  • the second cropping can be applied to both the right-eye image and the left-eye image, but for convenience of explanation, it will be described based on securing the left-eye cropped image.
  • the purpose of the second crop is an image to be used as an input image for a model for predicting redness of eyelids and a model for predicting swelling of eyelids among prediction models to be described later. It has the purpose of generating, and the purpose is to allow information about the eyelid to be included in the image. At this time, it may be better to generate a cropped image so that all pixels included in the eye outline may be included rather than cropping only pixels corresponding to the eyelid. This is because color values must be inferred and determined in order to predict redness of the eyelids, and at this time, color values of pixels corresponding to the iris and/or the white of the eye can be used.
  • the second crop may be applied to a face image or a part of a face image including both eyes.
  • the eye outline detection method described in the first cropping may be applied as it is, outline pixels corresponding to the outermost periphery of the eye outline may be detected, and the detected pixels may be checked to determine the X coordinate.
  • the maximum value of values (X max ), the minimum value of X coordinate values (X min ), the maximum value of Y coordinate values (Y max ), and the minimum value of Y coordinate values (Y min ) can be checked.
  • a quadrangle generated by using the points identified in the above manner as vertices is referred to as a reference quadrangle.
  • the horizontal length of the reference rectangle is referred to as the reference horizontal length or the horizontal length of the eye outline
  • the vertical length of the reference rectangle is referred to as the reference vertical length or the vertical length of the eye outline.
  • a vertical length, a horizontal length, and a center point of the second cropped area are determined.
  • the coordinates of each vertex of the second crop area are (Xa,Ya), (Xa,Yb), (Xb, Ya), and (Xb, Yb) (At this time, the value of Xa is smaller than the value of Xb and Ya has a value smaller than that of Yb)
  • the coordinates of the center point are ((Xa+Xb)/2, (Ya+Yb)/2) or ((Xa+(Xb-Xa)/2, Ya+(Yb +Ya)/2) and the like.
  • the vertical length of the second cropped area may be obtained by multiplying the reference vertical length by a predetermined number.
  • the predetermined number is 1.6, 1.7, 1.8, 1.9, 2.0, 2.1, 2.2, 2.3, 2.4, 2.5, 2.6, 2.7, 2.8, 2.9, 3.0, 3.1, 3.2, 3.3, 3.4, 3.5, 3.6, 3.7, 3.8 , 3.9, 4.0, etc.
  • the horizontal length of the second cropped area may be obtained by multiplying the reference horizontal length by a predetermined number.
  • the predetermined number may be 1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 2.0, 2.1, 2.2, 2.3, 2.4, 2.5, and the like.
  • the predetermined number multiplied by the reference vertical length and the predetermined number multiplied by the reference horizontal length are determined independently of each other. Accordingly, the shape of the second cropped area created may be a rectangle.
  • the shape of the second cropping area may be square.
  • a length of one side of the square second cropped area may be determined based on a value obtained by multiplying the reference vertical length by a predetermined number and multiplying the reference horizontal length by a predetermined number. For example, a larger value of a value obtained by multiplying the reference vertical length by a predetermined number and a predetermined number for the reference horizontal length may be determined as the length of one side.
  • the predetermined number multiplied by the reference vertical length and the predetermined number multiplied by the reference horizontal length are determined independently of each other.
  • a location of a center point of the second crop area may be different from a location of a center point of the reference rectangle.
  • the reason why the location of the center point of the reference rectangle and the location of the center point of the second crop area are determined differently is that the shapes of the upper and lower eyelids are not symmetrical with each other, and the shapes of the upper and lower eyelids are generally a vertical line passing through the center of the reference rectangle. This is because it is not a line-symmetric shape with respect to .
  • the y-coordinate value of the center point of the second crop area becomes larger than the y-coordinate value of the center point of the reference rectangle, information on the eyebrow may increase, and the y-coordinate value of the center point of the second crop area is As the value of the y-coordinate of the center point of the reference rectangle is smaller, the information on the eyebrow may be reduced.
  • the left eye When the left eye is the reference, generally, as the x-coordinate value of the center point of the second crop area becomes larger than the x-coordinate value of the center point of the reference rectangle, information on the area between the two eyes is reduced. As the x-coordinate value of the center point of the crop area becomes smaller than the x-coordinate value of the center point of the reference rectangle, information about the area between the eyes and the temple is further reduced.
  • the y coordinate value of the center point of the second crop area may be smaller than the y coordinate value of the center point of the reference rectangle.
  • an x-coordinate value of a center point of the second cropped area may be greater than an x-coordinate value of a center point of the reference rectangle.
  • the x-coordinate value of the center point of the second cropped area may be smaller than the y-coordinate value of the center point of the reference rectangle.
  • FIG. 12 is diagrams exemplarily illustrating a second cropped area determined in various ways.
  • 12(a) shows an example of a second crop area in which the second crop area has a rectangular shape and the center point of the second crop area coincides with the center point of the reference rectangle
  • FIG. 12(b) shows an example of the second crop area.
  • An example of a second crop area in which the area is a rectangle and the center point of the second crop area does not coincide with the center point of the reference rectangle is shown
  • FIG. 12(c) shows that the second crop area is a square and the second crop area 12(d) shows an example of a second cropped area in which the center point of the second cropped area coincides with the center point of the reference rectangle
  • FIG. An example of the second cropped area not shown is shown.
  • the second cropped images include a second right eye cropped image generated for the right eye (FIG. 13(b)) and a second left eye cropped image generated for the left eye (FIG. 13(a)).
  • second cropped image may be used interchangeably with the term “cropped image including the eyelid”
  • second cropped image of the right eye may be used interchangeably with the term “right eyelid-included-cropped image”.
  • second left eye cropped image may be used interchangeably with the term “left eyelid-included-cropped image”.
  • second cropped image may mean either one of a second right eye cropped image and a second left eye cropped image, or both depending on the context. there is.
  • the second cropped image refers to an image generated so that information about the eyelid is included in the image, and even if the cropped image is generated according to a method different from the above method, the cropped area so that pixels corresponding to the eyelid can be additionally included If the boundary of is determined, it should be referred to as a second cropped image (cropped image including eyelids).
  • This crop method is referred to as a third crop or a lacrimal caruncle-included crop.
  • the third crop can be applied to both the right-eye image and the left-eye image, but for convenience of explanation, it will be described based on securing the left-eye cropped image.
  • the purpose of the third crop is to generate an image to be used as an input image for a model for predicting swelling of lacrimal caruncle among prediction models to be described later, information about the lacrimal caruncle Its purpose is to allow to be included in the image.
  • a third crop may be applied to a face image or a part of a face image including both eyes.
  • the eye outline detection method described in the first crop may be applied as it is. That is, six pixel values can be obtained through eye outline detection.
  • the pixel closest to the tear hill (P 4 in FIG. 9 , hereinafter referred to as the first pixel), the upper eyelid or the two pixels on the boundary between the eyelash on the side of the upper eyelid and the eyeball exposed to the outside ( P 3 and P 2 in FIG. 9 ) at the border between the pixel closer to the tear hill (P 3 in FIG. 9 , hereinafter, the second pixel) and the lower eyelid or eyelash on the lower eyelid side and the eyeball exposed to the outside Among the two pixels (P 5 and P 6 in FIG. 9 ), a pixel closer to the tear hill (P 5 in FIG. 9 , hereinafter referred to as a third pixel) is selected ((a) of FIG. 14 ).
  • a pixel (hereinafter referred to as a fourth pixel) corresponding to the center point of four pixels (P 3 , P 2 , P 5 and P 6 ) at the boundary between the eyelashes and the eyeball exposed to the outside is determined.
  • C Fig. 14 (b)).
  • a rectangle having the following four points as vertices may be created, and an area included in the rectangle may be determined as the third cropped area.
  • FIG. 15 is a diagram illustrating a third crop area.
  • (a) of FIG. 15 shows the maximum value (X max ) of the X coordinate values of the aforementioned four pixels (first to fourth pixels), the minimum value (X min ) of the X coordinate values of the four pixels, It is a diagram showing that the maximum value of Y coordinate values of 4 pixels (Y max ) and the minimum value of Y coordinate values of 4 pixels (Y min ) are confirmed.
  • FIG. 15(b) is the maximum value of X coordinate values checked. and a third crop area created using the minimum value and the maximum and minimum values of the Y coordinates.
  • the third cropped area may be determined in the same way for the right eye.
  • the third cropped images include a third right eye cropped image generated for the right eye (FIG. 16(b)) and a third left eye cropped image generated for the left eye (FIG. 16(a)).
  • third cropped image may be used interchangeably with the term “cropped image including tear hill”, and the term “third right eye cropped image” may be interchanged with the term “right eyelid-included cropped image”. )”, and the term “third left eye cropped image” may be used interchangeably with the term “left eyelid-included-cropped image”.
  • third cropped image may mean either a third cropped image for the right eye or a cropped image for the left eye, or both depending on the context.
  • the third cropped image refers to an image generated so that information about the tear hill is included in the image, and even if the crop image is generated according to a method different from the above method, pixels corresponding to the tear hill are included. If the boundary of the region is determined, it should be referred to as a third cropped image (cropped image including tear hills).
  • cropped images for each of the left and right eyes are used instead of using images of both eyes.
  • the outline of the eye is asymmetrical. For example, based on the right eye, there is a tear hill at the left end of the right eye, but there is a point where the upper and lower eyelids naturally meet at the right end of the right eye.
  • the training data set can be doubled.
  • the first pixel value corresponds to the a+ ⁇ , Y) pixel
  • the second pixel value corresponds to the (a- ⁇ , Y) pixel
  • the pixel value of (a+ ⁇ , Y) is subtracted from the first pixel value. It means changing to 2 pixel values and changing the pixel value of (a- ⁇ , Y) from the second pixel value to the first pixel value.
  • FIG. 17 is a diagram illustrating various examples of an original image and a horizontally inverted image.
  • (a) of FIG. 17 shows a first cropped image and its horizontally reversed image
  • (b) shows a second cropped image and its horizontally reversed image
  • (c) shows a third cropped image.
  • An image and a left-right reversal image thereof are exemplarily shown.
  • the left-right reversal preprocessing can be omitted if necessary.
  • each person has a different eye size, so the cropped image has a different size for each person.
  • the left eye cropped image and the right eye cropped image of the same person are different from each other due to a size difference between the left eye and the right eye.
  • Standard sizes corresponding to the first to fifth prediction models may be different from each other.
  • Standard sizes corresponding to prediction models using the second cropped image as an input image may be the same.
  • Standard sizes corresponding to prediction models using the third cropped image as an input image may be the same.
  • a standard size corresponding to prediction models using the second cropped image as an input image may be different from a standard size corresponding to prediction models using the third cropped image as an input image.
  • all standard sizes corresponding to the first to fifth prediction models may be the same.
  • the width or height of the image to be resized is greater than the width or height of the standard size, the width or height of the image to be resized may be increased.
  • the width or height of the image to be resized is smaller than the width or height of the standard size, the width or height of the image to be resized may be reduced.
  • an aspect ratio of an image before resizing may be different from an aspect ratio of an image after resizing.
  • the first predictive model is a model for predicting whether or not conjunctiva is congested.
  • the first predictive model may receive an eye image as input data and output a probability value that the conjunctiva captured in the input eye image is congested.
  • the first predictive model is a predictive model learned to predict conjunctiva congestion
  • the aforementioned first cropped image may be used for the first predictive model.
  • the first predictive model includes a first left eye predictive model and a first right eye predictive model
  • the first left eye predictive model receives a left eye image and outputs a probability value that the conjunctiva captured in the left eye image is congested, and the first predictive model outputs a probability value.
  • the right eye prediction model may receive a right eye image and output a probability value that the conjunctiva captured in the right eye image is congested.
  • the first predictive model When the first predictive model is not binary but implemented as a single model, the first predictive model receives one of the right eye image and the left eye image and outputs a probability value that the conjunctiva captured in the input image is congested, and the other one A probability value that the conjunctiva captured in the input image is congested may be output.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithms.
  • the eye image may be an image preprocessed according to the first cropping.
  • the eye image may be a preprocessed image including first cropping and resizing.
  • the eye image may be a pre-processed image including first cropping, horizontal reversal, and resizing.
  • the first prediction model may be referred to as a conjunctival congestion prediction model.
  • the first predictive model disclosed by the present application includes not only result values for conjunctival hyperemia prediction, but also result values for conjunctival edema prediction, tear hill edema prediction, eyelid redness and eyelid edema prediction result values. All can be printed.
  • an artificial intelligence model may be prepared.
  • the artificial intelligence model may be a Support Vector Machine (SVM), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet, and Vision Transformer.
  • SVM Support Vector Machine
  • Random Forest Random Forest
  • Gradient Boosting Algorithm ResNet
  • VGG GoogLeNet
  • MobileNet MobileNet
  • Vision Transformer Vision Transformer
  • the first predictive models may adopt ViT as a backbone architecture.
  • the ViT model is a simple, non-hierarchical model with a single-scale feature map, and is proven to be effective for visual recognition.
  • ViT is composed of linear embedding, a transformer encoder, and a classifier, and when an input image is input to a model, it can be divided into a plurality of input patches.
  • the segmented input patches are fed to an encoder and passed to a classifier to predict multiple labels.
  • the artificial intelligence model may have 5 output nodes.
  • a plurality of training data sets may be prepared.
  • the training data set includes an eye image and a plurality of evaluation values corresponding thereto.
  • the eye image is the above-described first cropped image
  • the plurality of evaluation values include an evaluation value for conjunctival congestion corresponding to the eye image, an evaluation value for conjunctival edema, an evaluation value for edema of the lacrimal hill, and eyelids. It includes five evaluation values, including an evaluation value for redness of the eyes and an evaluation value for eyelid edema.
  • a learning data set including only the first cropped image and the corresponding evaluation value for conjunctival congestion may be used, but in the present application, the In order to train the first prediction model, the first cropped image and all of the above-mentioned five evaluation values are used.
  • the first predictive model disclosed by the present application is trained to consider symptoms of conjunctival edema, lacrimal edema, eyelid redness, and eyelid edema in analyzing conjunctival congestion, It is judged to more accurately predict conjunctival congestion.
  • eye images included in the plurality of training data sets prepared for the artificial intelligence model are input, and evaluation values corresponding to each of the input eye images and the artificial intelligence It can be trained using the output value output from the model.
  • the plurality of learning data sets for learning the first left eye prediction model are left eye images and conjunctival congestion corresponding to the left eye images may include an evaluation value for the conjunctiva, an evaluation value for conjunctival edema, an evaluation value for lacrimal edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, and learning the first right eye prediction model.
  • a plurality of learning data sets for processing are right eye images and evaluation values for conjunctival congestion corresponding to the right eye images, evaluation values for conjunctival edema, evaluation values for edema of the tear hill, evaluation values for redness of the eyelids, and It may include an assessment of eyelid edema.
  • the plurality of training data sets for learning the first left eye prediction model may include a left-right inverted right eye image and five evaluation values corresponding to the right eye image
  • the plurality of training data sets for learning the first right eye prediction model may include a left eye image processed in reverse and five evaluation values corresponding to the left eye image.
  • the plurality of learning data sets are right eye images and evaluation values of conjunctival congestion corresponding to the right eye images, evaluation values of conjunctival edema, An evaluation value for edema of the tear hill, an evaluation value for redness of the eyelid, and an evaluation value for edema of the eyelid, or a left-right inverted left eye image and an evaluation value for conjunctival congestion corresponding to the left eye image, conjunctival It may include an evaluation value for edema, an evaluation value for edema of the lacrimal hill, an evaluation value for redness of the eyelid, and an evaluation value for eyelid edema.
  • the plurality of training data sets may include a left eye image and five evaluation values corresponding to the left eye image, or may include a left-right inverted right eye image and five evaluation values corresponding to the right eye image.
  • the right eye image, the left and right inverted right eye image, the left eye image and the left and right inverted left eye All images can be used as training data for training one model.
  • a plurality of training data sets for learning the first left eye prediction model are a left eye image and 5 corresponding to the left eye image. It may include four evaluation values, a left-right inverted right eye image, and five evaluation values corresponding to the right eye image, and a plurality of training data sets for learning the first right eye prediction model include the right eye image and the right eye image It may include 5 evaluation values corresponding to , a left-right inverted left eye image, and 5 evaluation values corresponding to the left eye image.
  • the plurality of training data sets include a right eye image and five evaluation values corresponding to the right eye image, a left-right inverted right eye image, and the right eye image. 5 evaluation values corresponding to , a left eye image and 5 evaluation values corresponding to the left eye image, and a left-right inverted left eye image and 5 evaluation values corresponding to the left eye image.
  • the second predictive model is a model for predicting whether or not the conjunctiva is edematous.
  • the second predictive model may receive an eye image as input data and output a probability value of existence of edema in the conjunctiva captured in the input eye image.
  • the second predictive model is a predictive model learned to predict whether or not the conjunctiva is edematous, the aforementioned first cropped image may be used for the second predictive model.
  • the second predictive model includes the second left eye predictive model and the second right eye predictive model
  • the second left eye predictive model receives the left eye image and outputs a probability value that edema exists in the conjunctiva captured in the left eye image
  • the right eye prediction model may receive a right eye image and output a probability value of the presence of edema in the conjunctiva captured in the right eye image.
  • the second predictive model When the second predictive model is not binary but implemented as a single model, the second predictive model receives one of the right eye image and the left eye image and outputs a probability value of the existence of edema in the conjunctiva captured in the input image, and other It is possible to receive one input again and output a probability value of the presence of edema in the conjunctiva captured in the input image.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithms.
  • the eye image may be an image preprocessed according to the first cropping.
  • the eye image may be a preprocessed image including first cropping and resizing.
  • the eye image may be a pre-processed image including first cropping, horizontal reversal, and resizing.
  • the second prediction model may be referred to as a conjunctival edema prediction model.
  • the second predictive model disclosed by the present application provides result values for conjunctival edema prediction as well as conjunctival congestion prediction, tear hill edema prediction, and eyelid redness and eyelid edema prediction. All can be printed.
  • an artificial intelligence model may be prepared.
  • the artificial intelligence model may be a Support Vector Machine (SVM), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet, and Vision Transformer.
  • SVM Support Vector Machine
  • Random Forest Random Forest
  • Gradient Boosting Algorithm ResNet
  • VGG GoogLeNet
  • MobileNet MobileNet
  • Vision Transformer Vision Transformer
  • the artificial intelligence model may have 5 output nodes.
  • a plurality of training data sets may be prepared.
  • the training data set includes an eye image and a plurality of evaluation values corresponding thereto.
  • the eye image is the above-described first cropped image
  • the plurality of evaluation values include an evaluation value for conjunctival congestion corresponding to the eye image, an evaluation value for conjunctival edema, an evaluation value for edema of the lacrimal hill, and eyelids. It includes five evaluation values, including an evaluation value for redness of the eyes and an evaluation value for eyelid edema.
  • a learning data set including only the first cropped image and the corresponding evaluation value for the edema of the conjunctiva may be used, but in the present application, the above
  • the first cropped image and all of the above-mentioned five evaluation values are used.
  • the second predictive model disclosed by the present application is trained to consider symptoms of conjunctival congestion, lacrimal edema, eyelid redness, and eyelid edema in analyzing conjunctival edema, It is judged to more accurately predict conjunctival edema.
  • eye images included in the plurality of training data sets prepared for the artificial intelligence model are input, and evaluation values corresponding to each of the input eye images and the artificial intelligence It can be trained using the output value output from the model.
  • the plurality of learning data sets for learning the second left eye prediction model are left eye images and conjunctival congestion corresponding to the left eye images It may include an evaluation value for conjunctival edema, an evaluation value for lacrimal edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, and learning the second right eye prediction model.
  • a plurality of learning data sets for processing are right eye images and evaluation values for conjunctival congestion corresponding to the right eye images, evaluation values for conjunctival edema, evaluation values for edema of the tear hill, evaluation values for redness of the eyelids, and It may include an assessment of eyelid edema.
  • the plurality of training data sets for learning the second left eye prediction model may include a right eye image processed in reverse and five evaluation values corresponding to the right eye image
  • the plurality of training data sets for learning the second right eye prediction model may include a left eye image processed in reverse and five evaluation values corresponding to the left eye image.
  • the plurality of training data sets are right eye images and evaluation values of conjunctival congestion corresponding to the right eye images, evaluation values of conjunctival edema, An evaluation value for edema of the tear hill, an evaluation value for redness of the eyelid, and an evaluation value for edema of the eyelid, or a left-right inverted left eye image and an evaluation value for conjunctival congestion corresponding to the left eye image, conjunctival It may include an evaluation value for edema, an evaluation value for edema of the lacrimal hill, an evaluation value for redness of the eyelid, and an evaluation value for eyelid edema.
  • the plurality of training data sets may include a left eye image and five evaluation values corresponding to the left eye image, or may include a left-right inverted right eye image and five evaluation values corresponding to the right eye image.
  • the second predictive model in order to be able to predict whether or not the conjunctiva is edema without distinguishing between the right eye image and the left eye image, the right eye image, the left and right inverted right eye image, the left eye image and the left and right inverted left eye All images can be used as training data for training one model.
  • the plurality of training data sets for learning the second left eye prediction model are a left eye image and 5 corresponding to the left eye image. It may include four evaluation values, a left-right inverted right eye image, and five evaluation values corresponding to the right eye image, and a plurality of training data sets for learning the second right eye prediction model include the right eye image and the right eye image It may include 5 evaluation values corresponding to , a left-right inverted left eye image, and 5 evaluation values corresponding to the left eye image.
  • the plurality of learning data sets include a right eye image and five evaluation values corresponding to the right eye image, a left-right inverted right eye image, and the right eye image. 5 evaluation values corresponding to , a left eye image and 5 evaluation values corresponding to the left eye image, and a left-right inverted left eye image and 5 evaluation values corresponding to the left eye image.
  • the third predictive model is a model for predicting whether or not the tear hill is edematous.
  • the third predictive model may receive an eye image as input data and output a probability value of existence of edema in the tear hill captured in the input eye image.
  • the third predictive model is a predictive model learned to predict whether or not the tear hill is edematous, the aforementioned third cropped image may be used for the third predictive model.
  • the third predictive model includes a third left eye predictive model and a third right eye predictive model
  • the third left eye predictive model receives a left eye image and outputs a probability value that edema exists in the tear hill captured in the left eye image
  • the third right eye predictive model may receive a right eye image and output a probability value of existence of edema in the tear hill captured in the right eye image.
  • the third predictive model When the third predictive model is not binary but implemented as a single model, the third predictive model receives one of the right eye image and the left eye image and outputs a probability value of the presence of edema in the tear hill captured in the input image, Another input is received again, and a probability value of the presence of edema in the tear hill captured in the input image may be output.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithms.
  • the eye image may be an image preprocessed according to the third crop.
  • the eye image may be a preprocessed image including third cropping and resizing.
  • the eye image may be a preprocessed image including third cropping, horizontal reversal, and resizing.
  • the third prediction model may be referred to as a tear hill edema prediction model.
  • the third predictive model disclosed by the present application provides result values for predicting conjunctival congestion, result values for predicting conjunctival edema, and result values for predicting eyelid redness and eyelid edema as well as result values for predicting tear hill edema. All can be printed.
  • an artificial intelligence model may be prepared.
  • the artificial intelligence model may be a Support Vector Machine (SVM), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet, and Vision Transformer.
  • SVM Support Vector Machine
  • Random Forest Random Forest
  • Gradient Boosting Algorithm ResNet
  • VGG GoogLeNet
  • MobileNet MobileNet
  • Vision Transformer Vision Transformer
  • the artificial intelligence model may have 5 output nodes.
  • a plurality of training data sets may be prepared.
  • the training data set includes an eye image and a plurality of evaluation values corresponding thereto.
  • the eye image is the above-described third cropped image
  • the plurality of evaluation values are an evaluation value for conjunctival congestion corresponding to the eye image, an evaluation value for conjunctival edema, an evaluation value for lacrimal edema, and eyelids. It includes five evaluation values, including an evaluation value for redness of the eyes and an evaluation value for eyelid edema.
  • a training data set including only the third cropped image and the corresponding evaluation value for the edema of the tear hill may be used, but in this application , all of the third cropped image and the above-mentioned five evaluation values are used to train the third prediction model.
  • the third predictive model disclosed by the present application is trained to consider symptoms of conjunctival congestion, conjunctival edema, eyelid redness, and eyelid edema in analyzing the edema of the lacrimal hill, It is judged to more accurately predict the edema of the tear hill.
  • eye images included in the plurality of training data sets prepared for the artificial intelligence model are input, and evaluation values corresponding to each of the input eye images and the artificial intelligence It can be trained using the output value output from the model.
  • the plurality of learning data sets for learning the third left eye prediction model are left eye images and conjunctival congestion corresponding to the left eye images It may include an evaluation value for conjunctival edema, an evaluation value for lacrimal edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, and learning a third right eye prediction model.
  • a plurality of learning data sets for processing are right eye images and evaluation values for conjunctival congestion corresponding to the right eye images, evaluation values for conjunctival edema, evaluation values for edema of the tear hill, evaluation values for redness of the eyelids, and It may include an assessment of eyelid edema.
  • the plurality of training data sets for learning the third left eye prediction model may include a left-right inverted right eye image and five evaluation values corresponding to the right eye image
  • the plurality of training data sets for learning the third right eye predictive model may include a left eye image that has been reversed left eye and five evaluation values corresponding to the left eye image.
  • the plurality of learning data sets are right eye images and evaluation values of conjunctival congestion corresponding to the right eye images, evaluation values of conjunctival edema, An evaluation value for edema of the tear hill, an evaluation value for redness of the eyelid, and an evaluation value for edema of the eyelid, or a left-right inverted left eye image and an evaluation value for conjunctival congestion corresponding to the left eye image, conjunctival It may include an evaluation value for edema, an evaluation value for edema of the lacrimal hill, an evaluation value for redness of the eyelid, and an evaluation value for eyelid edema.
  • the plurality of training data sets may include a left eye image and five evaluation values corresponding to the left eye image, or may include a left-right inverted right eye image and five evaluation values corresponding to the right eye image.
  • the right eye image, the left-right inverted right-eye image, the left-eye image, and the left-right inverted image are used to predict whether the tear hill is edema without distinguishing between the right eye image and the left eye image. All of the left eye images may be used as training data for training one model.
  • the plurality of training data sets for learning the third left eye prediction model include a left eye image and 5 corresponding to the left eye image. It may include four evaluation values, a left-right inverted right eye image, and five evaluation values corresponding to the right eye image, and a plurality of training data sets for learning a third right eye prediction model include the right eye image and the right eye image It may include 5 evaluation values corresponding to , a left-right inverted left eye image, and 5 evaluation values corresponding to the left eye image.
  • the plurality of learning data sets include a right eye image and five evaluation values corresponding to the right eye image, a left-right inverted right eye image, and the right eye image. 5 evaluation values corresponding to , a left eye image and 5 evaluation values corresponding to the left eye image, and a left-right inverted left eye image and 5 evaluation values corresponding to the left eye image.
  • the fourth predictive model is a model for predicting whether the eyelids are red.
  • the fourth predictive model may receive an eye image as input data and output a probability value of eyelid redness captured in the input eye image.
  • the fourth prediction model includes a fourth left eye prediction model and a fourth right eye prediction model
  • the fourth left eye prediction model receives a left eye image and outputs a probability value of eyelid redness captured in the left eye image.
  • the right eye prediction model may receive a right eye image and output a probability value of eyelid redness captured in the right eye image.
  • the fourth predictive model receives one of the right eye image and the left eye image and outputs a probability value of eyelid redness captured in the input image, It is possible to output a probability value of eyelid redness captured in the input image by receiving input again.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithms.
  • the eye image may be an image preprocessed according to the second cropping.
  • the eye image may be a preprocessed image including second cropping and resizing.
  • the eye image may be a preprocessed image including second cropping, horizontal reversal, and resizing.
  • the fourth prediction model may be referred to as an eyelid congestion prediction model.
  • the fourth predictive model disclosed by the present application is not only the result value for predicting eyelid redness, but also the result value for predicting conjunctival congestion, the result value for predicting conjunctival edema, the result value for predicting lacrimal edema, and the prediction for eyelid edema. All results can be output.
  • an artificial intelligence model may be prepared.
  • the artificial intelligence model may be a Support Vector Machine (SVM), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet, and Vision Transformer.
  • SVM Support Vector Machine
  • Random Forest Random Forest
  • Gradient Boosting Algorithm ResNet
  • VGG GoogLeNet
  • MobileNet MobileNet
  • Vision Transformer Vision Transformer
  • the artificial intelligence model may have 5 output nodes.
  • a plurality of training data sets may be prepared.
  • the training data set includes an eye image and a plurality of evaluation values corresponding thereto.
  • the eye image is the aforementioned second cropped image
  • the plurality of evaluation values include an evaluation value for conjunctival congestion corresponding to the eye image, an evaluation value for conjunctival edema, an evaluation value for lacrimal edema, and eyelids. It includes five evaluation values, including an evaluation value for redness of the eyes and an evaluation value for eyelid edema.
  • a training data set including only the second cropped image and the corresponding evaluation value for redness of the eyelid may be used, but in this application, the above In order to train the fourth predictive model, the second cropped image and all of the above-mentioned five evaluation values are used.
  • the fourth predictive model disclosed by the present application is trained to consider symptoms of conjunctival congestion, conjunctival edema, lacrimal edema, and eyelid edema in analyzing eyelid redness, It is judged to more accurately predict the redness of the eyelids.
  • eye images included in the plurality of training data sets prepared for the artificial intelligence model are input, and evaluation values corresponding to each of the input eye images and the artificial intelligence It can be trained using the output value output from the model.
  • the plurality of learning data sets for learning the fourth left eye prediction model are left eye images and conjunctival congestion corresponding to the left eye images It may include an evaluation value for conjunctival edema, an evaluation value for edema of the tear hill, an evaluation value for redness of the eyelid, and an evaluation value for edema of the eyelid, and the fourth right eye prediction model is learned.
  • a plurality of learning data sets for processing are right eye images and evaluation values for conjunctival congestion corresponding to the right eye images, evaluation values for conjunctival edema, evaluation values for edema of the tear hill, evaluation values for redness of the eyelids, and It may include an assessment of eyelid edema.
  • the plurality of training data sets for learning the fourth left eye prediction model may include a left-right inverted right eye image and five evaluation values corresponding to the right eye image
  • the plurality of training data sets for learning the fourth right eye predictive model may include a left eye image processed in reverse and five evaluation values corresponding to the left eye image.
  • the plurality of learning data sets are right eye images and evaluation values of conjunctival congestion corresponding to the right eye images, evaluation values of conjunctival edema, An evaluation value for edema of the tear hill, an evaluation value for redness of the eyelid, and an evaluation value for edema of the eyelid, or a left-right inverted left eye image and an evaluation value for conjunctival congestion corresponding to the left eye image, conjunctival It may include an evaluation value for edema, an evaluation value for edema of the lacrimal hill, an evaluation value for redness of the eyelid, and an evaluation value for eyelid edema.
  • the plurality of training data sets may include a left eye image and five evaluation values corresponding to the left eye image, or may include a left-right inverted right eye image and five evaluation values corresponding to the right eye image.
  • the right eye image, the left-right inverted right-eye image, the left-eye image, and the left-right inverted left eye in order to be able to predict the redness of the eyelid without distinguishing between the right eye image and the left eye image. All images can be used as training data for training one model.
  • the fourth prediction model includes a fourth left eye prediction model and a fourth right eye prediction model
  • the plurality of training data sets for learning the fourth left eye prediction model include a left eye image and 5 corresponding to the left eye image. It may include four evaluation values, a left-right inverted right eye image, and five evaluation values corresponding to the right eye image
  • a plurality of training data sets for learning the fourth right eye prediction model include the right eye image and the right eye image It may include 5 evaluation values corresponding to , a left-right inverted left eye image, and 5 evaluation values corresponding to the left eye image.
  • the plurality of training data sets include a right eye image and five evaluation values corresponding to the right eye image, a left-right inverted right eye image, and the right eye image. 5 evaluation values corresponding to , a left eye image and 5 evaluation values corresponding to the left eye image, and a left-right inverted left eye image and 5 evaluation values corresponding to the left eye image.
  • the fifth prediction model is a model for predicting whether or not the eyelid is edematous.
  • the fifth predictive model may receive an eye image as input data and output a probability value of existence of edema in the eyelid captured in the input eye image.
  • the fifth predictive model includes a fifth left eye predictive model and a fifth right eye predictive model
  • the fifth left eye predictive model receives a left eye image and outputs a probability value of existence of edema in the eyelid captured in the left eye image
  • the right eye prediction model may receive a right eye image and output a probability value of the existence of edema in the eyelid captured in the right eye image.
  • the fifth predictive model When the fifth predictive model is not binary but implemented as a single model, the fifth predictive model receives one of the right eye image and the left eye image and outputs a probability value of the presence of edema in the eyelid captured in the input image, and the other It is possible to receive one input again and output a probability value of the existence of edema in the eyelid captured in the input image.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithms.
  • the eye image may be an image preprocessed according to the second cropping.
  • the eye image may be a preprocessed image including second cropping and resizing.
  • the eye image may be a preprocessed image including second cropping, horizontal reversal, and resizing.
  • the fifth prediction model may be referred to as an eyelid edema prediction model.
  • the fifth prediction model disclosed by the present application is not only the result value for predicting eyelid edema, but also the result value for predicting conjunctival congestion, the result value for predicting conjunctival edema, the result value for predicting lacrimal edema, and the prediction for eyelid redness. All results can be output.
  • an artificial intelligence model may be prepared.
  • the artificial intelligence model may be a Support Vector Machine (SVM), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet, and Vision Transformer.
  • SVM Support Vector Machine
  • Random Forest Random Forest
  • Gradient Boosting Algorithm ResNet
  • VGG GoogLeNet
  • MobileNet MobileNet
  • Vision Transformer Vision Transformer
  • the artificial intelligence model may have 5 output nodes.
  • the description of the artificial intelligence model for learning the fifth predictive model is the same as or very similar to the part described in the above-described learning of the first predictive model, so a detailed description is omitted here.
  • a plurality of training data sets may be prepared.
  • the training data set includes an eye image and a plurality of evaluation values corresponding thereto.
  • the eye image is the aforementioned second cropped image
  • the plurality of evaluation values include an evaluation value for conjunctival congestion corresponding to the eye image, an evaluation value for conjunctival edema, an evaluation value for lacrimal edema, and eyelids. It includes five evaluation values, including an evaluation value for redness of the eyes and an evaluation value for eyelid edema.
  • a training data set including only the second cropped image and the corresponding evaluation value for eyelid edema may be used, but in this application, the above In order to train the fifth prediction model, the second cropped image and all of the above-mentioned five evaluation values are used.
  • the fifth predictive model disclosed by the present application is trained to consider symptoms of conjunctival congestion, conjunctival edema, lacrimal edema, and eyelid redness in analyzing eyelid edema, It is judged to more accurately predict eyelid edema.
  • eye images included in the plurality of training data sets prepared for the artificial intelligence model are input, and evaluation values corresponding to each of the input eye images and the artificial intelligence It can be trained using the output value output from the model.
  • the plurality of learning data sets for learning the fifth left eye prediction model are left eye images and conjunctival congestion corresponding to the left eye images It may include an evaluation value for the conjunctiva, an evaluation value for conjunctival edema, an evaluation value for lacrimal edema, an evaluation value for eyelid redness, and an evaluation value for eyelid edema, and learning a fifth right eye prediction model.
  • a plurality of learning data sets for processing are right eye images and evaluation values for conjunctival congestion corresponding to the right eye images, evaluation values for conjunctival edema, evaluation values for edema of the tear hill, evaluation values for redness of the eyelids, and It may include an assessment of eyelid edema.
  • the plurality of training data sets for learning the fifth left eye prediction model may include a left-right inverted right eye image and five evaluation values corresponding to the right eye image
  • the plurality of training data sets for learning the fifth right eye prediction model may include a left eye image processed in reverse and five evaluation values corresponding to the left eye image.
  • the plurality of learning data sets are right eye images and evaluation values of conjunctival congestion corresponding to the right eye images, evaluation values of conjunctival edema, An evaluation value for edema of the tear hill, an evaluation value for redness of the eyelid, and an evaluation value for edema of the eyelid, or a left-right inverted left eye image and an evaluation value for conjunctival congestion corresponding to the left eye image, conjunctival It may include an evaluation value for edema, an evaluation value for edema of the lacrimal hill, an evaluation value for redness of the eyelid, and an evaluation value for eyelid edema.
  • the plurality of training data sets may include a left eye image and five evaluation values corresponding to the left eye image, or may include a left-right inverted right eye image and five evaluation values corresponding to the right eye image.
  • the right eye image, the left-right inverted right-eye image, the left-eye image, and the left-right inverted left eye in order to be able to predict the edema of the eyelid without distinguishing between the right eye image and the left eye image. All images can be used as training data for training one model.
  • the fifth prediction model includes a fifth left eye prediction model and a fifth right eye prediction model
  • the plurality of training data sets for learning the fifth left eye prediction model include a left eye image and 5 corresponding to the left eye image. It may include four evaluation values, a left-right inverted right eye image, and five evaluation values corresponding to the right eye image
  • a plurality of training data sets for learning a fifth right eye prediction model include the right eye image and the right eye image It may include 5 evaluation values corresponding to , a left-right inverted left eye image, and 5 evaluation values corresponding to the left eye image.
  • the plurality of learning data sets include a right eye image and five evaluation values corresponding to the right eye image, a left-right inverted right eye image, and the right eye image. 5 evaluation values corresponding to , a left eye image and 5 evaluation values corresponding to the left eye image, and a left-right inverted left eye image and 5 evaluation values corresponding to the left eye image.
  • Learning of the predictive models may be performed by an electronic device, and in particular, may be performed by the server 20 described above.
  • the meaning of learning the predictive models by the electronic device or the server 20 means a series of processes that make the output value of the predictive model for the input data output a value similar to the output value labeled for the input data, ,
  • the electronic device or the server 20 may change the weight value of each node included in the prediction model using the difference between the output value of the prediction model and the labeling values.
  • the electronic device or the server 20 may determine the amount of change in the weight value of each node using various feedback functions.
  • an eye image is preprocessed through the above-described system (1), and the preprocessed eye image is input to the above-described prediction model to predict each symptom related to the thyroid ophthalmopathy clinical activity score, and each symptom
  • a method of predicting the clinical activity score based on the prediction result of the clinical activity score, and furthermore, a method of monitoring the prediction result of the clinical activity score and guiding or recommending the user to visit a hospital to receive a checkup according to the monitoring result will be described.
  • the conjunctival congestion prediction method disclosed by the present application may be performed by the server 20 .
  • 19 is a flowchart for explaining a method for predicting conjunctival congestion.
  • the server 20 acquires a face image (S100), pre-processes the obtained face image (S110), and converts the pre-processed image to the above-described first prediction model (conjunctival congestion prediction model). input (S120), and an output value of the first predictive model is obtained (S130).
  • first prediction model conjunctival congestion prediction model
  • the server 20 obtains a face image (S100).
  • the server 20 may acquire the face image from the user terminal 10 .
  • the server 20 may pre-process the acquired face image (S110).
  • the server 20 may perform the above-described first cropping, horizontal reversal, and resizing of the acquired face image.
  • the server 20 may crop the face image or a part of the face image including both eyes.
  • the server 20 may generate a left eye cropped image and a right eye cropped image by cropping the face image and the like.
  • the server 20 may use a first cropping method (cropping an eyeball exposed to the outside) among the three cropping methods described above. Since the first cropping method has already been described in detail, a detailed description thereof will be omitted.
  • the server 20 may resize the left eye cropped image and the right eye cropped image to a predetermined size.
  • the server 20 may horizontally invert at least one of the left-eye cropped image and the right-eye cropped image as described above.
  • the server 20 does not horizontally invert the other of the left eye cropped image and the right eye cropped image.
  • the criterion for determining which of the left-eye image and the left-eye image is to be reversed is determined by the same criterion as the criterion applied when training the first prediction model. That is, when learning the first prediction model, if the left eye image is inverted and the right eye image is not inverted, the server 20 inverts the left eye image and does not invert the right eye image.
  • the server 20 may not perform left-right reversal processing.
  • the server 20 may input the preprocessed image to the first prediction model (S120).
  • the server 20 sequentially inputs the right eye preprocessing image and the left eye preprocessing image inverted to the left into the first prediction model.
  • the server 20 inputs the left eye preprocessing image to the first left eye prediction model, and the right eye preprocessing An image is input to the first right eye prediction model.
  • the server 20 inputs the left eye pre-processed image and the left-right inverted right-eye pre-processed image to the first left-eye prediction model, and inputs the right-eye pre-processed image and the left-right inverted left-eye pre-processed image to the first right eye prediction model. can be entered.
  • the server (20) may input the left eye preprocessing image and the right eye preprocessing image to the first predictive model without horizontal reversal.
  • the server 20 may input the left eye pre-processing image, the left-right inverted left-eye pre-processing image, the right-eye pre-processing image, and the left-right inverted right eye pre-processing image to the first prediction model.
  • the server 20 may obtain a result value output from the first predictive model (S130).
  • the resulting value may be a predicted probability value that the conjunctiva captured in the image is congested.
  • the server 20 All result values for the five evaluation values may be obtained from the first predictive model.
  • the server 20 selects not only the conjunctival hyperemia prediction value, but also the conjunctival hyperemia prediction value among the conjunctival edema prediction value, tear hill edema prediction value, eyelid redness prediction value, and eyelid edema prediction value.
  • the server 20 selects not only the conjunctival hyperemia prediction value, but also the conjunctival hyperemia prediction value among the conjunctival edema prediction value, tear hill edema prediction value, eyelid redness prediction value, and eyelid edema prediction value.
  • a result of whether or not the conjunctiva is congested may be finally output.
  • the server 20 inputs the left eye preprocessing image to the first left eye prediction model, inputs the horizontally inverted left eye preprocessing image to the first right eye prediction model, and inputs the right eye preprocessing image to the first right eye prediction model
  • the server 20 inputs the left eye preprocessing image to the first left eye prediction model and obtains the result and the A prediction result for the left eye may be obtained by considering all results obtained by inputting the left-right inverted left eye preprocessing image to the first right eye prediction model.
  • the server 20 considers both the result obtained by inputting the right eye preprocessing image to the first right eye prediction model and the result obtained by inputting the left and right inverted right eye preprocessing image to the first left eye prediction model.
  • a prediction result for the right eye may be obtained.
  • the server 20 is an average value of a result obtained by inputting the left eye preprocessing image to the first left eye prediction model and a result obtained by inputting the left-right inverted left eye preprocessing image to the first right eye prediction model.
  • a prediction result for the left eye may be obtained based on whether is greater than or equal to the threshold value.
  • the server 20 may select a result obtained by inputting the left eye preprocessing image into the first left eye prediction model and a result obtained by inputting the left/right inverted left eye preprocessing image into the first right eye prediction model. If any one value is equal to or greater than the aforementioned threshold value, it can be predicted that the conjunctiva of the left eye is congested.
  • the server 20 may input a result obtained by inputting the left eye preprocessing image to the first left eye prediction model and a result obtained by inputting the left and right inverted left eye preprocessing image to the first right eye prediction model. If all of them are above the above-mentioned threshold value, it can be predicted that the conjunctiva of the left eye is congested.
  • the server 20 calculates a prediction result for the left eye by considering both a result obtained by inputting the left eye preprocessing image to the first prediction model and a result obtained by inputting the left-right inverted left eye preprocessing image to the first prediction model.
  • the server 20 considers both a result obtained by inputting the right eye pre-processing image to the first prediction model and a result obtained by inputting the right-left inverted right eye pre-processing image to the first prediction model, and then the right eye A prediction result for can be obtained.
  • the server 20 calculates an average value of a result obtained by inputting the left eye preprocessing image into the first prediction model and a result obtained by inputting the left/right inverted left eye preprocessing image into the first prediction model.
  • a prediction result for the left eye may be obtained based on whether the value is greater than or equal to a threshold value.
  • the server 20 may select one of a result obtained by inputting the left eye preprocessing image to the first prediction model and a result obtained by inputting the left and right inverted left eye preprocessing image to the first prediction model. If the value of is greater than or equal to the above threshold value, it can be predicted that the conjunctiva of the left eye is congested.
  • the server 20 may determine both a result obtained by inputting the left eye preprocessing image to the first prediction model and a result obtained by inputting the left/right inverted left eye preprocessing image to the first prediction model. If it is greater than the above-mentioned threshold value, it can be predicted that the conjunctiva of the left eye is congested.
  • the above method can be similarly applied to determining whether the conjunctiva of the right eye is congested.
  • the conjunctival edema prediction method disclosed by the present application may be performed by the server 20 .
  • 20 is a flowchart illustrating a method for predicting conjunctival edema.
  • the server 20 acquires a face image (S200), pre-processes the acquired face image (S210), and converts the pre-processed image to the aforementioned second prediction model (conjunctival edema prediction model). input (S220), and an output value of the second predictive model is obtained (S230).
  • the conjunctival edema prediction method uses the second predictive model instead of the first predictive model, and the fact that the finally obtained result is a predictive value for whether or not there is edema in the conjunctiva (among the five result values, conjunctival edema Since it is the same as or very similar to the method for predicting conjunctival congestion, except for selecting only the resultant values related to the conjunctival congestion, a detailed description thereof will be omitted.
  • the tear hill edema prediction method disclosed by the present application may be performed by the server 20 .
  • 21 is a flowchart illustrating a method for predicting tear hill edema.
  • the server 20 acquires a face image (S300), pre-processes the obtained face image (S310), and uses the pre-processed image as the above-mentioned third prediction model (tear hill edema prediction model). (S320), and an output value of the third predictive model is obtained (S330).
  • the method for predicting conjunctival edema depends on the fact that the third predictive model is used instead of the first predictive model, the third cropped image is used instead of the first cropped image, and the finally obtained result is dependent on whether or not there is edema in the lacrimal hill. Except for the fact that it is a predictive value for (out of five result values, only the result value related to tear hill edema is selected), since it is the same as or very similar to the method for predicting conjunctival congestion, a detailed description thereof will be omitted.
  • the eyelid redness prediction method disclosed by this application may be performed by the server 20 .
  • 22 is a flowchart for explaining a method for predicting eyelid redness.
  • the server 20 acquires a face image (S400), pre-processes the obtained face image (S410), and converts the pre-processed image to the aforementioned fourth prediction model (eyelid redness prediction model). input (S420), and an output value of the fourth predictive model is obtained (S430).
  • the eyelid redness prediction method uses the fourth predictive model instead of the first predictive model, the second cropped image is used instead of the first cropped image, and the finally obtained result is about whether there is redness on the eyelid. Except for the fact that it is a predictive value (only the resultant value related to eyelid redness is selected among the five resultant values), since it is the same as or very similar to the method for predicting conjunctival congestion, a detailed description thereof will be omitted.
  • the eyelid edema prediction method disclosed by the present application may be performed by the server 20 .
  • 23 is a flowchart for explaining a method for predicting eyelid edema.
  • the server 20 acquires a face image (S500), pre-processes the obtained face image (S510), and converts the pre-processed image to the aforementioned fifth prediction model (eyelid edema prediction model). input (S520), and an output value of the fifth predictive model is obtained (S530).
  • the eyelid erythema prediction method uses the fifth prediction model instead of the first prediction model, uses the second cropped image instead of the first cropped image, and finally obtains results about whether or not there is edema on the eyelid. Except for the fact that it is a predictive value (only the resultant value related to eyelid edema is selected among the five resultant values), since it is the same as or very similar to the method for predicting conjunctival congestion, a detailed description thereof will be omitted.
  • 24 is a diagram for explaining a method for predicting clinical activity scores related to thyroid ophthalmopathy.
  • the server 20 may obtain a face image.
  • the server 20 performs three different types of pre-processing on one face image.
  • the first preprocessing (hereinafter referred to as first preprocessing) includes a first cropping (cropping of the eyeballs exposed to the outside), resizing, and horizontal reversal
  • the second preprocessing (hereinafter, second preprocessing) includes a second cropping (cropping including eyelids), Resizing and left-right reversal are included
  • the third pre-processing includes third cropping (cropping including tear hills), resizing, and left-right reversing.
  • whether to perform left-right reversal may be omitted, and whether to perform left-right reversal may be determined according to which method is used for learning methods of each prediction model.
  • the server 20 performs a first pre-processing on the obtained face image to obtain a first pre-processed image
  • the first pre-processed image includes a first left eye pre-processed image and a first right eye pre-processed image.
  • at least one of the first left eye preprocessing image and the first right eye preprocessing image may be a horizontally reversed image.
  • a first left eye preprocessing image, a horizontally reversed first left eye preprocessed image, a first right eye preprocessed image, and a horizontally reversed first right eye preprocessed image may all be generated.
  • the first preprocessing image is an image obtained using the first crop, the number of pixels corresponding to the eyelids in the first preprocessing image is minimized and the eyeball exposed to the outside. Pixels corresponding to are included.
  • the server 20 obtains a second pre-processed image by performing second pre-processing on the obtained face image, and the second pre-processed image includes a second left eye pre-processed image and a second right eye pre-processed image.
  • the second left eye preprocessing image and the second right eye preprocessing image may be a horizontally reversed image.
  • the second left eye preprocessing image, the left/right reversed second left eye preprocessed image, the left/right reversed second right eye preprocessed image, and the left/right reversed second right eye preprocessed image may all be generated.
  • the second preprocessed image is an image obtained by using the second crop, the second preprocessed image sufficiently includes pixels corresponding to the eyelid.
  • the server 20 performs a third pre-processing on the acquired face image to obtain a third pre-processed image
  • the third pre-processed image includes a third left eye pre-processed image and a third right eye pre-processed image.
  • at least one of the third left eye preprocessing image and the third right eye preprocessing image may be a horizontally reversed image.
  • a third left eye preprocessing image, a horizontally reversed third left eye preprocessed image, a right eye preprocessed image, and a horizontally reversed third right eye preprocessed image may all be generated.
  • the third pre-processed image is an image obtained using the third crop, the third pre-processed image sufficiently includes pixels corresponding to the tear hill.
  • the server 20 sequentially inputs the first preprocessed images (first left eye preprocessed image and first right eye preprocessed image) to the first prediction model.
  • the server 20 obtains a result value (probability value) of the first predictive model for the first pre-processed image of the left eye, and based on it, determines whether or not the conjunctiva of the left eye is congested.
  • the server 20 obtains a result value (probability value) of the first predictive model for the first right eye preprocessing image, and determines whether or not conjunctival congestion in the right eye is congested based on the result value (probability value).
  • the server 20 synthesizes the judgment result for the left eye and the judgment result for the right eye, and finally determines whether the conjunctiva is congested in both eyes. For example, when it is determined that conjunctival congestion exists in at least one of the left eye and the right eye, the server 20 finally determines that conjunctival congestion exists.
  • the server 20 sequentially inputs the first preprocessed images (first left eye preprocessed image and first right eye preprocessed image) to the second predictive model.
  • the server 20 obtains a result value (probability value) of the second predictive model for the first pre-processed image of the left eye, and determines whether or not the conjunctival edema of the left eye is present based on the result value (probability value).
  • the server 20 obtains a result value (probability value) of the second predictive model for the first right eye pre-processed image, and determines whether or not conjunctival edema is present in the right eye based on the result value (probability value).
  • the server 20 synthesizes the judgment result for the left eye and the judgment result for the right eye, and finally determines whether the conjunctiva is edema in both eyes. For example, when it is determined that at least one of the left eye and the right eye has conjunctival edema, the server 20 finally determines that there is conjunctival edema.
  • the server 20 sequentially inputs the third preprocessed images (third left eye preprocessed image and third right eye preprocessed image) to the third prediction model.
  • the server 20 obtains a result value (probability value) of the third predictive model for the third preprocessed image of the left eye, and based on it, determines whether or not the tear hill is edematous for the left eye.
  • the server 20 obtains a result value (probability value) of the third predictive model for the third preprocessed image of the right eye, and based on it, determines whether or not the tear hill is edematous for the right eye.
  • the server 20 synthesizes the judgment result for the left eye and the judgment result for the right eye, and finally determines whether the tear hill is edematous for both eyes. For example, when it is determined that at least one of the left eye and the right eye has edema of the lacrimal hill, the server 20 finally determines that there is edema of the lacrimal hill.
  • the server 20 sequentially inputs the second preprocessed images (the second left eye preprocessed image and the second right eye preprocessed image) to the fourth predictive model.
  • the server 20 obtains a result value (probability value) of the fourth predictive model for the second left eye pre-processed image, and based on it, determines whether or not eyelid redness is present in the left eye.
  • the server 20 obtains a result value (probability value) of the fourth predictive model for the second right eye preprocessing image, and based on it, determines whether the right eye has redness of the eyelid.
  • the server 20 synthesizes the judgment result for the left eye and the judgment result for the right eye, and finally determines whether the eyelids are red for both eyes. For example, when it is determined that there is redness of the eyelids for at least one of the left eye and the right eye, the server 20 finally determines that there is redness of the eyelids.
  • the server 20 sequentially inputs the second preprocessed images (the second left eye preprocessed image and the second right eye preprocessed image) to the fifth predictive model.
  • the server 20 obtains a result value (probability value) of the fifth predictive model for the second left eye preprocessing image, and determines whether or not eyelid edema for the left eye is present based on the result value (probability value).
  • the server 20 obtains a result value (probability value) of the fifth predictive model for the second right eye pre-processed image, and determines whether or not eyelid edema for the right eye is based on the result value (probability value).
  • the server 20 synthesizes the judgment result for the left eye and the judgment result for the right eye, and finally determines whether eyelid edema is present in both eyes. For example, when it is determined that there is eyelid edema in at least one of the left eye and the right eye, the server 20 finally determines that there is eyelid edema.
  • the server 20 may assign a predetermined score (eg, 1 point) to the corresponding symptom, and the server determines the results of the five predictive models. Accordingly, scores can be given for each of the five symptoms, and a value obtained by adding all of these scores can be obtained.
  • a predetermined score eg, 1 point
  • the server 20 may transmit, to the user terminal 10, information about a result determined by the predictive model and/or a score assigned based thereon.
  • the user terminal 10 or the server 20 provides the user's response to two items including spontaneous retrobulbar pain and pain during eye movement (Pain on attempted upward or downward gaze) in the back of the mouth. may be obtained, and the user terminal 10 or the server 20 may assign a predetermined score (eg, 1 point) to each item based on the obtained user response. For example, when the user inputs that there is spontaneous pain in the posterior part of the mouth, 1 point may be assigned, and when the user inputs that there is pain during eye movement, 1 point may be assigned.
  • a predetermined score eg, 1 point
  • the server 20 or the user terminal 10 determines the scores based on the results determined by the predictive model and the aforementioned spontaneous retrobulbar pain and pain during eye movement (Pain on attempted upward or downward gaze). ), it may be recommended to the user to visit a hospital and undergo a detailed examination in consideration of the scores determined with respect to ).
  • the method for predicting the thyroid ophthalmopathy clinical activity score disclosed by the above-described present application is performed by the server 20 .
  • the above method may also be performed in the user terminal 10 .
  • preprocessing may be performed in the user terminal 10 and determination of each symptom may be performed by a server. That is, the above-described steps may be appropriately distributed and implemented in the user terminal 10 and the server 20 .
  • Each face image is an image including both the left eye and the right eye, and is an image captured according to a predetermined photographing composition.
  • 1,020 pieces were randomly divided into a learning data set, a validation set, and a verification set 30 times, and accordingly, the first to 30th training data set groups were created.
  • the first cropping process (exposed eyeball cropping) was performed on the left eye and the right eye, respectively, in the above-described manner to secure a first left eye preprocessing image and a first right eye preprocessing image.
  • the first right eye preprocessing image used a horizontally inverted image
  • the first left eye preprocessing image used an image that was not horizontally inverted.
  • the second cropping process (including eyelid cropping) was performed on the left and right eyes in the above-described manner to secure a second left eye preprocessing image and a second right eye preprocessing image.
  • a left-right inverted image was used as the second right-eye preprocessing image
  • a non-left-right reversed image was used as the second left eye preprocessing image.
  • the third cropping process (cropping including tear hill) was performed on the left eye and the right eye, respectively, to secure a third left eye preprocessing image and a third right eye preprocessing image.
  • the third right eye preprocessing image used a horizontally inverted image
  • the third left eye preprocessing image used an image that was not horizontally inverted.
  • the prediction model was trained using the secured preprocessing images and the secured labeling information.
  • the prediction models used the model using the aforementioned ViT as the backbone architecture, the output node was finally designed with 5, and the learning method used a method of using all 5 evaluation values for learning each model as described above. did
  • the prediction model used a model using the aforementioned ViT as a backbone architecture, and each prediction model was trained by unifying the left eye prediction model and the right eye prediction model as one model without separating them.
  • Prediction results were obtained using the verification data sets for the first to fifth predictive models that were learned.
  • the right-eye image was a left-right inverted preprocessing image
  • the left-eye image was a left-right inverted preprocessing image.
  • the prediction model was trained using the secured preprocessing images and the secured labeling information.
  • a model using the aforementioned ViT as a backbone architecture was used, and, unlike Experimental Example #1, one output node was finally designed.
  • the first prediction model was learned using the evaluation value for conjunctival congestion
  • the second prediction model was learned using the evaluation value for conjunctival edema
  • the third prediction model was the evaluation value for tear hill edema Learning was performed using
  • the fourth predictive model was learned using the evaluation value for eyelid redness
  • the fifth prediction model was learned using the evaluation value for eyelid edema.
  • Prediction results were obtained using the verification data sets for the first to fifth predictive models that were learned.
  • the right-eye image was a left-right inverted preprocessing image
  • the left-eye image was a left-right inverted preprocessing image.
  • the second cropping process (including eyelid cropping) was performed on the left eye and the right eye in the above-described manner to secure a second left eye preprocessing image and a second right eye preprocessing image.
  • the first right eye preprocessing image used a horizontally inverted image
  • the first left eye preprocessing image used an image that was not horizontally inverted.
  • the prediction model was trained using the secured preprocessing images and the secured labeling information.
  • the prediction models used the model using the aforementioned ViT as the backbone architecture, the output node was finally designed with 5, and the learning method used a method of using all 5 evaluation values for learning each model as described above. did
  • the second cropping process (cropping including eyelids) is performed in the above manner for each of the left and right eyes, but unlike Experimental Example #2, the center position of the second cropped area is the center position of the reference rectangle.
  • the second cropped area was determined so that it could be placed further upward. Accordingly, the second cropped image can include eyelashes.
  • left-right reversal processing is not performed.
  • the prediction model was trained using the secured preprocessing images and the secured labeling information.
  • the prediction models used the model using the aforementioned ViT as the backbone architecture, the output node was finally designed with 5, and the learning method used a method of using all 5 evaluation values for learning each model as described above. did

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 출원에 의하면, 컴퓨터로 실행가능한 결막 충혈에 대한 임상활동점수를 예측하는 방법이 개시된다. 본 출원에 의해 개시되는 방법은, 기 위한 학습 데이터 세트들을 이용하여 결막 충혈 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 -; 대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고; 프로세서에서 실행되는 결막 충혈 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고; 미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 결막 충혈에 대한 상기 제1 예측값을 선택하고; 그리고, 상기 결막 충혈에 대하여 선택된 제1 예측값을 고려하여 상기 결막 충혈에 대한 점수를 생성하는 것을 포함한다.

Description

활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
본 발명은 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템에 관한 것이다.
안질환은 안구 및 이를 둘러싸고 있는 주변부에 발생하는 질병이다. 안질환은 전 세계적으로 많은 사람들에게 발병되고 있으며, 심각한 경우 시력 손상을 유발하는 등 생활에 큰 불편함을 야기하는 질병이므로, 안질환의 발생 여부 또는 정도에 대한 모니터링이 필요하다.
한편, 안질환은 다른 질병으로 인해 유발되는 여러 합병증 중 하나일 수 있다. 예컨대, 갑상선 기능 이상으로 인해 유발되는 합병증으로 갑상선 눈병증이 있다.
갑상선 안병증이 심해지는 경우, 안구가 돌출되어 수술을 하지 않으면 치료를 할 수 없게 되어 조기에 갑상선 안병증을 진단하는 것이 갑상선 안병증의 치료에 매우 중요하다. 그러나, 갑상선 안병증은 전조증상이 뚜렷하게 나타나지 않아 조기 진단에 어려움이 있어, 의학계에서는 1989년부터 제안되어 온 임상활동점수(Clinical Activity Score, CAS)를 통해 평가하는 방법을 통해 갑상선 안병증은 조기에 진단하기 위한 노력을 기울이고 있다.
갑상선 안병증에 대한 임상활동점수를 판단함에 있어서 총 7가지 항목이 고려되며, 고려되는 총 7가지 항목은 1) 구후부의 자발적인 통증 (Spontaneous retrobulbar pain), 2) 안구운동 시 통증 (Pain on attempted upward or downward gaze), 3) 눈꺼풀의 발적 (Redness of eyelid), 4) 결막의 충혈 (Redness of conjunctiva), 5) 눈꺼풀의 부종 (Swelling of eyelid), 6) 결막의 부종 (Swelling of conjunctiva), 및 7) 눈물언덕의 부종 (Swelling of lacrimal caruncle)이다.
이러한 임상활동점수를 판단하기 위해서는, 개인이 직접 병원 또는 클리닉에 방문하고, 의사의 문진 및 육안 관찰에 의한 검진이 필수적이다. 예를 들어, 구후부의 자발적인 통증 및 안구 운동 시 통증은 의사의 문진을 통해서 확인될 수 있고, 눈꺼풀의 발적, 결막의 충혈, 눈꺼풀의 부종, 결막의 부종 및 눈물언덕의 부종은 의사의 육안 관찰에 의해 확인될 수 있다. 이와 같은 임상활동점수의 확인을 위한 의사 육안 검진 및 문진 방식은 갑상선 안병증의 진단을 위해 환자의 병원 직접 방문을 선결조건으로 하는 바, 갑상선 안병증을 조기에 진단하는 데에 어려움이 있었다.
이에, 병원 직접 방문 없이도, 개개인이 보다 간편하고 신속하게 안질환 위험도를 확인함으로써 지속적인 모니터링이 수행될 수 있도록 하는 방법의 개발이 요구되고 있다.
본 출원에 의해 개시되는 내용들이 해결하고자 하는 과제는 전문적인 의학 진단 기기가 아닌 일반인들이 사용할 수 있는 디지털 카메라로 획득된 이미지를 활용하여 갑상선 안병증에 관한 임상활동점수를 예측하는 데에 사용되는 학습 모델을 제공하는 것이다.
본 출원에 의해 개시되는 내용들이 해결하고자 하는 다른 과제는 일반인들이, 의사의 도움없이 그리고 병원 직접 방문 없이, 지속적으로 갑상선 안병증에 관한 임상활동점수를 모니터링할 수 있는 방법 및 시스템을 제공하는 것이다.
본 출원이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 출원에 의해 개시되는 기술이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 양태에 의하면, 학습 데이터 세트들을 이용하여 결막 충혈 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ; 대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고; 프로세서에서 실행되는 결막 충혈 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고; 미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 결막 충혈에 대한 상기 제1 예측값을 선택하고; 그리고, 상기 결막 충혈에 대하여 선택된 제1 예측값을 고려하여 상기 결막 충혈에 대한 점수를 생성하는 것을 포함하는 컴퓨터로 수행가능한 방법이 개시된다.
이때, 상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며, 상기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들일 수 있다.
상기 방법은 상기 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고; 상기 프로세서에서 실행되는 상기 결막 충혈 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고, 미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 결막 충혈에 대한 상기 제2 예측값을 선택하는 것을 더 포함할 수 있으며, 상기 결막 충혈에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 결막 충혈에 대한 점수를 생성하는 것일 수 있다.
이때, 상기 결막 충혈에 대한 점수를 생성하는 것은, 상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함할 수 있다.
본 출원에 의해 개시되는 다른 양태에 의하면, 학습 데이터 세트들을 이용하여 결막 부종 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ; 대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고; 프로세서에서 실행되는 결막 부종 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고; 미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 결막 부종에 대한 상기 제1 예측값을 선택하고; 그리고, 상기 결막 부종에 대하여 선택된 제1 예측값을 고려하여 상기 결막 부종에 대한 점수를 생성하는 것을 포함하는 컴퓨터로 수행가능한 방법이 개시된다.
이때, 상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며, 상기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들일 수 있다.
상기 방법은, 상기 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고; 상기 프로세서에서 실행되는 상기 결막 부종 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고, 미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 결막 부종에 대한 상기 제2 예측값을 선택하는 것을 더 포함할 수 있으며, 상기 결막 부종에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 결막 부종에 대한 점수를 생성하는 것일 수 있다.
이때, 상기 결막 부종에 대한 점수를 생성하는 것은, 상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함할 수 있다.
본 출원에 의해 개시되는 또 다른 양태에 의하면, 학습 데이터 세트들을 이용하여 눈물언덕 부종 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ; 대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고; 프로세서에서 실행되는 눈물언덕 부종 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고; 미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 눈물언덕 부종에 대한 상기 제1 예측값을 선택하고; 그리고, 상기 눈물언덕 부종에 대하여 선택된 제1 예측값을 고려하여 상기 눈물언덕 부종에 대한 점수를 생성하는 것을 포함하는 컴퓨터로 수행가능한 방법이 개시된다.
이때, 상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며, 상기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들일 수 있다.
상기 방법은, 상기 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고; 상기 프로세서에서 실행되는 상기 눈물언덕 부종 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고, 미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 눈물언덕 부종에 대한 상기 제2 예측값을 선택하는 것을 더 포함할 수 있으며, 상기 눈물언덕 부종에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 눈물언덕 부종에 대한 점수를 생성하는 것일 수 있다.
이때, 상기 눈물언덕 부종에 대한 점수를 생성하는 것은, 상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함할 수 있다.
본 출원에 의해 개시되는 또 다른 양태에 의하면, 학습 데이터 세트들을 이용하여 눈꺼풀 발적 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ; 대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고; 프로세서에서 실행되는 눈꺼풀 발적 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고; 미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 눈꺼풀발적에 대한 상기 제1 예측값을 선택하고; 그리고, 상기 눈꺼풀 발적에 대하여 선택된 제1 예측값을 고려하여 상기 눈꺼풀 발적에 대한 점수를 생성하는 것을 포함하는 컴퓨터로 수행가능한 방법이 개시된다.
이때, 상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며, 상기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들일 수 있다.
상기 방법은, 상기 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고; 상기 프로세서에서 실행되는 상기 눈꺼풀 발적 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고, 미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 눈꺼풀발적에 대한 상기 제2 예측값을 선택하는 것을 더 포함할 수 있으며, 상기 눈꺼풀 발적에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 눈꺼풀 발적에 대한 점수를 생성하는 것일 수 있다.
이때, 상기 눈꺼풀 발적에 대한 점수를 생성하는 것은, 상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함할 수 있다.
본 출원에 의해 개시되는 또 다른 양태에 의하면, 학습 데이터 세트들을 이용하여 눈꺼풀 부종 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ; 대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고; 프로세서에서 실행되는 눈꺼풀 부종 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고; 미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 눈꺼풀 부종에 대한 상기 제1 예측값을 선택하고; 그리고, 상기 눈꺼풀 부종에 대하여 선택된 제1 예측값을 고려하여 상기 눈꺼풀 부종에 대한 점수를 생성하는 것을 포함하는 컴퓨터로 수행가능한 방법이 개시된다.
이때, 상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며, 기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들일 수 있다.
상기 방법은, 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고; 기 프로세서에서 실행되는 상기 눈꺼풀 부종 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고, 미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 눈꺼풀 부종에 대한 상기 제2 예측값을 선택하는 것을 더 포함할 수 있으며, 상기 눈꺼풀 부종에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 눈꺼풀 부종에 대한 점수를 생성하는 것일 수 있다.
이때, 상기 눈꺼풀 부종에 대한 점수를 생성하는 것은, 상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함할 수 있다.
본 출원에 의하여 개시되는 내용에 의하면, 전문적인 의학 진단 기기가 아닌 일반인들이 사용할 수 있는 디지털 카메라로 획득된 이미지를 활용하여 갑상선 안병증에 관한 임상활동점수를 예측할 수 있다.
도 1은 본 출원에 의해 개시되는 일실시예에 따른 갑상선 안병증에 관한 임상활동점수를 예측하기 위한 시스템을 도시하는 도면이다.
도 2는 본 출원에 의해 제공되는 사용자 단말기의 블록도이다.
도 3은 본 출원에 의해 개시되는 서버의 블록도이다.
도 4는 카메라를 이용하여 얼굴을 촬영하였을 때 카메라에 의해 캡쳐될 수 있도록 외부로 노출되어 있는 눈 및 그 주변 조직을 설명하기 위한 도면이다.
도 5는 외부로 노출된 안구를 설명하기 위한 도면이다.
도 6은 외부로 노출된 각막을 설명하기 위한 도면이다.
도 7은 외부로 노출된 결막을 설명하기 위한 도면이다.
도 8는 얼굴 이미지와 양안 이미지를 설명하기 위한 도면이다.
도 9는 눈의 아웃라인을 검출하는 방법을 설명하기 위한 도면이다.
도 10은 제1 크롭 영역을 도시한 도면이다.
도 11은 제1 크롭 이미지를 예시적으로 도시한 도면이다.
도 12는 다양한 방식으로 결정된 제2 크롭 영역을 예시적으로 도시한 도면들이다.
도 13은 제2 크롭 이미지를 예시적으로 도시한 도면이다.
도 14는 제3 크롭 영역을 결정하는 방법을 설명하기 위한 도면이다.
도 15는 제3 크롭 영역을 예시적으로 도시한 도면이다.
도 16은 제3 크롭 이미지를 예시적으로 도시한 도면이다.
도 17은 원본 이미지와 좌우 반전 이미지의 다양한 예시를 도시하는 도면들이다.
도 18은 리사이징된 이미지들을 예시적으로 도시한 도면들이다.
도 19는 결막 충혈 예측 방법을 설명하기 위한 흐름도이다.
도 20은 결막 부종 예측 방법을 설명하기 위한 흐름도이다.
도 21은 눈물언덕 부종 예측 방법을 설명하기 위한 흐름도이다.
도 22는 눈꺼풀 발적 예측 방법을 설명하기 위한 흐름도이다.
도 23은 눈꺼풀 부종 예측 방법을 설명하기 위한 흐름도이다.
도 24는 갑상선 안병증에 관한 임상활동점수의 예측방법을 설명하기 위한 도면이다.
본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.
본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다. 예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.
본 출원의 일 양태에 의하면, 학습 데이터 세트들을 이용하여 결막 충혈 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ; 대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고; 프로세서에서 실행되는 결막 충혈 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고; 미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 결막 충혈에 대한 상기 제1 예측값을 선택하고; 그리고, 상기 결막 충혈에 대하여 선택된 제1 예측값을 고려하여 상기 결막 충혈에 대한 점수를 생성하는 것을 포함하는 컴퓨터로 수행가능한 방법이 개시된다.
이때, 상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며, 상기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들일 수 있다.
상기 방법은 상기 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고; 상기 프로세서에서 실행되는 상기 결막 충혈 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고, 미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 결막 충혈에 대한 상기 제2 예측값을 선택하는 것을 더 포함할 수 있으며, 상기 결막 충혈에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 결막 충혈에 대한 점수를 생성하는 것일 수 있다.
이때, 상기 결막 충혈에 대한 점수를 생성하는 것은, 상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함할 수 있다.
본 출원에 의해 개시되는 다른 양태에 의하면, 학습 데이터 세트들을 이용하여 결막 부종 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ; 대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고; 프로세서에서 실행되는 결막 부종 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고; 미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 결막 부종에 대한 상기 제1 예측값을 선택하고; 그리고, 상기 결막 부종에 대하여 선택된 제1 예측값을 고려하여 상기 결막 부종에 대한 점수를 생성하는 것을 포함하는 컴퓨터로 수행가능한 방법이 개시된다.
이때, 상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며, 상기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들일 수 있다.
상기 방법은, 상기 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고; 상기 프로세서에서 실행되는 상기 결막 부종 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고, 미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 결막 부종에 대한 상기 제2 예측값을 선택하는 것을 더 포함할 수 있으며, 상기 결막 부종에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 결막 부종에 대한 점수를 생성하는 것일 수 있다.
이때, 상기 결막 부종에 대한 점수를 생성하는 것은, 상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함할 수 있다.
본 출원에 의해 개시되는 또 다른 양태에 의하면, 학습 데이터 세트들을 이용하여 눈물언덕 부종 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ; 대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고; 프로세서에서 실행되는 눈물언덕 부종 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고; 미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 눈물언덕 부종에 대한 상기 제1 예측값을 선택하고; 그리고, 상기 눈물언덕 부종에 대하여 선택된 제1 예측값을 고려하여 상기 눈물언덕 부종에 대한 점수를 생성하는 것을 포함하는 컴퓨터로 수행가능한 방법이 개시된다.
이때, 상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며, 상기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들일 수 있다.
상기 방법은, 상기 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고; 상기 프로세서에서 실행되는 상기 눈물언덕 부종 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고, 미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 눈물언덕 부종에 대한 상기 제2 예측값을 선택하는 것을 더 포함할 수 있으며, 상기 눈물언덕 부종에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 눈물언덕 부종에 대한 점수를 생성하는 것일 수 있다.
이때, 상기 눈물언덕 부종에 대한 점수를 생성하는 것은, 상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함할 수 있다.
본 출원에 의해 개시되는 또 다른 양태에 의하면, 학습 데이터 세트들을 이용하여 눈꺼풀 발적 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ; 대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고; 프로세서에서 실행되는 눈꺼풀 발적 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고; 미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 눈꺼풀발적에 대한 상기 제1 예측값을 선택하고; 그리고, 상기 눈꺼풀 발적에 대하여 선택된 제1 예측값을 고려하여 상기 눈꺼풀 발적에 대한 점수를 생성하는 것을 포함하는 컴퓨터로 수행가능한 방법이 개시된다.
이때, 상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며, 상기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들일 수 있다.
상기 방법은, 상기 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고; 상기 프로세서에서 실행되는 상기 눈꺼풀 발적 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고, 미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 눈꺼풀발적에 대한 상기 제2 예측값을 선택하는 것을 더 포함할 수 있으며, 상기 눈꺼풀 발적에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 눈꺼풀 발적에 대한 점수를 생성하는 것일 수 있다.
이때, 상기 눈꺼풀 발적에 대한 점수를 생성하는 것은, 상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함할 수 있다.
본 출원에 의해 개시되는 또 다른 양태에 의하면, 학습 데이터 세트들을 이용하여 눈꺼풀 부종 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ; 대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고; 프로세서에서 실행되는 눈꺼풀 부종 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고; 미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 눈꺼풀 부종에 대한 상기 제1 예측값을 선택하고; 그리고, 상기 눈꺼풀 부종에 대하여 선택된 제1 예측값을 고려하여 상기 눈꺼풀 부종에 대한 점수를 생성하는 것을 포함하는 컴퓨터로 수행가능한 방법이 개시된다.
이때, 상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며, 기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들일 수 있다.
상기 방법은, 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고; 기 프로세서에서 실행되는 상기 눈꺼풀 부종 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고, 미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 눈꺼풀 부종에 대한 상기 제2 예측값을 선택하는 것을 더 포함할 수 있으며, 상기 눈꺼풀 부종에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 눈꺼풀 부종에 대한 점수를 생성하는 것일 수 있다.
이때, 상기 눈꺼풀 부종에 대한 점수를 생성하는 것은, 상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함할 수 있다.
본 출원에 의하면, 사용자의 갑상선 안병증에 대한 임상활동점수(Clinical Activity Score, CAS)를 예측하기 위한 시스템이 개시된다.
1. 전체 시스템
(1) 시스템의 하드웨어적 구성
도 1은 본 출원에 의해 개시되는 일실시예에 따른 갑상선 안병증에 관한 임상활동점수를 예측하기 위한 시스템을 도시하는 도면이다.
도 1을 참조하면, 상기 시스템(1)은 복수의 사용자 단말기들(10) 및 서버(20)를 포함한다.
이하에서는, 상기 복수의 사용자 단말기들(10) 및 상기 서버(20)에 대해 보다 구체적으로 설명한다.
(2) 사용자 단말기의 기능
상기 복수의 사용자 단말기들(10)은 각종 네트워크를 통해 상기 서버(20)에 정보를 전송하고, 또 상기 서버(20)로부터 정보를 수신한다.
상기 복수의 사용자 단말기들(10)은 사용자의 상안검(upper eyelid), 하안검(lower eyelid) 및 상기 상안검 및 하안검 등에 의해 외부로 노출되는 안구(exposed eyeball)에 관한 이미지(이하, 눈 이미지, eye image)를 획득할 수 있으며, 상기 획득된 눈 이미지에 대한 필요한 처리를 하거나 혹은 상기 획득된 눈 이미지 또는 처리된 눈 이미지를 상기 서버(20)로 전송할 수 있다.
상기 복수의 사용자 단말기들(10)은 상기 서버(20)에 의해 처리된 임상활동점수에 관한 예측결과를 상기 서버(20)로부터 수신할 수 있다.
(3) 서버의 기능
상기 서버(20)는 각종 네트워크를 통해 상기 복수의 사용자 단말기들(10)에 정보를 전송하고, 또 상기 복수의 사용자 단말기들(10)로부터 정보를 수신한다.
상기 서버(20)는 상기 복수의 사용자 단말기들(10)로부터 상기 눈 이미지를 수신할 수 있다. 이때, 상기 서버(20)는 상기 눈 이미지를 처리할 수 있다. 또는 상기 서버(20)는 처리된 눈 이미지를 수신할 수 있다.
상기 서버(20)는 상기 처리된 눈 이미지에 기초하여 사용자의 갑상선 안병증에 관한 임상활동점수에 대한 예측결과를 획득할 수 있다.
상기 서버(20)는 상기 임상활동점수에 대한 예측결과를 상기 복수의 사용자 단말기들(10)로 전송할 수 있다.
(4) 시스템의 소프트웨어적 구성
상기 시스템(1)이 동작하기 위하여, 몇몇 소프트웨어적 구성들이 필요하다.
상기 사용자 단말기들(10)과 상기 서버(20) 사이의 통신을 수행하기 위하여, 상기 복수의 사용자 단말기들(10)에 단말기 소프트웨어가 설치될 필요가 있으며, 상기 서버(20)에 서버 소프트웨어가 설치될 필요가 있다.
상기 눈 이미지에 필요한 전처리(pre-processing)를 수행하기 위하여, 다양한 전처리 알고리즘들이 사용될 수 있다.
상기 전처리된 눈 이미지에 기초하여 임상활동점수를 예측하기 위한 복수의 예측모델들이 사용될 수 있다.
상기 복수의 전처리 알고리즘들은 상기 사용자 단말기들(10)에 설치되는 단말기 소프트웨어에 의해 구동될 수도 있고, 상기 서버(20)에 설치되는 소프트웨어에 의해 구동될 수도 있다. 또는 상기 복수의 전처리 알고리즘들의 일부는 상기 사용자 단말기들(10)에 의해 실행되고, 나머지 일부는 상기 서버(20)에 의해 실행될 수 있다.
상기 복수의 예측모델들은 상기 서버(20)에 설치되는 소프트웨어에 의해 구동될 수도 있다. 또는 상기 복수의 예측모델들은 상기 사용자 단말기들(10)에 설치되는 단말기 소프트웨어에 의해 구동될 수 있다. 또는 상기 복수의 예측모델들의 일부는 상기 사용자 단말기들(10)에 의해 실행되고, 나머지 일부는 상기 서버(20)에 의해 실행될 수 있다.
(5) 사용자 단말기의 구성요소
도 2는 본 출원에 의해 개시되는 사용자 단말기의 블록도이다.
도 2를 참조하면, 본 출원에 의해 개시되는 사용자 단말기(10)는 출력부(110), 통신부(120), 메모리(130), 카메라(140) 및 컨트롤러(150)를 포함한다.
출력부(110)는 컨트롤러(150)의 제어 명령에 따라 각종 정보를 출력한다. 일 실시예에 따르면, 출력부(110)는 사용자에게 정보를 시각적으로 출력하는 디스플레이(112)를 포함할 수 있다. 또는, 도면에 도시하지는 않았지만, 사용자에게 정보를 청각적으로 출력하는 스피커, 사용자에게 정보를 촉각적으로 출력하는 진동모터를 포함할 수 있다.
통신부(120)는 무선 통신 모듈 및/또는 유선 통신 모듈을 포함할 수 있다. 여기서, 무선 통신 모듈은 와이파이(Wi-Fi) 통신 모듈, 셀룰러 통신 모듈 등을 포함할 수 있다.
메모리(130)는 컨트롤러(150)에 의해 읽힐 수 있는 실행 코드, 처리된 결과값 및 필요한 데이터 등을 저장한다. 상기 메모리(130)는 HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM 등을 포함할 수 있다. 메모리(130)는 전술한 단말기 소프트웨어를 저장할 수 있고, 전술한 다양한 전처리 알고리즘 및/또는 학습모델들을 구현하기 위한 실행코드들을 저장할 수 있다. 나아가, 메모리(130)는 상기 카메라(140)를 통해 획득되는 눈 이미지 및 상기 전처리된 눈 이미지 등을 저장할 수 있다.
카메라(140)는 디지털 카메라로, 이미지 센서와 영상처리부를 포함할 수 있다. 이미지 센서는 광학 영상(image)을 전기적 신호로 변환하는 장치로, 다수개의 광 다이오드(photo diode)가 집적된 칩으로 구성될 수 있다. 예시적으로, 이미지 센서는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등을 포함할 수 있다. 한편, 영상처리부는 촬영된 결과를 영상 처리하여, 영상 정보를 생성할 수 있다.
컨트롤러(150)는 적어도 하나의 프로세서를 포함할 수 있다. 이때, 각각의 프로세서는 메모리(130)에 저장된 적어도 하나의 명령어를 실행시킴으로써, 소정의 동작을 실행할 수 있다. 구체적으로, 컨트롤러(150)는 상기 사용자 단말기(10)에서 구동되는 단말기 소프트웨어, 전처리 알고리즘 및/또는 학습모델에 따라 정보를 처리할 수 있다. 한편, 상기 컨트롤러(150)는 상기 사용자 단말기(10)의 전반적인 동작을 제어한다.
도면에 도시하지는 않았지만, 상기 사용자 단말기(10)는 사용자 입력부를 포함할 수 있다. 상기 사용자 단말기(10)는 상기 사용자 입력부를 통해 사용자 단말기(10)의 동작에 필요한 여러 정보를 사용자로부터 입력 받을 수 있다.
(6) 서버의 구성요소
도 3은 본 출원에 의해 개시되는 서버의 블록도이다.
도 3을 참조하면, 본 출원에 의해 개시되는 서버(20)는 통신부(210), 메모리(220) 및 컨트롤러(230)를 포함한다.
통신부(210)는 무선 통신 모듈 및/또는 유선 통신 모듈을 포함할 수 있다. 여기서, 무선 통신 모듈은 와이파이(Wi-Fi) 통신 모듈, 셀룰러 통신 모듈 등을 포함할 수 있다.
메모리(220)는 컨트롤러(230)에 의해 읽힐 수 있는 실행 코드, 처리된 결과값 및 필요한 데이터 등을 저장한다. 상기 메모리(220)는 HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM 등을 포함할 수 있다. 메모리(220)는 전술한 서버 소프트웨어를 저장할 수 있고, 전술한 다양한 전처리 알고리즘 및/또는 학습모델들을 구현하기 위한 실행코드들을 저장할 수 있다. 나아가, 메모리(220)는 상기 사용자 단말기(10)로부터 수신한 눈 이미지 및 상기 전처리된 눈 이미지 등을 저장할 수 있다.
컨트롤러(230)는 적어도 하나의 프로세서를 포함할 수 있다. 이때, 각각의 프로세서는 메모리(220)에 저장된 적어도 하나의 명령어를 실행시킴으로써, 소정의 동작을 실행할 수 있다. 구체적으로, 컨트롤러(230)는 상기 서버(20)에서 구동되는 서버 소프트웨어, 전처리 알고리즘 및/또는 학습모델에 따라 정보를 처리할 수 있다. 한편, 상기 컨트롤러(230)는 상기 서버(20)의 전반적인 동작을 제어한다.
이하에서는, 본 출원에 의해 개시되는 기술을 보다 더 명확하고 용이하게 이해하기 위하여 눈(eye), 안구(eyeball) 및 상안검(upper eyelid), 하안검(lower eyelid) 및 눈물언덕(lacrimal caruncle)을 포함하는 안구 주변의 조직들에 대해 간략하게 설명하고, 본 명세서에 사용되는 눈과 그 주변에 관한 용어들을 정의한다.
2. 눈의 구성 및 용어의 정의
(1) 안구 및 그 주변 조직
도 4는 카메라를 이용하여 얼굴을 촬영하였을 때 카메라에 의해 캡쳐될 수 있도록 외부로 노출되어 있는 눈 및 그 주변 조직을 설명하기 위한 도면이다.
도 4에는, 눈꺼풀(상안검, upper eyelid), 하안검(lower eyelid), 눈물언덕(lacrimal caruncle), 그리고 상기 상안검, 하안검 및 눈물언덕에 의해 일부는 가려지고 일부만 노출되어 있는 결막(conjunctiva) 또는 흰자위(the white of eye), 각막(cornea) 또는 홍채(iris) 및 눈썹(eyebrow)가 도시되어 있다.
일반적으로 눈(eye) 또는 안구(eyeball)는 도 4에 도시된 것보다 더 크다. 그러나, 안구는 상안검, 하안검과 같은 조직에 의해 외부로부터 보호되고 있고, 이에 따라, 사람이 눈을 뜨고 있을 때에도 안구의 일부만 외부로 노출된다.
(2) 용어의 정의
결막, 흰자위
이하에서는, 결막은 일반적으로 흰자위(the white of the eye)의 위치에 대응되므로, 결막과 흰자위라는 용어가 혼용될 수 있다.
각막, 홍채
이하에서는, 각막은 일반적으로 홍채(the iris of the eye)의 위치에 대응되므로, 각막과 홍채라는 용어가 혼용될 수 있다. 한편, 본 명세서에서는 용어 '홍채'는 동공영역도 포함하는 의미로 사용된다.
눈꺼풀
안구의 앞 부분을 덮고 있는 아래위 2장의 주름있는 피부이다. 안검(眼瞼)이라고도 한다. 안구의 윗부분에 있는 눈꺼풀을 상안검, 안구의 아래부분에 있는 눈꺼풀을 하안검이라 한다. 외면은 피부로 되어 있고, 내면은 결막으로 되어 있으며, 그 사이에는 눈꺼풀을 움직이게 하는 근육과, 분비선인 마이봄선[瞼板腺]을 품고 있는 검판(瞼板)조직이 있어서 눈꺼풀의 형태를 유지하고 있다. 눈꺼풀은 안구를 보호함과 동시에, 눈을 깜박임으로서 눈물로 안구를 청정하게 하거나 각막을 윤기 있고 투명하게 하는 일을 한다.
눈썹(eyebrow)
눈썹은 눈 위의 뼈가 융기한 부분을 따라 활 모양으로 자란 털을 말한다.
속눈썹(eyelash)
아래위의 눈꺼풀 가장자리에 나 있는 길이 10mm 정도의 털을 말한다.
외부로 노출된 안구
이하에서, "외부로 노출된 안구"는, 사람이 눈을 뜨고 있을 때, 상안검, 하안검 및 눈물언덕에 의해 가려지지 않은 부분, 즉 상안검, 하안검 및 눈물언덕에 의해 외부로 노출된 부분을 의미한다. 예를 들어, 도 5에 도시된 점선의 내부를 "외부로 노출된 안구"라고 일컫는다.
눈의 아웃라인(outline of eye)
이하에서는, "눈의 아웃라인"은, 사람이 눈을 뜨고 있을 때, 외부로 노출된 안구와 눈꺼풀(상안검 및 하안검)의 경계를 의미한다. 즉, 외부로 노출된 안구의 아웃라인을 "눈의 아웃라인"이라고 일컫는다. 예를 들어, 도 5에 도시된 점선을 "눈의 아웃라인"이라고 한다.
외부로 노출된 각막(외부로 노출된 홍채)
이하에서, "외부로 노출된 각막"은, 사람이 눈을 뜨고 있을 때, 상안검 및 하안검에 의해 가려지지 않은 각막 부분, 즉 상안검, 하안검에 의해 외부로 노출된 각막 부분을 의미한다. 예를 들어, 도 6에 도시된 점선의 내부를 "외부로 노출된 각막"이라고 일컫는다.
외부로 노출된 결막(외부로 노출된 흰자위)
이하에서, "외부로 노출된 결막"은, 사람이 눈을 뜨고 있을 때, 상안검, 하안검 및 눈물언덕에 의해 가려지지 않은 결막 부분, 즉 상안검, 하안검 및 눈물언덕에 의해 외부로 노출된 결막 부분을 의미한다. 예를 들어, 도 7에 도시된 점선의 내부를 "외부로 노출된 결막"이라고 일컫는다.
이하에서는, 본 출원에 의해 개시되는 이미지 전처리를 수행하는 다양한 이미지 전처리 알고리즘에 대해 설명한다.
3. 이미지 전처리 알고리즘
(1) 이미지 전처리의 필요성
본 출원의 일 목적은 전문적인 의학 진단 기기가 아닌 일반인들이 사용할 수 있는 디지털 카메라로 획득된 이미지를 활용하여 갑상선 안병증에 관한 임상활동점수를 예측할 수 있는 학습 모델을 제공하는 것에 있다.
이를 위해서는, 갑상선 안병증에 관한 임상활동점수를 예측함에 있어서, 일반인들이 안구 및 안구 주변의 조직에 대하여 손쉽게 획득할 수 있는 이미지가 사용되어야 한다. 예를 들어, 의료기관 등에서 활용될 수 있는 전문화된 의료기기 등으로 획득되는 디지털 이미지가 아닌 일반인들이 손쉽게 활용할 수 있는 디지털 카메라 혹은 스마트폰 등에 내장되어 있는 카메라에 의해 획득되는 디지털 이미지가 이미지 분석에 사용되어야 한다.
이러한 환경 하에서, 사용자 등에 의해 획득되는 디지털 이미지는 정형화되거나, 표준화되기에 어려움이 있으며, 사용자 등에 의해서 획득된 디지털 이미지를 보다 더 정확하고 빠르게 인식하기 위해서는, 획득된 이미지에 대한 여러가지 전처리가 되어야 할 필요가 있다.
한편, 본 출원의 발명자들은 도 8에 도시된 바와 같은 얼굴 이미지를 이용하여 갑상선 안병증에 관한 5가지 항목에 대한 점수들을 예측하는 시스템을 구축하여 보았으나 예측의 정확도가 높지 않음을 확인하였다.
이에, 본 출원의 발명자들은 낮은 예측 정확도의 이유가 얼굴 이미지 내에도 분석에 불필요한 영역이 많기 때문이라고 판단하였고, 이에 보다 더 세밀한 크롭 이미지를 확보할 필요성이 있다고 판단하였다.
(2) 서로 다른 크롭 방식 적용의 필요성
한편, 갑상선 안병증에 관한 임상활동점수를 평가하기 위한 7가지 항목들 중 5가지 항목은 사용자의 안구 및 그 주변영역에 대한 의사의 육안 관찰에 따라 평가되는 항목임을 이미 설명한 바 있다. 상기 의사의 육안 관찰에 따라 평가되는 5가지 항목들은 다음과 같다.
1) 결막의 충혈 (Redness of conjunctiva),
2) 결막의 부종 (Swelling of conjunctiva),
3) 눈물언덕의 부종 (Swelling of lacrimal caruncle),
4) 눈꺼풀의 발적 (Redness of eyelid), 및
5) 눈꺼풀의 부종 (Swelling of eyelid),
이하에서, 후술하겠지만, 본 출원에 의해 제공되는 갑상선 안병증에 관한 임상활동점수를 평가하기 위하여, 육안 관찰의 대상이 "결막", "눈물언덕" 및 "눈꺼풀"과 같이 3개지의 부위로 나누어지는 것에 착안하여, 총 5가지의 증상에 대하여 예측할 수 있는, 총 3개의 예측 모델을 생성하는 것이 예측모델의 정확도를 높일 수 있을 것이라고 판단하였다. 즉, 3개의 예측모델을 학습함에 있어서, 각 예측모델들에 학습데이터로 사용할 이미지들의 크롭 방식이 서로 달라지는 것이 보다 더 유리할 것이라고 판단하였다.
이하에서는, "결막"의 분석에 보다 더 유리한 크롭방식, "눈물언덕"의 분석에 보다 더 유리한 크롭방식, 그리고 "눈꺼풀"의 분석에 보다 더 유리한 크롭방식에 대해서 설명한다.
(3) 제1 크롭 (외부로 노출된 안구 크롭)
이하에서, 결막의 분석에 보다 더 유리한 크롭방식에 대해 설명한다. 본 크롭 방식은 제1 크롭 또는 외부로 노출된 안구 크롭이라고 한다. 제1 크롭은 우안 이미지와 좌안 이미지 모두에 대해서 적용될 수 있는 것이지만, 설명의 편의를 위하여, 좌안 크롭 이미지를 확보하는 것을 기준으로 설명하도록 한다.
제1 크롭의 목적
제2 크롭의 목적은 후술할 예측모델들 중 결막의 충혈 (Redness of conjunctiva) 여부를 예측하기 위한 모델 및 결막의 부종 (Swelling of conjunctiva) 여부를 예측하기 위한 모델에 인풋 이미지로 사용하기 위한 이미지를 생성하는 목적을 가지는 것으로, 외부로 노출된 각막에 관한 정보가 최대화되고, 그 외의 영역에 대한 정보가 최소화된 이미지를 생성하는 것에 그 목적이 있다.
입력 이미지
제1 크롭은 얼굴 이미지 또는 양안을 포함하는 얼굴 이미지의 일부에 대해 적용될 수 있다.
눈의 아웃라인 검출
일 실시예에 따르면, 눈의 아웃라인을 검출하기 위하여, 랜드마크 디텍션 알고리즘을 사용할 수 있다. 예를 들어, dlib에서 제공하는 얼굴 랜드마크 검출 알고리즘이 눈의 아웃라인에 위치한 픽셀들을 검출하기 위하여 사용될 수 있다.
랜드마크 디텍션 알고리즘의 종류에 따라, 눈의 아웃라인에 대응되는 픽셀들의 개수가 달라질 수 있으나, 전술한 얼굴 랜드마크 검출 알고리즘에 의하면, 양안의 눈의 아웃라인들 각각에 대해 6개의 픽셀들이 대응되어 검출될 수 있다. 6개의 픽셀들 중 1개(예를 들어, 도 9의 (a)에 도시된 P4)는 이미지 내에서 눈의 아웃라인의 최좌측이라고 판단되는 픽셀에 대응될 수 있고, 6개의 픽셀들 중 다른 1개(예를 들어, 도 9의 (a)에 도시된 P1)는 이미지 내에서 눈의 아웃라인의 최우측이라고 판단되는 픽셀에 대응될 수 있으며, 6개의 픽셀들 중 다른 2개(예를 들어, 도 9의 (a)에 도시된 P2 및 P3)는 이미지 내에서 외부로 노출된 안구와 상안검 사이의 경계에 대응되는 픽셀들일 수 있으며, 6개의 픽셀들 중 또 다른 2개(예를 들어, 도 9의 (a)에 도시된 P5 및 P6)는 이미지 내에서 외부로 노출된 안구와 하안검 사이의 경계에 대응되는 픽셀들일 수 있다.
본 명세서에서, 눈의 아웃라인을 검출한다는 것의 의미는 눈의 아웃라인에 대응되는 모든 픽셀들을 검출하는 것을 의미할 수 있으며, 또는 랜드마크 디텍션 등을 사용하여 눈의 아웃라인에 대응되는 픽셀들 중 일부를 검출하는 것을 의미할 수도 있다.
이하에서는, 눈의 아웃라인에 대응되는 픽셀들 6개를 검출한 경우를 상정하여 설명한다.
제1 크롭 영역의 결정
검출된 픽셀들을 확인하여, 6개의 픽셀들을 모두 포함하는 최소크기의 직사각형을 설정한다. 예를 들어, 6개의 픽셀들의 X 좌표값들의 최대값(Xmax), 6개의 픽셀들의 X 좌표값들의 최소값(Xmin), 6개의 픽셀들의 Y 좌표값들의 최대값(Ymax) 및 6개의 픽셀들의 Y 좌표값들의 최소값(Ymin)을 확인하여, 확인된 Xmax, Xmin, Ymax, Ymin에 기초하여, 다음과 같은 4개의 점들을 꼭지점으로 하는 사각형을 생성하고, 해당 사각형의 내부에 포함되는 영역을 제1 크롭 영역으로 결정할 수 있다.
(Xmin, Ymax),
(Xmax, Ymax),
(Xmax, Ymin), 및
(Xmin, Ymin)
도 10은 제1 크롭 영역을 도시한 도면이다. 특히, 도 10의 (a)는 전술한 6개의 픽셀들의 X 좌표값들의 최대값(Xmax), 6개의 픽셀들의 X 좌표값들의 최소값(Xmin), 6개의 픽셀들의 Y 좌표값들의 최대값(Ymax) 및 6개의 픽셀들의 Y 좌표값들의 최소값(Ymin)을 확인한 것을 도시한 도면이며, 도 10의 (b)는 확인된 X 좌표들의 최대값 및 최소값과 Y 좌표들의 최대값 및 최소값들을 이용해 만들어진 제1 크롭 영역을 도시한 도면이다.
전술한 바와 같이, 상기 제1 크롭 영역은 우안에 대해서도 동일한 방식으로 결정될 수 있다.
제1 크롭 이미지의 생성
제1 크롭 영역이 결정되면, 결정된 제1 크롭 영역에 기초하여, 도 11에 예시적으로 도시된 바와 같이, 얼굴 이미지 또는 양안을 포함하는 얼굴 이미지의 일부로부터 상기 제1 크롭 영역의 내부에 포함된 픽셀들을 이용하여 제1 크롭 이미지들을 생성할 수 있다. 상기 제1 크롭 이미지들은 우안에 대하여 생성된 제1 우안 크롭 이미지(도 11의 (b)) 및 좌안에 대하여 생성된 제1 좌안 크롭 이미지(도 11의 (a))를 포함한다.
이하에서, 용어 "제1 크롭 이미지"는 용어 "외부로 노출된 안구 크롭 이미지"와 혼용될 수 있으며, 용어 "제1 우안 크롭 이미지"는 용어 "우안 외부로 노출된 안구 크롭 이미지"와 혼용될 수 있으며, 용어 "제1좌안 크롭 이미지"는 용어 "좌안 외부로 노출된 안구 크롭 이미지"와 혼용될 수 있다.
아울러, 이하에서 특별한 언급없이, 용어 "제1 크롭 이미지(또는 외부로 노출된 안구 크롭 이미지)"는 제1 우안 크롭 이미지 및 제1 좌안 크롭 이미지 중 어느 하나를 의미하거나 또는 맥락에 따라 둘 모두를 의미할 수 있다.
제1 크롭 이미지는 외부로 노출된 안구에 대응되는 픽셀들의 수와 크롭된이미지에 포함된 모든 픽셀들의 수의 비율이 극대화될 수 있는 방식으로 크롭된 이미지를 의미하는 것으로, 전술한 방식과 상이한 방식에 따라 생성된 크롭 이미지라고 하여도, 외부로 노출된 안구에 대한 정보를 최대한 많이 담을 수 있도록 크롭 영역이 생성된 것이라면, 제1 크롭 이미지(외부로 노출된 안구 크롭 이미지)라 하여야 할 것이다.
한편, 본 출원에서 말하는 X 좌표값와 Y 좌표값은 기준점에 대한 상대적인 위치에 따라서 그 크기와 방향이 달라지기 때문에, 최대값과 최소값이라는 용어는 상대적인 의미로 이해되어야 할 것이지, 절대적인 의미로 해석되어서는 안될 것이다. 즉, 좌표계의 원점의 위치가 변경됨에 따라서, 전술한 X 좌표값의 최대값은 원점이 변경된 좌표계에서의 X 좌표값의 최소값이 될 수도 있으며, X 좌표값의 최소값은 원점이 변경된 좌표계에서의 X 좌표값의 최대값이 될 수도 있다. 이는 Y좌표값에 대해서도 동일하게 적용될 수 있다.
(4) 제2 크롭 (눈꺼풀을 포함하는 크롭)
이하에서, 이하에서, 눈꺼풀의 분석에 보다 더 유리한 크롭방식에 대해 설명한다. 본 크롭 방식은 제2 크롭 또는 눈꺼풀 포함 크롭 (eyelid-included crop)이라고 한다. 제2 크롭은 우안 이미지와 좌안 이미지 모두에 대해서 적용될 수 있는 것이지만, 설명의 편의를 위하여, 좌안 크롭 이미지를 확보하는 것을 기준으로 설명하도록 한다.
제2 크롭의 목적
제2 크롭의 목적은 후술할 예측모델들 중 눈꺼풀의 발적 (Redness of eyelid) 여부를 예측하기 위한 모델 및 눈꺼풀의 부종 (Swelling of eyelid) 여부를 예측하기 위한 모델에 대한 인풋 이미지로 사용하기 위한 이미지를 생성하는 목적을 가지는 것으로, 눈꺼풀에 관한 정보가 상기 이미지 내에 포함될 수 있도록 하는 것에 그 목적이 있다. 이때, 눈꺼풀에 대응되는 픽셀들만으로 크롭을 하는 것보다는 눈의 아웃라인 내에 포함되어 있는 픽셀들도 모두 포함될 수 있도록 크롭 이미지를 생성하는 것이 더 좋을 수 있다. 왜냐하면, 눈꺼풀의 발적 여부를 예측하기 위해서는 컬러값에 대한 추론 및 판단이 이루어져야 하는데, 이 때 홍채 및/또는 흰자위에 대응되는 픽셀들의 컬러값이 활용될 수 있기 때문이다.
입력 이미지
제2 크롭은 얼굴 이미지 또는 양안을 포함하는 얼굴 이미지의 일부에 대해 적용될 수 있다.
눈의 아웃라인 검출 및 아웃라인 픽셀들의 X,Y 좌표의 최대값, 최소값 확인
일 실시예에 따르면, 제1 크롭에서 설명한 눈의 아웃라인 검출 방식이 그대로 적용될 수 있으며, 눈 아웃라인의 최외곽에 대응되는 아웃라인 픽셀들이 검출될 수 있으며, 검출된 픽셀들을 확인하여, X 좌표값들의 최대값(Xmax), X 좌표값들의 최소값(Xmin), Y 좌표값들의 최대값(Ymax) 및 Y 좌표값들의 최소값(Ymin)을 확인할 수 있다. 이하에서는, 설명의 편의를 위해 전술한 방식으로 확인된 점들을 꼭지점으로 하여 생성된 사각형을 기준 사각형이라고 한다. 한편, 상기 기준 사각형의 가로길이를 기준 가로길이 또는 눈 아웃라인의 가로길이라고 하며, 상기 기준 사각형의 세로길이를 기준 세로길이 또는 눈 아웃라인의 세로길이라고 한다.
크롭 영역 결정
사각형의 형상을 가지는 제2 크롭 영역을 결정하기 위하여, 제2 크롭 영역의 세로길이, 가로길이 및 중심점을 결정한다. 제2 크롭 영역의 각 꼭지점의 좌표가 (Xa,Ya), (Xa,Yb), (Xb, Ya) 및 (Xb, Yb)라고 할 때 (이때, Xa의 값이 Xb의 값보다 더 작고 Ya의 값이 Yb의 값보다 더 작은 값을 가진다), 중심점의 좌표는 ((Xa+Xb)/2, (Ya+Yb)/2) 또는 ((Xa+(Xb-Xa)/2, Ya+(Yb+Ya)/2) 등으로 결정될 수 있다.
세로길이 및 가로길이의 결정 #1
몇몇 실시예들에 따르면, 상기 제2 크롭 영역의 세로길이는 상기 기준 세로길이에 대해 미리 정해진 수를 곱하여 획득될 수 있다. 상기 미리 정해진 수는 1.6, 1.7, 1.8, 1.9, 2.0, 2.1, 2.2, 2.3, 2.4, 2.5, 2.6, 2.7, 2.8, 2.9, 3.0, 3.1, 3.2, 3.3, 3.4, 3.5, 3.6, 3.7, 3.8, 3.9, 4.0 등 일 수 있다. 아울러, 상기 제2 크롭 영역의 가로길이는 상기 기준 가로길이에 대해 미리 정해진 수를 곱하여 획득될 수 있다. 상기 미리 정해진 수는 1.1, 1.2, 1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 2.0, 2.1, 2.2, 2.3, 2.4, 2.5 등 일 수 있다. 이때, 상기 기준 세로길이에 대해 곱하는 상기 미리 정해진 수와 상기 기준 가로길이에 대해 곱하는 상기 미리 정해진 수는 서로 독립적으로 결정된다. 이에 따라 생성되는 제2 크롭 영역의 형상은 직사각형일 수 있다.
세로길이 및 가로길이의 결정 #2
다른 몇몇 실시예들에 따르면, 상기 제2 크롭 영역의 형상이 정사각형일 수 있다. 상기 정사각형의 제2 크롭 영역의 한 변의 길이는 상기 기준 세로 길이에 대해 미리 정해진 수를 곱한 값과 상기 기준 가로길이에 대해 미리 정해진 수를 곱한 값에 기초하여 결정될 수 있다. 예를 들어, 상기 기준 세로 길이에 대해 미리 정해진 수를 곱한 값과 상기 기준 가로길이에 대해 미리 정해진 수 중 더 큰 값이 상기 한 변의 길이로 결정될 수 있다. 이때, 이때, 상기 기준 세로길이에 대해 곱하는 상기 미리 정해진 수와 상기 기준 가로길이에 대해 곱하는 상기 미리 정해진 수는 서로 독립적으로 결정된다.
중심점 위치의 결정
상기 제2 크롭 영역의 중심점의 위치는 상기 기준 사각형의 중심점의 위치와 다를 수 있다. 기준 사각형의 중심점의 위치와 제2 크롭 영역의 중심점의 위치가 서로 다르게 결정되는 이유는 상안검과 하안검의 형상이 서로 대칭적이지 않고, 상안검 및 하안검의 형상이 일반적으로 상기 기준 사각형의 중심을 지나는 수직선에 대해 선대칭의 형상이 아니기 때문이다.
일반적으로, 상기 제2 크롭 영역의 중심점의 y 좌표값이 상기 기준 사각형의 중심점의 y좌표값보다 더 커질수록 눈썹에 대한 정보가 많아질 수 있으며, 상기 제2 크롭 영역의 중심점의 y 좌표값이 상기 기준 사각형의 중심점의 y좌표값보다 더 작아질수록 눈썹에 대한 정보가 적어질 수 있다.
좌안을 기준으로 할 때, 일반적으로, 상기 제2 크롭 영역의 중심점의 x 좌표값이 상기 기준 사각형의 중심점의 x좌표값보다 더 커질수록 양 눈 사이의 영역에 대한 정보가 더 줄어들며, 상기 제2 크롭 영역의 중심점의 x 좌표값이 상기 기준 사각형의 중심점의 x 좌표값보다 더 작아질수록 눈과 관자놀이 사이의 영역에 대한 정보가 더 줄어든다.
본 출원의 몇몇 실시예들에 있어서, 상기 제2 크롭 영역의 중심점의 y 좌표값은 상기 기준 사각형의 중심점의 y 좌표값 보다 더 작을 수 있다.
본 출원의 몇몇 실시예들에 있어서, 좌안을 기준으로, 상기 제2 크롭 영역의 중심점의 x 좌표값은 상기 기준 사각형의 중심점의 x 좌표값 보다 더 클 수 있다. 다만, 우안을 기준으로 상기 제2 크롭 영역의 중심점의 x 좌표값은 상기 기준 사각형의 중심점의 y 좌표값 보다 더 작을 수 있다.
다만, 제2 크롭 영역의 중심점의 위치와 상기 기준 사각형의 중심점 사이의 위치 관계는 반드시 전술한 관계를 가져야만 본 출원의 목적을 달성할 수 있는 것이 아니며, 본 출원의 목적을 달성할 수 있는 범위 내에서 적절히 변경될 수 있음은 당업자에게 자명하다.
도 12은 다양한 방식으로 결정된 제2 크롭 영역을 예시적으로 도시한 도면들이다. 도 12의 (a)는 제2 크롭 영역이 직사각형이고, 제2 크롭 영역의 중심점과 기준 사각형의 중심점이 일치하는 제2 크롭 영역의 예시를 도시하고 있고, 도 12의 (b)는 제2 크롭 영역이 직사각형이고, 제2 크롭 영역의 중심점이 기준 사각형의 중심점과 일치하지 않는 제2 크롭 영역의 예시를 도시하고 있으며, 도 12의 (c)는 제2 크롭 영역이 정사각형이고, 제2 크롭 영역의 중심점과 기준 사각형의 중심점이 일치하는 제2 크롭 영역의 예시를 도시하고 있고, 도 12의 (d)는 제2 크롭 영역이 정사각형이고, 제2 크롭 영역의 중심점이 기준 사각형의 중심점과 일치하지 않는 제2 크롭 영역의 예시를 도시하고 있다.
이하에서는, 설명의 편의를 위하여 제2 크롭 영역이 도 12의 (d)에 도시된 바와 같이 설정된 경우로 한정하여 설명한다.
제2 크롭 이미지의 생성
제2 크롭 영역이 결정되면, 결정된 제2 크롭 영역에 기초하여, 도 13에 도시된 바와 같이, 얼굴 이미지 또는 양안을 포함하는 얼굴 이미지의 일부로부터 상기 제2 크롭 영역의 내부에 포함된 픽셀들을 이용하여 제2 크롭 이미지들을 생성할 수 있다. 상기 제2 크롭 이미지들은 우안에 대하여 생성된 제2 우안 크롭 이미지(도 13의 (b)) 및 좌안에 대하여 생성된 제2 좌안 크롭 이미지(도 13의 (a))를 포함한다.
이하에서, 용어 "제2 크롭 이미지"는 용어 "눈꺼풀 포함 크롭 이미지"와 혼용될 수 있으며, 용어 "제2 우안 크롭 이미지"는 용어 "우안 눈꺼풀 포함 크롭 이미지 (right eyelid-included-cropped image)"와 혼용될 수 있으며, 용어 "제2 좌안 크롭 이미지"는 용어 "좌안 눈꺼풀 포함 크롭 이미지 (left eyelid-included-cropped image)"와 혼용될 수 있다.
아울러, 이하에서 특별한 언급없이, 용어 "제2 크롭 이미지(또는 눈꺼풀 포함 크롭 이미지)"는 제2 우안 크롭 이미지 및 제2 좌안 크롭 이미지 중 어느 하나를 의미하거나 또는 맥락에 따라 둘 모두를 의미할 수 있다.
제2 크롭 이미지는 이미지 내에 눈꺼풀에 대한 정보가 포함되도록 생성된 이미지를 의미하는 것으로, 전술한 방식과 상이한 방식에 따라 생성된 크롭 이미지라고 하여도, 눈꺼풀에 대응되는 픽셀들이 추가적으로 포함될 수 있도록 크롭 영역의 경계가 결정된 것이라면, 제2 크롭 이미지(눈꺼풀 포함 크롭 이미지)라 하여야 할 것이다.
(5) 제3 크롭 (눈물언덕 포함 크롭)
이하에서, 이하에서, 눈물언덕의 분석에 보다 더 유리한 크롭방식에 대해 설명한다. 본 크롭 방식은 제3 크롭 또는 눈물언덕 포함 크롭 (lacrimal caruncle -included crop)이라고 한다. 제3 크롭은 우안 이미지와 좌안 이미지 모두에 대해서 적용될 수 있는 것이지만, 설명의 편의를 위하여, 좌안 크롭 이미지를 확보하는 것을 기준으로 설명하도록 한다.
제3 크롭의 목적
제3 크롭의 목적은 후술할 예측모델들 중 눈물언덕의 부종 (Swelling of lacrimal caruncle) 여부를 예측하기 위한 모델에 대한 인풋 이미지로 사용하기 위한 이미지를 생성하는 목적을 가지는 것으로, 눈물언덕에 관한 정보가 상기 이미지 내에 포함될 수 있도록 하는 것에 그 목적이 있다.
입력 이미지
제3 크롭은 얼굴 이미지 또는 양안을 포함하는 얼굴 이미지의 일부에 대해 적용될 수 있다.
눈의 아웃라인 검출
일 실시예에 따르면, 제1 크롭에서 설명한 눈의 아웃라인 검출 방식이 그대로 적용될 수 있다. 즉, 눈의 아웃라인 검출을 통해 6개의 픽셀값들이 획득될 수 있다.
크롭 영역 결정
이하에서는, 좌안을 기준으로 설명한다.
6개의 픽셀들 중 눈물언덕에 가장 가까이 있는 픽셀(도 9의 P4, 이하 제1 픽셀), 상안검 혹은 상안검 쪽에 있는 속눈썹(eyelash)과 외부로 노출된 안구 사이의 경계에 있는 2개의 픽셀들(도 9의 P3 및 P2) 중 눈물언덕에 보다 더 가까이 있는 픽셀(도 9의 P3, 이하 제2 픽셀) 및 하안검 혹은 하안검 쪽에 있는 속눈썹(eyelash)과 외부로 노출된 안구 사이의 경계에 있는 2개의 픽셀들(도 9의 P5 및 P6) 중 눈물언덕에 보다 더 가까이 있는 픽셀(도 9의 P5, 이하 제3 픽셀)이 선택된다(도 14의 (a)).
이어서, 속눈썹과 외부로 노출된 안구 사이의 경계에 있는 4개의 픽셀들(P3, P2, P5 및 P6)의 중점(center point)에 대응되는 픽셀(이하, 제4 픽셀)이 결정될다(도 14의 (b)).
이어서, 전술한 4개의 픽셀들(제1 내지 제4 픽셀들)에 대해서, X 좌표값들의 최대값(Xmax), X 좌표값들의 최소값(Xmin), Y 좌표값들의 최대값(Ymax) 및 Y 좌표값들의 최소값(Ymin)을 확인할 수 있다.
확인된 Xmax, Xmin, Ymax, Ymin에 기초하여, 다음과 같은 4개의 점들을 꼭지점으로 하는 사각형을 생성하고, 해당 사각형의 내부에 포함되는 영역을 제3 크롭 영역으로 결정할 수 있다.
(Xmin, Ymax),
(Xmax, Ymax),
(Xmax, Ymin), 및
(Xmin, Ymin)
도 15은 제3 크롭 영역을 도시한 도면이다. 특히, 도 15의 (a)는 전술한 4개의 픽셀들(제1 내지 제4 픽셀들)의 X 좌표값들의 최대값(Xmax), 4개의 픽셀들의 X 좌표값들의 최소값(Xmin), 4개의 픽셀들의 Y 좌표값들의 최대값(Ymax) 및 4개의 픽셀들의 Y 좌표값들의 최소값(Ymin)을 확인한 것을 도시한 도면이며, 도 15의 (b)는 확인된 X 좌표들의 최대값 및 최소값과 Y 좌표들의 최대값 및 최소값들을 이용해 만들어진 제3 크롭 영역을 도시한 도면이다.
전술한 바와 같이, 상기 제3 크롭 영역은 우안에 대해서도 동일한 방식으로 결정될 수 있다.
제3 크롭 이미지의 생성
제3 크롭 영역이 결정되면, 결정된 제3 크롭 영역에 기초하여, 도 16에 도시된 바와 같이, 얼굴 이미지 또는 양안을 포함하는 얼굴 이미지의 일부로부터 상기 제3 크롭 영역의 내부에 포함된 픽셀들을 이용하여 제3 크롭 이미지들을 생성할 수 있다. 상기 제3 크롭 이미지들은 우안에 대하여 생성된 제3 우안 크롭 이미지(도 16의 (b)) 및 좌안에 대하여 생성된 제3 좌안 크롭 이미지(도 16의 (a))를 포함한다.
이하에서, 용어 "제3 크롭 이미지"는 용어 "눈물언덕 포함 크롭 이미지"와 혼용될 수 있으며, 용어 "제3 우안 크롭 이미지"는 용어 "우안 눈물언덕 포함 크롭 이미지 (right eyelid-included-cropped image)"와 혼용될 수 있으며, 용어 "제3 좌안 크롭 이미지"는 용어 "좌안 눈물언덕 포함 크롭 이미지 (left eyelid-included-cropped image)"와 혼용될 수 있다.
아울러, 이하에서 특별한 언급없이, 용어 "제3 크롭 이미지(또는 눈물언덕 포함 크롭 이미지)"는 제3 우안 크롭 이미지 및 제3 좌안 크롭 이미지 중 어느 하나를 의미하거나 또는 맥락에 따라 둘 모두를 의미할 수 있다.
제3 크롭 이미지는 이미지 내에 눈물언덕에 대한 정보가 포함되도록 생성된 이미지를 의미하는 것으로, 전술한 방식과 상이한 방식에 따라 생성된 크롭 이미지라고 하여도, 눈물언덕에 대응되는 픽셀들이 포함될 수 있도록 크롭 영역의 경계가 결정된 것이라면, 제3 크롭 이미지(눈물언덕 포함 크롭 이미지)라 하여야 할 것이다.
(6) 좌우 반전
좌우 반전의 필요성
본 출원에 의해 제공되는 갑상선 안병증에 관한 임상활동점수를 예측하는 방법에 의하면, 양안 이미지를 사용하는 대신 좌안과 우안 각각에 대하여 크롭된 크롭 이미지를 사용한다.
한편, 눈의 아웃라인은 비대칭적이다. 예를 들어, 우안을 기준으로 하면, 우안의 왼쪽 끝에는 눈물언덕이 있지만 우안의 오른쪽 끝에는 상안검과 하안검이 자연스럽게 만나는 지점이 존재한다.
이에 따라서, 보다 더 빠른 학습 및 보다 더 정확한 예측을 위하여, 우안을 기준으로 학습한 예측모델과 좌안을 기준으로 학습한 예측모델을 구별하여 사용하는 것이 보다 더 효과적이다.
그러나, 좌안과 우안의 선대칭성에 기인하여, 좌안을 우안으로 반전하게 되면 우안과 좌안의 형상적 특징이 서로 유사해지게 된다.
이에 따라, 본 출원의 일 실시예에 따르면, 우안과 좌안 중 어느 하나는 좌우반전을 시키지 않은 채로 사용하고, 다른 하나는 좌우반전을 시켜서 사용하면 하나의 예측모델만 사용할 수 있게 된다. 또는 좌안과 우안에 대해 구별된 예측모델로 학습시키고자 하는 경우, 학습 데이터 셋을 2배로 늘릴 수 있게 된다.
좌우 반전의 방법
이미지를 좌우 반전시킨다(converting left and right of image)는 것은, 반전시키고자하는 이미지를 상하로 가로지르면서 이미지를 좌우로 반으로 나누고 있는 좌우 기준선이 X=a라 할 때, 이미지 내에서의 (a+△, Y) 픽셀에 제1 픽셀값이 대응되어 있고 (a-△, Y) 픽셀에 제2 픽셀값이 대응되어 있는 경우, (a+△, Y)의 픽셀값을 제1 픽셀값에서 제2 픽셀값으로 변경하고, (a-△, Y)의 픽셀값을 제2 픽셀값에서 제1 픽셀값으로 변경하는 것을 의미한다.
좌우 반전 대상 이미지
좌안에 관한 이미지와 우안에 관한 이미지 중 어느 하나의 이미지만 좌우 반전을 시키면 충분하다. 좌안 이미지와 우안 이미지 중 어느 이미지를 좌우반전 시킬 것인지는 후술할 예측모델들의 학습 시에 좌안 이미지와 우안 이미지 중 어느 이미지를 기준으로 학습되었는지 여부에 따라 결정된다.
도 17은 원본 이미지와 좌우 반전 이미지의 다양한 예시를 도시하는 도면들이다. 특히, 도 17의 (a)는 제1 크롭 이미지 및 그에 대한 좌우반전 이미지를, 도 17의 (b)는 제2 크롭 이미지 및 그에 대한 좌우반전 이미지를, 도 17의 (c)는 제3 크롭 이미지 및 그에 대한 좌우반전이미지를 예시적으로 도시한다.
좌우 반전의 선택성
다만, 좌우 반전은 전술한 바와 같이, 좌안에 대한 예측모델과 우안에 대한 예측모델을 일원화시키거나 학습 데이터의 양을 늘이기 위하여 도입되는 것이기 때문에, 필요에 따라, 좌우 반전 전처리는 생략될 수 있다.
(8) 리사이징
리사이징의 필요성
전술한 바와 같이, 눈의 아웃라인을 기준으로 이미지를 크롭하여 사용하게 되는 경우, 사람마다 눈의 크기가 서로 달라서, 크롭된 이미지는 사람마다 서로 다른 크기를 가지게 된다.
한편, 좌안 이미지와 우안 이미지를 독립적으로 크롭하여 획득하게 되는 경우, 좌안과 우안의 크기 차이로 인해 동일한 사람의 좌안 크롭 이미지와 우안 크롭 이미지가 서로 다르다.
이러한 이유로, 후술할 예측모델에 눈 이미지를 입력하기 전에, 눈 이미지의 크기를 각 예측모델에 대응되는 표준 크기로 리사이징할 필요가 있다.
예측모델별 표준 크기
제1 예측모델 내지 제5 예측모델들 각각에 대응되어 있는 표준 크기는 서로 다를 수 있다.
제2 크롭 이미지를 인풋이미지로 사용하는 예측모델들에 대응되어 있는 표준 크기는 서로 동일할 수 있다.
제3 크롭 이미지를 인풋이미지로 사용하는 예측모델들에 대응되어 있는 표준 크기는 서로 동일할 수 있다.
제2 크롭 이미지를 인풋이미지로 사용하는 예측모델들에 대응되어 있는 표준 크기는 제3 크롭 이미지를 인풋이미지로 사용하는 예측모델들에 대응되어 있는 표준 크기와 다를 수 있다.
또는, 제1 예측모델 내지 제5 예측모델들 각각에 대응되어 있는 표준 크기는 모두 동일할 수 있다.
도 18은 제1 예측모델 내지 제5 예측모델들의 표준 크기가 동일한 경우에 대한 리사이징의 예시를 나타낸다.
리사이징의 방법
리사이징 대상 이미지의 크기를 표준 크기로 조절한다.
리사이징 대상 이미지의 너비 또는 높이가 표준 크기의 너비 또는 높이 보다 더 큰 경우, 상기 리사이징 대상 이미지의 너비 또는 높이를 늘일 수 있다.
리사이징 대상 이미지의 너비 또는 높이가 표준 크기의 너비 또는 높이 보다 더 작은 경우, 상기 리사이징 대상 이미지의 너비 또는 높이를 줄일 수 있다.
리사이징 시에, 리사이징 전 이미지의 종횡비(aspect ratio)는 리사이징 후 이미지의 종횡비와 다를 수 있다.
4. 예측 모델
(1) 제1 예측모델
제1 예측모델의 목적 및 동작
제1 예측모델은 결막의 충혈 여부를 예측하기 위한 모델이다.
제1 예측모델은 눈 이미지를 입력 데이터로 받고 입력된 눈 이미지에 캡쳐된 결막이 충혈되었을 확률값을 출력할 수 있다. 특히, 제1 예측모델은 결막의 충혈 여부를 예측하기 위해 학습된 예측모델이기 때문에, 전술한 제1 크롭 이미지가 상기 제1 예측모델에 대해 사용될 수 있다.
제1 예측모델이 제1 좌안 예측모델 및 제1 우안 예측모델을 포함하는 경우, 상기 제1 좌안 예측모델은 좌안 이미지를 입력받아 좌안 이미지에 캡쳐된 결막이 충혈되었을 확률값을 출력하고, 상기 제1 우안 예측모델은 우안 이미지를 입력받아 우안 이미지에 캡쳐된 결막이 충혈되었을 확률값을 출력할 수 있다.
제1 예측모델이 이원화되어 있지 않고 하나의 모델로 구현된 경우, 상기 제1 예측모델은 우안 이미지와 좌안 이미지 중 하나를 입력받아 입력된 이미지에 캡쳐된 결막이 충혈되었을 확률값을 출력하고, 다른 하나를 다시 입력받아 입력된 이미지에 캡쳐된 결막이 충혈되었을 확률값을 출력할 수 있다.
상기 눈 이미지는 전술한 전처리 알고리즘들에 의해 전처리가 된 이미지일 수 있다.
예를 들어, 상기 눈 이미지는 제1 크롭에 따른 전처리가 된 이미지일 수 있다.
다른 예를 들어, 상기 눈 이미지는 제1 크롭 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제1 크롭, 좌우 반전 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
본 명세서에서, 제1 예측모델은 결막 충혈 예측 모델이라고 할 수 있다. 다만, 본 출원에 의해 개시되는 제1 예측모델은 결막 충혈 예측에 대한 결과값 뿐만 아니라 결막 부종 예측에 대한 결과값, 눈물언덕 부종 예측에 대한 결과값, 눈꺼풀 발적 및 눈꺼풀 부종 예측에 대한 결과값을 모두 출력할 수 있다.
인공지능모델의 구조
제1 예측모델을 학습시키기 위하여, 인공지능 모델을 준비할 수 있다.
상기 인공지능 모델은 SVM(Support Vector Machine), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet 및 Vision Transformer 등일 수 있다.
상기 제1 예측모들은 ViT 를 백본 아키텍쳐로 채택할 수 있다. ViT 모델은 단일 스케일 피쳐 맵(single-scale feature map)을 가지는 단순하고 비계층적인 모델로 시각적 인식에 효과적이라고 입증된 모델이다.
ViT는 선형 임베딩(linear embedding), 트랜스포머 인코더(transformer encoder) 및 분류기(classifier)로 구성되어, 인풋 이미지가 모델에 입력되면 복수의 입력 패치들로 분할될 수 있다. 분할된 입력 패치들은 인코더에 공급되며, 분류기로 전달되어 다중 레이블을 예측할 수 있다.
본 출원에 있어서, 상기 인공지능 모델은 5개의 아웃풋 노드를 가질 수 있다.
학습데이터 셋의 준비
제1 예측모델을 학습시키기 위하여, 복수의 학습 데이터 셋들을 준비할 수 있다.
학습 데이터 셋은 눈 이미지 및 그에 대응되는 복수의 평가값들을 포함한다. 상기 눈 이미지는 전술한 제1 크롭 이미지이며, 상기 복수의 평가값들은 상기 눈 이미지에 대응되는 결막의 충혈에 대한 평가값, 결막의 부종에 대한 평가값, 눈물언덕의 부종에 대한 평가값, 눈꺼풀의 발적에 대한 평가값 및 눈꺼풀의 부종에 대한 평가값을 포함하는 5개의 평가값들을 포함한다.
즉, 결막의 충혈을 분석하기 위한 제1 예측모델을 학습하기 위해서, 제1 크롭 이미지 및 그에 대응되는 결막의 충혈에 대한 평가값만 포함하는 학습데이터 셋을 사용하여도 되지만, 본 출원에서는, 상기 제1 예측모델을 학습시키기 위하여 제1 크롭 이미지 및 전술한 5가지의 평가값들을 모두 사용한다.
이로써, 본 출원에 의해 개시되는 제1 예측모델은 결막의 충혈을 분석하는 데에 있어서, 결막의 부종, 눈물언덕의 부종, 눈꺼풀의 발적 및 눈꺼풀의 부종에 대한 증상을 고려할 수 있도록 학습되기 때문에, 보다 더 정확하게 결막의 충혈을 예측한 것으로 판단된다.
제1 예측모델의 학습
전술한 바와 같이 준비된 복수의 학습 데이터 셋들을 이용하여, 상기 인공지능 모델에 준비된 복수의 학습 데이터 셋들에 포함된 눈 이미지들을 입력하고, 입력된 눈 이미지들 각각에 대응되는 평가값들과 상기 인공지능 모델에서 출력되는 출력값을 이용하여 학습시킬 수 있다.
만약, 제1 예측모델이 제1 좌안 예측모델 및 제1 우안 예측모델을 포함하는 경우, 제1 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있고, 제1 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있다. 한편, 학습 데이터 셋들의 수를 늘리기 위하여, 제1 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있으며, 제1 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
만약, 제1 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함하거나 또는 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있다. 또는 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함하거나 또는 좌우반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
한편, 상기 제1 예측모델을 학습시킴에 있어서, 우안 이미지와 좌안 이미지의 구별없이 결막의 충혈 여부에 대한 예측을 할 수 있도록 하기 위하여 우안 이미지, 좌우 반전된 우안 이미지, 좌안 이미지 및 좌우 반전된 좌안 이미지를 모두 하나의 모델을 학습시키기 위한 학습데이터로 사용될 수 있다.
예를 들어, 제1 예측모델이 제1 좌안 예측모델 및 제1 우안 예측모델을 포함하는 경우, 제1 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들, 좌우반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있고, 제1 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
만약, 제1 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌우 반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들, 그리고 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
(2) 제2 예측모델
제2 예측모델의 목적 및 동작
제2 예측모델은 결막의 부종 여부를 예측하기 위한 모델이다.
제2 예측모델은 눈 이미지를 입력 데이터로 받고 입력된 눈 이미지에 캡쳐된 결막에 부종이 존재할 확률값을 출력할 수 있다. 특히, 제2 예측모델은 결막의 부종 여부를 예측하기 위해 학습된 예측모델이기 때문에, 전술한 제1 크롭 이미지가 상기 제2 예측모델에 대해 사용될 수 있다.
제2 예측모델이 제2 좌안 예측모델 및 제2 우안 예측모델을 포함하는 경우, 상기 제2 좌안 예측모델은 좌안 이미지를 입력받아 좌안 이미지에 캡쳐된 결막에 부종이 존재할 확률값을 출력하고, 상기 제2 우안 예측모델은 우안 이미지를 입력받아 우안 이미지에 캡쳐된 결막에 부종이 존재할 확률값을 출력할 수 있다.
제2 예측모델이 이원화되어 있지 않고 하나의 모델로 구현된 경우, 상기 제2 예측모델은 우안 이미지와 좌안 이미지 중 하나를 입력받아 입력된 이미지에 캡쳐된 결막에 부종이 존재할 확률값을 출력하고, 다른 하나를 다시 입력받아 입력된 이미지에 캡쳐된 결막에 부종이 존재할 확률값을 출력할 수 있다.
상기 눈 이미지는 전술한 전처리 알고리즘들에 의해 전처리가 된 이미지일 수 있다.
예를 들어, 상기 눈 이미지는 제1 크롭에 따른 전처리가 된 이미지일 수 있다.
다른 예를 들어, 상기 눈 이미지는 제1 크롭 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제1 크롭, 좌우 반전 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
본 명세서에서, 제2 예측모델은 결막 부종 예측 모델이라고 할 수 있다. 다만, 본 출원에 의해 개시되는 제2 예측모델은 결막 부종 예측에 대한 결과값 뿐만 아니라 결막 충혈 예측에 대한 결과값, 눈물언덕 부종 예측에 대한 결과값, 눈꺼풀 발적 및 눈꺼풀 부종 예측에 대한 결과값을 모두 출력할 수 있다.
인공지능모델의 구조
제2 예측모델을 학습시키기 위하여, 인공지능 모델을 준비할 수 있다.
상기 인공지능 모델은 SVM(Support Vector Machine), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet 및 Vision Transformer 등일 수 있다.
본 출원에 있어서, 상기 인공지능 모델은 5개의 아웃풋 노드를 가질 수 있다.
제2 예측모델을 학습시키기 위한 인공지능 모델에 대한 설명은 전술한 제1 예측모델을 학습에서 설명한 부분과 동일하거나 매우 유사하므로 여기서는 자세한 설명을 생략한다.
학습데이터 셋의 준비
제2 예측모델을 학습시키기 위하여, 복수의 학습 데이터 셋들을 준비할 수 있다.
학습 데이터 셋은 눈 이미지 및 그에 대응되는 복수의 평가값들을 포함한다. 상기 눈 이미지는 전술한 제1 크롭 이미지이며, 상기 복수의 평가값들은 상기 눈 이미지에 대응되는 결막의 충혈에 대한 평가값, 결막의 부종에 대한 평가값, 눈물언덕의 부종에 대한 평가값, 눈꺼풀의 발적에 대한 평가값 및 눈꺼풀의 부종에 대한 평가값을 포함하는 5개의 평가값들을 포함한다.
즉, 결막의 부종을 분석하기 위한 제2 예측모델을 학습하기 위해서, 제1 크롭 이미지 및 그에 대응되는 결막의 부종에 대한 평가값만 포함하는 학습데이터 셋을 사용하여도 되지만, 본 출원에서는, 상기 제2 예측모델을 학습시키기 위하여 제1 크롭 이미지 및 전술한 5가지의 평가값들을 모두 사용한다.
이로써, 본 출원에 의해 개시되는 제2 예측모델은 결막의 부종을 분석하는 데에 있어서, 결막의 충혈, 눈물언덕의 부종, 눈꺼풀의 발적 및 눈꺼풀의 부종에 대한 증상을 고려할 수 있도록 학습되기 때문에, 보다 더 정확하게 결막의 부종을 예측한 것으로 판단된다.
제2 예측모델의 학습
전술한 바와 같이 준비된 복수의 학습 데이터 셋들을 이용하여, 상기 인공지능 모델에 준비된 복수의 학습 데이터 셋들에 포함된 눈 이미지들을 입력하고, 입력된 눈 이미지들 각각에 대응되는 평가값들과 상기 인공지능 모델에서 출력되는 출력값을 이용하여 학습시킬 수 있다.
만약, 제2 예측모델이 제2 좌안 예측모델 및 제2 우안 예측모델을 포함하는 경우, 제2 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있고, 제2 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있다. 한편, 학습 데이터 셋들의 수를 늘리기 위하여, 제2 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있으며, 제2 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
만약, 제2 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함하거나 또는 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있다. 또는 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함하거나 또는 좌우반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
한편, 상기 제2 예측모델을 학습시킴에 있어서, 우안 이미지와 좌안 이미지의 구별없이 결막의 부종 여부에 대한 예측을 할 수 있도록 하기 위하여 우안 이미지, 좌우 반전된 우안 이미지, 좌안 이미지 및 좌우 반전된 좌안 이미지를 모두 하나의 모델을 학습시키기 위한 학습데이터로 사용될 수 있다.
예를 들어, 제2 예측모델이 제2 좌안 예측모델 및 제2 우안 예측모델을 포함하는 경우, 제2 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들, 좌우반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있고, 제2 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
만약, 제2 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌우 반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들, 그리고 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
(3) 제3 예측모델
제3 예측모델의 목적 및 동작
제3 예측모델은 눈물언덕의 부종 여부를 예측하기 위한 모델이다.
제3 예측모델은 눈 이미지를 입력 데이터로 받고 입력된 눈 이미지에 캡쳐된 눈물언덕에 부종이 존재할 확률값을 출력할 수 있다. 특히, 제3 예측모델은 눈물언덕의 부종 여부를 예측하기 위해 학습된 예측모델이기 때문에, 전술한 제3 크롭 이미지가 상기 제3 예측모델에 대해 사용될 수 있다.
제3 예측모델이 제3 좌안 예측모델 및 제3 우안 예측모델을 포함하는 경우, 상기 제3 좌안 예측모델은 좌안 이미지를 입력받아 좌안 이미지에 캡쳐된 눈물언덕에 부종이 존재할 확률값을 출력하고, 상기 제3 우안 예측모델은 우안 이미지를 입력받아 우안 이미지에 캡쳐된 눈물언덕에 부종이 존재할 확률값을 출력할 수 있다.
제3 예측모델이 이원화되어 있지 않고 하나의 모델로 구현된 경우, 상기 제3 예측모델은 우안 이미지와 좌안 이미지 중 하나를 입력받아 입력된 이미지에 캡쳐된 눈물언덕에 부종이 존재할 확률값을 출력하고, 다른 하나를 다시 입력받아 입력된 이미지에 캡쳐된 눈물언덕에 부종이 존재할 확률값을 출력할 수 있다.
상기 눈 이미지는 전술한 전처리 알고리즘들에 의해 전처리가 된 이미지일 수 있다.
예를 들어, 상기 눈 이미지는 제3 크롭에 따른 전처리가 된 이미지일 수 있다.
다른 예를 들어, 상기 눈 이미지는 제3 크롭 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제3 크롭, 좌우 반전 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
본 명세서에서, 제3 예측모델은 눈물언덕 부종 예측 모델이라고 할 수 있다. 다만, 본 출원에 의해 개시되는 제3 예측모델은 눈물언덕 부종 예측에 대한 결과값 뿐만 아니라 결막 충혈 예측에 대한 결과값, 결막 부종 예측에 대한 결과값, 눈꺼풀 발적 및 눈꺼풀 부종 예측에 대한 결과값을 모두 출력할 수 있다.
인공지능모델의 구조
제3 예측모델을 학습시키기 위하여, 인공지능 모델을 준비할 수 있다.
상기 인공지능 모델은 SVM(Support Vector Machine), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet 및 Vision Transformer 등일 수 있다.
본 출원에 있어서, 상기 인공지능 모델은 5개의 아웃풋 노드를 가질 수 있다.
제3 예측모델을 학습시키기 위한 인공지능 모델에 대한 설명은 전술한 제1 예측모델을 학습에서 설명한 부분과 동일하거나 매우 유사하므로 여기서는 자세한 설명을 생략한다.
학습데이터 셋의 준비
제3 예측모델을 학습시키기 위하여, 복수의 학습 데이터 셋들을 준비할 수 있다.
학습 데이터 셋은 눈 이미지 및 그에 대응되는 복수의 평가값들을 포함한다. 상기 눈 이미지는 전술한 제3 크롭 이미지이며, 상기 복수의 평가값들은 상기 눈 이미지에 대응되는 결막의 충혈에 대한 평가값, 결막의 부종에 대한 평가값, 눈물언덕의 부종에 대한 평가값, 눈꺼풀의 발적에 대한 평가값 및 눈꺼풀의 부종에 대한 평가값을 포함하는 5개의 평가값들을 포함한다.
즉, 눈물언덕의 부종을 분석하기 위한 제3 예측모델을 학습하기 위해서, 제3 크롭 이미지 및 그에 대응되는 눈물언덕의 부종에 대한 평가값만 포함하는 학습데이터 셋을 사용하여도 되지만, 본 출원에서는, 상기 제3 예측모델을 학습시키기 위하여 제3 크롭 이미지 및 전술한 5가지의 평가값들을 모두 사용한다.
이로써, 본 출원에 의해 개시되는 제3 예측모델은 눈물언덕의 부종을 분석하는 데에 있어서, 결막의 충혈, 결막의 부종, 눈꺼풀의 발적 및 눈꺼풀의 부종에 대한 증상을 고려할 수 있도록 학습되기 때문에, 보다 더 정확하게 눈물언덕의 부종을 예측한 것으로 판단된다.
제3 예측모델의 학습
전술한 바와 같이 준비된 복수의 학습 데이터 셋들을 이용하여, 상기 인공지능 모델에 준비된 복수의 학습 데이터 셋들에 포함된 눈 이미지들을 입력하고, 입력된 눈 이미지들 각각에 대응되는 평가값들과 상기 인공지능 모델에서 출력되는 출력값을 이용하여 학습시킬 수 있다.
만약, 제3 예측모델이 제3 좌안 예측모델 및 제3 우안 예측모델을 포함하는 경우, 제3 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있고, 제3 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있다. 한편, 학습 데이터 셋들의 수를 늘리기 위하여, 제3 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있으며, 제3 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
만약, 제3 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함하거나 또는 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있다. 또는 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함하거나 또는 좌우반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
한편, 상기 제3 예측모델을 학습시킴에 있어서, 우안 이미지와 좌안 이미지의 구별없이 눈물언덕의 부종 여부에 대한 예측을 할 수 있도록 하기 위하여 우안 이미지, 좌우 반전된 우안 이미지, 좌안 이미지 및 좌우 반전된 좌안 이미지를 모두 하나의 모델을 학습시키기 위한 학습데이터로 사용될 수 있다.
예를 들어, 제3 예측모델이 제3 좌안 예측모델 및 제3 우안 예측모델을 포함하는 경우, 제3 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들, 좌우반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있고, 제3 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
만약, 제3 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌우 반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들, 그리고 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
(4) 제4 예측모델
제4 예측모델의 목적 및 동작
제4 예측모델은 눈꺼풀의 발적 여부를 예측하기 위한 모델이다.
제4 예측모델은 눈 이미지를 입력 데이터로 받고 입력된 눈 이미지에 캡쳐된 눈꺼풀 발적이 있을 확률값을 출력할 수 있다.
제4 예측모델이 제4 좌안 예측모델 및 제4 우안 예측모델을 포함하는 경우, 상기 제4 좌안 예측모델은 좌안 이미지를 입력받아 좌안 이미지에 캡쳐된 눈꺼풀 발적이 있을 확률값을 출력하고, 상기 제4 우안 예측모델은 우안 이미지를 입력받아 우안 이미지에 캡쳐된 눈꺼풀 발적이 있을 확률값을 출력할 수 있다.
제4 예측모델이 이원화되어 있지 않고 하나의 모델로 구현된 경우, 상기 제4 예측모델은 우안 이미지와 좌안 이미지 중 하나를 입력받아 입력된 이미지에 캡쳐된 눈꺼풀 발적이 있을 확률값을 출력하고, 다른 하나를 다시 입력받아 입력된 이미지에 캡쳐된 눈꺼풀 발적이 있을 확률값을 출력할 수 있다.
상기 눈 이미지는 전술한 전처리 알고리즘들에 의해 전처리가 된 이미지일 수 있다.
예를 들어, 상기 눈 이미지는 제2 크롭에 따른 전처리가 된 이미지일 수 있다.
다른 예를 들어, 상기 눈 이미지는 제2 크롭 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제2 크롭, 좌우 반전 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
본 명세서에서, 제4 예측모델은 눈꺼풀 충혈 예측 모델이라고 할 수 있다. 다만, 본 출원에 의해 개시되는 제4 예측모델은 눈꺼풀 발적 예측에 대한 결과값 뿐만 아니라 결막 충혈 예측에 대한 결과값, 결막 부종 예측에 대한 결과값, 눈물언덕 부종 예측에 대한 결과값 및 눈꺼풀 부종 예측에 대한 결과값을 모두 출력할 수 있다.
인공지능모델의 구조
제4 예측모델을 학습시키기 위하여, 인공지능 모델을 준비할 수 있다.
상기 인공지능 모델은 SVM(Support Vector Machine), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet 및 Vision Transformer 등일 수 있다.
본 출원에 있어서, 상기 인공지능 모델은 5개의 아웃풋 노드를 가질 수 있다.
제4 예측모델을 학습시키기 위한 인공지능 모델에 대한 설명은 전술한 제1 예측모델을 학습에서 설명한 부분과 동일하거나 매우 유사하므로 여기서는 자세한 설명을 생략한다.
학습데이터 셋의 준비
제4 예측모델을 학습시키기 위하여, 복수의 학습 데이터 셋들을 준비할 수 있다.
학습 데이터 셋은 눈 이미지 및 그에 대응되는 복수의 평가값들을 포함한다. 상기 눈 이미지는 전술한 제2 크롭 이미지이며, 상기 복수의 평가값들은 상기 눈 이미지에 대응되는 결막의 충혈에 대한 평가값, 결막의 부종에 대한 평가값, 눈물언덕의 부종에 대한 평가값, 눈꺼풀의 발적에 대한 평가값 및 눈꺼풀의 부종에 대한 평가값을 포함하는 5개의 평가값들을 포함한다.
즉, 눈꺼풀의 발적을 분석하기 위한 제4 예측모델을 학습하기 위해서, 제2 크롭 이미지 및 그에 대응되는 눈꺼풀의 발적에 대한 평가값만 포함하는 학습데이터 셋을 사용하여도 되지만, 본 출원에서는, 상기 제4 예측모델을 학습시키기 위하여 제2 크롭 이미지 및 전술한 5가지의 평가값들을 모두 사용한다.
이로써, 본 출원에 의해 개시되는 제4 예측모델은 눈꺼풀의 발적을 분석하는 데에 있어서, 결막의 충혈, 결막의 부종, 눈물언덕의 부종 및 눈꺼풀의 부종에 대한 증상을 고려할 수 있도록 학습되기 때문에, 보다 더 정확하게 눈꺼풀의 발적을 예측한 것으로 판단된다.
제4 예측모델의 학습
전술한 바와 같이 준비된 복수의 학습 데이터 셋들을 이용하여, 상기 인공지능 모델에 준비된 복수의 학습 데이터 셋들에 포함된 눈 이미지들을 입력하고, 입력된 눈 이미지들 각각에 대응되는 평가값들과 상기 인공지능 모델에서 출력되는 출력값을 이용하여 학습시킬 수 있다.
만약, 제4 예측모델이 제4 좌안 예측모델 및 제4 우안 예측모델을 포함하는 경우, 제4 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있고, 제4 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있다. 한편, 학습 데이터 셋들의 수를 늘리기 위하여, 제4 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있으며, 제4 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
만약, 제4 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함하거나 또는 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있다. 또는 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함하거나 또는 좌우반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
한편, 상기 제4 예측모델을 학습시킴에 있어서, 우안 이미지와 좌안 이미지의 구별없이 눈꺼풀의 발적 여부에 대한 예측을 할 수 있도록 하기 위하여 우안 이미지, 좌우 반전된 우안 이미지, 좌안 이미지 및 좌우 반전된 좌안 이미지를 모두 하나의 모델을 학습시키기 위한 학습데이터로 사용될 수 있다.
예를 들어, 제4 예측모델이 제4 좌안 예측모델 및 제4 우안 예측모델을 포함하는 경우, 제4 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들, 좌우반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있고, 제4 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
만약, 제4 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌우 반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들, 그리고 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
(5) 제5 예측모델
제5 예측모델의 목적 및 동작
제5 예측모델은 눈꺼풀의 부종 여부를 예측하기 위한 모델이다.
제5 예측모델은 눈 이미지를 입력 데이터로 받고 입력된 눈 이미지에 캡쳐된 눈꺼풀에 부종이 존재할 확률값을 출력할 수 있다.
제5 예측모델이 제5 좌안 예측모델 및 제5 우안 예측모델을 포함하는 경우, 상기 제5 좌안 예측모델은 좌안 이미지를 입력받아 좌안 이미지에 캡쳐된 눈꺼풀에 부종이 존재할 확률값을 출력하고, 상기 제5 우안 예측모델은 우안 이미지를 입력받아 우안 이미지에 캡쳐된 눈꺼풀에 부종이 존재할 확률값을 출력할 수 있다.
제5 예측모델이 이원화되어 있지 않고 하나의 모델로 구현된 경우, 상기 제5 예측모델은 우안 이미지와 좌안 이미지 중 하나를 입력받아 입력된 이미지에 캡쳐된 눈꺼풀에 부종이 존재할 확률값을 출력하고, 다른 하나를 다시 입력받아 입력된 이미지에 캡쳐된 눈꺼풀에 부종이 존재할 확률값을 출력할 수 있다.
상기 눈 이미지는 전술한 전처리 알고리즘들에 의해 전처리가 된 이미지일 수 있다.
예를 들어, 상기 눈 이미지는 제2 크롭에 따른 전처리가 된 이미지일 수 있다.
다른 예를 들어, 상기 눈 이미지는 제2 크롭 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제2 크롭, 좌우 반전 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
본 명세서에서, 제5 예측모델은 눈꺼풀 부종 예측 모델이라고 할 수 있다. 다만, 본 출원에 의해 개시되는 제5 예측모델은 눈꺼풀 부종 예측에 대한 결과값 뿐만 아니라 결막 충혈 예측에 대한 결과값, 결막 부종 예측에 대한 결과값, 눈물언덕 부종 예측에 대한 결과값 및 눈꺼풀 발적 예측에 대한 결과값을 모두 출력할 수 있다.
인공지능모델의 구조
제5 예측모델을 학습시키기 위하여, 인공지능 모델을 준비할 수 있다.
상기 인공지능 모델은 SVM(Support Vector Machine), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet 및 Vision Transformer 등일 수 있다.
본 출원에 있어서, 상기 인공지능 모델은 5개의 아웃풋 노드를 가질 수 있다.
제5 예측모델을 학습시키기 위한 인공지능 모델에 대한 설명은 전술한 제1 예측모델을 학습에서 설명한 부분과 동일하거나 매우 유사하므로 여기서는 자세한 설명을 생략한다.
학습데이터 셋의 준비
제5 예측모델을 학습시키기 위하여, 복수의 학습 데이터 셋들을 준비할 수 있다.
학습 데이터 셋은 눈 이미지 및 그에 대응되는 복수의 평가값들을 포함한다. 상기 눈 이미지는 전술한 제2 크롭 이미지이며, 상기 복수의 평가값들은 상기 눈 이미지에 대응되는 결막의 충혈에 대한 평가값, 결막의 부종에 대한 평가값, 눈물언덕의 부종에 대한 평가값, 눈꺼풀의 발적에 대한 평가값 및 눈꺼풀의 부종에 대한 평가값을 포함하는 5개의 평가값들을 포함한다.
즉, 눈꺼풀의 부종을 분석하기 위한 제5 예측모델을 학습하기 위해서, 제2 크롭 이미지 및 그에 대응되는 눈꺼풀의 부종에 대한 평가값만 포함하는 학습데이터 셋을 사용하여도 되지만, 본 출원에서는, 상기 제5 예측모델을 학습시키기 위하여 제2 크롭 이미지 및 전술한 5가지의 평가값들을 모두 사용한다.
이로써, 본 출원에 의해 개시되는 제5 예측모델은 눈꺼풀의 부종을 분석하는 데에 있어서, 결막의 충혈, 결막의 부종, 눈물언덕의 부종 및 눈꺼풀의 발적에 대한 증상을 고려할 수 있도록 학습되기 때문에, 보다 더 정확하게 눈꺼풀의 부종을 예측한 것으로 판단된다.
제5 예측모델의 학습
전술한 바와 같이 준비된 복수의 학습 데이터 셋들을 이용하여, 상기 인공지능 모델에 준비된 복수의 학습 데이터 셋들에 포함된 눈 이미지들을 입력하고, 입력된 눈 이미지들 각각에 대응되는 평가값들과 상기 인공지능 모델에서 출력되는 출력값을 이용하여 학습시킬 수 있다.
만약, 제5 예측모델이 제5 좌안 예측모델 및 제5 우안 예측모델을 포함하는 경우, 제5 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있고, 제5 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있다. 한편, 학습 데이터 셋들의 수를 늘리기 위하여, 제5 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있으며, 제5 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
만약, 제5 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함하거나 또는 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 결막의 충혈에 관한 평가값, 결막의 부종에 관한 평가값, 눈물언덕의 부종에 관한 평가값, 눈꺼풀의 발적에 관한 평가값 및 눈꺼풀의 부종에 관한 평가값을 포함할 수 있다. 또는 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함하거나 또는 좌우반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
한편, 상기 제5 예측모델을 학습시킴에 있어서, 우안 이미지와 좌안 이미지의 구별없이 눈꺼풀의 부종 여부에 대한 예측을 할 수 있도록 하기 위하여 우안 이미지, 좌우 반전된 우안 이미지, 좌안 이미지 및 좌우 반전된 좌안 이미지를 모두 하나의 모델을 학습시키기 위한 학습데이터로 사용될 수 있다.
예를 들어, 제5 예측모델이 제5 좌안 예측모델 및 제5 우안 예측모델을 포함하는 경우, 제5 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들, 좌우반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있고, 제5 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
만약, 제5 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌우 반전된 우안 이미지 및 상기 우안 이미지에 대응되는 5가지의 평가값들, 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들, 그리고 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 대응되는 5가지의 평가값들을 포함할 수 있다.
예측모델들의 학습은 전자기기에 의해 수행될 수 있으며, 특히 전술한 서버(20)에 의해 수행될 수 있다. 아울러, 전자기기 또는 서버(20)에 의해 예측모델들이 학습된다는 것의 의미는 입력 데이터에 대한 예측모델의 출력값이 해당 입력 데이터에 대해 라벨링되어 있는 출력값과 유사한 값을 출력하도록 만드는 일련의 과정들을 의미하며, 이를 위해 전자기기 또는 서버(20)는 예측모델의 출력값과 라벨링값들의 차이를 이용하여 예측모델에 포함되어 있는 각 노드들의 가중치(weight value)를 변경할 수 있다. 이 때, 전자기기 또는 서버(20)는 여러가지 피드백 함수들을 사용하여 각 노드들의 가중치 값의 변경량 등을 결정할 수 있다.
이하에서는, 전술한 시스템(1)을 통해서, 눈 이미지를 전처리하고, 전처리된 눈 이미지를 전술한 예측모델에 입력하여, 갑상선 안병증 임상활동점수에 관련된 각 증상에 대해 예측하는 방법, 각 증상에 대한 예측결과에 기초하여 임상활동점수를 예측하는 방법, 나아가 임상활동점수의 예측 결과를 모니터링하여 모니터링 결과에 따라 사용자에게 병원에 방문하여 검진을 받을 수 있도록 안내하거나 혹은 추천하는 방법에 대해서 설명한다.
5. 결막 충혈 예측방법
본 출원에 의해 개시되는 결막 충혈 예측 방법은 서버(20)에 의해 수행될 수 있다.
도 19는 결막 충혈 예측 방법을 설명하기 위한 흐름도이다.
도 19를 참고하면, 서버(20)는 얼굴 이미지를 획득하고(S100), 상기 획득된 얼굴 이미지를 전처리하고(S110), 상기 전처리된 이미지를 전술한 제1 예측모델(결막 충혈 예측모델)에 입력하고(S120), 상기 제1 예측모델의 출력값을 획득한다(S130).
얼굴 이미지의 획득
상기 서버(20)는 얼굴 이미지를 획득한다(S100). 상기 서버(20)는 상기 얼굴 이미지를 상기 사용자 단말기(10)로부터 획득할 수 있다.
얼굴 이미지의 전처리
상기 서버(20)는 상기 획득된 얼굴 이미지를 전처리할 수 있다(S110). 상기 서버(20)는 상기 획득된 얼굴 이미지에 전술한 제1 크롭, 좌우반전 및 리사이징을 할 수 있다.
크롭 처리
상기 서버(20)는 상기 얼굴 이미지 또는 양안을 포함하는 얼굴 이미지의 일부를 크롭할 수 있다. 상기 서버(20)는 상기 얼굴 이미지 등을 크롭하여 좌안 크롭 이미지 및 우안 크롭 이미지를 생성할 수 있다. 결막 충혈 예측 방법을 수행할 때, 상기 서버(20)는 전술한 3가지의 크롭 방법들 중 제1 크롭(외부로 노출된 안구 크롭) 방법을 사용할 수 있다. 제1 크롭 방법에 관해서는 이미 상세히 설명한 바 있으므로 여기서는 자세한 설명을 생략한다.
리사이징 처리 및 좌우 반전 처리
상기 서버(20)는 상기 좌안 크롭 이미지 및 상기 우안 크롭 이미지의 크기를 미리 정해진 사이즈로 리사이징 할 수 있다.
한편, 상기 서버(20)는 상기 좌안 크롭 이미지 및 상기 우안 크롭 이미지 중 적어도 하나를 전술한 바와 같이 좌우 반전시킬 수 있다. 상기 서버(20)는 상기 좌안 크롭 이미지 및 상기 우안 크롭 이미지 중 다른 하나는 좌우 반전시키지 않는다. 이때, 좌안 이미지와 좌안 이미지 중 어느 이미지를 좌우반전시킬지를 결정하는 기준은 상기 제1 예측모델을 학습시킬 때 적용하였던 기준과 동일한 기준으로 결정한다. 즉, 제1 예측 모델을 학습시킬 때, 좌안 이미지를 반전시키고 우안 이미지를 반전시키지 않은 경우, 이와 동일하게 상기 서버(20)는 좌안 이미지를 반전시키고 우안 이미지를 반전시키지 않는다.
만약, 전술한 바와 같이, 제1 예측모델을 구현함에 있어서, 제1 좌안 예측모델 및 제1 우안 예측모델로 이원화한 경우, 상기 서버(20)는 좌우 반전 처리를 수행하지 않을 수 있다.
한편, 전처리를 수행함에 있어서, 크롭 처리, 리사이징 처리, 좌우 반전 처리를 하는 것으로 설명하였으나, 각 전처리들의 순서는 본 출원에 의해 개시되는 결막 충혈 예측방법의 목적을 달성할 수 있는 범위 내에서 변경될 수 있다.
전처리된 이미지의 입력
상기 서버(20)는 상기 전처리된 이미지를 상기 제1 예측모델에 입력할 수 있다(S120).
상기 서버(20)는, 상기 제1 예측모델을 이원화시키지 않고 하나의 모델로 구현한 경우, 상기 우안 전처리 이미지 및 좌우 반전된 좌안 전처리 이미지를 순차적으로 상기 제1 예측모델에 입력한다.
만약, 제1 예측모델을 구현함에 있어서 제1 좌안 예측모델 및 제1 우안 예측모델로 이원화한 경우, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하고, 상기 우안 전처리 이미지를 상기 제1 우안 예측모델에 입력한다. 또는 상기 서버(20)는 상기 좌안 전처리 이미지와 상기 좌우반전된 우안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하고, 상기 우안 전처리 이미지와 상기 좌우반전된 좌안 전처리 이미지를 상기 제1 우안 예측모델에 입력할 수 있다.
만약, 제1 예측모델을 구현함에 있어서, 제1 예측모델을 이원화시키지 않고 하나의 모델로 구현하면서 동시에 좌안 이미지와 우안 이미지를 구별하지 않고 결막의 충혈 여부를 판단할 수 있도록 학습된 경우, 상기 서버(20)는 상기 좌안 전처리 이미지 및 상기 우안 전처리 이미지를, 좌우반전 없이, 상기 제1 예측모델에 입력할 수 있다. 또는 상기 서버(20)는 상기 좌안 전처리 이미지, 상기 좌우 반전된 좌안 전처리 이미지, 상기 우안 전처리 이미지 및 상기 좌우 반전된 우안 전처리 이미지를 상기 제1 예측모델에 입력할 수 있다.
결막 충혈 예측 결과
상기 서버(20)는 상기 제1 예측모델로부터 출력되는 결과값을 획득할 수 있다(S130). 상기 결과값은 이미지에 캡쳐된 결막이 충혈되어있을 예측되는 확률값일 수 있다. 다만, 전술한 바와 같이, 상기 제1 예측모델은 결막 충혈 예측값 뿐만 아니라, 결막 부종 예측값, 눈물언덕 부종 예측값, 눈꺼풀 발적 예측값 및 눈꺼풀 부종 예측값을 모두 출력하도록 학습되었기 때문에, 상기 서버(20)는 상기 제1 예측모델로부터 5가지 평가값에 관한 결과값을 모두 획득할 수 있다. 이때, 상기 서버(20)는 전술한 결막 충혈 예측값 뿐만 아니라, 결막 부종 예측값, 눈물언덕 부종 예측값, 눈꺼풀 발적 예측값 및 눈꺼풀 부종 예측값 중 결막 충혈 예측값만 선택한다. 아울러, 선택된 결막 충혈 예측값과 쓰레숄드 사이의 관계 및 좌안과 우안에 대한 예측결과에 토대로하여 최종적으로 결막의 충혈 여부에 대한 결과를 출력할 수 있다.
만약, 상기 서버(20)가 상기 좌안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하고, 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 우안 예측모델에 입력하고, 상기 우안 전처리 이미지를 상기 제1 우안 예측모델에 입력하고, 상기 좌우 반전된 우안 전처리 이미지를 상기 제1 좌안 예측모델에 입력한 경우, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 우안 예측모델에 입력하여 획득한 결과를 모두 고려하여 상기 좌안에 대한 예측 결과를 획득할 수 있다. 이때, 상기 서버(20)는 상기 우안 전처리 이미지를 상기 제1 우안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 우안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하여 획득한 결과를 모두 고려하여 상기 우안에 대한 예측 결과를 획득할 수 있다.
예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 우안 예측모델에 입력하여 획득한 결과의 평균값이 상기 쓰레숄드값 이상인지 여부에 기초하여 상기 좌안에 대한 예측 결과를 획득할 수 있다.
다른 예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 우안 예측모델에 입력하여 획득한 결과 중 어느 하나의 값이 전술한 쓰레숄드값 이상인 경우, 상기 좌안의 결막이 충혈되었다고 예측할 수 있다.
또 다른 예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 우안 예측모델에 입력하여 획득한 결과 모두가 전술한 쓰레숄드값 이상인 경우, 상기 좌안의 결막이 충혈되었다고 예측할 수 있다.
만약, 상기 서버(20)는 상기 좌안 전처리 이미지, 상기 좌우 반전된 좌안 전처리 이미지, 상기 우안 전처리 이미지 및 상기 좌우 반전된 우안 전처리 이미지를 이원화되지 않은 상기 제1 예측모델에 입력한 경우, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과를 모두 고려하여 상기 좌안에 대한 예측 결과를 획득할 수 있다. 이때, 상기 서버(20)는 상기 우안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 우안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과를 모두 고려하여 상기 우안에 대한 예측 결과를 획득할 수 있다.
예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과의 평균값이 상기 쓰레숄드값 이상인지 여부에 기초하여 상기 좌안에 대한 예측 결과를 획득할 수 있다.
다른 예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과 중 어느 하나의 값이 전술한 쓰레숄드값 이상인 경우, 상기 좌안의 결막이 충혈되었다고 예측할 수 있다.
또 다른 예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과 모두가 전술한 쓰레숄드값 이상인 경우, 상기 좌안의 결막이 충혈되었다고 예측할 수 있다.
전술한 방식은 우안의 결막 충혈 여부를 판단하는 데에도 유사하게 적용될 수 있다.
6. 결막 부종 예측방법
본 출원에 의해 개시되는 결막 부종 예측 방법은 서버(20)에 의해 수행될 수 있다.
도 20은 결막 부종 예측 방법을 설명하기 위한 흐름도이다.
도 20을 참고하면, 서버(20)는 얼굴 이미지를 획득하고(S200), 상기 획득된 얼굴 이미지를 전처리하고(S210), 상기 전처리된 이미지를 전술한 제2 예측모델(결막 부종 예측모델)에 입력하고(S220), 상기 제2 예측모델의 출력값을 획득한다(S230).
상기 결막 부종 예측방법은 제1 예측모델 대신 제2 예측모델을 사용한다는 점, 그리고 최종적으로 획득되는 결과값이 결막에 부종이 있는지 여부에 대한 예측값이라는 점(5가지의 결과값들 중 결막 부종에 관한 결과값만을 선택함)을 제외하면, 결막 충혈 예측방법과 동일하거나 매우 유사하기 때문에, 자세한 설명은 생략하기로 한다.
7. 눈물언덕 부종 예측방법
본 출원에 의해 개시되는 눈물언덕 부종 예측 방법은 서버(20)에 의해 수행될 수 있다.
도 21은 눈물언덕 부종 예측 방법을 설명하기 위한 흐름도이다.
도 21을 참고하면, 서버(20)는 얼굴 이미지를 획득하고(S300), 상기 획득된 얼굴 이미지를 전처리하고(S310), 상기 전처리된 이미지를 전술한 제3 예측모델(눈물언덕 부종 예측모델)에 입력하고(S320), 상기 제3 예측모델의 출력값을 획득한다(S330).
상기 결막 부종 예측방법은 제1 예측모델 대신 제3 예측모델을 사용한다는 점, 제1 크롭 이미지 대신 제3 크롭 이미지를 사용한다는 점, 그리고 최종적으로 획득되는 결과값이 눈물언덕에 부종이 있는지 여부에 대한 예측값이라는 점(5가지의 결과값들 중 눈물언덕 부종에 관한 결과값만을 선택함)을 제외하면, 결막 충혈 예측방법과 동일하거나 매우 유사하기 때문에, 자세한 설명은 생략하기로 한다.
8. 눈꺼풀 발적 예측방법
본 출원에 의해 개시되는 눈꺼풀 발적 예측 방법은 서버(20)에 의해 수행될 수 있다.
도 22는 눈꺼풀 발적 예측 방법을 설명하기 위한 흐름도이다.
도 22를 참고하면, 서버(20)는 얼굴 이미지를 획득하고(S400), 상기 획득된 얼굴 이미지를 전처리하고(S410), 상기 전처리된 이미지를 전술한 제4 예측모델(눈꺼풀 발적 예측모델)에 입력하고(S420), 상기 제4 예측모델의 출력값을 획득한다(S430).
상기 눈꺼풀 발적 예측방법은 제1 예측모델 대신 제4 예측모델을 사용한다는 점, 제1 크롭 이미지 대신 제2 크롭 이미지를 사용한다는 점, 그리고 최종적으로 획득되는 결과값이 눈꺼풀에 발적이 있는지 여부에 대한 예측값이라는 점(5가지의 결과값들 중 눈꺼풀 발적에 관한 결과값만을 선택함)을 제외하면, 결막 충혈 예측방법과 동일하거나 매우 유사하기 때문에, 자세한 설명은 생략하기로 한다.
9. 눈꺼풀 부종 예측방법
본 출원에 의해 개시되는 눈꺼풀 부종 예측 방법은 서버(20)에 의해 수행될 수 있다.
도 23은 눈꺼풀 부종 예측 방법을 설명하기 위한 흐름도이다.
도 23을 참고하면, 서버(20)는 얼굴 이미지를 획득하고(S500), 상기 획득된 얼굴 이미지를 전처리하고(S510), 상기 전처리된 이미지를 전술한 제5 예측모델(눈꺼풀 부종 예측모델)에 입력하고(S520), 상기 제5 예측모델의 출력값을 획득한다(S530).
상기 눈꺼풀 발적 예측방법은 제1 예측모델 대신 제5 예측모델을 사용한다는 점, 제1 크롭 이미지 대신 제2 크롭 이미지를 사용한다는 점, 그리고 최종적으로 획득되는 결과값이 눈꺼풀에 부종이 있는지 여부에 대한 예측값이라는 점(5가지의 결과값들 중 눈꺼풀 부종에 관한 결과값만을 선택함)을 제외하면, 결막 충혈 예측방법과 동일하거나 매우 유사하기 때문에, 자세한 설명은 생략하기로 한다.
10. 갑상선 안병증에 관한 임상활동점수 예측방법
이하에서는, 본 출원에 의해 개시되는 갑상선 안병증에 관한 임상활동점수의 예측방법에 대해 설명한다.
도 24는 갑상선 안병증에 관한 임상활동점수의 예측방법을 설명하기 위한 도면이다.
서버(20)는 얼굴 이미지를 획득할 수 있다.
서버(20)는 하나의 얼굴 이미지에 대해 3가지의 서로 다른 전처리를 수행한다. 첫번째 전처리(이하, 제1 전처리)는 제1 크롭(외부로 노출된 안구 크롭), 리사이징 및 좌우 반전하는 것을 포함하며, 두번째 전처리(이하, 제2 전처리)는 제2 크롭(눈꺼풀 포함 크롭), 리사이징 및 좌우 반전하는 것을 포함하며, 세번째 전처리(이하, 제3 전처리)는 제3 크롭(눈물언덕 포함 크롭), 리사이징 및 좌우 반전하는 것을 포함한다. 다만, 전술한 바와 같이 모든 전처리 방법에 있어서 좌우반전을 할 것인지 여부는 생략될 수 있으며, 좌우반전을 할 것인지 등에 대한 것은 각 예측모델들의 학습방법에 어떠한 방법이 사용되었는지에 따라서 결정될 수 있다.
서버(20)는 상기 획득된 얼굴 이미지에 대해 제1 전처리를 수행하여 제1 전처리 이미지를 획득하며, 상기 제1 전처리 이미지는 제1 좌안 전처리 이미지 및 제1 우안 전처리 이미지를 포함한다. 이 때, 제1 좌안 전처리 이미지 및 제1 우안 전처리 이미지 중 적어도 하나는 좌우반전처리된 이미지일 수 있다. 또는 제1 좌안 전처리 이미지, 좌우반전된 제1 좌안 전처리 이미지, 제1 우안 전처리 이미지 및 좌우반전된 제1 우안 전처리 이미지가 모두 생성될 수 있다. 또한, 이미 상세하게 설명한 바와 같이, 상기 제1 전처리 이미지는 제1 크롭을 이용하여 획득되는 이미지이기 때문에, 상기 제1 전처리 이미지 내에서 눈꺼풀에 대응되는 픽셀들의 수는 최소화되어 있고 외부로 노출된 안구에 대응되는 픽셀들이 포함되어 있다.
또한, 서버(20)는 상기 획득된 얼굴 이미지에 대해 제2 전처리를 수행하여 제2 전처리 이미지를 획득하며, 상기 제2 전처리 이미지는 제2 좌안 전처리 이미지 및 제2 우안 전처리 이미지를 포함한다. 이 때, 상기 제2 좌안 전처리 이미지 및 제2 우안 전처리 이미지 중 적어도 하나는 좌우반전처리된 이미지일 수 있다. 또는 제2 좌안 전처리 이미지, 좌우반전된 제2 좌안 전처리 이미지, 제2 우안 전처리 이미지 및 좌우반전된 제2 우안 전처리 이미지가 모두 생성될 수 있다. 또한, 이미 상세하게 설명한 바와 같이, 상기 제2 전처리 이미지는 제2 크롭을 이용하여 획득되는 이미지이기 때문에, 상기 제2 전처리 이미지는 눈꺼풀에 대응되는 픽셀들을 충분히 포함하고 있다.
또한, 서버(20)는 상기 획득된 얼굴 이미지에 대해 제3 전처리를 수행하여 제3 전처리 이미지를 획득하며, 상기 제3 전처리 이미지는 제3 좌안 전처리 이미지 및 제3 우안 전처리 이미지를 포함한다. 이 때, 상기 제3 좌안 전처리 이미지 및 제3 우안 전처리 이미지 중 적어도 하나는 좌우반전처리된 이미지일 수 있다. 또는 제3 좌안 전처리 이미지, 좌우반전된 제3 좌안 전처리 이미지, 제3 우안 전처리 이미지 및 좌우반전된 제3 우안 전처리 이미지가 모두 생성될 수 있다. 또한, 이미 상세하게 설명한 바와 같이, 상기 제3 전처리 이미지는 제3 크롭을 이용하여 획득되는 이미지이기 때문에, 상기 제3 전처리 이미지는 눈물언덕에 대응되는 픽셀들을 충분히 포함하고 있다.
서버(20)는 상기 제1 전처리 이미지(제1 좌안 전처리 이미지 및 제1 우안 전처리 이미지)를 제1 예측모델에 순차적으로 입력한다. 서버(20)는 제1 좌안 전처리 이미지에 대한 제1 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 왼쪽 눈에 대한 결막 충혈 여부에 대해서 판단한다. 아울러, 서버(20)는 제1 우안 전처리 이미지에 대한 제1 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 오른쪽 눈에 대한 결막 충혈 여부에 대해서 판단한다.
서버(20)는 왼쪽 눈에 대한 판단결과와 오른쪽 눈에 대한 판단결과를 종합하여, 최종적으로 양쪽 눈에 대한 결막 충혈여부를 판단한다. 예를 들어, 왼쪽 눈과 오른쪽 눈 중 하나 이상에 대해 결막 충혈이 있다고 판단된 경우, 서버(20)는 최종적으로 결막 충혈이 있다고 판단한다.
이어서, 서버(20)는 서버(20)는 상기 제1 전처리 이미지(제1 좌안 전처리 이미지 및 제1 우안 전처리 이미지)를 제2 예측모델에 순차적으로 입력한다. 서버(20)는 제1 좌안 전처리 이미지에 대한 제2 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 왼쪽 눈에 대한 결막 부종 여부에 대해서 판단한다. 아울러, 서버(20)는 제1 우안 전처리 이미지에 대한 제2 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 오른쪽 눈에 대한 결막 부종 여부에 대해서 판단한다.
서버(20)는 왼쪽 눈에 대한 판단결과와 오른쪽 눈에 대한 판단결과를 종합하여, 최종적으로 양쪽 눈에 대한 결막 부종 여부를 판단한다. 예를 들어, 왼쪽 눈과 오른쪽 눈 중 하나 이상에 대해 결막 부종이 있다고 판단된 경우, 서버(20)는 최종적으로 결막 부종이 있다고 판단한다.
계속하여, 서버(20)는 서버(20)는 상기 제3 전처리 이미지(제3 좌안 전처리 이미지 및 제3 우안 전처리 이미지)를 제3 예측모델에 순차적으로 입력한다. 서버(20)는 제3 좌안 전처리 이미지에 대한 제3 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 왼쪽 눈에 대한 눈물언덕 부종 여부에 대해서 판단한다. 아울러, 서버(20)는 제3 우안 전처리 이미지에 대한 제3 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 오른쪽 눈에 대한 눈물언덕 부종 여부에 대해서 판단한다.
서버(20)는 왼쪽 눈에 대한 판단결과와 오른쪽 눈에 대한 판단결과를 종합하여, 최종적으로 양쪽 눈에 대한 눈물언덕 부종 여부를 판단한다. 예를 들어, 왼쪽 눈과 오른쪽 눈 중 하나 이상에 대해 눈물언덕 부종이 있다고 판단된 경우, 서버(20)는 최종적으로 눈물언덕 부종이 있다고 판단한다.
서버(20)는 상기 제2 전처리 이미지(제2 좌안 전처리 이미지 및 제2 우안 전처리 이미지)를 제4 예측모델에 순차적으로 입력한다. 서버(20)는 제2 좌안 전처리 이미지에 대한 제4 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 왼쪽 눈에 대한 눈꺼풀 발적 여부에 대해서 판단한다. 아울러, 서버(20)는 제2 우안 전처리 이미지에 대한 제4 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 오른쪽 눈에 대한 눈꺼풀 발적 여부에 대해서 판단한다.
서버(20)는 왼쪽 눈에 대한 판단결과와 오른쪽 눈에 대한 판단결과를 종합하여, 최종적으로 양쪽 눈에 대한 눈꺼풀 발적 여부를 판단한다. 예를 들어, 왼쪽 눈과 오른쪽 눈 중 하나 이상에 대해 눈꺼풀 발적이 있다고 판단된 경우, 서버(20)는 최종적으로 눈꺼풀 발적이 있다고 판단한다.
서버(20)는 상기 제2 전처리 이미지(제2 좌안 전처리 이미지 및 제2 우안 전처리 이미지)를 제5 예측모델에 순차적으로 입력한다. 서버(20)는 제2 좌안 전처리 이미지에 대한 제5 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 왼쪽 눈에 대한 눈꺼풀 부종 여부에 대해서 판단한다. 아울러, 서버(20)는 제2 우안 전처리 이미지에 대한 제5 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 오른쪽 눈에 대한 눈꺼풀 부종 여부에 대해서 판단한다.
서버(20)는 왼쪽 눈에 대한 판단결과와 오른쪽 눈에 대한 판단결과를 종합하여, 최종적으로 양쪽 눈에 대한 눈꺼풀 부종 여부를 판단한다. 예를 들어, 왼쪽 눈과 오른쪽 눈 중 하나 이상에 대해 눈꺼풀 부종이 있다고 판단된 경우, 서버(20)는 최종적으로 눈꺼풀 부종이 있다고 판단한다.
서버(20)는 예측모델에 의해서 증상이 있다고 판단된 경우에는, 해당 증상에 대해 미리 정해진 점수(예를 들어, 1점)을 부여할 수 있고, 서버는 5개의 예측모델들에 대한 판단 결과에 따라 5가지 증상 각각에 대한 점수를 부여할 수 있고, 또한 이 점수들을 모두 더한 값을 획득할 수 있다.
한편, 서버(20)는 예측모델에서 판단된 결과 및/또는 그에 기초하여 부여된 점수에 관한 정보를 사용자 단말기(10)로 전송할 수 있다.
아울러, 사용자 단말기(10)는 또는 서버(20)는 상기 구후부의 자발적인 통증 (Spontaneous retrobulbar pain) 및 안구운동 시 통증 (Pain on attempted upward or downward gaze)을 포함하는 2가지 항목에 대한 사용자의 응답을 획득할 수 있으며, 사용자 단말기(10) 또는 서버(20)는 상기 획득된 사용자의 응답에 기초하여, 각 항목들에 대해 미리 정해진 점수(예를 들어, 1점)을 부여할 수 있다. 예를 들어, 사용자가 구후부의 자발적인 통증이 있다고 입력한 경우, 1점을 부여할 수 있으며, 또한 사용자가 안구운동 시 통증이 있다고 입력한 경우, 1점을 부여할 수 있다.
상기 서버(20) 또는 상기 사용자 단말기(10)는 상기 예측모델에서 판단된 결과에 기초한 점수들 및 전술한 구후부의 자발적인 통증 (Spontaneous retrobulbar pain) 및 안구운동 시 통증 (Pain on attempted upward or downward gaze)에 관하여 판단된 점수들을 고려하여, 사용자에게 병원 방문 및 정밀 검진을 받을 것을 추천할 수 있다.
전술한 본 출원에 의해 개시되는 갑상선 안병증 임상활동점수 예측방법은 서버(20)에 의해서 수행되는 것으로 설명하였다. 그러나, 전술한 방법은 사용자 단말기(10)에서 수행될 수도 있다. 또는 전술한 방법들 중 전처리는 사용자 단말기(10)에서 수행되고 각 증상들에 대한 판단은 서버에 의해 수행될 수도 있다. 즉, 전술한 단계들은 사용자 단말기(10)와 서버(20)에 적절하게 분산되어 실시될 수 있다.
11. 실험예 #1
(1) 얼굴 이미지의 준비
1,020장의 얼굴 이미지를 준비하였다. 얼굴 이미지 각각은 좌안과 우안을 모두 포함하는 이미지이며, 미리 정해진 촬영 구도에 따라서 촬영된 이미지이다.
(2) 얼굴 이미지에 대한 라벨링 정보 확보
1,020 장의 얼굴 이미지 각각에 대하여, 좌안에 대한 결막 충혈, 결막 부종, 눈물언덕 부종, 눈꺼풀 발적 및 눈꺼풀 부종에 대한 정보 및 우안에 대한 결막 충혈, 결막 부종, 눈물언덕 부종, 눈꺼풀 발적 및 눈꺼풀 부종에 대한 정보를 확보하였고, 이 데이터들을 라벨링 데이터로 활용하였다.
1,020개의 데이터세트들 중 714개를 학습데이터 세트(training set)로, 102개를 밸리데이션 세트(validation set)로, 204개를 검증 세트(test set)로 사용하였다.
또한, 1,020개를 학습데이터 세트, 밸리데이션 세트, 검증 세트로 나누는 것을 랜덤하게 30번을 수행하였으며, 이에 따라, 제1 학습데이터 세트 그룹 내지 제30 학습데이터 세트 그룹이 생성되었다.
(3) 얼굴 이미지에 대한 전처리 이미지 확보
1,020 장의 얼굴 이미지 각각에 대하여, 좌안과 우안 각각에 대하여 전술한 방식으로 제1 크롭 처리(외부로 노출된 안구 크롭)를 하여, 제1 좌안 전처리 이미지 및 제1 우안 전처리 이미지를 확보하였다. 이때, 제1 우안 전처리 이미지는 좌우반전된 이미지를 사용하였고, 제1 좌안 전처리 이미지는 좌우반전되지 않은 이미지를 사용하였다.
1,020 장의 얼굴 이미지 각각에 대하여, 좌안과 우안 각각에 대하여 전술한 방식으로 제2 크롭 처리(눈꺼풀 포함 크롭)를 하여, 제2 좌안 전처리 이미지 및 제2 우안 전처리 이미지를 확보하였다. 이 때, 제2 우안 전처리 이미지는 좌우반전된 이미지를 사용하였고, 제2 좌안 전처리 이미지는 좌우반전되지 않은 이미지를 사용하였다.
1,020 장의 얼굴 이미지 각각에 대하여, 좌안과 우안 각각에 대하여 전술한 방식으로 제3 크롭 처리(눈물언덕 포함 크롭)를 하여, 제3 좌안 전처리 이미지 및 제3 우안 전처리 이미지를 확보하였다. 이 때, 제3 우안 전처리 이미지는 좌우반전된 이미지를 사용하였고, 제3 좌안 전처리 이미지는 좌우반전되지 않은 이미지를 사용하였다.
전술한 이미지 처리는 30개의 데이터 세트 그룹들에 대하여 모두 수행하였다.
(4) 실험예 #1에 따른 제1 내지 제5 예측모델들의 학습
확보된 전처리 이미지와 확보된 라벨링 정보들을 이용하여 예측모델의 학습을 수행하였다. 예측모델들은 전술한 ViT을 백본 아키텍쳐로 사용한 모델을 사용하였으며, 아웃풋 노드는 최종적으로 5개로 설계하였으며, 학습 방식은 전술한 바와 같이 5가지의 평가값 모두를 각 모델들의 학습에 사용하는 방식을 사용하였다.
한편, 예측모델은 전술한 ViT을 백본 아키텍쳐로 사용한 모델을 사용하였으며, 각 예측모델들은 좌안 예측모델과 우안 예측모델을 분리하지 않고 하나의 모델로 일원화하여 학습시켰다.
(5) 예측모델들을 이용한 각 증상에 대한 예측 결과의 획득
학습된 제1 내지 제5 예측모델들에 대해 검증 데이터 세트들을 이용하여 예측 결과를 획득하였다. 이때, 우안 이미지는 좌우반전 시킨 전처리 이미지를 사용하였고, 좌안 이미지는 좌우반전되지 않은 전처리 이미지를 사용하였다.
(6) 실험예 #1에 따른 예측모델들의 정확도, 민감도(Sensitivity), 특이도(Specificity), 양성 예측도(Positive Predictive Value, PPV) 및 음성 예측도(Negative Predictive Value, NPV)
[표1]에 나타낸 값들은 전술한 실험예 #1에 따라 30개의 데이터세트 그룹들 각각에 대해 학습한 제1 내지 제5 예측모델들에 대해 측정된 정확도, 민감도, 특이도, PPV, NPV의 평균값들이다.
정확도(%) 민감도(%) 특이도(%) PPV(%) NPV(%)
결막 충혈
(제1 예측 모델)		 71.80 49.71 83.43 61.61 75.62
결막 부종
(제2 예측모델)		 93.90 15.72 99.78 91.00 89.32
눈물언덕 부종
(제3 예측모델)		 92.15 21.77 98.69 67.23 91.09
눈꺼풀 발적
(제4 예측모델)		 80.90 57.68 89.93 69.74 84.08
눈꺼풀 부종
(제5 예측모델)		 64.80 74.81 45.80 72.57 48.68
12. 비교예 #1
(1) 얼굴 이미지의 준비
실험예 #1에서 사용한 얼굴 이미지를 그대로 사용하였다.
(2) 얼굴 이미지에 대한 라벨링 정보 확보
실험예 #1에서 사용한 얼굴 이미지에 대한 라벨링 정보들을 그대로 활용하였다. 다만, 데이터세트들을 만들 때, 각 이미지들에 대해 5가지의 평가값들을 모두 대응시켜 데이터세트들을 만드는 방식을 취하지 않고, 각 모델벼로 서로 다른 평가값들을 대응시켜 데이터세트들을 만드는 방식을 사용하였다.
(3) 얼굴 이미지에 대한 눈썹 포함 전처리 이미지 확보
실험예 #1에서 사용한 전처리 이미지를 그대로 사용하였다.
전술한 이미지 처리는 30개의 데이터 세트 그룹들에 대하여 모두 수행하였다.
(4) 비교예 #2에 따른 제1 내지 제5 예측모델들의 학습
확보된 전처리 이미지와 확보된 라벨링 정보들을 이용하여 예측모델의 학습을 수행하였다. 예측모델들은 전술한 ViT을 백본 아키텍쳐로 사용한 모델을 사용하였으며, 아웃풋 노드는, 실험예 #1과 달리, 최종적으로 1개로 설계하였다.
이때, 제1 예측모델은 결막 충혈에 대한 평가값을 이용하여 학습을 하였으며, 제2 예측모델은 결막 부종에 대한 평가값을 이용하여 학습을 하였고, 제3 예측모델은 눈물언덕 부종에 대한 평가값을 이용하여 학습을 하였으며, 제4 예측모델은 눈꺼풀 발적에 대한 평가값을 이용하여 학습을 하였고, 제5 예측모델은 눈꺼풀 부종에 대한 평가값을 이용하여 학습을 하였다.
(5) 예측모델들을 이용한 각 증상에 대한 예측 결과의 획득
학습된 제1 내지 제5 예측모델들에 대해 검증 데이터 세트들을 이용하여 예측 결과를 획득하였다. 이때, 우안 이미지는 좌우반전 시킨 전처리 이미지를 사용하였고, 좌안 이미지는 좌우반전되지 않은 전처리 이미지를 사용하였다.
(6) 비교예 #2에 따른 예측모델들의 정확도, 민감도(Sensitivity), 특이도(Specificity), 양성 예측도(Positive Predictive Value, PPV) 및 음성 예측도(Negative Predictive Value, NPV)
[표2]에 나타낸 값들은 전술한 실험예 #2에 따라 30개의 데이터세트 그룹들 각각에 대해 학습한 제1 내지 제5 예측모델들에 대해 측정된 정확도, 민감도, 특이도, PPV, NPV의 평균값들이다.
정확도(%) 민감도(%) 특이도(%) PPV(%) NPV(%)
결막 충혈
(제1 예측 모델)		 62.50 26.23 81.60 46.96 64.04
결막 부종
(제2 예측모델)		 89.40 1.43 96.02 1.03 97.11
눈물언덕 부종
(제3 예측모델)		 90.90 16.47 97.81 59.84 85.53
눈꺼풀 발적
(제4 예측모델)		 70.00 33.93 84.03 50.62 72.50
눈꺼풀 부종
(제5 예측모델)		 59.55 72.90 34.20 67.90 39.79
13. 실험예 #2
(1) 얼굴 이미지의 준비
실험예 #1에서 사용한 얼굴 이미지를 그대로 사용하였다.
(2) 얼굴 이미지에 대한 라벨링 정보 확보
실험예 #1에서 사용한 얼굴 이미지에 대한 라벨링 정보들을 그대로 활용하였다.
(3) 얼굴 이미지에 대한 눈썹 포함 전처리 이미지 확보
1,020 장의 얼굴 이미지 각각에 대하여, 좌안과 우안 각각에 대하여 전술한 방식으로 제2 크롭 처리(눈꺼풀 포함 크롭)를 하여, 제2 좌안 전처리 이미지 및 제2 우안 전처리 이미지를 확보하였다. 이때, 제1 우안 전처리 이미지는 좌우반전된 이미지를 사용하였고, 제1 좌안 전처리 이미지는 좌우반전되지 않은 이미지를 사용하였다.
(4) 실험예 #2에 따른 제4 및 제5 예측모델들의 학습
확보된 전처리 이미지와 확보된 라벨링 정보들을 이용하여 예측모델의 학습을 수행하였다. 예측모델들은 전술한 ViT을 백본 아키텍쳐로 사용한 모델을 사용하였으며, 아웃풋 노드는 최종적으로 5개로 설계하였으며, 학습 방식은 전술한 바와 같이 5가지의 평가값 모두를 각 모델들의 학습에 사용하는 방식을 사용하였다.
(5) 실험예 #2에 따른 눈꺼풀 발적 예측모델 및 눈꺼풀 부종 예측모델의 정확도, 민감도(Sensitivity), 특이도(Specificity), 양성 예측도(Positive Predictive Value, PPV) 및 음성 예측도(Negative Predictive Value, NPV)
[표3]에 나타낸 값들은 전술한 실험예 #2에 따라 30개의 데이터세트 그룹들 각각에 대해 학습한 제4 및 제5 예측모델들에 대해 측정된 정확도, 민감도, 특이도, PPV, NPV의 평균값들이다.
정확도(%) 민감도(%) 특이도(%) PPV(%) NPV(%)
눈꺼풀 발적
(제4 예측모델)		 76.13 70.65 79.08 64.63 83.86
눈꺼풀 부종
(제5 예측모델)		 81.29 86.38 53.52 91.16 43.59
14. 실험예 #3
(1) 얼굴 이미지의 준비
실험예 #1에서 사용한 얼굴 이미지를 그대로 사용하였다.
(2) 얼굴 이미지에 대한 라벨링 정보 확보
실험예 #1에서 사용한 얼굴 이미지에 대한 라벨링 정보들을 그대로 활용하였다.
(3) 얼굴 이미지에 대한 눈썹 포함 전처리 이미지 확보
1,020 장의 얼굴 이미지 각각에 대하여, 좌안과 우안 각각에 대하여 전술한 방식으로 제2 크롭 처리(눈꺼풀 포함 크롭)를 하되, 실험예 #2와 달리, 제2 크롭 영역의 중심 위치가 기준 사각형의 중심 위치 보다 더 위쪽으로 배치될 수 있도록 제2 크롭 영역을 결정하였다. 이에 따라, 제2 크롭 이미지에는 눈썹(eyelash)이 포함될 수 있도록 하였다. 이 때, 제2 좌안 전처리 이미지 및 제2 우안 전처리 이미지를 확보함에 있어서, 좌우반전 처리는 하지 않았다.
(4) 실험예 #3에 따른 제4 및 제5 예측모델들의 학습
확보된 전처리 이미지와 확보된 라벨링 정보들을 이용하여 예측모델의 학습을 수행하였다. 예측모델들은 전술한 ViT을 백본 아키텍쳐로 사용한 모델을 사용하였으며, 아웃풋 노드는 최종적으로 5개로 설계하였으며, 학습 방식은 전술한 바와 같이 5가지의 평가값 모두를 각 모델들의 학습에 사용하는 방식을 사용하였다.
(5) 실험예 #3에 따른 눈꺼풀 발적 예측모델 및 눈꺼풀 부종 예측모델의 정확도, 민감도(Sensitivity), 특이도(Specificity), 양성 예측도(Positive Predictive Value, PPV) 및 음성 예측도(Negative Predictive Value, NPV)
[표4]에 나타낸 값들은 전술한 실험예 #3에 따라 30개의 데이터세트 그룹들 각각에 대해 학습한 제4 및 제5 예측모델들에 대해 측정된 정확도, 민감도, 특이도, PPV, NPV의 평균값들이다.
정확도(%) 민감도(%) 특이도(%) PPV(%) NPV(%)
눈꺼풀 발적
(제4 예측모델)		 75.41 71.14 77.64 63.96 84.09
눈꺼풀 부종
(제5 예측모델)		 79.80 89.27 57.42 91.51 41.38
1: 시스템
10: 사용자 단말기
20: 서버

Claims (20)

  1. 학습 데이터 세트들을 이용하여 결막 충혈 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ;
    대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고;
    프로세서에서 실행되는 결막 충혈 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고;
    미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 결막 충혈에 대한 상기 제1 예측값을 선택하고; 그리고,
    상기 결막 충혈에 대하여 선택된 제1 예측값을 고려하여 상기 결막 충혈에 대한 점수를 생성하는
    것을 포함하는
    컴퓨터로 수행가능한 방법.
  2. 제1항에 있어서,
    상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며,
    상기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들인
    컴퓨터로 수행가능한 방법.
  3. 제2항에 있어서,
    상기 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고;
    상기 프로세서에서 실행되는 상기 결막 충혈 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고,
    미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 결막 충혈에 대한 상기 제2 예측값을 선택하는
    것을 더 포함하며,
    상기 결막 충혈에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 결막 충혈에 대한 점수를 생성하는 것인
    컴퓨터로 수행가능한 방법.
  4. 제3항에 있어서,
    상기 결막 충혈에 대한 점수를 생성하는 것은,
    상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함하는
    컴퓨터로 수행가능한 방법.
  5. 학습 데이터 세트들을 이용하여 결막 부종 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ;
    대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고;
    프로세서에서 실행되는 결막 부종 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고;
    미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 결막 부종에 대한 상기 제1 예측값을 선택하고; 그리고,
    상기 결막 부종에 대하여 선택된 제1 예측값을 고려하여 상기 결막 부종에 대한 점수를 생성하는
    것을 포함하는
    컴퓨터로 수행가능한 방법.
  6. 제5항에 있어서,
    상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며,
    상기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들인
    컴퓨터로 수행가능한 방법.
  7. 제6항에 있어서,
    상기 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고;
    상기 프로세서에서 실행되는 상기 결막 부종 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고,
    미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 결막 부종에 대한 상기 제2 예측값을 선택하는
    것을 더 포함하며,
    상기 결막 부종에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 결막 부종에 대한 점수를 생성하는 것인
    컴퓨터로 수행가능한 방법.
  8. 제7항에 있어서,
    상기 결막 부종에 대한 점수를 생성하는 것은,
    상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함하는
    컴퓨터로 수행가능한 방법.
  9. 학습 데이터 세트들을 이용하여 눈물언덕 부종 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ;
    대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고;
    프로세서에서 실행되는 눈물언덕 부종 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고;
    미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 눈물언덕 부종에 대한 상기 제1 예측값을 선택하고; 그리고,
    상기 눈물언덕 부종에 대하여 선택된 제1 예측값을 고려하여 상기 눈물언덕 부종에 대한 점수를 생성하는
    것을 포함하는
    컴퓨터로 수행가능한 방법.
  10. 제9항에 있어서,
    상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며,
    상기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들인
    컴퓨터로 수행가능한 방법.
  11. 제10항에 있어서,
    상기 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고;
    상기 프로세서에서 실행되는 상기 눈물언덕 부종 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고,
    미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 눈물언덕 부종에 대한 상기 제2 예측값을 선택하는
    것을 더 포함하며,
    상기 눈물언덕 부종에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 눈물언덕 부종에 대한 점수를 생성하는 것인
    컴퓨터로 수행가능한 방법.
  12. 제11항에 있어서,
    상기 눈물언덕 부종에 대한 점수를 생성하는 것은,
    상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함하는
    컴퓨터로 수행가능한 방법.
  13. 학습 데이터 세트들을 이용하여 눈꺼풀 발적 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ;
    대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고;
    프로세서에서 실행되는 눈꺼풀 발적 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고;
    미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 눈꺼풀발적에 대한 상기 제1 예측값을 선택하고; 그리고,
    상기 눈꺼풀 발적에 대하여 선택된 제1 예측값을 고려하여 상기 눈꺼풀 발적에 대한 점수를 생성하는
    것을 포함하는
    컴퓨터로 수행가능한 방법.
  14. 제13항에 있어서,
    상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며,
    상기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들인
    컴퓨터로 수행가능한 방법.
  15. 제14항에 있어서,
    상기 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고;
    상기 프로세서에서 실행되는 상기 눈꺼풀 발적 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고,
    미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 눈꺼풀발적에 대한 상기 제2 예측값을 선택하는 것
    을 더 포함하며,
    상기 눈꺼풀 발적에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 눈꺼풀 발적에 대한 점수를 생성하는 것인
    컴퓨터로 수행가능한 방법.
  16. 제15항에 있어서,
    상기 눈꺼풀 발적에 대한 점수를 생성하는 것은,
    상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함하는
    컴퓨터로 수행가능한 방법.
  17. 학습 데이터 세트들을 이용하여 눈꺼풀 부종 예측모델을 학습시키고 - 이때, 상기 학습 데이터 세트들 각각은 학습 이미지, 결막 충혈에 대한 평가값, 결막 부종에 대한 평가값, 눈물언덕 부종에 대한 평가값, 눈꺼풀 발적에 대한 평가값 및 눈꺼풀 부종에 대한 평가값을 포함하며, 상기 학습 이미지는 상기 학습 이미지의 진단에 따른 상기 평가값들로 라벨링됨 - ;
    대상의 적어도 하나의 눈 및 상기 눈의 아웃라인의 외부 영역을 포함하는 제1 이미지를 획득하고;
    프로세서에서 실행되는 눈꺼풀 부종 예측모델을 이용하여 상기 제1 이미지를 처리하여 결막 충혈에 대한 제1 예측값, 결막 부종에 대한 제1 예측값, 눈물언덕 부종에 대한 제1 예측값, 눈꺼풀 발적에 대한 제1 예측값 및 눈꺼풀 부종에 대한 제1 예측값을 출력하고;
    미리 결정된 설정에 기초하여, 상기 다섯개의 제1 예측값들 중 상기 눈꺼풀 부종에 대한 상기 제1 예측값을 선택하고; 그리고,
    상기 눈꺼풀 부종에 대하여 선택된 제1 예측값을 고려하여 상기 눈꺼풀 부종에 대한 점수를 생성하는
    것을 포함하는
    컴퓨터로 수행가능한 방법.
  18. 제17항에 있어서,
    상기 제1 이미지는 양안 중 하나의 눈에 관하여 생성된 것이며,
    상기 생성된 예측값들은 상기 하나의 눈에 관한 예측값들인
    컴퓨터로 수행가능한 방법.
  19. 제18항에 있어서,
    상기 대상의 양안 중 다른 눈 및 상기 다른 눈의 아웃라인의 외부 영역을 포함하는 제2 이미지를 획득하고;
    상기 프로세서에서 실행되는 상기 눈꺼풀 부종 예측모델을 이용하여 상기 제2 이미지를 처리하여 결막 충혈에 대한 제2 예측값, 결막 부종에 대한 제2 예측값, 눈물언덕 부종에 대한 제2 예측값, 눈꺼풀 발적에 대한 제2 예측값 및 눈꺼풀 부종에 대한 제2 예측값을 출력하고; 그리고,
    미리 결정된 설정에 기초하여, 상기 다섯개의 제2 예측값들 중 상기 눈꺼풀 부종에 대한 상기 제2 예측값을 선택하는
    것을 더 포함하며,
    상기 눈꺼풀 부종에 대한 점수를 생성하는 것은 상기 선택된 제1 예측값에 더하여 상기 선택된 제2 예측값을 더 고려하여 상기 눈꺼풀 부종에 대한 점수를 생성하는 것인
    컴퓨터로 수행가능한 방법.
  20. 제19항에 있어서,
    상기 눈꺼풀 부종에 대한 점수를 생성하는 것은,
    상기 제1 예측값이 미리 정해진 쓰레숄드값 이상이거나, 상기 제2 예측값이 상기 미리 정해진 쓰레숄드값 이상이거나, 상기 제1 예측값과 상기 제2 예측값이 모두 상기 미리 정해진 쓰레숄드값 이상인 경우, 상기 점수에 미리 정해진 값을 부여하는 것을 포함하는
    컴퓨터로 수행가능한 방법.
PCT/KR2022/009452 2021-06-30 2022-06-30 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 WO2023277622A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2023577479A JP7513239B2 (ja) 2021-06-30 2022-06-30 活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこれを実行するためのシステム
CN202280059376.2A CN117897779A (zh) 2021-06-30 2022-06-30 用于活动期甲状腺眼病医疗的医院就诊指导方法及其执行系统
EP22769066.6A EP4138094A4 (en) 2021-06-30 2022-06-30 METHOD FOR SUPPORTING CONSULTATION IN HOSPITAL FOR THE TREATMENT OF ACTIVE THYROID OPHTHALMOPATHY AND SYSTEM FOR ITS IMPLEMENTATION
US17/945,270 US11741610B2 (en) 2021-06-30 2022-09-15 Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same
US18/218,142 US20230360219A1 (en) 2021-06-30 2023-07-05 Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020210085542A KR102379061B1 (ko) 2021-06-30 2021-06-30 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 장치
KR10-2021-0085542 2021-06-30
KR10-2022-0080423 2022-06-30
KR1020220080423A KR102498785B1 (ko) 2022-06-30 2022-06-30 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/945,270 Continuation US11741610B2 (en) 2021-06-30 2022-09-15 Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same

Publications (1)

Publication Number Publication Date
WO2023277622A1 true WO2023277622A1 (ko) 2023-01-05

Family

ID=84691872

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009452 WO2023277622A1 (ko) 2021-06-30 2022-06-30 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템

Country Status (2)

Country Link
US (2) US11741610B2 (ko)
WO (1) WO2023277622A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543728A (zh) * 2018-11-07 2019-03-29 湖北工业大学 一种基于迁移学习的甲状腺相关性眼病检测方法
CN110246158A (zh) * 2019-07-19 2019-09-17 上海交通大学医学院附属第九人民医院 眼疾检测装置、方法、电子终端、及存储介质
KR20200108993A (ko) * 2019-03-12 2020-09-22 연세대학교 원주산학협력단 안과 질환 모니터링 장치 및 방법
CN111839455A (zh) * 2020-08-11 2020-10-30 上海鹰瞳医疗科技有限公司 甲状腺相关眼病的眼部体征识别方法及设备
KR20210004695A (ko) * 2019-07-05 2021-01-13 순천향대학교 산학협력단 인공지능 기반의 안구질병 진단장치 및 방법
KR102379061B1 (ko) * 2021-06-30 2022-04-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101477182B1 (ko) 2007-06-01 2014-12-29 삼성전자주식회사 단말 및 그의 이미지 촬영 방법
KR102092571B1 (ko) 2013-01-04 2020-04-14 삼성전자 주식회사 카메라를 구비하는 장치의 인물 촬영장치 및 방법
KR102093647B1 (ko) 2013-02-22 2020-03-26 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 촬영장치 및 방법
KR20140108417A (ko) 2013-02-27 2014-09-11 김민준 영상정보를 이용한 건강 진단 시스템
KR101569268B1 (ko) 2014-01-02 2015-11-13 아이리텍 잉크 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
KR102420100B1 (ko) 2014-03-14 2022-07-13 삼성전자주식회사 건강 상태 정보를 제공하는 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP6269377B2 (ja) 2014-07-31 2018-01-31 株式会社Ｊｖｃケンウッド 診断支援装置および診断支援方法
US20220142484A1 (en) * 2014-10-29 2022-05-12 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
JP7030317B2 (ja) 2016-12-19 2022-03-07 国立大学法人静岡大学 瞳孔検出装置及び瞳孔検出方法
EP3381351A1 (en) 2017-03-29 2018-10-03 Vivior AG System for assessing a health condition of a user
KR102047237B1 (ko) 2017-12-13 2019-12-02 (주)엔텔스 영상 데이터를 분석하는 인공 지능을 이용한 질병 진단 방법 및 진단 시스템
KR20190082149A (ko) 2017-12-29 2019-07-09 주식회사 피디젠 녹내장 발생 예측 방법
US10580133B2 (en) 2018-05-30 2020-03-03 Viswesh Krishna Techniques for identifying blepharoptosis from an image
KR102531009B1 (ko) 2018-07-05 2023-05-16 십일번가 주식회사 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치
US10468142B1 (en) 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
CN110909561A (zh) 2018-09-14 2020-03-24 虹软科技股份有限公司 眼睛状态检测系统及眼睛状态检测系统的操作方法
FI3671536T3 (fi) 2018-12-20 2024-06-18 Optos Plc Patologioiden havaitseminen okulaarikuvissa
KR102058883B1 (ko) 2019-04-11 2019-12-24 주식회사 홍복 당뇨병 및 전조 증상을 진단하기 위해 홍채 영상 및 망막 영상을 인공지능으로 분석하는 방법
KR102293824B1 (ko) 2019-05-21 2021-08-24 (의) 삼성의료재단 이동통신 단말기에서의 안면 인식을 이용한 관련 질환 모니터링 방법 및 시스템
KR102250694B1 (ko) 2019-08-30 2021-05-11 서울대학교병원 안구 영상 내 혈관 분할을 이용한 자동 질환 판단 장치 및 그 방법
KR102347551B1 (ko) 2021-04-29 2022-01-06 디몬나인 주식회사 얼굴 이미지 분석에 기반한 얼굴 상태 정보 제공 방법, 장치 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543728A (zh) * 2018-11-07 2019-03-29 湖北工业大学 一种基于迁移学习的甲状腺相关性眼病检测方法
KR20200108993A (ko) * 2019-03-12 2020-09-22 연세대학교 원주산학협력단 안과 질환 모니터링 장치 및 방법
KR20210004695A (ko) * 2019-07-05 2021-01-13 순천향대학교 산학협력단 인공지능 기반의 안구질병 진단장치 및 방법
CN110246158A (zh) * 2019-07-19 2019-09-17 上海交通大学医学院附属第九人民医院 眼疾检测装置、方法、电子终端、及存储介质
CN111839455A (zh) * 2020-08-11 2020-10-30 上海鹰瞳医疗科技有限公司 甲状腺相关眼病的眼部体征识别方法及设备
KR102379061B1 (ko) * 2021-06-30 2022-04-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 장치

Also Published As

Publication number Publication date
US20230013792A1 (en) 2023-01-19
JP2024522738A (ja) 2024-06-21
US20230360219A1 (en) 2023-11-09
US11741610B2 (en) 2023-08-29

Similar Documents

Publication Publication Date Title
WO2019039912A1 (ko) 진단 보조 시스템 및 그 제어 방법
WO2021132851A1 (ko) 전자 장치, 두피 케어 시스템 및 그들의 제어 방법
WO2018147643A2 (ko) 흉부측정기, 척추 측만증 교정시스템, 원격척추 진단시스템 및 웨어러블 측정기
WO2018143707A1 (ko) 메이크업 평가 시스템 및 그의 동작 방법
WO2016080708A1 (en) Wearable device and method for outputting virtual image
WO2016017970A1 (en) Method and device for encrypting or decrypting content
WO2013009020A4 (ko) 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치
WO2015111840A1 (ko) 프레임 클러스터링을 이용한 광고 삽입 장치 및 방법
WO2014208969A1 (en) Method and apparatus for providing information related to location of target object on medical apparatus
WO2016204496A1 (en) System and method of providing information of peripheral device
WO2019125026A1 (ko) 심혈관 질병 진단 보조 방법 및 장치
WO2019088555A1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
WO2022039521A1 (en) Method for determining whether medication has been administered and server using same
WO2023277589A1 (ko) 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2012005501A2 (ko) 아바타 생성 방법 및 장치
WO2023182727A1 (en) Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
WO2021040156A1 (ko) 신체 측정 디바이스 및 그 제어 방법
WO2023277622A1 (ko) 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
WO2022103236A1 (ko) 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템
WO2020251073A1 (ko) 안마 기구
WO2023277548A1 (ko) 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체
EP4014196A1 (en) Electronic device and method for operating screen capturing by electronic device
WO2019132553A1 (en) Sound output system and voice processing method
WO2022182156A1 (ko) 생체 지수 측정 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022769066

Country of ref document: EP

Effective date: 20220921

ENP Entry into the national phase

Ref document number: 2023577479

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202280059376.2

Country of ref document: CN