WO2023053854A1 - 診断補助装置及び診断補助プログラム - Google Patents

診断補助装置及び診断補助プログラム Download PDF

Info

Publication number
WO2023053854A1
WO2023053854A1 PCT/JP2022/033322 JP2022033322W WO2023053854A1 WO 2023053854 A1 WO2023053854 A1 WO 2023053854A1 JP 2022033322 W JP2022033322 W JP 2022033322W WO 2023053854 A1 WO2023053854 A1 WO 2023053854A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
disease
color tone
value
threshold
Prior art date
Application number
PCT/JP2022/033322
Other languages
English (en)
French (fr)
Inventor
秀記 福岡
誇 吉岡
千恵 外園
Original Assignee
京都府公立大学法人
株式会社ロジック・アンド・デザイン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京都府公立大学法人, 株式会社ロジック・アンド・デザイン filed Critical 京都府公立大学法人
Publication of WO2023053854A1 publication Critical patent/WO2023053854A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions

Definitions

  • the present invention relates to a diagnostic assistance device and diagnostic assistance program that assist doctors in identifying diseases based on image data.
  • Patent Document 1 As a method of solving this problem, for example, it is considered to use an image analysis apparatus using optical coherence tomography as shown in Patent Document 1, but it requires special imaging equipment and is costly. There's a problem.
  • the present invention has been made in view of the problems described above, and is a diagnostic assisting device or diagnostic assisting program for accurately identifying a disease without requiring the knowledge and skills of a diagnostician or special imaging equipment. intended to provide
  • the present invention relates to image data of an affected area to be diagnosed, and among the appearance represented by the image data, the color of the entire image data (more specifically, the balance of RGB luminance in the entire image data).
  • This method was completed only after the inventors discovered that if the color tone is extracted as an objective numerical value, it is possible to accurately identify a disease based on this color tone-related value.
  • the diagnostic assisting device according to the present invention is a diagnostic assisting device that assists in identifying a disease based on image data to be diagnosed, and is characterized by the R, G, and B of each pixel forming the image data. It is characterized by comprising a calculation unit for calculating a color tone-related value related to the color tone of the image data based on each luminance.
  • the color tone-related value related to the color tone of the image data is calculated based on the luminance of each of R, G, and B of each pixel forming the image data. can be expressed as a numerical value. If color tone can be expressed numerically, diseases can be objectively specified based on the numerical value regardless of the knowledge and skill of the doctor.
  • a standard image pickup device such as an inexpensive general-purpose digital camera or an endoscope equipped with a device for observing an affected area. It can be realized using a camera, and there is no need to prepare special and expensive imaging equipment.
  • the color tone-related value is one of an average value, a median value, a standard deviation, a ratio of average values, a ratio of median values, and a ratio of standard deviations of luminances of R, G, and B of each pixel forming the image data. It may be one or more.
  • the calculation unit uses the average value of the color with the largest average value among R, G, and B as the color tone-related value, and It is useful to calculate the value obtained by dividing the average value of one of the two colors. For example, when the average value (Ra) of R is the largest, Ga/Ra and/or Ba/Ra, which are values obtained by dividing the average values (Ga, Ba) of the other two colors by Ra, are calculated as color tone-related values. be done.
  • the diagnosis assisting device may further include a threshold value setting unit that sets a threshold value based on the color tone-related value calculated in advance for the image data of the affected area for which the disease has been identified.
  • diagnosis assisting device may further include a storage unit that stores the threshold value obtained for each disease in association with each disease.
  • the threshold setting unit may obtain the threshold using an ROC curve.
  • the present invention can be widely used in diagnosing diseases from images of affected areas, and is expected to exhibit particularly remarkable effects in ophthalmic diseases, in which many lesions can be optically observed and photographed. be.
  • an objective numerical value called a color tone-related value from the appearance of an affected area, which has conventionally been subjectively judged as an empirical rule, and to specify a disease based on this numerical value.
  • a color tone-related value from the appearance of an affected area, which has conventionally been subjectively judged as an empirical rule, and to specify a disease based on this numerical value.
  • it can be used as an aid for appropriate diagnosis by doctors even for diseases that are difficult to differentiate even by the judgment of experienced doctors, and even for rare diseases.
  • FIG. 1 is an overall schematic diagram of a diagnosis assisting device according to an embodiment of the present invention
  • FIG. 5 is a flow chart showing a procedure for threshold setting by the diagnosis assisting device according to the embodiment
  • 4 is a flow chart showing a procedure for diagnostic assistance by the diagnostic assistance device according to the embodiment
  • 1 is a photograph (original image data) of an affected area actually used in Example 1.
  • FIG. 4 is a diagram showing one of image data created from images used in Example 1.
  • FIG. 7 is a table showing numerical values calculated by a calculating unit for each image data created in Example 1.
  • FIG. FIG. 7 is a graph showing an ROC curve and a table showing the threshold when setting the threshold from the Ga/Ra values shown in FIG. 6;
  • FIG. 7 is a graph showing an ROC curve and a table showing the threshold when setting the threshold from the Ba/Ra values shown in FIG. 6;
  • FIG. 7 is a graph showing ROC curves created for each of Ra, Ga and Ba shown in FIG. 6;
  • 10 is a table showing numerical values calculated by a calculator for each image data created in Example 2.
  • FIG. 4 is a graph and a table showing the results of canonical plots created by using three of the color tone-related values calculated in Example 1.
  • FIG. 10 is a graph showing an ROC curve created for the discriminant function set in Example 3.
  • FIG. 4 is a graph and a table showing the results of a canonical plot created using two of the color tone-related values calculated in Example 1.
  • FIG. 10 is a graph showing an ROC curve created for the discriminant function set in Example 3.
  • FIG. FIG. 11 is a table showing numerical values calculated by a calculator for each image data used in Example 5;
  • FIG. 11 is a table showing numerical values calculated by a calculator for each image data used in Example 6;
  • FIG. FIG. 22 is a graph showing an ROC curve when setting threshold values from the tone-related values shown in FIG. 21;
  • FIG. FIG. 22 is a graph showing an ROC curve when setting threshold values from the tone-related values shown in FIG. 21;
  • FIG. FIG. 22 is a graph showing an ROC curve when setting threshold values from the tone-related values shown in FIG. 21;
  • FIG. 10 is an example of a photograph (original image data) of an affected area actually used in Example 7.
  • FIG. 11 is a table showing numerical values calculated by a calculation unit for each image data used in Example 7;
  • FIG. 11 is a table showing numerical values calculated by a calculation unit for each image data used in Example 7;
  • FIG. 11 is a table showing numerical values calculated by a calculation unit for each image data used in Example 7;
  • FIG. 11 is a graph showing an ROC curve when setting thresholds from color tone-related values calculated in Example 7;
  • FIG. 11 is a graph showing an ROC curve when setting thresholds from color tone-related values calculated in Example 7;
  • FIG. 11 is a graph showing an ROC curve when setting thresholds from color tone-related values calculated in Example 7;
  • FIG. 10 is a graph showing the result of a canonical plot created using two of the color tone-related values calculated in Example 7.
  • FIG. 10 is a graph showing an ROC curve created for the discriminant function set in Example 9.
  • FIG. 11 is a table showing numerical values calculated by a calculation unit for each image data used in Example 7;
  • FIG. 11 is a graph showing an ROC curve when setting thresholds from color tone-related values calculated in Example 7;
  • FIG. 11 is a graph showing an ROC curve when setting thresholds from color tone-related values calculated in Example 7;
  • FIG. 10 is a graph showing the result of a canonical plot created using two of the color tone-related values calculated in Example 7.
  • FIG. 10 is a graph showing an ROC curve created for the discriminant function set in Example 9.
  • FIG. 10 is a graph showing the result of a canonical plot created using two of the color tone-related values calculated in Example 7.
  • FIG. 10 is a graph showing an ROC curve created for the discriminant function set in Example 9.
  • FIG. 21 is a table showing numerical values calculated by a calculation unit for each image data used in Example 10; FIG.
  • the diagnosis assisting device 100 is image data of an affected area to be diagnosed that is color-displayed by additive mixture using an RGB color model such as sRGB, which is an international standard defined by the International Electrotechnical Commission (IEC). (hereinafter also referred to as diagnosis target image data). More specifically, the diagnosis assisting device 100 is structurally a dedicated or general-purpose computer equipped with, for example, a CPU, a memory, an input/output interface, and the like.
  • IEC International Electrotechnical Commission
  • the diagnosis assisting apparatus 100 includes an image processing unit 1 that receives original image data of an affected area and creates image data from the original image data, and the image processing unit 1 For the generated image data, a color tone-related value representing the color tone of the image data is calculated from the brightness of each of the three colors of R (Red), G (Green), and B (Blue) of each pixel forming the image data.
  • the apparatus includes a calculator 2 and a disease estimator 3 for estimating a disease based on the color tone-related value calculated by the calculator 2 .
  • the image processing unit 1 creates image data by, for example, cutting out a range including only the lesion site from the original image data obtained by capturing an image of the affected area using an imaging device such as a general-purpose digital camera. . More specifically, the image processing unit 1 creates image data by cutting out as large a range as possible that includes only the lesion site from the original image data. The larger the number of pixels included in the image data, the more accurately the color tone characteristics of the image data can be extracted as numerical values as color tone-related values. is preferred.
  • the doctor may input an instruction to the image processing unit 1 via the input interface, or the image processing unit 1 may be instructed by machine learning. It is also possible to automatically determine the lesion site.
  • the image processing unit 1 removes the original image data, for example, the light source used at the time of imaging, which is reflected in the white color.
  • the skipped portion that is, the portion where the total luminance of R, G and B exceeds a predetermined value is deleted.
  • the calculation unit 2 calculates, for example, each of R, G, and B based on the brightness of each of R, G, and B of each pixel forming the image data. Calculate the average brightness of the pixels.
  • This average value itself may be used as the color tone-related value, but in this embodiment, the calculation unit 2 further performs calculations using these average values to obtain the largest average value and the average values of the other colors. More specifically, a value obtained by dividing the average value of at least one of the other two colors by the average value of the largest color is calculated as the tone-related value.
  • the disease estimation unit 3 estimates a disease name corresponding to the color tone-related value by comparing the color tone-related value calculated by the calculation unit 2 with a preset threshold value. For example, if the calculated color-related value is less than a certain threshold, it is assumed that the color-related value corresponds to a normal finding. Also, if the color tone-related value is equal to or greater than a certain threshold value, it is estimated that the color tone-related value corresponds to disease A.
  • the threshold is set by, for example, the threshold setting section 4 provided in the diagnosis assisting device 100 .
  • the threshold value setting unit 4 receives image data of an affected area for which a disease has already been identified (also referred to as past diagnosis image data) and disease data representing the name of the identified disease, and calculates the color tone-related value.
  • a threshold value for determining whether or not the disease is present is set based on the obtained color tone-related value.
  • the threshold setting unit 4 calculates the color tone-related value from the brightness of each of the three colors R, G, and B of each pixel forming the past diagnostic image data in the same manner as the calculation unit 2 described above. A plurality of combinations of the color tone-related value calculated in this way and the disease data (disease name) for the image data from which the color tone-related value was obtained are acquired, and from these combinations, cases of a certain disease and cases of not a certain disease are determined. A threshold value for the tone-related value for distinguishing is set statistically.
  • the threshold setting unit 4 needs to acquire combinations of multiple color tone-related values and disease data for at least two types of disease data (for example, disease A and normal findings here). There is for the two types of disease data, the more combinations of disease data and color tone-related values obtained, the more accurately the threshold for distinguishing between the two types of disease can be obtained.
  • an ROC curve is created when the threshold values are varied using the color tone-related values for the two disease data to be distinguished, and the AUC of the ROC curve ( Area under the curve) and the threshold with the largest 95% confidence interval are selected.
  • the diagnosis assisting device 100 associates and stores the threshold set by the threshold setting unit 4 as described above and disease data that is a disease name (for example, disease A and normal findings) that can be distinguished by this threshold.
  • a storage unit 5 is further provided.
  • FIG. 1 An example of the operation of the diagnostic assistance device 100 configured in this way will be described below with reference to FIGS. 2 and 3.
  • FIG. 1 a case will be described in which it is specified whether an affected area to be diagnosed has disease A or a normal finding.
  • a plurality of original image data of an affected part already diagnosed to be disease A and a plurality of original image data of an affected part already diagnosed to have normal findings are acquired, and these original image data are transmitted to the diagnosis assisting device 100. to enter.
  • the image processing unit 1 that receives the original image data creates image data (past diagnostic image data) to be input to the threshold setting unit 4 from the original image data.
  • the threshold setting unit 4 that has received a plurality of past diagnostic image data calculates a color tone related value for each past diagnostic image data (P1).
  • the threshold value setting unit 4 selects, for example, the average value of R luminance (Ra), the average luminance value of G (Ga), and the average luminance value of B (Ba), which has the largest numerical value (for example, Ra).
  • the threshold setting unit 4 receives disease data corresponding to each piece of past diagnostic image data (P2), and sets a combination of the calculated color tone-related value and the disease data corresponding to this color tone-related value to the threshold value necessary for setting the threshold. This work is repeated until the number is obtained (P3). After that, the threshold value setting unit 4 sets a threshold value for distinguishing between disease A and normal findings based on a plurality of combinations of color tone-related values and disease data collected (P4).
  • the threshold set in this way is output to the storage unit 5 and stored in the storage unit 5 in a state of being linked to disease data (here, disease A and normal findings) that can be distinguished by this threshold. .
  • the original image data of the affected area whose findings are to be diagnosed as disease A or normal findings are input to the diagnosis assisting device 100 .
  • the doctor may also input information indicating that the disease A is suspected with respect to the original image data of the affected area to be diagnosed.
  • the image processing unit 1 processes the original image data in the same manner as the past diagnostic image data to obtain image data (diagnostic image data). ) is created (S1).
  • This diagnosis target image data is sent to the calculation unit 2, and the calculation unit 2 calculates a color tone related value for this diagnosis target image data (S2).
  • the calculator 2 obtains Ga/Ra as the color tone related value in the same manner as when the threshold value setting unit 4 calculates the color tone related value.
  • the doctor also inputs information indicating that disease A is suspected in the original image data, so calculation unit 2 calculates the color tone-related value for which the threshold for disease A is set.
  • the balance of R, G, and B representing the color tone of the image data tends to be very similar.
  • the calculation unit 2 Ga/Ra can be obtained for the diagnosis target image data in the same manner as the threshold value setting unit 4 .
  • the disease estimator 3 discriminates whether the findings are disease A or normal findings from thresholds stored in advance in the storage 5. (the threshold set for Ga/Ra) is read out.
  • the disease estimating unit 3 compares the color tone-related value calculated for the diagnosis target image data with the threshold value read from the storage unit 5, and estimates whether the affected area to be diagnosed is disease A or a normal finding. (S3).
  • the estimation results estimated in this way are output to the display. It is designed to assist the doctor who sees this display in determining whether the affected area to be diagnosed is the disease A or the findings are normal.
  • the calculation unit 2 calculates the color tone-related value related to the color tone of the image data, so that the disease can be specified based on the color tone-related value, which is an objective numerical value. can.
  • the color tone-related value is the average value or the ratio of the average values of the R, G, and B luminances of each pixel forming the image data, it can be easily calculated by a general-purpose computer. There is no need to prepare any special equipment.
  • the average value of the color with the highest average luminance value among the three colors of R, G, and B is divided by the average value of at least one of the other two colors. From the image data, it is possible to obtain a color tone related value related only to the color tone while eliminating as much as possible the influence of the difference in lightness that differs for each image data due to the shooting environment or the like.
  • the doctor who is the user can grasp the degree of accuracy estimated by the disease estimation unit 3 from the AUC of the ROC curve and the value of the 95% confidence interval. be able to. As a result, a doctor can make a diagnosis that takes into account the estimated accuracy.
  • the color tone-related value may represent the characteristic of the color tone of the image data as a numerical value, and may be the average value of the luminance of any one of RGB of each pixel forming the image data. Alternatively, it may be the median value of luminance of any one color, the standard deviation of any one color, or the like. Furthermore, ratios such as the median value of brightness and the standard deviation of brightness calculated for each of R, G, and B may be used as the tone-related values.
  • the threshold value setting unit calculates the threshold value for the color tone related value based on the color tone related value.
  • a formula also called a discriminant function
  • the disease estimating unit uses the function or discriminant set by the threshold setting unit to determine the image data to be diagnosed. You may make it calculate which disease it is.
  • the diagnostic assisting apparatus can be used not only for diagnosing an affected area predicted to be a specific disease (disease A in the above embodiment), but also for diagnosing what kind of disease it is. It can also be applied when diagnosing an unexpected affected area.
  • An example of the operation of the diagnosis assisting device when diagnosing an affected part whose type of disease is not predicted will be described below.
  • the original image data of the diseased part whose disease has been identified in the past and the original image data are compared.
  • Disease data are prepared for a plurality of types of diseases and input to the diagnosis assisting device.
  • the threshold value setting unit sets a plurality of types of color tone-related values for the image data created from the plurality of original image data, for example, the average value of the luminance of any one color among RGB of each pixel forming the image data described above, Two or more of the median luminance of any one color, the standard deviation of any one color, and the ratio thereof are calculated.
  • the threshold setting unit sets the first threshold for distinguishing between disease A and disease B for these various color tone-related values, for example, Ra, which is the average value of R luminance. Furthermore, a second threshold value for distinguishing disease A from disease C is set for a value (Ba/Ra) obtained by dividing the average B luminance value (Ba) by the average R luminance value (Ra). Different types of thresholds for color tone-related values are set for the plurality of types of disease data acquired in this manner.
  • the original image data of the diseased part to be diagnosed is input to the diagnosis assisting device, so that the calculation unit that has received the image data created from the original image data calculates the color tone.
  • a plurality of types of numerical values for example, the average value of the luminance of any one color of RGB of each pixel forming the image data described above, the median value of the luminance of any one color, the standard deviation of any one color, and these Two or more of the ratios are calculated.
  • the disease estimating unit compares each of the plurality of types of color tone-related values calculated by the calculating unit with a threshold for the same type of color tone-related value stored in the storage unit, and selects the most common color tone-related value from the comparison results with the plurality of thresholds. Probable disease data are selected and output as estimation results.
  • the disease data may be the name of the disease as described above, or an abbreviation, symbol or numerical value representing the name of the disease.
  • ophthalmologic diseases whose symptoms can be easily captured as images
  • a diagnosis assisting device can be easily applied.
  • conjunctival amyloidosis MALT lymphoma, subconjunctival hemorrhage (SCH), pterygium (PTG), scleritis, age-related macular degeneration (AMD), central serous chorioretinopathy (CSC), etc.
  • Examples include, but are not limited to.
  • ophthalmological diseases and conventionally, diseases in internal medicine, surgery, and other fields where doctors observe the appearance of the affected area visually, with a magnifying glass, or with an endoscope, etc., and diagnose from the color tone of the affected area. It can be widely applied.
  • the disease estimating unit outputs only disease data has been described.
  • One or more of the 95% confidence interval and the like may be output together.
  • the diagnosis assisting device only needs to include at least a calculating unit, and does not necessarily include all of the image processing unit, disease estimating unit, threshold setting unit, storage unit, etc. described above. Some or all of the functions of the image processing unit, disease estimating unit, threshold value setting unit, storage unit, and the like may be performed by the users, such as doctors and nurses.
  • the RGB color model is not limited to sRGB as described above, and the effects of the present invention can be achieved similarly even when using other RGB color models.
  • Example 1 In this first embodiment, two diseases (conjunctival amyloidosis and MALT lymphoma), which are said to be difficult to distinguish among ophthalmological diseases even by experienced physicians, are diagnosed using the diagnostic assisting device according to the present invention. I checked to see if it was identifiable.
  • FIG. 4 a plurality of images of diseased areas that have been definitively diagnosed as having one of these two diseases are prepared as original image data.
  • FIG. 4(a) shows the actual image
  • FIG. 4(b) shows the diagnosis result for the image of FIG. 4(a).
  • the image shown in FIG. 4 is part of the image used in the first embodiment.
  • These original image data were input to a general-purpose PC, and the image data shown in FIG. 5 were created by trimming the image.
  • each created image data and disease data (here, disease name) corresponding to each image data were input into the diagnosis assisting device.
  • the threshold value setting unit that receives each image data and disease data corresponding to each image data calculates the average value of the luminance of each of R, G, and B of each pixel forming each image data for each image data. Calculated by dividing the average brightness (Ga or Ba) of the other colors of the same image data by the average value (Ra) of the color with the highest average brightness value in each image data (Ga/Ra and Ba/Ra) was calculated by the calculator. This calculation result is shown in FIG.
  • FIG. 7 shows the ROC curve created by the threshold setting unit using the relationship between Ga/Ra and the actual disease shown in FIG.
  • the ROC curve shown in FIG. 7 is for determining the threshold for distinguishing between conjunctival amyloidosis and MALT lymphoma, where 0 is for conjunctival amyloidosis and 1 is for MALT lymphoma.
  • the ROC curve generated for Ga/Ra had an AUC of 0.833 with a 95% confidence interval of 0.68-0.986.
  • the data used to generate the ROC curve and the thresholds set using the ROC curve are shown in the table on the right side of FIG.
  • FIG. 8 shows the ROC curve similarly created for Ba/Ra shown in FIG.
  • the Ba/Ra ROC curve shown in FIG. 8 had an AUC of 0.948 with a 95% confidence interval of 0.865-1.
  • the table on the right side of FIG. 8 shows the data used to create the ROC curve of FIG. 8 as well as the thresholds set using the ROC curve.
  • FIG. 9 shows the results of creating ROC curves based on the Ra, Ga, or Ba shown in FIG. 6 above. It was confirmed that the ROC curves shown in FIG. 9 also had a high AUC and a wide 95% confidence interval. Especially for Ba, the AUC was 0.857 and the 95% confidence interval was 0.717 - 0.997.
  • diagnosis target image data can be used as a very reliable diagnostic index.
  • the past diagnostic image data used in the present embodiment is discarded as image data to be diagnosed using image division software. Thirty-six image data that were created by randomly dividing the image into four were used. The correct answer rate when identifying a disease in these image data is 80% when Ga/Ra is used as the color tone-related value, and 100% when Ba/Ra is used as the color tone-related value, which is a very high probability. It has been confirmed that The two diseases used as models in Example 1 (conjunctival amyloidosis and MALT lymphoma) are difficult to distinguish from their appearance even by experienced physicians. It has been confirmed that the device enables diagnosis with much higher accuracy than conventional devices.
  • Example 2 The image data used in Example 1 is randomly divided into four parts, each of which is about 10% to 30% of the size of the original image. was obtained, and the difference from the color tone-related value calculated for the image data before and after division was examined.
  • Ga/Ra and Ba/Ra were calculated by the diagnosis assisting device in the same manner as in the first embodiment for each randomly divided image data. Calculation results are shown in FIG. Ga/Ra, which is the color tone-related value calculated for each divided image data, was compared with Ga/Ra of the image data before division calculated in the first embodiment. Further, Ba/Ra, which is the color tone-related value calculated for each divided image, was compared with the Ba/Ra threshold set in the first embodiment. Diagnosis results by this comparison are shown in the leftmost column of FIG. As can be seen from FIG. 10, the color tone-related value of each piece of divided image data has a variation of about ⁇ 7% from the color tone-related value of the image data before division, which is the basis of each piece of divided image data.
  • the accuracy rate of the disease estimation result predicted from the magnitude of this variation is 71% when Ga/Ra is used and 79% when Ba/Ra is used, which are extremely high. From this result, it was found that the diagnosis assisting apparatus according to the present invention can specify a disease with extremely high accuracy even when the diagnosis target image data does not necessarily include the entire affected area. Furthermore, from the results of this example, it was found that the larger the size of the image data, the higher the accuracy of disease estimation.
  • Example 3 In this example, discriminant analysis was performed using the three tone-related values of Ra, Ga, and Ba of each past diagnostic image data in Example 1.
  • FIG. 1 a general discriminant analysis program was executed by the threshold setting unit to set one discriminant function including three functions indicating the relationship between the three color tone-related values and the disease data.
  • FIG. 11 shows a canonical plot visually representing the discriminant function set by the threshold value setting unit
  • FIG. 12 shows an ROC curve created for the set discriminant function. From the canonical plot shown in FIG. 11, Ra and Ba show large values for differentiation between conjunctival amyloidosis and MALT lymphoma. Recognize.
  • FIG. 11 shows a canonical plot visually representing the discriminant function set by the threshold value setting unit
  • FIG. 12 shows an ROC curve created for the set discriminant function. From the canonical plot shown in FIG. 11, Ra and Ba show large values for differentiation between conjunctival amyloidosis and MALT lymphoma. Recognize.
  • FIG. 11 shows ROC curves for conjunctival amyloidosis and MALT lymphoma, respectively.
  • the AUC is very high at 0.9905 for both diseases. It is thought that conjunctival amyloidosis and MALT lymphoma can be distinguished from each other with almost 100% probability.
  • a disease can be estimated with high accuracy not by setting a threshold value for each color tone-related value but by performing discriminant analysis by combining a plurality of types of color tone-related values.
  • the degree of contribution of each color to the discrimination can be grasped from the canonical plot, it is easier to grasp objectively from the point of view of discriminating the difference in disease color tone.
  • Example 4 In order to confirm the results obtained in Example 3 using other tone-related values, Ga/Ra and Ba/Ra were calculated in the same manner as in Example 1, and these two tone-related values were used. Discriminant analysis was performed in the same manner as in Example 3, and canonical plots and ROC curves were created based on the obtained discriminant functions. The results are shown in FIGS. 13 and 14. FIG.
  • Example 5 As the image data, the same as in Example 1 was performed using the past diagnostic image data of any of the anterior eye diseases subconjunctival hemorrhage (SCH), pterygium (PTG) and scleritis and normal findings. The method set thresholds from these historical diagnostic images and identified disease on these image data.
  • SCH subconjunctival hemorrhage
  • PSG pterygium
  • Ga/Ra and Ba/Ra calculated for Example 5 and respective numerical values are shown in FIG. Based on the numerical values in FIG. 15, in order to determine the threshold for whether there are three diseases or normal findings, the ROC curve for distinguishing between PTG and scleritis, and the ROC curve for distinguishing between scleritis and normal findings A ROC curve for scleritis and a ROC curve for distinguishing between scleritis and SCH were created, and each threshold was set. These ROC curves are shown in Figures 16-20.
  • the ROC curves shown in Figures 16-20 all have very high specificity and sensitivity. Therefore, it is considered possible to estimate with sufficiently high accuracy which of the above-described three diseases and normal findings is to be diagnosed using the thresholds set based on these ROC curves.
  • Example 6> This example is intended to confirm the applicability of the present invention to diseases other than the diseases of the anterior eye used in Examples 1-5. Specifically, past diagnostic image data of age-related macular degeneration (AMD), central serous chorioretinopathy (CSC), or normal findings, which is a disease of the fundus, is input into the diagnosis assisting device, A threshold was set from these past diagnostic images in the same manner as in Example 1. As for the disease of the fundus, it is difficult to cut out only the diseased part because the color difference between the lesion and the background is small like the disease of the anterior part of the eye.
  • AMD age-related macular degeneration
  • CSC central serous chorioretinopathy
  • a threshold was set from these past diagnostic images in the same manner as in Example 1.
  • the disease of the fundus it is difficult to cut out only the diseased part because the color difference between the lesion and the background is small like the disease of the anterior part of the eye.
  • the image processing section cuts out the central portion of the photograph of the affected area to a predetermined size of about 4 mm square, and further removes the blood vessel portion to create and use image data. Therefore, the image data used in the present embodiment partially includes parts other than the lesion site.
  • Ga/Ra and Ba/Ra calculated for Example 6 and their respective values are shown in FIG. Based on the numerical values in FIG. 21, a ROC curve for distinguishing between AMD and CSC, an ROC curve for distinguishing between AMD and normal findings, and a A ROC curve was generated to discriminate between CSC and normal findings. These ROC curves are shown in Figures 22-24.
  • the AUC of each of these ROC curves is very high, so by using a threshold set based on these, the diagnosis target is any of these diseases or normal findings can be estimated with high accuracy.
  • the diagnostic assisting device is used for diseases in fields other than ophthalmology, which are diagnosed by a doctor observing the appearance of the affected area visually, with a magnifying glass, with an endoscope, or the like. to see if it could be used to identify disease.
  • Melanoma, nevus pigmentosum, and dermatofibroma were used as disease examples.
  • a photograph of the affected area observed using a loupe with a light of about 10 times called a dermoscope, taken with a digital camera attached to the dermoscope was used.
  • each photograph of the lesion area obtained as described above was used as the original image data, and the original image data was processed so that the abnormal area remained by cutting it at the boundary between the normal area and the abnormal area.
  • the calculation unit was caused to calculate the average value and standard deviation of the entire image data based on the luminance of each of R, G, and B of each pixel. The results are shown in FIGS. 26-28.
  • the average value of the luminance of each of R, G, and B in certain image data is the average value of the color with the highest average luminance value.
  • FIG. 29 shows the ROC curve created by the setting unit.
  • the ROC curve shown in FIG. 29 is for determining a threshold for distinguishing between melanoma and pigmented nevus, where melanoma is 0 and pigmented nevus is 1.
  • the ROC curve generated for Ra had an AUC of 0.817 with a 95% confidence interval of 0.689-0.944.
  • the ROC curve generated for Ga had an AUC of 0.777 with a 95% confidence interval of 0.642-0.913.
  • the ROC curve generated for Ba had an AUC of 0.800 with a 95% confidence interval of 0.663-0.937.
  • a threshold value for distinguishing pigmented nevus from dermatofibroma was set by creating an ROC curve, with 0 for nevus pigmentosa and 1 for dermatofibroma.
  • FIG. 30 shows the ROC curve in this case.
  • Each index regarding these ROC curves is as follows.
  • the ROC curve generated for Ra had an AUC of 0.879 with a 95% confidence interval of 0.755-1.
  • the ROC curve generated for Ga had an AUC of 0.864 with a 95% confidence interval of 0.748-0.98.
  • the ROC curve generated for Ba had an AUC of 0.986 with a 95% confidence interval of 0.96-1.
  • FIG. 31 shows the ROC curve in this case.
  • Each index regarding these ROC curves is as follows.
  • the ROC curve generated for Ra had an AUC of 0.977 with a 95% confidence interval of 0.938-1.
  • the ROC curve generated for Ga had an AUC of 0.973 with a 95% confidence interval of 0.924-1.
  • the ROC curve generated for Ba had an AUC of 0.950 with a 95% confidence interval of 0.872-1.
  • Example 8 based on the calculated average values (Ra, Ga, Ba) of the brightness of each of R, G, and B of each image data and the definitive diagnosis information of the affected area corresponding to each image data described above, Logistic regression analysis was performed to determine whether the average brightness of melanoma and nevus pigmentosa, nevus pigmentosa and dermatofibroma, and dermatofibroma and melanoma had significant differences. Specifically, first, each image data is classified into three groups of melanoma, nevus pigmentosa, and dermatofibroma based on the confirmed diagnosis information, and the average values of Ra, Ga, and Ba in each group are calculated. asked.
  • a logistic regression is performed on the significant difference between the average brightness of each of R, G, and B of the past diagnostic image group with a definite diagnosis of melanoma and the average brightness of the pigmented nevus. performed the analysis.
  • the p-value for brightness between melanoma and pigmented nevus was 8.3 ⁇ 10 ⁇ 4 and that there was a significant difference in brightness.
  • the p-value for the mean brightness of pigmented nevus and dermatofibroma is 2.2 ⁇ 10 ⁇ 6
  • the p-value for the mean brightness of dermatofibroma and melanoma is 4.0 ⁇ 10-8 . In both cases, we were able to obtain p-values that were much smaller than the significance level (0.05). .
  • Example 9 Based on the average values (Ra, Ga, Ba) of the luminance of each of R, G, and B of each image data calculated in Example 7, and the confirmed diagnosis information of the affected area corresponding to each image data described above, Discriminant analysis was performed in the same manner as in Example 3 to distinguish between melanoma and nevus pigmentosa, nevus pigmentosa and dermatofibroma, and dermatofibroma and melanoma, respectively.
  • a general discriminant analysis program is executed by the threshold setting unit, and one discriminant function including three functions indicating the relationship between three color tone-related values and disease data is discriminated for each combination of diseases. was set to For the case of distinguishing between melanoma and pigmented nevi, the canonical plot visually representing the discriminant function set by the threshold setting unit is shown in FIG. show.
  • FIG. 33 shows ROC curves for melanoma and pigmented nevus, respectively. According to the ROC curve in FIG. 33, the AUC is as high as 0.8 or more for both diseases. Melanoma and pigmented nevus can be differentiated with high probability, which is considered to be helpful in diagnosis.
  • FIG. 34 shows the results of discriminant analysis for discriminating between nevus pigmentosa and dermatofibroma
  • FIG. 35 shows ROC curves created for the set discriminant functions. From the canonical plot shown in FIG. 34, it can be seen that Ba is particularly closely involved in the differentiation between nevus pigmentosa and dermatofibroma, and was useful for the differentiation.
  • FIG. 35 shows ROC curves for nevus pigmentosa and dermatofibroma, respectively. According to the ROC curve in FIG. 35, the AUC is very high, 0.98 or more, for both diseases. Therefore, melanoma and pigmented nevus can be distinguished with high probability, which is considered to be helpful in diagnosis.
  • FIG. 36 shows the results of discriminant analysis for distinguishing between dermatofibroma and melanoma
  • FIG. 37 shows ROC curves created for the set discriminant functions.
  • FIG. 37 shows ROC curves for nevus pigmentosa and dermatofibroma, respectively.
  • the AUC is very high, 0.97 or more, for both diseases. Therefore, melanoma and pigmented nevus can be differentiated with high probability, and it is considered to be an aid in diagnosis.
  • Example 10 For melanoma and pigmented nevus among the skin diseases used in Examples 7 to 9, original image data completely different from the image data used as past diagnostic images in Examples 7 to 9 were prepared, It was confirmed whether or not each of the methods of Example 7 or 8 could distinguish diseases when these were given to the diagnostic aid apparatus according to the present invention.
  • FIG. 38 shows numerical values calculated by the calculator for each image data obtained from these images as original image data.
  • a ROC curve was created in the same manner as in Example 7. The AUC obtained from the ROC curve using Ra was 0.938, Ga was 1, and Ba was 0.875, and it was possible to obtain very reliable indexes for each item.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

医師の知識・技量又は特殊な機器を要することなく、疾病を精度よく特定するための診断補助装置又は診断補助プログラムを提供する。診断対象となる画像データに基づいて疾患を特定することを補助する診断補助装置であって、前記画像データを形成する各画素のＲ、Ｇ及びＢの各輝度に基づいて前記画像データの色調に関連する色調関連値を算出する算出部を備えた診断補助装置とした。

Description

診断補助装置及び診断補助プログラム
　本発明は、医師が画像データに基づいて疾患を特定することを補助する診断補助装置及び診断補助プログラムに関するものである。
　医師が疾患を特定する方法として、例えば、眼科領域においては、細隙灯顕微鏡を用いて患部の外観から疾患を特定する診察方法が広く用いられている。
　しかしながら、細隙灯顕微鏡を用いた診察方法においては、患部の外観から医師が主観的に疾患を判断するので、診断医の知識・技量により診断の感度・特異度が左右されるという問題がある。特に、実臨床において稀にしか遭遇しない稀少疾患については、診断がより困難となる。
　前述した問題は、前述したような眼科領域においてだけではなく、患部の外観から医師が疾患を特定する内科や外科、その他の診療科においても生じる。
　この問題を解決する方法として、例えば、特許文献１に示すような光干渉断層撮影を用いた画像解析装置を用いることも考えられているが、特殊な撮像機器が必要であり、コストがかかるという問題がある。
特開２０２１－０８７７６２号公報
　本発明は、前述したような課題に鑑みてなされたものであり、診断医の知識・技量や特殊な撮像機器等を要することなく、疾病を精度よく特定するための診断補助装置又は診断補助プログラムを提供することを目的とする。
　本発明は、診断対象となる患部の画像データについて、該画像データによって表される外観のうち、その画像データ全体の色合い（より具体的には、画像データ全体におけるＲＧＢの輝度のバランス）である色調を客観的な数値として抽出すれば、この色調関連値に基づいて疾患を精度よく特定することができることを本発明者が見出して初めて完成されたものである。
　すなわち、本発明に係る診断補助装置は、診断対象となる画像データに基づいて疾患を特定することを補助する診断補助装置であって、前記画像データを形成する各画素のＲ、Ｇ及びBの各輝度に基づいて前記画像データの色調に関連する色調関連値を算出する算出部を備えていることを特徴とするものである。
　このように構成した診断補助装置によれば、前記画像データを形成する各画素のＲ、Ｇ及びBの各輝度に基づいて前記画像データの色調に関連する色調関連値を算出するので、診断対象の画像データの色調を数値として表すことができる。
　色調を数値として表すことができれば、医師の知識や技量に関係なく、数値を基準として客観的に疾患を特定することができる。
　また、画像データから前記色調関連値を算出すればよいだけであるので、撮像機器として安価な汎用のデジタルカメラや、内視鏡等の患部を観察するための装置に装備されている標準的なカメラを用いて実現可能であり、特殊で高価な撮像機器を準備する必要もない。
　前記色調関連値は、前記画像データを形成する各画素のＲ、Ｇ及びＢの各輝度の平均値、中央値、標準偏差、平均値の比、中央値の比及び標準偏差の比のうち１つ以上であるものとしてもよい。
　画像間における明度の差異による影響をできるだけ除いた状態で数値化するためには、前記算出部が前記色調関連値として、Ｒ、Ｇ及びＢのうち最も平均値が大きい色の平均値で、その他の２色のうち１色の平均値を割った値を算出するものであることは有用である。例えば、Ｒの平均値（Ｒａ）が最も大きい場合には、他の２色の平均値（Ｇａ、Ｂａ）をＲａで割った値であるＧａ／Ｒａ及び又はＢａ／Ｒａを色調関連値として算出される。
　前記色調関連値と予め定められた閾値とを比較し、この比較結果に基づいて疾患名を推定する疾患推定部をさらに備えるものとすれば、より便利である。
　前記診断補助装置が、疾患が特定された患部の画像データについて予め算出された前記色調関連値に基づいて閾値を設定する閾値設定部をさらに備えるものとしてもよい。
　また、前記診断補助装置が、疾患毎に求めた前記閾値を各疾患と関連付けて記憶する記憶部をさらに備えるものとしても良い。
　本発明の具体的な実施態様としては、前記閾値設定部がROC曲線を用いて前記閾値を求めるものを挙げることができる。
　本発明は患部の画像から疾患を診断する場合に広く用いることができるものであるが、病変を光学的に観察・撮影可能なものが多い眼科疾患において特に顕著な効果を発揮することが期待される。
　本発明によれば、従来経験則として主観的に判断されてきた患部の外観から色調関連値という客観的な数値を抽出し、この数値に基づいて疾患を特定することができる。その結果、経験豊富な医師による判断でも鑑別が困難な疾患や、稀少疾患においても、医師による適切な診断のための補助とすることができる。
　画像診断の中でも、特に、遠隔診療においてカメラなどを用いて撮影した画像を印刷したり画面に投影したりする際には、使用する機材毎に実際の色調・色彩からの微細な差異があることは診断において重大な問題となることもある。本発明によれば、画像データの色調を数値として捉えることができるので、印刷や投影に用いる機器の性能の影響を受けることがなく、遠隔医療においてもその効果が期待される。
　また、人工知能との組み合わせによって膨大な過去の診断データを集めた場合には、診断指標の精度をさらに向上させることも可能である。
本発明の一実施形態に係る診断補助装置の全体模式図である。 本実施形態に係る診断補助装置による閾値設定の手順を示すフローチャートである。 本実施形態に係る診断補助装置による診断補助の手順を示すフローチャートである。 実施例１において実際に使用された患部の写真（原画像データ）である。 実施例１において使用する画像から作成した画像データのうちの１つを示す図である。 実施例１において作成した各画像データについて算出部が算出した数値を示す表である。 図６に示したGa/Raの値から閾値を設定する際のROC曲線を示すグラフ及び閾値を示す表である。 図６に示したBa/Raの値から閾値を設定する際のROC曲線を示すグラフ及び閾値を示す表である。 図６に示したRa、Ga及びBaのそれぞれについて作成したROC曲線を示すグラフである。 実施例２において作成した各画像データについて算出部が算出した数値を示す表である。 実施例１で算出した色調関連値のうち３種類を併用して作成した正準プロットの結果を示すグラフ及び表である。 実施例３で設定された判別関数について作成したＲＯＣ曲線を示すグラフである。 実施例１で算出した色調関連値のうち２種類を併用して作成した正準プロットの結果を示すグラフ及び表である。 実施例３で設定された判別関数について作成したＲＯＣ曲線を示すグラフである。 実施例５で用いた各画像データについて算出部が算出した数値を示す表である。 図１５に示した色調関連値から閾値を設定する際のROC曲線を示すグラフである。 図１５に示した色調関連値から閾値を設定する際のROC曲線を示すグラフである。 図１５に示した色調関連値から閾値を設定する際のROC曲線を示すグラフである。 図１５に示した色調関連値から閾値を設定する際のROC曲線を示すグラフである。 図１５に示した色調関連値から閾値を設定する際のROC曲線を示すグラフである。 実施例６で用いた各画像データについて算出部が算出した数値を示す表である。 図２１に示した色調関連値から閾値を設定する際のROC曲線を示すグラフである。 図２１に示した色調関連値から閾値を設定する際のROC曲線を示すグラフである。 図２１に示した色調関連値から閾値を設定する際のROC曲線を示すグラフである。 実施例７において実際に使用された患部の写真（原画像データ）の一例である。 実施例７で用いた各画像データについて算出部が算出した数値を示す表である。 実施例７で用いた各画像データについて算出部が算出した数値を示す表である。 実施例７で用いた各画像データについて算出部が算出した数値を示す表である。 実施例７で算出した色調関連値から閾値を設定する際のROC曲線を示すグラフである。 実施例７で算出した色調関連値から閾値を設定する際のROC曲線を示すグラフである。 実施例７で算出した色調関連値から閾値を設定する際のROC曲線を示すグラフである。 実施例７で算出した色調関連値のうち２種類を併用して作成した正準プロットの結果を示すグラフである。 実施例９で設定された判別関数について作成したＲＯＣ曲線を示すグラフである。 実施例７で算出した色調関連値のうち２種類を併用して作成した正準プロットの結果を示すグラフである。 実施例９で設定された判別関数について作成したＲＯＣ曲線を示すグラフである。 実施例７で算出した色調関連値のうち２種類を併用して作成した正準プロットの結果を示すグラフである。 実施例９で設定された判別関数について作成したＲＯＣ曲線を示すグラフである。 実施例１０で用いた各画像データについて算出部が算出した数値を示す表である。
　以下に、本発明の一実施形態について図面を参照しながら説明する。
　本実施形態に係る診断補助装置１００は、国際電気標準会議（ＩＥＣ）が定めた国際標準規格であるｓＲＧＢなどのＲＧＢカラーモデルを使用した加法混合でカラー表示された診断対象となる患部の画像データ（以下、診断対象画像データともいう。）に基づいて疾患を特定することを補助するものである。より具体的には、診断補助装置１００は、構造的には、例えばＣＰＵ、メモリ、入出力インタフェース等を備えた専用乃至汎用のコンピュータである。
　本実施形態に係る診断補助装置１００は、例えば、図１に示すように、患部の原画像データを受け付けて、原画像データから画像データを作成する画像処理部１と、該画像処理部１によって作成された画像データについて、該画像データを形成する各画素のＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）及びＢ（Ｂｌｕｅ）の３色それぞれの輝度から前記画像データの色調を表す色調関連値を算出する算出部２と、該算出部２によって算出された色調関連値に基づいて疾患を推定する疾患推定部３と、を備えたものである。
　画像処理部１は、例えば、汎用のデジタルカメラ等の撮像機器によって患部の画像を撮像して得た原画像データから、例えば、病変部位のみを含む範囲を切り取って画像データを作成するものである。より具体的に、画像処理部１は、原画像データから、病変部位のみを含む範囲をできるだけ大きく切り取って画像データを作成する。画像データに含まれる画素数が多い方が、色調関連値として画像データの色調の特徴をより精度よく数値として抽出することができるため、原画像データから切り取られる画像データの大きさはできるだけ大きいことが好ましい。なお、患部の画像から病変部位を含む範囲を設定するステップについては、医師が入力インタフェースを介して画像処理部１対して指示を入力するようにしてもよいし、機械学習によって画像処理部１が自動で病変部位を判断できるようにする等としてもよい。
　色調関連値に画像データの色調の特徴をより精度よく反映させるために、本実施形態においては、画像処理部１が、原画像データのうち、例えば、撮像時に使用した光源などが映り込んで白飛びしている部分、すなわちＲ、Ｇ及びＢの輝度の合計が所定値を超えている部分を削除するようにしてある。
　算出部２は、画像処理部１から受け取った診断対象画像データについて、該画像データを形成する各画素のＲ、Ｇ及びＢそれぞれの輝度に基づいて、例えば、これらＲ、Ｇ及びＢそれぞれについて各画素の輝度の平均値を算出する。この平均値そのものを色調関連値としても良いのであるが、この実施形態では、算出部２が、これら平均値を用いてさらに演算を行って、値が最も大きい平均値と他の色の平均値との比、より具体的には値が最も大きい色の平均値で他の２色のうち少なくとも１色の平均値を割った値を色調関連値として算出するようにしてある。
　疾患推定部３は、算出部２によって算出された色調関連値と予め設定された閾値とを比較することによって、前記色調関連値に対応する疾患名を推定するものである。例えば、算出された色調関連値がある閾値よりも小さい場合には、その色調関連値は正常所見に対応するものであることを推定する。また、色調関連値がある閾値以上である場合にはその色調関連値は疾患Ａに対応するものであると推定する。
　前記閾値は、例えば、診断補助装置１００が備える閾値設定部４によって設定されるものである。
　閾値設定部４は、既に疾患が特定されている患部の画像データ（過去診断画像データともいう。）及び前記特定されている疾患名を表す疾患データを受け付けて前記色調関連値を算出し、算出した色調関連値に基づいて前記疾患であるか否かを見分けるための閾値を設定する。
　より具体的に、閾値設定部４は、過去診断画像データを形成する各画素のＲ、Ｇ及びＢの３色それぞれの輝度から前述した算出部２と同様にして前記色調関連値として算出する。このように算出した色調関連値とその色調関連値を得た画像データについての疾患データ（疾患名）との組み合わせを複数取得し、これらの組み合わせから、ある疾患である場合とある疾患でない場合とを見分けるための前記色調関連値についての閾値を統計学的に設定するようにしてある。
　閾値を設定するためには、閾値設定部４が、少なくとも２種類以上の疾患データ（例えば、ここでは疾患Ａ及び正常所見）について、それぞれ複数の色調関連値と疾患データとの組み合わせを取得する必要がある。２種類の疾患データについて、それぞれの疾患データと色調関連値との組み合わせが多数得られれば得られるほど、前記２種類の疾患を見分けるための閾値を精度よく求めることができる。閾値設定部４が閾値を求めるより具体的な方法としては、見分けたい２つの疾患データについての色調関連値を用いて閾値を様々に変化させた場合のＲＯＣ曲線を作成し、ＲＯＣ曲線のＡＵＣ（Ａｒｅａ　ｕｎｄｅｒ　ｔｈｅ　ｃｕｒｖｅ）及び９５％信頼区間が最も大きくなる閾値を選択するようにしている。
　診断補助装置１００は、前述したようにして閾値設定部４が設定した閾値と、この閾値によって見分けることができる疾患名（例えば、疾患Ａ及び正常所見）である疾患データとを紐づけて記憶する記憶部５をさらに備えている。
　このように構成した診断補助装置１００の動作の一例を、図２及び図３を参照して以下に説明する。この実施形態では、診断対象である患部について疾患Ａであるか正常所見であるかを特定する場合について説明する。
　まずは閾値を設定する手順について説明する。
　疾患Ａであることが既に診断されている患部の原画像データと、正常所見であることが既に診断されている患部の原画像データとをそれぞれ複数取得し、これら原画像データを診断補助装置１００に入力する。
　原画像データを受け付けた画像処理部１は、原画像データから閾値設定部４に入力する画像データ（過去診断画像データ）を作成する。
　複数の過去診断画像データを受け付けた閾値設定部４は、各過去診断画像データについて色調関連値を算出する（Ｐ１）。閾値設定部４は、例えば、Ｒの輝度の平均値（Ｒａ）、Ｇの輝度の平均値（Ｇａ）及びＢの輝度の平均値（Ｂａ）のうち最も数値が大きい平均値（例えば、Ｒａ）で他の２色のうちの少なくとも１色の平均値（例えば、Ｇａ）を割った値（Ｇａ／Ｒａ）を色調関連値として求める。
　閾値設定部４は、各過去診断画像データに対応する疾患データを受け付け（Ｐ２）、算出した色調関連値とこの色調関連値に対応する疾患データとの組み合わせを、閾値を設定するために必要な数取得するまでこの作業を繰り返す（Ｐ３）。その後、閾値設定部４は、複数集めた色調関連値と疾患データとの組み合わせに基づいて、疾患Ａであるか正常所見であるかを見分けるための閾値を設定する（Ｐ４）。
　このようにして設定された閾値は、この閾値によって見分けることができる疾患データ（ここでは疾患Ａと正常所見）に紐づけられた状態で記憶部５に対して出力され記憶部５で記憶される。
　次に、例えば、疾患Ａであるか正常所見であるかを診断したい患部の原画像データが診断補助装置１００に入力される。この時、医師が、診断対象となる患部の原画像データについて、疾患Ａが疑われる旨の情報を併せて入力するようにしてもよい。
　前述したようにして診断対象である原画像データが入力されると、画像処理部１がこの原画像データに対して過去診断画像データの場合と同様に処理を行って画像データ（診断対象画像データ）を作成する（Ｓ１）。
　この診断対象画像データは算出部２に送られ、算出部２は、この診断対象画データについての色調関連値を算出する（Ｓ２）。算出部２は、閾値設定部４が色調関連値を算出した場合と同様にして、色調関連値としてＧａ／Ｒａを求める。この例においては、医師が原画像データについて疾患Ａが疑われる旨の情報を併せて入力しているので、算出部２は疾患Ａについての閾値が設定されている色調関連値を算出する。同じ疾患が疑われる場合には画像データの色調を表すＲ、Ｇ及びＢのバランスがよく似た傾向を示す。そのためこの場合には、算出部２で算出されるＲ、Ｇ及びＢそれぞれの輝度の平均値のうち値が最も高い色は過去診断画像データと同じくＲとなることが予測され、算出部２は診断対象画像データについて閾値設定部４と同様にＧａ／Ｒａを求めることができる。
　算出部２によって算出された色調関連値が疾患推定部３に送られると、疾患推定部３は記憶部５に予め記憶されている閾値の中から疾患Ａであるか正常所見であるかを見分けるための閾値（Ｇａ／Ｒａについて設定された閾値）を読み出す。疾患推定部３は、前記診断対象画像データについて算出された色調関連値と記憶部５から読み出した閾値とを比較して、診断対象である患部が疾患Ａであるのか正常所見であるのかを推定する（Ｓ３）。
　このように推定された推定結果は、ディスプレイに出力される。この表示を見た医師が、診断対象となっている患部が疾患Ａであるのか正常所見であるのかを判断する補助するようにしてある。
　このように構成した診断補助装置１００によれば、算出部２が画像データの色調に関連する色調関連値を算出するので、客観的な数値である色調関連値に基づいて疾患を特定することができる。
　また前記色調関連値は、画像データを形成する各画素のＲ、Ｇ及びＢの輝度の平均値又は平均値の比であるので、汎用のコンピュータで簡単に算出することができるものであり、特別な装置などを用意する必要がない。
　色調関連値としてＲ、Ｇ及びＢの３色のうち最も輝度の平均値が高い色の平均値で他の２色のうちの少なくとも１色の平均値を割った値を算出するので、診断対象画像データから撮影環境などに起因して画像データ毎に異なる明度の差による影響をできるだけ排除して色調のみに関連する色調関連値を得ることができる。
　前記閾値がＲＯＣ曲線を用いて設定されるので、ＲＯＣ曲線のＡＵＣや９５％信頼区間の値から、疾患推定部３によって推定される精度がどの程度であるかについて使用者である医師が把握することができる。その結果、医師は前記推定精度を考慮に入れた診断をすることができる。
　本発明は、前述した実施形態に限られるものではない。
　例えば、色調関連値は、画像データの色調の特徴を数値として表すことができるものであればよく、画像データを形成する各画素のＲＧＢのうちいずれか一色の輝度の平均値であってもよいし、いずれか一色の輝度の中央値やいずれか一色の標準偏差等であってもよい。さらに、Ｒ、Ｇ及びＢそれぞれについて算出された輝度の中央値や輝度の標準偏差等の比を前記色調関連値として用いるようにしてもよい。
　また、前述した実施形態では、閾値設定部が、色調関連値に基づいて色調関連値についての閾値を算出するものについて説明したが、閾値設定部が色調関連値についての関数やこの関数を含む判別式（判別関数ともいう。）を設定するものであってもよい。
　前述したように閾値設定部が、色調関連値についての関数や判別式を設定する場合には、疾患推定部が、閾値設定部によって設定された関数又は判別式を用いて、診断対象画像データがいずれの疾患であるかを算出するようにしてもよい。
　前述した実施形態では、疾患Ａであるか正常所見であるかを特定することを補助する場合について説明したが、このような場合に限られず、例えば、疾患Ａであるか疾患Ｂであるかを特定することを補助するものとしてもよい。
　さらに言えば、本発明に係る診断補助装置は、ある特定の疾患（前記実施形態では疾患Ａ）であることが予測されている患部を診断する場合だけでなく、どのような疾患であるかが予測されていない患部を診断する場合にも適用することができる。疾患の種類が予測されていない患部を診断する場合の診断補助装置の動作の例を以下に説明する。
　診断対象となる患部がどのような疾患を発症しているか又は正常であるかが全く分からない場合には、まずは過去に疾患が特定されている患部の原画像データと該原画像データに対応する疾患データとを複数種類の疾患について用意して、診断補助装置に入力する。
　前記閾値設定部が、これら複数の原画像データから作成された画像データについて複数種類の色調関連値、例えば、前述した画像データを形成する各画素のＲＧＢのうちいずれか一色の輝度の平均値、いずれか一色の輝度の中央値、いずれか一色の標準偏差及びこれらの比のうちの２種以上を算出する。
　その上で閾値設定部がこれら各種色調関連値について、例えば疾患Ａと疾患Ｂとを見分けるための第１閾値をＲの輝度の平均値であるＲａについて設定する。さらに、疾患Ａと疾患Ｃとを見分けるための第２閾値をＲの輝度の平均値（Ｒａ）でＢの輝度の平均値（Ｂａ）を割った値（Ｂａ／Ｒａ）について設定する。このようにして取得した複数種類の疾患データについて異なる種類の色調関連値の閾値をそれぞれ設定する。
　これら複数の閾値が予め記憶部に記憶された後、診断補助装置に診断対象の患部についての原画像データを入力することによって、原画像データから作成された画像データを受け付けた算出部が、色調関連値として複数種類の数値、例えば、前述した画像データを形成する各画素のＲＧＢのうちいずれか一色の輝度の平均値、いずれか一色の輝度の中央値、いずれか一色の標準偏差及びこれらの比のうちの２種以上を算出する。
　疾患推定部は、算出部が算出した複数種類の色調関連値を１種類ずつ、記憶部に記憶された同じ種類の色調関連値についての閾値と照会して、複数の閾値との比較結果から最も確からしい疾患データを選び推定結果として出力する。
　疾患データは前述したように疾患名であってもよいし、疾患名を表す略称、記号又は数値等であってもよい。
　眼科疾患には、その症状を画像として撮像しやすい疾患が比較的多いことから、係る診断補助装置を適用しやすいと考えられる。具体的には、例えば、結膜アミロイドーシス、ＭＡＬＴリンパ腫、結膜下出血（ＳＣＨ）、翼状片（ＰＴＧ）、強膜炎、加齢黄斑変性（ＡＭＤ）、中心性漿液性脈絡網膜症（ＣＳＣ）などを挙げることができるが、これらに限られない。さらに、前述した眼科疾患に限られず、従来、目視、拡大鏡又は内視鏡等によって患部の外観を医師が観察して患部の色調から診断している内科や外科、その他の分野の疾患についても広く適用することができるものである。
　前述した実施形態では、疾患推定部が疾患データのみを出力する場合について説明したが、疾患推定部が疾患データだけではなく、診断対象画像データについての色調関連値、閾値、該閾値についてのＡＵＣや９５％信頼区間等のうちの１種以上を併せて出力するものとしてもよい。
　本発明に係る診断補助装置は、少なくとも算出部を備えていればよく、前述した画像処理部、疾患推定部、閾値設定部、記憶部等を必ずしも全て備えていなくてもよい。これら画像処理部、疾患推定部、閾値設定部及び記憶部等の一部又は全部の機能を使用者である医師や看護師等の作業によって担うものとしてもよい。
　ＲＧＢカラーモデルは前述したｓＲＧＢに限らず、他のＲＧＢカラーモデルを使用する場合であっても同様に本発明の効果を奏することができる。
　その他、本発明はこれら実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　以下、本発明を具体的な実施例に基づいてより詳細に説明する。しかしながら、以下の実施例は、あくまでも本発明の一例であり、本発明は以下の実施例に限定されるものではない。
＜実施例１＞
　この実施例１では、眼科疾患のうち経験豊富な医師であっても見分けることが難しいとされている２つの疾患（結膜アミロイドーシスとＭＡＬＴリンパ腫）について、本発明に係る診断補助装置を用いて疾患を特定できるかどうかを確かめた。
　まず、図４に示すように、これら２つの疾患のうちいずれかであることが確定診断されている患部の画像を原画像データとして複数用意した。なお、図４（ａ）は実際の画像を、図４（ｂ）は図４（ａ）の画像についての診断結果である。図４に示す画像は実施例１において使用した画像の一部である。
　これら原画像データを汎用ＰＣに入力し、画像をトリミングすることによって図５に示すような画像データをそれぞれ作成した。
　次に、作成した各画像データ及び各画像データに対応する疾患データ（ここでは疾患名）を診断補助装置に入力した。次に、各画像データ及び各画像データに対応する疾患データを受け付けた閾値設定部が、各画像データを形成している各画素のＲ、Ｇ及びＢそれぞれの輝度の平均値を画像データ毎に算出し、各画像データにおいて最も輝度の平均値が高かった色の平均値（Ｒａ）で、同画像データの他の色の輝度の平均値（Ｇａ又はＢａ）を割った値（Ｇａ／Ｒａ及びＢａ／Ｒａ）を算出部に算出させた。この算出結果を図６に示す。
　図７には、図６に示したＧａ／Ｒａと実際の疾患との関係を用いて閾値設定部が作成したＲＯＣ曲線を示す。図７に示すＲＯＣ曲線は、結膜アミロイドーシスを０、ＭＡＬＴリンパ腫を１とした場合に、結膜アミロイドーシスとＭＡＬＴリンパ腫とを見分けるための閾値を決定するためのものである。Ｇａ／Ｒａについて作成したＲＯＣ曲線はＡＵＣが0.833であり、95%信頼区間が0.68-0.986であった。該ＲＯＣ曲線を作成するために使用されたデータ及び該ＲＯＣ曲線を用いて設定された閾値を図７の右側の表に示す。
　図６に示したＢａ／Ｒａについて同様に作成されたＲＯＣ曲線を図８に示す。図８に示したＢａ／ＲａのＲＯＣ曲線はＡＵＣが0.948であり、95%信頼区間が0.865-1であった。図７と同様に図８のＲＯＣ曲線を作成するために使用されたデータ及び該ＲＯＣ曲線を用いて設定された閾値を図８の右側の表に示す。
　さらに、前述した図６に示したＲａ、Ｇａ又はＢａそのものに基づいてＲＯＣ曲線を作成した結果を図９にそれぞれ示す。これら図９に示すＲＯＣ曲線についてもＡＵＣが高く、９５％信頼区間が広いことが確認できた。特にＢａについてはＡＵＣが0.857、９５％信頼区間が0.717 - 0.997となっており、Ｇａ／ＲａやＢａ／Ｒａの場合と同等の精度を有する閾値が設定できていることが分かった。
　以上の結果から、画像データの色調に関連する色調関連値であるＲａ、Ｇａ、Ｂａ、Ｇａ／Ｒａ又はＢａ／Ｒａについてそれぞれ設定した閾値のうちいずれか１つ以上を用いれば、診断対象画像データについて、非常に信頼性の高い診断指標とすることができることが分かる。
　なお、前述したＲＯＣ曲線によって設定したＧａ／Ｒａ又はＢａ／Ｒａのそれぞれについての閾値を用いて、診断対象画像データとして、本実施例で使用した過去診断画像データを、画像分割ソフトを用いて無作為に４分割して作成した３６個の画像データを用いた。これら画像データについて疾患を特定した場合の正答率は、色調関連値としてＧａ／Ｒａを用いた場合には８０％、色調関連値としてＢａ／Ｒａを用いた場合には１００％と非常に高確率であることが確かめられている。この実施例１でモデルとして使用している２つの疾患（結膜アミロイドーシスとＭＡＬＴリンパ腫）は、経験が豊富な医師でもその外観から見分けることが難しい疾患であるにも関わらず、本発明に係る診断補助装置によれば、従来よりも非常に高い精度での診断が可能になることが確かめられた。
＜実施例２＞
　実施例１で使用した画像データをそれぞれ無作為に４分割して元の画像の１割～３割程度の大きさとした画像データを用いて、実施例１と同様に各画像データの色調関連値を求め、分割前後の画像データについて算出された色調関連値との差異を調べた。
　無作為に分割した各分割画像データについて、診断補助装置に実施例１と同様にしてＧａ／Ｒａ及びＢａ／Ｒａを算出させた。算出結果を図１０に示す。
　各分割画像データについて算出された色調関連値であるＧａ／Ｒａを実施例１で算出した分割前の画像データのＧａ／Ｒａと比較した。また、各分割画像について算出された色調関連値であるＢａ／Ｒａを実施例１で設定したＢａ／Ｒａの閾値と比較した。この比較による診断結果を図１０の一番左のカラムに示す。
　図１０から分かるように、各分割画像データの色調関連値は、各分割画像データの元となった分割前の画像データの色調関連値から±７％程度のばらつきがあることが分かった。このばらつきの大きさから予測される疾患の推定結果の正解率は、Ｇａ／Ｒａを用いた場合７１％、Ｂａ／Ｒａを用いた場合７９％と非常に高いものであることが分かった。
　この結果から、本発明に係る診断補助装置によれば、診断対象画像データが必ずしも患部全体を含んでいない場合であっても非常に高精度に疾患を特定することができることが分かった。
　さらに、この実施例の結果から、画像データの大きさが大きい方がより疾患の推定精度が高まることも分かった。
＜実施例３＞
　この実施例では、実施例１で各過去診断画像データのＲａ、Ｇａ及びＢａの３つの色調関連値を用いて、判別分析を施行した。この判別分析においては、一般的な判別分析プログラムを閾値設定部に実行させて、３つの色調関連値と疾患データとの関連を示す３つの関数を含む１つの判別関数を設定させた。閾値設定部によって設定された判別関数を視覚的に表した正準プロットを図１１に、設定された判別関数について作成したＲＯＣ曲線を図１２にそれぞれ示す。
　図１１に記載した正準プロットから結膜アミロイドーシスとＭＡＬＴリンパ腫の鑑別にＲａ、Ｂａは大きな値を示しており、各群へ相対するベクトルを有していることからも鑑別に有用であったことがわかる。
　図１１は結膜アミロイドーシスとＭＡＬＴリンパ腫とのそれぞれについてのＲＯＣ曲線を示している。図１１のＲＯＣ曲線によれば、ＡＵＣがどちらの疾患についても０．９９０５と非常に高くなっていることから、Ｒａ、Ｇａ及びＢａの３つの色調関連値を併用して判別関数を設定することによって結膜アミロイドーシスとＭＡＬＴリンパ腫をほぼ１００％の確率で見分けることができると考えられる。
　この実施例３から、色調関連値についてそれぞれ閾値を設定するのではなく、複数種類の色調関連値を組み合わせて判別分析を行うことによっても、精度よく疾患を推定できることが分かった。また、正準プロットからは、鑑別において各色の寄与の程度を把握出来るため、疾患色調の差違を鑑別するという点からより客観的に捉えやすい。
＜実施例４＞
　実施例３で得られた結果を他の色調関連値を用いて確かめるために、実施例１と同様にしてＧａ／ＲａとＢａ／Ｒａとを算出し、これら２つの色調関連値を用いて実施例３と同様にして判別分析を行い、得られた判別関数について基づいて正準プロット及びＲＯＣ曲線を作成した。結果を図１３及び図１４に示す。
　図１３の結果から、Ｇａ／Ｒａ及びＢａ／Ｒａについての関数を用いた判別関数によれば、結膜アミロイドーシスとＭＡＬＴリンパ腫とを明確に差別化することができていることが分かった。
　また、結膜アミロイドーシスとＭＡＬＴリンパ腫とのそれぞれについてのＲＯＣ曲線を示している図１４によれば、ＡＵＣが結膜アミロイドーシスについては０．９２８６であり、ＭＡＬＴリンパ腫については０．９４７６と、いずれの疾患についても非常に高かった。すなわち、Ｇａ／Ｒａ及びＢａ／Ｒａの両方を用いて判別関数を設定することによって、結膜アミロイドーシスとＭＡＬＴリンパ腫を非常に高い確率で見分けることができることが分かった。
＜実施例５＞
　画像データとして、前眼部疾患である結膜下出血（ＳＣＨ）、翼状片（ＰＴＧ）及び強膜炎と正常所見のうちのいずれかである過去診断画像データを用いて、実施例１と同様の手法でこれら過去診断画像から閾値を設定し、これら画像データについて疾患を特定した。
　この実施例５について算出されたＧａ／Ｒａ及びＢａ／Ｒａ及び各数値を図１５に示す。
　この図１５の数値に基づいて、３つの疾患又は正常所見であるかどうかについての閾値を求めるために、ＰＴＧと強膜炎とを見分けるためのＲＯＣ曲線、強膜炎と正常所見とを見分けるためのＲＯＣ曲線及び強膜炎とＳＣＨとを見分けるためのＲＯＣ曲線を作成し、各閾値を設定した。これらＲＯＣ曲線を図１６～２０に示す。
　図１６～２０に示したＲＯＣ曲線はグラフの形状からも分かるようにいずれも非常に高い特異性と感度を有している。そのため、これら各ＲＯＣ曲線に基づいて設定された閾値を用い、診断対象が、前述した３つの疾患及び正常所見のうちの何れであるかを十分に高い精度で推定することができると考えられる。
　このように、これら各色調関連値について設定された閾値と疾患データとの組み合わせが複数用意されていれば、いずれの疾患であるかが不明の診断対象画像データについて得られた各色調関連値をこれら閾値と比較することによって、閾値とともに記憶部に記憶されている疾患の中で最も色調が近い疾患がどの疾患であるかを疾患推定部によって推定することができる。
＜実施例６＞
　この実施例は、実施例１～５で使用した眼前部の疾患以外の疾患についても本発明を適用できることを確かめるためのものである。具体的には、眼底部の疾患である、加齢黄斑変性（ＡＭＤ）、中心性漿液性脈絡網膜症（ＣＳＣ）及び正常所見のいずれかである過去診断画像データを診断補助装置に入力し、実施例１と同様の手法でこれら過去診断画像から閾値を設定させた。眼底部の疾患については、眼前部の疾患のように病変部と背景との色の差が小さいために、病変部分のみを切り取ることが難しい。そこで、この実施例では画像処理部によって、患部の写真の中心部を４ｍｍ角程度の所定の大きさに切り取り、さらに血管の部分を削除した画像データを作成して使用している。そのため本実施例で使用している画像データには、病変部位以外の部分も一部含まれている。
　この実施例６について算出されたＧａ／Ｒａ及びＢａ／Ｒａ及び各数値を図２１に示す。
　この図２１の数値に基づいて、２つの疾患又は正常所見であるかどうかについての閾値を求めるために、ＡＭＤとＣＳＣとを見分けるためのＲＯＣ曲線、ＡＭＤと正常所見とを見分けるためのＲＯＣ曲線及びＣＳＣと正常所見とを見分けるためのＲＯＣ曲線を作成した。これらＲＯＣ曲線を図２２～２４に示す。
　これらＲＯＣ曲線からも分かるように、これら各ＲＯＣ曲線のＡＵＣは非常に高いために、これらに基づいて設定された閾値を用いることによって、診断対象がこれらのうちのいずれの疾患又は正常所見であるかを高精度で推定することができる。
＜実施例７＞
　実施例７においては、眼科以外の分野の疾患であって、目視、拡大鏡又は内視鏡等によって患部の外観を医師が観察して診断している疾患について、本発明に係る診断補助装置を用いて疾患を特定できるかどうかを確かめた。
　疾患例としては、メラノーマ、色素性母斑及び皮膚線維腫を用いて検討した。
　これらの皮膚病変の画像としては、図２５に示すように、ダーモスコープと呼ばれる約１０倍のライト付きルーペを用いて観察された患部を、ダーモスコープに取り付けたデジタルカメラで撮像した写真を用いた。
　前述したようにして得た病変部の各写真を原画像データとして用い、正常部位と異常部位の境界で切り分けることによって異常部位が残るように原画像データを処理した。この処理によって得られた各画像データについて、実施例１と同様にして、各画素のＲ、Ｇ及びＢそれぞれの輝度に基づいて画像データ全体における平均値、標準偏差を算出部に算出させた。その結果を図２６～２８に示す。
　ところで、前記実施例で説明した眼科の前眼部画像は光量が一定でないために、ある画像データにおけるＲ、Ｇ及びＢそれぞれの輝度の平均値を最も輝度の平均値が高い色の平均値で割ることによって、画像データ毎の明度の差異による誤差を除いていた。
　しかしながら、この実施例７で扱っている皮膚疾患のように、黒色病変が多い場合や、ダーモスコープ等のライト光量を一定にすることができる装置で取得した原画像データを取り扱う場合には、画像データ毎の明度の差異がほとんどないために、Ｒ、Ｇ及びＢそれぞれの輝度の平均値、標準偏差をそのまま色調関連値として用いた場合であっても、画像データ毎の明度の差異による誤差は考慮しなくてもよいと考えられる。
　前述したように算出させた各画像データのＲ、Ｇ及びＢそれぞれの輝度の平均値（Ｒａ、Ｇａ、Ｂａ）と、前述した各画像データに対応する患部の確定診断情報とに基づいて、閾値設定部が作成したＲＯＣ曲線を図２９に示す。
　この図２９に示すＲＯＣ曲線は、メラノーマを０、色素性母斑を１とした場合に、メラノーマと色素性母斑とを見分けるための閾値を決定するためのものである。
　Ｒａについて作成したＲＯＣ曲線はＡＵＣが０．８１７であり、95%信頼区間が０．６８９－０．９４４であった。
　Ｇａについて作成したＲＯＣ曲線はＡＵＣが０．７７７であり、95%信頼区間が０．６４２－０．９１３であった。
　Ｂａについて作成したＲＯＣ曲線はＡＵＣが０．８００であり、95%信頼区間が０．６６３－０．９３７であった。
　以上の結果から、画像データの色調に関連する色調関連値であるＲａ、Ｇａ、Ｂａについてそれぞれ設定した閾値のうちいずれか１つ以上を用いれば、診断対象画像データについて、メラノーマと色素性母斑とを見分けるための非常に信頼性の高い診断指標とすることができることが分かる。
　同様にして、色素性母斑を０、皮膚線維腫を１として、色素性母斑と皮膚線維腫とを見分けるための閾値をＲＯＣ曲線の作成によって設定した。この場合のＲＯＣ曲線を図３０に示す。
　これらＲＯＣ曲線に関する各指標は、それぞれ以下の通りである。
　Ｒａについて作成したＲＯＣ曲線はＡＵＣが０．８７９であり、95%信頼区間が０．７５５－１であった。
　Ｇａについて作成したＲＯＣ曲線はＡＵＣが０．８６４であり、95%信頼区間が０．７４８－０．９８であった。
　Ｂａについて作成したＲＯＣ曲線はＡＵＣが０．９８６であり、95%信頼区間が０．９６－１であった。
　以上の結果から、画像データの色調に関連する色調関連値であるＲａ、Ｇａ、Ｂａについてそれぞれ設定した閾値のうちいずれか１つ以上を用いれば、診断対象画像データについて、色素性母斑と皮膚線維腫とを見分けるための非常に信頼性の高い診断指標とすることができることが分かる。
　同様に、皮膚線維腫を１、メラノーマを０として、皮膚線維腫とメラノーマとを見分けるための閾値をＲＯＣ曲線の作成によって設定した。
この場合のＲＯＣ曲線を図３１に示す。
　これらＲＯＣ曲線に関する各指標は、それぞれ以下の通りである。
　Ｒａについて作成したＲＯＣ曲線はＡＵＣが０．９７７であり、95%信頼区間が０．９３８－１であった。
　Ｇａについて作成したＲＯＣ曲線はＡＵＣが０．９７３であり、95%信頼区間が０．９２４－１であった。
　Ｂａについて作成したＲＯＣ曲線はＡＵＣが０．９５０であり、95%信頼区間が０．８７２－１であった。
　以上の結果から、画像データの色調に関連する色調関連値であるＲａ、Ｇａ、Ｂａについてそれぞれ設定した閾値のうちいずれか１つ以上を用いれば、診断対象画像データについて、皮膚線維腫とメラノーマとを見分けるための非常に信頼性の高い診断指標とすることができることが分かる。
＜実施例８＞
　実施例８においては、算出させた各画像データのＲ、Ｇ及びＢそれぞれの輝度の平均値（Ｒａ、Ｇａ、Ｂａ）と、前述した各画像データに対応する患部の確定診断情報とに基づいて、メラノーマと色素性母斑、色素性母斑と皮膚線維腫、皮膚線維腫とメラノーマをそれぞれの輝度の平均が有意差を有するかロジスティック回帰分析を行った。
　具体的には、まず前記各画像データを前記確定診断情報に基づいて、メラノーマ、色素性母斑、皮膚線維腫の３つの群に分類し、これら各群のＲa、Ｇa及びＢaの平均値を求めた。
　次に、例えばメラノーマであるとの確定診断を得ている過去診断画像群のＲ、Ｇ及びＢそれぞれの輝度の平均値と、色素性母斑の輝度の平均値との有意差について、ロジスティック回帰分析を実行させた。この回帰分析の結果、メラノーマと色素性母斑との輝度におけるｐ値は８．３×１０－４であり、輝度に有意差をもつことがわかった。次に、色素性母斑と皮膚線維腫との輝度の平均値におけるｐ値は２.２×１０－６であり、皮膚線維腫とメラノーマとの輝度の平均値におけるｐ値は４．０×１０－８であった。いずれも有意水準（０．０５）よりも非常に小さなｐ値を得ることができており、十分な有意差をもってこれら疾患においては輝度の平均値に有意差を有することを示すことができたと言える。
　なお、これらのｐ値はこれら３つの群を一度に比較するために、例えば、ロジスティック回帰分析を２回繰り返した場合を想定してボンフェローニ法によって補正した有意水準（０．０２５）をも大幅に下回るものであることが分かった。
＜実施例９＞
　実施例７において算出させた各画像データのＲ、Ｇ及びＢそれぞれの輝度の平均値（Ｒａ、Ｇａ、Ｂａ）と、前述した各画像データに対応する患部の確定診断情報とに基づいて、実施例３と同様の手順で、メラノーマと色素性母斑、色素性母斑と皮膚線維腫、皮膚線維腫とメラノーマをそれぞれ見分けるための、判別分析を施行した。この判別分析においては、一般的な判別分析プログラムを閾値設定部に実行させて、３つの色調関連値と疾患データとの関連を示す３つの関数を含む１つの判別関数を判別する疾患の組み合わせ毎に設定させた。メラノーマと色素性母斑とを見分ける場合について、閾値設定部によって設定された判別関数を視覚的に表した正準プロットを図３２に、設定された判別関数について作成したＲＯＣ曲線を図３３にそれぞれ示す。
　図３２に記載した正準プロットからメラノーマと色素性母斑との鑑別にはＲａが得に密接に関わっており、鑑別に有用であったことがわかる。
　図３３はメラノーマと色素性母斑とのそれぞれについてのＲＯＣ曲線を示している。図３３のＲＯＣ曲線によれば、ＡＵＣがどちらの疾患についても０．８以上と高くなっていることから、Ｒａ、Ｇａ及びＢａの３つの色調関連値を併用して判別関数を設定することによってメラノーマと色素性母斑とを高い確率で鑑別でき、診断の一助となると考えられる。
　同様に、色素性母斑と皮膚線維腫とを見分ける場合の判別分析の結果を図３４に、設定された判別関数について作成したＲＯＣ曲線を図３５にそれぞれ示す。
　図３４に記載した正準プロットから色素性母斑と皮膚線維腫との鑑別にはＢａが特に密接に関わっており、鑑別に有用であったことがわかる。
　図３５は色素性母斑と皮膚線維腫とのそれぞれについてのＲＯＣ曲線を示している。図３５のＲＯＣ曲線によれば、ＡＵＣがどちらの疾患についても０．９８以上と非常に高くなっていることから、Ｒａ、Ｇａ及びＢａの３つの色調関連値を併用して判別関数を設定することによってメラノーマと色素性母斑とを高い確率で鑑別でき、診断の一助となると考えられる。
　同様にして、皮膚線維腫とメラノーマとを見分ける場合の判別分析の結果を図３６に、設定された判別関数について作成したＲＯＣ曲線を図３７にそれぞれ示す。
　図３７は色素性母斑と皮膚線維腫とのそれぞれについてのＲＯＣ曲線を示している。図３７のＲＯＣ曲線によれば、ＡＵＣがどちらの疾患についても０．９７以上と非常に高くなっていることから、Ｒａ、Ｇａ及びＢａの３つの色調関連値を併用して判別関数を設定することによってメラノーマと色素性母斑を高い確率で鑑別でき、診断の一助となると考えられる。
＜実施例１０＞
　最後に、実施例７～９で用いた皮膚疾患のうちメラノーマと色素性母斑とについて、実施例７～９で過去診断画像として用いた画像データとは全く別の原画像データを準備し、これらを本発明に係る診断補助装置に与えた場合に、実施例７または８の各手法によって疾患を見分けることができるかどうかを確かめた。これら画像を原画像データとして得た各画像データについて算出部が算出した各数値を図３８に示す。
　一例として、実施例７と同様にＲＯＣ曲線を作成した．Ｒａを用いたＲＯＣ曲線により得られたＡＵＣは、０．９３８、Ｇａでは１、Ｂａでは０．８７５と各項目ともに非常に信頼性の高い指標を得ることが可能であった。
　また実施例８と同様にロジスティック回帰分析の式を用いて、各原画像データから得た各画像データについて、メラノーマと色素性母斑におけるＲ、Ｇ及びＢそれぞれの輝度の平均値に有意差を有するかどうかを確認したところ、ｐ値は０．０１１２５となり、色調に有意差を有することが明らかになった。
　いずれの場合も、十分な有意差を持って２つの疾患を見分けることが可能であった。
　以上に説明したように、実施例１～６で用いた眼科疾患だけでなく実施例７及び８として記載したように皮膚科疾患においても本発明に係る診断補助装置によれば非常に信頼度の高い情報を提供することができることが確かめられた。また、これらの実験結果から、眼科疾患とはその色調が大きく異なる皮膚科疾患においても精度の高い診断補助が可能であることから、目視、拡大鏡又は内視鏡等によって患部の外観を医師が観察して患部の色調から診断している内科や外科、その他の分野の疾患についても同様に高い精度での診断を補助することができると考えられる。
１００・・・診断補助装置
１・・・画像処理部
２・・・算出部
３・・・疾患推定部
４・・・閾値設定部
５・・・記憶部

 

Claims (9)

  1. 　診断対象となる画像データに基づいて疾患を特定することを補助する診断補助装置であって、
    　前記画像データを形成する各画素のＲ、Ｇ及びＢの各輝度に基づいて前記画像データの色調に関連する色調関連値を算出する算出部を備えた診断補助装置。
  2. 　前記算出部が前記色調関連値として、前記画像データを形成する各画素のＲ、Ｇ及びＢの各輝度の平均値、中央値、標準偏差、平均値の比、中央値の比及び標準偏差の比のうち１種以上を算出するものである、請求項１に記載の診断補助装置。
  3. 　前記算出部が前記色調関連値として、Ｒ、Ｇ及びＢのうち最も平均値が大きい色の平均値で、その他の２色のうち１色の平均値を割った値を算出するものである、請求項２に記載の診断補助装置。
  4. 　前記色調関連値と予め定められた閾値との比較結果に基づいて疾患名を推定する疾患推定部をさらに備えた、請求項１～３のいずれか一項に記載の診断補助装置。
  5. 　疾患が特定された患部の画像データについて予め算出された前記色調関連値に基づいて、前記閾値を設定する閾値設定部をさらに備えた、請求項４に記載の診断補助装置。
  6. 　前記閾値設定部がROC曲線を用いて前記閾値を求めるものである、請求項５に記載の診断補助装置。
  7. 　疾患毎に求めた前記閾値を各疾患と関連付けて記憶する記憶部をさらに備えた、請求項４～６のいずれか一項に記載の診断補助装置。
  8. 　前記疾患が眼科疾患である、請求項１～７のいずれか一項に記載の診断補助装置。
  9. 　診断対象となる画像データに基づいて疾患を特定することを補助する診断補助装置であって、前記画像データを形成する各画素のＲ、Ｇ及びＢの各輝度に基づいて前記画像データの色調に関連する色調関連値を算出する算出部を備えた診断補助装置としての機能をコンピュータに発揮させる診断補助プログラム。

     
PCT/JP2022/033322 2021-09-29 2022-09-05 診断補助装置及び診断補助プログラム WO2023053854A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021159850 2021-09-29
JP2021-159850 2021-09-29

Publications (1)

Publication Number Publication Date
WO2023053854A1 true WO2023053854A1 (ja) 2023-04-06

Family

ID=85782355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/033322 WO2023053854A1 (ja) 2021-09-29 2022-09-05 診断補助装置及び診断補助プログラム

Country Status (1)

Country Link
WO (1) WO2023053854A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012239518A (ja) * 2011-05-16 2012-12-10 Hoya Corp 電子内視鏡システム並びに画像処理方法及びソフトウェア
JP2014147780A (ja) * 2013-02-01 2014-08-21 Topcon Corp ３次元光コヒーレンストモグラフィを用いた、減衰に基づく視神経障害の検出
WO2018203515A1 (ja) * 2017-05-01 2018-11-08 京都府公立大学法人 涙液層の動態評価方法およびその装置
JP2020032190A (ja) * 2018-08-30 2020-03-05 株式会社トプコン 多変量及び多解像度網膜画像異常検出システム
WO2021054477A2 (ja) * 2019-09-20 2021-03-25 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012239518A (ja) * 2011-05-16 2012-12-10 Hoya Corp 電子内視鏡システム並びに画像処理方法及びソフトウェア
JP2014147780A (ja) * 2013-02-01 2014-08-21 Topcon Corp ３次元光コヒーレンストモグラフィを用いた、減衰に基づく視神経障害の検出
WO2018203515A1 (ja) * 2017-05-01 2018-11-08 京都府公立大学法人 涙液層の動態評価方法およびその装置
JP2020032190A (ja) * 2018-08-30 2020-03-05 株式会社トプコン 多変量及び多解像度網膜画像異常検出システム
WO2021054477A2 (ja) * 2019-09-20 2021-03-25 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Similar Documents

Publication Publication Date Title
JP4487535B2 (ja) 健康度測定システムおよびプログラム
JP5242381B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JP5148928B2 (ja) 眼底検査装置及びプログラム
EP2525707B1 (en) Registration method for multispectral retinal images
WO2014115371A1 (ja) 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
WO2019220848A1 (ja) 内視鏡装置、内視鏡操作方法、及びプログラム
JP7270686B2 (ja) 画像処理システムおよび画像処理方法
JP7264195B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置、画像表示装置、及び画像表示方法
US7500751B2 (en) Ocular fundus portion analyzer and ocular fundus portion analyzing method
Jayadev et al. Enhancing image characteristics of retinal images of aggressive posterior retinopathy of prematurity using a novel software,(RetiView)
WO2023053854A1 (ja) 診断補助装置及び診断補助プログラム
US11024416B2 (en) Tomographic image processing device, ophthalmic device comprising the same and non-transitory computer-readable recording medium storing computer-readable instructions for tomographic image processing device
Kim et al. Additive diagnostic role of imaging in glaucoma: optical coherence tomography and retinal nerve fiber layer photography
WO2022114088A1 (ja) ハンナ病変の指摘のためのプログラム、学習済みモデル及びその生成方法
US20180262735A1 (en) Diagnosis support apparatus for lesion, image processing method in the same apparatus, and medium storing program associated with the same method
AU2015275264B2 (en) Diagnosis support apparatus for lesion, image processing method in the same apparatus, and medium storing program associated with the same method
Erraguntla et al. Assessment of change of optic nerve head cupping in pediatric glaucoma using the RetCam 120
JP6926242B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
Vonghirandecha et al. Contrast and color balance enhancement for non-uniform illumination retinal images
Feroui et al. New segmentation methodology for exudate detection in color fundus images
JP4426032B2 (ja) 緑内障診断装置及び緑内障診断用記録媒体
JP6568375B2 (ja) 眼科情報処理システム、画像処理装置、および画像処理方法
RU2134054C1 (ru) Способ диагностики патологии зрительного нерва
Valencia et al. Color image analysis of the optic disc to assist diagnosis of glaucoma risk and evolution
TW202415341A (zh) 用於產生一組合式即時手術影像的系統及其方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22875726

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023550495

Country of ref document: JP