WO2020121906A1 - 医療支援システム、医療支援装置及び医療支援方法 - Google Patents

医療支援システム、医療支援装置及び医療支援方法 Download PDF

Info

Publication number
WO2020121906A1
WO2020121906A1 PCT/JP2019/047351 JP2019047351W WO2020121906A1 WO 2020121906 A1 WO2020121906 A1 WO 2020121906A1 JP 2019047351 W JP2019047351 W JP 2019047351W WO 2020121906 A1 WO2020121906 A1 WO 2020121906A1
Authority
WO
WIPO (PCT)
Prior art keywords
tile
evaluation
image
evaluation value
support system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/047351
Other languages
English (en)
French (fr)
Inventor
志織 笹田
健人 竹中
和朗 大塚
渡辺　守
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US17/311,284 priority Critical patent/US12048414B2/en
Priority to EP19894778.0A priority patent/EP3895597B1/en
Priority to CN201980080786.3A priority patent/CN113164025B/zh
Priority to JP2020559953A priority patent/JP7476800B2/ja
Publication of WO2020121906A1 publication Critical patent/WO2020121906A1/ja
Anticipated expiration legal-status Critical
Priority to US18/743,338 priority patent/US12543924B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present disclosure relates to a medical support system, a medical support device, and a medical support method.
  • Various methods are used by doctors when treating patients.
  • medical treatment is performed using an endoscope.
  • the doctor evaluates the medical condition of the affected area from the imaged image obtained from the endoscope and controls the dosage while monitoring for a long period of time.
  • a biopsy may be performed to make a definitive diagnosis by pathological diagnosis (see the following non-patent document).
  • a derivation device that derives an evaluation value for the affected part, and a display device that presents the evaluation value to the user, the derivation device Using a cutout unit that cuts out the affected area image as a plurality of tile-shaped tile images and a determiner obtained by machine learning, derives a tile evaluation value that represents the evaluation of the affected area in the plurality of tile images.
  • a medical support system including:
  • the cutout portion that cuts out the affected part image obtained by imaging the affected part as a plurality of tile-shaped tile images, and the determiner obtained by machine learning are used to perform the tile operation.
  • a medical support device including: an evaluation derivation unit that derives a tile evaluation value that represents an evaluation of the affected area in an image; and a display control unit that controls a display device that presents the tile evaluation value to a user.
  • the derivation device cuts out the affected part image obtained by imaging the affected part as a plurality of tile-shaped tile images, and uses the determiner obtained by machine learning to
  • a medical support method includes deriving a tile evaluation value representing an evaluation of the affected area in the tile image, and causing a display device to present the tile evaluation value to a user.
  • FIG. 1 is a diagram illustrating a technical outline of a technique according to the present disclosure
  • FIG. 2 is a diagram illustrating an example of an affected part image displayed on a display device included in a medical support system.
  • the doctor 1 examines the inside of the patient 2 using the endoscope 110, for example, and examines the inside of the patient's body imaged by the endoscope 110.
  • the affected part image Or is displayed on the display device 130.
  • the doctor 1 can examine the inside of the patient by visually recognizing the affected part image Or displayed on the display device 130.
  • the display device 130 displays the evaluation images A to D of the diseased part of the affected part, which are obtained by using machine learning, together with the affected part image Or so as to be superimposed on the affected part image Or.
  • the doctor 1 can improve the examination accuracy by making a diagnosis in consideration of the evaluation result of the medical condition by machine learning.
  • the display device 130 displays, for example, a patient name N and detailed information I regarding imaging of the endoscope 110, and further, an affected part image Or captured by the endoscope and an affected part image.
  • An evaluation image A, an evaluation image B, an evaluation image C, and an evaluation image D that present the evaluation of the affected part derived by using machine learning for Or are displayed.
  • the overall evaluation values ⁇ A to ⁇ D for all the images of the evaluation images A to D can be shown.
  • the evaluation of the affected area is presented in different colors according to the evaluation value of each tile cut out in a tile shape.
  • the doctor 1 can more confidently diagnose the medical condition in consideration of the evaluation of the affected part derived by the medical support system 1000 and the own diagnosis.
  • the medical support system 1000 according to the present embodiment can be used, for example, for diagnosis of digestive system diseases using an endoscope.
  • the medical support system 1000 can be suitably used for diagnosis of inflammatory bowel disease such as ulcerative colitis or Crohn's disease.
  • inflammatory bowel disease such as ulcerative colitis or Crohn's disease.
  • the case where the medical support system 1000 according to the present embodiment is used for the diagnosis of ulcerative colitis will be described as an example, but it goes without saying that the technology according to the present disclosure is not limited to such an example. ..
  • the medical support system 1000 described above will be described in detail below.
  • the medical support system 1000 will be described by taking an example of using an affected part image captured by an endoscope.
  • the medical support system 1000 described below includes the endoscope 110, the derivation device 120, and the display device 130, the endoscope 110 may not be included in the medical support system 1000.
  • the display device 130 may not be included in the medical support system 1000.
  • the medical support system 1000 includes an endoscope 110, a derivation device 120, and a display device 130.
  • the medical support system 1000 inputs an affected part image captured by the endoscope 110 and causes a determination device generated by machine learning in the derivation device 120 to act, thereby deriving an evaluation value of the affected part, and the display device 130. It has a function of presenting the evaluation value of the affected area to the user.
  • the endoscope 110 has a function of capturing an image of the affected part by imaging the inside of the patient's body.
  • the affected part image is an image including the affected part that the doctor examines.
  • the affected part image is an image in which the blood vessel image, the unevenness, and the ulcer part of the affected part are easily visible.
  • the affected area image may be an image of the affected area captured by the endoscope, may be a moving image continuously captured by the endoscope, or may be a still image in which the moving image captured by the endoscope is paused. It may be a captured image of an image.
  • the medical support system 1000 can present the tile evaluation value described below to the user in real time, for example.
  • an example in which an endoscope is used as an imaging device is shown, but the present embodiment is not limited to such an example.
  • the imaging device for imaging the affected area is not limited in mode, and may be a known imaging device.
  • a white light image of an endoscope may be used.
  • the white light image is the image that can be most easily captured by the basic function of the endoscope, so if the white light image can evaluate the medical condition, the time, items, and cost of the endoscopic examination can be suppressed. be able to.
  • a white light image for example, a NBI (Narrow Band Imaging) image in which blood vessels are emphasized by special light, or a dyeing with indigo carmine staining to emphasize unevenness is performed. Images may be used.
  • NBI Narrow Band Imaging
  • the stained image for the generation of the determiner included in the derivation device 120 it is possible to improve the evaluation accuracy of the affected area.
  • the derivation device 120 includes a cutout unit 122 and an evaluation derivation unit 124.
  • the deriving device 120 has a function of deriving the evaluation of the medical condition of the affected part based on the affected part image. For example, the derivation device 120 subdivides the affected area image, derives an evaluation value for the subdivided image, and further calculates an overall evaluation value for the entire image from each evaluation value to derive the evaluation of the diseased state of the affected area. You may.
  • the cutout unit 122 has a function of cutting out the affected part image captured by the endoscope 110 as a tile-shaped tile image having a polygonal shape.
  • the cutout unit 122 cuts out the affected part image as a plurality of tile images in a size that allows determination of the medical condition of the affected part.
  • the size with which the disease state of the affected area can be determined may be, for example, a size that can include a diagnosis target such as a blood vessel image or an ulcer.
  • the cutout unit 122 may specifically cut out the affected part image into a quadrangular shape such as a square.
  • the cutout part 122 may cut out the affected part image such that the circumscribed circle of the quadrangular shape is 5 mm or more and 15 mm or less.
  • the tile image cut out into a polygon includes at least the examination object.
  • the shape of the tile image is not limited to a polygon and may be any shape that can subdivide the affected part image. Further, the tile image may be cut out into a random shape having a different shape depending on the place.
  • the evaluation deriving unit 124 has a function of deriving a tile evaluation value using a determiner obtained by machine learning based on the tile image cut out by the cutting unit 122.
  • the tile evaluation value is an evaluation value of the affected part derived for each tile image.
  • the evaluation value is an evaluation value for the medical condition of the affected area judged by the doctor (endoscopist) visually recognizing the surface of the affected area, or an evaluation of the pathological examination diagnosed by the doctor (pathologist) by pathologically examining the affected area. It is a value.
  • the evaluation value for the medical condition of the affected area is the evaluation value scored by the doctor on the bleeding, tumor, or vascular fluoroscopic image of the affected area.
  • the evaluation value for the medical condition of the affected part an evaluation value by any known scoring method may be used.
  • a score by UCEIS can be used as the evaluation value for the medical condition of the affected area.
  • the UCEIS score is an index that has recently been used as an evaluation value for the severity of ulcerative colitis. Since the scores by UCEIS can be finely classified, it is possible to make a detailed diagnosis policy and reduce the evaluation variation among endoscopists.
  • UCEIS scores are defined at least for evaluation of vascular permeability, bleeding, and ulcer degree of ulcerative colitis, as shown in Table 1 below.
  • the evaluation derivation unit 124 may derive evaluation values for each of the blood vessel permeability, bleeding, and ulcer degree of ulcerative colitis.
  • a Mayo score can be used as the evaluation value for the medical condition of the affected area.
  • the Mayo score can classify the severity of ulcerative colitis into several types from 0 to 3. Specifically, the Mayo score has evaluation values defined for a plurality of items as shown in Tables 2 to 5 below.
  • the evaluation deriving unit 124 may derive evaluation values for each of the vascular permeability, bleeding, and ulcer degree of ulcerative colitis for each of endoscopic findings, rectal bleeding, and comprehensive evaluation by a doctor.
  • Mayo score remission the case where the sum of the scores of the above items is 2 or less and none of the sub-scores exceeds 1 is defined as “Mayo score remission”.
  • Mayo score improvement the case where the sum of the scores of the above items is 2 or less and none of the sub-scores exceeds 1 is defined as “Mayo score remission”.
  • the evaluation value of the pathological examination is an evaluation value by which a doctor or the like determines the grade of the medical condition based on the diagnosis result of the pathological examination in which the affected area is biopsied.
  • an evaluation value according to any known scoring method may be used.
  • Geboes' biopsy tissue finding score can be used as the evaluation value of the pathological examination.
  • the Geboes score is an index generally used as an index for scoring pathological findings of ulcerative colitis. Specifically, the score of Geboes is evaluated based on the definition as shown in Table 6 below.
  • the Geboes score is a 6-level evaluation of 0 to 5, if it is sufficient to judge the presence or absence of inflammation, the evaluation deriving unit 124 considers 0 to 2 as not (no inflammation) and 3 to 5. May be considered to be pathologically inflamed and the evaluation value may be derived.
  • the determiner is generated by machine learning. Specifically, the determiner is generated by machine-learning a large number of affected part images and at least one of the doctor's evaluation by visualizing the affected part images and the evaluation by a pathological examination. In machine learning, at least 10,000 or more diseased part images and evaluations are learned, so that it is possible to make a determination with an accuracy that shows a difference similar to the difference in evaluation values among a plurality of doctors.
  • the determiner may be generated by machine learning using a deep neural network.
  • the doctor's evaluation by the affected area may vary among doctors even if they are specialists.
  • the determiner generated by machine learning it is possible to perform a diagnostic evaluation of a disease such as ulcerative colitis without a specialist.
  • the determinator generated by machine learning it is possible to avoid variations in evaluation among doctors and perform treatment based on the evaluation value evaluated on a more objective and highly reproducible basis for patients. be able to.
  • the pathological examination may damage the patient during tissue collection and may cause complications. Furthermore, because the number of pathologists who perform pathological examinations is small, pathological examinations cannot be performed anywhere, and it takes time to make a diagnosis. In addition, performing a pathological examination incurs additional costs to the patient. According to the present embodiment, by using the determiner generated by machine learning, it is possible to derive the result of the pathological examination without collecting the tissue. Therefore, it is possible to physically, temporally, and financially treat the patient. The burden can be suppressed. Further, since the result of the pathological examination is a definite diagnosis, the determiner generated by machine learning can derive the evaluation by the pathological examination with higher accuracy.
  • the determiner may be generated by machine learning data in which a large number of affected part images are associated with parameters other than the above-described evaluation.
  • the determiner may be generated by machine learning a large number of affected part images and the dosage or treatment method of the affected part images for the patient.
  • the evaluation deriving unit 124 derives a tile evaluation value for each evaluation item as a tile evaluation value.
  • the evaluation item may be an item of a bleeding of the affected part, a tumor, or a fluoroscopic image, or an item of a pathological examination.
  • the evaluation derivation unit 124 may calculate a tile evaluation value in which each evaluation item is mixed.
  • the tile evaluation value may be derived by using at least any two or more evaluation values of the bleeding, ulcer, or vascular see-through image of the affected area. For example, in this case, at least any two or more evaluation values of the affected area bleeding, ulcer, or vascular see-through image may be summed to obtain the tile evaluation value.
  • the evaluation deriving unit 124 calculates the reliability of each tile evaluation value in addition to the tile evaluation value.
  • the reliability is a value indicating the likelihood of the tile evaluation value, and can be represented by a probability or a numerical value of 0 to 1 (for example, 1 is most likely).
  • the evaluation derivation unit 124 may determine that the tile evaluation value is reliable when the reliability is equal to or higher than the threshold, and output the reliability to the display device 130 described later. On the other hand, when the reliability is less than the threshold value, the evaluation derivation unit 124 determines that the tile evaluation value is unreliable and does not have to output the tile evaluation value to the display device 130, which will be described later. You may output the result that analysis is not possible.
  • the evaluation deriving unit 124 estimates the overall evaluation value of the entire affected area image based on the tile evaluation value. As a result, the user can evaluate not the part of the affected part image but the entire part, and thus can make a more accurate diagnosis of the ulcerative disease.
  • the overall evaluation value may be derived as an average evaluation value obtained by averaging the tile evaluation values of the tile images included in the affected part image.
  • the evaluation deriving unit 124 may derive the overall evaluation value by weighting the bleeding site. .. In such a case, the evaluation derivation unit 124 may derive the overall evaluation value using the maximum value of the tile evaluation values instead of or in addition to the average of the tile evaluation values.
  • the evaluation deriving unit 124 may derive the overall evaluation value by further using the probability distribution of tile evaluation values.
  • the derivation device 120 may derive the overall evaluation value in consideration of the degree of variance or the standard deviation of the tile evaluation values.
  • the evaluation deriving unit 124 may select a tile image to be used for estimating the overall evaluation value from a plurality of tile images according to the brightness of each tile image. According to this, the evaluation deriving unit 124 can remove a tile image that includes noise, over-illumination, shadow, or the like and is difficult to derive a tile evaluation value from the affected part image.
  • the evaluation derivation unit 124 may use a tile image whose brightness is equal to or higher than the first threshold value and equal to or lower than the second threshold value for estimating the overall evaluation value.
  • the second threshold represents a threshold having a higher brightness than the first threshold, and these thresholds can be appropriately determined by the user or the like. Accordingly, the evaluation deriving unit 124 can remove the tile image whose brightness is too high by the second threshold value and remove the tile image whose brightness is too low by the first threshold value. Therefore, the evaluation derivation unit 124 can increase the reliability of the derived tile evaluation value, and can estimate the overall evaluation value with higher reliability.
  • the display device 130 presents at least one of the tile evaluation value and the overall evaluation value to the user.
  • the display device 130 may be, for example, a touch panel display, a three-dimensional display, a spatial display, a projection display, or the like.
  • the display device 130 may be any one of a CRT (Cathode Ray Tube) display, a liquid crystal display, a plasma display, an EL (Electro Luminescence) display, a laser projector, an LED projector, a lamp, or the like.
  • FIG. 4 is a schematic diagram showing the operation of the derivation device 120 and the display device 130.
  • the derivation device 120 acquires the affected part image Or from the endoscope 110.
  • the deriving device 120 cuts out, for example, the affected part image as a grid-shaped tile image 120a, tile image 120b, tile image 120c, tile image 120d,...
  • an affected part image cut out as 16 tile images of 4 ⁇ 4 is illustrated.
  • the evaluation deriving unit 124 uses the determiner 10 to derive the tile evaluation value Sc and the reliability ⁇ for each of the tile images 120a to 120d.
  • the tile evaluation value Sc is 0.9 and the reliability ⁇ is 0.
  • the tile image 120b is derived with the tile evaluation value Sc of 0.94 and the reliability ⁇ of 0 and 5, and the tile image 120c has the tile evaluation value Sc of 0.155 and the reliability.
  • the degree ⁇ is derived as 1, and the tile image 120d has the tile evaluation value Sc of 0.5 and the reliability ⁇ of 0.
  • the evaluation derivation unit 124 further derives the overall evaluation value ⁇ derived from each tile image.
  • the display device 130 acquires each of the tile evaluation values and the overall evaluation value ⁇ and presents them to the user.
  • a different display depending on the tile evaluation value is superimposed on the affected part image, so that the distribution of the evaluation of the medical condition in the affected part image can be shown.
  • the display device 130 may change the color of the tile image according to the tile evaluation value of the tile image.
  • the display device 130 may change the transparency of the tile image according to the reliability of the tile evaluation value of the tile image.
  • FIG. 5 shows an example of a display mode to be superimposed on the tile image.
  • the affected part image Or1 is an image in which the medical condition is generally good
  • the affected part image Or2 is an image in which a range in which the medical condition is good and a range in which the medical condition is poor are included
  • the affected part image Or3 is the medical condition in general. It is a bad image.
  • the tile evaluation value Sc (that is, good or bad condition) is presented in different display modes.
  • the tile evaluation value Sc can be presented in a different color or the like (so-called heat map form), and the reliability ⁇ of the tile evaluation value can be presented by the transparency of the color, for example. ..
  • different colors are represented by different hatching types (that is, diagonal lines or dot hatching), and the transparency of each color is represented by the density of each hatching. ..
  • the display device 130 may display the affected part image Or and the affected part image in which the evaluation value is displayed in a superimposed manner for each evaluation item.
  • the user can visually recognize the images Ef1 to Ef3 indicating the tile evaluation values of each evaluation item while visually observing the actual affected part images Or1 to Or3. Therefore, the user can examine the patient while considering the evaluation by the medical support system 1000 and the evaluation of the medical condition by the user.
  • the generation flow S100 of the determiner will be described with reference to FIG.
  • the derivation device 120 acquires a diseased part image for learning (S102).
  • the learning affected part image is cut out as a tile image (S104).
  • the tile image may be cut out in a fixed shape or may be cut out in a random shape.
  • the evaluation value for the affected part image is an evaluation value judged by a doctor or the like, and includes evaluation by the doctor's visual confirmation of the affected part, evaluation by the result of pathological examination, and the like.
  • N or more learning affected part images it is determined whether or not N or more learning affected part images have been learned (S108).
  • N or more learning affected part images have not been learned (S108/No)
  • learning of affected part images is repeated until N or more learning affected images are reached.
  • the learning-affected part image to be machine-learned may be subjected to data augmentation by rotation, enlargement, reduction, deformation, or the like. It is possible to generate a highly reliable discriminator by using at least 10,000 or more learning affected part images.
  • the derivation device 120 acquires an affected part image for determination by the endoscope 110 or the like (S202).
  • the affected part image may be a moving image being monitored by the endoscope 110 or may be a still image captured by the endoscope 110.
  • the cutout unit 122 cuts out the affected part image for determination as a tile image (S204).
  • the tile image may be cut out in a fixed shape or may be cut out in a random shape.
  • the derivation device 120 derives the tile evaluation value of the tile image and the reliability of the tile image using the generated determiner (S206).
  • the derivation device 120 may further derive an overall evaluation value for the entire affected part image.
  • the derivation device 120 may derive the overall evaluation value from the average value of the tile evaluation values in the affected part image, or may derive the overall evaluation value from the combination of the maximum value and the average value of the tile evaluation values.
  • the derivation device 120 may derive the overall evaluation value by further combining the probability distributions of tile evaluation values.
  • the derivation device 120 may derive the overall evaluation value in consideration of the degree of variance or the standard deviation of the tile evaluation values.
  • the display device 130 presents the tile evaluation value of the tile image and the reliability of the tile evaluation value to the user (S208).
  • the display device 130 may further display the overall evaluation value.
  • the doctor 1 can make a more confident diagnosis of a medical condition by considering the evaluation of the affected part and the diagnosis of the doctor 1 derived by the medical support system 1000. ..
  • FIG. 8 is a diagram showing a modification of the display displayed on the display device 130.
  • the display device 130 displays the affected part image Or in which the evaluation value of each item is presented together with the affected part image Or.
  • the display device 130 further displays the position of the endoscope 110 in the patient's body together with the evaluation image in which the tile evaluation value of each item is presented, and the endoscope 110 is displayed. The overall evaluation value corresponding to the position of is displayed.
  • the display device 130 may display a display bar 130a indicating the position of the endoscope from one end to the other end of the display area of the display device 130.
  • the display bar 130a shows the length from one end to the other end in the longitudinal direction as the length of the examination section.
  • the display bar 130a shows one end of the display bar 130a at 0 cm of the insertion start position (for example, anus) of the endoscope, and the other end of the display bar 130a at the end point of the large intestine examination ( For example, 150 cm) may be indicated.
  • the position 130b of the endoscope in the large intestine at the time of medical examination may be represented by the insertion length corresponding to the longitudinal direction of the display bar 130a.
  • the display bar 130a may also include a range 130c in which the color continuously changes. Specifically, the display bar 130a may be displayed in different colors according to the overall evaluation value of each of the display bars 130a. Further, on the display bar 130a, a position having a characteristic in the overall evaluation value may be emphasized and displayed by the marking 130d. For example, the position where the overall evaluation value is determined to be high from the start to the end of the medical examination by the endoscope may be emphasized and displayed by the marking 130d.
  • the marking 130d may be attached to a portion selected by the user or the like.
  • the display device 130 may enlarge and display a portion having a high tile evaluation value in the affected part image.
  • the medical support system 1000 can focus on the location of the user where the medical condition is determined to be particularly bad.
  • DNUC deep neural network system
  • UC ulcerative colitis
  • endoscopic evaluation can predict the clinical outcome of UC. Therefore, endoscopic remissions are increasingly targeted for treatment and endoscopic evaluations are increasingly being used for the evaluation and management of UC patients. However, since endoscopic observation requires training, the endoscopic evaluation may be different depending on the endoscopist.
  • histological remission has been proposed as another therapeutic goal that can predict clinical outcome. For example, patients with minimal residual acute inflammation are more likely to relapse, so histological remission without residual acute inflammation can be the ultimate therapeutic goal.
  • the histological evaluation to determine histological remission is an important evaluation, but it may require a mucosal specimen and be interpreted differently by pathologists.
  • Deep Neural Network is an AI machine learning method for building deep learning architectures.
  • DNUC DNN system
  • This embodiment has two stages, a development stage and a verification stage.
  • DNUC was developed using past endoscopic images and biopsy specimens
  • verification stage the adequacy of DNUC was examined from new test data.
  • DNUC algorithm that is, a judgment device
  • DNUC ulcerative colitis
  • endoscopic remission was taken when the endoscopic severity evaluation index (UCEIS) was 0, and histological remission was taken when the Geboes evaluation value was 3 or less.
  • UAEIS endoscopic severity evaluation index
  • histological remission was taken when the Geboes evaluation value was 3 or less.
  • 2400 endoscopic images and 2317 biopsy specimens were obtained from 500 enrolled patients to determine endoscopic and histological remission in DNUC. Accuracy and degree of agreement with specialists were evaluated.
  • DNUC showed high diagnostic accuracy (90.1%) and high consistency in the determination of endoscopic remission.
  • the kappa correlation coefficient between DNUC and the endoscopist in determining endoscopic remission was 0.785.
  • DNUC also showed high diagnostic accuracy (90.9%) in the determination of histological remission.
  • the kappa correlation coefficient between DNUC and biopsy results in determining histological remission was 0.748.
  • patients who meet the following exclusion criteria were excluded.
  • Patients with history of colectomy, inflammatory bowel disease with uncertain diagnosis, Crohn's disease, colorectal neoplasia, or intestinal associated infection were excluded.
  • Patients who are contraindicated for colonoscopy were excluded.
  • Patients for whom biopsy is contraindicated for blood disease or antithrombotic/anticoagulant therapy were excluded.
  • the Endoscopic Severity Assessment Index was used to evaluate the endoscopic severity of ulcerative colitis. Specifically, a total range of 0 to 8 is obtained by simply summing the fluoroscopic images (evaluation value 0 to 2), bleeding (evaluation value 0 to 3), and erosion/ulcer (evaluation value 0 to 3). The UCEIS evaluation value was obtained at 1. and the UCEIS evaluation value of 0 was taken as the endoscopic remission. Note that UCEIS originally scores the evaluation value in the disease area having the highest severity, but in the present example, the evaluation value was obtained from all endoscopic images taken.
  • the UCEIS evaluation value of all images was evaluated by one endoscopist (11 years of IBD endoscopy history), and the histological activity of all mucosal specimens was evaluated by one pathologist (13 years history of IBD pathology). Year) evaluated. Neither the endoscopist nor the pathologist is informed about the test results of the other person.
  • the UCEIS evaluation value and the number and ratio of histological data are shown in Table 7 below.
  • the histological data are linked to endoscopic images of the area where the tissue biopsy was performed.
  • the captured endoscopic image was input to DNUC, and DNUC was made to learn the endoscopic image and the evaluation value (UCEIS evaluation and histological evaluation).
  • DNUC was also designed to output the results of endoscopic remission (achieved/not achieved), histological remission (achieved/not achieved), and UCEIS rating.
  • the cutoff of DNUC is set to 85% or more, and an image that does not satisfy the cutoff is determined to be “unanalyzable”.
  • another cutoff of DNUC is set to 95% or more, and an image satisfying the cutoff is determined to have “high confidence”.
  • the learning of DNUC was done as follows.
  • the Inception v3 model (https://arxiv.org/abs/1512.00567) was applied to build the DNUC. Specifically, the final layer of the Inception model was changed, and the evaluation values were classified into classes using the softmax activation function. The Inception model was trained at 2000 ⁇ 10 epochs, and the probability of each evaluation value was obtained. Furthermore, all results of the 299 ⁇ 299 pixel square tiles derived from the same original image were averaged and scored.
  • the output result from DNUC can be presented to the user, for example, by creating a superimposed image in which tiles are colored with a specific semi-transparent color from the original endoscopic image.
  • the fill color and the transmittance can be determined according to the result and the probability of the evaluation value.
  • DNUC was evaluated by the following evaluation items by outputting the DNUC results for each endoscopic image and comparing the output results with endoscopic and histological data.
  • the accuracy of DNUC for evaluating endoscopic remission and the accuracy of DNUC for predicting histological remission are set as the main evaluation items.
  • DNUC has high sensitivity (94.3%), high specificity (83.1%), and high positiveness in the determination of endoscopic remission. It showed moderate (PPV: 90.3%), high negative moderate (NPV: 89.8%), and high diagnostic accuracy (90.1%). Furthermore, the kappa correlation coefficient between DNUC and endoscopist in endoscopic remission was 0.785. That is, the accuracy of DNUC in evaluating mucosal inflammation in UC patients was equivalent to that of an endoscopist.
  • the ICC between the specialist and DNUC when scoring UCEIS was 0.861.
  • DNUC showed very high accuracy (98.7%) and high consistency (kappa correlation coefficient 0.972).
  • the accuracy and consistency of DNUC was acceptable, but the accuracy of DNUC in the rectum was relatively low, as shown in Table 11 below. Further, as shown in Table 12 below, the accuracy of DNUC was low even when the evaluation value of intestinal tract cleaning was poor and unacceptable.
  • DNUC has high sensitivity (92.6%), high specificity (85.0%), and high PPV(in predicting histological remission. 95.6%). It showed high NPV (76.7%) and high diagnostic accuracy (90.9%). Furthermore, the kappa correlation coefficient between DNUC and biopsy results in histological remission was 0.748. Thus, DNUC was able to predict histological remission without the need for a mucosal biopsy.
  • DNUC showed very high accuracy (97.6%) and high consistency (kappa correlation coefficient was 0.938).
  • the accuracy and consistency of DNUC was acceptable, but the accuracy and consistency of rectal DNUC was relatively low, as shown in Table 14 below. Further, as shown in Table 15 below, the accuracy and consistency of DNUC were relatively low even when the evaluation value of intestinal lavage was poor and impossible.
  • the objective evaluation of UC which combines endoscopic and histological evaluation, is important for the selection of treatment method for UC and the monitoring of the response to drug therapy. , Especially considered to be important in the design and evaluation of appropriate clinical trials.
  • specialist assessments can be inconsistent and are likely to be influenced by the experience of the individual physician. Therefore, clinical trials require independent evaluation by a neutral third party.
  • the inventors of the technology according to the present disclosure constructed DNUC for evaluating mucosal inflammation and predicting histological inflammation from the endoscopic image of UC.
  • the constructed DNUC is considered to have a diagnostic capability equivalent to that of an experienced specialist, and thus the DNUC is considered to be usable for objective evaluation of endoscopic images.
  • DNUC showed high accuracy and high consistency in the evaluation of endoscopic remission compared with endoscopists. Furthermore, for UCEIS scoring, the ICC between DNUC and endoscopist was 0.861. Therefore, DNUC is considered to be clinically competent.
  • AI systems such as DNUC can obtain results immediately after endoscopy because screening time is short and labor is not required.
  • the results of the above examples show that DNUC can achieve objective and consistent endoscopic evaluation in real time. According to this, the DNUC can solve problems such as evaluation disagreement that occurs among a plurality of endoscopists. Therefore, it is expected that DNUC can be effectively used in both clinical practice and clinical trials.
  • patients in clinical and endoscopic remissions may still have histologically active disease and have a high risk of recurrence. That is, since agreement of remissions by the endoscopic index and histological index is gradual, it is considered important to repeat biopsy in order to judge remission by the histological index.
  • a biopsy for histological evaluation is performed by collecting the colonic mucosa during colonoscopy, and is an evaluation only in a limited area.
  • DNUC can evaluate in any area of the colonic mucosa.
  • DNUC was shown to be able to predict histological remission with high accuracy and high consistency. It shows that DNUC can evaluate histological remission without the use of biopsy specimens, therefore DNUC is also expected to contribute to the reduction of medical costs.
  • the DNUC constructed in this example can evaluate mucosal inflammation in UC patients with the same accuracy as an endoscopist.
  • the DNUC constructed in this example can predict histological remission without using a mucosal specimen. It can be seen that the DNUC constructed in this example is an objective and consistent evaluation method and can be used in both clinical practice and clinical trials.
  • FIG. 10 is a block diagram showing an example of the hardware configuration of the derivation device and the like according to this embodiment.
  • the information processing apparatus 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing device 900 also includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, and a communication device 913.
  • the information processing apparatus 900 may have a processing circuit such as an electric circuit, a DSP, or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing device or a control device, and controls overall operations in the information processing device 900 according to various programs.
  • the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change appropriately in the execution, and the like.
  • the CPU 901 can function as the evaluation deriving unit 124 illustrated in FIG. 3, for example.
  • the CPU 901, the ROM 902, and the RAM 903 are mutually connected by a host bus 904a including a CPU bus and the like.
  • the host bus 904a is connected to an external bus 904b such as a PCI (Peripheral Component Interconnect/Interface) bus via a bridge 904.
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be separately configured, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, or a lever to which information is input by the user. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an externally connected device such as a mobile phone or a PDA corresponding to the operation of the information processing device 900. Further, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above-described input means and outputs the input signal to the CPU 901. By operating the input device 906, the user of the information processing device 900 can input various data to the information processing device 900 and instruct a processing operation.
  • the output device 907 is formed of a device capable of visually or auditorily notifying the user of the acquired information. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as laser projectors, LED projectors and lamps, and audio output devices such as speakers and headphones.
  • the output device 907 outputs results obtained by various processes performed by the information processing device 900, for example. Specifically, the output device 907 may visually display the results obtained by the various processes performed by the information processing device 900 in various formats such as text, images, tables, and graphs. Alternatively, the output device 907 may convert an audio signal composed of reproduced voice data, acoustic data, or the like into an analog signal and output it audibly.
  • the output device 907 can function as the display device 130 illustrated in FIG. 3, for example.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 900.
  • the storage device 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded in the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 stores, for example, an affected area image or an evaluation image used in the evaluation deriving unit 124 illustrated in FIG. 3, various parameters used when deriving a tile evaluation value, or the like.
  • the drive 909 is a reader/writer for a storage medium, and is built in or externally attached to the information processing device 900.
  • the drive 909 reads out information recorded on a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs it to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device.
  • the connection port 911 may be a connection port with an external device capable of data transmission by USB (Universal Serial Bus) or the like.
  • the communication device 913 is, for example, a communication interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 913 may be, for example, a wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), WUSB (Wireless USB) communication card, or the like.
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various kinds of communication, or the like.
  • the communication device 913 can transmit and receive signals and the like to and from the Internet and other communication devices, for example, according to a predetermined protocol such as TCP/IP. With the communication device 913, for example, as shown in FIG. 3, the derivation device 120 and the endoscope 110 and the display device 130 can input and output various information.
  • the network 920 is a wired or wireless transmission path of information transmitted from a device connected to the network 920.
  • the network 920 may include the Internet, a telephone line network, a public line network such as a satellite communication network, or various LAN (Local Area Network) including Ethernet (registered trademark), WAN (Wide Area Network), or the like. ..
  • the network 920 may also include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • a derivation device for deriving an evaluation value for the affected part
  • a display device for presenting the evaluation value to the user
  • the derivation device uses a cutout portion that cuts out the affected part image as a plurality of tile-shaped tile images, and a determiner obtained by machine learning, and uses a tile evaluation that represents the evaluation of the affected part in the plurality of tile images.
  • An evaluation derivation unit that derives a value, and a medical support system.
  • the medical support system according to (2) wherein the cutout part cuts out the affected part image as the plurality of tile images in a size that allows determination of a medical condition of the affected part.
  • the evaluation derivation unit selects the tile image used for estimation of the overall evaluation value from the plurality of tile images according to the brightness of the plurality of tile images, (2) or The medical support system according to (3).
  • the evaluation derivation unit uses the tile image in which the brightness is equal to or higher than a first threshold value and is equal to or lower than a second threshold value that is higher than the first threshold value, in estimating the overall evaluation value.
  • the affected area image is captured by an endoscope, The medical device according to (6) or (8), wherein the display device displays the position of the endoscope in the patient's body, and displays the overall evaluation value corresponding to the position in the patient's body.
  • Support system (11) The medical support system according to (6) or (8), wherein a part of the affected part image is enlarged and displayed on the display device according to the tile evaluation value. (12) The cutout part cuts out the affected part image as the tile image having a polygonal shape, and the cutout part cuts out the polygon so that a circumscribed circle of the polygon is 5 mm or more and 15 mm or less.
  • the medical support system according to any one of (3) to (11).
  • the tile evaluation value is a tile evaluation value relating to at least one or more of an evaluation for an item of bleeding, a tumor, or a blood vessel transparent image of the affected part, or an evaluation by an item of a pathological examination, (6) or ( The medical support system according to 8).
  • a cutout part that cuts out the affected part image obtained by imaging the affected part as a plurality of tile-shaped tile images, Using a determiner obtained by machine learning, an evaluation derivation unit that derives a tile evaluation value representing the evaluation of the affected area in the plurality of tile images, And a display control unit that controls a display device that presents the tile evaluation value to the user.
  • Derivation device by cutting out the affected area image obtained by imaging the affected area as a plurality of tile-shaped tile images, using the determiner obtained by machine learning, the evaluation of the affected area in the plurality of tile images Deriving a tile evaluation value that represents A display device presenting the tile evaluation value to a user, Medical support method.
  • Endoscope 120 Derivation Device 122 Cutout Unit 124 Evaluation Derivation Unit 130 Display Device

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

患部を撮像して得られた患部画像に基づいて、前記患部に対する評価値を導出する導出装置と、前記評価値をユーザへ呈示する表示装置と、を備え、前記導出装置は、前記患部画像を複数のタイル状のタイル画像として切り出す切出部と、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出する評価導出部と、を有する、医療支援システムが提供される。

Description

医療支援システム、医療支援装置及び医療支援方法
　本開示は、医療支援システム、医療支援装置及び医療支援方法に関する。
　医師が患者を診療する際には、様々な手法が用いられる。例えば、潰瘍性大腸炎などでは、内視鏡を用いて診療が行われる。この診療では、内視鏡から得られる撮像画像から医師が患部の病状を評価して、長期間に亘ってモニタリングをしながら、投薬量等をコントロールする。このようなモニタリングによる経過観察で病状の評価が困難な場合には、生検を行って病理診断による確定診断を行うことがある（下記の非特許文献参照）。
Ｔｈｅｏｄｏｒｅ　Ｒ．　Ｌｅｖｉｎ，　「Ｃｏｍｐｌｉｃａｔｉｏｎｓ　ｏｆ　Ｃｏｌｏｎｏｓｃｏｐｙ　ｉｎ　ａｎ　Ｉｎｔｅｇｒａｔｅｄ　ＨｅａｌｔｈＣａｒｅ　Ｄｅｌｉｖｅｒｙ　Ｓｙｓｔｅｍ」，　Ａｎｎ　Ｉｎｔｅｒｎ　Ｍｅｄ，　２００６　Ｄｅｃ　１９，　１４５（１２）：８８０－６．
　しかし、内視鏡の撮像画像からの病状の評価は、目視判断となるため、専門医ごとに個人差による評価ばらつきが生じてしまっていた。また、生検を行って診察する場合には、上記の非特許文献１に記載されるように、検体採取時に穿孔等の影響で出血が生じ、感染症へ罹患する等の生体へのリスクが懸念される。上記事情を鑑みれば、内視鏡を用いた診察において、病状の評価をより簡便に行うことが求められていた。
　本開示によれば、患部を撮像して得られた患部画像に基づいて、前記患部に対する評価値を導出する導出装置と、前記評価値をユーザへ呈示する表示装置と、を備え、前記導出装置は、前記患部画像を複数のタイル状のタイル画像として切り出す切出部と、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出する評価導出部と、を有する、医療支援システムが提供される。
　また、本開示によれば、患部を撮像して得られた患部画像を複数のタイル状のタイル画像として切り出す切出部と、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出する評価導出部と、前記タイル評価値をユーザへ呈示する表示装置を制御する表示制御部と、を有する、医療支援装置が提供される。
　また、本開示によれば、導出装置が、患部を撮像して得られた患部画像を複数のタイル状のタイル画像として切り出すことと、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出することと、表示装置が、前記タイル評価値をユーザへ呈示することと、を含む、医療支援方法が提供される。
本開示の実施形態に係る医療支援システムの概要を示す模式図である。 同実施形態に係る表示の一例を示した図である。 同実施形態に係る医療支援システムの構成の一例を示したブロック図である。 同実施形態に係る医療支援システムの動作の一例を示した模式図である。 同実施形態に係る表示の一例を示した図である。 同実施形態に係る医療支援システムの動作フローの一例を示したフロー図である。 同実施形態に係る医療支援システムの動作フローの一例を示したフロー図である。 同実施形態に係る表示の変形例の一例を示した図である。 解析可能と判断された症例に対してＵＣＥＩＳをスコアリングした際の内視鏡医およびＤＮＵＣの間の相関を示す散布図である。 確信度が高いと判断された症例に対してＵＣＥＩＳをスコアリングした際の内視鏡医およびＤＮＵＣの間の相関を示す散布図である。 同実施形態に係る医療支援システムのハードウェア構成例を示した図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．技術概要
　２．実施形態
　　２．１．機能と構成
　　２．２．動作フロー
　３．変形例
　４．実施例
　５．ハードウェア構成例
　（１．技術概要）
　まず、図１および図２を参照して、本開示の一実施形態に係る医療支援システムの技術概要を説明する。図１は、本開示に係る技術の技術概要を説明する図であり、図２は、医療支援システムが有する表示装置に表示される患部画像の一例を示した図である。
　図１および図２を参照すると、消化器系疾患の診察では、医師１は、例えば、内視鏡１１０を用いて患者２の体内を診察し、内視鏡１１０により撮像された患者の体内の患部画像Ｏｒは、表示装置１３０に表示されている。医師１は、表示装置１３０に表示された患部画像Ｏｒを視認することで、患者の体内を診察することができる。本開示に係る技術では、表示装置１３０には、患部画像Ｏｒと併せて、機械学習を用いて求められた患部の病状の評価画像Ａ～Ｄが患部画像Ｏｒに重畳されて表示されている。医師１は、機械学習による病状の評価結果を考慮して診断することにより、診察精度を向上させることができる。
　次に、図２を参照して、表示装置１３０に表示される評価画像Ａ～Ｄに関して説明する。図２に示したように、表示装置１３０は、例えば、患者の名前Ｎと内視鏡１１０の撮像に関する詳細情報Ｉとを表示し、さらに、内視鏡が撮像した患部画像Ｏｒと、患部画像Ｏｒに対して機械学習を用いて導出された患部の評価を呈示した評価画像Ａ、評価画像Ｂ、評価画像Ｃ、及び評価画像Ｄとを表示する。
　医療支援システム１０００では、評価画像Ａ～Ｄで示した患部の評価と併せて、さらに評価画像Ａ～Ｄの各画像の全体に対する全体評価値βＡ～βＤが示され得る。評価画像Ａ～Ｄでは、タイル状に切り出された各タイルの評価値に応じて、異なる色等にて患部の評価が呈示されている。
　このような、医療支援システム１０００を用いることで、医師１は、医療支援システム１０００が導出した患部の評価と自身の診断とを考慮して、より確信をもって病状の診断を行うことができる。
　本実施形態に係る医療支援システム１０００は、例えば、内視鏡を用いる消化器系疾患の診察に用いることが可能である。具体的には、医療支援システム１０００は、潰瘍性大腸炎、またはクローン病などのような炎症性腸疾患の診察に好適に用いることが可能である。なお、本明細書では、本実施形態に係る医療支援システム１０００を潰瘍性大腸炎の診察に用いる場合を例示して説明を行うが、本開示に係る技術はかかる例示に限定されないことは言うまでもない。
　（２．実施形態）
　以下では、上述した医療支援システム１０００に関して詳しく説明する。医療支援システム１０００では、内視鏡により撮像される患部画像を用いる例を挙げて説明する。なお、以下に説明する医療支援システム１０００は、内視鏡１１０と、導出装置１２０と、表示装置１３０と、を有するが、内視鏡１１０は、医療支援システム１０００に含まれなくともよい。また、表示装置１３０に関しても、医療支援システム１０００に含まれなくともよい。
　（２．１．機能と構成）
　医療支援システム１０００は、内視鏡１１０と、導出装置１２０と、表示装置１３０と、を有する。医療支援システム１０００は、内視鏡１１０が撮像した患部画像を入力として、導出装置１２０において機械学習により生成された判定器を作用させることで、患部の評価値を導出し、表示装置１３０にてユーザへ患部の評価値を呈示する機能を有する。
　内視鏡１１０は、患者の体内を撮像して患部画像を取得する機能を有する。患部画像は、医師が診察する患部を含む画像である。具体的には、患部画像は、患部の血管像、凹凸、及び潰瘍部が見えやすい画像である。患部画像は、内視鏡によって撮像された患部の画像であってもよく、内視鏡によって連続的に撮像された動画であってもよく、内視鏡によって撮像された動画を一時停止した静止画の撮像画像であってもよい。患部画像が動画である場合、医療支援システム１０００は、例えば後述するタイル評価値をリアルタイムでユーザへ呈示することが可能である。なお、本実施形態では、撮像装置として内視鏡を用いる例を示したが、本実施形態は、かかる例に限定されない。患部を撮像する撮像装置は、様態を限定されず、公知の撮像装置であってもよい。
　患部を撮像した撮像画像としては、具体的には、内視鏡の白色光画像を用いてもよい。白色光画像は、内視鏡の基本機能にて最も容易に撮像可能な画像であるため、白色光画像によって病状を評価することができれば、内視鏡検査の時間、項目、及び費用を抑制することができる。
　また、白色光画像にて病状を評価することが困難である場合には、例えば、特殊光によって血管を強調させたＮＢＩ（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ）画像、又は凹凸を強調させるインジゴカルミン染色を施した染色画像を用いてもよい。導出装置１２０が有する判定器の生成に、白色光画像だけでなく、これらのＮＢＩ画像、及び染色画像を追加で用いることによって、患部の評価精度を向上させることが可能である。
　導出装置１２０は、切出部１２２と、評価導出部１２４と、を有する。導出装置１２０は、患部画像に基づいて、患部の病状の評価を導出する機能を有する。例えば、導出装置１２０は、患部画像を細分化して、細分化された画像に対する評価値を導出し、さらに各評価値から全体の画像に対する全体評価値を算出することで患部の病状の評価を導出してもよい。
　切出部１２２は、内視鏡１１０により撮像された患部画像を多角形の形状を有するタイル状のタイル画像として切り出す機能を有する。切出部１２２は、患部の病状を判定可能な大きさで患部画像を複数のタイル画像として切り出す。患部の病状を判定可能な大きさとは、例えば、血管像または潰瘍等の診察対象物が含まれ得る大きさであってよい。
　切出部１２２は、具体的には、患部画像を正方形等の四角形形状に切り出してもよい。切出部１２２は、該四角形形状の外接円が５ｍｍ以上１５ｍｍ以下となるように患部画像を切り出してもよい。多角形に切り出されたタイル画像は、少なくとも上記診察対象物を含む。なお、タイル画像の形状は、多角形に限定されず、患部画像を細分化できる形状であればよい。また、タイル画像は、場所により形状が異なるランダムな形状に切り出されてもよい。
　評価導出部１２４は、切出部１２２により切出されたタイル画像に基づいて、機械学習により得られた判定器を用いて、タイル評価値を導出する機能を有する。タイル評価値とは、タイル画像毎に導出された患部の評価値である。評価値とは、医師（内視鏡医）が患部の表面を視認することで判断した患部の病状に対する評価値、または患部を病理検査することで医師（病理医）が診断した病理検査の評価値である。
　具体的には、患部の病状に対する評価値は、患部の出血、腫瘍、または血管透見像に対して医師がスコアリングした評価値である。患部の病状に対する評価値は、公知のいかなるスコアリング手法による評価値を用いてもよい。
　例えば、患部の病状に対する評価値としては、ＵＣＥＩＳによるスコアを用いることができる。ＵＣＥＩＳによるスコアは、潰瘍性大腸炎の重症度の評価値として近年使用されるようになった指標である。ＵＣＥＩＳによるスコアは、細かい分類が可能であるため、細かい診断方針を立てることが可能であり、かつ内視鏡医ごとの評価ばらつきを小さくすることができる。
　具体的には、ＵＣＥＩＳによるスコアは、以下の表１に示すように、少なくとも潰瘍性大腸炎の血管の透過性、出血、及び潰瘍度の評価について定義されている。評価導出部１２４は、潰瘍性大腸炎の血管の透過性、出血、及び潰瘍度の各々について評価値を導出してもよい。
Figure JPOXMLDOC01-appb-T000001
　また、患部の病状に対する評価値としては、他に、Ｍａｙｏスコアを用いることができる。Ｍａｙｏスコアは、潰瘍性大腸炎の重症度を０～３までの数種類にて分類することができる。具体的には、Ｍａｙｏスコアは、以下の表２～表５に示すように、複数の項目について評価値が定義されている。評価導出部１２４は、内視鏡所見、直腸出血、及び医師による総合評価の各々について潰瘍性大腸炎の血管の透過性、出血、及び潰瘍度の各々について評価値を導出してもよい。
Figure JPOXMLDOC01-appb-T000002
Figure JPOXMLDOC01-appb-T000003
Figure JPOXMLDOC01-appb-T000004
Figure JPOXMLDOC01-appb-T000005
　なお、Ｍａｙｏスコアでは、上記の各項目のスコアの合計が２以下、かついずれのサブスコアも１を超えない場合を「Ｍａｙｏスコア寛解」と定義している。また、Ｍａｙｏスコアでは、Ｍａｙｏスコアがベースラインから３以上又は３０％以上減少していることが認められ、かつ直腸出血のサブスコアの１以上の減少、又は直腸出血のサブスコアが０又は１の場合を「Ｍａｙｏスコア改善」と定義している。さらに、Ｍａｙｏスコアでは、内視鏡所見のサブスコアが０又は１の場合を「粘膜治癒」と定義している。
　病理検査の評価値は、患部を生検した病理検査の診断結果に対して医師等が病状のグレードを決定した評価値である。病理検査の評価値は、公知のいかなるスコアリング手法による評価値を用いてもよい。
　例えば、病理検査の評価値としては、Ｇｅｂｏｅｓの生検組織所見スコアを用いることができる。Ｇｅｂｏｅｓのスコアは、潰瘍性大腸炎の病理所見をスコア化する指標として一般的に用いられている指標である。具体的には、Ｇｅｂｏｅｓのスコアは、以下の表６に示すような定義に基づいて評価される。
Figure JPOXMLDOC01-appb-T000006
　なお、Ｇｅｂｏｅｓスコアは、０～５の６段階評価であるが、炎症の有無を判断すればよい場合は、評価導出部１２４は、０～２を所見なし（炎症なし）とみなし、３～５を病理的に炎症ありとみなして評価値を導出してもよい。
　判定器は機械学習により生成される。具体的には、判定器は、多数の患部画像と、該患部画像に対する患部視認による医師の評価又は病理検査による評価の少なくともいずれか１つ以上とを機械学習することで生成される。機械学習では、少なくとも１万枚以上の患部画像と評価とを学習することで、複数の医師間における評価値の差と同程度の差を示す程度の精度で判定を行うことができる。例えば、判定器は、ディープニューラルネットワークを用いた機械学習によって生成されてもよい。
　例えば、潰瘍性大腸炎等の患部視認による評価は難易度が高いため、患部視認による医師の評価は、専門医であっても医師間でばらつきが生じてしまう。本実施形態によれば、機械学習によって生成された判定器を用いることによって、専門医がいなくとも潰瘍性大腸炎等の疾患の診断評価を行うことができる。また、機械学習によって生成された判定器を用いることによって、医師間での評価のばらつきを回避し、患者に対してより客観的かつ再現性の高い基準で評価した評価値に基づいた治療を行うことができる。
　また、病理検査は、組織採取の際に患者にダメージを与える可能性、及び合併症を引き起こす可能性がある。さらに、病理検査を行う病理医の人数が少ないため、病理検査は、どこでもできるものではなく、かつ診断に時間がかかってしまう。加えて、病理検査を行うことで患者には追加の費用が発生してしまう。本実施形態によれば、機械学習によって生成された判定器を用いることによって、組織採取をせずとも病理検査の結果を導出することができるため、患者に対する身体的、時間的、及び金銭的な負担を抑制することができる。また、病理検査の結果は確定診断であるため、機械学習によって生成された判定器は、病理検査による評価をより高い精度で導出することが可能である。
　なお、本実施形態において、判定器は、多数の患部画像に上述した評価以外のパラメータを対応付けたデータを機械学習することで、生成されていてもよい。例えば、判定器は、多数の患部画像と、該患部画像の患者に対する投薬量又は治療方法とを機械学習することで生成されてもよい。
　評価導出部１２４は、タイル評価値として、評価項目別のタイル評価値を導出する。例えば、評価項目は、患部の出血、腫瘍、または血管透見像の項目であってよく、病理検査の項目であってよい。また、評価導出部１２４は、各評価項目を混合したタイル評価値を算出してもよい。例えば、患部の出血、潰瘍、または血管透見像の少なくともいずれか２つ以上の評価値が使用されてタイル評価値が導出されてもよい。例えば、この場合には、患部の出血、潰瘍、または血管透見像の少なくともいずれか２つ以上の評価値を合計して、タイル評価値としてもよい。
　評価導出部１２４は、タイル評価値に加え、各タイル評価値の信頼度を算出する。信頼度とは、タイル評価値の確からしさを示した値であり、確率又は０～１の数値（例えば、１が最も確からしい）で表され得る。評価導出部１２４は、該信頼度が閾値以上である場合にタイル評価値は信頼できると判断して、後述する表示装置１３０へ該信頼度を出力してもよい。一方、該信頼度が閾値未満である場合には、評価導出部１２４は、タイル評価値は信頼できないと判断して、後述する表示装置１３０へタイル評価値を出力しなくともよく、表示装置１３０へ解析不可という結果を出力してもよい。
　評価導出部１２４は、上記タイル評価値に基づいて、患部画像の全体の全体評価値を推定する。これにより、ユーザは、患部画像の一部ではなく全体を評価することができるため、潰瘍性の疾患に対してより正確な診断を行うことが可能となる。
　具体的には、全体評価値は、患部画像に含まれるタイル画像のタイル評価値を平均した平均評価値として導出されてもよい。ただし、出血等のように病状の程度よりも発生の有無を特徴とする評価項目を評価する場合には、評価導出部１２４は、出血箇所に重みづけして全体評価値を導出してもよい。このような場合、評価導出部１２４は、タイル評価値の平均に替えて、又は加えてタイル評価値の最大値を用いて全体評価値を導出してもよい。
　また、評価導出部１２４は、タイル評価値の確率分布をさらに用いて全体評価値を導出してよい。例えば、導出装置１２０は、タイル評価値の分散度合または標準偏差等を考慮して、全体評価値を導出して良い。
　さらに、評価導出部１２４は、タイル画像の各々の輝度に応じて、複数のタイル画像の中から、全体評価値の推定に使用するタイル画像を選択してもよい。これによれば、評価導出部１２４は、患部画像内から、ノイズ、過照明、又は影等を含み、タイル評価値の導出が困難なタイル画像を除去することができる。
　具体的には、評価導出部１２４は、輝度が第１閾値以上かつ第２閾値以下であるタイル画像を全体評価値の推定に使用してもよい。なお、第２閾値は、第１閾値よりも高い輝度の閾値を表し、これらの閾値はユーザ等により適宜決定され得る。これにより、評価導出部１２４は、第２閾値によって輝度が高すぎるタイル画像を除去し、第１閾値によって輝度が低すぎるタイル画像を除去することができる。したがって、評価導出部１２４は、導出されるタイル評価値の信頼度を高めることができるため、全体評価値をより高い信頼度で推定することができる。
　表示装置１３０は、上記タイル評価値または全体評価値の少なくともいずれかをユーザへ呈示する。表示装置１３０は、例えば、タッチパネル型のディスプレイ、３次元ディスプレイ、空間ディスプレイ、または投影型ディスプレイ等であってもよい。具体的には、表示装置１３０は、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、プラズマディスプレイ、ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、レーザープロジェクタ、ＬＥＤプロジェクタ又はランプ等のいずれであってもよい。
　ここで、図４を参照して、導出装置１２０と表示装置１３０との動作に関して詳しく説明する。図４は、導出装置１２０及び表示装置１３０による動作を示した模式図である。
　図４に示すように、導出装置１２０は、内視鏡１１０から患部画像Ｏｒを取得する。導出装置１２０は、切出部１２２により、例えば患部画像を格子状のタイル画像１２０ａ、タイル画像１２０ｂ、タイル画像１２０ｃ、タイル画像１２０ｄ・・・として切り出す。図４では、例えば、４×４の１６枚のタイル画像として切り出された患部画像が図示されている。評価導出部１２４は、判定器１０を用いて、これらのタイル画像１２０ａ～１２０ｄに対して、それぞれ、タイル評価値Ｓｃと信頼度αを導出する。
　図４に示すように、例えば、タイル画像１２０ａは、タイル評価値Ｓｃが０．９、信頼度αが０と導出されている。その他のタイル画像も同様に、タイル画像１２０ｂは、タイル評価値Ｓｃが０．９４、信頼度αが０、５と導出されており、タイル画像１２０ｃは、タイル評価値Ｓｃが０．１５５、信頼度αが１と導出されており、タイル画像１２０ｄは、タイル評価値Ｓｃが０．５、信頼度αが０と導出されている。評価導出部１２４は、さらに各タイル画像から導出した全体評価値βを導出する。
　表示装置１３０は、上記の各タイル評価値および全体評価値βを取得して、ユーザへ呈示する。表示装置１３０では、タイル評価値に応じて異なる表示を患部画像に重畳させることで、患部画像内の病状の評価の分布を示すことができる。例えば、表示装置１３０は、タイル画像のタイル評価値に応じて、タイル画像の色を変化させてよい。また、表示装置１３０は、タイル画像のタイル評価値の信頼度に応じて、タイル画像の透過度を変化させてよい。
　図５を参照して、タイル画像に重畳させる表示の態様についてさらに説明する。図５は、タイル画像に重畳させる表示の態様の一例を示している。患部画像Ｏｒ１は、病状が全体的に良好な画像であり、患部画像Ｏｒ２は病状が良好な範囲と病状が不良な範囲とが含まれた画像であり、患部画像Ｏｒ３は、病状が全体的に不良な画像である。タイル評価値Ｓｃ（すなわち、病状の良、又は不良）は、異なる表示の態様で呈示される。例えば、タイル評価値Ｓｃは、異なる色等で（いわゆる、ヒートマップ状に）呈示されることができるまた、タイル評価値の信頼度αは、例えば、色の透過度により呈示されることができる。なお、図５において、タイル評価値を示す画像Ｅｆ１～Ｅｆ３では、異なる色を異なるハッチング種類（すなわち、斜線またはドットハッチング）により表現し、各色の透過度を各ハッチングの密度にて表現している。
　以上にて図４および図５を参照して、タイル画像の評価値および全体評価値の表示例に関して説明したが、表示例は、図４および図５に図示した表示例に限定されない。例えば、表示装置１３０は、図２に示すように、患部画像Ｏｒと、評価項目毎に評価値を重畳表示した患部画像と、を併せて表示してもよい。これにより、ユーザ（医師）は、実際の患部画像Ｏｒ１～Ｏｒ３を視認しながら、各評価項目のタイル評価値を示す画像Ｅｆ１～Ｅｆ３を視認することができる。したがって、ユーザは、医療支援システム１０００による評価と、ユーザによる病状の評価とを考慮しながら患者を診察することができる。
　（２．２．動作フロー）
　ここで、図６および図７を参照して、医療支援システム１０００にて判定器を生成する判定器生成フローＳ１００の一例、および医療支援システム１０００の全体の動作フローＳ２００の一例をそれぞれ説明する。
　図６を参照して、判定器の生成フローＳ１００を説明する。
　まず、導出装置１２０では学習用の患部画像が取得される（Ｓ１０２）。
　次に、学習用患部画像がタイル画像として切り出される（Ｓ１０４）。タイル画像は、一定の形状にて切り出されてもよく、ランダムな形状で切り出されてもよい。
　次に、タイル画像として切り出された学習用患部画像と該患部画像に対する評価値とが学習される（Ｓ１０６）。患部画像に対する評価値は、医師等によって判断された評価値であり、医師の患部視認による評価、病理検査の結果による評価等を含む。
　次に、学習用患部画像がＮ枚以上学習されたか否かが判断される（Ｓ１０８）。学習用患部画像がＮ枚以上学習されていない場合（Ｓ１０８／Ｎｏ）、Ｎ枚以上の学習に達するまで患部画像の学習を繰り返す。機械学習される学習用患部画像は、回転、拡大、縮小又は変形等によりデータオーギュメンテーションが行われてもよい。学習用患部画像を少なくとも１万枚以上用いることによって、信頼度の高い判定器を生成することができる。
　以上までで、判定器の生成フローＳ１００を説明した。
　次に、図７を参照して、判定器を用いた医療支援システム１０００の全体の動作フローＳ２００を説明する。
　まず、導出装置１２０は、内視鏡１１０等にて判定用の患部画像を取得する（Ｓ２０２）。患部画像は、内視鏡１１０によるモニタリング中の動画であってもよく、内視鏡１１０にて撮像された静止画であってもよい。
　次に、切出部１２２は、判定用患部画像をタイル画像として切り出す（Ｓ２０４）。タイル画像は、一定の形状にて切り出されてもよく、ランダムな形状にて切り出されてもよい。
　次に、導出装置１２０は、生成した判定器を用いて、タイル画像のタイル評価値と、タイル画像の信頼度とを導出する（Ｓ２０６）。導出装置１２０は、タイル評価値を導出した際に、さらに患部画像の全体に対する全体評価値を導出してもよい。例えば、導出装置１２０は、患部画像内のタイル評価値の平均値から全体評価値を導出してもよく、タイル評価値の最大値及び平均値の組み合わせから全体評価値を導出してもよい。また、導出装置１２０は、タイル評価値の確率分布をさらに組み合わせて全体評価値を導出してもよい。例えば、導出装置１２０は、タイル評価値の分散度合または標準偏差等を考慮して、全体評価値を導出してもよい。
　その後、表示装置１３０は、タイル画像のタイル評価値とタイル評価値の信頼度とをユーザへ呈示する（Ｓ２０８）。表示装置１３０は、さらに、上記全体評価値を表示してもよい。
　以上までで、医療支援システム１０００の全体の動作フローを説明した。これらの動作を行う医療支援システム１０００によれば、医師１は、医療支援システム１０００が導出した患部の評価と医師１の診断とを考慮することで、より確信をもって病状の診断を行うことができる。
　（３．変形例）
　図８を参照して、表示装置１３０にて表示される表示の変形例について説明する。図８は、表示装置１３０にて表示される表示の変形例を示した図である。上記実施形態では、表示装置１３０は、患部画像Ｏｒと併せて、各項目の評価値が呈示された患部画像を表示している。一方で、本変形例では、表示装置１３０は、さらに、各項目のタイル評価値が呈示された評価画像と併せて、患者の体内における内視鏡１１０の位置を表示し、該内視鏡１１０の位置に対応する全体評価値を表示している。
　図８に示すように、例えば、表示装置１３０は、表示装置１３０の表示領域の一端から他端にかけて、内視鏡の位置を示す表示バー１３０ａを表示してもよい。表示バー１３０ａは、その長手方向の一端から他端までを診察部の長さとして示している。例えば、診断が大腸検査である場合、表示バー１３０ａは、表示バー１３０ａの一端を内視鏡の挿入開始箇所（例えば、肛門）の０ｃｍを示し、表示バー１３０ａの他端を大腸検査の終点（例えば、１５０ｃｍ）を示してもよい。診察時の内視鏡の大腸における位置１３０ｂは、表示バー１３０ａの長手方向に対応して、挿入長さにて表現されてもよい。
　また、表示バー１３０ａは、色が連続的に変化する範囲１３０ｃを含んでもよい。具体的には、表示バー１３０ａの各々の全体評価値に応じて、表示バー１３０ａは、色が変化して表示されてよい。さらに、表示バー１３０ａでは、全体評価値に特徴がある位置がマーキング１３０ｄにより強調されて表示されてもよい。例えば、内視鏡による診察を開始してから終了するまでに、全体評価値が高いと判断された位置は、マーキング１３０ｄにより強調されて表示されてもよい。なお、マーキング１３０ｄは、ユーザ等により選択された箇所に付されてもよい。
　また、表示装置１３０は、患部画像内でタイル評価値の高い箇所が拡大されて表示されてもよい。これにより、医療支援システム１０００は、病状が特に不良であると判断される箇所をユーザに重点的に示すことができる。
　（４．実施例）
　以下では、実施例を参照しながら、本実施形態に係る医療支援システムにて生成される判定器について、さらに具体的に説明する。なお、以下に示す実施例は、本実施形態に係る医療支援システムの実施可能性及び効果を示すための一条件例であり、本開示に係る技術が以下の実施例に限定されるものではない。
　（背景）
　潰瘍性大腸炎では、内視鏡的および組織学的評価による客観的評価が重要である。しかし、潰瘍性大腸炎の評価は、個人による経験差から観察者内および観察者間でばらつきが生じる。そこで、本実施例では、潰瘍性大腸炎に対して、一貫性があり、かつ客観的な評価をリアルタイムで行うことを実現するために、内視鏡画像に基づくディープニューラルネットワークシステム（ＤＮＵＣ）の開発を目的とした。
　具体的には、潰瘍性大腸炎（以下、ＵＣとも称する）の患者の管理には、客観的な観察が重要である。
　例えば、過去の研究から、内視鏡評価によりＵＣの臨床転帰が予測可能であることが示されている。したがって、内視鏡的寛解を治療目標とし、内視鏡評価をＵＣ患者の評価および管理に利用する場合が増えている。しかし、内視鏡観察は、訓練が必要であるため、内視鏡評価は、内視鏡医によって評価が異なる場合があり得る。
　一方、臨床転帰を予測可能な別の治療目標として、組織学的寛解が提案されている。例えば、急性炎症が微小に残存する患者は再発の可能性が高いため、急性炎症が残存しない組織学的寛解を最終的な治療目標とすることができる。組織学的寛解を判断する組織学的評価は、重要な評価であるが、粘膜検体を必要とし、かつ病理医によって解釈が異なる場合があり得る。
　このように内視鏡画像または粘膜検体に対する専門医の評価は、個人の経験に基づいて主観的に解釈されるため、一般化された評価、およびリアルタイムな特性評価が困難である。
　ここで、近年、様々な医療分野で、ディープラーニング（深層学習）を利用した人工知能（ＡＩ）の役割を指摘する報告がなされている。ディープニューラルネットワーク（ＤＮＮ）とは、深層学習アーキテクチャを構築するＡＩ機械学習法である。本実施例では、ＵＣ内視鏡画像を用いてＤＮＮを構築することで、一貫性があり、かつ客観的な内視鏡的および組織学的評価を実現するＤＮＮシステム（ＤＮＵＣ）を開発した。さらに、検証試験により、開発したＤＮＵＣの精度を評価した。
　（概略）
　本実施例は、開発段階および検証段階の２つの段階からなる。開発段階では、過去の内視鏡画像および生検検体を利用してＤＮＵＣを開発し、検証段階では、新規の試験データからＤＮＵＣの妥当性を検討した。
　開発段階では、１０００人の患者から得た２０１４９枚の大腸内視鏡画像と、３２８５例の生検検体とを再調査することで、ＤＮＵＣアルゴリズム（すなわち、判定器）を構築した。
　検証段階では、新規の試験データを収集してＤＮＵＣアルゴリズムの精度を評価した。潰瘍性大腸炎の評価は、内視鏡的重症度評価指標（ＵＣＥＩＳ）が０となる場合を内視鏡的寛解とし、Ｇｅｂｏｅｓ評価値が３以下となる場合を組織学的寛解とした。具体的には、検証段階では、登録された５００人の患者から、２４００枚の内視鏡検査画像、および２３１７例の生検検体を得、ＤＮＵＣにおける内視鏡的および組織学的寛解の判定精度、および専門医との一致度を評価した。以下で詳細に説明するが、内視鏡的寛解の判定では、ＤＮＵＣは、高い診断精度（９０.１％）、および高い一貫性を示した。内視鏡的寛解の判定におけるＤＮＵＣおよび内視鏡医の間のｋａｐｐａ相関係数は０.７８５であった。また、組織学的寛解の判定でも、ＤＮＵＣは高い診断精度（９０.９％）を示した。組織学的寛解の判定におけるＤＮＵＣおよび生検結果の間のｋａｐｐａ相関係数は０.７４８であった。
　（患者）
　開発段階では、東京医科歯科大学医学部附属病院で大腸内視鏡検査を受けたＵＣ患者の連続症例を再調査することで、過去の内視鏡画像および生検検体を得た。また、検証段階では、２０１８年の４月から１１月までに同病院でＵＣの治療のため大腸内視鏡検査を受けた患者を登録することで、新規の試験データを得た。なお、開発段階でのデータの利用に関しては、全ての患者からオプトアウト方式で同意を得た。また、検証段階では、全ての患者から書面によるインフォームド・コンセントを得た。
　ただし、以下のような除外基準に該当する患者については除外した。
　（１）結腸切除歴、診断が確定しない炎症性腸疾患、クローン病、結腸・直腸新生物、又は腸管随伴感染症を有する患者。
　（２）大腸内視鏡検査が禁忌となる患者。
　（３）血液疾患、又は抗血栓・抗凝固療法で生検が禁忌となる患者。
　また、全ての患者に対して、モントリオール分類に基づいて疾患程度を判断し、かつ部分的Ｍａｙｏ評価値を用いて臨床活動性を判断した。全ての患者に対して、ニフレックまたはモビプレップ（ＥＡファーマ株式会社）により標準的な腸管前処置を行い、腸管洗浄の状態も記録した。
　（内視鏡検査の手順および評価）
　標準的な大腸内視鏡（オリンパスメディカルシステムズ社）による検査にて、結腸粘膜画像（画像サイズ４.５ＭＢ）を撮像した。一般的な大腸内視鏡検査では、白色光による検査の後に色素内視鏡検査を実施するが、本実施例で使用した画像は、白色光画像のみである。
　潰瘍性大腸炎の内視鏡的重症度の評価には、内視鏡的重症度評価指標（ＵＣＥＩＳ）を用いた。具体的には、血管透見像（評価値０～２）、出血（評価値０～３）、びらん・潰瘍（評価値０～３）を単純合計することで、合計値０～８の範囲でＵＣＥＩＳ評価値を得、ＵＣＥＩＳ評価値０を内視鏡的寛解とした。なお、ＵＣＥＩＳは、本来、最も重症度の高い疾患領域で評価値をスコアリングするが、本実施例では、撮像した全ての内視鏡画像で評価値を得た。
　（組織学的評価）
　患者の結腸粘膜から生検検体を採取した。潰瘍性大腸炎の炎症の組織学的重症度の評価には、Ｇｅｂｏｅｓ評価値を用い、Ｇｅｂｏｅｓ評価値３以下を組織学的寛解とした。
　（開発段階）
　ＤＮＵＣを訓練及び構築するために用いるデータセットを準備した。具体的には、上述したように、２０１５年７月から２０１８年３月までの患者１０００人に実施した大腸内視鏡検査の画像を合計２０１４９枚収集した。また、これらの患者から３２８５例の生検検体（既に採取済み）も収集した。ただし、組織生検が実施されなかった領域の内視鏡画像は除外した。
　全ての画像のＵＣＥＩＳ評価値は、一人の内視鏡医（ＩＢＤ内視鏡検査歴１１年）が評価し、全ての粘膜検体の組織学的活動性は、一人の病理医（ＩＢＤ病理学歴１３年）が評価した。なお、内視鏡医および病理医は、ともに相手の検査結果について知らされていない。
　ここで、ＵＣＥＩＳ評価値、および組織学的データの数及び割合（括弧内は割合（％））を以下の表７に示す。組織学的データは、組織生検を行なった領域の内視鏡画像とリンクさせている。
Figure JPOXMLDOC01-appb-T000007
　撮像した内視鏡画像をＤＮＵＣに入力し、ＤＮＵＣに内視鏡画像および評価値（ＵＣＥＩＳ評価、および組織学的評価）を学習させた。また、ＤＮＵＣは、内視鏡的寛解（達成／未達成）、組織学的寛解（達成／未達成）、およびＵＣＥＩＳ評価値の結果を出力するように設計した。正確な出力を実現するために、ＤＮＵＣのカットオフを８５％以上とし、該カットオフを満たさない画像は「解析不能」と判断するようにした。さらに正確な出力を実現するために、ＤＮＵＣの別のカットオフを９５％以上とし、該カットオフを満たす画像は「確信度が高い」と判断するようにした。
　ＤＮＵＣの学習は以下のように行った。
　まず、１０８０×１０８０ピクセルのオリジナルの内視鏡画像を２９９×２９９ピクセルの正方形タイルに分割した。次に、分割した正方形タイルの平均輝度値を計算することで、過剰暴露の影響、及び暗部を取り除くことで、ＤＮＵＣの学習に適用可能なタイルを選択した。続いて、正方形タイルに対して、０度から３５９度までのランダム回転、０.８倍から１.２倍までの拡大縮小、反転、または０.８倍から１.２倍までのせん断を実施するデータオーギュメンテーションを行った。
　その後、最新のＤＮＮアーキテクチャであるＩｎｃｅｐｔｉｏｎ　ｖ３モデル（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１５１２．００５６７）を適用して、ＤＮＵＣを構築した。具体的には、Ｉｎｃｅｐｔｉｏｎモデルの最終層を変更し、ソフトマックス活性化関数を利用して評価値毎にクラス分けを行った。該Ｉｎｃｅｐｔｉｏｎモデルをエポック数２０００×１０回で訓練し、各評価値の確率を得た。さらに、同一オリジナル画像由来の２９９×２９９ピクセルの正方形タイルの全結果を平均化してスコアリングを行った。
　ＤＮＵＣからの出力結果は、例えば、オリジナル内視鏡画像から、タイルを特定の半透明の色で着色した重畳画像を作成することで、ユーザに呈示することができる。塗りつぶし色および透過率は、評価値の結果および確率に応じて決定することができる。
　（検証段階）
　構築したＤＮＵＣの診断精度を評価するため、新規の試験データセットを収集した。具体的には、上述した患者全てに大腸内視鏡検査を行い、５つの結腸部位（上行結腸、横行結腸、下行結腸、Ｓ状結腸、および直腸）の内視鏡画像を撮像し、該当箇所から５つの粘膜生検検体を採取した。大腸内視鏡検査は、７人の異なる内視鏡医にて行われた。
　ただし、重症のＵＣ患者には、Ｓ状結腸鏡検査、または生検検体の数の制限を行った。内視鏡画像は、開発段階と同じ内視鏡医が評価した。軽度から中等度のＵＣ患者の４００例の生検検体は、開発段階と同じ病理医が評価し、残りの生検検体は、内容を知らされていない別の病理医が評価した。
　内視鏡画像ごとにＤＮＵＣの結果を出力させ、出力結果を内視鏡的および組織学的データと比較することで、下記の評価項目によりＤＮＵＣを評価した。
　（１）主要評価項目として、内視鏡的寛解を評価する際のＤＮＵＣの精度、および組織学的寛解を予測する際のＤＮＵＣの精度を設定。
　（２）副次的評価項目として、ＤＮＵＣのＵＣＥＩＳ判定能力、各結腸部位の内視鏡的寛解および組織学的寛解でのＤＮＵＣの精度、確信度が高い症例でのＤＮＵＣの精度、ならびに腸管洗浄の状態により階層化した場合のＤＮＵＣの精度を設定。
　（統計解析）
　ここで、５００枚の画像を用いた小規模パイロット試験により、開発段階では少なくとも１００００枚の画像、検証段階では少なくとも１０００枚の画像が必要であると推定された。そこで、ＤＮＵＣの出力結果と、専門医（内視鏡医、および病理医）が評価したデータとを比較しながらＤＮＵＣの診断精度を判定し、内視鏡的寛解および組織学的寛解におけるＤＮＵＣおよび専門医の間の一致度をｋａｐｐａ相関係数にて計算した。また、ＵＣＥＩＳをスコアリングした際の専門医およびＤＮＵＣの間の相関を級内相関係数（ＩＣＣ）で判断した（図９Ａ及び図９Ｂ）。なお、統計解析には、ＳＰＳＳ　ｖｅｒｓｉｏｎ　２１.０（ＩＢＭ社）を用いた。
　（患者の内視鏡的および組織学的結果）
　検証段階にて５００人の患者を登録した。登録した患者の臨床像を以下の表８に示す。
Figure JPOXMLDOC01-appb-T000008
　表８に示すように、２９８人（５９.６％）の患者は、疾患活動性の評価のために大腸内視鏡検査を指示されており、２０２人（４０.４％）の患者は、がん検診のために大腸内視鏡検査を指示されていた。合併症のリスクに関する内視鏡医の判断から、全体で４２人の患者は、全大腸内視鏡検査を受けていない。また、６０人の患者では、生検検体が４例に満たなかった。
　これらの患者から２４００枚の内視鏡画像、および２３１７例の生検検体を得た。得られた内視鏡画像、および生検検体を専門医（内視鏡医、および病理医）によって評価した結果を以下の表９に示す。
Figure JPOXMLDOC01-appb-T000009
　表９に示すように、６０.９％の画像が内視鏡的寛解と判断され、７６.８％の検体が組織学的寛解と判断された。内視鏡検査によって中等度から重症（ＵＣＥＩＳ評価値３以上）と判断された粘膜検体のほとんどは、組織学的活動と判断された。ＵＣＥＩＳ評価値が０、１又は２と判断された粘膜は、それぞれ９８.５％（１４３８例中１,４１７例）、７８.３％（３４６例中２７１例）、４１.８％（１８９例中７９例）の割合で組織学的寛解と判断された。
　（ＤＮＵＣの内視鏡評価値に関する評価）
　内視鏡評価値において、ＤＮＵＣでは、９２.４％の画像が「解析可能」と判断され、５０.７％の画像が「確信度が高い」と判断された。
　上述した主要評価項目に関して、以下の表１０に示すように、ＤＮＵＣは、内視鏡的寛解の判定にて、高い感度（９４.３％）、高い特異性（８３.１％）、高い陽性適中度（ＰＰＶ：９０.３％）、高い陰性適中度（ＮＰＶ：８９.８％）、および高い診断精度（９０.１％）を示した。さらに、内視鏡的寛解におけるＤＮＵＣおよび内視鏡医の間のｋａｐｐａ相関係数は、０.７８５であった。すなわち、ＵＣ患者の粘膜炎症を評価する際のＤＮＵＣの精度は内視鏡医と同等であった。
Figure JPOXMLDOC01-appb-T000010
　また、上述した副次的評価項目に関して、図９Ａに示すように、ＵＣＥＩＳをスコアリングした際の専門医およびＤＮＵＣの間のＩＣＣは０．８６１であった。特に、確信度が高い症例では、図９Ｂに示すように、ＤＮＵＣは、非常に高い精度（９８．７％）、および高い一貫性（ｋａｐｐａ相関係数は０．９７２）を示した。ＤＮＵＣの精度および一貫性は、許容範囲であったが、以下の表１１に示すように、直腸でのＤＮＵＣの精度は比較的低かった。また、以下の表１２に示すように、腸管洗浄の評価値が不良から不可である場合にも、ＤＮＵＣの精度は低かった。
Figure JPOXMLDOC01-appb-T000011
Figure JPOXMLDOC01-appb-T000012
　（ＤＮＵＣの組織学的寛解に関する評価）
　組織学的寛解の予測において、ＤＮＵＣでは、９２.０％の画像が「解析可能」と判断され、４０.９％の画像が「確信度が高い」と判断された。
　上述した主要評価項目に関して、以下の表１３に示すように、ＤＮＵＣは、組織学的寛解の予測にて、高い感度（９２.６％）、高い特異性（８５.０％）、高いＰＰＶ（９５.６％）。高いＮＰＶ（７６.７％）、および高い診断精度（９０.９％）を示した。さらに、組織学的寛解におけるＤＮＵＣおよび生検結果の間のｋａｐｐａ相関係数は、０．７４８であった。すなわち、ＤＮＵＣによって粘膜生検を必要とせずに組織学的寛解を予測することができた。
Figure JPOXMLDOC01-appb-T000013
　また、確信度が高い症例では、ＤＮＵＣは、非常に高い精度（９７．６％）、および高い一貫性（ｋａｐｐａ相関係数は０．９３８）を示した。上述した副次的評価項目に関して、ＤＮＵＣの精度および一貫性は、許容範囲であったが、以下の表１４に示すように、直腸でのＤＮＵＣの精度および一貫性は比較的低かった。また、以下の表１５に示すように、腸管洗浄の評価値が不良から不可である場合も、ＤＮＵＣの精度および一貫性は比較的低かった。
Figure JPOXMLDOC01-appb-T000014
Figure JPOXMLDOC01-appb-T000015
　（まとめ）
　以上の実施例からわかるように、内視鏡的および組織学的評価を組み合わせたＵＣの客観的評価は、ＵＣへの治療方法の選択、および薬物療法への反応のモニターのために重要であり、特に、適切な臨床試験の設計および評価に重要であると考えられる。しかし、専門医による評価には一貫性がないことがあり、専門医個々の経験に影響される可能性が高い。したがって、臨床試験では、中立な第三者による独立した評価が求められる。
　そこで、本開示に係る技術の発明者らは、ＵＣの内視鏡画像から粘膜炎症の評価、および組織学的炎症の予測を行うためのＤＮＵＣを構築した。構築したＤＮＵＣの診断能力は、経験豊富な専門医と同等と考えられるため、ＤＮＵＣは、内視鏡画像の客観的な評価に利用可能であると考えられる。
　具体的には、ＤＮＵＣは、内視鏡的寛解の評価について、内視鏡医と比較して高い精度および高い一貫性を示した。さらに、ＵＣＥＩＳのスコアリングについて、ＤＮＵＣおよび内視鏡医の間のＩＣＣは、０.８６１であった。したがって、ＤＮＵＣは、臨床的に十分な能力を備えていると考えられる。
　ＤＮＵＣ等のＡＩシステムは、スクリーニングの時間が短く、労力がかからないため、内視鏡検査の直後に結果を得ることができる。上記の実施例の結果によれば、ＤＮＵＣによって客観的かつ一貫性のある内視鏡評価がリアルタイムで実現できることがわかる。これによれば、ＤＮＵＣは、複数の内視鏡医の間で生じる評価の不一致等の問題を解決することが可能である。したがって、ＤＮＵＣは、臨床診療および臨床試験の両方で効果的に利用することができると期待される。
　また、ＵＣに関する研究等を参照すると、臨床的および内視鏡的寛解の患者は、依然として組織学的活動性疾患を患っている可能性があり、高い再発のリスクを有している。すなわち、内視鏡的指標および組織学的指標による寛解の一致は緩やかであるため、組織学的指標による寛解を判断するためには、生検を繰り返し行うことが重要であるとされている。
　一般に、組織学的評価を行うための生検は、大腸内視鏡検査中に結腸粘膜を採取して行われ、限られた領域のみでの評価である。一方で、ＤＮＵＣは、結腸粘膜のどの領域においても評価を行うことが可能である。特に、本実施例では、ＤＮＵＣは、組織学的寛解を高い精度および高い一貫性で予測することができることを示した。これによれば、ＤＮＵＣは、生検検体を用いずとも組織学的寛解を評価することが可能である、したがって、ＤＮＵＣは、医療費の削減に寄与することも期待される。
　以上にて説明したように、本実施例にて構築されたＤＮＵＣは、内視鏡医と同等の精度にてＵＣ患者の粘膜炎症の評価を行うことが可能である。また、本実施例にて構築されたＤＮＵＣは、粘膜検体を用いずとも組織学的寛解を予測することが可能である。本実施例にて構築されたＤＮＵＣは、客観的かつ一貫性のある評価方法であり、臨床診療および臨床試験の両方に利用可能であることがわかる。
　（５．ハードウェア構成例）
　図１０を参照して、本実施形態に係る医療支援システム１０００に含まれる導出装置等のハードウェア構成の一例について説明する。図１０は、本実施形態に係る導出装置等のハードウェア構成の一例を示すブロック図である。
　図１０に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３、及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ、若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置又は制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラム及び演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラム、及びその実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図３に示す評価導出部１２４として機能し得る。
　ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等のユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよく、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置、スピーカ及びヘッドホン等の音声出力装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、出力装置９０７は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示してもよい。または、出力装置９０７は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力してもよい。出力装置９０７は、例えば、図３に示す表示装置１３０として機能し得る。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図３に示す評価導出部１２４において使用する患部画像若しくは評価画像、又はタイル評価値を導出する際に使用される各種パラメータ等を記憶する。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースである。例えば、接続ポート９１１は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口であってもよい。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等であってもよい。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３により、例えば、図３に示すように、導出装置１２０と、内視鏡１１０および表示装置１３０とは、各種情報の入出力を行うことができる。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、もしくは衛星通信網などの公衆回線網、またはＥｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　また、情報処理装置９００に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭなどのハードウェアに読み込まれることで、上述した本実施形態に係る医療支援システム１０００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記録媒体も本開示に係る技術の範疇に含まれ得る。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　患部を撮像して得られた患部画像に基づいて、前記患部に対する評価値を導出する導出装置と、
　前記評価値をユーザへ呈示する表示装置と、を備え、
　前記導出装置は、前記患部画像を複数のタイル状のタイル画像として切り出す切出部と、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出する評価導出部と、を有する、医療支援システム。
（２）
　前記評価導出部は、さらに、前記タイル評価値に基づいて、前記患部画像の全体の全体評価値を推定する、前記（１）に記載の医療支援システム。
（３）
　前記切出部は、前記患部の病状を判定可能な大きさで前記患部画像を前記複数の前記タイル画像として切り出す、前記（２）に記載の医療支援システム。
（４）
　前記評価導出部は、前記複数の前記タイル画像の輝度に応じて、前記複数の前記タイル画像の中から、前記全体評価値の推定に使用される前記タイル画像を選択する、前記（２）または（３）に記載の医療支援システム。
（５）
　前記評価導出部は、前記輝度が第１閾値以上であり、前記輝度が前記第１閾値よりも大きい第２閾値以下である前記タイル画像を、前記全体評価値の推定に使用する、前記（４）に記載の医療支援システム。
（６）
　前記表示装置では、前記タイル評価値に応じて異なる表示態様を示す前記複数の前記タイル画像が前記患部画像に重畳表示される、前記（２）～（５）のいずれか一項に記載の医療支援システム。
（７）
　前記導出装置は、さらに前記タイル評価値の信頼度を導出する、前記（６）に記載の医療支援システム。
（８）
　前記表示装置には、さらに前記信頼度に応じて異なる表示態様を示す前記複数の前記タイル画像が前記患部画像に重畳表示される、前記（７）に記載の医療支援システム。
（９）
　前記評価導出部は、前記タイル評価値の平均値、最大値、または前記評価値の確率分布の少なくともいずれか１つ以上、を用いて前記全体評価値を推定する、前記（２）～（８）のいずれか一項に記載の医療支援システム。
（１０）
　前記患部画像は、内視鏡により撮像され、
　前記表示装置には、患者の体内における前記内視鏡の位置が表示され、前記患者の体内における位置に対応する前記全体評価値が表示される、前記（６）または（８）に記載の医療支援システム。
（１１）
　前記表示装置には、前記タイル評価値に応じて、前記患部画像の一部が拡大されて表示される、前記（６）または（８）に記載の医療支援システム。
（１２）
　前記切出部は、前記患部画像を多角形の形状の前記タイル画像として切出し、前記切出部は、前記多角形が前記多角形の外接円が５ｍｍ以上１５ｍｍ以下となるように切出す、前記（３）～（１１）のいずれか一項に記載の医療支援システム。
（１３）
　前記タイル評価値は、前記患部の出血、腫瘍、または血管透見像の項目に対する評価、あるいは病理検査の項目による評価の少なくともいずれか一つ以上に関するタイル評価値である、前記（６）または（８）に記載の医療支援システム。
（１４）
　前記表示装置では、前記患部画像と、前記項目毎に前記重畳表示された前記患部画像と、が並んで表示される、前記（１３）に記載の医療支援システム。
（１５）
　患部を撮像して得られた患部画像を複数のタイル状のタイル画像として切り出す切出部と、
　機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出する評価導出部と、
　前記タイル評価値をユーザへ呈示する表示装置を制御する表示制御部と、を有する、医療支援装置。
（１６）
　導出装置が、患部を撮像して得られた患部画像を複数のタイル状のタイル画像として切り出すことと、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出することと、
　表示装置が、前記タイル評価値をユーザへ呈示することと、を含む、
　医療支援方法。
　１１０　　内視鏡
　１２０　　導出装置
　１２２　　切出部
　１２４　　評価導出部
　１３０　　表示装置

Claims (16)

  1. 　患部を撮像して得られた患部画像に基づいて、前記患部に対する評価値を導出する導出装置と、
    　前記評価値をユーザへ呈示する表示装置と、を備え、
    　前記導出装置は、前記患部画像を複数のタイル状のタイル画像として切り出す切出部と、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出する評価導出部と、を有する、医療支援システム。
  2. 　前記評価導出部は、さらに、前記タイル評価値に基づいて、前記患部画像の全体の全体評価値を推定する、請求項１に記載の医療支援システム。
  3. 　前記切出部は、前記患部の病状を判定可能な大きさで前記患部画像を前記複数の前記タイル画像として切り出す、請求項２に記載の医療支援システム。
  4. 　前記評価導出部は、前記複数の前記タイル画像の輝度に応じて、前記複数の前記タイル画像の中から、前記全体評価値の推定に使用される前記タイル画像を選択する、請求項２に記載の医療支援システム。
  5. 　前記評価導出部は、前記輝度が第１閾値以上であり、前記輝度が前記第１閾値よりも大きい第２閾値以下である前記タイル画像を、前記全体評価値の推定に使用する、請求項４に記載の医療支援システム。
  6. 　前記表示装置では、前記タイル評価値に応じて異なる表示態様を示す前記複数の前記タイル画像が前記患部画像に重畳表示される、請求項２に記載の医療支援システム。
  7. 　前記導出装置は、さらに前記タイル評価値の信頼度を導出する、請求項６に記載の医療支援システム。
  8. 　前記表示装置には、さらに前記信頼度に応じて異なる表示態様を示す前記複数の前記タイル画像が前記患部画像に重畳表示される、請求項７に記載の医療支援システム。
  9. 　前記評価導出部は、前記タイル評価値の平均値、最大値、または前記評価値の確率分布の少なくともいずれか１つ以上、を用いて前記全体評価値を推定する、請求項２に記載の医療支援システム。
  10. 　前記患部画像は、内視鏡により撮像され、
    　前記表示装置には、患者の体内における前記内視鏡の位置が表示され、前記患者の体内における位置に対応する前記全体評価値が表示される、請求項６に記載の医療支援システム。
  11. 　前記表示装置には、前記タイル評価値に応じて、前記患部画像の一部が拡大されて表示される、請求項６に記載の医療支援システム。
  12. 　前記切出部は、前記患部画像を多角形の形状の前記タイル画像として切出し、前記切出部は、前記多角形が前記多角形の外接円が５ｍｍ以上１５ｍｍ以下となるように切出す、請求項３に記載の医療支援システム。
  13. 　前記タイル評価値は、前記患部の出血、腫瘍、または血管透見像の項目に対する評価、あるいは病理検査の項目による評価の少なくともいずれか一つ以上に関するタイル評価値である、請求項６に記載の医療支援システム。
  14. 　前記表示装置では、前記患部画像と、前記項目毎に前記重畳表示された前記患部画像と、が並んで表示される、請求項１３に記載の医療支援システム。
  15. 　患部を撮像して得られた患部画像を複数のタイル状のタイル画像として切り出す切出部と、
    　機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出する評価導出部と、
    　前記タイル評価値をユーザへ呈示する表示装置を制御する表示制御部と、を有する、医療支援装置。
  16. 　導出装置が、患部を撮像して得られた患部画像を複数のタイル状のタイル画像として切り出すことと、機械学習により得られた判定器を用いて、前記複数の前記タイル画像における前記患部の評価を表すタイル評価値を導出することと、
    　表示装置が、前記タイル評価値をユーザへ呈示することと、を含む、
    　医療支援方法。
PCT/JP2019/047351 2018-12-13 2019-12-04 医療支援システム、医療支援装置及び医療支援方法 Ceased WO2020121906A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/311,284 US12048414B2 (en) 2018-12-13 2019-12-04 Medical support system, medical support device, and medical support method
EP19894778.0A EP3895597B1 (en) 2018-12-13 2019-12-04 Medical assistance system
CN201980080786.3A CN113164025B (zh) 2018-12-13 2019-12-04 医疗支持系统、医疗支持设备和医疗支持方法
JP2020559953A JP7476800B2 (ja) 2018-12-13 2019-12-04 医療支援システム、医療支援装置及び医療支援方法
US18/743,338 US12543924B2 (en) 2018-12-13 2024-06-14 Medical support system, medical support device, and medical support method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-233204 2018-12-13
JP2018233204 2018-12-13
JP2019022255 2019-02-12
JP2019-022255 2019-02-12

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/311,284 A-371-Of-International US12048414B2 (en) 2018-12-13 2019-12-04 Medical support system, medical support device, and medical support method
US18/743,338 Continuation US12543924B2 (en) 2018-12-13 2024-06-14 Medical support system, medical support device, and medical support method

Publications (1)

Publication Number Publication Date
WO2020121906A1 true WO2020121906A1 (ja) 2020-06-18

Family

ID=71076038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047351 Ceased WO2020121906A1 (ja) 2018-12-13 2019-12-04 医療支援システム、医療支援装置及び医療支援方法

Country Status (5)

Country Link
US (2) US12048414B2 (ja)
EP (1) EP3895597B1 (ja)
JP (1) JP7476800B2 (ja)
CN (1) CN113164025B (ja)
WO (1) WO2020121906A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185651A1 (ja) * 2021-03-04 2022-09-09 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
JPWO2022209390A1 (ja) * 2021-03-31 2022-10-06
WO2022249817A1 (ja) * 2021-05-27 2022-12-01 富士フイルム株式会社 医療画像処理装置及び内視鏡システム
WO2023026538A1 (ja) * 2021-08-27 2023-03-02 ソニーグループ株式会社 医療支援システム、医療支援方法及び評価支援装置
WO2023058503A1 (ja) * 2021-10-04 2023-04-13 富士フイルム株式会社 内視鏡システム、医療画像処理装置及びその作動方法
JPWO2023089718A1 (ja) * 2021-11-18 2023-05-25
JPWO2024024022A1 (ja) * 2022-07-28 2024-02-01
JP2024509015A (ja) * 2022-01-19 2024-02-29 コ，ジファン 人工知能基盤の血管学習による大腸ポリープ検出方法及び装置
US12597506B2 (en) 2023-12-05 2026-04-07 Nec Corporation Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
WO2026078862A1 (ja) * 2024-10-11 2026-04-16 日本電気株式会社 学習装置、画像処理装置、学習方法、画像処理方法及び記憶媒体

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121906A1 (ja) 2018-12-13 2020-06-18 ソニー株式会社 医療支援システム、医療支援装置及び医療支援方法
US20220039639A1 (en) * 2020-08-06 2022-02-10 Assistance Publique-Hopitaux De Paris Methods and devices for calculating a level of "clinical relevance" for abnormal small bowel findings captured by capsule endoscopy video
US20220102008A1 (en) * 2020-09-30 2022-03-31 Genentech, Inc. Methods and systems for placebo response modeling
KR102283673B1 (ko) * 2020-11-30 2021-08-03 주식회사 코어라인소프트 병변 추적 검사에 기반하여 진단 보조 정보의 임계치를 조정하는 의료 영상 판독 지원 장치 및 방법
KR20230113600A (ko) * 2020-12-03 2023-07-31 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 능력을 평가하기 위한 시스템들 및 방법들

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016151711A1 (ja) * 2015-03-20 2016-09-29 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20170161891A1 (en) * 2015-12-03 2017-06-08 Case Western Reserve University Scaling up convolutional networks
WO2018180631A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4594835B2 (ja) * 2005-09-09 2010-12-08 オリンパスメディカルシステムズ株式会社 画像表示装置
CN101273916B (zh) * 2007-03-30 2013-07-17 吉温成像有限公司 评估患者状况的系统和方法
US9842391B2 (en) * 2013-05-14 2017-12-12 Pathxl Limited Method and apparatus for processing an image of a tissue sample
WO2014189969A1 (en) * 2013-05-21 2014-11-27 Camplex, Inc. Surgical visualization systems
JP6469977B2 (ja) * 2014-07-09 2019-02-13 オリンパス株式会社 標本観察装置および標本観察方法
DE112016001722T5 (de) 2015-06-25 2017-12-28 Hoya Corporation Endoskopsystem und Bewertungswert-Berechnungsvorrichtung
CN107847107B (zh) 2015-07-15 2021-09-24 索尼公司 医疗用观察装置与医疗用观察方法
WO2017042812A2 (en) * 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
FR3057094B1 (fr) 2016-10-04 2019-09-20 Universite Paris Descartes Procede et dispositif de traitement d'au moins une image d'une partie donnee d'au moins un poumon d'un patient
US11847936B2 (en) * 2018-11-15 2023-12-19 Intuitive Surgical Operations, Inc. Training users using indexed to motion pictures
WO2020121906A1 (ja) 2018-12-13 2020-06-18 ソニー株式会社 医療支援システム、医療支援装置及び医療支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016151711A1 (ja) * 2015-03-20 2016-09-29 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20170161891A1 (en) * 2015-12-03 2017-06-08 Case Western Reserve University Scaling up convolutional networks
WO2018180631A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THEODORE R. LEVIN: "Complications of Colonoscopy in an Integrated Health Care Delivery System", ANN INTERN MED, vol. 145, no. 12, 19 December 2006 (2006-12-19), pages 880 - 6

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116583215A (zh) * 2021-03-04 2023-08-11 豪雅株式会社 程序、信息处理方法及信息处理装置
JP2022135013A (ja) * 2021-03-04 2022-09-15 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
WO2022185651A1 (ja) * 2021-03-04 2022-09-09 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
EP4233684A4 (en) * 2021-03-04 2024-10-30 Hoya Corporation PROGRAM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING DEVICE
JP7565824B2 (ja) 2021-03-04 2024-10-11 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
JPWO2022209390A1 (ja) * 2021-03-31 2022-10-06
WO2022209390A1 (ja) 2021-03-31 2022-10-06 富士フイルム株式会社 内視鏡システム及びその作動方法
US12561955B2 (en) 2021-03-31 2026-02-24 Fujifilm Corporation Endoscope system and method of operating the same
WO2022249817A1 (ja) * 2021-05-27 2022-12-01 富士フイルム株式会社 医療画像処理装置及び内視鏡システム
WO2023026538A1 (ja) * 2021-08-27 2023-03-02 ソニーグループ株式会社 医療支援システム、医療支援方法及び評価支援装置
WO2023058503A1 (ja) * 2021-10-04 2023-04-13 富士フイルム株式会社 内視鏡システム、医療画像処理装置及びその作動方法
WO2023089718A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
JPWO2023089718A1 (ja) * 2021-11-18 2023-05-25
JP7704920B2 (ja) 2022-01-19 2025-07-08 コ，ジファン 人工知能基盤の大腸病変検出方法及び装置
JP2024081751A (ja) * 2022-01-19 2024-06-18 コ，ジファン 人工知能基盤の大腸病変検出方法及び装置
JP7465409B2 (ja) 2022-01-19 2024-04-10 コ，ジファン 人工知能基盤の血管学習による大腸ポリープ検出方法及び装置
JP2024509015A (ja) * 2022-01-19 2024-02-29 コ，ジファン 人工知能基盤の血管学習による大腸ポリープ検出方法及び装置
JPWO2024024022A1 (ja) * 2022-07-28 2024-02-01
JP7750418B2 (ja) 2022-07-28 2025-10-07 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、プログラム
US12533006B2 (en) 2022-07-28 2026-01-27 Nec Corporation Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US12551090B2 (en) 2022-07-28 2026-02-17 Nec Corporation Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US12597506B2 (en) 2023-12-05 2026-04-07 Nec Corporation Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
WO2026078862A1 (ja) * 2024-10-11 2026-04-16 日本電気株式会社 学習装置、画像処理装置、学習方法、画像処理方法及び記憶媒体

Also Published As

Publication number Publication date
CN113164025A (zh) 2021-07-23
EP3895597A1 (en) 2021-10-20
EP3895597B1 (en) 2024-01-24
JP7476800B2 (ja) 2024-05-01
US12048414B2 (en) 2024-07-30
US12543924B2 (en) 2026-02-10
US20220020147A1 (en) 2022-01-20
US20240324850A1 (en) 2024-10-03
JPWO2020121906A1 (ja) 2021-10-28
CN113164025B (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
JP7476800B2 (ja) 医療支援システム、医療支援装置及び医療支援方法
JP7037220B2 (ja) 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7335552B2 (ja) 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム
JP7216376B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7017198B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7550409B2 (ja) 画像診断装置、画像診断方法、および画像診断プログラム
WO2021054477A2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
WO2019245009A1 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7522154B2 (ja) ハンナ病変の指摘のためのプログラム
CN113112449A (zh) 一种肠癌辅助诊断模型构建和辅助诊断方法及系统
WO2023058503A1 (ja) 内視鏡システム、医療画像処理装置及びその作動方法
JP2023079866A (ja) 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置
WO2023026538A1 (ja) 医療支援システム、医療支援方法及び評価支援装置
Liang et al. The applications and challenges of artificial intelligence in colonoscopy
WO2026042737A1 (ja) 膀胱内視鏡画像に関するプログラム及びシステム
Hewett Screening with ENDO-AID CADe

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19894778

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020559953

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019894778

Country of ref document: EP

Effective date: 20210713