WO2020188682A1 - 診断支援装置、診断支援方法及びプログラム - Google Patents

診断支援装置、診断支援方法及びプログラム Download PDF

Info

Publication number
WO2020188682A1
WO2020188682A1 PCT/JP2019/011102 JP2019011102W WO2020188682A1 WO 2020188682 A1 WO2020188682 A1 WO 2020188682A1 JP 2019011102 W JP2019011102 W JP 2019011102W WO 2020188682 A1 WO2020188682 A1 WO 2020188682A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
lesion extraction
abnormal symptom
unit
organ
Prior art date
Application number
PCT/JP2019/011102
Other languages
English (en)
French (fr)
Inventor
山田 達喜
明広 窪田
大和 神田
光隆 木村
北村 誠
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2019/011102 priority Critical patent/WO2020188682A1/ja
Priority to JP2021506837A priority patent/JP7138771B2/ja
Priority to CN201980094003.7A priority patent/CN113613543A/zh
Publication of WO2020188682A1 publication Critical patent/WO2020188682A1/ja
Priority to US17/476,604 priority patent/US20220000351A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres

Definitions

  • the present invention relates to a diagnostic support device, a diagnostic support method and a program.
  • diagnostic support information which is information used for diagnosing a lesion existing in an image obtained by imaging a subject such as a living tissue, to a user such as a doctor.
  • diagnostic support information which is information used for diagnosing a lesion existing in an image obtained by imaging a subject such as a living tissue
  • CAD computer-aided diagnosis
  • Japanese Patent Application Laid-Open No. 2011-212094 proposes a system configured by using a technique related to CAD.
  • one lesion extraction part is selected from a plurality of lesion extraction parts while considering factors affecting the extraction accuracy of lesions in the organ to be diagnosed.
  • the method for doing so there is no particular disclosure about the method for doing so. Therefore, according to the configuration disclosed in Japanese Patent Application Laid-Open No. 2011-212094, for example, the organ to be diagnosed is affected histologically according to the medical history of the subject, so that the organ to be diagnosed is affected.
  • the accuracy of extracting the lesion in the organ to be diagnosed is lowered.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a diagnostic support device, a diagnostic support method, and a program capable of ensuring the extraction accuracy of lesions in an organ to be diagnosed.
  • the diagnostic support device of one aspect of the present invention includes physical information including one or more information capable of estimating the state of a lesion to be diagnosed by a subject, and images obtained by imaging the organ to be diagnosed. Based on at least one of the endoscopic images, an abnormal symptom identification part configured to perform a process for identifying one abnormal symptom appearing in the organ to be diagnosed, and a lesion from the endoscopic image.
  • a lesion extraction process for extracting a candidate region a lesion extraction function unit configured to have a plurality of lesion extraction units that perform different processes specialized for each abnormal symptom that may appear in the organ to be diagnosed, and a lesion extraction function unit.
  • a process for selecting one lesion extraction unit corresponding to the one abnormal symptom specified by the abnormal symptom identification unit from the plurality of lesion extraction units is performed, and the lesion is present in the one lesion extraction unit. It has a lesion extraction function control unit configured to control the lesion extraction function unit to perform an extraction process.
  • the abnormal symptom identification unit captures physical information including one or more information capable of estimating the state of the organ to be diagnosed by the subject and the organ to be diagnosed. Based on at least one of the endoscopic images obtained in the above procedure, a process for identifying one abnormal symptom appearing in the organ to be diagnosed is performed, and a plurality of lesion extraction units in the lesion extraction function unit are subjected to processing. As a lesion extraction process for extracting a lesion candidate region from the endoscopic image, different processes specialized for each abnormal symptom that may appear in the organ to be diagnosed are performed, and the lesion extraction function control unit has the plurality of lesion extraction function control units.
  • a process for selecting one lesion extraction unit corresponding to the one abnormal symptom specified by the abnormal symptom identification unit from the lesion extraction unit of the above is performed, and the lesion extraction process is performed in the one lesion extraction unit.
  • the lesion extraction function unit is controlled to perform the above.
  • the program of one aspect of the present invention was obtained by imaging physical information including one or more information capable of estimating the state of an organ to be diagnosed by a subject and the organ to be diagnosed on a computer.
  • As a process for selecting one lesion extraction unit according to the one abnormal symptom from a plurality of lesion extraction units that perform different treatments specialized for each abnormal symptom that may appear in the organ to be diagnosed. The process for causing the lesion extraction process to be performed in the one lesion extraction unit.
  • the block diagram for demonstrating the specific example of the structure of the diagnosis support apparatus which concerns on 2nd Embodiment The figure which shows an example of the display image which is displayed according to the processing of the diagnosis support apparatus which concerns on 2nd Embodiment.
  • the block diagram for demonstrating the specific example of the structure of the diagnosis support apparatus which concerns on 3rd Embodiment The figure which shows an example of the table data used in the processing of the diagnosis support apparatus which concerns on 3rd Embodiment.
  • the endoscope system 1 includes an endoscope 11, a main body device 12, a diagnostic support device 13, and a display device 14.
  • FIG. 1 is a diagram showing a configuration of a main part of an endoscope system including a diagnostic support device according to an embodiment.
  • the endoscope 11 includes, for example, an elongated insertion portion (not shown) that can be inserted into a subject, and an operation portion (not shown) provided at the base end portion of the insertion portion. Has been done. Further, the endoscope 11 is configured to be detachably connected to the main body device 12 via, for example, a universal cable (not shown) extending from the operation unit. Further, inside the endoscope 11, for example, a light guide member (not shown) such as an optical fiber for guiding the illumination light supplied from the main body device 12 and emitting it from the tip of the insertion portion is provided. Has been done. Further, an imaging unit 111 is provided at the tip of the insertion unit of the endoscope 11.
  • the lesion extraction function unit 13C is configured to include a plurality of lesion extraction units LES and a lesion extraction unit LESY.
  • the endoscopy is performed. It is identified that the abnormal symptoms appearing in the stomach of the subject to be treated have been eradicated.
  • a subject undergoing endoscopy when the physical information output from the main device 12 contains a test result indicating that the CDH1 gene has a mutation. It is identified that the abnormal symptom appearing in the stomach of the stomach is diffuse gastric cancer.
  • the physical information output from the main body device 12 includes information indicating that the excision treatment has been completed, and the test result indicating that the HER2 gene has a mutation. If is included, it is identified that the abnormal symptoms appearing in the stomach of the subject undergoing endoscopy have been resected and treated.
  • the physical information output from the main body device 12 includes a test result indicating that the EB virus test is positive, an endoscopy is performed. It is identified that the abnormal symptom appearing in a person's stomach is atrophic gastritis.
  • the table data TDA of FIG. 3 for example, when the physical information output from the main body device 12 includes information indicating that NSAIDs are being taken, the subject undergoing endoscopy. An abnormal symptom appearing in the stomach is identified as an ulcer.
  • the subject when the physical information output from the main body device 12 includes information indicating that the subject has subjective symptoms, the subject undergoes endoscopy.
  • An abnormal symptom appearing in the examiner's stomach is identified as an ulcer.
  • the subjective symptoms in such a case include, for example, pain near the epigastrium, excess gastric acid, black stool, and anemia.
  • the abnormal symptom identification unit 13A of the present embodiment is a subject who undergoes endoscopy because, for example, the abnormal symptom corresponding to the physical information output from the main body device 12 is not included in the table data TDA.
  • the lesion extraction function control unit 13B provides information indicating that the presence or absence of the abnormal symptom appearing in the stomach of the subject is unknown. Output to.
  • the abnormal symptom identification unit 13A of the present embodiment has the highest priority among the plurality of abnormal symptoms. Is output to the lesion extraction function control unit 13B.
  • the priority of each abnormal symptom included in the table data TDA of FIG. 3 may be set in a predetermined order according to, for example, the magnitude of the risk value described later.
  • the lesion extraction function control unit 13B responds to one abnormal symptom included in the information from among a plurality of lesion extraction units included in the lesion extraction function unit 13C based on the information output from the abnormal symptom identification unit 13A. In addition to performing the process for selecting the lesion extraction portion of the above, control is performed for performing the lesion extraction process in the one lesion extraction portion.
  • the lesion extraction function control unit 13B for example, when the information output from the abnormal symptom identification unit 13A includes information indicating that the abnormal symptom is a bacterial infection, the lesion extraction function unit 13C A process for selecting a lesion extraction unit LESA specialized for lesion extraction at the time of infection with Pyrroli bacteria is performed from a plurality of lesion extraction unit LESA included in the above, and a lesion extraction process is performed in the lesion extraction unit LESA. Control for.
  • the lesion extraction function control unit 13B causes the lesion extraction function unit 13C.
  • a process for selecting a lesion extraction unit LESD specialized for lesion extraction after eradication of Pyrroli bacteria is performed from a plurality of included lesion extraction unit LESDs, and a lesion extraction process is performed in the lesion extraction unit LESD. Control for.
  • the lesion extraction function control unit 13B is included in the lesion extraction function unit 13C, for example, when the information output from the abnormal symptom identification unit 13A includes information indicating that the abnormal symptom is diffuse gastric cancer.
  • the lesion extraction unit LESE specialized for lesion extraction at the time of onset of diffuse gastric cancer from a plurality of lesion extraction unit LES, and to have the lesion extraction unit LESE perform a lesion extraction process. To control.
  • the lesion extraction function unit 13C obtains the lesion candidate region LA from the endoscopic image EG output from the main device 12 in either the lesion extraction unit LESX or the lesion extraction unit LESY according to the control of the lesion extraction function control unit 13B.
  • information that can identify the position of the lesion candidate region LA extracted by the lesion extraction process is output to the display control unit 13D.
  • the display control unit 13D identifies the position of the lesion candidate region LA in the endoscopic image EG output from the main unit 12 based on the information output from the lesion extraction function unit 13C, and also identifies the identified lesion candidate region LA. A process for generating a marker MG corresponding to a rectangular frame surrounding the periphery of is performed. Further, the display control unit 13D generates a display image by adding the above-mentioned marker MG to the endoscope image EG, and performs a process for outputting the generated display image to the display device 14.
  • the lesion extraction function control unit 13B for example, when the sensitivity of the lesion extraction process performed in the lesion extraction unit LESX or the lesion extraction unit LESY is set to a relatively low sensitivity.
  • the probability of a lesion candidate region extracted from the endoscopic image EG (the possibility that the lesion candidate region actually contains a lesion) can be relatively increased.
  • the magnitude of the sensitivity of the lesion extraction process is, for example, a parameter such as a pixel value acquired from the endoscopic image EG when detecting a lesion candidate region included in the endoscopic image EG. It shall be set as a value that is inversely proportional to the magnitude of the threshold value applied to.
  • the lesion extraction process in the lesion extraction unit LESX or the lesion extraction unit LESY is performed on the endoscopic image (output from the main body device 12) obtained during the endoscopy.
  • the endoscopic image obtained from an endoscopy image recorded in advance in a recording device (not shown) or the like.
  • the configuration according to the present embodiment for example, it may be made to correspond to the case where the organ to be diagnosed by the subject undergoing endoscopy is an organ different from the stomach.
  • as physical information of the subject undergoing endoscopy for example, the eating habits of the subject, the smoking history of the subject, the age of the subject, and the subject. It may further include information indicating the sex of the examiner, the race of the subject, and at least one of the family history of cancer in the subject's family.
  • FIG. 5 is a diagram showing an example of table data used in the processing of the diagnostic support device according to the modified example of the first embodiment.
  • the physical information output from the main body device 12 includes a test result indicating that the Pyrroli bacterium test is positive, and the physical information includes a pepsinogen test test. If the results are not included, the abnormal symptom appearing in the stomach of the subject undergoing endoscopy is bacterial infection, the risk value corresponding to the abnormal symptom is 10, and the relevant It is specified that switching to special light observation is not recommended for abnormal symptoms.
  • the physical information output from the main body device 12 includes a test result indicating that the Pyrroli bacteria test is negative, and the physical information is positive for the pepsinogen test.
  • the test result indicating that is included the abnormal symptom appearing in the stomach of the subject undergoing endoscopy is atrophic gastritis, and the risk value corresponding to the abnormal symptom is 30. It is specified that this is the case and that switching to special light observation is not recommended for the abnormal symptom.
  • the physical information output from the main body device 12 includes a test result indicating that the EB virus test is positive, an endoscopy is performed.
  • the abnormal symptom appearing in the stomach of a person is atrophic gastritis, the risk value corresponding to the abnormal symptom is 10, and switching to special light observation is not recommended for the abnormal symptom.
  • Each is identified.
  • the abnormal symptom identification unit 13A of this modified example is the main body device 12 when one abnormal symptom appearing in the stomach of the subject undergoing endoscopy cannot be identified from the table data TDB.
  • the risk value set according to the information included in the physical information output from is and the information indicating the pros and cons of recommending special light observation are output to the lesion extraction function control unit 13B.
  • the abnormal symptom identification unit 13A of this modification is, for example, when the physical information output from the main body device 12 includes information indicating that there is a finding in the X-ray image of the stomach. Information indicating that the risk value is 80 and that switching to special light observation is not recommended is output to the lesion extraction function control unit 13B.
  • the abnormal symptom identification unit 13A of this modified example includes, for example, information indicating whether or not the subject desires positive lesion detection in the physical information output from the main body device 12. If so, the risk value acquired from the table data TDB may be increased or decreased according to the information.
  • the abnormal symptom identification unit 13A of this modified example has one abnormal symptom having the highest priority among the plurality of abnormal symptoms. And, the information associated with the risk value corresponding to the one abnormal symptom and the recommendation of special light observation for the one abnormal symptom is output to the lesion extraction function control unit 13B.
  • the priority of each abnormal symptom included in the table data TDB of FIG. 5 may be set in a predetermined order according to, for example, the magnitude of the risk value included in the “lesion risk” column.
  • the lesion extraction function control unit 13B of this modified example has one abnormal symptom included in the information from among a plurality of lesion extraction units included in the lesion extraction function unit 13C. Processing for selecting one lesion extraction unit according to the above, processing for setting the sensitivity according to the risk value (magnitude of lesion risk) included in the information, and extraction of the one lesion. The part controls the lesion extraction process according to the sensitivity.
  • the lesion extraction function control unit 13B of this modified example includes the processing result of the lesion extraction process in one lesion extraction unit selected as described above and the special light observation included in the information output from the abnormal symptom identification unit 13A.
  • the lesion extraction function unit 13C is controlled to output the information indicating the pros and cons of the recommendation in association with the information.
  • the lesion extraction function control unit 13B for example, in the information output from the abnormal symptom identification unit 13A, information indicating that the abnormal symptom is a bacterial infection and information indicating that the risk value is 10. And, when is included, a process for selecting the lesion extraction unit LESA from a plurality of lesion extraction unit LES included in the lesion extraction function unit 13C is performed, and the sensitivity according to the risk value is set to SP. In addition to performing the process for setting, the lesion extraction unit LESA is controlled to perform the lesion extraction process by the sensitivity SP.
  • the lesion extraction function control unit 13B includes, for example, the information output from the abnormal symptom identification unit 13A includes information indicating that the abnormal symptom is an ulcer and information indicating that the risk value is 5.
  • the lesion extraction unit LESB is controlled to perform the lesion extraction processing by the sensitivity SP.
  • the lesion extraction function control unit 13B includes, for example, in the information output from the abnormal symptom identification unit 13A, information indicating that the abnormal symptom is atrophic gastric inflammation, information indicating that the risk value is 10, and information indicating that the risk value is 10. Is included, a process for selecting the lesion extraction unit LESC from a plurality of lesion extraction unit LES included in the lesion extraction function unit 13C is performed, and the sensitivity according to the risk value is set in SP. In addition to performing the process for performing the lesion extraction process, the lesion extraction unit LESC is controlled to perform the lesion extraction process by the sensitivity SP.
  • the lesion extraction function control unit 13B includes, for example, in the information output from the abnormal symptom identification unit 13A, information indicating that the abnormal symptom has been eradicated and treated, and information indicating that the risk value is 50. , Is included, a process is performed to select the lesion extraction unit LESD from the plurality of lesion extraction unit LES included in the lesion extraction function unit 13C, and the sensitivity according to the risk value is SR (>). In addition to performing the process for setting to SQ), the lesion extraction unit LESD is controlled to perform the lesion extraction process by the sensitivity SR.
  • the lesion extraction function control unit 13B includes, for example, information output from the abnormal symptom identification unit 13A, information indicating that the abnormal symptom is diffuse gastric cancer, information indicating that the risk value is 50, and information indicating that the risk value is 50.
  • a process for selecting the lesion extraction unit LESE from a plurality of lesion extraction unit LES included in the lesion extraction function unit 13C is performed, and the sensitivity according to the risk value is set in SR.
  • the lesion extraction unit LESE is controlled to perform the lesion extraction process by the sensitivity SR.
  • the lesion extraction function control unit 13B includes, for example, in the information output from the abnormal symptom identification unit 13A, information indicating that the abnormal symptom has been resected and treated, and information indicating that the risk value is 50. Is included, a process for selecting the lesion extraction unit LESF from a plurality of lesion extraction unit LES included in the lesion extraction function unit 13C is performed, and the sensitivity according to the risk value is set in SR. In addition to performing the process for performing the lesion extraction process, the lesion extraction unit LESF controls the lesion extraction process by the sensitivity SR.
  • the lesion extraction function control unit 13B includes, for example, in the information output from the abnormal symptom identification unit 13A, information indicating that the presence or absence of the abnormal symptom is unknown, information indicating that the risk value is 80, and information indicating that the risk value is 80. Is included, a process is performed to select the lesion extraction unit LESY included in the lesion extraction function unit 13C, a process is performed to set the sensitivity according to the risk value to SR, and the lesion is included. The extraction unit LESY is controlled to perform the lesion extraction process by the sensitivity SR.
  • the lesion extraction function control unit 13B includes, for example, in the information output from the abnormal symptom identification unit 13A, information indicating that the presence or absence of the abnormal symptom is unknown, information indicating that the risk value is 10, and information indicating that the risk value is 10. Is included, a process is performed to select the lesion extraction unit LESY included in the lesion extraction function unit 13C, a process is performed to set the sensitivity according to the risk value to SP, and the lesion is included. The extraction unit LESY is controlled to perform the lesion extraction process by the sensitivity SP.
  • the lesion extraction function unit 13C determines the lesion candidate region LA from the endoscopic image EG output from the main body device 12 in either the lesion extraction unit LESX or the lesion extraction unit LESY in accordance with the control of the lesion extraction function control unit 13B.
  • Information that can identify the position of the lesion candidate region LA extracted by the lesion extraction process and information indicating the pros and cons of recommending special light observation identified by the abnormal symptom identification unit 13A while performing the lesion extraction process to be extracted. are also output to the display control unit 13D.
  • the display control unit 13D identifies the position of the lesion candidate region LA in the endoscopic image EG output from the main unit 12 based on the information output from the lesion extraction function unit 13C, and also identifies the identified lesion candidate region LA.
  • a process for generating a marker MG corresponding to a rectangular frame surrounding the periphery of is performed.
  • the display control unit 13D displays the same display as the display image DGA illustrated in FIG. A process for generating an image and outputting it to the display device 14 is performed.
  • the display control unit 13D switches from the white light observation mode to the special light observation mode when the information output from the lesion extraction function unit 13C includes information indicating that switching to the special light observation is recommended. Performs processing for generating character information MJ having a character string or the like that prompts. Further, when the information output from the lesion extraction function unit 13C includes information indicating that switching to special light observation is recommended, the display control unit 13D displays the above-mentioned marker MG as an endoscopic image EG. A display image is generated by adding the above-mentioned character information MJ to the display area outside the endoscope image EG, and a process for outputting the generated display image to the display device 14 is performed. ..
  • the voice corresponding to the character information MJ may be output from a speaker (not shown).
  • each lesion extraction unit included in the lesion extraction function unit 13C further includes a process for calculating the likelihood LK of the lesion candidate region LA extracted from the endoscopic image EG.
  • information indicating the position of the lesion candidate region LA, information indicating the calculation result of the likelihood LK, and the recommendation of special light observation identified by the abnormal symptom identification unit 13A are recommended. It may be configured to output the indicated information together with the display control unit 13D.
  • the information output from the lesion extraction function unit 13C includes information indicating that switching to special light observation is recommended, and is output from the lesion extraction function unit 13C.
  • the display control unit 13D may perform an operation for generating the character information MJ and displaying it on the display device 14.
  • the endoscope system 1 of the present embodiment is configured to include, for example, a diagnostic support device 23 as shown in FIG. 7 instead of the diagnostic support device 13.
  • FIG. 7 is a block diagram for explaining a specific example of the configuration of the diagnosis support device according to the second embodiment.
  • the abnormal symptom identification unit 23A detects the abnormal finding detection instruction output from the main body device 12, it undergoes endoscopy based on the endoscopic image input at the timing when the abnormal finding detection instruction is detected. It is configured to perform processing to identify one abnormal symptom appearing in the organ to be diagnosed by the subject. Further, the abnormal symptom identification unit 23A is configured to output information indicating one abnormal symptom identified as described above to the lesion extraction function control unit 23B. That is, the abnormal symptom identification unit 23A has one abnormal symptom appearing in the organ to be diagnosed based on the endoscopic image obtained by imaging the organ to be diagnosed by the subject undergoing endoscopy. It is configured to perform processing to identify.
  • the abnormal symptom identification unit 23A includes, for example, a feature amount (at least one of hue, saturation, and lightness) representing the color tone of the endoscopic image output from the main body device 12, and the endoscopy.
  • a feature amount at least one of hue, saturation, and lightness
  • One anomaly using a statistic at least one of the pixel value dispersion and the brightness gradient distribution
  • the abnormal symptom identification unit 23A recognizes a plurality of abnormal symptoms that may appear in the predetermined organ by machine learning using an image obtained by imaging the inside of the predetermined organ, and classifies each abnormal symptom. Based on the output result obtained by inputting the pixel value of the endoscopic image output from the main unit 12 into the classifier when the classifier is configured to be capable of Perform processing to identify one abnormal symptom.
  • the lesion extraction function control unit 23B responds to one abnormal symptom included in the information from among a plurality of lesion extraction units included in the lesion extraction function unit 13C based on the information output from the abnormal symptom identification unit 23A. It is configured to perform a process for selecting a lesion extraction portion of the above and to perform a control for performing a lesion extraction process in the one lesion extraction portion.
  • the control unit 124 controls the light source unit 121 to sequentially or simultaneously generate B light, G light, and R light as illumination light when the power of the main body device 12 is turned on. Then, in response to the control of the control unit 124, the illumination light is supplied from the light source unit 121 to the endoscope 11, and the return light from the subject illuminated by the illumination light is imaged by the imaging unit 111, and the imaging unit 111 takes an image.
  • the endoscopic image EG corresponding to the imaging signal output from the 111 to the main unit 12 is generated in the image generation unit 122, and the generated endoscopic image EG is sequentially output frame by frame to the diagnosis support device 23. ..
  • control unit 124 When the control unit 124 detects that an abnormal finding detection instruction has been given at the input I / F 123, the control unit 124 performs an operation for outputting the abnormal finding detection instruction to the diagnosis support device 23.
  • the abnormal symptom identification unit 23A When the abnormal finding detection instruction output from the main unit 12 is detected at the time TP, the abnormal symptom identification unit 23A performs endoscopy based on the endoscopic image EG input from the main unit 12 at the time TP. A process is performed to identify one abnormal symptom appearing in the organ to be diagnosed of the subject to be diagnosed. In addition, the abnormal symptom identification unit 23A outputs information indicating one abnormal symptom identified by the above-mentioned processing to the lesion extraction function control unit 23B.
  • the abnormal symptom identification unit 23A detects, for example, that the color tone of the endoscopic image EG output from the main body device 12 is a highly saturated red tone (color tone corresponding to the reddish mucous membrane). , Identify that the abnormal symptom appearing in the stomach of the subject undergoing endoscopy is a bacterial infection.
  • the abnormal symptom identification unit 23A detects that the color tone of the endoscopic image EG output from the main body device 12 is white (color tone caused by cloudy mucus), the endoscopy is performed. Identify that the abnormal symptom appearing in the stomach of the subject is a bacterial infection.
  • the abnormal symptom identification unit 23A performs the processing using, for example, the method disclosed in Japanese Patent Application Laid-Open No. 2015-181594 on the endoscopic image EG output from the main body device 12.
  • the presence of black moss or white moss is detected in the endoscopic image EG, it is identified that the abnormal symptom appearing in the stomach of the subject undergoing endoscopy is an ulcer.
  • One abnormal symptom appearing in the organ is specified, and information indicating the specified one abnormal symptom is output to the lesion extraction function control unit 23B.
  • Abnormal symptom identification unit 23A has, for example, the presence or absence of abnormal symptom appearing in the stomach of the subject when one abnormal symptom cannot be identified from the endoscopic image EG output from the main body device 12. Information indicating that is unknown is output to the lesion extraction function control unit 23B.
  • the lesion extraction function control unit 23B includes, for example, a plurality of lesion extraction function control units 13C included in the lesion extraction function unit 13C when the information output from the abnormal symptom identification unit 23A includes information indicating that the abnormal symptom is an ulcer.
  • the process for selecting the lesion extraction section LESB from the lesion extraction section LESB of the above is performed, and the control for performing the lesion extraction process in the lesion extraction section LESB is performed.
  • the lesion extraction function control unit 23B is included in the lesion extraction function unit 13C, for example, when the information output from the abnormal symptom identification unit 23A includes information indicating that the abnormal symptom is atrophic gastric inflammation.
  • a process for selecting a lesion extraction unit LESC from a plurality of lesion extraction unit LESCs is performed, and a control is performed for the lesion extraction unit LESC to perform a lesion extraction process.
  • any one of the three lesion extraction units LESA, LESB and LESC corresponds to the lesion extraction unit LESX.
  • the lesion extraction function unit 13C obtains the lesion candidate region LAP from the endoscopic image EGP output from the main device 12 in either the lesion extraction unit LESX or the lesion extraction unit LESY according to the control of the lesion extraction function control unit 23B.
  • the lesion extraction process to be extracted is performed, and information that can identify the position of the lesion candidate region LAP extracted by the lesion extraction process is output to the display control unit 13D.
  • the display control unit 13D identifies the position of the lesion candidate region LAP in the endoscopic image EGP input at the time of time TP based on the information output from the lesion extraction function unit 13C, and the identified lesion candidate region LAP. A process for generating a marker MGP corresponding to a rectangular frame surrounding the periphery of is performed. Further, the display control unit 13D generates a display image by adding the above-mentioned marker MGP to the endoscopic image EGP, and performs a process for outputting the generated display image to the display device 14.
  • the display control unit 13D of the present embodiment uses the endoscopic image EGP obtained by imaging the organ to be diagnosed by the subject undergoing endoscopy, and the lesion extraction unit LESX or the lesion extraction unit LESY. A process for displaying the extracted information indicating the position of the lesion candidate region LAP on the display device 14 is performed. Then, according to the processing of the display control unit 13D, for example, the display image DGC as shown in FIG. 8 is displayed on the display device 14.
  • FIG. 8 is a diagram showing an example of a display image displayed according to the processing of the diagnosis support device according to the second embodiment.
  • the endoscopic image obtained by imaging the inside of the stomach (organ to be diagnosed) of the subject undergoing endoscopy is the abnormal symptom identification portion 23A.
  • One abnormal symptom according to the processing result of the processing for the endoscopic image is identified by the abnormal symptom identification unit 23A, and one of the multiple lesion extraction units most suitable for the one abnormal symptom.
  • the lesion extraction unit is selected by the lesion extraction function control unit 23B, and the lesion extraction function unit 13C performs a process of extracting a lesion candidate region from the endoscopic image in the one lesion extraction unit. Therefore, according to the present embodiment, the accuracy of extracting lesions in the organ to be diagnosed can be ensured.
  • the organ to be diagnosed by the subject undergoing endoscopy is the stomach, in order to identify one abnormal symptom other than bacterial infection, ulcer and atrophic gastric inflammation.
  • Processing is performed in the abnormal symptom identification unit 23A, processing for selecting one lesion extraction unit according to the one abnormal symptom, and control for causing the lesion extraction processing in the one lesion extraction unit. And may be performed in the lesion extraction function control unit 23B.
  • the diagnosis target is based on the endoscopic image EG output from the main body device 12. It is identified by the abnormal symptom identification unit 23A that one abnormal symptom appearing in the organ is the bullet esophagus, and a process for selecting one lesion extraction unit according to the one abnormal symptom and the relevant The control for causing the lesion extraction process to be performed in one lesion extraction unit may be performed in the lesion extraction function control unit 23B.
  • the diagnosis support device 33 is abbreviated as replacing the abnormal symptom identification unit 13A of the diagnosis support device 13 with the abnormal symptom identification unit 33A and replacing the lesion extraction function control unit 13B of the diagnosis support device 13 with the lesion extraction function control unit 33B. It has a similar configuration.
  • the abnormal symptom identification unit 33A is to perform a process for identifying one abnormal symptom appearing in the organ to be diagnosed of the subject undergoing endoscopy based on the physical information output from the main body device 12. It is configured in.
  • the abnormal symptom identification unit 33A is configured to perform processing for identifying an observation target site corresponding to an anatomical site of the organ to be diagnosed included in the endoscopic image output from the main body device 12. ..
  • the above-mentioned observation target site is specified as one of a plurality of sites when the organ to be diagnosed is anatomically classified.
  • the abnormal symptom identification unit 33A recognizes the plurality of parts by machine learning using images obtained by imaging a plurality of parts inside a predetermined organ, and classifies each part.
  • the classifier is configured so that it can be used, the pixel values of the endoscopic image output from the main unit 12 are input to the classifier and observed based on the output result obtained. Perform processing to identify the target site.
  • an angle knob (not shown) capable of performing an operation for changing the angle of the tip portion of the insertion portion of the endoscope 11 is provided in the operation portion of the endoscope 11.
  • the abnormal symptom identification unit 33A may perform a process for identifying the observation target portion using the detection result obtained by detecting the operating state of the angle knob.
  • the abnormal symptom identification unit 33A is based on the one abnormal symptom identified by the above-mentioned treatment and the observation target site, and the magnitude of the lesion risk according to the one abnormal symptom appearing in the observation target site and the observation target site. It is configured to perform processing for identifying the pros and cons of special light observation for the one abnormal symptom appearing in. In addition, the abnormal symptom identification unit 33A associates one abnormal symptom identified by the above-mentioned treatment with the magnitude of the lesion risk identified by the above-mentioned treatment and the pros and cons of recommending special light observation specified by the above-mentioned treatment. It is configured to output the information to the lesion extraction function control unit 33B.
  • the lesion extraction function control unit 33B responds to one abnormal symptom included in the information from among a plurality of lesion extraction units included in the lesion extraction function unit 13C based on the information output from the abnormal symptom identification unit 33A.
  • the lesion extraction function control unit 33B recommends the special light observation included in the processing result of the lesion extraction process in one lesion extraction unit selected as described above and the information output from the abnormal symptom identification unit 33A. It is configured to control the lesion extraction function unit 13C to output the information indicating the above.
  • the control unit 124 controls the light source unit 121 to sequentially or simultaneously generate B light, G light, and R light as illumination light when the power of the main body device 12 is turned on. Then, in response to the control of the control unit 124, the illumination light is supplied from the light source unit 121 to the endoscope 11, and the return light from the subject illuminated by the illumination light is imaged by the imaging unit 111, and the imaging unit 111 takes an image.
  • the endoscopic image EG corresponding to the imaging signal output from the 111 to the main unit 12 is generated in the image generation unit 122, and the generated endoscopic image EG is sequentially output frame by frame to the diagnosis support device 33. ..
  • the abnormal symptom identification unit 33A performs a process for identifying one abnormal symptom appearing in the stomach of the subject undergoing endoscopy based on the physical information output from the main body device 12.
  • the abnormal symptom identification unit 33A reads, for example, the table data TDA as shown in FIG. 3 from the storage medium 132, the read table data TDA, and the physical information output from the main body device 12. By collating , one abnormal symptom appearing in the stomach of the subject undergoing endoscopy is identified.
  • the abnormal symptom identification unit 33A is based on the one abnormal symptom identified by the above-mentioned treatment and the observation target site, and the magnitude of the lesion risk according to the one abnormal symptom appearing in the observation target site and the observation target site. Processes are performed to identify the pros and cons of recommending special light observation for the one abnormal symptom appearing in. In addition, the abnormal symptom identification unit 33A associates one abnormal symptom identified by the above-mentioned treatment with the magnitude of the lesion risk identified by the above-mentioned treatment and the pros and cons of recommending special light observation specified by the above-mentioned treatment. Output the information to the lesion extraction function control unit 33B
  • the abnormal symptom identification unit 33A reads, for example, the table data TDC as shown in FIG. 10 from the storage medium 132, and the read table data TDC and one abnormal symptom identified by the above-described processing and By collating with the observation target site, the magnitude of the lesion risk according to the one abnormal symptom appearing in the observation target site and the special light observation for the one abnormal symptom appearing in the observation target site. Identify the pros and cons of each recommendation.
  • FIG. 10 is a diagram showing an example of table data used in the processing of the diagnostic support device according to the third embodiment.
  • the abnormal symptom appearing in the stomach of the subject undergoing endoscopy is atrophic gastritis
  • the observation target site in the stomach is the stomach.
  • the risk value corresponding to the abnormal symptom appearing in the observation target part is 25, and it appears in the observation target part. It is specified that switching to special light observation is not recommended for the abnormal symptoms.
  • the abnormal symptom appearing in the stomach of the subject undergoing endoscopy is atrophic gastritis
  • the observation target site in the stomach is a ⁇ ⁇ .
  • the risk value corresponding to the abnormal symptom appearing in the observation target site is 8, and it is special for the abnormal symptom appearing in the observation target site. It is specified that switching to optical observation is not recommended.
  • the abnormal symptom appearing in the stomach of the subject undergoing endoscopy is atrophic gastritis
  • the observation target site in the stomach is the stomach.
  • the risk value corresponding to the abnormal symptom appearing in the observation target part is 20 and , It is specified that switching to special light observation is not recommended for the abnormal symptom appearing at the observation target site.
  • the abnormal symptom appearing in the stomach of the subject undergoing endoscopy is identified as an ulcer, and the observation target site in the stomach is the angular incisure.
  • the risk value corresponding to the abnormal symptom appearing in the observation target site is 10, and the risk value appearing in the observation target site. It is specified that switching to special light observation is not recommended for abnormal symptoms.
  • the abnormal symptom appearing in the stomach of the subject undergoing endoscopy is diffuse gastric cancer
  • the observation target site in the stomach is the stomach.
  • the risk value corresponding to the abnormal symptom appearing in the observation target site is 50, and for the abnormal symptom appearing in the observation target site. It is specified that switching to special light observation is recommended.
  • the lesion extraction function control unit 33B responds to one abnormal symptom included in the information from among a plurality of lesion extraction units included in the lesion extraction function unit 13C based on the information output from the abnormal symptom identification unit 33A. Processing for selecting the lesion extraction part of the above, processing for setting the sensitivity according to the risk value (magnitude of lesion risk) included in the information, and the sensitivity in the one lesion extraction part. Control is performed to perform the lesion extraction process by.
  • the lesion extraction function control unit 33B of this modified example includes the processing result of the lesion extraction process in one lesion extraction unit selected as described above and the special light observation included in the information output from the abnormal symptom identification unit 33A.
  • the lesion extraction function unit 13C is controlled to output the information indicating the pros and cons of the recommendation in association with the information.
  • the lesion extraction function control unit 33B includes, for example, the information output from the abnormal symptom identification unit 33A includes information indicating that the abnormal symptom is an ulcer and information indicating that the risk value is 5.
  • the lesion extraction unit LESB is controlled to perform the lesion extraction processing by the sensitivity SK.
  • a lesion candidate region in the case where a site where a predetermined lesion occurs relatively frequently is observed. Can be reliably extracted, and the extraction of a lesion candidate region can be suppressed when a site where the occurrence frequency of the predetermined lesion is relatively low is observed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

診断支援装置は、被検者の診断対象の臓器の状態を推定可能な1つ以上の情報を含む身体情報、及び、診断対象の臓器を撮像して得られた内視鏡画像のうちの少なくとも一方に基づき、診断対象の臓器において現れている一の異常症状を特定するための処理を行う異常症状特定部と、内視鏡画像から病変候補領域を抽出するための病変抽出処理として、診断対象の臓器において現れ得る異常症状毎に特化された異なる処理を行う複数の病変抽出部を有して構成された病変抽出機能部と、複数の病変抽出部の中から異常症状特定部により特定された一の異常症状に応じた一の病変抽出部を選択するための処理を行うとともに、一の病変抽出部において病変抽出処理を行わせるための制御を病変抽出機能部に対して行う病変抽出機能制御部と、を有する。

Description

診断支援装置、診断支援方法及びプログラム
 本発明は、診断支援装置、診断支援方法及びプログラムに関するものである。
 医療分野の内視鏡検査においては、生体組織等の被写体を撮像して得られた画像内に存在する病変部の診断に用いられる情報である診断支援情報を医師等のユーザに提示するための技術として、例えば、コンピュータ診断支援(Computer-Aided Diagnosis:CAD)に係る技術が従来知られている。そして、例えば、日本国特開2011-212094号公報には、CADに係る技術を用いて構成されたシステム等が提案されている。
 具体的には、日本国特開2011-212094号公報には、種類の異なる複数の病変をそれぞれ抽出可能な複数の病変抽出部を備えたシステムにおいて、患者情報に基づいて診断情報を取得し、当該診断情報における確定診断の有無の判別結果に応じた一の病変抽出部を当該複数の病変抽出部の中から選択し、当該一の病変抽出部により抽出された病変を表示する構成が開示されている。
 しかし、日本国特開2011-212094号公報には、診断対象の臓器における病変の抽出精度に対して影響を及ぼす要因を考慮しつつ、複数の病変抽出部の中から一の病変抽出部を選択するための手法について特に開示等されていない。そのため、日本国特開2011-212094号公報に開示された構成によれば、例えば、診断対象の臓器が被検者の病歴等に応じた組織学的な影響を受けることにより当該診断対象の臓器において病変の検出を妨げる要因が発生した場合に、当該診断対象の臓器における病変の抽出精度が低下してしまう、という課題が存在している。
 本発明は、前述した事情に鑑みてなされたものであり、診断対象の臓器における病変の抽出精度を確保することが可能な診断支援装置、診断支援方法及びプログラムを提供することを目的としている。
 本発明の一態様の診断支援装置は、被検者の診断対象の臓器の状態を推定可能な1つ以上の情報を含む身体情報、及び、前記診断対象の臓器を撮像して得られた内視鏡画像のうちの少なくとも一方に基づき、前記診断対象の臓器において現れている一の異常症状を特定するための処理を行うように構成された異常症状特定部と、前記内視鏡画像から病変候補領域を抽出するための病変抽出処理として、前記診断対象の臓器において現れ得る異常症状毎に特化された異なる処理を行う複数の病変抽出部を有して構成された病変抽出機能部と、前記複数の病変抽出部の中から前記異常症状特定部により特定された前記一の異常症状に応じた一の病変抽出部を選択するための処理を行うとともに、前記一の病変抽出部において前記病変抽出処理を行わせるための制御を前記病変抽出機能部に対して行うように構成された病変抽出機能制御部と、を有する。
 本発明の一態様の診断支援方法は、異常症状特定部が、被検者の診断対象の臓器の状態を推定可能な1つ以上の情報を含む身体情報、及び、前記診断対象の臓器を撮像して得られた内視鏡画像のうちの少なくとも一方に基づき、前記診断対象の臓器において現れている一の異常症状を特定するための処理を行い、病変抽出機能部における複数の病変抽出部が、前記内視鏡画像から病変候補領域を抽出するための病変抽出処理として、前記診断対象の臓器において現れ得る異常症状毎に特化された異なる処理を行い、病変抽出機能制御部が、前記複数の病変抽出部の中から前記異常症状特定部により特定された前記一の異常症状に応じた一の病変抽出部を選択するための処理を行うとともに、当該一の病変抽出部において前記病変抽出処理を行わせるための制御を前記病変抽出機能部に対して行う。
 本発明の一態様のプログラムは、コンピュータに、被検者の診断対象の臓器の状態を推定可能な1つ以上の情報を含む身体情報、及び、前記診断対象の臓器を撮像して得られた内視鏡画像のうちの少なくとも一方に基づき、前記診断対象の臓器において現れている一の異常症状を特定するための処理と、前記内視鏡画像から病変候補領域を抽出するための病変抽出処理として前記診断対象の臓器において現れ得る異常症状毎に特化された異なる処理を行う複数の病変抽出部の中から、前記一の異常症状に応じた一の病変抽出部を選択するための処理と、前記一の病変抽出部において前記病変抽出処理を行わせるための処理と、を実行させる。
実施形態に係る診断支援装置を含む内視鏡システムの要部の構成を示す図。 第1の実施形態に係る診断支援装置の構成の具体例を説明するためのブロック図。 第1の実施形態に係る診断支援装置の処理において用いられるテーブルデータの一例を示す図。 第1の実施形態に係る診断支援装置の処理に応じて表示される表示画像の一例を示す図。 第1の実施形態の変形例に係る診断支援装置の処理において用いられるテーブルデータの一例を示す図。 第1の実施形態の変形例に係る診断支援装置の処理に応じて表示される表示画像の一例を示す図。 第2の実施形態に係る診断支援装置の構成の具体例を説明するためのブロック図。 第2の実施形態に係る診断支援装置の処理に応じて表示される表示画像の一例を示す図。 第3の実施形態に係る診断支援装置の構成の具体例を説明するためのブロック図。 第3の実施形態に係る診断支援装置の処理において用いられるテーブルデータの一例を示す図。
 以下、本発明の実施形態について、図面を参照しつつ説明を行う。
(第1の実施形態)
 図1から図6は、第1の実施形態に係るものである。
 内視鏡システム1は、図1に示すように、内視鏡11と、本体装置12と、診断支援装置13と、表示装置14と、を有して構成されている。図1は、実施形態に係る診断支援装置を含む内視鏡システムの要部の構成を示す図である。
 内視鏡11は、例えば、被検体内に挿入可能な細長形状の挿入部(不図示)と、当該挿入部の基端部に設けられた操作部(不図示)と、を具備して構成されている。また、内視鏡11は、例えば、操作部から延びるユニバーサルケーブル(不図示)を介し、本体装置12に対して着脱自在に接続されるように構成されている。また、内視鏡11の内部には、例えば、本体装置12から供給される照明光を導光して挿入部の先端部から出射するための光ファイバ等の導光部材(不図示)が設けられている。また、内視鏡11の挿入部の先端部には、撮像部111が設けられている。
 撮像部111は、例えば、CCDイメージセンサまたはCMOSイメージセンサのような撮像素子を具備して構成されている。また、撮像部111は、内視鏡11の挿入部の先端部を経て出射された照明光により照明された被写体からの戻り光を撮像し、当該撮像した戻り光に応じた撮像信号を生成して本体装置12へ出力するように構成されている。
 本体装置12は、内視鏡11及び診断支援装置13のそれぞれに対して着脱自在に接続されるように構成されている。また、本体装置12は、例えば、図1に示すように、光源部121と、画像生成部122と、入力I/F(インタフェース)123と、制御部124と、記憶媒体125と、を有して構成されている。
 光源部121は、例えば、LED等のような1つ以上の発光素子を具備して構成されている。具体的には、光源部121は、例えば、青色光(以降、B光とも称する)を発生する青色LEDと、緑色光(以降、G光とも称する)を発生する緑色LEDと、赤色光(以降、R光とも称する)を発生する赤色LEDと、を有して構成されている。また、光源部121は、例えば、B光及びG光の波長帯域を光学フィルタ等で制限することにより、415nm付近にピーク波長を有する狭帯域光に相当するBN光と、540nm付近にピーク波長を有する狭帯域光に相当するGN光と、を発生することができるように構成されている。また、光源部121は、制御部124の制御に応じた照明光を発生して内視鏡11に供給することができるように構成されている。
 画像生成部122は、内視鏡11から出力される撮像信号に基づいて内視鏡画像を生成し、当該生成した内視鏡画像を診断支援装置13へ1フレームずつ順次出力することができるように構成されている。
 入力I/F123は、ユーザの操作に応じた指示及び情報等を入力することが可能な1つ以上のスイッチ及び/またはボタンを具備して構成されている。具体的には、入力I/F123は、例えば、内視鏡検査を受ける被検者の診断対象の臓器の状態を推定可能な1つ以上の情報を含む身体情報を入力することができるように構成されている。また、入力I/F123には、内視鏡11による観察を行う際の観察モードを、B光、G光及びR光が照明光として照射された被写体を観察する白色光観察モードと、BN光及びGN光が照明光として照射された被写体を観察する特殊光観察(狭帯域光観察)モードと、のうちのいずれかに設定するための指示を行うことが可能な観察モード切替スイッチが設けられている。また、入力I/F123には、現在観察中の内視鏡画像から異常所見の検出を行う旨の指示(以降、異常所見検出指示と略記する)を行うことが可能な異常所見検出指示スイッチが設けられている。なお、前述の観察モード切替スイッチ及び/または異常所見検出指示スイッチは、本体装置12の入力I/F123に設けられているものに限らず、例えば、内視鏡11の操作部に設けられていてもよい。
 制御部124は、入力I/F123において入力された指示に基づき、内視鏡11及び本体装置12の各部の動作に係る制御を行うように構成されている。また、制御部124は、入力I/F123において入力された指示を診断支援装置13へ出力するための動作を行うことができるように構成されている。また、制御部124は、入力I/F123において入力された身体情報等の情報を診断支援装置13へ出力するための動作を行うことができるように構成されている。
 本実施形態においては、本体装置12の画像生成部122及び制御部124が、個々の電子回路として構成されていてもよく、または、FPGA(Field Programmable Gate Array)等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態においては、例えば、本体装置12が1つ以上のプロセッサ(CPU等)を具備して構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、コンピュータが、画像生成部122及び制御部124の機能を実行させるためのプログラムをメモリ等の記憶媒体125から読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。
 診断支援装置13は、例えば、1つ以上のプロセッサ131と、記憶媒体132と、を有するコンピュータとして構成されている。また、診断支援装置13は、本体装置12及び表示装置14のそれぞれに対して着脱自在に接続されるように構成されている。また、診断支援装置13は、本体装置12から出力される指示及び/または情報に基づき、本体装置12から出力される内視鏡画像から病変候補領域を抽出するための病変抽出処理を行うように構成されている。なお、前述の病変候補領域は、例えば、良性腫瘍または悪性腫瘍のような異常所見を含む領域として抽出されるものとする。また、診断支援装置13は、前述の病変抽出処理により抽出した病変候補領域の位置を示す視覚情報を内視鏡画像に対して付加することにより表示画像を生成し、当該生成した表示画像を表示装置14へ出力するように構成されている。また、診断支援装置13は、例えば、図2に示すように、異常症状特定部13Aと、病変抽出機能制御部13Bと、病変抽出機能部13Cと、表示制御部13Dと、を有して構成されている。図2は、第1の実施形態に係る診断支援装置の構成の具体例を説明するためのブロック図である。
 異常症状特定部13Aは、本体装置12から出力される身体情報に基づき、内視鏡検査を受ける被検者の診断対象の臓器において現れている一の異常症状を特定するための処理を行うように構成されている。また、異常症状特定部13Aは、前述の処理により特定した一の異常症状を示す情報を病変抽出機能制御部13Bへ出力するように構成されている。
 病変抽出機能制御部13Bは、異常症状特定部13Aから出力される情報に基づき、病変抽出機能部13Cに含まれる複数の病変抽出部の中から当該情報に含まれる一の異常症状に応じた一の病変抽出部を選択するための処理を行うように構成されている。また、病変抽出機能制御部13Bは、前述の処理により選択した一の病変抽出部において病変抽出処理を行わせるための制御を行うように構成されている。
 病変抽出機能部13Cは、複数の病変抽出部LESと、病変抽出部LESYと、を有して構成されている。
 複数の病変抽出部LESは、内視鏡検査を受ける被検者の診断対象の臓器を撮像して得られた内視鏡画像から病変候補領域を抽出するための病変抽出処理として、当該診断対象の臓器において現れ得る異常症状毎に特化された異なる処理を行うように構成されている。
 病変抽出部LESYは、内視鏡検査を受ける被検者の診断対象の臓器を撮像して得られた内視鏡画像から病変候補領域を抽出するための病変抽出処理として、当該診断対象の臓器において現れ得る特定の異常症状に特化されていない処理を行うように構成されている。
 病変抽出機能部13Cは、病変抽出機能制御部13Bの制御に応じ、複数の病変抽出部LESの中から選択された病変抽出部LESX、または、当該病変抽出部LESXの代わりに選択された病変抽出部LESYのいずれかにおいて、本体装置12から出力される内視鏡画像から病変候補領域を抽出するための処理に相当する病変抽出処理を行うように構成されている。また、病変抽出機能部13Cは、病変抽出部LESXまたは病変抽出部LESYの病変抽出処理により抽出された病変候補領域の位置を特定可能な情報を表示制御部13Dへ出力するように構成されている。
 表示制御部13Dは、病変抽出機能部13Cから出力される情報に基づき、本体装置12から出力される内視鏡画像における病変候補領域の位置を特定するとともに、当該特定した病変候補領域の位置を示す視覚情報を生成するための処理を行うように構成されている。また、表示制御部13Dは、前述の視覚情報を内視鏡画像に付加することにより表示画像を生成するとともに、当該生成した表示画像を表示装置14へ出力するための処理を行うように構成されている。
 本実施形態においては、診断支援装置13の少なくとも一部の機能が、プロセッサ131により実現されるようにすればよい。また、本実施形態においては、診断支援装置13の少なくとも一部が、個々の電子回路として構成されていてもよく、または、FPGA(Field Programmable Gate Array)等の集積回路における回路ブロックとして構成されていてもよい。また、本実施形態に係る構成を適宜変形することにより、例えば、コンピュータが、診断支援装置13の少なくとも一部の機能を実行させるためのプログラムをメモリ等の記憶媒体132から読み込むとともに、当該読み込んだプログラムに応じた動作を行うようにしてもよい。
 表示装置14は、診断支援装置13に対して着脱自在に接続されるように構成されている。また、表示装置14は、モニタ等を具備し、診断支援装置13から出力される表示画像を表示することができるように構成されている。
 続いて、本実施形態の作用について説明する。なお、以降においては、内視鏡検査を受ける被検者の診断対象の臓器が胃である場合を例に挙げて説明する。また、以降においては、内視鏡11による観察を行う際の観察モードが白色光観察モードに予め設定されているものとして説明する。
 術者等のユーザは、内視鏡システム1の各部を接続して電源を投入した後、入力I/F123を操作することにより、内視鏡検査を受ける被検者の身体情報として、当該被検者の胃の状態を推定可能な1つ以上の情報を入力する。
 具体的には、ユーザは、内視鏡検査を受ける被検者の身体情報として、例えば、ピロリ菌(ヘリコバクター・ピロリ)検査の検査結果、ペプシノゲン検査の検査結果、ピロリ菌の除菌治療歴の有無、CDH1遺伝子の検査結果、切除治療歴の有無、HER2遺伝子の検査結果、EBウイルス検査の検査結果、NSAIDs(非ステロイド性抗炎症薬)の服用の有無、及び、被検者の自覚症状の有無等の情報を入力する。
 すなわち、本実施形態によれば、内視鏡検査を受ける被検者の身体情報として、診断対象の臓器に係る検査を行って得られた検査結果を示す情報、当該診断対象の臓器における治療歴を示す情報、当該診断対象の臓器に係る薬剤の服用歴を示す情報、及び、当該被検者の自覚症状の有無を示す情報のうちの少なくとも1つが入力される。
 ユーザは、内視鏡検査を受ける被検者の身体情報を入力した後、当該被検者の内部へ内視鏡11の挿入部を挿入するとともに、当該被検者の胃の内部における所望の被写体を撮像可能な位置に当該挿入部の先端部を配置する。
 制御部124は、内視鏡検査を受ける被検者の身体情報の入力を完了するための指示が入力I/F123において行われたことを検出した際に、当該身体情報を診断支援装置13へ出力するための動作を行う。
 制御部124は、本体装置12の電源が投入された際に、B光、G光及びR光を照明光として順次または同時に発生させるための制御を光源部121に対して行う。そして、このような制御部124の制御に応じ、光源部121から内視鏡11へ照明光が供給され、当該照明光により照明された被写体からの戻り光が撮像部111において撮像され、撮像部111から本体装置12へ出力される撮像信号に応じた内視鏡画像EGが画像生成部122において生成され、当該生成された内視鏡画像EGが診断支援装置13へ1フレームずつ順次出力される。
 異常症状特定部13Aは、本体装置12から出力される身体情報に基づき、内視鏡検査を受ける被検者の胃において現れている一の異常症状を特定するための処理を行う。また、異常症状特定部13Aは、前述の処理により特定した一の異常症状を示す情報を病変抽出機能制御部13Bへ出力する。
 具体的には、異常症状特定部13Aは、例えば、図3に示すようなテーブルデータTDAを記憶媒体132から読み込むとともに、当該読み込んだテーブルデータTDAと、本体装置12から出力される身体情報と、を照合することにより、内視鏡検査を受ける被検者の胃において現れている一の異常症状を特定する。図3は、第1の実施形態に係る診断支援装置の処理において用いられるテーブルデータの一例を示す図である。
 図3のテーブルデータTDAの「身体情報」欄には、本体装置12から出力される身体情報(入力I/F123において入力された情報)に対応する複数の項目が含まれている。また、図3のテーブルデータTDAの「異常症状」欄には、「身体情報」欄の項目各々に対応する胃の症状を示す複数の項目が含まれている。
 図3のテーブルデータTDAによれば、例えば、本体装置12から出力される身体情報にピロリ菌検査が陽性である旨を示す検査結果が含まれており、かつ、当該身体情報にペプシノゲン検査の検査結果が含まれていない場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が細菌感染であることが特定される。
 図3のテーブルデータTDAによれば、例えば、本体装置12から出力される身体情報にピロリ菌検査が陽性である旨を示す検査結果が含まれており、かつ、当該身体情報にペプシノゲン検査が陰性である旨を示す検査結果が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が潰瘍であることが特定される。
 図3のテーブルデータTDAによれば、例えば、本体装置12から出力される身体情報にピロリ菌検査が陽性である旨を示す検査結果が含まれており、かつ、当該身体情報にペプシノゲン検査が陽性である旨を示す検査結果が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が萎縮性胃炎であることが特定される。
 図3のテーブルデータTDAによれば、例えば、本体装置12から出力される身体情報にピロリ菌検査が陰性である旨を示す検査結果が含まれており、かつ、当該身体情報にペプシノゲン検査が陽性である旨を示す検査結果が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が萎縮性胃炎であることが特定される。
 図3のテーブルデータTDAによれば、例えば、本体装置12から出力される身体情報にピロリ菌の除菌治療が完了している旨を示す情報が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が除菌治療済であることが特定される。
 図3のテーブルデータTDAによれば、例えば、本体装置12から出力される身体情報にCDH1遺伝子に変異がある旨を示す検査結果が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状がびまん性胃がんであることが特定される。
 図3のテーブルデータTDAによれば、例えば、本体装置12から出力される身体情報に切除治療済である旨を示す情報が含まれており、かつ、HER2遺伝子に変異がある旨を示す検査結果が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が切除治療済であることが特定される。
 図3のテーブルデータTDAによれば、例えば、本体装置12から出力される身体情報にEBウイルス検査が陽性である旨を示す検査結果が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が萎縮性胃炎であることが特定される。
 図3のテーブルデータTDAによれば、例えば、本体装置12から出力される身体情報にNSAIDsを服用中である旨を示す情報が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が潰瘍であることが特定される。
 図3のテーブルデータTDAによれば、例えば、本体装置12から出力される身体情報に被検者の自覚症状がある旨を示す情報が含まれている場合に、内視鏡検査を受ける当該被検者の胃において現れている異常症状が潰瘍であることが特定される。なお、このような場合における自覚症状としては、例えば、みぞおち付近の痛み、胃酸過多、黒い便、及び、貧血等が挙げられる。
 本実施形態の異常症状特定部13Aは、例えば、本体装置12から出力される身体情報に対応する異常症状がテーブルデータTDAに含まれていない等の理由により、内視鏡検査を受ける被検者の胃において現れている一の異常症状を特定することができなかった場合に、当該被検者の胃において現れている異常症状の有無が不明である旨を示す情報を病変抽出機能制御部13Bへ出力する。
 本実施形態の異常症状特定部13Aは、例えば、図3のテーブルデータTDAに応じた複数の異常症状を同時に特定した場合に、当該複数の異常症状の中で最も優先度の高い一の異常症状を示す情報を病変抽出機能制御部13Bへ出力する。なお、図3のテーブルデータTDAに含まれる各異常症状の優先度は、例えば、後述のリスク値の大きさ等に応じた所定の順番に設定されていればよい。
 病変抽出機能制御部13Bは、異常症状特定部13Aから出力される情報に基づき、病変抽出機能部13Cに含まれる複数の病変抽出部の中から当該情報に含まれる一の異常症状に応じた一の病変抽出部を選択するための処理を行うとともに、当該一の病変抽出部において病変抽出処理を行わせるための制御を行う。
 具体的には、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に異常症状が細菌感染である旨を示す情報が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中からピロリ菌感染時における病変抽出に特化された病変抽出部LESAを選択するための処理を行うとともに、当該病変抽出部LESAにおいて病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に異常症状が潰瘍である旨を示す情報が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から潰瘍発現時における病変抽出に特化された病変抽出部LESBを選択するための処理を行うとともに、当該病変抽出部LESBにおいて病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に異常症状が萎縮性胃炎である旨を示す情報が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から萎縮性胃炎発現時における病変抽出に特化された病変抽出部LESCを選択するための処理を行うとともに、当該病変抽出部LESCにおいて病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に異常症状が除菌治療済である旨を示す情報が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中からピロリ菌除菌後における病変抽出に特化された病変抽出部LESDを選択するための処理を行うとともに、当該病変抽出部LESDにおいて病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に異常症状がびまん性胃がんである旨を示す情報が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中からびまん性胃がん発現時における病変抽出に特化された病変抽出部LESEを選択するための処理を行うとともに、当該病変抽出部LESEにおいて病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に異常症状が切除治療済である旨を示す情報が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から胃切除後における病変抽出に特化された病変抽出部LESFを選択するための処理を行うとともに、当該病変抽出部LESFにおいて病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に異常症状の有無が不明である旨を示す情報が含まれている場合(異常症状特定部33Aにより異常症状が特定されなかった場合)に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から一の病変抽出部LESXを選択する代わりに、胃において現れ得る特定の異常症状に特化されていない病変抽出処理を行う病変抽出部LESYを選択するための処理を行うとともに、当該病変抽出部LESYにおいて病変抽出処理を行わせるための制御を行う。
 すなわち、以上に述べた具体例においては、6つの病変抽出部LESA、LESB、LESC、LESD、LESE及びLESFのうちのいずれか1つが病変抽出部LESXに相当する。
 病変抽出機能部13Cは、病変抽出機能制御部13Bの制御に応じ、病変抽出部LESXまたは病変抽出部LESYのいずれかにおいて、本体装置12から出力される内視鏡画像EGから病変候補領域LAを抽出する病変抽出処理を行うとともに、当該病変抽出処理により抽出された病変候補領域LAの位置を特定可能な情報を表示制御部13Dへ出力する。
 表示制御部13Dは、病変抽出機能部13Cから出力される情報に基づき、本体装置12から出力される内視鏡画像EGにおける病変候補領域LAの位置を特定するとともに、当該特定した病変候補領域LAの周囲を囲む矩形の枠に相当するマーカMGを生成するための処理を行う。また、表示制御部13Dは、前述のマーカMGを内視鏡画像EGに付加することにより表示画像を生成し、当該生成した表示画像を表示装置14へ出力するための処理を行う。すなわち、本実施形態の表示制御部13Dは、内視鏡検査を受ける被検者の診断対象の臓器を撮像して得られた内視鏡画像EGと、病変抽出部LESXまたは病変抽出部LESYにより抽出された病変候補領域LAの位置を示す情報と、を併せて表示装置14に表示させるための処理を行う。そして、このような表示制御部13Dの処理によれば、例えば、図4に示すような表示画像DGAが表示装置14に表示される。図4は、第1の実施形態に係る診断支援装置の処理に応じて表示される表示画像の一例を示す図である。
 ところで、例えば、胃の内部を撮像して得られた内視鏡画像から病変候補領域を抽出する処理においては、当該病変候補領域の抽出精度が、内視鏡検査を受ける被検者の胃粘膜の状態に応じて変化する傾向がある。具体的には、例えば、ピロリ菌の除菌治療が行われた後の胃粘膜においては、当該除菌治療が行われる前の胃粘膜に比べて病変のサイズが小さくなる及び病変の色調が目立たなくなる等の要因により、内視鏡画像から病変候補領域を抽出する処理における抽出精度が、当該除菌治療が行われる前よりも低下する傾向がある。
 これに対し、本実施形態によれば、内視鏡検査を受ける被検者の胃(診断対象の臓器)の状態を推定可能な1つ以上の情報を含む身体情報が異常症状特定部13Aに入力され、当該身体情報に応じた一の異常症状が異常症状特定部13Aにより特定され、複数の病変抽出部の中から当該一の異常症状に最も適した一の病変抽出部が病変抽出機能制御部13Bにより選択されるとともに、当該一の病変抽出部において内視鏡画像から病変候補領域を抽出する処理が病変抽出機能部13Cにより行われるようにしている。そのため、本実施形態によれば、診断対象の臓器における病変の抽出精度を確保することができる。
 なお、本実施形態によれば、例えば、病変抽出機能制御部13Bが、入力I/F123において行われた指示(ユーザの指示)に応じて感度を設定するための処理を行うとともに、病変抽出部LESXまたは病変抽出部LESYにおいて当該感度による病変抽出処理を行わせるための制御を行うように構成されていてもよい。そして、このような病変抽出機能制御部13Bの構成によれば、例えば、病変抽出部LESXまたは病変抽出部LESYにおいて行われる病変抽出処理の感度が相対的に高い感度に設定された場合に、内視鏡画像EGから抽出される病変候補領域の抽出頻度を相対的に高めることができる。また、前述のような病変抽出機能制御部13Bの構成によれば、例えば、病変抽出部LESXまたは病変抽出部LESYにおいて行われる病変抽出処理の感度が相対的に低い感度に設定された場合に、内視鏡画像EGから抽出される病変候補領域の蓋然性(当該病変候補領域に実際に病変が含まれている可能性)を相対的に高めることができる。なお、本実施形態においては、病変抽出処理の感度の大きさが、例えば、内視鏡画像EGに含まれる病変候補領域を検出する際に当該内視鏡画像EGから取得した画素値等のパラメータに対して適用される閾値の大きさに反比例するような値として設定されるものとする。
 また、本実施形態によれば、病変抽出部LESXまたは病変抽出部LESYにおける病変抽出処理が、内視鏡検査中に得られた(本体装置12から出力される)内視鏡画像に対して行われるものに限らず、例えば、図示しない録画装置等に予め記録されている内視鏡検査の映像から得られた内視鏡画像に対して行われるものであってもよい。
 また、本実施形態に係る構成を適宜変形することにより、例えば、内視鏡検査を受ける被検者の診断対象の臓器が胃とは異なる臓器である場合に対応させるようにしてもよい。
 また、本実施形態によれば、内視鏡検査を受ける被検者の身体情報として、例えば、当該被検者の食習慣、当該被検者の喫煙歴、当該被検者の年齢、当該被検者の性別、当該被検者の人種、及び、当該被検者の家族におけるがんの家族歴のうちの少なくともいずれか1つを示す情報がさらに含まれていてもよい。
 また、本実施形態によれば、図3に示したテーブルデータTDAの代わりに、例えば、図5に示すようなテーブルデータTDBが記憶媒体132に格納されている場合に、当該テーブルデータTDBに応じた動作が診断支援装置13の各部で行われるようにしてもよい。このような本実施形態の変形例に係る動作等について、以下に説明する。なお、以降においては、簡単のため、既述の動作等を適用可能な部分に関する具体的な説明を適宜省略するものとする。図5は、第1の実施形態の変形例に係る診断支援装置の処理において用いられるテーブルデータの一例を示す図である。
 異常症状特定部13Aは、本体装置12から出力される身体情報に基づき、内視鏡検査を受ける被検者の胃において現れている一の異常症状と、当該一の異常症状における病変リスクの大きさと、当該一の異常症状に対する特殊光観察の推奨の是非と、をそれぞれ特定するための処理を行う。また、異常症状特定部13Aは、前述の処理により特定した一の異常症状と、前述の処理により特定した病変リスクの大きさと、前述の処理により特定した当該一の異常症状に対する特殊光観察の推奨の是非と、を関連付けた情報を病変抽出機能制御部13Bへ出力する。
 具体的には、異常症状特定部13Aは、例えば、図5のテーブルデータTDBを記憶媒体132から読み込むとともに、当該読み込んだテーブルデータTDBと、本体装置12から出力される身体情報と、を照合することにより、内視鏡検査を受ける被検者の胃において現れている一の異常症状と、当該一の異常症状に応じて予め設定されているリスク値と、当該一の異常症状に対する特殊光観察の推奨の是非と、をそれぞれ特定する。
 図5のテーブルデータTDBの「身体情報」欄には、本体装置12から出力される身体情報(入力I/F123において入力された情報)に対応する複数の項目が含まれている。また、図5のテーブルデータTDBの「異常症状」欄には、「身体情報」欄の各々の項目に対応する胃の症状を示す複数の項目が含まれている。また、図5のテーブルデータTDBの「病変リスク」欄には、「異常症状」欄における胃の症状毎の病変の発生頻度の高さに応じて設定された値に相当するリスク値を示す複数の項目が含まれている。また、図5のテーブルデータTDBの「特殊光観察」欄には、「異常症状」欄における胃の症状各々に対する特殊光観察(狭帯域光観察)の推奨の是非を示す複数の項目が含まれている。なお、図5のテーブルデータTDBの「病変リスク」欄における各項目の値は、0より大きくかつ100より小さい相対値として設定されているものとする。
 図5のテーブルデータTDBによれば、例えば、本体装置12から出力される身体情報にピロリ菌検査が陽性である旨を示す検査結果が含まれており、かつ、当該身体情報にペプシノゲン検査の検査結果が含まれていない場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が細菌感染であること、当該異常症状に対応するリスク値が10であること、及び、当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 図5のテーブルデータTDBによれば、例えば、本体装置12から出力される身体情報にピロリ菌検査が陽性である旨を示す検査結果が含まれており、かつ、当該身体情報にペプシノゲン検査が陰性である旨を示す検査結果が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が潰瘍であること、当該異常症状に対応するリスク値が5であること、及び、当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 図5のテーブルデータTDBによれば、例えば、本体装置12から出力される身体情報にピロリ菌検査が陽性である旨を示す検査結果が含まれており、かつ、当該身体情報にペプシノゲン検査が陽性である旨を示す検査結果が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が萎縮性胃炎であること、当該異常症状に対応するリスク値が20であること、及び、当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 図5のテーブルデータTDBによれば、例えば、本体装置12から出力される身体情報にピロリ菌検査が陰性である旨を示す検査結果が含まれており、かつ、当該身体情報にペプシノゲン検査が陽性である旨を示す検査結果が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が萎縮性胃炎であること、当該異常症状に対応するリスク値が30であること、及び、当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 図5のテーブルデータTDBによれば、例えば、本体装置12から出力される身体情報にピロリ菌の除菌治療が完了している旨を示す情報が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が除菌治療済であること、当該異常症状に対応するリスク値が50であること、及び、当該異常症状に対して特殊光観察への切替を推奨することがそれぞれ特定される。
 図5のテーブルデータTDBによれば、例えば、本体装置12から出力される身体情報にCDH1遺伝子に変異がある旨を示す検査結果が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状がびまん性胃がんであること、当該異常症状に対応するリスク値が50であること、及び、当該異常症状に対して特殊光観察への切替を推奨することがそれぞれ特定される。
 図5のテーブルデータTDBによれば、例えば、本体装置12から出力される身体情報に切除治療済である旨を示す情報が含まれており、かつ、HER2遺伝子に変異がある旨を示す検査結果が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が切除治療済であること、当該異常症状に対応するリスク値が50であること、及び、当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 図3のテーブルデータTDBによれば、例えば、本体装置12から出力される身体情報にEBウイルス検査が陽性である旨を示す検査結果が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が萎縮性胃炎であること、当該異常症状に対応するリスク値が10であること、及び、当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 図5のテーブルデータTDBによれば、例えば、本体装置12から出力される身体情報にNSAIDsを服用中である旨を示す情報が含まれている場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が潰瘍であること、当該異常症状に対応するリスク値が5であること、及び、当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 図5のテーブルデータTDBによれば、例えば、本体装置12から出力される身体情報に被検者の自覚症状がある旨を示す情報が含まれている場合に、内視鏡検査を受ける当該被検者の胃において現れている異常症状が潰瘍であること、当該異常症状に対応するリスク値が5であること、及び、当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 本変形例の異常症状特定部13Aは、例えば、本体装置12から出力される身体情報に対応する異常症状がテーブルデータTDBに含まれていない等の理由により、内視鏡検査を受ける被検者の胃において現れている一の異常症状を特定することができなかった場合に、当該被検者の胃において現れている異常症状の有無が不明である旨を示す情報を病変抽出機能制御部13Bへ出力する。
 また、本変形例の異常症状特定部13Aは、内視鏡検査を受ける被検者の胃において現れている一の異常症状をテーブルデータTDBから特定することができなかった場合に、本体装置12から出力される身体情報に含まれる情報に応じて設定したリスク値及び特殊光観察の推奨の是非を示す情報を病変抽出機能制御部13Bへ出力する。具体的には、本変形例の異常症状特定部13Aは、例えば、本体装置12から出力される身体情報に胃のX線画像に所見がある旨を示す情報が含まれている場合には、リスク値が80であること、及び、特殊光観察への切替を推奨しないことを示す情報を病変抽出機能制御部13Bへ出力する。
 なお、本変形例の異常症状特定部13Aは、例えば、本体装置12から出力される身体情報に被検者が積極的な病変の検出を希望するか否か等の要望を示す情報が含まれている場合に、テーブルデータTDBから取得したリスク値を当該情報に応じて増減させるようにしてもよい。
 具体的には、本変形例の異常症状特定部13Aは、例えば、本体装置12から出力される身体情報に被検者が積極的な病変の検出を希望する旨を示す情報が含まれている場合に、テーブルデータTDBから取得したリスク値を当該情報に応じて増加させるようにしてもよい。また、本変形例の異常症状特定部13Aは、例えば、本体装置12から出力される身体情報に被検者が積極的な病変の検出を希望しない旨を示す情報が含まれている場合に、テーブルデータTDBから取得したリスク値を当該情報に応じて減少させるようにしてもよい。
 本変形例の異常症状特定部13Aは、例えば、図5のテーブルデータTDBに応じた複数の異常症状を同時に特定した場合に、当該複数の異常症状の中で最も優先度の高い一の異常症状と、当該一の異常症状に対応するリスク値と、当該一の異常症状に対する特殊光観察の推奨の是非と、を関連付けた情報を病変抽出機能制御部13Bへ出力する。なお、図5のテーブルデータTDBに含まれる各異常症状の優先度は、例えば、「病変リスク」欄に含まれるリスク値の大きさ等に応じた所定の順番に設定されていればよい。
 本変形例の病変抽出機能制御部13Bは、異常症状特定部13Aから出力される情報に基づき、病変抽出機能部13Cに含まれる複数の病変抽出部の中から当該情報に含まれる一の異常症状に応じた一の病変抽出部を選択するための処理を行い、当該情報に含まれるリスク値(病変リスクの大きさ)に応じた感度を設定するための処理を行うとともに、当該一の病変抽出部において当該感度による病変抽出処理を行わせるための制御を行う。また、本変形例の病変抽出機能制御部13Bは、前述のように選択した一の病変抽出部における病変抽出処理の処理結果と、異常症状特定部13Aから出力される情報に含まれる特殊光観察の推奨の是非を示す情報と、を関連付けて出力させるための制御を病変抽出機能部13Cに対して行う。
 具体的には、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に、異常症状が細菌感染である旨を示す情報と、リスク値が10である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESAを選択するための処理を行い、当該リスク値に応じた感度をSPに設定するための処理を行うとともに、当該病変抽出部LESAにおいて当該感度SPによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に、異常症状が潰瘍である旨を示す情報と、リスク値が5である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESBを選択するための処理を行い、当該リスク値に応じた感度をSPに設定するための処理を行うとともに、当該病変抽出部LESBにおいて当該感度SPによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に、異常症状が萎縮性胃炎である旨を示す情報と、リスク値が20または30のいずれかの値である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESCを選択するための処理を行い、当該リスク値に応じた感度をSQ(>SP)に設定するための処理を行うとともに、当該病変抽出部LESCにおいて当該感度SQによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に、異常症状が萎縮性胃炎である旨を示す情報と、リスク値が10である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESCを選択するための処理を行い、当該リスク値に応じた感度をSPに設定するための処理を行うとともに、当該病変抽出部LESCにおいて当該感度SPによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に、異常症状が除菌治療済である旨を示す情報と、リスク値が50である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESDを選択するための処理を行い、当該リスク値に応じた感度をSR(>SQ)に設定するための処理を行うとともに、当該病変抽出部LESDにおいて当該感度SRによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に、異常症状がびまん性胃がんである旨を示す情報と、リスク値が50である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESEを選択するための処理を行い、当該リスク値に応じた感度をSRに設定するための処理を行うとともに、当該病変抽出部LESEにおいて当該感度SRによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に、異常症状が切除治療済である旨を示す情報と、リスク値が50である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESFを選択するための処理を行い、当該リスク値に応じた感度をSRに設定するための処理を行うとともに、当該病変抽出部LESFにおいて当該感度SRによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に、異常症状の有無が不明である旨を示す情報と、リスク値が80である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる病変抽出部LESYを選択するための処理を行い、当該リスク値に応じた感度をSRに設定するための処理を行うとともに、当該病変抽出部LESYにおいて当該感度SRによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部13Bは、例えば、異常症状特定部13Aから出力される情報に、異常症状の有無が不明である旨を示す情報と、リスク値が10である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる病変抽出部LESYを選択するための処理を行い、当該リスク値に応じた感度をSPに設定するための処理を行うとともに、当該病変抽出部LESYにおいて当該感度SPによる病変抽出処理を行わせるための制御を行う。
 病変抽出機能部13Cは、病変抽出機能制御部13Bの制御に応じ、病変抽出部LESXまたは病変抽出部LESYのいずれかにおいて、本体装置12から出力される内視鏡画像EGから病変候補領域LAを抽出する病変抽出処理を行うとともに、当該病変抽出処理により抽出された病変候補領域LAの位置を特定可能な情報と、異常症状特定部13Aにより特定された特殊光観察の推奨の是非を示す情報と、を併せて表示制御部13Dへ出力する。
 表示制御部13Dは、病変抽出機能部13Cから出力される情報に基づき、本体装置12から出力される内視鏡画像EGにおける病変候補領域LAの位置を特定するとともに、当該特定した病変候補領域LAの周囲を囲む矩形の枠に相当するマーカMGを生成するための処理を行う。
 表示制御部13Dは、病変抽出機能部13Cから出力される情報に特殊光観察への切替を推奨しない旨を示す情報が含まれている場合に、図4に例示した表示画像DGAと同様の表示画像を生成して表示装置14へ出力するための処理を行う。
 表示制御部13Dは、病変抽出機能部13Cから出力される情報に特殊光観察への切替を推奨する旨を示す情報が含まれている場合に、白色光観察モードから特殊光観察モードへの切り替えを促す文字列等を有する文字情報MJを生成するための処理を行う。また、表示制御部13Dは、病変抽出機能部13Cから出力される情報に特殊光観察への切替を推奨する旨を示す情報が含まれている場合に、前述のマーカMGを内視鏡画像EGに付加するとともに、前述の文字情報MJを当該内視鏡画像EGの外部の表示領域に付加することにより表示画像を生成し、当該生成した表示画像を表示装置14へ出力するための処理を行う。すなわち、本変形例の表示制御部13Dは、異常症状特定部13Aにより特定された一の異常症状に対して特殊光観察への切替を推奨することを検出した場合に、内視鏡検査を受ける被検者の診断対象の臓器を撮像して得られた内視鏡画像EGと、病変抽出部LESXまたは病変抽出部LESYにより抽出された病変候補領域LAの位置を示す情報と、特殊光観察の実施を促す情報と、を併せて表示装置14に表示させるための処理を行う。そして、このような表示制御部13Dの処理によれば、例えば、図6に示すような表示画像DGBが表示装置14に表示される。図6は、第1の実施形態の変形例に係る診断支援装置の処理に応じて表示される表示画像の一例を示す図である。
 なお、本変形例によれば、文字情報MJを表示装置14に表示させる代わりに、例えば、当該文字情報MJに対応する音声を図示しないスピーカから出力させるようにしてもよい。
 また、本変形例によれば、例えば、病変抽出機能部13Cに含まれる各病変抽出部が、内視鏡画像EGから抽出した病変候補領域LAの尤度LKを算出するための処理をさらに含むような病変抽出処理を行うとともに、当該病変候補領域LAの位置を示す情報と、当該尤度LKの算出結果を示す情報と、異常症状特定部13Aにより特定された特殊光観察の推奨の是非を示す情報と、を併せて表示制御部13Dへ出力するように構成されていてもよい。さらに、このような構成において、例えば、病変抽出機能部13Cから出力される情報に特殊光観察への切替を推奨する旨を示す情報が含まれており、かつ、病変抽出機能部13Cから出力される情報により示される尤度LKが所定の範囲内に属している場合に、文字情報MJを生成して表示装置14に表示させるための動作が表示制御部13Dにより行われるようにしてもよい。
 また、本変形例によれば、例えば、病変抽出機能部13Cに含まれる複数の病変抽出部のうちの少なくとも1つの病変抽出部が、病変抽出処理における感度に応じて細分化されていてもよい。具体的には、例えば、病変抽出部LESAの代わりに、ピロリ菌感染時における病変抽出に特化された病変抽出処理を感度SPで行う病変抽出部LESAPと、当該病変抽出処理を感度SQで行う病変抽出部LESAQと、当該病変抽出処理を感度SRで行う病変抽出部LESARと、が病変抽出機能部13Cに設けられていてもよい。
 以上に述べたように、本変形例によれば、前述の実施形態の方法(テーブルデータTDAを用いた方法)と略同様の方法を用い、病変抽出機能部13Cに含まれる複数の病変抽出部の中から一の病変抽出部を選択することができる。さらに、本変形例によれば、前述のように選択された一の病変抽出部における病変抽出処理を、内視鏡検査を受ける被検者の診断対象の臓器における病変の発生頻度に応じて設定された感度で行うことができる。そのため、本変形例によれば、診断対象の臓器における病変の抽出精度を確保することができる。
 なお、本変形例によれば、例えば、内視鏡検査を受ける被検者の診断対象の臓器が食道であり、かつ、当該被検者の人種が欧米人であることを示す情報が本体装置12から出力される身体情報に含まれている場合に、当該診断対象の臓器においてバレット食道が現れているか否かを特定するための処理が異常症状特定部13Aにより行われるようにしてもよい。さらに、本変形例によれば、例えば、内視鏡検査を受ける被検者の食道において現れている一の異常症状がバレット食道であることが特定された場合に、当該一の異常症状に応じた一の病変抽出部を選択するための処理と、当該一の異常症状に応じた感度を設定するための処理と、当該一の病変抽出部において当該感度による病変抽出処理を行わせるための制御と、が病変抽出機能制御部13Bにおいて行われるようにしてもよい。
(第2の実施形態)
 図7及び図8は、第2の実施形態に係るものである。
 なお、本実施形態においては、第1の実施形態と同様の構成等を有する部分に関する詳細な説明を適宜省略するとともに、第1の実施形態と異なる構成等を有する部分に関して主に説明を行う。
 本実施形態の内視鏡システム1は、診断支援装置13の代わりに、例えば、図7に示すような診断支援装置23を有して構成されている。図7は、第2の実施形態に係る診断支援装置の構成の具体例を説明するためのブロック図である。
 診断支援装置23は、診断支援装置13の異常症状特定部13Aを異常症状特定部23Aに置き換えるとともに、診断支援装置13の病変抽出機能制御部13Bを病変抽出機能制御部23Bに置き換えたものと略同様の構成を有して構成されている。
 異常症状特定部23Aは、本体装置12から出力される異常所見検出指示を検出した場合に、当該異常所見検出指示を検出したタイミングで入力された内視鏡画像に基づき、内視鏡検査を受ける被検者の診断対象の臓器において現れている一の異常症状を特定するための処理を行うように構成されている。また、異常症状特定部23Aは、前述のように特定した一の異常症状を示す情報を病変抽出機能制御部23Bへ出力するように構成されている。すなわち、異常症状特定部23Aは、内視鏡検査を受ける被検者の診断対象の臓器を撮像して得られた内視鏡画像に基づき、当該診断対象の臓器において現れている一の異常症状を特定するための処理を行うように構成されている。
 具体的には、異常症状特定部23Aは、例えば、本体装置12から出力される内視鏡画像の色調を表す特徴量(色相、彩度及び明度のうちの少なくとも1つ)と、当該内視鏡画像内に設定した関心領域に含まれる複数の画素の画素値に基づいて算出される統計量(画素値の分散及び輝度勾配の分布のうちの少なくとも1つ)と、を用いて一の異常症状を特定するための処理を行う。
 あるいは、異常症状特定部23Aは、例えば、所定の臓器の内部を撮像して得られた画像を用いた機械学習により当該所定の臓器において現れ得る複数の異常症状を認識して異常症状毎に分類することができるように構成された分類器を有している場合に、本体装置12から出力される内視鏡画像の画素値等を当該分類器に入力して得られた出力結果に基づいて一の異常症状を特定するための処理を行う。
 異常症状特定部23Aは、本体装置12から出力される一の異常所見検出指示を検出したタイミングから、本体装置12から出力される次の異常所見検出指示を検出するタイミングまでの期間において、当該一の異常所見検出指示に応じて特定した一の異常症状を示す情報を病変抽出機能制御部23Bへ出力し続けるように構成されている。
 病変抽出機能制御部23Bは、異常症状特定部23Aから出力される情報に基づき、病変抽出機能部13Cに含まれる複数の病変抽出部の中から当該情報に含まれる一の異常症状に応じた一の病変抽出部を選択するための処理を行うとともに、当該一の病変抽出部において病変抽出処理を行わせるための制御を行うように構成されている。
 続いて、本実施形態の作用について説明する。
 ユーザは、内視鏡システム1の各部を接続して電源を投入した後、被検者の内部へ内視鏡11の挿入部を挿入するとともに、当該被検者の胃の内部における所望の被写体を撮像可能な位置に当該挿入部の先端部を配置する。また、ユーザは、例えば、被検者の胃の内部における所望の被写体を観察している期間に属する時刻TPにおいて、入力I/F123の異常所見検出指示スイッチを操作することにより異常所見検出指示を行う。
 制御部124は、本体装置12の電源が投入された際に、B光、G光及びR光を照明光として順次または同時に発生させるための制御を光源部121に対して行う。そして、このような制御部124の制御に応じ、光源部121から内視鏡11へ照明光が供給され、当該照明光により照明された被写体からの戻り光が撮像部111において撮像され、撮像部111から本体装置12へ出力される撮像信号に応じた内視鏡画像EGが画像生成部122において生成され、当該生成された内視鏡画像EGが診断支援装置23へ1フレームずつ順次出力される。
 制御部124は、入力I/F123において異常所見検出指示が行われたことを検出した際に、当該異常所見検出指示を診断支援装置23へ出力するための動作を行う。
 異常症状特定部23Aは、本体装置12から出力される異常所見検出指示を時刻TPにおいて検出した場合に、当該時刻TPにおいて本体装置12から入力された内視鏡画像EGに基づき、内視鏡検査を受ける被検者の診断対象の臓器において現れている一の異常症状を特定するための処理を行う。また、異常症状特定部23Aは、前述の処理により特定した一の異常症状を示す情報を病変抽出機能制御部23Bへ出力する。
 具体的には、異常症状特定部23Aは、例えば、本体装置12から出力される内視鏡画像EGの色調が高彩度の赤色調(発赤した粘膜に相当する色調)であることを検出した場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が細菌感染であることを特定する。
 また、異常症状特定部23Aは、例えば、本体装置12から出力される内視鏡画像EGの色調が低彩度の赤色調(退色した粘膜に相当する色調)であることを検出した場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が細菌感染であることを特定する。
 また、異常症状特定部23Aは、例えば、本体装置12から出力される内視鏡画像EGの色調が白色調(白濁した粘液により生じる色調)であることを検出した場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が細菌感染であることを特定する。
 また、異常症状特定部23Aは、例えば、本体装置12から出力される内視鏡画像EGに対して日本国特開2015-181594号に開示された手法等を用いた処理を施すことにより、当該内視鏡画像EGに黒苔または白苔が存在していることを検出した場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が潰瘍であることを特定する。
 また、異常症状特定部23Aは、例えば、本体装置12から出力される内視鏡画像EGに対して所定の処理を施すことにより、当該内視鏡画像EGに樹枝状血管が存在していることを検出した場合に、内視鏡検査を受ける被検者の胃において現れている異常症状が萎縮性胃炎であることを特定する。
 すなわち、以上に述べた異常症状特定部23Aの動作等によれば、時刻TPの時点で本体装置12から出力された内視鏡画像EGPに基づいて内視鏡検査を受ける被検者の診断対象の臓器において現れている一の異常症状が特定されるとともに、当該特定した一の異常症状を示す情報が病変抽出機能制御部23Bへ出力される。
 異常症状特定部23Aは、例えば、本体装置12から出力される内視鏡画像EGから一の異常症状を特定することができなかった場合に、被検者の胃において現れている異常症状の有無が不明である旨を示す情報を病変抽出機能制御部23Bへ出力する。
 異常症状特定部23Aは、本体装置12から出力される一の異常所見検出指示を検出した時刻TPから、本体装置12から出力される次の異常所見検出指示を検出する時刻TQまでの期間において、当該一の異常所見検出指示に応じて特定した一の異常症状を示す情報を病変抽出機能制御部23Bへ出力し続ける。
 病変抽出機能制御部23Bは、異常症状特定部23Aから出力される情報に基づき、病変抽出機能部13Cに含まれる複数の病変抽出部の中から当該情報に含まれる一の異常症状に応じた一の病変抽出部を選択するための処理を行うとともに、当該一の病変抽出部において病変抽出処理を行わせるための制御を行う。
 具体的には、病変抽出機能制御部23Bは、例えば、異常症状特定部23Aから出力される情報に異常症状が細菌感染である旨を示す情報が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESAを選択するための処理を行うとともに、当該病変抽出部LESAにおいて病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部23Bは、例えば、異常症状特定部23Aから出力される情報に異常症状が潰瘍である旨を示す情報が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESBを選択するための処理を行うとともに、当該病変抽出部LESBにおいて病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部23Bは、例えば、異常症状特定部23Aから出力される情報に異常症状が萎縮性胃炎である旨を示す情報が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESCを選択するための処理を行うとともに、当該病変抽出部LESCにおいて病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部23Bは、例えば、異常症状特定部23Aから出力される情報に異常症状の有無が不明である旨を示す情報が含まれている場合(異常症状特定部23Aにより異常症状が特定されなかった場合)に、病変抽出機能部13Cに含まれる病変抽出部LESYを選択するための処理を行うとともに、当該病変抽出部LESYにおいて病変抽出処理を行わせるための制御を行う。
 すなわち、以上に述べた具体例においては、3つの病変抽出部LESA、LESB及びLESCのうちのいずれか1つが病変抽出部LESXに相当する。
 病変抽出機能部13Cは、病変抽出機能制御部23Bの制御に応じ、病変抽出部LESXまたは病変抽出部LESYのいずれかにおいて、本体装置12から出力された内視鏡画像EGPから病変候補領域LAPを抽出する病変抽出処理を行うとともに、当該病変抽出処理により抽出された病変候補領域LAPの位置を特定可能な情報を表示制御部13Dへ出力する。
 表示制御部13Dは、病変抽出機能部13Cから出力される情報に基づき、時刻TPの時点で入力された内視鏡画像EGPにおける病変候補領域LAPの位置を特定し、当該特定した病変候補領域LAPの周囲を囲む矩形の枠に相当するマーカMGPを生成するための処理を行う。また、表示制御部13Dは、前述のマーカMGPを内視鏡画像EGPに付加することにより表示画像を生成し、当該生成した表示画像を表示装置14へ出力するための処理を行う。すなわち、本実施形態の表示制御部13Dは、内視鏡検査を受ける被検者の診断対象の臓器を撮像して得られた内視鏡画像EGPと、病変抽出部LESXまたは病変抽出部LESYにより抽出された病変候補領域LAPの位置を示す情報と、を併せて表示装置14に表示させるための処理を行う。そして、このような表示制御部13Dの処理によれば、例えば、図8に示すような表示画像DGCが表示装置14に表示される。図8は、第2の実施形態に係る診断支援装置の処理に応じて表示される表示画像の一例を示す図である。
 以上に述べたように、本実施形態によれば、内視鏡検査を受ける被検者の胃の内部(診断対象の臓器)を撮像して得られた内視鏡画像が異常症状特定部23Aに入力され、当該内視鏡画像に対する処理の処理結果に応じた一の異常症状が異常症状特定部23Aにより特定され、複数の病変抽出部の中から当該一の異常症状に最も適した一の病変抽出部が病変抽出機能制御部23Bにより選択されるとともに、当該一の病変抽出部において当該内視鏡画像から病変候補領域を抽出する処理が病変抽出機能部13Cにより行われるようにしている。そのため、本実施形態によれば、診断対象の臓器における病変の抽出精度を確保することができる。
 また、以上に述べたように、本実施形態によれば、入力I/F123において異常所見検出指示が行われたタイミング毎に、被検者の胃において現れている一の異常症状を内視鏡画像に基づいて特定するための処理が異常症状特定部23Aにより行われるようにしている。そのため、本実施形態によれば、例えば、ユーザが、噴門部、胃底部、胃体部及び幽門部等のような胃の内部における所望の観察対象部位を観察している状況において、適宜のタイミングで入力I/F123の異常所見検出指示スイッチを操作することにより、当該所望の観察対象部位において現れている異常症状に応じた病変を精度良く抽出することができる。
 なお、本実施形態によれば、例えば、内視鏡検査を受ける被検者の診断対象の臓器が胃である場合に、細菌感染、潰瘍及び萎縮性胃炎以外の一の異常症状を特定するための処理が異常症状特定部23Aにおいて行われるとともに、当該一の異常症状に応じた一の病変抽出部を選択するための処理と、当該一の病変抽出部において病変抽出処理を行わせるための制御と、が病変抽出機能制御部23Bにおいて行われるようにしてもよい。
 また、本実施形態によれば、例えば、内視鏡検査を受ける被検者の診断対象の臓器が食道である場合に、本体装置12から出力される内視鏡画像EGに基づいて当該診断対象の臓器において現れている一の異常症状がバレット食道であることが異常症状特定部23Aにより特定されるとともに、当該一の異常症状に応じた一の病変抽出部を選択するための処理と、当該一の病変抽出部において病変抽出処理を行わせるための制御と、が病変抽出機能制御部23Bにおいて行われるようにしてもよい。
(第3の実施形態)
 図9及び図10は、第3の実施形態に係るものである。
 なお、本実施形態においては、第1及び第2の実施形態のうちの少なくともいずれか一方と同様の構成等を有する部分に関する詳細な説明を適宜省略するとともに、第1及び第2の実施形態のいずれともと異なる構成等を有する部分に関して主に説明を行う。
 本実施形態の内視鏡システム1は、診断支援装置13の代わりに、例えば、図9に示すような診断支援装置33を有して構成されている。図9は、第3の実施形態に係る診断支援装置の構成の具体例を説明するためのブロック図である。
 診断支援装置33は、診断支援装置13の異常症状特定部13Aを異常症状特定部33Aに置き換えるとともに、診断支援装置13の病変抽出機能制御部13Bを病変抽出機能制御部33Bに置き換えたものと略同様の構成を有して構成されている。
 異常症状特定部33Aは、本体装置12から出力される身体情報に基づき、内視鏡検査を受ける被検者の診断対象の臓器において現れている一の異常症状を特定するための処理を行うように構成されている。
 異常症状特定部33Aは、本体装置12から出力される内視鏡画像に含まれる診断対象の臓器の解剖学的部位に相当する観察対象部位を特定するための処理を行うように構成されている。換言すると、前述の観察対象部位は、診断対象の臓器を解剖学的に分類した場合における複数の部位のうちの一の部位として特定される。
 具体的には、異常症状特定部33Aは、例えば、所定の臓器の内部における複数の部位を撮像して得られた画像を用いた機械学習により当該複数の部位を認識して部位毎に分類することができるように構成された分類器を有している場合に、本体装置12から出力される内視鏡画像の画素値等を当該分類器に入力して得られた出力結果に基づいて観察対象部位を特定するための処理を行う。
 なお、本実施形態によれば、例えば、内視鏡11の挿入部の先端部のアングルを変化させるための操作を行うことが可能なアングルノブ(不図示)が内視鏡11の操作部に設けられている場合に、当該アングルノブの操作状態を検出して得られた検出結果を用いて観察対象部位を特定するための処理が異常症状特定部33Aにより行われるようにしてもよい。
 異常症状特定部33Aは、前述の処理により特定した一の異常症状及び観察対象部位に基づき、当該観察対象部位に現れている当該一の異常症状に応じた病変リスクの大きさと、当該観察対象部位に現れている当該一の異常症状に対する特殊光観察の推奨の是非と、をそれぞれ特定するための処理を行うように構成されている。また、異常症状特定部33Aは、前述の処理により特定した一の異常症状と、前述の処理により特定した病変リスクの大きさと、前述の処理により特定した特殊光観察の推奨の是非と、を関連付けた情報を病変抽出機能制御部33Bへ出力するように構成されている。
 病変抽出機能制御部33Bは、異常症状特定部33Aから出力される情報に基づき、病変抽出機能部13Cに含まれる複数の病変抽出部の中から当該情報に含まれる一の異常症状に応じた一の病変抽出部を選択するための処理を行い、当該情報に含まれる病変リスクの大きさに応じた感度を設定するための処理を行うとともに、当該一の病変抽出部において当該感度による病変抽出処理を行わせるための制御を行うように構成されている。また、病変抽出機能制御部33Bは、前述のように選択した一の病変抽出部における病変抽出処理の処理結果と、異常症状特定部33Aから出力される情報に含まれる特殊光観察の推奨の是非を示す情報と、を関連付けて出力させるための制御を病変抽出機能部13Cに対して行うように構成されている。
 続いて、本実施形態の作用について説明する。
 ユーザは、内視鏡システム1の各部を接続して電源を投入した後、被検者の内部へ内視鏡11の挿入部を挿入するとともに、当該被検者の胃の内部における所望の被写体を撮像可能な位置に当該挿入部の先端部を配置する。
 制御部124は、本体装置12の電源が投入された際に、B光、G光及びR光を照明光として順次または同時に発生させるための制御を光源部121に対して行う。そして、このような制御部124の制御に応じ、光源部121から内視鏡11へ照明光が供給され、当該照明光により照明された被写体からの戻り光が撮像部111において撮像され、撮像部111から本体装置12へ出力される撮像信号に応じた内視鏡画像EGが画像生成部122において生成され、当該生成された内視鏡画像EGが診断支援装置33へ1フレームずつ順次出力される。
 異常症状特定部33Aは、本体装置12から出力される身体情報に基づき、内視鏡検査を受ける被検者の胃において現れている一の異常症状を特定するための処理を行う。
 具体的には、異常症状特定部33Aは、例えば、図3に示したようなテーブルデータTDAを記憶媒体132から読み込むとともに、当該読み込んだテーブルデータTDAと、本体装置12から出力される身体情報と、を照合することにより、内視鏡検査を受ける被検者の胃において現れている一の異常症状を特定する。
 異常症状特定部33Aは、本体装置12から出力される内視鏡画像に基づき、内視鏡検査を受ける被検者の胃における観察対象部位を特定するための処理を行う。
 具体的には、異常症状特定部33Aは、例えば、本体装置12から出力される内視鏡画像に基づき、胃における観察対象部位が胃体部、前庭部、穹窿部、胃角部、及び、その他の部位のうちのいずれに属するかを特定する。
 異常症状特定部33Aは、前述の処理により特定した一の異常症状及び観察対象部位に基づき、当該観察対象部位に現れている当該一の異常症状に応じた病変リスクの大きさと、当該観察対象部位に現れている当該一の異常症状に対する特殊光観察の推奨の是非と、をそれぞれ特定するための処理を行う。また、異常症状特定部33Aは、前述の処理により特定した一の異常症状と、前述の処理により特定した病変リスクの大きさと、前述の処理により特定した特殊光観察の推奨の是非と、を関連付けた情報を病変抽出機能制御部33Bへ出力する
 具体的には、異常症状特定部33Aは、例えば、図10に示すようなテーブルデータTDCを記憶媒体132から読み込むとともに、当該読み込んだテーブルデータTDCと、前述の処理により特定した一の異常症状及び観察対象部位と、を照合することにより、当該観察対象部位に現れている当該一の異常症状に応じた病変リスクの大きさと、当該観察対象部位に現れている当該一の異常症状に対する特殊光観察の推奨の是非と、をそれぞれ特定する。図10は、第3の実施形態に係る診断支援装置の処理において用いられるテーブルデータの一例を示す図である。
 図10のテーブルデータTDCの「異常症状」欄には、図3のテーブルデータTDAの「異常症状」欄に含まれる胃の症状のうちの少なくとも1つの症状を胃の部位に応じて細分化した複数の項目が含まれている。また、図10のテーブルデータTDCの「詳細部位」欄には、「異常症状」欄の各々の項目に対応する胃の部位を示す複数の項目が含まれている。また、図10のテーブルデータTDCの「病変リスク」欄には、「異常症状」欄における胃の症状と「詳細部位」欄における胃の部位との組み合わせ毎の病変の発生頻度の高さに応じて設定された値に相当するリスク値を示す複数の項目が含まれている。また、図10のテーブルデータTDCの「特殊光観察」欄には、「詳細部位」欄の胃の部位における「異常症状」欄の胃の症状に対する特殊光観察(狭帯域光観察)の要否を示す複数の項目が含まれている。なお、図10のテーブルデータTDCの「病変リスク」欄における各項目の値は、0より大きくかつ100より小さい相対値として設定されているものとする。
 図10のテーブルデータTDCによれば、例えば、内視鏡検査を受ける被検者の胃において現れている異常症状が萎縮性胃炎であることが特定され、かつ、当該胃における観察対象部位が胃体部または前庭部のいずれかであることが特定された場合に、当該観察対象部位に現れている当該異常症状に対応するリスク値が25であること、及び、当該観察対象部位に現れている当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 図10のテーブルデータTDCによれば、例えば、内視鏡検査を受ける被検者の胃において現れている異常症状が萎縮性胃炎であることが特定され、かつ、当該胃における観察対象部位が穹窿部であることが特定された場合に、当該観察対象部位に現れている当該異常症状に対応するリスク値が8であること、及び、当該観察対象部位に現れている当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 図10のテーブルデータTDCによれば、例えば、内視鏡検査を受ける被検者の胃において現れている異常症状が萎縮性胃炎であることが特定され、かつ、当該胃における観察対象部位が胃体部、前庭部及び穹窿部のいずれにも該当しないその他の部位であることが特定された場合に、当該観察対象部位に現れている当該異常症状に対応するリスク値が20であること、及び、当該観察対象部位に現れている当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 図10のテーブルデータTDCによれば、例えば、内視鏡検査を受ける被検者の胃において現れている異常症状が潰瘍であることが特定され、かつ、当該胃における観察対象部位が胃角部または胃体部のいずれかであることが特定された場合に、当該観察対象部位に現れている当該異常症状に対応するリスク値が10であること、及び、当該観察対象部位に現れている当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 図10のテーブルデータTDCによれば、例えば、内視鏡検査を受ける被検者の胃において現れている異常症状が潰瘍であることが特定され、かつ、当該胃における観察対象部位が胃角部及び胃体部のいずれにも該当しないその他の部位であることが特定された場合に、当該観察対象部位に現れている当該異常症状に対応するリスク値が5であること、及び、当該観察対象部位に現れている当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 図10のテーブルデータTDCによれば、例えば、内視鏡検査を受ける被検者の胃において現れている異常症状がびまん性胃がんであることが特定され、かつ、当該胃における観察対象部位が胃角部であることが特定された場合に、当該観察対象部位に現れている当該異常症状に対応するリスク値が50であること、及び、当該観察対象部位に現れている当該異常症状に対して特殊光観察への切替を推奨することがそれぞれ特定される。
 図10のテーブルデータTDCによれば、例えば、内視鏡検査を受ける被検者の胃において現れている異常症状がびまん性胃がんであることが特定され、かつ、当該胃における観察対象部位が胃体部であることが特定された場合に、当該観察対象部位に現れている当該異常症状に対応するリスク値が40であること、及び、当該観察対象部位に現れている当該異常症状に対して特殊光観察への切替を推奨することがそれぞれ特定される。
 図10のテーブルデータTDCによれば、例えば、内視鏡検査を受ける被検者の胃において現れている異常症状がびまん性胃がんであることが特定され、かつ、当該胃における観察対象部位が穹窿部であることが特定された場合に、当該観察対象部位に現れている当該異常症状に対応するリスク値が20であること、及び、当該観察対象部位に現れている当該異常症状に対して特殊光観察への切替を推奨しないことがそれぞれ特定される。
 図10のテーブルデータTDCによれば、例えば、内視鏡検査を受ける被検者の胃において現れている異常症状がびまん性胃がんであることが特定され、かつ、当該胃における観察対象部位が胃角部、胃体部及び穹窿部のいずれにも該当しないその他の部位であることが特定された場合に、当該観察対象部位に現れている当該異常症状に対応するリスク値が35であること、及び、当該観察対象部位に現れている当該異常症状に対して特殊光観察への切替を推奨することがそれぞれ特定される。
 すなわち、以上に述べた異常症状特定部33Aの動作等によれば、本体装置12から出力された身体情報と、本体装置12から出力された内視鏡画像EGQと、に基づき、内視鏡検査を受ける被検者の診断対象の臓器において現れている一の異常症状と、当該診断対象の臓器における観察対象部位に現れている当該一の異常症状に応じた病変リスクの大きさと、当該観察対象部位に現れている当該一の異常症状に対する特殊光観察の推奨の是非と、がそれぞれ特定される。
 異常症状特定部33Aは、例えば、本体装置12から出力される身体情報に対応する異常症状がテーブルデータTDAに含まれていない等の理由により、内視鏡検査を受ける被検者の胃において現れている一の異常症状を特定することができなかった場合に、当該被検者の胃において現れている異常症状の有無が不明である旨を示す情報を病変抽出機能制御部33Bへ出力する。
 病変抽出機能制御部33Bは、異常症状特定部33Aから出力される情報に基づき、病変抽出機能部13Cに含まれる複数の病変抽出部の中から当該情報に含まれる一の異常症状に応じた一の病変抽出部を選択するための処理を行い、当該情報に含まれるリスク値(病変リスクの大きさ)に応じた感度を設定するための処理を行うとともに、当該一の病変抽出部において当該感度による病変抽出処理を行わせるための制御を行う。また、本変形例の病変抽出機能制御部33Bは、前述のように選択した一の病変抽出部における病変抽出処理の処理結果と、異常症状特定部33Aから出力される情報に含まれる特殊光観察の推奨の是非を示す情報と、を関連付けて出力させるための制御を病変抽出機能部13Cに対して行う。
 具体的には、病変抽出機能制御部33Bは、例えば、異常症状特定部33Aから出力される情報に、異常症状が萎縮性胃炎である旨を示す情報と、リスク値が20または25である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESCを選択するための処理を行い、当該リスク値に応じた感度をSMに設定するための処理を行うとともに、当該病変抽出部LESCにおいて当該感度SMによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部33Bは、例えば、異常症状特定部33Aから出力される情報に、異常症状が萎縮性胃炎である旨を示す情報と、リスク値が8である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESCを選択するための処理を行い、当該リスク値に応じた感度をSK(<SM)に設定するための処理を行うとともに、当該病変抽出部LESCにおいて当該感度SKによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部33Bは、例えば、異常症状特定部33Aから出力される情報に、異常症状が潰瘍である旨を示す情報と、リスク値が10である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESBを選択するための処理を行い、当該リスク値に応じた感度をSL(但し、SK<SL<SMを満たすものとする)に設定するための処理を行うとともに、当該病変抽出部LESBにおいて当該感度SLによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部33Bは、例えば、異常症状特定部33Aから出力される情報に、異常症状が潰瘍である旨を示す情報と、リスク値が5である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESBを選択するための処理を行い、当該リスク値に応じた感度をSKに設定するための処理を行うとともに、当該病変抽出部LESBにおいて当該感度SKによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部33Bは、例えば、異常症状特定部33Aから出力される情報に、異常症状がびまん性胃がんである旨を示す情報と、リスク値が35、40または50のいずれかの値である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESEを選択するための処理を行い、当該リスク値に応じた感度をSN(>SM)に設定するための処理を行うとともに、当該病変抽出部LESEにおいて当該感度SNによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部33Bは、例えば、異常症状特定部33Aから出力される情報に、異常症状がびまん性胃がんである旨を示す情報と、リスク値が20である旨を示す情報と、が含まれている場合に、病変抽出機能部13Cに含まれる複数の病変抽出部LESの中から病変抽出部LESEを選択するための処理を行い、当該リスク値に応じた感度をSMに設定するための処理を行うとともに、当該病変抽出部LESEにおいて当該感度SMによる病変抽出処理を行わせるための制御を行う。
 また、病変抽出機能制御部33Bは、例えば、異常症状特定部33Aから出力される情報に異常症状の有無が不明である旨を示す情報が含まれている場合(異常症状特定部33Aにより異常症状が特定されなかった場合)に、病変抽出機能部13Cに含まれる病変抽出部LESYを選択するための処理を行い、感度SK、SL、SM及びSNのうちのデフォルト値に相当する一の感度に設定するための処理を行うとともに、当該病変抽出部LESEにおいて当該一の感度による病変抽出処理を行わせるための制御を行う。
 すなわち、以上に述べた具体例においては、3つの病変抽出部LESB、LESC及びLESEのうちのいずれか1つが病変抽出部LESXに相当する。
 病変抽出機能部13Cは、病変抽出機能制御部33Bの制御に応じ、病変抽出部LESXまたは病変抽出部LESYのいずれかにおいて、本体装置12から出力された内視鏡画像EGから病変候補領域LAを抽出する病変抽出処理を行うとともに、当該病変抽出処理により抽出された病変候補領域LAの位置を特定可能な情報を表示制御部13Dへ出力する。
 表示制御部13Dは、病変抽出機能部13Cから出力される情報に基づき、本体装置12から出力された内視鏡画像EGにおける病変候補領域LAの位置を特定し、当該特定した病変候補領域LAの周囲を囲む矩形の枠に相当するマーカMGを生成するための処理を行う。また、表示制御部13Dは、前述のマーカMGを内視鏡画像EGに付加することにより表示画像を生成し、当該生成した表示画像を表示装置14へ出力するための処理を行う。そして、このような表示制御部13Dの処理によれば、図4に例示した表示画像DGAと同様の表示画像が表示装置14に表示される。
 以上に述べたように、本実施形態によれば、第1の実施形態において述べた方法(テーブルデータTDAを用いた方法)と略同様の方法を用い、病変抽出機能部13Cに含まれる複数の病変抽出部の中から一の病変抽出部を選択することができる。さらに、本実施形態によれば、前述のように選択された一の病変抽出部における病変抽出処理を、内視鏡検査を受ける被検者の診断対象の臓器のうちの観察対象部位における病変の発生頻度に応じて設定された感度で行うことができる。そのため、本実施形態によれば、診断対象の臓器における病変の抽出精度を確保することができる。また、本実施形態によれば、例えば、内視鏡検査を受ける被検者の診断対象の臓器のうち、所定の病変の発生頻度が相対的に高い部位が観察されている場合における病変候補領域の抽出を確実に行うことができるとともに、当該所定の病変の発生頻度が相対的に低い部位が観察されている場合における病変候補領域の抽出を抑制することができる。
 なお、本実施形態の異常症状特定部33Aは、例えば、本体装置12から出力される内視鏡画像EGに対して第2の実施形態において述べた処理と同様の処理を適用することにより、内視鏡検査を受ける被検者の胃において現れている異常症状が潰瘍または萎縮性胃炎のいずれかであることを特定するようにしてもよい。また、本実施形態の異常症状特定部33Aは、例えば、本体装置12から出力される内視鏡画像EGに対して日本国特許第5242381号公報に開示された処理等を適用することにより、内視鏡検査を受ける被検者の胃において現れている異常症状がびまん性胃がんであることを特定するようにしてもよい。
 本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims (13)

  1.  被検者の診断対象の臓器の状態を推定可能な1つ以上の情報を含む身体情報、及び、前記診断対象の臓器を撮像して得られた内視鏡画像のうちの少なくとも一方に基づき、前記診断対象の臓器において現れている一の異常症状を特定するための処理を行うように構成された異常症状特定部と、
     前記内視鏡画像から病変候補領域を抽出するための病変抽出処理として、前記診断対象の臓器において現れ得る異常症状毎に特化された異なる処理を行う複数の病変抽出部を有して構成された病変抽出機能部と、
     前記複数の病変抽出部の中から前記異常症状特定部により特定された前記一の異常症状に応じた一の病変抽出部を選択するための処理を行うとともに、前記一の病変抽出部において前記病変抽出処理を行わせるための制御を前記病変抽出機能部に対して行うように構成された病変抽出機能制御部と、
     を有することを特徴とする診断支援装置。
  2.  前記身体情報には、前記診断対象の臓器に係る検査を行って得られた検査結果を示す情報、前記診断対象の臓器における治療歴を示す情報、前記診断対象の臓器に係る薬剤の服用歴を示す情報、及び、前記被検者の自覚症状の有無を示す情報のうちの少なくとも1つが含まれている
     ことを特徴とする請求項1に記載の診断支援装置。
  3.  前記異常症状特定部は、さらに、前記一の異常症状における病変リスクの大きさを特定するための処理を行うように構成されている
     ことを特徴とする請求項1に記載の診断支援装置。
  4.  前記病変抽出機能制御部は、前記異常症状特定部により特定された前記病変リスクの大きさに応じた感度を設定するための処理を行うとともに、前記一の病変抽出部において前記感度による前記病変抽出処理を行わせるための制御を行うように構成されている
     ことを特徴とする請求項3に記載の診断支援装置。
  5.  前記異常症状特定部は、さらに、前記一の異常症状に対する特殊光観察の推奨の是非を特定するための処理を行うように構成されている
     ことを特徴とする請求項1に記載の診断支援装置。
  6.  前記病変抽出機能部は、前記病変抽出処理として、前記診断対象の臓器において現れ得る特定の異常症状に特化されていない処理を行う他の病変抽出部をさらに有して構成されており、
     前記病変抽出機能制御部は、前記異常症状特定部により前記一の異常症状が特定されなかった場合に、前記他の病変抽出部を選択するための処理を行うとともに、前記他の病変抽出部において前記病変抽出処理を行わせるための制御を前記病変抽出機能部に対して行うように構成されている
     ことを特徴とする請求項1に記載の診断支援装置。
  7.  前記異常症状特定部は、さらに、前記内視鏡画像に含まれる前記診断対象の臓器の解剖学的部位に相当する観察対象部位を特定するための処理と、前記観察対象部位に現れている前記一の異常症状に応じた病変リスクの大きさを特定するための処理と、を行うように構成されている
     ことを特徴とする請求項1に記載の診断支援装置。
  8.  前記病変抽出機能制御部は、前記異常症状特定部により特定された前記病変リスクの大きさに応じた感度を設定するための処理を行うとともに、前記一の病変抽出部において前記感度による前記病変抽出処理を行わせるための制御を行うように構成されている
     ことを特徴とする請求項7に記載の診断支援装置。
  9.  前記内視鏡画像と、前記一の病変抽出部により抽出された前記病変候補領域の位置を示す情報と、を併せて表示装置に表示させるための処理を行うように構成された表示制御部をさらに有する
     ことを特徴とする請求項1に記載の診断支援装置。
  10.  前記一の異常症状に対して前記特殊光観察への切替を推奨することを検出した場合に、前記内視鏡画像と、前記一の病変抽出部により抽出された前記病変候補領域の位置を示す情報と、前記特殊光観察の実施を促す情報と、を併せて表示装置に表示させるための処理を行うように構成された表示制御部をさらに有する
     ことを特徴とする請求項5に記載の診断支援装置。
  11.  前記病変抽出機能制御部は、ユーザの指示に応じて感度を設定するための処理を行うとともに、前記一の病変抽出部において前記感度による前記病変抽出処理を行わせるための制御を行うように構成されている
     ことを特徴とする請求項1に記載の診断支援装置。
  12.  異常症状特定部が、被検者の診断対象の臓器の状態を推定可能な1つ以上の情報を含む身体情報、及び、前記診断対象の臓器を撮像して得られた内視鏡画像のうちの少なくとも一方に基づき、前記診断対象の臓器において現れている一の異常症状を特定するための処理を行い、
     病変抽出機能部における複数の病変抽出部が、前記内視鏡画像から病変候補領域を抽出するための病変抽出処理として、前記診断対象の臓器において現れ得る異常症状毎に特化された異なる処理を行い、
     病変抽出機能制御部が、前記複数の病変抽出部の中から前記異常症状特定部により特定された前記一の異常症状に応じた一の病変抽出部を選択するための処理を行うとともに、当該一の病変抽出部において前記病変抽出処理を行わせるための制御を前記病変抽出機能部に対して行う
     ことを特徴とする診断支援方法。
  13.  コンピュータに、
     被検者の診断対象の臓器の状態を推定可能な1つ以上の情報を含む身体情報、及び、前記診断対象の臓器を撮像して得られた内視鏡画像のうちの少なくとも一方に基づき、前記診断対象の臓器において現れている一の異常症状を特定するための処理と、
     前記内視鏡画像から病変候補領域を抽出するための病変抽出処理として前記診断対象の臓器において現れ得る異常症状毎に特化された異なる処理を行う複数の病変抽出部の中から、前記一の異常症状に応じた一の病変抽出部を選択するための処理と、
     前記一の病変抽出部において前記病変抽出処理を行わせるための処理と、
     を実行させるためのプログラム。
PCT/JP2019/011102 2019-03-18 2019-03-18 診断支援装置、診断支援方法及びプログラム WO2020188682A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/011102 WO2020188682A1 (ja) 2019-03-18 2019-03-18 診断支援装置、診断支援方法及びプログラム
JP2021506837A JP7138771B2 (ja) 2019-03-18 2019-03-18 診断支援装置、診断支援方法及びプログラム
CN201980094003.7A CN113613543A (zh) 2019-03-18 2019-03-18 诊断辅助装置、诊断辅助方法以及程序
US17/476,604 US20220000351A1 (en) 2019-03-18 2021-09-16 Control apparatus, diagnosis support method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/011102 WO2020188682A1 (ja) 2019-03-18 2019-03-18 診断支援装置、診断支援方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/476,604 Continuation US20220000351A1 (en) 2019-03-18 2021-09-16 Control apparatus, diagnosis support method, and recording medium

Publications (1)

Publication Number Publication Date
WO2020188682A1 true WO2020188682A1 (ja) 2020-09-24

Family

ID=72519210

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/011102 WO2020188682A1 (ja) 2019-03-18 2019-03-18 診断支援装置、診断支援方法及びプログラム

Country Status (4)

Country Link
US (1) US20220000351A1 (ja)
JP (1) JP7138771B2 (ja)
CN (1) CN113613543A (ja)
WO (1) WO2020188682A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019230302A1 (ja) * 2018-05-28 2019-12-05 富士フイルム株式会社 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置
KR102222015B1 (ko) * 2019-07-31 2021-03-04 주식회사 코어라인소프트 의료용 인공 신경망 기반 행잉 프로토콜을 제공하는 의료 영상 판독 지원 장치 및 방법
CN114464316B (zh) * 2022-04-11 2022-07-19 武汉大学 胃部异常风险等级预测方法、装置、终端及可读存储介质
US11908577B2 (en) 2022-07-22 2024-02-20 Health Science Partners LLC Telemedicine platform including virtual assistance

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165757A (ja) * 2000-11-30 2002-06-11 Olympus Optical Co Ltd 診断支援装置
JP2011212094A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 診断支援システム、診断支援装置、診断支援方法および診断支援プログラム
JP2012152279A (ja) * 2011-01-24 2012-08-16 Fujifilm Corp 内視鏡装置
JP2012157384A (ja) * 2011-01-28 2012-08-23 Fujifilm Corp 診断支援装置、診断支援方法、病変部検出装置、及び病変部検出方法
JP2012249956A (ja) * 2011-06-06 2012-12-20 Toshiba Corp カプセル内視鏡画像処理装置及びカプセル内視鏡システム
JP2016007354A (ja) * 2014-06-24 2016-01-18 富士フイルム株式会社 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
WO2016151711A1 (ja) * 2015-03-20 2016-09-29 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2018517188A (ja) * 2015-03-02 2018-06-28 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 細胞画像および映像の分類
WO2019016912A1 (ja) * 2017-07-20 2019-01-24 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム
WO2019039259A1 (ja) * 2017-08-25 2019-02-28 富士フイルム株式会社 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120101372A1 (en) * 2010-10-25 2012-04-26 Fujifilm Corporation Diagnosis support apparatus, diagnosis support method, lesioned part detection apparatus, and lesioned part detection method
KR20160035888A (ko) * 2014-09-24 2016-04-01 재단법인대구경북과학기술원 내시경 장비를 이용한 진단 보조 장치 및 방법
CN109475278A (zh) * 2016-07-25 2019-03-15 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
EP3679853A4 (en) * 2017-09-07 2020-10-14 Fujifilm Corporation DIAGNOSIS SUPPORT SYSTEM, ENDOSCOPE SYSTEM, PROCESSOR, AND DIAGNOSIS SUPPORT METHOD
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法
WO2019134945A1 (en) * 2018-01-03 2019-07-11 Koninklijke Philips N.V. System and method for detecting abnormal tissue using vascular features
US20210321932A1 (en) * 2018-08-28 2021-10-21 Neurospring Medical device and method for diagnosis and treatment of disease

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165757A (ja) * 2000-11-30 2002-06-11 Olympus Optical Co Ltd 診断支援装置
JP2011212094A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 診断支援システム、診断支援装置、診断支援方法および診断支援プログラム
JP2012152279A (ja) * 2011-01-24 2012-08-16 Fujifilm Corp 内視鏡装置
JP2012157384A (ja) * 2011-01-28 2012-08-23 Fujifilm Corp 診断支援装置、診断支援方法、病変部検出装置、及び病変部検出方法
JP2012249956A (ja) * 2011-06-06 2012-12-20 Toshiba Corp カプセル内視鏡画像処理装置及びカプセル内視鏡システム
JP2016007354A (ja) * 2014-06-24 2016-01-18 富士フイルム株式会社 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
JP2018517188A (ja) * 2015-03-02 2018-06-28 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 細胞画像および映像の分類
WO2016151711A1 (ja) * 2015-03-20 2016-09-29 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2019016912A1 (ja) * 2017-07-20 2019-01-24 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム
WO2019039259A1 (ja) * 2017-08-25 2019-02-28 富士フイルム株式会社 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法

Also Published As

Publication number Publication date
CN113613543A (zh) 2021-11-05
JP7138771B2 (ja) 2022-09-16
US20220000351A1 (en) 2022-01-06
JPWO2020188682A1 (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
WO2020188682A1 (ja) 診断支援装置、診断支援方法及びプログラム
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP4294440B2 (ja) 画像処理装置
US11969148B2 (en) Medical image processing device
JP6368870B2 (ja) 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
WO2021075418A1 (ja) 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
WO2020184257A1 (ja) 医用画像処理装置及び方法
JPWO2020039931A1 (ja) 内視鏡システム及び医療画像処理システム
US20230237659A1 (en) Image processing apparatus, endoscope system, operation method of image processing apparatus, and non-transitory computer readable medium
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP2021065606A (ja) 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体
WO2022163514A1 (ja) 医療画像処理装置、方法及びプログラム
WO2021044910A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
EP4111938A1 (en) Endoscope system, medical image processing device, and operation method therefor
EP4137035A1 (en) Image processing device and operating method therefor
US11978209B2 (en) Endoscope system, medical image processing device, and operation method therefor
JP7257544B2 (ja) 情報表示システムおよび情報表示方法
WO2022024423A1 (ja) 内視鏡システム及びその作動方法
US20240074638A1 (en) Medical image processing apparatus, medical image processing method, and program
JP2023178526A (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
JP7470776B2 (ja) 内視鏡システム、制御方法、及び制御プログラム
WO2021192524A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
JP2022180108A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19920054

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021506837

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19920054

Country of ref document: EP

Kind code of ref document: A1