WO2021010225A1 - コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサ - Google Patents

コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサ Download PDF

Info

Publication number
WO2021010225A1
WO2021010225A1 PCT/JP2020/026525 JP2020026525W WO2021010225A1 WO 2021010225 A1 WO2021010225 A1 WO 2021010225A1 JP 2020026525 W JP2020026525 W JP 2020026525W WO 2021010225 A1 WO2021010225 A1 WO 2021010225A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
recognizer
lesion
endoscope
Prior art date
Application number
PCT/JP2020/026525
Other languages
English (en)
French (fr)
Inventor
池谷 浩平
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to US17/297,808 priority Critical patent/US11937767B2/en
Priority to JP2021532990A priority patent/JP7304951B2/ja
Priority to CN202080006626.7A priority patent/CN113168699B/zh
Publication of WO2021010225A1 publication Critical patent/WO2021010225A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/12Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Definitions

  • This technology relates to computer programs, information processing methods, and endoscope processors.
  • Computer-aided diagnosis technology has been developed that automatically detects lesion sites using a learning model from medical images such as endoscopic images.
  • a method of generating a learning model by supervised machine learning using teacher data with a correct answer label is known.
  • Patent Document 1 A learning method that combines the first learning using images taken with a normal endoscope as teacher data and the second learning using images taken with a capsule endoscope as teacher data is proposed.
  • Patent Document 1 has a problem that the ability to detect lesions is not sufficient.
  • the purpose of the present disclosure is to provide a computer program or the like having a high ability to detect a lesion.
  • the computer program in one aspect of the present disclosure acquires an image taken by an endoscope and recognizes a lesion portion based on the image, and a recognition accuracy higher than that of the first recognizer based on the image.
  • the image taken by the endoscope is input to the second recognizer that recognizes the lesion portion in the above, and provisional information including the recognition result recognized by the first recognizer is acquired, and the acquired provisional information is obtained.
  • the image including the image is output, the confirmation information for the provisional information including the recognition result recognized by the second recognizer is acquired, and the computer is made to execute the process of outputting the image including the acquired confirmation information.
  • FIG. It is explanatory drawing which shows the appearance of the diagnosis support system. It is explanatory drawing explaining the structure of the diagnosis support system. It is explanatory drawing about the generation processing of the 1st trained model in Embodiment 1.
  • FIG. It is explanatory drawing about the generation processing of the 2nd trained model.
  • It is a functional block diagram which shows the structure of a control device. It is explanatory drawing explaining about the adjustment of the light amount information.
  • It is a time chart which schematically explains the operation of the diagnosis support system. It is a figure which shows the screen example which is displayed on the display device. It is a flowchart which shows an example of the processing procedure executed in the diagnosis support system. It is a functional block diagram which shows the structure of the control device in Embodiment 2.
  • FIG. 1 is an explanatory diagram showing the appearance of the diagnosis support system 10.
  • the diagnostic support system 10 includes an endoscope processor 20, an endoscope 40, and a display device 50.
  • the display device 50 is, for example, a liquid crystal display device or an organic EL (Electro Luminescence) display device.
  • the display device 50 is installed on the upper stage of the storage shelf 16 with casters.
  • the endoscope processor 20 is housed in the middle stage of the storage shelf 16.
  • the storage shelf 16 is arranged in the vicinity of an endoscopy bed (not shown).
  • the storage shelf 16 has a pull-out shelf on which the keyboard 15 connected to the endoscope processor 20 is mounted.
  • the endoscope processor 20 has a substantially rectangular parallelepiped shape and is provided with a touch panel 25 on one surface.
  • a reading unit 28 is arranged at the bottom of the touch panel 25.
  • the reading unit 28 is a connection interface for reading and writing a portable recording medium such as a USB connector, an SD (Secure Digital) card slot, or a CD-ROM (Compact Disc Read Only Memory) drive.
  • the endoscope 40 has an insertion unit 44, an operation unit 43, a light guide flexible tube 49, and a scope connector 48.
  • the operation unit 43 is provided with a control button 431.
  • the insertion portion 44 is long and one end thereof is connected to the operation portion 43 via the folding portion 45.
  • the insertion portion 44 has a soft portion 441, a curved portion 442, and a tip portion 443 in this order from the operation portion 43 side.
  • the bending portion 442 bends in response to the operation of the bending knob 433.
  • the light guide flexible tube 49 is long, and the first end is connected to the operation unit 43 and the second end is connected to the scope connector 48.
  • the light guide flexible tube 49 is flexible.
  • the scope connector 48 has a substantially rectangular parallelepiped shape.
  • the scope connector 48 is provided with an air supply water supply port 36 (see FIG. 2) for connecting an air supply water supply tube.
  • FIG. 2 is an explanatory diagram illustrating the configuration of the diagnosis support system 10.
  • the diagnostic support system 10 includes an endoscope processor 20, an endoscope 40, and a display device 50.
  • the endoscope processor 20 includes a control device 21, a main storage device 22, an auxiliary storage device 23, a communication unit 24, a display device I / F (Interface) 26, and an input device I /. It includes an F27, an endoscope connector 31, a light source 33, a pump 34, and a bus.
  • the endoscope connector 31 includes an electrical connector 311 and an optical connector 312.
  • the control device 21 includes a control unit 211 and is composed of a circuit board or the like. Circuits such as FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit), and CPU (Central Processing Unit), which is an arithmetic control device that executes the program 63 of the present embodiment, are mounted on the board. ing. The control device 21 is connected to each part of the hardware constituting the endoscope processor 20 via a bus.
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • CPU Central Processing Unit
  • the main storage device 22 is a storage device such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), and flash memory.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • flash memory temporary stores information necessary during the process performed by the control unit 211 and the program being executed by the control unit 211.
  • the communication unit 24 is an interface for data communication between the endoscope processor 20 and the network.
  • the touch panel 25 includes a display unit 251 such as a liquid crystal display panel and an input unit 252 laminated on the display unit 251.
  • the display device I / F 26 is an interface that connects the endoscope processor 20 and the display device 50.
  • the input device I / F 27 is an interface for connecting the endoscope processor 20 and an input device such as a keyboard 15.
  • the light source 33 is a high-brightness white light source such as a white LED.
  • the light source 33 is connected to the bus via a driver (not shown).
  • the lighting, extinguishing, and changing of the brightness of the light source 33 are controlled by the control unit 211.
  • the illumination light emitted from the light source 33 is incident on the optical connector 312.
  • the optical connector 312 engages with the scope connector 48 to supply illumination light to the endoscope 40.
  • the pump 34 generates pressure for the air supply / water supply function of the endoscope 40.
  • the pump 34 is connected to the bus via a driver (not shown).
  • the on / off and pressure change of the pump 34 are controlled by the control unit 211.
  • the pump 34 is connected to the air supply water supply port 36 provided in the scope connector 48 via the water supply tank 35.
  • the auxiliary storage device 23 is a storage device such as a SRAM, a flash memory, or a hard disk.
  • the auxiliary storage device 23 is required to execute the first trained model 61 which is the first recognizer, the second trained model 62 which is the second recognizer, the program 63 to be executed by the control unit 211, and the program 63.
  • Various data are saved.
  • the first trained model 61, the second trained model 62, and the program 63 are stored in the auxiliary storage device 23 by the control unit 211 being downloaded from an external device via a network such as the so-called Internet via the communication unit 24. It may be a thing.
  • the first trained model 61, the second trained model 62, and the program 63 may be those that the control unit 211 reads from the portable storage medium 63a via the reading unit 28 and stores them in the auxiliary storage device 23. ..
  • the first trained model 61, the second trained model 62, and the program 63 may be those read by the control unit 211 from the semiconductor memory 63b.
  • FIG. 3 is an explanatory diagram relating to the generation process of the first trained model 61 in the first embodiment.
  • the control unit 211 generates a trained model of machine learning including deep learning that inputs the image information of the endoscope and outputs the information indicating whether or not the lesion is included in the image.
  • the control unit 211 performs machine learning to learn the image feature amount related to the lesion of the inspection unit in the image (original image 52) taken by the inspection unit by the endoscope.
  • the first trained model 61 is, for example, a neural network, which is a CNN (Convolution Neural Network).
  • the first trained model 61 extracts an input layer that accepts input of an endoscopic image, an output layer that outputs information (identification result) indicating the presence or absence of a lesion, and an image feature amount of the endoscopic image. It has an intermediate layer.
  • the input layer has a plurality of neurons that accept the input of the pixel value of each pixel included in the image of the endoscope, and passes the input pixel value to the intermediate layer.
  • the intermediate layer has a plurality of neurons that extract image features of the endoscopic image, and passes the image features extracted using various parameters to the output layer.
  • the intermediate layer includes a convolution layer that convolves the pixel values of each pixel input from the input layer and a pooling layer that maps the pixel values convolved by the convolution layer. Have a configuration in which the images are alternately connected, and the image feature amount is finally extracted while compressing the pixel information of the image area of the object.
  • the output layer has one or more neurons that output an identification result indicating the presence or absence of a lesion, and outputs identification information indicating whether or not a lesion is included based on the image feature amount output from the intermediate layer. ..
  • the control unit 211 learns various parameters in the intermediate layer by using the teacher data in which a plurality of images of the examination unit taken by the endoscope and the information on the lesion of the examination unit in each image are associated with each other.
  • the teacher data is constructed as a data set in which the presence or absence of a lesion and the coordinate range of the image region corresponding to the lesion portion are labeled with respect to the endoscopic image.
  • the lesion may include a site that may be diagnosed as a lesion, that is, a lesion candidate.
  • the control unit 211 performs learning using images of a large number of tests performed in the past and data collected from diagnostic results.
  • the data also includes images of the diagnosis of no lesions. In FIG.
  • the labeled image area is illustrated by a broken line rectangular frame.
  • the image region corresponding to the lesion portion may be extracted by using a model visualization method such as Grad-CAM (Gradient-weighted Class Activation Mapping).
  • Grad-CAM Grad-CAM (Gradient-weighted Class Activation Mapping).
  • the control unit 211 extracts a region that strongly affects the output from the output layer as a lesion portion.
  • the control unit 211 inputs the image of the endoscope included in the teacher data to the input layer, performs arithmetic processing in the intermediate layer, and acquires an identification result indicating the presence or absence of a lesion from the output layer. For example, the control unit 211 acquires, as the identification result output from the output layer, the identification result of identifying the image region corresponding to the lesion portion in addition to the presence or absence of the lesion in the image of the endoscope. The control unit 211 compares the identification result output from the output layer with the information about the lesion labeled on the image in the teacher data, that is, the correct answer value, so that the output value from the output layer approaches the correct answer value. Optimize various parameters used for arithmetic processing in the intermediate layer.
  • the parameters are, for example, weights between neurons, bias, and the like.
  • the method of optimizing various parameters is not particularly limited, but for example, the control unit 211 optimizes various parameters by using the backpropagation method.
  • the control unit 211 performs the above processing on each image included in the teacher data to generate the first trained model 61.
  • FIG. 4 is an explanatory diagram regarding the generation process of the second trained model 62.
  • the second trained model 62 is an endoscope in which the image (original image 52) of the endoscope input to the first trained model 61 is subjected to a predetermined preprocessing described later and can be identified with high accuracy. An image (processed image 54) is input.
  • the second trained model 62 outputs an estimation result indicating the content of the lesion (tumor / benign, tumor / malignant, etc.) together with the presence / absence of the lesion in the endoscopic image.
  • the control unit 211 generates a trained model of machine learning including deep learning that inputs the image information of the endoscope and outputs the information indicating the presence / absence and contents of the lesion in the image.
  • the control unit 211 performs machine learning to learn the image feature amount related to the lesion of the inspection unit in the image (processed image 54) taken by the inspection unit by the endoscope.
  • the second trained model 62 is, for example, a neural network and is a CNN.
  • the second trained model 62 includes an input layer that accepts the input of the endoscopic image, an output layer that outputs information (identification result) about the lesion, and an intermediate layer that extracts the image feature amount of the endoscopic image. To be equipped.
  • the input layer has a plurality of neurons that accept the input of the pixel value of each pixel included in the image of the endoscope, and passes the input pixel value to the intermediate layer.
  • the intermediate layer has a plurality of neurons that extract image features of the endoscopic image, and passes the image features extracted using various parameters to the output layer.
  • the second trained model 62 is a CNN
  • the intermediate layer includes a convolution layer that convolves the pixel values of each pixel input from the input layer and a pooling layer that maps the pixel values convolved by the convolution layer. Have a configuration in which the images are alternately connected, and the image feature amount is finally extracted while compressing the pixel information of the image area of the object.
  • the output layer has one or a plurality of neurons that output identification results indicating information on lesions, and outputs identification information indicating the presence or absence and contents of lesions based on the amount of image features output from the intermediate layer.
  • the control unit 211 learns various parameters in the intermediate layer by using the teacher data in which a plurality of images of the examination unit taken by the endoscope and the information on the lesion of the examination unit in each image are associated with each other.
  • the teacher data is constructed as a data set in which the presence or absence of a lesion, the coordinate range of the image region corresponding to the lesion, and the content of the lesion are labeled with respect to the endoscopic image. ..
  • the control unit 211 performs learning using images of a large number of tests performed in the past and data collected from diagnostic results.
  • the data also includes images of the diagnosis of no lesions.
  • the labeled image area is illustrated by a thick rectangular frame.
  • the control unit 211 inputs the image of the endoscope included in the teacher data to the input layer, performs arithmetic processing in the intermediate layer, and acquires an identification result indicating the presence or absence of a lesion and the content from the output layer. For example, the control unit 211 acquires, as the identification result output from the output layer, an identification result that identifies the image region corresponding to the lesion portion and the content of the lesion, in addition to the presence or absence of the lesion in the endoscopic image. The control unit 211 compares the identification result output from the output layer with the information about the lesion labeled on the image in the teacher data, that is, the correct answer value, so that the output value from the output layer approaches the correct answer value.
  • Optimize various parameters used for arithmetic processing in the intermediate layer are, for example, weights between neurons, bias, and the like.
  • the method of optimizing various parameters is not particularly limited, but for example, the control unit 211 optimizes various parameters by using the backpropagation method.
  • the control unit 211 performs the above processing on each image included in the teacher data to generate the second trained model 62.
  • the second trained model 62 may be a trained model having the same configuration as the first trained model 61, and the second trained model 62 is an intermediate model having more layers than the first trained model 61. It may be a trained model having layers and improving image recognition accuracy. The second trained model 62 may have a longer processing time than the first trained model 61. For example, in the first trained model 61, grayscale image information is given to the input information, and in the second trained model 62, image information including RGB (Red Green Blue) values is given to the input information.
  • RGB Red Green Blue
  • the first trained model 61 and the second trained model 62 are described as being CNNs, but the first trained model 61 and the second trained model 62 are not limited to CNNs.
  • a neural network other than CNN may be used.
  • it may be a trained model constructed by other learning algorithms such as a reinforcement learning model that does not use a neural network, a support vector machine, and a regression tree.
  • the first trained model 61 and the second trained model 62 are optional, such as R-CNN, Faster R-CNN, Mask R-CNN, SSD (Single Shot Multibook Detector), or YOLO (You Only Look Once). It may be a trained model constructed by the object detection algorithm of.
  • each lesion may be input to the first trained model 61 and the second trained model 62, and the recognition result may be output.
  • the first trained model 61 and the second trained model 62 may be generated by an external device and installed in the endoscope processor 20.
  • the method of recognizing the lesion by the endoscopic image is not limited.
  • the first recognizer and the second recognizer calculate the image feature amount of the endoscopic image, and by pattern matching with the lesion image stored in advance, the presence or absence of the lesion included in the endoscopic image.
  • the content may be recognized.
  • FIG. 5 is a functional block diagram showing the configuration of the control device 21.
  • the control device 21 includes a control unit 211, an A / D conversion unit 212, a signal processing unit 213, and a noise removal unit 214.
  • the control unit 211 is an arithmetic control device that executes the program 63 of the present embodiment, and one or more CPUs, a multi-core CPU, or the like is used. Further, the control unit 211 realizes each function of the display control unit 215 and the system control unit 216 by executing the program 63 stored in the auxiliary storage device 23. In FIG. 5, these parts are shown as functional parts.
  • the A / D converter 212 uses, for example, an A / D converter.
  • the A / D conversion unit 212 digitally obtains digital data (RAW data) of the electrical signal of the captured image 51 that is captured by the image pickup element provided at the tip portion 443 of the endoscope 40 and transmitted to the endoscope processor 20. Convert to.
  • the captured image 51 is obtained as a moving image, and is composed of a still image of a plurality of frames such as 60 frames per second.
  • the RAW data refers to data obtained by A / D converting an analog signal obtained from an image sensor, and is data that has not been corrected.
  • the A / D conversion unit 212 converts the captured image 51 into the original image 52 which is RAW data.
  • the A / D conversion unit 212 may perform only signal processing on the original image 52, which is RAW data, without causing a time delay.
  • the original image 52 converted by the A / D conversion unit 212 is input to the first trained model 61 and the signal processing unit 213, respectively.
  • the signal processing unit 213 is a signal processing circuit that performs various image processing such as gamma correction, contour enhancement, and enlargement / reduction of the original image 52 using an ASIC or the like.
  • the signal processing unit 213 changes the number of bits of the original image 52 as necessary, and for example, converts the original image 52 having a 10-bit gradation converted by the A / D conversion unit 212 into an 8-bit gradation.
  • Image processing is performed to change the number of bits to a number suitable for subsequent image processing.
  • the signal processing unit 213 generates an image (endoscopic image 53) that has undergone image processing to make it easier for the user to see, and inputs it to the display control unit 215. Further, the signal processing unit 213 inputs the image processed for improving the recognition accuracy of the lesion to the noise removing unit 214.
  • the noise removing unit 214 is a so-called video memory, and includes a memory for holding an image of a frame immediately before and immediately before noise removal.
  • the noise removing unit 214 performs image processing for removing noise in the image of the target frame based on the difference between the image of the immediately preceding frame and the image of the immediately preceding frame.
  • the image processed by the signal processing unit 213 and the noise removing unit 214 (processed image 54) is input to the second trained model 62.
  • the control unit 211 functions as the first trained model 61 by executing the program 63 stored in the auxiliary storage device 23 or reading the actual file constituting the first trained model 61.
  • the first trained model 61 outputs information regarding the presence or absence of a lesion to the display control unit 215 according to the original image 52.
  • the control unit 211 functions as the second trained model 62 by executing the program 63 stored in the auxiliary storage device 23 or reading the actual file constituting the second trained model 62.
  • the second trained model 62 outputs information regarding the presence / absence and contents of the lesion to the display control unit 215 according to the processed image 54.
  • the display control unit 215 acquires the provisional information based on the output information from the first trained model 61 and the confirmation information based on the output information from the second trained model 62, and the provisional information image 55 including the provisional information and the confirmation information. Controls the display of the confirmation information image 56 including the image 56 on the display device 50. Further, the display control unit 215 acquires light quantity information regarding the brightness of the imaging region including the lesion portion of the original image 52 based on the output information from the first trained model 61. If the captured image of the area including the lesion is too bright or too dark, the recognition accuracy of the image in the trained model may decrease. The display control unit 215 derives the light amount information for determining the brightness of the lesion portion of the original image 52 based on the output information from the first trained model 61. The derived light amount information is input to the system control unit 216.
  • the system control unit 216 reads out a light amount control information database (not shown) stored in advance, identifies appropriate light amount control information based on the acquired light amount information, and uses the specified light amount control information as the light source of the endoscope processor 20. It is output to 33 to control the amount of light of the light source 33. Since the amount of light of the light source 33 is reduced or increased as necessary by the control of the system control unit 216, the captured image 51 in which the brightness of the lesion is appropriately adjusted can be obtained, and the brightness and color of the lesion can be adjusted.
  • the adjusted processed image 54 is input to the second trained model 62.
  • FIG. 6 is an explanatory diagram for explaining the adjustment of the light intensity information.
  • FIG. 6A shows an example of an image in which the lesion is included in the right back.
  • an image is displayed in a brighter region on the front side of the image and darker in a region on the back side of the image. Therefore, when the image is taken with the lesion on the far right, the area including the lesion is displayed dark as shown in FIG. 6A, and can be identified by the first recognizer, but can be identified by the second recognizer. Highly accurate recognition results may not be obtained.
  • the control unit 211 acquires the light amount information indicating that the brightness is low based on the image information, and specifies the light amount control information based on the acquired light amount information. Based on the specified light amount control information, the control unit 211 outputs, for example, control information for increasing the light amount to a predetermined value to the light source 33.
  • FIG. 6B shows an example of an image in which the lesion is included in the right back after the adjustment based on the light intensity information is performed.
  • the amount of light of the light source 33 is increased as described above, an image in which the region including the lesion portion is bright can be obtained as shown in FIG. 6B.
  • the recognizer can make a judgment based on an image in which the brightness and color of the lesion are adjusted.
  • FIG. 6C shows an example of an image in which the lesion is included in the foreground.
  • the lesion portion is included in the foreground, and halation occurs in a part of the inside of the lesion due to excessive light intensity.
  • the first recognizer can identify the image, but the second recognizer may not be able to obtain a highly accurate recognition result.
  • the control unit 211 acquires the light amount information indicating that the brightness is high based on the image information, and specifies the light amount control information based on the acquired light amount information.
  • control unit 211 Based on the specified light amount control information, the control unit 211 outputs control information for reducing the light amount to a predetermined value, for example, to the light source 33. In this way, the amount of light is appropriately adjusted to reduce the brightness of the entire image, and even when the lesion is in front, an image in which halation does not occur in the region of interest can be obtained.
  • FIG. 7 is a time chart schematically explaining the operation of the diagnosis support system 10.
  • the horizontal axis shows time.
  • FIG. 7A shows the timing of outputting the image 51 captured by the image sensor 141.
  • FIG. 7B shows the timing at which the original image 52 is output by the image processing of the A / D conversion unit 212.
  • FIG. 7C shows the timing at which the first recognizer (first trained model 61) outputs provisional information based on the original image 52.
  • FIG. 7D shows the timing of outputting the processed image by the image processing of the signal processing unit 213.
  • FIG. 7E shows the timing of outputting the processed image 54 by the image processing of the noise removing unit 214.
  • FIG. 7F shows the timing at which the second recognizer (second trained model 62) outputs definite information based on the processed image 54.
  • the image sensor 141 outputs the frame “a” of the captured image 51.
  • the A / D conversion unit 212 performs the A / D conversion process and outputs the original image 52 of "a” at time t1.
  • the control unit 211 inputs the original image 52 into the first trained model 61 and outputs provisional information including the recognition result.
  • the control unit 211 displays the provisional information image 55 on the display device 50 and outputs the light intensity information.
  • the signal processing unit 213 performs image processing and outputs the image subjected to the image processing of “a”.
  • the noise removing unit 214 performs image processing and outputs the processed image 54 of “a”.
  • the control unit 211 inputs the processed image 54 into the second trained model 62 and outputs definite information including the recognition result.
  • the control unit 211 causes the display device 50 to display the confirmation information image 56. This completes the processing of the image for one frame taken by the image sensor 141. Similarly, the frame of "b" is output by the image sensor 141 at time t2. Since the subsequent operations are the same, the description thereof will be omitted.
  • the provisional information is output one frame later than the output of the image sensor 141, and the confirmation information is output two frames later than the output of the provisional information. Since the output from the first recognizer is obtained at the same time as the output of the signal processing unit 213, the user can obtain the provisional information with almost no delay. Since the output from the second recognizer is delayed by 3 frames from the output of the image sensor, if the 1-frame period is, for example, 33 ms, the output is delayed by about 0.1 seconds, so that the user may feel a slight delay.
  • the output of the finalized information is obtained with a further delay.
  • the frame of "d" output at time t4 is "a".
  • the definite information after receiving the light amount adjustment is output at time t7 with a delay of 6 frames from the output of the image sensor.
  • a fiber bundle, a cable bundle, an air supply tube, a water supply tube, and the like are inserted inside the scope connector 48, the light guide flexible tube 49, the operation unit 43, and the insertion unit 44.
  • the illumination light emitted from the light source 33 is radiated from the illumination window provided at the tip portion 443 via the optical connector 312 and the fiber bundle.
  • the range illuminated by the illumination light is photographed by the image sensor provided at the tip portion 443.
  • the image sensor 51 is transmitted from the image sensor to the endoscope processor 20 via the cable bundle and the electric connector 311.
  • the control unit 211 performs image processing on the captured image 51 to generate an endoscopic image 53 that is easy for the user to visually detect a lesion.
  • the control unit 211 generates a provisional information image 55 including provisional information based on the recognition result of the first trained model 61.
  • the control unit 211 generates a definite information image 56 including definite information based on the recognition result of the second trained model 62.
  • the control unit 211 outputs the endoscope image 53, the provisional information image 55, and the confirmation information image 56 to the display device 50.
  • FIG. 8 is a diagram showing an example of a screen displayed on the display device 50.
  • FIG. 8A shows an example of the display screen of the endoscopic image 53.
  • the endoscopic image 53 is updated in real time. The user who operates the endoscope 40 operates the endoscope 40 while observing the endoscope image 53.
  • FIG. 8B shows an example of the display screen of the provisional information image 55.
  • the provisional information image 55 is an image in which the provisional information is superimposed and displayed on the endoscopic image 53.
  • the provisional information is information based on the recognition result of the first trained model 61, and includes the recognition result of the presence / absence and position of the lesion in the image region.
  • the provisional information is displayed on the display device 50 in a form recognizable by the user.
  • the provisional information is displayed by the provisional marker 551 indicated by the dashed bounding box, which includes the region recognized as a lesion in the first trained model 61.
  • FIG. 8C shows an example of the display screen of the first example of the confirmation information image 56.
  • the definite information image 56 is an image in which the definite information is superimposed and displayed on the endoscopic image 53.
  • the definite information is information based on the recognition result of the second trained model 62, and includes the recognition result of the content and position of the lesion in the image region.
  • the confirmation information is displayed on the display device 50 in a form recognizable by the user.
  • the deterministic information is displayed by the deterministic marker 561 indicated by the thick line bounding box, which includes the region recognized as a lesion in the second trained model 62.
  • the definitive information may be displayed including text or the like indicating the content of the lesion.
  • FIG. 8D shows an example of the display screen of the second example of the confirmation information image 56.
  • the definite information image 56 is an image in which the definite information is superimposed and displayed on the endoscopic image 53.
  • the definite information includes a definite marker 562 indicated by a solid bounding box including a region recognized as a lesion (benign) in the second trained model 62, and a text (“Neoplasmtic” or the like) indicating the content of the recognition result. It is displayed using.
  • the bounding box is indicated by a double rectangular frame.
  • definitive information including the recognition result such as no lesion or benign lesion by the second recognizer can be obtained.
  • the control unit 211 displays a definite information image 56 including information for erasing the provisional marker 551 or a definite marker 562 indicating that the lesion is benign and information for displaying text or the like.
  • the definite markers 561 and 562 are displayed in different colors and shapes depending on the content of the lesion (benign or malignant).
  • definitive information may be displayed with a marker shown in green when the lesion is benign and red when the lesion is malignant, and when the lesion is benign, it is circular and the lesion is malignant.
  • the confirmation information may be displayed by a marker indicated by a square shape.
  • the confirmation information may be output by reading aloud the text by synthetic voice, or may be output using different music or the like according to the content of the lesion.
  • the definite information image 56 includes definite markers 561 and 562 indicating a plurality of lesions, for example, beep sounds and music in which the frequency, tempo, output frequency, etc. are changed according to the number of lesions. Etc. may be output.
  • a numerical value indicating the number of definite markers indicating the lesion may be included and displayed.
  • FIG. 9 is a flowchart showing an example of a processing procedure executed by the diagnosis support system 10.
  • the flowchart shown in FIG. 9 describes the processing executed by the control unit 211, the A / D conversion unit 212, the signal processing unit 213, and the noise removing unit 214 of the endoscope processor 20.
  • the control unit 211 and the like execute the processing shown in FIG. 9 in parallel with the processing such as the generation of the endoscope image 53 and the control of the light source 33 and the image pickup element arranged at the tip portion 443 of the endoscope 40.
  • the A / D conversion unit 212 acquires the captured image 51 from the endoscope 40 (step S11).
  • the A / D conversion unit 212 performs A / D conversion of the acquired captured image 51 (step S12) to generate the original image 52.
  • the control unit 211 gives the original image 52 to the first trained model 61 (step S21), and specifies the output information to be output (step S22).
  • the control unit 211 temporarily stores the provisional information based on the specified output information in the auxiliary storage device 23.
  • the control unit 211 generates a provisional information image 55 in which the provisional information is superimposed and displayed on the endoscope image 53, and displays the provisional information image 55 including the provisional information on the display device 50 (step S23). For example, a definitive information image showing a provisional marker is displayed on the lesion.
  • the control unit 211 or the like generates a sub-process and performs the process of step S41 in parallel with the process of step S21 and subsequent steps.
  • the signal processing unit 213 performs various image processing on the original image 52 (step S41).
  • the noise removing unit 214 removes noise from the image processed image (step S42) and generates the processed image 54.
  • the control unit 211 gives the processed image 54 to the second trained model 62 (step S43), and specifies the output information to be output (step S44).
  • the control unit 211 temporarily stores the definite information based on the specified output information in the auxiliary storage device 23.
  • the control unit 211 generates a confirmation information image 56 in which the confirmation information is superimposed and displayed on the endoscope image 53, and displays the confirmation information image 56 including the confirmation information on the display device 50 (step S45). For example, when the provisional information of the first trained model 61 and the definite information of the second trained model 62 include the same recognition result for the lesion, the control unit 211 sets the lesion portion on which the provisional marker 551 is shown.
  • the control unit 211 contains a provisional information image including the lesion portion on which the provisional marker 551 is shown.
  • the definite information image 56 in which the provisional marker 551 displayed on the lesion is erased is displayed.
  • the control unit 211 acquires light intensity information regarding the brightness of the image in the imaging region including the lesion portion of the original image 52 (step S24).
  • the control unit 211 determines whether or not to control the light amount of the light source 33 based on the light amount information (step S25). For example, when the brightness of the imaging region including the lesion portion of the original image 52 is within the preset threshold range, it is determined that the light intensity control is unnecessary because the brightness of the lesion portion is appropriate. .. When it is determined that the light amount control is unnecessary (step S25: NO), the control unit 211 skips the light amount control process and proceeds to step S13.
  • the control unit 211 refers to the light amount control information database stored in advance and acquires the light amount control information according to the light amount information (step S26). The control unit 211 outputs the acquired light amount control information to the light source 33 of the endoscope processor 20 (step S27). The amount of light of the light source 33 is controlled.
  • the control unit 211 determines whether or not the shooting is completed (step S13). When it is determined that the shooting is not completed (step S13: NO), the control unit 211 returns the process to step S11 and acquires a new captured image. When it is determined that the shooting is completed (step S13: YES), the control unit 211 and the like end a series of processes. The control unit 211 or the like may perform a loop process of performing step S11 after the process of step S13.
  • provisional information is first output by the first recognizer (first trained model 61).
  • first recognizer first trained model 61
  • the detection time delay is shortened and the real-time performance of the inspection is improved.
  • the confirmation information is output by the second recognizer (second trained model 62).
  • FIG. 10 is a functional block diagram showing the configuration of the control device 21 according to the second embodiment.
  • the configuration of the diagnosis support system 10 in the second embodiment is different except that the control device 21 is provided with the first signal processing unit 218 and the second signal processing unit 219, and the details of the processing executed by the diagnosis support system 10 are different. Since it is the same as the configuration in the first embodiment, the same reference numerals are given to the common configurations, and detailed description thereof will be omitted.
  • the system control unit 216 acquires the light amount information output from the display control unit 215, reads out the light amount control information database (not shown) stored in advance, and parameters suitable for image processing of the original image 52.
  • the light amount control information including the information of is acquired.
  • the system control unit 216 outputs the light amount control information to the first signal processing unit 218.
  • the processed image input to the second trained model 62 is performed by performing image processing on the original image 52 instead of controlling the amount of light of the light source 33 of the first embodiment based on the brightness of the original image 52.
  • the brightness of the lesion part included in 54 is adjusted to improve the image recognition accuracy. That is, the light amount control information in the second embodiment includes information related to parameter control of the signal processing circuit according to the brightness of the image.
  • the first signal processing unit 218 is a signal processing circuit that performs various image processing such as enlargement / reduction of the original image 52 and change of the number of bits by using an ASIC or the like. Further, the first signal processing unit 218 changes various signal processing parameters based on the light amount control information output from the system control unit 216, and performs image processing for appropriately adjusting the brightness of the original image 52. The first signal processing unit 218 inputs an image processed for improving the recognition accuracy of the lesion to the noise removing unit 214.
  • the second signal processing unit 219 is a signal processing circuit that performs various image processing such as gamma correction and contour enhancement of the original image 52 using an ASIC or the like.
  • the second signal processing unit 219 generates an image (endoscopic image 53) that has undergone image processing to make it easier for the user to see, and inputs it to the display control unit 215.
  • FIG. 11 is a flowchart showing an example of a processing procedure executed by the diagnosis support system 10 of the second embodiment.
  • the flowchart shown in FIG. 11 shows the processes executed by the control unit 211, the A / D conversion unit 212, the first signal processing unit 218, the second signal processing unit 219, and the noise removing unit 214 of the endoscope processor 20. Describe. The same step numbers are assigned to the processes common to FIG. 9 of the first embodiment, and detailed description thereof will be omitted.
  • the A / D conversion unit 212 acquires the captured image 51 from the endoscope 40 (step S11), A / D converts the acquired captured image 51 (step S12), and generates the original image 52.
  • the control unit 211 gives the original image 52 to the first trained model 61 (step S21), and specifies the output information to be output (step S22).
  • the control unit 211 temporarily stores the provisional information based on the specified output information in the auxiliary storage device 23.
  • the control unit 211 generates a provisional information image 55 in which the provisional information is superimposed and displayed on the endoscope image 53, and displays the provisional information image 55 including the provisional information on the display device 50 (step S23).
  • the control unit 211 acquires light intensity information regarding the brightness of the image in the imaging region including the lesion portion of the original image 52 (step S24). The control unit 211 determines whether or not to control the light amount of the original image 52 based on the light amount information (step S25). For example, when the brightness of the imaging region including the lesion portion of the original image 52 is within the preset threshold range, it is determined that the light intensity control is unnecessary because the brightness of the lesion portion is appropriate. .. When it is determined that the light amount control is unnecessary (step S25: NO), the control unit 211 skips the light amount control process and proceeds to step S13.
  • the control unit 211 refers to the light amount control information database stored in advance and acquires the light amount control information according to the light amount information (step S261). The control unit 211 outputs the acquired light amount control information to the first signal processing unit 218 (step S271).
  • the control unit 211 and the like generate a sub-process and perform the process of step S411 in parallel with the process of step S21 and subsequent steps.
  • the control unit 211 or the like may synchronize the processes by performing interprocess communication in these two processes.
  • the first signal processing unit 218 acquires the light amount control information output from the control unit 211, and determines whether or not to change the parameters of the signal processing circuit (step S411). When it is determined that the parameter change is unnecessary (step S411: YES), the first signal processing unit 218 skips the parameter change process and proceeds to the next step S41.
  • the first signal processing unit 218 changes the parameter of the signal processing circuit based on the light amount control information (step S412), and the changed parameter is used.
  • Various image processing is performed on the original image 52 (step S41).
  • the noise removing unit 214 removes noise from the image processed image (step S42) and generates the processed image 54.
  • the imaging region including the lesion portion of the processed image 54 is adjusted to an appropriate brightness.
  • the control unit 211 gives the processed image 54 to the second trained model 62 (step S43), and specifies the output information to be output (step S44).
  • the control unit 211 temporarily stores the definite information based on the specified output information in the auxiliary storage device 23.
  • the control unit 211 generates a confirmation information image 56 in which the confirmation information is superimposed and displayed on the endoscope image 53, and displays the confirmation information image 56 including the confirmation information on the display device 50 (step S45).
  • the control unit 211 determines whether or not the shooting is completed (step S13). When it is determined that the shooting is not completed (step S13: NO), the control unit 211 returns the process to step S11 and acquires a new captured image. When it is determined that the shooting is completed (step S13: YES), the control unit 211 and the like end a series of processes.
  • the present embodiment by using the output signal of the first recognizer and controlling the parameters of the signal processing circuit, a more appropriate preprocessed image is input to the second recognizer. It is possible to improve the recognition accuracy of the second recognizer without controlling the light source 33.
  • the noise removing unit 214 in the third embodiment holds the images of the frames immediately before and directly before the noise removal.
  • the noise removing unit 214 inputs the frame image to be saved, the immediately preceding frame image, and the directly preceding frame image to the second trained model 62 without performing image processing related to noise removal.
  • FIG. 12 is an explanatory diagram of the second trained model 62 in the third embodiment.
  • the control unit 211 corresponds to the endoscopic image in which a plurality of noises have not been removed in the time series and the identification result of the presence / absence and contents of the lesion in the last endoscopic image in the time series in which the noise has been removed.
  • the input layer has a single or a plurality of neurons that accept a plurality of endoscopic images in chronological order, and passes the plurality of input endoscopic images to the intermediate layer.
  • the intermediate layer forms a multilayer structure in which an autoregressive layer is connected after the convolution layer and the pooling layer of CNN.
  • the autoregressive layer is implemented as, for example, an RSTM (Long Short Term Memory) model, and a neural network including such an autoregressive layer is called an RNN (recurrent neural network).
  • the features of each endoscopic image input in time series are extracted by the convolution layer and the pooling layer.
  • the autoregressive layer outputs the amount of change in each of the extracted features.
  • the output layer has one or more neurons, and the lesion in the last endoscopic image in the time series with denoising based on the amount of change in the feature amount of each endoscopic image output from the intermediate layer. Generates and outputs the identification result of the presence / absence and contents of.
  • Learning for a neural network having a connected structure with CNN and RNN is performed, for example, by combining an error backpropagation method (Backpropagation) and a BPTT (Backpropagation Through Time).
  • the configuration of the second trained model 62 shown in FIG. 12 is an example, and the present embodiment is not limited to this.
  • the noise removed by the trained model 237 includes various noises.
  • the first example of noise is noise such as so-called noise included in the captured image 51 obtained from the image pickup device.
  • the second example of noise is a foreign substance such as bubbles contained in the processed image 54.
  • bubbles when bubbles are included in the processed image 54, they may be erroneously identified as a lesion because the shape is similar to that of the lesion. Unlike the lesion, these foreign substances cause changes such as movement and disappearance.
  • the second recognizer recognizes the information about the lesion including the information about the noise.
  • the noise removal by the trained model 237 it is possible to further improve the recognition accuracy.
  • FIG. 13 is a functional block diagram showing the configuration of the control device 21 according to the fourth embodiment.
  • the configuration of the diagnostic support system 10 in the fourth embodiment is the same as the configuration in the first embodiment except that the details of the processing executed by the diagnostic support system 10 are different. Therefore, the same reference numerals are given to the common configurations. The detailed description thereof will be omitted.
  • the captured image 51 is A / D converted by the A / D conversion unit 212, and various types such as gamma correction, contour enhancement, enlargement / reduction, etc. are performed by the signal processing unit 213.
  • Image processing is performed.
  • the images subjected to various image processing are input to the first trained model 61 and the second trained model 62, respectively.
  • the images input to the first trained model 61 and the second trained model 62 are subjected to image processing such as noise removal by a noise removing unit (not shown) after image processing by the signal processing unit 213. It may be done.
  • the first trained model 61 and the second trained model 62 are trained models having different numbers of layers.
  • the first trained model 61 and the second trained model 62 input the same preprocessed image information.
  • the second trained model 62 has a configuration in which the number of intermediate layers is larger and the recognition accuracy is higher than that of the first trained model 61. Similar to the first embodiment and the second embodiment, the first trained model 61 outputs provisional information recognizing the presence or absence of the lesion. From the second trained model 62, definite information recognizing the presence / absence and contents of the lesion is output.
  • the control unit 211 of the endoscope processor 20 outputs the light amount control information to the light source 33 based on the light amount information of the image output from the first trained model 61, as in the first embodiment.
  • the light amount of the light source 33 is controlled by the light amount control information. Images taken by adjusting the imaging region including the lesion to have appropriate brightness are input to the first trained model 61 and the second trained model 62.
  • the control unit 211 may output light amount control information to the signal processing unit 213 to adjust the brightness of the image, as in the second embodiment.
  • the notification mode of the provisional information and the definite information is different from that of the first embodiment. Since the hardware configuration of the diagnosis support system 10 in the first embodiment is the same as that of the first embodiment, the common configurations are designated by the same reference numerals and detailed description thereof will be omitted.
  • FIG. 14 is a functional block diagram showing the configuration of the control device 21 according to the fifth embodiment.
  • the control unit 211 of the diagnosis support system 10 in the fifth embodiment realizes the function of the notification information control unit 2151 by executing the program 63 stored in the auxiliary storage device 23.
  • the provisional information and the finalized information are not limited to those output together with the image using a marker or the like, and may be output by, for example, synthetic voice, beep sound, music, vibration, or the like.
  • the broadcast information control unit 2151 supplies the provisional information according to the provisional information based on the output information from the first trained model 61 acquired by the display control unit 215 and the definite information based on the output information from the second trained model 62. Generates provisional notification information including provisional notification information and confirmation notification information including confirmation information.
  • the notification information control unit 2151 uses different beep sounds, music, synthetic voices, vibration patterns, etc., so that the notification target person can distinguish between the provisional information and the definite information. And generate definite notification information.
  • the notification information control unit 2151 uses the first beep sound to notify the provisional notification information, and uses a second beep sound different from the first beep sound to notify the user of the final notification information.
  • the notification information control unit 2151 may separately notify the provisional notification information and the final notification information by changing the combination of the sound pattern and the vibration pattern.
  • the notification information control unit 2151 outputs a third beep sound when the provisional information and the confirmation information do not match, for example, when the provisional information outputs no lesion and then the confirmation information outputs the presence of a lesion.
  • the user may be discriminated by using a different notification mode such as.
  • the notification information control unit 2151 When the notification information control unit 2151 outputs that there is a lesion in the provisional information and then outputs that there is no lesion in the definite information, the notification information control unit 2151 such as a fourth beep sound indicating that the presence of the lesion has been canceled as the definite notification information.
  • the notification mode may be used to notify the user in a discriminable manner.
  • the notification information control unit 2151 generates the provisional notification information and the confirmation notification information by referring to the table that stores the provisional information and the confirmation information in association with the notification pattern.
  • the notification information control unit 2151 notifies the user by outputting the generated provisional notification information and the final notification information via the external device 501.
  • the external device 501 includes, for example, a speaker provided in the endoscope processor 20, a vibration generator provided in the endoscope 40, and the like.
  • the external device 501 may include, for example, a speaker, a vibration generator, and the like provided in a smartphone worn by the user of the endoscope 40.
  • the broadcast information control unit 2151 Based on the control of the display control unit 215, the broadcast information control unit 2151 associates with the time point at which the frame of the endoscope image 53 in which the lesion is confirmed is displayed, and provides provisional broadcast information regarding the frame of the endoscope image 53 and the frame.
  • the confirmation notification information is output from the external device 501.
  • the user can confirm the lesion portion in the endoscopic image 53 displayed on the display device 50 in association with the provisional notification information and the definite notification information for the lesion portion.
  • the timing of outputting the provisional notification information and the final notification information is not limited to that controlled by the display control unit 215, and may be controlled by the notification information control unit 2151.
  • the notification information is not superimposed on the endoscopic image 53, but is notified to a user such as a doctor by using a speaker, a vibration generator, or the like, which is another notification means, so that the endoscopic image is displayed.
  • a user such as a doctor by using a speaker, a vibration generator, or the like, which is another notification means, so that the endoscopic image is displayed.
  • the visibility with respect to 53 can be improved.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)

Abstract

病変を検出する能力が高いコンピュータプログラム等を提供する。 コンピュータプログラムは、内視鏡により撮影された画像を取得し、画像に基づいて病変部を認識する第1認識器、及び画像に基づいて前記第1認識器より高い認識精度にて病変部を認識する第2認識器に、前記内視鏡により撮影された画像を入力し、前記第1認識器で認識された認識結果を含む暫定情報を取得し、取得した前記暫定情報を含む画像を出力し、前記第2認識器で認識された認識結果を含む前記暫定情報に対する確定情報を取得し、取得した前記確定情報を含む画像を出力する処理をコンピュータに実行させる。

Description

コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサ
 本技術は、コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサに関する。
 内視鏡画像等の医用画像から、学習モデルを使用して病変部位を自動的に検出するコンピュータ支援診断技術が開発されている。正解ラベルが付与された教師データを用いた教師あり機械学習により、学習モデルを生成する手法が知られている。
 通常の内視鏡で撮影された画像群を教師データに用いた第1の学習と、カプセル内視鏡で撮影された画像群を教師データに用いた第2の学習とを組み合わせる学習方法が提案されている(特許文献1)。
国際公開第2017/175282号
 しかしながら、特許文献1の手法では、病変を検出する能力は十分ではないという問題がある。
 本開示の目的は、病変を検出する能力が高いコンピュータプログラム等を提供することである。
 本開示の一態様におけるコンピュータプログラムは、内視鏡により撮影された画像を取得し、画像に基づいて病変部を認識する第1認識器、及び画像に基づいて前記第1認識器より高い認識精度にて病変部を認識する第2認識器に、前記内視鏡により撮影された画像を入力し、前記第1認識器で認識された認識結果を含む暫定情報を取得し、取得した前記暫定情報を含む画像を出力し、前記第2認識器で認識された認識結果を含む前記暫定情報に対する確定情報を取得し、取得した前記確定情報を含む画像を出力する処理をコンピュータに実行させる。
 本開示によれば、病変を検出する能力が高いコンピュータプログラム等を提供することができる。
診断支援システムの外観を示す説明図である。 診断支援システムの構成を説明する説明図である。 実施形態1における第1学習済みモデルの生成処理に関する説明図である。 第2学習済みモデルの生成処理に関する説明図である。 制御装置の構成を示す機能ブロック図である。 光量情報の調整に関して説明する説明図である。 診断支援システムの動作を模式的に説明するタイムチャートである。 表示装置に表示される画面例を示す図である。 診断支援システムで実行される処理手順の一例を示すフローチャートである。 実施形態2における制御装置の構成を示す機能ブロック図である。 実施形態2の診断支援システムで実行される処理手順の一例を示すフローチャートである。 実施形態3における第2学習済みモデルに関する説明図である。 実施形態4における制御装置の構成を示す機能ブロック図である。 実施形態5における制御装置の構成を示す機能ブロック図である。
 本発明をその実施の形態を示す図面を参照して具体的に説明する。
(実施の形態1)
 図1は、診断支援システム10の外観を示す説明図である。診断支援システム10は、内視鏡用プロセッサ20と、内視鏡40と、表示装置50とを含む。表示装置50は、例えば液晶表示装置、または、有機EL(Electro Luminescence)表示装置である。
 表示装置50はキャスター付きの収容棚16の上段に設置されている。内視鏡用プロセッサ20は、収容棚16の中段に収容されている。収容棚16は、図示を省略する内視鏡検査用ベッドの近傍に配置される。収容棚16は内視鏡用プロセッサ20に接続されたキーボード15を搭載する、引き出し式の棚を有する。
 内視鏡用プロセッサ20は、略直方体形状であり、一面にタッチパネル25を備える。タッチパネル25の下部に、読取部28が配置されている。読取部28は、たとえばUSBコネクタ、SD(Secure Digital)カードスロット、またはCD-ROM(Compact Disc Read Only Memory)ドライブ等の、可搬型記録媒体の読み書きを行なう接続用インターフェイスである。
 内視鏡40は、挿入部44、操作部43、ライトガイド可撓管49およびスコープコネクタ48を有する。操作部43には、制御ボタン431が設けられている。挿入部44は長尺であり、一端が折止部45を介して操作部43に接続されている。挿入部44は、操作部43側から順に軟性部441、湾曲部442および先端部443を有する。湾曲部442は、湾曲ノブ433の操作に応じて湾曲する。
 ライトガイド可撓管49は長尺であり、第一端が操作部43に、第二端がスコープコネクタ48にそれぞれ接続されている。ライトガイド可撓管49は、軟性である。スコープコネクタ48は略直方体形状である。スコープコネクタ48には、送気送水用のチューブを接続する送気送水口金36(図2参照)が設けられている。
 図2は、診断支援システム10の構成を説明する説明図である。前述のとおり診断支援システム10は、内視鏡用プロセッサ20と、内視鏡40と、表示装置50とを含む。内視鏡用プロセッサ20は、タッチパネル25および読取部28に加えて、制御装置21、主記憶装置22、補助記憶装置23、通信部24、表示装置I/F(Interface)26、入力装置I/F27、内視鏡用コネクタ31、光源33、ポンプ34およびバスを備える。内視鏡用コネクタ31は、電気コネクタ311および光コネクタ312を含む。
 制御装置21は、制御部211を含み、回路基板等で構成される。当該基板上には、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、及び本実施の形態のプログラム63を実行する演算制御装置であるCPU(Central Processing Unit)等の回路が実装されている。制御装置21は、バスを介して内視鏡用プロセッサ20を構成するハードウェア各部と接続されている。
 主記憶装置22は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の記憶装置である。主記憶装置22には、制御部211が行なう処理の途中で必要な情報および制御部211で実行中のプログラムが一時的に保存される。
 通信部24は、内視鏡用プロセッサ20とネットワークとの間のデータ通信を行なうインターフェイスである。タッチパネル25は、液晶表示パネル等の表示部251と、表示部251に積層された入力部252とを備える。
 表示装置I/F26は、内視鏡用プロセッサ20と表示装置50とを接続するインターフェイスである。入力装置I/F27は、内視鏡用プロセッサ20とキーボード15等の入力装置とを接続するインターフェイスである。
 光源33は、たとえば白色LED等の高輝度の白色光源である。光源33は、図示を省略するドライバを介してバスに接続されている。光源33の点灯、消灯および明るさの変更は、制御部211により制御される。光源33から照射した照明光は、光コネクタ312に入射する。光コネクタ312は、スコープコネクタ48と係合し、内視鏡40に照明光を供給する。
 ポンプ34は、内視鏡40の送気・送水機能用の圧力を発生させる。ポンプ34は、図示を省略するドライバを介してバスに接続されている。ポンプ34のオン、オフおよび圧力の変更は、制御部211により制御される。ポンプ34は、送水タンク35を介して、スコープコネクタ48に設けられた送気送水口金36に接続される。
 補助記憶装置23は、SRAM、フラッシュメモリまたはハードディスク等の記憶装置である。補助記憶装置23には、第1認識器である第1学習済みモデル61、第2認識器である第2学習済みモデル62、制御部211に実行させるプログラム63、及びプログラム63の実行に必要な各種データが保存される。第1学習済みモデル61、第2学習済みモデル62、及びプログラム63は、制御部211が、通信部24を介して所謂インターネット等のネットワーク経由で外部装置からダウンロードして補助記憶装置23に記憶したものであってもよい。第1学習済みモデル61、第2学習済みモデル62、及びプログラム63は、制御部211が読取部28を介して可搬型記憶媒体63aから読み取って補助記憶装置23に記憶したものであってもよい。第1学習済みモデル61、第2学習済みモデル62、及びプログラム63は、制御部211が半導体メモリ63bから読み出したものであってもよい。
 図3は、実施形態1における第1学習済みモデル61の生成処理に関する説明図である。制御部211は、内視鏡の画像情報を入力とし、当該画像内に病変が含まれるか否かを示す情報を出力とする深層学習を含む機械学習の学習済みモデルを生成する。制御部211は、内視鏡による検査部を撮影した画像(元画像52)内における当該検査部の病変に関する画像特徴量を学習する機械学習を行う。第1学習済みモデル61は、例えばニューラルネットワークであり、CNN(Convolution Neural Network)である。第1学習済みモデル61は、内視鏡の画像の入力を受け付ける入力層と、病変の有無を示す情報(識別結果)を出力する出力層と、内視鏡の画像の画像特徴量を抽出する中間層とを備える。
 入力層は、内視鏡の画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、内視鏡の画像の画像特徴量を抽出する複数のニューロンを有し、各種パラメータを用いて抽出された画像特徴量を出力層に受け渡す。例えば第1学習済みモデル61がCNNである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、対象物の画像領域の画素情報を圧縮しながら最終的に画像特徴量を抽出する。出力層は、病変の有無を示す識別結果を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、病変が含まれるか否かを示す識別情報を出力する。
 制御部211は、内視鏡による検査部を撮影した複数の画像と、各画像における検査部の病変に関する情報とが対応付けられた教師データを用いて、中間層における各種パラメータの学習を行う。例えば図3に示すように、教師データは、内視鏡の画像に対し、病変の有無と、病変部に該当する画像領域の座標範囲とがラベル付けされたデータセットとして構築される。なお、病変とは、病変であると診断される可能性のある部位、すなわち病変候補を含むものであってよい。制御部211は、過去に実施された大量の検査の画像及び診断結果を収集したデータを用いて学習を行う。データには、病変が無いと診断された状態の画像も含まれる。なお、図3ではラベル付けされた画像領域を破線の矩形枠で図示している。病変部に該当する画像領域は、例えばGrad-CAM(Gradient-weighted Class Activation Mapping)等のモデル可視化手法を用いて抽出されてもよい。制御部211は、出力層からの出力に強く影響した領域を病変部として抽出する。
 制御部211は、教師データに含まれる内視鏡の画像を入力層に入力し、中間層での演算処理を経て、出力層から病変の有無を示す識別結果を取得する。例えば制御部211は、出力層から出力される識別結果として、内視鏡の画像における病変の有無のほかに、病変部に該当する画像領域を識別した識別結果を取得する。制御部211は、出力層から出力された識別結果を、教師データにおいて画像に対しラベル付けされた病変に関する情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いる各種パラメータを最適化する。当該パラメータは、例えばニューロン間の重み、バイアス等である。各種パラメータの最適化の方法は特に限定されないが、例えば制御部211は誤差逆伝播法を用いて各種パラメータの最適化を行う。制御部211は、教師データに含まれる各画像について上記の処理を行い、第1学習済みモデル61を生成する。
 図4は、第2学習済みモデル62の生成処理に関する説明図である。第2学習済みモデル62は、第1学習済みモデル61に入力される内視鏡の画像(元画像52)に、後述する所定の前処理が行われ高精度の識別が可能な内視鏡の画像(処理画像54)を入力とする。第2学習済みモデル62は、内視鏡の画像における病変の有無と共に、当該病変の内容(腫瘍・良性、腫瘍・悪性等)を示す推定結果を出力とする。制御部211は、内視鏡の画像情報を入力とし、当該画像内の病変の有無及び内容を示す情報を出力とする深層学習を含む機械学習の学習済みモデルを生成する。制御部211は、内視鏡による検査部を撮影した画像(処理画像54)内における当該検査部の病変に関する画像特徴量を学習する機械学習を行う。第2学習済みモデル62は、例えばニューラルネットワークであり、CNNである。第2学習済みモデル62は、内視鏡の画像の入力を受け付ける入力層と、病変に関する情報(識別結果)を出力する出力層と、内視鏡の画像の画像特徴量を抽出する中間層とを備える。
 入力層は、内視鏡の画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、内視鏡の画像の画像特徴量を抽出する複数のニューロンを有し、各種パラメータを用いて抽出された画像特徴量を出力層に受け渡す。例えば第2学習済みモデル62がCNNである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、対象物の画像領域の画素情報を圧縮しながら最終的に画像特徴量を抽出する。出力層は、病変に関する情報を示す識別結果を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、病変の有無及び内容を示す識別情報を出力する。
 制御部211は、内視鏡による検査部を撮影した複数の画像と、各画像における検査部の病変に関する情報とが対応付けられた教師データを用いて、中間層における各種パラメータの学習を行う。例えば図3に示すように、教師データは、内視鏡の画像に対し、病変の有無、病変部に該当する画像領域の座標範囲、及び病変の内容がラベル付けされたデータセットとして構築される。制御部211は、過去に実施された大量の検査の画像及び診断結果を収集したデータを用いて学習を行う。データには、病変が無いと診断された状態の画像も含まれる。なお、図4ではラベル付けされた画像領域を太線の矩形枠で図示している。
 制御部211は、教師データに含まれる内視鏡の画像を入力層に入力し、中間層での演算処理を経て、出力層から病変の有無及び内容を示す識別結果を取得する。例えば制御部211は、出力層から出力される識別結果として、内視鏡の画像における病変の有無のほかに、病変部に該当する画像領域、及び病変の内容を識別した識別結果を取得する。制御部211は、出力層から出力された識別結果を、教師データにおいて画像に対しラベル付けされた病変に関する情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いる各種パラメータを最適化する。当該パラメータは、例えばニューロン間の重み、バイアス等である。各種パラメータの最適化の方法は特に限定されないが、例えば制御部211は誤差逆伝播法を用いて各種パラメータの最適化を行う。制御部211は、教師データに含まれる各画像について上記の処理を行い、第2学習済みモデル62を生成する。
 第2学習済みモデル62は、第1学習済みモデル61と同じ構成を有する学習済みモデルであってもよく、また第2学習済みモデル62は、第1学習済みモデル61よりも層数が多い中間層を備え画像の認識精度を高めた学習済みモデルであってもよい。第2学習済みモデル62は、第1学習済みモデル61よりも長い処理時間を有するものであってもよい。例えば第1学習済みモデル61では、グレースケールの画像情報を入力情報に与えられ、第2学習済みモデル62では、RGB(Red Green Blue)値を含む画像情報が入力情報に与えられる。
 なお、本実施の形態では第1学習済みモデル61及び第2学習済みモデル62がCNNであるものとして説明したが、第1学習済みモデル61及び第2学習済みモデル62はCNNに限定されず、CNN以外のニューラルネットワークを用いてもよい。またニューラルネットワークを用いない強化学習モデル、サポートベクタマシン、回帰木等、他の学習アルゴリズムで構築された学習済みモデルであってよい。第1学習済みモデル61及び第2学習済みモデル62は、R-CNN、Faster R-CNN、Mask R-CNN、SSD(Single Shot Multibook Detector)、または、YOLO(You Only Look Once)等の、任意の物体検出アルゴリズムで構築された学習済みモデルであってよい。入力画像中に複数の病変部が検出された場合においては、夫々の病変部が第1学習済みモデル61及び第2学習済みモデル62に入力され、認識結果が出力される構成であってよい。なお、第1学習済みモデル61及び第2学習済みモデル62は、外部装置により生成され内視鏡用プロセッサ20にインストールしたものであってよい。
 また、本実施の形態では、第1認識器及び第2認識器に学習済みモデルを適用する例を説明したが、内視鏡の画像による病変の認識方法は限定されるものではない。例えば、第1認識器及び第2認識器は、内視鏡の画像の画像特徴量を算出し、予め記憶される病変画像とのパターンマッチング等により、内視鏡の画像に含まれる病変の有無又は内容の認識を行ってもよい。
 図5は、制御装置21の構成を示す機能ブロック図である。制御装置21は、制御部211、A/D変換部212、信号処理部213、ノイズ除去部214を含む。制御部211は、本実施の形態のプログラム63を実行する演算制御装置であり、一または複数のCPU又はマルチコアCPU等が使用される。また制御部211は、補助記憶装置23に記憶してあるプログラム63を実行することにより、表示制御部215及びシステム制御部216の各機能を実現する。図5においては、これら部位を機能部として示している。
 A/D変換部212は、例えばA/D変換器を用いる。A/D変換部212は、内視鏡40の先端部443に設けられた撮像素子により撮影されて、内視鏡用プロセッサ20に伝送された撮像画像51の電気信号をデジタルデータ(RAWデータ)に変換する。撮像画像51は、動画像で得られ、例えば1秒間に60フレーム等の複数のフレームの静止画像から構成される。ここでRAWデータとは、撮像素子から得られたアナログ信号をA/D変換したデータをいい、他の補正を行っていないデータである。A/D変換部212は、撮像画像51をRAWデータである元画像52に変換する。なお、A/D変換部212は、RAWデータである元画像52に、時間遅れを生じさせることのない信号処理のみを施してもよい。A/D変換部212で変換された元画像52は、第1学習済みモデル61及び信号処理部213に夫々入力される。
 信号処理部213は、ASIC等を用いて、元画像52のガンマ補正、輪郭強調、拡大/縮小等の各種画像処理を行う信号処理回路である。信号処理部213は、必要に応じて元画像52のビット数の変更処理を行い、例えばA/D変換部212で変換された10ビット階調の元画像52を8ビット階調に変換し、以降の画像処理に適したビット数へ変更する画像処理を行う。信号処理部213は、ユーザが目視しやすい状態にするための画像処理を行った画像(内視鏡画像53)を生成し、表示制御部215へ入力する。また信号処理部213は、病変の認識精度を高めるための画像処理を行った画像をノイズ除去部214へ入力する。
 ノイズ除去部214は、所謂ビデオメモリであり、ノイズ除去前の直前及び直々前フレームの画像を保持するメモリを含む。ノイズ除去部214は、直前及び直々前フレームの画像との差分に基づき対象フレームの画像のノイズを除去する画像処理を行う。信号処理部213及びノイズ除去部214にて画像処理が行われた画像(処理画像54)は、第2学習済みモデル62へ入力される。
 制御部211は、補助記憶装置23に記憶してあるプログラム63を実行、又は第1学習済みモデル61を構成する実体ファイルを読み出すことにより、第1学習済みモデル61として機能する。第1学習済みモデル61は、元画像52に応じて、病変の有無に関する情報を、表示制御部215へ出力する。
 制御部211は、補助記憶装置23に記憶してあるプログラム63を実行、又は第2学習済みモデル62を構成する実体ファイルを読み出すことにより、第2学習済みモデル62として機能する。第2学習済みモデル62は、処理画像54に応じて、病変の有無及び内容に関する情報を、表示制御部215へ出力する。
 表示制御部215は、第1学習済みモデル61からの出力情報に基づく暫定情報及び第2学習済みモデル62からの出力情報に基づく確定情報を取得し、暫定情報を含む暫定情報画像55及び確定情報を含む確定情報画像56の表示装置50への表示を制御する。さらに表示制御部215は、第1学習済みモデル61からの出力情報を基に、元画像52の病変部を含む撮像領域の明暗度に関する光量情報を取得する。病変部を含む領域の撮像画像が明る過ぎたり、又は暗すぎる場合には、学習済みモデルでの画像に対する認識精度が下がるおそれがある。表示制御部215は、第1学習済みモデル61からの出力情報を基に、元画像52の病変部の明暗度を判定した光量情報を導出する。導出した光量情報は、システム制御部216へ入力される。
 システム制御部216は、予め記憶する光量制御情報データベース(図示せず)を読み出し、取得した光量情報に基づく適切な光量制御情報を特定し、特定した光量制御情報を内視鏡用プロセッサ20の光源33に出力して光源33の光量を制御する。システム制御部216の制御により、必要に応じて光源33の光量が低減又は増加されるため、病変部の明暗度が適切に調整された撮像画像51が得られ、病変部の明暗度及び色彩が調整された処理画像54が第2学習済みモデル62へと入力される。
 図6は、光量情報の調整に関して説明する説明図である。図6Aは、病変部が右奥に含まれた状態である画像の一例を示している。一般に、画像は、画像の手前側の領域が明るく、奥側の領域ほど暗く表示される。従って、病変部が右奥にある状態で撮影された場合には、図6Aで示す如く、病変部を含む領域が暗く表示され、第1認識器では識別が可能であるが第2認識器で精度の高い認識結果が得られないおそれがある。このような場合には、制御部211は、画像情報に基づき明度が低いことを示す光量情報を取得し、取得した光量情報に基づく光量制御情報を特定する。制御部211は、特定した光量制御情報に基づき、例えば所定値に光量を増加させる制御情報を光源33に出力する。
 図6Bは、光量情報に基づく調整が行われた後の、病変部が右奥に含まれた状態である画像の一例を示している。上記のようにして光源33の光量が増加された場合、図6Bに示す如く病変部を含む領域が明るい状態の画像が得られる。認識器は、病変部の明暗度及び色彩が調整された画像に基づく判断が可能となる。
 図6Cは、病変部が手前に含まれた状態である画像の一例を示している。図6Cに示す例では、病変部が手前に含まれ、病変内部の一部に光量過多によるハレーションが生じている。図6Cの様に、画像にハレーションが生じている場合には、第1認識器では識別が可能であるが第2認識器で精度の高い認識結果が得られないおそれがある。このような場合には、制御部211は、画像情報に基づき明度が高いことを示す光量情報を取得し、取得した光量情報に基づく光量制御情報を特定する。制御部211は、特定した光量制御情報に基づき、例えば所定値に光量を低減させる制御情報を光源33に出力する。このように光量が適切に調整され画像全体の明るさが下がり、病変部が手前にある場合においても注目領域にハレーションの生じていない画像が得られる。
 図7は、診断支援システム10の動作を模式的に説明するタイムチャートである。横軸は時間を示す。図7Aは、撮像素子141による撮像画像51を出力するタイミングを示す。図7Bは、A/D変換部212の画像処理により、元画像52を出力するタイミングを示す。図7Cは、元画像52に基づいて第1認識器(第1学習済みモデル61)が暫定情報を出力するタイミングを示す。図7Dは、信号処理部213の画像処理により、処理が行われた画像を出力するタイミングを示す。図7Eは、ノイズ除去部214の画像処理により、処理画像54を出力するタイミングを示す。図7Fは、処理画像54に基づいて第2認識器(第2学習済みモデル62)が確定情報を出力するタイミングを示す。
 時刻t1に、撮像素子141により撮像画像51の「a」のフレームが出力される。A/D変換部212がA/D変換処理を行ない、時刻t1に「a」の元画像52を出力する。時刻t2に、制御部211は、元画像52を第1学習済みモデル61に入力し認識結果を含む暫定情報を出力する。制御部211は、暫定情報画像55を表示装置50に表示させ、光量情報を出力する。また時刻t2に、信号処理部213が画像処理を行ない、「a」の画像処理が施された画像を出力する。時刻t3に、ノイズ除去部214が画像処理を行ない、「a」の処理画像54を出力する。時刻t4に、制御部211は、処理画像54を第2学習済みモデル62に入力し認識結果を含む確定情報を出力する。制御部211は、確定情報画像56を表示装置50に表示させる。以上で、撮像素子141が撮影した1フレーム分の画像の処理が終了する。同様に、時刻t2に撮像素子141により「b」のフレームが出力される。以降の動作も同様であるため、説明を省略する。
 図7に示した例では、撮像素子141の出力から1フレーム遅れて暫定情報が出力され、暫定情報の出力からさらに2フレーム遅れて確定情報が出力される。第1認識器からの出力は、信号処理部213の出力と同時に得られるので、ユーザは殆ど遅延を感じることなく暫定情報を得ることができる。第2認識器からの出力は、撮像素子の出力から3フレーム遅延するので、1フレーム期間を例えば33msとすると、約0.1秒遅延するため、ユーザは多少の遅れを感じる可能性がある。
 なお、時刻t2の光量情報の出力を受けて光量の調整が行われた場合には、確定情報の出力はさらに遅れて得られる。例えば「a」の第1学習済みモデル61の出力情報を受けて時刻t3に、光量情報が出力され光源の制御が行われた場合、時刻t4に出力される「d」のフレームが「a」に基づき適切な光量に制御されたフレームに該当する。従って、光量調整を受けた後の確定情報は、時刻t7に、撮像素子の出力から6フレーム遅れて出力される。
 内視鏡用プロセッサ20に接続された内視鏡40の機能の概略を説明する。スコープコネクタ48、ライトガイド可撓管49、操作部43および挿入部44の内部に、ファイバーバンドル、ケーブル束、送気チューブおよび送水チューブ等が挿通されている。光源33から出射した照明光は、光コネクタ312およびファイバーバンドルを介して、先端部443に設けられた照明窓から放射される。
 照明光により照らされた範囲を、先端部443に設けられた撮像素子で撮影する。撮像素子からケーブル束および電気コネクタ311を介して内視鏡用プロセッサ20に撮像画像51が伝送される。
 制御部211は、撮像画像51に画像処理を施して、ユーザが目視して病変を発見しやすい内視鏡画像53を生成する。制御部211は、第1学習済みモデル61の認識結果による暫定情報を含む暫定情報画像55を生成する。制御部211は、第2学習済みモデル62の認識結果による確定情報を含む確定情報画像56を生成する。制御部211は、内視鏡画像53、暫定情報画像55、及び確定情報画像56を表示装置50に出力する。
 図8は、表示装置50に表示される画面例を示す図である。図8Aは、内視鏡画像53の表示画面の一例を示している。内視鏡検査中は、内視鏡画像53はリアルタイムで更新される。内視鏡40を操作するユーザは、内視鏡画像53を観察しながら内視鏡40を操作する。
 図8Bは、暫定情報画像55の表示画面の一例を示している。図8Bの例では、暫定情報画像55は、内視鏡画像53に暫定情報が重畳表示された画像である。暫定情報とは、第1学習済みモデル61の認識結果に基づく情報であり、画像領域内の病変の有無及び位置の認識結果を含む。暫定情報は、ユーザに認識可能な形態で表示装置50に表示される。図8Bの例では、暫定情報は、第1学習済みモデル61にて病変と認識された領域を含む、破線のバウンディングボックスで示される暫定マーカー551にて表示されている。
 図8Cは、確定情報画像56の第1例の表示画面の一例を示している。図8Cの例では、確定情報画像56は、内視鏡画像53に確定情報が重畳表示された画像である。確定情報とは、第2学習済みモデル62の認識結果に基づく情報であり、画像領域内の病変の内容及び位置の認識結果を含む。確定情報は、ユーザに認識可能な形態で表示装置50に表示される。図8Cの例では、確定情報は、第2学習済みモデル62にて病変と認識された領域を含む、太線のバウンディングボックスで示される確定マーカー561にて表示されている。確定情報は、病変の内容を示すテキスト等を含んで表示されてもよい。
 図8Dは、確定情報画像56の第2例の表示画面の一例を示している。図8Dの例では、確定情報画像56は、内視鏡画像53に確定情報が重畳表示された画像である。確定情報は、第2学習済みモデル62にて病変(良性)と認識された領域を含む、実線のバウンディングボックスで示される確定マーカー562、及び認識結果の内容を示すテキスト(「Neoplasstic」等)を用いて表示されている。バウンディングボックスは、二重の矩形枠で示されている。図8Dに示す様に、第1認識器にて暫定的に病変と認識された領域において、第2認識器にて病変無し、又は病変が良性である等の認識結果を含む確定情報が得られた場合には、制御部211は、暫定マーカー551を消去する情報、又は、病変部が良性であることを示す確定マーカー562及びテキスト等を表示させる情報を含む確定情報画像56を表示させる。
 確定マーカー561,562は、病変の内容(良性又は悪性)に応じて、異なる色や形状にて表示されることが望ましい。例えば病変部が良性である場合は緑色、病変部が悪性である場合は赤色で示されるマーカーで確定情報を表示してもよく、病変部が良性である場合は円形、病変部が悪性である場合は四角形の形状で示されるマーカーで確定情報を表示してもよい。確定情報は、確定マーカーを用いて表示される以外に、合成音声によるテキストの読み上げにより出力されてもよく、又は病変の内容に応じた異なる音楽等を用いて出力されてもよい。また、確定情報画像56中に複数の病変部を示す確定マーカー561,562が含まれる場合においては、例えば病変部の数に応じて周波数、テンポ、又は出力頻度等を変化させたビープ音、音楽等を出力してもよい。また、病変部を示す確定マーカーの数を示す数値を含んで表示させてもよい。
 図9は、診断支援システム10で実行される処理手順の一例を示すフローチャートである。図9に示すフローチャートは、内視鏡用プロセッサ20の制御部211、A/D変換部212、信号処理部213、及びノイズ除去部214により実行される処理を記載する。制御部211等は、内視鏡画像53の生成、光源33および内視鏡40の先端部443に配置された撮像素子の制御等の処理と並行して、図9に示す処理を実行する。
 A/D変換部212は、内視鏡40から撮像画像51を取得する(ステップS11)。A/D変換部212は、取得した撮像画像51をA/D変換し(ステップS12)、元画像52を生成する。制御部211は、元画像52を第1学習済みモデル61に与え(ステップS21)、出力される出力情報を特定する(ステップS22)。制御部211は、特定した出力情報に基づく暫定情報を補助記憶装置23に一時的に記憶する。制御部211は、内視鏡画像53に暫定情報が重畳表示された暫定情報画像55を生成し、暫定情報を含む暫定情報画像55を、表示装置50に表示する(ステップS23)。例えば、病変部に暫定マーカーが示された確定情報画像が表示される。
 制御部211等は、サブプロセスを発生させ、ステップS21以下の処理に並行してステップS41の処理を行う。信号処理部213は、元画像52に各種の画像処理を行う(ステップS41)。ノイズ除去部214は、画像処理が行われた画像のノイズ除去を行い(ステップS42)、処理画像54を生成する。
 制御部211は、処理画像54を第2学習済みモデル62に与え(ステップS43)、出力される出力情報を特定する(ステップS44)。制御部211は、特定した出力情報に基づく確定情報を補助記憶装置23に一時的に記憶する。制御部211は、内視鏡画像53に確定情報が重畳表示された確定情報画像56を生成し、確定情報を含む確定情報画像56を、表示装置50に表示する(ステップS45)。例えば、第1学習済みモデル61の暫定情報と第2学習済みモデル62の確定情報とが病変に対する同じ認識結果を含んでいる場合においては、制御部211は、暫定マーカー551が示される病変部を含む暫定情報画像55に変えて、確定マーカー561が示される確定情報画像56を表示させる。また、第1学習済みモデル61の暫定情報と第2学習済みモデル62の確定情報が異なる内容を含んでいる場合においては、制御部211は、暫定マーカー551が示される病変部を含む暫定情報画像55に変えて、病変部に表示されていた暫定マーカー551を消去した確定情報画像56を表示させる。
 制御部211は、ステップS23の処理後、元画像52の病変部を含む撮像領域の画像の明暗度に関する光量情報を取得する(ステップS24)。制御部211は、光量情報に基づき、光源33の光量を制御するか否かを判断する(ステップS25)。例えば、元画像52の病変部を含む撮像領域の明暗度が予め設定されている閾値の範囲内である場合には、病変部の明るさが適切であるため光量制御は不要であると判断する。光量制御が不要であると判断した場合(ステップS25:NO)、制御部211は、光量制御の処理をスキップしてステップS13へ処理を進める。
 一方、元画像52の病変部を含む撮像領域の明暗度が予め設定されている閾値以上又は閾値以下である場合には、病変部が明るすぎる、又は暗すぎるため光量制御が必要であると判断する。光量制御が必要であると判断した場合(ステップS25:YES)、制御部211は、予め記憶する光量制御情報データベースを参照して、光量情報に応じた光量制御情報を取得する(ステップS26)。制御部211は、取得した光量制御情報を内視鏡用プロセッサ20の光源33に出力し(ステップS27)。光源33の光量を制御する。
 制御部211は、撮影が終了したか否かを判断する(ステップS13)。撮影が終了していないと判定した場合(ステップS13:NO)、制御部211は処理をステップS11に戻し、新たな撮像画像を取得する。撮影が終了したと判断した場合(ステップS13:YES)、制御部211等は一連の処理を終了する。なお、制御部211等は、ステップS13の処理の後にステップS11を行うループ処理を行ってもよい。
 このようにして、診断支援システム10においては、まず第1認識器(第1学習済みモデル61)にて暫定情報が出力される。第1認識器に、撮像素子141からのアナログ信号をA/D変換したRAWデータ(元画像52)を直接入力することで、検出時間遅れを短縮し、検査のリアルタイム性を向上させる。ついで、第2認識器(第2学習済みモデル62)にて確定情報が出力される。認識精度が高い第2認識器に、前処理を施した画像を入力することで、認識精度を高め信頼度を向上させることができる。
(実施形態2)
 実施形態2では、光量情報に基づく光量制御情報が、内視鏡用プロセッサ20の光源33に代替して第1信号処理部に出力される。図10は、実施形態2における制御装置21の構成を示す機能ブロック図である。実施形態2における診断支援システム10の構成は、制御装置21に第1信号処理部218及び第2信号処理部219が備えられる点、及び診断支援システム10が実行する処理の詳細が異なる点以外は実施形態1における構成と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。
 実施形態2では、システム制御部216は、表示制御部215から出力される光量情報を取得し、予め記憶する光量制御情報データベース(図示せず)を読み出し、元画像52の画像処理に適したパラメータの情報を含む光量制御情報を取得する。システム制御部216は、光量制御情報を第1信号処理部218へ出力する。実施形態2では、元画像52の明暗度に基づき、実施形態1の光源33の光量制御に代替して元画像52に画像処理を施すことで、第2学習済みモデル62に入力される処理画像54に含まれる病変部の明るさを調整し画像の認識精度を高める。すなわち、実施形態2における光量制御情報には、画像の明暗度に応じた信号処理回路のパラメータ制御に関する情報が含まれる。
 第1信号処理部218は、ASIC等を用いて、元画像52の拡大/縮小、ビット数の変更等の各種の画像処理を行う信号処理回路である。さらに第1信号処理部218は、システム制御部216から出力される光量制御情報に基づき、各種信号処理のパラメータを変更し、元画像52の明暗度を適切に調整する画像処理を行う。第1信号処理部218は、病変の認識精度を高めるための画像処理を行った画像をノイズ除去部214へ入力する。
 第2信号処理部219は、ASIC等を用いて、元画像52のガンマ補正、輪郭強調等の各種の画像処理を行う信号処理回路である。第2信号処理部219は、ユーザが目視しやすい状態にするための画像処理を行った画像(内視鏡画像53)を生成し、表示制御部215へ入力する。
 図11は、実施形態2の診断支援システム10で実行される処理手順の一例を示すフローチャートである。図11に示すフローチャートは、内視鏡用プロセッサ20の制御部211、A/D変換部212、第1信号処理部218、第2信号処理部219、及びノイズ除去部214により実行される処理を記載する。実施形態1の図9と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。
 A/D変換部212は、内視鏡40から撮像画像51を取得し(ステップS11)、取得した撮像画像51をA/D変換し(ステップS12)、元画像52を生成する。制御部211は、元画像52を第1学習済みモデル61に与え(ステップS21)、出力される出力情報を特定する(ステップS22)。制御部211は、特定した出力情報に基づく暫定情報を補助記憶装置23に一時的に記憶する。制御部211は、内視鏡画像53に暫定情報が重畳表示された暫定情報画像55を生成し、暫定情報を含む暫定情報画像55を、表示装置50に表示する(ステップS23)。
 制御部211は、元画像52の病変部を含む撮像領域の画像の明暗度に関する光量情報を取得する(ステップS24)。制御部211は、光量情報に基づき、元画像52の光量を制御するか否かを判断する(ステップS25)。例えば、元画像52の病変部を含む撮像領域の明暗度が予め設定されている閾値の範囲内である場合には、病変部の明るさが適切であるため光量制御は不要であると判断する。光量制御が不要であると判断した場合(ステップS25:NO)、制御部211は、光量制御の処理をスキップしてステップS13へ処理を進める。
 一方、元画像52の病変部を含む撮像領域の明暗度が予め設定されている閾値以上又は閾値以下である場合には、病変部が明るすぎる、又は暗すぎるため光量制御が必要であると判断する。光量制御が必要であると判断した場合(ステップS25:YES)、制御部211は、予め記憶する光量制御情報データベースを参照して、光量情報に応じた光量制御情報を取得する(ステップS261)。制御部211は、取得した光量制御情報を第1信号処理部218に出力する(ステップS271)。
 制御部211等は、サブプロセスを発生させ、ステップS21以下の処理に並行してステップS411の処理を行う。制御部211等は、これら2つのプロセスにおいてプロセス間通信を行うことにより、処理の同期を図るものであってもよい。第1信号処理部218は、制御部211から出力される光量制御情報を取得し、信号処理回路のパラメータを変更するか否かを判断する(ステップS411)。パラメータの変更が不要であると判断した場合(ステップS411:YES)、第1信号処理部218は、パラメータ変更の処理をスキップして次のステップS41へ処理を進める。
 一方、パラメータの変更が必要であると判断した場合(ステップS411:NO)、第1信号処理部218は、光量制御情報に基づき信号処理回路のパラメータを変更し(ステップS412)、変更したパラメータにより元画像52に各種の画像処理を行う(ステップS41)。ノイズ除去部214は、画像処理が行われた画像のノイズ除去を行い(ステップS42)、処理画像54を生成する。処理画像54の病変部を含む撮像領域は、適切な明るさに調整されている。
 制御部211は、処理画像54を第2学習済みモデル62に与え(ステップS43)、出力される出力情報を特定する(ステップS44)。制御部211は、特定した出力情報に基づく確定情報を補助記憶装置23に一時的に記憶する。制御部211は、内視鏡画像53に確定情報が重畳表示された確定情報画像56を生成し、確定情報を含む確定情報画像56を、表示装置50に表示する(ステップS45)。
 制御部211は、撮影が終了したか否かを判断する(ステップS13)。撮影が終了していないと判定した場合(ステップS13:NO)、制御部211は処理をステップS11に戻し、新たな撮像画像を取得する。撮影が終了したと判断した場合(ステップS13:YES)、制御部211等は一連の処理を終了する。
 本実施形態によれば、第1認識器の出力信号を利用し、信号処理回路のパラメータ制御を行うことで、より適切な前処理が行われた画像が第2認識器に入力される。光源33の制御を行うことなく、第2認識器での認識精度を高めることが可能となる。
(実施形態3)
 実施形態3では、ノイズ除去部214及び第2学習済みモデル62の内容が異なり、第2学習済みモデル62でノイズ除去が行われる。実施形態2における診断支援システム10の構成は、ノイズ除去部214及び第2学習済みモデル62の内容が異なる点以外は実施形態1及び実施形態2における構成と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。
 実施形態3におけるノイズ除去部214は、ノイズ除去前の直前及び直々前フレームの画像を保持する。ノイズ除去部214は、ノイズ除去に関する画像処理を行うことなく、保存する当該フレーム画像、直前フレーム画像、及び直々前フレーム画像を、第2学習済みモデル62へ入力する。
 図12は、実施形態3における第2学習済みモデル62に関する説明図である。制御部211は、時系列の複数個のノイズ除去を行っていない内視鏡画像と、ノイズが除去された時系列での最後の内視鏡画像における病変の有無及び内容の識別結果とが対応付けられた教師データに基づき学習することで、時系列の複数個の内視鏡画像を入力とし、ノイズを除去した時系列での最後の内視鏡画像における病変の有無及び内容の識別結果を出力とするニューラルネットワークを構築(生成)する。
 入力層は、時系列による複数個の内視鏡画像を受け付ける単数又は複数のニューロンを有し、入力された複数個の内視鏡画像を中間層に受け渡す。中間層は、CNNのコンボリューション層及びプーリング層の以降に自己回帰層が連結された多層構造を成す。自己回帰層は、例えばLSTM(Long Short Term Memory/長期短期記憶)モデルとして実装されるものであり、このような自己回帰層を含むニューラルネットワークは、RNN(再帰型ニューラルネットワーク)と称される。コンボリューション層及びプーリング層により、時系列で入力された内視鏡画像夫々の特徴量が抽出される。自己回帰層は、抽出された特徴量夫々における変化量を出力する。出力層は、一又は複数のニューロンを有し、中間層から出力された内視鏡画像夫々の特徴量における変化量に基づき、ノイズ除去を施した時系列での最後の内視鏡画像における病変の有無及び内容の識別結果を生成し出力する。CNN及びRNNとの連結構造をなすニューラルネットワークに対する学習は、例えば、誤差逆伝播法(Backpropagation)及びBPTT(Backpropagation Through Time)を組み合わせることにより行われる。なお、図12に示す第2学習済みモデル62の構成は一例であって、本実施の形態はこれに限定されるものではない。
 学習済みモデル237で除去されるノイズには、様々なノイズが含まれる。ノイズの第1例は、撮像素子から得られる撮像画像51に含まれる、所謂雑音等のノイズである。ノイズの第2例は、処理画像54中に含まれる泡等の異物である。例えば泡が処理画像54に含まれている場合、病変部と形状が近似していることにより誤って病変部と識別されるおそれがある。これらの異物は、病変部と異なり移動、消滅等の変化を生じる。
 本実施形態によれば、第2認識器でノイズに関する情報を含んで病変部に関する情報が認識される。ノイズ除去をも学習済みモデル237が行うことで、より認識精度を高めることが可能となる。
(実施形態4)
 実施形態4では、第1学習済みモデル61及び第2学習済みモデル62には、同じ画像処理を施した画像が入力される。図13は、実施形態4における制御装置21の構成を示す機能ブロック図である。実施形態4における診断支援システム10の構成は、診断支援システム10が実行する処理の詳細が異なる点以外は実施形態1における構成と同様であるので、共通する構成については、同一の符号を付してその詳細な説明を省略する。
 図13に示す様に、実施形態3では、撮像画像51は、A/D変換部212にてA/D変換され、信号処理部213にてガンマ補正、輪郭強調、拡大/縮小等の各種の画像処理が行われる。各種の画像処理が行われた画像は、第1学習済みモデル61及び第2学習済みモデル62に夫々入力される。なお、第1学習済みモデル61及び第2学習済みモデル62に夫々入力される画像には、信号処理部213での画像処理の後、図示しないノイズ除去部にてノイズ除去等の画像処理がさらに行なわれてもよい。
 第1学習済みモデル61及び第2学習済みモデル62は、異なる層数を有する学習済みモデルである。第1学習済みモデル61及び第2学習済みモデル62は、同じ前処理が施された画像情報を入力とする。第2学習済みモデル62は、第1学習済みモデル61よりも中間層の層数が多く認識精度が高い構成を有する。実施形態1及び実施形態2と同様、第1学習済みモデル61からは、病変部の有無を認識した暫定情報が出力される。第2学習済みモデル62からは病変部の有無及び内容を認識した確定情報が出力される。
 実施形態4では、内視鏡用プロセッサ20の制御部211は、実施形態1と同様に、第1学習済みモデル61から出力される画像の光量情報に基づき光源33に光量制御情報を出力する。光量制御情報により、光源33の光量が制御される。第1学習済みモデル61及び第2学習済みモデル62には、病変部を含む撮像領域が適切な明るさになるよう調整され撮影された画像が入力される。なお、制御部211は、実施形態2と同様に、信号処理部213に光量制御情報を出力して、画像の明暗度を調整してもよい。
(実施形態5)
 実施形態5では、暫定情報及び確定情報の報知態様が実施形態1と異なる。実施形態1における診断支援システム10のハードウェア構成は実施形態1と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。
 図14は、実施形態5における制御装置21の構成を示す機能ブロック図である。実施形態5における診断支援システム10の制御部211は、補助記憶装置23に記憶してあるプログラム63を実行することにより、報知情報制御部2151の機能を実現する。
 暫定情報及び確定情報は、マーカー等を用いて画像と共に出力されるものに限定されず、例えば合成音声、ビープ音、音楽、振動等により出力されてよい。報知情報制御部2151は、表示制御部215が取得した第1学習済みモデル61からの出力情報に基づく暫定情報及び第2学習済みモデル62からの出力情報に基づく確定情報に応じて、暫定情報を含む暫定報知情報及び確定情報を含む確定報知情報を生成する。
 この場合において、報知情報制御部2151は、異なるビープ音、音楽、合成音声、振動パターン等を用いることにより、報知対象者において暫定情報と確定情報とを区別できるよう、異なる報知態様により暫定報知情報及び確定報知情報を生成する。例えば、報知情報制御部2151は、第1ビープ音を用いて暫定報知情報を報知し、第1ビープ音とは異なる第2ビープ音を用いて確定報知情報をユーザに報知する。報知情報制御部2151は、音パターン及び振動パターンの組み合わせを変化させることにより、暫定報知情報及び確定報知情報を判別可能に報知してもよい。報知情報制御部2151は、例えば暫定情報で病変無しが出力された後、確定情報で病変有りが出力された場合のように、暫定情報と確定情報とが一致しない場合には、第3ビープ音等のさらに異なる報知態様を用いて、ユーザに判別可能に報知してもよい。報知情報制御部2151は、暫定情報で病変有りが出力された後、確定情報で病変無しが出力された場合には、確定報知情報として病変有りが取り消されたことを示す第4ビープ音等の報知態様を用いて、ユーザに判別可能に報知してもよい。報知情報制御部2151は、暫定情報及び確定情報と報知パターンとを関連付けて記憶するテーブルを参照して、暫定報知情報及び確定報知情報を生成する。
 報知情報制御部2151は、生成した暫定報知情報及び確定報知情報を、外部装置501を介して出力することによりユーザに報知する。外部装置501は、例えば内視鏡用プロセッサ20に設けられたスピーカ、内視鏡40に設けられた振動発生装置等を含む。外部装置501は、例えば内視鏡40のユーザに装着されるスマートフォンに備えられるスピーカ、振動発生装置等を含むものであってもよい。報知情報制御部2151は、表示制御部215の制御に基づき、病変が確認された内視鏡画像53のフレームを表示させる時点に対応付けて、当該内視鏡画像53のフレームに関する暫定報知情報及び確定報知情報を外部装置501から出力する。すなわち、ユーザは、表示装置50に表示される内視鏡画像53における病変部と、当該病変部に対する暫定報知情報及び確定報知情報とを対応付けて確認することができる。なお、暫定報知情報及び確定報知情報を出力するタイミングは表示制御部215が制御するものに限定されず、報知情報制御部2151が制御するものであってもよい。
 本実施形態によれば、報知情報を内視鏡画像53に重畳させることなく、他の報知手段であるスピーカ、振動発生器等を用いて医師などのユーザに報知することにより、内視鏡画像53に対する視認性を向上させることができる。
 なお、上述のように開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。
 10 診断支援システム
 20 内視鏡用プロセッサ
 21 制御装置
 211 制御部
 212 A/D変換部
 213 信号処理部
 214 ノイズ除去部
 215 表示制御部
 2151 報知情報制御部
 218 第1信号処理部
 219 第2信号処理部
 22 主記憶装置
 23 補助記憶装置
 33 光源
 40 内視鏡
 50 表示装置
 501 外部装置
 51 撮像画像
 52 元画像
 53 内視鏡画像
 54 処理画像
 55 暫定情報画像
 56 確定情報画像
 61 第1学習済みモデル
 62 第2学習済みモデル
 63 プログラム
 141 撮像素子
 

Claims (12)

  1.  内視鏡により撮影された画像を取得し、
     画像に基づいて病変部を認識する第1認識器、及び画像に基づいて前記第1認識器より高い認識精度にて病変部を認識する第2認識器に、前記内視鏡により撮影された画像を入力し、
     前記第1認識器で認識された認識結果を含む暫定情報を取得し、
     取得した前記暫定情報を含む画像を出力し、
     前記第2認識器で認識された認識結果を含む前記暫定情報に対する確定情報を取得し、
     取得した前記確定情報を含む画像を出力する
     処理をコンピュータに実行させるコンピュータプログラム。
  2.  前記確定情報に基づき、前記暫定情報を含む画像から前記暫定情報を消去する
     請求項1に記載のコンピュータプログラム。
  3.  前記第1認識器に、前記内視鏡の撮像素子から得られた電気信号をRAWデータに変換する変換器にて変換された画像を入力する
     請求項1又は請求項2に記載のコンピュータプログラム。
  4.  前記第2認識器に、前記内視鏡の撮像素子から得られた電気信号をRAWデータに変換する変換器、信号処理部、及びノイズ除去部にて処理が施された画像を入力する
     請求項1から請求項3のいずれか1項に記載のコンピュータプログラム。
  5.  前記第1認識器で認識された前記病変部を含む画像の前記病変部の撮像領域の明暗度に関する光量情報を取得し、
     取得した前記光量情報に応じて所定の処理が施された画像を前記第2認識器に入力する
     請求項1から請求項4のいずれか1項に記載のコンピュータプログラム。
  6.  前記所定の処理は、前記光量情報に応じた前記内視鏡の光源から照射される光量の制御を含む
     請求項5に記載のコンピュータプログラム。
  7.  前記所定の処理は、信号処理回路のパラメータ制御、γ補正、輪郭強調、及びノイズ除去の少なくともいずれか1つを含む
     請求項5に記載のコンピュータプログラム。
  8.  請求項1から請求項7のいずれか1項に記載のコンピュータプログラムが記憶されている記憶部と、
     前記記憶部から前記コンピュータプログラムを読み出し実行する制御部と
     を備える内視鏡用プロセッサ。
  9.  内視鏡により撮影された画像を取得し、
     画像に基づいて病変部を認識する第1認識器、及び画像に基づいて前記第1認識器より高い認識精度にて病変部を認識する第2認識器に、前記内視鏡により撮影された画像を入力し、
     前記第1認識器で認識された認識結果を含む暫定情報を取得し、
     取得した前記暫定情報を含む画像を出力し、
     前記第2認識器で認識された認識結果を含む前記暫定情報に対する確定情報を取得し、
     取得した前記確定情報を含む画像を出力する
     処理を含む情報処理方法。
  10.  内視鏡により撮影された画像を取得する第1取得部と、
     画像に基づいて病変部を認識する第1認識器、及び画像に基づいて前記第1認識器より高い認識精度にて病変部を認識する第2認識器に、前記内視鏡により撮影された画像を入力する入力部と、
     前記第1認識器で認識された認識結果を含む暫定情報を取得する第2取得部と
     取得した前記暫定情報を含む画像を出力する第1出力部と、
     前記第2認識器で認識された認識結果を含む前記暫定情報に対する確定情報を取得する第3取得部と、
     取得した前記確定情報を含む画像を出力する第2出力部と
     を備える内視鏡用プロセッサ。
  11.  内視鏡により撮影された画像を取得し、
     画像に基づいて病変部を認識する第1認識器、及び画像に基づいて前記第1認識器より高い認識精度にて病変部を認識する第2認識器に、前記内視鏡により撮影された画像を入力し、
     前記第1認識器で認識された認識結果を含む暫定情報を報知し、
     前記第2認識器で認識された認識結果を含む前記暫定情報に対する確定情報を、前記暫定情報の報知態様とは異なる態様にて報知する
     処理を含む情報処理方法。
  12.  内視鏡により撮影された画像を取得する取得部と、
     画像に基づいて病変部を認識する第1認識器、及び画像に基づいて前記第1認識器より高い認識精度にて病変部を認識する第2認識器に、前記内視鏡により撮影された画像を入力する入力部と、
     前記第1認識器で認識された認識結果を含む暫定情報を報知する第1報知部と、
     前記第2認識器で認識された認識結果を含む前記暫定情報に対する確定情報を、前記暫定情報の報知態様とは異なる態様にて報知する第2報知部と
     を備える内視鏡用プロセッサ。
     
PCT/JP2020/026525 2019-07-18 2020-07-07 コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサ WO2021010225A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/297,808 US11937767B2 (en) 2019-07-18 2020-07-07 Endoscope
JP2021532990A JP7304951B2 (ja) 2019-07-18 2020-07-07 コンピュータプログラム、内視鏡用プロセッサの作動方法及び内視鏡用プロセッサ
CN202080006626.7A CN113168699B (zh) 2019-07-18 2020-07-07 计算机程序、信息处理方法以及内窥镜用处理器

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-133163 2019-07-18
JP2019133163 2019-07-18

Publications (1)

Publication Number Publication Date
WO2021010225A1 true WO2021010225A1 (ja) 2021-01-21

Family

ID=74210642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026525 WO2021010225A1 (ja) 2019-07-18 2020-07-07 コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサ

Country Status (4)

Country Link
US (1) US11937767B2 (ja)
JP (1) JP7304951B2 (ja)
CN (1) CN113168699B (ja)
WO (1) WO2021010225A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023042546A1 (ja) * 2021-09-17 2023-03-23 Hoya株式会社 コンピュータプログラム、情報処理方法及び内視鏡
WO2024084578A1 (ja) * 2022-10-18 2024-04-25 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3901903B1 (en) * 2020-04-23 2023-06-14 Siemens Healthcare GmbH Classifying a lesion based on longitudinal studies
JP7488789B2 (ja) * 2021-05-12 2024-05-22 富士フイルムヘルスケア株式会社 超音波診断装置及び診断支援方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087793A (ja) * 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
JP2013258627A (ja) * 2012-06-14 2013-12-26 Olympus Corp 画像処理装置および立体画像観察システム
JP2017153763A (ja) * 2016-03-03 2017-09-07 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11104072A (ja) * 1997-10-03 1999-04-20 Mitsubishi Electric Corp 医療支援システム
JP4171833B2 (ja) * 2002-03-19 2008-10-29 国立大学法人東京工業大学 内視鏡誘導装置および方法
JP6160196B2 (ja) * 2013-04-15 2017-07-12 オムロン株式会社 識別器更新装置、識別器更新プログラム、情報処理装置、および識別器更新方法
JP2015088095A (ja) * 2013-11-01 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP6656357B2 (ja) 2016-04-04 2020-03-04 オリンパス株式会社 学習方法、画像認識装置およびプログラム
JP2017213058A (ja) 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラム
WO2019054045A1 (ja) 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
JP6949999B2 (ja) * 2017-12-26 2021-10-13 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理方法、プログラム及び記録媒体
CN108416744B (zh) * 2018-01-30 2019-11-26 百度在线网络技术(北京)有限公司 图像处理方法、装置、设备及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087793A (ja) * 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
JP2013258627A (ja) * 2012-06-14 2013-12-26 Olympus Corp 画像処理装置および立体画像観察システム
JP2017153763A (ja) * 2016-03-03 2017-09-07 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023042546A1 (ja) * 2021-09-17 2023-03-23 Hoya株式会社 コンピュータプログラム、情報処理方法及び内視鏡
WO2024084578A1 (ja) * 2022-10-18 2024-04-25 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024084838A1 (ja) * 2022-10-18 2024-04-25 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Also Published As

Publication number Publication date
US20210393109A1 (en) 2021-12-23
CN113168699A (zh) 2021-07-23
CN113168699B (zh) 2023-07-25
JP7304951B2 (ja) 2023-07-07
US11937767B2 (en) 2024-03-26
JPWO2021010225A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
WO2021010225A1 (ja) コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサ
JP2021531885A (ja) 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
JP6842481B2 (ja) 深層学習を用いた網膜層の3d定量解析
US20130137926A1 (en) Image processing apparatus, method, and program
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
KR20160118037A (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
CN114902288A (zh) 利用基于解剖结构的三维(3d)模型切割进行三维(3d)打印的方法和系统
JP6744175B2 (ja) 医用画像表示装置及び読影レポート作成支援装置
JPWO2017104627A1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
WO2021140602A1 (ja) 画像処理システム、学習装置及び学習方法
US20220328186A1 (en) Automatic cervical cancer diagnosis system
US20220222840A1 (en) Control device, image processing method, and storage medium
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
KR102637484B1 (ko) 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
CN113689355A (zh) 图像处理方法、装置、存储介质及计算机设备
WO2024024022A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
US20240138651A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
JP2021045337A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
US11972584B2 (en) Tissue specific time gain compensation methods and systems
WO2021153437A1 (ja) 内視鏡用プロセッサ、情報処理方法及びコンピュータプログラム
WO2022191128A1 (ja) 内視鏡システム及びその作動方法
WO2024095673A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
US11880976B2 (en) Image retention and stitching for minimal-flash eye disease diagnosis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20841142

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021532990

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20841142

Country of ref document: EP

Kind code of ref document: A1