WO2022230607A1 - 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 - Google Patents

医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 Download PDF

Info

Publication number
WO2022230607A1
WO2022230607A1 PCT/JP2022/016674 JP2022016674W WO2022230607A1 WO 2022230607 A1 WO2022230607 A1 WO 2022230607A1 JP 2022016674 W JP2022016674 W JP 2022016674W WO 2022230607 A1 WO2022230607 A1 WO 2022230607A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
attention area
interest
region
size
Prior art date
Application number
PCT/JP2022/016674
Other languages
English (en)
French (fr)
Inventor
将人 吉岡
剛志 福田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2022230607A1 publication Critical patent/WO2022230607A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements

Definitions

  • the present invention relates to a medical image processing apparatus, an endoscope system, and a method of operating a medical image processing apparatus.
  • Guidelines have been formulated for diagnosing specific diseases using medical images. Physicians may be required to make decisions about how to diagnose and treat certain diseases based on guidelines.
  • an endoscope for example, colon polypectomy and endoscopic mucosal resection European ESGE (European Society of Gastrointestinal Endoscopy) guidelines for This guideline describes the recommended resection method according to the shape and size of the colorectal polyp. Treatment methods such as excision methods recommended for each of three stages of 10 mm or more are described. In addition, recommended inspection intervals are also described depending on the type, size and number of polyps.
  • the size of a region of interest such as a lesion detected by medical imaging is important information as one of the judgment criteria for determining diagnosis and treatment methods.
  • it is difficult to visually estimate the size of an endoscopic image due to problems such as distortion peculiar to the endoscopic image and the lack of landmarks of known sizes. Therefore, techniques for estimating the size of a region of interest, etc. under an endoscope have been proposed, and in recent years, size estimation using artificial intelligence (AI) has also been proposed.
  • AI artificial intelligence
  • an AI platform determines the size of a lesion from an image containing both the lesion and a reference object whose size is known (Patent Document 1).
  • the lesion is first found by visual observation of the endoscopic image, and the lesion is identified based on its shape, surface pattern, color, etc., and size information is taken into account. Examinations are carried out along a series of steps to determine the treatment method. Various guidelines may be followed when determining treatment methods.
  • An object of the present invention is to provide a medical image processing apparatus, an endoscope system, and a method of operating the medical image processing apparatus that enable efficient endoscopy.
  • the present invention is a medical image processing apparatus comprising a first processor.
  • a first processor acquires a medical image of a subject, detects a region of interest of the subject based on the medical image, measures the size of the detected region of interest, and determines the type of the region of interest, Based on this, control is performed according to a preset procedure, and control is performed to notify the user of the attention area, the size of the attention area, and/or the type of the attention area.
  • the first processor controls the measurement of the size of the region of interest and the determination of the type of the region of interest by a procedure according to a series of operations for diagnosing the region of interest by a doctor.
  • the first processor performs control to determine the type of the attention area after measuring the size of the attention area.
  • the first processor preferably performs control so that the measurement of the size of the attention area and the determination of the type of the attention area are performed in parallel.
  • the first processor performs control so that the measurement of the size of the attention area and the determination of the type of the attention area are performed in accordance with the guidelines established for diagnosing the subject.
  • the first processor discriminates the shape of the region of interest based on the medical image, and controls the measurement of the size of the region of interest, the discrimination of the type of the region of interest, and the discrimination of the shape of the region of interest according to a preset procedure. is preferred.
  • the first processor determines an inspection interval of the subject based on the presence or absence of the attention area, the size measured by measuring the size of the attention area, and/or the type of the attention area determined by determining the type of the attention area. is preferred.
  • the first processor comprises a detection model for detecting and outputting a region of interest from an input medical image, the detection model having a layered structure with an output layer for outputting the region of interest and at least one intermediate layer, and Preferably, the correct region of interest has parameters generated by learning based on the associated medical images.
  • the first processor comprises a measurement model for measuring and outputting the size of the region of interest according to the input of the medical image, the measurement model having a layered structure with an output layer for outputting the size of the region of interest and at least one intermediate layer. and having the parameter generated by learning based on the medical image with which the correct answer for the size of the region of interest is associated.
  • the first processor includes a discrimination model for outputting a discrimination result of the type of the region of interest by inputting a medical image
  • the discrimination model includes an output layer for outputting the discrimination result of the type of the region of interest and at least one intermediate layer. and having parameters generated by learning based on medical images associated with correct types of regions of interest.
  • the detection model, measurement model, and/or classification model are preferably convolutional neural network models.
  • a first processor acquires a plurality of types of medical images captured under mutually different imaging conditions, detects a region of interest possessed by a subject based on each type of medical image set in advance, measures the size of the region of interest, and the type of attention area is preferably determined.
  • the imaging condition is preferably the spectrum of the illumination light.
  • the first processor preferably performs control to input the presence or absence of the attention area, the attention area, the attention area size, and/or the attention area type to the electronic medical chart.
  • the endoscope system of the present invention performs control to emit a plurality of light sources emitting light in mutually different wavelength bands and a plurality of types of illumination light having mutually different combinations of light intensity ratios of the plurality of light sources.
  • a processor device comprising a processor, an endoscope for photographing a subject illuminated by illumination light, and the medical image processing device according to any one of claims 1 to 14, wherein the medical image processing device comprises Based on a medical image obtained by photographing the subject with a preset type of illumination light, detection of the attention area of the subject, measurement of the size of the attention area, and determination of the type of the attention area are performed.
  • the second processor controls the measurement of the size of the attention area and the determination of the type of the attention area according to a preset procedure, and controls each of the plurality of types of illumination light in synchronism with the first processor. It is preferable to control the output.
  • the first processor detects a region of interest of the subject and measures the size of the region of interest in synchronism with the second processor's control to alternately and repeatedly emit a plurality of different types of illumination light. , and the type of attention area.
  • a method of operating a medical image processing apparatus of the present invention includes a medical image acquisition step of acquiring a medical image of a subject, a detection step of detecting a region of interest possessed by the subject based on the medical image, and a detection of the detected region of interest. a first control step of controlling the measurement of the size and the determination of the type of the region of interest based on the medical image according to a preset procedure; and a second control step of notifying and controlling.
  • FIG. 1 is an external view of an endoscope system;
  • FIG. 1 is a block diagram showing functions of an endoscope system;
  • FIG. It is an explanatory view explaining four colors of LED which a light source part contains.
  • 4 is a graph showing spectra of violet light V, blue light B, green light G, and red light R; It is a graph which shows the spectrum of 1st illumination light.
  • 1 is a block diagram showing functions of a medical image processing apparatus;
  • FIG. 2 is a block diagram showing functions of a medical image processing apparatus having a guideline information unit;
  • FIG. 4 is an explanatory diagram for explaining functions of a measurement model;
  • FIG. 4 is an explanatory diagram for explaining the function of a discriminant model;
  • FIG. 10 is an image diagram showing size and discrimination indications on a display. 4 is a flow chart showing a series of processes in the medical image processing apparatus; FIG. 4 is an explanatory diagram for explaining switching of illumination light and an obtained endoscopic image; FIG. 2 is a block diagram showing functions of a medical image processing apparatus having a connector; FIG. 10 is an image diagram showing an observation distance on a display; FIG. 4 is an explanatory diagram for explaining a case where a medical image processing device is included in a diagnosis support device; FIG. 4 is an explanatory diagram for explaining a case where a medical image processing device is included in a medical service support device;
  • the endoscope system 10 has an endoscope 12, a light source device 13, a processor device 14, a display 15, a keyboard 16, and a medical image processing device 17.
  • the endoscope 12 is optically connected to the light source device 13 and electrically connected to the processor device 14 .
  • the processor device 14 connects with a medical image processing device 17 .
  • the medical image processing device 17 receives endoscopic images from the processor device 14 and performs various types of processing.
  • the medical image is an endoscopic image.
  • means for performing the functions of the medical image processing apparatus 17 may be arranged in the processor apparatus 14 so that the processor apparatus 14 performs the functions of the medical image processing apparatus 17 .
  • various connections are not limited to wired connections, but may be wireless connections, or may be connected via a network. Therefore, the functions of the medical image processing apparatus 17 may be performed by an apparatus connected via a network.
  • the endoscope 12 includes an insertion section 12a to be inserted into the body of a subject having an observation target, an operation section 12b provided at a proximal end portion of the insertion section 12a, and a distal end side of the insertion section 12a. It has a curved portion 12c and a tip portion 12d.
  • the bending portion 12c is bent by operating the angle knob 12e (see FIG. 2) of the operation portion 12b.
  • the distal end portion 12d is directed in a desired direction by the bending motion of the bending portion 12c.
  • the operation section 12b has a zoom operation section 12f for changing the imaging magnification and a mode changeover switch 12g for switching observation modes.
  • the observation mode switching operation or the zoom operation may be an operation or instruction using the mode switching switch 12g, the zoom operation section 12f, the keyboard 16, a foot switch (not shown), or the like.
  • the endoscope system 10 has various observation modes.
  • the diagnostic support observation mode of the present embodiment automatically performs processing for supporting the user over a series of operations performed by the user during endoscopy.
  • processing for supporting the user detection of the attention area of the observation target, measurement of the size of the attention area when the attention area is detected, and determination of the attention area type are automatically performed.
  • the diagnosis support observation mode the user is notified by displaying these information on the display 15 in addition to the endoscopic image.
  • region of interest refers to a region of a subject that is highly likely to have some kind of abnormality such as a lesion.
  • the processor device 14 is electrically connected to the display 15 and keyboard 16 .
  • the display 15 displays an endoscopic image, information about an attention area, and/or information attached thereto.
  • the keyboard 16 functions as a user interface that receives input operations such as function settings.
  • the processor device 14 may be connected to an external recording unit (not shown) for recording images, image information, and the like.
  • the light source device 13 emits illumination light to irradiate an observation target, and includes a light source unit 20 and a light source processor 21 (second processor) that controls the light source unit 20 .
  • the light source unit 20 is composed of, for example, a semiconductor light source such as a multicolor LED (Light Emitting Diode), a combination of a laser diode and a phosphor, or a xenon lamp or halogen light source.
  • the light source unit 20 also includes an optical filter and the like for adjusting the wavelength band of light emitted by the LED or the like.
  • the light source processor 21 controls the amount of illumination light by turning on/off each LED or the like and adjusting the driving current or driving voltage of each LED or the like.
  • the light source processor 21 also controls the wavelength band of the illumination light by changing the optical filter or the like.
  • the light source unit 20 includes a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and R-LED (Red Light Emitting Diode) 20d.
  • V-LED Volt Light Emitting Diode
  • B-LED Blue Light Emitting Diode
  • G-LED Green Light Emitting Diode
  • R-LED Red Light Emitting Diode
  • the V-LED 20a generates violet light V with a central wavelength of 410 ⁇ 10 nm and a wavelength range of 380-420 nm.
  • the B-LED 20b generates blue light B with a central wavelength of 450 ⁇ 10 nm and a wavelength range of 420-500 nm.
  • the G-LED 20c generates green light G with a wavelength range of 480-600 nm.
  • the R-LED 20d emits red light R with a central wavelength of 620-630 nm and a wavelength range of 600-650 nm.
  • the light source processor 21 controls the V-LED 20a, B-LED 20b, G-LED 20c, and R-LED 20d.
  • the light source processor 21 controls each of the LEDs 20a to 20d so as to emit illumination light having a specific combination of light intensity ratios among violet light V, blue light B, green light G, and red light R.
  • the light source processor 21 emits normal light or first illumination light as illumination light in this embodiment. When set to emit normal light, the light source processor 21 determines that the combination of light intensity ratios between violet light V, blue light B, green light G, and red light R is Vc:Bc:Gc:Rc. Each LED 20a-20d is controlled to emit normal light.
  • the combination of the light intensity ratios of the violet light V, the blue light B, the green light G, and the red light R is Vs1:Bs1:Gs1:Rs1.
  • LEDs 20a to 20d are controlled to emit light.
  • the first illumination light preferably emphasizes superficial blood vessels. Therefore, it is preferable that the light intensity of the violet light V be higher than the light intensity of the blue light B in the first illumination light.
  • the ratio of the light intensity Vs1 of the violet light V and the light intensity Bs1 of the blue light B is assumed to be "4:1".
  • the combination of light intensity ratios includes the case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, it includes the case where any one or two or more of the semiconductor light sources do not light up. For example, only one of the semiconductor light sources is turned on and the others are turned on, such as when the combination of the light intensity ratios between the violet light V, the blue light B, the green light G, and the red light R is 1:0:0:0. , has a light intensity ratio even when not lit, and is one of the combinations of light intensity ratios.
  • the combinations of the light intensity ratios of the violet light V, the blue light B, the green light G, and the red light R emitted in the normal light and the first illumination light that is, the types of illumination light differ from each other.
  • either the normal light or the first illumination light is emitted continuously, or different types of illumination light such as the normal light and the first illumination light are automatically switched and emitted.
  • the normal light period in which the normal light is continuously emitted and the first illumination light period in which the first illumination light is continuously emitted are alternately repeated. For example, after a normal light period in which normal light is emitted is performed for a predetermined number of frames, a first illumination light period in which the first illumination light is emitted is performed for a predetermined number of frames. After that, the normal light period starts again, and the set of the normal light period and the first illumination light period is repeated.
  • a “frame” is a unit for controlling the imaging sensor 45 (see FIG. 2) that captures an image of an observation target.
  • a period including at least an exposure period for exposure and a readout period for reading out an image signal.
  • various periods such as the normal light period or the first period are respectively determined corresponding to the "frame" which is the unit of photographing.
  • the light emitted by each of the LEDs 20a to 20e is incident on the light guide 41 via an optical path coupling section (not shown) composed of mirrors, lenses, and the like.
  • the light guide 41 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 13 and the processor device 14).
  • the light guide 41 propagates the light from the optical path coupling portion to the distal end portion 12 d of the endoscope 12 .
  • the distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
  • the illumination optical system 30 a has an illumination lens 42 , and the illumination light propagated by the light guide 41 is applied to the observation target via the illumination lens 42 .
  • the imaging optical system 30 b has an objective lens 43 , a zoom lens 44 and an imaging sensor 45 .
  • Various kinds of light such as reflected light, scattered light, and fluorescent light from the observation target enter the imaging sensor 45 via the objective lens 43 and the zoom lens 44 .
  • an image of the observation target is formed on the imaging sensor 45 .
  • the zoom lens 44 can be freely moved between the telephoto end and the wide end by operating the zoom operation section 12f to enlarge or reduce the observation target imaged on the imaging sensor 45.
  • the imaging sensor 45 is a color imaging sensor in which any one of R (red), G (green), or B (blue) color filters is provided for each pixel. to output As the imaging sensor 45, a CCD (Charge Coupled Device) imaging sensor or a CMOS (Complementary Metal-Oxide Semiconductor) imaging sensor can be used. Further, instead of the imaging sensor 45 provided with primary color filters, a complementary color imaging sensor provided with complementary color filters of C (cyan), M (magenta), Y (yellow) and G (green) may be used. . Also, instead of the imaging sensor 45, a monochrome sensor without a color filter may be used.
  • the imaging sensor 45 is driven and controlled by an imaging control unit (not shown).
  • the central control unit 58 controls light emission of the light source unit 20 through the light source processor 21 in synchronization with the imaging control unit. For example, by controlling the imaging sensor 45 so as to photograph an observation target illuminated with normal light, the B pixels of the imaging sensor 45 output Bc image signals, the G pixels output Gc image signals, and the R pixels to output the Rc image signal. Alternatively, by controlling the imaging sensor 45 so as to photograph the observation target illuminated by the first illumination light, the B pixels of the imaging sensor 45 output the Bs1 image signal, the G pixels output the Gs1 image signal, An Rs1 image signal is output from the R pixel. When switching between the normal light and the first illumination light, the central control unit 58 switches the control of the imaging control unit according to each illumination light period.
  • a CDS/AGC (Correlated Double Sampling/Automatic Gain Control) circuit 46 performs correlated double sampling (CDS) and automatic gain control (AGC) on analog image signals obtained from the imaging sensor 45 .
  • the image signal that has passed through the CDS/AGC circuit 46 is converted into a digital image signal by an A/D (Analog/Digital) converter 47 .
  • the digital image signal after A/D conversion is input to the processor device 14 .
  • a central control unit 58 composed of a processor or the like operates a program in a program memory to operate an image acquisition unit 51, a DSP (Digital Signal Processor) 52, and a noise reduction unit 53.
  • a memory 54, an image processing unit 55, a display control unit 56, a video signal generation unit 57, and a central control unit 58 are implemented.
  • the central control unit 58 receives information from the endoscope 12 and the light source device 13, and controls the endoscope 12 or the light source device 13 in addition to controlling each unit of the processor device 14 based on the received information. I do. It also receives information such as instructions from the keyboard 16 .
  • the image acquisition unit 51 acquires a digital image signal of an endoscopic image input from the endoscope 12.
  • the image acquisition unit 51 acquires, for each frame, an image signal obtained by photographing an observation target illuminated by each illumination light.
  • the acquired image signal is sent to the DSP 52.
  • the DSP 52 performs digital signal processing such as color correction processing on the received image signal.
  • the noise reduction unit 53 performs noise reduction processing using, for example, a moving average method, a median filter method, or the like on the image signal that has been subjected to color correction processing or the like by the DSP 52 .
  • the noise-reduced image signal is stored in the memory 54 .
  • the image processing unit 55 acquires the image signal after noise reduction from the memory 54 . Then, the acquired image signal is subjected to signal processing such as color conversion processing, color enhancement processing, and structure enhancement processing as necessary to generate a color endoscopic image showing the observation target.
  • the image processing section 55 includes a normal image processing section 61 and a special image processing section 62 .
  • the normal image processing unit 61 performs color conversion processing and color enhancement processing on the input image signal for the normal image after noise reduction for one frame in the normal image captured with normal light. , and perform image processing for normal images such as structure enhancement processing.
  • An image signal that has undergone image processing for a normal image is input to the medical image processing device 17 and/or the display control unit 56 .
  • the special image processing unit 62 performs color conversion processing and , color enhancement processing, structure enhancement processing, and other image processing for the first image.
  • the image signal subjected to the image processing for the first image is input to the medical image processing device 17 and/or the display control unit 56 as the first image.
  • the image processing unit 55 may adjust the frame rate when inputting the endoscopic image including the normal image and the first image to the medical image processing device 17 and/or the display control unit 56 .
  • the image processing unit 55 generates a normal image by applying the various signal processing described above to the normal image with normal light so that the observation target becomes a natural color. Further, various signal processing for emphasizing the blood vessel to be observed is performed on the first image by the first illumination light to generate the first image.
  • the semiconductor light source includes a V-LED 20a that emits violet light V (first narrow-band light) whose wavelength band has a central wavelength of 410 ⁇ 10 nm and a wavelength range of 420 to 500 nm, and a wavelength band of which has a central wavelength of 450 ⁇ 10 nm and a wavelength range of 380 nm. and a B-LED 20b that emits blue light B (second narrow band light) at ⁇ 420 nm. Therefore, in the first image generated by the image processing unit 55, blood vessels (so-called superficial blood vessels) or blood located at relatively shallow positions within the observation target with respect to the surface of the mucous membrane are colored magenta (for example, brown). Become. Therefore, in the first image, the blood vessel or bleeding (blood) to be observed is emphasized by the difference in color with respect to the mucous membrane represented in pinkish color.
  • the display control unit 56 receives the endoscopic image generated by the image processing unit 55 and performs control for displaying it on the display 15 .
  • the endoscope image controlled for display by the display control unit 56 is generated by the video signal generation unit 57 into a video signal to be displayed on the display 15 and sent to the display 15 .
  • the display 15 displays the endoscopic image sent from the video signal generator 57 under the control of the display controller 56 .
  • the medical image processing apparatus 17 includes a medical image acquisition unit 81, an attention area detection unit 82, an operation control unit 83, a size measurement unit 84, a type determination unit 85, and a notification control unit 86.
  • the medical image acquisition unit 81 acquires the normal image or the first image adjusted by the image processing unit 55 of the processor device 14 .
  • the attention area detection unit 82 detects an attention area of the subject based on the normal image or the first image.
  • a size measurement unit 84 measures the size of the attention area, and a type determination unit 85 determines the type of the attention area.
  • the operation control section 83 controls the operation of the size measurement section 84 and the type determination section 85 according to a preset procedure when the attention area is detected.
  • the notification control unit 86 performs control for notifying the user of the attention area, the size of the attention area, and the type of the attention area.
  • the medical image processing device 17 comprises a first processor.
  • a central control unit (not shown) configured by a processor or the like operates a program in a program memory, whereby a medical image acquisition unit 81, an attention area detection unit 82, Functions of the operation control unit 83, the size measurement unit 84, the type determination unit 85, the notification control unit 86, the guideline information unit 87, and the connection unit 99 are realized.
  • the central control unit receives information from the processor device 14 and, based on the received information, controls each unit of the medical image processing apparatus 17 and also controls each output of the display 15 and the like. It also receives information such as instructions from a user interface such as the keyboard 16 .
  • the attention area detection unit 82 detects the attention area of the observation target shown in each image based on each image. Detection also includes the number of regions of interest or the number of specific diseases such as polyps. The attention area is detected based on the endoscopic image. When the normal image and the first image are not distinguished, they are collectively referred to as an endoscopic image.
  • the attention area detection unit 82 preferably detects the attention area using a detection model based on machine learning technology, since the detection result may be excellent.
  • the detection model is a neural network model.
  • the detection model since it is a learning model for detecting a region of interest based on an endoscopic image, it is preferably a convolutional neural network. Therefore, the detection model preferably has a layered structure with an output layer for outputting the region of interest and at least one intermediate layer. A deep learning model is also preferred, as it may result in better detection results.
  • the detection model preferably has parameters generated by learning based on the endoscopic image associated with the correct answer of the region of interest.
  • the correct region of interest is a region in which it is clear that there is some kind of abnormality in the observation target shown in the endoscopic image.
  • a correct answer for the attention area is determined based on the endoscopic image by a person such as an experienced doctor who is excellent at detecting the attention area in the endoscopic image, and is associated with the endoscopic image. When there are a plurality of attention areas in the endoscopic image, all attention areas are detected and regarded as correct attention areas.
  • data indicating the region of interest is added to the endoscopic image by coordinates or image processing, etc., to form an endoscopic image associated with the correct region of interest. .
  • the attention area detection unit 82 When the attention area detection unit 82 detects an attention area in the endoscopic image, it is automatically sent to the size measurement unit 84 and/or the type determination unit 85 .
  • the operation of the size measuring section 84 and/or the type determining section 85 is controlled by the operation control section 83 .
  • the operation control unit 83 controls the operation of the size measurement unit 84 and/or the type determination unit 85 according to a preset procedure.
  • the preset procedure is preferably a procedure in which a doctor follows a series of operations for diagnosing the region of interest. As a result, it is possible to support diagnosis according to a series of operations performed by a doctor without the need for the user to manually switch from the detection of the attention area. It is possible to prevent troubles such as omission of size recording due to forgetting to switch, which is preferable.
  • the procedure can be set from a user interface such as the keyboard 16 or the like.
  • the series of operations includes, for example, identifying a region of interest, estimating the size of the region of interest, then determining the type of the region of interest, determining a treatment method based on the estimated size and type, and performing treatment. is mentioned. Therefore, after detecting a region of interest, the medical image processing apparatus 17 uses the size measuring unit 84 to estimate the size, and then the type discriminating unit 85 discriminates the type of the region of interest. / Or the operation of the type determination unit 85 can be controlled.
  • the preset procedure may be a procedure in which the operation of the size measuring unit 84 and the operation of the type determining unit 85 are performed in parallel.
  • a procedure is used when the measurement of the size of the attention area by the size measuring unit 84 and the determination of the type of the attention area by the type determination unit 85 are always performed, or the computer required for the size measurement and the determination of the type of the attention area. It can be set when there is no problem in terms of load. It is preferable to perform the measurement of the size of the attention area and the determination of the type in parallel, because the measurement result or the determination result may be obtained quickly.
  • the doctor may recommend a diagnosis according to the guidelines for diagnosing a specific disease when diagnosing an area of interest.
  • the preset procedure is preferably a procedure that complies with the guidelines set for the diagnosis of the observation target.
  • Various guidelines have been established for diagnosis according to site, disease, or the like.
  • the doctor can confirm the diagnosis according to the guideline when the doctor makes a diagnosis according to the guideline, and the necessary support information for the diagnosis can be obtained in a timely manner. preferred because of its potential.
  • a guideline information section 87 may be provided when following the guideline.
  • the guideline information section 87 stores information on various guidelines.
  • the operation control section 83 can use the information in the guideline information section 87 to control the operation of the size measurement section 84 or the type determination section 85 .
  • Non-Patent Document 1 for superficial colorectal neoplasms in the large intestine, a sessile, protruding or flat polyp is 6 mm If it is 9 mm or less, en bloc excision by cold snare polypectomy (CSP) is recommended. It is annotated that a complete specimen collection is required for In addition, if a similar polyp is 10 mm or more, advanced imaging endoscopic examination is to be performed to confirm the presence or absence of submucosal infiltration.
  • CSP cold snare polypectomy
  • the operation of the operation control unit 83 is set according to the procedure based on this guideline, after the size is measured by the size measurement unit 84, a sessile, projecting or flat polyp with a size of 6 mm or more and 9 mm is measured.
  • a procedure can be set in advance for determining the type of the attention area by the type determining unit 85 .
  • the operation control unit 83 or the endoscope system is configured to automatically acquire an endoscopic image by image-enhanced observation using an image-enhanced endoscope (IEE). 10 actions may be set.
  • a shape determination unit (not shown) that determines the shape of the attention area based on the medical image may be provided when the attention area is detected.
  • the operation control section 83 controls the operations of the size measuring section 84, the type determining section 85, and the shape determining section to be performed according to preset procedures.
  • the treatment differs depending on whether the polyp is sessile, projection-like or plate-like, or pedunculated. Therefore, if necessary, such as performing a diagnosis in accordance with the above guideline, after the attention area is detected by the attention area detection unit 82, the shape determination unit determines the shape of the attention area.
  • the operation of the size measuring unit 84 and/or the type determining unit 85 may be controlled after determining whether the plant is pedunculated or pedunculated.
  • the size measurement unit 84 preferably measures the size of the attention area using a measurement model based on machine learning technology, since the measurement results may be excellent. As shown in FIG. 8, by inputting an endoscopic image 70 having a region of interest into a measurement model 88, the size of the region of interest is output.
  • the size is information related to the size of the attention area, and may be the diameter or the like in the case of a substantially circular shape, or the length of four sides in the case of a substantially rectangular shape.
  • Measurement model 88 is preferably a neural network model. Moreover, since it is a learning model for measuring the size of the attention area based on the endoscopic image, it is preferably a convolutional neural network. Therefore, the measurement model 88 preferably has a layered structure with an output layer for outputting the size of the region of interest and at least one intermediate layer. A deep learning model is also preferred, as it may result in better detection results.
  • the measurement model 88 preferably has parameters generated by learning based on endoscopic images associated with the correct size of the region of interest.
  • a correct answer for the size of the region of interest can be an endoscopic image in which the measured value of the size of the region of interest is known.
  • the region of interest is a polyp
  • an endoscopic image showing the polyp is associated with the size obtained by actually measuring after excising the polyp
  • an endoscopic image associated with the correct size of the region of interest is obtained. be able to.
  • the type discrimination unit 85 preferably discriminates the type of the attention area using a discrimination model based on machine learning technology, since the measurement result may be excellent. As shown in FIG. 9, by inputting an endoscopic image 70 having a region of interest to the discriminant model 89, the type of the region of interest is output.
  • Discriminant model 89 is preferably a neural network model. Further, since it is a learning model for discriminating the type of the attention area based on the endoscopic image, it is preferably a convolutional neural network. Therefore, the discriminant model 89 preferably has a layered structure having an output layer for outputting the discriminated result of the type of the attention area and at least one intermediate layer. A deep learning model is also preferred, as it may result in better detection results.
  • the discrimination model 89 preferably has parameters generated by learning based on endoscopic images associated with the correct determination result of the type of attention area.
  • the correct determination result of the type of the attention area can be an endoscope image for which the determination result of the type of the attention area is already known.
  • the type of the region of interest is determined by associating an endoscopic image showing the polyp with the type of polyp when the type of polyp is clearly determined by pathological diagnosis or the like. can be an endoscopic image associated with the correct determination result.
  • the type of the region of interest is, for example, when the region of interest is an abnormal region of the large intestine, the type of tumor or non-neoplastic such as polyp, tumor, or redness, or colorectal cancer, Examples include the severity, progression or stage of a particular disease such as ulcerative colitis or Crohn's disease.
  • the shape determination section can also be a learning model based on machine learning technology, similar to the size measurement section 84 and the type determination section 85 .
  • the operation control section 83 may control the operation of the shape determination section in addition to the size measurement section 84 and the type determination section 85 .
  • An inspection interval determination unit determines inspection intervals of the subject based on the presence or absence of the attention area, the size measured by the size measurement unit 84, and/or the type of the attention area determined by the type determination unit 85. ) may be provided.
  • the inspection interval is also called a surveillance interval, and is an inspection interval recommended according to the diagnostic result of the region of interest.
  • the examination interval is determined by the doctor according to the diagnosis result, and may follow the guidelines of various diseases. Therefore, the examination interval determination unit may conform to guidelines set for diagnosing subjects.
  • the examination interval determination unit notifies the user of the specific period of the examination interval to assist the doctor in deciding the examination interval.
  • the notification method is the same as the determination result of the size of the attention area or the type of the attention area, and a method of displaying it on the display 15 can be adopted.
  • the inspection interval determination unit can also be a learning model based on machine learning technology. Further, the operation control section 83 may control the operation of the inspection interval determination section in addition to the size measurement section 84 and the type determination section 85 .
  • the notification control unit 86 When the attention area is detected, the notification control unit 86 performs control to notify the user of the attention area, the size of the attention area, and/or the type of the attention area. As a method of notifying the user of these pieces of information, any method may be used as long as the method is recognizable by the user.
  • the attention area can be displayed by an attention area indication mark 91 .
  • the shape of the region-of-interest indication mark 91 is preferably a mark that does not hinder the user from visually recognizing the endoscopic image.
  • the attention area may be displayed by the attention area indicator 98 .
  • the measurement results and discrimination results of the size measurement unit 84 and the type discrimination unit 85 are displayed together with the attention area indication mark 91 by the size and discrimination display 92. 15 can be displayed.
  • the size and discrimination display 92 may be displayed in a form that allows the user to perceive the measurement results and discrimination results. "Type: neoplastic, submucosal invasion” is displayed as the determination result of , indicating that the tumor is neoplastic and that mucosal invasion is suspected.
  • the size and identification display 92 may indicate a recommended treatment method based on the size and repair of the attention area indicated in the size and identification display 92 and the guideline information stored in the guideline information section 87. good. For example, referring to the guideline for colonic polyps, when it is determined that the size is about 10 mm in diameter and the type of area is determined to be neoplastic and mucosal invasion is suspected, "Treatment: ESD (Guideline 1) ” is displayed. This indicates that ESD (endoscopic submucosal dissection) treatment is recommended when Guideline 1 stored in the guideline information unit 87 is followed. With these indications, the user can be informed of the region of interest, the size of the region of interest, and the type of region of interest, as well as recommended treatment methods based on specific guidelines, by glancing at the display 15. .
  • ESD endoscopic submucosal dissection
  • the display 15 may display other information that contributes to the doctor's diagnosis.
  • the distance from the distal end of the endoscope to the observation target, etc. can be mentioned. The measurement of the distance from the distal end of the endoscope to the observation object will be described later.
  • step ST110 the operation procedure of the size measurement section 84 and the type determination section 85 is set (step ST110).
  • the operation procedure is set from the keyboard 16, and the set operation procedure is to operate the size measuring section 84 after detecting the attention area, and then operate the type determining section 85.
  • FIG. After the setting is completed, the endoscope is inserted into the subject to start endoscopic examination (step ST120). After inserting to the vicinity of the cecum, an endoscopic image is acquired while removing it (step ST130).
  • the attention area detection unit 82 detects the attention area based on the acquired endoscopic image (step ST140).
  • the operation control unit 83 operates the size measurement unit 84 (step ST160).
  • the size measuring section 84 measures the size of the attention area (step ST170).
  • the operation control section 83 operates the type determination section 85 (step ST180).
  • the type discriminating section 85 discriminates the type of the attention area (step ST190).
  • notification control section 86 controls notification to the user (step ST200), and display 15 displays the size and type of the attention area (step ST210).
  • step ST220 When the examination is finished (Y in step ST220), the endoscopy is finished. If the attention area detection unit 82 does not detect an attention area (N in step ST150) or does not end the examination (N in step ST220), the process returns to endoscopic image acquisition (step ST130). Acquire a mirror image to continue the endoscopy.
  • the operation control unit 83 can support a series of operations required when a doctor makes a diagnosis, the operation control unit 83 notifies information for supporting the diagnosis with respect to each of the series of operations required when making a diagnosis. can do.
  • the operation control unit 83 when a doctor makes a diagnosis of an area of interest in accordance with guidelines, necessary information regarding diagnosis based on the guidelines can be sent to the doctor, so the doctor can make an accurate diagnosis that meets the guideline without trouble. can do.
  • the medical image acquisition unit 81 acquires a plurality of types of medical images captured under mutually different imaging conditions
  • the attention area detection unit 82, the size measurement unit 84, and the type determination unit 85 each acquire a preset type of medical image. Processing may be performed based on medical images.
  • the endoscopic images obtained under different imaging conditions can be endoscopic images obtained by image-enhanced observation (IEE).
  • IEE image-enhanced observation
  • the region-of-interest detection unit 82, the size measurement unit 84, and the type determination unit 85 may obtain more precise results by performing processing based on endoscopic images under different imaging conditions. Therefore, it is preferable to transmit preferable types of endoscopic images to the attention area detection unit 82, the size measurement unit 84, and the type determination unit 85, respectively.
  • the type of illumination light that is, the spectrum of the illumination light
  • the medical image acquisition unit 81 acquires a plurality of types of endoscopic images with different imaging conditions such as the spectrum of the illumination light.
  • the imaging time, the observation distance between the distal end of the endoscope and the observation target, the zoom magnification of the endoscope 12, and the like are included.
  • the light amount ratio is acquired from the central control unit 58 .
  • the photographing time may be obtained from header information of the endoscopic image, or may be obtained from the central control unit 58 .
  • the observation distance includes, for example, a non-expansion observation distance in which the observation distance is a long distance and an expansion observation distance in which the observation distance is a short distance.
  • the zoom magnification of the endoscope 12 includes, for example, non-magnification that is non-magnification observation, low magnification to high magnification that enables magnification observation, and the like, and can be acquired based on a change operation of the zoom operation unit 12f.
  • the spectrum of illumination light is used as an imaging condition.
  • the light source processor 21 switches and emits a specific type of illumination light. Specifically, a normal light period in which normal light is continuously emitted and a first illumination light period in which first illumination light is continuously emitted are alternately repeated. After the normal light period in which normal light is emitted is performed for a predetermined number of frames, the first illumination light period in which the first illumination light is emitted is performed for a predetermined number of frames. After that, the normal light period starts again, and the set of the normal light period and the first illumination light period is repeated.
  • a “frame” is a unit for controlling the imaging sensor 45 (see FIG. 2) that captures an image of an observation target.
  • a period including at least an exposure period for exposure and a readout period for reading out an image signal.
  • various periods such as the normal light period or the first period are respectively determined corresponding to the "frame" which is the unit of photographing.
  • the first illumination light period for emitting the first illumination light is performed for a period of one frame. After that, the normal light period starts again, and a set of the normal light period and the first illumination light period for four frames is repeated. Therefore, after three normal images 71 are consecutively captured during the normal light period of three frames, one first image 72 is captured during the first illumination light period. Note that the first image 72 is shaded because it has a different color tone from the normal image 71 . Only the normal image 71 is displayed on the display 15, and the first image 72 is not displayed. After that, it returns to the normal light period and continues to repeat this pattern.
  • the first image 72 is an image in which superficial blood vessels are emphasized, a result with higher accuracy than when processing based on the normal image 71 may be obtained.
  • high accuracy means that the result obtained by the processing of the attention area detection unit 82, the size measurement unit 84, or the type determination unit 85 has a high rate of matching the actual situation, or the obtained area or size is more fine. It means that it can be obtained in
  • the attention area detection unit 82 , size measurement unit 84 , or type determination unit 85 performs processing based on the first image 72 .
  • the light source processor 21 synchronizes with the operation control unit 83 controlling the operation of the size measurement unit 84 and the type determination unit 85 so as to perform operations according to a preset procedure. You may perform the control which emits a kind.
  • the operation control unit 83 controls the attention area detection unit 82, the size measurement unit 84, or the type determination unit 85 in synchronism with the light source processor 21 emitting a plurality of types of illumination light in preset patterns. may control the operation of
  • the normal image 71 is displayed on the display 15.
  • the normal image 71 immediately before the first image 72 is captured is displayed in two frame periods, or the like. Information that assists a highly accurate diagnosis is automatically obtained while viewing the image. Therefore, the user can obtain information on various processing results with higher precision while displaying the familiar normal image 71, which is preferable.
  • the medical image processing apparatus 17 may include a connection unit 99 that connects to an electronic medical record server.
  • the connection unit 99 controls whether or not an attention area is detected, and when the attention area is detected, the attention area, the attention area size, and/or the attention area state are input to the electronic medical record.
  • the medical image processing apparatus 17 can automatically input various types of information to an electronic medical record, which is a series of operations for an endoscopic examination by a doctor, through the connection unit 99, thereby improving the efficiency of the endoscopic examination. To contribute.
  • the endoscope system 10 preferably includes a distance measuring section that measures the distance between the observation target and the distal end of the endoscope.
  • the distance measurement unit can employ a method using measurement auxiliary light from a laser, a method of projecting a pattern, a method using TOF (Time of Flight), or a method using ultrasonic waves.
  • the method of using laser measurement auxiliary light is to emit the laser measurement auxiliary light in a state where it intersects the optical axis of the endoscope and is within the shooting angle of view of the imaging optical system, and uses the measurement auxiliary light
  • the distance between the object to be observed and the distal end of the endoscope is determined from the position of the spot formed on the object.
  • the distance between the object to be observed and the distal end of the endoscope measured by these methods is displayed on a size and identification display 93 together with the size display of the attention area or the type identification display.
  • a variety of information that assists diagnosis can be presented to the doctor at the same time.
  • the present invention is applied to the case of processing endoscopic images.
  • the present invention can also be applied to image processing systems and the like.
  • part or all of the medical image processing device 17 in the endoscope system 10 is, for example, a diagnosis support device 610 that communicates with the processor device 14 and cooperates with the endoscope system 10. can be set to Similarly, part or all of the medical image processing device 17 in the endoscope system 10 can be provided in a diagnosis support device 610 that communicates with the medical image processing device 17 and cooperates with the endoscope system 10, for example. .
  • part or all of the image processing unit 55 and/or the central control unit 58 of the endoscope system 10 may be directly from the endoscope system 10 or may be directly connected to PACS (Picture (Archiving and Communication Systems) 22 can be provided in a diagnostic support device 610 that indirectly acquires images captured by the endoscope 12 .
  • part or all of the medical image processing device 17 in the endoscope system 10 is directly from the endoscope system 10 or indirectly from PACS (Picture Archiving and Communication Systems) 22, for example. It can be provided in a diagnosis support device 610 that acquires an image captured by the scope 12 .
  • the information obtained from the endoscopy and presented to the doctor etc. is automatically saved. , or observation distance information associated with the detected attention area.
  • the result obtained by the processing of the size measurement unit 84 and the type determination unit 85 may be automatically saved in the recording unit.
  • the data stored in the recording unit may be associated with information described in an electronic medical record, examination report, or the like through PACS or a network. By doing so, the doctor can save the trouble of sorting out various kinds of information.
  • various inspection apparatuses including the endoscope system 10, such as a first inspection apparatus 621, a second inspection apparatus 622, .
  • a part or all of the medical image processing device 17 of the endoscope system 10 can be provided in the medical service support device 630 .
  • the hardware structure of the processing unit that executes various processes is the following various processors.
  • Various processors include CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that run software (programs) and function as various processing units.
  • Programmable Logic Devices PLDs
  • PLDs Programmable Logic Devices
  • One processing unit may be composed of one of these various processors, or composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA).
  • a plurality of processing units may be configured by one processor.
  • a plurality of processing units may be configured by one processor.
  • this processor functions as a plurality of processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit in the form of a combination of circuit elements such as semiconductor elements.
  • the present invention is not limited to the above embodiments, and various configurations can be adopted as long as they do not deviate from the gist of the present invention.
  • the present invention also extends to a storage medium that stores the program.
  • endoscope system 12 endoscope 12a insertion portion 12b operation portion 12c bending portion 12d tip portion 12e angle knob 12f zoom operation portion 12g mode switching switch 13 light source device 14 processor device 15 display 16 keyboard 17 medical image processing device 20 light source portion 20a V-LED 20b B-LED 20c G-LED 20d R-LED 21 light source processor 22 PACS 30a illumination optical system 30b imaging optical system 41 light guide 42 illumination lens 43 objective lens 44 zoom lens 45 imaging sensor 46 CDS/AGC circuit 47 A/D converter 51 image acquisition unit 52 DSP 53 noise reduction unit 54 memory 55 image processing unit 56 display control unit 57 video signal generation unit 58 central control unit 61 normal image processing unit 62 special image processing unit 70 endoscope image 71 normal image 72 first image 81 medical image acquisition unit 82 attention area detection unit 83 operation control unit 84 size measurement unit 85 type determination unit 86 notification control unit 87 guideline information unit 88 measurement model 89 discrimination model 91 attention area indication mark 92 size and discrimination display 98 attention area indicator 99 connection unit 610 diagnosis Support device 621

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

効率的な内視鏡検査を可能にする医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法を提供する。　医療画像処理装置が備える第１プロセッサは、取得した医療画像に基づき被写体が有する注目領域を検出し、検出された注目領域のサイズの測定と注目領域の種類の判別とを、前記医療画像に基づき、予め設定した手順により行なうよう制御し、注目領域、注目領域のサイズ及び／又は注目領域の種類をユーザに通知する制御を行なう。

Description

医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
　本発明は、医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法に関する。
　医療画像を用いて特定の疾患の診断等を行なうためのガイドラインが策定されている。医師は、ガイドラインに基づいて、特定の疾患の診断及び処置方法を決定することが求められる場合がある。
　被写体である観察対象を内視鏡で撮影して得た画像（以下、内視鏡画像という）に基づく診断及び処置方法のガイドラインとしては、例えば、大腸ポリープ切除術と内視鏡的粘膜切除術に関する欧州のＥＳＧＥ（European Society of Gastrointestinal Endoscopy）によるガイドラインが挙げられる（非特許文献１）。このガイドラインには、大腸ポリープの形状と大きさに応じた推奨切除法が記載され、表層型大腸新生物について、無茎であり突起状又は平板状のポリープでは、５ｍｍ以下、６－９ｍｍ、及び１０ｍｍ以上の３段階でそれぞれに推奨される切除法等の処置方法が記載されている。また、ポリープの種類、大きさ、及び個数等により、推奨される検査間隔も記載されている。
　このように、医療画像の分野では、医療画像により発見した病変部等の注目領域のサイズは、診断や処置方法決定のための判断基準の一つとして重要な情報となる。しかし、内視鏡画像では、内視鏡画像特有の歪みや、既知サイズのランドマークがない等の問題により、目視によるサイズ推定が難しい場合があった。そのため、内視鏡下での注目領域等のサイズ推定手法の提案がなされており、近年、人工知能（AI、artificial intelligence）を用いたサイズ推定も提案されている。
　例えば、病変とサイズが既知である参照オブジェクトとの両方が写る画像から、病変のサイズを決定するＡＩプラットフォームが知られている（特許文献１）。
米国特許出願公開第２０２０／２７９３７３号明細書
　従来の内視鏡検査では、内視鏡画像を目視することにより、まず病変部を探し、発見した病変部の形状、表面模様、及び色等から病変部の鑑別を行い、サイズ情報を考慮して処置方法を決定するという一連の流れに沿って検査が行われている。処置方法を決定する際等には、各種ガイドラインに従う場合がある。
　機械学習による学習モデル等のＡＩを用いてこのような内視鏡検査を支援する場合、病変部の検出又は鑑別等は、それぞれ別々の学習モデルによる処理作業となる。したがって、ユーザは、一回の内視鏡検査の中で処理方法を手動で何度か切り替える必要があり、手間がかかるおそれがあった。また、処理方法の切替忘れにより記録漏れが起き、検査をやり直すという問題が生じる場合があった。
　本発明は、効率的な内視鏡検査を可能にする医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法を提供することを目的とする。
　本発明は、医療画像処理装置であって、第１プロセッサを備える。第１プロセッサは、被写体を撮影した医療画像を取得し、医療画像に基づき、被写体が有する注目領域を検出し、検出された注目領域のサイズの測定と注目領域の種類の判別とを、医療画像に基づき、予め設定した手順により行なうよう制御し、注目領域、注目領域のサイズ及び／又は注目領域の種類をユーザに通知する制御を行なう。
　第１プロセッサは、注目領域のサイズの測定と注目領域の種類の判別とを、医師が注目領域の診断を行なう一連の動作に従う手順により行なうよう制御することが好ましい。
　第１プロセッサは、注目領域のサイズの測定の後、注目領域の種類の判別を行なうよう制御することが好ましい。
　第１プロセッサは、注目領域のサイズの測定と注目領域の種類の判別とを、並行して行なうよう制御することが好ましい。
　第１プロセッサは、注目領域のサイズの測定及び注目領域の種類の判別を、被写体の診断のために設定されているガイドラインに準拠した手順により行なうよう制御することが好ましい。
　第１プロセッサは、医療画像に基づき、注目領域の形状を判別し、注目領域のサイズの測定、注目領域の種類の判別、及び注目領域の形状の判別を予め設定した手順により行なうよう制御することが好ましい。
　第１プロセッサは、注目領域の有無、注目領域のサイズの測定により測定されたサイズ、及び／又は注目領域の種類の判別により判別された注目領域の種類とにより、被写体の検査間隔を決定することが好ましい。
　第１プロセッサは、医療画像の入力により注目領域を検出し出力する検出モデルを備え、検出モデルは、注目領域を出力する出力層と少なくとも１つの中間層とを有する層状構造を有し、かつ、注目領域の正解が関連付けられた医療画像に基づいて学習することにより生成したパラメータを有することが好ましい。
　第１プロセッサは、医療画像の入力により注目領域のサイズを測定し出力する測定モデルを備え、測定モデルは、注目領域のサイズを出力する出力層と少なくとも１つの中間層とを有する層状構造を有し、かつ、注目領域のサイズの正解が関連付けられた医療画像に基づいて学習することにより生成したパラメータを有することが好ましい。
　第１プロセッサは、医療画像を入力することにより注目領域の種類の判別結果を出力する判別モデルを備え、判別モデルは、注目領域の種類の判別結果を出力する出力層と少なくとも１つの中間層とを有する層状構造を有し、かつ、注目領域の種類の正解が関連付けられた医療画像に基づいて学習することにより生成したパラメータを有することが好ましい。
　検出モデル、測定モデル、及び／又は分類モデルは、畳込みニューラルネットワークモデルであることが好ましい。
　第１プロセッサは、互いに異なる撮影条件により撮影した複数種類の医療画像を取得し、それぞれ予め設定された種類の医療画像に基づき、被写体が有する注目領域を検出し、注目領域のサイズを測定し、及び注目領域の種類の判別を行なうことが好ましい。
　撮影条件は、照明光のスペクトルであることが好ましい。
　電子カルテサーバと接続し、第１プロセッサは、注目領域の有無、並びに、注目領域、注目領域サイズ、及び／又は注目領域の種類を電子カルテに入力する制御を行なうことが好ましい。
　また、本発明の内視鏡システムは、互いに異なる波長帯域の光を発する複数の光源と、複数の光源の光強度比の組み合わせが互いに異なる複数種類の照明光のそれぞれを発する制御を行う第２プロセッサを備えるプロセッサ装置と、照明光により照明された被写体を撮影する内視鏡と、請求項１ないし１４のいずれか１項に記載の医療画像処理装置とを備え、医療画像処理装置は、それぞれ予め設定した種類の照明光により被写体を撮影して得た医療画像に基づき、被写体が有する注目領域の検出、注目領域のサイズの測定、及び注目領域の種類の判別を行なう。
　第２プロセッサは、第１プロセッサが、注目領域のサイズの測定、及び注目領域の種類の判別を予め設定した手順により行なうよう制御するのに同期して、複数種類の照明光のそれぞれの種類を発する制御を行なうことが好ましい。
　第１プロセッサは、第２プロセッサが、互いに異なる複数種類の照明光のそれぞれを交互に繰り返して発するよう制御するのに同期して、被写体が有する注目領域を検出し、注目領域のサイズを測定し、及び注目領域の種類の判別をする制御を行なうことが好ましい。
　被写体との距離を測定する距離測定部を備えることが好ましい。
　本発明の医療画像処理装置の作動方法は、被写体を撮影した医療画像を取得する医療画像取得ステップと、医療画像に基づき、被写体が有する注目領域を検出する検出ステップと、検出された注目領域のサイズの測定と注目領域の種類の判別とを、医療画像に基づき、予め設定した手順により行なうよう制御する第１制御ステップと、注目領域、注目領域のサイズ及び／又は注目領域の種類をユーザに通知する制御する第２制御ステップとを備える。
　本発明によれば、効率的な内視鏡検査を可能にすることができる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 光源部が含む４色のＬＥＤを説明する説明図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのスペクトルを示すグラフである。 第１照明光のスペクトルを示すグラフである。 医療画像処理装置の機能を示すブロック図である。 ガイドライン情報部を備える医療画像処理装置の機能を示すブロック図である。 測定モデルの機能を説明する説明図である。 判別モデルの機能を説明する説明図である。 サイズ及び判別表示をディスプレイに表示した画像図である。 医療画像処理装置における処理の一連の流れを示すフローチャートである。 照明光の切り替えと得られる内視鏡画像とを説明する説明図である。 接続部を備える医療画像処理装置の機能を示すブロック図である。 観察距離をディスプレイに表示した画像図である。 医療画像処理装置が診断支援装置に含まれる場合を説明する説明図である。 医療画像処理装置が医療業務支援装置に含まれる場合を説明する説明図である。
　図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１３と、プロセッサ装置１４と、ディスプレイ１５と、キーボード１６と、医療画像処理装置１７とを有する。内視鏡１２は、光源装置１３と光学的に接続され、且つ、プロセッサ装置１４と電気的に接続される。プロセッサ装置１４は、医療画像処理装置１７と接続する。医療画像処理装置１７は、プロセッサ装置１４から内視鏡画像を受け取って各種処理を行う。
　なお、本実施形態では、医療画像は内視鏡画像である。また、プロセッサ装置１４内に医療画像処理装置１７の機能を行なう手段を配置し、プロセッサ装置１４が医療画像処理装置１７の機能を行っても良い。また、各種接続は、有線に限らず無線であってもよく、また、ネットワークを介したものでもよい。したがって、医療画像処理装置１７の機能を、ネットワークを介して接続した装置が行なうようにしてもよい。
　内視鏡１２は、観察対象を有する被検者の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅ（図２参照）を操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。
　操作部１２ｂは、アングルノブ１２ｅの他、撮像倍率を変更するためのズーム操作部１２ｆと、観察モードの切替操作に用いるモード切替スイッチ１２ｇとを有する。なお、観察モードの切替操作、又はズーム操作は、モード切替スイッチ１２ｇ、又はズーム操作部１２ｆの他、キーボード１６、又はフットスイッチ（図示しない）等を用いた操作又は指示としてもよい。
　内視鏡システム１０は、各種の観察モードを備える。本実施形態の診断支援観察モードは、内視鏡検査においてユーザが行なう一連の動作にわたり、ユーザを支援するための処理を自動で行なう。ユーザを支援するための処理として、観察対象が有する注目領域の検出、注目領域が検出された場合の注目領域のサイズ測定、及び注目領域の種類の判別を自動で行なう。診断支援観察モードでは、内視鏡画像に加え、これらの情報をディスプレイ１５に表示することによりユーザに通知する。なお、本明細書において、注目領域とは、被写体が有する領域であって、病変等、なんらかの異常がある可能性が高い領域をいう。
　プロセッサ装置１４は、ディスプレイ１５及びキーボード１６と電気的に接続される。ディスプレイ１５は、内視鏡画像、注目領域に関する情報、及び／又はこれらに付帯した情報等を表示する。キーボード１６は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１４には、画像や画像情報などを記録する外付けの記録部（図示せず）を接続してもよい。
　図２に示すように、光源装置１３は、観察対象に照射する照明光を発し、光源部２０と、光源部２０を制御する光源用プロセッサ２１（第２プロセッサ）とを備える。光源部２０は、例えば、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源、レーザダイオードと蛍光体との組み合わせ、又はキセノンランプやハロゲン光源で構成する。また、光源部２０には、ＬＥＤ等が発光した光の波長帯域を調整するための光学フィルタ等が含まれる。光源用プロセッサ２１は、各ＬＥＤ等のオン／オフや、各ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の光量を制御する。また、光源用プロセッサ２１は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
　図３に示すように、本実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。
　図４に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４１０±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。
　光源用プロセッサ２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。光源用プロセッサ２１は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比の組み合わせが特定の比率となる照明光を発するように、各ＬＥＤ２０ａ～２０ｄを制御する。
　光源用プロセッサ２１は、本実施形態では、照明光として通常光又は第１照明光を発する。通常光を発するように設定した場合は、光源用プロセッサ２１は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比の組み合わせがＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。
　第１照明光を発するように設定した場合は、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比の組み合わせがＶｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１となる第１照明光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。第１照明光は、表層血管を強調することが好ましい。そのため、第１照明光は、紫色光Ｖの光強度を青色光Ｂの光強度よりも大きくすることが好ましい。例えば、図５に示すように、紫色光Ｖの光強度Ｖｓ１と青色光Ｂの光強度Ｂｓ１との比率を「４：１」とする。
　なお、本明細書において、光強度比の組み合わせは、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つ又は２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比の組み合わせが１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有し、光強度比の組み合わせの１つである。
　以上のように、通常光と第１照明光とにおいて発せられる、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度比の組み合わせ、すなわち照明光の種類は、互いに異なる。本実施形態では、通常光もしくは第１照明光のいずれかの照明光を連続して発するか、又は、通常光と第１照明光といった種類が互いに異なる照明光を自動で切り替えて発する。
　通常光と第１照明光とを自動で切り替えて発する場合は、通常光を続けて発光する通常光期間と、第１照明光を続けて発光する第１照明光期間とを交互に繰り返す。例えば、通常光を発光する通常光期間を所定のフレーム数で行った後に、第１照明光を発光する第１照明光期間を所定のフレーム数で行う。その後再び通常光期間となり、通常光期間と第１照明光期間とのセットを繰り返す。
　なお、「フレーム」とは、観察対象を撮像する撮像センサ４５（図２参照）を制御するための単位をいい、例えば、「１フレーム」とは、観察対象からの光で撮像センサ４５を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間をいう。本実施形態においては、撮影の単位である「フレーム」に対応して通常光期間、又は第１期間等の各種期間がそれぞれ定められる。
　各ＬＥＤ２０ａ～２０ｅが発する光は、ミラーやレンズなどで構成される光路結合部（図示せず）を介して、ライトガイド４１に入射される。ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１３及びプロセッサ装置１４を接続するコード）に内蔵されている。ライトガイド４１は、光路結合部からの光を、内視鏡１２の先端部１２ｄまで伝搬する。
　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４２を有しており、ライトガイド４１によって伝搬した照明光は照明レンズ４２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４３、ズームレンズ４４、及び撮像センサ４５を有している。観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ４３及びズームレンズ４４を介して撮像センサ４５に入射する。これにより、撮像センサ４５に観察対象の像が結像する。ズームレンズ４４は、ズーム操作部１２ｆを操作することでテレ端とワイド端との間で自在に移動し、撮像センサ４５に結像する観察対象を拡大又は縮小する。
　撮像センサ４５は、画素毎にＲ（赤色）、Ｇ（緑色）、又はＢ（青色）のカラーフィルタのいずれかが設けられたカラー撮像センサであり、観察対象を撮像してＲＧＢ各色の画像信号を出力する。撮像センサ４５としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色のカラーフィルタが設けられた撮像センサ４５の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。また、撮像センサ４５の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
　撮像センサ４５は、撮像制御部（図示せず）によって駆動制御される。中央制御部５８（図３参照）は、撮像制御部に同期して光源用プロセッサ２１を通して光源部２０の発光を制御する。例えば、通常光で照明された観察対象を撮影するように撮像センサ４５を制御することにより、撮像センサ４５のＢ画素からＢｃ画像信号が出力され、Ｇ画素からＧｃ画像信号が出力され、Ｒ画素からＲｃ画像信号が出力される。または、第１照明光で照明された観察対象を撮影するように撮像センサ４５を制御することにより、撮像センサ４５のＢ画素からＢｓ１画像信号が出力され、Ｇ画素からＧｓ１画像信号が出力され、Ｒ画素からＲｓ１画像信号が出力される。中央制御部５８は、通常光と第１照明光とを切り替える場合は、撮像制御部の制御をそれぞれの照明光期間に合わせて切り替える。
　ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４５から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４７により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号は、プロセッサ装置１４に入力される。
　プロセッサ装置１４には、画像処理などの処理に関するプログラムがプログラム用メモリ（図示しない）に格納されている。プロセッサ装置１４においては、プロセッサ等によって構成される中央制御部５８により、プログラム用メモリ内のプログラムが動作することによって、画像取得部５１と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５３と、メモリ５４と、画像処理部５５と、表示制御部５６と、映像信号生成部５７と、中央制御部５８の機能が実現される。また、中央制御部５８は、内視鏡１２および光源装置１３からの情報を受信し、受信した情報に基いて、プロセッサ装置１４の各部の制御の他、内視鏡１２又は光源装置１３の制御を行う。また、キーボード１６からの指示などの情報も受信する。
　画像取得部５１は、内視鏡１２から入力される内視鏡画像のデジタル画像信号を取得する。画像取得部５１は、各照明光により照明された観察対象を撮影した画像信号をフレーム毎に取得する。
　取得した画像信号はＤＳＰ５２に送信される。ＤＳＰ５２は、受信した画像信号に対して色補正処理等のデジタル信号処理を行う。ノイズ低減部５３は、ＤＳＰ５２で色補正処理等が施された画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、メモリ５４に記憶する。
　画像処理部５５は、メモリ５４からノイズ低減後の画像信号を取得する。そして、取得した画像信号に対して、必要に応じて、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像を生成する。画像処理部５５は、通常画像処理部６１と特殊画像処理部６２とを備える。
　画像処理部５５において、通常画像処理部６１は、通常光により撮影した通常画像において、入力した１フレーム分のノイズ低減後の通常画像用の画像信号に対して、色変換処理と、色彩強調処理、構造強調処理などの通常画像用の画像処理を施す。通常画像用の画像処理が施された画像信号は、医療画像処理装置１７及び／又は表示制御部５６に入力する。
　画像処理部５５において、特殊画像処理部６２は、第１照明光により撮影された第１画像において、入力した１フレーム分のノイズ低減後の第１画像の画像信号に対して、色変換処理と、色彩強調処理、構造強調処理などの第１画像用の画像処理を施す。第１画像用の画像処理が施された画像信号は、第１画像として、医療画像処理装置１７及び／又は表示制御部５６に入力する。なお、画像処理部５５は、通常画像と第１画像とを含む内視鏡画像を医療画像処理装置１７及び／又は表示制御部５６に入力する際に、フレームレートの調整をしてもよい。
　画像処理部５５は、通常光による通常画像に対して、観察対象が自然な色合いになる上記各種信号処理を施して通常画像を生成する。また、第１照明光による第１画像に対して、観察対象の血管を強調する各種信号処理を施して第１画像を生成する。
　半導体光源は、波長帯域が中心波長４１０±１０ｎｍかつ波長範囲４２０～５００ｎｍである紫色光Ｖ（第１狭帯域光）を発光するＶ－ＬＥＤ２０ａと、波長帯域が中心波長４５０±１０ｎｍかつ波長範囲３８０～４２０ｎｍである青色光Ｂ（第２狭帯域光）を発光するＢ－ＬＥＤ２０ｂとを含む。したがって、画像処理部５５が生成する第１画像では、粘膜の表面を基準として観察対象内の比較的浅い位置にある血管（いわゆる表層血管）又は血液は、マゼンタ系の色（例えばブラウン色）になる。このため、第１画像では、ピンク系の色で表される粘膜に対して、観察対象の血管又は出血（血液）は、色の違いで強調される。
　表示制御部５６は、画像処理部５５が生成した内視鏡画像を受信し、ディスプレイ１５に表示するための制御を行なう。表示制御部５６において、表示するための制御が行われた内視鏡画像は、映像信号生成部５７において、ディスプレイ１５に表示するための映像信号に生成されて、ディスプレイ１５に送られる。ディスプレイ１５は、映像信号生成部５７から送られた内視鏡画像を、表示制御部５６の制御に従って表示する。
　図６に示すように、医療画像処理装置１７は、医療画像取得部８１、注目領域検出部８２、動作制御部８３、サイズ測定部８４、種類判別部８５、及び通知制御部８６を備える。医療画像取得部８１は、プロセッサ装置１４の画像処理部５５において調整された通常画像又は第１画像を取得する。注目領域検出部８２は、通常画像又は第１画像に基づき、被写体が有する注目領域を検出する。サイズ測定部８４は、注目領域のサイズを測定するし、種類判別部８５は、注目領域の種類の判別を行なう。動作制御部８３は、注目領域が検出された場合に、サイズ測定部８４と種類判別部８５との動作を、予め設定した手順により行なうよう制御する。通知制御部８６は、注目領域、注目領域のサイズ、及び注目領域の種類について、ユーザに通知する制御を行なう。
　医療画像処理装置１７には、画像処理などの処理に関するプログラムがプログラム用メモリ（図示しない）に格納されている。医療画像処理装置１７は、第１プロセッサを備える。医療画像処理装置１７においては、プロセッサ等によって構成される中央制御部（図示せず）により、プログラム用メモリ内のプログラムが動作することによって、医療画像取得部８１と、注目領域検出部８２と、動作制御部８３と、サイズ測定部８４と、種類判別部８５と、通知制御部８６と、ガイドライン情報部８７と、接続部９９の機能が実現される。また、中央制御部は、プロセッサ装置１４からの情報を受信し、受信した情報に基いて、医療画像処理装置１７の各部の制御の他、ディスプレイ１５等の各出力の制御を行う。また、キーボード１６等のユーザインタフェースからの指示などの情報も受信する。
　医療画像取得部８１が、通常画像又は第１画像を取得した場合、注目領域検出部８２がそれぞれの画像に基づいて、それぞれの画像に写る観察対象が有する注目領域を検出する。検出には、注目領域の個数、又はポリープ等の特定の疾患の個数も含む。注目領域の検出は、内視鏡画像に基づいて行なう。なお、通常画像又は第１画像を区別しない場合に、これらをまとめて内視鏡画像という。
　注目領域検出部８２は、検出結果が優れる可能性があることから、機械学習技術による検出モデルを用いて注目領域を検出することが好ましい。検出モデルは、ニューラルネットワークモデルであることが好ましい。また、内視鏡画像に基づいて注目領域を検出する学習モデルであることから、畳み込みニューラルネットワークであることが好ましい。したがって、検出モデルは、注目領域を出力する出力層と少なくとも１つの中間層とを有する層状構造を有することが好ましい。また、検出結果がより優れる可能性があることから、ディープラーニングモデルであることが好ましい。
　なお、検出モデルは、注目領域の正解が関連付けられた内視鏡画像に基づいて学習することにより生成したパラメータを有することが好ましい。注目領域の正解とは、内視鏡画像に写る観察対象においてなんらかの異常があることが明らかな領域である。注目領域の正解は、熟練の医師等、内視鏡画像における注目領域の検出に優れる者が、内視鏡画像に基づいて判定し、内視鏡画像に関連付ける。内視鏡画像における注目領域が複数ある場合は、全ての注目領域をそれぞれ検出して、注目領域の正解とする。内視鏡画像について注目領域の正解を決定した後、内視鏡画像に座標、又は画像処理等により注目領域を示すデータを付与して、注目領域の正解が関連付けられた内視鏡画像とする。
　注目領域検出部８２により、内視鏡画像について注目領域が検出された場合は、サイズ測定部８４及び／又は種類判別部８５に自動的に送る。サイズ測定部８４及び／又は種類判別部８５の動作は、動作制御部８３により制御する。
　動作制御部８３は、サイズ測定部８４及び／又は種類判別部８５の動作を、予め設定した手順により行なうよう制御する。予め設定する手順は、医師が注目領域の診断を行なう一連の動作に従う手順であることが好ましい。これにより、注目領域の検出から、ユーザが手動で切り替えることなく、医師が行なう一連の動作に従った診断支援が可能となるため、手技をしながらスイッチを操作する手間がかからず、また、切り替え忘れによりサイズの記録漏れが発生する等のトラブルを防止可能となり、好ましい。なお、手順の設定は、キーボード１６等のユーザインターフェースから行なうことができる。
　一連の動作とは、例えば、注目領域を認定した後、注目領域のサイズを推定し、その後注目領域の種類の判別を行ない、推定したサイズ及び種類等により処置方法を決定して処置を行なうことが挙げられる。したがって、医療画像処理装置１７は、注目領域を検出した後、サイズ測定部８４によりサイズを推定し、その後種類判別部８５により注目領域の種類の判別を行なうとの手順により、サイズ測定部８４及び／又は種類判別部８５の動作を制御することができる。
　また、予め設定する手順は、サイズ測定部８４の動作と、種類判別部８５の動作とを、並行して行なう手順としてもよい。このような手順は、サイズ測定部８４による注目領域のサイズの測定と種類判別部８５による注目領域の種類の判別とを必ず行なう場合、又は、サイズ測定と注目領域の種類の判別に要するコンピュータの負荷の点で問題がない場合等に設定することができる。注目領域のサイズの測定と種類の判別とを並行して行なうことにより、測定結果又は判別結果がすみやかに得られる可能性があるため好ましい。
　また、医師は、注目領域の診断において、特定の疾患の診断に関するガイドラインの手順に従って診断をすすめる場合がある。したがって、予め設定する手順は、観察対象の診断のために設定されているガイドラインに準拠した手順であることが好ましい。診断のために設定されているガイドラインとしては、部位別又は疾患別等で各種のものが規定されている。ガイドラインに準拠した動作を予め設定することにより、医師がガイドラインに従った診断を行なう際に、医師がガイドラインに従った診断を確認でき、また、診断の際に必要な支援情報がタイミング良く得られる可能性があるため好ましい。
　図７に示すように、ガイドラインに従う場合、ガイドライン情報部８７を備えてもよい。ガイドライン情報部８７は、各種のガイドラインの情報を記憶する。動作制御部８３は、ガイドライン情報部８７の情報を用いて、サイズ測定部８４又は種類判別部８５の動作の制御をすることができる。
　例えば、ＥＳＧＥによる大腸ポリープ切除術と内視鏡的粘膜切除術に関するガイドライン（非特許文献１）には、大腸の表層型大腸新生物について、無茎であり突起状又は平板状のポリープでは、６ｍｍ以上９ｍｍ以下の場合は、コールドスネアポリペクトミー（ＣＳＰ、Ｃｏｌｄ　ｓｎａｒｅ　ｐｏｌｙｐｅｃｔｏｍｙ）による一括切除が推奨され、全層切除ができない場合は、オリゴ・ピースミール切除（ｏｌｉｇｏ－ｐｉｅｃｅｍｅａｌ　ｅｘｃｉｓｉｏｎ）でもよいが、組織検査のための完全な検体採取が必要であるとの注釈がなされている。また、同様のポリープにおいて１０ｍｍ以上の場合は、粘膜下層への浸潤の有無を確認するための高度なイメージングの内視鏡検査をすることとされている。
　したがって、このガイドラインに準拠した手順により動作制御部８３の動作を設定する場合は、サイズ測定部８４によりサイズを測定した後、サイズが６ｍｍ以上９ｍｍの無茎であり突起状又は平板状のポリープに対しては、組織検査の支援として、種類判別部８５による注目領域の種類の判定を行なうとの手順を予め設定することができる。また、サイズが１０ｍｍ以上の場合は、画像強調内視鏡（ＩＥＥ、ｉｍａｇｅ　ｅｎｈａｎｃｅｄ　ｅｎｄｏｓｃｏｐｙ）を用いた画像強調観察による内視鏡画像を自動的に取得するように動作制御部８３又は内視鏡システム１０の動作を設定してもよい。ＩＥＥには、観察対象を撮像して得た内視鏡画像をデジタル画像処理する方法、又は、観察対象を特定の照明光により照明して撮影する方法等、各種の方法が知られており、いずれを用いることもできる。ＩＥＥを用いる場合については後述する。
　なお、注目領域を検出した場合、医療画像に基づき、注目領域の形状を判別する形状判別部（図示せず）を備えてもよい。この場合、動作制御部８３は、サイズ測定部８４、種類判別部８５、及び形状判別部の動作を予め設定した手順により行なうよう制御する。例えば、上記ガイドラインでは、無茎であり突起状又は平板状のポリープであるか、又は有茎性のポリープであるかにより処置が異なる。したがって、上記ガイドラインに準拠して診断を行なう等、必要な場合は、注目領域検出部８２により注目領域を検出した後、形状判別部により注目領域の形状を判定し、例えば、有茎性であるか無茎であるかを判定した上で、サイズ測定部８４及び／又は種類判別部８５の動作を制御してもよい。
　サイズ測定部８４は、測定結果が優れる可能性から、機械学習技術による測定モデルを用いて注目領域のサイズを測定することが好ましい。図８に示すように、注目領域を有する内視鏡画像７０を、測定モデル８８に入力することにより、注目領域のサイズが出力される。サイズは、注目領域の大きさに関する情報であり、略円形の場合は直径等であり、略四角形の場合は４辺の長さ等であってもよい。測定モデル８８は、ニューラルネットワークモデルであることが好ましい。また、内視鏡画像に基づいて注目領域のサイズを測定する学習モデルであることから、畳み込みニューラルネットワークであることが好ましい。したがって、測定モデル８８は、注目領域のサイズを出力する出力層と少なくとも１つの中間層とを有する層状構造を有することが好ましい。また、検出結果がより優れる可能性があることから、ディープラーニングモデルであることが好ましい。
　なお、測定モデル８８は、注目領域のサイズの正解が関連付けられた内視鏡画像に基づいて学習することにより生成したパラメータを有することが好ましい。注目領域のサイズの正解は、注目領域のサイズの実測値が既知である内視鏡画像とすることができる。例えば、注目領域がポリープである場合、ポリープが写る内視鏡画像と、ポリープを切除した後に実測した得たサイズとを関連付けて、注目領域のサイズの正解が関連付けられた内視鏡画像とすることができる。
　種類判別部８５は、測定結果が優れる可能性から、機械学習技術による判別モデルを用いて注目領域の種類を判別することが好ましい。図９に示すように、注目領域を有する内視鏡画像７０を、判別モデル８９に入力することにより、注目領域の種類が出力される。判別モデル８９は、ニューラルネットワークモデルであることが好ましい。また、内視鏡画像に基づいて注目領域の種類を判別する学習モデルであることから、畳み込みニューラルネットワークであることが好ましい。したがって、判別モデル８９は、注目領域の種類の判別結果を出力する出力層と少なくとも１つの中間層とを有する層状構造を有することが好ましい。また、検出結果がより優れる可能性があることから、ディープラーニングモデルであることが好ましい。
　なお、判別モデル８９は、注目領域の種類の判別結果の正解が関連付けられた内視鏡画像に基づいて学習することにより生成したパラメータを有することが好ましい。注目領域の種類の判別結果の正解は、注目領域の種類の判別結果が既知である内視鏡画像とすることができる。例えば、注目領域がポリープである場合、ポリープが写る内視鏡画像と、ポリープの種類の判別結果が病理診断等で診断されて明らかである場合のポリープの種類とを関連付けて、注目領域の種類の判別結果の正解が関連付けられた内視鏡画像とすることができる。なお、注目領域の種類とは、例えば、注目領域が大腸の異常領域である場合、ポリープ、腫瘍、もしくは発赤等、腫瘍性であるか非腫瘍性であるかの種類、又は、大腸がん、潰瘍性大腸炎もしくはクローン病等の特定の疾患の重症度、進行度もしくはステージ等が挙げられる。
　なお、形状判定部も、サイズ測定部８４と種類判別部８５と同様に、機械学習技術による学習モデルとすることができる。また、動作制御部８３は、サイズ測定部８４と種類判別部８５に加えて、形状判定部の動作を制御してもよい。
　また、注目領域の有無、サイズ測定部８４により測定されたサイズ、及び／又は種類判別部８５により判別された注目領域の種類とにより、被写体の検査間隔を決定する検査間隔決定部（図示せず）を備えてもよい。検査間隔はサーベイランス間隔ともいい、注目領域の診断結果に従い推奨される検査の間隔である。検査間隔は、診断結果に従い医師が決定し、各種疾患のガイドラインに従う場合もある。したがって、検査間隔決定部は、被写体の診断のために設定されているガイドラインに準拠するものであってもよい。検査間隔決定部は、医師が検査間隔を決定する支援として、検査間隔の具体的な期間をユーザに通知する。通知方法は、注目領域のサイズ又は注目領域の種類の判定結果と同様であり、ディスプレイ１５に表示する方法を採用できる。
　検査間隔決定部も、サイズ測定部８４と種類判別部８５と同様に、機械学習技術による学習モデルとすることができる。また、動作制御部８３は、サイズ測定部８４と種類判別部８５に加えて、検査間隔決定部の動作を制御してもよい。
　通知制御部８６は、注目領域を検出した場合、注目領域、注目領域のサイズ、及び／又は注目領域の種類をユーザに通知する制御を行なう。これらの情報をユーザに通知する方法としては、ユーザが認識できる方法であればよく、例えば、ディスプレイ１５に内視鏡画像とともに注目領域に関する上記情報を表示する方法が挙げられる。
　図１０に示すように、ディスプレイ１５に内視鏡画像７０を表示する際に、注目領域が検出された場合は、注目領域指示マーク９１により、注目領域を表示することができる。注目領域指示マーク９１の形状としては、ユーザが内視鏡画像を視認する障害とならない態様のマークであることが好ましく、例えば、注目領域の周囲を囲う透明な図形からなるマークとすることができる。ディスプレイ１５に内視鏡画像を表示する際には、注目領域インジケータ９８によって注目領域を表示してもよい。
　動作制御部８３の制御により、注目領域の検出後に連続して行われたサイズ測定部８４及び種類判別部８５による測定結果及び判別結果を、サイズ及び判別表示９２により、注目領域指示マーク９１とともにディスプレイ１５に表示することができる。サイズ及び判別表示９２は、ユーザが測定結果及び判別結果を認知できる形態で表示すればよく、具体的には、注目領域のサイズの表示として「サイズ：直径１０ｍｍ」と表示され、注目領域の種類の判別結果として「種別：ｎｅｏｐｌａｓｔｉｃ，　ｓｕｂｍｕｃｏｓａｌ　ｉｎｖａｔｉｏｎ」と表示され、腫瘍性であり、粘膜浸潤の疑いがあると表示されている。
　なお、サイズ及び判別表示９２には、サイズ及び判別表示９２に示された注目領域のサイズ及び修理とガイドライン情報部８７に記憶されたガイドラインの情報とにより、推奨される処置の方法を示してもよい。例えば、大腸のポリープのガイドラインを参照して、サイズが約直径１０ｍｍ領域の種類の判別結果として腫瘍性であり、粘膜浸潤の疑いがあると判定されている場合に、「処置：ＥＳＤ（Ｇｕｉｄｅｌｉｎｅ１）」と表示される。これは、ガイドライン情報部８７に記憶されたガイドライン１（Ｇｕｉｄｅｌｉｎｅ１）に準拠した場合、ＥＳＤ（ｅｎｄｏｓｃｏｐｉｃ　ｓｕｂｍｕｃｏｓａｌ　ｄｉｓｓｅｃｔｉｏｎ、内視鏡的粘膜下層剥離術）による処置が推奨されることを示す。これらの表示により、ユーザはディスプレイ１５をひと目見ることにより、注目領域、注目領域のサイズ、及び注目領域の種類、さらには特定のガイドラインに基づいて推奨される処置方法等の通知を受けることができる。
　なお、ディスプレイ１５には、医師の診断に資するその他の情報を表示してもよい。例えば、動作制御部８３が準拠するガイドライン名の他、内視鏡先端部から観察対象までの距離等が挙げられる。内視鏡先端部から観察対象までの距離の測定については後述する。
　医療画像処理装置１７による本実施形態の内視鏡検査の一連の流れについて、図１１に示すフローチャートに沿って説明を行う。まず、動作制御部８３において、サイズ測定部８４と種類判別部８５との動作の手順を設定する（ステップＳＴ１１０）。動作の手順の設定はキーボード１６から行い、設定した動作の手順は、注目領域を検出した後に、サイズ測定部８４を作動し、その後、種類判別部８５を作動するとの手順である。設定が終了したら、内視鏡を被検体に挿入して、内視鏡検査を開始する（ステップＳＴ１２０）。盲腸付近まで挿入した後、抜去しながら内視鏡画像を取得する（ステップＳＴ１３０）。
　取得した内視鏡画像に基づいて、注目領域検出部８２が注目領域の検出を実行する（ステップＳＴ１４０）。注目領域検出部８２が注目領域を検出した場合（ステップＳＴ１５０でＹ）、動作制御部８３がサイズ測定部８４を作動させる（ステップＳＴ１６０）。そして、サイズ測定部８４が注目領域のサイズ測定を行う（ステップＳＴ１７０）。その後、動作制御部８３が種類判別部８５を作動させる（ステップＳＴ１８０）。そして、種類判別部８５が注目領域の種類を判別する（ステップＳＴ１９０）。得られた注目領域のサイズと種類との情報については、通知制御部８６がユーザへの通知を制御し（ステップＳＴ２００）、ディスプレイ１５が注目領域のサイズと種類とを表示する（ステップＳＴ２１０）。
　検査を終了する場合（ステップＳＴ２２０でＹ）、内視鏡検査は終了となる。なお、注目領域検出部８２が注目領域を検出しない場合（ステップＳＴ１５０でＮ）、及び、検査を終了しない場合（ステップＳＴ２２０でＮ）、再び内視鏡画像取得（ステップＳＴ１３０）に戻り、内視鏡画像を取得して内視鏡検査を続ける。
　医療画像処理装置１７は、以上のように構成したことにより、注目領域の検出、サイズの測定、又は鑑別等の処理を行なうプログラムの作動を切り替えて行なう必要がなく、医師が診断を行なう場合に必要な一連の動作の支援を自動で行なうことができる。したがって、内視鏡検査を行なっている間の医師等による操作の手間を省くことができ、また、測定し忘れ等を防ぐことができ、効率的な内視鏡検査が可能となる。
　また、動作制御部８３は、医師が診断を行なう場合に必要な一連の動作について支援を行なうことができるため、診断を行なう場合に必要な一連の動作のそれぞれに関して、診断を支援する情報を通知することができる。また、医師が注目領域の診断をガイドラインに準拠して行なう場合、ガイドラインに基づく診断に関して必要な情報を医師に通知することができるため、医師はガイドラインに合った的確な診断を手間をかけることなく行なうことができる。
　なお、医療画像取得部８１は、互いに異なる撮影条件により撮影した複数種類の医療画像を取得し、注目領域検出部８２、サイズ測定部８４、及び種類判別部８５は、それぞれ予め設定された種類の医療画像に基づいて処理を行ってもよい。撮影条件が異なる内視鏡画像は、画像強調観察（ＩＥＥ）による内視鏡画像とすることができる。注目領域検出部８２、サイズ測定部８４、及び種類判別部８５は、それぞれ、撮影条件が異なる内視鏡画像に基づいて処理を行なうことにより、より精密な結果が得られる場合がある。したがって、注目領域検出部８２、サイズ測定部８４、及び種類判別部８５に対して、それぞれ好ましい種類の内視鏡画像を送信することが好ましい。
　照明光の種類、すなわち照明光のスペクトルは、撮影条件の一つである。医療画像取得部８１は、照明光のスペクトル等の撮影条件が互いに異なる複数種類の内視鏡画像を取得して、撮影条件としては、照明光のスペクトル、すなわち、各ＬＥＤ２０ａ～２０ｄの光量比の他に、撮影時刻、内視鏡先端部と観察対象との間の観察距離、又は内視鏡１２のズーム倍率等が挙げられる。光量比は、中央制御部５８から取得する。撮影時刻は、内視鏡画像が有するヘッダー情報から取得してもよいし、中央制御部５８から取得してもよい。観察距離は、例えば、観察距離が遠距離の非拡大観察距離と、観察距離が近距離の拡大観察距離等があり、内視鏡画像から得られる露光量によって取得する。なお、観察距離は画像の周波数解析によって取得しても良い。内視鏡１２のズーム倍率は、例えば、非拡大観察とする非拡大と、拡大観察を可能とする低倍率から高倍率等があり、ズーム操作部１２ｆの変更操作に基づき取得することができる。本実施形態では、撮影条件として、照明光のスペクトルを用いる。
　この場合、光源用プロセッサ２１は、特定の種類の照明光を切り替えて発する。具体的には、通常光を続けて発光する通常光期間と、第１照明光を続けて発光する第１照明光期間とを交互に繰り返す。通常光を発光する通常光期間を所定のフレーム数で行った後に、第１照明光を発光する第１照明光期間を所定のフレーム数で行う。その後再び通常光期間となり、通常光期間と第１照明光期間とのセットを繰り返す。
　なお、「フレーム」とは、観察対象を撮像する撮像センサ４５（図２参照）を制御するための単位をいい、例えば、「１フレーム」とは、観察対象からの光で撮像センサ４５を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間をいう。本実施形態においては、撮影の単位である「フレーム」に対応して通常光期間、又は第１期間等の各種期間がそれぞれ定められる。
　図１２に示すように、通常光を発光する通常光期間を３フレーム分の期間で行った後に、第１照明光を発光する第１照明光期間を１フレーム分の期間で行う。その後再び通常光期間となり、通常光期間と第１照明光期間とのセットの４フレーム分を繰り返す。したがって、通常光期間３フレームの間に、通常画像７１を３つ続けて撮影した後、第１照明光期間に、第１画像７２を１つ撮影する。なお、第１画像７２は、通常画像７１と色合いが異なることから、網掛けで示す。ディスプレイ１５には、通常画像７１のみを表示し、第１画像７２は表示しない。その後は、通常光期間に戻り、引き続きこのパターンを繰り返す。
　第１画像７２は、表層血管を強調した画像であるため、通常画像７１に基づいて処理する場合よりも、より高い精度の結果が得られる場合がある。なお、精度が高いとは、注目領域検出部８２、サイズ測定部８４、又は種類判別部８５の処理により得られる結果が実態と合致する割合が高い、又は、得られる領域又はサイズ等がより精細に得られること等を意味する。
　注目領域検出部８２、サイズ測定部８４、又は種類判別部８５は、第１画像７２に基づいて処理を行なう。そのために、光源用プロセッサ２１は、動作制御部８３がサイズ測定部８４及び種類判別部８５の動作を予め設定した手順により行なうように制御するのに同期して、複数種類の照明光のそれぞれの種類を発する制御を行なってもよい。また、逆に、動作制御部８３は、光源用プロセッサ２１が複数種類の照明光を予め設定したパターンで発するのに同期して、注目領域検出部８２、サイズ測定部８４、又は種類判別部８５の動作を制御してもよい。
　この際、ディスプレイ１５には、通常画像７１を表示する。第１画像７２が取得されるフレームの期間は、第１画像７２を撮影する直前の通常画像７１を２フレームの期間で表示する等の方法により、ディスプレイ１５を見るユーザは、問題なく通常画像７１を見ながら、精度が高い診断の支援となる情報が自動的に得られる。したがって、ユーザは見慣れている通常画像７１を表示させながら、より高い精度の各種処理結果の情報を得ることができるため好ましい。
　なお、図１３に示すように、医療画像処理装置１７は、電子カルテサーバと接続する接続する接続部９９を備えても良い。接続部９９は、注目領域の検出の有無、並びに、注目領域を検出した場合の注目領域、注目領域サイズ、及び／又は注目領域の状態を電子カルテに入力する制御を行なう。接続部９９により、医師による内視鏡検査の一連の動作である電子カルテへの各種情報の入力も、医療画像処理装置１７により自動的に行なうことができるため、内視鏡検査の効率化に資する。
　なお、内視鏡システム１０は、観察対象と内視鏡先端部との距離を測定する距離測定部を備えることが好ましい。距離測定部は、具体的には、レーザによる計測補助光を用いる方法、パターンを投影する方法、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｒｉｇｈｔ）、又は超音波を用いる方法等を採用できる。レーザによる計測補助光を用いる方法とは、レーザによる計測補助光を、内視鏡の光軸と交差する状態で、かつ、撮像光学系の撮影画角に入る状態で出射し、計測補助光によって被写体上に形成されるスポットの位置により、観察対象と内視鏡先端部との距離を把握する方法である。
　図１４に示すように、これらの方法により測定した観察対象と内視鏡先端部との距離を、注目領域のサイズ表示又は種類の判別の表示と合わせてサイズ及び判別表示９３に示すことにより、診断の支援となる様々な情報を医師に同時に示すことができる。
　なお、上記実施形態では、内視鏡画像の処理を行う場合に対して本発明の適用を行っているが、内視鏡画像以外の医療画像を処理するプロセッサ装置、医療画像処理装置、又は医療画像処理システム等に対しても本発明の適用は可能である。
　この他、図１５に示すように、内視鏡システム１０のうち、医療画像処理装置１７の一部又は全部は、例えばプロセッサ装置１４と通信して内視鏡システム１０と連携する診断支援装置６１０に設けることができる。同様に、内視鏡システム１０のうち、医療画像処理装置１７の一部又は全部は、例えば医療画像処理装置１７と通信して内視鏡システム１０と連携する診断支援装置６１０に設けることができる。
　また、図１６に示すように、内視鏡システム１０のうち画像処理部５５及び／又は中央制御部５８の一部又は全部は、例えば内視鏡システム１０から直接的に、または、ＰＡＣＳ（Picture Archiving and Communication Systems）２２から間接的に、内視鏡１２で撮像した画像を取得する診断支援装置６１０に設けることができる。同様に、内視鏡システム１０のうち医療画像処理装置１７の一部又は全部は、例えば内視鏡システム１０から直接的に、または、ＰＡＣＳ（Picture Archiving and Communication Systems）２２から間接的に、内視鏡１２で撮像した画像を取得する診断支援装置６１０に設けることができる。
　なお、内視鏡検査において得られた、診断支援として医師等に示した情報等をまとめて記録部に保存し、検査レポートへの記録等のために用いることが好ましい。保存する情報は、自動的に保存することが好ましく、具体的には、注目領域検出部８２が注目領域を検出した際の内視鏡画像を静止画とした画像、静止画に観察距離の情報を付加した情報、又は、検出された注目領域と紐付けた観察距離の情報等が挙げられる。例えば、注目領域検出部８２が注目領域を検出すると同時に、又は、ユーザが記録部に静止画の画像の記録の指示を行うと同時に、サイズ測定部８４及び種類判別部８５の処理により得られる結果を重畳した静止画を、記録部に自動保存するようにしてもよい。そして、記録部に保存されたデータは、ＰＡＣＳ又はネットワークを通じて電子カルテ又は検査レポート等に記載する情報と紐付けてもよい。このようにすることにより、医師が各種の情報を整理する手間を省くことができる。
　また、図２３に示すように、内視鏡システム１０を含む、第１検査装置６２１、第２検査装置６２２、…、第Ｎ検査装置６２３等の各種検査装置と、ネットワーク６２６を介して接続する医療業務支援装置６３０に、内視鏡システム１０のうち医療画像処理装置１７の一部又は全部を設けることができる。
　上記実施形態において、光源用プロセッサ２１、医療画像処理装置１７が含む第１プロセッサ、プロセッサ装置１４に含まれる中央制御部５８、画像取得部５１、ＤＳＰ５２、ノイズ低減部５３、メモリ５４、画像処理部５５、表示制御部５６及び映像信号生成部５７といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
　本発明は、上記実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。
１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１２ｅ　アングルノブ
１２ｆ　ズーム操作部
１２ｇ　モード切替スイッチ
１３　光源装置
１４　プロセッサ装置
１５　ディスプレイ
１６　キーボード
１７　医療画像処理装置
２０　光源部
２０ａ　Ｖ－ＬＥＤ
２０ｂ　Ｂ－ＬＥＤ
２０ｃ　Ｇ－ＬＥＤ
２０ｄ　Ｒ－ＬＥＤ
２１　光源用プロセッサ
２２　ＰＡＣＳ
３０ａ　照明光学系
３０ｂ　撮像光学系
４１　ライトガイド
４２　照明レンズ
４３　対物レンズ
４４　ズームレンズ
４５　撮像センサ
４６　ＣＤＳ／ＡＧＣ回路
４７　Ａ／Ｄコンバータ
５１　画像取得部
５２　ＤＳＰ
５３　ノイズ低減部
５４　メモリ
５５　画像処理部
５６　表示制御部
５７　映像信号生成部
５８　中央制御部
６１　通常画像処理部
６２　特殊画像処理部
７０　内視鏡画像
７１　通常画像
７２　第１画像
８１　医療画像取得部
８２　注目領域検出部
８３　動作制御部
８４　サイズ測定部
８５　種類判別部
８６　通知制御部
８７　ガイドライン情報部
８８　測定モデル
８９　判別モデル
９１　注目領域指示マーク
９２　サイズ及び判別表示
９８　注目領域インジケータ
９９　接続部
６１０　診断支援装置
６２１　第１検査装置
６２２　第２検査装置
６２３　第Ｎ検査装置
６２６　ネットワーク
６３０　医療業務支援装置
ＳＴ１１０～ＳＴ２２０　ステップ
 

Claims (19)

  1. 　第１プロセッサを備え、
    　前記第１プロセッサは、
    　被写体を撮影した医療画像を取得し、
    　前記医療画像に基づき、前記被写体が有する注目領域を検出し、
    　検出された前記注目領域のサイズの測定と前記注目領域の種類の判別とを、前記医療画像に基づき、予め設定した手順により行なうよう制御し、
    　前記注目領域、前記注目領域のサイズ及び／又は前記注目領域の種類をユーザに通知する制御を行なう医療画像処理装置。
  2. 　前記第１プロセッサは、前記注目領域のサイズの測定と前記注目領域の種類の判別とを、医師が前記注目領域の診断を行なう一連の動作に従う手順により行なうよう制御する請求項１に記載の医療画像処理装置。
  3. 　前記第１プロセッサは、前記注目領域のサイズの測定の後、前記注目領域の種類の判別を行なうよう制御する請求項１に記載の医療画像処理装置。
  4. 　前記第１プロセッサは、前記注目領域のサイズの測定と前記注目領域の種類の判別とを、並行して行なうよう制御する請求項１に記載の医療画像処理装置。
  5. 　前記第１プロセッサは、前記注目領域のサイズの測定及び前記注目領域の種類の判別を、前記被写体の診断のために設定されているガイドラインに準拠した手順により行なうよう制御する請求項１に記載の医療画像処理装置。
  6. 　前記第１プロセッサは、前記医療画像に基づき、前記注目領域の形状を判別し、
    　前記注目領域のサイズの測定、前記注目領域の種類の判別、及び前記注目領域の形状の判別を予め設定した手順により行なうよう制御する請求項１ないし５のいずれか１項に医療画像処理装置。
  7. 　前記第１プロセッサは、前記注目領域の有無、前記注目領域のサイズの測定により測定された前記サイズ、及び／又は前記注目領域の種類の判別により判別された前記注目領域の種類とにより、前記被写体の検査間隔を決定する請求項１ないし６のいずれか１項に記載の医療画像処理装置。
  8. 　前記第１プロセッサは、前記医療画像の入力により前記注目領域を検出し出力する検出モデルを備え、
    　前記検出モデルは、前記注目領域を出力する出力層と少なくとも１つの中間層とを有する層状構造を有し、かつ、前記注目領域の正解が関連付けられた前記医療画像に基づいて学習することにより生成したパラメータを有する請求項１ないし７のいずれか１項に記載の医療画像処理装置。
  9. 　前記第１プロセッサは、前記医療画像の入力により前記注目領域のサイズを測定し出力する測定モデルを備え、
    　前記測定モデルは、前記注目領域のサイズを出力する出力層と少なくとも１つの中間層とを有する層状構造を有し、かつ、前記注目領域のサイズの正解が関連付けられた前記医療画像に基づいて学習することにより生成したパラメータを有する請求項１ないし８のいずれか１項に記載の医療画像処理装置。
  10. 　前記第１プロセッサは、前記医療画像を入力することにより前記注目領域の種類の判別結果を出力する判別モデルを備え、
    　前記判別モデルは、前記注目領域の種類の判別結果を出力する出力層と少なくとも１つの中間層とを有する層状構造を有し、かつ、前記注目領域の前記種類の正解が関連付けられた前記医療画像に基づいて学習することにより生成したパラメータを有する請求項１ないし９のいずれか１項に記載の医療画像処理装置。
  11. 　前記検出モデル、前記測定モデル、及び／又は前記分類モデルは、畳込みニューラルネットワークモデルである請求項８ないし１０のいずれか１項に記載の医療画像処理装置。
  12. 　前記第１プロセッサは、互いに異なる撮影条件により撮影した複数種類の前記医療画像を取得し、
    　それぞれ予め設定された種類の前記医療画像に基づき、前記被写体が有する注目領域を検出し、前記注目領域のサイズを測定し、及び前記注目領域の種類の判別を行なう請求項１ないし１１のいずれか１項に記載の医療画像処理装置。
  13. 　前記撮影条件は、照明光のスペクトルである請求項１２に記載の医療画像処理装置。
  14. 　電子カルテサーバと接続し、
    　前記第１プロセッサは、前記注目領域の有無、並びに、前記注目領域、前記注目領域サイズ、及び／又は前記注目領域の種類を電子カルテに入力する制御を行なう請求項１ないし１３のいずれか１項に記載の医療画像処理装置。
  15. 　互いに異なる波長帯域の光を発する複数の光源と、
    　複数の前記光源の光強度比の組み合わせが互いに異なる複数種類の照明光のそれぞれを発する制御を行う第２プロセッサを備えるプロセッサ装置と、
    　前記照明光により照明された前記被写体を撮影する内視鏡と、
    　請求項１ないし１４のいずれか１項に記載の医療画像処理装置とを備え、
    　前記医療画像処理装置は、それぞれ予め設定した種類の前記照明光により前記被写体を撮影して得た前記医療画像に基づき、前記被写体が有する注目領域の検出、前記注目領域のサイズの測定、及び前記注目領域の種類の判別を行なう内視鏡システム。
  16. 　前記第２プロセッサは、前記第１プロセッサが、前記注目領域のサイズの測定、及び前記注目領域の種類の判別を予め設定した手順により行なうよう制御するのに同期して、複数種類の前記照明光のそれぞれの種類を発する制御を行なう請求項１５に記載の内視鏡システム。
  17. 　前記第１プロセッサは、前記第２プロセッサが、互いに異なる複数種類の照明光のそれぞれを交互に繰り返して発するよう制御するのに同期して、前記被写体が有する注目領域を検出し、前記注目領域のサイズを測定し、及び前記注目領域の種類の判別をする制御を行なう請求項１５に記載の内視鏡システム。
  18. 　前記被写体との距離を測定する距離測定部を備える請求項１５ないし１７のいずれか１項に記載の内視鏡システム。
  19. 　被写体を撮影した医療画像を取得する医療画像取得ステップと、
    　前記医療画像に基づき、前記被写体が有する注目領域を検出する検出ステップと、
    　検出された前記注目領域のサイズの測定と前記注目領域の種類の判別とを、前記医療画像に基づき、予め設定した手順により行なうよう制御する第１制御ステップと、
    　前記注目領域、前記注目領域のサイズ及び／又は前記注目領域の種類をユーザに通知する制御する第２制御ステップとを備える医療画像処理装置の作動方法。
     
PCT/JP2022/016674 2021-04-26 2022-03-31 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 WO2022230607A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-074339 2021-04-26
JP2021074339A JP2024112325A (ja) 2021-04-26 2021-04-26 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法

Publications (1)

Publication Number Publication Date
WO2022230607A1 true WO2022230607A1 (ja) 2022-11-03

Family

ID=83847431

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/016674 WO2022230607A1 (ja) 2021-04-26 2022-03-31 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法

Country Status (2)

Country Link
JP (1) JP2024112325A (ja)
WO (1) WO2022230607A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024176780A1 (ja) * 2023-02-21 2024-08-29 富士フイルム株式会社 医療支援装置、内視鏡、医療支援方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082741A1 (ja) * 2017-10-26 2019-05-02 富士フイルム株式会社 医療画像処理装置
WO2019230302A1 (ja) * 2018-05-28 2019-12-05 富士フイルム株式会社 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置
WO2020008651A1 (ja) * 2018-07-06 2020-01-09 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2021014584A1 (ja) * 2019-07-23 2021-01-28 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
WO2021075418A1 (ja) * 2019-10-18 2021-04-22 国立大学法人鳥取大学 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082741A1 (ja) * 2017-10-26 2019-05-02 富士フイルム株式会社 医療画像処理装置
WO2019230302A1 (ja) * 2018-05-28 2019-12-05 富士フイルム株式会社 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置
WO2020008651A1 (ja) * 2018-07-06 2020-01-09 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2021014584A1 (ja) * 2019-07-23 2021-01-28 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
WO2021075418A1 (ja) * 2019-10-18 2021-04-22 国立大学法人鳥取大学 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024176780A1 (ja) * 2023-02-21 2024-08-29 富士フイルム株式会社 医療支援装置、内視鏡、医療支援方法、及びプログラム

Also Published As

Publication number Publication date
JP2024112325A (ja) 2024-08-21

Similar Documents

Publication Publication Date Title
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
CN110325100B (zh) 内窥镜系统及其操作方法
US10231658B2 (en) Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device
JP7333805B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
JP7411772B2 (ja) 内視鏡システム
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP2010172673A (ja) 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP6259747B2 (ja) プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
JP2023015232A (ja) 内視鏡システム
JP7507797B2 (ja) 医用画像処理装置、内視鏡システム、医用画像処理装置の作動方法、プログラム、及び記録媒体
WO2020170809A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
CN114945314A (zh) 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序
JP7508559B2 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
CN112689469B (zh) 内窥镜装置、内窥镜处理器及内窥镜装置的操作方法
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP7389257B2 (ja) 内視鏡システム及びその作動方法
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP7214886B2 (ja) 画像処理装置及びその作動方法
JP2013048646A (ja) 診断システム
CN115381379A (zh) 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法
WO2022249817A1 (ja) 医療画像処理装置及び内視鏡システム
US20240013392A1 (en) Processor device, medical image processing device, medical image processing system, and endoscope system
JP7556961B2 (ja) 内視鏡システム、内視鏡システムの作動方法、及び内視鏡システム用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22795523

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22795523

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP