WO2022210508A1 - プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム - Google Patents

プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム Download PDF

Info

Publication number
WO2022210508A1
WO2022210508A1 PCT/JP2022/014916 JP2022014916W WO2022210508A1 WO 2022210508 A1 WO2022210508 A1 WO 2022210508A1 JP 2022014916 W JP2022014916 W JP 2022014916W WO 2022210508 A1 WO2022210508 A1 WO 2022210508A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
identification information
display
medical image
analysis
Prior art date
Application number
PCT/JP2022/014916
Other languages
English (en)
French (fr)
Inventor
崇聡 清水
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023511241A priority Critical patent/JPWO2022210508A1/ja
Priority to CN202280025237.8A priority patent/CN117119942A/zh
Publication of WO2022210508A1 publication Critical patent/WO2022210508A1/ja
Priority to US18/474,251 priority patent/US20240013392A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0692Endoscope light sources head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0051Embedding of the watermark in the spatial domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a processor device, a medical image processing device, a medical image processing system, and an endoscope system.
  • diagnosis using an endoscope system that includes a light source device, an endoscope, and a processor device is widely performed.
  • an image hereinafter referred to as an endoscopic image
  • IEE image enhanced endoscopy
  • Appropriate diagnostic support information can be obtained by performing different image processing for the endoscopic image based on the normal image signal with white light and the endoscopic image based on the special image signal with special light. That is, when the type of endoscopic image is set corresponding to the type of illumination light used when acquiring the endoscopic image, image processing is performed on the endoscopic image selected according to the type of endoscopic image. is preferred.
  • the type of illumination light is determined based on a signal transmitted from the processor device to the light source device, and the processor device has information on both the endoscopic image and its type. Therefore, when an endoscopic image is transmitted from a processor to an external device and image processing is performed by the external device, the type of endoscopic image must also be simultaneously transmitted from the processor to the external device. At this time, in order not to lose the correspondence between the types of endoscopic images, it is recommended to record the type of endoscopic image in the header part of the information container that stores the endoscopic image and transmit it. , DVI (Digital Visual Interface), etc. cannot be transmitted as a general video signal and cannot be received by general-purpose personal computers (hereinafter referred to as PCs) in many cases. In addition, it is often difficult for PCs to transmit data through a separate signal line so as not to lose correspondence.
  • PCs general-purpose personal computers
  • An object of the present invention is to provide a processor device, a medical image processing device, a medical image processing system, and an endoscope system that can easily determine the type of endoscopic image.
  • the present invention is a processor device comprising a first processor, the first processor acquires a plurality of types of medical images with different imaging conditions, and obtains a part of data constituting a medical image according to the type of medical image. or by changing at least one type of medical image and not changing another type of medical image, so that a part of the data constituting the medical image is identified as the type of medical image and generate a medical image with identification information.
  • the data constituting the medical image is preferably data constituting a preset region of the medical image.
  • the data that make up the medical image are preferably pixel values.
  • the multiple types of medical images include a display image for display on a display and an analysis image for analyzing diagnostic information.
  • the first processor provides identification information for the analysis image by changing a part of the data constituting the analysis image, and corresponds to the display image for the data used as identification information in the analysis image. It is preferable to use the identification information without changing the data constituting the partial display image.
  • the first processor provides identification information for the display image by changing a part of the data constituting the display image, and provides the analysis image with data corresponding to the identification information in the display image. It is preferable to use the identification information without changing the data constituting the partial analysis image.
  • the imaging condition is preferably the spectrum of the illumination light.
  • the present invention is a medical image processing apparatus comprising a second processor, and the second processor acquires multiple types of medical images with identification information in which part of data constituting the medical image is used as identification information. Then, based on the identification information, the type of the medical image with identification information is recognized, and display of the medical image with identification information on the display is controlled based on the type of the medical image with identification information.
  • the multiple types of medical images with identification information include a display image for display on a display and an analysis image for analyzing diagnostic information.
  • the second processor displays the display image on the main screen of the display, and determines whether or not to display the analysis image on the sub-screen of the display based on the type of the medical image with identification information, and decides to display. It is preferable to display the medical image with identification information on the sub-screen of the display.
  • the second processor performs image processing set for each type of identification information-attached medical image on the identification information-attached medical image based on the type of the identification information-attached medical image.
  • the second processor When the medical image with information is the image for display, the second processor performs image processing for display on the image for display, and when the medical image with identification information is the image for analysis, on the image for analysis It is preferable to perform the image processing for analysis by
  • the second processor preferably performs analysis image processing using an analysis model based on machine learning.
  • the second processor creates an analysis result image indicating the result of the analysis image processing, and superimposes the analysis result image on the display image to generate a superimposed image.
  • the medical image processing system of the present invention includes a processor device and a medical image processing device, and the second processor acquires multiple types of medical images with identification information generated by the first processor.
  • the medical image processing system of the present invention includes a processor device and a medical image processing device, and the processor device acquires an analysis result image representing the result of image processing for analysis created by the second processor.
  • the processor preferably superimposes the analysis result image on the display image.
  • the processor device adjusts the frame rate of the medical image with identification information, and the medical image processing device acquires the medical image with identification information whose frame rate has been adjusted.
  • the processor device or the medical image processing device preferably adjusts the frame rate of the image to be displayed on the display.
  • the present invention also relates to an endoscope system comprising a plurality of light sources emitting light in mutually different wavelength bands, an endoscope capturing an image of an object illuminated by the illumination light emitted by the plurality of light sources, and a medical image processing system.
  • the processor unit includes a light source processor that performs control to emit a plurality of types of illumination light, each of which has a different combination of light intensity ratios of the plurality of light sources.
  • FIG. 1 is an external view of an endoscope system;
  • FIG. 1 is a block diagram showing functions of an endoscope system;
  • FIG. It is an explanatory view explaining four colors of LED which a light source part includes.
  • 4 is a graph showing spectra of violet light V, blue light B, green light G, and red light R; It is a graph which shows the spectrum of 1st illumination light.
  • FIG. 4 is an explanatory diagram for explaining the types and order of endoscopic images captured by the endoscopic system;
  • FIG. 10 is an image diagram showing an endoscopic image with identification information provided with identification information;
  • FIG. 4 is an image diagram showing an endoscopic image including an observation target portion and a mask portion;
  • FIG. 9A is an image diagram showing an endoscopic image with first identification information including first identification information, and
  • FIG. 9B is an endoscopic image with second identification information including second identification information. It is an image diagram showing an image.
  • FIG. 4 is an explanatory diagram for explaining types and identification information of endoscopic images captured by the endoscopic system;
  • FIG. 4 is an explanatory diagram for explaining types of endoscopic images captured by the endoscopic system, imaging sequences, and identification information;
  • FIG. 10 is an explanatory diagram illustrating a case where identification information is added to an analysis image;
  • FIG. 10 is an explanatory diagram illustrating a case where identification information is added to a display image;
  • 1 is a block diagram showing functions of a medical image processing apparatus;
  • FIG. 3 is an explanatory diagram for explaining various images and the flow of processing in the medical image processing apparatus;
  • FIG. 10 is an image diagram when an analysis image is displayed on the sub-screen of the display;
  • FIG. 10 is an image diagram when no image is displayed on the sub-screen of the display.
  • FIG. 10 is an image diagram when a past image is displayed on the sub-screen of the display;
  • FIG. 5 is an explanatory diagram illustrating a function of a frame rate conversion unit duplicating a display image and an analysis image and adjusting a frame rate;
  • FIG. 10 is an explanatory diagram illustrating a function of a frame rate conversion unit duplicating a display image and adjusting a frame rate;
  • FIG. 11 is an explanatory diagram for explaining an endoscopic image with third identification information generated by adding identification information based on the type of endoscopic image to a complementary frame image;
  • FIG. 10 is an explanatory diagram for explaining an endoscopic image with third identification information generated by adding identification information based on the type of endoscopic image and information on the original image to a complementary frame image
  • FIG. 11 is an explanatory diagram for explaining a third identification-information-attached endoscope image generated by adding identification information based on the type of endoscope and imaging sequence to a display image, an analysis image, and a complementary frame image
  • 4 is a flow chart showing a series of flows of endoscope image processing in a medical image processing system and an endoscope system
  • FIG. 4 is an explanatory diagram for explaining a case where a medical image processing device is included in a diagnosis support device
  • FIG. 4 is an explanatory diagram for explaining a case where a medical image processing device is included in a medical service support device;
  • the endoscope system 10 has an endoscope 12, a light source device 13, a processor device 14, a display 15, a keyboard 16, and a medical image processing device 17.
  • the endoscope 12 is optically connected to the light source device 13 and electrically connected to the processor device 14 .
  • the processor device 14 connects with a medical image processing device 17 .
  • the medical image processing device 17 receives the endoscopic image with identification information from the processor device 14 and performs various image processing including image analysis by machine learning or the like.
  • the medical image is an endoscopic image.
  • the endoscope 12 includes an insertion section 12a to be inserted into the body of a subject having an observation target, an operation section 12b provided at a proximal end portion of the insertion section 12a, and a distal end side of the insertion section 12a. It has a curved portion 12c and a tip portion 12d.
  • the bending portion 12c is bent by operating the angle knob 12e (see FIG. 2) of the operation portion 12b.
  • the distal end portion 12d is directed in a desired direction by the bending motion of the bending portion 12c.
  • the operation section 12b has a zoom operation section 12f for changing the imaging magnification and a mode changeover switch 12g for switching observation modes.
  • the observation mode switching operation or the zoom operation may be an operation or instruction using the mode switching switch 12g, the zoom operation section 12f, the keyboard 16, a foot switch (not shown), or the like.
  • the endoscope system 10 has three observation modes: normal observation mode, special observation mode, and diagnosis support observation mode.
  • the normal observation mode is a mode for displaying on the display 15 a normal image, which is an image with natural colors obtained by imaging an observation target using white light as illumination light.
  • Special observation modes include a first special observation mode.
  • the first special observation mode is a mode for displaying on the display 15 a first image in which superficial information such as superficial blood vessels is emphasized.
  • the diagnosis support observation mode is a mode in which a superimposed image is displayed on the display 15 by superimposing an analysis result image showing the result of image analysis on a normal image.
  • the result of the image analysis is diagnostic support information for assisting diagnosis by a doctor or the like, and is obtained by image analysis using the first image. Therefore, the analysis result image includes diagnosis support information regarding lesions and the like obtained by image analysis using the first image.
  • the diagnostic support observation mode when a lesion or the like is detected by image analysis using the first image, a superimposed image obtained by superimposing an analysis result image showing diagnostic support information such as the position of the lesion on a normal image is displayed on the display 15. displayed above. When starting up the endoscope system 10, the diagnostic support observation mode is selected.
  • the processor device 14 is electrically connected to the display 15 and keyboard 16 .
  • the display 15 displays the normal image, the first image, the superimposed image, and/or information attached to these images.
  • the keyboard 16 functions as a user interface that receives input operations such as function settings.
  • the processor device 14 may be connected to an external recording unit (not shown) for recording images, image information, and the like.
  • the light source device 13 emits illumination light to irradiate an observation target, and includes a light source unit 20 and a light source processor 21 that controls the light source unit 20 .
  • the light source unit 20 is composed of, for example, a semiconductor light source such as a multicolor LED (Light Emitting Diode), a combination of a laser diode and a phosphor, or a xenon lamp or halogen light source.
  • the light source unit 20 also includes an optical filter and the like for adjusting the wavelength band of light emitted by the LED or the like.
  • the light source processor 21 controls the amount of illumination light by turning on/off each LED or the like and adjusting the driving current or driving voltage of each LED or the like.
  • the light source processor 21 also controls the wavelength band of the illumination light by changing the optical filter or the like.
  • the light source unit 20 includes a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and R-LED (Red Light Emitting Diode) 20d.
  • V-LED Volt Light Emitting Diode
  • B-LED Blue Light Emitting Diode
  • G-LED Green Light Emitting Diode
  • R-LED Red Light Emitting Diode
  • the V-LED 20a generates violet light V with a central wavelength of 410 ⁇ 10 nm and a wavelength range of 380-420 nm.
  • the B-LED 20b generates blue light B with a central wavelength of 450 ⁇ 10 nm and a wavelength range of 420-500 nm.
  • the G-LED 20c generates green light G with a wavelength range of 480-600 nm.
  • the R-LED 20d emits red light R with a central wavelength of 620-630 nm and a wavelength range of 600-650 nm.
  • the light source processor 21 controls the V-LED 20a, B-LED 20b, G-LED 20c, and R-LED 20d. In the normal observation mode, the light source processor 21 emits normal light in which the combination of the light intensity ratios of the violet light V, blue light B, green light G, and red light R is Vc:Bc:Gc:Rc. Then, each LED 20a-20d is controlled.
  • the combination of the light intensity ratios among the violet light V, blue light B, green light G, and red light R is Vs1:Bs1:Gs1:Rs1.
  • Each of the LEDs 20a to 20d is controlled so as to emit the first illumination light.
  • the first illumination light preferably emphasizes superficial blood vessels. Therefore, it is preferable that the light intensity of the violet light V be higher than the light intensity of the blue light B in the first illumination light.
  • the ratio of the light intensity Vs1 of the violet light V and the light intensity Bs1 of the blue light B is assumed to be "4:1".
  • the combination of light intensity ratios includes the case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, it includes the case where any one or two or more of the semiconductor light sources do not light up. For example, only one of the semiconductor light sources is turned on and the others are turned on, such as when the combination of the light intensity ratios between the violet light V, the blue light B, the green light G, and the red light R is 1:0:0:0. , has a light intensity ratio even when not lit, and is one of the combinations of light intensity ratios.
  • combinations of light intensity ratios of violet light V, blue light B, green light G, and red light R emitted in the normal observation mode or special observation mode that is, the types of illumination light differ from each other.
  • illumination lights of different types are automatically switched and emitted.
  • Observation modes using different types of illumination light having combinations of different light intensity ratios from the illumination light used in these observation modes may also be used.
  • the light source processor 21 switches and emits a specific type of illumination light when set to the diagnostic support observation mode. Specifically, a normal light period in which normal light is continuously emitted and a first illumination light period in which first illumination light is continuously emitted are alternately repeated. Specifically, after a normal light period in which normal light is emitted is performed for a predetermined number of frames, a first illumination light period in which the first illumination light is emitted is performed for a predetermined number of frames. After that, the normal light period starts again, and the set of the normal light period and the first illumination light period is repeated.
  • a “frame” is a unit for controlling the imaging sensor 45 (see FIG. 2) that captures an image of an observation target.
  • a period including at least an exposure period for exposure and a readout period for reading out an image signal.
  • various periods such as the normal light period or the first period are respectively determined corresponding to the "frame" which is the unit of photographing.
  • the normal light period during which normal light is emitted is performed for three frames, and then the first illumination light period during which the first illumination light is emitted is performed for one frame. After that, the normal light period starts again, and a set of the normal light period and the first illumination light period for four frames is repeated. Therefore, after three normal images 71 are consecutively captured during the normal light period of three frames, one first image 72 is captured during the first illumination light period. In addition, in FIG. 6, the first image 72 is shaded. After that, it returns to the normal light period and continues to repeat this pattern.
  • the light emitted by each of the LEDs 20a to 20e is incident on the light guide 41 via an optical path coupling section (not shown) composed of mirrors, lenses, and the like.
  • the light guide 41 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 13 and the processor device 14).
  • the light guide 41 propagates the light from the optical path coupling portion to the distal end portion 12 d of the endoscope 12 .
  • the distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
  • the illumination optical system 30 a has an illumination lens 42 , and the illumination light propagated by the light guide 41 is applied to the observation target via the illumination lens 42 .
  • the imaging optical system 30 b has an objective lens 43 , a zoom lens 44 and an imaging sensor 45 .
  • Various kinds of light such as reflected light, scattered light, and fluorescent light from the observation target enter the imaging sensor 45 via the objective lens 43 and the zoom lens 44 .
  • an image of the observation target is formed on the imaging sensor 45 .
  • the zoom lens 44 can be freely moved between the telephoto end and the wide end by operating the zoom operation section 12f to enlarge or reduce the observation target imaged on the imaging sensor 45.
  • the imaging sensor 45 is a color imaging sensor in which any one of R (red), G (green), or B (blue) color filters is provided for each pixel. to output As the imaging sensor 45, a CCD (Charge Coupled Device) imaging sensor or a CMOS (Complementary Metal-Oxide Semiconductor) imaging sensor can be used. Further, instead of the imaging sensor 45 provided with primary color filters, a complementary color imaging sensor provided with complementary color filters of C (cyan), M (magenta), Y (yellow) and G (green) may be used. . When a complementary color imaging sensor is used, CMYG four-color image signals are output.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • CMYG four-color image signal into the RGB three-color image signal by complementary color-primary color conversion
  • RGB image signal similar to that of the image sensor 45 can be obtained.
  • a monochrome sensor without a color filter may be used instead of the imaging sensor 45.
  • the imaging sensor 45 is driven and controlled by an imaging control unit (not shown).
  • the central control unit 59 controls the light emission of the light source unit 20 through the light source processor 21 in synchronization with the imaging control unit, thereby capturing an image of the observation target illuminated with normal light. to control.
  • the B pixels of the imaging sensor 45 output the Bc image signals
  • the G pixels output the Gc image signals
  • the R pixels output the Rc image signals.
  • the central control unit 59 controls the light emission of the light source unit 20 and controls the imaging sensor 45 so as to capture an image of the observation target illuminated with the special light. do.
  • the B pixels of the imaging sensor 45 output the Bs1 image signals
  • the G pixels output the Gs1 image signals
  • the R pixels output the Rs1 image signals.
  • a CDS/AGC (Correlated Double Sampling/Automatic Gain Control) circuit 46 performs correlated double sampling (CDS) and automatic gain control (AGC) on analog image signals obtained from the imaging sensor 45 .
  • the image signal that has passed through the CDS/AGC circuit 46 is converted into a digital image signal by an A/D (Analog/Digital) converter 47 .
  • the digital image signal after A/D conversion is input to the processor device 14 .
  • a program in a program memory is operated by a central control unit 59 constituted by an image processor, etc., which is a first processor, so that an image acquisition unit 51 and a DSP (Digital Signal Processor) 52 , the functions of the noise reduction unit 53, the memory 54, the signal processing unit 55, the image processing unit 56, the display control unit 57, the video signal generation unit 58, and the central control unit 59 are realized.
  • the image processing unit 56 includes an identification information adding unit 61 and a frame rate converting unit 62. These functions are similarly operated by the central control unit 59, which is composed of an image processor.
  • the central control unit 59 receives information from the endoscope 12 and the light source device 13, and controls the endoscope 12 or the light source device 13 in addition to controlling each unit of the processor device 14 based on the received information. I do. It also receives information such as instructions from the keyboard 16 .
  • the image acquisition unit 51 which is a medical image acquisition unit, acquires a digital image signal of an endoscopic image input from the endoscope 12.
  • the image acquisition unit 51 acquires, for each frame, an image signal obtained by photographing an observation target illuminated by each illumination light.
  • the type of illumination light that is, the spectrum of illumination light is one of the imaging conditions.
  • the image acquisition unit 51 acquires a plurality of types of endoscopic images with different photographing conditions such as the spectrum of illumination light.
  • the photographing conditions include the spectrum of the illumination light, that is, the light amount ratio of each of the LEDs 20a to 20d, as well as the observation distance from the observation target, the zoom magnification of the endoscope 12, and the like.
  • the light amount ratio is acquired from the central control unit 59 .
  • the observation distance includes, for example, a non-expansion observation distance in which the observation distance is a long distance and an expansion observation distance in which the observation distance is a short distance. Note that the observation distance may be acquired by frequency analysis of the image.
  • the zoom magnification includes, for example, non-magnification for non-magnification observation, low magnification to high magnification for magnification observation, and the like, and can be acquired based on a change operation of the zoom operation unit 12f.
  • the spectrum of illumination light is used as an imaging condition.
  • the acquired image signal is sent to the DSP 52.
  • the DSP 52 performs digital signal processing such as color correction processing on the received image signal.
  • the noise reduction unit 53 performs noise reduction processing using, for example, a moving average method, a median filter method, or the like on the image signal that has been subjected to color correction processing or the like by the DSP 52 .
  • the noise-reduced image signal is stored in the memory 54 .
  • the signal processing unit 55 acquires the image signal after noise reduction from the memory 54 . Then, the acquired image signal is subjected to signal processing such as color conversion processing, color enhancement processing, and structure enhancement processing as necessary to generate a color endoscopic image showing the observation target.
  • the signal processing unit 55 performs color conversion processing, color enhancement processing, structure enhancement processing, and the like on the input image signal for the normal image after noise reduction for one frame.
  • Image processing for the normal observation mode is performed.
  • the image signal subjected to image processing for the normal observation mode is input to the image processing section 56 as a normal image.
  • color conversion processing, color enhancement processing, and structure enhancement processing are performed on the input image signal for the first image after noise reduction for one frame. and so on, respectively, are subjected to image processing for the first special observation mode.
  • the image signal subjected to the image processing for the first special observation mode is input to the image processing section 56 as the first image.
  • the endoscopic image generated by the signal processing unit 55 is a normal observation image when the observation mode is the normal observation mode, and is a special observation image including the first image when the observation mode is the special observation mode.
  • the contents of processing, color enhancement processing, and structure enhancement processing differ depending on the observation mode.
  • the signal processing unit 55 In the normal observation mode, the signal processing unit 55 generates a normal observation image by performing the various signal processing described above so that the observation target becomes a natural color.
  • the signal processing unit 55 performs, for example, the above-described various signal processing for emphasizing the blood vessel to be observed to generate a special observation image including the first image.
  • the semiconductor light source includes a V-LED 20a that emits violet light V (first narrow-band light) whose wavelength band has a central wavelength of 410 ⁇ 10 nm and a wavelength range of 420 to 500 nm, and a wavelength band of which has a central wavelength of 450 ⁇ 10 nm and a wavelength range of 380 nm. and a B-LED 20b that emits blue light B (second narrow band light) at ⁇ 420 nm. Therefore, in the first image, which is a special observation image generated by the signal processing unit 55, blood vessels (so-called superficial blood vessels) or blood located at relatively shallow positions within the observation target with respect to the surface of the mucous membrane are colored magenta ( brown color). Therefore, in the first image, the blood vessel or bleeding (blood) to be observed is emphasized by the difference in color with respect to the mucous membrane represented in pinkish color.
  • the image processing unit 56 performs various image processing.
  • the image processing unit 56 includes an identification information adding unit 61 and a frame rate converting unit 62 .
  • the identification information adding unit 61 changes part of the data that constitutes the acquired endoscopic image, or changes at least one type of endoscopic image, and changes another type of endoscopic image. By not changing, a medical image with identification information is generated in which part of the data constituting the endoscopic image is used as identification information indicating the type of the endoscopic image.
  • the frame rate converter 62 converts the frame rate for the medical image with identification information, if necessary, when sending the medical image with identification information to the display 15 or the medical image processing apparatus 17 .
  • the medical image is an endoscopic image, so an endoscopic image with identification information is generated as the medical image with identification information.
  • the data that make up an endoscopic image means, for example, the data of the image itself, not the data other than the image such as the header part of the information container that stores the endoscopic image.
  • Data constituting an endoscope image is preferably image file data that can be handled in a general-purpose PC. As long as the data constitutes an endoscopic image, there are no restrictions on the data format or expression method, and pixel values, frequency distributions, or values calculated using these or the like can be used.
  • the identification information providing unit 61 identifies the type of endoscopic image from the information on the light emission of the light source unit 20 controlled by the central control unit 59 through the light source processor 21 in synchronization with the imaging control unit, and identifies the type of endoscope image. Depending on the type of image, part of the data forming the acquired endoscopic image itself is changed. Alternatively, depending on the type of endoscopic image identified, for one type of endoscopic image, part of the data constituting the image itself of the acquired endoscopic image is modified, but for another type of endoscopic image. For the endoscopic image, the data constituting the image itself of the acquired endoscopic image is not changed.
  • the identification information providing unit 61 generates an endoscopic image with identification information by changing or not changing the data constituting the image in a part of the endoscopic image. Therefore, the endoscopic image with identification information includes an endoscopic image in which the data constituting the endoscopic image is changed and an endoscopic image as it is without changing the data constituting the endoscopic image.
  • the type of endoscopic image is identified by recognizing the identification information in the endoscopic image with identification information.
  • the identification information is a pixel value
  • correspondence information that associates the position of the pixel when the pixel value is changed and the value of the changed pixel value with the type of endoscopic image is prepared, and the corresponding endoscopic image type is checked using this correspondence information for the pixel that is the identification information among the pixels that constitute the endoscopic image with identification information.
  • the data forming the endoscopic image are preferably pixel values of the pixels forming the endoscopic image.
  • the identification information assigning unit 61 changes the pixel values of a predetermined part of the pixels forming the endoscopic image in accordance with the type of the identified endoscopic image so that the identification information Generate an attached endoscopic image.
  • another type of endoscopic image whose pixel values are not changed is regarded as an endoscopic image with identification information. .
  • pixel values it is preferable to change the pixel values to be changed so as not to affect the use of endoscopic images for observation or diagnosis. Either color information or brightness information can be used as the pixel value.
  • changing the pixels whose pixel values have been changed so that they cannot be visually recognized by the user, or making changes that are visible to the user but do not affect the visual recognition of the observation target or the like in the endoscopic image. can be done.
  • the red and green colors that constitute the pixel values of some positions of the endoscopic image , and blue, or the brightness information may be changed, such as increased or decreased.
  • any one of red, green, blue, or brightness may be changed correspondingly, or the change in pixel value may be increased or decreased. Any method can be adopted as long as the pixels whose pixel values are changed cannot be visually recognized.
  • the type of endoscopic image can be identified by, for example, comparing the changed pixel value with surrounding pixel values.
  • the dummy pixel value is, for example, a pixel value determined in advance according to the type of endoscopic image. This dummy pixel value is replaced with a pixel value at a predetermined position in the endoscopic image. In this case, the type of endoscopic image can be identified by obtaining dummy pixel values at the replaced positions.
  • a known electronic watermarking technique can be adopted.
  • watermark information including the type of endoscopic image can be embedded in the endoscopic image so that the type of endoscopic image can be identified, such as when obtaining the watermark information or decompressing the watermarked endoscopic image.
  • an endoscopic image 82 with identification information is generated by changing part of the data constituting the endoscopic image to identification information 81, which is a preset pixel value.
  • identification information 81 is given to a region that is not a portion of the endoscopic image with identification information 82 where the observation target is captured, and the observation target that is visible to the user but appears in the endoscopic image is an observation target. It is applied in a manner that does not affect the visual recognition of objects.
  • the data forming the endoscopic image is preferably data forming a preset region of the endoscopic image. Therefore, it is preferable that the identification information of the endoscopic image with identification information is in a preset region of the endoscopic image.
  • the preset region include a mask portion in which the observation target is not captured in the endoscopic image, or an edge portion of the region in which the observation target is captured.
  • the endoscopic image 83 indicates the entire image shown on the display 15 and includes an observation target portion 83a and a mask portion 83b.
  • the observation target portion 83a is indicated by encircling it with a dashed line
  • the mask portion 83b is indicated by hatching.
  • the identification information 81 is changed to a predetermined pixel value while a part of the region of the masked portion 83b of the endoscopic image is visible to the user.
  • the identification information assigning unit 61 replaces the pixel values that differ from each other according to the type of the endoscopic image with pixel values at similar positions in the endoscopic image 83, thereby changing the pixel values.
  • the resulting pixel value is used as identification information.
  • First identification information 81a is assigned in FIG. 9A
  • second identification information 81b is assigned in FIG. 9B. Therefore, the endoscopic image with identification information 82 in FIG. 9A and the endoscopic image with identification information 82 in FIG.
  • Identification of the type of the endoscopic image of the endoscopic image 82 with identification information is based on information such as a header portion other than the image data, or other information synchronously sent from the central control unit 59 or the light source processor 21, for example.
  • the type of the endoscopic image can be determined by the user just by looking at the endoscopic image 82 with identification information. can be understood correctly.
  • the plurality of types of endoscopic images preferably include a display image for display on the display 15 and an analysis image for analyzing diagnosis support information. Since two types of endoscopic images are included as types of endoscopic images, a display image and an analysis image, for example, the display image is displayed on the display 15, and the image analysis is performed by:
  • the endoscopic image can be of a type that is difficult to see when viewed by a user, but which provides a good analysis result when subjected to image analysis by machine learning or the like. In this case, the analysis image can be prevented from being displayed on the display 15 .
  • the normal image is used as the image for display
  • the first image is used as the image for analysis.
  • the pattern of acquiring one frame of the first image 72 after acquiring three frames of the normal image 71 is repeated (see FIG. 6).
  • the identification information assigning unit 61 assigns identification information 81 to each acquired endoscopic image to generate an endoscopic image 82 with identification information. Therefore, the identification information adding unit 61 provides the normal image 71 with the first identification information 81a for identifying the normal image, and the pixels in the predetermined region of the mask portion of the endoscopic image with the predetermined pixel value. , and the endoscopic image 82a with the first identification information is generated.
  • Identification information 81b for identifying the first image 72 is similarly given to the first image 72, and an endoscopic image 82b with second identification information is generated. In FIG.
  • the normal image 71 is indicated by the normal image 71 and the display 15 , indicating that the normal image 71 is displayed on the display 15 . Since the first image 72 is not displayed on the display 15, it is shown as it is. In addition, in the figure, hatching of different identification information 81 indicates different identification information 81 .
  • the normal image 71 and the first image 72 look different in color when viewed by a human. Shows the difference in appearance of the mirror image. Also, identification information 81 attached to an endoscope image 82 with identification information is shown enlarged. In addition, in order to avoid complication of the drawing, only a part of the drawing may be labeled.
  • the identification information 81 may include two or more pieces of information.
  • the identification information 81 may include, in addition to the types of endoscopic images, information regarding the order in which the images were taken. As shown in FIG. 11, as in the case of FIG. 10, the pattern of acquiring three frames of the normal image 71 and then acquiring one frame of the first image 72 is repeated (see FIG. 6).
  • the identification information assigning unit 61 assigns identification information 81 to each acquired endoscopic image to generate an endoscopic image 82 with identification information.
  • the first identification information 81 (A-1) for identifying that the first frame of the normal image 71 is the normal image and that it was captured first is added by the identification information adding unit 61 to the endoscopic image.
  • the first identification information 81 (A-1) indicates identification information (A-1) indicating that the image is a normal image and is the first in the shooting order.
  • the first identification information 81 (A-2) for identifying that the normal image was captured second is displayed in a predetermined area of the mask portion of the endoscopic image.
  • a pixel is assigned by changing it to a predetermined pixel value, and the endoscopic image 82(A-2) with the first identification information is generated.
  • the first identification information 81 (A-2) indicates identification information (A-2) indicating that the image is a normal image and is second in the shooting order.
  • FIG. 11 shows that the endoscopic image 82 with the first identification information to which the first identification information 81 (A-3) to the first identification information (A-7) are assigned is generated. .
  • the second identification information 81 (B-1) for identifying that it is the first image and that it was shot first is contained therein. Pixels in a predetermined area of the mask portion of the endoscopic image are changed to predetermined pixel values, and the second identification information-attached endoscopic image 82 (B-1) is generated.
  • the second identification information 81 (B-1) indicates identification information (B-1) indicating that the image is the first image and is the first in the shooting order.
  • the second identification information 81 (B-2) for identifying that the first image was captured second is added to the predetermined mask portion of the endoscopic image.
  • the pixels in the area are changed to predetermined pixel values, and the second identification information-attached endoscopic image 82 (B-2) is generated.
  • the second identification information 81 (B-2) indicates identification information (B-2) indicating that the image is the first image and is second in the shooting order.
  • FIG. 11 shows that the endoscopic image 82 with the second identification information to which the second identification information 81 (B-1) to the second identification information (B-2) are assigned is generated.
  • the identification information 81 includes information about the order in which the images were taken in addition to the type of endoscopic image, so that this information can be easily obtained only from the image data of the endoscopic image.
  • the identification information providing unit 61 provides identification information for the analysis image by changing a part of the data constituting the analysis image, and provides identification information for the display image in the analysis image.
  • the identification information may be obtained by not changing the data constituting the display image of the portion corresponding to the data.
  • identification information is obtained by partially changing the data constituting the display image, and for the analysis image, the part corresponding to the data used as the identification information in the display image is changed.
  • the identification information may be obtained by not changing the data constituting the image for analysis.
  • identification information 81b is added by changing a part of the data constituting the first image 72, and the second identification information attached endoscopic image is obtained.
  • 82b is added to the normal image 71, which is an image for display, without changing the data constituting the normal image 71 in the portion corresponding to the data set as the identification information 81b in the first image 72, and the first identification is performed as the identification information 81a.
  • An endoscope image 82a with information is generated.
  • the identification information 81b is shown without shading, which indicates that the identification information adding section 61 has not changed the data constituting the original endoscopic image. . The same applies to the following FIG. 13 as well.
  • identification information 81a is added by partially changing the data constituting the normal image 71 to generate an endoscopic image 82a with a first identification information.
  • a second identification in which the data forming the first image 72 corresponding to the data set as the identification information 81a in the normal image 71 is not changed and set as the identification information 81b in the first image 72 which is the image for analysis.
  • An endoscope image 82b with information is generated.
  • the identification information adding unit 61 adds the identification information 81 to the analysis image or the display image
  • the normal image that is the display image and the first image that is the analysis image constitute the image. It can be identified by the presence or absence of changes in part of the data to be processed. Therefore, for example, when there are two types of endoscopic images, it is sufficient to change a part of the data in one type of endoscopic image, and the trouble of assigning the identification information 81 can be reduced. Further, when the identification information 81 is given by changing a part of the data only in the identification image, the image data of the display image is not changed at all. Therefore, when the display image is displayed on the display 15 or the like, the identification information 81 does not affect the user's visibility at all, which is preferable.
  • the endoscopic image 82 with identification information is sent from the processor device 14 to the medical image processing device 17 .
  • the medical image processing device 17 receives the endoscopic image 82 with identification information transmitted from the processor device 14, and displays the endoscopic image 82 with identification information on the display 15 according to the type of the medical image 82 with identification information. control based on Further, the medical image processing apparatus 17 performs display processing or analysis processing according to the type of the endoscopic image 82 with identification information. After the analysis process, an analysis result image showing the result of the analysis is transmitted to the processor device 14 . Also, a superimposed image is generated by superimposing the analysis result image on the endoscopic image 82 with identification information, and the superimposed image is displayed on the display 15 .
  • the medical image processing device 17 is a general-purpose PC equipped with a processor, and exhibits various functions by installing software.
  • programs related to processing such as image analysis processing are stored in the program memory.
  • the program in the program memory is operated by the central control unit configured by the image processor, etc., which is the second processor, so that the identification information-attached medical image acquisition unit 91 and the identification information Functions of a medical image recognition unit 92 with identification information, a medical image processing unit 93 with identification information, and a display control unit 94 (see FIG. 14) are realized.
  • the medical image processing unit 93 with identification information includes a display image processing unit 95, an image analysis unit 96, an analysis result generation unit 97, an image superimposition unit 98, and a frame rate conversion unit 99 (see FIG. 14). These functions are likewise realized by the central control section constituted by the image processor operating the program in the program memory.
  • the central control unit also receives information from the processor unit 14 and the like, and controls each unit of the medical image processing apparatus 17 based on the received information. It also connects to a user interface such as a keyboard (not shown) and receives information such as instructions from the user interface.
  • the medical image processing device 17 is connected to the display 15 and displays various images generated by the medical image processing device 17.
  • Various devices may be connected to the medical image processing apparatus 17 . Examples of various devices include a user interface such as a keyboard for giving instructions, a storage for storing data such as images, and the like.
  • the medical image processing apparatus 17 includes a medical image acquisition unit 91 with identification information, a medical image recognition unit 92 with identification information, a medical image processing unit 93 with identification information, and a display control unit 94.
  • the identification information-attached medical image acquisition unit 91 acquires a plurality of types of identification information-attached endoscopic images 82 sent from the processor device 14 .
  • the acquired image is sent to the medical image recognition unit 92 with identification information.
  • part of the data forming the endoscopic image is used as the identification information 81 .
  • the identification information-attached medical image recognition unit 92 recognizes the type of the identification information-attached endoscopic image 82 based on the identification information 81 attached to the identification information-attached endoscopic image 82 .
  • the identification-information-attached medical image processing unit 93 controls display on the display 15 based on the type of the identification-information-attached endoscopic image 82, and an image set for each type of the identification-information-attached endoscopic image 82. Processing is performed on the endoscopic image 82 with identification information.
  • the identification information-attached medical image recognition unit 92 recognizes the type of the identification information-attached endoscopic image 82 based on the identification information of the identification information-attached endoscopic image 82 .
  • the type of the endoscopic image 82 with identification information is the same as the type of endoscopic image from which the endoscopic image 82 with identification information is based. Recognition is performed based on the content of the identification information 81 .
  • the identification information-attached medical image recognition unit 92 is provided in advance with correspondence information in which the content of the identification information 81 and the type of endoscopic image correspond to each other. Based on the correspondence information and the content of the identification information 81 included in the identification information-added endoscopic image 82, the type of endoscopic image 82 with the identification information is identified.
  • the identification information 81 and the contents of the identification information 81 are the same as the identification information 81 given by the identification information giving unit 61 in the processor device 14, and are as described above.
  • the medical image processing unit 93 with identification information includes a display image processing unit 95, an image analysis unit 96, an analysis result generation unit 97, an image superimposition unit 98, and a frame rate conversion unit 99.
  • the image processing performed by the medical image processing unit 93 with identification information includes image processing for display and image processing for analysis. It is preferable that the plurality of types of endoscopic images 82 with identification information include a display image to be displayed on the display 15 and an analysis image to analyze the diagnostic support information. Further, when the identification information-attached medical image processing unit 93 is a display image, the identification information-attached medical image processing unit 93 performs image processing for display on the display image, and When 82 is an image for analysis, it is preferable to perform image processing for analysis on the image for analysis.
  • the display image processing unit 95 When the type of the endoscopic image with identification information 82 is a display image that is the type of endoscopic image to be displayed on the display 15, the display image processing unit 95 performs display image processing on this image. conduct.
  • the image processing for display is preferably different for each type of endoscopic image 82 with identification information.
  • An image suitable for display on the display 15 is generated by display image processing performed by the display image processing unit 95 .
  • the image analysis unit 96 When the type of the endoscopic image with identification information 82 is an analysis image that is a type of endoscopic image for analyzing diagnosis support information, the image analysis unit 96 performs analysis image processing on this image. I do.
  • the image processing for analysis is preferably different for each type of endoscopic image 82 with identification information, and is preferably different for each content of analysis.
  • Diagnosis support information can be obtained by image analysis processing performed by the image analysis unit 96 .
  • the diagnosis support information is presented to the user in the form of an analysis result image or the like.
  • the image for display is the normal image 71 and the image for analysis is the first image 72, so the endoscope image 82 with identification information is the normal
  • the identification information 81 of these endoscopic images 82 with identification information is read by the medical image recognition unit 92 with identification information, and the type of the endoscopic image is specified.
  • the identification information or the endoscopic image with identification information is not distinguished by type, it is called, for example, the identification information 81 or the endoscopic image with identification information 82 or the like.
  • the first endoscopic image with identification information 82a and the endoscopic image with second identification information 82b are processed according to separate flows. be done.
  • the endoscope image 82 a with the first identification information is sent to the display image processing section 95 and the image analysis section 96 .
  • the display image processing unit 95 performs image processing for displaying on the display 15 .
  • the image analysis unit 96 analyzes the endoscopic image 82a with the first identification information as a target when necessary.
  • the endoscope image 82 b with the second identification information is sent to the display image processing section 95 and the image analysis section 96 .
  • the display image processing unit 95 performs image processing for displaying the endoscopic image 82b with the second identification information on the display 15.
  • the image analysis unit 96 analyzes the endoscopic image 82b with the second identification information as a target when necessary. In FIG.
  • the flow of the endoscopic image 82b with the second identification information is shown at one point. indicated by a dashed line.
  • the medical image processing unit 93 with identification information performs image processing for display in the display image processing unit 95 because the first endoscopic image 82a with identification information is an image for display, and does not perform image analysis.
  • the image analysis unit 96 performs image processing for analysis, and the endoscopic image 82b with the second identification information is not displayed on the display 15. Image processing for display is not performed.
  • the image analysis unit 96 performs analysis image processing for computer-aided diagnosis (CAD) on the endoscopic image 82 with identification information.
  • CAD computer-aided diagnosis
  • known image processing for analysis can be performed.
  • Analysis image processing based on an endoscopic image outputs diagnostic support information such as detection of various feature quantities such as oxygen saturation, detection of blood vessel positions or lesion positions, or estimation of lesion stages.
  • the image analysis unit 96 preferably performs analysis image processing using an analysis model based on machine learning.
  • the analysis model based on machine learning preferably uses a convolutional neural network that outputs good results in image analysis.
  • the analysis model differs for each type of the endoscopic image 82 with identification information. This is because the content of the image processing for analysis that can output good results differs for each type of the identification information-added endoscopic image 82 .
  • the analysis model is different for each content of analysis. Therefore, the image analysis unit 96 preferably has a plurality of analysis models and uses an appropriate analysis model according to the type of endoscopic image. Moreover, it is preferable that the plurality of analysis models generate different diagnostic support information as analysis results.
  • the image processing for analysis by the image analysis unit 96 is performed on the endoscopic image 82b with the second identification information. Since the second identification information-attached endoscopic image 82b is the first image 72, the surface layer results and the like are emphasized, and the analysis model for distinguishing between neoplastic polyps and non-neoplastic polyps provides good results. can get. Therefore, the image analysis unit 96 analyzes the second identification information-attached endoscopic image 82b using an analysis model for detecting neoplastic polyps, and generates an analysis result.
  • This analysis model distinguishes between neoplastic polyps and non-neoplastic polyps, and even if non-neoplastic polyps are present, it does not notify or warn the user unless it is a neoplastic polyp. It has become.
  • the identification information-attached medical image processing unit 93 creates an analysis result image showing the result of the analysis image processing, and superimposes the analysis result image on the display image to generate the analysis image.
  • the analysis result creation unit 97 acquires the analysis result by the image analysis unit 96 and notifies the user of the analysis result by the image analysis unit 96.
  • the analysis is performed in the form of sound or image. Can produce results.
  • whether or not there is a neoplastic polyp is displayed on the display 15 to notify the user of whether or not there is a neoplastic polyp in the endoscopic image by means of a frame displayed at the edge of the region in which the observation target is shown and the color of the frame. do.
  • the analysis result generation unit 97 generates, as the analysis result, an analysis result image 101 with a green frame displayed at the edge of the region in which the observation target is captured.
  • the image superimposing unit 98 acquires an endoscopic image on which the analysis result image 101 is superimposed from the display image processing unit 95 . Since the endoscope image on which the analysis result image 101 is superimposed is preferably a display image, the normal image 71 obtained by performing the display processing on the first identification information-attached endoscope image 82a is used. Also, the analysis result image 101 is acquired from the analysis result creation unit 97 . A superimposed image 102 is generated by superimposing the analysis result image 101 on the normal image 71 obtained from the display image processing unit 95 . The generated superimposed image 102 is transmitted to the display control section 94 .
  • the display control unit 94 acquires three types of images from the display image processing unit 95 and the image superimposing unit 98 and performs control for displaying them on the display 15 . From the display image processing unit 95, a normal image 71 based on the endoscopic image 82a with the first identification information and a first image 72 based on the endoscopic image 82b with the second identification information are acquired. A superimposed image 102 is obtained from the image superimposing unit 98 . Therefore, the display control unit 94 performs control to display the normal image 71, the first image 72, and/or the superimposed image 102 on the display 15 according to the instruction. As described above, by connecting the medical image processing apparatus 17 to the display 15, one or more of these images can be displayed in a preset layout.
  • the analysis result image 101 created by the analysis result creating unit 97 may be sent to the processor device 14 .
  • the analysis result image 101 can be superimposed on various endoscopic images in the processor device 14 .
  • the superimposed image can also be displayed on a display 15 connected to the processor device 14 . Sending the analysis result image 101 to the processor device 14 in this manner is desirable because it increases the availability of the analysis result image.
  • the analysis image to be displayed is preferably an analysis image that is an observable type of endoscopic image for which diagnostics of endoscopic images have been established.
  • an analysis image such as the first image 72, which is an endoscopic image obtained by special light observation using blue narrow-band light, is well-established in diagnostics, and can be diagnosed by a doctor looking at it. is displayed on the display 15 because it is useful for
  • the types of analysis images that are preferably displayed include analysis images using blue narrow-band light, endoscopic images subjected to color enhancement processing or structure enhancement processing, or biological information such as oxygen saturation. An image for analysis to be performed is mentioned.
  • an analysis image that is difficult to observe because diagnostics using that type of endoscopic image has not been established as an analysis image, and does not need to be displayed on the display 15 .
  • an endoscopic image or the like using only the violet light V as illumination light is an analysis image that is useful for analyzing oxygen saturation and the like, but displaying it on the display 15 may not be useful for diagnosis. Therefore, the identification information-attached medical image processing unit 93 may control the display of the identification information-attached endoscopic image 82 on the display 15 based on the type of the identification information-attached endoscopic image 82 .
  • the display 15 When displaying the image for analysis on the display 15, it is preferable to display it on a sub-screen of the display 15, for example.
  • the display 15 has a main screen and a sub-screen. Therefore, the identification information-attached medical image processing unit 93 displays the display image on the main screen of the display 15 . Further, it is determined whether or not to display the analysis image on the sub-screen of the display 15 based on the type of the endoscopic image 82 with identification information, and the endoscopic image 82 with identification information determined to be displayed is displayed on the display 15. It is preferable to display it on the sub-screen.
  • the display 15 has two sub-screens, one main screen 201 and a first sub-screen 202 and a second sub-screen 203 .
  • the display 15 also has a patient information display screen 204 that displays patient information.
  • the main screen 201 displays a normal image 71 as a display image.
  • the analysis result image 101 created by the analysis result creating unit 97 is displayed on the first sub-screen 202 .
  • the analysis result image is an image displaying the discrimination result of the attention area, which is the analysis result, in a map format.
  • the discrimination results displayed in a map format for example, are shown by distinguishing the discrimination results by the color of the attention area on the map.
  • the first subscreen 202 also has an analysis result text display screen 205 that displays the analysis result in text form.
  • the analysis result is shown in text by displaying, for example, "NON-NEOPLASTIC” or "HYPERPLASTIC".
  • the second sub-screen 203 displays, for example, the endoscopic image used by the analysis result creation unit 97 to create the analysis result image 101 among the analysis images.
  • the second sub-screen 203 displays the first image 72, which is the image for analysis. Since the type of the first image 72 is an endoscopic image obtained by special light observation using blue narrow-band light, displaying it on the second sub-screen 203 is useful for diagnosis by a doctor or the like.
  • the analysis image is not displayed on the second sub-screen 203 depending on the type of analysis image.
  • the subject of the display image displayed on the main screen 201 is displayed in a past image, which is an endoscopic image acquired in the past. 205 may be displayed. This is because comparing the past and the present in the same subject may be useful for diagnosis or the like.
  • the medical image acquisition unit 91 with identification information of the medical image processing device 17 generates Then, the endoscopic image 82 with identification information is acquired.
  • the endoscopic image with identification information 82 is generated by using identification information 81 indicating the type of the endoscopic image as part of the data forming the endoscopic image. Therefore, it is easy to identify the type of endoscopic image. For example, since the type of endoscopic image is included in the data of the endoscopic image itself, it can be easily identified by a general-purpose PC.
  • identification of the type of endoscopic image and image processing corresponding to the type of endoscopic image are automatically performed continuously. can be done. Therefore, when the type of endoscopic image to be acquired and its image processing are set for each observation mode, the acquisition of a specific endoscopic image type and its image processing are manually switched. This reduces the user's burden.
  • the processor device 14, the medical image processing device 17, and the medical image processing system 18 are useful when automatically switching the type of illumination light in the IEE. That is, when the difference in the spectrum of illumination light is used as an imaging condition and associated with the type of endoscopic image, by setting the type of illumination light to be automatically switched, a plurality of display images and diagnostic support information can be automatically obtained. can be obtained.
  • a plurality of devices, the processor device 14 and the medical image processing device 17, can process display images and process analysis results. An image can be created or processed with a high degree of freedom, such as in a preferred mode for creating an inspection report.
  • identification information-attached endoscopic image 82 includes multiple types of identification information 81
  • other information can be obtained in addition to the type of endoscopic image such as the spectrum of the illumination light.
  • Other information includes, for example, information on the imaging order.
  • the processor device 14 and the medical image processing device 17 preferably have a frame rate converter 62 or 99 that adjusts the frame rate of the endoscopic image.
  • the frame rate conversion unit 62 adjusts the frame rate of the image to be sent in order to send the image to the medical image processing device 17 or display an image such as a display image on the display 15 .
  • the frame rate conversion unit 99 adjusts the frame rate of the image to be transmitted at the time of transmission, if necessary, and displays an image such as a display image on the display 15. to adjust the frame rate of the image to be sent.
  • the endoscopic image 82 with identification information including the display image and the analysis image is transmitted from the processor device 14 to the medical image processing device 17, the frame obtained by acquiring the display image and the analysis image is It is preferable to transmit the endoscopic image 82 with identification information at a frame rate suitable for the processing of the medical image processing apparatus 17, adjusted by interpolating the image and the image for analysis.
  • complementing with display images and analysis images for example, create a complementary frame image by duplicating the frame from which the display image and analysis image were obtained, and use this complementary frame image as the display image or analysis image. can be done.
  • the frame rate conversion unit 62 in the processor device 14 creates a complementary frame image 73 for the frame of the image for display and the image for analysis.
  • a first identification-information-added endoscopic image 82a generated from a normal image 71, a second identification-information-added endoscopic image 82b generated from the first image 72, a first identification-information-added endoscopic image 82a, and a second identification Complementary frame images 73 copied from the information-attached endoscopic images 82b are combined to form 60 frames per second (60 fps, frames per second), and then sent to the medical image processing apparatus 17.
  • the medical image processing apparatus 17 can acquire images with a fixed frame rate.
  • the first identification information-attached endoscopic image 82a which is a display image
  • the second identification information-attached endoscope image 82a which is an analysis image
  • Image 82b is acquired at 15 fps per second.
  • the endoscopic image 82b with the second identification information is hatched.
  • the frame rate conversion unit 62 converts the complementary frame image 73 to 15 fps so that the endoscopic image 82a with the first identification information, the endoscopic image 82b with the second identification information, and the complementary frame image 73 are all set to 60 fps.
  • 10 fps is duplicated from the first identification information-attached endoscopic image 82a
  • 5 fps is duplicated from the second identification information-attached endoscopic image 82b
  • the complementary frame image 73 is obtained. That is, in the 30 fps of the first identification-information-attached endoscopic image 82a, one frame is duplicated for three frames to form the complementary frame image 73 for 10 fps.
  • one frame is duplicated out of five frames to obtain a complementary frame image 73 for 5 fps. Note that the complementary frame image 73 is indicated by a dotted line.
  • the image of the frame one frame before the duplication timing can be duplicated.
  • the frame rate conversion unit 62 converts the complementary frame image 73 can be added by 15 fps to get 60 fps.
  • the image acquisition unit 51 acquires the display image and the analysis image, and when the analysis image is not displayed on the display 15, the frame from which the analysis image is acquired is complemented with the display image. As a result, it is possible to display an endoscopic image that is easy to visually recognize. The same is true for the medical image processing apparatus 17 , and it is preferable to adjust the frame rate of the image to be displayed on the display 15 .
  • the first identification information-attached endoscopic image 82a which is an image for display
  • the second identification information which is an image for analysis
  • An attached endoscopic image 82b is acquired at 13 frames per second (13 fps).
  • the frame rate conversion unit 62 creates a complementary frame image 73 for each of the frames of the display image, and produces an endoscopic image with the first identification information.
  • 82a and the complementary frame image 73 are displayed together on the display 15 at 60 frames per second (60 fps). Thereby, the visibility of the image displayed on the display 15 can be improved.
  • the frame rate conversion unit 99 in the medical image processing apparatus 17 functions similarly.
  • the identification information addition unit 61 and the frame rate conversion unit 62 perform frame rate conversion by the frame rate conversion unit 62, and then the identification information 81 is added in the identification information addition unit 61.
  • the identification information 81 is added by the identification information adding unit 61 .
  • the identification information 81 may be given to the complementary frame image 73. As shown in FIG. 21, in this case, by giving the complementary frame image 73 identification information 81c indicating that it is the complementary frame image 73, a third identification-information-attached endoscopic image 82c is generated.
  • the identification information 81c can be different from the identification information indicating the type of endoscopic image. As a result, in the medical image processing apparatus 17, it is possible to easily recognize that it is the complementary frame image 73 from the image data.
  • the identification information 81c can include information about the type of endoscopic image that is the copy source.
  • a third identification-information-attached endoscopic image 82 (C-1) to which identification information 81 (C-1) is assigned is generated.
  • a third identification-information-attached endoscopic image 82 (C-2) may be generated to which the identification information 81 (C-2) is added.
  • the identification information 81c can include information on the order of imaging in addition to information on the type of endoscopic image of the duplication source.
  • an endoscopic image 82 (A-3) with first identification information is generated based on a normal image 71 taken third, and this normal image 71 is duplicated.
  • a third identification information-attached endoscopic image 82 (A3-C1) to which the identification information 81 (A3-C1) is attached is generated.
  • a second identification-information-added endoscopic image 82 (Bn) is generated based on the first image 72, which is the n-th captured image, and complemented by duplicating this first image 72.
  • the frame image 73 is the m-th complementary frame image 73, and generates a third identification-information-attached endoscopic image 82 (Bn-Cm) to which identification information 81 (Bn-Cm) is added.
  • a third identification-information-attached endoscopic image 82 (Bn-Cm) to which identification information 81 (Bn-Cm) is added.
  • the medical image processing apparatus 17 can identify the complementary frame image 73, the complementary frame image 73 can be one of the types of endoscopic images. Therefore, the medical image processing apparatus 17 can perform an image processing method corresponding to the complementary frame image 73 .
  • an image processing method for the complementary frame image 73 for example, image processing is performed on an endoscopic image of the same type as the original image of the complementary frame image 73, or image processing is not performed on the complementary frame image 73. and the like.
  • the first identification information-added endoscopic image 82a, the second identification information-added endoscopic image 82b, or the complementary frame image 73 A certain third identification information-attached endoscopic image 82c is identified, and when the number of the third identification information-attached endoscopic images 82c exceeds a certain percentage, from the viewpoint of image processing speed, etc., the first identification information-attached endoscope image In the image processing for the image 82a or the endoscopic image 82b with the second identification information, the image processing speed may be adjusted.
  • the medical image processing apparatus 17 can grasp the information of the frame rate from the information of only the image data without acquiring the information of the frame rate. It can be used for adjusting the speed of image processing.
  • An endoscope is used to photograph an observation target.
  • the normal image 71 which is the image for display
  • the first image 72 which is the image for analysis, are each obtained in a preset frame pattern (step ST110). Note that the normal image 71 is displayed on the display 15 after the frame rate is adjusted.
  • the identification information assigning section 61 assigns the identification information 81 to each of the normal image 71 and the first image 72 (step ST120).
  • the first identification-information-attached endoscopic image 82a and the second identification-information-attached endoscopic image 82b to which the identification information 81 is added are acquired by the identification-information-attached medical image acquiring unit 91 of the medical image processing apparatus 17 (step ST130).
  • the display image processing unit 95 performs image processing for display image on the endoscope image 82a with the first identification information, which is an image for display.
  • the second identification information-attached endoscopic image 82b which is an image for analysis, is subjected to image analysis for obtaining diagnostic support information in the image analysis unit 96 using an analysis model based on machine learning (step ST140).
  • the analysis result creation unit 97 creates an analysis result image 101 that displays the result of image analysis.
  • the image superimposing unit 98 superimposes the analysis result image 101 on the normal image 71, which is the endoscopic image 82a with the first identification information that has been subjected to image processing for display, to generate a superimposed image 102 (step ST150).
  • Superimposed image 102 is displayed on display 15 (step ST160).
  • the present invention is applied to the case of processing endoscopic images.
  • the present invention can also be applied to image processing systems and the like.
  • part or all of the image processing unit 56 and/or the central control unit 59 of the endoscope system 10 communicate with the endoscope system 10 by communicating with the processor device 14, for example. It can be provided in the diagnosis support device 610 that cooperates. Similarly, part or all of the medical image processing device 17 in the endoscope system 10 can be provided in a diagnosis support device 610 that communicates with the medical image processing device 17 and cooperates with the endoscope system 10, for example. .
  • part or all of the image processing unit 56 and/or the central control unit 59 of the endoscope system 10 may be connected directly from the endoscope system 10, or PACS (Picture (Archiving and Communication Systems) 22 can be provided in a diagnostic support device 610 that indirectly acquires images captured by the endoscope 12 .
  • PACS Picture (Archiving and Communication Systems) 22
  • part or all of the medical image processing device 17 in the endoscope system 10 is directly from the endoscope system 10 or indirectly from PACS (Picture Archiving and Communication Systems) 22, for example. It can be provided in a diagnosis support device 610 that acquires an image captured by the scope 12 .
  • various inspection devices such as a first inspection device 621, a second inspection device 622, .
  • a part or all of the image processing unit 56 and/or the central control unit 59 of the endoscope system 10, or a part or all of the medical image processing apparatus 17 can be provided in the medical service support device 630 to be connected. .
  • the hardware structure of a processing unit that executes various processes such as the information-attached medical image processing unit 93 and the display control unit 94 is the following various processors.
  • processors include CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that run software (programs) and function as various processing units.
  • Programmable Logic Devices PLDs
  • PLDs Programmable Logic Devices
  • processors dedicated electric circuits, which are processors with circuit configurations specially designed to perform various processes, and the like.
  • One processing unit may be composed of one of these various processors, or composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA).
  • a plurality of processing units may be configured by one processor.
  • a plurality of processing units may be configured by one processor.
  • this processor functions as a plurality of processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit in the form of a combination of circuit elements such as semiconductor elements.
  • endoscope system 12 endoscope 12a insertion portion 12b operation portion 12c bending portion 12d tip portion 12e angle knob 12f zoom operation portion 12g mode switching switch 13 light source device 14 processor device 15 display 16 keyboard 17 medical image processing device 18 medical image Processing system 20

Abstract

内視鏡画像の種類の判別を容易に行うことができるプロセッサ装置(14)、医療画像処理装置(17)、及び医療画像処理システム(18)、並びに内視鏡システム(10)を提供する。 医療画像処理システム(10)は、プロセッサ装置(14)と医療画像処理装置(17)とを備える。プロセッサ装置(14)は、医療画像を構成するデータの一部を医療画像の種類を示す識別情報とすることにより生成した識別情報付医療画像を生成し、医療画像処理装置は、識別情報付医療画像を取得し、医療画像の種類を識別し、医療画像の種類に応じた画像処理を行う。内視鏡システム(10)は、光源、内視鏡、及び医療画像処理システム(18)を備える。

Description

プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム
 本発明は、プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システムに関する。
 医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いた診断では、照明光等を工夫した画像強調観察(IEE、image enhanced endoscopy)により、観察対象を内視鏡で撮影して得た画像(以下、内視鏡画像という)を用いて、観察対象の表面構造、又は粘膜表層等に関する様々な診断支援情報を得る場合がある。
 IEEを用いた診断においては、複数種類の照明光等によって得られる複数種類の内視鏡画像を取得し、これらの内視鏡画像を詳細に比較又は重畳することにより適切な診断ができる場合がある。例えば、白色光の照明光による通常画像信号と、白色光とスペクトルが異なる特殊光の照明光による特殊画像信号とを取得することにより、病変等の見落としを防ぎ、内視鏡検査において疾患の重症度または進行度を高い精度で判定することができる内視鏡システムが知られている(特許文献1)。
特開2020-065685号公報
 白色光による通常画像信号に基づく内視鏡画像と、特殊光による特殊画像信号に基づく内視鏡画像とでは、異なる画像処理を行うことにより適切な診断支援情報を得ることができる。すなわち、内視鏡画像の種類を内視鏡画像を取得した際の照明光の種類に対応して設定した場合、内視鏡画像の種類に応じて選択した内視鏡画像の画像処理を行うことが好ましい。
 照明光の種類は、プロセッサ装置から光源装置に伝達される信号に基づいて決定されており、プロセッサ装置は内視鏡画像と、その種類の両方の情報を持っている。そのため、内視鏡画像をプロセッサ装置から外部装置に伝達し、その外部装置で画像処理を行う場合は、内視鏡画像の種類も同時にプロセッサ装置から外部装置に伝達する必要がある。この時に、内視鏡画像と内視鏡画像の種類の対応が崩れないようにするため、内視鏡画像を格納する情報コンテナのヘッダー部分等に内視鏡画像の種類を記録して伝送すると、DVI(Digital Visual Interface)等の一般的な映像信号としては伝送できず、汎用のパーソナルコンピュータ(以下、PCという。)では受信できない場合が多い。また、別の信号線で対応が崩れないように伝送することも、PCでは難しい場合が多い。
 一方、PCによる画像処理は様々に広く行われていることから、より簡便に、PCにより内視鏡画像を判別して扱うことが要望されていた。
 本発明は、内視鏡画像の種類の判別を容易に行うことができるプロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システムを提供することを目的とする。
 本発明は、プロセッサ装置であって、第1プロセッサを備え、第1プロセッサは、撮影条件が異なる複数種類の医療画像を取得し、医療画像の種類に応じて医療画像を構成するデータの一部を変更する、又は、医療画像の少なくとも1つの種類では変更し、かつ、医療画像の別の種類では変更しないことにより、医療画像を構成するデータの一部を医療画像の種類を示す識別情報とした識別情報付医療画像を生成する。
 医療画像を構成するデータは、医療画像の予め設定した領域を構成するデータであることが好ましい。
 医療画像を構成するデータは、画素値であることが好ましい。
 複数種類の医療画像は、ディスプレイに表示するための表示用画像と、診断情報に関する解析を行うための解析用画像とを含むことが好ましい。
 第1プロセッサは、解析用画像に対し、解析用画像を構成するデータの一部を変更することにより識別情報とし、かつ、表示用画像に対し、解析用画像において識別情報としたデータに対応する部分の表示用画像を構成するデータを変更せずに識別情報とすることが好ましい。
 第1プロセッサは、表示用画像に対し、表示用画像を構成するデータの一部を変更することにより識別情報とし、かつ、解析用画像に対し、表示用画像において識別情報としたデータに対応する部分の解析用画像を構成するデータを変更せずに識別情報とすることが好ましい。
 撮影条件は、照明光のスペクトルであることが好ましい。
 また、本発明は医療画像処理装置であって、第2プロセッサを備え、第2プロセッサは、医療画像を構成するデータの一部が識別情報とされている複数種類の識別情報付医療画像を取得し、識別情報に基づき、識別情報付医療画像の種類を認識し、識別情報付医療画像のディスプレイへの表示を、識別情報付医療画像の種類に基いて制御する。
 複数種類の識別情報付医療画像は、ディスプレイに表示するための表示用画像と、診断情報に関する解析を行うための解析用画像とを含むことが好ましい。
 第2プロセッサは、表示画像をディスプレイのメイン画面に表示し、かつ、識別情報付医療画像の種類に基いて解析用画像をディスプレイのサブ画面に表示するか否かを決定し、表示すると決定した識別情報付医療画像をディスプレイのサブ画面に表示することが好ましい。
 第2プロセッサは、識別情報付医療画像の種類に基づいて、識別情報付医療画像の種類毎に設定された画像処理を識別情報付医療画像に行うことが好ましい。
 第2プロセッサは、情報付医療画像が表示用画像である場合、表示用画像に対して表示用画像処理を行い、かつ、識別情報付医療画像が解析用画像である場合、解析用画像に対して解析用画像処理を行うことが好ましい。
 第2プロセッサは、解析用画像処理を機械学習による解析モデルを用いて行うことが好ましい。
 第2プロセッサは、解析用画像処理の結果を示す解析結果画像を作成し、表示用画像に解析結果画像を重畳して重畳画像を生成することが好ましい。
 また、本発明の医療画像処理システムは、プロセッサ装置と、医療画像処理装置とを含み、第2プロセッサは、第1プロセッサが生成した複数種類の識別情報付医療画像を取得する。
 また、本発明の医療画像処理システムは、プロセッサ装置と、医療画像処理装置とを含み、プロセッサ装置は、第2プロセッサが作成した解析用画像処理の結果を示す解析結果画像を取得する。
 プロセッサ装置は、表示用画像に解析結果画像を重畳することが好ましい。
 プロセッサ装置は、識別情報付医療画像のフレームレートを調整し、医療画像処理装置は、フレームレートが調整された識別情報付医療画像を取得することが好ましい。
 プロセッサ装置又は前記医療画像処理装置は、ディスプレイに表示するための画像のフレームレートを調整することが好ましい。
 また、本発明は内視鏡システムであって、互いに異なる波長帯域の光を発する複数の光源と、複数の光源が発する照明光により照明された被写体を撮影する内視鏡と、医療画像処理システムとを含み、プロセッサ装置は、複数の光源の光強度比の組み合わせが互いに異なる複数種類の照明光のそれぞれを発する制御を行う光源用プロセッサを備える。
 本発明によれば、内視鏡画像の種類の判別を容易に行うことができる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 光源部が含む4色のLEDを説明する説明図である。 紫色光V、青色光B、緑色光G、及び赤色光Rのスペクトルを示すグラフである。 第1照明光のスペクトルを示すグラフである。 内視鏡システムにより撮像される内視鏡画像の種類と順とを説明する説明図である。 識別情報を備える識別情報付内視鏡画像を示す画像図である。 観察対象部分とマスク部分とを含む内視鏡画像を示す画像図である。 図9(A)は、第1識別情報を備える第1認識情報付内視鏡画像を示す画像図であり、図9(B)は、第2識別情報を備える第2認識情報付内視鏡画像を示す画像図である。 内視鏡システムにより撮像される内視鏡画像の種類と識別情報とを説明する説明図である。 内視鏡システムにより撮像される内視鏡画像の種類及び撮影順序と識別情報とを説明する説明図である。 解析用画像に識別情報を付与する場合を説明する説明図である。 表示用画像に識別情報を付与する場合を説明する説明図である。 医療画像処理装置の機能を示すブロック図である。 医療画像処理装置における各種画像と処理の流れとを説明する説明図である。 ディスプレイのサブ画面に解析用画像を表示する場合の画像図である。 ディスプレイのサブ画面に画像を表示しない場合の画像図である。 ディスプレイのサブ画面に過去画像を表示する場合の画像図である。 フレームレート変換部が表示用画像及び解析用画像を複製してフレームレートを調整する機能を説明する説明図である。 フレームレート変換部が表示用画像を複製してフレームレートを調整する機能を説明する説明図である。 補完フレーム画像に内視鏡画像の種類に基づく識別情報を付与して生成する第3識別情報付内視鏡画像を説明する説明図である。 補完フレーム画像に内視鏡画像の種類及び元の画像の情報に基づく識別情報を付与して生成する第3識別情報付内視鏡画像を説明する説明図である。 表示用画像、解析用画像、及び補完フレーム画像に、内視鏡の種類及び撮影順序に基づく識別情報を付与して生成する第3識別情報付内視鏡画像を説明する説明図である。 医療画像処理システム及び内視鏡システムにおける内視鏡画像処理の一連の流れを示すフローチャートである。 医療画像処理装置が診断支援装置に含まれる場合を説明する説明図である。 医療画像処理装置が医療業務支援装置に含まれる場合を説明する説明図である。
 図1に示すように、内視鏡システム10は、内視鏡12と、光源装置13と、プロセッサ装置14と、ディスプレイ15と、キーボード16と、医療画像処理装置17とを有する。内視鏡12は、光源装置13と光学的に接続され、且つ、プロセッサ装置14と電気的に接続される。プロセッサ装置14は、医療画像処理装置17と接続する。医療画像処理装置17は、プロセッサ装置14から識別情報が付された内視鏡画像を受け取って、機械学習等による画像解析を含む各種画像処理を行う。なお、本実施形態では、医療画像は内視鏡画像である。
 内視鏡12は、観察対象を有する被検者の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bのアングルノブ12e(図2参照)を操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
 操作部12bは、アングルノブ12eの他、撮像倍率を変更するためのズーム操作部12fと、観察モードの切替操作に用いるモード切替スイッチ12gとを有する。なお、観察モードの切替操作、又はズーム操作は、モード切替スイッチ12g、又はズーム操作部12fの他、キーボード16、又はフットスイッチ(図示しない)等を用いた操作又は指示としてもよい。
 内視鏡システム10は、通常観察モード、特殊観察モード、及び診断支援観察モードの3つの観察モードを有している。通常観察モードは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの画像である通常画像をディスプレイ15上に表示するモードである。特殊観察モードは、第1特殊観察モードを含む。第1特殊観察モードは、表層血管などの表層情報を強調した第1画像をディスプレイ15上に表示するモードである。
 診断支援観察モードは、通常画像に画像解析の結果を表示により示す解析結果画像を重畳した重畳画像をディスプレイ15上に表示するモードである。画像解析の結果は医師等の診断を支援するための診断支援情報であり、第1画像を用いた画像解析により得られる。したがって、解析結果画像は、第1画像を用いた画像解析により得られた病変等に関する診断支援情報を含む。診断支援観察モードでは、第1画像を用いた画像解析により病変等が検出された場合、この病変の位置等の診断支援情報を示した解析結果画像を通常画像に重畳した重畳画像が、ディスプレイ15上に表示される。内視鏡システム10の起動時には、診断支援観察モードが選択される。
 プロセッサ装置14は、ディスプレイ15及びキーボード16と電気的に接続される。ディスプレイ15は、通常画像、第1画像、重畳画像、及び/又はこれらの画像に付帯する情報などを表示する。キーボード16は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置14には、画像や画像情報などを記録する外付けの記録部(図示省略)を接続してもよい。
 図2に示すように、光源装置13は、観察対象に照射する照明光を発し、光源部20と、光源部20を制御する光源用プロセッサ21とを備える。光源部20は、例えば、複数色のLED(Light Emitting Diode)等の半導体光源、レーザダイオードと蛍光体との組み合わせ、又はキセノンランプやハロゲン光源で構成する。また、光源部20には、LED等が発光した光の波長帯域を調整するための光学フィルタ等が含まれる。光源用プロセッサ21は、各LED等のオン/オフや、各LED等の駆動電流や駆動電圧の調整によって、照明光の光量を制御する。また、光源用プロセッサ21は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
 図3に示すように、本実施形態では、光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDを有する。
 図4に示すように、V-LED20aは、中心波長410±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長450±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
 光源用プロセッサ21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御する。光源用プロセッサ21は、通常観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比の組み合わせがVc:Bc:Gc:Rcとなる通常光を発光するように、各LED20a~20dを制御する。
 光源用プロセッサ21は、特殊観察モードに設定されている場合には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比の組み合わせがVs1:Bs1:Gs1:Rs1となる第1照明光を発光するように、各LED20a~20dを制御する。第1照明光は、表層血管を強調することが好ましい。そのため、第1照明光は、紫色光Vの光強度を青色光Bの光強度よりも大きくすることが好ましい。例えば、図5に示すように、紫色光Vの光強度Vs1と青色光Bの光強度Bs1との比率を「4:1」とする。
 なお、本明細書において、光強度比の組み合わせは、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つ又は2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比の組み合わせが1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光強度比を有し、光強度比の組み合わせの1つである。
 以上のように、通常観察モードもしくは特殊観察モードにおいて発せられる、紫色光V、青色光B、緑色光G、及び赤色光Rの光強度比の組み合わせ、すなわち照明光の種類は、互いに異なる。診断支援観察モードでは、種類が互いに異なる照明光を自動で切り替えて発する。なお、これらの観察モードで用いられる照明光と互いに異なる光強度比の組み合わせを有する異なる種類の照明光を用いた観察モードを用いてもよい。
 光源用プロセッサ21は、診断支援観察モードに設定されている場合には、特定の種類の照明光を切り替えて発する。具体的には、通常光を続けて発光する通常光期間と、第1照明光を続けて発光する第1照明光期間とを交互に繰り返す。具体的には、通常光を発光する通常光期間を所定のフレーム数で行った後に、第1照明光を発光する第1照明光期間を所定のフレーム数で行う。その後再び通常光期間となり、通常光期間と第1照明光期間とのセットを繰り返す。
 なお、「フレーム」とは、観察対象を撮像する撮像センサ45(図2参照)を制御するための単位をいい、例えば、「1フレーム」とは、観察対象からの光で撮像センサ45を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間をいう。本実施形態においては、撮影の単位である「フレーム」に対応して通常光期間、又は第1期間等の各種期間がそれぞれ定められる。
 図6に示すように、診断支援観察モードでは、通常光を発光する通常光期間を3フレーム分行った後に、第1照明光を発光する第1照明光期間を1フレーム分行う。その後再び通常光期間となり、通常光期間と第1照明光期間とのセットの4フレーム分を繰り返す。したがって、通常光期間3フレームの間に、通常画像71を3つ続けて撮影した後、第1照明光期間に、第1画像72を1つ撮影する。なお、図6において、第1画像72は網掛けで示す。その後は、通常光期間に戻り、引き続きこのパターンを繰り返す。
 各LED20a~20eが発する光は、ミラーやレンズなどで構成される光路結合部(図示せず)を介して、ライトガイド41に入射される。ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置13及びプロセッサ装置14を接続するコード)に内蔵されている。ライトガイド41は、光路結合部からの光を、内視鏡12の先端部12dまで伝搬する。
 内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ42を有しており、ライトガイド41によって伝搬した照明光は照明レンズ42を介して観察対象に照射される。撮像光学系30bは、対物レンズ43、ズームレンズ44、及び撮像センサ45を有している。観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ43及びズームレンズ44を介して撮像センサ45に入射する。これにより、撮像センサ45に観察対象の像が結像する。ズームレンズ44は、ズーム操作部12fを操作することでテレ端とワイド端との間で自在に移動し、撮像センサ45に結像する観察対象を拡大又は縮小する。
 撮像センサ45は、画素毎にR(赤色)、G(緑色)、又はB(青色)のカラーフィルタのいずれかが設けられたカラー撮像センサであり、観察対象を撮像してRGB各色の画像信号を出力する。撮像センサ45としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、原色のカラーフィルタが設けられた撮像センサ45の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力される。このため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ45と同様のRGB画像信号を得ることができる。また、撮像センサ45の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
 撮像センサ45は、撮像制御部(図示せず)によって駆動制御される。中央制御部59(図3参照)は、撮像制御部に同期して光源用プロセッサ21を通して光源部20の発光を制御することにより、通常観察モードでは、通常光で照明された観察対象を撮像するように制御する。これにより、撮像センサ45のB画素からBc画像信号が出力され、G画素からGc画像信号が出力され、R画素からRc画像信号が出力される。特殊観察モード又は診断支援観察モードでは、中央制御部59(図3参照)は、光源部20の発光を制御して、特殊光で照明された観察対象を撮像するように、撮像センサ45を制御する。これにより、第1特殊観察モードでは、撮像センサ45のB画素からBs1画像信号が出力され、G画素からGs1画像信号が出力され、R画素からRs1画像信号が出力される。
 CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路46は、撮像センサ45から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路46を経た画像信号は、A/D(Analog/Digital)コンバータ47により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号は、プロセッサ装置14に入力される。
 プロセッサ装置14には、画像処理などの処理に関するプログラムがプログラム用メモリ(図示しない)に格納されている。プロセッサ装置14においては、第1プロセッサである画像用プロセッサ等によって構成される中央制御部59により、プログラム用メモリ内のプログラムが動作することによって、画像取得部51と、DSP(Digital Signal Processor)52と、ノイズ低減部53と、メモリ54と、信号処理部55と、画像処理部56と、表示制御部57と、映像信号生成部58と、中央制御部59の機能が実現される。画像処理部56は、識別情報付与部61と、フレームレート変換部62とを備え、これらの機能も同様に、画像用プロセッサによって構成される中央制御部59により、プログラム用メモリ内のプログラムが動作することによって実現される。また、中央制御部59は、内視鏡12および光源装置13からの情報を受信し、受信した情報に基いて、プロセッサ装置14の各部の制御の他、内視鏡12又は光源装置13の制御を行う。また、キーボード16からの指示などの情報も受信する。
 医療画像取得部である画像取得部51は、内視鏡12から入力される内視鏡画像のデジタル画像信号を取得する。画像取得部51は、各照明光により照明された観察対象を撮影した画像信号をフレーム毎に取得する。照明光の種類、すなわち照明光のスペクトルは、撮影条件の一つである。画像取得部51は、照明光のスペクトル等の撮影条件が互いに異なる複数種類の内視鏡画像を取得する。
 撮影条件としては、照明光のスペクトル、すなわち、各LED20a~20dの光量比の他に、観察対象との間の観察距離、又は内視鏡12のズーム倍率等が挙げられる。光量比は、中央制御部59から取得する。観察距離は、例えば、観察距離が遠距離の非拡大観察距離と、観察距離が近距離の拡大観察距離等があり、内視鏡画像から得られる露光量によって取得する。なお、観察距離は画像の周波数解析によって取得しても良い。ズーム倍率は、例えば、非拡大観察とする非拡大と、拡大観察を可能とする低倍率から高倍率等があり、ズーム操作部12fの変更操作に基づき取得することができる。本実施形態では、撮影条件として、照明光のスペクトルを用いる。
 取得した画像信号はDSP52に送信される。DSP52は、受信した画像信号に対して色補正処理等のデジタル信号処理を行う。ノイズ低減部53は、DSP52で色補正処理等が施された画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、メモリ54に記憶する。
 信号処理部55は、メモリ54からノイズ低減後の画像信号を取得する。そして、取得した画像信号に対して、必要に応じて、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像を生成する。
 信号処理部55において、通常観察モード又は診断支援観察モードでは、入力した1フレーム分のノイズ低減後の通常画像用の画像信号に対して、色変換処理と、色彩強調処理、構造強調処理などの通常観察モード用の画像処理を施す。この通常観察モード用の画像処理が施された画像信号は、通常画像として画像処理部56に入力する。
 特殊観察モード又は診断支援観察モードでは、第1特殊観察モードにおいて、入力した1フレーム分のノイズ低減後の第1画像用の画像信号に対して、色変換処理と、色彩強調処理、構造強調処理などのそれぞれ第1特殊観察モード用の画像処理を施す。この第1特殊観察モード用の画像処理が施された画像信号は、第1画像として画像処理部56に入力する。
 信号処理部55が生成する内視鏡画像は、観察モードが通常観察モードの場合は通常観察画像であり、観察モードが特殊観察モードの場合は第1画像を含む特殊観察画像であり、色変換処理、色彩強調処理、及び構造強調処理の内容は、観察モードによって異なる。通常観察モードの場合、信号処理部55は、観察対象が自然な色合いになる上記各種信号処理を施して通常観察画像を生成する。特殊観察モードの場合、信号処理部55は、例えば、観察対象の血管を強調する上記各種信号処理を施して第1画像を含む特殊観察画像を生成する。
 半導体光源は、波長帯域が中心波長410±10nmかつ波長範囲420~500nmである紫色光V(第1狭帯域光)を発光するV-LED20aと、波長帯域が中心波長450±10nmかつ波長範囲380~420nmである青色光B(第2狭帯域光)を発光するB-LED20bとを含む。したがって、信号処理部55が生成する特殊観察画像である第1画像では、粘膜の表面を基準として観察対象内の比較的浅い位置にある血管(いわゆる表層血管)又は血液は、マゼンタ系の色(例えばブラウン色)になる。このため、第1画像では、ピンク系の色で表される粘膜に対して、観察対象の血管又は出血(血液)は、色の違いで強調される。
 画像処理部56は、各種の画像処理を行う。画像処理部56は、識別情報付与部61、及びフレームレート変換部62を備える。識別情報付与部61は、取得した内視鏡画像を構成するデータの一部を変更する、又は、内視鏡画像の少なくとも1つの種類では変更し、かつ、内視鏡画像の別の種類では変更しないことにより、内視鏡画像を構成するデータの一部を内視鏡画像の種類を示す識別情報とした識別情報付医療画像を生成する。フレームレート変換部62は、識別情報付医療画像をディスプレイ15又は医療画像処理装置17へ送る際に、必要な場合はこれらのためにフレームレートを変換する。なお、本実施形態では、医療画像は内視鏡画像であるため、識別情報付医療画像として、識別情報付内視鏡画像が生成される。
 内視鏡画像を構成するデータとは、例えば、内視鏡画像を格納する情報コンテナのヘッダー部分等の画像以外のデータではなく、画像自体のデータであることを意味する。内視鏡画像を構成するデータは、特に、汎用PCにおいて扱うことができる画像ファイルのデータであることが好ましい。内視鏡画像を構成するデータであれば、データの形式又は表現方法としては制限はなく、画素値、周波数分布、又はこれら等を用いて算出した値等を用いることができる。
 識別情報付与部61は、中央制御部59が、撮像制御部に同期して光源用プロセッサ21を通して制御した光源部20の発光に関する情報から内視鏡画像の種類を識別し、識別した内視鏡画像の種類に応じて、取得した内視鏡画像の画像自体を構成するデータを一部変更する。又は、識別した内視鏡画像の種類に応じて、ある種類の内視鏡画像に対しては、取得した内視鏡画像の画像自体を構成するデータを一部変更するが、別の種類の内視鏡画像に対しては、取得した内視鏡画像の画像自体を構成するデータを変更しない。識別情報付与部61は、内視鏡画像の一部において、画像を構成するデータを変更する又はしないことにより、識別情報付内視鏡画像を生成する。したがって、識別情報付内視鏡画像には、内視鏡画像を構成するデータを変更したものと、内視鏡画像を構成するデータを変更せず、内視鏡画像そのままのものとを含む。
 内視鏡画像の種類は、識別情報付内視鏡画像における識別情報を認識することにより識別される。識別情報が画素値である場合、識別情報付内視鏡画像において、画素値を変更する場合の画素の位置及び変更した画素値の値と、内視鏡画像の種類とを対応させた対応情報を準備し、識別情報付内視鏡画像を構成する画素のうち識別情報である画素について、この対応情報を用いて対応する内視鏡画像の種類を調べる。これにより、識別情報付内視鏡画像がどの種類の内視鏡画像であるのかを識別することができる。したがって、内視鏡画像の種類を識別するために、ヘッダー部分等の画像自体のデータ以外を用いる必要がなくなる。
 内視鏡画像を構成するデータは、内視鏡画像を構成する画素の画素値であることが好ましい。この場合、識別情報付与部61は、内視鏡画像を構成する画素のうちの所定の一部の画素の画素値を、識別した内視鏡画像の種類に応じて変更することにより、識別情報付内視鏡画像を生成する。また、場合により、画素値が変更された内視鏡画像の種類と識別するために、別の種類の内視鏡画像においては、画素値を変更しないものを識別情報付内視鏡画像とする。
 変更する画素値は、内視鏡画像を観察又は診断等に用いる場合等に影響がないように変更することが好ましい。画素値は、色情報又は明るさ情報のいずれを用いることもできる。また、画素値を変更した画素をユーザが視認できないように変更すること、又は、ユーザが視認できるが内視鏡画像に写る観察対象等の視認には影響がない態様での変更等を行うことができる。
 ユーザが画素値を変更した画素を視認できない場合としては、内視鏡画像の一部の画素において、ユーザの視認に影響がないような特定の画素値に変更する方法、ダミーの画素値に変更する、又は、内視鏡画像に電子透かしを適用する等が挙げられる。なお、電子透かしは、画素値以外の内視鏡画像を構成するデータに関しても適用できる。
 内視鏡画像の一部の画素について、ユーザの視認に影響がないような特定の画素値を有する画素に変更する場合、内視鏡画像の一部の位置の画素値を構成する赤、緑、及び青のうち少なくとも1つ又は複数の値について、又は、明るさ情報について、増やす、もしくは減らす等の変更を行うことができる。内視鏡画像の種類に応じて、赤、緑、青、又は明るさのいずれかを対応させて変更してもよいし、画素値の変更の増減を対応させてもよく、ユーザが視認した場合に画素値を変更した画素が視認できない態様であればいずれの方法でも採用ができる。この場合、変更された画素値を周囲の画素値と比較すること等により、内視鏡画像の種類を識別することができる。
 内視鏡画像の一部の画素値をダミーの画素値に置き換えて変更する場合も、ユーザの視認に影響がないようにしてダミーの画素値に置き換えることができる。ダミーの画素値は、例えば、予め内視鏡画像の種類に応じて画素値を決定したものである。このダミーの画素値を、内視鏡画像の所定の位置の画素値と置き換える。この場合、置き換えられた位置のダミーの画素値を取得することにより、内視鏡画像の種類を識別することができる。
 内視鏡画像に電子透かしを適用する場合は、公知の電子透かし技術を採用することができる。例えば、内視鏡画像の種類を含む透かし情報を内視鏡画像に埋め込み、透かし情報の取得又は透かし入り内視鏡画像を復元する際等に内視鏡画像の種類を識別することができる。
 図7に示すように、内視鏡画像を構成するデータの一部を、予め設定した画素値である識別情報81に変更することにより、識別情報付内視鏡画像82が生成される。識別情報付内視鏡画像82において、識別情報81は、識別情報付内視鏡画像82の観察対象が写る部分ではない領域に付与されており、ユーザが視認できるが内視鏡画像に写る観察対象等の視認には影響がない態様で付与されている。
 内視鏡画像を構成するデータは、内視鏡画像の予め設定した領域を構成するデータであることが好ましい。したがって、識別情報付内視鏡画像の識別情報は、内視鏡画像の予め設定した領域にあることが好ましい。予め設定した領域としては、内視鏡画像のうち、観察対象が写らないマスク部分、又は観察対象が写る領域の縁部等が挙げられる。図8に示すように、本明細書では、内視鏡画像83とは、ディスプレイ15に写る画像全体を示すものとし、観察対象部分83aとマスク部分83bとを含めた画像をいう。なお、図8において、観察対象部分83aは破線で囲むことにより示し、マスク部分83bは斜線を付すことにより示す。図7の場合において、識別情報81は、内視鏡画像のマスク部分83bの領域の一部が、ユーザが視認できる状態で、所定の画素値に変更されたものとなっている。
 図9に示すように、識別情報付与部61は、内視鏡画像の種類に応じて互いに異なる画素値を、内視鏡画像83の同様の位置の画素値と置き換えて変更することにより、変更した画素値を識別情報とする。図9(A)では、第1識別情報81aが付与され、図9(B)では、第2識別情報81bが付与される。したがって、図9(A)の識別情報付内視鏡画像82と、図9(B)の識別情報付内視鏡画像82とは、異なる種類の内視鏡画像であること、及び、それぞれの識別情報付内視鏡画像82の内視鏡画像の種類の特定が、画像データ以外のヘッダー部分等の情報、又は、例えば、中央制御部59又は光源用プロセッサ21から同期して送られる別の情報等によらずに、識別情報付内視鏡画像82の画像データのみから識別することができる。また、第1識別情報81aと第2識別情報81bとを、ユーザが識別できる異なる色等とすることにより、識別情報付内視鏡画像82をユーザがひと目見るだけで、内視鏡画像の種類を正しく把握することができる。
 なお、複数種類の内視鏡画像は、ディスプレイ15に表示するための表示用画像と、診断支援情報に関する解析を行うための解析用画像とを含むことが好ましい。表示用画像と解析用画像との内視鏡画像の種類として2種類の内視鏡画像が含まれることにより、例えば、ディスプレイ15に表示するのは表示用画像とし、画像解析を行うのは、ユーザが視認した場合には見ずらいが、機械学習等による画像解析の対象とした場合に、良好な解析結果が得られる種類の内視鏡画像とすることができる。この場合、解析用画像は、ディスプレイ15に表示しないようにすることができる。
 本実施形態では、診断支援観察モードにおいて、通常画像と第1画像との、照明光のスペクトルが異なり種類が異なる内視鏡画像の2種類が自動的に取得される。したがって、通常画像を表示用画像とし、第1画像を解析用画像とする。
 図10に示すように、本実施形態では、通常画像71を3フレーム取得した後に、第1画像72を1フレーム取得するパターンを繰り返す(図6参照)。識別情報付与部61は、取得する内視鏡画像のそれぞれに、識別情報81を付与して、識別情報付内視鏡画像82を生成する。したがって、識別情報付与部61により、通常画像71には、通常画像であることを識別するための第1識別情報81aが、内視鏡画像のマスク部分の所定の領域の画素が所定の画素値に変更されることにより付与され、第1識別情報付内視鏡画像82aが生成される。第1画像72には、第1画像であることを識別するための識別情報81bが同様に付与され、第2識別情報付内視鏡画像82bが生成される。なお、図10において、通常画像71は、通常画像71とディスプレイ15とで示し、通常画像71をディスプレイ15に表示することを示す。第1画像72はディスプレイ15に表示しないため、そのままで示す。また、図において、識別情報81の異なる網掛けは、異なる識別情報81であることを示す。
 なお、図10において、上記したように、通常画像71と第1画像72とは、人が見た場合に色合いが異なって見えるため、第1画像72に斜線を付すことにより、両者の内視鏡画像の見た目の違いを示す。また、識別情報付内視鏡画像82に付された識別情報81を拡大して示す。なお、図において、図が煩雑になるのを避けるため、一部のみに符号を付す場合がある。
 また、識別情報81は、2つ以上の情報を含んでもよい。例えば、識別情報81は、内視鏡画像の種類に加えて、撮影した順に関する情報を含んでも良い。図11に示すように、図10の場合と同様、通常画像71を3フレーム取得した後に、第1画像72を1フレーム取得するパターンを繰り返す(図6参照)。識別情報付与部61は、取得する内視鏡画像のそれぞれに、識別情報81を付与して、識別情報付内視鏡画像82を生成する。ここでは、識別情報付与部61により、通常画像71の最初のフレームには、通常画像であって1番目に撮影したことを識別するための第1識別情報81(A-1)が、内視鏡画像のマスク部分の所定の領域の画素が所定の画素値に変更されることにより付与され、第1識別情報付内視鏡画像82(A-1)が生成される。第1識別情報81(A-1)は、通常画像であって撮影した順が1番目であることを示す識別情報(A-1)を示す。
 通常画像71の次のフレームには、通常画像であって2番目に撮影したことを識別するための第1識別情報81(A-2)が、内視鏡画像のマスク部分の所定の領域の画素が所定の画素値に変更されることにより付与され、第1識別情報付内視鏡画像82(A-2)が生成される。第1識別情報81(A-2)は、通常画像であって撮影した順が2番目であることを示す識別情報(A-2)を示す。同様にして、図11では、第1識別情報81(A-3)から第1識別情報(A-7)までが付与された第1識別情報付内視鏡画像82が生成されることを示す。
 また、第1画像72の最初のフレームには、通常画像71と同様に、第1画像であって1番目に撮影したことを識別するための第2識別情報81(B-1)が、内視鏡画像のマスク部分の所定の領域の画素が所定の画素値に変更されることにより付与され、第2識別情報付内視鏡画像82(B-1)が生成される。第2識別情報81(B-1)は、第1画像であって撮影した順が1番目であることを示す識別情報(B-1)を示す。
 第1画像72の次のフレームには、第1画像であって2番目に撮影したことを識別するための第2識別情報81(B-2)が、内視鏡画像のマスク部分の所定の領域の画素が所定の画素値に変更されることにより付与され、第2識別情報付内視鏡画像82(B-2)が生成される。第2識別情報81(B-2)は、第1画像であって撮影した順が2番目であることを示す識別情報(B-2)を示す。図11では、第2識別情報81(B-1)から第2識別情報(B-2)までが付与された第2識別情報付内視鏡画像82が生成されることを示す。
 識別情報81が、内視鏡画像の種類に加え、撮影した順番に関する情報も含むことにより、内視鏡画像の画像データのみからこれらの情報を容易に得ることができるため好ましい。
 また、識別情報付与部61は、解析用画像に対し、解析用画像を構成するデータの一部を変更することにより識別情報とし、かつ、表示用画像に対し、解析用画像において識別情報としたデータに対応する部分の表示用画像を構成するデータを変更しないことにより識別情報としてもよい。同様に、表示用画像に対し、表示用画像を構成するデータの一部を変更することにより識別情報とし、かつ、解析用画像に対し、表示用画像において識別情報としたデータに対応する部分の解析用画像を構成するデータを変更しないことにより識別情報としてもよい。
 図12に示すように、解析用画像である第1画像72では、第1画像72を構成するデータの一部を変更することにより識別情報81bを付与して第2識別情報付内視鏡画像82bを生成し、表示用画像である通常画像71に、第1画像72において識別情報81bとしたデータに対応する部分の通常画像71を構成するデータを変更せずに識別情報81aとして第1識別情報付内視鏡画像82aを生成する。なお、図12において、識別情報81bは網掛けがなく示されているが、これは、識別情報付与部61により元の内視鏡画像を構成するデータに変更等が行われていないことを示す。次の図13においても同様である。
 図13に示すように、表示用画像である通常画像71では、通常画像71を構成するデータの一部を変更することにより識別情報81aを付与して第1識別情報付内視鏡画像82aを生成し、解析用画像である第1画像72に、通常画像71において識別情報81aとしたデータに対応する部分の第1画像72を構成するデータを変更せずに識別情報81bとした第2識別情報付内視鏡画像82bを生成する。
 上記のように、識別情報付与部61が、解析用画像又は表示用画像に識別情報81を付与する場合、表示用画像である通常画像と解析用画像である第1画像とを、画像を構成するデータの一部の変更の有無によって識別することができる。したがって、例えば、内視鏡画像の種類が2種類である場合は、1種類の内視鏡画像においてデータの一部を変更することで済み、識別情報81を付与する手間を抑えることができる。また、識別用画像のみにおいてデータの一部を変更することで識別情報81を付与する場合は、表示用画像の画像データは全く変更しない。したがって、表示用画像がディスプレイ15等に表示された場合、識別情報81がユーザの視認性に影響することが全くないため好ましい。
 識別情報付内視鏡画像82は、プロセッサ装置14から医療画像処理装置17へ送られる。医療画像処理装置17は、プロセッサ装置14から送信される識別情報付内視鏡画像82を受信し、識別情報付内視鏡画像82のディスプレイ15への表示を、識別情報付医療画像82の種類に基いて制御する。また、医療画像処理装置17は、識別情報付内視鏡画像82の種類に応じて、表示用処理又は解析処理を行う。解析処理の後、解析の結果を表示により示す解析結果画像をプロセッサ装置14に送信する。また、識別情報付内視鏡画像82に解析結果画像を重畳した重畳画像を生成し、重畳画像をディスプレイ15に表示する。
 医療画像処理装置17はプロセッサを備えた汎用のPCであり、ソフトウエアをインストールすることにより各種機能を発揮する。医療画像処理装置17にも、プロセッサ装置14と同様に、画像解析処理などの処理に関するプログラムがプログラム用メモリに格納されている。医療画像処理装置17においては、第2プロセッサである画像用プロセッサ等によって構成される中央制御部により、プログラム用メモリ内のプログラムが動作することによって、識別情報付医療画像取得部91と、識別情報付医療画像認識部92と、識別情報付医療画像処理部93と、表示制御部94(図14参照)との機能が実現される。識別情報付医療画像処理部93は、表示画像処理部95と、画像解析部96と、解析結果作成部97と、画像重畳部98と、フレームレート変換部99とを備え(図14参照)、これらの機能も同様に、画像用プロセッサによって構成される中央制御部により、プログラム用メモリ内のプログラムが動作することによって実現される。また、中央制御部は、プロセッサ装置14等からの情報を受信し、受信した情報に基いて、医療画像処理装置17の各部の制御を行う。また、キーボード(図示せず)等のユーザインタフェースと接続し、ユーザインターフェースからの指示などの情報も受信する。
 また、医療画像処理装置17は、ディスプレイ15と接続され、医療画像処理装置17が生成した各種画像の表示を行う。医療画像処理装置17には、各種機器が接続されていてもよい。各種機器としては、例えば、指示等を行うキーボード等のユーザインターフェース、画像等のデータを保存するストレージ等が挙げられる。
 図14に示すように、医療画像処理装置17は、識別情報付医療画像取得部91と、識別情報付医療画像認識部92と、識別情報付医療画像処理部93と、表示制御部94とを備える。識別情報付医療画像取得部91は、プロセッサ装置14から送られる複数種類の識別情報付内視鏡画像82を取得する。取得した画像は、識別情報付医療画像認識部92に送る。識別情報付内視鏡画像82では、内視鏡画像を構成するデータの一部が識別情報81とされている。識別情報付医療画像認識部92は、識別情報付内視鏡画像82に付与された識別情報81に基づき、識別情報付内視鏡画像82の種類を認識する。識別情報付医療画像処理部93は、識別情報付内視鏡画像82の種類に基づき、ディスプレイ15への表示を制御し、また、識別情報付内視鏡画像82の種類毎に設定された画像処理を識別情報付内視鏡画像82に行う。
 識別情報付医療画像認識部92は、識別情報付内視鏡画像82の識別情報により、識別情報付内視鏡画像82の種類を認識する。識別情報付内視鏡画像82の種類とは、識別情報付内視鏡画像82のもととなった内視鏡画像の種類と同じである。認識は識別情報81の内容に基づいて行われる。識別情報付医療画像認識部92は、予め、識別情報81の内容と内視鏡画像の種類とが対応する対応情報を備える。対応情報と識別情報付内視鏡画像82が有する識別情報81の内容とにより、この識別情報付内視鏡画像82がどの種類の内視鏡画像であるのかを識別する。なお、識別情報81及び識別情報81の内容等については、プロセッサ装置14において識別情報付与部61が付与した識別情報81と同様であり、上記にて説明したとおりである。
 図14に示すように、識別情報付医療画像処理部93は、表示画像処理部95、画像解析部96、解析結果作成部97、画像重畳部98、及びフレームレート変換部99とを備える。
 識別情報付医療画像処理部93が行う画像処理は、表示用画像処理と解析用画像処理とを含む。複数種類の識別情報付内視鏡画像82は、ディスプレイ15に表示するための表示用画像と、診断支援情報に関する解析を行うための解析用画像とを含むことが好ましい。また、識別情報付医療画像処理部93は、識別情報付内視鏡画像82が表示用画像である場合、表示用画像に対して表示用画像処理を行い、かつ、識別情報付内視鏡画像82が解析用画像である場合、解析用画像に対して解析用画像処理を行うことが好ましい。
 識別情報付内視鏡画像82の種類が、ディスプレイ15に表示するための内視鏡画像の種類である表示用画像である場合、この画像に対し、表示画像処理部95が表示用画像処理を行う。表示用画像処理は、識別情報付内視鏡画像82の種類毎に異なることが好ましい。表示画像処理部95が行う表示用画像処理により、ディスプレイ15の表示に適した画像を生成する。
 識別情報付内視鏡画像82の種類が、診断支援情報に関する解析を行うための内視鏡画像の種類である解析用画像である場合、この画像に対し、画像解析部96が解析用画像処理を行う。解析用画像処理は、識別情報付内視鏡画像82の種類毎に異なることが好ましく、また、解析の内容毎に異なることが好ましい。画像解析部96が行う画像解析処理により、診断支援情報を得ることができる。診断支援情報は、これを示した解析結果画像等によりユーザに提示する。
 図15に示すように、具体的には、本実施形態では、表示用画像は通常画像71であり、解析用画像は第1画像72であるので、識別情報付内視鏡画像82は、通常画像71に識別情報81aが付与された第1識別情報付内視鏡画像82aと、第1画像72に識別情報81bが付与された第2識別情報付内視鏡画像82bとの2種類である。これらの識別情報付内視鏡画像82は、識別情報付医療画像認識部92において、識別情報81が読み取られ、内視鏡画像の種類が特定される。なお、識別情報又は識別情報付内視鏡画像において種類を区別しない場合は、例えば、識別情報81又は識別情報付内視鏡画像82等という。
 識別情報付内視鏡画像82のそれぞれにおいて種類が特定されたのち、第1識別情報付内視鏡画像82aと第2識別情報付内視鏡画像82bとは、それぞれ別のフローにより処理が進められる。
 第1識別情報付内視鏡画像82aは、表示画像処理部95と画像解析部96に送られる。表示画像処理部95において、ディスプレイ15に表示するための画像処理を行う。画像解析部96では、必要な場合に第1識別情報付内視鏡画像82aを対象とする解析が行われる。第2識別情報付内視鏡画像82bは、表示画像処理部95と画像解析部96に送られる。第2識別情報付内視鏡画像82bをディスプレイに表示する場合は、表示画像処理部95において、第2識別情報付内視鏡画像82bをディスプレイ15に表示するための画像処理を行う。画像解析部96では、必要な場合に第2識別情報付内視鏡画像82bを対象とする解析が行われる。なお、図15において、第1識別情報付内視鏡画像82aと第2識別情報付内視鏡画像82bとの流れを区別するために、第2識別情報付内視鏡画像82bの流れを一点鎖線で示す。
 本実施形態では、識別情報付医療画像処理部93は、第1識別情報付内視鏡画像82aが表示用画像であるため、表示画像処理部95において表示用画像処理を行い、画像解析は行わず、第2識別情報付内視鏡画像82bが解析用画像であるため、画像解析部96において解析用画像処理を行い、第2識別情報付内視鏡画像82bをディスプレイ15に表示しないため、表示用画像処理は行わない。
 画像解析部96は、識別情報付内視鏡画像82を対象として、コンピュータ支援診断(CAD、computer-aided diagnosis)のための解析用画像処理を行う。解析用画像処理は、公知の解析用画像処理を行うことができる。内視鏡画像に基づく解析用画像処理により、酸素飽和度等の各種特徴量、血管位置もしくは病変位置等の検知、又は病変のステージの推定等の診断支援情報が出力される。
 画像解析部96は、解析用画像処理を機械学習による解析モデルを用いて行うことが好ましい。機械学習による解析モデルは、画像解析において良好な結果を出力する畳み込みニューラルネットワークを用いるものであることが好ましい。また、解析モデルは、識別情報付内視鏡画像82の種類毎に異なることが好ましい。識別情報付内視鏡画像82の種類毎に、良好な結果を出力できる解析用画像処理の内容が異なるためである。同様の理由で、解析モデルは、解析の内容毎に異なることが好ましい。したがって、画像解析部96は、複数の解析モデルを備え、内視鏡画像の種類に応じて、適切な解析モデルを用いることが好ましい。また、複数の解析モデルは、解析結果として異なる診断支援情報を生成することが好ましい。
 本実施形態において画像解析部96による解析用画像処理は、第2識別情報付内視鏡画像82bに対して行われる。第2識別情報付内視鏡画像82bは、第1画像72であるため、表層結果等が強調されており、腫瘍性のポリープと非腫瘍性のポリープとを鑑別する解析モデルにより良好な結果が得られる。したがって、画像解析部96は、第2識別情報付内視鏡画像82bを腫瘍性のポリープを検出する解析モデルにより解析し、解析結果を生成する。なお、この解析モデルは、腫瘍性のポリープと非腫瘍性のポリープとを鑑別するものであり、非腫瘍性のポリープがあっても、腫瘍性のポリープでなければユーザに通知又は警告をしないものとなっている。
 識別情報付医療画像処理部93は、解析用画像処理の結果を示す解析結果画像を作成し、表示用画像に解析結果画像を重畳して解析画像を生成することが好ましい。具体的には、解析結果作成部97が、画像解析部96による解析結果を取得し、画像解析部96による解析結果をユーザに通知できる形態のもの、例えば、音、又は画像等の形態で解析結果を作成することができる。本実施形態では、腫瘍性のポリープがあるか否かについて、内視鏡画像のうち、観察対象が写る領域の縁部に表示する枠及び枠の色により、ディスプレイ15に表示してユーザに通知する。腫瘍性のポリープがあった場合は、赤い枠により、腫瘍性のポリープがない場合は、緑の枠を表示する。本実施形態では、腫瘍性のポリープが検出されないため、解析結果作成部97は、解析結果として、観察対象が写る領域の縁部に表示する緑の枠の解析結果画像101を生成する。
 画像重畳部98は、表示画像処理部95から、解析結果画像101を重畳する内視鏡画像を取得する。解析結果画像101が重畳される内視鏡画像は、表示用画像であることが好ましいため、第1識別情報付内視鏡画像82aに表示用処理を行った通常画像71とする。また、解析結果作成部97から解析結果画像101を取得する。そして、表示画像処理部95から取得した通常画像71に、解析結果画像101を重畳した、重畳画像102を生成する。生成した重畳画像102は、表示制御部94に送信する。
 表示制御部94は、表示画像処理部95及び画像重畳部98から3種類の画像を取得し、ディスプレイ15に表示するための制御を行う。表示画像処理部95からは、第1識別情報付内視鏡画像82aに基づく通常画像71、及び、第2識別情報付内視鏡画像82bに基づく第1画像72を取得する。画像重畳部98からは、重畳画像102を取得する。したがって、表示制御部94は、指示に応じて、通常画像71、第1画像72、及び/又は重畳画像102をディスプレイ15に表示する制御を行う。以上により、医療画像処理装置17をディスプレイ15に接続することにより、これらの画像の一つ又は複数を、予め設定したレイアウトで表示することができる。
 また、解析結果作成部97が作成した解析結果画像101は、プロセッサ装置14に送っても良い。これにより、プロセッサ装置14において、解析結果画像101を各種内視鏡画像に重畳することができる。また、重畳した画像は、プロセッサ装置14に接続するディスプレイ15に表示することもできる。このように、解析結果画像101をプロセッサ装置14に送ることにより、解析結果画像の利用可能性が高まるため望ましい。
 なお、上記実施形態では、解析用画像である第1画像72はディスプレイ15に表示しない場合について説明したが、解析用画像の種類によっては、これをディスプレイ15に表示させてもよい。表示させる解析用画像は、内視鏡画像の診断学が確立し、観察可能な種類の内視鏡画像である解析用画像が好ましい。例えば、第1画像72のような青色狭帯光を用いた特殊光観察による内視鏡画像等である解析用画像は、これを用いた診断学が確立しており、医師が見ることにより診断に役立つため、ディスプレイ15に表示する。表示することが好ましい種類の解析用画像としては、青色狭帯光を用いた解析用画像、色彩強調処理または構造強調処理を行った内視鏡画像、または、酸素飽和度等の生体情報を表示する解析用画像が挙げられる。
 一方、解析用画像として、その種類の内視鏡画像を用いた診断学が確立しておらず、観察が難しい解析用画像は、ディスプレイ15に表示しなくてもよい。例えば、紫色光Vのみを照明光とした内視鏡画像等は、酸素飽和度等の解析に役立つ解析用画像ではあるが、ディスプレイ15に表示しても診断に役立たない場合がある。したがって、識別情報付医療画像処理部93は、識別情報付内視鏡画像82のディスプレイ15への表示を、識別情報付内視鏡画像82の種類に基いて制御してもよい。
 解析用画像をディスプレイ15に表示する場合、例えば、ディスプレイ15のサブ画面に表示することが好ましい。この場合、ディスプレイ15はメイン画面とサブ画面とを有する。したがって、識別情報付医療画像処理部93は、表示画像をディスプレイ15のメイン画面に表示する。さらに、識別情報付内視鏡画像82の種類に基いて解析用画像をディスプレイ15のサブ画面の表示するか否かを決定し、表示すると決定した識別情報付内視鏡画像82をディスプレイ15のサブ画面に表示することが好ましい。
 図16に示すように、本実施形態では、ディスプレイ15が1つのメイン画面201と第1サブ画面202と第2サブ画面203との2つのサブ画面を有する。また、ディスプレイ15は、患者情報を表示する患者情報表示画面204を有する。メイン画面201には、表示用画像である通常画像71を表示する。第1サブ画面202には、例えば、解析結果作成部97が作成した解析結果画像101を表示する。なお、図16では、解析結果画像は、解析結果である注目領域の鑑別結果をマップ形式で表示した画像である。マップ形式で表示される鑑別結果は、例えば、マップにおいて注目領域の色により鑑別結果を区別して示す。また、第1サブ画面202は、解析結果をテキストにより表示する解析結果テキスト表示画面205を有する。解析結果テキスト表示画面205では、例えば、「NON-NEOPLASTIC」又は「HYPERPLASTIC」等の表示により、解析結果をテキストで示す。
 第2サブ画面203には、例えば、解析用画像のうち、解析結果作成部97が解析結果画像101を作成するために用いた内視鏡画像を表示する。本実施形態では、第2サブ画面203には、解析用画像である第1画像72を表示する。第1画像72の種類は、青色狭帯光を用いた特殊光観察による内視鏡画像であるため、第2サブ画面203に表示することにより、医師等の診断に役立つ。
 図17に示すように、ディスプレイ15がサブ画面を有する場合、解析用画像の種類によっては、解析用画像を第2サブ画面203に表示しない。また、図18に示すように、第2サブ画面203に解析用画像を表示しない場合、メイン画面201に表示している表示用画像の被写体について、過去に取得した内視鏡画像である過去画像205を表示してもよい。同じ被写体において、過去と現在との比較を行うことにより、診断等に役立つ場合があるからである。
 以上のように、プロセッサ装置14と医療画像処理装置17とによる医療画像処理システム18では、医療画像処理装置17の識別情報付医療画像取得部91が、プロセッサ装置14の識別情報付与部61が生成した識別情報付内視鏡画像82を取得する。識別情報付内視鏡画像82は、内視鏡画像を構成するデータの一部を内視鏡画像の種類を示す識別情報81とすることにより生成する。したがって、内視鏡画像の種類の識別が容易である。例えば、内視鏡画像の種類が内視鏡画像自体のデータに含まれるため、汎用PCにおいて容易に識別することが可能である。また、内視鏡画像の種類により、CAD等において異なる画像処理を行う場合、自動で内視鏡画像の種類の識別と内視鏡画像の種類に対応した画像処理とが、連続して自動で行わせることができる。したがって、取得する内視鏡画像の種類とその画像処理とを、観察モード毎に設定している場合は、特定の内視鏡画像の種類の取得とその画像処理とを手動で切り替える場合と比べて、ユーザの負担が減る。
 プロセッサ装置14、医療画像処理装置17、及び医療画像処理システム18は、IEEにおいて、自動で照明光の種類を切り替える場合に有用である。すなわち、照明光のスペクトルの違いを撮影条件として、内視鏡画像の種類と対応させた場合、照明光の種類を自動で切り替える設定とすることにより、自動で複数の表示用画像及び診断支援情報を得ることができる。また、プロセッサ装置14と医療画像処理装置17との複数の機器により、表示画像の処理、及び、解析結果の処理を行うことができるため、ディスプレイ15に表示するために好ましい態様、又は、カルテもしくは検査レポートの作成のために好ましい態様等に、自由度が高く、画像の作成又は加工を行うことができる。
 また、識別情報付内視鏡画像82が複数種類の識別情報81を含む場合は、照明光のスペクトル等の内視鏡画像の種類に加え、その他の情報も得ることができる。その他の情報としては、例えば、撮影順序の情報が挙げられる。
 なお、プロセッサ装置14と医療画像処理装置17とは、内視鏡画像のフレームレートを調整するフレームレート変換部62又は99を備えることが好ましい。プロセッサ装置14において、フレームレート変換部62は、医療画像処理装置17に画像を送るため、又は、表示用画像等の画像をディスプレイ15に表示するために、送信する画像のフレームレートを調整する。医療画像処理装置17においても同様に、フレームレート変換部99は、必要がある場合は、送信の際に送信する画像のフレームレートを調整し、表示用画像等の画像をディスプレイ15に表示するために、送信する画像のフレームレートを調整する。
 プロセッサ装置14から医療画像処理装置17に表示用画像及び解析用画像を含む識別情報付内視鏡画像82を送信する際に、表示用画像及び解析用画像を取得したフレームを、それぞれ、表示用画像及び解析用画像で補完することにより調整し、医療画像処理装置17の処理に適したフレームレートで識別情報付内視鏡画像82を送信することが好ましい。表示用画像及び解析用画像で補完する場合、例えば、表示用画像及び解析用画像を取得したフレームを複製した補完フレーム画像を作成し、この補完フレーム画像を表示用画像又は解析用画像として用いることができる。
 プロセッサ装置14におけるフレームレート変換部62は、表示用画像のフレームと解析用画像とに対し補完フレーム画像73を作成する。通常画像71から生成した第1識別情報付内視鏡画像82aと第1画像72から生成した第2識別情報付内視鏡画像82bと、第1識別情報付内視鏡画像82a及び第2識別情報付内視鏡画像82bから複製した補完フレーム画像73とを合わせて、1秒に60フレーム(60fps、frames per second)となるようにした上で医療画像処理装置17に送る。これにより、医療画像処理装置17において、一定に調整されたフレームレートの映像を取得することができる。
 図19に示すように、例えば、プロセッサ装置14において、表示用画像である第1識別情報付内視鏡画像82aを1秒に30fps取得し、解析用画像である第2識別情報付内視鏡画像82bを1秒に15fpsで取得する。第2識別情報付内視鏡画像82bには斜線を付す。フレームレート変換部62は、第1識別情報付内視鏡画像82aと第2識別情報付内視鏡画像82bと補完フレーム画像73とを合わせて60fpsとするために、補完フレーム画像73の15fpsのうち、10fpsを第1識別情報付内視鏡画像82aから、5fpsを第2識別情報付内視鏡画像82bから複製して、補完フレーム画像73とする。すなわち、第1識別情報付内視鏡画像82aの30fpsにおいて、3つのフレームに対して1つのフレームを複製し10fps分の補完フレーム画像73とする。同様に、第2識別情報付内視鏡画像82bの15fpsにおいて、5つのフレームに対して1つのフレームを複製し、5fps分の補完フレーム画像73とする。なお、補完フレーム画像73は点線で示す。複製する場合は、複製するタイミングの一つ前のフレームの画像を複製することができる。このようにして、第1識別情報付内視鏡画像82aを30fpsで取得し、第2識別情報付内視鏡画像82bを15fpsで取得した場合に、フレームレート変換部62により、補完フレーム画像73を15fps追加して60fpsとすることができる。
 プロセッサ装置14においては、画像取得部51が表示用画像と解析用画像とを取得し、解析用画像はディスプレイ15に表示しない場合は、解析用画像を取得したフレームを、表示用画像で補完することにより、視認しやすい内視鏡画像を表示することができる。医療画像処理装置17においても同様であり、ディスプレイ15に表示したい画像において、フレームレートを調整することが好ましい。
 図20に示すように、例えば、プロセッサ装置14において、表示用画像である第1識別情報付内視鏡画像82aを1秒に39フレーム(39fps)取得し、解析用画像である第2識別情報付内視鏡画像82bを1秒に13フレーム(13fps)で取得する。解析用画像をディスプレイに15に表示しない場合は、フレームレート変換部62は、表示用画像のフレームを、すべてのフレームのそれぞれにおいて補完フレーム画像73を作成し、第1識別情報付内視鏡画像82aと補完フレーム画像73とを合わせて1秒に60フレーム(60fps)でディスプレイ15に表示する。これにより、ディスプレイ15に表示された画像において視認性を良好とすることができる。なお、医療画像処理装置17におけるフレームレート変換部99も同様に機能する。
 なお、画像処理部56において、識別情報付与部61と、フレームレート変換部62とにおいて、フレームレート変換部62によるフレームレート変換を行ってから、識別情報付与部61において、識別情報81を付与してもよい。この場合、フレームレート変換部62により補完フレーム画像73を生成してから、識別情報付与部61において、識別情報81を付与する。
 識別情報81は、補完フレーム画像73に付与してもよい。図21に示すように、この場合、補完フレーム画像73に、補完フレーム画像73であることを示す識別情報81cを付与することにより、第3識別情報付内視鏡画像82cを生成する。識別情報81cは、内視鏡画像の種類を示す識別情報と互いに異なるものとすることができる。これにより、医療画像処理装置17において、補完フレーム画像73であることが画像データにより容易に把握できる。
 また、識別情報81cは、複製元の内視鏡画像の種類に関する情報を含むことができる。図22に示すように、通常画像71を複製した補完フレーム画像73の場合は、識別情報81(C-1)を付与した第3識別情報付内視鏡画像82(C-1)を生成し、第1画像72を複製した補完フレーム画像73の場合は、識別情報81(C-2)を付与した第3識別情報付内視鏡画像82(C-2)を生成してもよい。これにより、医療画像処理装置17において、補完フレーム画像73であることに加え、補完フレーム画像73の複製元がなにであるかの画像データにより容易に把握できる。
 また、識別情報81cは、複製元の内視鏡画像の種類に関する情報に加え、撮影順序に関する情報を含むことができる。図23に示すように、通常画像71であって、3番目に撮影された画像を元にして第1識別情報付内視鏡画像82(A-3)が生成され、この通常画像71を複製した補完フレーム画像73では、識別情報81(A3-C1)を付与した第3識別情報付内視鏡画像82(A3-C1)を生成する。同様に、第1画像72であって、n番目に撮影された画像を元にして第2識別情報付内視鏡画像82(B-n)が生成され、この第1画像72を複製した補完フレーム画像73は、m番目の補完フレーム画像73であり、識別情報81(Bn-Cm)を付与した第3識別情報付内視鏡画像82(Bn-Cm)を生成する。これにより、医療画像処理装置17において、補完フレーム画像73であることに加え、補完フレーム画像73の複製元がなにであるか、及び、撮影順序についても、画像データにより容易に把握できる。
 医療画像処理装置17においては、補完フレーム画像73を識別することができるため、補完フレーム画像73を内視鏡画像の種類の1つとすることができる。したがって、医療画像処理装置17は、補完フレーム画像73に対応した画像処理方法を行うことができる。補完フレーム画像73に対する画像処理方法としては、例えば、補完フレーム画像73の元画像と同じ種類の内視鏡画像に対する画像処理を行う、又は、補完フレーム画像73に対しては画像処理を行なわないようにする、等の方法が挙げられる。
 また、フレームレート変換部62の調整により、高いフレームレートに設定された場合等に、第1識別情報付内視鏡画像82a、第2識別情報付内視鏡画像82b、又は補完フレーム画像73である第3識別情報付内視鏡画像82cを識別し、第3識別情報付内視鏡画像82cが一定の割合以上ある場合に、画像処理速度等の観点から、第1識別情報付内視鏡画像82a又は第2識別情報付内視鏡画像82bに対する画像処理において、画像処理を行う速度を調整するようにしてもよい。このように、補完フレーム画像73にも識別情報81cを付与することにより、医療画像処理装置17において、フレームレートの情報を取得することなく、画像データのみの情報により、フレームレートの情報も把握することができ、画像処理の速度の調整等に活用することができる。
 次に、内視鏡画像の種類の判別の一連の流れについて、図24に示すフローチャートに沿って説明を行う。内視鏡を用いて観察対象を撮影する。表示用画像である通常画像71と、解析用画像である第1画像72とを、それぞれ予め設定したフレームのパターンで取得する(ステップST110)。なお、ディスプレイ15には、通常画像71がフレームレートを調整されたうえで表示される。プロセッサ装置14において、識別情報付与部61が、それぞれの通常画像71及び第1画像72とに、識別情報81を付与する(ステップST120)。
 識別情報81が付与された第1識別情報付内視鏡画像82a及び第2識別情報付内視鏡画像82bが、医療画像処理装置17の識別情報付医療画像取得部91により取得される(ステップST130)。表示用画像である第1識別情報付内視鏡画像82aには、表示画像処理部95において、表示画像用画像処理が行われる。解析用画像である第2識別情報付内視鏡画像82bには、画像解析部96において、診断支援情報を得るための画像解析が、機械学習による解析モデルを用いて行われる(ステップST140)。解析結果作成部97は、画像解析の結果を表示により示す解析結果画像101を生成する。画像重畳部98が、表示用画像処理が行われた第1識別情報付内視鏡画像82aである通常画像71に、解析結果画像101を重畳して、重畳画像102を生成する(ステップST150)。重畳画像102がディスプレイ15に表示される(ステップST160)。
 なお、上記実施形態では、内視鏡画像の処理を行う場合に対して本発明の適用を行っているが、内視鏡画像以外の医療画像を処理するプロセッサ装置、医療画像処理装置、又は医療画像処理システム等に対しても本発明の適用は可能である。
 この他、図25に示すように、内視鏡システム10のうち、画像処理部56及び/又は中央制御部59の一部又は全部は、例えばプロセッサ装置14と通信して内視鏡システム10と連携する診断支援装置610に設けることができる。同様に、内視鏡システム10のうち、医療画像処理装置17の一部又は全部は、例えば医療画像処理装置17と通信して内視鏡システム10と連携する診断支援装置610に設けることができる。
 また、図25に示すように、内視鏡システム10のうち画像処理部56及び/又は中央制御部59の一部又は全部は、例えば内視鏡システム10から直接的に、または、PACS(Picture Archiving and Communication Systems)22から間接的に、内視鏡12で撮像した画像を取得する診断支援装置610に設けることができる。同様に、内視鏡システム10のうち医療画像処理装置17の一部又は全部は、例えば内視鏡システム10から直接的に、または、PACS(Picture Archiving and Communication Systems)22から間接的に、内視鏡12で撮像した画像を取得する診断支援装置610に設けることができる。
 また、図26に示すように、内視鏡システム10を含む、第1検査装置621、第2検査装置622、・・・、第N検査装置623等の各種検査装置と、ネットワーク626を介して接続する医療業務支援装置630に、内視鏡システム10のうち画像処理部56及び/又は中央制御部59の一部又は全部、又は、医療画像処理装置17の一部または全部を設けることができる。
 上記実施形態において、光源用プロセッサ、及び、第1プロセッサ及び第2プロセッサである画像用プロセッサ、並びに、プロセッサ装置14に含まれる中央制御部59、画像取得部51、DSP52、ノイズ低減部53、メモリ54、信号処理部55、画像処理部56、表示制御部57、及び映像信号生成部58、医療画像処理装置に含まれる識別情報付医療画像取得部91、識別情報付医療画像認識部92、識別情報付医療画像処理部93、及び表示制御部94といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f ズーム操作部
12g モード切替スイッチ
13 光源装置
14 プロセッサ装置
15 ディスプレイ
16 キーボード
17 医療画像処理装置
18 医療画像処理システム
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源用プロセッサ
22 PACS
30a 照明光学系
30b 撮像光学系
41 ライトガイド
42 照明レンズ
43 対物レンズ
44 ズームレンズ
45 撮像センサ
46 CDS/AGC回路
47 A/Dコンバータ
51 画像取得部
52 DSP
53 ノイズ低減部
54 メモリ
55 信号処理部
56 画像処理部
57、94 表示制御部
58 映像信号生成部
59 中央制御部
61 識別情報付与部
62、99 フレームレート変換部
71 通常画像
72 第1画像
73 補完フレーム画像
81 識別情報
81a 第1識別情報
81b 第2識別情報
82 識別情報付内視鏡画像
82a 第1識別情報付内視鏡画像
82b 第2識別情報付内視鏡画像
83 内視鏡画像
83a 観察対象部分
83b マスク部分
91 識別情報付医療画像取得部
92 識別情報付医療画像認識部
93 識別情報付医療画像処理部
95 表示画像処理部
96 画像解析部
97 解析結果作成部
98 画像重畳部
101 解析結果画像
102 重畳画像
201 メイン画面
202 第1サブ画面
203 第2サブ画面
204 患者情報表示画面
205 解析結果テキスト表示画面
206 過去画像
610 診断支援装置
621 第1検査装置
622 第2検査装置
623 第N検査装置
626 ネットワーク
630 医療業務支援装置
ST110~ST160 ステップ
 

Claims (20)

  1.  第1プロセッサを備えるプロセッサ装置であって、
     前記第1プロセッサは、
     撮影条件が異なる複数種類の医療画像を取得し、
     前記医療画像の種類に応じて、前記医療画像を構成するデータの一部を変更する、又は、前記医療画像の少なくとも1つの種類では変更し、かつ、前記医療画像の別の種類では変更しないことにより、前記医療画像を構成するデータの一部を前記医療画像の種類を示す識別情報とした識別情報付医療画像を生成するプロセッサ装置。
  2.  前記医療画像を構成するデータは、前記医療画像の予め設定した領域を構成するデータである請求項1に記載のプロセッサ装置。
  3.  前記医療画像を構成するデータは、画素値である請求項1又は2に記載のプロセッサ装置。
  4.  複数種類の前記医療画像は、ディスプレイに表示するための表示用画像と、診断情報に関する解析を行うための解析用画像とを含む請求項1又は2のいずれか1項に記載のプロセッサ装置。
  5.  前記第1プロセッサは、前記解析用画像に対し、前記解析用画像を構成するデータの一部を変更することにより前記識別情報とし、かつ、前記表示用画像に対し、前記解析用画像において前記識別情報としたデータに対応する部分の前記表示用画像を構成するデータを変更せずに前記識別情報とする請求項4に記載のプロセッサ装置。
  6.  前記第1プロセッサは、前記表示用画像に対し、前記表示用画像を構成するデータの一部を変更することにより前記識別情報とし、かつ、前記解析用画像に対し、前記表示用画像において前記識別情報としたデータに対応する部分の前記解析用画像を構成するデータを変更せずに前記識別情報とする請求項4に記載のプロセッサ装置。
  7.  前記撮影条件は、照明光のスペクトルである請求項又は2に記載のプロセッサ装置。
  8.  第2プロセッサを備える医療画像処理装置であって、
     前記第2プロセッサは、
     医療画像を構成するデータの一部が識別情報とされている複数種類の識別情報付医療画像を取得し、
     前記識別情報に基づき、前記識別情報付医療画像の種類を認識し、
     前記識別情報付医療画像のディスプレイへの表示を、前記識別情報付医療画像の種類に基いて制御する医療画像処理装置。
  9.  複数種類の前記識別情報付医療画像は、前記ディスプレイに表示するための表示用画像と、診断情報に関する解析を行うための解析用画像とを含む請求項8に記載の医療画像処理装置。
  10.  前記第2プロセッサは、前記表示画像を前記ディスプレイのメイン画面に表示し、かつ、前記識別情報付医療画像の種類に基いて前記解析用画像を前記ディスプレイのサブ画面に表示するか否かを決定し、表示すると決定した前記識別情報付医療画像を前記ディスプレイのサブ画面に表示する請求項9に記載の医療画像処理装置。
  11.  前記第2プロセッサは、前記識別情報付医療画像の種類に基づいて、前記識別情報付医療画像の種類毎に設定された画像処理を前記識別情報付医療画像に行う請求項8又は9に記載の医療画像処理装置。
  12.  前記第2プロセッサは、前記識別情報付医療画像が前記表示用画像である場合、前記表示用画像に対して表示用画像処理を行い、かつ、前記識別情報付医療画像が前記解析用画像である場合、前記解析用画像に対して解析用画像処理を行う請求項9に記載の医療画像処理装置。
  13.  前記第2プロセッサは、前記解析用画像処理を機械学習による解析モデルを用いて行う請求項12に記載の医療画像処理装置。
  14.  前記第2プロセッサは、前記解析用画像処理の結果を示す解析結果画像を作成し、前記表示用画像に前記解析結果画像を重畳して重畳画像を生成する請求項12又は13に記載の医療画像処理装置。
  15.  請求項1又は2に記載のプロセッサ装置と、
     請求項8ないし10のいずれか1項に記載の医療画像処理装置とを含み、
     前記第2プロセッサは、前記第1プロセッサが生成した複数種類の前記識別情報付医療画像を取得する医療画像処理システム。
  16.  請求項1又は2のいずれか1項に記載のプロセッサ装置と、
     請求項14に記載の医療画像処理装置とを含み、
     前記プロセッサ装置は、前記第2プロセッサが作成した前記解析用画像処理の結果を示す前記解析結果画像を取得する医療画像処理システム。
  17.  前記プロセッサ装置は、前記表示用画像に前記解析結果画像を重畳する請求項16に記載の医療画像処理システム。
  18.  前記プロセッサ装置は、前記識別情報付医療画像のフレームレートを調整し、
     前記医療画像処理装置は、フレームレートが調整された前記識別情報付医療画像を取得する請求項15に記載の医療画像処理システム。
  19.  前記プロセッサ装置又は前記医療画像処理装置は、ディスプレイに表示するための画像のフレームレートを調整する請求項15に記載の医療画像処理システム。
  20.  互いに異なる波長帯域の光を発する複数の光源と、
     複数の前記光源が発する照明光により照明された被写体を撮影する内視鏡と、
     請求項15に記載の医療画像処理システムとを含み、
     前記プロセッサ装置は、複数の前記光源の光強度比の組み合わせが互いに異なる複数種類の前記照明光のそれぞれを発する制御を行う光源用プロセッサを備える内視鏡システム。
     
     
PCT/JP2022/014916 2021-03-31 2022-03-28 プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム WO2022210508A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023511241A JPWO2022210508A1 (ja) 2021-03-31 2022-03-28
CN202280025237.8A CN117119942A (zh) 2021-03-31 2022-03-28 处理器装置、医疗图像处理装置、医疗图像处理系统及内窥镜系统
US18/474,251 US20240013392A1 (en) 2021-03-31 2023-09-26 Processor device, medical image processing device, medical image processing system, and endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021061946 2021-03-31
JP2021-061946 2021-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/474,251 Continuation US20240013392A1 (en) 2021-03-31 2023-09-26 Processor device, medical image processing device, medical image processing system, and endoscope system

Publications (1)

Publication Number Publication Date
WO2022210508A1 true WO2022210508A1 (ja) 2022-10-06

Family

ID=83456292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014916 WO2022210508A1 (ja) 2021-03-31 2022-03-28 プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム

Country Status (4)

Country Link
US (1) US20240013392A1 (ja)
JP (1) JPWO2022210508A1 (ja)
CN (1) CN117119942A (ja)
WO (1) WO2022210508A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017060806A (ja) * 2016-11-17 2017-03-30 Hoya株式会社 画像処理装置及び内視鏡装置
WO2019130964A1 (ja) * 2017-12-28 2019-07-04 富士フイルム株式会社 内視鏡画像取得システム及び方法
WO2020017213A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム
JP2020065685A (ja) * 2018-10-24 2020-04-30 富士フイルム株式会社 内視鏡システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017060806A (ja) * 2016-11-17 2017-03-30 Hoya株式会社 画像処理装置及び内視鏡装置
WO2019130964A1 (ja) * 2017-12-28 2019-07-04 富士フイルム株式会社 内視鏡画像取得システム及び方法
WO2020017213A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム
JP2020065685A (ja) * 2018-10-24 2020-04-30 富士フイルム株式会社 内視鏡システム

Also Published As

Publication number Publication date
US20240013392A1 (en) 2024-01-11
JPWO2022210508A1 (ja) 2022-10-06
CN117119942A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN110325100B (zh) 内窥镜系统及其操作方法
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
CN107847117B (zh) 图像处理装置及图像处理方法
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP2023076644A (ja) 内視鏡システム
JP2020065685A (ja) 内視鏡システム
JP6054806B2 (ja) 画像処理装置及び内視鏡システムの作動方法
WO2014132741A1 (ja) 画像処理装置及び内視鏡システムの作動方法
US11627864B2 (en) Medical image processing apparatus, endoscope system, and method for emphasizing region of interest
US20230141302A1 (en) Image analysis processing apparatus, endoscope system, operation method of image analysis processing apparatus, and non-transitory computer readable medium
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
WO2022210508A1 (ja) プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム
JP7214886B2 (ja) 画像処理装置及びその作動方法
JP6285373B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
CN116322465A (zh) 图像处理装置、内窥镜系统、图像处理装置的工作方法及图像处理装置用程序
WO2022249817A1 (ja) 医療画像処理装置及び内視鏡システム
CN114269221A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
WO2022009478A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
WO2021176890A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
JP7411515B2 (ja) 内視鏡システム及びその作動方法
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2021182048A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法
WO2021172131A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法
WO2023007896A1 (ja) 内視鏡システム、プロセッサ装置及びその作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22780719

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023511241

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22780719

Country of ref document: EP

Kind code of ref document: A1