WO2022054400A1 - 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム - Google Patents

画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2022054400A1
WO2022054400A1 PCT/JP2021/026536 JP2021026536W WO2022054400A1 WO 2022054400 A1 WO2022054400 A1 WO 2022054400A1 JP 2021026536 W JP2021026536 W JP 2021026536W WO 2022054400 A1 WO2022054400 A1 WO 2022054400A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
biopsy
certainty
region
notification
Prior art date
Application number
PCT/JP2021/026536
Other languages
English (en)
French (fr)
Inventor
麻依子 遠藤
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022547419A priority Critical patent/JPWO2022054400A1/ja
Publication of WO2022054400A1 publication Critical patent/WO2022054400A1/ja
Priority to US18/179,291 priority patent/US20230200626A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Definitions

  • the present invention relates to an image processing system, a processor device, an endoscope system, an image processing method and a program.
  • a diagnostic support system that applies image recognition processing to automatically recognize areas suspected to be lesions from medical images such as endoscopic images, emphasize areas suspected to be lesions, and display the recognition results on a display device. Has been done.
  • Patent Document 1 describes an endoscope system that acquires a normal optical image and a special optical image.
  • the system described in the same document acquires a white light image corresponding to a wavelength band of white light and a special light image corresponding to a specific wavelength band, and discriminates and discriminates the type of a subject image included in the special light image. Emphasis processing is performed on the white light image based on the type of the subject.
  • Patent Document 2 describes a visual function evaluation device that evaluates the visual function of the subject's eye.
  • the apparatus described in the same document superimposes and displays contour lines indicating regions having the same saturation when displaying the acquired oxygen saturation distribution.
  • Patent Document 1 does not consider the viewpoint of not obstructing the user's field of view. The same applies to the apparatus described in Patent Document 2.
  • the above problem is not limited to the notification of the automatic recognition result in the endoscopic image, and the same problem exists in the notification of the automatic recognition result in the medical image such as the CT image, the MRI image and the ultrasonic image.
  • the present invention has been made in view of such circumstances, and is an image processing system, a processor device, an endoscope system, and an image processing method capable of notifying a biopsy certainty degree in which obstruction of a user's view is suppressed. And to provide the program.
  • the image processing system is an image processing system including one or more processors, in which the processor acquires a medical image, detects a region of interest from the medical image, and the region of interest is subject to biopsy. It is a notification image in which the degree of notification differs according to the calculated biopsy certainty by calculating the biopsy certainty that represents the certainty of the biopsy area to be performed, and the notification image displayed superimposed on the medical image. It is an image processing system that generates and transmits a display signal representing a broadcast image to a display device.
  • the notification image has a different degree of notification depending on the biopsy certainty, and a notification image displayed superimposed on the medical image is generated.
  • the region in which the notification is performed according to the certainty of the biopsy and the degree of notification is reduced in the notification image can suppress the obstruction of the field of view of a user such as a doctor.
  • the processor sets a threshold value for the biopsy certainty and displays the biopsy certainty exceeding the threshold value as a broadcast image.
  • the biopsy certainty exceeding a predetermined threshold value can be notified as a notification image.
  • the processor generates a notification image in which the image quality of the notification image is different according to the calculated biopsy certainty.
  • the image quality can be applied as the degree of notification in the notification image.
  • the processor generates a broadcast image in which the image quality of the region where the biopsy certainty is relatively low is deteriorated with respect to the region where the biopsy certainty is relatively high.
  • the visibility of the medical image can be improved in the region where the biopsy certainty is relatively high.
  • the processor generates a broadcast image having different saturations of the broadcast image according to the calculated biopsy certainty.
  • saturation can be applied as the degree of notification in the notification image.
  • the processor generates a broadcast image in which the saturation of the region having a relatively low biopsy certainty is reduced with respect to the region having a relatively high biopsy certainty.
  • the visibility of the medical image can be improved in the region where the biopsy certainty is relatively high.
  • the processor generates a broadcast image in which the brightness of the broadcast image is different according to the calculated biopsy certainty.
  • the luminance can be applied as the degree of notification in the notification image.
  • the processor generates a broadcast image that reduces the brightness of the region where the biopsy certainty is relatively low with respect to the region where the biopsy certainty is relatively high.
  • the visibility of the medical image can be improved in the region where the biopsy certainty is relatively high.
  • the processor measures the elapsed period from the display start timing of the broadcast image, and when the elapsed period from the display start timing of the broadcast image has elapsed a predetermined period, the broadcast image is displayed. Stops the transmission of the display signal.
  • the broadcast image can be hidden.
  • the broadcast image does not interfere with the user's visual recognition.
  • the processor detects whether or not a biopsy has been performed, and stops transmitting a display signal representing a broadcast image when a detection result indicating that a biopsy has been performed is obtained. Let me.
  • the broadcast image may be hidden due to the performance of the biopsy. As a result, the broadcast image does not interfere with the user's visual recognition.
  • the processor calculates the lesion certainty indicating the lesion-likeness for the attention area, and calculates the biopsy certainty for the attention area where the lesion certainty exceeds the specified value.
  • the biopsy certainty can be derived according to the lesion size.
  • the processor device is a processor device including one or more processors and controlling an endoscope, and the processor acquires an endoscope image from an endoscope and obtains a region of interest from the endoscope image. It is a notification image in which the degree of notification differs according to the calculated biopsy certainty by calculating the biopsy certainty indicating the certainty of the biopsy area to be detected and the area of interest. It is a processor device that generates a broadcast image to be displayed superimposed on an endoscope image and transmits a display signal representing the broadcast image to a display device.
  • processor device According to the processor device according to the present disclosure, it is possible to obtain the same operation and effect as the image processing system according to the present disclosure.
  • processor apparatus In the processor apparatus according to the present disclosure, components of other aspects of the image processing system according to the present disclosure may be adopted.
  • the endoscope system is an endoscope system including an endoscope, a processor device for controlling the endoscope, and one or more processors, and the processor is inside the endoscope.
  • An endoscopic image is acquired, a region of interest is detected from the endoscopic image, and for the region of interest, a biopsy certainty that indicates the certainty of the biopsy region to be biopsied is calculated, and the calculated biopsy is performed.
  • the endoscope system according to the present disclosure it is possible to obtain the same action and effect as the image processing system according to the present disclosure.
  • the endoscopic system according to the present disclosure components of other aspects of the image processing system according to the present disclosure may be adopted.
  • the image processing method acquires a medical image, detects a region of interest from the medical image, and calculates a biopsy certainty indicating the certainty of the biopsy region to be biopsied for the region of interest. , It is a notification image in which the degree of notification differs depending on the calculated biopsy certainty, a notification image to be displayed superimposed on the medical image is generated, and a display signal representing the notification image is transmitted to the display device.
  • the image processing method according to the present disclosure it is possible to obtain the same action and effect as the image processing system according to the present disclosure.
  • components of other aspects of the image processing system according to the present disclosure may be adopted.
  • the program according to the present disclosure has a function of acquiring a medical image on a computer, a function of detecting a region of interest from a medical image, and a biopsy certainty indicating the certainty of the biopsy region to be biopsied for the region of interest.
  • a function to generate a notification image that is superimposed on a medical image and a display signal representing the notification image is displayed. It is a program that realizes the function of transmitting to the device.
  • a notification image having a different degree of notification depending on the certainty of biopsy is generated.
  • the region in which the notification is performed according to the certainty of the biopsy and the degree of notification is reduced in the notification image can suppress the obstruction of the field of view of a user such as a doctor.
  • FIG. 1 is an overall configuration diagram of an endoscope system according to the first embodiment.
  • FIG. 2 is a block diagram of the function of the endoscope shown in FIG.
  • FIG. 3 is a block diagram of the endoscope image processing unit shown in FIG.
  • FIG. 4 is a flowchart showing the procedure of the image processing method according to the first embodiment.
  • FIG. 5 is a schematic diagram of the broadcast image according to the first example.
  • FIG. 6 is a schematic diagram of the broadcast image according to the second example.
  • FIG. 7 is a functional block diagram of the endoscope system according to the second embodiment.
  • FIG. 8 is a flowchart showing the procedure of the image processing method according to the second embodiment.
  • FIG. 9 is a schematic diagram of the transition of the broadcast image.
  • FIG. 1 is an overall configuration diagram of an endoscope system according to the first embodiment.
  • the endoscope system 10 includes an endoscope main body 100, a processor device 200, a light source device 300, and a display device 400.
  • a part of the tip rigid portion 116 provided in the endoscope main body 100 is shown in an enlarged manner.
  • the endoscope main body 100 includes a hand operation unit 102 and an insertion unit 104.
  • the user grips and operates the hand operation unit 102, inserts the insertion unit 104 into the body of the subject, and observes the inside of the subject.
  • the user is synonymous with a doctor, a surgeon, and the like.
  • the subject referred to here is synonymous with a patient and a subject.
  • the hand operation unit 102 includes an air supply / water supply button 141, a suction button 142, a function button 143, and an image pickup button 144.
  • the air supply water supply button 141 accepts the operation of the air supply instruction and the water supply instruction.
  • the suction button 142 receives a suction instruction.
  • Various functions are assigned to the function button 143.
  • the function button 143 receives instructions for various functions.
  • the image pickup button 144 receives an image pickup instruction operation. Imaging includes moving image imaging and still image imaging.
  • the insertion portion 104 includes a soft portion 112, a curved portion 114, and a hard tip portion 116.
  • the flexible portion 112, the curved portion 114, and the hard tip portion 116 are arranged in the order of the soft portion 112, the curved portion 114, and the hard tip portion 116 from the side of the hand operation portion 102. That is, the curved portion 114 is connected to the proximal end side of the hard tip portion 116, the flexible portion 112 is connected to the proximal end side of the curved portion 114, and the hand operation portion 102 is connected to the proximal end side of the insertion portion 104.
  • the user can operate the hand operation unit 102 to bend the curved portion 114 to change the direction of the hard tip portion 116 up, down, left and right.
  • the hard tip portion 116 includes an image pickup unit, an illumination unit, and a forceps opening 126.
  • FIG. 1 illustrates the photographing lens 132 constituting the imaging unit. Further, in the figure, the illumination lens 123A and the illumination lens 123B constituting the illumination unit are shown.
  • the imaging unit is designated by reference numeral 130 and is shown in FIG. Further, the illumination unit is illustrated with reference numeral 123 in FIG.
  • the washing water is discharged from the water supply nozzle or the gas is discharged from the air supply nozzle.
  • the cleaning water and gas are used for cleaning the illumination lens 123A and the like.
  • the water supply nozzle and the air supply nozzle are not shown.
  • the water supply nozzle and the air supply nozzle may be shared.
  • the forceps opening 126 communicates with the pipeline. Treatment tools are inserted into the pipeline. The treatment tool is supported so that it can move forward and backward as appropriate. When removing a tumor or the like, a treatment tool is applied and necessary treatment is performed.
  • Reference numeral 106 shown in FIG. 1 indicates a universal cable.
  • Reference numeral 108 indicates a write guide connector.
  • FIG. 2 is a functional block diagram of the endoscope system.
  • the endoscope main body 100 includes an image pickup unit 130.
  • the image pickup unit 130 is arranged inside the tip rigid portion 116.
  • the image pickup unit 130 includes a photographing lens 132, an image pickup element 134, a drive circuit 136, and an analog front end 138.
  • the photographing lens 132 is arranged on the tip end surface 116A of the tip hard portion 116.
  • the image sensor 134 is arranged at a position opposite to the distal end surface 116A of the photographing lens 132.
  • a CMOS type image sensor is applied to the image sensor 134.
  • a CCD type image sensor may be applied to the image pickup element 134.
  • CMOS is an abbreviation for Complementary Metal-Oxide Semiconductor.
  • CCD is an abbreviation for Charge Coupled Device.
  • a color image sensor is applied to the image sensor 134.
  • An example of a color image sensor is an image sensor equipped with a color filter corresponding to RGB.
  • RGB is an acronym for red, green, and yellow, which are English notations for red, green, and blue, respectively.
  • a monochrome image sensor may be applied to the image sensor 134.
  • the image sensor 130 may switch the wavelength band of the incident light of the image sensor 134 to perform surface-sequential or color-sequential image pickup.
  • the drive circuit 136 supplies various timing signals necessary for the operation of the image pickup element 134 to the image pickup element 134 based on the control signal transmitted from the processor device 200.
  • the analog front end 138 includes an amplifier, a filter and an AD converter.
  • AD is an acronym for analog and digital, which are the English notations for analog and digital, respectively.
  • the analog front end 138 performs processing such as amplification, noise reduction, and analog-to-digital conversion on the output signal of the image pickup device 134.
  • the output signal of the analog front end 138 is transmitted to the processor device 200.
  • AFE shown in FIG. 2 is an abbreviation for Analog Front End, which is an English notation for an analog front end.
  • the optical image to be observed is formed on the light receiving surface of the image pickup element 134 via the photographing lens 132.
  • the image pickup device 134 converts an optical image to be observed into an electric signal.
  • the electric signal output from the image pickup device 134 is transmitted to the processor device 200 via the signal line.
  • the lighting unit 123 is arranged at the tip hard portion 116.
  • the illumination unit 123 includes an illumination lens 123A and an illumination lens 123B.
  • the illumination lens 123A and the illumination lens 123B are arranged at positions adjacent to the photographing lens 132 on the distal end surface 116A.
  • the lighting unit 123 includes a light guide 170.
  • the emission end of the light guide 170 is arranged at a position opposite to the tip end surface 116A of the illumination lens 123A and the illumination lens 123B.
  • the light guide 170 is inserted into the insertion unit 104, the hand operation unit 102, and the universal cable 106 shown in FIG.
  • the incident end of the light guide 170 is arranged inside the light guide connector 108.
  • the processor device 200 includes an image pickup signal acquisition unit 202, an image pickup signal processing unit 204, a communication control unit 205, and a video output unit 206.
  • the image pickup signal acquisition unit 202 acquires an electric signal corresponding to an optical image to be observed, which is transmitted from the endoscope main body 100.
  • the image pickup signal processing unit 204 generates an endoscopic image of the observation target based on the image pickup signal which is an electric signal corresponding to the optical image of the observation target.
  • the endoscopic image is illustrated with reference numeral 38 in FIG.
  • the image quality image processing unit 204 can perform image quality correction by applying digital signal processing such as white balance processing and shading correction processing to the image pickup signal.
  • the image pickup signal processing unit 204 may add incidental information defined by the DICOM standard to the endoscopic image.
  • DICOM is an abbreviation for Digital Imaging and Communications in Medicine.
  • the video output unit 206 transmits a display signal representing an image generated by using the image pickup signal processing unit 204 to the display device 400.
  • the display device 400 displays an image to be observed.
  • the processor device 200 operates the image pickup signal acquisition unit 202, the image pickup signal processing unit 204, and the like in response to the image pickup command signal transmitted from the endoscope main body 100 when the image pickup button 144 shown in FIG. 1 is operated. ..
  • the processor device 200 When the processor device 200 acquires a freeze command signal indicating still image imaging from the endoscope main body 100, the processor device 200 applies the imaging signal processing unit 204 to generate a still image based on the frame image at the operation timing of the imaging button 144. do.
  • the processor device 200 uses the display device 400 to display a still image.
  • the frame image is illustrated with reference numeral 38B in FIG.
  • Still images are illustrated with reference numeral 39 in FIG.
  • the processor device 200 includes a communication control unit 205.
  • the communication control unit 205 controls communication with a device that is communicably connected via an in-hospital system, an in-hospital LAN, and the like.
  • the communication control unit 205 may apply a communication protocol conforming to the DICOM standard.
  • An example of an in-hospital system is HIS (Hospital Information System).
  • LAN is an abbreviation for Local Area Network.
  • the processor device 200 includes a storage unit 207.
  • the storage unit 207 stores an endoscope image generated by using the endoscope main body 100.
  • the storage unit 207 may store various information incidental to the endoscopic image.
  • the processor device 200 includes an operation unit 208.
  • the operation unit 208 outputs a command signal according to the user's operation.
  • the operation unit 208 may apply a keyboard, a mouse, a joystick, or the like.
  • the processor device 200 includes a voice processing unit 209 and a speaker 209A.
  • the voice processing unit 209 generates a voice signal representing the information notified as voice.
  • the speaker 209A converts the voice signal generated by using the voice processing unit 209 into voice. Examples of the voice output from the speaker 209A include a message, voice guidance, a warning sound, and the like.
  • the processor device 200 includes a system control unit 210, a ROM 211, and a RAM 212.
  • ROM is an abbreviation for Read Only Memory.
  • RAM is an abbreviation for Random Access Memory.
  • the system control unit 210 functions as an overall control unit of the processor device 200.
  • the system control unit 210 functions as a memory controller that controls the ROM 211 and the RAM 212.
  • the ROM 211 stores various programs, control parameters, and the like applied to the processor device 200.
  • the RAM 212 is applied to a temporary storage area for data in various processes and a processing area for arithmetic processing using the system control unit 210.
  • the RAM 212 may be applied to the buffer memory when the endoscopic image is acquired.
  • the processor device 200 performs various processes on the endoscope image generated by using the endoscope main body 100, and various information incidental to the endoscope image and the endoscope image by using the display device 400. Is displayed.
  • the processor device 200 stores the endoscopic image and various information incidental to the endoscopic image.
  • the processor device 200 displays an endoscopic image or the like using the display device 400, outputs audio information using the speaker 209A, and refers to the endoscopic image. Carry out various processes.
  • the processor device 200 includes an endoscope image processing unit 220.
  • the endoscope image processing unit 220 performs various image processing on the endoscopic image generated by using the image pickup signal processing unit 204.
  • the processor device 200 may apply a computer.
  • the computer may apply the following hardware and execute a specified program to realize the functions of the processor device 200.
  • a program is synonymous with software.
  • the processor device 200 may apply various processor devices as a signal processing unit that performs signal processing.
  • processor devices include CPUs and GPUs (Graphics Processing Units).
  • the CPU is a general-purpose processor device that executes a program and functions as a signal processing unit.
  • the GPU is a processor device specialized in image processing.
  • As the hardware of the processor device an electric circuit combining an electric circuit element such as a semiconductor element is applied.
  • Each control unit includes a ROM in which a program or the like is stored and a RAM which is a work area for various operations.
  • Two or more processor devices may be applied to one signal processing unit.
  • the two or more processor devices may be the same type of processor device or different types of processor devices. Further, one processor device may be applied to a plurality of signal processing units.
  • the processor device 200 described in the embodiment corresponds to an example of the endoscope control unit.
  • the light source device 300 includes a light source 310, a diaphragm 330, a condenser lens 340, and a light source control unit 350.
  • the light source device 300 causes the observation light to be incident on the light guide 170.
  • the light source 310 includes a red light source 310R, a green light source 310G, and a blue light source 310B.
  • the red light source 310R, the green light source 310G, and the blue light source 310B emit red, green, and blue narrow-band light, respectively.
  • the light source 310 can generate illumination light in which narrow band lights of red, green and blue are arbitrarily combined.
  • the light source 310 may combine red, green and blue narrowband light to produce white light.
  • the light source 310 can generate narrowband light by combining any two colors of red, green and blue narrowband light.
  • the light source 310 can generate narrowband light using any one color of red, green and blue narrowband light.
  • the light source 310 may selectively switch and emit white light or narrow band light. Narrow band light is synonymous with special light.
  • the light source 310 may include an infrared light source that emits infrared light, an ultraviolet light source that emits ultraviolet light, and the like.
  • the light source 310 may employ an embodiment including a white light source that emits white light, a filter that allows white light to pass through, and a filter that allows narrow-band light to pass through.
  • the light source 310 in such an embodiment may switch between a filter that allows white light to pass through and a filter that allows narrow-band light to pass through, and selectively emits either white light or narrow-band light.
  • the filter that passes narrow band light may include a plurality of filters corresponding to different bands.
  • the light source 310 may selectively switch between a plurality of filters corresponding to different bands to selectively emit a plurality of narrow band lights having different bands.
  • the type, wavelength band, and the like can be applied according to the type of observation target, the purpose of observation, and the like.
  • Examples of the types of the light source 310 include a laser light source, a xenon light source, an LED light source, and the like.
  • LED is an abbreviation for Light-Emitting Diode.
  • the observation light emitted from the light source 310 reaches the incident end of the light guide 170 via the diaphragm 330 and the condenser lens 340.
  • the observation light is applied to the observation target via the light guide 170, the illumination lens 123A, and the like.
  • the light source control unit 350 transmits a control signal to the light source 310 and the aperture 330 based on the command signal transmitted from the processor device 200.
  • the light source control unit 350 controls the illuminance of the observation light emitted from the light source 310, the switching of the observation light, the on / off of the observation light, and the like.
  • FIG. 3 is a block diagram of the endoscope image processing unit shown in FIG.
  • FIG. 3 shows a part of the components of the processor device 200 shown in FIG. 2.
  • the endoscope image processing unit 220 includes a processor device 240.
  • the processor device 240 has functions as an endoscopic image acquisition unit 222, a lesion region detection unit 224, a biopsy candidate region recognition unit 226, a certainty calculation unit 228, and a broadcast information generation unit 230.
  • the endoscope image processing unit 220 includes a notification information storage unit 232.
  • the processor device 240 described in the embodiment is an example of one or more processors.
  • the endoscope image acquisition unit 222 acquires an endoscope image 38 captured by using the endoscope main body 100 shown in FIG.
  • the acquisition of the endoscopic image 38 may include the acquisition of the moving image 38A, the acquisition of the frame image 38B, and the acquisition of the still image 39.
  • the endoscope image acquisition unit 222 can acquire a moving image 38A composed of a time-series frame image 38B.
  • the endoscope image acquisition unit 222 can acquire the still image 39 when the still image is captured during the imaging of the moving image 38A.
  • the endoscope image acquisition unit 222 stores the acquired endoscope image 38.
  • RAM 212 may be applied to the storage of the endoscopic image 38.
  • the lesion area detection unit 224 automatically detects a lesion area, which is a region suspected to be a lesion, as a region of interest from each of the frame images 38B constituting the moving image 38A or the still image 39.
  • the lesion area detection unit 224 stores the information of the detected lesion area in association with the frame image 38B or the still image 39.
  • RAM 212 may be applied to store information in the lesion area.
  • the lesion area information may include information on the location of the lesion area. Examples of lesions include tumors, polyps, ulcers and inflammations.
  • the lesion area detection unit 224 may apply a method based on known image processing.
  • the lesion area detection unit 224 may apply a trained learning model.
  • the biopsy candidate region recognition unit 226 recognizes a biopsy candidate region that is a candidate for a biopsy region, which is a region to be biopsied, for the lesion region detected from the endoscopic image 38 using the lesion region detection unit 224. do. If multiple lesion areas are detected, biopsy candidate areas are recognized for each lesion area. A biopsy candidate area may be recognized if the lesion area is greater than or equal to the specified area.
  • the certainty calculation unit 228 calculates the biopsy certainty indicating the certainty as a biopsy area for the biopsy candidate area.
  • the certainty calculation unit 228 can calculate the biopsy certainty as a score and a probability for each pixel constituting the biopsy candidate region.
  • the notification information generation unit 230 generates notification information for notifying the biopsy certainty.
  • the notification information there is a notification image displayed superimposed on the endoscope image displayed on the display device 400.
  • the notification information generation unit 230 generates notification images having different degrees of notification depending on the degree of certainty of biopsy.
  • the notification information storage unit 232 stores notification information including a notification image.
  • the notification information storage unit 232 may store the notification information in association with the information of the lesion area and the information of the biopsy candidate area.
  • FIG. 4 is a flowchart showing the procedure of the image processing method according to the first embodiment.
  • the endoscope image acquisition unit 222 shown in FIG. 3 acquires the endoscope image 38.
  • the process proceeds to the lesion region detection step S12.
  • the lesion area detection unit 224 detects the lesion area from each of the frame images 38B constituting the endoscopic image 38 or from the still image 39.
  • the lesion area detection unit 224 stores information on the detected lesion area. After the lesion area detection step S12, the process proceeds to the lesion area determination step S14.
  • the biopsy candidate area recognition unit 226 determines whether or not the lesion area is detected in the frame image 38B or the still image 39.
  • the biopsy candidate region recognition unit 226 determines in the lesion region determination step S14 that the lesion region does not exist in the frame image 38B or the still image 39 to be determined, a No determination is made. In the case of No determination, the process proceeds to the end determination step S24.
  • the biopsy candidate region recognition unit 226 determines in the lesion region determination step S14 that the lesion region exists in the frame image 38B or the still image 39 to be determined, the determination is Yes. In the case of Yes determination, the process proceeds to the biopsy candidate region recognition step S16.
  • the biopsy candidate region recognition unit 226 recognizes the biopsy candidate region for the lesion region. After the biopsy candidate region recognition step S16, the process proceeds to the certainty calculation step S18.
  • the certainty calculation unit 228 calculates the biopsy certainty for the biopsy candidate region detected in the biopsy candidate region recognition step S16. After the certainty calculation step S18, the process proceeds to the notification information generation step S20.
  • the notification information generation unit 230 In the notification information generation step S20, the notification information generation unit 230 generates a notification image to be superimposed and displayed on the endoscope image as notification information based on the biopsy certainty generated in the certainty calculation step S18.
  • the notification information generation unit 230 stores the notification image in the notification information storage unit 232. After the notification information generation step S20, the process proceeds to the notification image display step S22.
  • the notification information generation unit 230 transmits a video signal representing the notification image to the display device 400 via the video output unit 206.
  • the display device 400 superimposes and displays the broadcast image on the endoscope image 38.
  • the endoscope image acquisition unit 222 determines whether or not the acquisition of the endoscope image has been completed.
  • the endoscope image acquisition unit 222 may end the acquisition of the endoscope image when the final frame image 38B of the endoscope image 38 is acquired.
  • the endoscope image acquisition unit 222 may end the acquisition of the endoscope image when a certain period of time has elapsed from the acquisition of any endoscope image.
  • the process proceeds to the endoscope image acquisition step S10, and each step from the endoscope image acquisition step S10 to the end determination step S24 is repeatedly carried out until a Yes determination is made in the end determination step S24.
  • the processor device 240 ends the image processing method.
  • FIG. 5 is a schematic diagram of the broadcast image according to the first example.
  • FIG. 5 schematically illustrates an arbitrary frame image 38B constituting the endoscopic image 38 acquired when performing endoscopy of the large intestine. The same applies to FIGS. 6 and 9.
  • the broadcast image 502 is superimposed and displayed on the lesion area 500.
  • the endoscopic image 38 displays a central position 506 of the lesion area 500 and a bounding box 508 surrounding the outer periphery of the lesion area 500.
  • the broadcast image 502 shown in FIG. 5 has a size and shape that covers the entire area of the biopsy candidate region 504.
  • the notification image 502 includes a first region 510, a second region 512, and a third region 514 in the notification image 502 in which the degree of notification is changed according to the biopsy certainty.
  • the first region 510 is the region where the biopsy certainty is maximized and includes the central position of the lesion region 500.
  • the second region 512 is a region having a smaller biopsy certainty than the first region 510 and is a region outside the first region 510.
  • the third region 514 is a region having a smaller biopsy certainty than the second region 512, and is a region outside the second region 512.
  • the first region 510 is the region having the lowest degree of notification, and is displayed close to the normal image display of the endoscope image 38.
  • the second region 512 is a region having a higher degree of notification than the first region 510, and emphasizes the first region 510.
  • the third region 514 is a region having a higher degree of notification than the second region 512, and emphasizes the first region 510 in the same manner as the second region 512.
  • the broadcast image 502 can improve the visibility of the user with respect to the biopsy candidate region 504, and can suppress the obstruction of the user's view in the region where the biopsy certainty is relatively high in the biopsy candidate region.
  • An example of controlling the image quality is an example of different degrees of notification.
  • Examples of image quality include saturation and brightness.
  • Another example of image quality is resolution. That is, in the first region 510, the second region 512, and the third region 514 shown in FIG. 5, as the distance from the central position 506 of the lesion region 500 increases, the saturation is reduced, the brightness is lowered, or the brightness is lowered. The resolution may be reduced.
  • the range in which the brightness and the like are different is limited to the range that can be changed by using the processor device 200 shown in FIG. That is, the degree of notification of the notification image 502 is limited to a range that can be adjusted by the user who uses the endoscope system 10.
  • Examples of user-configurable parameters include brightness, saturation, tint and white balance.
  • the broadcast image 502 has few changes from the conventional one, and is not far from the normal observation display of the endoscope image 38, so that the user can easily observe it.
  • FIG. 6 is a schematic diagram of the notification image according to the second example.
  • the notification image 520 shown in the figure sets a threshold value for the biopsy certainty, and the degree of notification is changed depending on whether or not the threshold value is exceeded.
  • the broadcast image 520 shown in FIG. 6 is composed of a region where the biopsy certainty exceeds the threshold value. This can provide a broadcast image 520 that allows the user to intuitively determine the biopsy area.
  • the notification information generation unit 230 shown in FIG. 3 includes a threshold value setting unit that sets a threshold value applied to the biopsy certainty.
  • the threshold value setting unit can set a threshold value based on user input information.
  • the broadcast image 502 may be automatically hidden at a timing when a predetermined period has elapsed from the display start timing.
  • the specified period may be fixed or may be adjustable.
  • the processor device 240 shown in FIG. 3 may measure the elapsed period from the display start timing of the broadcast image 502, and automatically hide the broadcast image 502 at the timing when a predetermined period has elapsed from the measurement start timing. ..
  • the broadcast image 502 After a certain period of time has elapsed from the display start timing of the notification image 502, it can be determined that the user has completed the confirmation of the biopsy area. When the broadcast image 502 is automatically hidden, it does not bother the user.
  • the broadcast image 502 may be hidden in response to the command signal for hiding the broadcast image 502.
  • a command signal for hiding the broadcast image 502 may be transmitted in response to an operation of a button or the like, and the broadcast image 502 may be hidden.
  • the display control of the notification image 502 according to the modified example can also be applied to the notification image 520 shown in FIG.
  • the biopsy candidate region can be recognized based on the lesion certainty, which represents the certainty of the lesion region in the lesion region 500.
  • a region having a lesion certainty exceeding a predetermined threshold can be a biopsy candidate region.
  • the biopsy candidate region may be defined as the region containing the central position 506 of the lesion region 500.
  • the biopsy candidate area may be recognized using a trained learning model.
  • the learning model may apply CNN.
  • CNN is an abbreviation for Convolutional Neural Network, which is an English notation for convolutional neural networks.
  • the biopsy certainty is calculated for each pixel constituting the biopsy candidate region 504.
  • Each of the first region 510, the second region 512, and the third region 514 shown in FIG. 5 represents a set of a plurality of pixels having the same biopsy certainty.
  • the lesion certainty in the biopsy candidate area may be used as the biopsy certainty.
  • a biopsy candidate region 504 is recognized for the lesion area 500, a biopsy certainty is calculated for the biopsy candidate region 504, and a notification image 502 is generated in which the degree of notification varies according to the biopsy certainty, and the notification image 502 is generated. Is superimposed and displayed on the endoscope image 38.
  • the first region 510 which has a relatively high biopsy certainty, reduces the degree of notification as compared with the second region 512, etc., which has a relatively low biopsy certainty. This makes it possible to notify the biopsy certainty that the obstruction of the user's field of view is suppressed.
  • the broadcast image 502 lowers the image quality of the second region 512 and the third region 514 as compared with the first region 510.
  • the first region 510 can realize the same observation state as the normal observation of the endoscopic image 38, and can emphasize the first region 510.
  • the broadcast image 502 reduces the brightness and saturation of the second region 512 and the third region 514 as compared with the first region 510.
  • the first region 510 can realize the same observation state as the normal observation of the endoscopic image 38, and can emphasize the first region 510.
  • the range in which the brightness and the like are different in the broadcast image 502 is limited to the range that can be adjusted in the endoscope system 10.
  • the endoscope image 38 on which the notification image 502 is superimposed displays the endoscope image 38 on which the notification image 502, which is easy to observe, is superimposed and displayed without being far from the normal display of the endoscope image 38. Can be.
  • the broadcast image 502 is automatically hidden after a predetermined period has elapsed from the display start timing of the broadcast image 502. As a result, it is possible to suppress annoying the user when hiding the broadcast image 502.
  • FIG. 7 is a functional block diagram of the endoscope system according to the second embodiment.
  • the endoscope system 10A shown in the figure is different from the endoscope system 10 shown in FIG. 1 and the like in the configuration of the processor device 240A provided in the endoscope image processing unit 220A.
  • the processor device 240A is provided with the biopsy instrument detection unit 234.
  • the biopsy instrument detection unit 234 detects whether or not the endoscopic image 38 contains a biopsy instrument such as forceps.
  • the video output unit 206 stops the superimposition display of the broadcast image on the endoscope image 38. If the endoscopic image 38 includes a biopsy instrument, it is determined that the user has already recognized the biopsy area. When a biopsy instrument is detected, the superimposed display of the notification image is automatically stopped so that the biopsy area can be observed accurately.
  • FIG. 8 is a flowchart showing the procedure of the image processing method according to the second embodiment.
  • a biopsy instrument detection step S30 and a broadcast image non-display step S32 are added to the flowchart shown in FIG.
  • the notification image display step S22 the notification image 502 is superimposed and displayed on the endoscope image 38 on the display device 400, and the process proceeds to the biopsy instrument detection step S30.
  • the biopsy instrument detection step S30 the biopsy instrument detection unit 234 shown in FIG. 7 detects the biopsy instrument from the endoscopic image 38.
  • the biopsy instrument detection step S30 when the biopsy instrument detection unit 234 detects the biopsy instrument from the endoscopic image 38, a Yes determination is made. In the case of Yes determination, the process proceeds to the notification image non-display step S32. On the other hand, in the biopsy instrument detection step S30, if the biopsy instrument detection unit 234 does not detect the biopsy instrument from the endoscopic image 38, a No determination is made. In the case of No determination, the process proceeds to the end determination step S24.
  • the notification information generation unit 230 hides the notification image 502 superimposed and displayed on the endoscope image 38 via the video output unit 206.
  • the process proceeds to the end determination step S24.
  • FIG. 9 is a schematic diagram of the transition of the broadcast image.
  • Reference numeral 600 shown in the figure schematically shows an endoscopic image 38 when the biopsy instrument 602 is detected.
  • Reference numeral 610 schematically shows an endoscopic image 38 in which the broadcast image 502 is hidden.
  • the illustration of the first region 510 and the like shown in FIG. 5 is omitted.
  • the biopsy instrument 602 shown in FIG. 9 is an example of a treatment instrument.
  • a biopsy instrument non-detection step is added between the biopsy instrument detection step S30 and the broadcast image non-display step S32.
  • the biopsy instrument detection unit 234 shown in FIG. 7 determines whether or not the biopsy instrument detected in the biopsy instrument detection step S30 is not detected.
  • the biopsy instrument non-detection process if the biopsy instrument detection unit 234 detects the biopsy instrument, it is judged as No. In the case of No determination, the biopsy instrument non-detection step is repeatedly carried out until a Yes determination is made in the biopsy instrument non-detection step.
  • the biopsy instrument non-detection step when the biopsy instrument detection unit 234 determines that the biopsy instrument is not detected, the determination is Yes. In the case of Yes determination, the process proceeds to the notification image non-display step S32.
  • the end determination step S24 is carried out after the broadcast image non-display step S32 is carried out.
  • the broadcast image 502 is hidden. This can prevent the user's field of view of the broadcast image 502 from being obstructed during a biopsy.
  • the biopsy instrument 602 When the biopsy instrument 602 is detected from the endoscope image 38 and then the biopsy instrument 602 is not detected from the endoscope image 38, the broadcast image 502 is hidden. As a result, the biopsy candidate region can be recognized at the time of biopsy, and the obstruction of the user's field of view of the broadcast image 502 can be suppressed.
  • processor devices can be applied to the various processing units shown in FIGS. 2, 3, 7, and the like.
  • the processing unit may be called a processing unit.
  • Various processor devices include a CPU (Central Processing Unit), a PLD (Programmable Logic Device), an ASIC (Application Specific Integrated Circuit), and the like.
  • the CPU is a general-purpose processor device that executes a program and functions as various processing units.
  • the PLD is a processor device whose circuit configuration can be changed after manufacturing.
  • An example of PLD is FPGA (Field Programmable Gate Array).
  • An ASIC is a dedicated electrical circuit having a circuit configuration specifically designed to perform a particular process.
  • One processing unit may be composed of one of these various processor devices, or may be composed of two or more processor devices of the same type or different types.
  • one processing unit may be configured by using a plurality of FPGAs and the like.
  • One processing unit may be configured by combining one or more FPGAs and one or more CPUs.
  • a plurality of processing units may be configured by using one processor device.
  • one processor device As an example of configuring a plurality of processing units using one processor device, there is a form in which one processor is configured by combining one or more CPUs and software, and one processor device functions as a plurality of processing units. .. Such a form is represented by a computer such as a client terminal device and a server device.
  • An example is to use a processor device that realizes the functions of the entire system including a plurality of processing units by using one IC chip.
  • a processor device that realizes the functions of the entire system including a plurality of processing units by using one IC chip.
  • Such a form is typified by a system-on-chip (SystemOnChip) and the like.
  • IC is an abbreviation for Integrated Circuit.
  • the system-on-chip may be described as SoC by using the abbreviation of System On Chip.
  • the various processing units are configured by using one or more of the above-mentioned various processor devices as a hardware structure.
  • the hardware-like structure of various processor devices is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • [Modification example of endoscope system] [Variation example of illumination light] As an example of a medical image that can be acquired by using the endoscope system 10 shown in FIG. 1, there is a white band light or a normal light image obtained by irradiating light of a plurality of wavelength bands as white band light. ..
  • the medical image that can be acquired by using the endoscope system 10 shown in the present embodiment, there is an image obtained by irradiating light in a specific wavelength band.
  • a specific wavelength band can be applied to a band narrower than the white band. The following modifications can be applied.
  • a first example of a particular wavelength band is the blue or green band in the visible range.
  • the wavelength band of the first example includes a wavelength band of 390 nanometers or more and 450 nanometers or less, or 530 nanometers or more and 550 nanometers or less, and the light of the first example is 390 nanometers or more and 450 nanometers or less, or. It has a peak wavelength in the wavelength band of 530 nanometers or more and 550 nanometers or less.
  • a second example of a particular wavelength band is the red band in the visible range.
  • the wavelength band of the second example includes a wavelength band of 585 nanometers or more and 615 nanometers or less, or 610 nanometers or more and 730 nanometers or less, and the light of the second example is 585 nanometers or more and 615 nanometers or less, or. It has a peak wavelength in the wavelength band of 610 nanometers or more and 730 nanometers or less.
  • the third example of a specific wavelength band includes a wavelength band in which the absorption coefficient differs between oxidized hemoglobin and reduced hemoglobin, and the light in the third example has a peak wavelength in a wavelength band in which the absorption coefficient differs between oxidized hemoglobin and reduced hemoglobin.
  • the wavelength band of this third example includes a wavelength band of 400 ⁇ 10 nanometers, 440 ⁇ 10 nanometers, 470 ⁇ 10 nanometers, or 600 nanometers or more and 750 nanometers or less, and the light of the third example is It has a peak wavelength in the wavelength band of 400 ⁇ 10 nanometers, 440 ⁇ 10 nanometers, 470 ⁇ 10 nanometers, or 600 nanometers or more and 750 nanometers or less.
  • the fourth example of the specific wavelength band is the wavelength band of the excitation light used for observing the fluorescence emitted by the fluorescent substance in the living body and exciting the fluorescent substance.
  • it is a wavelength band of 390 nanometers or more and 470 nanometers or less.
  • the observation of fluorescence may be referred to as fluorescence observation.
  • a fifth example of a specific wavelength band is the wavelength band of infrared light.
  • the wavelength band of the fifth example includes a wavelength band of 790 nanometers or more and 820 nanometers or less, or 905 nanometers or more and 970 nanometers or less, and the light of the fifth example is 790 nanometers or more and 820 nanometers or less. Alternatively, it has a peak wavelength in a wavelength band of 905 nanometers or more and 970 nanometers or less.
  • the processor device 200 may generate a special optical image having information in a specific wavelength band based on a normal optical image obtained by imaging with white light. Note that the generation here includes acquisition. In this case, the processor device 200 functions as a special optical image acquisition unit. Then, the processor device 200 obtains a signal in a specific wavelength band by performing an operation based on the color information of red, green and blue, or cyan, magenta and yellow contained in a normal optical image.
  • Cyan, magenta, and yellow may be expressed as CMY using the initials of Cyan, Magenta, and Yellow, which are the English notations, respectively.
  • Example of generating a feature image As a medical image, at least one of a normal light image obtained by irradiating light in a white band or light in a plurality of wavelength bands as light in a white band, and a special light image obtained by irradiating light in a specific wavelength band. Based on the calculation, a feature quantity image can be generated.
  • the endoscope image processing unit 220 shown in FIG. 3 and the endoscope image processing unit 220A shown in FIG. 7 can be components of an image processing apparatus including one or more processors and one or more memories.
  • Such an image processing apparatus provides broadcast images not only for endoscopic images but also for medical images other than endoscopic images, such as CT images, MRI images, and ultrasonic images, which are acquired from modalities other than the endoscopic system.
  • the medical image processing system represents a concept including medical image processing.
  • CT is an abbreviation for Computed Tomography.
  • MRI is an abbreviation for Magnetic Resonance Imaging.
  • the above-mentioned endoscope system and image processing method can be configured as a program that realizes a function corresponding to each part of the endoscope image processing unit 220 and each step of the image processing method by using a computer.
  • functions realized using a computer are the function of acquiring a medical image, the function of detecting a lesion area from a medical image, the function of recognizing a biopsy candidate area from a lesion area, and the biopsy certainty of a biopsy candidate area.
  • the mode in which the program is stored and provided in the non-temporary information storage medium the mode in which the program signal is provided via the communication network is also possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

ユーザの視界の妨げが抑制される生検確信度の報知を可能とする、画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラムを提供する。医療画像（３８）を取得し、医療画像から注目領域（５００）を検出し、注目領域について、生検の対象とされる生検領域の確からしさを表す生検確信度を算出し、算出された生検確信度に応じて報知の度合いが異なる報知画像であり、医療画像に重畳して表示される報知画像（５０２）を生成し、報知画像を表す表示信号をディスプレイ装置へ送信する。

Description

画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム
　本発明は画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラムに関する。
　画像認識処理を適用して、内視鏡画像等の医療画像から病変と疑わしい領域を自動的に認識し、病変と疑わしい領域を強調して、ディスプレイ装置へ認識結果を表示させる診断支援システムが知られている。
　特許文献１は、通常光画像及び特殊光画像を取得する内視鏡システムが記載されている。同文献に記載のシステムは、白色光の波長帯域に対応する白色光画像及び特定の波長帯域に対応する特殊光画像を取得し、特殊光画像に含まれる被写体像の種類を判別し、判別された被写体の種類に基づき白色光画像に対して強調処理を実施する。
　特許文献２は、被験者眼の視機能を評価する視機能評価装置が記載されている。同文献に記載の装置は、取得された酸素飽和度分布を表示する際に、飽和度が等しい領域を示す等高線を重畳表示させる。
特開２０１１－１３５９８３号公報 特開２０１３－１１９０１９号公報
　しかしながら、病変と疑わしい領域は生検を行い確定診断がされるので、自動認識結果を医師等のユーザへ報知することは重要であるが、生検の際に、報知される自動認識結果が医師等の視界を妨げる懸念が存在する。
　特許文献１に記載のシステムは、ユーザの視界を妨げないという観点は考慮されていない。特許文献２に記載の装置についても同様である。
　上記の課題は内視鏡画像における自動認識結果の報知に限定されず、ＣＴ画像、ＭＲＩ画像及び超音波画像等の医療画像おける自動認識結果の報知においても、同様の課題が存在する。
　本発明はこのような事情に鑑みてなされたもので、ユーザの視界の妨げが抑制される生検確信度の報知を可能とする、画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラムを提供することを目的とする。
　上記目的を達成するために、次の発明態様を提供する。
　本開示に係る画像処理システムは、一以上のプロセッサを備えた画像処理システムであって、プロセッサは、医療画像を取得し、医療画像から注目領域を検出し、注目領域について、生検の対象とされる生検領域の確からしさを表す生検確信度を算出し、算出された生検確信度に応じて報知の度合いが異なる報知画像であり、医療画像に重畳して表示される報知画像を生成し、報知画像を表す表示信号をディスプレイ装置へ送信する画像処理システムである。
　本開示に係る画像処理システムによれば、生検確信度に応じて報知の度合いが異なる報知画像であり、医療画像に重畳して表示される報知画像が生成される。これにより、生検確信度に応じた報知が実施され、かつ、報知画像において報知の度合いを低下させた領域は、医師等のユーザの視界を妨げることを抑制し得る。
　他の態様に係る画像処理システムにおいて、プロセッサは、生検確信度に対する閾値を設定し、閾値を超える生検確信度を報知画像として表示させる。
　かかる態様によれば、報知画像として、規定の閾値を超える生検確信度を報知し得る。
　他の態様に係る画像処理システムにおいて、プロセッサは算出された生検確信度に応じて、報知画像の画質を異ならせる報知画像を生成する。
　かかる態様によれば、報知画像における報知の度合いとして画質を適用し得る。
　他の態様に係る画像処理システムにおいて、プロセッサは、生検確信度が相対的に大きい領域に対して、生検確信度が相対的に小さい領域の画質を低下させる報知画像を生成する。
　かかる態様によれば、生検確信度が相対的に大きい領域における、医療画像の視認性が向上し得る。
　他の態様に係る画像処理システムにおいて、プロセッサは、算出された生検確信度に応じて、報知画像の彩度を異ならせる報知画像を生成する。
　かかる態様によれば、報知画像における報知の度合いとして彩度を適用し得る。
　他の態様に係る画像処理システムにおいて、プロセッサは、生検確信度が相対的に大きい領域に対して、生検確信度が相対的に小さい領域の彩度を低下させる報知画像を生成する。
　かかる態様によれば、生検確信度が相対的に大きい領域における、医療画像の視認性が向上し得る。
　他の態様に係る画像処理システムにおいて、プロセッサは、算出された生検確信度に応じて、報知画像の輝度を異ならせる報知画像を生成する。
　かかる態様によれば、報知画像における報知の度合いとして輝度を適用し得る。
　他の態様に係る画像処理システムにおいて、プロセッサは、生検確信度が相対的に大きい領域に対して、生検確信度が相対的に小さい領域の輝度を低下させる報知画像を生成する。
　かかる態様によれば、生検確信度が相対的に大きい領域における、医療画像の視認性が向上し得る。
　他の態様に係る画像処理システムにおいて、プロセッサは、報知画像の表示開始タイミングからの経過期間を測定し、報知画像の表示開始タイミングからの経過期間が規定の期間を経過した場合に、報知画像を表す表示信号の送信を停止させる。
　かかる態様によれば、報知画像を非表示とし得る。これにより、報知画像がユーザの視認の妨げとならない。
　他の態様に係る画像処理システムにおいて、プロセッサは、生検が実施されたか否かを検出し、生検の実施を表す検出結果が得られた場合に、報知画像を表す表示信号の送信を停止させる。
　かかる態様によれば、生検の実施に起因して報知画像を非表示とし得る。これにより、報知画像がユーザの視認の妨げとならない。
　他の態様に係る画像処理システムにおいて、プロセッサは、注目領域について病変らしさを表す病変確信度を算出し、病変確信度が規定値を超える注目領域について、生検確信度を算出する。
　かかる態様によれば、病変さしさに応じた生検確信度を導出し得る。
　本開示に係るプロセッサ装置は、一以上のプロセッサを備え、内視鏡を制御するプロセッサ装置であって、プロセッサは、内視鏡から内視鏡画像を取得し、内視鏡画像から注目領域を検出し、注目領域について、生検の対象とされる生検領域の確からしさを表す生検確信度を算出し、算出された生検確信度に応じて報知の度合いが異なる報知画像であり、内視鏡画像に重畳して表示される報知画像を生成し、報知画像を表す表示信号をディスプレイ装置へ送信するプロセッサ装置である。
　本開示に係るプロセッサ装置によれば、本開示に係る画像処理システムと同様の作用効果を得ることが可能である。本開示に係るプロセッサ装置において、本開示に係る画像処理システムの他の態様の構成要素を採用し得る。
　本開示に係る内視鏡システムは、内視鏡と、内視鏡を制御するプロセッサ装置と、一以上のプロセッサと、を備えた内視鏡システムであって、プロセッサは、内視鏡から内視鏡画像を取得し、内視鏡画像から注目領域を検出し、注目領域について、生検の対象とされる生検領域の確からしさを表す生検確信度を算出し、算出された生検確信度に応じて報知の度合いが異なる報知画像であり、内視鏡画像に重畳して表示される報知画像を生成し、報知画像を表す表示信号をディスプレイ装置へ送信する内視鏡システムである。
　本開示に係る内視鏡システムによれば、本開示に係る画像処理システムと同様の作用効果を得ることが可能である。本開示に係る内視鏡システムにおいて、本開示に係る画像処理システムの他の態様の構成要素を採用し得る。
　本開示に係る画像処理方法は、医療画像を取得し、医療画像から注目領域を検出し、注目領域について、生検の対象とされる生検領域の確からしさを表す生検確信度を算出し、算出された生検確信度に応じて報知の度合いが異なる報知画像であり、医療画像に重畳して表示される報知画像を生成し、報知画像を表す表示信号をディスプレイ装置へ送信する。
　本開示に係る画像処理方法によれば、本開示に係る画像処理システムと同様の作用効果を得ることが可能である。本開示に係る画像処理方法において、本開示に係る画像処理システムの他の態様の構成要素を採用し得る。
　本開示に係るプログラムは、コンピュータに、医療画像を取得する機能、医療画像から注目領域を検出する機能、注目領域について、生検の対象とされる生検領域の確からしさを表す生検確信度を算出する機能、算出された生検確信度に応じて報知の度合いが異なる報知画像であり、医療画像に重畳して表示される報知画像を生成する機能、及び報知画像を表す表示信号をディスプレイ装置へ送信する機能を実現させるプログラムである。
　本開示に係るプログラムによれば、本開示に係る画像処理システムと同様の作用効果を得ることが可能である。本開示に係るプログラムにおいて、本開示に係る画像処理システムの他の態様の構成要素を採用し得る。
　本発明によれば、生検確信度に応じて報知の度合いが異なる報知画像が生成される。これにより、生検確信度に応じた報知が実施され、かつ、報知画像において報知の度合いを低下させた領域は、医師等のユーザの視界を妨げることを抑制し得る。
図１は第一実施形態に係る内視鏡システムの全体構成図である。 図２は図１に示す内視鏡の機能のブロック図である。 図３は図１に示す内視鏡画像処理部のブロック図である。 図４は第一実施形態に係る画像処理方法の手順を示すフローチャートである。 図５は第一例に係る報知画像の模式図である。 図６は第二例に係る報知画像の模式図である。 図７は第二実施形態に係る内視鏡システムの機能ブロック図である。 図８は第二実施形態に係る画像処理方法の手順を示すフローチャートである。 図９は報知画像の遷移の模式図である。
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。
　［第一実施形態に係る内視鏡システム］
　〔内視鏡システムの全体構成〕
　図１は第一実施形態に係る内視鏡システムの全体構成図である。内視鏡システム１０は、内視鏡本体１００、プロセッサ装置２００、光源装置３００及びディスプレイ装置４００を備える。なお、同図には内視鏡本体１００に具備される先端硬質部１１６の一部を拡大して図示する。
　〔内視鏡本体の構成例〕
　内視鏡本体１００は、手元操作部１０２及び挿入部１０４を備える。ユーザは、手元操作部１０２を把持して操作し、挿入部１０４を被検体の体内に挿入して、被検体の体内を観察する。なお、ユーザは医師及び術者等と同義である。また、ここでいう被検体は患者及び被検査者と同義である。
　手元操作部１０２は、送気送水ボタン１４１、吸引ボタン１４２、機能ボタン１４３及び撮像ボタン１４４を備える。送気送水ボタン１４１は送気指示及び送水指示の操作を受け付ける。
　吸引ボタン１４２は吸引指示を受け付ける。機能ボタン１４３は各種の機能が割り付けられる。機能ボタン１４３は各種機能の指示を受け付ける。撮像ボタン１４４は、撮像指示操作を受け付ける。撮像は動画像撮像及び静止画像撮像が含まれる。
　挿入部１０４は、軟性部１１２、湾曲部１１４及び先端硬質部１１６を備える。軟性部１１２、湾曲部１１４及び先端硬質部１１６は、手元操作部１０２の側から、軟性部１１２、湾曲部１１４及び先端硬質部１１６の順に配置される。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続され、挿入部１０４の基端側に手元操作部１０２が接続される。
　ユーザは、手元操作部１０２を操作し湾曲部１１４を湾曲させて、先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６は、撮像部、照明部及び鉗子口１２６を備える。
　図１では撮像部を構成する撮影レンズ１３２を図示する。また、同図では照明部を構成する照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを図示する。なお、撮像部は符号１３０を付して図２に図示する。また、照明部は符号１２３を付して図２に図示する。
　観察及び処置の際に、図２に示す操作部２０８の操作に応じて、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを介して、白色光及び狭帯域光の少なくともいずれかが出力される。
　送気送水ボタン１４１が操作された場合、送水ノズルから洗浄水が放出されるか、又は送気ノズルから気体が放出される。洗浄水及び気体は照明用レンズ１２３Ａ等の洗浄に用いられる。なお、送水ノズル及び送気ノズルの図示は省略する。送水ノズル及び送気ノズルを共通化してもよい。
　鉗子口１２６は管路と連通する。管路は処置具が挿入される。処置具は適宜進退可能に支持される。腫瘍等の摘出等の際に、処置具を適用して必要な処置が実施される。なお、図１に示す符号１０６はユニバーサルケーブルを示す。符号１０８はライトガイドコネクタを示す。
　図２は内視鏡システムの機能ブロック図である。内視鏡本体１００は、撮像部１３０を備える。撮像部１３０は先端硬質部１１６の内部に配置される。撮像部１３０は、撮影レンズ１３２、撮像素子１３４、駆動回路１３６及びアナログフロントエンド１３８を備える。
　撮影レンズ１３２は先端硬質部１１６の先端側端面１１６Ａに配置される。撮影レンズ１３２の先端側端面１１６Ａと反対側の位置には、撮像素子１３４が配置される。撮像素子１３４は、ＣＭＯＳ型のイメージセンサが適用される。撮像素子１３４はＣＣＤ型のイメージセンサを適用してもよい。なお、ＣＭＯＳはComplementary Metal-Oxide Semiconductorの省略語である。ＣＣＤはCharge Coupled Deviceの省略語である。
　撮像素子１３４はカラー撮像素子が適用される。カラー撮像素子の例としてＲＧＢに対応するカラーフィルタを備えた撮像素子が挙げられる。なお、ＲＧＢは赤、緑及び青のそれぞれの英語表記であるred、green及びyellowの頭文字である。
　撮像素子１３４はモノクロ撮像素子を適用してもよい。撮像素子１３４にモノクロ撮像素子が適用される場合、撮像部１３０は、撮像素子１３４の入射光の波長帯域を切り替えて、面順次又は色順次の撮像を実施し得る。
　駆動回路１３６は、プロセッサ装置２００から送信される制御信号に基づき、撮像素子１３４の動作に必要な各種のタイミング信号を撮像素子１３４へ供給する。
　アナログフロントエンド１３８は、アンプ、フィルタ及びＡＤコンバータを備える。なお、ＡＤはアナログ及びデジタルのそれぞれの英語表記であるanalog及びdigitalの頭文字である。アナログフロントエンド１３８は、撮像素子１３４の出力信号に対して、増幅、ノイズ除去及びアナログデジタル変換等の処理を施す。アナログフロントエンド１３８の出力信号は、プロセッサ装置２００へ送信される。なお、図２に示すＡＦＥは、アナログフロントエンドの英語表記であるAnalog Front End省略語である。
　観察対象の光学像は、撮影レンズ１３２を介して撮像素子１３４の受光面に結像される。撮像素子１３４は、観察対象の光学像を電気信号へ変換する。撮像素子１３４から出力される電気信号は、信号線を介してプロセッサ装置２００へ送信される。
　照明部１２３は先端硬質部１１６に配置される。照明部１２３は、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを備える。照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂは、先端側端面１１６Ａにおける撮影レンズ１３２の隣接位置に配置される。
　照明部１２３は、ライトガイド１７０を備える。ライトガイド１７０の射出端は、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂの先端側端面１１６Ａと反対側の位置に配置される。
　ライトガイド１７０は、図１に示す挿入部１０４、手元操作部１０２及びユニバーサルケーブル１０６に挿入される。ライトガイド１７０の入射端は、ライトガイドコネクタ１０８の内部に配置される。
　〔プロセッサ装置の構成例〕
　プロセッサ装置２００は、撮像信号取得部２０２、撮像信号処理部２０４、通信制御部２０５及びビデオ出力部２０６を備える。撮像信号取得部２０２は、内視鏡本体１００から送信される、観察対象の光学像に対応する電気信号を取得する。
　撮像信号処理部２０４は、観察対象の光学像に対応する電気信号である撮像信号に基づき、観察対象の内視鏡画像を生成する。なお、内視鏡画像は符号３８を付して図３に図示する。
　撮像信号処理部２０４は、撮像信号に対してホワイトバランス処理及びシェーディング補正処理等のデジタル信号処理を適用した画質補正を実施し得る。撮像信号処理部２０４は、ＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。
　ビデオ出力部２０６は、撮像信号処理部２０４を用いて生成された画像を表す表示信号をディスプレイ装置４００へ送信する。ディスプレイ装置４００は観察対象の画像を表示する。
　プロセッサ装置２００は、図１に示す撮像ボタン１４４が操作された際に、内視鏡本体１００から送信される撮像指令信号に応じて、撮像信号取得部２０２及び撮像信号処理部２０４等を動作させる。
　プロセッサ装置２００は、内視鏡本体１００から静止画像撮像を表すフリーズ指令信号を取得した場合に、撮像信号処理部２０４を適用して、撮像ボタン１４４の操作タイミングにおけるフレーム画像に基づく静止画像を生成する。プロセッサ装置２００は、ディスプレイ装置４００を用いて静止画像を表示させる。なお、フレーム画像は符号３８Ｂを付して図３に図示する。静止画像は符号３９を付して図３に図示する。
　プロセッサ装置２００は通信制御部２０５を備える。通信制御部２０５は、病院内システム及び病院内ＬＡＮ等を介して通信可能に接続される装置との通信を制御する。通信制御部２０５はＤＩＣＯＭ規格に準拠した通信プロトコルを適用し得る。なお、病院内システムの例として、ＨＩＳ（Hospital Information System）が挙げられる。ＬＡＮはLocal Area Networkの省略語である。
　プロセッサ装置２００は記憶部２０７を備える。記憶部２０７は、内視鏡本体１００を用いて生成された内視鏡画像を記憶する。記憶部２０７は、内視鏡画像に付帯する各種情報を記憶してもよい。
　プロセッサ装置２００は操作部２０８を備える。操作部２０８はユーザの操作に応じた指令信号を出力する。操作部２０８は、キーボード、マウス及びジョイスティック等を適用し得る。
　プロセッサ装置２００は、音声処理部２０９及びスピーカ２０９Ａを備える。音声処理部２０９は音声として報知される情報を表す音声信号を生成する。スピーカ２０９Ａは、音声処理部２０９を用いて生成された音声信号を音声へ変換する。スピーカ２０９Ａから出力される音声の例として、メッセージ、音声ガイダンス及び警告音等が挙げられる。
　プロセッサ装置２００は、システム制御部２１０、ＲＯＭ２１１及びＲＡＭ２１２を備える。なお、ＲＯＭはRead Only Memoryの省略語である。ＲＡＭはRandom Access Memoryの省略語である。
　システム制御部２１０は、プロセッサ装置２００の全体制御部として機能する。システム制御部２１０は、ＲＯＭ２１１及びＲＡＭ２１２を制御するメモリコントローラとして機能する。ＲＯＭ２１１は、プロセッサ装置２００に適用される各種のプログラム及び制御パラメータ等が記憶される。
　ＲＡＭ２１２は各種処理におけるデータの一時記憶領域及びシステム制御部２１０を用いた演算処理の処理領域に適用される。ＲＡＭ２１２は内視鏡画像を取得した際のバッファメモリに適用し得る。
　プロセッサ装置２００は、内視鏡本体１００を用いて生成された内視鏡画像に対して各種の処理を実施し、ディスプレイ装置４００を用いて内視鏡画像及び内視鏡画像に付帯する各種情報を表示させる。プロセッサ装置２００は、内視鏡画像及び内視鏡画像に付帯する各種情報を記憶する。
　すなわち、プロセッサ装置２００は、内視鏡本体１００を用いた内視鏡検査において、ディスプレイ装置４００を用いた内視鏡画像等の表示、スピーカ２０９Ａを用いた音声情報の出力及び内視鏡画像に対する各種処理を実施する。
　プロセッサ装置２００は、内視鏡画像処理部２２０を備える。内視鏡画像処理部２２０は、撮像信号処理部２０４を用いて生成される内視鏡画像に対して各種の画像処理を実施する。
　〔プロセッサ装置のハードウェア構成〕
　プロセッサ装置２００はコンピュータを適用し得る。コンピュータは、以下のハードウェアを適用し、規定のプログラムを実行してプロセッサ装置２００の機能を実現し得る。なお、プログラムはソフトウェアと同義である。
　プロセッサ装置２００は、信号処理を実施する信号処理部として各種のプロセッサデバイスを適用し得る。プロセッサデバイスの例として、ＣＰＵ及びＧＰＵ（Graphics Processing Unit）が挙げられる。ＣＰＵはプログラムを実行して信号処理部として機能する汎用的なプロセッサデバイスである。ＧＰＵは画像処理に特化したプロセッサデバイスである。プロセッサデバイスのハードウェアは、半導体素子等の電気回路素子を組み合わせた電気回路が適用される。各制御部は、プログラム等が記憶されるＲＯＭ及び各種演算の作業領域等であるＲＡＭを備える。
　一つの信号処理部に対して二つ以上のプロセッサデバイスを適用してもよい。二つ以上のプロセッサデバイスは、同じ種類のプロセッサデバイスでもよいし、異なる種類のプロセッサデバイスでもよい。また、複数の信号処理部に対して一つのプロセッサデバイスを適用してもよい。なお、実施形態に記載のプロセッサ装置２００は内視鏡制御部の一例に相当する。
　〔光源装置の構成例〕
　光源装置３００は、光源３１０、絞り３３０、集光レンズ３４０及び光源制御部３５０を備える。光源装置３００は、ライトガイド１７０へ観察光を入射させる。光源３１０は、赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂを備える。赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂはそれぞれ、赤色、緑色及び青色の狭帯域光を放出する。
　光源３１０は、赤色、緑色及び青色の狭帯域光を任意に組み合わせた照明光を生成し得る。例えば、光源３１０は赤色、緑色及び青色の狭帯域光を組み合わせて白色光を生成し得る。また、光源３１０は赤色、緑色及び青色の狭帯域光の任意の二色を組み合わせて狭帯域光を生成し得る。
　光源３１０は赤色、緑色及び青色の狭帯域光の任意の一色を用いて狭帯域光を生成し得る。光源３１０は、白色光又は狭帯域光を選択的に切り替えて放出し得る。なお、狭帯域光は特殊光と同義である。光源３１０は、赤外光を放出する赤外光源及び紫外光を放出する紫外光源等を備え得る。
　光源３１０は、白色光を放出する白色光源、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを備える態様を採用し得る。かかる態様の光源３１０は、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを切り替えて、白色光又は狭帯域光のいずれかを選択的に放出し得る。
　狭帯域光を通過させるフィルタは、異なる帯域に対応する複数のフィルタが含まれ得る。光源３１０は、異なる帯域に対応する複数のフィルタを選択的に切り替えて、帯域が異なる複数の狭帯域光を選択的に放出し得る。
　光源３１０は、観察対象の種類及び観察の目的等に応じた、種類及び波長帯域等を適用し得る。光源３１０の種類の例として、レーザ光源、キセノン光源及びＬＥＤ光源等が挙げられる。なお、ＬＥＤはLight-Emitting Diodeの省略語である。
　光源装置３００へライトガイドコネクタ１０８が接続された際に、光源３１０から放出された観察光は、絞り３３０及び集光レンズ３４０を介して、ライトガイド１７０の入射端へ到達する。観察光は、ライトガイド１７０及び照明用レンズ１２３Ａ等を介して、観察対象へ照射される。
　光源制御部３５０は、プロセッサ装置２００から送信される指令信号に基づき、光源３１０及び絞り３３０へ制御信号を送信する。光源制御部３５０は、光源３１０から放出される観察光の照度、観察光の切り替え及び観察光のオンオフ等を制御する。
　〔内視鏡画像処理部の構成例〕
　図３は図１に示す内視鏡画像処理部のブロック図である。なお、説明の都合上、図３には図２に示すプロセッサ装置２００の構成要素の一部を図示する。
　内視鏡画像処理部２２０は、プロセッサデバイス２４０を備える。プロセッサデバイス２４０は、内視鏡画像取得部２２２、病変領域検出部２２４、生検候補領域認識部２２６、確信度算出部２２８及び報知情報生成部２３０としての機能を備える。内視鏡画像処理部２２０は報知情報記憶部２３２を備える。なお、実施形態に記載のプロセッサデバイス２４０は一以上のプロセッサの一例である。
　内視鏡画像取得部２２２は、図１に示す内視鏡本体１００を用いて撮像した内視鏡画像３８を取得する。以下、内視鏡画像３８の取得は、動画像３８Ａの取得、フレーム画像３８Ｂの取得及び静止画像３９の取得を含み得る。
　内視鏡画像取得部２２２は、時系列のフレーム画像３８Ｂから構成される動画像３８Ａを取得し得る。内視鏡画像取得部２２２は動画像３８Ａの撮像途中に静止画像撮像が実施された場合に、静止画像３９を取得し得る。内視鏡画像取得部２２２は、取得した内視鏡画像３８を記憶する。内視鏡画像３８の記憶はＲＡＭ２１２を適用しうる。
　病変領域検出部２２４は、動画像３８Ａを構成するフレーム画像３８Ｂのそれぞれ又は静止画像３９から、注目領域として病変と疑わしい領域である病変領域を自動検出する。病変領域検出部２２４は、検出された病変領域の情報をフレーム画像３８Ｂ又は静止画像３９と関連付けして記憶する。病変領域の情報の記憶は、ＲＡＭ２１２を適用し得る。
　病変領域の情報は病変領域の位置の情報を含み得る。病変の例として、腫瘍、ポリープ、潰瘍及び炎症等が挙げられる。病変領域検出部２２４は、公知の画像処理に基づく手法を適用し得る。病変領域検出部２２４は、学習済みの学習モデルを適用し得る。
　生検候補領域認識部２２６は、病変領域検出部２２４を用いて内視鏡画像３８から検出された病変領域について、生検すべき領域である生検領域の候補となる生検候補領域を認識する。複数の病変領域が検出される場合は、それぞれの病変領域について生検候補領域が認識される。病変領域が規定の面積以上の場合に、生検候補領域を認識してもよい。
　確信度算出部２２８は、生検候補領域について、生検領域としての確からしさを表す生検確信度を算出する。確信度算出部２２８は、生検候補領域を構成する画素ごとのスコア及び確率として生検確信度を算出し得る。
　報知情報生成部２３０は、生検確信度を報知する報知情報を生成する。報知情報の一例として、ディスプレイ装置４００へ表示される内視鏡画像に重畳して表示される報知画像が挙げられる。報知情報生成部２３０は、生検確信度に応じて報知の度合いが異なる報知画像を生成する。
　報知情報記憶部２３２は、報知画像を含む報知情報を記憶する。報知情報記憶部２３２は、病変領域の情報及び生検候補領域の情報と関連付けをして、報知情報を記憶してもよい。
　［第一実施形態に係る画像処理方法の手順］
　図４は第一実施形態に係る画像処理方法の手順を示すフローチャートである。内視鏡画像取得工程Ｓ１０では、図３に示す内視鏡画像取得部２２２は内視鏡画像３８を取得する。内視鏡画像取得工程Ｓ１０の後に病変領域検出工程Ｓ１２へ進む。
　病変領域検出工程Ｓ１２では、病変領域検出部２２４は内視鏡画像３８を構成するフレーム画像３８Ｂのそれぞれ又は静止画像３９から病変領域を検出する。病変領域検出部２２４は検出された病変領域の情報を記憶する。病変領域検出工程Ｓ１２の後に病変領域判定工程Ｓ１４へ進む。
　病変領域判定工程Ｓ１４では、生検候補領域認識部２２６はフレーム画像３８Ｂ又は静止画像３９について、病変領域が検出されているか否かを判定する。病変領域判定工程Ｓ１４において生検候補領域認識部２２６が判定対象のフレーム画像３８Ｂ又は静止画像３９に病変領域が存在していないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は終了判定工程Ｓ２４へ進む。
　一方、病変領域判定工程Ｓ１４において生検候補領域認識部２２６が判定対象のフレーム画像３８Ｂ又は静止画像３９に病変領域が存在していると判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は生検候補領域認識工程Ｓ１６へ進む。
　生検候補領域認識工程Ｓ１６では、生検候補領域認識部２２６は病変領域について生検候補領域を認識する。生検候補領域認識工程Ｓ１６の後に確信度算出工程Ｓ１８へ進む。
　確信度算出工程Ｓ１８では、確信度算出部２２８は生検候補領域認識工程Ｓ１６において検出された生検候補領域について生検確信度を算出する。確信度算出工程Ｓ１８の後に報知情報生成工程Ｓ２０へ進む。
　報知情報生成工程Ｓ２０では、報知情報生成部２３０は確信度算出工程Ｓ１８において生成される生検確信度に基づき、報知情報として内視鏡画像に重畳表示させる報知画像を生成する。報知情報生成部２３０は報知情報記憶部２３２へ報知画像を記憶する。報知情報生成工程Ｓ２０の後に報知画像表示工程Ｓ２２へ進む。
　報知画像表示工程Ｓ２２では、報知情報生成部２３０はビデオ出力部２０６を介して報知画像を表す映像信号をディスプレイ装置４００へ送信する。ディスプレイ装置４００は報知画像を内視鏡画像３８に重畳表示させる。報知画像表示工程Ｓ２２の後に終了判定工程Ｓ２４へ進む。
　終了判定工程Ｓ２４では、内視鏡画像取得部２２２は内視鏡画像の取得を終了したか否かを判定する。内視鏡画像取得部２２２は内視鏡画像３８の最終のフレーム画像３８Ｂを取得した場合に内視鏡画像の取得を終了し得る。内視鏡画像取得部２２２は任意の内視鏡画像の取得から一定の期間が経過した場合に内視鏡画像の取得を終了し得る。
　終了判定工程Ｓ２４において、内視鏡画像取得部２２２が内視鏡画像の取得を終了していないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は内視鏡画像取得工程Ｓ１０へ進み、終了判定工程Ｓ２４においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０から終了判定工程Ｓ２４までの各工程を繰り返し実施する。
　一方、終了判定工程Ｓ２４において、内視鏡画像取得部２２２が内視鏡画像の取得を終了したと判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、プロセッサデバイス２４０は画像処理方法を終了する。
　［報知画像の具体例］
　図５は第一例に係る報知画像の模式図である。図５には大腸の内視鏡検査を実施した際に取得された内視鏡画像３８を構成する任意のフレーム画像３８Ｂを模式的に図示する。図６及び図９についても同様である。
　図５に示す内視鏡画像３８は、病変領域５００に対して報知画像５０２が重畳表示される。内視鏡画像３８は、病変領域５００の中心位置５０６及び病変領域５００の外周を囲むバウンディングボックス５０８が表示される。
　図５に示す報知画像５０２は生検候補領域５０４の全域を覆うサイズ及び形状を有している。報知画像５０２は、生検確信度に応じて報知の度合いが変えられている報知画像５０２は、第一領域５１０、第二領域５１２及び第三領域５１４が含まれる。
　第一領域５１０は、生検確信度が最大となる領域であり、病変領域５００の中心位置を含む領域である。第二領域５１２は、第一領域５１０よりも生検確信度が小さい領域であり、第一領域５１０の外側の領域である。第三領域５１４は、第二領域５１２よりも生検確信度が小さい領域であり、第二領域５１２の外側の領域である。
　第一領域５１０は、報知の度合いが最も低い領域であり、内視鏡画像３８の通常画像表示に近い表示がされる。第二領域５１２は、第一領域５１０よりも報知の度合いが高い領域であり、第一領域５１０を強調する。第三領域５１４は、第二領域５１２よりも報知の度合いが高い領域であり、第二領域５１２と同様に第一領域５１０を強調する。
　すなわち、報知画像５０２は、生検候補領域５０４に対するユーザの視認性を向上させ、かつ、生検候補領域における生検確信度が相対的に高い領域について、ユーザの視界の妨げを抑制し得る。
　報知の度合いを異ならせる例として、画質を制御する例が挙げられる。画質の例として彩度及び輝度が挙げられる。画質の他の例として解像度が挙げられる。すなわち、図５に示す第一領域５１０、第二領域５１２及び第三領域５１４は、病変領域５００の中心位置５０６からの距離が大きくなるに従い、彩度を低下させるか、輝度を低下させるか又は解像度を低下させてもよい。
　報知画像５０２は、輝度等を異ならせる範囲が、図２に示すプロセッサ装置２００を用いて変更可能な範囲に制限される。すなわち、報知画像５０２の報知の度合いは、内視鏡システム１０を使用するユーザが調整可能な範囲に制限される。ユーザが設定可能なパラメータの例として、輝度、彩度、色味及びホワイトバランスが挙げられる。
　これにより、報知画像５０２は、従来からの変更が少なく、かつ、内視鏡画像３８の通常観察表示とかけ離れることがなく、ユーザが観察し易い。
　図６は第二例に係る報知画像の模式図である。同図に示す報知画像５２０は、生検確信度に対する閾値を設定し、閾値を超えるか否か応じて報知の度合いが変更される。図６に示す報知画像５２０は、生検確信度が閾値を超える領域から構成される。これにより、ユーザが生検領域を直観的に判断し得る、報知画像５２０を提供し得る。
　図３に示す報知情報生成部２３０は、生検確信度に適用される閾値を設定する閾値設定部を備える。閾値設定部は、ユーザの入力情報に基づく閾値を設定し得る。
　［報知画像表示の変形例］
　報知画像５０２は、表示開始タイミングから規定の期間が経過したタイミングにおいて、自動的に非表示とされてもよい。規定の期間は固定してもよいし、調整を可能としてもよい。
　すなわち、図３に示すプロセッサデバイス２４０は、報知画像５０２の表示開始タイミングからの経過期間を測定し、測定開始タイミングから規定の期間が経過したタイミングにおいて、報知画像５０２を自動的に非表示とし得る。
　報知画像５０２の表示開始タイミングから一定の期間が経過した後は、ユーザは生検領域の確認を終えていると判断し得る。報知画像５０２が自動的に非表示とされると、ユーザを煩わせることがない。
　報知画像５０２を非表示とする指令信号に応じて、報知画像５０２は非表示とされてもよい。例えば、ユーザがボタン等の操作に応じて、報知画像５０２を非表示とする指令信号が送信され、報知画像５０２が非表示とされてもよい。なお、変形例に係る報知画像５０２の表示制御は、図６に示す報知画像５２０へも適用可能である。
　［生検候補領域の具体例］
　生検候補領域は、病変領域５００における病変領域の確からしさを表す病変確信度に基づき認識し得る。例えば、規定の閾値を超える病変確信度を有する領域を生検候補領域とし得る。生検候補領域は、病変領域５００の中心位置５０６を含む領域として規定し得る。
　生検候補領域は、学習済み学習モデルを用いて認識してもよい。学習モデルはＣＮＮを適用し得る。ＣＮＮは畳み込みニューラルネットワークを表す英語表記である、Convolutional Neural Networkの省略語である。
　［生検確信度の具体例］
　生検確信度は、生検候補領域５０４を構成する画素ごとに算出される。図５に示す第一領域５１０、第二領域５１２及び第三領域５１４のそれぞれは、同一の生検確信度を有する複数の画素の集合を表す。
　病変確信度に基づき生検候補領域が認識される場合に、生検候補領域における病変確信度を生検確信度としてもよい。
　［第一実施形態の作用効果］
　第一実施形態に係る内視鏡システム及び画像処理方法によれば、以下の作用効果を得ることが可能である。
　〔１〕
　病変領域５００について生検候補領域５０４が認識され、生検候補領域５０４について生検確信度が算出され、生検確信度に応じて報知の度合いを異ならせる報知画像５０２が生成され、報知画像５０２は内視鏡画像３８に重畳表示される。報知画像５０２において、生検確信度が相対的に低い第二領域５１２等と比較して、生検確信度が相対的に高い第一領域５１０は報知の度合いを低下させる。これにより、ユーザの視界の妨げが抑制される生検確信度の報知が可能となる。
　〔２〕
　報知画像５０２は、第一領域５１０と比較して、第二領域５１２及び第三領域５１４の画質を低下させる。これにより、第一領域５１０は内視鏡画像３８の通常観察と同様の観察状態が実現され、かつ、第一領域５１０を強調させることが可能となる。
　〔３〕
　報知画像５０２は、第一領域５１０と比較して、第二領域５１２及び第三領域５１４の輝度及び彩度を低下させる。これにより、第一領域５１０は内視鏡画像３８の通常観察と同様の観察状態が実現され、かつ、第一領域５１０を強調させることが可能となる。
　〔４〕
　報知画像５０２において輝度等を異ならせる範囲は、内視鏡システム１０において調整が可能な範囲に制限される。これにより、報知画像５０２を重畳させた内視鏡画像３８は、内視鏡画像３８の通常表示とかけ離れることがなく、観察し易い報知画像５０２を重畳表示させた内視鏡画像３８を表示し得る。
　〔５〕
　報知画像５０２の表示開始タイミングから規定期間が経過した後に、報知画像５０２は自動的に非表示とされる。これにより、報知画像５０２を非表示とする際に、ユーザを煩わせることを抑制し得る。
　［第二実施形態に係る内視鏡システム］
　図７は第二実施形態に係る内視鏡システムの機能ブロック図である。同図に示す内視鏡システム１０Ａは、図１等に示す内視鏡システム１０と比較して、内視鏡画像処理部２２０Ａに具備されるプロセッサデバイス２４０Ａの構成が相違する。
　すなわち、内視鏡システム１０Ａは、プロセッサデバイス２４０Ａに生検器具検出部２３４が具備される。生検器具検出部２３４は、内視鏡画像３８に鉗子等の生検器具が含まれていないか否かを検出する。
　生検器具検出部２３４が生検器具を検出する検出結果が得られる場合、ビデオ出力部２０６は内視鏡画像３８への報知画像の重畳表示を停止させる。内視鏡画像３８に生検器具が含まれる場合は、ユーザは既に生検領域を認識していると判断される。生検器具が検出される場合に自動的報知画像の重畳表示を停止させ、生検領域を精密に観察できるようにする。
　［第二実施形態に係る画像処理方法の手順］
　図８は第二実施形態に係る画像処理方法の手順を示すフローチャートである。同図に示すフローチャートは、図４に示すフローチャートに対して生検器具検出工程Ｓ３０及び報知画像非表示工程Ｓ３２が追加される。
　報知画像表示工程Ｓ２２において、ディスプレイ装置４００へ内視鏡画像３８に対する報知画像５０２の重畳表示が実施され、生検器具検出工程Ｓ３０へ進む。生検器具検出工程Ｓ３０では、図７に示す生検器具検出部２３４は内視鏡画像３８から生検器具検出を実施する。
　生検器具検出工程Ｓ３０において、生検器具検出部２３４が内視鏡画像３８から生検器具を検出する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、報知画像非表示工程Ｓ３２へ進む。一方、生検器具検出工程Ｓ３０において、生検器具検出部２３４が内視鏡画像３８から生検器具を検出しない場合はＮｏ判定となる。Ｎｏ判定の場合は、終了判定工程Ｓ２４へ進む。
　報知画像非表示工程Ｓ３２では、報知情報生成部２３０は、ビデオ出力部２０６を介して、内視鏡画像３８へ重畳表示されている報知画像５０２を非表示とする。報知画像非表示工程Ｓ３２において、報知画像５０２が非表示とされた後に終了判定工程Ｓ２４へ進む。
　［報知画像の具体例］
　図９は報知画像の遷移の模式図である。同図に示す符号６００は、生検器具６０２が検出された際の内視鏡画像３８を模式的に示す。符号６１０は報知画像５０２が非表示とされる内視鏡画像３８を模式的に示す。内視鏡画像の模式図６００に示す報知画像５０２は、図５に示す第一領域５１０等の図示を省略した。
　内視鏡画像の模式図６１０として図示した内視鏡画像３８は病変領域５００を強調するバウンディングボックスが非表示とされるが、バウンディングボックスを表示してもよい。なお、図９に示す生検器具６０２は処置具の一例である。
　［第二実施形態の変形例］
　生検の際に、生検候補領域の位置を認識したい場合があり得る。そこで、図９に示す生検器具６０２が検出された場合に、報知画像５０２の表示を継続させ、かつ、生検器具６０２が非検出となった場合に、生検が終了したと判断して、自動的に報知画像５０２を非表示としてもよい。
　変形例に係る画像処理方法は、図８に示すフローチャートにおいて、生検器具検出工程Ｓ３０と報知画像非表示工程Ｓ３２との間に生検器具非検出工程が追加される。生検器具非検出工程では、図７に示す生検器具検出部２３４は、生検器具検出工程Ｓ３０において検出された生検器具が非検出となるか否かを判定する。
　生検器具非検出工程において、生検器具検出部２３４が生検器具を検出する場合はＮｏ判定となる。Ｎｏ判定の場合は、生検器具非検出工程においてＹｅｓ判定となるまで、生検器具非検出工程が繰り返し実施される。
　一方、生検器具非検出工程において、生検器具検出部２３４が生検器具が非検出となったと判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は報知画像非表示工程Ｓ３２へ進む。報知画像非表示工程Ｓ３２が実施された後に終了判定工程Ｓ２４が実施される。
　［第二実施形態の作用効果］
　第一実施形態に係る内視鏡システム及び画像処理方法によれば、以下の作用効果を得ることが可能である。
　〔１〕
内視鏡画像３８から生検器具６０２が検出される場合に、報知画像５０２が非表示される。これにより、生検の際に、報知画像５０２のユーザの視界の妨げを抑制し得る。
　〔２〕
　内視鏡画像３８から生検器具６０２が検出され、その後、内視鏡画像３８から生検器具６０２が非検出となる場合に、報知画像５０２を非表示とされる。これにより、生検の際に、生検候補領域を認識でき、かつ、報知画像５０２のユーザの視界の妨げを抑制し得る。
　［処理部のハードウェア構成］
　図２、図３及び図７等に示す各種の処理部は、各種のプロセッサデバイスを適用し得る。なお、処理部はprocessing unitと呼ばれる場合があり得る。各種のプロセッサデバイスには、ＣＰＵ（Central Processing Unit）、ＰＬＤ（Programmable Logic Device）及びＡＳＩＣ（Application Specific Integrated Circuit）等が含まれる。
　ＣＰＵは、プログラムを実行して各種の処理部として機能する汎用的なプロセッサデバイスである。ＰＬＤは、製造後に回路構成を変更可能なプロセッサデバイスである。ＰＬＤの例として、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。ＡＳＩＣは、特定の処理を実施させるために専用に設計された回路構成を有する専用電気回路である。
　一つの処理部は、これら各種のプロセッサデバイスのうちの一つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサデバイスで構成されてもよい。例えば、一つの処理部は、複数のＦＰＧＡ等を用いて構成されてもよい。一つの処理部は、一つ以上のＦＰＧＡ及び一つ以上のＣＰＵを組み合わせて構成されてもよい。
　また、一つのプロセッサデバイスを用いて複数の処理部を構成してもよい。一つのプロセッサデバイスを用いて複数の処理部を構成する例として、一つ以上のＣＰＵとソフトウェアとを組み合わせて一つのプロセッサを構成し、一つプロセッサデバイスが複数の処理部として機能する形態がある。かかる形態は、クライアント端末装置及びサーバ装置等のコンピュータに代表される。
　他の構成例として。複数の処理部を含むシステム全体の機能を一つのＩＣチップを用いて実現するプロセッサデバイスを使用する形態が挙げられる。かかる形態は、システムオンチップ（System On Chip）などに代表される。なお、ＩＣはIntegrated Circuitの省略語である。また、システムオンチップは、System On Chipの省略語を用いてＳｏＣと記載される場合がある。
　このように、各種の処理部は、ハードウェア的な構造として、上記した各種のプロセッサデバイスを一つ以上用いて構成される。更に、各種のプロセッサデバイスのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　［内視鏡システムの変形例］
　〔照明光の変形例〕
　図１に示す内視鏡システム１０を用いて取得可能な医用画像の一例として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像が挙げられる。
　本実施形態に示す内視鏡システム１０を用いて取得可能な医用画像の他の例として、特定の波長帯域の光を照射して得た画像が挙げられる。特定の波長帯域は白色帯域よりも狭い帯域を適用可能である。以下の変形例の適用が可能である。
　〈第一変形例〉
　特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、かつ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。
　〈第二変形例〉
　特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、かつ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。
　〈第三変形例〉
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、かつ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。
　〈第四変形例〉
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、かつこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。
　〈第五変形例〉
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、かつ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。
　〔特殊光画像の生成例〕
　プロセッサ装置２００は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置２００は、特殊光画像取得部として機能する。そして、プロセッサ装置２００は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑及び青、或いはシアン、マゼンタ及びイエローの色情報に基づく演算を行うことで得る。
　なお、シアン、マゼンタ及びイエローは、それぞれの英語表記であるCyan、Magenta及びYellowの頭文字を用いてＣＭＹと表されることがある。
　〔特徴量画像の生成例〕
　医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。
　［実施形態及び変形例等の組み合わせについて］
　上述した実施形態で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き替えることもできる。
　［画像処理システムへの適用例］
　図３に示す内視鏡画像処理部２２０及び図７に示す内視鏡画像処理部２２０Ａは、一以上のプロセッサ及び一以上のメモリを備える画像処理装置の構成要素となり得る。かかる画像処理装置は、内視鏡画像だけでなく、ＣＴ画像、ＭＲＩ画像及び超音波画像など、内視鏡システム以外のモダリティから取得される、内視鏡画像以外の医療画像に対して報知画像を重畳表示させる医療画像処理システムを構成し得る。なお、医療画像処理システムは医療画像処理を含む概念を表す。
　ここで、医療画像は医用画像の意味を含み得る。なお、ＣＴはComputed Tomographyの省略語である。ＭＲＩはMagnetic Resonance Imagingの省略語である。
　［プログラムへの適用例］
　上述した内視鏡システム及び画像処理方法は、コンピュータを用いて、内視鏡画像処理部２２０の各部及び画像処理方法の各工程に対応する機能を実現させるプログラムとして構成可能である。コンピュータを用いて実現される機能の例として、医用画像を取得する機能、医用画像から病変領域を検出する機能、病変領域から生検候補領域を認識する機能、生検候補領域について生検確信度を算出する機能、生検確信度に基づき報知の度合いを異ならせる報知画像を生成する機能及び報知画像を内視鏡画像へ重畳表示させる信号を送信する機能が挙げられる。
　上述した各種の機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。
　また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、通信ネットワークを介してプログラム信号を提供する態様も可能である。
　以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
１０　内視鏡システム
１０Ａ　内視鏡システム
３８　内視鏡画像
３８Ａ　動画像
３８Ｂ　フレーム画像
３９　静止画像
１００　内視鏡本体
１０２　手元操作部
１０４　挿入部
１０６　ユニバーサルケーブル
１０８　ライトガイドコネクタ
１１２　軟性部
１１４　湾曲部
１１６　先端硬質部
１１６Ａ　先端側端面
１２３　照明部
１２３Ａ　照明用レンズ
１２３Ｂ　照明用レンズ
１２６　鉗子口
１３０　撮像部
１３２　撮影レンズ
１３４　撮像素子
１３６　駆動回路
１３８　アナログフロントエンド
１４１　送気送水ボタン
１４２　吸引ボタン
１４３　機能ボタン
１４４　撮像ボタン
１７０　ライトガイド
２００　プロセッサ装置
２０２　撮像信号取得部
２０４　撮像信号処理部
２０５　通信制御部
２０６　ビデオ出力部
２０７　記憶部
２０８　操作部
２０９　音声処理部
２０９Ａ　スピーカ
２１０　システム制御部
２１１　ＲＯＭ
２１２　ＲＡＭ
２２０　内視鏡画像処理部
２２０Ａ　内視鏡画像処理部
２２２　内視鏡画像取得部
２２４　病変領域検出部
２２６　生検候補領域認識部
２２８　確信度算出部
２３０　報知情報生成部
２３２　報知情報記憶部
２４０　プロセッサデバイス
２４０Ａ　プロセッサデバイス
３００　光源装置
３１０　光源
３１０Ｂ　青色光源
３１０Ｇ　緑色光源
３１０Ｒ　赤色光源
３３０　絞り
３４０　集光レンズ
３５０　光源制御部
４００　ディスプレイ装置
５００　病変領域
５０２　報知画像
５０４　生検候補領域
５０６　中心位置
５０８　バウンディングボックス
５１０　第一領域
５１２　第二領域
５１４　第三領域
５２０　報知画像
６００　内視鏡画像の模式図
６０２　生検器具
６１０　内視鏡画像の模式図
Ｓ１０からＳ３２　画像処理方法の各工程

Claims (15)

  1. 　一以上のプロセッサを備えた画像処理システムであって、
    　前記プロセッサは、
    　医療画像を取得し、
    　前記医療画像から注目領域を検出し、
    　前記注目領域について、生検の対象とされる生検領域の確からしさを表す生検確信度を算出し、
    　前記算出された前記生検確信度に応じて報知の度合いが異なる報知画像であり、前記医療画像に重畳して表示される報知画像を生成し、
    　前記報知画像を表す表示信号をディスプレイ装置へ送信する画像処理システム。
  2. 　前記プロセッサは、
    　前記生検確信度に対する閾値を設定し、
    　前記閾値を超える生検確信度を報知画像として表示させる請求項１に記載の画像処理システム。
  3. 　前記プロセッサは、前記算出された前記生検確信度に応じて、前記報知画像の画質を異ならせる前記報知画像を生成する請求項１又は２に記載の画像処理システム。
  4. 　前記プロセッサは、前記生検確信度が相対的に大きい領域に対して、前記生検確信度が相対的に小さい領域の画質を低下させる前記報知画像を生成する請求項３に記載の画像処理システム。
  5. 　前記プロセッサは、前記算出された前記生検確信度に応じて、前記報知画像の彩度を異ならせる前記報知画像を生成する請求項３又は４に記載の画像処理システム。
  6. 　前記プロセッサは、前記生検確信度が相対的に大きい領域に対して、前記生検確信度が相対的に小さい領域の彩度を低下させる前記報知画像を生成する請求項５に記載の画像処理システム。
  7. 　前記プロセッサは、前記算出された前記生検確信度に応じて、前記報知画像の輝度を異ならせる前記報知画像を生成する請求項３から６のいずれか一項に記載の画像処理システム。
  8. 　前記プロセッサは、前記生検確信度が相対的に大きい領域に対して、前記生検確信度が相対的に小さい領域の輝度を低下させる前記報知画像を生成する請求項７に記載の画像処理システム。
  9. 　前記プロセッサは、
    　前記報知画像の表示開始タイミングからの経過期間を測定し、
    　前記報知画像の表示開始タイミングからの経過期間が規定の期間を経過した場合に、前記報知画像を表す表示信号の送信を停止させる請求項１から８のいずれか一項に記載の画像処理システム。
  10. 　前記プロセッサは、
    　生検が実施されたか否かを検出し、
    　生検の実施を表す検出結果が得られた場合に、前記報知画像を表す表示信号の送信を停止させる請求項１から９のいずれか一項に記載の画像処理システム。
  11. 　前記プロセッサは、
    　前記注目領域について病変らしさを表す病変確信度を算出し、
    　前記病変確信度が規定の閾値を超える前記注目領域について、前記生検確信度を算出する請求項１から１０のいずれか一項に記載の画像処理システム。
  12. 　一以上のプロセッサを備え、内視鏡を制御するプロセッサ装置であって、
    　前記プロセッサは、
    　前記内視鏡から内視鏡画像を取得し、
    　前記内視鏡画像から注目領域を検出し、
    　前記注目領域について、生検の対象とされる生検領域の確からしさを表す生検確信度を算出し、
    　前記算出された前記生検確信度に応じて報知の度合いが異なる報知画像であり、前記内視鏡画像に重畳して表示される報知画像を生成し、
    　前記報知画像を表す表示信号をディスプレイ装置へ送信するプロセッサ装置。
  13. 　内視鏡と、
    　前記内視鏡を制御するプロセッサ装置と、
    　一以上のプロセッサと、
    　を備えた内視鏡システムであって、
    　前記プロセッサは、
    　前記内視鏡から内視鏡画像を取得し、
    　前記内視鏡画像から注目領域を検出し、
    　前記注目領域について、生検の対象とされる生検領域の確からしさを表す生検確信度を算出し、
    　前記算出された前記生検確信度に応じて報知の度合いが異なる報知画像であり、前記内視鏡画像に重畳して表示される報知画像を生成し、
    　前記報知画像を表す表示信号をディスプレイ装置へ送信する内視鏡システム。
  14. 　医療画像を取得し、
    　前記医療画像から注目領域を検出し、
    　前記注目領域について、生検の対象とされる生検領域の確からしさを表す生検確信度を算出し、
    　前記算出された前記生検確信度に応じて報知の度合いが異なる報知画像であり、前記医療画像に重畳して表示される報知画像を生成し、
    　前記報知画像を表す表示信号をディスプレイ装置へ送信する画像処理方法。
  15. 　コンピュータに、
    　医療画像を取得する機能、
    　前記医療画像から注目領域を検出する機能、
    　前記注目領域について、生検の対象とされる生検領域の確からしさを表す生検確信度を算出する機能、
    　前記算出された前記生検確信度に応じて報知の度合いが異なる報知画像であり、前記医療画像に重畳して表示される報知画像を生成する機能、及び
    　前記報知画像を表す表示信号をディスプレイ装置へ送信する機能を実現させるプログラム。
PCT/JP2021/026536 2020-09-11 2021-07-15 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム WO2022054400A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022547419A JPWO2022054400A1 (ja) 2020-09-11 2021-07-15
US18/179,291 US20230200626A1 (en) 2020-09-11 2023-03-06 Image processing apparatus, processor apparatus, endoscope system, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020152970 2020-09-11
JP2020-152970 2020-09-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/179,291 Continuation US20230200626A1 (en) 2020-09-11 2023-03-06 Image processing apparatus, processor apparatus, endoscope system, image processing method, and program

Publications (1)

Publication Number Publication Date
WO2022054400A1 true WO2022054400A1 (ja) 2022-03-17

Family

ID=80632214

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026536 WO2022054400A1 (ja) 2020-09-11 2021-07-15 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20230200626A1 (ja)
JP (1) JPWO2022054400A1 (ja)
WO (1) WO2022054400A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024121886A1 (ja) * 2022-12-05 2024-06-13 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2024180445A1 (en) * 2023-02-27 2024-09-06 Cilag Gmbh International Adaptive overlay stabilization of false color overlay heatmaps
WO2024180446A1 (en) * 2023-02-27 2024-09-06 Cilag Gmbh International False color overlay heatmaps with adjustable sensitivity settings

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011177419A (ja) * 2010-03-03 2011-09-15 Olympus Corp 蛍光観察装置
WO2016175084A1 (ja) * 2015-04-30 2016-11-03 富士フイルム株式会社 画像処理装置、方法及びプログラム
JP2020024286A (ja) * 2018-08-07 2020-02-13 オリンパス株式会社 計測装置、計測装置の作動方法、およびプログラム
WO2020067105A1 (ja) * 2018-09-28 2020-04-02 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システム
WO2020090729A1 (ja) * 2018-11-01 2020-05-07 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011177419A (ja) * 2010-03-03 2011-09-15 Olympus Corp 蛍光観察装置
WO2016175084A1 (ja) * 2015-04-30 2016-11-03 富士フイルム株式会社 画像処理装置、方法及びプログラム
JP2020024286A (ja) * 2018-08-07 2020-02-13 オリンパス株式会社 計測装置、計測装置の作動方法、およびプログラム
WO2020067105A1 (ja) * 2018-09-28 2020-04-02 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システム
WO2020090729A1 (ja) * 2018-11-01 2020-05-07 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024121886A1 (ja) * 2022-12-05 2024-06-13 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2024180445A1 (en) * 2023-02-27 2024-09-06 Cilag Gmbh International Adaptive overlay stabilization of false color overlay heatmaps
WO2024180446A1 (en) * 2023-02-27 2024-09-06 Cilag Gmbh International False color overlay heatmaps with adjustable sensitivity settings

Also Published As

Publication number Publication date
US20230200626A1 (en) 2023-06-29
JPWO2022054400A1 (ja) 2022-03-17

Similar Documents

Publication Publication Date Title
US11033175B2 (en) Endoscope system and operation method therefor
WO2022054400A1 (ja) 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム
JP7411772B2 (ja) 内視鏡システム
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
US12035879B2 (en) Medical image processing apparatus, endoscope system, and medical image processing method
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
WO2018159083A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP2022000163A (ja) 画像処理装置、内視鏡システム、及び画像処理方法
CN111295124B (zh) 内窥镜系统、内窥镜图像的生成方法和处理器
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JP7507797B2 (ja) 医用画像処理装置、内視鏡システム、医用画像処理装置の作動方法、プログラム、及び記録媒体
US20230027950A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
JP2023026480A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7402314B2 (ja) 医用画像処理システム、医用画像処理システムの作動方法
JPWO2019138772A1 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
US20230237659A1 (en) Image processing apparatus, endoscope system, operation method of image processing apparatus, and non-transitory computer readable medium
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
JP7256275B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
WO2022145424A1 (ja) コンピュータプログラム、学習モデルの生成方法、及び手術支援装置
US20230074314A1 (en) Image processing device, image processing method, and program
US20230077690A1 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866360

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022547419

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21866360

Country of ref document: EP

Kind code of ref document: A1