WO2021141048A1 - 内視鏡システム、プロセッサ装置、診断支援方法、及びコンピュータプログラム - Google Patents

内視鏡システム、プロセッサ装置、診断支援方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2021141048A1
WO2021141048A1 PCT/JP2021/000217 JP2021000217W WO2021141048A1 WO 2021141048 A1 WO2021141048 A1 WO 2021141048A1 JP 2021000217 W JP2021000217 W JP 2021000217W WO 2021141048 A1 WO2021141048 A1 WO 2021141048A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
unit
image
distance
captured
Prior art date
Application number
PCT/JP2021/000217
Other languages
English (en)
French (fr)
Inventor
西出　明彦
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to JP2021570068A priority Critical patent/JPWO2021141048A1/ja
Priority to US17/632,443 priority patent/US11842815B2/en
Publication of WO2021141048A1 publication Critical patent/WO2021141048A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an endoscopic system, a processor device, a diagnostic support method, and a computer program.
  • An endoscopic system for observing the inside of a lumen such as the human esophagus and intestine is known.
  • This type of endoscope system includes an endoscope processor that processes an image of a subject captured by an electronic scope.
  • the endoscope processor performs image processing such as color conversion processing and noise reduction processing on the pixel signal in order to display an observation image that is easy for the operator (for example, a doctor) to see on the monitor device (for example, Patent Document 1). reference).
  • information such as the size and color of lesions such as tumors is indispensable information for diagnosis.
  • the size and color of the part observed by the endoscope may change depending on the distance from the imaging unit to the subject, and the endoscopic image obtained by the conventional endoscopic system is observed. It does not reflect the absolute size or color of the tissue. Therefore, even if the operator browses the endoscopic image displayed on the monitoring device, the operator may misidentify the size and color of the observation portion.
  • An object of the present invention is to provide an endoscope system, a processor device, a diagnostic support method, and a computer program capable of presenting accurate diagnostic support information to an operator.
  • the endoscope system is an endoscope system including an endoscope and a processor device for processing an image captured from the endoscope, and the endoscope is a subject.
  • the processor device includes an imaging unit that captures an image and a focal length changing unit that changes the focal length of the imaging unit in order to change the focusing position on the subject along the optical axis direction of the imaging unit.
  • the degree of focusing is determined for each of the image acquisition unit that acquires a plurality of captured images captured at different focusing positions with respect to the subject from the imaging unit and the partial regions corresponding to the acquired plurality of captured images.
  • An evaluation value calculation unit that calculates the evaluation value to be represented, a specific unit that identifies an image captured image having a partial area having the highest degree of focusing among the plurality of captured images, and a specific unit based on the calculated evaluation value of each partial area. Based on the imaging conditions when the captured image is captured, the distance calculation unit that calculates the distance for the region on the subject corresponding to the partial region and the distance for the plurality of regions on the subject are calculated. , A distance information generation unit that generates distance information for the subject, an extraction unit that extracts a feature region from the captured image, a distance information generated by the distance information generation unit, and a feature region extracted by the extraction unit. It includes a diagnostic support unit that generates diagnostic support information for the subject based on the feature parameters, and an output unit that outputs diagnostic support information generated by the diagnostic support unit.
  • the processor device changes the focal length of an image pickup unit that images a subject and the image pickup unit so that the focusing position on the subject is changed along the optical axis direction of the image pickup unit.
  • a processor device connected to an endoscope provided with a focal length changing unit and processing a plurality of captured images obtained from the endoscope, and a plurality of images captured at different focusing positions with respect to the subject.
  • An image acquisition unit that acquires an image from the image pickup unit, an evaluation value calculation unit that calculates an evaluation value indicating the degree of focusing for each of the corresponding partial regions between the acquired plurality of captured images, and each calculated partial region.
  • a distance calculation unit that calculates a distance for a region on the subject corresponding to the above, a distance information generation unit that generates distance information for the subject by calculating the distance for a plurality of regions on the subject, and the image pickup.
  • Diagnostic support that generates diagnostic support information for the subject based on the extraction unit that extracts the feature area from the image, the distance information generated by the distance information generation unit, and the feature parameters related to the feature area extracted by the extraction unit.
  • a unit and an output unit that outputs diagnostic support information generated by the diagnostic support unit are provided.
  • a plurality of captured images captured at different focusing positions on a subject are acquired from an imaging unit of an endoscope, and the acquired plurality of captured images correspond to each other.
  • An evaluation value indicating the degree of focusing is calculated for each of the partial regions to be in focus, and based on the calculated evaluation value of each partial region, an captured image having the partial region having the highest degree of focusing among the plurality of captured images is obtained.
  • the computer program acquires a plurality of captured images taken by a computer from an imaging unit of an endoscope at different focusing positions on a subject, and among the acquired plurality of captured images. For each of the corresponding partial regions in, an evaluation value indicating the degree of focusing is calculated, and based on the calculated evaluation value of each partial region, an image pickup having the partial region having the highest degree of focusing among the plurality of captured images. An image is specified, a distance is calculated for a region on the subject corresponding to the partial region, and the distance is calculated for a plurality of regions on the subject based on the imaging conditions when the captured image is captured.
  • Generates distance information for the subject extracts a feature region from the captured image, and generates and generates diagnostic support information for the subject based on the distance information of the subject and the feature parameters related to the feature region.
  • This is a computer program for executing the process of outputting the diagnostic support information.
  • FIG. It is a schematic diagram explaining the structure of an endoscope system. It is a block diagram explaining the internal structure of an endoscope and a processor apparatus. It is explanatory drawing explaining the imaging procedure of the subject in Embodiment 1.
  • FIG. It is a schematic diagram which shows an example of the captured image acquired by a processor apparatus. It is explanatory drawing explaining the evaluation method of the degree of focusing.
  • It is a block diagram which shows an example of a learning model.
  • FIG. It is a schematic diagram which shows the display example during imaging. It is explanatory drawing explaining the imaging procedure of the subject in Embodiment 2.
  • FIG. It is a flowchart explaining the procedure of the process executed by the processor apparatus in Embodiment 3.
  • It is explanatory drawing explaining the display example in Embodiment 5.
  • FIG. 1 is a schematic view illustrating the configuration of an endoscope system.
  • the endoscope system according to the first embodiment includes an endoscope 10 for observing a subject and a processor device 20 for processing image data of an endoscope image output from the endoscope 10.
  • a monitor device 30 that displays information to be notified to an operator (for example, a doctor) who operates the endoscope 10 is connected to the processor device 20.
  • the endoscope 10 is provided at the endoscope insertion portion 11 inserted inside the subject, the imaging portion 12 built in the tip portion of the endoscope insertion portion 11, and the rear end portion of the endoscope insertion portion 11.
  • the connector 15 is provided.
  • the subject by the endoscope 10 is, for example, a tissue inside the human body.
  • the subject is not limited to the tissue inside the human body, but may be a tissue inside an organism or a structure other than the organism.
  • the endoscope insertion portion 11 has a flexible tube 11a that is connected to the operation unit 13 and is formed to be relatively long, and a bendable curve that is coaxially connected to the flexible tube 11a and is formed to be relatively short. It has a part 11b.
  • the flexible tube 11a is formed by, for example, further coating a flexible resin outer skin on the outer peripheral surface of the flexible tube material formed by coating a spiral tube with a mesh tube.
  • the curved portion 11b is formed by, for example, further covering a flexible and elastic rubber outer skin on the outer peripheral surface of a curved pipe formed by covering a plurality of articular rings connected in a tiltable manner with a mesh tube. ing.
  • the bending mechanism in the bending portion 11b is a well-known mechanism incorporated in a general endoscope, and is configured so that the bending portion 11b is bent by pulling an operation wire linked to the operation of the operation portion 13. ..
  • the direction of the tip portion changes according to the bending operation by the above operation, so that the imaging region by the imaging unit 12 moves.
  • the image pickup unit 12 includes an image pickup element 124 (see FIG. 2) such as CMOS (Complementary Metal Oxide Semiconductor), and outputs image data of the captured image obtained by imaging the subject to the processor device 20.
  • CMOS Complementary Metal Oxide Semiconductor
  • the operation unit 13 includes bending operation knobs 13a and 13b that receive an operation for bending the bending portion 11b of the endoscope 10.
  • the curved portion 11b is configured to be curved in the left-right direction in response to the rotation of the bending operation knob 13a, and to be curved in the vertical direction in response to the rotation of the bending operation knob 13b, for example.
  • the vertical, horizontal, and horizontal directions in which the curved portion 11b is curved are appropriately set with respect to the direction in which the endoscope insertion portion 11 extends.
  • the operation unit 13 includes an air supply / water supply button for ejecting gas or liquid from the tip portion, a freeze button for switching an observation image to a moving image display or a still image display, and a monitoring device 30. It may be provided with a zoom button for instructing enlargement / reduction of the observation image displayed on the screen, a switching button for switching between normal light observation and special light observation, and the like.
  • the processor device 20 is a device integrally provided with a light source unit 24 that irradiates light inside a subject that natural light does not reach, and an image processing unit 25 that performs image processing on an image captured by the endoscope 10. Yes (see Figure 2).
  • the processor device 20 may include a light source unit and an image processing unit as separate bodies.
  • the processor device 20 should extract a characteristic region including a lesion such as a tumor from an image captured by the imaging unit 12 (also referred to as an endoscope image) and notify the operator of the endoscope 10. Generate diagnostic support information. At this time, the processor device 20 according to the present embodiment generates distance information with respect to the subject based on the captured image captured by the imaging unit 12. The method of generating the distance information will be described in detail later. By generating diagnostic support information in consideration of the generated distance information, the processor device 20 can correct, for example, a small lesion area on the screen based on the distance information, so that the operator can correct it. It is possible to provide accurate diagnostic support information to the CPU.
  • the monitor device 30 is a device connected to the processor device 20 and for displaying images and various information output from the processor device 20.
  • the monitor device 30 is a general-purpose display device such as a liquid crystal display device.
  • the monitoring device 30 may be an integral device with the processor device 20.
  • FIG. 2 is a block diagram illustrating the internal configurations of the endoscope 10 and the processor device 20.
  • the imaging unit 12 of the endoscope 10 is provided at the tip end portion of the endoscope insertion unit 11.
  • the image pickup unit 12 includes, for example, a lens group including an objective lens 121 and a zoom lens 122, a lens drive mechanism 123 for moving the zoom lens 122 in the optical axis direction, and an image pickup element 124 such as CMOS.
  • the objective lens 121 is arranged inside an observation window (not shown) provided at the tip of the endoscope 10.
  • the zoom lens 122 is arranged so as to face the objective lens 121.
  • the zoom lens 122 is configured to freely move between the telephoto end and the wide end by driving the lens driving mechanism 123.
  • the imaging unit 12 can change the focal length by moving the zoom lens 122, and by changing the focal length to image the subject, a plurality of captured images having different focusing positions on the subject. Can be provided to the processor device 20.
  • the image pickup unit 12 is driven by the driver circuit 120.
  • the driver circuit 120 is arranged in a connection portion (inside the scope connector 15) with the processor device 20, and includes a CPU (Central Processing Unit), a timing generator (TG), an analog signal processing circuit (AEF), and the like.
  • the driver circuit takes in the signals of each color of RGB (Red, Green, Blue) output from the image sensor 124 according to the clock signal output from the TG, and performs necessary processing such as noise removal, amplification, and AD conversion.
  • the digital format image data obtained is output to the processor device 20.
  • the endoscope 10 includes an illumination lens 151 and a light guide 152.
  • the illumination lens 151 is arranged inside an illumination window provided at the tip of the endoscope insertion portion 11.
  • the light guide 152 is composed of, for example, a plurality of quartz optical fibers, and is arranged inside the endoscope insertion unit 11, the operation unit 13, and the universal cord 14.
  • the illumination light emitted from the light source unit 24 of the processor device 20 is guided by the light guide 152, diffused by the illumination lens 151, and then irradiated to the subject through the illumination window.
  • the processor device 20 includes a controller 21, a memory 22, an operation panel 23, a light source unit 24, an image processing unit 25, an output interface 26, a communication interface 27, and the like.
  • the controller 21 includes, for example, a CPU, a ROM (ReadOnlyMemory), a RAM (RandomAccessMemory), and the like, and is described above by expanding the control program stored in the ROM in advance into the RAM and executing the CPU. Controls the operation of each part of the hardware.
  • the controller 21 is not limited to the above configuration, and the GPU (Graphics Processing Unit), FPGA (Field Programmable Gate Array), DSP (Digital Signal Processor), quantum processor, volatile or non-volatile memory, etc. It may be one or a plurality of processing circuits including. Further, even if the controller 21 has functions such as a clock for outputting information related to the current time, a timer for measuring the elapsed time from giving the measurement start instruction to giving the measurement end instruction, and a counter for counting the number. Good.
  • a clock for outputting information related to the current time
  • a timer for measuring the elapsed time from giving the measurement start instruction to giving the measurement end instruction
  • a counter for counting the number. Good.
  • the memory 22 includes a non-volatile memory such as an EPROM (ErasableProgrammableReadOnlyMemory). Instead of the non-volatile memory, a recording device equipped with a hard disk or the like may be provided. The memory 22 stores data generated inside the processor device 20, data input from the outside, and the like. In another embodiment, the memory 22 is a portable recording medium such as a USB memory (USB: Universal Serial Bus), an SD card (SD: Secure Digital), or the like, even if it is detachable from the processor device 20. Good.
  • USB Universal Serial Bus
  • SD Secure Digital
  • the operation panel 23 includes various switches, buttons, touch panel devices, etc. provided in the housing of the processor device 20.
  • the operation panel 23 outputs an operation signal corresponding to the operation of the operator to the controller 21.
  • the controller 21 controls the operation of each part of the endoscope 10 and the processor device 20 according to the operation signal output from the operation panel 23 and the operation signal output from the operation unit 13 of the endoscope 10.
  • the operation panel 23 is various switches, buttons, touch panel devices, etc. provided in the processor device 20, but instead, any input device such as a mouse or keyboard connected to the processor device 20 may be used. Good.
  • the light source unit 24 includes a light source control circuit 240, a light source 241, a condenser lens 242, a turret 243, and the like.
  • the light source control circuit 240 is a control circuit for controlling the operation of the light source 241 and the turret 243 by the control from the controller 21.
  • the light source 241 is a high-intensity lamp such as a xenon lamp, a halogen lamp, or a metal halide lamp, and emits light having a spectrum extending from a visible light region to an infrared light region.
  • the light emitted from the light source 241 is collected by the condenser lens 242 and converted into light having appropriate characteristics through a rotary turret 243 provided with a filter.
  • a motor is connected to the turret 243 via a transmission mechanism such as an arm or a gear. This motor is, for example, a DC motor, and by driving under the control of the light source control circuit 240, a filter to be applied to the emitted light is selected.
  • the image processing unit 25 includes an image processing circuit 250 composed of a DSP (Digital Signal Processor), a DIP (Digital Image Processor), and the like.
  • the image processing unit 25 performs various processes such as color separation, color interpolation, gain correction, white balance adjustment, and gamma correction on the image data of the captured image captured by the endoscope 10. Further, the image processing unit 25 may perform processing such as scaling, color enhancement processing, and edge enhancement processing.
  • the image processing unit 25 outputs the processed image data to the controller 21.
  • the output interface 26 includes a processing circuit such as a video processor.
  • the output interface 26 converts the image signal input from the controller 21 into a video signal conforming to a predetermined standard such as NTSC (National Television System Committee) or PAL (Phase Alternating Line).
  • the output interface 26 sequentially outputs the converted video signals to the monitoring device 30, so that the display screen of the monitoring device 30 displays the endoscopic image and the diagnostic support information.
  • the communication interface 27 includes a communication interface for transmitting and receiving various data to and from an external information processing device.
  • a communication interface conforming to the LAN communication standard used in WiFi (registered trademark) or Ethernet (registered trademark) can be used.
  • a communication interface conforming to a communication standard such as Bluetooth (registered trademark), ZigBee (registered trademark), 3G, 4G, 5G, LTE (Long Term Evolution) may be used.
  • the processor device 20 in the present embodiment generates distance information with respect to the subject based on (1) a plurality of captured images obtained by imaging the subject at different focusing positions, and (2) tumors from the captured images. A characteristic area that may correspond to a lesion such as the above is extracted, and (3) diagnostic support information is generated based on the distance information to the subject and the characteristic area related to the characteristic area.
  • FIG. 3 is an explanatory diagram illustrating an imaging procedure of a subject according to the first embodiment.
  • the image pickup unit 12 included in the endoscope 10 focuses on a large number of focal planes facing the image pickup element 124 and images a subject under the control of the processor device 20.
  • the imaging unit 12 changes the position of the focal plane from Z1 to Z2 (Z2> Z1).
  • the image is output to the processor device 20.
  • the procedure of imaging the subject while gradually increasing the focal length from the wide end side to the tele end side is used, but the subject is imaged while gradually decreasing the focal length from the tele end side to the wide end side. It may be a procedure.
  • the number of captured images to be captured at different focusing positions is, for example, 50, but the number of captured images is not limited to 50 and may be set arbitrarily.
  • the interval for shifting the focusing position may be an equal interval (for example, a distance corresponding to 1 mm in the focal length), or may be changed according to the focal length.
  • FIG. 4 is a schematic view showing an example of an captured image acquired by the processor device 20.
  • the captured image G1 is a digital format image including X pixels (for example, 1920 pixels) in the width direction and Y pixels (for example, 1080 pixels) in the height direction.
  • the processor device 20 cuts out a partial region g1 from the captured image G1 in order to evaluate the degree of focusing.
  • a state is shown in which a region having a width of M pixels (for example, 40 pixels) and a height of N pixels (for example, 20 pixels) is cut out as a partial region g1 with (x, y) as the central pixel. ing.
  • the processor device 20 evaluates the degree of focusing for each of the partial regions cut out from each captured image, and calculates the distance to the subject based on the obtained evaluation value (hereinafter referred to as the focusing evaluation value).
  • FIG. 5 is an explanatory diagram illustrating a method for evaluating the degree of focusing.
  • the controller 21 cuts out the corresponding partial regions g1, g2, ..., Gn between the images from each of the captured images G1, G2, ..., Gn. That is, the controller 21 sets the partial regions g1, g2, ..., Gn from the captured images G1, G2, ..., Gn so that the center pixel (x, y) and the width M and the height N are the same, respectively. Just cut it out.
  • the controller 21 calculates an in-focus evaluation value indicating the degree of in-focus for each of the partial regions g1, g2, ..., And gn.
  • image entropy can be used as the in-focus evaluation value.
  • the image entropy is an evaluation value such that the smaller the value, the higher the degree of focusing, and the larger the value, the lower the degree of focusing.
  • the image entropy is represented by, for example, the following number 1.
  • E (v) represents the image entropy of the image captured at the depth of field v.
  • Gnor (i, j, v) is a pixel value of the normalized image and is represented by the following equation 2.
  • G (i, j, v) represents the pixel value of the pixel specified by the coordinates (i, j) in the partial area.
  • the controller 21 calculates the image entropy values E1, E2, ..., En from each of the partial regions g1, g2, ..., Gn according to the equations 1 and 2.
  • the controller 21 compares the calculated image entropy values E1, E2, ..., En, and identifies the captured image having the partial region having the highest degree of focusing from the partial regions g1, g2, ..., Gn.
  • the controller 21 plots the values E1, E2, ..., En of each image entropy on a graph in which the horizontal axis is the Z direction and the vertical axis is the image entropy, and the approximate curve f that approximates each plotted point.
  • the focusing position that minimizes the image entropy may be obtained.
  • the controller 21 identifies the captured image captured on the focusing surface closest to the obtained focusing position as an captured image having a partial region having the highest degree of focusing among the captured images G1, G2, ..., Gn. can do.
  • the controller 21 can specify the partial region having the highest degree of focusing by specifying the partial region where the combined image entropy E is minimized.
  • the controller 21 may convert the RGB component into the YUV component and calculate the image entropy E (Y) related to the Y component.
  • the controller 21 can specify the partial region having the highest degree of focusing by specifying the partial region where the calculated image entropy E (Y) is the minimum.
  • the imaging conditions for example, focal length, etc.
  • the controller 21 calculates the distance at each position while sequentially shifting the positions of the central pixels of the partial regions g1, g2, ..., Gn cut out from the captured images G1, G2, ..., Gn in predetermined units. Acquires distance information about the subject. At this time, the controller 21 may shift the positions of the central pixels of the partial regions g1, g2, ..., Gn in units of M pixels in the X direction and units of N pixels in the Y direction, and calculate the distance for each region. .. Further, the controller 21 may calculate the distance for each pixel by shifting the positions of the central pixels of the partial regions g1, g2, ..., Gn in units of one pixel in the X direction and one pixel in the Y direction. The controller 21 may generate a distance image in which distance information is stored for each area or each pixel.
  • the controller 21 of the processor device 20 extracts feature regions that may correspond to lesions such as tumors from captured images G1, G2, ..., Gn.
  • the controller 21 is, for example, as disclosed in Japanese Patent No. 6125740, a reference set in the color plane in the color plane defined by at least two color components out of three or more color components.
  • a characteristic region is extracted by obtaining the evaluation result regarding the corresponding disease of each pixel based on the line segment connecting the point and the corresponding point of each pixel and the angle formed by the reference axis having a correlation with the target disease.
  • the controller 21 is not limited to the above method, and the feature region may be extracted by using a known method.
  • the controller 21 stores the information of the feature area (for example, the information of the pixel corresponding to the feature area) extracted from the captured images G1, G2, ..., Gn in the memory 22.
  • the feature region is extracted from the captured images G1, G2, ..., Gn, but the feature region is extracted only from the captured image (for example, the captured image G1) captured at a specific focal length. It may be a configuration to be extracted.
  • the controller 21 of the processor device 20 includes distance information acquired from captured images G1, G2, ..., Gn, and feature parameters related to feature regions extracted from captured images G1, G2, ..., Gn. Generate diagnostic support information based on.
  • the apparent area of the endoscopic image (captured image) differs depending on the distance to the subject. That is, the farther the distance to the subject is, the smaller the apparent area is, and the shorter the distance to the subject is, the larger the apparent area is. Therefore, the controller 21 may perform a process of correcting the apparent area (feature parameter) of the feature region in the captured image according to the distance to the subject.
  • the controller 21 may perform a process of scaling the area of the feature region at a ratio of (r1 / r0) 2.
  • the nearest neighbor interpolation method nearest neighbor interpolation
  • the nearest-neighbor interpolation method is a linear interpolation method in which the pixels after enlargement or reduction are divided by the enlargement / reduction ratio, and the pixels of the coordinates obtained by rounding off the values are used as they are.
  • a bilinear interpolation method, a bicubic interpolation method, a Lanczos interpolation method or the like may be used as the process of scaling the feature region.
  • the controller 21 may perform a process of correcting the pixel value (feature parameter) in the feature region according to the distance to the subject.
  • the controller 21 refers to the distance information corresponding to the extracted feature region, and determines whether or not the distance to the mucosal surface where redness is occurring is equal to or greater than the reference distance.
  • the reference distance shall be set in advance. If the distance to the mucosal surface where redness is occurring is greater than or equal to the reference distance, the image may appear darker than it actually is. Therefore, the controller 21 determines that the pixel value of each pixel in the feature region is R pixel. Make corrections to increase the value.
  • the controller 21 determines the pixel value of each pixel in the feature region. Correction is performed to reduce the pixel value of the pixel.
  • the controller 21 may change the correction ratio according to the distance. That is, the controller 21 may increase the strength of the correction as the distance becomes longer (shorter) (closer).
  • the controller 21 may change the correction ratio according to the ratio of the R pixel. For example, when the distance to the mucosal surface is 1 times or more and less than 2 times the reference distance, the controller 21 may obtain the ratio for correcting R by the calculation formula of R / (R + G + B). Further, when the distance to the mucosal surface is 2 times or more and less than 3 times the reference distance, the controller 21 may obtain the ratio for correcting R by the calculation formula of 2R / (R + G + B). Further, when the distance to the mucosal surface is 3 times or more and less than 4 times the reference distance, the controller 21 may obtain the ratio for correcting R by the calculation formula of 3R / (R + G + B).
  • the controller 21 generates diagnostic support information based on the endoscopic image (captured image) in which the feature parameters in the feature region are corrected.
  • the controller 21 uses a learning model 100 (see FIG. 6) configured to output information on the lesion in the body cavity in response to the input of the endoscopic image (captured image) to support the diagnosis.
  • the learning model 100 may be provided by the processor device 20, or may be provided by an external server accessible from the processor device 20. In the former case, the learning model 100 is stored in the memory 22 of the processor device 20 and is used by accessing from the controller 21. In the latter case, the learning model 100 is stored in the storage device of the external server and is used by accessing it from the controller 21 via the communication interface 27.
  • FIG. 6 is a configuration diagram showing an example of the learning model 100.
  • the learning model 100 is a learning model constructed by a neural network such as CNN (Convolutional Neural Networks), and includes an input layer 101, an intermediate layer 102, and an output layer 103.
  • the learning model 100 is pre-learned to output information on lesions in the body cavity in response to input of an endoscopic image with corrected feature parameters.
  • the image data of the endoscopic image with the characteristic parameters corrected is input to the input layer 101.
  • the image data of the endoscopic image input to the input layer 101 is transmitted to the intermediate layer 102.
  • the intermediate layer 102 is composed of, for example, a convolution layer 102a, a pooling layer 102b, and a fully connected layer 102c.
  • a plurality of convolution layers 102a and pooling layers 102b may be provided alternately.
  • the convolution layer 102a and the pooling layer 102b extract the features of the endoscopic image input through the input layer 101 by an operation using the nodes of each layer.
  • the fully connected layer 102c combines the data whose feature portions are extracted by the convolution layer 102a and the pooling layer 102b into one node, and outputs the feature variable converted by the activation function.
  • the feature variable is output to the output layer 103 through the fully connected layer 102c.
  • the output layer 103 includes one or more nodes.
  • the output layer 103 converts the probabilities into probabilities using a softmax function based on the feature variables input from the fully connected layer 102c of the intermediate layer 102, and outputs the probabilities for the category to which the endoscopic image belongs from each node. ..
  • the category for classifying endoscopic images can be arbitrarily set to include, for example, malignant tumors, benign tumors, polyps, and the like. In addition, the categories to be classified may include normal conditions that do not belong to the lesion.
  • the example of FIG. 6 shows a learning model 100 in which m categories are set as categories for classifying endoscopic images.
  • the learning model 100 is configured to output the probability P1 of a malignant tumor, the probability P2 of a benign tumor 2, the probability P3 of a polyp, ..., and the probability Pm of being normal from each node of the output layer 103. ..
  • various parameters such as weights and biases that connect each node are learned by a predetermined learning algorithm.
  • a large amount of data including an endoscopic image with corrected feature parameters and a doctor's diagnosis result for the endoscopic image is collected, and these data are used as teacher data to perform a predetermined learning algorithm.
  • Various parameters can be learned according to.
  • the controller 21 of the processor device 20 acquires the probabilities belonging to each category from the output layer 103 of the learning model 100, and estimates the presence or absence of lesions in the body cavity based on the acquired probabilities. For example, if only the probability P1 of a malignant tumor exceeds a threshold (eg 80%), the controller 21 can presume that the malignant tumor is present in the body cavity of the subject. The same applies to the case where any one of the probabilities P2, P3, ..., Pm-1 exceeds the threshold value. On the other hand, if none of the probabilities P1, P2, ..., Pm-1 exceeds the threshold value, or if the probability Pm indicating that it is normal exceeds the threshold value, the controller 21 is in the range observed by the endoscopic image. It can be estimated that there is no lesion inside.
  • a threshold eg 80%
  • the machine learning model for constructing the learning model 100 can be arbitrarily set.
  • a learning model based on R-CNN (Region-based CNN), YOLO (You Only Look Once), SSD (Single Shot Detector), or the like may be set.
  • the controller 21 includes information such as the corrected area of the feature region and chromaticity, and preset reference values. The presence or absence of a lesion may be determined by comparing the above, and the determination result may be output as diagnostic support information.
  • the controller 21 generates diagnostic support information based on the information output from the learning model 100.
  • the diagnostic support information is, for example, character information indicating an estimation result by the learning model 100.
  • the diagnostic support information may be an image that emphasizes a region that is presumed to be a lesion.
  • the controller 21 outputs the generated diagnostic support information through the output interface 26, so that the monitor device 30 displays the diagnostic support information.
  • FIG. 7 is a schematic diagram showing a display example of diagnostic support information.
  • the estimation result by the learning model 100 is displayed as character information for each of the feature regions indicated by the indexes of "1" and "2" together with the endoscopic image in which the feature parameters are corrected. Shown.
  • FIG. 8 is a flowchart illustrating a procedure of processing executed by the processor device 20 in the first embodiment.
  • the controller 21 of the processor device 20 focuses on a large number of focal planes facing the image sensor 124 in response to a pressing operation of the release button of the endoscope 10 and sequentially images the subject (step S101). ..
  • the controller 21 sends a control signal instructing the driver circuit 120 of the endoscope 10 to focus on a large number of focal planes facing the image sensor 124 and sequentially image the subject.
  • the driver circuit 120 drives the image pickup unit 12 in response to a control signal from the controller 21 to cause the image pickup unit 12 to perform an image pickup.
  • FIG. 9 is a schematic view showing a display example during imaging.
  • the controller 21 generates a screen including text information indicating that the tip portion of the endoscope 10 should be held so as not to move, and a slider that visually indicates from the start of imaging to the end of imaging, and the generated screen data. Is output from the output interface 26 to the monitor device 30, so that an image as shown in FIG. 9 is displayed.
  • the controller 21 acquires a series of captured images captured by the imaging unit 12 of the endoscope 10 (step S102).
  • the acquired series of captured images is stored in, for example, the memory 22.
  • the controller 21 cuts out a corresponding partial region from a series of captured images (step S103), and calculates an in-focus evaluation value from each of the partial regions (step S104).
  • An example of the in-focus evaluation value is image entropy.
  • the controller 21 identifies the partial region having the highest degree of focusing based on the calculated focusing evaluation value (step S105). At this time, the controller 21 obtains the focusing position that minimizes the image entropy, and captures the captured image captured on the focusing surface closest to the obtained focusing position with a partial region having the highest degree of focusing. Identify as an image.
  • the controller 21 uses the imaging conditions (for example, focal length) when the captured image having the partial region having the highest degree of focusing is captured to determine the distance to the region on the subject corresponding to the partial region. Calculate (step S106). The controller 21 stores the calculated distance as the distance in the partial area in the memory 22.
  • imaging conditions for example, focal length
  • the controller 21 determines whether or not the distance has been calculated for the entire region of the captured image (step S107). When there is an area for which the distance has not been calculated (S107: NO), the controller 21 resets the partial area to be calculated and returns the process to step S103.
  • the controller 21 When the distance is calculated for the entire area of the captured image (S107: YES), the distance information with respect to the subject can be obtained. That is, the controller 21 generates distance information with respect to the subject by storing the distance in association with each partial region of the captured image (step S108).
  • the controller 21 extracts a characteristic region that may correspond to a lesion such as a tumor from the captured image (step S109).
  • the controller 21 can extract the feature region by using a known method such as the method disclosed in Japanese Patent No. 6125740.
  • the controller 21 corrects the feature parameters related to the feature region using the distance information generated in step S108 (step S110). At this time, the controller 21 may correct the area of the feature area or the pixel value as a parameter related to the feature area.
  • the controller 21 corrects so that the farther the distance to the subject corresponding to the feature area is, the larger the apparent area is, and the shorter the distance to the subject corresponding to the feature area is. , It may be corrected so that the apparent area becomes smaller.
  • the controller 21 corrects the pixel value so that the farther the distance to the subject corresponding to the feature area is, the brighter the image of the feature area is, and the subject corresponding to the feature area. The pixel value may be corrected so that the shorter the distance to the image, the darker the image in the feature area.
  • the controller 21 inputs the endoscopic image obtained by correcting the feature parameters into the learning model 100 (step S111), and acquires the calculation result by the learning model 100 (step S112).
  • the learning model 100 is stored in the memory 22 of the processor device 20
  • the controller 21 inputs the image data of the endoscopic image into the input layer 101 of the learning model 100 and executes an operation using the intermediate layer 102.
  • the calculation result may be obtained from the output layer 103.
  • the learning model 100 is stored in the external server, the image data of the endoscopic image obtained by correcting the feature parameters is transmitted from the communication interface 27 to the external server, and the learning model 100 executed by the external server is executed. It suffices to acquire the calculation result by communication.
  • the controller 21 generates diagnostic support information based on the calculation result of the learning model 100 (step S113), and outputs the generated diagnostic support information from the output interface 26 (step S114) to provide diagnostic support to the operator. ..
  • the present embodiment it is possible to correct the feature parameters in the feature region based on the distance information with respect to the subject. Further, since the calculation by the learning model 100 is executed using the endoscopic image in which the feature parameters are corrected, the estimation accuracy by the learning model 100 can be improved.
  • image entropy is used as an evaluation value for evaluating the degree of focusing, but other evaluation values may be used.
  • image sharpness may be used, or the contrast amount C (v) as represented by the following equation 3 may be used.
  • the image sharpness and the amount of contrast are evaluation values such that the smaller the value, the lower the degree of focusing, and the larger the value, the higher the degree of focusing. Therefore, these evaluation values are used.
  • the controller 21 may specify a partial region having the largest image sharpness or contrast amount.
  • FIG. 10 is an explanatory diagram illustrating an imaging procedure of a subject according to the second embodiment.
  • the controller 21 of the processor device 20 focuses on a large number of focal planes facing the image pickup element 124 to image the subject and controls the light source unit 24.
  • the brightness (amount of light) at the time of imaging is changed stepwise.
  • the number of images taken at different focusing positions is, for example, about 50 as in the first embodiment. Further, the brightness may be changed in about 2 to 5 steps.
  • L1, L2, ..., Lk are index values (for example, illuminance) representing brightness.
  • k is, for example, an integer value of 2 to 5.
  • the brightness may be brightened in the order of L1, L2, ..., Lk, or darkened in the order of L1, L2, ..., Lk.
  • the obtained captured image is output to the processor device 20 via the driver circuit 120.
  • the imaging unit 12 changes the position of the focal plane from Z1 to Z2 (Z2> Z1).
  • the obtained captured image is output to the processor device 20 via the driver circuit 120. While changing the position of the focal plane from Z1 to Z2 and changing the brightness, the tip portion of the endoscope 10 is held so as not to move, and the position of the imaging unit 12 does not change. To do.
  • the subject is imaged by changing it step by step.
  • the obtained captured image is output to the processor device 20.
  • the processor device 20 acquires a plurality of captured images of subjects captured at different focusing positions and brightness from the imaging unit 12, and generates distance information with respect to the subject from the acquired captured images.
  • the method for generating the distance information is the same as that in the first embodiment. That is, distance information with respect to the subject may be generated by using a method of cutting out corresponding partial regions in a plurality of captured images having different focusing positions and brightness and evaluating the degree of focusing of the cut out partial regions.
  • the processor device 20 corrects the feature parameters of the feature region in the captured image using the generated distance information in the same procedure as in the first embodiment, and diagnoses from the endoscopic image in which the feature parameters are corrected.
  • Support information can be generated.
  • the degree of focusing is not appropriately evaluated due to the image being too bright (or too dark). Can be avoided.
  • the procedure is to change the brightness while the in-focus position is fixed and image the subject, but the in-focus position is changed and the subject is imaged while the brightness is fixed. It may be a procedure to do.
  • FIG. 11 is a flowchart illustrating a procedure of processing executed by the processor device 20 in the third embodiment.
  • the controller 21 of the processor device 20 acquires distance information with respect to the subject in the same procedure as in the first embodiment (step S301). That is, the controller 21 cuts out a partial region from a series of captured images captured at different focusing positions, and evaluates the degree of focusing for each of the partial regions to reach the region on the subject corresponding to the partial region. Calculate the distance of.
  • the controller 21 generates distance information with respect to the subject by calculating the distance for the entire area of the captured image.
  • the controller 21 determines whether or not the distance information includes a singular point (step S302). For example, the controller 21 calculates the average value of the calculated distances, and if there is a point deviating from the average value by a predetermined value (for example, three times the standard deviation) or more, it may determine that the singular point is included. it can.
  • a predetermined value for example, three times the standard deviation
  • the controller 21 removes or corrects the singular point (step S303). At this time, the controller 21 may remove the singular point by deleting the value of the distance corresponding to the singular point. Further, the controller 21 may correct the singular value by estimating the distance at the singular point using the distance calculated in the vicinity of the singular point and rewriting the estimated distance as the distance at the singular point. Further, the controller 21 may recalculate the distance at the singular point by changing the brightness and re-imaging.
  • step S203 When it is determined in step S203 that the singular point is not included (S302: NO), or when the singular point is removed or corrected in step S303, the controller 21 ends the process according to this flowchart.
  • the feature parameter in the feature amount can be appropriately corrected.
  • the controller 21 executes a process of changing the brightness according to the distance to the subject.
  • the distance to the subject may be calculated by the same method as in the first embodiment.
  • the pixel value is corrected according to (r).
  • n (r) is a positive integer
  • the distance r is 0 when 0 ⁇ r ⁇ r1, 1, when r1 ⁇ r ⁇ r2, 2, when r2 ⁇ r ⁇ r3, and so on. It is set to increase in stages accordingly.
  • the controller 21 may use a function to correct the pixel value, or may use a table to correct the pixel value.
  • the controller 21 performs the above correction on all the pixels included in the captured image obtained from the endoscope 10 or the pixels included in a specific region.
  • the endoscopic image can be corrected so that the larger r (that is, the longer the distance to the subject), the higher the brightness.
  • the controller 21 may set a threshold value for the brightness and perform the above correction only for pixels lower than the set threshold value. Further, although the configuration is such that the brightness is corrected in the above, the configuration may be such that the brightness is corrected. For example, the controller 21 may perform a process of converting the RGB component into a YUV component and correcting the value of the Y component according to the distance r.
  • FIG. 12 is an explanatory diagram illustrating a display example according to the fifth embodiment.
  • the controller 21 can calculate the distance to the subject.
  • the example of FIG. 12 shows an endoscopic image including two regions, a region R1 in which the distance to the subject is relatively short and a region R2 in which the distance to the subject is relatively long.
  • the regions R1 and R2 are imaged from the front as shown in the upper part of FIG. 12, it is difficult for the operator to distinguish and recognize the regions R1 and R2 in the endoscopic image.
  • the controller 21 uses the distance information to the subject to display the endoscopic image in three dimensions. Specifically, the controller 21 performs stereoscopic display by three-dimensionally drawing an endoscopic image by using a method such as an isometric method, a dimetric method, or a trimetric method based on distance information.
  • a method such as an isometric method, a dimetric method, or a trimetric method based on distance information.
  • the lower figure of FIG. 12 shows an image drawn three-dimensionally by the isometric method. Since the region R1 indicates a region where the distance to the subject is relatively short and the region R2 indicates a region where the distance to the subject is relatively long, the region R1 is drawn as a region raised from the region R2 when drawn three-dimensionally. Will be done. The height of the raised portion corresponds to the difference between the distance to the region R2 and the distance to the region R1. By displaying such a stereoscopic image, the operator can clearly recognize the existence of the region R1.
  • the fifth embodiment by displaying the endoscopic image in three dimensions based on the distance information, it is possible to show the existence including the height of the raised portion, so that the oversight of the lesion portion is reduced. Will be done.
  • Endoscope 11 Endoscope insertion part 11a Flexible tube 11b Curved part 12 Imaging part 13 Operation part 14 Universal cord 15 Scope connector 20 Processor device 21 Controller 22 Memory 23 Operation panel 24 Light source part 25 Image processing part 26 Output interface 27 Communication interface 30 Monitor device 100 Learning model M Recording medium

Abstract

内視鏡システム、プロセッサ装置、診断支援方法、及びコンピュータプログラムを提供する。　被写体について合焦位置を異ならせて撮像された複数の撮像画像を撮像部から取得し、取得した複数の撮像画像間で対応する部分領域の夫々について、合焦度合いを表す評価値を算出し、算出した各部分領域の評価値に基づき、複数の撮像画像の中で最も合焦度合いが高い部分領域を有する撮像画像を特定し、撮像画像が撮像された際の撮像条件に基づき、部分領域に対応する被写体上の領域について距離を算出し、被写体上の複数の領域について距離を算出することにより、被写体に対する距離情報を生成し、撮像画像から特徴領域を抽出し、距離情報生成部にて生成した距離情報と、抽出部が抽出した特徴領域に関する特徴パラメータとに基づき、被写体に対する診断支援情報を生成し、生成した診断支援情報を出力する。

Description

内視鏡システム、プロセッサ装置、診断支援方法、及びコンピュータプログラム
　本発明は、内視鏡システム、プロセッサ装置、診断支援方法、及びコンピュータプログラムに関する。
　人の食道や腸などの管腔内を観察するための内視鏡システムが知られている。この種の内視鏡システムは、電子スコープにより撮像された被写体の画像を処理する内視鏡プロセッサを備えている。内視鏡プロセッサは、操作者（例えば医師）にとって見やすい観察画像をモニタ装置に表示させるために、画素信号に対して色変換処理やノイズ低減処理などの画像処理を施す（例えば、特許文献１を参照）。
特開２００２－２３８８８７号公報
　内視鏡観察において、腫瘍などの病変部のサイズや色などの情報は、診断のために不可欠な情報である。
　しかしながら、内視鏡により観察される部位のサイズや色は、撮像部から被写体までの距離に応じて変化する可能性があり、従来の内視鏡システムより得られる内視鏡画像は、観察される組織の絶対的な大きさや色を反映するものではない。このため、操作者は、モニタ装置に表示される内視鏡画像を閲覧したとしても、観察部位のサイズや色を誤認する可能性がある。
　本発明の目的は、操作者に対して的確な診断支援情報を提示できる内視鏡システム、プロセッサ装置、診断支援方法、及びコンピュータプログラムを提供することにある。
　本発明の一態様に係る内視鏡システムは、内視鏡と、該内視鏡から得られる撮像画像を処理するプロセッサ装置とを備える内視鏡システムであって、前記内視鏡は、被写体を撮像する撮像部と、前記被写体上の合焦位置を前記撮像部の光軸方向に沿って変更すべく、前記撮像部の焦点距離を変更する焦点距離変更部とを備え、前記プロセッサ装置は、前記被写体について合焦位置を異ならせて撮像された複数の撮像画像を前記撮像部から取得する画像取得部と、取得した複数の撮像画像間で対応する部分領域の夫々について、合焦度合いを表す評価値を算出する評価値算出部と、算出した各部分領域の評価値に基づき、前記複数の撮像画像の中で最も合焦度合いが高い部分領域を有する撮像画像を特定する特定部と、前記撮像画像が撮像された際の撮像条件に基づき、前記部分領域に対応する前記被写体上の領域について距離を算出する距離算出部と、前記被写体上の複数の領域について前記距離を算出することにより、前記被写体に対する距離情報を生成する距離情報生成部と、前記撮像画像から特徴領域を抽出する抽出部と、前記距離情報生成部にて生成した距離情報と、前記抽出部が抽出した特徴領域に関する特徴パラメータとに基づき、前記被写体に対する診断支援情報を生成する診断支援部と、該診断支援部が生成した診断支援情報を出力する出力部とを備える。
　本発明の一態様に係るプロセッサ装置は、被写体を撮像する撮像部と、前記被写体上の合焦位置を前記撮像部の光軸方向に沿って変更すべく、前記撮像部の焦点距離を変更する焦点距離変更部とを備える内視鏡に接続され、該内視鏡から得られる複数の撮像画像を処理するプロセッサ装置であって、前記被写体について合焦位置を異ならせて撮像された複数の撮像画像を前記撮像部から取得する画像取得部と、取得した複数の撮像画像間で対応する部分領域の夫々について、合焦度合いを表す評価値を算出する評価値算出部と、算出した各部分領域の評価値に基づき、前記複数の撮像画像の中で最も合焦度合いが高い部分領域を有する撮像画像を特定する特定部と、前記撮像画像が撮像された際の撮像条件に基づき、前記部分領域に対応する前記被写体上の領域について距離を算出する距離算出部と、前記被写体上の複数の領域について前記距離を算出することにより、前記被写体に対する距離情報を生成する距離情報生成部と、前記撮像画像から特徴領域を抽出する抽出部と、前記距離情報生成部にて生成した距離情報と、前記抽出部が抽出した特徴領域に関する特徴パラメータとに基づき、前記被写体に対する診断支援情報を生成する診断支援部と、該診断支援部が生成した診断支援情報を出力する出力部とを備える。
　本発明の一態様に係る診断支援方法は、内視鏡の撮像部から、被写体上の合焦位置を異ならせて撮像された複数の撮像画像を取得し、取得した複数の撮像画像間で対応する部分領域の夫々について、合焦度合いを表す評価値を算出し、算出した各部分領域の評価値に基づき、前記複数の撮像画像の中で最も合焦度合いが高い部分領域を有する撮像画像を特定し、前記撮像画像が撮像された際の撮像条件に基づき、前記部分領域に対応する前記被写体上の領域について距離を算出し、前記被写体上の複数の領域について前記距離を算出することにより、前記被写体に対する距離情報を生成し、前記撮像画像から特徴領域を抽出し、前記前記被写体の距離情報と、前記特徴領域に関する特徴パラメータとに基づき、前記被写体に対する診断支援情報を生成し、生成した診断支援情報を出力する。
　本発明の一態様に係るコンピュータプログラムは、コンピュータに、内視鏡の撮像部から、被写体上の合焦位置を異ならせて撮像された複数の撮像画像を取得し、取得した複数の撮像画像間で対応する部分領域の夫々について、合焦度合いを表す評価値を算出し、算出した各部分領域の評価値に基づき、前記複数の撮像画像の中で最も合焦度合いが高い部分領域を有する撮像画像を特定し、前記撮像画像が撮像された際の撮像条件に基づき、前記部分領域に対応する前記被写体上の領域について距離を算出し、前記被写体上の複数の領域について前記距離を算出することにより、前記被写体に対する距離情報を生成し、前記撮像画像から特徴領域を抽出し、前記前記被写体の距離情報と、前記特徴領域に関する特徴パラメータとに基づき、前記被写体に対する診断支援情報を生成し、生成した診断支援情報を出力する処理を実行させるためのコンピュータプログラムである。
　上記によれば、操作者に対して的確な診断支援情報を提示できる。
内視鏡システムの構成を説明する模式図である。 内視鏡及びプロセッサ装置の内部構成を説明するブロック図である。 実施の形態１における被写体の撮像手順を説明する説明図である。 プロセッサ装置が取得する撮像画像の一例を示す模式図である。 合焦度合いの評価手法を説明する説明図である。 学習モデルの一例を示す構成図である。 診断支援情報の表示例を示す模式図である。 実施の形態１におけるプロセッサ装置が実行する処理の手順を説明するフローチャートである。 撮像中の表示例を示す模式図である。 実施の形態２における被写体の撮像手順を説明する説明図である。 実施の形態３におけるプロセッサ装置が実行する処理の手順を説明するフローチャートである。 実施の形態５における表示例を説明する説明図である。
　以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
（実施の形態１）
　図１は内視鏡システムの構成を説明する模式図である。実施の形態１に係る内視鏡システムは、被写体を観察する内視鏡１０と、内視鏡１０から出力される内視鏡画像の画像データを処理するプロセッサ装置２０とを備える。プロセッサ装置２０には、内視鏡１０を操作する操作者（例えば医師）に報知すべき情報を表示するモニタ装置３０が接続される。
　内視鏡１０は、被写体の内部に挿入される内視鏡挿入部１１、内視鏡挿入部１１の先端部分に内蔵される撮像部１２、内視鏡挿入部１１の後端部分に設けられて操作者によって操作される操作部１３、プロセッサ装置２０との間で送受される各種の情報を伝送するユニバーサルコード１４、及び内視鏡１０を電気的かつ光学的にプロセッサ装置２０に接続するスコープコネクタ１５を備える。本実施の形態において、内視鏡１０による被写体は、例えば人体内部の組織である。被写体は人体内部の組織に限らず、生物内部の組織であってもよく、生物以外の構造体であってもよい。
　内視鏡挿入部１１は、操作部１３に連結されて比較的に長く形成された可撓管１１ａと、可撓管１１ａと同軸上に連結されて比較的に短く形成された湾曲自在な湾曲部１１ｂとを有する。可撓管１１ａは、例えば螺旋管に網状管を被覆して形成された可撓管素材の外周面に、可撓性のある樹脂製外皮を更に被覆することにより形成されている。一方、湾曲部１１ｂは、例えば傾動自在に連結された複数の関節輪に網状管を被覆してなる湾曲パイプの外周面に、柔軟で弾力性のあるゴム製外皮を更に被覆することによって形成されている。湾曲部１１ｂにおける湾曲機構は、一般的な内視鏡に組み込まれている周知の機構であり、操作部１３の操作に連動した操作ワイヤの牽引によって湾曲部１１ｂが湾曲するように構成されている。先端部分の方向が上記操作による湾曲動作に応じて変わることにより、撮像部１２による撮像領域が移動する。
　撮像部１２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子１２４（図２を参照）を備え、被写体を撮像して得られる撮像画像の画像データをプロセッサ装置２０へ出力する。
　操作部１３は、内視鏡１０の湾曲部１１ｂを湾曲させる操作を受付ける湾曲操作ノブ１３ａ，１３ｂを備える。湾曲部１１ｂは、例えば、湾曲操作ノブ１３ａの回転に応じて左右方向に湾曲し、湾曲操作ノブ１３ｂの回転に応じて上下方向に湾曲するように構成される。なお、湾曲部１１ｂが湾曲する上下左右の各方向は、内視鏡挿入部１１が延びる方向に対して適宜設定される。操作部１３は、湾曲操作ノブ１３ａ，１３ｂに加え、先端部からガスや液体を噴出させるための送気／送水ボタン、観察画像を動画表示又は静止画表示に切り替えるためのフリーズボタン、モニタ装置３０に表示された観察画像の拡大／縮小を指示するズームボタン、通常光観察と特殊光観察との切り替えを行う切替ボタンなどを備えてもよい。
　プロセッサ装置２０は、自然光が届かない被検体の内部に光を照射する光源部２４と、内視鏡１０によって撮像された撮像画像に画像処理を施す画像処理部２５とを一体に備えた装置である（図２を参照）。代替的に、プロセッサ装置２０は、光源部と画像処理部とを別体として備えてもよい。
　プロセッサ装置２０は、撮像部１２により撮像された撮像画像（内視鏡画像ともいう）から、腫瘍などの病変部を含むような特徴領域を抽出し、内視鏡１０の操作者に報知すべき診断支援情報を生成する。このとき、本実施の形態に係るプロセッサ装置２０は、撮像部１２により撮像された撮像画像に基づき、被写体に対する距離情報を生成する。距離情報の生成手法については後に詳述することとする。プロセッサ装置２０は、生成した距離情報を加味して診断支援情報を生成することにより、例えば画面上では小さく写っている病変部の領域を、距離情報に基づいて補正することができるので、操作者に対して的確な診断支援情報を提供できる。
　モニタ装置３０は、プロセッサ装置２０に接続され、プロセッサ装置２０から出力される画像や各種情報を表示するための装置である。モニタ装置３０は、液晶ディスプレイ装置などの汎用の表示装置である。代替的に、モニタ装置３０は、プロセッサ装置２０と一体の装置であってもよい。
　図２は内視鏡１０及びプロセッサ装置２０の内部構成を説明するブロック図である。内視鏡１０の撮像部１２は、内視鏡挿入部１１の先端部分に設けられる。撮像部１２は、例えば、対物レンズ１２１及びズームレンズ１２２を含むレンズ群、ズームレンズ１２２を光軸方向に移動させるレンズ駆動機構１２３、並びにＣＭＯＳなどの撮像素子１２４を備える。対物レンズ１２１は、内視鏡１０の先端部分に設けられた観察窓（不図示）の内側に配置される。ズームレンズ１２２は、対物レンズ１２１に対向して配置される。ズームレンズ１２２は、レンズ駆動機構１２３の駆動により、テレ端とワイド端との間で自在に移動するように構成されている。撮像部１２は、ズームレンズ１２２を移動させることによって、焦点距離を変更することが可能であり、焦点距離を変更して被写体を撮像することにより、被写体上で合焦位置が異なる複数の撮像画像をプロセッサ装置２０に提供することが可能である。
　撮像部１２は、ドライバ回路１２０によって駆動される。ドライバ回路１２０は、プロセッサ装置２０との接続部分（スコープコネクタ１５の内部）に配置され、ＣＰＵ（Central Processing Unit）、タイミングジェネレータ（ＴＧ）、アナログ信号処理回路（ＡＥＦ）などを備える。ドライバ回路は、ＴＧから出力されるクロック信号に応じて、撮像素子１２４から出力されるＲＧＢ（Red, Green, Blue）各色の信号を取り込み、ノイズ除去、増幅、ＡＤ変換など、必要な処理を施して得られるデジタル形式の画像データをプロセッサ装置２０へ出力する。
　また、内視鏡１０は、照明レンズ１５１及びライトガイド１５２を備える。照明レンズ１５１は、内視鏡挿入部１１の先端部分に設けられた照明窓の内側に配置されている。ライトガイド１５２は、例えば複数の石英製光ファイバによって構成されており、内視鏡挿入部１１、操作部１３、及びユニバーサルコード１４の内部に配されている。プロセッサ装置２０の光源部２４から出射される照明光は、ライトガイド１５２によって導光され、照明レンズ１５１によって拡散された後、照明窓を介して被写体に照射される。
　プロセッサ装置２０は、コントローラ２１、メモリ２２、操作パネル２３、光源部２４、画像処理部２５、出力インタフェース２６、通信インタフェース２７などを備える。
　コントローラ２１は、例えば、ＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備えており、ＲＯＭに予め格納された制御プログラムをＲＡＭに展開してＣＰＵが実行することにより、上述したハードウェア各部の動作を制御する。
　なお、コントローラ２１は、上記の構成に限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、量子プロセッサ、揮発性又は不揮発性のメモリ等を含む１又は複数の処理回路であればよい。また、コントローラ２１は、現在時刻に係る情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。
　メモリ２２は、例えばＥＰＲＯＭ（Erasable Programmable Read Only Memory）などの不揮発性メモリを備える。不揮発性メモリに代えて、ハードディスクを備えた記録装置などを備えてもよい。メモリ２２は、プロセッサ装置２０の内部にて生成されたデータ、及び外部から入力されたデータ等を記憶する。別の実施形態では、メモリ２２は、ＵＳＢメモリ（USB : Universal Serial Bus）、ＳＤカード（SD : Secure Digital）等の可搬型の記録媒体であり、プロセッサ装置２０に対して着脱可能であってもよい。
　操作パネル２３は、プロセッサ装置２０の筐体に設けられた各種スイッチ、ボタン、タッチパネル装置などを含む。操作パネル２３は、操作者の操作に応じた操作信号をコントローラ２１へ出力する。コントローラ２１は、操作パネル２３から出力された操作信号、及び内視鏡１０の操作部１３から出力された操作信号に応じて、内視鏡１０及びプロセッサ装置２０の各部の動作を制御する。本実施の形態では、操作パネル２３はプロセッサ装置２０が備える各種スイッチ、ボタン、タッチパネル装置などとしたが、代替的に、マウスやキーボードなどプロセッサ装置２０に接続される任意の入力デバイスであってもよい。
　光源部２４は、光源制御回路２４０、光源２４１、集光レンズ２４２、ターレット２４３などを備える。光源制御回路２４０は、コントローラ２１からの制御により、光源２４１及びターレット２４３の動作を制御するため制御回路である。光源２４１は、キセノンランプ、ハロゲンランプ、メタルハイドランプ等の高輝度ランプであり、可視光領域から赤外光領域に広がるスペクトルを有する光を出射する。光源２４１から出射された光は、集光レンズ２４２によって集光されると共に、フィルタを備えた回転式のターレット２４３を介して適宜の特性を有する光に変換される。ターレット２４３には、アームやギヤなどの伝達機構を介してモータが接続されている。このモータは、例えばＤＣモータであり、光源制御回路２４０の制御下で駆動することにより、出射する光に対して適用すべきフィルタを選択する。
　画像処理部２５は、ＤＳＰ（Digital Signal Processor）やＤＩＰ（Digital Image Processor）などにより構成される画像処理回路２５０を備える。画像処理部２５は、内視鏡１０にて撮像された撮像画像の画像データに対し、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正等の各種の処理を施す。また、画像処理部２５は、変倍、色強調処理、エッジ強調処理等の処理を施してもよい。画像処理部２５は、処理後の画像データをコントローラ２１へ出力する。
　出力インタフェース２６は、ビデオプロセッサ等の処理回路を備える。出力インタフェース２６は、コントローラ２１から入力される画像信号を、ＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）などの所定の規格に準拠した映像信号に変換する。出力インタフェース２６は、変換した映像信号をモニタ装置３０へ順次出力することにより、モニタ装置３０の表示画面に内視鏡画像や診断支援情報を表示させる。
　通信インタフェース２７は、外部の情報処理装置との間で、各種のデータを送受信する通信インタフェースを備える。通信インタフェース２７として、例えば、ＷｉＦｉ（登録商標）やイーサネット（登録商標）で用いられるＬＡＮの通信規格に準じた通信インタフェースを用いることができる。代替的に、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ（Long Term Evolution）等の通信規格に準じた通信インタフェースを用いてもよい。
　本実施の形態におけるプロセッサ装置２０は、（１）合焦位置を異ならせて被写体を撮像することにより得られる複数の撮像画像に基づき、被写体に対する距離情報を生成し、（２）撮像画像から腫瘍などの病変部に該当する可能性がある特徴領域を抽出し、（３）被写体に対する距離情報と、特徴領域に関する特徴領域とに基づき、診断支援情報を生成する。
（１）距離情報の生成
　以下、内視鏡１０より得られる撮像画像を用いて、被写体に対する距離情報を生成する手法について説明する。
　図３は実施の形態１における被写体の撮像手順を説明する説明図である。内視鏡１０が備える撮像部１２は、プロセッサ装置２０からの制御により、撮像素子１２４と正対する多数の合焦面にてピントを合わせて被写体を撮像する。例えば、撮像部１２の光軸に沿う方向をＺ方向とした場合、撮像部１２は、Ｚ＝Ｚ１で示される位置の合焦面にてピントを合わせて被写体を撮像し、得られた撮像画像をドライバ回路１２０を介してプロセッサ装置２０へ出力する。Ｚ＝Ｚ１で示される位置は、例えば、撮像部１２の焦点距離が最小となる位置に相当する。
　次いで、撮像部１２は、合焦面の位置をＺ１からＺ２（Ｚ２＞Ｚ１）に変更する。撮像部１２は、Ｚ＝Ｚ２で示される位置の合焦面にてピントを合わせて被写体を撮像し、得られた撮像画像をドライバ回路１２０を介してプロセッサ装置２０へ出力する。合焦面の位置をＺ１からＺ２へ変化させる間、内視鏡１０の先端部分は動かないように保持されており、撮像部１２の位置に変動はないものとする。
　その後、撮像部１２は、上述と同様の手順にて、合焦面の位置をＺ＝Ｚ３，Ｚ４，…，Ｚｎ（ｎは例えば５０）で示される位置に順次ずらしながら被写体を撮像し、撮像画像をプロセッサ装置２０へ出力する。ここで、Ｚ＝Ｚｎで示される位置は、例えば、撮像部１２の焦点距離が最大となる位置に相当する。
　なお、上記の例では、ワイド端側からテレ端側へ焦点距離を順次長くしながら被写体を撮像する手順としたが、テレ端側からワイド端側へ焦点距離を順次短くしながら被写体を撮像する手順としてもよい。
　また、合焦位置を異ならせて撮像する撮像画像の枚数は例えば５０枚であるが、撮像枚数は５０枚に限らず、任意に設定してもよい。更に、合焦位置をずらす間隔は、等間隔（例えば焦点距離で１ｍｍに相当する距離）であってもよく、焦点距離に応じて変化させてもよい。
　プロセッサ装置２０は、合焦位置を異ならせて撮像された被写体の複数の撮像画像を撮像部１２から取得する。図４はプロセッサ装置２０が取得する撮像画像の一例を示す模式図である。図４に示す撮像画像Ｇ１は、例えばＺ＝Ｚ１で示される位置の合焦面にてピントを合わせて撮像された画像を示している。撮像画像Ｇ１は、幅方向にＸ画素（例えば１９２０画素）、高さ方向にＹ画素（例えば１０８０画素）からなるデジタル形式の画像である。
　プロセッサ装置２０は、合焦の度合いを評価するために、撮像画像Ｇ１から部分領域ｇ１を切り出す。図４の例では、（ｘ，ｙ）を中心画素として、Ｍ画素（例えば４０画素）の幅とＮ画素（例えば２０画素）の高さとを有する領域を、部分領域ｇ１として切り出した状態を示している。
　図４では、Ｚ＝Ｚ１で示される合焦面にてピントを合わせて撮像された撮像画像Ｇ１について示したが、Ｚ＝Ｚ２，Ｚ３，…，Ｚｎで示される位置の合焦面にてピントを合わせて撮像された撮像画像についても同様である。
　プロセッサ装置２０は、各撮像画像から切り出した部分領域のそれぞれについて合焦度合いを評価し、得られた評価値（以下、合焦評価値という）に基づき、被写体までの距離を算出する。
　図５は合焦度合いの評価手法を説明する説明図である。プロセッサ装置２０のコントローラ２１は、上述のように撮像された撮像画像を撮像部１２より順次取得する。すなわち、コントローラ２１は、Ｚ＝Ｚ１の位置の合焦面にてピントを合わせて撮像された撮像画像Ｇ１、Ｚ＝Ｚ２の位置の合焦面にてピントを合わせて撮像された撮像画像Ｇ２、…、Ｚ＝Ｚｎの位置の合焦面にてピントを合わせて撮像された撮像画像Ｇｎを順次取得する。
　コントローラ２１は、撮像画像Ｇ１，Ｇ２，…，Ｇｎのそれぞれから画像間で対応する部分領域ｇ１，ｇ２，…，ｇｎを切り出す。すなわち、コントローラ２１は、中心画素（ｘ，ｙ）と、幅Ｍ及び高さＮとが同一となるように、撮像画像Ｇ１，Ｇ２，…，Ｇｎからそれぞれ部分領域ｇ１，ｇ２，…，ｇｎを切り出せばよい。
　コントローラ２１は、部分領域ｇ１，ｇ２，…，ｇｎのそれぞれについて、合焦度合いを表す合焦評価値を算出する。合焦評価値として、例えば画像エントロピーを用いることができる。画像エントロピーは、その値が小さい程、合焦の度合いが高く、その値が大きい程、合焦の度合いが低くなるような評価値である。画像エントロピーは、例えば、以下の数１によって表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｅ（ｖ）は、被写界深度ｖで撮像された画像の画像エントロピーを表す。Ｎ，Ｍは、部分領域のサイズを表し、上述の例ではＮ＝４０，Ｍ＝２０である。また、Ｇｎｏｒ（ｉ，ｊ，ｖ）は、正規化された画像の画素値であり、以下の数２によって表される。
Figure JPOXMLDOC01-appb-M000002
　ここで、Ｇ（ｉ，ｊ，ｖ）は、部分領域内の座標（ｉ，ｊ）により指定される画素の画素値を表す。
　コントローラ２１は、数１及び数２に従って、部分領域ｇ１，ｇ２，…，ｇｎのそれぞれから画像エントロピーの値Ｅ１，Ｅ２，…，Ｅｎをそれぞれ算出する。コントローラ２１は、算出した画像エントロピーの値Ｅ１，Ｅ２，…，Ｅｎを比較し、部分領域ｇ１，ｇ２，…，ｇｎの中から最も合焦度合いが高い部分領域を有する撮像画像を特定する。このとき、コントローラ２１は、横軸をＺ方向、縦軸を画像エントロピーとしたグラフ上において、各画像エントロピーの値Ｅ１，Ｅ２，…，Ｅｎをプロットし、プロットした各点を近似する近似曲線ｆ（Ｚ，ｖ）を求めることにより、画像エントロピーが最小となる合焦位置を求めればよい。コントローラ２１は、求めた合焦位置に最も近い合焦面にて撮像された撮像画像を、撮像画像Ｇ１，Ｇ２，…，Ｇｎの中で最も合焦度合いが高い部分領域を有する撮像画像として特定することができる。
　コントローラ２１は、数１によって表される画像エントロピーを算出する代わりに、ＲＧＢの色成分毎に画像エントロピーを算出し、算出した色成分毎の画像エントロピーを合成してもよい。例えば、ＲＧＢ各色成分の画像エントロピーをそれぞれＥ（Ｒ）、Ｅ（Ｇ）、Ｅ（Ｂ）としたとき、コントローラ２１は、合成後の画像エントロピーＥとして、Ｅ＝［Ｅ（Ｒ）2 ＋Ｅ（Ｒ）2 ＋Ｅ（Ｒ）2 ］1/2 を算出してもよい。コントローラ２１は、合成後の画像エントロピーＥが最小となる部分領域を特定することにより、最も合焦度合いが高い部分領域を特定することができる。
　また、コントローラ２１は、ＲＧＢ成分をＹＵＶ成分に変換し、そのＹ成分に関する画像エントロピーＥ（Ｙ）を算出してもよい。コントローラ２１は、算出した画像エントロピーＥ（Ｙ）が最小となる部分領域を特定することにより、最も合焦度合いが高い部分領域を特定することができる。
　コントローラ２１は、最も合焦度合いが高い部分領域を有する撮像画像を特定した場合、この撮像画像を撮像したときの撮像条件（例えば、焦点距離など）を用いて、部分領域に対応する被写体上の領域までの距離を算出する。例えば、撮像部１２の光学系を薄凸レンズと仮定した場合、レンズから被写体までの距離Ｄ、焦点距離ｆ、画面距離（像距離）ｃの間には、１／Ｄ＋１／ｃ＝１／ｆの関係式が成り立つので、この関係式を用いて被写体までの距離を算出することができる。コントローラ２１は、算出した距離をその部分領域における距離としてメモリ２２に記憶させる。
　次いで、コントローラ２１は、撮像画像Ｇ１，Ｇ２，…，Ｇｎから切り出す部分領域ｇ１，ｇ２，…，ｇｎの中心画素の位置を所定単位で順次ずらしながら、それぞれの位置で距離を算出することにより、被写体についての距離情報を取得する。このとき、コントローラ２１は、例えば、Ｘ方向にＭ画素単位、Ｙ方向にＮ画素単位で部分領域ｇ１，ｇ２，…，ｇｎの中心画素の位置をずらし、領域毎に距離を算出してもよい。また、コントローラ２１は、Ｘ方向に１画素単位、Ｙ方向に１画素単位で部分領域ｇ１，ｇ２，…，ｇｎの中心画素の位置をずらして、画素毎に距離を算出してもよい。コントローラ２１は、領域毎又は画素毎に距離情報を格納した距離画像を生成してもよい。
（２）特徴領域の抽出
　プロセッサ装置２０のコントローラ２１は、腫瘍などの病変部に該当する可能性がある特徴領域を撮像画像Ｇ１，Ｇ２，…，Ｇｎから抽出する。コントローラ２１は、例えば、特許第６１２５７４０号明細書で開示されているように、３つ以上の色成分のうち少なくとも２つ色成分によって定義される色平面内において、色平面内に設定された基準点と各画素の対応点とを結ぶ線分、及び対象疾患に相関を有する基準軸がなす角度に基づいて、各画素の対応疾患に関する評価結果を求めることにより、特徴領域を抽出する。コントローラ２１は、上記の手法に限らず、公知の手法を用いて特徴領域を抽出すればよい。
　コントローラ２１は、撮像画像Ｇ１，Ｇ２，…，Ｇｎから抽出した特徴領域の情報（例えば、特徴領域に該当する画素の情報）をメモリ２２に記憶させる。
　なお、本実施の形態では、撮像画像Ｇ１，Ｇ２，…，Ｇｎから特徴領域を抽出する構成としたが、特定の焦点距離にて撮像された撮像画像（例えば撮像画像Ｇ１）のみから特徴領域を抽出する構成としてもよい。
（３）診断支援情報の生成
　プロセッサ装置２０のコントローラ２１は、撮像画像Ｇ１，Ｇ２，…，Ｇｎから取得した距離情報と、撮像画像Ｇ１，Ｇ２，…，Ｇｎから抽出した特徴領域に関する特徴パラメータとに基づき、診断支援情報を生成する。
　内視鏡画像（撮像画像）は、被写体までの距離に応じて見かけ上の面積に相違が生じる。すなわち、被写体までの距離が遠い程、見かけ上の面積は小さくなり、被写体までの距離が短い程、見かけ上の面積は大きくなる。そこで、コントローラ２１は、被写体までの距離に応じて、撮像画像における特徴領域の見かけ上の面積（特徴パラメータ）を補正する処理を行ってもよい。
　例えば、算出された被写体までの距離をｒ１、基準距離をｒ０とした場合、コントローラ２１は、特徴領域の面積を（ｒ１／ｒ０）2 の比率で拡縮する処理を行えばよい。特徴領域を拡縮する処理として、例えば、最近傍補間法（ニアレストネイバー法、nearest neighbor interpolation）を利用することができる。最近傍補間法は、拡大または縮小後の画素を拡縮率で除算し、その値を四捨五入して得られた座標の画素をそのまま使う線形補間法である。また、特徴領域を拡縮する処理として、バイリニア補間法、バイキュービック補間法、及びＬａｎｃｚｏｓ補間法等を利用してもよい。
　なお、上述の例では、特徴領域の拡縮処理について説明したが、特徴領域を含む画像全体を拡縮してもよい。
　また、内視鏡画像（撮像画像）は、被写体までの距離に応じて色度に相違が生じる。すなわち、被写体までの距離が遠い程、対応する画像領域の色度は低くなり、被写体までの距離が短い程、対応する画像領域の色度は高くなる。そこで、コントローラ２１は、被写体までの距離に応じて、特徴領域における画素値（特徴パラメータ）を補正する処理を行ってもよい。
　以下、一例として、発赤が生じている粘膜表面を特徴領域として抽出した場合の補正処理について説明する。コントローラ２１は、抽出した特徴領域に対応する距離情報を参照し、発赤が生じている粘膜表面までの距離が基準距離以上であるか否かを判断する。基準距離については事前に設定してあるものとする。発赤が生じている粘膜表面までの距離が基準距離以上である場合、実際よりも暗く写っている可能性があるので、コントローラ２１は、特徴領域内の各画素の画素値に関して、Ｒ画素の画素値を大きくする補正を行う。逆に、発赤が生じている粘膜表面までの距離が基準距離未満である場合、実際よりも明るく写っている可能性があるので、コントローラ２１は、特徴領域内の各画素の画素値に関して、Ｒ画素の画素値を小さくする補正を行う。
　コントローラ２１は、Ｒ画素の画素値を補正する際、距離に応じて補正する比率を変更してもよい。すなわち、コントローラ２１は、距離が遠く（短く）なる程（近い）程、補正の強度を高めてもよい。
　コントローラ２１は、Ｒ画素の画素値を補正する際、Ｒ画素の比率に応じて補正する比率を変更してもよい。例えば、コントローラ２１は、粘膜表面までの距離が基準距離の１倍以上かつ２倍未満である場合、Ｒ／（Ｒ＋Ｇ＋Ｂ）の計算式でＲを補正する比率を求めてもよい。また、コントローラ２１は、粘膜表面までの距離が基準距離の２倍以上かつ３倍未満である場合、２Ｒ／（Ｒ＋Ｇ＋Ｂ）の計算式でＲを補正する比率を求めてもよい。また、コントローラ２１は、粘膜表面までの距離が基準距離の３倍以上かつ４倍未満である場合、３Ｒ／（Ｒ＋Ｇ＋Ｂ）の計算式でＲを補正する比率を求めてもよい。
　コントローラ２１は、特徴領域における特徴パラメータが補正された内視鏡画像（撮像画像）に基づき、診断支援情報を生成する。このとき、コントローラ２１は、内視鏡画像（撮像画像）の入力に応じて、体腔内の病変に関する情報を出力するように構成された学習モデル１００（図６を参照）を用いて、診断支援情報を生成する。なお、学習モデル１００は、プロセッサ装置２０が備えるものであってもよく、プロセッサ装置２０からアクセス可能な外部サーバが備えるものであってもよい。前者の場合、学習モデル１００は、プロセッサ装置２０のメモリ２２に記憶され、コントローラ２１からアクセスすることにより利用される。後者の場合、学習モデル１００は外部サーバの記憶装置に記憶され、通信インタフェース２７を介してコントローラ２１からアクセスすることにより利用される。
　図６は学習モデル１００の一例を示す構成図である。学習モデル１００は、例えばＣＮＮ（Convolutional Neural Networks）などのニューラルネットワークにより構築された学習モデルであり、入力層１０１、中間層１０２、及び、出力層１０３を備える。学習モデル１００は、特徴パラメータが補正された内視鏡画像の入力に対して、体腔内の病変に関する情報を出力するように予め学習される。
　入力層１０１には、特徴パラメータが補正された内視鏡画像の画像データが入力される。入力層１０１に入力された内視鏡画像の画像データは、中間層１０２へ送出される。
　中間層１０２は、例えば、畳み込み層１０２ａ、プーリング層１０２ｂ、及び全結合層１０２ｃにより構成される。畳み込み層１０２ａ及びプーリング層１０２ｂは交互に複数設けられてもよい。畳み込み層１０２ａ及びプーリング層１０２ｂは、各層のノードを用いた演算によって、入力層１０１を通じて入力される内視鏡画像の特徴を抽出する。全結合層１０２ｃは、畳み込み層１０２ａ及びプーリング層１０２ｂによって特徴部分が抽出されたデータを１つのノードに結合し、活性化関数によって変換された特徴変数を出力する。特徴変数は、全結合層１０２ｃを通じて出力層１０３へ出力される。
　出力層１０３は、１つ又は複数のノードを備える。出力層１０３は、中間層１０２の全結合層１０２ｃから入力される特徴変数を基に、ソフトマックス関数を用いて確率に変換し、内視鏡画像が属するカテゴリについての確率を各ノードから出力する。内視鏡画像を分類するカテゴリは、例えば、悪性腫瘍、良性腫瘍、ポリープなどを含むように任意に設定することができる。更に、分類するカテゴリは、病変に属さない正常状態を含んでもよい。
　図６の例は、内視鏡画像を分類するカテゴリとして、ｍ個のカテゴリを設定した学習モデル１００を示している。この学習モデル１００は、出力層１０３の各ノードから、悪性腫瘍である確率Ｐ１，良性腫瘍である確率Ｐ２，ポリープである確率Ｐ３，…，正常である確率Ｐｍを出力するように構成されている。なお、設定するカテゴリの数（＝ｍ）は、１個であってもよく、複数個であってもよい。
　なお、各ノード間を結合する重み及びバイアス等の各種パラメータは、所定の学習アルゴリズムによって学習される。本実施形態では、特徴パラメータが補正された内視鏡画像と、その内視鏡画像に対する医師の診断結果とを含むデータを多数収集し、それらのデータを教師データに用いて、所定の学習アルゴリズムに従って各種パラメータを学習することができる。
　プロセッサ装置２０のコントローラ２１は、学習モデル１００の出力層１０３から、各カテゴリに属する確率を取得し、取得した確率に基づき、体腔内における病変の有無を推定する。例えば、悪性腫瘍である確率Ｐ１のみが閾値（例えば８０％）を超える場合、コントローラ２１は、被検者の体腔内に悪性腫瘍が存在すると推定することができる。確率Ｐ２，Ｐ３，…，Ｐｍ－１の何れか１つが閾値を超える場合についても同様である。一方、確率Ｐ１，Ｐ２，…，Ｐｍ－１の何れも閾値を超えない場合、若しくは、正常であることを示す確率Ｐｍが閾値を超える場合、コントローラ２１は、内視鏡画像によって観察される範囲内に病変が存在しないと推定できる。
　なお、図６の例ではＣＮＮによる学習モデル１００を示したが、学習モデル１００を構築する機械学習のモデルは任意に設定することができる。例えば、ＣＮＮに代えて、Ｒ－ＣＮＮ（Region-based CNN）、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Detector）等に基づく学習モデルを設定してもよい。
　また、本実施の形態では、学習モデル１００を用いて診断情報を生成する構成について説明したが、コントローラ２１は、補正された特徴領域の面積、色度等の情報と予め設定された基準値とを比較して病変の有無を判断し、判断結果を診断支援情報として出力してもよい。
　コントローラ２１は、学習モデル１００から出力される情報に基づき、診断支援情報を生成する。診断支援情報は、例えば、学習モデル１００による推定結果を示す文字情報である。診断支援情報は、病変と推測される領域を強調した画像であってもよい。コントローラ２１は、出力インタフェース２６を通じて、生成した診断支援情報を出力することにより、モニタ装置３０に診断支援情報を表示させる。
　図７は診断支援情報の表示例を示す模式図である。図７の例は、例えば特徴パラメータが補正された内視鏡画像と共に、「１」及び「２」のインデックスで示される特徴領域のそれぞれについて学習モデル１００による推定結果を文字情報として表示した例を示している。
　以下、プロセッサ装置２０が実行する処理の手順について説明する。
　図８は実施の形態１におけるプロセッサ装置２０が実行する処理の手順を説明するフローチャートである。プロセッサ装置２０のコントローラ２１は、例えば、内視鏡１０のレリーズボタンの押下操作に応じて、撮像素子１２４と正対する多数の合焦面にてピントを合わせて被写体を順次撮像する（ステップＳ１０１）。このとき、コントローラ２１は、撮像素子１２４と正対する多数の合焦面にてピントを合わせて被写体を順次撮像することを指示する制御信号を内視鏡１０のドライバ回路１２０へ送出する。ドライバ回路１２０は、コントローラ２１からの制御信号に応じて撮像部１２を駆動することにより、撮像部１２による撮像を実施させる。
　多数の合焦面にてピントを合わせて撮像している間、内視鏡１０の先端部分は動かないように保持されていることが好ましい。このため、コントローラ２１は、内視鏡１０の先端部分を動かさないように保持すべき旨の情報を報知してもよい。図９は撮像中の表示例を示す模式図である。コントローラ２１は、内視鏡１０の先端部分を動かさないように保持すべき旨の文字情報と、撮像開始から撮像終了までを視覚的に示すスライダとを含む画面を生成し、生成した画面のデータを出力インタフェース２６よりモニタ装置３０へ出力することにより、図９に示すような画像を表示させる。
　コントローラ２１は、内視鏡１０の撮像部１２により撮像された一連の撮像画像を取得する（ステップＳ１０２）。取得した一連の撮像画像は、例えばメモリ２２に記憶される。
　コントローラ２１は、一連の撮像画像から対応する部分領域を切り出し（ステップＳ１０３）、部分領域のそれぞれから合焦評価値を算出する（ステップＳ１０４）。合焦評価値の一例は、画像エントロピーである。
　コントローラ２１は、算出した合焦評価値に基づき、最も合焦度合いが高い部分領域を特定する（ステップＳ１０５）。このとき、コントローラ２１は、画像エントロピーが最小となる合焦位置を求め、求めた合焦位置に最も近い合焦面にて撮像された撮像画像を、最も合焦度合いが高い部分領域を有する撮像画像として特定する。
　次いで、コントローラ２１は、最も合焦度合いが高い部分領域を有する撮像画像が撮像されたときの撮像条件（例えば、焦点距離など）を用いて、部分領域に対応する被写体上の領域までの距離を算出する（ステップＳ１０６）。コントローラ２１は、算出した距離をその部分領域における距離としてメモリ２２に記憶させる。
　次いで、コントローラ２１は、撮像画像の全領域について距離を算出したか否かを判断する（ステップＳ１０７）。距離を算出していない領域が存在する場合（Ｓ１０７：ＮＯ）、コントローラ２１は、算出対象の部分領域を再設定し、処理をステップＳ１０３へ戻す。
　撮像画像の全領域について距離が算出された場合（Ｓ１０７：ＹＥＳ）、被写体に対する距離情報が得られる。すなわち、コントローラ２１は、撮像画像の各部分領域に対応付けて距離を記憶させることにより、被写体に対する距離情報を生成する（ステップＳ１０８）。
　次いで、コントローラ２１は、腫瘍などの病変部に該当する可能性がある特徴領域を撮像画像から抽出する（ステップＳ１０９）。コントローラ２１は、例えば、特許第６１２５７４０号明細書で開示されている手法などの公知の手法を用いて特徴領域を抽出することができる。
　次いで、コントローラ２１は、ステップＳ１０８で生成した距離情報を用いて、特徴領域に関する特徴パラメータを補正する（ステップＳ１１０）。このとき、コントローラ２１は、特徴領域に関するパラメータとして、特徴領域の面積を補正してもよく、画素値を補正してもよい。特徴領域の面積を補正する場合、コントローラ２１は、特徴領域に対応する被写体までの距離が遠い程、見かけ上の面積が大きくなるように補正し、特徴領域に対応する被写体までの距離が短い程、見かけ上の面積が小さくなるように補正すればよい。また、特徴領域の画素値を補正する場合、コントローラ２１は、特徴領域に対応する被写体までの距離が遠い程、特徴領域の画像が明るくなるように画素値を補正し、特徴領域に対応する被写体までの距離が短い程、特徴領域の画像が暗くなるように画素値を補正すればよい。
　次いで、コントローラ２１は、特徴パラメータを補正して得られる内視鏡画像を学習モデル１００へ入力し（ステップＳ１１１）、学習モデル１００による演算結果を取得する（ステップＳ１１２）。学習モデル１００がプロセッサ装置２０のメモリ２２に記憶されている場合、コントローラ２１は、内視鏡画像の画像データを学習モデル１００の入力層１０１に入力し、中間層１０２を用いた演算を実行することにより、出力層１０３から演算結果を取得すればよい。また、学習モデル１００が外部サーバに記憶されている場合、特徴パラメータを補正して得られる内視鏡画像の画像データを通信インタフェース２７より外部サーバへ送信し、外部サーバにより実行された学習モデル１００による演算結果を通信により取得すればよい。
　コントローラ２１は、学習モデル１００による演算結果に基づき、診断支援情報を生成し（ステップＳ１１３）、生成した診断支援情報を出力インタフェース２６より出力することにより（ステップＳ１１４）、操作者に対する診断支援を行う。
　以上のように、本実施の形態では、被写体に対する距離情報に基づき特徴領域における特徴パラメータを補正することが可能である。また、特徴パラメータが補正された内視鏡画像を用いて学習モデル１００による演算を実行するので、学習モデル１００による推定精度を向上させることができる。
　本実施の形態では、合焦度合いを評価する評価値として、画像エントロピーを用いたが、他の評価値を用いてもよい。例えば、画像エントロピーに代えて、画像先鋭度を用いてもよく、以下の数３で表されるようなコントラスト量Ｃ（ｖ）を用いてもよい。
Figure JPOXMLDOC01-appb-M000003
　なお、画像先鋭度やコントラスト量は、その値が小さい程、合焦の度合いが低く、その値が大きい程、合焦の度合いが高くなるような評価値であるため、これらの評価値を用いる場合、コントローラ２１は、画像先鋭度又はコントラスト量が最も大きくなるような部分領域を特定すればよい。
（実施の形態２）
　実施の形態２では、撮像時に明るさを変更する構成について説明する。
　図１０は実施の形態２における被写体の撮像手順を説明する説明図である。プロセッサ装置２０のコントローラ２１は、内視鏡１０のドライバ回路１２０を制御することにより、撮像素子１２４と正対する多数の合焦面にてピントを合わせて被写体を撮像させると共に、光源部２４を制御することにより、撮像時の明るさ（光量）を段階的に変化させる。合焦位置を異ならせて撮像する枚数は、実施の形態１と同様に例えば５０枚程度である。また、明るさについては、２～５段階程度に変化させればよい。
　例えば、撮像部１２により、Ｚ＝Ｚ１で示される位置の合焦面にてピントを合わせ、光源部２４により、明るさをＬ１，Ｌ２，…，Ｌｋのように段階的に変化させて被写体を撮像する。ここで、Ｌ１，Ｌ２，…，Ｌｋは、明るさを表す指標値（例えば照度）である。ｋは例えば２～５の整数値である。明るさは、Ｌ１，Ｌ２，…，Ｌｋの順に明るくしてもよく、Ｌ１，Ｌ２，…，Ｌｋの順に暗くしてもよい。得られた撮像画像はドライバ回路１２０を介してプロセッサ装置２０へ出力される。Ｚ＝Ｚ１で示される位置は、例えば、撮像部１２の焦点距離が最小となる位置に相当する。明るさを変化させる間、内視鏡１０の先端部分は動かないように保持されており、撮像部１２の位置に変動はないものとする。
　次いで、撮像部１２は、合焦面の位置をＺ１からＺ２（Ｚ２＞Ｚ１）に変更する。撮像部１２は、Ｚ＝Ｚ２で示される位置の合焦面にてピントを合わせ、明るさをＬ１，Ｌ２，…，Ｌｋのように段階的に変化させて被写体を撮像する。得られた撮像画像はドライバ回路１２０を介してプロセッサ装置２０へ出力される。合焦面の位置をＺ１からＺ２へ変化させる間、及び明るさを変更させる間、内視鏡１０の先端部分は動かないように保持されており、撮像部１２の位置に変動はないものとする。
　その後、上述と同様の手順にて、合焦面の位置をＺ＝Ｚ３，Ｚ４，…，Ｚｎ（ｎは例えば５０）で示される位置に順次ずらしながら、それぞれの合焦位置にて明るさを段階的に変化させて被写体を撮像する。得られた撮像画像はプロセッサ装置２０へ出力される。ここで、Ｚ＝Ｚｎで示される位置は、例えば、撮像部１２の焦点距離が最大となる位置に相当する。
　プロセッサ装置２０は、合焦位置及び明るさを異ならせて撮像された被写体の複数の撮像画像を撮像部１２から取得し、取得した撮像画像から被写体に対する距離情報を生成する。距離情報の生成手法は、実施の形態１と同様である。すなわち、合焦位置及び明るさが異なる複数の撮像画像において対応する部分領域を切り出し、切り出した部分領域の合焦度合いを評価する手法を用いて、被写体に対する距離情報を生成すればよい。
　また、プロセッサ装置２０は、実施の形態１と同様の手順にて、生成した距離情報を用いて撮像画像における特徴領域の特徴パラメータを補正し、特徴パラメータが補正された内視鏡画像より、診断支援情報を生成することができる。
　以上のように、実施の形態２では、撮像時の明るさを段階的に変化させる構成であるため、画像が明る過ぎる（若しくは暗過ぎる）ことに起因して合焦度合いが適切に評価されない状況を回避できる。
　なお、本実施の形態では、合焦位置を固定した状態にて明るさを変化させ、被写体を撮像する手順としたが、明るさを固定した状態にて合焦位置を変化させ、被写体を撮像する手順としてもよい。
（実施の形態３）
　実施の形態３では、算出した距離に特異値が現れた場合、特異値を除去又は補正する構成について説明する。
　図１１は実施の形態３におけるプロセッサ装置２０が実行する処理の手順を説明するフローチャートである。プロセッサ装置２０のコントローラ２１は、実施の形態１と同様の手順にて、被写体に対する距離情報を取得する（ステップＳ３０１）。すなわち、コントローラ２１は、合焦位置を異ならせて撮像された一連の撮像画像から部分領域を切り出し、部分領域のそれぞれについて合焦度合いを評価することにより、部分領域に対応する被写体上の領域までの距離を算出する。コントローラ２１は、撮像画像の全領域について距離を算出することにより、被写体に対する距離情報を生成する。
　次いで、コントローラ２１は、距離情報に特異点が含まれているか否かを判断する（ステップＳ３０２）。例えば、コントローラ２１は、算出した距離の平均値を計算し、平均値より所定値（例えば標準偏差の３倍）以上乖離している点が存在する場合、特異点が含まれると判断することができる。
　特異点が含まれると判断した場合（Ｓ３０２：ＹＥＳ）、コントローラ２１は、特異点を除去又は補正する（ステップＳ３０３）。このとき、コントローラ２１は、特異点に該当する距離の値を削除することにより、特異点を除去してもよい。また、コントローラ２１は、特異点の近傍において算出した距離を用いて、特異点における距離を推定し、推定した距離をその特異点における距離として書き換えることによって、特異値を補正してもよい。更に、コントローラ２１は、明るさを変更して撮像し直すことにより、特異点における距離を再度算出してもよい。
　ステップＳ２０３において特異点が含まれないと判断した場合（Ｓ３０２：ＮＯ）、または、ステップＳ３０３において特異点を除去又は補正した場合、コントローラ２１は、本フローチャートによる処理を終了する。
　以上のように、本実施の形態では、距離情報から特異点を除去又は補正できるので、特徴量における特徴パラメータを適切に補正できる。
（実施の形態４）
　実施の形態４では、被写体までの距離に応じて内視鏡画像の明るさを変更する手法について説明する。
　内視鏡１０では、奥行きの深い所には光源部２４から照射される光が十分に届かない可能性がある。このため、内視鏡１０から得られる撮像画像では、被写体までの距離が短い程、対応する画像領域の明度は相対的に高く、被写体までの距離が長い程、対応する画像領域の明度は相対的に低くなる傾向にある。そこで、コントローラ２１は、被写体までの距離に応じて、明度を変更する処理を実行する。なお、被写体までの距離は、実施の形態１と同様の手法にて算出すればよい。
　被写体までの距離がｒである画素の画素値を（Ｒ，Ｇ，Ｂ）としたとき、コントローラ２１は、例えば、Ｒ’＝Ｒ＋ｎ（ｒ）、Ｇ’＝Ｇ＋ｎ（ｒ）、Ｂ’＝Ｂ＋ｎ（ｒ）により、画素値を補正する。ここで、ｎ（ｒ）は、正の整数であり、０≦ｒ＜ｒ１のとき０、ｒ１≦ｒ＜ｒ２のとき１、ｒ２≦ｒ＜ｒ３のとき２、…といったように、距離ｒに応じて段階的に増加するように設定される。コントローラ２１は、関数を用いて画素値を補正してもよく、テーブルを用いて画素値を補正してもよい。コントローラ２１は、内視鏡１０から得られる撮像画像に含まれる全ての画素、若しくは特定の領域に含まれる画素に対して上記の補正を施す。
　このような補正により、ｒが大きくなる程（すなわち被写体までの距離が長くなる程）、明度が高くなるように、内視鏡画像を補正することができる。
　なお、コントローラ２１は、明度に対して閾値を設定し、設定した閾値より低い画素についてのみ上記の補正を施してもよい。更に、上記では明度を補正する構成としたが、輝度を補正する構成としてもよい。例えば、コントローラ２１は、ＲＧＢ成分をＹＵＶ成分に変換し、Ｙ成分の値を距離ｒに応じて補正する処理を行ってもよい。
　以上のように、実施の形態４では、奥行きが深い観察領域においても違和感なく明るい表示が可能となり、病変部の見落としが軽減される。
（実施の形態５）
　実施の形態５では、内視鏡画像を立体表示する構成について説明する。
　図１２は実施の形態５における表示例を説明する説明図である。実施の形態１において説明したように、コントローラ２１は、被写体までの距離を算出することができる。図１２の例は、被写体までの距離が相対的に短い領域Ｒ１と、被写体までの距離が相対的に長い領域Ｒ２との２つの領域を含んだ内視鏡画像を示している。図１２の上図に示すように領域Ｒ１及びＲ２が正面から撮像された場合、操作者は内視鏡画像において領域Ｒ１及び領域Ｒ２を区別して認識することは困難である。
　そこで、コントローラ２１は、被写体までの距離情報を利用して、内鏡画像を立体表示する。具体的には、コントローラ２１は、距離情報に基づき、アイソメトリック法、ダイメトリック法、トリメトリック法などの手法を用いて内視鏡画像を立体的に描画することにより、立体表示を行う。
　図１２の下図は、アイソメトリック法で立体的に描画した画像を示している。領域Ｒ１は被写体までの距離が相対的に短く、領域Ｒ２は被写体までの距離が相対的に長い領域を示しているので、立体的に描画した場合、領域Ｒ１は領域Ｒ２から隆起した領域として描画される。隆起した部分の高さは、領域Ｒ２までの距離と領域Ｒ１までの距離との差に対応する。このような立体画像が表示されることにより、操作者は領域Ｒ１の存在を明確に認識することができる。
　以上のように、実施の形態５では、距離情報に基づき内視鏡画像を立体表示することにより、隆起した部位の高さを含めてその存在を示すことができるので、病変部の見落としが軽減される。
　今回開示された実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
　１０　内視鏡
　１１　内視鏡挿入部
　１１ａ　可撓管
　１１ｂ　湾曲部
　１２　撮像部
　１３　操作部
　１４　ユニバーサルコード
　１５　スコープコネクタ
　２０　プロセッサ装置
　２１　コントローラ
　２２　メモリ
　２３　操作パネル
　２４　光源部
　２５　画像処理部
　２６　出力インタフェース
　２７　通信インタフェース
　３０　モニタ装置
　１００　学習モデル
　Ｍ　記録媒体

Claims (12)

  1. 　内視鏡と、該内視鏡から得られる撮像画像を処理するプロセッサ装置とを備える内視鏡システムであって、
    　前記内視鏡は、
    　被写体を撮像する撮像部と、
    　前記被写体上の合焦位置を前記撮像部の光軸方向に沿って変更すべく、前記撮像部の焦点距離を変更する焦点距離変更部と
    　を備え、
    　前記プロセッサ装置は、
    　前記被写体について合焦位置を異ならせて撮像された複数の撮像画像を前記撮像部から取得する画像取得部と、
    　取得した複数の撮像画像間で対応する部分領域の夫々について、合焦度合いを表す評価値を算出する評価値算出部と、
    　算出した各部分領域の評価値に基づき、前記複数の撮像画像の中で最も合焦度合いが高い部分領域を有する撮像画像を特定する特定部と、
    　前記撮像画像が撮像された際の撮像条件に基づき、前記部分領域に対応する前記被写体上の領域について距離を算出する距離算出部と、
    　前記被写体上の複数の領域について前記距離を算出することにより、前記被写体に対する距離情報を生成する距離情報生成部と、
    　前記撮像画像から特徴領域を抽出する抽出部と、
    　前記距離情報生成部にて生成した距離情報と、前記抽出部が抽出した特徴領域に関する特徴パラメータとに基づき、前記被写体に対する診断支援情報を生成する診断支援部と、
    　該診断支援部が生成した診断支援情報を出力する出力部と
    　を備える内視鏡システム。
  2. 　前記被写体に照射すべき光を発する光源と、
    　前記光源が発する光の光量を制御する光源制御回路と
    　を更に備え、
    　前記画像取得部は、前記被写体に関して合焦位置と光量とを異ならせて撮像された複数の撮像画像を取得し、
    　前記評価値算出部は、合焦位置と光量とが異なる複数の撮像画像間で対応する部分領域の夫々について、合焦度合いを表す評価値を算出する
    　請求項１に記載の内視鏡システム。
  3. 　前記プロセッサ装置は、
    　前記距離算出部が算出した距離から特異値を検出する検出部
    　を備え、
    　前記距離情報生成部は、前記検出部が検出した特異値を除去又は補正した距離情報を生成する
    　請求項１又は請求項２に記載の内視鏡システム。
  4. 　前記診断支援部は、前記撮像画像の入力に応じて、病変の有無に関する推定結果を出力するように構成された学習モデルを用いて、前記被写体に対する診断支援情報を生成する
    　請求項１から請求項３の何れか１つに記載の内視鏡システム。
  5. 　前記診断支援部は、前記距離情報に基づき前記特徴パラメータを補正することにより得られる撮像画像を前記学習モデルへ入力する
    　請求項４に記載の内視鏡システム。
  6. 　前記評価値は、前記部分領域における画像エントロピー、画像先鋭度、及びコントラスト量の何れか１つを含む
    　請求項１から請求項４の何れか１つに記載の内視鏡システム。
  7. 　前記プロセッサ装置は、
    　前記画像取得部が取得すべき複数の撮像画像を前記撮像部にて撮像している間、撮像中であることを示す情報を報知する報知部
    　を備える請求項１から請求項６の何れか１つに記載の内視鏡システム。
  8. 　前記プロセッサ装置は、
    　前記距離情報に基づき、前記撮像画像を構成する画素の画素値を補正する補正部
    　を備える請求項１から請求項７の何れか１つに記載の内視鏡システム。
  9. 　前記プロセッサ装置は、
    　前記撮像画像を立体表示すべく、前記撮像画像を前記距離情報に基づいて変換する画像変換部
    　を備える請求項１から請求項８の何れか１つに記載の内視鏡システム。
  10. 　被写体を撮像する撮像部と、前記被写体上の合焦位置を前記撮像部の光軸方向に沿って変更すべく、前記撮像部の焦点距離を変更する焦点距離変更部とを備える内視鏡に接続され、該内視鏡から得られる複数の撮像画像を処理するプロセッサ装置であって、
    　前記被写体について合焦位置を異ならせて撮像された複数の撮像画像を前記撮像部から取得する画像取得部と、
    　取得した複数の撮像画像間で対応する部分領域の夫々について、合焦度合いを表す評価値を算出する評価値算出部と、
    　算出した各部分領域の評価値に基づき、前記複数の撮像画像の中で最も合焦度合いが高い部分領域を有する撮像画像を特定する特定部と、
    　前記撮像画像が撮像された際の撮像条件に基づき、前記部分領域に対応する前記被写体上の領域について距離を算出する距離算出部と、
    　前記被写体上の複数の領域について前記距離を算出することにより、前記被写体に対する距離情報を生成する距離情報生成部と、
    　前記撮像画像から特徴領域を抽出する抽出部と、
    　前記距離情報生成部にて生成した距離情報と、前記抽出部が抽出した特徴領域に関する特徴パラメータとに基づき、前記被写体に対する診断支援情報を生成する診断支援部と、
    　該診断支援部が生成した診断支援情報を出力する出力部と
    　を備えるプロセッサ装置。
  11. 　内視鏡の撮像部から、被写体上の合焦位置を異ならせて撮像された複数の撮像画像を取得し、
    　取得した複数の撮像画像間で対応する部分領域の夫々について、合焦度合いを表す評価値を算出し、
    　算出した各部分領域の評価値に基づき、前記複数の撮像画像の中で最も合焦度合いが高い部分領域を有する撮像画像を特定し、
    　前記撮像画像が撮像された際の撮像条件に基づき、前記部分領域に対応する前記被写体上の領域について距離を算出し、
    　前記被写体上の複数の領域について前記距離を算出することにより、前記被写体に対する距離情報を生成し、
    　前記撮像画像から特徴領域を抽出し、
    　前記前記被写体の距離情報と、前記特徴領域に関する特徴パラメータとに基づき、前記被写体に対する診断支援情報を生成し、
    　生成した診断支援情報を出力する
    　診断支援方法。
  12. 　コンピュータに、
    　内視鏡の撮像部から、被写体上の合焦位置を異ならせて撮像された複数の撮像画像を取得し、
    　取得した複数の撮像画像間で対応する部分領域の夫々について、合焦度合いを表す評価値を算出し、
    　算出した各部分領域の評価値に基づき、前記複数の撮像画像の中で最も合焦度合いが高い部分領域を有する撮像画像を特定し、
    　前記撮像画像が撮像された際の撮像条件に基づき、前記部分領域に対応する前記被写体上の領域について距離を算出し、
    　前記被写体上の複数の領域について前記距離を算出することにより、前記被写体に対する距離情報を生成し、
    　前記撮像画像から特徴領域を抽出し、
    　前記前記被写体の距離情報と、前記特徴領域に関する特徴パラメータとに基づき、前記被写体に対する診断支援情報を生成し、
    　生成した診断支援情報を出力する
    　処理を実行させるためのコンピュータプログラム。
PCT/JP2021/000217 2020-01-07 2021-01-06 内視鏡システム、プロセッサ装置、診断支援方法、及びコンピュータプログラム WO2021141048A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021570068A JPWO2021141048A1 (ja) 2020-01-07 2021-01-06
US17/632,443 US11842815B2 (en) 2020-01-07 2021-01-06 Endoscope system, processor, diagnostic support method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020000868 2020-01-07
JP2020-000868 2020-01-07

Publications (1)

Publication Number Publication Date
WO2021141048A1 true WO2021141048A1 (ja) 2021-07-15

Family

ID=76788649

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000217 WO2021141048A1 (ja) 2020-01-07 2021-01-06 内視鏡システム、プロセッサ装置、診断支援方法、及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US11842815B2 (ja)
JP (1) JPWO2021141048A1 (ja)
WO (1) WO2021141048A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023096502A1 (en) * 2021-11-25 2023-06-01 Kahu.Ai Limited Methods and systems for determining a three-dimensional structure of a skin lesion

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110563A (ja) * 1994-10-12 1996-04-30 Canon Inc 表示装置
JPH11337845A (ja) * 1998-05-25 1999-12-10 Mitsubishi Electric Corp 内視鏡装置
JP2002065581A (ja) * 2000-08-25 2002-03-05 Fuji Photo Film Co Ltd 内視鏡装置
JP2012039255A (ja) * 2010-08-04 2012-02-23 Olympus Corp 画像処理装置、画像処理方法、撮像装置及びプログラム
JP2012095828A (ja) * 2010-11-02 2012-05-24 Olympus Corp 撮像装置、内視鏡装置及び画像生成方法
JP2014161355A (ja) * 2013-02-21 2014-09-08 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法及びプログラム
JP2015096812A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 画像処理装置、撮像装置および距離補正方法
WO2016088186A1 (ja) * 2014-12-02 2016-06-09 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法
WO2017090166A1 (ja) * 2015-11-26 2017-06-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3652014B2 (ja) * 1996-06-26 2005-05-25 オリンパス株式会社 距離計測装置
JP2002238887A (ja) 2001-02-19 2002-08-27 National Cancer Center-Japan 仮想内視鏡
WO2017057680A1 (ja) 2015-09-30 2017-04-06 Hoya株式会社 内視鏡システム及び評価値計算装置
EP3507743B1 (en) 2016-09-02 2023-11-22 Ohio State Innovation Foundation System and method of otoscopy image analysis to diagnose ear pathology
EP3515325A4 (en) 2016-09-23 2020-05-13 Xact Robotics Ltd. UNIVERSAL HOLDER FOR AN APPLICABLE MEDICAL TOOL
JP2021003530A (ja) * 2019-06-27 2021-01-14 ソニー株式会社 医療用観察システム、制御装置及び制御方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110563A (ja) * 1994-10-12 1996-04-30 Canon Inc 表示装置
JPH11337845A (ja) * 1998-05-25 1999-12-10 Mitsubishi Electric Corp 内視鏡装置
JP2002065581A (ja) * 2000-08-25 2002-03-05 Fuji Photo Film Co Ltd 内視鏡装置
JP2012039255A (ja) * 2010-08-04 2012-02-23 Olympus Corp 画像処理装置、画像処理方法、撮像装置及びプログラム
JP2012095828A (ja) * 2010-11-02 2012-05-24 Olympus Corp 撮像装置、内視鏡装置及び画像生成方法
JP2014161355A (ja) * 2013-02-21 2014-09-08 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法及びプログラム
JP2015096812A (ja) * 2013-11-15 2015-05-21 キヤノン株式会社 画像処理装置、撮像装置および距離補正方法
WO2016088186A1 (ja) * 2014-12-02 2016-06-09 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法
WO2017090166A1 (ja) * 2015-11-26 2017-06-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023096502A1 (en) * 2021-11-25 2023-06-01 Kahu.Ai Limited Methods and systems for determining a three-dimensional structure of a skin lesion

Also Published As

Publication number Publication date
US11842815B2 (en) 2023-12-12
JPWO2021141048A1 (ja) 2021-07-15
US20220293268A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
JP5855358B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP4994737B2 (ja) 医療用画像処理装置及び医療用画像処理方法
US11526986B2 (en) Medical image processing device, endoscope system, medical image processing method, and program
CN113543694B (zh) 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
JP7308258B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法
US11074690B2 (en) Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
US20210314470A1 (en) Imaging System for Identifying a Boundary Between Active and Inactive Portions of a Digital Image
US11503982B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for detecting a defective pixel in an image frame
JP2016064281A (ja) 内視鏡装置
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
WO2017212725A1 (ja) 医療用観察システム
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
WO2021141048A1 (ja) 内視鏡システム、プロセッサ装置、診断支援方法、及びコンピュータプログラム
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
US10462440B2 (en) Image processing apparatus
JP6346501B2 (ja) 内視鏡装置
US20220383533A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and program
JP2008093213A (ja) 医療用画像処理装置及び医療用画像処理方法
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
CN117956939A (en) Computer program, learning model generation method, and information processing device
JP2014171535A (ja) 画像処理装置
CN112739250A (zh) 医用图像处理装置、处理器装置、医用图像处理方法及程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21738564

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021570068

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21738564

Country of ref document: EP

Kind code of ref document: A1