WO2021065286A1 - 電子内視鏡システム - Google Patents

電子内視鏡システム Download PDF

Info

Publication number
WO2021065286A1
WO2021065286A1 PCT/JP2020/032939 JP2020032939W WO2021065286A1 WO 2021065286 A1 WO2021065286 A1 WO 2021065286A1 JP 2020032939 W JP2020032939 W JP 2020032939W WO 2021065286 A1 WO2021065286 A1 WO 2021065286A1
Authority
WO
WIPO (PCT)
Prior art keywords
location
lumen
information
still image
image
Prior art date
Application number
PCT/JP2020/032939
Other languages
English (en)
French (fr)
Inventor
貴雄 牧野
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to DE112020004678.8T priority Critical patent/DE112020004678T5/de
Priority to CN202080032237.1A priority patent/CN113747825B/zh
Priority to US17/604,918 priority patent/US20220211250A1/en
Priority to JP2021550452A priority patent/JP7182014B2/ja
Publication of WO2021065286A1 publication Critical patent/WO2021065286A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an electronic endoscopy system that acquires a still image from a moving image of a living tissue in an organ.
  • ulcerative colitis Ulcerative Colitis
  • white moss and purulent mucus are contained and become white, and in the inflamed part, edema occurs and bleeding easily occurs and becomes reddish. ..
  • Such lesions can be imaged, observed and inspected by an endoscopic system.
  • a still image is acquired from the moving image according to the operator's instructions and recorded and saved in a memory or the like, but it is unknown where in the organ the still image was taken. In some cases, it is often not possible to locate the lesion within the organ. Therefore, it is preferable to associate the still image with the information of the shooting location.
  • an electronic endoscope in which optical sensors for acquiring information on the position where a color endoscope image is captured are provided on the outer periphery of the insertion portion at equal intervals (Patent Document 1). Since these optical sensors are provided at equal intervals in the insertion part of the electronic endoscope, the optical sensor inserted in the organ (gastrointestinal tract) of the insertion part does not detect external light and the organ (digestion). Since the photosensor provided in the part not inserted in the organ (tube) detects external light, the distribution length of the photosensor that does not detect light is the length of the insertion part inserted in the organ (gastrointestinal tract). By making a determination, it is possible to acquire information on the position (insertion length) of the tip of the electronic endoscope.
  • the present invention efficiently obtains information on the imaging location of a still image without providing a dedicated sensor in an electronic endoscope when acquiring a still image from a moving image of a living tissue imaged in a lumen.
  • An object of the present invention is to provide an electronic endoscopy system capable of associating this information with a still image.
  • One aspect of the present invention is an electronic endoscopy system configured to acquire a still image from a moving image of a living tissue imaged in a lumen.
  • the electronic endoscopy system is An electronic endoscope configured to capture an image of living tissue in the lumen as a moving image, A still image acquisition unit configured to acquire a part of the imaged moving image of the living tissue as a still image according to an instruction, a recording unit configured to record the still image, and the inside of the lumen.
  • a processor including a mapping processing unit configured to associate the location information regarding the imaging location of the living body tissue with the still image.
  • a monitor configured to display the moving image and the still image, and Triggered by an operation of determining one of a plurality of preset locations in the lumen as a selection location, a capture instruction for acquiring the still image from the moving image is transmitted to the still image acquisition unit.
  • an input operation device configured to transmit information on the selected location as location information on the imaging location to the association processing unit during the imaging period of the moving image.
  • the input operation device includes a plurality of buttons to which information on different locations in the lumen is identifiable to each other, one press of the button determines the selected location, and one press of the button. It is preferably configured to trigger the transmission of the capture instruction.
  • the name of the location in the lumen, the distance from the opening end of the lumen, or the identification information that identifies the location of the lumen is set as the information of the location in the lumen. Is preferable.
  • the input operation device is a keyboard.
  • the button is a key on the keyboard.
  • the processor controls the monitor to display the information of the location in the lumen set on the key and the information corresponding to the number, the character, or the symbol set on the key. It is preferable to include a configured display control unit.
  • the button is a button on which the name of the place in the lumen, the distance information from the opening end of the lumen, or the identification information is displayed on the touch panel as the information of the place in the lumen. Is preferable.
  • the input operation device includes a selection operation device configured to select the selection location and a determination operation device configured to determine the selected selection location, and the determination by the determination operation device. It is preferable that the capture instruction is transmitted to the still image acquisition unit by using the operation as a trigger.
  • association processing unit is configured to write location information regarding the imaging location in the still image.
  • the processor refers to a still image in which location information relating to the imaging location is associated as erroneous information from among a plurality of preset locations in the lumen outside the imaging period of the moving image. It is preferable to include an information correction unit configured to overwrite the information of one selected location as the location information relating to the imaging location with the location information relating to the imaging location already associated with the still image. ..
  • the input manipulation device comprises a plurality of buttons in which information on different locations within the lumen is identifiable with each other.
  • the information correction unit already corresponds to the still image by using the information of the location in the lumen given to the pressed button by pressing one of the buttons of the input operation device as the location information regarding the imaging location. It is preferable that it is configured to overwrite the attached location information regarding the imaging location.
  • the still image is an image acquired at each of a plurality of different locations in the lumen.
  • the processor An image evaluation unit configured to calculate an image evaluation value indicating the strength of a lesion of the living tissue in the still image based on the pixel value of the still image. Using the location information about the imaging location associated with the still image at each of the plurality of locations in the lumen and the image evaluation value of the still image at each of the plurality of locations within the lumen, the said A spread evaluation unit configured to obtain information on the spread of the lesion in the depth direction in the lumen.
  • a lumen evaluation unit configured to evaluate the severity of a lesion in the lumen based on the image evaluation value and the spread information of the lesion at each of a plurality of locations in the lumen is provided. , Is preferable.
  • the processor of the electronic endoscope system of the embodiment described below acquires a still image from a moving image of a living tissue in an organ imaged by the electronic endoscope.
  • This still image is used, for example, to assess the extent of lesions within the lumen.
  • an electronic endoscope hereinafter referred to as an electronic scope
  • an electronic scope is inserted from the open end of the tubular organ to the deepest position inside the organ to be imaged in the depth direction. From there, the living tissue inside the organ is imaged while moving substantially continuously toward the open end of the organ.
  • the depth direction includes both a direction from the opening end to the deepest side and a direction from the deepest side to the opening end side.
  • the captured image of the living tissue is displayed on the monitor, and the frame image of the moving image that the surgeon prefers is acquired as a still image by the capture instruction.
  • the moving speed of the electronic scope does not necessarily have to be constant, and the image is taken by returning to the place where the electronic scope has passed, that is, the moving direction is partially reversed. It can also be in the direction.
  • the electronic scope is imaged while moving in substantially the same direction at substantially the same moving speed.
  • the acquired still image is associated with the location information regarding the imaging location, which imaging location in the lumen is the image. Therefore, according to the embodiment, the processor of the electronic endoscopy system has a still image acquisition unit configured to acquire a part of the imaged moving image of the living tissue as a still image according to an instruction, and the inside of the lumen. It is provided with an association processing unit configured to associate the location information regarding the imaging location of the living body tissue with the still image, and a recording unit configured to record the location information regarding the acquired still image and the imaging location. Further, the input operation device of the electronic endoscopy system performs an operation of determining one place among a plurality of preset places in the lumen as a selection place.
  • the input operation device uses this operation as a trigger to transmit a capture instruction for acquiring a still image from the moving image to the still image acquisition unit, and further, during the period of capturing the moving image, the pressed button is pressed by one of the plurality of buttons.
  • the information on the location in the lumen given to the image is transmitted to the association processing unit as the location information regarding the imaging location.
  • the input manipulation device includes a plurality of buttons to which information on different locations in the lumen is identifiable with each other.
  • the input operating device is configured to determine the selection location by pressing one of these buttons and triggering the transmission of a capture instruction by pressing one of these buttons.
  • the input operation device includes a selection operation device configured to select a selection location and a determination operation device configured to determine the selected selection location. ..
  • the input operation device is configured to send a capture instruction to the still image acquisition unit triggered by the decision operation by the decision operation device.
  • FIG. 1 is a block diagram showing a configuration example of the electronic endoscope system 1 of the embodiment.
  • the electronic endoscope system 1 includes an electronic scope 100, an electronic endoscope processor 200, a monitor 300, and a printer 400.
  • the electronic endoscope processor 200 includes a system controller 202 and a timing controller 206.
  • the system controller 202 executes various programs stored in the memory 204 and controls the entire electronic endoscopy system 1 in an integrated manner. Further, the system controller 202 changes various settings of the electronic endoscope system 1 according to an instruction by a user (operator or assistant) input to the operation panel 208.
  • the timing controller 206 outputs a clock pulse for adjusting the operation timing of each part to each circuit in the electronic endoscope system 1.
  • the electronic endoscope processor 200 includes a light source unit 230 that supplies illumination light to the electronic scope 100.
  • the light source unit 230 includes, for example, a high-intensity lamp that emits white illumination light by receiving drive power from a lamp power source, for example, a xenon lamp, a metal halide lamp, a mercury lamp, or a halogen lamp.
  • the illumination light emitted from the high-intensity lamp is focused by a condensing lens (not shown) and then incident on the incident end of the LCB (Light Carrying Bundle) 102 of the electron scope 100 via a dimming device (not shown).
  • the light source unit 230 is configured.
  • the light source unit 230 includes a plurality of light emitting diodes that emit light in a wavelength band of a predetermined color.
  • the light emitted from the light emitting diode is synthesized by using an optical element such as a dichroic mirror, and the combined light is collected as illumination light by a condensing lens (not shown), and then the LCB (Light Carrying Bundle) 102 of the electron scope 100.
  • the light source unit 230 is configured so as to be incident on the incident end of the light source unit 230.
  • a laser diode may be used instead of the light emitting diode.
  • the light emitting diode and the laser diode have features such as low power consumption and low heat generation amount as compared with other light sources, they have an advantage that a bright image can be acquired while suppressing power consumption and heat generation amount. By acquiring a bright image, the accuracy of the image evaluation value can be improved.
  • the light source unit 230 is built in the electronic endoscope processor 200, but is provided in the electronic endoscope system 1 as a device separate from the electronic endoscope processor 200. It may be provided. Further, the light source unit 230 may be provided at the tip end portion of the electronic scope 100, which will be described later. In this case, the LCB 102 that guides the illumination light is unnecessary.
  • the illumination light incident on the LCB 102 from the incident end propagates in the LCB 102 and is emitted from the end of the LCB 102 arranged in the tip of the electron scope 100, and is emitted from the end of the LCB 102 arranged in the tip of the electron scope 100. Is irradiated to.
  • the reflected light from the living tissue forms an optical image on the light receiving surface of the image pickup device 108 via the objective lens 106.
  • the image sensor 108 is, for example, a single-plate color CCD (Charge-Coupled Device) image sensor in which various filters of an IR (Infrared) cut filter 108a and a Bayer-arranged color filter 108b are arranged on a light receiving surface, and is on the light receiving surface. Each primary color signal of R (Red), G (Green), and B (Blue) corresponding to the imaged optical image is generated.
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the electron scope 100 uses the image sensor 108 to image the biological tissue inside the organ and generate a moving image.
  • a driver signal processing circuit 112 is provided inside the connection portion of the electronic scope 100 with the processor 200.
  • the driver signal processing circuit 112 generates an image signal (brightness signal Y, color difference signal Cb, Cr) by performing predetermined signal processing such as color interpolation and matrix calculation on the primary color signal input from the image sensor 108.
  • the generated image signal is output to the image processing unit 220 of the electronic endoscope processor 200.
  • the driver signal processing circuit 112 accesses the memory 114 and reads out the unique information of the electronic scope 100.
  • the unique information of the electronic scope 100 recorded in the memory 114 includes, for example, the number of pixels and sensitivity of the image sensor 108, the frame rate that can be operated, the model number, and the like.
  • the driver signal processing circuit 112 outputs the unique information read from the memory 114 to the system controller 202.
  • the system controller 202 performs various calculations based on the information stored in the memory 204 and the unique information of the electronic scope 100, and generates a control signal.
  • the system controller 202 uses the generated control signal to operate each circuit in the electronic endoscope processor 200 so that processing suitable for the electronic scope 100 connected to the electronic endoscope processor 200 is performed. And control the timing.
  • the timing controller 206 supplies clock pulses to the driver signal processing circuit 112, the image processing unit 220, and the light source unit 230 according to the timing control by the system controller 202.
  • the driver signal processing circuit 112 drives and controls the image pickup element 108 at a timing synchronized with the frame rate of the image processed on the electronic endoscope processor 200 side according to the clock pulse supplied from the timing controller 206.
  • FIG. 2 is a diagram showing a configuration example of an image processing unit of the electronic endoscope system 1 of the embodiment.
  • the image processing unit 220 includes an image processing main body 220a, a still image acquisition unit 220b, an association processing unit 220c, and a lesion evaluation unit 220d.
  • the image processing main body 220a applies preset processing to the image signal sent from the driver signal processing circuit 112, and generates a moving image signal for reproducing the image as a moving image on the monitor 300.
  • the monitor 300 In addition to displaying the moving image on the screen, the monitor 300 also displays the still image when the one-frame image of the moving image is acquired as a still image.
  • the still image acquisition unit 220b acquires a one-frame image of the moving image displayed on the monitor 300 as a still image in response to a capture instruction from the operation panel 208, which is a touch panel described later.
  • the acquired still image is recorded and held in the memory 204.
  • the association processing unit 220c associates the still image with the location information regarding the shooting location sent from the operation panel 208.
  • the method of association is not limited as long as the location information regarding the shooting location can be specified for the still image.
  • the association may be such that the order in which the still images are acquired and the order in which the location information is selected correspond to each other, or the time when the still images are acquired and the time when the location information is set may be matched.
  • the lesion evaluation unit 220d evaluates the lesion using the acquired still image. For example, in the inflamed part of ulcerative colitis, the mucous membrane is thinner than that of the normal part and the color is red.
  • the degree of redness (hereinafter, simply referred to as redness) can be quantified by using the ratio of the color component, for example, the G component to the pixel value. This redness can indicate the degree of inflammation in the minute region corresponding to each pixel. It is possible to evaluate the strength of the lesion (indicating the progress of the lesion) in the still image by using the integrated value or the average value obtained by integrating the redness of each pixel in the entire still image. The strength of the lesion using such redness is specifically described in, for example, International Publication No.
  • a predetermined reference point set in the color plane and the acquired color image The strength of the lesion of each pixel is evaluated based on the angle formed by the line segment connecting the pixel correspondence points in the color plane of each pixel constituting the above and the reference axis having a correlation with the lesion.
  • the still image to be evaluated and the location information regarding the imaging location are associated with each other by the association by the association processing unit 220b. It is possible to know the distribution of the strength of the lesion in the depth direction inside, and to know the extent of the lesion in the depth direction in the lumen.
  • the still image acquired by the still image acquisition unit 220b is acquired as a one-frame image of the moving image by pressing the button displayed on the operation panel 208 while the user is watching the moving image displayed on the monitor 300.
  • the operation panel 208 displays a plurality of buttons to which information on different locations in the lumen is assigned so as to be distinguishable from each other. By pressing one of the buttons, the information on the location in the lumen given to the pressed button is selected as the location information regarding the imaging location, and this location information is transmitted to the association processing unit 220c. ..
  • the operation panel 208 performs an operation of determining one of a plurality of preset locations in the lumen as a selection location, and using this operation as a trigger, gives a capture instruction to acquire a still image from the moving image. It is an input operation device that transmits to the still image acquisition unit 220b and further sends the information of the selected location to the association processing unit 220c as the location information regarding the imaging location during the period of capturing the moving image.
  • the operation of selecting and determining the location information related to the capture instruction and the shooting location is performed by the button which is the input operation device, and the control of these operations is performed by the UI (user interface) control unit 222 provided in the processor 200. It is said. That is, the UI control unit 222 controls the operation panel 208 to display a plurality of buttons, and controls the user to select and press one of the plurality of buttons to determine the selection location, and further, capture instructions.
  • the control signal of the above and the control signal of the place information about the shooting place are generated.
  • the control signal of the location information regarding the shooting location includes the information of the location (selected location) given to the pressed button on the operation panel 208.
  • FIG. 3 is a diagram illustrating an example of processing performed by the electronic endoscopy system of one embodiment when examining the inside of the large intestine.
  • buttons are displayed on the buttons. That is, the buttons are provided with information on different locations within the lumen so that they can be distinguished from each other. Since the capture instruction of the still image is sent to the still image acquisition unit 220b triggered by the operation of pressing one of the buttons, the still image is acquired from the moving image. Furthermore, by selecting and pressing a button displaying "rectal capture”, “S-shaped colon capture”, etc., the selection location is determined, and information on this selected location, for example, “rectum”, “S-shaped colon”, etc. Etc. is sent to the association processing unit 220c. The association processing unit 220c associates the acquired still image with location information such as "rectum” and "S-shaped colon”. The acquired still image and location information are recorded and held in the memory 204.
  • buttons 208a to 208e shown in FIGS. 4A to 4C display the names of different locations of the large intestine so that they can be distinguished from each other.
  • Button 208a is "Rectum”
  • button 208b is "Sigmaid” (sigmoid colon)
  • button 208c is “Descending” (descending colon)
  • button 208d is "Transverse” (transverse colon)
  • button 208e "Ascending” (ascending colon) is displayed in, and by pressing one of the buttons 208a to 208e, the display content corresponding to the pressed button is determined as the selection location information, and this selection location information is photographed.
  • buttons 208a to 208e may be arranged in a single row in the horizontal direction as shown in FIG. 4A, or may be arranged in a plurality of stages as shown in FIG. 4B. Further, as shown in FIG. 4C, a button may be arranged which displays the shape of the large intestine and displays the name corresponding to each place of this shape.
  • buttons 208a to 208e shown in FIGS. 4A to 4C are examples in which the names of the places in the lumen are given, but in addition to this, the buttons 208a to 208e are from the open end of the lumen.
  • Distance information may be added. For example, distance information such as " ⁇ 10 cm”, “ ⁇ 20 cm”, “ ⁇ 30 cm” may be added to the buttons 208a to 208e as selection location information. Since such distance information is inspected while the user (operator or assistant) manually inserts the flexible tube of the electron scope 100 into the cavity and then pulls it out, the user examines the inside of the electron scope.
  • the distance information from the opening end regarding the place to be imaged by the image sensor 108 at the tip of 100 is roughly grasped, the distance information such as " ⁇ 10 cm”, “ ⁇ 20 cm”, “ ⁇ 30 cm” is selected. There is no inconvenience for the user even if the buttons 208a to 208e are given as. Further, instead of the distance information from the opening end, a number (identification information) is assigned to each place along the depth direction in the lumen, and this number (identification information) is given to the buttons 208a to 208e as the information of the selected place. You may.
  • the user grasps the position in the depth direction in the lumen with such a number (identification information) as information of the selected place in advance, and the user manually inserts the flexible tube of the electron scope 100 into the lumen. Since the inside of the lumen is inspected while being pulled out after being inserted in, the user knows the place where the image pickup element 108 at the tip of the electron scope 100 takes an image. Even if it is 208e, there is no inconvenience for the user.
  • the name of the location in the lumen, the distance from the opening end of the lumen, or the identification information that identifies the location of the lumen is set as the information of the selected location in the lumen, so that the user Can select an appropriate button from the buttons 208a to 208e, give an instruction to capture a still image, and further associate the acquired still image with the correct location information.
  • the locations in the lumen are divided into five, but the location is not limited to five. The place may be divided into 6 or more, or may be divided into 7, 9, 15 and the like.
  • the button is a button in which the name of the place in the lumen, the distance information from the opening end of the lumen, or the identification information is displayed on the touch panel as the information of the selected place in the lumen.
  • the user can have the image processing unit 220 simultaneously transmit the capture instruction and the location information regarding the selected and determined shooting location by using the operation of pressing the desired button as a trigger. Therefore, it is excellent in user friendliness.
  • FIG. 5 is a diagram showing a configuration example different from the configuration shown in FIG. 1 of the electronic endoscope system 1 of one embodiment. Since the electronic scope 100, the monitor 300, and the printer 400 shown in FIG. 5 are the same as the electronic scope 100, the monitor 300, and the printer 400 shown in FIG. 1, the description of these devices will be omitted.
  • the display control unit 223 assigns the functions described below to each key of the keyboard 209, and controls the keys to be displayed on the monitor 300 via the system controller 202. Specifically, the display control unit 223 associates the information of the location in the lumen set as the information of the selected location on the key of the keyboard 209 with the number, the character, or the symbol set on the key. Is controlled to be displayed on the monitor 300.
  • the capture instruction assigned to the key is transmitted to the image processing unit 220 with this pressing as a trigger, and the information of the selected location determined by the pressing is related to the shooting location. It is transmitted to the image processing unit 220 as location information.
  • 6 (a) and 6 (b) are diagrams showing an example of displaying the key allocation contents of the keyboard 209 and the key allocation contents displayed on the monitor 300.
  • the current moving image and the information of the selected place where the key number for the capture instruction is selected are displayed on the screen of the monitor 300.
  • the key number “7” is assigned to the capture instruction at the imaging location of “Rectum” (rectum), and the key number is assigned to the capture instruction at the imaging location of “Sigma” (sigmoid colon).
  • the location is determined as the selected location, information and a capture instruction are generated, and the selected location information and the capture instruction are transmitted to the image processing unit 220.
  • the monitor 300 displays the moving image and the assigned contents to each key of the keyboard 209. Therefore, the user can press the desired key while looking at the monitor 300 to give a capture instruction and take a picture.
  • the location information regarding the location can be transmitted to the image processing unit 220 at the same time. Therefore, it is excellent in user friendliness.
  • the input operation device used in the above-described embodiment includes a plurality of buttons in which information on different locations in the lumen is identifiable to each other, and a selection location is determined by pressing one of the plurality of buttons as a trigger. Further, one press of the above button is used as a trigger for transmitting a capture instruction, but instead of a plurality of buttons, an input operation on the touch panel is performed by using a slider, a wheel, or the like displayed on the operation panel 208 or the monitor 300. The selected location can be determined by selecting the location information displayed on the slider or wheel (selecting the selected location) by inputting from the mouse or the mouse. The determination of the selection place is executed, for example, when the input operation to the slider, the wheel, or the like is not performed for a certain period of time. The control of these input operations is substantially performed by the UI control unit 222 or the display control unit 223.
  • the touch panel 208 is a touch panel
  • the touch panel is configured so that the operation content can be selected by detecting the moving direction of the user's finger on the operation panel 208 like a flick input used in a smartphone, and on the touch panel.
  • the information of the place corresponding to the detected direction can be used as the information of the selected place (selecting the selected place), and the selected place can be determined.
  • the determination of the selection location is executed, for example, when the direction of movement of the user's finger is not detected for a certain period of time.
  • the control of these operations is substantially performed by the UI control unit 222 or the display control unit 223.
  • the selection and determination of the selected place are performed by one operation, but in the other embodiment, the selection and determination of the selected place can be performed by separate operations.
  • the input operation device may include a selection operation device configured to select one selection location from a plurality of locations and a determination operation device configured to determine the selected selection location. Good.
  • the determination operation by the determination operation device is used as a trigger to transmit the information of the determined selection location to the association processing unit 220c and the capture instruction to the still image acquisition unit 220b. ..
  • Examples of the determination operation device include a user interface having a single switch such as an operation button provided on the operation unit of the electronic scope 100 or a foot switch (not shown) connected to the processor 200.
  • a user interface having a single switch such as an operation button provided on the operation unit of the electronic scope 100 or a foot switch (not shown) connected to the processor 200.
  • the selection operation device for selecting the selection location for example, a user interface that switches the location information with a toggle switch or a toggle button to select one selection location can be used.
  • a user interface for selecting a selection location a form using the user interface such as the above-mentioned slider or wheel displayed on the operation panel 208 or the monitor 300, or on the operation panel 208 like a flick input used in a smartphone. It is possible to use a form that uses a user interface that allows the operation content to be selected by detecting the direction of movement of the user's finger.
  • the plurality of buttons described above can also be used as the selection operation device.
  • the location corresponding to the button may be selected as the selection location.
  • the present invention is not limited to a plurality of buttons, and the location information may be switched each time the pressing of one button is repeated, and the pressing may be continued until the information is switched to the information of the target selected location.
  • the selection operation device can be configured so that the location information at the time of pressing is selected as the selection location information. In this case, the information of the place to be switched by pressing the button is displayed on the monitor 300.
  • the association processing unit 220c writes the location information regarding the shooting location in the still image obtained by the capture instruction. As a result, it is possible to ensure the correspondence between the still image and the location information.
  • the association processing unit 220c of the processor 200 performs the association processing main body that performs the association processing between the still image and the place information regarding the shooting location at the time of acquiring the still image described above. It is preferable to include a unit 220c1 and an information correction unit 220c2.
  • the information correction unit 220c2 selects from a plurality of preset locations in the lumen outside the video imaging period for a still image in which the location information regarding the imaging location is associated as incorrect information. It has a function of overwriting the location information related to the imaging location already associated with the still image as the location information relating to the imaging location.
  • FIG. 7 is a diagram showing an example of the configuration of the association processing unit 220c of the processor 200 of one embodiment.
  • FIG. 8 is a diagram showing an example of a display screen of the monitor 300 when the information correction unit 220c2 of the electronic endoscopic culture processor 200 of one embodiment is activated.
  • the still image is displayed on the monitor 300, indicating that the location information associated with the still image is an erroneously set “Transverse” (transverse colon).
  • the location information correction mode is entered.
  • "Transverse” is overwritten by the correct location information by clicking a button such as "Rectum” or "Sigmoid” arranged on the lower side of the still image.
  • the location information corresponding to the acquired still image is overwritten and changed.
  • the correction unit 220c2 controls the monitor 300.
  • the lesion evaluation unit 220d (see FIG. 2) of the processor 200 includes an image evaluation unit 220d1, a spread evaluation unit 220d2, and a lumen evaluation unit 220d3, as shown in FIG.
  • FIG. 9 is a diagram showing an example of the configuration of the lesion evaluation unit 220d of the processor 200 of one embodiment.
  • the image evaluation unit 220d1 is configured to calculate an image evaluation value indicating the strength of the lesion of the living tissue in the still image based on the pixel value of the still image.
  • the still image evaluated by the image evaluation unit 220d1 is an image acquired at each of a plurality of different locations in the lumen.
  • the spread evaluation unit 220d2 uses the location information regarding the imaging location associated with the still image at each of the plurality of locations in the lumen and the image evaluation value of the still image at each of the plurality of locations in the lumen. It is configured to obtain information on the extent of the lesion in the depth direction in the lumen.
  • the lumen evaluation unit 220d3 is configured to evaluate the severity of the lesion in the lumen based on the image evaluation value and the lesion spread information at each of the plurality of locations in the lumen.
  • the image evaluation unit 220d1 uses the redness of the biological tissue, which is obtained by quantifying the degree of redness of the biological tissue in the still image for each pixel, as the pixel evaluation value, and performs, for example, integration processing on the pixel evaluation value in each pixel of the image. Alternatively, by performing averaging processing, the values combined into one numerical value are calculated as the image evaluation value. That is, the degree of inflammation of the living tissue is evaluated by using the degree of redness of the living tissue.
  • a form for calculating the redness of living tissue which indicates the intensity of inflammation, will be described as an example.
  • each process of RGB conversion, color conversion, reference axis setting, and color correction is performed. Since the luminance signal Y, the color difference signal Cb, and Cr are input to the image processing unit 220 from the driver signal processing circuit 112, they are converted into image color components (R, G, B) using predetermined matrix coefficients. As a preprocessing, further, color conversion is performed in which the image data converted into the image color component is normally projected onto the RG plane. Specifically, the image color component of each pixel in the RGB color space defined by the RGB3 primary colors is converted into the image color component of RG.
  • the points of the image color components of each pixel in the RGB color space and the points of the image color components plotted in the RG color space are referred to as "pixel correspondence points”.
  • the RGB image color components of the RGB color space are, for example, color components having a wavelength of 620 to 750 nm, a wavelength of 495 to 570 nm, and a wavelength of 450 to 495 nm, respectively.
  • the color component constitutes a color space (including a color plane). Hue and saturation are excluded from the "color components".
  • the image evaluation unit 220d1 sets a reference axis in the RG plane necessary for evaluating the redness of the living tissue.
  • a straight line passing through (50,0) and (255,76) is set as one of the reference axes, and for example, a straight line passing through (0,0) and (255,192) is set. It is set as one of the reference axes.
  • the reference axis of the former is the "hemoglobin change axis”
  • the reference axis of the latter is the "mucosal change axis".
  • the pixel values of the R component and the G component on the "hemoglobin change axis" have the values of the R component and the G component of the hemoglobin regardless of the intensity of the illumination light, and indicate a state in which inflammation progresses most and exhibits a red color.
  • the pixel values of the R component and the G component on the "mucosal change axis” have the values of the R component and the G component of the normal part covered with the mucous membrane regardless of the intensity of the illumination light, and there is no inflammation at all. It is an axis indicating the state.
  • the values of the R component and the G component of each pixel of the still image are plotted in the RG plane, and the "hemoglobin change axis" or “hemoglobin change axis" of the straight line connecting the plotted points and the intersections of the above two reference axes is used.
  • the strength of the lesion in each pixel can be quantified by the deviation angle from the "mucosal change axis". For example, assuming that the angle between the "hemoglobin change axis" and the "mucosal change axis" is 100, the deviation angle between the plotted point and the straight "mucosal change axis" connecting the above intersections is 0 to 100. By quantifying the value, the strength of the lesion in each pixel can be indicated. This numerical value is called the pixel evaluation value of each pixel.
  • the image evaluation unit 220d1 calculates one image evaluation value from the pixel evaluation value of each pixel.
  • the image evaluation unit 220d1 may calculate the integrated value or the average value of the pixel evaluation values of all the pixels in the still image as one image evaluation value, and also makes it an evaluation target in the still image. Pixels representing an image of a living tissue may be selected and the integrated value or the average value of the pixel evaluation values of the selected pixels may be calculated as one image evaluation value.
  • the pixels to be evaluated are extracted based on the color components or brightness components in a predetermined range, and the average value of the pixel evaluation values of the extracted pixels is extracted.
  • the image evaluation unit 220d1 may calculate one image evaluation value by obtaining a weighted average value using a predetermined weighting coefficient, or by performing an integration process.
  • the image evaluation value thus obtained is the strength of the lesion indicating the degree of progression of the lesion in the living tissue in the still image.
  • the spread evaluation unit 220d2 can obtain the distribution of the lesion strength in the depth direction in the lumen. For example, the spread evaluation unit 220d2 graphs the location along the depth direction from the opening end in the lumen on the horizontal axis and the strength of the lesion in the still image on the vertical axis. Information can be obtained. For example, when the strength of the lesion is equal to or higher than a predetermined threshold value, it is determined that there is a lesion. As a result, the spread evaluation unit 220d2 can obtain information on the presence or absence of the lesion and the spread information along the depth direction of the lesion.
  • the lumen evaluation unit 220d3 evaluates the severity of the lesion in the lumen based on the strength of the above-mentioned lesion and the spread information of the above-mentioned lesion. By using the length of the lesion as the value of the spread information and using the image evaluation value for the strength of the lesion, or when multiple still images are acquired at substantially the same location and there are multiple image evaluation values, By using the representative value, the severity of the lesion in the lumen can be comprehensively evaluated.
  • the lumen evaluation unit 220d3 divides, for example, a combination of lesion strength and lesion length into a plurality of levels, and the target portion in the lumen to be evaluated is located at any of the classified levels.
  • the severity of the lesion may be evaluated at the level.
  • the lumen evaluation unit 220d3 provides data on a combination of the evaluation level evaluated by a doctor such as the Mayo score and the lesion strength and lesion length obtained from the still image with respect to the still image group of the lesion sample. Using the prediction model that machine-learned the relationship between the lesion strength and lesion length and the evaluation level, the biological tissue in the lumen to be evaluated is predicted at the evaluation level. However, this evaluation level may be used as the severity of the lesion. As described above, the lumen evaluation unit 220d3 can accurately evaluate the severity of the lesion in consideration of not only the strength of the lesion but also the extent of the lesion.
  • FIG. 10 is a diagram showing an example of a flow of acquisition of location information regarding an imaging location performed by using the electronic endoscopy system of one embodiment and calculation of severity performed accordingly.
  • the electronic endoscopy system 1 is started up, and the user (operator or assistant) sets a mode for observing and inspecting the living tissue in the lumen.
  • the operation panel 208 displays the set capture instruction button group as shown in FIGS. 4A to 4C under the control of the UI control unit 222 (step S10).
  • the user selects and presses a button to which location information regarding the imaging location corresponding to the displayed image is given while viewing the image of the living tissue in the lumen displayed on the monitor 300 by imaging with the electron scope 100. To do.
  • the UI control unit 222 determines whether or not an image capture instruction has been issued by pressing a button (step S12), and if a capture instruction is issued, acquires an image of the current frame of the moving image displayed on the monitor 300. A control signal for a capture instruction is created and transmitted to the image processing unit 220. As a result, the still image acquisition unit 220b of the image processing unit 220 receives the capture instruction and acquires the still image from the moving image of the current frame displayed on the monitor 300 (step S14).
  • the association processing unit 220c of the image processing unit 220 receives the location information regarding the shooting location from the UI control unit 222 and acquires the location information (step S16).
  • the lesion evaluation unit 220d calculates a pixel evaluation value indicating the strength of the lesion of each pixel from the still image acquired by the still image acquisition unit 220b, and indicates the strength of the lesion of the living tissue in the still image.
  • the image evaluation value is calculated (step S18).
  • the association processing unit 220c records and holds the location information in the memory 204, and records and holds the image evaluation value in the memory 204 (steps S20 and S22). When the location information is recorded and held in the memory 204, the location information is recorded and held in association with not only the still image but also the image evaluation value.
  • step S24 determines whether or not the examination of the biological tissue in the lumen has been completed when the image capture instruction is not issued. Whether or not the inspection is completed is determined by pressing the inspection end button on the operation panel 208. If there is no capture instruction (button pressing) in the determination in step S12, the process proceeds from step S12 to step S24. In this way, steps S12 to S22 are repeated until the moving image inspection is completed.
  • the lesion evaluation unit 220d obtains the extent of the lesion and the strength of the lesion from the location information and the image evaluation value associated with the location information, and based on the extent of the lesion and the strength of the lesion, the lesion The severity is calculated (step S26). Finally, under the control of the system controller 202, the monitor 300 displays the calculated severity value on the screen, or the printer 400 prints out the severity value (step S28).
  • a capture instruction for acquiring a still image and a shooting location for a still image are triggered by an operation (pressing a button) for determining one location among a plurality of preset locations in the lumen as a selection location. Since it is possible to obtain location information about the electronic endoscope system 1, it is possible to provide an electronic endoscope system 1 that is easy for the user to use.
  • the capture instruction for acquiring the still image and the location information regarding the shooting location of the still image are obtained by pressing the button displayed on the operation panel 208, but instead of the button displayed on the operation panel 208.
  • the keys of the keyboard 209 as shown in FIGS. 6A and 6B may be used.
  • step S10 the display control unit 223 shown in FIG. 5 is changed to the operation of displaying the information corresponding to the location information and each key of the keyboard 209 on the monitor 300 on the screen. Further, the display control unit 223 generates a capture instruction control signal and a location information signal corresponding to the key via the system controller 204 by pressing a key on the keyboard.
  • the selection of the selection location, the determination of the selection location, and the capture instruction can be performed by separate operations.
  • a user interface with a single switch such as a foot switch, and a toggle switch or toggle button can be used to switch location information for selection of a selection location, determination of a selection location, and capture instructions.
  • a user interface for selecting a selection location a user interface for input operation using a mouse or touch panel using a slider or wheel displayed on the operation panel 208 or monitor 300, or an operation panel such as flick input used on a smartphone. It is possible to use a combination of a user interface and the like that can select the operation content by detecting the moving direction of the user's finger.
  • Electronic endoscopy system 100 Electronic scope 102 LCB 104 Light distribution lens 106 Objective lens 108 Solid-state image sensor 108a IR cut filter 108b Color filter 112 Driver signal processing circuit 114 Memory 200 Electronic endoscope processor 208a, 208b, 208c, 208d, 208e Button 209 Keyboard 220 Image processing unit 220a Image Processing main unit 220b Still image acquisition unit 220c Correspondence processing unit 220c1 Correlation processing main unit 220c2 Information correction unit 220d Disease evaluation unit 220d1 Image evaluation unit 220d2 Spread evaluation unit 220d3 Cavity evaluation unit 222 UI control unit 223 Display control unit 230 Light source Part 300 Monitor 400 Printer

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

電子内視鏡システムは、電子内視鏡と、電子内視鏡で撮像された動画の一部を静止画として取得する静止画取得部と、前記管腔内の生体組織の撮像場所に関する場所情報と前記静止画とを対応付ける対応付け処理部と、前記静止画と前記場所情報を記録する記録部と、を備えるプロセッサと、前記動画及び前記静止画を表示するモニタと、予め設定された前記管腔内の複数の場所の中の１つの場所を選択場所として決定する操作をトリガとして、前記動画から前記静止画を取得するキャプチャ指示を前記静止画取得部に送信し、さらに、動画の撮像の期間中、前記選択場所の情報を前記撮像場所に関する場所情報として前記対応付け処理部に送信する入力操作デバイスと、を備える。

Description

電子内視鏡システム
　本発明は、器官内における生体組織の動画から静止画を取得する電子内視鏡システムに関する。
　生体組織における病変部は、生体組織の粘膜層が薄くなって赤色を呈する炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。例えば、潰瘍性大腸炎（ＵＣ：Ulcerative Colitis）の病変の潰瘍部では、白苔や膿様粘液を含んで白色になり、また、炎症部では、浮腫が生じ易出血性が生じて赤色を帯びる。このような病変部を、内視鏡システムで撮像して観察、検査することができる。
　内視鏡システムでは、動画を撮像するため、術者の指示に従って動画から静止画が取得され、メモリ等に記録保存されるが、静止画が器官内のどの場所で撮像した画像なのか不明である場合、器官内の病変の場所を特定することができない場合が多い。このため、静止画と撮影場所の情報を対応付けることが好ましい。
　例えば、カラー内視鏡画像を撮像した位置の情報を取得するための光センサが挿入部の外周に等間隔で設けられた電子内視鏡が知られている（特許文献１）。
　この光センサは、電子内視鏡の挿入部に等間隔に設けられるので、挿入部の器官（消化管）内に挿入され部分に設けられた光センサは外光を検出せず、器官（消化管）内に挿入されていない部分に設けられた光センサは外光を検出するので、光を検出していない光センサの分布長を器官（消化管）内に挿入された挿入部の長さと判定することで、電子内視鏡先端部の位置（挿入長）の情報を取得することができる。
特開２０１４－１８３３３号公報
　このように、上記技術では、電子内視鏡の挿入部に位置検出のための専用のセンサを別途設けるので、装置構成が煩雑になる他、専用のセンサを設けるので、電子内視鏡の挿入部の外径が太くなり、被験者に大きな負担を強いるため好ましくない。このため、専用のセンサを用いることなく、既存のシステムで効率よく撮像場所の情報を取得することが好ましい。
　そこで、本発明は、管腔内で撮像した生体組織の動画から静止画を取得する際、専用のセンサを電子内視鏡に設けることなく、効率よく静止画の撮像場所の情報を得て、この情報を静止画と対応付けることができる電子内視鏡システムを提供することを目的とする。
　本発明の一態様は、管腔内で撮像した生体組織の動画から静止画を取得するように構成された電子内視鏡システムである。当該電子内視鏡システムは、
　管腔内における生体組織の画像を動画として撮像するように構成された電子内視鏡と、
　撮像された前記生体組織の動画の一部を、指示により静止画として取得するように構成された静止画取得部と、前記静止画を記録するように構成された記録部と、前記管腔内の生体組織の撮像場所に関する場所情報と前記静止画とを対応付けるように構成された対応付け処理部と、を備えるプロセッサと、
　前記動画及び前記静止画を表示するように構成されたモニタと、
　予め設定された前記管腔内の複数の場所の中の１つの場所を選択場所として決定する操作をトリガとして、前記動画から前記静止画を取得するキャプチャ指示を前記静止画取得部に送信し、さらに、前記動画の撮像の期間中、前記選択場所の情報を前記撮像場所に関する場所情報として前記対応付け処理部に送信するように構成された入力操作デバイスと、
　を備える。
　前記入力操作デバイスは、前記管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備え、前記ボタンの１つの押圧によって前記選択場所を決定し、前記ボタンの１つの押圧を前記キャプチャ指示の送信のトリガとするように構成されている、ことが好ましい。　
　前記ボタンそれぞれには、前記管腔内の場所の名称、前記管腔の開口端からの距離、あるいは、前記管腔の場所を特定した識別情報が、前記管腔内の場所の情報として設定されている、ことが好ましい。
　前記入力操作デバイスは、キーボードであり、
　前記ボタンは、前記キーボードのキーであり、
　前記プロセッサは、前記キーに設定される前記管腔内の場所の情報を、前記キーに設定されている番号、文字、あるいは記号と対応させた情報を前記モニタに表示させるように制御するように構成された表示制御ユニットを備える、ことが好ましい。
　前記ボタンは、前記管腔内の場所の名称、前記管腔の開口端からの距離情報、あるいは、前記識別情報が、前記管腔内の場所の情報として、タッチパネルに表示されたボタンである、ことが好ましい。
　前記入力操作デバイスは、前記選択場所を選択するように構成された選択操作デバイスと、選択した前記選択場所を決定するように構成された決定操作デバイスと、を備え、前記決定操作デバイスによる決定の操作をトリガとして前記キャプチャ指示を前記静止画取得部に送信するように構成されている、ことが好ましい。
　前記対応付け処理部は、前記撮像場所に関する場所情報を、前記静止画に書き込むように構成されている、ことが好ましい。
　前記プロセッサは、前記撮像場所に関する場所情報が誤った情報として対応付けられた静止画に対して、前記動画の撮像の期間外において、予め設定されている前記管腔内の複数の場所の中から選択される１つの場所の情報を前記撮像場所に関する場所情報として、前記静止画と既に対応付けられている前記撮像場所に関する場所情報に上書きするように構成された情報修正部を備える、ことが好ましい。
　前記入力操作デバイスは、前記管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備え、
　前記情報修正部は、前記入力操作デバイスの前記ボタンの１つの押圧によって、押圧したボタンに付与されている前記管腔内の場所の情報を前記撮像場所に関する場所情報として、前記静止画と既に対応付けられている前記撮像場所に関する場所情報に上書きするように構成されている、ことが好ましい。
　前記静止画は、前記管腔内の異なる複数の場所それぞれで取得された画像であり、
　前記プロセッサは、
　前記静止画の画素値に基づいて、前記静止画内における前記生体組織の病変の強さを示す画像評価値を算出するように構成された画像評価部と、
　前記管腔内の複数の場所それぞれにおける前記静止画と対応付けられた前記撮像場所に関する場所情報と、前記管腔内の複数の場所それぞれにおける前記静止画の前記画像評価値とを用いて、前記管腔内の奥行き方向における前記病変の広がり情報を求めるように構成された広がり評価部と、
　前記管腔内の複数の場所それぞれにおける前記画像評価値と前記病変の広がり情報とに基づいて、前記管腔内における病変の重症度を評価するように構成された管腔評価部と、を備える、ことが好ましい。
　上述の電子内視鏡システムによれば、専用のセンサを電子内視鏡に設けることなく、効率よく静止画の撮像場所の情報を得て、この情報を静止画と対応付けることができる。
一実施形態の電子内視鏡システムの構成例を示すブロック図である。 一実施形態の電子内視鏡システムの画像処理ユニットの構成例を示す図である。 一実施形態の電子内視鏡システムが行う処理の例を説明する図である。 （ａ）～（ｃ）は、一実施形態の電子内視鏡システムの操作パネルに表示されるボタンの例を示す図である。 一実施形態の電子内視鏡システムの、図１と異なる別の構成例を示す図である。 （ａ），（ｂ）は、一実施形態の電子内視鏡システムのキーボードのキーの割付内容と、モニタに表示されるキーの割付内容の表示の例を示す図である。 一実施形態の電子内視鏡システムの対応付け処理部の構成の一例を示す図である。 一実施形態の電子内視鏡システムの情報修正部を機能させた時のモニタの表示画面の一例を示す図である。 一実施形態の電子内視鏡システムの病変評価部の構成の一例を示す図である。 一実施形態の電子内視鏡システムを用いて行う撮影場所に関する場所情報の取得とそれに伴って行う重症度の計算のフローの一例を示す図である。
　以下、実施形態の電子内視鏡システムについて図面を参照しながら説明する。
（静止画の撮像場所に関する場所情報とキャプチャ指示）
　以下説明する実施形態の電子内視鏡システムのプロセッサは、電子内視鏡で撮像した器官内における生体組織の動画から静止画を取得する。この静止画は、例えば、管腔内における病変の程度を評価するために用いられる。器官内の生体組織を動画として撮像する場合、例えば、管状の器官の開口端から器官内部の奥行き方向の撮像対象とする最深部の位置まで電子内視鏡（以降、電子スコープという）を挿入し、そこから、器官の開口端に向かって略連続的に移動しながら、器官内部の生体組織を撮像する。奥行き方向は、開口端から最深部の側に進む方向、及び最深部の側から開口端の側に進む方向の双方を含む。
　生体組織の撮像される画像はモニタに表示され、術者が好ましいと思う動画のフレーム画像はキャプチャ指示により静止画として取得される。ここで、電子スコープを管腔内で移動させる場合、電子スコープの移動速度を必ずしも一定にする必要はなく、また、電子スコープが通過した場所に戻って撮像する、すなわち移動方向を部分的に逆方向にすることもできる。一実施形態では、動画の場合、電子スコープを略同じ移動速度で略同じ方向に移動しながら撮像する。
　取得した静止画は、管腔内のどの撮像場所の画像であるのか、撮像場所に関する場所情報と対応付けられることが好ましい。
　そこで、実施形態によれば、電子内視鏡システムのプロセッサは、撮像された生体組織の動画の一部を、指示により静止画として取得するように構成された静止画取得部と、管腔内の生体組織の撮像場所に関する場所情報と静止画とを対応付けるように構成された対応付け処理部と、取得した静止画及び撮影場所に関する場所情報を記録するように構成された記録部とを備える。また、電子内視鏡システムの入力操作デバイスは、予め設定された管腔内の複数の場所の中の１つの場所を選択場所として決定する操作をする。入力操作デバイスは、この操作をトリガとして、動画から静止画を取得するキャプチャ指示を静止画取得部に送信し、さらに、動画の撮像の期間中、複数のボタンの１つの押圧によって、押圧したボタンに付与されている管腔内の場所の情報を撮像場所に関する場所情報として、上記対応付け処理部に送信するように構成される。これにより、静止画の取得の指示と、撮像場所に関する場所情報と静止画との対応付けとを同時に行うことができる。したがって、従来のように、専用のセンサを電子内視鏡に設けることなく、効率よく静止画像の撮像場所の情報を得て、この情報を静止画像と対応付けることができる。
　一実施形態によれば、入力操作デバイスは、管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備える。入力操作デバイスは、これらのボタンの１つの押圧によって選択場所を決定し、これらのボタンの１つの押圧をキャプチャ指示の送信のトリガとするように構成される。また、別の一実施形態によれば、入力操作デバイスは、選択場所を選択するように構成された選択操作デバイスと、選択した選択場所を決定するように構成された決定操作デバイスと、を備える。決定操作デバイスによる決定の操作をトリガとしてキャプチャ指示を静止画取得部に送信するように入力操作デバイスは構成される。
（電子内視鏡システムの説明）
　図１は、一実施形態の電子内視鏡システム１の構成例を示すブロック図である。図１に示されるように、電子内視鏡システム１は、電子スコープ１００、電子内視鏡用プロセッサ２００、モニタ３００及びプリンタ４００を備えている。
　電子内視鏡用プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡システム１の全体を統括的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）による指示に応じて電子内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。
　電子内視鏡用プロセッサ２００は、電子スコープ１００に照明光を供給する光源部２３０を備えている。光源部２３０は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。
　あるいは、光源部２３０は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２の入射端に入射されるように光源部２３０は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、画像評価値の精度を向上させることができる。
　なお、図１に示す例では、光源部２３０は、電子内視鏡用プロセッサ２００に内蔵して設けられるが、電子内視鏡用プロセッサ２００とは別体の装置として電子内視鏡システム１に設けられてもよい。また、光源部２３０は、後述する電子スコープ１００の先端部に設けられてもよい。この場合、照明光を導光するＬＣＢ１０２は不要である。
　入射端よりＬＣＢ１０２内に入射した照明光は、ＬＣＢ１０２内を伝播して電子スコープ１００の先端部内に配置されたＬＣＢ１０２の端より射出され、配光レンズ１０４を介して被写体である器官内部の生体組織に照射される。生体組織からの反射光は、対物レンズ１０６を介して撮像素子１０８の受光面上で光学像を結ぶ。
　撮像素子１０８は、例えば、ＩＲ（Infrared）カットフィルタ１０８ａ、ベイヤ配列のカラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じたＲ（Red）、Ｇ（Green）、Ｂ（Blue）の各原色信号を生成する。単板式カラーＣＣＤイメージセンサの代わりに、単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることもできる。ＣＭＯＳイメージセンサは、一般に、ＣＣＤイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する病変の程度の評価を行う数値化処理における、画像の明るさによる病変部の病変の重症度の変動を抑えることができるという有利な効果は、ＣＭＯＳイメージセンサを用いる場合においてより顕著である。このように、電子スコープ１００は、撮像素子１０８を用いて、器官内部の生体組織を撮像し、動画を生成する。
　電子スコープ１００の、プロセッサ２００との接続部の内部には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２は、撮像素子１０８より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）を生成し、生成された画像信号を電子内視鏡用プロセッサ２００の画像処理ユニット２２０に出力する。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。
　システムコントローラ２０２は、メモリ２０４に記憶された情報及び電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、電子内視鏡用プロセッサ２００に接続中の電子スコープ１００に適した処理がなされるように電子内視鏡用プロセッサ２００内の各回路の動作やタイミングを制御する。
　タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２、画像処理ユニット２２０、及び光源部２３０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
　図２は、一実施形態の電子内視鏡システム１の画像処理ユニットの構成例を示す図である。
　画像処理ユニット２２０は、画像処理本体部２２０ａと、静止画像取得部２２０ｂと、対応付け処理部２２０ｃと、病変評価部２２０ｄと、を備える。
　画像処理本体部２２０ａは、あらかじめ設定された処理を、ドライバ信号処理回路１１２から送られる画像信号に施すとともに、モニタ３００に動画として画像を再現するための動画信号を生成する。また、モニタ３００は、動画を画面表示する他、動画の１フレーム画像を静止画として取得した場合、この静止画も画像表示を行う。
　静止画取得部２２０ｂは、後述するタッチパネルである操作パネル２０８からのキャプチャ指示により、モニタ３００に画像表示されている動画の１フレーム画像を静止画として取得する。取得した静止画が、メモリ２０４に記録保持される。
　対応付け処理部２２０ｃは、静止画取得部２２０ｂが静止画を取得した時、この静止画を、操作パネル２０８から送られる撮影した場所に関する場所情報と対応付けを行う。対応付けについては、静止画に対して撮影場所に関する場所情報が特定できれば、対応付けの方法は制限されない。例えば、静止画の取得の順番と、場所情報の選択した順番が対応している対応付けでもよく、静止画を取得した時刻と、場所情報を設定した時刻を一致させる対応付けでもよい。
　病変評価部２２０ｄは、取得した静止画を用いて病変の評価を行う。
　例えば、潰瘍性大腸炎における炎症部分は、正常な部分に比べて粘膜が薄く、赤色を呈するので、白色光を照明光としたときの静止画の各画素の赤色成分の画素値の、他の色成分、例えばＧ成分の画素値に対する比率を用いて赤色の程度（以降、単に赤色度という）を数値化することができる。この赤色度により、各画素に対応する微小領域における炎症の程度を表わすことができる。このような画素毎の赤色度を、静止画全体で積算した積算値あるいは平均値等を用いて、静止画内の病変の強さ（病変の進行具合を表わす）を評価することができる。このような赤色度を用いた病変の強さについては、例えば、国際公開第２０１７／０５７６８０号に具体的に記載されている。具体的には、少なくとも３つ以上の色成分を含むカラー画像のうちの少なくとも２つの色成分によって定義される色平面内において、色平面内に設定された所定の基準点及び取得されたカラー画像を構成する各画素の色平面内における画素対応点を結ぶ線分と、病変に相関を有する基準軸と、がなす角度に基づいて各画素の病変の強さに関する評価をする。
　病変評価部２２０ｄは、対応付け処理部２２０ｂによる対応付けにより、評価対象の静止画と撮影場所に関する場所情報が対応付けられているので、複数の静止画毎の病変の強さを用いて管腔内の奥行き方向の病変の強さの分布を知ることができ、病変の管腔内の奥行き方向の広がりを知ることができる。
　静止画取得部２２０ｂが取得する静止画は、モニタ３００に表示された動画をユーザが見ながら、操作パネル２０８に表示されたボタンを押圧することにより、動画の１フレーム画像として取得される。このとき、操作パネル２０８には、管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンが表示されている。このボタンの１つを押圧することによって、押圧したボタンに付与されている管腔内の場所の情報が、撮像場所に関する場所情報として選択され、この場所情報が対応付け処理部２２０ｃに送信される。
　すなわち、操作パネル２０８は、予め設定された管腔内の複数の場所の中の１つの場所を選択場所として決定する操作をし、この操作をトリガとして、動画から静止画を取得するキャプチャ指示を静止画取得部２２０ｂに送信し、さらに、動画の撮像の期間中、選択場所の情報を撮像場所に関する場所情報として対応付け処理部２２０ｃに送る入力操作デバイスである。
　キャプチャ指示及び撮影場所に関する場所情報の選択、決定の操作は、入力操作デバイスであるボタンにより行われるが、これらの操作の制御は、プロセッサ２００に設けられたＵＩ（ユーザインターフェース）制御部２２２で行われる。すなわち、ＵＩ制御ユニット２２２は、操作パネル２０８に複数のボタンを表示させるとともに、ユーザが複数のボタンの１つを選択して押圧することによって選択場所を決定するように制御し、さらに、キャプチャ指示の制御信号及び撮影場所に関する場所情報の制御信号を生成する。この場合、撮影場所に関する場所情報の制御信号には、操作パネル２０８上の押圧されたボタンに付与された場所（選択場所）の情報が含まれる。これらの制御信号は、システムコントローラ２０２を経由して画像処理ユニット２２０に送られる。
　図３は、大腸内を検査する場合の、一実施形態の電子内視鏡システムが行う処理の例を説明する図である。操作パネル２０８には、「直腸キャプチャ」、「Ｓ字結腸キャプチャ」等がボタン上に表示される。すなわち、ボタンには、管腔内の異なる場所の情報が互いに識別可能に付与されている。
　ボタンの１つを押す操作をトリガとして静止画のキャプチャ指示が静止画取得部２２０ｂに送られるため、動画から静止画が取得される。さらに、「直腸キャプチャ」、「Ｓ字結腸キャプチャ」等が表示されたボタンを選択して押圧することにより、選択場所が決定され、この選択場所の情報、例えば「直腸」、「Ｓ字結腸」等の場所情報が、対応付け処理部２２０ｃに送られる。対応付け処理部２２０ｃは、取得した静止画と、「直腸」、「Ｓ字結腸」等の場所情報とが、対応付けられる。取得した静止画及び場所情報は、メモリ２０４に記録保持される。
　図４（ａ）～（ｃ）は、操作パネル２０８に表示されるボタンの例を示す図である。図４（ａ）～（ｃ）に示すボタン２０８ａ～２０８ｅには、大腸の異なる場所の名称が表示されており、互いに識別可能になっている。ボタン２０８ａには“Ｒｅｃｔｕｍ”（直腸）、ボタン２０８ｂには“Ｓｉｇｍｏｉｄ”（Ｓ字結腸）、ボタン２０８ｃには“Ｄｅｓｃｅｎｄｉｎｇ”（下行結腸）、ボタン２０８ｄには“Ｔｒａｎｓｖｅｒｓｅ”（横行結腸）、ボタン２０８ｅには“Ａｓｅｃｎｄｉｎｇ”（上行結腸）が表示されており、ボタン２０８ａ～２０８ｅの１つを押圧することにより、押圧したボタンに対応する表示内容が選択場所情報として決定され、この選択場所情報が撮影場所に関する場所情報として、対応付け処理部２２０ｃに送られる。
　ボタン２０８ａ～２０８ｅの配置は、図４（ａ）に示すように、横方向一列に配置してもよいし、図４（ｂ）に示すように、複数段に分けて配置してもよく、また、図４（ｃ）に示すように、大腸の形状を表示すると共に、この形状の各場所に対応する名称を表示したボタンを配置してもよい。
　図４（ａ）～（ｃ）に示すボタン２０８ａ～２０８ｅは、管腔内の場所の名称が付与されている例であるが、このほかに、ボタン２０８ａ～２０８ｅには管腔の開口端からの距離情報を付与してもよい。例えば、「～１０ｃｍ」、「～２０ｃｍ」、「～３０ｃｍ」等の距離情報を選択場所情報としてボタン２０８ａ～２０８ｅに付与してもよい。このような距離情報は、ユーザ（術者または補助者）が電子スコープ１００の可撓管を管腔内に手作業で挿入した後、引き抜きながら管腔内を検査するので、ユーザは、電子スコープ１００の先端部の撮像素子１０８が撮像する場所に関する開口端からの距離情報を概略把握しているので、「～１０ｃｍ」、「～２０ｃｍ」、「～３０ｃｍ」等の距離情報を選択場所の情報として付与したボタン２０８ａ～２０８ｅであってもユーザにとって不都合はない。
　また、開口端からの距離情報に代えて、管腔内の奥行き方向に沿った各場所に番号（識別情報）を振り、この番号（識別情報）を選択場所の情報としてボタン２０８ａ～２０８ｅに付与してもよい。このような番号（識別情報）を振った管腔内の奥行き方向の位置を、ユーザは選択場所の情報として予め把握しておき、ユーザが電子スコープ１００の可撓管を管腔内に手作業で挿入した後、引き抜きながら管腔内を検査するので、ユーザは、電子スコープ１００の先端部の撮像素子１０８が撮像する場所を把握しているので、番号（識別情報）を付与したボタン２０８ａ～２０８ｅであってもユーザにとって不都合はない。
　このように、管腔内の場所の名称、管腔の開口端からの距離、あるいは、管腔の場所を特定した識別情報が、管腔内の選択場所の情報として設定されているので、ユーザはボタン２０８ａ～２０８ｅから適切なボタンを選択して、静止画のキャプチャ指示を行い、さらに、取得した静止画と正しい場所情報との間の対応付けを行うことができる。
　なお、図４（ａ）～（ｃ）に示す例では、管腔内の場所を５つに分けているが、５つに限定されない。場所を６以上に分けてもよく、７個、９個、１５個等に分けてもよい。
　このように、ボタンは、管腔内の場所の名称、管腔の開口端からの距離情報、あるいは、識別情報が、管腔内の選択場所の情報として、タッチパネルに表示されたボタンであるので、ユーザは、所望のボタンを押圧する操作をトリガとして、キャプチャ指示と、選択、決定した撮影場所に関する場所情報を同時に画像処理ユニット２２０に送信させることができる。したがって、ユーザーフレンドリーに優れる。
　図１に示す電子内視鏡システム１の例では、操作パネル２０８を入力操作デバイスとして用いて、操作パネル２０８に表示されるボタンの押圧によって、キャプチャ指示と撮影場所に関する場所情報が画像処理ユニット２２０に送信されるが、入力操作デバイスはキーボードであり、ボタンは、このキーボードのキーであってもよい。図５は、一実施形態の電子内視鏡システム１の、図１に示す構成とは別の構成例を示す図である。図５に示す電子スコープ１００、モニタ３００及びプリンタ４００は、図１に示す電子スコープ１００、モニタ３００及びプリンタ４００と同じであるので、これらの装置の説明は省略する。
　図５に示す電子内視鏡用プロセッサ２００は、図１に示す電子内視鏡用プロセッサ２００のＵＩ制御ユニット２２２の代わりに、キーボード２０９と接続した表示制御ユニット２２３が設けられている。これ以外の構成は、図１に示すプロセッサ２００の構成と同じであるので、その説明は省略する。
　表示制御ユニット２２３は、キーボード２０９の各キーに、以下説明する機能の割付けを行ない、キーの割付内容をモニタ３００に表示させるようにシステムコントローラ２０２を介して制御する。
　具体的には、表示制御ユニット２２３は、キーボード２０９のキーに選択場所の情報として設定される管腔内の場所の情報を、キーに設定されている番号、文字、あるいは記号と対応させた情報をモニタ３００に表示させるように制御する。キーの１つを選択して押圧することにより、この押圧をトリガとしてキーに割り付けられているキャプチャ指示が画像処理ユニット２２０に送信され、さらに、押圧によって決定された選択場所の情報が撮影場所に関する場所情報として画像処理ユニット２２０に送信される。
　図６（ａ），（ｂ）は、キーボード２０９のキーの割付内容と、モニタ３００に表示されるキーの割付内容の表示の例を示す図である。
　図６（ａ）に示す例では、モニタ３００の画面において、現在の動画と、キャプチャ指示のためのキーの番号が選択場所の情報とが表示されている。図６（ａ）では、“Ｒｅｃｔｕｍ”（直腸）の撮影場所におけるキャプチャ指示には、キー番号“７”が割り付けられ、“Ｓｉｇｍｏｉｄ”（Ｓ字結腸）の撮影場所におけるキャプチャ指示には、キー番号“８”が割り付けられ、“Ｄｅｓｃｅｎｄｉｎｇ”（下行結腸）の撮影場所におけるキャプチャ指示には、キー番号“９”が割り付けられ、“Ｔｒａｎｓｖｅｒｓｅ”（横行結腸）の撮影場所におけるキャプチャ指示には、キー番号“４”が割り付けられ、“Ａｓｃｅｎｄｉｎｇ”（上行結腸）の撮影場所におけるキャプチャ指示には、キー番号“５”が割り付けられていることを示している。したがって、例えば、キー番号“７”を押圧することにより、この押圧をトリガとして直腸が選択場所として決定され、さらに、静止画のキャプチャ指示が生成される。
　図６（ｂ）に示す例では、モニタ３００の画面において、現在の動画と、大腸の各場所を
Figure JPOXMLDOC01-appb-I000001
で示した情報が表示されている。この
Figure JPOXMLDOC01-appb-I000002
は、キーボード２０９のキーの番号“１”～“９”に対応して割り付けられていることを示している。したがって、例えば番号“１”のキーを押圧することにより、この押圧をトリガとして大腸の
Figure JPOXMLDOC01-appb-I000003
の場所が選択場所として決定され、情報と、キャプチャ指示が生成され、選択場所の情報とキャプチャ指示が、画像処理ユニット２２０に送信される。
　このように、モニタ３００に動画の表示と共に、キーボード２０９の各キーへの割付内容が表示されるので、ユーザは、モニタ３００をみながら、所望のキーを押圧することにより、キャプチャ指示と、撮影場所に関する場所情報を同時に画像処理ユニット２２０に送信させることができる。したがって、ユーザーフレンドリーに優れる。
　上述の実施形態で用いる入力操作デバイスは、管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備え、これらの複数のボタンの１つの押圧をトリガとして選択場所を決定し、さらに上記ボタンの１つの押圧をキャプチャ指示の送信のトリガとするが、複数のボタンの代わりに、操作パネル２０８あるいはモニタ３００に表示されたスライダやホイール等を利用し、タッチパネル上での入力操作やマウス等からの入力操作により、スライダやホイールに表示された場所の情報を選択し（選択場所を選択し）、選択場所を決定することができる。選択場所の決定は、例えば、スライダやホイール等への入力操作が一定時間行われない場合に実行される。これらの入力操作の制御は、ＵＩ制御ユニット２２２あるいは表示制御ユニット２２３で実質的に行われる。
　操作パネル２０８がタッチパネルの場合、タッチパネルは、スマートフォンで用いられるフリック入力のように操作パネル２０８上でユーザの指の動く方向を検知することにより操作の内容が選択できるように構成し、タッチパネル上での指の動きの方向が検知されることにより、検知した方向に対応した場所の情報を選択場所の情報とし（選択場所を選択し）、選択場所を決定するように構成することもできる。選択場所の決定は、例えば、ユーザの指の動く方向を一定時間検知しない場合に実行される。これらの操作の制御は、ＵＩ制御ユニット２２２あるいは表示制御ユニット２２３により実質的に行われる。
　上述の実施形態では、選択場所の選択と決定が１つの操作により行われるが、他の一実施形態では、選択場所の選択と決定とが別々の操作で行われるように構成することもできる。この場合、入力操作デバイスは、複数の場所から１つの選択場所を選択するように構成された選択操作デバイスと、選択した選択場所を決定するように構成された決定操作デバイスと、を備えてもよい。この場合、決定操作デバイスによる決定の操作をトリガとして、決定した選択場所の情報を対応付け処理部２２０ｃに送信し、キャプチャ指示を静止画取得部２２０ｂに送信するように構成されていることが好ましい。
　上記決定操作デバイスは、例えば、電子スコープ１００の操作部に設けられる操作ボタン、あるいはプロセッサ２００に接続されている図示されないフットスイッチ等の単一のスイッチを持つユーザインターフェースを挙げることができる。この場合、選択場所を選択する上記選択操作デバイスとして、例えば、トグルスイッチやトグルボタンで場所情報を切り替えて１つの選択場所を選択するユーザインターフェースを用いることができる。
　また、選択場所を選択するユーザインターフェースとして、操作パネル２０８あるいはモニタ３００に表示された上述のスライダやホイール等のユーザインターフェースを利用する形態、あるいは、スマートフォンで用いられるフリック入力のように操作パネル２０８上でユーザの指の動く方向を検知することにより操作内容が選択できるユーザインターフェースを利用する形態を用いることができる。勿論、選択操作デバイスとして上述した複数のボタンを用いることもできる。この場合、ボタンの１つを選択して押圧することで、ボタンに対応した場所を選択場所として選択してもよい。また、複数のボタンに限られず、１つのボタンの押圧を繰り返すたびに場所の情報が切り替わり、目標の選択場所の情報に切り替わるまで、押圧を繰り返し続行するようにしてもよい。このボタンの押圧を数秒間維持し続けることで、押圧時の場所の情報を選択場所の情報として選択されるように選択操作デバイスを構成することもできる。この場合、ボタンの押圧によって切り替わる場所の情報は、モニタ３００に表示される。
　なお、一実施形態によれば、対応付け処理部２２０ｃは、撮影場所に関する場所情報を、キャプチャ指示により得られた静止画に書き込むことが好ましい。これにより、静止画と場所情報の対応付けを確実にすることができる。
　一実施形態によれば、プロセッサ２００の対応付け処理部２２０ｃは、図７に示すように、上述した静止画の取得時に静止画と撮影場所に関する場所情報との対応付け処理を行う対応付け処理本体部２２０ｃ１と、情報修正部２２０ｃ２と、を備えることが好ましい。情報修正部２２０ｃ２は、撮像場所に関する場所情報が誤った情報として対応付けられた静止画に対して、動画の撮像の期間外において、予め設定されている管腔内の複数の場所の中から選択される１つの場所を撮像場所に関する場所情報として、静止画と既に対応付けられている撮像場所に関する場所情報に上書きする機能を備える。一実施形態によれば、操作パネル２０８あるいはキーボード２０９等の入力操作デバイスのボタンの１つの押圧によって、押圧したボタンに付与されている管腔内の場所の情報を撮像場所に関する場所情報として、静止画と既に対応付けられている撮像場所に関する場所情報に上書きする機能を備える。図７は、一実施形態のプロセッサ２００の対応付け処理部２２０ｃの構成の一例を示す図である。
　図８は、一実施形態の電子内視教養プロセッサ２００の情報修正部２２０ｃ２を機能させた時のモニタ３００の表示画面の一例を示す図である。図８に示す例では、静止画がモニタ３００に表示され、静止画に対応付けられた場所情報が、誤って設定された“Ｔｒａｎｓｖｅｒｓｅ“（横行結腸）であることを示している。この場合、“Ｏｎ ”ボタン３０２をクリックすることにより、場所情報の修正モードに入る。この修正モードでは、静止画に下側に配置された”Ｒｅｃｔｕｍ“,“Ｓｉｇｍｏｉｄ”等のボタンをクリックすることにより、”Ｔｒａｎｓｖｅｒｓｅ“が正しい場所情報によって上書きされる。この場合、取得した静止画に対応する場所情報が上書きされて変更される。表示画面中の静止画の両側に設けられた三角矢印をクリックすることにより、取得した静止画の１つ前の静止画あるいは１つ後の静止画がモニタ３００に画面表示されるように、情報修正部２２０ｃ２はモニタ３００を制御する。
　一実施形態によれば、プロセッサ２００の病変評価部２２０ｄ（図２参照）は、図９に示すように、画像評価部２２０ｄ１と、広がり評価部２２０ｄ２と、管腔評価部２２０ｄ３と、を備える。図９は、一実施形態のプロセッサ２００の病変評価部２２０ｄの構成の一例を示す図である。
　画像評価部２２０ｄ１は、静止画の画素値に基づいて、前記静止画内における前記生体組織の病変の強さを示す画像評価値を算出するように構成される。画像評価部２２０ｄ１で評価を行う静止画は、管腔内の異なる複数の場所それぞれで取得された画像である。
　広がり評価部２２０ｄ２は、管腔内の複数の場所それぞれにおける静止画と対応付けられた撮像場所に関する場所情報と、管腔内の複数の場所それぞれにおける静止画の画像評価値とを用いて、管腔内の奥行き方向における前記病変の広がり情報を求めるように構成される。
　管腔評価部２２０ｄ３は、管腔内の複数の場所それぞれにおける画像評価値と病変の広がり情報とに基づいて、管腔内における病変の重症度を評価するように構成される。
　画像評価部２２０ｄ１は、まず、静止画における生体組織の赤色の程度を画素毎に数値化した生体組織の赤色度を画素評価値とし、画像の各画素における画素評価値に対して、例えば積算処理あるいは平均処理をすることにより１つの数値に纏めた値を画像評価値として算出する。すなわち、生体組織の炎症の程度を、生体組織の赤色の程度を利用して評価する。以下、炎症の強さを示す生体組織赤色度を計算する形態を一例として説明する。　　　
　生体組織赤色度を計算する前の前処理では、ＲＧＢ変換、色変換、基準軸の設定、及び色補正の各処理を行う。
　画像処理ユニット２２０には、ドライバ信号処理回路１１２より輝度信号Ｙ、色差信号Ｃｂ、Ｃｒが入力されるので、所定のマトリックス係数を用いて画像色成分（Ｒ、Ｇ、Ｂ）に変換する。前処理として、さらに、画像色成分に変換された画像データをＲＧ平面に正射影する色変換を行う。具体的には、ＲＧＢ３原色で定義されるＲＧＢ色空間の各画素の画像色成分がＲＧの画像色成分に変換される。概念的には、ＲＧＢ色空間の各画素の画像色成分が、Ｒ、Ｇ成分の画素値に応じてＲＧ平面内（例えば、Ｒ成分の画素値＝０～２５５、Ｇ成分の画素値＝０～２５５の値を取るＲＧ平面内の区画）にプロットされる。以下、説明の便宜上、ＲＧＢ色空間の各画素の画像色成分の点及びＲＧ色空間内にプロットされた画像色成分の点を「画素対応点」と記す。ＲＧＢ色空間のＲＧＢそれぞれの画像色成分は、順番に、例えば、波長６２０～７５０ｎｍ、波長４９５～５７０ｎｍ、及び波長４５０～４９５ｎｍの色成分である。なお、色成分は、色空間（色平面も含む。）を構成するものである。色相及び彩度は、「色成分」から除かれる。
　さらに、画像評価部２２０ｄ１は、生体組織赤色度を評価するために必要なＲＧ平面内の基準軸を設定する。ＲＧ平面内において、例えば、（５０，０）及び（２５５，７６）を通る直線が基準軸の１つとして設定されると共に、例えば、（０，０）及び（２５５，１９２）を通る直線が基準軸の１つとして設定される。前者の基準軸は「ヘモグロビン変化軸」であり、後者の基準軸は「粘膜変化軸」である。「ヘモグロビン変化軸」上のＲ成分及びＧ成分の画素値は、照明光の強弱に係らず、ヘモグロビンのＲ成分及びＧ成分の値を有し、炎症が最も進行して赤色を呈する状態を示す軸である。一方、「粘膜変化軸」上のＲ成分及びＧ成分の画素値は、照明光の強弱に係らず、粘膜で覆われた正常部分のＲ成分及びＧ成分の値を有し、炎症が全くない状態を示す軸である。したがって、静止画の各画素のＲ成分及びＧ成分の値をＲＧ平面内にプロットし、このプロットした点と、上記２つの基準軸の交点とを結んだ直線の、「ヘモグロビン変化軸」あるいは「粘膜変化軸」からのずれ角度により、各画素における病変の強さを数値化することができる。例えば、「ヘモグロビン変化軸」と「粘膜変化軸」との間の角度を１００として、プロットした点と上記交点とを結んだ直線の「粘膜変化軸」との間のずれ角度を０～１００の値で数値化することにより、各画素における病変の強さを示すことができる。この数値を各画素の画素評価値という。
　画像評価部２２０ｄ１は、各画素の画素評価値から１つの画像評価値を算出する。画像評価部２２０ｄ１は、例えば、静止画の中の全画素の画素評価値の積算値あるいは平均値を１つの画像評価値として算出してもよく、また、静止画の中で、評価対象とする生体組織の像を表す画素を、取捨選択し、選択した画素の画素評価値の積算値あるいは平均値を、１つの画像評価値として算出してもよい。あるいは、例えば、画素毎のＲＧＢの色成分あるいは画素の輝度成分のうち、所定の範囲にある色成分あるいは輝度成分に基づいて評価対象の画素を抽出し、抽出した画素の画素評価値の平均値を求めることにより、あるいは所定の重み付け係数を用いた重み付け平均値を求めることにより、あるいは積算処理をすることにより、画像評価部２２０ｄ１は、１つの画像評価値を算出してもよい。
　このようにして求めた画像評価値は、静止画内の生体組織の病変の進行の程度を示す病変の強さである。
　上述したように、静止画は、撮影場所に関する場所情報が対応付けられているので、静止画を介して、撮像場所に関する場所情報に対する病変の強さを把握することができる。すなわち、広がり評価部２２０ｄ２は、病変の強さの、管腔内の奥行き方向における分布を得ることができる。例えば、広がり評価部２２０ｄ２は、横軸に管腔内の開口端からの奥行き方向に沿った場所を、縦軸に静止画における病変の強さを取って、グラフ化することにより、病変の広がりの情報を得ることができる。例えば、病変の強さが所定の閾値以上の場合、病変部ありと判断する。これにより、広がり評価部２２０ｄ２は、病変の有無と、病変の奥行き方向に沿った広がり情報を得ることができる。
　管腔評価部２２０ｄ３は、上述の病変の強さと、上述病変の広がり情報とを基づいて、管腔内の病変の重症度を評価する。広がり情報の値として病変の長さを用い、病変の強さについては画像評価値を用いることにより、あるいは、略同じ場所に複数の静止画を取得して複数の画像評価値がある場合は、その代表値を用いることにより、管腔内の病変の重症度を総合的に評価することができる。管腔評価部２２０ｄ３は、例えば、病変の強さと病変の長さの組み合わせを複数のレベルに分け、評価しようとする管腔内の対象部分が、この分類したレベルのうちのどのレベルに位置するかによって、病変の重症度をレベルで評価してもよい。
　また、管腔評価部２２０ｄ３は、病変サンプルの静止画像群に関して、Ｍａｙｏスコアのように医師により評価された評価レベルと、その静止画から得られる病変の強さ及び病変の長さの組み合わせのデータとを学習データとして、病変の強さ及び病変の長さと、評価レベルとの関係を機械学習させた予測モデルを用いて、評価対象の管腔内の生体組織を病変の程度を評価レベルで予測し、この評価レベルを病変の重症度としてもよい。
　このように、管腔評価部２２０ｄ３は、病変の強さだけではなく、病変の広がりも考慮して、病変の重症度を精度よく評価することができる。
　図１０は、一実施形態の電子内視鏡システムを用いて行う撮影場所に関する場所情報の取得とそれに伴って行う重症度の計算のフローの一例を示す図である。
　まず、電子内視鏡システム１を立ち上げて、ユーザ（術者または補助者）は、管腔内の生体組織の観察、検査を行うモードを設定する。これにより、操作パネル２０８には、ＵＩ制御ユニット２２２の制御によって、図４（ａ）～（ｃ）に示すように、設定されているキャプチャ指示用のボタン群が表示される（ステップＳ１０）。
　ユーザは、電子スコープ１００で撮像しモニタ３００に表示された管腔内の生体組織の画像を見ながら、表示された画像に対応した撮影場所に関する場所情報が付与されているボタンを選択して押圧する。
　ＵＩ制御ユニット２２２は、ボタンの押圧により画像のキャプチャ指示が出されたか否かを判定し（ステップＳ１２）、キャプチャ指示が出された場合、モニタ３００に表示された動画の現フレームの画像を取得するためのキャプチャ指示の制御信号を作成し、画像処理ユニット２２０に送信する。これにより、画像処理ユニット２２０の静止画取得部２２０ｂは、キャプチャ指示を受け、モニタ３００に表示された現フレームの動画から静止画を取得する（ステップＳ１４）。
　さらに、画像処理ユニット２２０の対応付け処理部２２０ｃは、ＵＩ制御ユニット２２２から撮影場所に関する場所情報を受け、場所情報を取得する（ステップＳ１６）。
　この後、病変評価部２２０ｄは、静止画取得部２２０ｂが取得した静止画から、各画素の病変の強さを示す画素評価値を算出して静止画内の生体組織の病変の強さを示す画像評価値を算出する（ステップＳ１８）。
　これと同時に、対応付け処理部２２０ｃは、場所情報をメモリ２０４に記録保持し、画像評価値をメモリ２０４に記録保持する（ステップＳ２０，Ｓ２２）。場所情報をメモリ２０４に記録保持する場合、場所情報は、静止画のみならず、画像評価値と対応付けて記録保持される。
　次に、システムコントローラ２０２は、画像のキャプチャ指示が出されない場合、管腔内の生体組織の検査が終了したか否かを判定する（ステップＳ２４）。検査の終了か否かは、操作パネル２０８に検査終了ボタンがあり、この検査終了ボタンの押圧によって判定される。なお、上記ステップＳ１２の判定でキャプチャ指示（ボタンの押圧）がない場合、ステップＳ１２からステップＳ２４に進む。このように、動画による検査が終了するまで、ステップＳ１２～Ｓ２２が繰り返し行われる。
　この後、病変評価部２２０ｄは、場所情報及びこの場所情報に対応付けられた画像評価値から病変の広がりと病変の強さを求め、この病変の広がりと病変の強さに基づいて、病変の重症度を計算する（ステップＳ２６）。
　最後に、システムコントローラ２０２の制御により、モニタ３００は計算した重症度の数値を画面表示し、あるいはプリンタ４００は、重症度の値をプリント出力する（ステップＳ２８）。
　このように、予め設定された管腔内の複数の場所の中の１つの場所を選択場所として決定する操作（ボタンの押圧）をトリガとして、静止画を取得するキャプチャ指示及び静止画の撮影場所に関する場所情報を得ることができるので、ユーザにとって使い勝手のよい電子内視鏡システム１を提供することができる。
　なお、図１０に示すフローでは、操作パネル２０８に表示されたボタンの押圧によって静止画を取得するキャプチャ指示及び静止画の撮影場所に関する場所情報を得るが、操作パネル２０８に表示されたボタンに代えて、図６（ａ），（ｂ）に示すようなキーボード２０９のキーを用いてもよい。この場合、ステップＳ１０の動作に代えて、図５に示す表示制御ユニット２２３が、場所情報とキーボード２０９の各キーとを対応させた情報をモニタ３００に画面表示させる動作に変更される。また、表示制御ユニット２２３は、キーボードのキーの押圧によって、キャプチャ指示の制御信号と、キーに対応した場所情報の信号を、システムコントローラ２０４を介して生成する。
　また上述したように、選択場所の選択と、選択場所の決定及びキャプチャ指示が別々の操作で行われるようにすることもできる。
　また、選択場所の選択と、選択場所の決定及びキャプチャ指示は、ボタンやキーの他に、フットスイッチ等の単一のスイッチを持つユーザインターフェース、トグルスイッチやトグルボタンで場所情報を切り替えて１つの選択場所を選択するユーザインターフェース、操作パネル２０８あるいはモニタ３００に表示されたスライダやホイール等を用いてマウスやタッチパネル等により入力操作するユーザインターフェース、あるいは、スマートフォンで用いられるフリック入力のように操作パネル上でユーザの指の動く方向を検知することにより操作内容が選択できるユーザインターフェース等を組み合わせて用いることができる。
　以上、本発明の電子内視鏡システムについて詳細に説明したが、本発明の電子内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
１　電子内視鏡システム
１００　電子スコープ１０２　ＬＣＢ
１０４　配光レンズ
１０６　対物レンズ
１０８　固体撮像素子
１０８ａ　ＩＲカットフィルタ
１０８ｂ　カラーフィルタ
１１２　ドライバ信号処理回路
１１４　メモリ
２００　電子内視鏡用プロセッサ
２０８ａ，２０８ｂ，２０８ｃ，２０８ｄ，２０８ｅ　ボタン
２０９　キーボード
２２０　画像処理ユニット
２２０ａ　画像処理本体部
２２０ｂ　静止画取得部
２２０ｃ　対応付け処理部
２２０ｃ１　対応付け処理本体部
２２０ｃ２　情報修正部
２２０ｄ　病変評価部
２２０ｄ１　画像評価部
２２０ｄ２　広がり評価部
２２０ｄ３　管腔評価部
２２２　ＵＩ制御ユニット
２２３　表示制御ユニット
２３０　光源部
３００　モニタ
４００　プリンタ

Claims (10)

  1. 　管腔内で撮像した生体組織の動画から静止画を取得するように構成された電子内視鏡システムであって、
    　管腔内における生体組織の画像を動画として撮像するように構成された電子内視鏡と、
    　撮像された前記生体組織の動画の一部を、指示により静止画として取得するように構成された静止画取得部と、前記静止画を記録するように構成された記録部と、前記管腔内の生体組織の撮像場所に関する場所情報と前記静止画とを対応付けるように構成された対応付け処理部と、を備えるプロセッサと、
    　前記動画及び前記静止画を表示するように構成されたモニタと、
    　予め設定された前記管腔内の複数の場所の中の１つの場所を選択場所として決定する操作をトリガとして、前記動画から前記静止画を取得するキャプチャ指示を前記静止画取得部に送信し、さらに、前記動画の撮像の期間中、前記選択場所の情報を前記撮像場所に関する場所情報として前記対応付け処理部に送信するように構成された入力操作デバイスと、
    　を備えることを特徴とする電子内視鏡システム。
  2. 　前記入力操作デバイスは、前記管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備え、前記ボタンの１つの押圧によって前記選択場所を決定し、前記ボタンの１つの押圧を前記キャプチャ指示の送信のトリガとするように構成されている、請求項１に記載の電子内視鏡システム。
  3. 　前記ボタンそれぞれには、前記管腔内の場所の名称、前記管腔の開口端からの距離、あるいは、前記管腔の場所を特定した識別情報が、前記管腔内の場所の情報として設定されている、請求項２に記載の電子内視鏡システム。
  4. 　前記入力操作デバイスは、キーボードであり、
    　前記ボタンは、前記キーボードのキーであり、
    　前記プロセッサは、前記キーに設定される前記管腔内の場所の情報を、前記キーに設定されている番号、文字、あるいは記号と対応させた情報を前記モニタに表示させるように制御するように構成された表示制御ユニットを備える、請求項２又は３に記載の電子内視鏡システム。
  5. 　前記ボタンは、前記管腔内の場所の名称、前記管腔の開口端からの距離情報、あるいは、前記識別情報が、前記管腔内の場所の情報として、タッチパネルに表示されたボタンである、請求項３に記載の電子内視鏡システム。
  6. 　前記入力操作デバイスは、前記選択場所を選択するように構成された選択操作デバイスと、選択した前記選択場所を決定するように構成された決定操作デバイスと、を備え、前記決定操作デバイスによる決定の操作をトリガとして、決定した前記選択場所の情報を前記対応付け処理部に送信し、前記キャプチャ指示を前記静止画取得部に送信するように構成されている、請求項１に記載の電子内視鏡システム。
  7. 　前記対応付け処理部は、前記撮像場所に関する場所情報を、前記静止画に書き込むように構成されている、請求項１～６のいずれか１項に記載の電子内視鏡システム。
  8. 　前記プロセッサは、前記撮像場所に関する場所情報が誤った情報として対応付けられた静止画に対して、前記動画の撮像の期間外において、予め設定されている前記管腔内の複数の場所の中から選択される１つの場所の情報を前記撮像場所に関する場所情報として、前記静止画と既に対応付けられている前記撮像場所に関する場所情報に上書きするように構成された情報修正部を備える、請求項１～７のいずれか１項に記載の電子内視鏡システム。
  9. 　前記入力操作デバイスは、前記管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備え、
    　前記情報修正部は、前記入力操作デバイスの前記ボタンの１つの押圧によって、押圧したボタンに付与されている前記管腔内の場所の情報を前記撮像場所に関する場所情報として、前記静止画と既に対応付けられている前記撮像場所に関する場所情報に上書きするように構成されている、請求項１に記載の電子内視鏡システム。
  10. 　前記静止画は、前記管腔内の異なる複数の場所それぞれで取得された画像であり、
    　前記プロセッサは、
    　前記静止画の画素値に基づいて、前記静止画内における前記生体組織の病変の強さを示す画像評価値を算出するように構成された画像評価部と、
    　前記管腔内の複数の場所それぞれにおける前記静止画と対応付けられた前記撮像場所に関する場所情報と、前記管腔内の複数の場所それぞれにおける前記静止画の前記画像評価値とを用いて、前記管腔内の奥行き方向における前記病変の広がり情報を求めるように構成された広がり評価部と、
    　前記管腔内の複数の場所それぞれにおける前記画像評価値と前記病変の広がり情報とに基づいて、前記管腔内における病変の重症度を評価するように構成された管腔評価部と、を備える、請求項１～９のいずれか１項に記載の電子内視鏡システム。
PCT/JP2020/032939 2019-09-30 2020-08-31 電子内視鏡システム WO2021065286A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112020004678.8T DE112020004678T5 (de) 2019-09-30 2020-08-31 Elektronisches endoskopsystem
CN202080032237.1A CN113747825B (zh) 2019-09-30 2020-08-31 电子内窥镜系统
US17/604,918 US20220211250A1 (en) 2019-09-30 2020-08-31 Electronic endoscope system
JP2021550452A JP7182014B2 (ja) 2019-09-30 2020-08-31 電子内視鏡システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019180236 2019-09-30
JP2019-180236 2019-09-30

Publications (1)

Publication Number Publication Date
WO2021065286A1 true WO2021065286A1 (ja) 2021-04-08

Family

ID=75337863

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/032939 WO2021065286A1 (ja) 2019-09-30 2020-08-31 電子内視鏡システム

Country Status (5)

Country Link
US (1) US20220211250A1 (ja)
JP (1) JP7182014B2 (ja)
CN (1) CN113747825B (ja)
DE (1) DE112020004678T5 (ja)
WO (1) WO2021065286A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013202138A (ja) * 2012-03-28 2013-10-07 Hoya Corp 画像処理システム
JP2018047067A (ja) * 2016-09-21 2018-03-29 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置
WO2020066807A1 (ja) * 2018-09-27 2020-04-02 Hoya株式会社 電子内視鏡システム
WO2020070818A1 (ja) * 2018-10-03 2020-04-09 オリンパス株式会社 内視鏡装置及び観察時間計測方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005013514A (ja) * 2003-06-26 2005-01-20 Olympus Corp 光イメージング装置
JP5368668B2 (ja) * 2006-06-01 2013-12-18 富士フイルム株式会社 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法
US7853058B2 (en) * 2006-11-22 2010-12-14 Toshiba Medical Visualization Systems Europe, Limited Determining a viewpoint for navigating a virtual camera through a biological object with a lumen
JP2012070937A (ja) * 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡システム
JP6027803B2 (ja) 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
JP6099829B2 (ja) * 2014-12-10 2017-03-22 オリンパス株式会社 補助具及び内視鏡システム
CN107072509B (zh) 2015-09-30 2019-03-19 Hoya株式会社 内窥镜系统以及评价值计算装置
JP6688243B2 (ja) * 2017-02-28 2020-04-28 富士フイルム株式会社 内視鏡システム及びその作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013202138A (ja) * 2012-03-28 2013-10-07 Hoya Corp 画像処理システム
JP2018047067A (ja) * 2016-09-21 2018-03-29 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置
WO2020066807A1 (ja) * 2018-09-27 2020-04-02 Hoya株式会社 電子内視鏡システム
WO2020070818A1 (ja) * 2018-10-03 2020-04-09 オリンパス株式会社 内視鏡装置及び観察時間計測方法

Also Published As

Publication number Publication date
DE112020004678T5 (de) 2022-06-15
US20220211250A1 (en) 2022-07-07
JP7182014B2 (ja) 2022-12-01
CN113747825B (zh) 2023-09-08
JPWO2021065286A1 (ja) 2021-04-08
CN113747825A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
US11701032B2 (en) Electronic endoscope processor and electronic endoscopic system
JP6027803B2 (ja) 画像処理装置及び内視鏡装置
US9430833B2 (en) Image processing device and endoscope device
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP7068487B2 (ja) 電子内視鏡システム
US11179024B2 (en) Endoscope system capable of correcting image, processor device, and method for operating endoscope system
US11571108B2 (en) Evaluation value calculation device and electronic endoscope system
US11944261B2 (en) Electronic endoscope system and data processing device
CN112469323B (zh) 内窥镜系统
JPWO2017183339A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6270967B2 (ja) 画像処理装置及び内視鏡装置
US20210338039A1 (en) Electronic endoscope system
US10462440B2 (en) Image processing apparatus
WO2021065286A1 (ja) 電子内視鏡システム
WO2022064987A1 (ja) 内視鏡用プロセッサ及び内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20872115

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021550452

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20872115

Country of ref document: EP

Kind code of ref document: A1