WO2022049807A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2022049807A1
WO2022049807A1 PCT/JP2021/008993 JP2021008993W WO2022049807A1 WO 2022049807 A1 WO2022049807 A1 WO 2022049807A1 JP 2021008993 W JP2021008993 W JP 2021008993W WO 2022049807 A1 WO2022049807 A1 WO 2022049807A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
measurement
light
scale
endoscope
Prior art date
Application number
PCT/JP2021/008993
Other languages
English (en)
French (fr)
Inventor
将人 吉岡
雄一 坂口
誠 杉▲崎▼
一彰 猪俣
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP21863868.2A priority Critical patent/EP4209821A4/en
Priority to JP2022546878A priority patent/JPWO2022049807A1/ja
Priority to CN202180053946.2A priority patent/CN116171398A/zh
Publication of WO2022049807A1 publication Critical patent/WO2022049807A1/ja
Priority to US18/177,537 priority patent/US20230200682A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00059Operational features of endoscopes provided with identification means for the endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00082Balloons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0676Endoscope light sources at distal tip of an endoscope

Definitions

  • the present invention relates to an endoscope system that displays a virtual scale for measuring the size of a subject and a method of operating the same.
  • the distance to the subject or the size of the subject is acquired.
  • the subject is irradiated with the illumination light and the measurement light, and the measurement light irradiation region such as the spot light is made to appear on the subject by the irradiation of the measurement light.
  • a virtual scale for measuring the size of the subject is displayed on the image in correspondence with the position of the spot light.
  • An object of the present invention is to provide an endoscope system capable of determining whether or not the length measurement mode can be executed by connecting an endoscope and a method of operating the endoscope system.
  • the endoscope system of the present invention includes an endoscope and a processor device having an image control processor, and the image control processor measures the length of the endoscope when the endoscope is connected to the processor device. It is determined whether or not the endoscope is compatible, and if the endoscope is a length measuring endoscope, switching to the length measuring mode is enabled.
  • the endoscope When the endoscope is a length-supporting endoscope, the endoscope can irradiate the measurement light, and it is possible to display a length-measurement image that displays a virtual scale based on the measurement light on the display.
  • the image control processor can switch the measurement light ON or OFF and set the length measurement image display for the length measurement image by switching to the length measurement mode in the state where the switching to the length measurement mode is enabled.
  • switching ON or OFF of the operation status display of the length measuring function indicating that the virtual scale is being displayed on the display and switching ON / OFF of the display of the virtual scale or changing the display mode. It is preferable to do at least one of the above.
  • the image control processor switches the measurement light to ON, the length measurement image display setting to ON, the length measurement function operation status display to ON, and the virtual scale display to ON by switching to the length measurement mode. ..
  • the image control processor turns on the measurement light, turns on the length measurement image display setting, turns on the length measurement function operation status display, and turns on the length measurement function operation status display.
  • the image control processor preferably saves the image display setting before switching to the length measurement mode.
  • the display mode of the virtual scale is changed by selecting from a plurality of scale patterns.
  • the image control processor turns off the measurement light, turns off the length measurement image display setting, turns off the length measurement function operation status display, and turns off the virtual scale display by switching from the length measurement mode to another mode. It is preferable to switch.
  • the image control processor preferably switches to the image display setting saved before switching to the length measurement mode.
  • the present invention relates to an endoscope and a method of operating an endoscope system including a processor device having an image control processor, wherein the image control processor is used for endoscopy when the endoscope is connected to the processor device. It is determined whether or not the mirror is a length measuring endoscope, and if the endoscope is a length measuring endoscope, the switching to the length measuring mode is enabled.
  • the present invention it is possible to determine whether or not the length measurement mode can be executed by connecting the endoscope.
  • the endoscope system 10 includes an endoscope 12, a light source device 13, a processor device 14, a display 15, a user interface 16, an extended processor device 17, and an extended display 18.
  • the endoscope 12 is optically connected to the light source device 13 and electrically connected to the processor device 14.
  • the endoscope 12 has an insertion portion 12a to be inserted into the body to be observed, an operation portion 12b provided at the base end portion of the insertion portion 12a, and a curved portion 12c and a tip provided on the tip end side of the insertion portion 12a. It has a portion 12d.
  • the curved portion 12c bends by operating the operating portion 12b.
  • the tip portion 12d is directed in a desired direction by the bending motion of the bending portion 12c.
  • the operation unit 12b includes an observation mode switching switch 12f used for switching the observation mode, a still image acquisition instruction switch 12g used for instructing the acquisition of a still image to be observed, and a zoom used for operating the zoom lens 21b.
  • An operation unit 12h is provided.
  • the processor device 14 is electrically connected to the display 15 and the user interface 16.
  • the display 15 outputs and displays an image or information of an observation target processed by the processor device 14.
  • the user interface 16 has a keyboard, a mouse, a touch pad, a microphone, and the like, and has a function of accepting input operations such as function settings.
  • the expansion processor device 17 is electrically connected to the processor device 14.
  • the expansion display 18 outputs and displays an image, information, or the like processed by the expansion processor device 17.
  • the endoscope 12 has a normal observation mode, a special observation mode, and a length measurement mode, and can be switched by the observation mode changeover switch 12f.
  • the normal observation mode is a mode in which the observation target is illuminated by the illumination light.
  • the special observation mode is a mode in which the observation target is illuminated with special light different from the illumination light.
  • the illumination light or the measurement light is illuminated on the observation target, and a virtual scale used for measuring the size of the observation target and the like is displayed on the subject image obtained by imaging the observation target.
  • the subject image on which the virtual scale is not superimposed is displayed on the display 15, while the subject image on which the virtual scale is superimposed is displayed on the extended display 18.
  • the screen of the display 15 freezes and also emits an alert sound (for example, "pee") to the effect that the still image is acquired.
  • an alert sound for example, "pee"
  • the still image of the subject image obtained before and after the operation timing of the still image acquisition instruction switch 12g is stored in the still image storage unit 42 (see FIG. 8) in the processor device 14.
  • the still image storage unit 42 is a storage unit such as a hard disk or a USB (Universal Serial Bus) memory.
  • the processor device 14 can be connected to the network, the still image of the subject image is stored in the still image storage server (not shown) connected to the network in place of or in addition to the still image storage unit 42. You may.
  • the still image acquisition instruction may be given by using an operation device other than the still image acquisition instruction switch 12g.
  • a foot pedal may be connected to the processor device 14, and a still image acquisition instruction may be given when the user operates the foot pedal (not shown) with his / her foot. You may use the foot pedal for mode switching.
  • a gesture recognition unit (not shown) that recognizes a user's gesture is connected to the processor device 14, and when the gesture recognition unit recognizes a specific gesture performed by the user, a still image acquisition instruction is given. You may do it.
  • the mode switching may also be performed using the gesture recognition unit.
  • a line-of-sight input unit (not shown) provided near the display 15 is connected to the processor device 14, and the line-of-sight input unit recognizes that the user's line of sight is within a predetermined area of the display 15 for a certain period of time or longer. If this is the case, a still image acquisition instruction may be given.
  • a voice recognition unit (not shown) may be connected to the processor device 14, and when the voice recognition unit recognizes a specific voice emitted by the user, a still image acquisition instruction may be given. The mode switching may also be performed using the voice recognition unit.
  • an operation panel such as a touch panel may be connected to the processor device 14, and a still image acquisition instruction may be given when the user performs a specific operation on the operation panel. The mode switching may also be performed using the operation panel.
  • the tip portion 12d includes an imaging optical system 21 that receives light from the subject, an illumination optical system 22 for irradiating the subject with illumination light, and measurement light used in the length measurement mode. It is provided with a measurement light emitting unit 23 for radiating light to the subject, an opening 24 for projecting the treatment tool toward the subject, and an air supply / water supply nozzle 25 for performing air supply / water supply.
  • a balloon 19 as a fixing member is detachably attached to the insertion portion 12a.
  • the balloon 19 is a disposable type balloon, which is discarded once or after a small number of uses, and is replaced with a new one.
  • the number of times referred to here means the number of cases, and the small number of times of use means 10 times or less.
  • the balloon 19 is formed in a substantially cylindrical shape whose end is narrowed by an elastic material such as rubber.
  • the balloon 19 has a small-diameter tip 19a and a proximal 19b, and a central bulge 19c.
  • the balloon 19 is fixed to the insertion portion 12a by inserting the insertion portion 12a inside and arranging the balloon 19 at a predetermined position, and then fitting the rubber rings 20a and 20b into the tip portion 19a and the base end portion 19b, for example. Ru.
  • the predetermined position where the balloon 19 is fixed to the insertion portion 12a is on the proximal end side of the insertion portion 12a with respect to the bending portion 12c, and the tip of the balloon 19 at the tip portion 19a and the bending portion 12c. It is preferable that the position coincides with the base end. As a result, the balloon 19 does not interfere with the bending operation of the curved portion 12c, and the curved portion 12c does not interfere with the expansion or contraction of the balloon 19.
  • the balloon 19 is expanded or contracted by the balloon control device BLC, as will be described later.
  • the balloon control device BLC is preferably operated by the user interface 16.
  • the insertion portion 12a is not fixed to the intestinal tract 26, and when the balloon is in the contracted state, the measurement light is irradiated and the image is taken.
  • the position of the tip portion 12d may move in the vertical and horizontal directions, and the measurement light may not be accurately applied to the observation target that the user wants to measure.
  • the balloon 19 is inflated under the control of the balloon control device BLC. Since the outer diameter of the inflated balloon 19 is formed to match the inner diameter of the intestine 26, the insertion portion 12a is in a state of being fixed in the intestinal tract 26. As a result, the insertion portion 12a is fixed to the intestinal tract 26, so that the observation target measured by the user can be accurately irradiated with the measurement light.
  • the "fixed state” here includes a state in which the position of the insertion portion 12a with respect to the insertion direction is fixed, but the orientation of the tip portion 12d can be finely adjusted.
  • the tip portion 12d of the endoscope has a substantially circular shape, and an imaging optical system 21 and an illumination optical system 22, an opening 24, and an air supply / water supply nozzle are provided along the first direction D1.
  • Two illumination optical systems 22 are provided on both sides of the image pickup optical system 21 with respect to the second direction orthogonal to the first direction.
  • the measurement light emitting unit 23 is provided between the image pickup optical system 21 and the air supply / water supply nozzle 25 in the first direction. Therefore, since the air supply port of the air supply / water supply nozzle 25 is directed to the image pickup optical system 21 and the measurement light emission unit 23, both the image pickup optical system 21 and the measurement light emission unit 23 are washed by air supply or water supply. can do.
  • a tip cap 27 is attached to the tip portion 12d.
  • the tip cap 27 is provided with a tip surface 28.
  • the tip surface 28 has a flat surface 28a, a flat surface 28b, and a guide surface 28c.
  • the plane 28a is a plane orthogonal to the axial direction Z.
  • the plane 28b is parallel to the plane 28a and is located on the tip side of the plane 28a in the axial direction Z.
  • the guide surface 28c is arranged between the plane 28a and the plane 28b.
  • the flat surface 28b is provided with a through hole 27a for exposing the tip surface 21c of the imaging optical system 21 and a through hole 27b for exposing the tip surface 22b of the pair of illumination optical systems 22.
  • the tip surface 21c, the tip surface 22b, and the flat surface 56b are arranged on the same surface.
  • Through holes 27c and 27d are arranged on the plane 28a.
  • the air supply / water supply nozzle 25 is exposed from the through hole 27c. That is, the plane 28a is the mounting position of the air supply / water supply nozzle 25 in the axial direction Z.
  • An injection cylinder portion 25a is formed on the tip end side of the air supply / water supply nozzle 25.
  • the injection cylinder portion 25a is formed in a tubular shape protruding from the base end portion of the air supply / water supply nozzle 25 in a direction of bending at, for example, 90 degrees, and has an injection port 25b at the tip thereof.
  • the injection cylinder portion 25a is arranged so as to project from the through hole 52c toward the tip end side in the axial direction Z.
  • the injection port 25b is arranged toward the image pickup optical system 21.
  • the air supply / water supply nozzle 25 injects a cleaning liquid or a gas, which is a fluid, onto the tip surface 21c of the image pickup optical system 21 and its peripheral portion.
  • the flow velocity F1 of the wash water at the position where the image pickup optical system 21 is reached, that is, the outer peripheral edge of the image pickup optical system 21 is 2 m / s or more.
  • the gas flow velocity F2 at the outer peripheral edge of the imaging optical system 21 is preferably 40 m / s or more.
  • the flow velocities F1 and F2 preferably satisfy the above values regardless of the orientation of the tip portion 12d. For example, when the air supply / water supply nozzle 25 is located vertically downward with respect to the image pickup optical system 21. The flow velocity decreases under the influence of the gravity of the washing water or gas, but even in this case, it is preferable that the above values are satisfied.
  • the tip surface of the measurement light emitting unit 23 exposed from the through hole 27d is arranged. That is, the mounting position of the air supply / water supply nozzle 25 and the tip surface of the measurement light emission unit 23 are arranged at the same position in the axial direction Z.
  • the measurement light emitting unit 23 is arranged within the fluid injection range of the air supply / water supply nozzle 25 and between the image pickup optical system 21 and the air supply / water supply nozzle 25.
  • the measurement light emitting unit 23 when the tip surface 28 is viewed from the axial direction Z, the measurement light emitting unit 23 is arranged in a region connecting the injection port 25b of the air supply / water supply nozzle 25 and the outer peripheral edge of the image pickup optical system 21. ing.
  • the fluid can be jetted to the measurement light emitting unit 23 at the same time.
  • the guide surface 28c is formed by a continuous surface connecting the flat surface 28a and the flat surface 28b.
  • the guide surface 28c is an inclined surface formed flat from a position in contact with the outer peripheral edge of the measurement light emitting unit 23 to a position in contact with the outer peripheral edge of the imaging optical system 21. Since the guide surface 28c is arranged in the fluid injection range of the air supply / water supply nozzle, when the fluid is injected from the air supply / water supply nozzle 25, the fluid is also injected to the guide surface 28c. The fluid jetted on the guide surface 28c diffuses and is sprayed on the image pickup optical system 21. In this case, the fluid injection range of the air supply / water supply nozzle may include the entire guide surface 28c or only a part of the guide surface 28c. In the present embodiment, the guide surface 28c is all included in the region connecting the injection port 25b of the air supply / water supply nozzle 25 and the outer peripheral edge of the image pickup optical system 21.
  • the light source device 13 includes a light source unit 30 and a light source processor 31.
  • the light source unit 30 generates illumination light or special light for illuminating the subject.
  • the illumination light or special light emitted from the light source unit 30 is incident on the light guide LG and is applied to the subject through the illumination lens 22a.
  • the light source unit 30 includes, as a light source of illumination light, a white light source that emits white light, or a plurality of light sources including a white light source and a light source that emits light of other colors (for example, a blue light source that emits blue light). Is used.
  • the illumination light may be white mixed light that is a combination of at least one of purple light, blue light, green light, and red light. In this case, it is preferable to design the illumination optical system 22 so that the irradiation range of the green light is larger than the irradiation range of the red light.
  • the light source processor 31 controls the light source unit 30 based on an instruction from the system control unit 41.
  • the system control unit 41 gives an instruction regarding the light source control to the light source processor 31, and also controls the light source 23a (see FIG. 5) of the measurement light emission unit 23.
  • the system control unit 41 controls to turn on the illumination light and turn off the measurement light in the normal observation mode.
  • the special observation mode the special light is turned on and the measurement light is turned off.
  • the system control unit 41 controls to turn on or off the illumination light or the measurement light.
  • the illumination optical system 22 has an illumination lens 22a, and the light from the light guide LG is irradiated to the observation target through the illumination lens 22a.
  • the image pickup optical system 21 includes an objective lens 21a, a zoom lens 21b, and an image pickup element 32.
  • the reflected light from the observation target is incident on the image pickup device 32 via the objective lens 21a and the zoom lens 21b. As a result, a reflected image to be observed is formed on the image pickup device 32.
  • the zoom lens 21b has an optical zoom function for enlarging or reducing the subject as a zoom function by moving between the telephoto end and the wide end.
  • the optical zoom function can be switched on and off by the zoom operation unit 12h (see FIG. 1) provided in the operation unit 12b of the endoscope, and when the optical zoom function is ON, the zoom operation unit is further turned on. By operating 12h, the subject is enlarged or reduced at a specific magnification.
  • the image sensor 32 is a color image sensor, which captures a reflected image of a subject and outputs an image signal.
  • the image pickup device 32 is preferably a CCD (Charge Coupled Device) image pickup sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image pickup sensor, or the like.
  • the image pickup device 32 used in the present invention is a color image pickup sensor for obtaining a red image, a green image, and a red image of three colors of R (red), G (green), and B (blue).
  • the red image is an image output from a red pixel provided with a red color filter in the image sensor 32.
  • the green image is an image output from a green pixel provided with a green color filter in the image sensor 32.
  • the blue image is an image output from a blue pixel provided with a blue color filter in the image sensor 32.
  • the image pickup device 32 is controlled by the image pickup control unit 33.
  • the image signal output from the image sensor 32 is transmitted to the CDS / AGC circuit 34.
  • the CDS / AGC circuit 34 performs correlated double sampling (CDS (Correlated Double Sampling)) and automatic gain control (AGC (Auto Gain Control)) on an image signal which is an analog signal.
  • CDS Correlated Double Sampling
  • AGC Automatic gain control
  • the image signal that has passed through the CDS / AGC circuit 34 is converted into a digital image signal by the A / D converter (A / D (Analog / Digital) converter) 35.
  • the A / D converted digital image signal is input to the communication I / F (Interface) 37 of the light source device 13 via the communication I / F (Interface) 36.
  • the system control unit 41 configured by the image control processor operates a program embedded in the program storage memory to connect to the communication I / F (Interface) 37 of the light source device 13 and to receive a signal.
  • the functions of the processing unit 39 and the display control unit 40 are realized.
  • the receiving unit 38 receives the image signal transmitted from the communication I / F 37 and transmits it to the signal processing unit 39.
  • the signal processing unit 39 has a built-in memory for temporarily storing an image signal received from the receiving unit 38, and processes an image signal group which is a set of image signals stored in the memory to generate a subject image.
  • the receiving unit 38 may directly send the control signal related to the light source processor 31 to the system control unit 41.
  • the blue image of the subject image is on the B channel of the display 15, the green image of the subject image is on the G channel of the display 15, and the red image of the subject image is on the G channel.
  • the signal allocation processing assigned to each of the R channels of the display a color subject image is displayed on the display 15. Also in the length measurement mode, the same signal allocation processing as in the normal observation mode is performed.
  • the signal processing unit 39 when the special observation mode is set, the red image of the subject image is not used for the display of the display 15, and the blue image of the subject image is used for the B channel and the G channel of the display 15. By assigning the green image of the subject image to the R channel of the display 15, the pseudo-colored subject image is displayed on the display 15. Further, when the signal processing unit 39 is set to the length measurement mode, the signal processing unit 39 transmits a subject image including the irradiation position of the measurement light to the data transmission / reception unit 43. The data transmission / reception unit 43 transmits data related to the subject image to the expansion processor device 17. The data transmission / reception unit 43 can receive data or the like from the expansion processor device 17. The received data can be processed by the signal processing unit 39 or the system control unit 41.
  • FIG. 9A shows a subject image in a state where the digital zoom function is OFF
  • FIG. 9B shows a subject whose digital zoom function is ON, which is enlarged by cutting out the central portion of the subject image in FIG. 9A. The image is shown.
  • the digital zoom function is OFF, the subject is not enlarged or reduced by cutting the subject image.
  • the display control unit 40 displays the subject image generated by the signal processing unit 39 on the display 15.
  • the system control unit 41 performs various controls on the endoscope 12, the light source device 13, the processor device 14, and the extended processor device 17.
  • the image pickup device 32 is controlled via the image pickup control unit 33 provided in the endoscope 12.
  • the image pickup control unit 33 also controls the CDS / AGC34 and the A / D35 in accordance with the control of the image pickup element 32.
  • the expansion processor device 17 receives the data transmitted from the processor device 14 at the data transmission / reception unit 44.
  • the signal processing unit 45 performs processing related to the length measurement mode based on the data received by the data transmission / reception unit 44. Specifically, the size of the virtual scale is determined from the subject image including the irradiation position of the measurement light, and the determined virtual scale is superimposed and displayed on the subject image.
  • the display control unit 46 displays the subject image on which the virtual scale is superimposed on the extended display 18.
  • the data transmission / reception unit 44 can transmit data or the like to the processor device 14.
  • the measurement light emitting unit 23 emits the measurement light obliquely with respect to the optical axis Ax (see FIG. 13) of the imaging optical system 21.
  • the measurement light emission unit 23 includes a light source 23a, a diffractive optical element DOE23b (Diffractive Optical Element), a prism 23c, and an emission unit 23d.
  • the light source 23a emits light of a color that can be detected by the pixels of the image pickup element 32 (specifically, visible light), and is a light emitting element such as a laser light source LD (Laser Diode) or an LED (Light Emitting Diode). , Includes a condenser lens that collects the light emitted from this light emitting element.
  • LD Laser Diode
  • LED Light Emitting Diode
  • the light source 23a is provided on a scope electric substrate (not shown).
  • the scope electric board is provided at the tip end portion 12d of the endoscope, and receives power from the light source device 13 or the processor device 14 to supply power to the light source 23a.
  • the light source 23a is provided at the tip end portion 12d of the endoscope, it may be provided inside a connector for connecting the endoscope 12 and the processor device 14. Even in this case, the members (diffraction optical element DOE23b, prism 23c, and emission unit 23d) other than the light source 23a among the measurement light emission units 23 are provided at the tip portion 12d of the endoscope.
  • the wavelength of the light emitted by the light source 23a is, for example, a red (beam light color) laser light of 600 nm or more and 650 nm or less, but light in another wavelength band, for example, 495 nm or more and 570 nm or less. You may use the green light of.
  • the light source 23a is controlled by the system control unit 41, and emits light based on an instruction from the system control unit 41.
  • the DOE23b converts the light emitted from the light source into the measurement light for obtaining the measurement information.
  • the amount of measured light may be adjusted from the viewpoint of protecting the human body, eyes, and internal organs, and the amount of light may be adjusted to such an extent that whiteout (pixel saturation) is sufficient in the observation range of the endoscope 12. preferable.
  • the prism 23c is an optical member for changing the traveling direction of the measured light after conversion by the DOE23b.
  • the prism 23c changes the traveling direction of the measurement light so as to intersect the field of view of the imaging optical system 21 including the objective lens 21a. The details of the traveling direction of the measurement light will also be described later.
  • the measured light Lm emitted from the prism 23c is applied to the subject.
  • the measurement light emitting unit 23 is housed in the measurement light emitting unit storage unit 47 provided at the tip end portion 12d of the endoscope.
  • the storage unit 47 for the measurement light emitting unit has a hole corresponding to the size of the measurement light emitting unit 23.
  • the storage portion 47 for the measurement light emitting portion is closed by the transparent lid 48.
  • the transparent lid 48 has a transparent plate shape, and one end surface thereof is a flat portion 48a.
  • the transparent lid 48 is arranged so that the flat portion 48a is flush with the tip surface 28 of the tip portion 12d.
  • a prism 49 is arranged between the transparent lid 48 and the prism 23c.
  • the prism 49 has a first contact surface 49a and a second contact surface 49b, the first contact surface 31a is in close contact with the prism 23c, and the second contact surface 49b is in close contact with the transparent lid 48.
  • the prism 49 removes gas from between the transparent lid 48 and the prism 23c to make it airtight. By making it airtight in this way, dew condensation can be prevented. That is, it is possible to prevent problems such as attenuation, diffusion, convergence, and refraction of the measured light due to dew condensation.
  • the prism 23c may be a measurement assist slit formed in the tip portion 12d of the endoscope.
  • AR Anti-Reflection
  • the prism 23c is composed of an optical member, it is preferable to apply an antireflection coating (AR (Anti-Reflection) coating) (antireflection portion) on the emission surface.
  • AR Anti-Reflection
  • the antireflection coat is provided by the irradiation position detection unit 61, which will be described later, when the measurement light is reflected without passing through the emission surface of the prism 23c and the ratio of the measurement light irradiated to the subject decreases. This is because it becomes difficult to recognize the position of the spot SP formed on the subject by the measurement light.
  • the measurement light emitting unit 23 may be any as long as it can emit the measurement light toward the field of view of the image pickup optical system 21.
  • the light source 23a may be provided in the light source device, and the light emitted from the light source 23a may be guided to the DOE 23b by an optical fiber.
  • the measurement light Lm is emitted in the direction crossing the field of view of the image pickup optical system 21. It may be configured to be made to.
  • the measurement light is emitted in a state where the optical axis Lm of the measurement light intersects the optical axis Ax of the imaging optical system 21.
  • the measurement light Lm in the imaging range (indicated by arrows Qx, Qy, Qz) at each point. It can be seen that the positions of the spots SP formed on the subject (points where the arrows Qx, Qy, and Qz intersect with the optical axis Ax) are different.
  • the shooting angle of view of the imaging optical system 21 is represented in the region sandwiched between the two solid lines 101X, and the measurement is performed in the central region (the region sandwiched between the two dotted lines 102X) having less aberration in the shooting angle of view. I have to.
  • the third direction D3 is a direction orthogonal to the first direction D1 and the second direction D2 (the same applies to FIG. 45).
  • the size of the subject can be measured from the movement of the spot position with respect to the change in the observation distance. can. Then, by taking an image of the subject illuminated by the measurement light with the image sensor 32, a subject image including the spot SP can be obtained.
  • the position of the spot SP differs depending on the relationship between the optical axis Ax of the imaging optical system 21 and the optical axis Lm of the measurement light Lm and the observation distance, but if the observation distance is short, the same actual size ( For example, the number of pixels indicating 5 mm) increases, and the number of pixels decreases as the observation distance increases.
  • the system control unit 41 includes a length measurement compatible endoscope availability determination unit 140, a measurement light ON / OFF switching unit 141, a length measurement image display setting ON / OFF switching unit 142, and a length measurement function operating status. It includes a display ON / OFF switching unit 143, a virtual scale display switching control unit 144, and a pre-switching image display setting storage unit 149.
  • the length measuring compatible endoscope availability determination unit 140 determines whether or not the endoscope 12 is a length measuring compatible endoscope.
  • the endoscope 12 is a length measuring compatible endoscope, switching to the length measuring mode is enabled.
  • the length-measuring endoscope is capable of irradiating and receiving measurement light, and displays a length-measurement image displaying a virtual scale based on the measurement light on an extended display 18 (may be display 15). It is an endoscope that can be used.
  • the length-measuring endoscope availability determination unit 140 has a scope ID provided on the endoscope 12 and a flag for the presence or absence of a length-measuring endoscope (for example, "1" in the case of a length-measuring endoscope). And, in the case of other endoscopes, it is set to "0") and has a scope ID table (not shown). Then, when the endoscope 12 is connected, the length-measurement-compatible endoscope availability determination unit 140 reads out the endoscope scope ID. It is determined whether or not the read scope ID is a length-measuring endoscope by referring to the flags in the scope ID table.
  • the measurement light ON / OFF switching unit 141 controls the light source 23a to switch the measurement light on (ON) or off (OFF).
  • the length measurement image display setting ON / OFF switching unit 142 can (ON) or cannot (OFF) execute various image display settings in the length measurement mode such as the display setting (color tone, etc.) of the length measurement image by the user interface 16 or the like. ).
  • the virtual scale display switching control unit 144 switches the virtual scale to display (ON), non-display (OFF), or change the display mode on the extended display 18.
  • the system control unit 41 switches the length measurement image display setting ON or OFF and displays the length measurement image by the operation of switching to the length measurement mode by the observation mode switching switch 12f. At least one of switching the setting ON or OFF, switching the length measuring function operation status display ON or OFF, switching the virtual scale ON / OFF, or changing the display mode is performed.
  • the system control unit 41 can switch the measurement light to ON, the length measurement image display setting to ON, the length measurement function operation status display to ON, and the virtual scale display to ON by switching to the length measurement mode.
  • the measurement light is turned off, the length measurement image display setting is turned off, the length measurement function operation status display is turned off, and the virtual scale is used. It is preferable to switch the display to OFF.
  • the length measurement function operation status display is displayed in the incidental information display area 18a of the extended display 18 with the scale display icon 146.
  • the scale display icon 146 is displayed, and according to the operation of switching from the length measurement mode to another mode, the scale display icon 146 is hidden.
  • the virtual scale 147 is preferably displayed in the observation image display area 18b of the extended display 18. The display mode of the virtual scale 147 is changed by the virtual scale display switching control unit 144.
  • the virtual scale 147 includes a 5 mm virtual scale 147a, a 10 mm virtual scale 147b, and a 20 mm virtual scale 147c.
  • the virtual scales 147a, 147b, and 147c each have a circular scale (indicated by a dotted line) and a scale of a line segment (indicated by a solid line). “5” of the virtual scale 147a indicates that the scale is 5 mm, “10” of the virtual scale 147b indicates that the scale is 10 mm, and “20” of the virtual scale 147c indicates that the scale is 20 mm. ing.
  • the display mode of the virtual scale is changed, for example, by selecting from a plurality of predetermined scale patterns.
  • a plurality of scale patterns as shown in FIG. 15, in addition to a scale pattern in which three virtual scales 147a, 147b, and 147c having a circular scale and a line segment scale are combined, a circular scale and a line segment are used.
  • the scale pattern is represented by one or a combination of a plurality of scale sizes, a plurality of scale shapes such as a circular scale and a line segment scale.
  • the length measurement image display setting when the length measurement image display setting is turned on, it is preferable to save the image display setting before switching to the length measurement mode in the image display setting storage unit 149 before switching.
  • the observation mode before switching to the length measurement mode is the normal observation mode
  • the image display setting of the normal observation mode set in the signal processing unit 39 may be saved in the image display setting storage unit 149 before switching. preferable.
  • the length measurement image display setting is turned off, it is preferable to switch to the image display setting saved in the image display setting storage unit 149 before switching.
  • the signal processing unit 39 is stored in the image display setting storage unit 149 before switching according to the switching to the normal observation mode. Set to the saved image display setting of normal observation mode.
  • the system control unit 41 turns on the measurement light, turns on the length measurement image display setting, and turns on the length measurement function operation status display when the mode switching condition is not satisfied. , And it is prohibited to switch the display of the virtual scale to ON.
  • the mode switching condition is a setting condition for the endoscope 12, the light source device 13, the processor device 14, and the extended processor device 17, and is a condition suitable for executing the length measurement mode.
  • the mode switching condition is preferably a condition that does not correspond to the following prohibition setting condition. If the mode switching condition is not satisfied, instead of prohibiting the display of the scale display icon 146, the length measurement function operation status disabled display indicating that the virtual scale 147 is not being displayed on the extended display 18 is displayed. Is preferably displayed (ON). It is preferable to display the length measurement function operation status impossibility display in the incidental information display area 18a with the scale non-display icon 148.
  • the system control unit 41 is provided with a length measurement mode control unit 50 that controls whether or not the length measurement mode can be executed.
  • the length measurement mode control unit 50 when the operation to switch to the length measurement mode is performed by the observation mode changeover switch 12f, the setting conditions currently being set for the endoscope 12, the light source device 13, and the processor device 14 are set. , When the setting change operation of the setting condition is performed by the user interface 16 in the first control for prohibiting the switching to the length measurement mode, the length measurement mode, when the predetermined prohibition setting condition is satisfied.
  • the setting change of the setting condition is changed by the user interface 16 in the second control for disabling the setting change operation or in the length measurement mode.
  • the setting condition to be changed by the setting change operation corresponds to the prohibited setting condition
  • at least one of the third controls for automatically switching from the length measurement mode to another mode is performed. ..
  • the setting conditions for the light source device 13 include the illumination conditions of the illumination light used in the normal observation mode or the length measurement mode, the illumination conditions of the special light used in the special observation mode, or the illumination conditions of the measurement light used in the length measurement mode. included.
  • the lighting conditions include, for example, the amount of illumination light.
  • the setting conditions relating to the endoscope 12 include imaging conditions relating to imaging of a subject.
  • the imaging conditions include, for example, a shutter speed and the like.
  • the setting conditions relating to the processor device 14 include processing conditions such as image processing relating to the subject image.
  • the processing conditions include, for example, color balance, brightness correction, various enhancement processes, and the like.
  • the position detection of the spot light SP is optimized, and the setting conditions (illumination light amount, shutter speed, color balance, brightness correction, various enhancement processing) that satisfy the visibility at the time of measuring the user's dimensions are set. It is preferable to do so.
  • the prohibition setting conditions include the first prohibition setting condition that prevents the detection of the irradiation position of the measurement light from the subject image in the length measurement mode, and the second prohibition setting condition that prevents the virtual scale corresponding to the observation distance from being accurately displayed in the length measurement image. Prohibition setting conditions are included.
  • the first prohibition setting condition includes, for example, a special observation mode, brightness enhancement or red enhancement for a subject image, and the like. In the special observation mode, the red image used for detecting the spot SP or the like in the length measurement mode is not used for image display, so that it is difficult to detect the irradiation position of the measurement light. In the length measurement mode, it is preferable to lower the brightness of the subject image and suppress the redness as compared with the normal observation mode or the special observation mode.
  • the second prohibition setting condition includes, for example, the use (ON) of a zoom function such as an optical zoom function or a digital zoom function. This is because the virtual scale displayed in the measurement image is determined according to the position of the spot SP and not according to the magnification of the zoom function. Therefore, when the zoom function is ON, the virtual scale is the observation distance. This is because it is difficult to display in correspondence with.
  • a zoom function such as an optical zoom function or a digital zoom function.
  • the length measurement mode control unit 50 measures the length as shown in FIG.
  • the first control for maintaining the state of the special observation mode is performed by prohibiting the switching to the long mode.
  • the length measurement mode control unit 50 displays a message on the extended display 18 notifying that switching to the length measurement mode is prohibited (warning), as shown in FIG. You may make a sound).
  • the length measuring mode control unit 50 may perform control to cancel the special observation mode and switch to the length measuring mode as shown in FIG. ..
  • the length measurement mode control unit 50 when the setting change operation for turning on the zoom function is performed by the operation by the zoom operation unit 12h, the length measurement mode control unit 50 performs the zoom function as shown in FIG.
  • the second control is performed to invalidate the setting change operation to be turned ON.
  • the length measuring mode control unit 50 sends a message to the extended display 18 notifying that the setting change operation for turning on the zoom function has been invalidated, as shown in FIG. Display (may emit a warning sound).
  • the length measurement mode control unit 50 when the setting change operation for turning on the zoom function is performed by the operation by the zoom operation unit 12h, the length measurement mode control unit 50 is set to the length measurement mode as shown in FIG. Is released, and as another mode, the third control for switching to the normal observation mode is performed.
  • the third control when the third control is performed, the length measurement mode control unit 50 indicates that the length measurement mode has been canceled (the virtual scale is hidden) and switched to the normal observation mode, as shown in FIG. 23. The message to be notified is displayed on the extended display 18 (a warning sound may be emitted).
  • the setting change operation for turning on the zoom function is enabled, and the subject on the subject image is enlarged or reduced by the zoom function.
  • the system control unit 41 may be provided with a brightness information calculation unit 53, an illumination light amount level setting unit 54, a first light emission control table 55, and a second light emission control table 56. ..
  • the brightness information calculation unit 53 calculates brightness information regarding the brightness of the subject based on the image obtained in the normal observation mode or the first captured image (image based on the illumination light and the measurement light) obtained in the length measurement mode. do.
  • the illumination light amount level setting unit 54 sets the light amount level of the illumination light based on the brightness information.
  • the light intensity level of the illumination light is set to 5 levels of Level1, Level2, Level3, Level4, and Level5.
  • Information about the light intensity level of the illumination light is sent to the light source processor 31.
  • the light source processor 31 controls the light source unit 30 so that the light amount of the illumination light is equal to the light amount level of the illumination light.
  • the first light emission control table 55 is used for controlling the light amount of the measured light, and stores the first relationship between the coordinate information of the spot SP and the light amount level of the measured light. Specifically, as shown in FIG. 25, the light amount levels Level 1, Level 2, Level 3, Level 4, and Level 5 of the measured light are defined for each of the five coordinate areas to which the coordinate information of the spot SP belongs.
  • the system control unit 41 refers to the first light emission control table 55 to specify the light amount level corresponding to the coordinate area to which the position of the spot SP belongs.
  • the system control unit 41 controls the light source 23a to control the light amount of the measured light so as to reach the specified light amount level. Whether the light amount control of the measured light is performed by using the first light emission control table 55 or the second light emission control table 56 is appropriately set by operating the user interface 16.
  • the coordinate area 1 is the area set at the lowermost position in the first captured image, and when the spot SP belongs to the coordinate area 1, the observation distance is the closest position. .. Therefore, Level 1 which is the smallest as the utility level of the measurement light is assigned to the coordinate area 1. Further, the coordinate area 2 is an area set above the coordinate area 1, and when the spot SP belongs to the coordinate area 2, the observation distance is farther than in the case of the coordinate area 1. , Level 2 larger than Level 1 is assigned as the light amount level of the measured light.
  • the moving direction of the spot SP changes according to the crossing direction of the optical axis Ax of the imaging optical system 21 and the optical axis Lm of the measurement light.
  • the coordinate area 3 is provided above the coordinate area 2.
  • Level 3 larger than Level 2 is assigned as the light intensity level of the measured light.
  • the coordinate area 4 is provided above the coordinate area 3.
  • Level 4 larger than Level 3 is assigned as the light intensity level of the measured light.
  • the coordinate area 5 is an area set at the uppermost position. When the spot SP belongs to the coordinate area 5, since the observation distance is at the farthest position compared to the cases of the other coordinate areas 1 to 4, Level 5 having the highest light intensity level of the measured light is assigned. ..
  • the second light emission control table 56 is used for controlling the light amount of the measured light, and stores the coordinate information of the spot SP and the second relationship between the light amount level of the illumination light and the light amount level of the measured light. Specifically, as shown in FIG. 27, the light amount level of the measured light is determined for each of the five coordinate areas to which the coordinate information of the spot SP belongs and the light amount level of the illumination light Level1, Level2, Level3, Level4, and Level5. Has been done. For example, when the spot SP belongs to the coordinate area 1 and the light amount level of the illumination light is Level 3, the level 3 is assigned as the light amount level of the measurement light.
  • the system control unit 41 specifies the light amount level of the measured light from the coordinate area to which the position of the spot SP belongs and the light amount level of the illumination light with reference to the second light emission control table 56.
  • the system control unit 41 controls the light source 23a to control the light amount of the measured light so as to have a specified light amount level.
  • the light amount level of the illumination light and the light amount level of the measurement light are set to a ratio for making it possible to specify the position of the spot SP. This is because if the ratio of the light amount of the illumination light to the light amount of the measurement light is not appropriate, the contrast of the spot SP becomes low and it becomes difficult to specify the position of the spot SP.
  • the light source processor 31 continuously emits the illumination light used for the overall illumination of the observation target, while the measurement light Lm emits a pulse. Therefore, as a frame that emits light in the length measurement mode, as shown in FIG. 28, an illumination light single emission frame FLx that does not emit measurement light but emits illumination light independently, and an illumination light and measurement light are emitted.
  • the measurement light emission frame FLy to be measured is included.
  • the position of the spot SP is detected from the first captured image obtained in the measurement light emission frame FLy, while the virtual scale is obtained with respect to the second captured image obtained in the illumination light single emission frame FLx. Is displayed.
  • the period in which the solid line corresponds to "on” indicates the period in which the illumination light or the measurement light is emitted, and the period in which the solid line corresponds to "off” indicates the period in which the bright light or the measurement light is not emitted. Is shown.
  • the light emission and imaging patterns in the length measurement mode are as follows.
  • the first pattern is a case where a CCD (global shutter type image sensor) that outputs an image signal by performing exposure and reading out charges at the same timing in each pixel is used as the image sensor 32. Further, in the first pattern, the measurement light is emitted at a specific frame interval every two frame intervals.
  • CCD global shutter type image sensor
  • the first pattern as shown in FIG. 29, when switching between the normal observation mode and the length measurement mode (when switching from the timing T1 to the timing T2) based on the exposure of the illumination light at the timing T1 in the normal observation mode.
  • the second captured image N By performing the simultaneous reading of the electric charge (global shutter), the second captured image N having only the component of the illumination light is obtained.
  • the second captured image N is displayed on the extended display 18 at the timing T2.
  • the rising line 57 rising in the vertical direction at the time of switching from the timing T1 to the timing T2 indicates that the global shutter was performed. This also applies to the other rising lines 57.
  • the illumination light and the measurement light are emitted. Based on the exposure of the illumination light and the measurement light at the timing T2, the charge is simultaneously read out at the time of switching from the timing T2 to the timing T3, so that the first captured image N + Lm containing the components of the illumination light and the measurement light is generated. can get.
  • the position of the spot SP is detected based on the first captured image N + Lm.
  • the virtual scale corresponding to the position of the spot SP is displayed with respect to the second captured image N displayed at the timing T2.
  • the length measurement image S displaying the virtual scale is displayed with respect to the second captured image N at the timing T2.
  • the second captured image N of the timing T2 (first timing) is displayed on the extended display 18 not only at the timing T2 but also at the timing T3. That is, the second captured image at the timing T2 is displayed continuously for two frames until the timing T4 (second timing) at which the next second captured image is obtained (at the timing T2 and T3, the same subject image is displayed). Is displayed).
  • the first captured image N + Lm is not displayed on the extended display 18.
  • the second captured image N is displayed by changing it for each frame, whereas in the first pattern of the length measurement mode, the same second captured image N2 is displayed as described above. By displaying 2 frames in succession, the frame rate of the first pattern in the length measurement mode becomes substantially 1/2 of that in the normal observation mode.
  • timing T4 and later The same applies to timing T4 and later. That is, at the timings T4 and T5, the second captured image of the timing T4 is continuously displayed with respect to the length measurement image S, and at the timings T6 and T7, the second timing T6 is displayed with respect to the length measurement image S. 2
  • the captured images N are continuously displayed.
  • the first captured image N + Lm is not displayed on the extended display 18. In this way, by displaying the second captured image N that does not include the component of the measurement light on the display of the length measurement image S, the frame rate is slightly reduced, but it may be caused by the emission of the measurement light. It does not interfere with the visibility of the observation target.
  • the image sensor 32 has a plurality of lines for imaging an observation target illuminated by illumination light or measurement light, and each line is exposed at a different exposure timing, and each line is different. This is a case where CMOS (rolling shutter type image sensor) that reads out the charge at the read timing and outputs an image signal is used. Further, in the second pattern, the measurement light is emitted at a specific frame interval every three frame intervals.
  • CMOS rolling shutter type image sensor
  • the second captured image N having only the component of the illumination light is obtained.
  • the second captured image N is displayed on the extended display 18 at the timing T2.
  • the diagonal line 58 represents the light exposure and charge readout timing, and the exposure and charge readout are started at the line Ls and exposed at the line Lt. And the reading of the charge is completed.
  • the illumination light and the measurement light are emitted.
  • the components of the illumination light and the measurement light are included at the timing of switching from the timing T2 to the timing T3 by performing the rolling shutter based on the illumination of the illumination light from the timing T1 to the timing T2 and the illumination of the measurement light at the timing T2.
  • the first captured image N + Lm is obtained. Further, even at the timing of switching from the timing T3 to the timing T4, the first captured image N + Lm including the components of the illumination light and the measurement light can be obtained.
  • the position of the spot SP is detected based on the above first captured image N + Lm. Further, at the timings T3 and T4, the measurement light is not emitted.
  • the virtual scale corresponding to the position of the spot SP is displayed with respect to the second captured image N displayed at the timing T2.
  • the length measurement image S on which the virtual scale is displayed is displayed with respect to the second captured image N at the timing T2.
  • the second captured image N of the timing T2 (first timing) is displayed on the extended display 18 not only at the timing T2 but also at the timings T3 and T4. That is, the second captured image of the timing T2 is displayed continuously for three frames until the timing T5 (second timing) at which the next second captured image is obtained (the same subject at the timings T2, T3, and T4). The image is displayed).
  • the first captured image N + Lm is not displayed on the extended display 18.
  • the same second captured image N2 is continuously displayed for three frames, so that the frame rate of the first pattern of the length measurement mode is substantially 1/3 of that of the normal observation mode. Become.
  • timing T5 and later the same applies to timing T5 and later.
  • the second captured image of the timing T5 is displayed with respect to the length measurement image S.
  • the first captured image N + Lm is not displayed on the extended display 18. In this way, by displaying the second captured image that does not include the component of the measurement light on the display of the length measurement image S, the frame rate is lowered, but it may be caused by the emission of the flat measurement light. It does not interfere with the visibility of the observation target.
  • the signal processing unit 45 of the expansion processor device 17 detects the position of the spot SP in the captured image in order to recognize the position of the spot SP and set the virtual scale. And a second signal processing unit 60 that sets a virtual scale according to the position of the spot SP.
  • the captured image includes both the illumination light and the measurement light when the illumination light is always on while the measurement light is turned on or off. The first captured image obtained at the time of lighting is included.
  • the first signal processing unit 59 includes an irradiation position detection unit 61 that detects the irradiation position of the spot SP from the captured image.
  • the irradiation position detection unit 61 it is preferable to acquire the center of gravity position coordinates of the spot SP as the irradiation position of the spot SP.
  • the second signal processing unit 60 sets the first virtual scale as a virtual scale for measuring the size of the subject based on the irradiation position of the spot SP, and sets the scale display position of the first virtual scale. ..
  • the second signal processing unit 60 refers to the scale table 62 that stores the virtual scale image whose display mode differs depending on the irradiation position of the spot SP and the irradiation position of the spot in association with the irradiation position of the spot, and refers to the spot SP.
  • the virtual scale differs in size or shape, for example, depending on the irradiation position of the spot SP and the marker display position. The display of the virtual scale image will be described later.
  • the scale table 62 stores the virtual scale image in association with the irradiation position, and the distance to the subject corresponding to the irradiation position (distance between the tip portion 12d of the endoscope 12 and the subject) and the virtual scale image. You may memorize it in association with.
  • the virtual scale image is required for each irradiation position, and the data capacity becomes large. It is preferable to hold it in the extended processor device 17 (or the processor device 14) rather than holding it in a memory (not shown) in the endoscope 12. Further, as described later, the virtual scale image is created from the representative points of the virtual scale image obtained by calibration, but if the virtual scale image is created from the representative points in the length measurement mode, a loss time occurs. , The real-time property of processing is impaired. Therefore, after the endoscope 12 is connected to the endoscope connection portion, a virtual scale image is once created from the representative points, and the scale table 62 is updated, the virtual scale is not created from the representative points. The virtual scale image is displayed using the updated scale table 62.
  • the irradiation position of the spot SP and the actual size of the subject correspond to the irradiation position of the spot SP instead of the virtual scale image to be superimposed and displayed on the length measurement image.
  • a reference marker that determines the size of the marker is displayed on the length measurement image in relation to the number of pixels.
  • the second signal processing unit 60 includes a table updating unit 64 for updating the scale table 62 when the endoscope 10 is connected to the endoscope connecting unit.
  • the reason why the scale table 62 can be updated in this way is that the endoscope 12 has a different positional relationship between the optical axis Lm of the measurement light and the image pickup optical system 21 depending on the model and serial number, and accordingly. This is because the display mode of the virtual scale image also changes.
  • the representative point data table 66 that stores the representative point data related to the representative points extracted from the virtual scale image in association with the irradiation position is used. Details of the table update unit 64 and the representative point data table 66 will be described later.
  • the representative point data table 66 may be stored in association with the distance from the subject corresponding to the irradiation position (distance between the tip portion 12d of the endoscope 12 and the subject) and the representative point data.
  • the display control unit 46 controls the display mode of the virtual scale to be different depending on the irradiation position of the spot SP and the marker display position when the length measurement image in which the virtual scale is superimposed on the captured image is displayed on the extended display 18. .. Specifically, the display control unit 46 displays the length measurement image on which the first virtual scale is superimposed centering on the spot SP on the extended display 18.
  • the first virtual scale for example, a circular measurement marker is used. In this case, as shown in FIG. 32, when the observation distance is close to the near end Px (see FIG. 13), the actual size is 5 mm (captured image) in line with the center of the spot SP1 formed on the tumor tm1 of the subject.
  • a virtual scale M1 indicating is displayed.
  • the virtual scale M1 Since the marker display position of the virtual scale M1 is located in the peripheral portion of the captured image affected by the distortion caused by the imaging optical system 21, the virtual scale M1 has an elliptical shape according to the influence of the distortion or the like. .. Since the above marker M1 substantially coincides with the range of the tumor tm1, the tumor tm1 can be measured to be about 5 mm. It should be noted that the spot may not be displayed on the captured image, and only the first virtual scale may be displayed.
  • the actual size is 5 mm (horizontal and vertical directions of the captured image) in accordance with the center of the spot SP2 formed on the tumor tm2 of the subject.
  • the indicated virtual scale M2 is displayed. Since the marker display position of the virtual scale M2 is located in the center of the captured image that is not easily affected by distortion by the imaging optical system 21, the virtual scale M2 is circular without being affected by distortion or the like. ing.
  • a virtual scale M3 showing an actual size of 5 mm (horizontal and vertical directions of the captured image) is displayed along with the center of the spot SP3 formed on the tumor tm3 of the subject. Since the marker display position of the virtual scale M3 is located in the peripheral portion of the captured image affected by the distortion caused by the imaging optical system 21, the virtual scale M3 has an elliptical shape according to the influence of the distortion or the like. .. As shown in FIGS. 32 to 34 above, the size of the first virtual scale corresponding to the same actual size of 5 mm becomes smaller as the observation distance becomes longer. Further, the shape of the first virtual scale differs depending on the marker display position according to the influence of the distortion caused by the imaging optical system 21.
  • the center of the spot SP and the center of the marker are displayed so as to coincide with each other.
  • the first virtual scale is placed at a position away from the spot SP. It may be displayed. However, even in this case as well, it is preferable to display the first virtual scale in the vicinity of the spot. Further, instead of deforming and displaying the first virtual scale, the first virtual scale in a state where the distortion aberration of the captured image is corrected and not deformed may be displayed on the corrected captured image.
  • the first virtual scale corresponding to the actual size of the subject of 5 mm is displayed, but the actual size of the subject is an arbitrary value (for example, 2 mm, depending on the observation target and the observation purpose). 3 mm, 10 mm, etc.) may be set.
  • the first virtual scale has a substantially circular shape, but as shown in FIG. 35, it may be a cross shape in which vertical lines and horizontal lines intersect. Further, a graduated cross shape in which a scale Mx is added to at least one of the vertical line and the horizontal line of the cross shape may be used.
  • the first virtual scale a distorted cross shape in which at least one of a vertical line and a horizontal line is tilted may be used.
  • the first virtual scale may be a circle in which a cross shape and a circle are combined and a cross shape.
  • the first virtual scale may be a measurement point cloud type in which a plurality of measurement point EPs corresponding to the actual size from the spot are combined.
  • the number of the first virtual scale may be one or a plurality, and the color of the first virtual scale may be changed according to the actual size.
  • the first virtual scale As the first virtual scale, as shown in FIG. 36, three concentric virtual scales M4A, M4B, and M4C (the sizes are 2 mm, 5 mm, and 10 mm in diameter, respectively) having different sizes are placed on the tumor tm4.
  • the spot SP4 formed on the center of the spot SP4 may be displayed on the captured image. Since these three concentric virtual scales display a plurality of virtual scales, the trouble of switching can be saved, and measurement is possible even when the subject has a non-linear shape.
  • When displaying multiple concentric virtual scales centered on the spot instead of specifying the size and color for each virtual scale, prepare a combination of multiple conditions in advance and select from the combinations. You may be able to do it.
  • FIG. 36 all three concentric virtual scales are displayed in the same color (black), but when displaying a plurality of concentric markers, a plurality of colored concentric markers whose colors are changed by the virtual scales are displayed. May be.
  • the virtual scale M5A is represented by a dotted line representing red
  • the virtual scale M5B is represented by a solid line representing blue
  • the virtual scale M5C is represented by a alternate long and short dash line representing white.
  • the first virtual scale in addition to a plurality of concentric virtual scales, as shown in FIG. 38, a plurality of distorted concentric virtual scales in which each concentric circle is distorted may be used.
  • the distorted concentric virtual scales M6A, virtual scales M6B, and virtual scales M6C are displayed in the captured image centering on the spot SP5 formed on the tumor tm5.
  • the table update unit 64 refers to the representative point data table 66 and displays a virtual scale image corresponding to the model and / or serial number of the endoscope 12. Is created and the scale table 62 is updated.
  • the representative point data table 66 stores the representative point data regarding the representative points of the virtual scale image obtained at the time of calibration in association with the irradiation position of the spot SP.
  • the representative point data table 66 is created by the calibration method described later.
  • the representative point data the coordinate information (X coordinate, Y coordinate) of the representative point RP obtained by extracting some points from the circular virtual scale image M which is a virtual scale image is used.
  • the representative point data stored in the representative point data table 66 is data when the positional relationship between the optical axis Lm of the measurement light and the imaging optical system 21 is the default positional relationship.
  • the table update unit 64 acquires information on the positional relationship between the optical axis Lm of the measurement light and the imaging optical system 21, and the positional relationship and the representative point.
  • the scale table 62 is updated using the data table 66.
  • the coordinates of the representative point RP are based on the difference between the positional relationship between the optical axis Lm of the measurement auxiliary light in the endoscope 12 connected to the endoscope connecting portion and the imaging optical system 29b and the default positional relationship. Calculate the difference value of the information. Then, as shown in FIG.
  • the table update unit 64 creates a virtual scale image M * based on the representative point RP * whose coordinates are shifted by the calculated difference value from the default representative point RP.
  • the table update unit 64 When creating a virtual scale image, it is preferable to perform interpolation processing for connecting the representative points RP * .
  • the created virtual scale image after interpolation processing is associated with the irradiation position by the table update unit 64. This completes the update of the scale table 62. In FIG. 40, only a part of the representative points RP and RP * is coded.
  • the measurement light the light formed as a spot when the subject is irradiated is used, but other light may be used.
  • a planar measurement light formed as an intersecting line 67 on the subject may be used.
  • a second virtual scale consisting of a scale 68 as an index of the size of the subject (for example, polyp P) is generated on the intersection line 67 and the intersection line 67.
  • the irradiation position detection unit 61 detects the position of the intersection line 67 (irradiation position of the measurement light).
  • the second spot SPk2 is smaller than the first spot SPk1, and the interval between the second spots SPk2 is small. Therefore, the specific intersection curve SCC is formed on the intersection curve by the plurality of second spots SPk2. Measurement information is calculated based on the position of the specific intersection curve SCC.
  • the signal processing unit 45 of the expansion processor device 17 has a position specifying unit 69 and measurement information processing in order to perform position recognition of the first spot SPk1 or the second spot SPk2 and calculation of measurement information. It has a unit 70.
  • the position specifying unit 69 identifies the position of the first spot SPk1 or the second spot SPk2 from the captured image.
  • the captured image is binarized, and the center of gravity of the white portion (pixel whose signal intensity is higher than the binarization threshold) in the binarized image is set to the first spot SPk1 or the second spot. It is specified as the position of SPk2.
  • the measurement information processing unit 70 calculates measurement information from the position of the first spot SPk1 or the second spot SPk2.
  • the calculated measurement information is displayed on the captured image by the display control unit 46.
  • the measurement information can be accurately calculated even in a situation where the subject has a three-dimensional shape.
  • the measurement information includes a first straight line distance indicating a straight line distance between the two first spot SPk1 and the second spot SPk2.
  • the measurement information processing unit 70 calculates the first straight line distance by the following method. As shown in FIG. 45, the measurement information processing unit 70 obtains coordinates (xp1, yp1, zp1) indicating the actual size of the first spot SPk1 based on the position of the first spot SPk1. For xp1 and xp2, the coordinates corresponding to the actual size are obtained from the coordinates of the position of the first spot SPk1 in the captured image, respectively.
  • zp1 obtains the coordinates corresponding to the actual size from the coordinates of the position of the first spot SPk1 and the coordinates of the position of the specific spot SPk determined in advance.
  • the coordinates (xp2, yp2, zp2) indicating the actual size in the second spot SPk2 are obtained.
  • xp2 and yp2 obtain the coordinates corresponding to the actual size from the coordinates of the position of the second spot SPk2 in the captured image, respectively.
  • zp2 obtains the coordinates corresponding to the actual size from the coordinates of the position of the second spot SPk2 and the coordinates of the position of the specific spot SPk determined in advance.
  • the calculated first straight line distance is displayed as measurement information 71 (“20 mm” in FIG. 44) on the captured image.
  • the specific spot SPk may or may not be displayed on the extended display 18.
  • the measurement light a plurality of spot lights arranged in a grid pattern at predetermined intervals in the vertical direction and the horizontal direction may be used.
  • the image of the diffraction spot DS1 is acquired by imaging the tumor tm or the like in the subject with the spot light arranged in a grid pattern.
  • the signal processing unit 45 of the expansion processor device 17 measures the interval DT of the diffraction spot DS1.
  • the interval DT corresponds to the number of pixels on the image plane of the image sensor 32. It should be noted that the interval in a specific portion of the plurality of diffraction spots DS1 (for example, the interval near the center of the image plane) may be measured.
  • the direction and distance to the subject are calculated based on the measurement result.
  • the relationship between the interval (number of pixels) of the diffraction spot DS1 and the distance to the subject is used.
  • the direction ( ⁇ , ⁇ ) and the distance (r) of the diffraction spot DS1 to be measured are calculated.
  • the two-dimensional information or the three-dimensional information of the subject is calculated based on the calculated direction and distance.
  • the shape, size, area, etc. in the two-dimensional space XY plane of FIG.
  • the signal processing unit 45 of the expansion processor device 17 recognizes the position of the spot and sets the virtual scale for the spot in the first captured image (image based on the measured light and the illumination light).
  • a position specifying unit 72 that specifies the position of S, and an image processing unit 73 that processes a first captured image or a second captured image (an image based on illumination light) to generate a length measurement image based on the position of the spot SP. And have.
  • the position specifying unit 72 has a noise component removing unit 74 that removes a noise component that hinders the identification of the position of the spot SP. If the first captured image contains a color (approximate color of the measured light) that is different from the color of the measured light forming the spot SP but is close to the color of the measured light, the position of the spot SP is accurately positioned. It may not be possible to specify. Therefore, the noise component removing unit 74 removes the component of the color close to the measured light as a noise component from the first captured image. The position specifying unit 72 identifies the position of the spot SP based on the noise-removed first captured image from which the noise component has been removed.
  • the noise component removing unit 74 includes a color information conversion unit 75, a binarization processing unit 76, a mask image generation unit 77, and a removal unit 78.
  • the color information conversion unit 75 converts the first captured image, which is an RGB image, into a first color information image, and converts the second captured image, which is an RGB image, into a second color information image.
  • the color information for example, HSV (H (Hue (hue)), S (Saturation (saturation)), V (Value (brightness)) is preferable.
  • the color difference Cr and Cb may be used as the color information.
  • the binarization processing unit 76 binarizes the first color information image into a binarized first color information image, and binarizes the second color information image into a binarized second color information image.
  • the threshold value for binarization is the threshold value for binarization including the color of the measurement auxiliary light.
  • the binarized first color information image includes the color information 80 of the noise component in addition to the color information 79 of the measurement light.
  • the binarized first color information image includes the color information 80 of the noise component.
  • the mask image generation unit 77 removes the color information of the noise component from the first captured image based on the binarized first color information image and the binarized second color information image, and also removes the color information of the noise component from the first captured image, and also, the color of the measured light. Generate a mask image to extract information. As shown in FIG. 52, the mask image generation unit 77 identifies a region 81 of the noise component having a noise component from the noise component included in the binarized second captured image. It is preferable that the region 81 of the noise component is larger than the region occupied by the color information 80 of the noise component. This is because when camera shake or the like occurs, the area of the color information 80 of the noise component becomes larger than when there is no camera shake or the like.
  • the mask image generation unit 77 serves as an extraction region for extracting color information from the region of the color information 79 of the measurement light in the binarized first color information image, and is a noise component region 81. Generates a mask image that is a non-extracted area that does not extract color information.
  • FIGS. 50 to 53 are schematically shown for the purpose of explaining the binarized first color information image, the binarized second color information image, the noise component region, and the mask image.
  • the removing unit 78 extracts the color information from the first color information image using the mask image, so that the color information of the noise component is removed and the color information of the measurement auxiliary light is extracted.
  • a one-color information image can be obtained.
  • the noise-removed first color information image becomes a noise-removed first captured image by performing an RGB conversion process for returning the color information to an RGB image.
  • the position specifying unit 72 identifies the position of the spot SP based on the noise-reduced first captured image. Since the noise component is removed from the noise-removed second captured image, the position of the spot SP can be accurately specified.
  • the image processing unit 73 has an image selection unit 82 and a scale table 62.
  • the image selection unit 82 selects a processing target image, which is a target image to be processed based on the position of the spot SP, from the first captured image or the second captured image.
  • the image processing unit 73 performs processing based on the position of the spot SP on the image selected as the image to be processed.
  • the image selection unit 82 selects the image to be processed based on the state regarding the position of the spot SP.
  • the image selection unit 80 may select the image to be processed according to the instruction from the user. For example, the user interface 16 is used for the instruction by the user.
  • the spot SP when the spot SP is within a specific range during a specific period, it is considered that there is little movement in the subject or the tip portion 12d of the endoscope, so that the second captured image is used as the image to be processed. select.
  • the lesion can be easily aligned with the lesion included in the subject even without the spot SP.
  • the second captured image does not include the color component of the measurement auxiliary light, the color reproducibility of the subject is not impaired.
  • the position of the spot SP is not within the specific range during the specific period, it is considered that the subject or the tip portion 12 of the endoscope has a large movement, so the first captured image is selected as the image to be processed. do.
  • the user operates the endoscope 12 so that the spot SP is located at the lesion portion. This facilitates alignment with the lesion.
  • the image processing unit 73 generates a first virtual scale indicating the actual size of the subject as a virtual scale based on the position of the spot SP in the first captured image.
  • the image processing unit 73 refers to the scale table 62 that stores the relationship between the position of the spot SP in the first captured image and the first virtual scale indicating the actual size of the subject, and from the position of the spot SP to the virtual scale. Calculate the size. Then, the image processing unit 73 generates a first virtual scale corresponding to the size of the virtual scale.
  • the signal processing unit 45 of the expansion processor device 17 detects the position of the spot SP in the captured image in order to recognize the position of the spot SP and set the virtual scale. And a second signal processing unit 60 that sets a virtual scale according to the position of the spot SP.
  • the first signal processing unit 84 includes a mask processing unit 86, a binarization processing unit 87, a noise component removing unit 88, and an irradiation position detection unit 89.
  • the process of removing the noise component in the first signal processing unit 84 will be described with reference to FIGS. 55 to 57.
  • the mask processing unit 86 has a substantially parallel quadrilateral illumination position movable range Wx indicating within the movable range of the illumination position of the measurement light on the subject with respect to the red image, the green image, and the blue image among the captured images. Perform masking to extract. As a result, as shown in FIGS.
  • a red image PRx, a green image PGx, and a blue image PBx after mask processing from which the illumination position movable range Wx is extracted can be obtained.
  • the noise component is removed from the pixels within the illumination position movable range, and the irradiation position of the spot SP is detected.
  • the binarization processing unit 87 performs the first binarization processing on the pixels in the illumination position movable range of the red image PRx after the mask processing, thereby performing the binarization red image PRy (binary).
  • the first spectroscopic image) is obtained.
  • a pixel having a pixel value of "225" or more is set to "1"
  • a pixel having a pixel value of less than "225” is set to "0". ..
  • the spot SP which is a component of the measurement auxiliary light, is detected.
  • the threshold condition is a condition related to a threshold indicating the boundary between the pixel value of the pixel set to "0" by binarization and the pixel value of the pixel set to "1" by binarization, and "1" by binarization. It refers to a condition that determines the range of the pixel value of the pixel set to "0” and the range of the pixel value of the pixel set to "1" by binarization.
  • the noise component removing unit 88 uses the binarized red image PRy and the binarized green image PGy (binary) obtained by binarizing the green image PGx by the second binarization process.
  • the first difference processing with the binarized second spectroscopic image) is performed.
  • the first noise component N1 is removed from the first difference image PD1 obtained by the first difference processing.
  • the second noise component N2 often remains and is not removed. For pixels that are "0" or less by the first difference processing, the pixel value is set to "0".
  • the threshold condition for the second binarization process the pixel whose pixel value is in the range of "30" to “220” is set to "1", and the other range, that is, , "0" to less than “30” or more than “220” is defined as "0".
  • the first noise component is removed by the first difference processing between the binarized red image and the binarized green image, but the first noise component may be removed by another first arithmetic processing.
  • the noise component removing unit 88 binarizes the first difference image PD1 and the blue image PBx by the third binarization process.
  • the second difference processing with the binarized blue image PBy is performed.
  • the second difference image PD2 obtained by the second difference processing the second noise component that was difficult to remove by the first difference processing is removed.
  • the pixel value is set to "0" for the pixels that become "0" or less by the second difference processing.
  • a threshold condition for the third binarization process a pixel having a pixel value of "160” or more is set to "1", and a pixel having a pixel value of less than "160” is set to "0".
  • the second is component is removed by the second difference process between the first difference image and the binarized blue image, the second noise component may be removed by another second arithmetic process.
  • the irradiation position detection unit 89 detects the irradiation position of the spot SP from the first difference image or the second difference image. It is preferable that the irradiation position detection unit 89 acquires the coordinates of the center of gravity of the spot SP as the irradiation position of the spot SP.
  • the second signal processing unit 85 sets a first virtual scale indicating the actual size of the subject as a virtual scale based on the position of the spot SP.
  • the second signal processing unit 85 calculates the size of the virtual scale from the position of the spot with reference to the scale table 62 that stores the relationship between the position of the spot SP and the first virtual scale indicating the actual size of the subject. do. Then, the second signal processing unit 85 sets the first virtual scale corresponding to the size of the virtual scale.
  • the signal processing unit 45 of the expansion processor device 17 includes an irradiation area recognition unit 90 and a second signal processing unit 60.
  • the irradiation area recognition unit 90 recognizes a measurement light irradiation area having a pattern of a specific shape from the captured image.
  • the pattern of the specific shape includes the white central region CR1 and the peripheral region SR1 that covers the periphery of the central region and has a feature amount based on the measured light. If the measurement light irradiation region is the spot SP described above, the pattern having a specific shape has a circular shape. In this case, the white central region CR1 is circular and the peripheral region SR1 is ring-shaped.
  • FIG. 60 shows the distribution of the pixel values of each color image in the captured image including the red image RP, the green image GP, and the blue image BP as a plurality of color images. Since the pixel values of the red image RP, the green image GP, and the blue image BP in the central region CR1 have reached the maximum pixel value (for example, 255), the central region CR1 is white. In this case, when the measurement light is incident on the image pickup element 32, as shown in FIG. 61, in the wavelength range WMB of the measurement light, not only the red color filter RF of the image pickup element 32 but also the green color filter GF and The measured light is transmitted at the maximum transmittance of the blue color filter BF.
  • the maximum pixel value for example, 255
  • the peripheral region SR1 the pixel value of the red image RP is larger than the pixel value of the green image GP or the blue image BP. Therefore, the peripheral region SR1 is reddish.
  • the pixel values of the red image RP, the green image GP, and the blue image BP in the central region CR1 are set to the maximum pixel values by emitting the measured light amount with a specific light amount.
  • the irradiation area recognition unit 90 can recognize the spot SP having the above-mentioned specific shape and feature amount. Specifically, as shown in FIG. 62, the irradiation area recognition unit 90 outputs a learning model 91 that recognizes the spot SP by outputting the spot SP, which is the measurement light irradiation area, in response to the input of the captured image. It is preferable to have.
  • the learning model 91 is machine-learned by a large number of teacher data associated with the captured image and the already recognized measured light irradiation region. As machine learning, it is preferable to use CNN (Convolutional Neural Network).
  • the spot SP By recognizing the spot SP using the learning model 91, not only the circular spot SP composed of the circular central region CR1 and the ring-shaped peripheral region SR1 (see FIG. 59) but also a specific shape. It is also possible to recognize the spot SP of a pattern deformed from a certain circular shape. For example, as shown in FIG. 63 (A), the spot SP deformed in the vertical direction can also be recognized. Further, as shown in FIG. 63 (B), the spot SP in which a part of the circular shape is missing and deformed can also be recognized.
  • the feature quantities of the peripheral region SR1 that can be recognized by the learning model 91 include blue and green in addition to red, which is the color of the measured light.
  • the feature quantities of the peripheral region SR1 that can be recognized by the learning model 91 include the brightness, brightness, saturation, and hue of the measured light.
  • the brightness, brightness, saturation, and hue of the measured light can be acquired by performing brightness conversion processing or brightness, saturation, and hue conversion processing on the peripheral area of the spot SP included in the captured image. preferable.
  • the signal processing unit 45 of the extended processor device 17 determines the position of the spot SP in the captured image in order to recognize the position of the spot SP, calculate the observation distance to the subject, and set the virtual scale.
  • a position specifying unit 92 that identifies and calculates the observation distance
  • an image processing unit 93 that sets various virtual scales based on the observation distance and generates a length measurement image obtained by processing the captured image using various virtual scales. And have.
  • the position specifying unit 92 has a distance calculation unit 94.
  • the position specifying unit 92 identifies the position of the spot SP formed on the subject by the measured light based on the captured image in which the subject is illuminated by the illumination light and the measured light.
  • the distance calculation unit 94 obtains the observation distance from the position of the spot SP.
  • the image processing unit 93 includes an image selection unit 95, a scale table 62, an offset setting unit 97, an offset distance calculation unit 98, and an offset virtual scale generation unit 99.
  • the image selection unit 95 selects an image to be processed based on the position of the spot SP.
  • the offset setting unit 97 sets an offset amount according to the height of the convex spot SP with respect to the observation distance.
  • the offset distance calculation unit 98 calculates the offset distance by adding the offset amount to the observation distance.
  • the offset virtual scale generation unit 99 generates an offset virtual scale based on the offset distance.
  • the convex shape of the subject means the shape of the subject protruding from the surroundings. Therefore, even a part of the shape may be a shape protruding from the surroundings, and other shapes such as size, width of shape, height and / or number of protruding parts, continuity of height, etc. are not limited. ..
  • the height of the spot SP of the polyp 100 is the vertical distance from the spot SP of the polyp 100 to the flat portion 100b of the polyp 100. More specifically, as shown in FIG. 66, the spot SP1 is formed on the top 100a of the polyp 100. Therefore, assuming that the surface parallel to the extension surface 101 and the top 100a of the polyp 100 passing through the top 100a of the polyp 100 is the parallel surface 102, the distance between the parallel surface 102 and the extension surface 101 is the spot of the polyp 100.
  • the height HT1 of the SP is the vertical distance from the top 100a of the polyp 100 to the flat portion 100b.
  • the polyp 100 and the height HT1 are schematically shown, and if the portion protrudes from the surrounding portion, the type, shape, size, etc. of the convex shape can be determined. It doesn't matter.
  • the spot SP2 is formed in a region other than the top 100a of the polyp 100. That is, it is formed between the top 100a of the polyp 100 and the end of the polyp 100. Therefore, assuming that the surface parallel to the extension surface 101 and passing through the spot SP2 of the polyp 100 is the parallel surface 103, the distance between the parallel surface 103 and the extension surface 101 is the height HT2 of the spot SP2 of the polyp 100. .. Therefore, the height HT2 of the spot SP2 of the polyp 100 is the vertical distance from the spot SP2 of the polyp 100 to the flat portion 100b.
  • the spot SP1 is formed on the top 100a of the polyp 100 by the measurement light Lm.
  • the observation distance obtained from the spot SP1 is the distance D5 between the position P1 of the tip portion 12d of the endoscope and the position P2 of the spot SP1.
  • the virtual scale corresponding to the distance D5 is a virtual scale that matches the actual measurement on the parallel plane 102. Therefore, when the spot SP1 is formed on the top 100a of the polyp 100, when the virtual scale corresponding to the distance D5 is generated and displayed, the virtual scale matching the actual measurement of the subject on the parallel surface 102 is displayed. Therefore, the virtual scale shifted to the larger scale or the like with respect to the measured value of the subject on the extension surface 101 is displayed.
  • the offset setting unit 97 sets the height HT1 of the spot SP of the polyp 100 as the offset amount with respect to the observation distance D5.
  • the offset virtual scale generation unit 99 generates a virtual scale based on the observation distance D6 as an offset virtual scale. More specifically, the offset virtual scale generation unit 99 refers to the scale table 62, uses a virtual scale when the observation distance is the distance D6, and uses this as the offset virtual scale.
  • the virtual scale for offset indicates the actual distance or size of the subject on the extension surface 101.
  • the image processing unit 93 performs processing for superimposing the generated virtual scale for offset on the captured image to generate a length measurement image.
  • the virtual scale for offset is preferably superimposed so as to be displayed at the position where the spot SP is formed for more accurate measurement. Therefore, when displaying at a position far from the spot SP, it is displayed as close to the spot SP as possible.
  • the length measurement image on which the virtual scale for offset is superimposed is displayed on the extended display 18 by the display control unit 46.
  • the width W11 of the line constituting the virtual scale M11 is set to 1 pixel, which is the smallest setting value.
  • the width W12 of the line constituting the virtual scale M12 is set to 2 pixels.
  • the width W13 of the line constituting the virtual scale M13 is set to 3 pixels which is an intermediate value of the setting.
  • the width W14 of the line constituting the virtual scale M14 is set to 4 pixels.
  • the width W15 of the line constituting the virtual scale M15 is set to 5 pixels, which is the largest setting value.
  • the lines constituting the virtual scales M11 to M15 are changed according to the observation distance, it is easy for the user doctor to measure the accurate dimensions of the subject. Further, since the widths W11 to W15 of the lines constituting the virtual scales M11 to M15 are set to values inversely proportional to the observation distance, it is possible to recognize the magnitude of the dimensional error from the width of the lines. .. For example, considering the recognized error, if the tumor tm is inside the line constituting the virtual scales M11 to M15, it is definitely smaller than the set actual size (5 mm in the example shown in FIG. 68). Within).
  • a concentric virtual scale M2 composed of three concentric circles having different sizes may be set based on the position of one spot SP.
  • the three concentric circles M21, M22, and M23 constituting the virtual scale M2 represent, for example, the actual size of "5 mm", “10 mm", and "20 mm”.
  • the lines constituting the circular shape are cross-hatched for convenience of illustration, but in reality, one line is filled with one color. There is.
  • the width W22 of the concentric circle M22 located one outside of the concentric circle M21 located inside is larger than the width W21 of the concentric circle M21, and the width W23 of the concentric circle M23 located outside is set larger than the width W22 of the concentric circle M22. do.
  • the width W23 is set to a value ⁇ 2 times the width W22 and twice the width W21.
  • a gradation may be added to the lines constituting the virtual scale M3 so that the density gradually decreases from the center in the width direction of the lines to the outside. Then, as in the first and second embodiments, the width of the line with the gradation is changed according to the observation distance.
  • the line constituting the virtual scales M41 to M43 is set as a broken line, and the gap constituting the broken line is set to a value inversely proportional to the observation distance.
  • FIG. 71 shows circular virtual scales M41, M42, and M43 when images are taken at each point of the far end Px, the near center Py, and the near end Pz in the observation distance range R1.
  • the gap G1 of the broken line constituting the virtual scale M41 is set to the smallest set value.
  • the virtual scale M41 is configured from the broken line, but the gap G1 may be configured from 0, that is, the virtual scale M41 may be configured from the solid line only in the case of the far end Px.
  • the gap G2 of the broken line constituting the virtual scale M42 is set as the intermediate value of the setting.
  • the gap G3 of the broken line constituting the virtual scale M43 is set to the largest set value.
  • the gaps G1 to G3 of the broken lines constituting the virtual scales M41 to M43 are set to values that are inversely proportional to the observation distance, it is possible to recognize the magnitude of the dimensional error from the gaps of the broken lines. It will be possible.
  • the lines that make up the virtual scale are made up of the same number regardless of the observation distance. As shown in FIG. 72, the number of lines constituting the virtual scales M51 to M53 is changed according to the observation distance. Note that FIG. 72 shows virtual scales M51, M52, and M53 when images are taken at each point of the far end Px, the near center Py, and the near end Pz in the observation distance range Rx, respectively.
  • the virtual scale M51 in the case of the far-end Px in the range Rx, the virtual scale M51 is composed of three lines, that is, three concentric circles of different sizes. The three concentric circles represent, for example, the actual size of "5 mm", “10 mm", and "20 mm”.
  • the virtual scale M52 in the case of Py near the center in the range Rx, is composed of two lines, that is, two concentric circles of different sizes. The two concentric circles represent, for example, the actual size of "5 mm” and "10 mm”.
  • FIG. 72 (A) in the case of the far-end Px in the range Rx, the virtual scale M51 is composed of three lines, that is, three concentric circles of different sizes. The three concentric circles represent, for example, the actual size of "5 mm", "10 mm", and "20 mm”.
  • the virtual scale M53 in the case of the near-end Pz in the range Rx, is composed of one line, that is, one circular shape.
  • One circular shape represents an actual size of, for example, "5 mm”.
  • the signal processing unit 45 of the expansion processor device 17 includes a position specifying unit 92 including a distance calculation unit 94 and an image processing unit 104.
  • the image processing unit 104 includes an image selection unit 95, a scale table 62, a virtual scale setting unit 105, a virtual scale switching reception unit 106, and a length measurement image creation unit 107.
  • the virtual scale setting unit 105 sets a virtual scale that represents the actual size of the observation target on the subject according to the position of the spot SP and has a scale with the end as a base point.
  • the virtual scale switching reception unit 106 receives an instruction to switch and set a plurality of virtual scales.
  • the length measurement image creation unit 107 creates a length measurement image in which the virtual scale set by the virtual scale setting unit 105 is superimposed on the captured image so that the position of the spot SP and the base point of the scale of the virtual scale overlap.
  • the captured image 109 in which the subject including the polyp 108 is illuminated is input to the signal processing unit 45.
  • the captured image 109 includes the polyp 108, the spot SP, and optionally the shadow 110.
  • the position specifying unit 92 specifies the position of the spot SP based on the captured image 109 input to the signal processing unit 45.
  • the virtual scale setting unit 105 sets a virtual scale that represents the actual size of the observation target corresponding to the position of the spot SP and has a scale with the end as a base point.
  • the end portion is a portion closer to the outer portion than the central portion, or a start point, an end point, or the like in the shape of the virtual scale.
  • the length-measuring image creation unit 107 places the virtual scale 111 set by the virtual scale setting unit 105 on the captured image 109 so that the position of the spot SP and the base point of the scale of the virtual scale 111 overlap.
  • the captured image 109 superimposed on the image 109 is created.
  • the virtual scale 111 is preferably superimposed so as to be displayed at the position of the spot SP for more accurate measurement. Therefore, even when displaying at a position far from the spot SP, it is preferable to display as close to the spot SP as possible.
  • the virtual scale 111 is a line segment of a straight line, and has a scale at the start point and the end point of the line segment, which is a line segment perpendicular to the line segment of the straight line.
  • the start point and / or the end point itself may be used as a scale. It does not have to be.
  • the virtual scale 111 may have a number "10" in the vicinity of the base end of the scale. This number "10" is a scale label 111a of the virtual scale 111, and is attached so that it can be easily recognized that the line segment of the virtual scale 111 is the actual size of 10 mm.
  • the numbers possessed by the virtual scale have the same meaning.
  • the numerical value of the scale label 111a can be changed by setting, and may be a virtual scale 111 that does not display the scale label 111a itself.
  • Various types of virtual scales are used depending on the settings. For example, a straight line segment or a combination of straight line segments, a combination of circles or circles in shape, a combination of straight line segments and circles, and the like are used.
  • the captured image 113 includes a virtual scale 112 whose shape is a combination of straight line segments.
  • the virtual scale 112 has a shape in which straight line segments are combined in an L-shape, and the line segments extend in the upward direction on the paper surface and in the paper surface direction with the corners of the L-shape as the base point, and the end points are each starting from the base point.
  • the virtual scale 112 has a numerical value of "10", which is the scale label 112a, in the vicinity of the base end of the scale, similarly to the virtual scale 111.
  • the captured image 114 includes a virtual scale 115 whose shape is a combination of a straight line segment and a circle.
  • the virtual scale 115 has a shape in which a circle and a line segment having the diameter of the circle are combined, and the intersection of the line segment and the circle is used as a scale.
  • a scale 116 may be provided at the center of a point or circle that halves the line segment.
  • the virtual scale 115 has the number "10" which is the scale label 116a in the vicinity of the base point of the scale, similarly to the virtual scale 111 or the virtual scale 112.
  • the scale label 116b represents half of the scale label 116a.
  • the virtual scale includes, for example, a virtual scale 117 (FIG. 78 (A)) including a scale label 117a in which a line segment extends from the base point to the left of the paper surface, and downward from the base point to the paper surface.
  • a virtual scale 118 (FIG. 78 (B)) containing a scale label 118a, or a virtual scale 119 (FIG. 78 (C)) containing a scale label 119a, in which a line segment extends diagonally upward to the right of the paper surface from the base point. )
  • Etc. can be taken in various shapes.
  • the signal processing unit 45 of the expansion processor device 17 includes a position specifying unit 92, a reference scale setting unit 120, a measured value scale generation unit 121, and a length measurement image generation unit 122.
  • the reference scale setting unit 120 sets a reference scale indicating the actual size of the subject based on the position of the spot SP.
  • the measured value scale generation unit 121 generates a measured value scale indicating the measured value measured at the measured portion of the region of interest based on the set reference scale. Since the reference scale and the measured value scale are virtual ones to be displayed on the captured image, they correspond to the virtual scales.
  • the area of interest is an area that the user included in the subject should pay attention to.
  • the area of interest is, for example, a polyp or the like, which is likely to require measurement.
  • the measurement portion is a portion for measuring the length or the like in the region of interest. For example, when the region of interest is a reddish portion, the measurement portion is the longest portion of the reddish portion or the like, and when the region of interest is circular, the measurement portion is a diameter portion or the like of the region of interest.
  • the length measurement image generation unit 122 creates a length measurement image in which the measurement value scale is superimposed on the captured image.
  • the measured value scale is superimposed on the captured image in a state of being matched to the measured portion of the region of interest.
  • the length measurement image is displayed on the extended display 18.
  • the reference scale setting unit 120 includes a reference scale table 121a.
  • the reference scale table 121a is correspondence information in which the position of the spot SP and the measurement information corresponding to the actual size of the subject are associated with each other.
  • the captured image 114 in which the subject including the polyp 123 to be observed is captured is input to the signal processing unit 45.
  • the polyp 123 has, for example, a three-dimensional shape in which spheres are overlapped.
  • a spot SP is formed at the end on the polyp 123.
  • the position specifying unit 92 specifies the position of the spot SP.
  • the reference scale setting unit 120 sets the reference scale 131 indicating the actual size of the subject corresponding to the position of the specified spot SP with reference to the reference scale table 121a.
  • the reference scale 131 is, for example, a line segment having a number of pixels corresponding to 20 mm in the actual size, and a numerical value and a unit indicating the actual size.
  • the reference scale 131 is not normally displayed on the extended display 18, but when the reference scale 131 is displayed on the extended display 18, it is displayed as in the captured image 124.
  • the measured value scale generation unit 121 includes a region of interest extraction unit 125, a measurement unit determination unit 126, a measurement content reception unit 127, and a measurement value calculation unit 128.
  • the attention region extraction unit 125 extracts the hatched region as the attention region 129 as in the captured image 124.
  • the measurement portion determination unit 126 measures, for example, the preset reference for measuring the portion of the region of interest in the horizontal direction with the spot SP as the base point
  • the captured image 124 As described above, the horizontal edge position 130 is extracted with the spot SP as a base point.
  • the measurement portion is between the spot SP and the horizontal edge position 130.
  • the measured value calculation unit 128 sets the actual size of the reference scale to L0, sets the number of pixels of the reference scale 131 on the captured image 124 to Aa, and superimposes the reference scale 131 on the region of interest 129 in the captured image 124.
  • the measured value calculation unit 128 is located in the measurement portion between the number of pixels Aa corresponding to the reference scale 131 shown in the captured image 124a and the spot SP and the horizontal edge position 130 shown in the captured image 124b.
  • the actual size of the measured value scale 132 is set as in the captured image 124d. Calculated as 13 mm.
  • the length measurement image generation unit 122 generates a length measurement image 133 in which the measurement value scale 132 is superimposed on the captured image 124.
  • the measured value scale 132 is superimposed on the captured image 124 by a figure such as an arrow which is the shape of a straight line segment.
  • the length measurement image 133 may include a numerical value of the actual size of the measurement value scale 132.
  • the numerical value of the actual size of the measured value scale 132 may be superimposed on the captured image 124 in a state separated from the figure such as an arrow.
  • the type of measured value scale 132 can be selected from multiple types.
  • the measurement content reception unit 127 receives the setting of the content of the measurement value scale and sends the content to the measurement value scale generation unit 121, and the measurement value scale generation unit 121 uses the measurement value scale 132 generated based on the content.
  • the length measurement image generation unit 122 generates the length measurement image 133.
  • the attention region extraction unit 125 extracts the attention region using a trained model learned from the captured images acquired in the past.
  • a trained model various models suitable for image recognition by machine learning can be used.
  • a model using a neural network can be preferably used for the purpose of recognizing a region of interest on an image.
  • training is performed using a captured image having information on the region of interest as teacher data.
  • Information on the region of interest includes the presence or absence of the region of interest, the position or range of the region of interest, and the like.
  • learning may be performed using a captured image that does not have information on the region of interest.
  • the measurement portion determination unit 126 also determines the measurement portion using the trained model learned from the captured images acquired in the past.
  • the model or the like used for the trained model is the same as that of the region of interest extraction unit, but when training these models, training is performed using a captured image having information on the measurement portion. Information on the measured portion includes a measured value and the measured portion. Depending on the model, learning may be performed using a captured image that does not have information on the measurement portion.
  • the trained model used by the region of interest extraction unit 125 and the trained model used by the measurement unit determination unit 126 may be common. For the purpose of extracting the measurement portion, one trained model may be used to extract the measurement portion without extracting the region of interest from the captured image 124.
  • the second signal processing unit 60 is for scaling to display a virtual scale deformed according to the position of the spot SP from the representative point data table 66 that stores the irradiation position of the measurement light and the representative point of the virtual scale.
  • the table 62 has been updated (see FIGS. 39 and 40)
  • the scale table 62 may be created by other methods. For example, as shown in FIG. 87, a distorted grid region QN that encloses a circular virtual scale centered on the spot SP is acquired from an image obtained when a chart on a square grid is imaged. In the distorted grid region QN, the grid is distorted due to the distortion of the imaging optical system 21 as the distance from the center of the screen increases.
  • the distorted grid region QN is transformed into a square grid region SQ as shown in FIG. 88 by an affine transformation matrix.
  • the coordinates of the points indicating the circular virtual scale are calculated.
  • the coordinates of the points of the virtual scale in the square lattice region SQ are converted into a distorted circular virtual scale distorted by the imaging optical system 21 by the inverse matrix of the affine transformation matrix.
  • the coordinates of this distorted circular virtual scale and the position of the spot SP are associated and stored in the scale table 62.
  • the display mode of the virtual scale may be changed between the region where the measurement by the virtual scale is effective and the region other than that.
  • the spot SP measures.
  • the measurement of the tumor tm by the virtual scale is not effective, so that the cross-shaped virtual scales MN and MF are displayed, respectively.
  • the spot SP exists in the region where the measurement by the circular virtual scale M is effective, the circular virtual scale M is displayed.
  • the line type of the virtual scale may be changed depending on whether the spot SP is within or outside the measurement effective area.
  • the spot SP is outside the range of the measurement effective region (near end Px side), and as shown in FIG. 90 (c), the spot SP is outside the range of the measurement effective region.
  • the circular virtual scales MpN and MpF are displayed by dotted lines, respectively.
  • FIG. 90 (a) when the spot SP is outside the range of the measurement effective region (near end Px side), and as shown in FIG. 90 (c), the spot SP is outside the range of the measurement effective region.
  • the circular virtual scales MpN and MpF are displayed by dotted lines, respectively.
  • the circular virtual scale Mp when the spot SP exists in the region where the measurement by the circular virtual scale M is effective, the circular virtual scale Mp is displayed by a solid line.
  • the spot SP changes the line type of the virtual scale between the outside of the measurement effective area and the inside of the measurement effective area with a dotted line and a solid line, other colors may be used separately.
  • the line type of the virtual scale is blue, and when it is within the range, the line type of the virtual scale is white.
  • the system control unit 41 controls the light source device 13 to emit the illumination light and the measurement light when the still image acquisition instruction is not given.
  • the illumination light is turned on at the first timing including the still image acquisition instruction.
  • the measurement light is turned off.
  • the second timing and the third timing after the first timing has elapsed, the measurement light is turned on again while the lighting of the illumination light is maintained.
  • the second timing and the third timing are the same timing, but may be different timings.
  • a second captured image obtained by imaging a subject illuminated by the measurement light is obtained.
  • the first captured image obtained by imaging the subject illuminated by the illumination light and the measurement light is obtained.
  • the system control unit 41 saves the still image of the first captured image and the still image of the second captured image as the saved images to be saved in the still image storage unit 42.
  • the signal processing unit 45 of the expansion processor device 17 acquires a still image of the third captured image displaying the virtual scale Mxm set according to the position of the spot SP with respect to the first captured image.
  • the still image of the third captured image is sent to the processor device 14 and stored in the still image storage unit 42. Further, as shown in FIG.
  • the display control unit 46 sets the second captured image and the third captured image in order to notify that the still image is recorded for a certain period of time after the still image is performed. Is displayed on the extended display 18. It is preferable that at least two of the first captured image, the second captured image, and the third captured image are stored in the still image storage unit 42 by one instruction for acquiring a still image. For example, it is preferable to store two images, a second captured image and a third captured image. Further, as described above, the third captured image corresponds to the storage image to be stored in the still image storage unit 42 among the length measurement images on which the virtual scale is superimposed and displayed.
  • the second timing or the third timing may be before the first timing.
  • the temporary storage storage unit (not shown) of the processor device 14.
  • the first captured image saved in the temporary storage storage unit is saved in the still image storage unit 42 as the first captured image of the second timing, and the temporary storage storage unit is also used.
  • a third captured image in which a virtual scale is added to the first captured image saved in is stored in the still image storage unit 42.
  • the second timing and the third timing may be different timings.
  • the first captured image obtained at the second timing is stored in the still image storage unit 42 in the same manner as described above.
  • the first captured image obtained at the third timing is stored in the still image storage unit 42 after adding a virtual scale to make it a third captured image before storing it in the still image storage unit 42.
  • the lesion recognition unit 135, the diagnostic information acquisition unit 136, and the learning unit 137 may be provided in the signal processing unit 45 of the extended processor device 17, in addition to the first signal processing unit 59 and the second signal processing unit 60.
  • the lesion recognition unit 135 performs image processing on the first captured image (image based on the illumination light and the measurement light) and performs the recognition processing.
  • a detection process for detecting a region of interest such as a lesion area is performed from the first captured image. It is preferable to use a machine-learned learning model for the recognition process. That is, the detection result of the region of interest is output from the learning model in response to the input of the first captured image to the learning model.
  • the learning model is preferably a machine-learned learning model such as a convolutional neural network (CNN).
  • the recognition process performed by the lesion recognition unit 135 may be a discrimination process for discriminating the degree of progression of the lesion from the lesion portion recognized from the first captured image. Further, the lesion recognition unit 135 may perform image processing on the second captured image (image based only on the illumination light) to perform recognition processing.
  • the diagnostic information acquisition unit 136 acquires diagnostic information regarding the first captured image or the second captured image from the diagnostic information management device 138.
  • diagnostic information the medical record of the patient to be examined is acquired.
  • the medical record is information that records the progress of medical treatment or examination for a patient, and includes, for example, a record of the patient's name, sex and age, disease name, major symptoms, prescription or treatment content, or medical history.
  • the information on the lesion portion recognized and processed by the lesion recognition unit 135 and the diagnostic information on the first captured image or the second captured image acquired by the diagnostic information acquisition unit 136 are stored in the still image storage unit 42 as attached data of the dataset DS. It is saved in association with the first captured image or the second captured image.
  • the learning unit 137 performs machine learning using the first captured image or the second captured image stored in the still image storage unit 42 and the attached data (data set) associated with the first and second captured images. .. Specifically, the learning unit 137 machine-learns the learning model of the lesion recognition unit 135.
  • the second captured image is preferable as a candidate for teacher data for machine learning. Since the second captured image is an image obtained by an instruction to acquire a still image at the time of measuring the tumor tm or the like, it is an image with a high possibility of including a region of interest to be observed. Further, since the second captured image is a normal endoscopic image that is not irradiated with the measurement light, it is highly useful as teacher data for machine learning.
  • the attached data includes information on the lesion and diagnostic information
  • the user does not have to input it when performing machine learning.
  • the first captured image may be used as it is, but it is more preferable to use a portion other than the irradiation region of the measurement light as a teacher data candidate.
  • the calibration method for creating the representative point data table 66 using the calibration device 200 shown in FIG. 97 will be described below.
  • the calibration device 200 includes a calibration display 201, a moving mechanism 202, a calibration display control unit 204, a caliber image acquisition unit 206, and a calibration unit 208.
  • the calibration display control unit 204, the calib image acquisition unit 206, and the calibration unit 208 are provided in the calib image processing device 210.
  • the caliber image processing device 210 is electrically connected to the processor device 14, the calibration display 201, and the moving mechanism 202.
  • the moving mechanism 202 has a holding portion (not shown) that holds the tip portion 12d of the endoscope 12 toward the calibration display 201, and by moving the holding portion at a specific interval, the endoscope The distance Z between the tip portion 12d of 10 and the calibration display 201 is changed.
  • the calibration display control unit 204 changes the distance Z by the moving mechanism 202, the calibration display 201 has a first display that is not affected by the image pickup optical system 21 with respect to the irradiation position of the measurement light. Display an image of the virtual scale of the embodiment. Since the image of the measurement marker in the first display mode does not consider the influence of distortion or the like due to the imaging optical system 21, it is displayed in a size or shape corresponding to the scale display position when displayed on the extended display 18. Not done.
  • the caliber image acquisition unit 206 acquires a caliber image obtained by imaging the measurement marker of the first display mode displayed on the calibration display 201 by the endoscope 12.
  • the caliber image is acquired by the endoscope 12 taking an image every time the distance Z is changed, that is, every time the virtual scale of the first display mode is displayed. For example, when the virtual scale of the first display mode is displayed n times, n calib images are obtained.
  • the caliber image includes an image of a measurement marker in a second display mode influenced by the imaging optical system 21 with respect to the irradiation position of the measurement light.
  • the image of the measurement marker in the second display mode is displayed in a size or shape corresponding to the scale display position because the influence of distortion or the like due to the imaging optical system 21 is taken into consideration.
  • the calibration unit 208 calibrates the display on the extended display 18 of the virtual scale based on the caliber image acquired by the caliber image acquisition unit 206. Specifically, the calibration unit 208 acquires representative point extraction processing for extracting representative points from the virtual scale image of the second display mode included in the caliber image, representative point data related to the representative points, and the caliber image.
  • the created representative point data table that performs the table creation process for creating the representative point data table in association with the irradiation position at the same timing is sent to the expansion processor device 17 and stored in the representative point data table 66.
  • the inspection system 300 is used for scale accuracy inspection such as whether the virtual scale has a predetermined shape.
  • the inspection system 300 includes a test chart 302, a display 15, and a moving mechanism unit 304.
  • the display 15 is shared with the endoscope system 10, but a display for accuracy inspection may be provided separately.
  • the test chart 302 has a chart main body 305, and the chart main body 305 has an inspection area portion 306 having an inspection area having a specific shape, and a reference for aligning an irradiation position of measurement light at the time of accuracy inspection.
  • the inspection reference position 308 is provided.
  • the inspection area portion 306 includes three circular inspection areas 306a, 306b, and 306c as inspection areas having a specific shape. These three inspection regions 306a, 306b, and 306c are provided concentrically with the inspection reference position 308 as the center.
  • the inspection areas 306a, 306b, and 306c are a 5 mm virtual scale (indicating that the diameter is "5 mm"), a 10 mm virtual scale (indicating that the diameter is “10 mm”), and a 20 mm virtual scale (indicating that the diameter is “10 mm”), respectively. Is "20 mm”).
  • the inspection image is acquired by illuminating the chart body 205 with the measured light (for example, the spot SP) used for the confirmation inspection and taking an image. ..
  • the inspection image is displayed on the display 15.
  • a virtual scale M corresponding to the irradiation position (position of the spot SP) of the measurement light is displayed.
  • the moving mechanism unit 304 moves the test chart 302 so that the irradiation position (position of the spot SP) of the measurement light matches the inspection reference position.
  • the user determines whether or not the virtual scale M is properly displayed.
  • the user can properly display the virtual scale M.
  • the virtual scale M when even a part of the virtual scale M does not enter the inspection area 106a, such as when the virtual scale M partially protrudes from the inspection area 106a, the user is 5 mm. It is determined that the virtual scale M of is not displayed properly.
  • the scale table 62 may be created as follows.
  • the relationship between the position of the spot and the size of the virtual scale can be obtained by imaging a chart in which a pattern of actual size is regularly formed. For example, a grid-like chart with spot-shaped measurement light emitted toward the chart and a ruled line (5 mm) equal to or finer than the actual size (for example, 1 mm) while changing the position of the spot by changing the observation distance. Is imaged, and the relationship between the position of the spot (pixel coordinates on the image pickup surface of the image sensor 32) and the number of pixels corresponding to the actual size (how many pixels the actual size of 5 mm is represented by) is acquired.
  • (x1, y1) is a pixel position in the X and Y directions of the spot SP4 on the image pickup surface of the image pickup element 32 (the upper left is the origin of the coordinate system).
  • Lx1 be the number of pixels in the X direction corresponding to the actual size of 5 mm at the position (x1, y1) of the spot SP4, and let Ly1 be the number of pixels in the Y direction.
  • FIG. 103 shows a state in which the same chart with 5 mm ruled lines as in FIG. 102 is captured, but the shooting distance is closer to the far end than the state shown in FIG. 102, and the intervals between the ruled lines are narrower. In the state of FIG.
  • the number of pixels in the X direction corresponding to the actual size of 5 mm at the position (x2, y2) of the spot SP5 on the image pickup surface of the image sensor 32 is Lx2, and the number of pixels in the Y direction is Ly2. Then, while changing the observation distance, the measurements as shown in FIGS. 102 and 103 are repeated, and the results are plotted. In FIGS. 102 and 103, the distortion of the imaging optical system 21 is not taken into consideration.
  • FIG. 104 shows the relationship between the X coordinate of the spot position and Lx (the number of pixels in the X direction of the first measurement marker), and FIG. 105 shows the relationship between the Y coordinate of the spot position and Lx.
  • g1 and g2 can be obtained from the above plot results, for example, by the method of least squares.
  • the X coordinate and the Y coordinate of the spot have a one-to-one correspondence, and basically the same result (the same number of pixels for the same spot position) can be obtained regardless of which of the functions g1 and g2 is used. Therefore, when calculating the size of the first virtual scale, either function may be used, and the function of g1 or g2, which has the higher sensitivity of the pixel number change with respect to the position change, may be selected. Further, when the values of g1 and g2 are significantly different, it may be determined that "the position of the spot could not be recognized".
  • FIG. 106 shows the relationship between the X coordinate of the spot position and Ly (the number of pixels in the Y direction), and FIG. 107 shows the relationship between the Y coordinate of the spot position and Ly.
  • any of the functions h1 and h2 may be used as in the case of Lx.
  • the functions g1, g2, h1 and h2 obtained as described above are stored in the scale table 62 in the lookup table format.
  • the functions g1 and g2 may be stored in the scale table 62 in a function format.
  • the striped pattern light ZPL formed as the light of the striped pattern on the subject when the subject is irradiated may be used (for example, Japanese Patent Application Laid-Open No. See Japanese Publication No. 2016-198304).
  • the striped pattern light ZPL is obtained by irradiating a liquid crystal shutter with variable transmittance (not shown) with a specific laser light, and a region (transmitted region) through which the specific laser light is transmitted by the liquid crystal shutter and a specific laser light. Is formed from two different patterns of vertical stripes that do not transmit (non-transparent area) and repeat periodically in the horizontal direction.
  • the cycle of the striped pattern light changes depending on the distance from the subject. Therefore, the cycle or phase of the striped pattern light is shifted by the liquid crystal shutter and irradiated multiple times.
  • the three-dimensional shape of the subject is measured based on a plurality of images obtained by shifting the period or phase.
  • the subject is alternately irradiated with the phase X striped pattern light, the phase Y striped pattern light, and the phase Z striped pattern light.
  • the striped pattern light having phases X, Y, and Z is phase-shifted by 120 ° (2 ⁇ / 3) from the vertical striped pattern.
  • the three-dimensional shape of the subject is measured using three types of images obtained based on each striped pattern light.
  • the phase X striped pattern light, the phase Y striped pattern light, and the phase Z striped pattern light are switched in units of one frame (or several frames). It is preferable to illuminate the subject. It is preferable that the illumination light always irradiates the subject.
  • the measurement light LPL having a grid pattern formed as a grid pattern when the subject is irradiated may be used (for example, JP-A-2017-217215). See Gazette).
  • the measurement light LPL of the grid pattern is not a perfect grid, but is slightly deformed from the grid, such as by making it wavy so as to improve the detection accuracy of the grid pattern.
  • the grid pattern is provided with an S code indicating that the end points of the left and right horizontal lines are continuous.
  • the grid pattern may be a pattern in which vertical lines and horizontal lines are regularly arranged, or a pattern in which a plurality of spots are arranged in a vertical and horizontal grid pattern.
  • the subject When the measurement light LPL having a grid pattern is used as the measurement light, the subject may be constantly irradiated with the illumination light and the measurement light LPL having a grid pattern during the length measurement mode, and as shown in FIG. 111. While the illumination light constantly illuminates the subject, the grid pattern measurement light LPL repeats turning on and off (or dimming) every frame (or every few frames) to measure the grid pattern. The subject may be irradiated with LPL intermittently. In this case, in the frame in which the measurement light LPL of the grid pattern is turned on, the three-dimensional shape is measured based on the measurement light LPL of the grid pattern. Then, it is preferable to superimpose and display the measurement result of the three-dimensional shape on the image obtained in the frame that irradiates only the illumination light.
  • a three-dimensional plane light TPL represented by a mesh line on the subject image may be used (see, for example, Japanese Patent Publication No. 2017-508529).
  • the tip portion 12d is moved so that the three-dimensional plane light TPL matches the measurement target.
  • the distance of the intersection curve CC between the three-dimensional parallel light TPL and the subject is calculated by a process based on a manual operation such as a user interface or an automatic process.
  • the subject When the three-dimensional plane light TPL is used as the measurement light, the subject may be constantly irradiated with the illumination light and the three-dimensional plane light TPL during the length measurement mode, and as shown in FIG. 113, the illumination light is While constantly illuminating the subject, the 3D plane light TPL intermittently illuminates the subject by repeating turning on and off (or dimming) every frame (or every few frames). You may.
  • the receiving unit 38, the signal processing unit 39, the display control unit 40, the system control unit 41, the still image storage unit 42, the data transmission / reception unit 43, the data transmission / reception unit 44, the signal processing unit 45, and the display control unit 46 A processing unit that executes various processes such as including various control units or processing units provided in these control units (for example, length measurement mode control unit 50, first signal processing unit 59, etc.).
  • the hardware structure is various processors as shown below.
  • the circuit configuration is changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. It includes a programmable logic device (PLD), which is a possible processor, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing various processes, and the like.
  • PLD programmable logic device
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be done. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the hardware structure of the storage unit is a storage device such as an HDD (hard disk drive) or SSD (solid state drive).

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内視鏡の接続によって、測長モードの実行可否を判断することができる内視鏡システム及びその作動方法を提供する。 内視鏡システム(10)は、内視鏡(12)、及び、画像制御用プロセッサから構成されるシステム制御部(41)を有するプロセッサ装置(14)を備える。システム制御部(41)は、内視鏡(12)がプロセッサ装置(14)に接続された場合に、内視鏡(12)が測長対応内視鏡であるか否かを判断し、内視鏡(12)が測長対応内視鏡である場合に、測長モードへの切り替えを有効化する。

Description

内視鏡システム及びその作動方法
 本発明は、被写体の大きさを測定するための仮想スケールを表示する内視鏡システム及びその作動方法に関する。
 光源装置、内視鏡、及び、プロセッサ装置を有する内視鏡システムでは、被写体までの距離又は被写体の大きさなどを取得することが行われている。例えば、特許文献1では、照明光及び計測光を被写体に照射し、計測光の照射により被写体に、スポット光などの計測光照射領域を出現させる。そして、スポット光の位置に対応させて、被写体のサイズを計測するための仮想スケールを画像上に表示している。
国際公開第2018/051680号
 特許文献1のように、計測光を用いて仮想スケールを表示する場合には、計測光の照射等が可能な測長対応内視鏡が必要となる。内視鏡システムにおいては、仮想スケールを表示する測長モードを実行するためには、測長対応内視鏡が接続されたかどうかの判断が必要となる。
 本発明は、内視鏡の接続によって、測長モードの実行可否を判断することができる内視鏡システム及びその作動方法を提供することを目的とする。
 本発明の内視鏡システムは、内視鏡と、画像制御用プロセッサを有するプロセッサ装置を備え、画像制御用プロセッサは、内視鏡がプロセッサ装置に接続された場合に、内視鏡が測長対応内視鏡であるか否かを判断し、内視鏡が測長対応内視鏡である場合に、測長モードへの切り替えを有効化する。
 内視鏡が測長対応内視鏡である場合には、内視鏡は計測光の照射が可能であり、計測光に基づく仮想スケールを表示する測長画像をディスプレイに表示することが可能であり、画像制御用プロセッサは、測長モードへの切り替えが有効化された状態において、測長モードへの切り替え操作によって、計測光のON又はOFFの切替、測長画像に関する測長画像表示設定のON又はOFFの切替、仮想スケールがディスプレイで表示中であることを示す測長機能稼働状況表示のON又はOFFの切替、及び、仮想スケールの表示のON、OFF、又は表示態様変更の切替のうちの少なくともいずれかを行うことが好ましい。
 画像制御用プロセッサは、測長モードへの切り替え操作により、計測光をON、測長画像表示設定をON、測長機能稼働状況表示をON、及び、仮想スケールの表示をONに切り替えることが好ましい。画像制御用プロセッサは、測長モードへの切り替え操作において、モード切替時条件を満たしていない場合には、計測光をON、測長画像表示設定をON、測長機能稼働状況表示をON、及び、仮想スケールの表示をONに切り替えることを止することが好ましい。測長機能稼働状況表示をONに切り替えることを禁止する代わりに、仮想スケールが表示中でないことを示す測長機能稼働状況不可表示をONにすることが好ましい。画像制御用プロセッサは、測長画像表示設定をONにする場合には、測長モードへの切替前の画像表示設定を保存することが好ましい。
 仮想スケールの表示態様変更は、複数のスケールパターンの中からの選択によって行われることが好ましい。画像制御用プロセッサは、測長モードから他のモードへの切り替え操作により、計測光をOFF、測長画像表示設定をOFF、測長機能稼働状況表示をOFF、及び、仮想スケールの表示をOFFに切り替えることが好ましい。画像制御用プロセッサは、測長画像表示設定をOFFにする場合には、測長モードへの切替前に保存した画像表示設定に切り替えることが好ましい。
 本発明は、内視鏡、及び、画像制御用プロセッサを有するプロセッサ装置を備える内視鏡システムの作動方法において、画像制御用プロセッサは、内視鏡がプロセッサ装置に接続された場合に、内視鏡が測長対応内視鏡であるか否かを判断し、内視鏡が測長対応内視鏡である場合に、測長モードへの切り替えを有効化する。
 本発明によれば、内視鏡の接続によって、測長モードの実行可否を判断することができる。
内視鏡システムの概略図である。 バルーンの斜視図である。 バルーンの正面図である。 腸管内における収縮状態のバルーンを示す説明図である。 腸管内における膨張状態のバルーンを示す説明図である。 内視鏡の先端部の正面図である。 内視鏡の先端部の斜視図である。 内視鏡システムの機能を示すブロック図である。 デジタルズーム機能がOFFの状態(A)とONの状態(B)を示す画像図である。 計測光出射部を示す概略図である。 計測光出射部を有する内視鏡の先端部の断面図である。 透明蓋を示す平面図である。 計測光の進行方向を示す概略図である。 システム制御部の機能を示すブロック図である。 スケール表示中アイコン又はスケール非表示中アイコンなどが表示された画像図である。 システム制御部の機能を示すブロック図である。 第1制御を示す説明図である。 第1制御が行われた場合に表示されるメッセージを示す画像図である。 特殊観察モードを解除して測長モードに切り替えることを示す説明図である。 第2制御を示す説明図である。 第2制御が行われた場合に表示されるメッセージを示す画像図である。 第3制御を示す説明図である。 第3制御が行われた場合に表示されるメッセージを示す画像図である。 システム制御部の機能を示すブロック図である。 第1発光制御用テーブルを示す説明図である。 座標エリア1~5を示す説明図である。 第2発光制御用テーブルを示す説明図である。 測長モードにおける発光制御を示す説明図である。 測長モードにおける第1パターンの発光及び撮像制御を示す説明図である。 測長モードにおける第2パターンの発光及び撮像制御を示す説明図である。 信号処理部の機能を示すブロック図である。 近端Pxの場合に表示される仮想スケールを示す画像図である。 中央付近Pyの場合に表示される仮想スケールを示す画像図である。 遠端Pzの場合に表示される仮想スケールを示す画像図である。 各種形状の仮想スケールを示す説明図である。 大きさがそれぞれ異なる仮想スケールを示す説明図である。 色がそれぞれ異なる仮想スケールを示す説明図である。 歪曲同心円状の仮想スケールを示す説明図である。 代表点データを示す説明図である。 テーブル更新部の処理を示す説明図である。 平面状の計測光を照射する場合に表示される仮想スケールを示す画像図である。 2つの第1特徴線を含む平面状の光を示す説明図である。 信号処理部の機能を示す説明図である。 2つの第1特徴線を含む平面状の光を照射した場合に表示される画像を示す画像図である。 2つの第1特徴線を含む平面状の光を照射した場合における平面状の光の進行方向を示す説明図である。 回折スポットを示す説明図である。 回折スポットを用いる場合における被写体の2次元情報、3次元情報の算出方法に関する説明図である。 信号処理部の機能を示すブロック図である。 ノイズ除去済みの第1撮像画像を得るための処理を示す説明図である。 二値化第1色情報画像を示す説明図である。 二値化第2色情報画像を示す説明図である。 二値化第2色情報画像を示す説明図である。 二値化第1色情報画像を示す説明図である。 信号処理部の機能を示すブロック図である。 第1差分画像又は第2差分画像を得るための処理を示す説明図である。 第1差分処理を示す説明図である。 第2差分処理を示す説明図である。 信号処理部の機能を示すブロック図である。 白色中心領域及び周辺領域を含むスポットを示す概略図である。 撮像画像における各種画像の画素値の分布を示すグラフである。 各色のカラーフィルタの透過分布と計測光の波長域との関係性を示すグラフである。 照射領域認識部の機能を示すブロック図である。 円形から変形したスポットのパターンの例を示す説明図である。 信号処理部の機能を示すブロック図である。 凸状のポリープを示す概略図である。 スポットの高さを表す説明図である。 オフセット距離D6の算出に関する説明図である。 線の幅がそれぞれ異なる仮想スケールの概略図である。 同心円型の仮想スケールを示す概略図である。 線に対してグラデーションを付加した仮想スケールの概略図である。 破線の隙間がそれぞれ異なる仮想スケールの概略図である。 線の数がそれぞれ異なる仮想スケールの概略図である。 信号処理部の機能を示すブロック図である。 ポリープの周縁に照射されたスポットを示す画像図である。 基端をスポットの位置に合わせた仮想スケールを示す説明図である。 基端をスポットの位置に合わせた2つの仮想スケールを示す説明図である。 基端をスポットの位置に合わせた円形と線分の仮想スケールを示す説明図である。 基端をスポットの位置に合わせた仮想スケールを示す説明図である。 信号処理部の機能を示すブロック図である。 基準スケール設定部の機能を示すブロック図である。 ポリープに対して重畳表示された仮想スケールを示す画像図である。 計測値スケール生成部の機能を示すブロック図である。 注目領域を示す画像図である。 計測部分を示す説明図である。 計測値スケールに関する画像図である。 ポリープに対して重畳表示された計測値スケールを示す画像図である。 歪曲格子領域を示す説明図である。 正方格子領域を示す説明図である。 計測有効領域の範囲内と範囲外で異なる形状の仮想スケールを表示する例を示す説明図である。 計測有効領域の範囲内と範囲外で異なる線種の仮想スケールを表示する例を示す説明図である。 測長モードにおける静止画取得に関する説明図である。 第1~第3撮像画像を示す説明図である。 静止画取得時に表示される第2、3撮像画像を示す画像図である。 測長モードにおける静止画取得に関する説明図である。 測長モードにおける静止画取得に関する説明図である。 信号処理部の機能を示すブロック図である。 キャリブレーション装置の機能を示すブロック図である。 検査システムの概略図である。 テストチャートを示す平面図である。 検査画像上に表示される検査基準位置、スポット、及び仮想スケールを示す画像図である。 検査画像上に表示される検査基準位置、スポット、及び仮想スケールを示す画像図である。 5mm罫のチャート画像である。 5mm罫のチャート画像(図102よりも遠端側で撮像)である。 スポットのX方向ピクセル位置を示す説明図である。 スポットのY方向ピクセル位置を示す説明図である。 スポットのX方向ピクセル位置を示す説明図である。 スポットのY方向ピクセル位置を示す説明図である。 縞状パターン光ZPLを示す説明図である。 位相X、Y、Zの縞状パターン光ZPLの発光パターンを示す説明図である。 格子状パターンの計測光LPLを示す説明図である。 格子状パターンの計測光を間欠的に照射する発光パターンを示す説明図である。 3次元平面光TPLを示す説明図である。 3次元平面光TPLを間欠的に照射する発光パターンを示す説明図である。
 図1に示すように、内視鏡システム10は、内視鏡12と、光源装置13と、プロセッサ装置14と、ディスプレイ15と、ユーザーインターフェース16と、拡張プロセッサ装置17と、拡張ディスプレイ18とを有する。内視鏡12は、光源装置13と光学的に接続され、且つ、プロセッサ装置14と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
 また、操作部12bには、観察モードの切り替え操作に用いる観察モード切替スイッチ12fと、観察対象の静止画の取得指示に用いられる静止画取得指示スイッチ12gと、ズームレンズ21bの操作に用いられるズーム操作部12hとが設けられている。
 プロセッサ装置14は、ディスプレイ15及びユーザーインターフェース16と電気的に接続される。ディスプレイ15は、プロセッサ装置14で処理された観察対象の画像又は情報等を出力表示する。ユーザーインターフェース16は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定等の入力操作を受け付ける機能を有する。拡張プロセッサ装置17は、プロセッサ装置14に電気的に接続されている。拡張ディスプレイ18は、拡張プロセッサ装置17で処理された画像又は情報等を出力表示する。
 内視鏡12は、通常観察モードと、特殊観察モードと、測長モードとを備えており、観察モード切替スイッチ12fによって切り替えられる。通常観察モードは、照明光によって観察対象を照明するモードである。特殊観察モードは、照明光と異なる特殊光によって観察対象を照明するモードである。測長モードは、照明光又は計測光を観察対象に照明し、且つ、観察対象の撮像により得られる被写体画像上に、観察対象の大きさなどの測定に用いられる仮想スケールを表示する。仮想スケールが重畳表示されない被写体画像はディスプレイ15に表示される一方、仮想スケールが重畳表示された被写体画像は拡張ディスプレイ18に表示される。
 なお、照明光は、観察対象全体に明るさを与えて観察対象全体を観察するために用いられる光である。特殊光は、観察対象のうち特定領域を強調するために用いられる光である。計測光は、仮想スケールの表示に用いられる光である。また、本実施形態では、画像上に表示する仮想スケールについて説明を行うが、実際の管腔内に実スケールを設け、実スケールを画像を通して確認できるようにしてもよい。この場合には、実スケールは、内視鏡12の鉗子チャンネルを通して、挿入し、先端部12dから実スケールを突出させることが考えられる。
 ユーザーが静止画取得指示スイッチ12gを操作することにより、ディスプレイ15の画面がフリーズ表示し、合わせて、静止画取得を行う旨のアラート音(例えば「ピー」)を発する。そして、静止画取得指示スイッチ12gの操作タイミング前後に得られる被写体画像の静止画が、プロセッサ装置14内の静止画保存部42(図8参照)に保存される。なお、静止画保存部42はハードディスクやUSB(Universal Serial Bus)メモリなどの記憶部である。プロセッサ装置14がネットワークに接続可能である場合には、静止画保存部42に代えて又は加えて、ネットワークに接続された静止画保存サーバ(図示しない)に被写体画像の静止画を保存するようにしてもよい。
 なお、静止画取得指示スイッチ12g以外の操作機器を用いて、静止画取得指示を行うようにしてもよい。例えば、プロセッサ装置14にフットペダルを接続し、ユーザーが足でフットペダル(図示しない)を操作した場合に、静止画取得指示を行うようにしてもよい。モード切替についてのフットペダルで行うようにしてもよい。また、プロセッサ装置14に、ユーザーのジェスチャーを認識するジェスチャー認識部(図示しない)を接続し、ジェスチャー認識部が、ユーザーによって行われた特定のジェスチャーを認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、ジェスチャー認識部を用いて行うようにしてもよい。
 また、ディスプレイ15の近くに設けた視線入力部(図示しない)をプロセッサ装置14に接続し、視線入力部が、ディスプレイ15のうち所定領域内にユーザーの視線が一定時間以上入っていることを認識した場合に、静止画取得指示を行うようにしてもよい。また、プロセッサ装置14に音声認識部(図示しない)を接続し、音声認識部が、ユーザーが発した特定の音声を認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、音声認識部を用いて行うようにしてもよい。また、プロセッサ装置14に、タッチパネルなどのオペレーションパネル(図示しない)を接続し、オペレーションパネルに対してユーザーが特定の操作を行った場合に、静止画取得指示を行うようにしてもよい。モード切替についても、オペレーションパネルを用いて行うようにしてもよい。
 図2に示すように、先端部12dには、被写体からの光を受光する撮像光学系21と、被写体に対して照明光を照射するための照明光学系22と、測長モードで用いる計測光を被写体に対して放射する計測光出射部23と、処置具を被写体に向けて突出させるための開口24と、送気送水を行うための送気送水ノズル25とを備えている。
 挿入部12aには、固定部材としてのバルーン19が着脱可能に取り付けられる。バルーン19は、ディスポーザブル(使い捨て)タイプのバルーンであり、1回、あるいは少ない使用回数で廃棄され、新品に交換される。なお、ここでいう回数は、症例数のことであり、少ない使用回数とは、10回以下のことをいう。
 バルーン19は、ゴム等の弾性材によって端部が絞られた略筒状に形成されている。バルーン19は、小径の先端部19a及び基端部19bと、中央の膨出部19cとを有する。バルーン19は、内部に挿入部12aを挿通させて所定位置に配置した後、例えば、先端部19a及び基端部19bにゴム製のリング20a、20bを嵌め込むことによって、挿入部12aに固定される。
 図3に示すように、バルーン19が挿入部12aに固定される所定位置は、湾曲部12cよりも挿入部12aの基端側であり、バルーン19の先端部19aにおける先端と、湾曲部12cの基端とが一致する位置であることが好ましい。これにより、バルーン19が湾曲部12cの湾曲動作を妨げることがなく、かつ、湾曲部12cがバルーン19の膨張又は収縮を妨げることもない。バルーン19は、後述するように、バルーン制御装置BLCによって膨張又は収縮が制御される。バルーン制御装置BLCは、ユーザーインターフェース16によって操作されることが好ましい。
 図4に示すように、バルーン19が収縮した状態では、腸管26に対して挿入部12aが固定されていない状態であり、バルーンを収縮した状態のまま、計測光の照射及び撮像を行うと、先端部12dの位置が上下左右方向に動いて、ユーザーが測定したい観察対象に対して正確に計測光を照射できない場合がある。
 そこで、図5に示すように、バルーン制御装置BLCの制御により、バルーン19を膨張状態にする。膨張状態のバルーン19は、外径が腸26の内径に合わせて形成されているため、挿入部12aは、腸管26内に位置を固定した状態となる。これにより、挿入部12aが腸管26に対して固定されるため、ユーザーが測定した観察対象に対して正確に計測光を照射することができる。なお、ここでいう「固定した状態」とは、挿入部12aの挿入方向に対する位置は固定されているが、先端部12dの向きは微調整可能な状態を含んでいる。
 図6に示すように、内視鏡の先端部12dは略円形となっており、第1方向D1に沿って、撮像光学系21及び照明光学系22と、開口24及び送気送水ノズルが設けられている。撮像光学系21の両側には、第1方向と直交する第2方向に対して、2つの照明光学系22が設けられている。計測光出射部23は、第1方向に対して、撮像光学系21と送気送水ノズル25との間に設けられている。したがって、送気送水ノズル25の送気送水口は、撮像光学系21及び計測光出射部23に向けられているため、撮像光学系21及び計測光出射部23の両方を送気又は送水により洗浄することができる。
 図7に示すように、先端部12dには先端キャップ27が装着されている。先端キャップ27には、先端面28が設けられている。先端面28は、平面28aと、平面28bと、ガイド面28cとを有する。平面28aは、軸方向Zと直交する平面である。平面28bは、平面28aと平行、且つ、軸方向Zにおいて平面28aよりも先端側に位置する。ガイド面28cは、平面28aと平面28bとの間に配される。
 平面28bには、撮像光学系21の先端面21cを露呈させる貫通孔27aと、一対の照明光学系22の先端面22bを露呈させる貫通孔27bが設けられている。先端面21cと先端面22bと平面56bと同一面上に配されている。
 平面28aには、貫通孔27c、27dが配置されている。貫通孔27cから送気送水ノズル25が露呈している。すなわち、平面28aは、軸方向Zにおける送気送水ノズル25の取付位置である。送気送水ノズル25の先端側には、噴射筒部25aが形成されている。噴射筒部25aは、送気送水ノズル25の基端部から、例えば90度に曲折する方向に突出された筒状に形成されており、先端に噴射口25bを有している。噴射筒部25aは、貫通孔52cから軸方向Zの先端側に突出して配置される。
 噴射口25bは、撮像光学系21の方向に向けて配置されている。これにより、送気送水ノズル25は、撮像光学系21の先端面21c及びその周辺部に、流体である洗浄液又は気体を噴射する。
 送気送水ノズル25から撮像光学系21に洗浄水又は気体が噴射された場合、撮像光学系21に到達した位置、即ち撮像光学系21の外周縁における洗浄水の流速F1は、2m/s以上であり、撮像光学系21の外周縁における気体の流速F2は、40m/s以上であることが好ましい。なお、流速F1、F2は、先端部12dの向きに関わらず、上記の値を満たしていることが好ましく、例えば、撮像光学系21に対して鉛直下方に送気送水ノズル25が位置する場合、洗浄水又は気体の重力の影響を受けて流速が低下するが、この場合でも、上記の値を満たしていることが好ましい。
 平面28aには、貫通孔27dから露呈した計測光出射部23の先端面が配置されている。すなわち、送気送水ノズル25の取付位置と、計測光出射部23の先端面とは、軸方向Zにおける同一の位置に配置されている。計測光出射部23は、送気送水ノズル25の流体噴射範囲内、かつ撮像光学系21と送気送水ノズル25の間に配される。本実施形態では、先端面28を軸方向Zから見た場合に、送気送水ノズル25の噴射口25bと、撮像光学系21の外周縁とを繋ぐ領域内に計測光出射部23が配されている。これにより、送気送水ノズル25から撮像光学系21へ流体を噴射する際に、同時に、計測光出射部23にも流体を噴射させることができる。
 ガイド面28cは、平面28aと平面28bとの間を接続する連続面で形成されている。ガイド面28cは、計測光出射部23の外周縁と接する位置から、撮像光学系21の外周縁に接する位置まで、平坦状に形成された傾斜面である。ガイド面28cは、送気送水ノズル流体噴射範囲に配されているため、送気送水ノズル25から流体が噴射された場合、ガイド面28cにも流体が噴射される。ガイド面28cに噴射された流体が拡散して撮像光学系21に吹き付けられる。なお、この場合、送気送水ノズルの流体噴射範囲に、ガイド面28cの全てが含まれてもよいし、ガイド面28cの一部のみが含まれてもよい。本実施形態では、送気送水ノズル25の噴射口25bと、撮像光学系21の外周縁とを繋ぐ領域内にガイド面28cが全て含まれている。
 図8に示すように、光源装置13は、光源部30と、光源用プロセッサ31とを備えている。光源部30は、被写体を照明するための照明光又は特殊光を発生する。光源部30から出射された照明光又は特殊光は、ライトガイドLGに入射され、照明レンズ22aを通って被写体に照射される。光源部30としては、照明光の光源として、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源(例えば青色光を出射する青色光源)を含む複数の光源等が用いられる。また、光源部30としては、特殊光の光源として、表層血管など表層情報を強調するための青色狭帯域光を含む広帯域光を発する光源が用いられる。なお、照明光としては、紫色光、青色光、緑色光、又は赤色光の少なくともいずれかを組み合わせた白色の混色光としてもよい。この場合には、赤色光の照射範囲に比べて緑色光の照射範囲のほうが大きくなるように、照明光学系22の光学設計を行うことが好ましい。
 光源用プロセッサ31は、システム制御部41からの指示に基づいて光源部30を制御する。システム制御部41は、光源用プロセッサ31に対して、光源制御に関する指示を行う他に、計測光出射部23の光源23a(図5参照)も制御する。通常観察モードの場合には、システム制御部41は、通常観察モードの場合は、照明光を点灯し、計測光を消灯する制御を行う。特殊観察モードの場合は、特殊光を点灯し、計測光を消灯する制御を行う。測長モードの場合には、システム制御部41は、照明光又は計測光を点灯又は消灯する制御を行う。
 照明光学系22は照明レンズ22aを有しており、この照明レンズ22aを介して、ライトガイドLGからの光が観察対象に照射される。撮像光学系21は、対物レンズ21a、ズームレンズ21b、及び撮像素子32を有している。観察対象からの反射光は、対物レンズ21a及びズームレンズ21bを介して、撮像素子32に入射する。これにより、撮像素子32に観察対象の反射像が結像される。
 ズームレンズ21bは、テレ端とワイド端との間で移動することによって、ズーム機能として、被写体を拡大又は縮小する光学ズーム機能を有する。光学ズーム機能のONとOFFは、内視鏡の操作部12bに設けられたズーム操作部12h(図1参照)により切り替えることが可能であり、光学ズーム機能がONの状態で、さらにズーム操作部12hを操作することにより、特定の拡大率で被写体を拡大又は縮小する。
 撮像素子32はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像素子32は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像素子32は、R(赤)、G(緑)B(青)の3色の赤色画像、緑色画像、及び赤色画像を得るためのカラーの撮像センサである。赤色画像は、撮像素子32において赤色のカラーフィルタが設けられた赤色画素から出力される画像である。緑色画像は、撮像素子32において緑色のカラーフィルタが設けられた緑色画素から出力される画像である。青色画像は、撮像素子32において青色のカラーフィルタが設けられた青色画素から出力される画像である。撮像素子32は、撮像制御部33によって制御される。
 撮像素子32から出力される画像信号は、CDS/AGC回路34に送信される。CDS/AGC回路34は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS/AGC回路34を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)35により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、通信I/F(Interface)36を介して、光源装置13の通信I/F(Interface)37に入力される。
 プロセッサ装置14は、各種処理又は制御などに関するプログラムがプログラム格納メモリ(図示しない)に組み込まれている。画像制御用プロセッサによって構成されるシステム制御部41は、プログラム格納メモリに組み込まれたプログラムを動作することによって、光源装置13の通信I/F(Interface)37と接続される受信部38と、信号処理部39と、表示制御部40の機能が実現する。
 受信部38は、通信I/F37から伝送されてきた画像信号を受信して信号処理部39に伝達する。信号処理部39は、受信部38から受けた画像信号を一時記憶するメモリを内蔵しており、メモリに記憶された画像信号の集合である画像信号群を処理して、被写体画像を生成する。なお、受信部38は、光源用プロセッサ31に関連する制御信号については、システム制御部41に直接送るようにしてもよい。
 信号処理部39では、通常観察モードに設定されている場合には、被写体画像の青色画像はディスプレイ15のBチャンネルに、被写体画像の緑色画像はディスプレイ15のGチャンネルに、被写体画像の赤色画像はディスプレイ15のRチャンネルにそれぞれ割り当てる信号割り当て処理を行うことによって、カラーの被写体画像がディスプレイ15に表示する。測長モードについても、通常観察モードと同様の信号割り当て処理を行う。
 一方、信号処理部39では、特殊観察モードに設定されている場合には、被写体画像の赤色画像はディスプレイ15の表示には使用せず、被写体画像の青色画像をディスプレイ15のBチャンネルとGチャンネルに割り当て、被写体画像の緑色画像をディスプレイ15のRチャンネルに割り当てることによって、疑似カラーの被写体画像をディスプレイ15に表示する。また、信号処理部39では、測長モードに設定されている場合には、計測光の照射位置を含む被写体画像をデータ送受信部43に送信する。データ送受信部43は、被写体画像に関するデータを拡張プロセッサ装置17に送信する。なお、データ送受信部43は、拡張プロセッサ装置17からのデータ等の受信が可能である。受信したデータは、信号処理部39又はシステム制御部41にて処理が可能である。
 信号処理部39は、ズーム機能として、ユーザーインターフェース16によってデジタルズーム機能がONに設定されている場合には、被写体画像の一部を切り取って拡大又は縮小することによって、特定の倍率で被写体を拡大又は縮小する。図9(A)は、デジタルズーム機能がOFFの状態の被写体画像を示しており、図9(B)は、図9(A)の被写体画像のうち中心部分を切り取って拡大したデジタルズーム機能ONの被写体画像を示している。なお、デジタルズーム機能がOFFの場合には、被写体画像の切り取りによる被写体の拡大又は縮小は行われない。
 表示制御部40は、信号処理部39によって生成された被写体画像をディスプレイ15に表示する。システム制御部41は、内視鏡12、光源装置13、プロセッサ装置14、及び拡張プロセッサ装置17に対して、各種の制御を行う。内視鏡12に設けられた撮像制御部33を介して、撮像素子32の制御を行う。撮像制御部33は、撮像素子32の制御に合わせて、CDS/AGC34及びA/D35の制御も行う。
 拡張プロセッサ装置17は、プロセッサ装置14から送信されたデータをデータ送受信部44にて受信する。信号処理部45は、データ送受信部44で受信したデータに基づいて、測長モードに関連する処理を行う。具体的には、計測光の照射位置を含む被写体画像から仮想スケールのサイズを決定し、決定した仮想スケールを被写体画像に重畳表示させる処理を行う。表示制御部46は、仮想スケールが重畳表示された被写体画像を拡張ディスプレイ18に表示させる。なお、データ送受信部44は、プロセッサ装置14にデータ等を送信することが可能である。
 図10に示すように、計測光出射部23は、撮像光学系21の光軸Ax(図13参照)に対して斜めに計測光を出射する。計測光出射部23は、光源23aと、回折光学素子DOE23b(Diffractive Optical Element)と、プリズム23cと、出射部23dとを備える。光源23aは、撮像素子32の画素によって検出可能な色の光(具体的には可視光)を出射するものであり、レーザー光源LD(Laser Diode)又はLED(Light Emitting Diode)等の発光素子と、この発光素子から出射される光を集光する集光レンズとを含む。なお、光源23aはスコープエレキ基板(図示しない)に設けられている。スコープエレキ基板は、内視鏡の先端部12dに設けられており、光源装置13又はプロセッサ装置14から電力の供給を受けて、光源23aに電力を供給している。なお、光源23aは内視鏡の先端部12dに設けているが、内視鏡12とプロセッサ装置14とを接続するためのコネクタの内部に設けてもよい。この場合であっても、計測光出射部23のうち光源23aを除く部材(回折光学素子DOE23b、プリズム23c、及び出射部23d)は内視鏡の先端部12dに設けられる。
 本実施形態では、光源23aが出射する光の波長は、例えば、600nm以上650nm以下の赤色(ビーム光の色)のレーザー光を使用するが、その他の波長帯域の光、例えば、495nm以上570nm以下の緑色光を用いてもよい。光源23aはシステム制御部41によって制御され、システム制御部41からの指示に基づいて光出射を行う。DOE23bは、光源から出射した光を、計測情報を得るための計測光に変換する。なお、計測光は、人体、目、内臓保護の観点に基づいて光量が調整され、且つ、内視鏡12の観察範囲では十分に白飛び(画素飽和)する程度の光量に調整されることが好ましい。
 プリズム23cは、DOE23bで変換後の計測光の進行方向を変えるための光学部材である。プリズム23cは、対物レンズ21aを含む撮像光学系21の視野と交差するように、計測光の進行方向を変更する。計測光の進行方向の詳細についても、後述する。プリズム23cから出射した計測光Lmは、被写体へと照射される。
 図11に示すように、計測光出射部23は、内視鏡の先端部12dに設けられた計測光出射部用収納部47に収納されている。計測光出射部用収納部47は、計測光出射部23のサイズに対応する孔部を有している。計測光出射部用収納部47は、透明蓋48によって塞がれている。透明蓋48は、透明の板状を有し、一端面が平坦部48aとなっている。透明蓋48は、平坦部48aが先端部12dの先端面28と面一になるように配置されている。先端面28と面一になる透明蓋48を設けることにより、計測光の出射を遮ることがある異物などが挟まることがなくなる。
 図12に示すように、透明蓋48とプリズム23cとの間には、プリズム49が配置されている。プリズム49は、第1密着面49a、第2密着面49bを有し、第1密着面31aをプリズム23cに密着させ、第2密着面49bを透明蓋48に密着させている。プリズム49により、透明蓋48とプリズム23cとの間から気体が排除されて気密となる。このように気密にすることで、結露を防ぐことができる。すなわち、結露による計測光の減衰、拡散、収束、及び屈折などの問題が生じることを防ぐことができる。
 なお、プリズム23cの屈折率を「n1」、プリズム49の屈折率を「n2」としたときに、「n1<n2」を満たしており、プリズム23cの光出射面が光軸Ax側に傾いている例を説明したが、これと逆の構成にしてもよい。「n1>n2」とし、プリズム23cの光出射面を光軸Axと反対側に設けてもよい。ただし、この場合は、プリズム23cの光出射面にて全反射する可能性があるため、プリズム23cの光出射面に制限を設ける必要がある。
 なお、プリズム23cを光学部材で構成することに代えて、内視鏡の先端部12dに形成される計測補助用スリットとしてもよい。また、プリズム23cを光学部材で構成する場合には、出射面に反射防止コート(AR(Anti-Reflection)コート)(反射防止部)を施すことが好ましい。このように反射防止コートを設けるのは、計測光がプリズム23cの出射面を透過せずに反射して、被写体に照射される計測光の割合が低下すると、後述する照射位置検出部61が、計測光により被写体上に形成されるスポットSPの位置を認識し難くなるためである。
 なお、計測光出射部23は、計測光を撮像光学系21の視野に向けて出射できるものであればよい。例えば、光源23aが光源装置に設けられ、光源23aから出射された光が光ファイバによってDOE23bにまで導光されるものであってもよい。また、プリズム23cを用いずに、光源23a及びDOE23bの向きを、撮像光学系21の光軸Axに対して斜めに設置することで、撮像光学系21の視野を横切る方向に計測光Lmを出射させる構成としてもよい。
 図13に示すように、計測光の進行方向については、計測光の光軸Lmが撮像光学系21の光軸Axと交差する状態で、計測光を出射する。観察距離の範囲Rxにおいて観察可能であるとすると、範囲Rxの近端Px、中央付近Py、及び遠端Pzでは、各点での撮像範囲(矢印Qx、Qy、Qzで示す)における計測光Lmによって被写体上に形成されるスポットSPの位置(各矢印Qx、Qy、Qzが光軸Axと交わる点)が異なることが分かる。なお、撮像光学系21の撮影画角は2つの実線101Xで挟まれる領域内で表され、この撮影画角のうち収差の少ない中央領域(2つの点線102Xで挟まれる領域)で計測を行うようにしている。また、第3方向D3は、第1方向D1及び第2方向D2に直交する方向である(図45も同様)。
 以上のように、計測光の光軸Lmを光軸Axと交差する状態で、計測光Lmを出射することによって、観察距離の変化に対するスポット位置の移動から、被写体の大きさを計測することができる。そして、計測光が照明された被写体を撮像素子32で撮像することによって、スポットSPを含む被写体画像が得られる。被写体画像では、スポットSPの位置は、撮像光学系21の光軸Axと計測光Lmの光軸Lmとの関係、及び観察距離に応じて異なるが、観察距離が近ければ、同一の実寸サイズ(例えば5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。
 図14に示すように、システム制御部41は、測長対応内視鏡可否判断部140、計測光ON、OFF切替部141、測長画像表示設定ON、OFF切替部142、測長機能稼働状況表示ON、OFF切替部143、仮想スケール表示切替制御部144、及び切替前画像表示設定保存部149を備えている。
 測長対応内視鏡可否判断部140は、内視鏡12がプロセッサ装置14に接続された場合に、内視鏡12が測長対応内視鏡か否かを判断する。内視鏡12が測長対応内視鏡である場合には、測長モードへの切り替えが有効化される。測長対応内視鏡とは、計測光の照射及び受光が可能であり、且つ、計測光に基づく仮想スケールを表示する測長画像を拡張ディスプレイ18(ディスプレイ15であってもよい)に表示することが可能な内視鏡のことをいう。なお、測長対応内視鏡可否判断部140は、内視鏡12に設けられたスコープIDと測長対応内視鏡の有無のフラグ(例えば、測長対応内視鏡の場合を「1」と、それ以外の内視鏡の場合は「0」とする)とを関連付けたスコープIDテーブル(図示しない)を備えている。そして、測長対応内視鏡可否判断部140は、内視鏡12が接続された場合に、内視鏡スコープIDを読み出す。読み出したスコープIDが、スコープIDテーブルのフラグを参照して、測長対応内視鏡か否かを判断する。
 計測光ON,OFF切替部141は、光源23aを制御して、計測光の点灯(ON)又は消灯(OFF)を切り替える。測長画像表示設定ON、OFF切替部142は、ユーザーインターフェース16などによって、測長画像の表示設定(色調など)など測長モードにおける各種画像表示設定の実行を可能(ON)又は不可能(OFF)にする。仮想スケール表示切替制御部144は、拡張ディスプレイ18において仮想スケールを表示(ON)、非表示(OFF)、又は、表示態様変更のいずれかに切り替える。
 システム制御部41は、測長モードへの切り替えが有効化された状態において、観察モード切替スイッチ12fによる測長モードへの切り替え操作によって、測長画像表示設定ON又はOFFの切替、測長画像表示設定のON又はOFFの切替、測長機能稼働状況表示のON又はOFFの切替、仮想スケールのON、OFF、又は表示態様変更の切り替えのうち少なくともいずれかを行う。
 例えば、システム制御部41は、測長モードへの切り替え操作により、計測光をON、測長画像表示設定をON、測長機能稼働状況表示をON、及び仮想スケールの表示をONに切り替えることが好ましい。一方、測長モードから他のモード(通常観察モード、特殊観察モード)への切り替え操作により、計測光をOFF、測長画像表示設定をOFF、測長機能稼働状況表示をOFF、及び仮想スケールの表示をOFFに切り替えることが好ましい。
 図15に示すように、測長機能稼働状況表示は、拡張ディスプレイ18の付帯情報表示領域18aに、スケール表示中アイコン146で表示することが好ましい。測長モードへの切り替え操作に従って、スケール表示中アイコン146が表示され、測長モードから他のモードへの切り替え操作に従って、スケール表示中アイコン146が非表示となる。また、仮想スケール147は、拡張ディスプレイ18の観察画像表示領域18bに、表示することが好ましい。仮想スケール147の表示態様の変更は、仮想スケール表示切替制御部144によって行われる。
 仮想スケール147は、5mmの仮想スケール147a、10mmの仮想スケール147b、20mmの仮想スケール147cを備えている。仮想スケール147a、147b、147cは、円形のスケール(点線で表示)と線分のスケール(実線で表示)をそれぞれ有している。仮想スケール147aの「5」は5mmのスケールであることを、仮想スケール147bの「10」は10mmのスケールであることを、仮想スケール147cの「20」は20mmのスケールであることを、それぞれ表している。
 仮想スケールの表示態様の変更は、例えば、予め定められた複数のスケールパターンの中からの選択によって行われる。例えば、複数のスケールパターンとしては、図15に示すように、円形のスケール及び線分のスケールを有する3つの仮想スケール147a、147b、147cを組み合わせたスケールパターンの他、円形のスケール及び線分のスケールを有する2つの仮想スケール147b、147cを組み合わせたスケールパターン、仮想スケール147a、147b、147cのうち線分のみを有する3つの仮想スケールを組み合わせたスケールパターンなどがある。スケールパターンは、複数のスケールサイズ、円形のスケール及び線分スケールなど複数のスケールの形状の中から1又は複数の組み合わせで表される。
 また、測長画像表示設定をONにする場合には、測長モードへの切り替え前の画像表示設定を切替前画像表示設定保存部149に保存することが好ましい。例えば、測長モードへの切り替え前の観察モードが通常観察モードであれば、信号処理部39で設定されている通常観察モードの画像表示設定を切替前画像表示設定保存部149に保存することが好ましい。また、測長画像表示設定をOFFにする場合には、切替前画像表示設定保存部149に保存した画像表示設定に切り替えることが好ましい。例えば、切替前画像表示設定保存部149に通常観察モードの画像表示設定が保存されている場合には、信号処理部39は、通常観察モードへの切り替えに従って、切替前画像表示設定保存部149に保存されている通常観察モードの画像表示設定に設定する。
 一方、システム制御部41は、測長モードへの切り替え操作において、モード切替時条件を満たしていない場合には、計測光をON、測長画像表示設定をON、測長機能稼働状況表示をON、及び仮想スケールの表示をONに切り替えることを禁止する。モード切替時条件は、内視鏡12、光源装置13、プロセッサ装置14、及び拡張プロセッサ装置17に関する設定条件で測長モードの実行に適した条件である。モード切替時条件は、下記の禁止設定条件に該当しない条件であることが好ましい。なお、モード切替時条件を満たしていない場合には、スケール表示中アイコン146を表示することを禁止する代わりに、仮想スケール147が拡張ディスプレイ18で表示中でないことを示す測長機能稼働状況不可表示を表示(ON)にすることが好ましい。測長機能稼働状況不可表示は、付帯情報表示領域18aに、スケール非表示中アイコン148で表示することが好ましい。
 図16に示すように、システム制御部41には、測長モードの実行の可否等に関する制御を行う測長モード制御部50が設けられている。測長モード制御部50は、観察モード切替スイッチ12fによって測長モードへの切り替え操作が行われた場合において、内視鏡12、光源装置13、及び、プロセッサ装置14に関する現在設定中の設定条件が、予め定められた禁止設定条件に該当する場合には、測長モードへの切り替えを禁止する第1制御、測長モード中において、ユーザーインターフェース16によって設定条件の設定変更操作が行われた場合において、設定変更操作によって変更しようとする設定条件が禁止設定条件に該当する場合には、設定変更操作を無効化する第2制御、又は、測長モード中において、ユーザーインターフェース16によって設定条件の設定変更操作が行われた場合において、設定変更操作によって変更しようとする設定条件が禁止設定条件に該当する場合には、測長モードから他のモードへ自動的に切り替える第3制御の少なくともいずれかを行う。
 光源装置13に関する設定条件としては、通常観察モード又は測長モードにて用いる照明光の照明条件、特殊観察モードにて用いる特殊光の照明条件、又は、測長モードに用いる計測光の照明条件が含まれる。照明条件には、例えば、照明光量などが含まれる。内視鏡12に関する設定条件としては、被写体の撮像に関する撮像条件が含まれる。撮像条件としては、例えば、シャッタースピードなどが含まれる。プロセッサ装置14に関する設定条件としては、被写体画像に関する画像処理などの処理条件が含まれる。処理条件には、例えば、カラーバランス、明るさ補正、各種強調処理などが含まれる。なお、測長モードにおいては、スポット光SPの位置検出を最適化し、ユーザーの寸法測定時の視認性を満たす設定条件(照明光量、シャッタースピード、カラーバランス、明るさ補正、各種強調処理)に設定することが好ましい。
 禁止設定条件には、測長モードにおいて被写体画像から計測光の照射位置の検出を妨げる第1禁止設定条件と、測長画像において観察距離に対応した仮想スケールを正確に表示することを妨げる第2禁止設定条件が含まれる。第1禁止設定条件としては、例えば、特殊観察モード、被写体画像に対する明るさ強調又は赤色強調などが含まれる。特殊観察モードでは、測長モードでスポットSP等の検出に用いられる赤色画像は、画像表示に用いられないため、計測光の照射位置の検出が困難である。なお、測長モードでは、通常観察モード又は特殊観察モードと比較して、被写体画像における明るさを低くし、また、赤味を抑えることが好ましい。
 また、第2禁止設定条件としては、例えば、光学ズーム機能又はデジタルズーム機能などのズーム機能の使用(ON)が含まれる。これは、計測用画像で表示する仮想スケールは、スポットSPの位置に応じて定められ、ズーム機能の倍率に応じては定められていないことから、ズーム機能がONの場合、仮想スケールが観察距離に対応して表示することが難しいためである。
 例えば、特殊観察モードに設定されている状態において、観察モード切替スイッチ12fにより測長モードへの切り替え操作が行われた場合には、図17に示すように、測長モード制御部50は、測長モードへの切り替えを禁止して、特殊観察モードの状態を維持する第1制御を行う。第1制御が行われた場合には、測長モード制御部50は、図18に示すように、測長モードへの切り替えが禁止されたことを報知するメッセージを拡張ディスプレイ18に表示する(警告音を発してもよい)。なお、測長モード制御部50は、測長モードへの切り替えを禁止することに代えて、図19に示すように、特殊観察モードを解除して、測長モードに切り替える制御を行ってもよい。
 また、測長モード中において、ズーム操作部12hによる操作によりズーム機能をONにする設定変更操作が行われた場合には、図20に示すように、測長モード制御部50は、ズーム機能をONにする設定変更操作を無効化する第2制御を行う。第2制御が行われた場合には、測長モード制御部50は、図21に示すように、ズーム機能をONにする設定変更操作が無効化されたことを報知するメッセージを拡張ディスプレイ18に表示する(警告音を発してもよい)。
 また、測長モード中において、ズーム操作部12hによる操作によりズーム機能をONにする設定変更操作が行われた場合には、図22に示すように、測長モード制御部50は、測長モードを解除して、他のモードとして、通常観察モードに切り替える第3制御を行う。第3制御が行われた場合には、測長モード制御部50は、図23に示すように、測長モードが解除(仮想スケールの非表示化)されて通常観察モードに切り替えられたことを報知するメッセージを拡張ディスプレイ18に表示する(警告音を発してもよい)。なお、第3制御が行われた場合は、ズーム機能をONにする設定変更操作を有効化して、ズーム機能により被写体画像上での被写体を拡大又は縮小する。
 図24に示すように、システム制御部41には、明るさ情報算出部53、照明光光量レベル設定部54、第1発光制御用テーブル55、及び第2発光制御用テーブル56を設けてもよい。明るさ情報算出部53は、通常観察モードで得られる画像又は測長モードで得られる第1撮像画像(照明光及び計測光に基づく画像)に基づいて、被写体の明るさに関する明るさ情報を算出する。照明光光量レベル設定部54は、明るさ情報に基づいて、照明光の光量レベルを設定する。照明光の光量レベルとしては、Level1、Level2、Level3、Level4、Level5の5段階とする。照明光の光量レベルに関する情報は、光源用プロセッサ31に送られる。光源用プロセッサ31は、照明光の光量レベルに照明光の光量がなるように、光源部30を制御する。
 第1発光制御用テーブル55は計測光の光量制御に用いられ、スポットSPの座標情報と計測光の光量レベルとの第1関係を記憶している。具体的には、図25に示すように、スポットSPの座標情報が属する5つの座標エリアに対して、計測光の光量レベルLevel1、Level2、Level3、Level4、Level5がそれぞれ定められている。システム制御部41は、第1発光制御用テーブル55を参照して、スポットSPの位置が属する座標エリアに対応する光量レベルを特定する。システム制御部41は、光源23aを制御して、特定した光量レベルになるように、計測光の光量を制御する。なお、計測光の光量制御を、第1発光制御用テーブル55と第2発光制御用テーブル56のいずれを用いて行うかは、ユーザーインターフェース16を操作して適宜設定される。
 図26に示すように、座標エリア1は、第1撮像画像において一番下方に設定されたエリアであり、座標エリア1にスポットSPが属している場合には観察距離が一番近い位置にある。したがって、座標エリア1に対しては、計測光の効用レベルとして一番小さいLevel1が割り当てられている。また、座標エリア2は、座標エリア1よりも上方に設定されたエリアであり、座標エリア2にスポットSPが属している場合には、観察距離が座標エリア1の場合よりも遠い位置にあるため、計測光の光量レベルとしてLevel1よりも大きいLevel2が割り当てられている。なお、スポットSPの移動方向は、撮像光学系21の光軸Axと計測光の光軸Lmの交差方向に従って変化する。
 同様にして、座標エリア3については座標エリア2よりも上方に設けられている。座標エリア3にスポットSPが属している場合には、観察距離が座標エリア2の場合よりも遠い位置にあるため、計測光の光量レベルとしてLevel2よりも大きいLevel3が割り当てられている。また、座標エリア4については座標エリア3よりも上方に設けられている。座標エリア4にスポットSPが属している場合には、観察距離が座標エリア3の場合よりも遠い位置にあるため、計測光の光量レベルとしてLevel3よりも大きいLevel4が割り当てられている。また、座標エリア5は一番上方に設定されたエリアである。座標エリア5にスポットSPが属している場合には、観察距離が他の座標エリア1~4の場合よりの一番遠い位置にあるため、計測光の光量レベルとして最も高いLevel5が割り当てられている。
 第2発光制御用テーブル56は計測光の光量制御に用いられ、スポットSPの座標情報及び照明光の光量レベルと計測光の光量レベルとの第2関係を記憶している。具体的には、図27に示すように、スポットSPの座標情報が属する5つの座標エリア及び照明光の光量レベルLevel1、Level2、Level3、Level4、Level5に対して、計測光の光量レベルがそれぞれ定められている。例えば、スポットSPが座標エリア1に属し、且つ、照明光の光量レベルがLevel3である場合には、計測光の光量レベルとしてLevel3が割り当てられる。
 システム制御部41は、第2発光制御用テーブル56を参照して、スポットSPの位置が属する座標エリアと、照明光の光量レベルとから、計測光の光量レベルを特定する。システム制御部41は、光源23aを制御して、特定した光量レベルとなるように、計測光の光量を制御する。
 第2発光制御用テーブル56においては、照明光の光量レベルと計測光の光量レベルとは、スポットSPの位置を特定可能にするための比率に設定されている。これは、照明光の光量と計測光の光量との比率が適切でないと、スポットSPのコントラストが低くなって、スポットSPの位置を特定することが難しくなるためである。
 測長モードでは、光源用プロセッサ31は、観察対象の全体的な照明に用いる照明光は連続発光する一方、計測光Lmはパルス発光する。したがって、測長モードにおいて光を発光するフレームとしては、図28に示すように、計測光を発光せず、照明光を単独で発光する照明光単独発光フレームFLxと、照明光と計測光を発光する計測光発光フレームFLyとが含まれる。そして、測長モードでは、計測光発光フレームFLyに得られた第1撮像画像からスポットSPの位置を検出する一方、照明光単独発光フレームFLxに得られた第2撮像画像に対して、仮想スケールの表示を行う。なお、図28の照明光又は計測光に対応する部分に示された実線は、あるフレームにおける発光状態を表している。実線が「on」に対応する部分にある期間は、照明光又は計測光を発光する期間を示しており、実線が「off」に対応する部分にある期間は、明光又は計測光を発光しない期間を示している。
 測長モードにおける発光及び撮像のパターンについては、以下の通りである。第1パターンとしては、撮像素子32として、各画素において同一のタイミングで露光及び電荷の読み出しを行って画像信号を出力するCCD(グローバルシャッター方式の撮像素子)を用いる場合である。また、第1パターンでは、計測光を、特定のフレーム間隔として、2フレーム間隔毎に発光を行う。
 第1パターンでは、図29に示すように、通常観察モード時のタイミングT1における照明光の露光に基づき、通常観察モードと測長モードの切り替え時(タイミングT1からタイミングT2への切替時)に、電荷の一斉読出しが行われること(グローバルシャッター)により、照明光の成分のみを有する第2撮像画像Nが得られる。この第2撮像画像Nは、タイミングT2において拡張ディスプレイ18に表示される。なお、図29の「CCD(フレーム期間)グローバルシャッター」については、タイミングT1からタイミングT2の切替時において、縦方向に立ち上がっている立ち上がり線57が、グローバルシャッターが行われたことを表している。これは、他の立ち上がり線57についても同様である。
 また、タイミングT2においては、照明光及び計測光が発光される。このタイミングT2における照明光及び計測光の露光に基づき、タイミングT2からタイミングT3への切替時に、電荷の一斉読出しが行われることにより、照明光及び計測光の成分が含まれる第1撮像画像N+Lmが得られる。この第1撮像画像N+Lmに基づいて、スポットSPの位置検出が行われる。スポットSPの位置に対応する仮想スケールを、タイミングT2のときに表示した第2撮像画像Nに対して表示する。これにより、タイミングT3において、タイミングT2の第2撮像画像Nに対して、仮想スケールを表示した測長画像Sが表示される。
 なお、タイミングT2(第1タイミング)の第2撮像画像Nは、タイミングT2だけでなく、タイミングT3においても、拡張ディスプレイ18に表示されることになる。即ち、タイミングT2の第2撮像画像は、次の第2撮像画像が得られるタイミングT4(第2タイミング)まで、2フレーム連続して表示されることになる(タイミングT2、T3では同じ被写体像が表示される)。なお、タイミングT3においては、第1撮像画像N+Lmは拡張ディスプレイ18に表示されない。ここで、通常観察モードでは、第2撮像画像Nを1フレーム毎に変えて表示しているのに対して、測長モードの第1パターンでは、上記のように、同一の第2撮像画像N2を連続して2フレーム分表示することで、測長モードの第1パターンのフレームレートは通常観察モードの実質1/2となる。
 タイミングT4以降についても、同様にして、行われる。即ち、タイミングT4、T5においては、測長画像Sに対して、タイミングT4の第2撮像画像が連続して表示され、タイミングT6、T7においては、測長画像Sに対して、タイミングT6の第2撮像画像Nが連続して表示される。これに対して、タイミングT4、T5、T6、T7においては、第1撮像画像N+Lmは拡張ディスプレイ18に表示されない。このように、測長画像Sの表示に、計測光の成分が含まれない第2撮像画像Nを表示されることで、フレームレートは多少低下するものの、計測光の発光によって生じる可能性がある観察対象の視認性を妨げることが無くなる。
 第2パターンとしては、撮像素子32として、照明光又は計測光にて照明された観察対象を撮像するための複数のラインを有し、ラインごとに異なる露光タイミングで露光を行い、ライン毎に異なる読出タイミングで電荷を読み出して画像信号を出力するCMOS(ローリングシャッター方式の撮像素子)を用いる場合である。また、第2パターンでは、計測光を、特定のフレーム間隔として、3フレーム間隔毎に発光を行う。
 第2パターンでは、図30に示すように、タイミングT1において照明光の露光及び電荷の読出しをライン毎に行い、通常観察モードから測長モードへの切替時(タイミングT1からタイミングT2への切替時)にて電荷の読出しを完了すること(ローリングシャッター)により、照明光の成分のみを有する第2撮像画像Nが得られる。この第2撮像画像Nは、タイミングT2において拡張ディスプレイ18に表示される。なお、図30の「CMOS(フレーム期間)ローリングシャッター」については、斜め線58が光の露光と電荷の読出しタイミングを表しており、ラインLsで露光及び電荷の読出しを開始し、ラインLtで露光及び電荷の読み出しを完了することを表している。
  また、タイミングT2においては、照明光及び計測光が発光される。タイミングT1からタイミングT2における照明光の照明、及びタイミングT2における計測光の照明に基づいて、ローリングシャッターを行うことにより、タイミングT2からタイミングT3に切り替わるタイミングにおいて、照明光及び計測光の成分が含まれる第1撮像画像N+Lmが得られる。また、タイミングT3からタイミングT4に切り替わるタイミングにおいても、照明光及び計測光の成分が含まれる第1撮像画像N+Lmが得られる。以上の第1撮像画像N+Lmに基づいて、スポットSPの位置検出が行われる。た、タイミングT3、T4においては、計測光の発光は行われない。
 スポットSPの位置に対応する仮想スケールを、タイミングT2のときに表示した第2撮像画像Nに対して表示する。これにより、タイミングT3、T4において、タイミングT2の第2撮像画像Nに対して、仮想スケールが表示された測長画像Sが表示される。なお、タイミングT2(第1タイミング)の第2撮像画像Nは、タイミングT2だけでなく、タイミングT3、T4においても、拡張ディスプレイ18に表示されることになる。即ち、タイミングT2の第2撮像画像は、次の第2撮像画像が得られるタイミングT5(第2タイミング)まで、3フレーム連続して表示されることになる(タイミングT2、T3、T4では同じ被写体像が表示される)。これに対して、タイミングT3、T4においては、第1撮像画像N+Lmは拡張ディスプレイ18に表示されない。なお、測長モードの第2パターンでは、同一の第2撮像画像N2を連続して3フレーム分表示することで、測長モードの第1パターンのフレームレートは通常観察モードの実質1/3となる。
 タイミングT5以降についても、同様にして、行われる。タイミングT5、T6、T7においては、測長画像Sに対して、タイミングT5の第2撮像画像が表示される。これに対して、タイミングT5、T6、T7においては、第1撮像画像N+Lmは拡張ディスプレイ18に表示されない。このように、測長画像Sの表示に、計測光の成分が含まれない第2撮像画像を表示することで、フレームレートは低下するものの、平面状の計測光の発光によって生じる可能性がある観察対象の視認性を妨げることが無くなる。
 図31に示すように、拡張プロセッサ装置17の信号処理部45は、スポットSPの位置認識、及び仮想スケールの設定を行うために、撮像画像におけるスポットSPの位置を検出する第1信号処理部59と、スポットSPの位置に応じて仮想スケールを設定する第2信号処理部60とを備えている。なお、撮像画像には、照明光及び計測光を常時点灯する場合に得られる撮像画像の他、照明光を常時点灯する一方、計測光を点灯又は消灯する場合において、照明光及び計測光の両方の点灯時に得られる第1撮像画像が含まれる。
 第1信号処理部59は、撮像画像からスポットSPの照射位置を検出する照射位置検出部61を備えている。照射位置検出部61では、スポットSPの照射位置として、スポットSPの重心位置座標を取得することが好ましい。
 第2信号処理部60は、スポットSPの照射位置に基づいて、被写体のサイズを計測するための仮想スケールとして、第1の仮想スケールを設定し、第1の仮想スケールのスケール表示位置を設定する。第2信号処理部60は、スポットSPの照射位置及びマーカ表示位置によって表示態様が異なる仮想スケール画像と、スポットの照射位置とのを関連付けて記憶するスケール用テーブル62を参照して、スポットSPの照射位置に対応する仮想スケールを設定する。仮想スケールは、スポットSPの照射位置及びマーカ表示位置によって、例えば、大きさ、又は、形状が異なっている。仮想スケール画像の表示に関しては、後述する。また、スケール用テーブル62については、拡張プロセッサ装置17の電源をOFFにした場合であっても、保存内容が維持される。なお、スケール用テーブル62は、仮想スケール画像と照射位置とを関連付けて記憶するが、照射位置に対応する被写体との距離(内視鏡12の先端部12dと被写体との距離)と仮想スケール画像とを関連付けて記憶してもよい。
 なお、仮想スケールの画像については、照射位置毎に必要になり、データ容量が大きくなることから、内視鏡12における保存可能なメモリの容量、起動、及び処理時間などの観点を考慮し、内視鏡12内のメモリ(図示しない)に保持するよりも、拡張プロセッサ装置17(又はプロセッサ装置14)内に保持したほうが好ましい。また、仮想スケールの画像は、後述するように、キャリブレーションによって得られた仮想スケール画像の代表点から作成しているが、測長モード時に代表点から仮想スケール画像を作成すると、ロスタイムが発生し、処理のリアルタイム性が損なわれる。そのため、内視鏡12を内視鏡接続部に接続し、一度、代表点から仮想スケール画像を作成してスケール用テーブル62を更新した後は、代表点から仮想スケールを作成するのではなく、更新後のスケール用テーブル62を用いて、仮想スケール画像の表示を行うようにする。また、第2信号処理部60においては、画像の重畳表示などが困難になる非常時には、測長画像に重畳表示する仮想スケール画像の代わりに、スポットSPの照射位置と被写体の実寸サイズに対応するピクセル数との関係から、マーカの大きさを定める基準マーカが、測長画像に表示される。
 また、第2信号処理部60は、内視鏡10を内視鏡接続部に接続した場合には、スケール用テーブル62を更新するためのテーブル更新部64を備えている。このようにスケール用テーブル62を更新できるようにしているのは、内視鏡12は、機種及びシリアル番号によって、計測光の光軸Lmと撮像光学系21との位置関係が異なり、それに従って、仮想スケール画像の表示態様も変わってくるためである。テーブル更新部64では、仮想スケール画像から抽出された代表点に関する代表点データと、照射位置とを関連付けて記憶する代表点データテーブル66が用いられる。テーブル更新部64及び代表点データテーブル66の詳細については、後述する。なお、代表点データテーブル66については、照射位置に対応する被写体との距離(内視鏡12の先端部12dと被写体との距離)と代表点データとを関連付けて記憶してもよい。
 表示制御部46は、仮想スケールを撮像画像に重畳した測長画像を拡張ディスプレイ18に表示する場合において、仮想スケールを、スポットSPの照射位置及びマーカ表示位置に応じて表示態様が異なる制御を行う。具体的には、表示制御部46は、スポットSPを中心として、第1の仮想スケールを重畳した測長画像を拡張ディスプレイ18に表示する。第1の仮想スケールとしては、例えば、円型の計測マーカを用いる。この場合、図32に示すように、観察距離が近端Px(図13参照)に近い場合には、被写体の腫瘍tm1上に形成されたスポットSP1の中心に合わせて、実寸サイズ5mm(撮像画像の水平方向及び垂直方向)を示す仮想スケールM1が表示される。
 仮想スケールM1のマーカ表示位置は、撮像光学系21による歪みの影響を受ける撮像画像の周辺部に位置しているため、仮想スケールM1は、歪み等の影響に合わせて、楕円状となっている。以上のマーカM1は腫瘍tm1の範囲とはほぼ一致しているため、腫瘍tm1は5mm程度と計測することができる。なお、撮像画像に対しては、スポットを表示せず、第1の仮想スケールのみを表示するようにしてもよい。
 また、図33に示すように、観察距離が中央付近Pyに近い場合、被写体の腫瘍tm2上に形成されたスポットSP2の中心に合わせて、実寸サイズ5mm(撮像画像の水平方向及び垂直方向)を示す仮想スケールM2が表示される。仮想スケールM2のマーカ表示位置は、撮像光学系21によって歪みの影響を受けにくい撮像画像の中心部に位置しているため、仮想スケールM2は、歪み等の影響を受けることなく、円状となっている。
 また、図34に示すように、被写体の腫瘍tm3上に形成されたスポットSP3の中心に合わせて、実寸サイズ5mm(撮像画像の水平方向及び垂直方向)を示す仮想スケールM3が表示される。仮想スケールM3のマーカ表示位置は、撮像光学系21による歪みの影響を受ける撮像画像の周辺部に位置しているため、仮想スケールM3は、歪み等の影響に合わせて、楕円状となっている。以上の図32~図34に示すように、観察距離が長くなるにつれて同一の実寸サイズ5mmに対応する第1の仮想スケールの大きさが小さくなっている。また、マーカ表示位置によって、撮像光学系21による歪みの影響に合わせて、第1の仮想スケールの形状も異なっている。
 なお、図32~図34では、スポットSPの中心とマーカの中心を一致させて表示しているが、計測精度上問題にならない場合には、スポットSPから離れた位置に第1の仮想スケールを表示してもよい。ただし、この場合にもスポットの近傍に第1の仮想スケールを表示することが好ましい。また、第1の仮想スケールを変形して表示するのではなく、撮像画像の歪曲収差を補正し変形させない状態の第1の仮想スケールを補正後の撮像画像に表示するようにしてもよい。
 また、図32~図34では、被写体の実寸サイズ5mmに対応する第1の仮想スケールを表示しているが、被写体の実寸サイズは観察対象や観察目的に応じて任意の値(例えば、2mm、3mm、10mm等)を設定してもよい。また、図32~図34では、第1の仮想スケールを、略円型としているが、図35に示すように、縦線と横線が交差する十字型としてもよい。また、十字型の縦線と横線の少なくとも一方に、目盛りMxを付けた目盛り付き十字型としてもよい。また、第1の仮想スケールとして、縦線、横線のうち少なくともいずれかを傾けた歪曲十字型としてもよい。また、第1の仮想スケールを、十字型と円を組み合わせた円及び十字型としてもよい。その他、第1の仮想スケールを、スポットから実寸サイズに対応する複数の測定点EPを組み合わせた計測用点群型としてもよい。また、第1の仮想スケールの数は一つでも複数でもよいし、実寸サイズに応じて第1の仮想スケールの色を変化させてもよい。
 なお、第1の仮想スケールとして、図36に示すように、大きさが異なる3つの同心円状の仮想スケールM4A、M4B、M4C(大きさはそれぞれ直径が2mm、5mm、10mm)を、腫瘍tm4上に形成されたスポットSP4を中心として、撮像画像上に表示するようにしてもよい。この3つの同心円状の仮想スケールは、仮想スケールを複数表示するので切替の手間が省け、また、被写体が非線形な形状をしている場合でも計測が可能である。なお、スポットを中心として同心円状の仮想スケールを複数表示する場合には、大きさや色を仮想スケール毎に指定するのではなく、複数の条件の組合せを予め用意しておきその組み合わせの中から選択できるようにしてもよい。
 図36では、3つの同心円状の仮想スケールを全て同じ色(黒)で表示しているが、複数の同心円状のマーカを表示する場合、仮想スケールによって色を変えた複数の色付き同心円状のマーカとしてもよい。図37に示すように、仮想スケールM5Aは赤色を表す点線、仮想スケールM5Bは青色を表す実線、仮想スケールM5Cは白を表す一点鎖線で表示している。このように仮想スケールの色を変えることで識別性が向上し、容易に計測を行うことができる。
 また、第1の仮想スケールとしては、複数の同心円状の仮想スケールの他、図38に示すように、各同心円を歪曲させた複数の歪曲同心円状の仮想スケールを用いてもよい。この場合、歪曲同心円状の仮想スケールM6A、仮想スケールM6B、仮想スケールM6Cが、腫瘍tm5に形成されたスポットSP5を中心に撮像画像に表示されている。
 テーブル更新部64は、内視鏡12が内視鏡接続部に接続された場合において、代表点データテーブル66を参照して、内視鏡12の機種及び/又はシリアル番号に対応する仮想スケール画像を作成し、スケール用テーブル62を更新する。
 代表点データテーブル66は、キャリブレーション時に得られた仮想スケール画像の代表点に関する代表点データと、スポットSPの照射位置とを関連付けて記憶している。代表点データテーブル66は、後述のキャリブレーション方法によって作成される。図39に示すように、代表点データとしては、仮想スケール画像のである円型の仮想スケールの画像Mのうち、いくつかの点を抽出した代表点RPの座標情報(X座標、Y座標)が含まれている。代表点データテーブル66に記憶されている代表点データは、計測光の光軸Lmと撮像光学系21との位置関係がデフォルトの位置関係である場合のデータである。
 テーブル更新部64は、内視鏡12が内視鏡接続部に接続された場合に、計測光の光軸Lmと撮像光学系21との位置関係に関する情報を取得し、前記位置関係と代表点データテーブル66を用いて、スケール用テーブル62を更新する。具体的には、内視鏡接続部に接続された内視鏡12における計測補助光の光軸Lmと撮像光学系29bとの位置関係とデフォルトの位置関係との違いから、代表点RPの座標情報の差分値を算出する。そして、テーブル更新部64は、図40に示すように、デフォルトの代表点RPを、算出した差分値だけ座標をシフトさせた代表点RPに基づいて、仮想スケール画像Mを作成する。仮想スケール画像の作成は、代表点RP間をつなぎ合わせる補間処理を行うことが好ましい。作成された補間処理後の仮想スケール画像は、テーブル更新部64によって照射位置と関連付けされる。これにより、スケール用テーブル62の更新が完了する。なお、図40においては、代表点RP、RPの一部のみに符号を付している。
 なお、計測光については、被写体に照射された場合に、スポットとして形成される光を用いているが、その他の光を用いるようにしてもよい。例えば、被写体に照射された場合に、図41に示すように、被写体上に交差ライン67として形成される平面状の計測光を用いるようにしてもよい。この場合には、仮想スケールとして、交差ライン67及び交差ライン67上に被写体の大きさ(例えば、ポリープP)の指標となる目盛り68からなる第2の仮想スケールを生成する。平面状の計測光を用いる場合には、照射位置検出部61は、交差ライン67の位置(計測光の照射位置)を検出する。交差ライン67が下方に位置する程、観察距離が近く、交差ライン67が上方に位置する程、観察距離が遠くなる。そのため、交差ライン67が下方に位置する程、目盛り68の間隔は大きくなり、交差ライン67が上方に位置する程、目盛り68の間隔は小さくなる。
 また、計測光については、図42に示すように、少なくとも2つの第1特徴線CLを含む平面状の光で構成してもよい。計測光が被写体に照射されると、被写体上の起伏に合わせて交差曲線CCが形成され、且つ、交差曲線CC上において2つの第1特徴線CL1に対応する位置にそれぞれ第1スポットSPk1が形成される。また、計測光には、2つの第1特徴線CL1の間に、第1特徴線CL1と異なる複数の第2特徴線CL2が含まれる。第1特徴線CL1及び第2特徴線CL2を含む計測光が被写体に照射されると、複数の第2特徴線CL2に対応する位置にそれぞれ第2スポットSPk2が形成される。第2スポットSPk2は、第1スポットSPk1よりも小さく、また、第2スポットSPk2の間隔は小さい。そのため、複数の第2スポットSPk2によって、交差曲線上に特定交差曲線SCCが形成される。特定交差曲線SCCの位置に基づいて、計測情報が算出される。
 図43に示すように、拡張プロセッサ装置17の信号処理部45は、第1スポットSPk1又は第2スポットSPk2の位置認識、及び計測情報の算出を行うために、位置特定部69と、計測情報処理部70とを有している。位置特定部69は、撮像画像から、第1スポットSPk1又は第2スポットSPk2の位置を特定する。位置の特定方法としては、例えば、撮像画像を二値化し、二値化画像のうち白部分(信号強度が二値化用閾値よりも高い画素)の重心を、第1スポットSPk1又は第2スポットSPk2の位置として特定する。
 計測情報処理部70は、第1スポットSPk1又は第2スポットSPk2の位置から、計測情報を算出する。算出された計測情報は、表示制御部46によって、撮像画像上に表示される。計測情報について2つの第1スポットSPk1の位置に基づいて算出する場合、被写体が3次元形状を有している状況下においても、正確に計測情報を算出することができる。
 計測情報には、図44に示すように、2つの第1スポットSPk1、第2スポットSPk2間の直線距離を示す第1直線距離が含まれる。計測情報処理部70は、以下の方法で、第1直線距離を算出する。計測情報処理部70では、図45に示すように、第1スポットSPk1の位置に基づいて、第1スポットSPk1における実寸サイズを示す座標(xp1、yp1、zp1)を求める。xp1、xp2は、それぞれ撮像画像における第1スポットSPk1の位置の座標から、実寸サイズに対応する座標を得る。zp1は、第1スポットSPk1の位置の座標と、予め定められた特定スポットSPkの位置の座標から、実寸サイズに対応する座標を得る。同様にして、第2スポットSPk2の位置に基づいて、第2スポットSPk2における実寸サイズを示す座標(xp2、yp2、zp2)を求める。また、xp2、yp2は、それぞれ撮像画像における第2スポットSPk2の位置の座標から、実寸サイズに対応する座標を得る。zp2は、第2スポットSPk2の位置の座標と、予め定められた特定スポットSPkの位置の座標から、実寸サイズに対応する座標を得る。そして、下記式)により、第1直線距離を算出する。
式)第1直線距離=
((xp2-xp1)+(yp2-yp1)+(zp2-zp1)0.5
算出された第1直線距離は、撮像画像上に、計測情報71(図44では「20mm」)として表示される。なお、特定スポットSPkは拡張ディスプレイ18に表示してもよく、表示しなくてもよい。
 また、計測光については、縦方向と横方向に所定の間隔で格子状に配列された複数のスポット光を用いてもよい。格子状配列のスポット光で被写体内の腫瘍tmなどを撮像することにより、図46に示すように、回折スポットDS1の画像を取得する。拡張プロセッサ装置17の信号処理部45は、回折スポットDS1の間隔DTを測定する。間隔DTは、撮像素子32の結像面の画素数に対応している。なお、複数の回折スポットDS1のうち特定部分における間隔(例えば、結像面の中心付近における間隔)を測定するようにしてもよい。
 回折スポットDS1の間隔が測定されると、測定結果に基づき、被写体までの方向及び距離が算出される。この処理は、回折スポットDS1の間隔(画素数)と被写体までの距離との関係が用いられる。具体的には、図47に示すように、測定対象の回折スポットDS1の方向(α、β)と距離(r)が算出される。被写体までの方向及び距離が算出されると、算出した方向及び距離に基づいて被写体の2次元情報または3次元情報を算出する。被写体の2次元情報、3次元情報としては、被写体の2次元空間(図47のXY平面)内、あるいは3次元空間(図47のXYZ空間)内での形状や大きさ、面積等を算出することができる。なお、(α、β、r)から(X、Y、Z)への変換は以下の式A)、式B)、式C)により行うことができ、被写体の各点の(X、Y、Z)座標から形状や大きさ、面積等を算出することができる。
式A)X=r×cosα×cosβ
式B)Y=r×cosα×sinβ
式C)Z=r×sinα
 図48に示すように、拡張プロセッサ装置17の信号処理部45は、スポットの位置認識、及び、仮想スケールの設定を行うために、第1撮像画像(計測光及び照明光に基づく画像)におけるスポットSの位置を特定する位置特定部72と、スポットSPの位置に基づいて、第1撮像画像又は第2撮像画像(照明光に基づく画像)を加工して測長画像を生成する画像加工部73とを備えている。
 位置特定部72は、スポットSPの位置の特定の妨げになるノイズ成分を除去するノイズ成分除去部74を有している。第1撮像画像中において、スポットSPを形成する計測光の色とは異なるものの、計測光の色に近い色(計測光近似色)が含まれている場合には、スポットSPの位置を正確に特定できないことがある。そこで、ノイズ成分除去部74は、計測光近似色の成分をノイズ成分として第1撮像画像から除去する。位置特定部72は、ノイズ成分が除去されたノイズ除去済みの第1撮像画像に基づいて、スポットSPの位置を特定する。
 ノイズ成分除去部74は、色情報変換部75と、二値化処理部76と、マスク画像生成部77と、除去部78を備えている。ノイズ除去済みの第1撮像画像を得るための処理の流れについて、図49を用いて説明する。色情報変換部75は、RGB画像である第1撮像画像を第1色情報画像に変換し、RGB画像である第2撮像画像を第2色情報画像に変換する。色情報としては、例えば、HSV(H(Hue(色相))、S(Saturation(彩度))、V(Value(明度)))とすることが好ましい。その他、色情報として、色差Cr、Cbとしてもよい。
 二値化処理部76は、第1色情報画像を二値化して二値化第1色情報画像にし、第2色情報画像を二値化して二値化第2色情報画像にする。二値化するための閾値は、計測補助光の色を含む二値化用閾値とする。図50、図51に示すように、二値化第1色情報画像には、計測光の色情報79の他に、ノイズ成分の色情報80が含まれる。二値化第1色情報画像には、ノイズ成分の色情報80が含まれる。
 マスク画像生成部77は、二値化第1色情報画像と二値化第2色情報画像とに基づいて、第1撮像画像から、ノイズ成分の色情報を除去し、また、計測光の色情報を抽出するためのマスク画像を生成する。マスク画像生成部77は、図52に示すように、二値化第2撮像画像に含まれるノイズ成分から、ノイズ成分を有するノイズ成分の領域81を特定する。ノイズ成分の領域81は、ノイズ成分の色情報80が占める領域よりも大きくすることが好ましい。これは、手ぶれ等が生ずる場合には、ノイズ成分の色情報80の領域は、手ぶれ等が無い場合と比較して大きくなるためである。そして、マスク画像生成部77は、図53に示すように、二値化第1色情報画像のうち、計測光の色情報79の領域について色情報を抽出する抽出領域とし、ノイズ成分の領域81について色情報を抽出しない非抽出領域とするマスク画像を生成する。なお、図50~図53は、二値化第1色情報画像、二値化第2色情報画像、ノイズ成分の領域、マスク画像の説明のために模式的に記載したものである。
 除去部78は、マスク画像を用いて第1色情報画像から色情報の抽出を行うことによって、ノイズ成分の色情報が除去され、且つ、計測補助光の色情報が抽出されたノイズ除去済み第1色情報画像が得られる。ノイズ除去済み第1色情報画像は、色情報をRGB画像に戻すRGB変換処理を行うことによって、ノイズ除去済み第1撮像画像となる。位置特定部72は、ノイズ除去済み第1撮像画像に基づいて、スポットSPの位置の特定を行う。ノイズ除去済み第2撮像画像は、ノイズ成分が除かれているため、スポットSPの位置を正確に特定することができる。
 画像加工部73は、画像選択部82とスケール用テーブル62とを有している。画像選択部82は、第1撮像画像又は第2撮像画像のうち、スポットSPの位置に基づく加工を行う対象画像である加工対象画像を選択する。画像加工部73は、加工対象画像として選択された画像に対して、スポットSPの位置に基づく加工を行う。画像選択部82は、スポットSPの位置に関する状態に基づいて、加工対象画像の選択を行う。なお、画像選択部80は、ユーザーによる指示により、加工対象画像の選択を行うようにしてもよい。ユーザーによる指示には、例えば、ユーザーインターフェース16を用いられる。
 具体的には、スポットSPが特定期間中、特定範囲内に入っている場合には、被写体又は内視鏡の先端部12dに動きが少ないと考えられるため、第2撮像画像を加工対象画像として選択する。このように動きが少ない場合には、スポットSPが無くとも、被写体に含まれる病変部に容易に位置合わせすることができると考えられる。また、第2撮像画像には、計測補助光の色成分が含まれないため、被写体の色再現性を損ねることがない。一方、スポットSPの位置が特定期間中、特定範囲内に入っていない場合には、被写体又は内視鏡の先端部12の動きが大きいと考えられるため、第1撮像画像を加工対象画像として選択する。このように動きが大きい場合には、ユーザーは、スポットSPが病変部に位置するように、内視鏡12を操作する。これにより、病変部への位置合わせがし易くなる。
 画像加工部73は、第1撮像画像におけるスポットSPの位置に基づいて、仮想スケールとして、被写体の実寸サイズを示す第1の仮想スケールを生成する。画像加工部73は、第1撮像画像におけるスポットSPの位置と被写体の実寸サイズを示す第1の仮想スケールとの関係を記憶したスケール用テーブル62を参照して、スポットSPの位置から仮想スケールの大きさを算出する。そして、画像加工部73では、仮想スケールの大きさに対応する第1の仮想スケールを生成する。
 図54に示すように、拡張プロセッサ装置17の信号処理部45は、スポットSPの位置認識、及び仮想スケールの設定を行うために、撮像画像におけるスポットSPの位置を検出する第1信号処理部84と、スポットSPの位置に応じて仮想スケールを設定する第2信号処理部60とを備えている。
 第1信号処理部84は、マスク処理部86と、二値化処理部87と、ノイズ成分除去部88と、照射位置検出部89とを備えている。第1信号処理部84においてノイズ成分を除去する処理について、図55~図57を用いて説明する。マスク処理部86は、撮像画像のうち赤色画像、緑色画像、及び青色画像に対して、被写体上での計測光の照明位置の移動可能範囲内を示す略平行四辺形状の照明位置移動可能範囲Wxを抜き出すマスク処理を施す。これにより、図56、図57に示すように、照明位置移動可能範囲Wxが抜き出されたマスク処理後の赤色画像PRx、緑色画像PGx、及び青色画像PBxが得られる。照明位置移動可能範囲内の画素に対して、ノイズ成分を除去し、且つ、スポットSPの照射位置の検出が行われる。
 次に、二値化処理部87は、マスク処理後の赤色画像PRxのうち照明位置移動可能範囲の画素に対して、第1二値化処理を施すことにより、二値化赤色画像PRy(二値化第1分光画像)を得る。第1二値化処理では、第1二値化処理用の閾値条件として、画素値が「225」以上の画素を「1」とし、画素値が「225」を下回る画素を「0」とする。この第1二値化処理により、計測補助光の成分であるスポットSPが検出される。ただし、第1二値化処理では、照明光のうち赤色成分の高輝度成分である第1ノイズ成分N1の他、照明光によって生ずる白とび(画素飽和)である第2ノイズ成分N2も検出される。これら第1及び第2ノイズ成分は、スポットSPの照射位置の検出を妨げる要因となる。なお、閾値条件とは、二値化によって「0」とする画素の画素値と、二値化によって「1」とする画素の画素値の境界を示す閾値に関する条件の他、二値化によって「0」とする画素の画素値の範囲、二値化によって「1」とする画素の画素値の範囲を定める条件のことをいう。
 そこで、第1ノイズ成分を除去するために、ノイズ成分除去部88は、二値化赤色画像PRyと、緑色画像PGxを第2二値化処理で二値化した二値化緑色画像PGy(二値化第2分光画像)との第1差分処理を行う。第1差分処理によって得られる第1差分画像PD1は、第1ノイズ成分N1が除去されている。ただし、第1差分画像PD1において、第2ノイズ成分N2は残って除去されないことが多い。第1差分処理により「0」以下となる画素については、画素値を「0」にする。なお、第2二値化処理では、第2二値化処理用の閾値条件として、画素値が「30」から「220」の範囲内にある画素を「1」とし、それ以外の範囲、即ち、「0」から「30」未満、又は、「220」を超える画素を「0」とする。また、二値化赤色画像と二値化緑色画像との第1差分処理により、第1ノイズ成分を除去するが、その他の第1演算処理によって第1ノイズ成分を除去してもよい。
 また、第2ノイズ成分を除去するために、図57に示すように、ノイズ成分除去部88は、第1差分画像PD1と、青色画像PBxを第3二値化処理で二値化した二値化した二値化青色画像PByとの第2差分処理を行う。第2差分処理によって得られる第2差分画像PD2は、第1差分処理による除去が難しかった第2ノイズ成分が除去されている。第1差分処理と同様に、第2差分処理により「0」以下となる画素については、画素値を「0」にする。なお、第3二値化処理では、第3二値化処理用の閾値条件として、画素値が「160」以上の画素を「1」とし、画素値が「160」を下回る画素を「0」とする。また、第1差分画像と二値化青色画像との第2差分処理により、第2イズ成分を除去するが、その他の第2演算処理によって第2ノイズ成分を除去してもよい。
 照射位置検出部89は、第1差分画像又は第2差分画像から、スポットSPの照射位置を検出する。照射位置検出部89では、スポットSPの照射位置として、スポットSPの重心位置座標を取得することが好ましい。
 第2信号処理部85は、スポットSPの位置に基づいて、仮想スケールとして、被写体の実寸サイズを示す第1の仮想スケールを設定する。第2信号処理部85は、スポットSPの位置と被写体の実寸サイズを示す第1の仮想スケールとの関係を記憶したスケール用テーブル62を参照して、スポットの位置から仮想スケールの大きさを算出する。そして、第2信号処理部85では、仮想スケールの大きさに対応する第1の仮想スケールを設定する。
 図58に示すように、拡張プロセッサ装置17の信号処理部45は、照射領域認識部90と、第2信号処理部60とを備えている。照射領域認識部90は、撮像画像から特定形状のパターンを有する計測光照射領域を認識する。具体的には、図59に示すように、特定形状のパターンは、白色中心領域CR1と、中心領域の周囲を覆い、計測光に基づく特徴量を持つ周辺領域SR1とを含んでいる。計測光照射領域が、上記のスポットSPの場合であれば、特定形状のパターンは円状を有している。この場合には、白色の中心領域CR1は円状であり、周辺領域SR1はリング状である。
 図60は、複数の色画像として赤色画像RP、緑色画像GP、及び青色画像BPを含む撮像画像における各色画像の画素値の分布を示している。中心領域CR1における赤色画像RP、緑色画像GP、及び青色画像BPの画素値は最大画素値(例えば、255)に達していることにより、中心領域CR1は白色になっている。この場合、計測光が撮像素子32に入射した場合には、図61に示すように、計測光の波長域WMBにおいて、撮像素子32の赤色のカラーフィルタRFだけでなく、緑色のカラーフィルタGF及び青色のカラーフィルタBFの最大透過率で、計測光を透過させている。一方、周辺領域SR1においては、赤色画像RPの画素値は、緑色画像GP又は青色画像BPの画素値よりも大きくなっている。そのため、周辺領域SR1は赤みを帯びている。なお、光源23aでは、計測光の光量を特定光量で発光することにより、中心領域CR1における赤色画像RP、緑色画像GP、及び青色画像BPの画素値を最大画素値にしている。
 照射領域認識部90では、上記のような特定形状と特徴量を有するスポットSPを認識することが可能である。具体的には、図62に示すように、照射領域認識部90は、撮像画像の入力に対して、計測光照射領域であるスポットSPを出力することによって、スポットSPを認識する学習モデル91を有することが好ましい。学習モデル91は、撮像画像と、既に認識済みの計測光照射領域とを関連付けた多数の教師データによって、機械学習されている。機械学習としては、CNN(Convolutional Neural Network)を用いることが好ましい。
 学習モデル91を用いて、スポットSPを認識することで、円状の中心領域CR1とリング状の周辺領域SR1とで構成される円状のスポットSP(図59参照)だけでなく、特定形状である円状から変形したパターンのスポットSPも認識することが可能である。例えば、図63(A)に示すように、縦方向に変形したスポットSPも認識可能である。また、図63(B)に示すように、円状の一部が欠けて変形したスポットSPも認識可能である。また、学習モデル91にて認識可能な周辺領域SR1の特徴量としては、計測光の色である赤色の他、青色、緑色がある。また、学習モデル91にて認識可能な周辺領域SR1の特徴量としては、計測光の輝度、明度、彩度、色相がある。なお、計測光の輝度、明度、彩度、色相については、撮像画像に含まれるスポットSPの周辺領域を、輝度変換処理、又は、明度、彩度、色相変換処理することによって、取得することが好ましい。
 図64に示すように、拡張プロセッサ装置17の信号処理部45は、スポットSPの位置認識及び被写体との観察距離の算出、並びに仮想スケールの設定を行うために、撮像画像におけるスポットSPの位置を特定し、観察距離を算出する位置特定部92と、観察距離に基づいて、各種の仮想スケールを設定し、各種の仮想スケールを用いて撮像画像を加工した測長画像を生成する画像加工部93とを備えている。
 位置特定部92は、距離算出部94を有する。位置特定部92は、照明光及び計測光により被写体を照明した撮像画像に基づいて、計測光により被写体上に形成されるスポットSPの位置の特定を行う。距離算出部94は、スポットSPの位置から観察距離を求める。
 画像加工部93は、画像選択部95、スケール用テーブル62、オフセット設定部97、オフセット距離算出部98、及びオフセット用仮想スケール生成部99を有する。画像選択部95は、スポットSPの位置に基づく加工を行う対象となる画像を選択する。オフセット設定部97は、観察距離に対して、凸形状のスポットSPの高さに応じたオフセット量を設定する。オフセット距離算出部98は、観察距離にオフセット量を加えてオフセット距離を算出する。オフセット用仮想スケール生成部99は、オフセット距離に基づいて、オフセット用の仮想スケールを生成する。
 オフセットについて以下説明する。まず、被写体の凸形状とは、被写体において、周囲から張り出た形状をいう。したがって、一部でも周囲から張り出た形状であればよく、大きさ、形状の広さ、張り出た部分の高さ及び/または数、高さ等の連続性など、その他の形状は問わない。
 より具体的には、例えば、図65に示すように、被写体は、凸形状としてポリープ100を有する。ポリープ100は、周囲の被写体から張り出た形状を有する。ポリープ100は、頂部100aと平坦部100bとを有する。図65では、ポリープ100の高さ方向を垂直方向としたときに、水平方向からポリープ100を見た場合を示すが、ポリープ100は立体であるため、紙面手前方向と紙面奥行き方向とにも存在している。ポリープ100の周囲の被写体の平坦な部分が形成する平面であって、ポリープ100が形成されている部分をポリープ100の平坦部100bとする。ポリープ100の周囲の平坦な部分が形成する平面は、平坦部100bの延長面101である。
 次に、凸形状のスポットSPの高さについて説明する。本実施形態では、ポリープ100のスポットSPの高さは、ポリープ100のスポットSPからポリープ100の平坦部100bまでの垂直方向の距離である。より具体的には、図66に示すように、スポットSP1が、ポリープ100の頂部100aに形成されている。したがって、延長面101と平行であり、かつ、ポリープ100の頂部100aが、ポリープ100の頂部100aを通る面を平行面102とすると、平行面102と延長面101との距離が、ポリープ100のスポットSPの高さHT1は、ポリープ100の頂部100aから平坦部100bまでの垂直方向の距離となる。なお、ポリープ100及び高さHT1(下記の高さHT2も同様)は、模式的に示したものであり、周囲の部分から突出した部分であれば、凸形状の種類、形状、大きさ等は問わない。
 また、図66では、スポットSP2が、ポリープ100の頂部100aでない領域に形成されている。つまり、ポリープ100の頂部100aからポリープ100の端部までの間に形成されている。したがって、延長面101と平行であり、かつ、ポリープ100のスポットSP2を通る面を平行面103とすると、平行面103と延長面101との距離が、ポリープ100のスポットSP2の高さHT2である。したがって、ポリープ100のスポットSP2の高さHT2は、ポリープ100のスポットSP2から平坦部100bまでの垂直方向の距離となる。
 観察距離とオフセット量について、以下に説明する。図67に示すように、計測光Lmにより、スポットSP1がポリープ100の頂部100aに形成されている。スポットSP1から求められる観察距離は、内視鏡の先端部12dの位置P1とスポットSP1の位置P2の距離D5である。距離D5に応じた仮想スケールは、平行面102上での実測に合致した仮想スケールである。したがって、スポットSP1がポリープ100の頂部100aに形成される場合には、距離D5に応じた仮想スケールを生成して表示すると、平行面102にある被写体の実測に合う仮想スケールが表示される。したがって、延長面101にある被写体の実測値に対して目盛り等が大きいほうにずれた仮想スケールが表示される。
 そこで、オフセット設定部97は、観察距離D5に対して、オフセット量としてポリープ100のスポットSPの高さHT1を設定する。次に、オフセット距離算出部98は、観察距離D5に対して、オフセット量であるポリープ100のスポットSP1の高さHT1を加えてオフセット距離D6を算出する。したがって、オフセット距離算出部98は、オフセット距離D6を、以下の式OS)により算出する。なお、HT1は、位置P2とP3との距離である。
式OS)D6=D5+HT1
 次に、オフセット用仮想スケール生成部99は、観察距離D6に基づいた仮想スケールを、オフセット用の仮想スケールとして生成する。より具体的には、オフセット用仮想スケール生成部99は、スケール用テーブル62を参照し、観察距離が距離D6である場合の仮想スケールを用いて、これをオフセット用の仮想スケールとする。オフセット用の仮想スケールは、延長面101上の被写体の実際の距離または大きさを示すものとなる。
 画像加工部93は、生成されたオフセット用の仮想スケールを、撮像画像に重畳する加工を行って、測長画像を生成する。オフセット用の仮想スケールは、より正確な計測のために、スポットSPが形成される位置に表示するように重畳することが好ましい。したがって、スポットSPから離れた位置に表示する場合は、なるべくスポットSPの近くに表示する。オフセット用の仮想スケールが重畳された測長画像は、表示制御部46によって拡張ディスプレイ18に表示される。
 なお、図68に示すように、仮想スケールについては、観察距離が小さくなるほど仮想スケールを構成する線の幅のピクセル数を大きく設定し、観察距離が大きくなるほど仮想スケールを構成する栓の幅の小さくしてもよい。
 図68(A)に示す例では、範囲Rxにおける遠端Pxであり観察距離が21mm以上の場合、仮想スケールM11を構成する線の幅W11を最も小さい設定値である1ピクセルに設定する。図68(B)に示す例では、範囲Rxにおける遠端Pxと中央付近Pyの間であり観察距離が13mm~20mmの場合、仮想スケールM12を構成する線の幅W12を2ピクセルに設定する。図68(C)に示す例では、範囲Rxにおける中央付近Pyであり観察距離が8~12mmの場合、仮想スケールM13を構成する線の幅W13を設定の中間値である3ピクセルに設定する。
 図68(D)に示す例では、範囲Rxにおける中央付近Pyと近端Pzの間であり観察距離が4~7mmの場合、仮想スケールM14を構成する線の幅W14を4ピクセルに設定する。図68(E)に示す例では、範囲Rxにおける近端Pzであり観察距離が3mm以下の場合、仮想スケールM15を構成する線の幅W15を最も大きい設定値である5ピクセルに設定する。
 上述したように、仮想スケールM11~M15を構成する線を、観察距離に応じて変更しているので、ユーザーである医師は、被写体の正確な寸法を計測しやすくなっている。さらに、仮想スケールM11~M15を構成する線の幅W11~W15を、観察距離に反比例する値に設定しているので、線の幅から、寸法の誤差の大きさを認識することが可能となる。例えば、認識した誤差を考慮して、腫瘍tmが仮想スケールM11~M15を構成する線の内側部分にあれば、設定された実寸サイズよりも確実に小さい(図68に示す例であれば、5mm以内である)ことが分かる。
 また、図69に示すように、1つのスポットSPの位置に基づいて、大きさが異なる3つの同心円から構成する同心円型の仮想スケールM2を設定してもよい。仮想スケールM2を構成する3つの同心円M21、M22、M23は、例えば「5mm」、「10mm」、「20mm」の実寸サイズを表している。また、仮想スケールM2を構成する同心円M21、M22、M23は、図示の都合上、円形状を構成する線にクロスハッチングを施しているが、実際は、1つの線に対して1色で塗り潰されている。
 最内に位置する同心円M21の1つ外側に位置する同心円M22の幅W22は、同心円M21のW21よりも大きく、最外に位置する同心円M23の幅W23は、同心円M22の幅W22よりも大きく設定する。図69に示す例では、幅W23は、幅W22の√2倍、かつ幅W21の2倍の値に設定している。
 幅W21~W23の比率(図69に示す例では、W21:W22:W23=1:√2:2の比率)を保ったまま、観察距離に反比例する値に設定する。これにより、線の幅から、寸法の誤差の大きさを認識することが可能となる。例えば、認識した誤差を考慮して、腫瘍tmが同心円M22を構成する線の外側かつ、同心円M23を構成する線の外側であれば、設定された実寸サイズの範囲内(図9に示す例であれば、10mm以上、20mm以内)であることが確実に分かる。
 図70に示すように、仮想スケールM3を構成する線に対して、線の幅方向中央から外側に向かって濃度が徐々に低くなるグラデーションを付けてもよい。そして、上記第1及び2実施形態と同様に、グラデーションを付けた線の幅を観察距離に応じて変更する。
 図71に示すように、仮想スケールM41~M43を構成する線を破線とし、破線を構成する隙間を観察距離に反比例する値に設定する。なお、図71においては、観察距離の範囲R1における遠端Px、中央付近Py、及び近端Pzの各点で撮像した場合における円形状の仮想スケールM41、M42、M43をそれぞれ示している。
 図71(A)に示す例では、範囲Rxにおける遠端Pxの場合、仮想スケールM41を構成する破線の隙間G1を最も小さい設定値に設定する。なお、図71(A)に示す例では、仮想スケールM41を破線から構成しているが、遠端Pxの場合のみ、隙間G1を0、すなわち仮想スケールM41を実線から構成してもよい。図71(B)に示す例では、範囲Rxにおける中央付近Pyの場合、仮想スケールM42を構成する破線の隙間G2を設定の中間値にする。図71(C)に示す例では、範囲Rxにおける近端Pzの場合、仮想スケールM43を構成する破線の隙間G3を最も大きい設定値に設定する。
 以上のように、仮想スケールM41~M43を構成する破線の隙間G1~G3を、観察距離に反比例する値に設定しているので、破線の隙間から、寸法の誤差の大きさを認識することが可能となる。
 仮想スケールを構成する線は、観察距離に寄らず、同じ数で構成されている。図72に示すように、仮想スケールM51~M53を構成する線の数を、観察距離に応じて変更する。なお、図72においては、観察距離の範囲Rxにおける遠端Px、中央付近Py、及び近端Pzの各点で撮像した場合における仮想スケールM51、M52、M53をそれぞれ示している。
 図72(A)に示す例では、範囲Rxにおける遠端Pxの場合、仮想スケールM51を3つの線、すなわち大きさの異なる3つの同心円から構成する。3つの同心円は、例えば「5mm」、「10mm」、「20mm」の実寸サイズを表している。図72(B)に示す例では、範囲Rxにおける中央付近Pyの場合、仮想スケールM52を2つの線、すなわち、大きさの異なる2つの同心円から構成する。2つの同心円は、例えば「5mm」、「10mm」の実寸サイズを表している。図72(C)に示す例では、範囲Rxにおける近端Pzの場合、仮想スケールM53を1つの線、すなわち、1つの円形状から構成する。1つの円形状は、例えば「5mm」の実寸サイズを表している。以上のように、仮想スケールM51~M53を構成する線の数を、観察距離に比例する値に設定しているので、線の数から、寸法の誤差の大きさを認識することが可能となる。
 図73に示すように、拡張プロセッサ装置17の信号処理部45は、距離算出部94を含む位置特定部92と、画像加工部104とを備えている。画像加工部104は、画像選択部95、スケール用テーブル62、仮想スケール設定部105、仮想スケール切替受付部106、及び測長画像作成部107を有する。仮想スケール設定部105は、スポットSPの位置に応じて被写体上の観察対象の実寸サイズを表し、かつ、端部を基点とする目盛りを有する仮想スケールを設定する。仮想スケール切替受付部106は、複数の仮想スケールを切り替えて設定する指示を受け付ける。測長画像作成部107は、撮像画像に、仮想スケール設定部105により設定された仮想スケールを、スポットSPの位置と仮想スケールの目盛りの基点とが重なるように重畳した測長画像を作成する。
 仮想スケール設定部105及び測長画像作成部107の機能について以下説明する。図74に示すように、ポリープ108を含む被写体が照明された撮像画像109が、信号処理部45に入力される。例えば、ポリープ108が球状の立体形状を有するため、撮像画像109は、ポリープ108と、スポットSPと、場合により影110とを含む。
 信号処理部45に入力された撮像画像109に基づき、位置特定部92は、スポットSPの位置を特定する。仮想スケール設定部105は、スケール用テーブル62を参照して、スポットSPの位置に対応した、観察対象の実寸サイズを表し、かつ、端部を基点とする目盛りを有する仮想スケールを設定する。端部とは、仮想スケールの形状において、中央部分よりも外側部分に近い部分又は始点若しくは終点等である。
 図75に示すように、測長画像作成部107は、撮像画像109に、仮想スケール設定部105により設定された仮想スケール111を、スポットSPの位置と仮想スケール111の目盛りの基点とが重なるように重畳した撮像画像109を作成する。仮想スケール111は、より正確な計測のために、スポットSPの位置に表示するように重畳することが好ましい。したがって、スポットSPから離れた位置に表示する場合であっても、なるべくスポットSPの近くに表示することが好ましい。仮想スケール111は、直線の線分であり、線分の始点と終点とに、直線の線分と垂直な線分である目盛りを有する。仮想スケール111が線分等であり、始点と終点を有する場合は、始点及び/又は終点自体を目盛りとしてもよく、この場合は、例えば、直線の線分と垂直な線分の形状の目盛りはなくてもよい。また、仮想スケール111は、目盛りの基端の近傍に「10」との数字を有してもよい。この数字の「10」、仮想スケール111の目盛りラベル111aであり、仮想スケール111の線分が、実寸サイズの10mmであることを容易に認識できるように付したものである。以下、仮想スケールが有する数字は、同様の意味を有する。目盛りラベル111aの数値は、設定により変更が可能であり、また、目盛りラベル111a自体を表示しない仮想スケール111であってもよい。
 仮想スケールは、設定により様々な種類を使用する。例えば、形状が直線の線分又は直線の線分の組み合わせ、形状が円又は円の組み合わせ、又は、直線の線分と円の組み合わせ等を使用する。
 図76に示すように、例えば、撮像画像113は、形状が直線の線分の組み合わせである仮想スケール112を含む。仮想スケール112は、直線の線分をL字型に組み合わせた形状であり、L字の角部を基点として、紙面上方向と紙面方向とに線分が延びており、基点を始点としてそれぞれ終点に目盛りを有する。また、仮想スケール112は、仮想スケール111と同様に、目盛りの基端の近傍に、目盛りラベル112aである「10」との数値を有する。
 図77に示すように、例えば、撮像画像114は、形状が直線の線分と円の組み合わせである仮想スケール115を含む。仮想スケール115は、円と、この円の直径である線分とを組み合わせた形状であり、線分と円との交点をそれぞれの目盛りとする。線分を2分の1とする点又は円の中心に、目盛り116を有してもよい。また、仮想スケール115は、仮想スケール111又は仮想スケール112と同様に、目盛りの基点の近傍に、目盛りラベル116aである「10」との数字を有する。目盛りラベル116bは、目盛りラベル116aの半分を表している。
 図78に示すように、仮想スケールは、これら以外にも、例えば、基点から紙面左方向に線分が伸びる、目盛りラベル117aを含む仮想スケール117(図78(A))、基点から紙面下方向に線分が伸びる、目盛りラベル118aを含む仮想スケール118(図78(B))、又は、基点から紙面右斜め上方向に線分が伸びる、目盛りラベル119aを含む仮想スケール119(図78(C))等、様々な形状を取り得る。
 図79に示すように、拡張プロセッサ装置17の信号処理部45は、位置特定部92、基準スケール設定部120、計測値スケール生成部121、及び測長画像生成部122を備える。基準スケール設定部120は、スポットSPの位置に基づいて、被写体の実寸サイズを示す基準スケールを設定する。計測値スケール生成部121は、設定された基準スケールに基づいて、注目領域の計測部分を計測した計測値を示す計測値スケールを生成する。なお、基準スケール及び計測値スケールは、撮像画像上に表示する仮想的なものであるため、仮想スケールに対応する。
 注目領域とは、被写体に含まれるユーザーが注目すべき領域である。注目領域は、例えば、ポリープ等であり、計測が必要とされる可能性が高い領域である。また、計測部分とは、注目領域において、長さ等を計測する部分である。例えば、注目領域が発赤部である場合、計測部分は発赤部の最も長い部分等であり、また、注目領域が円形である場合、計測部分は注目領域の直径部分等である。
 測長画像生成部122は、撮像画像に計測値スケールを重畳した測長画像を作成する。計測値スケールは、注目領域の計測部分に合わせた状態で撮像画像に重畳する。測長画像は拡張ディスプレイ18に表示される。
 図80に示すように、基準スケール設定部120は、基準スケール用テーブル121aを備える。基準スケール用テーブル121aは、スポットSPの位置と被写体の実寸サイズに対応する計測情報とを対応付けた対応情報である。測長モードにおいて、観察対象であるポリープ123を含む被写体が撮影された撮像画像114が信号処理部45に入力される。図81に示すように、撮像画像124において、ポリープ123は、例えば、球が重なったような立体形状を有する。例えば、ポリープ123上の端部にスポットSPを形成する。撮像画像124に基づき、位置特定部92は、スポットSPの位置を特定する。基準スケール設定部120は、基準スケール用テーブル121aを参照して、特定したスポットSPの位置に対応した、被写体の実寸サイズを示す基準スケール131を設定する。
 基準スケール131は、例えば、実寸サイズにおける20mmに対応するピクセル数を有する線分並びに実寸サイズを示す数値及び単位である。基準スケール131は、通常は拡張ディスプレイ18に表示しないが、基準スケール131を拡張ディスプレイ18に表示する場合は、撮像画像124のように表示する。
 図82に示すように、計測値スケール生成部121は、注目領域抽出部125と、計測部分決定部126と、計測内容受付部127と、計測値算出部128とを備える。図83に示すように、注目領域抽出部125は、撮像画像124のように、ハッチングされた領域を注目領域129として抽出する。次に、図84に示すように、計測部分決定部126は、例えば、予め設定した基準が、スポットSPを基点とした水平方向における注目領域の部分を計測するとの基準である場合、撮像画像124のように、スポットSPを基点として、水平方向エッジ位置130を抽出する。スポットSPと水平方向エッジ位置130との間が計測部分となる。
 計測値算出部128は、例えば、基準スケールの実寸サイズをL0、撮像画像124に基準スケール131のピクセル数をAa、撮像画像124において注目領域129に基準スケール131を重畳した場合の計測部分のピクセル数をBa、及び計測値スケール132の実寸サイズをL1とした場合、以下の式(K1)を満たすように計測値スケール132を生成する。
式(K1)L1=L0×Ba/Aa
 図85に示すように、計測値算出部128は、撮像画像124aに示す基準スケール131に対応するピクセル数Aaと、撮像画像124bに示すスポットSPと水平方向エッジ位置130との間の計測部分に対応するピクセル数Bbにより、例えば、Ba/Aaが0.7であった場合、基準スケール131の実寸サイズが20mmである場合には、撮像画像124dのように、計測値スケール132の実寸サイズを13mmと算出する。
 測長画像生成部122は、撮像画像124に計測値スケール132を重畳した測長画像133を生成する。例えば、図86に示すように、計測値スケール132は、直線の線分の形状である矢印等の図形により、撮像画像124に重畳する。測長画像133には、計測値スケール132の実寸サイズの数値を含んでもよい。図87に示すように、計測値スケール132の実寸サイズの数値は、矢印等の図形と離れた状態で撮像画像124に重畳してもよい。
 計測値スケール132の種類は、複数の中から選択が可能である。計測内容受付部127が計測値スケールの内容の設定を受け付けて計測値スケール生成部121にその内容を送り、計測値スケール生成部121がその内容に基づいて生成した計測値スケール132を用いて、測長画像生成部122が測長画像133を生成する。
 なお、注目領域抽出部125は、過去に取得された撮像画像により学習した学習済みモデルを用いて注目領域を抽出することが好ましい。学習済みモデルに用いるモデルは、機械学習による画像認識において好適な各種のモデルを用いることができる。画像上の注目領域を認識する目的から、ニューラルネットワークを用いたモデルが好ましく使用できる。これらのモデルに対し学習させる場合は、教師データとして、注目領域の情報を持つ撮像画像を用いて学習させる。注目領域の情報としては、注目領域の有無、注目領域の位置又は範囲等が挙げられる。なお、モデルに応じて、注目領域の情報を持たない撮像画像により学習させてもよい。
 また、計測部分決定部126も、過去に取得された撮像画像により学習した学習済みモデルを用いて計測部分を決定することが好ましい。学習済みモデルに用いるモデル等は、注目領域抽出部と同様であるが、これらのモデルに対し学習させる場合は、計測部分の情報を持つ撮像画像による学習させる。計測部分の情報としては、計測値とその計測部分が挙げられる。なお、モデルに応じて、計測部分の情報を持たない撮像画像により学習させてもよい。なお、注目領域抽出部125が用いる学習済みモデルと、計測部分決定部126が用いる学習済みモデルとは共通としてもよい。計測部分を抽出するとの目的の場合は、1つの学習済みモデルにより、撮像画像124から注目領域を抽出せずに、計測部分を抽出するようにしてもよい。
 なお、第2信号処理部60では、計測光の照射位置と仮想スケールの代表点を記憶した代表点データテーブル66から、スポットSPの位置に合わせて変形させた仮想スケールを表示するためのスケール用テーブル62を更新しているが(図39、図40参照)が、その他の方法で、スケール用テーブル62を作成してもよい。例えば、正方格子上のチャートを撮像した場合に得られる画像から、図87に示すように、スポットSPを中心とする円形の仮想スケールを包接する歪曲格子領域QNを取得する。歪曲格子領域QNは、画面中央から離れるほど、撮像光学系21の歪曲収差によって、格子が歪曲している。歪曲格子領域QNをアフィン変換行列によって、図88に示すような正方格子領域SQに変換する。正方格子領域SQにおいて、円形の仮想スケールを示す点の座標を算出する。そして、正方格子領域SQにおける仮想スケールの点の座標を、アフィン変換行列の逆行列によって、撮像光学系21によって歪曲させた歪曲円形の仮想スケールに変換する。この歪曲円形の仮想スケールの座標とスポットSPの位置とを関連付けてスケール用テーブル62に記憶する。
 なお、撮像光学系21の歪曲収差を考慮して、仮想スケールによる計測が有効な領域とそれ以外の領域とで、仮想スケールの表示態様を変えるようにしてもよい。具体的には、図89(a)に示すように、スポットSPが計測有効領域の範囲外(近端Px側)に存在する場合、及び図89(c)に示すように、スポットSPが計測有効領域の範囲外(遠端Pz側)に存在する場合には、仮想スケールによる腫瘍tmの計測が有効でないので、十字型の仮想スケールMN、MFをそれぞれ表示している。一方、図89(c)に示すように、スポットSPが円形の仮想スケールMによる計測が有効な領域に存在する場合には、円形の仮想スケールMを表示する。
 また、スポットSPが計測有効領域の範囲内と範囲外とで、仮想スケールの線種を変えてもよい。この場合には、仮想スケールの線種の変化が分かるように、図90に示すように、スポットSPの移動軌跡MTを表示することが好ましい。図90(a)に示すように、スポットSPが計測有効領域の範囲外(近端Px側)に存在する場合、及び図90(c)に示すように、スポットSPが計測有効領域の範囲外(遠端Pz側)に存在する場合には、仮想スケールによる腫瘍tmの計測が有効でないので、円形の仮想スケールMpN、MpFをそれぞれ点線で表示している。一方、図90(c)に示すように、スポットSPが円形の仮想スケールMによる計測が有効な領域に存在する場合には、円形の仮想スケールMpを実線で表示する。なお、スポットSPが計測有効領域の範囲外と範囲内とで仮想スケールの線種を点線と実線で変えているが、その他、別々の色彩としてもよい。例えば、スポットSPが計測有効領域の範囲外の場合は仮想スケールの線種を青とし、範囲内の場合には仮想スケールの線種を白とする。
 測長モードにおける静止画取得の詳細について説明する。システム制御部41は、静止画取得指示が行われていない場合には、光源装置13に対して、照明光及び計測光を発光するように制御する。図91に示すように、静止画取得指示スイッチ12gが操作されて静止画取得指示が行われた場合には、静止画取得指示を含む第1タイミングにおいては、照明光は点灯(on)にする一方で、計測光は消灯(off)にする。第1タイミングが経過した後の第2タイミング及び第3タイミングにおいては、照明光の点灯は維持したままで、再び計測光を点灯する。なお、第2タイミングと第3タイミングは同じタイミングとするが、異なるタイミングとしてもよい。
 第1タイミングにおいては、計測光で照明された被写体を撮像して得られる第2撮像画像が得られる。第2タイミング及び第3タイミングにおいては、照明光及び計測光で照明された被写体を撮像して得られる第1撮像画像が得られる。そして、システム制御部41は、図91及び図92に示すように、静止画保存部42に保存する保存画像として、第1撮像画像の静止画と第2撮像画像の静止画を保存する。また、拡張プロセッサ装置17の信号処理部45では、第1撮像画像に対して、スポットSPの位置に応じて設定される仮想スケールMxmを表示した第3撮像画像の静止画を取得する。第3撮像画像の静止画は、プロセッサ装置14に送られて、静止画保存部42に保存される。また、静止画が行われたから一定時間の間は、静止画が記録されていることを報知するために、図93に示すように、表示制御部46は、第2撮像画像と第3撮像画像を拡張ディスプレイ18に表示する。なお、1回の静止画取得指示により、第1撮像画像、第2撮像画像、第3撮像画像のうち少なくとも2つを静止画保存部42に保存することが好ましい。例えば、第2撮像画像と第3撮像画像の2つを保存することが好ましい。また、第3撮像画像は、上記したように、仮想スケールが重畳表示された測長画像のうち、静止画保存部42に保存する保存用画像に対応する。
 なお、図94に示すように、第2タイミング又は第3タイミングについて第1タイミングよりも前としてもよい。この場合には、測長モード時においては、第2タイミング又は第3タイミングに対応する数フレーム分の第1撮像画像をプロセッサ装置14の一時保存記憶部(図示しない)に保存しておく必要がある。静止画取得指示が行われた場合には、一時保存記憶部に保存された第1撮像画像を、第2タイミングの第1撮像画像として静止画保存部42に保存し、また、一時保存記憶部に保存された第1撮像画像に対して仮想スケールを付加した第3撮像画像を静止画保存部42に保存する。
 また、図95に示すように、第2タイミングと第3タイミングとは異なるタイミングとしてもよい。この場合は、第2タイミングで得られる第1撮像画像は、上記と同様にして、静止画保存部42に保存する。また、第3タイミングで得られる第1撮像画像は、静止画保存部42に保存する前に、仮想スケールを付加して第3撮像画像にしてから静止画保存部42に保存する。
 図96に示すように、拡張プロセッサ装置17の信号処理部45には、第1信号処理部59及び第2信号処理部60の他に、病変認識部135、診断情報取得部136、及び学習部137を設けてもよい。病変認識部135は、第1撮像画像(照明光及び計測光に基づく画像)を画像処理し、認識処理を行う。病変認識部135が行う認識処理としては、第1撮像画像から、病変部などの関心領域を検出する検出処理を行う。認識処理には、機械学習された学習モデルを用いることが好ましい。即ち、学習モデルに対する第1撮像画像の入力に対して、学習モデルから関心領域の検出結果を出力する。学習モデルは、畳み込みニューラルネットワーク(Convolutional Neural Network(CNN))などの機械学習済みの学習モデルであることが好ましい。なお、病変認識部135が行う認識処理としては、第1撮像画像から認識した病変部に対して病変の進行度などを鑑別する鑑別処理であてもよい。また、病変認識部135は、第2撮像画像(照明光のみに基づく画像)を画像処理して、認識処理を行ってもよい。
 診断情報取得部136は、第1撮像画像又は第2撮像画像に関する診断情報を診断情報管理装置138から取得する。診断情報としては、検査対象である患者のカルテを取得する。カルテとは、患者に関して診療または検査の経過等を記録した情報であり、例えば、患者の氏名、性別及び年齢、病名、主要な症状、処方もしくは処置の内容、または既往歴等の記録を含む。病変認識部135が認識処理した病変部の情報、及び診断情報取得部136が取得した第1撮像画像又は第2撮像画像に関する診断情報は、データセットDSの付属データとして、静止画保存部42で第1撮像画像又は第2撮像画像と関連付けて保存される。
 学習部137は、静止画保存部42に保存された第1撮像画像又は第2撮像画像とこれら第1、第2撮像画像と関連付けられた付属データ(データセット)を用いて、機械学習を行う。具体的には、学習部137は、病変認識部135の学習モデルを機械学習する。機械学習の教師データ候補としては、第2撮像画像のほうが好ましい。第2撮像画像は、腫瘍tmなどの計測時に静止画取得指示により得られた画像であるため、観察対象となる関心領域が含まれる可能性が高い画像である。また、第2撮像画像は、計測光が照射されていない通常の内視鏡画像であることから、機械学習の教師データとして有用性が高い。また、付属データとして、病変部の情報及び診断情報なども付属されているため、機械学習を行う際、ユーザーが入力しなくてもよい。教師データ候補としての第2撮像画像が蓄積され、機械学習を行うほど、病変認識部135での認識処理の精度が向上する。なお、第1撮像画像を機械学習の教師データ候補として用いる場合には、そのまま第1撮像画像を用いてもよいが、計測光の照射領域以外の部分を教師データ候補として用いることがより好ましい。
 図97に示すキャリブレーション装置200を用いて、代表点データテーブル66を作成するためのキャリブレーション方法について、以下説明を行う。キャリブレーション装置200は、キャリブレーション用ディスプレイ201、移動機構202、キャリブレーション用表示制御部204、キャリブ画像取得部206、及び、キャリブレーション部208を備えている。キャリブレーション用表示制御部204、キャリブ画像取得部206、及びキャリブレーション部208は、キャリブ画像処理装置210に設けられている。キャリブ画像処理装置210は、プロセッサ装置14、キャリブレーション用ディスプレイ201、及び移動機構202と電気的に接続されている。
 移動機構202は、内視鏡12の先端部12dをキャリブレーション用ディスプレイ201に向けて保持する保持部(図示しない)を有しており、保持部を特定の間隔で動かすことによって、内視鏡10の先端部12dとキャリブレーション用ディスプレイ201との間の距離Zを変える。キャリブレーション用表示制御部204は、移動機構202によって距離Zを変える毎に、キャリブレーション用ディスプレイ201において、計測光の照射位置に対して、撮像光学系21の影響を受けていない第1の表示態様の仮想スケールの画像を表示する。第1の表示態様の計測用マーカの画像は、撮像光学系21による歪み等の影響を考慮していないため、拡張ディスプレイ18で表示する場合のスケール表示位置に対応した大きさ又は形状等で表示していない。
 キャリブ画像取得部206は、内視鏡12によって、キャリブレーション用ディスプレイ201に表示された第1の表示態様の計測用マーカを撮像して得られるキャリブ画像を取得する。キャリブ画像は、距離Zを変える毎に、即ち、第1の表示態様の仮想スケールが表示される毎に、内視鏡12が撮像を行うことによって、取得される。例えば、第1の表示態様の仮想スケールがn回表示された場合には、n枚のキャリブ画像が得られる。
 キャリブ画像には、計測光の照射位置に対して、撮像光学系21の影響を受けた第2の表示態様の計測用マーカの画像が含まれている。第2の表示態様の計測用マーカの画像は、撮像光学系21による歪み等の影響を考慮しているため、スケール表示位置に対応した大きさ又は形状等で表示されている。
 キャリブレーション部208は、キャリブ画像取得部206が取得したキャリブ画像に基づいて、仮想スケールの拡張ディスプレイ18での表示に関するキャリブレーションを行う。具体的には、キャリブレーション部208では、キャリブ画像に含まれる第2の表示態様の仮想スケールの画像から代表点を抽出する代表点抽出処理と、代表点に関する代表点データと、キャリブ画像を取得したタイミングの照射位置とを関連付けて代表点データテーブルを作成するテーブル作成処理とを行う作成された代表点データテーブルは、拡張プロセッサ装置17に送られ、代表点データテーブル66に格納される。
 図98に示すように、検査システム300は、仮想スケールが所定の形状を有しているかなどのスケールの精度検査に用いられる。検査システム300は、テストチャート302と、ディスプレイ15と、移動機構部304とを備えている。ディスプレイ15は、内視鏡システム10と共用するが、別途、精度検査用のディスプレイを設けてもよい。
 図99に示すように、テストチャート302は、チャート本体305を有し、チャート本体305には、特定形状の検査領域を有する検査領域部306と、精度検査時に、計測光の照射位置を合わせる基準となる検査基準位置308とが設けられている。検査領域部306は、特定形状の検査領域として、3つの円形の検査領域306a、306b、306cを備えている。これら3つの検査領域306a、306b、306cは、検査基準位置308を中心として、同心状に設けられている。検査領域306a、306b、306cは、それぞれ5mmの仮想スケール(直径が「5mm」であることを示す)、10mmの仮想スケール(直径が「10mm」であることを示す)、20mmの仮想スケール(直径が「20mm」であることを示す)の確認検査に用いられる内視鏡12からの計測光(例えば、スポットSP)をチャート本体205に対して照明して撮像することにより、検査画像を取得する。
 図100に示すように、検査画像は、ディスプレイ15に表示される。検査画像には、検査領域部306及び検査基準位置308に加えて、計測光の照射位置(スポットSPの位置)に対応する仮想スケールMが表示される。精度検査時には、移動機構部304によって、計測光の照射位置(スポットSPの位置)が検査基準位置に合うように、テストチャート302を動かす。計測光の照射位置が検査基準位置に一致した場合に、ユーザーは、仮想スケールMが適正に表示されているか否かの判断を行う。
 例えば、検査画像において、計測光の照射位置が検査基準位置308にあった場合において、仮想スケールMが検査領域106aに入っている場合には、ユーザーは、仮想スケールMが適正に表示されていると判断する。これに対して、図101に示すように、仮想スケールMが検査領域106aから一部でもはみ出している場合など仮想スケールMの一部でも検査領域106aに入っていない場合には、ユーザーは、5mmの仮想スケールMが適正に表示されていないと判断する。
 スケール用テーブル62については、以下のように作成してもよい。スポットの位置と仮想スケールの大きさとの関係は、実寸サイズのパターンが規則的に形成されたチャートを撮像することで得ることができる。例えば、スポット状の計測光をチャートに向けて出射し、観察距離を変化させてスポットの位置を変えながら実寸サイズと同じ罫(5mm)もしくはそれより細かい罫(例えば1mm)の方眼紙状のチャートを撮像し、スポットの位置(撮像素子32の撮像面におけるピクセル座標)と実寸サイズに対応するピクセル数(実寸サイズである5mmが何ピクセルで表されるか)との関係を取得する。
 図102に示すように、(x1、y1)は、撮像素子32の撮像面におけるスポットSP4のX、Y方向のピクセル位置(左上が座標系の原点)である。スポットSP4の位置(x1、y1)での、実寸サイズ5mmに対応するX方向ピクセル数をLx1とし、Y方向ピクセル数をLy1とする。このような測定を、観察距離を変えながら繰り返す。図103は、図102と同じ5mm罫のチャートを撮像した状態を示しているが、図102の状態よりも撮影距離が遠端に近い状態であり、罫の間隔が狭く写っている。図103の状態において、撮像素子32の撮像面におけるスポットSP5の位置(x2、y2)での実寸サイズ5mmに対応するX方向ピクセル数をLx2とし、Y方向ピクセル数をLy2とする。そして、観察距離を変えながら、図102、103のような測定を繰り返し、結果をプロットする。なお、図102、103では、撮像光学系21の歪曲収差を考慮せず表示している。
 図104は、スポットの位置のX座標とLx(第1の計測用マーカのX方向ピクセル数)との関係を示しており、図105は、スポットの位置のY座標とLxとの関係を示している。Lxは図104の関係よりX方向位置の関数として、Lx=g1(x)と表され、また、Lyは、図105の関係より、Y方向位置の関数として、Ly=g2(y)として表される。g1、g2は上述のプロット結果から、例えば、最小二乗法により求めることができる。
 なお、スポットのX座標とY座標とは一対一に対応しており、関数g1、g2のいずれを用いても、基本的に同じ結果(同じスポット位置に対しては同じピクセル数)が得られるため、第1の仮想スケールの大きさを算出する場合には、どちらの関数を用いてもよく、g1、g2のうち位置変化に対するピクセル数変化の感度が高い方の関数を選んでもよい。また、g1、g2の値が大きく異なる場合には、「スポットの位置を認識できなかった」と判断してもよい。
 図106は、スポット位置のX座標とLy(Y方向ピクセル数)との関係を表しており、図107は、スポット位置のY座標とLyとの関係を表している。図106の関係より、LyはX方向位置の座標としてLy=h1(x)と表され、図108の関係より、LyはY方向位置の座標としてLy=h2(y)として表される。Lyについても、Lxと同様に関数h1、h2のいずれを用いてもよい。
 以上のように得られた関数g1、g2、h1、h2については、ルックアップテーブル形式によってスケール用テーブル62に記憶される。なお、関数g1、g2については、関数形式でスケール用テーブル62に記憶するようにしてもよい。
 なお、計測光については、被写体に照射された場合に、図108に示すように、被写体上に縞状のパターンの光として形成される縞状パターン光ZPLを用いてもよい(例えば、特開2016-198304号公報参照)。縞状パターン光ZPLは、透過率可変の液晶シャッター(図示しない)に特定のレーザー光を照射することによって得られ、液晶シャッタによって特定のレーザー光を透過する領域(透過領域)と特定のレーザー光を透過しない(非透過領域)とが水平方向に周期的に繰り返す2つの異なる縦縞のパターンから形成される。計測光として縞状パターン光を用いる場合には、被写体との距離によって、縞状パターン光の周期が変化することから、液晶シャッタによって縞状パターン光の周期又は位相をシフトして複数回照射し、周期又は位相をシフトして得られる複数の画像に基づいて、被写体の3次元形状の測定が行われている。
 例えば、位相Xの縞状パターン光と、位相Yの縞状パターン光と、位相Zの縞状パターン光とを交互に被写体に照射する。位相X、Y、Zの縞状パターン光は、縦縞のパターンを120°(2π/3)ずつ位相シフトしている。この場合には、各縞状パターン光に基づいて得られる3種類の画像を用いて、被写体の3次元形状を測定する。例えば、図109に示すように、位相Xの縞状パターン光と、位相Yの縞状パターン光と、位相Zの縞状パターン光とを、それぞれ1フレーム単位(又は数フレーム単位)で切り替えて被写体に照射することが好ましい。なお、照明光は常時被写体に照射することが好ましい。
 なお、計測光については、被写体に照射された場合に、図110に示すように、格子状のパターンとして形成される格子状パターンの計測光LPLを用いてもよい(例えば、特開2017-217215号公報参照)。この場合は、格子状パターンの計測光LPLを被写体に照射した場合の格子状パターンの変形状態によって被写体の3次元形状を測定することから、格子状パターンを正確に検出することが求められる。そのため、格子状パターンの計測光LPLは完全な格子状ではなく、格子状パターンの検出精度を高めるように、波状にするなど格子状から若干変形させている。また、格子状のパターンには、左右の横線分の端点が連続であることを示すSのコードが設けられている。格子状パターンの検出時には、パターンだけでなく、Sのコードも合わせて検出することによって、パターンの検出精度を高めている。なお、格子状パターンとしては、縦線と横線が規則的に配列されたパターンの他、複数のスポットが縦と横に格子状に配列されたパターンであってもよい。
 計測光として格子状パターンの計測光LPLを用いる場合においては、測長モード中に、照明光と格子状パターンの計測光LPLを常時被写体に照射してもよく、また、図111に示すように、照明光は常時被写体に照射する一方で、格子状パターンの計測光LPLは1フレーム毎(又は数フレーム毎)に、点灯と消灯(又は減光)を繰り返すことによって、格子状パターンの計測光LPLを間欠的に被写体に照射してもよい。この場合には、格子状パターンの計測光LPLを点灯するフレームにおいて、格子状パターンの計測光LPLに基づく3次元形状の計測を行う。そして、照明光のみを照射するフレームにおいて得られた画像に対して、3次元形状の計測結果を重畳表示することが好ましい。
 なお、計測光については、図112示すように、被写体画像上において網線によって表される3次元平面光TPLを用いてもよい(例えば、特表2017-508529号公報参照)。この場合には、3次元平面光TPLが測定対象に合うように先端部12dを動かす。そして、3次元平面光TPLが測定対象に交差した場合に、3次元平行光TPLと被写体との交差曲線CCの距離を、ユーザーインターフェース等の手動操作に基づく処理又は自動処理によって、算出する。
 計測光として3次元平面光TPLを用いる場合においては、測長モード中に、照明光と3次元平面光TPLを常時被写体に照射してもよく、また、図113に示すように、照明光は常時被写体に照射する一方で、3次元平面光TPLは1フレーム毎(又は数フレーム毎)に、点灯と消灯(又は減光)を繰り返すことによって、3次元平面光TPLを間欠的に被写体に照射してもよい。
 上記実施形態において、受信部38、信号処理部39、表示制御部40、システム制御部41、静止画保存部42、データ送受信部43、データ送受信部44、信号処理部45、表示制御部46(これら制御部等に設けられた各種の制御部又は処理部を含む(例えば、測長モード制御部50、第1信号処理部59等))といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12f 観察モード切替スイッチ
12g 静止画取得指示スイッチ
12h ズーム操作部
13 光源装置
14 プロセッサ装置
15 ディスプレイ
16 ユーザーインターフェース
17 拡張プロセッサ装置
18 拡張ディスプレイ
18a 付帯情報表示領域
18b 観察画像表示領域
19 バルーン
19a 先端部
19b 基端部
19c 膨出部
20a、20b リング
21 撮像光学系
21a 対物レンズ
21b ズームレンズ
21c 先端面
22 照明光学系
22a 照明レンズ
22b 先端面
23 計測光出射部
23a 光源
23b DOE
23c プリズム
24 開口
25 送気送水ノズル
25a 噴射筒部
25b 噴射口
26 腸管
27 先端キャップ
27a、27b、27c、27d 貫通孔
28 先端面
28a、28b 平面
30 光源部
31 光源用プロセッサ
32 撮像素子
33 撮像制御部
34 CDS/AGC回路
35 A/D変換器
36 通信I/F
37 通信I/F
38 受信部
39 信号処理部
40 表示制御部
41 システム制御部
42 静止画保存部
43 データ送受信部
44 データ送受信部
45 信号処理部
46 表示制御部
47 計測光出射部用収納部
48 透明蓋
49 プリズム
50 測長モード制御部
53 明るさ情報算出部
54 照明光光量レベル設定部
55 第1発光制御用テーブル
56 第2発光制御用テーブル
57 立ち上がり線
58 斜め線
59 第1信号処理部
60 第2信号処理部
61 照射位置検出部
62 スケール用テーブル
64 テーブル更新部
66 代表点データテーブル
67 交差ライン
68 目盛り
69 位置特定部
70 計測情報処理部
71 計測情報
72 位置特定部
73 画像加工部
74 ノイズ成分除去部
75 色情報変換部
76 二値化処理部
77 マスク画像生成部
78 除去部
79 計測光の色情報
80 ノイズ成分の色情報
81 ノイズ成分の領域
82 画像選択部
83 スケール用テーブル
84 第1信号処理部
85 第2信号処理部
86 マスク処理部
87 二値化処理部
88 ノイズ成分除去部
89 照射位置検出部
90 照射領域認識部
91 学習モデル
92 位置特定部
93 画像加工部
94 距離算出部
95 画像選択部
97 オフセット設定部
98 オフセット距離算出部
99 オフセット用仮想スケール生成部
100 ポリープ
100a 頂部
100b 平坦部
101 延長面
101X 実線
102、103 平行面
102X 点線
104 画像加工部
105 仮想スケール設定部
106 仮想スケール切替受付部
107 測長画像作成部
108 ポリープ
109 撮像画像
110 影
111、112 仮想スケール
111a 目盛りラベル
113、114 撮像画像
115 仮想スケール
116 目盛り
116a 目盛りラベル
116b 目盛りラベル
118 仮想スケール
118a 目盛りラベル
119 仮想スケール
119a 目盛りラベル
120 基準スケール設定部
121 計測値スケール生成部
121a 基準スケール用テーブル
122 測長画像生成部
123 ポリープ
124 撮像画像
125 注目領域抽出部
126 計測部分決定部
127 計測内容受付部
128 計測値算出部
129 注目領域
130 水平方向エッジ位置
131 基準スケール
132 計測値スケール
133 測長画像
135 病変認識部
136 診断情報取得部
137 学習部
138 診断情報管理装置
140 測長対応内視鏡可否判断部
141 計測光ON、OFF切替部
142 測長画像表示設定ON、OFF切替部
143 測長機能稼働状況表示ON、OFF切替部
144 仮想スケール表示切替制御部
146 スケール表示中アイコン
147 仮想スケール
147a、147b、147c 仮想スケール
148 スケール非表示中アイコン
149 切替前画像表示設定保存部
200 キャリブレーション装置
201 キャリブレーション用ディスプレイ
202 移動機構
204 キャリブレーション用表示制御部
206 キャリブ画像取得部
208 キャリブレーション部
210 キャリブ画像処理装置
300 検査システム
302 テストチャート
304 移動機構部
305 チャート本体
306 検査領域部
306a、306b、306c 検査領域
308 検査基準位置
Aa、Ba ピクセル数
Ax 光軸
BLC バルーン制御装置
BF 青色のカラーフィルタ
CL1 第1特徴線
CL2 第2特徴線
CC 交差曲線
CR1 白色中心領域
D1 第1方向
D2 第2方向
D3 第3方向
D5 距離
D6 オフセット距離
DS1 回折スポット
DT 間隔
EP 測定点
G1、G2、G3 隙間
GF 緑色のカラーフィルタ
HT1、HT2 高さ
LG ライトガイド
Ls、Lt ライン
Lm 計測光
Lx1、Lx2 X方向ピクセル数
Ly1、Ly2 Y方向ピクセル数
LPL 格子状パターンの計測光
M 円形の仮想スケール
M1、M2、M3 十字型の仮想スケール
M11、M12、M13、M14、M15 仮想スケール
M21、M22、M23 仮想スケール
M41、M42、M43 仮想スケール
M4A、M4B、M4C、M5A、M5B、M5C 円状のマーカ
M51、M52、M53 仮想スケール
M6A、M6B、M6C 歪曲同心円状の仮想スケール
MN、MF 十字の仮想スケール
MpN、Mp、MpF 円形の仮想スケール
MT 移動軌跡
Mx 目盛り
Mxm 仮想スケール
N1 第1ノイズ成分
N2 第2ノイズ成分
P ポリープ
P1、P2、P3 位置
Px 近端
Py 中央付近
Pz 遠端
RP、PRx 赤色画像
PRy 二値化赤色画像
GP、PGx 緑色画像
PGy 二値化緑色画像
BP、PBx 青色画像
PBy 二値化青色画像
PD1 第1差分画像
Qx、Qy、Qz 矢印
QN 歪曲格子領域
RP、RP 代表点
RF 赤色のカラーフィルタ
SCC 特定交差曲線
SP スポット
SP1、SP2、SP3、SP4、SP5 スポット
SPk1 第1スポット
SPk2 第2スポット
SQ 正方格子領域
SR1 周辺領域
tm、tm1、tm2、tm3、tm4、tm5 腫瘍
TPL 3次元平面光
W11、W12、W13、W14、W15 幅
W21、W22、W23 幅
Wx 照射位置移動可能範囲
WMB 計測光の波長域
ZPL 縞状パターン光
 
 

Claims (10)

  1.  内視鏡と、
     画像制御用プロセッサを有するプロセッサ装置を備え、
     前記画像制御用プロセッサは、
     内視鏡が前記プロセッサ装置に接続された場合に、前記内視鏡が測長対応内視鏡であるか否かを判断し、
     前記内視鏡が前記測長対応内視鏡である場合に、測長モードへの切り替えを有効化する内視鏡システム。
  2.  前記内視鏡が前記測長対応内視鏡である場合には、内視鏡は計測光の照射が可能であり、前記計測光に基づく仮想スケールを表示する測長画像をディスプレイに表示することが可能であり、
     前記画像制御用プロセッサは、
     前記測長モードへの切り替えが有効化された状態において、前記測長モードへの切り替え操作によって、前記計測光のON又はOFFの切替、前記測長画像に関する測長画像表示設定のON又はOFFの切替、前記仮想スケールが前記ディスプレイで表示中であることを示す測長機能稼働状況表示のON又はOFFの切替、及び、前記仮想スケールの表示のON、OFF、又は表示態様変更の切替のうちの少なくともいずれかを行う請求項1記載の内視鏡システム。
  3.  前記画像制御用プロセッサは、
     前記測長モードへの切り替え操作により、前記計測光をON、前記測長画像表示設定をON、前記測長機能稼働状況表示をON、及び、前記仮想スケールの表示をONに切り替える請求項2記載の内視鏡システム。
  4.  前記画像制御用プロセッサは、
     前記測長モードへの切り替え操作において、モード切替時条件を満たしていない場合には、前記計測光をON、前記測長画像表示設定をON、前記測長機能稼働状況表示をON、及び、前記仮想スケールの表示をONに切り替えることを禁止する請求項3記載の内視鏡システム。
  5.  前記測長機能稼働状況表示をONに切り替えることを禁止する代わりに、前記仮想スケールが表示中でないことを示す測長機能稼働状況不可表示をONにする請求項4記載の内視鏡システム。
  6.  前記画像制御用プロセッサは、
     前記測長画像表示設定をONにする場合には、前記測長モードへの切替前の画像表示設定を保存する請求項3記載の内視鏡システム。
  7.  前記仮想スケールの表示態様変更は、複数のスケールパターンの中からの選択によって行われる請求項3記載の内視鏡システム。
  8.  前記画像制御用プロセッサは、
     前記測長モードから他のモードへの切り替え操作により、前記計測光をOFF、前記測長画像表示設定をOFF、前記測長機能稼働状況表示をOFF、及び、前記仮想スケールの表示をOFFに切り替える請求項2記載の内視鏡システム。
  9.  前記画像制御用プロセッサは、
     前記測長画像表示設定をOFFにする場合には、前記測長モードへの切替前に保存した画像表示設定に切り替える請求項2又は8記載の内視鏡システム。
  10.  内視鏡、及び、画像制御用プロセッサを有するプロセッサ装置を備える内視鏡システムの作動方法において、
     前記画像制御用プロセッサは、
     内視鏡が前記プロセッサ装置に接続された場合に、前記内視鏡が測長対応内視鏡であるか否かを判断し、
     前記内視鏡が前記測長対応内視鏡である場合に、測長モードへの切り替えを有効化する内視鏡システムの作動方法。
     
PCT/JP2021/008993 2020-09-02 2021-03-08 内視鏡システム及びその作動方法 WO2022049807A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21863868.2A EP4209821A4 (en) 2020-09-02 2021-03-08 ENDOSCOPE SYSTEM AND METHOD OF OPERATION THEREOF
JP2022546878A JPWO2022049807A1 (ja) 2020-09-02 2021-03-08
CN202180053946.2A CN116171398A (zh) 2020-09-02 2021-03-08 内窥镜系统及其工作方法
US18/177,537 US20230200682A1 (en) 2020-09-02 2023-03-02 Endoscope system and method of operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020147691 2020-09-02
JP2020-147691 2020-09-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/177,537 Continuation US20230200682A1 (en) 2020-09-02 2023-03-02 Endoscope system and method of operating the same

Publications (1)

Publication Number Publication Date
WO2022049807A1 true WO2022049807A1 (ja) 2022-03-10

Family

ID=80490833

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008993 WO2022049807A1 (ja) 2020-09-02 2021-03-08 内視鏡システム及びその作動方法

Country Status (5)

Country Link
US (1) US20230200682A1 (ja)
EP (1) EP4209821A4 (ja)
JP (1) JPWO2022049807A1 (ja)
CN (1) CN116171398A (ja)
WO (1) WO2022049807A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006187427A (ja) * 2005-01-05 2006-07-20 Pentax Corp 電子内視鏡システム
JP2011031026A (ja) * 2009-07-31 2011-02-17 Karl Storz Imaging Inc ワイヤレスカメラ接続
JP2016054842A (ja) * 2014-09-08 2016-04-21 オリンパス株式会社 内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラム
JP2016198304A (ja) 2015-04-10 2016-12-01 オリンパス株式会社 内視鏡システム
WO2017047321A1 (ja) * 2015-09-18 2017-03-23 オリンパス株式会社 信号処理装置
JP2017508529A (ja) 2014-03-02 2017-03-30 ブイ.ティー.エム.(バーチャル テープ メジャー)テクノロジーズ リミテッド 内視鏡測定システム及び方法
JP2017217215A (ja) 2016-06-07 2017-12-14 公立大学法人広島市立大学 3次元形状計測装置及び3次元形状計測方法
WO2018051680A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
JP2020014807A (ja) * 2018-07-27 2020-01-30 富士フイルム株式会社 内視鏡装置及びその作動方法並び内視鏡装置用プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107405059B (zh) * 2015-06-26 2019-05-28 奥林巴斯株式会社 内窥镜电源供给系统
EP3513703B1 (en) * 2016-09-15 2021-04-28 FUJIFILM Corporation Measurement support device, endoscope system, and endoscope processor for endoscope system
WO2019017018A1 (ja) * 2017-07-18 2019-01-24 富士フイルム株式会社 内視鏡装置及び計測支援方法
JP7115897B2 (ja) * 2018-04-20 2022-08-09 富士フイルム株式会社 内視鏡装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006187427A (ja) * 2005-01-05 2006-07-20 Pentax Corp 電子内視鏡システム
JP2011031026A (ja) * 2009-07-31 2011-02-17 Karl Storz Imaging Inc ワイヤレスカメラ接続
JP2017508529A (ja) 2014-03-02 2017-03-30 ブイ.ティー.エム.(バーチャル テープ メジャー)テクノロジーズ リミテッド 内視鏡測定システム及び方法
JP2016054842A (ja) * 2014-09-08 2016-04-21 オリンパス株式会社 内視鏡画像表示装置、内視鏡画像表示方法及び内視鏡画像表示プログラム
JP2016198304A (ja) 2015-04-10 2016-12-01 オリンパス株式会社 内視鏡システム
WO2017047321A1 (ja) * 2015-09-18 2017-03-23 オリンパス株式会社 信号処理装置
JP2017217215A (ja) 2016-06-07 2017-12-14 公立大学法人広島市立大学 3次元形状計測装置及び3次元形状計測方法
WO2018051680A1 (ja) 2016-09-15 2018-03-22 富士フイルム株式会社 内視鏡システム
JP2020014807A (ja) * 2018-07-27 2020-01-30 富士フイルム株式会社 内視鏡装置及びその作動方法並び内視鏡装置用プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4209821A4

Also Published As

Publication number Publication date
EP4209821A4 (en) 2024-02-21
EP4209821A1 (en) 2023-07-12
CN116171398A (zh) 2023-05-26
US20230200682A1 (en) 2023-06-29
JPWO2022049807A1 (ja) 2022-03-10

Similar Documents

Publication Publication Date Title
JP6785941B2 (ja) 内視鏡システム及びその作動方法
JP6360260B2 (ja) 受動マーカーに基づく光学追跡方法およびシステム
JP6692440B2 (ja) 内視鏡システム
CN105705075B (zh) 图像处理装置及其工作方法
WO2023103467A1 (zh) 图像处理方法、装置及设备
JP7115897B2 (ja) 内視鏡装置
JP7278202B2 (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
JP6005278B2 (ja) 特に透過性かつ散乱性の表面における三次元測定のためのカラーコーディング
CN106714651B (zh) 评价值计算装置以及电子内窥镜系统
JP2012143340A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7116264B2 (ja) 内視鏡システム及びその作動方法
WO2022049807A1 (ja) 内視鏡システム及びその作動方法
JP7029359B2 (ja) 内視鏡装置及びその作動方法並び内視鏡装置用プログラム
JPWO2021029277A5 (ja)
CN108498079A (zh) 荧光污染环境中血管、淋巴管及淋巴结的识别方法及设备
WO2022049806A1 (ja) キャリブレーション装置及び方法
JP7167352B2 (ja) 内視鏡システム及びその作動方法
JP7214840B2 (ja) 内視鏡、内視鏡装置
WO2021044590A1 (ja) 内視鏡システム、処理システム、内視鏡システムの作動方法及び画像処理プログラム
US20220378276A1 (en) Endoscopy service support device, endoscopy service support system, and method of operating endoscopy service support device
JPWO2022049807A5 (ja)
JP7447249B2 (ja) テストチャート、検査システム、及び検査方法
WO2021149120A1 (ja) 学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラム
JP2020151250A (ja) 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
JPWO2020153186A1 (ja) 内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21863868

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022546878

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021863868

Country of ref document: EP

Effective date: 20230403