WO2018051679A1 - 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 - Google Patents

計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 Download PDF

Info

Publication number
WO2018051679A1
WO2018051679A1 PCT/JP2017/028644 JP2017028644W WO2018051679A1 WO 2018051679 A1 WO2018051679 A1 WO 2018051679A1 JP 2017028644 W JP2017028644 W JP 2017028644W WO 2018051679 A1 WO2018051679 A1 WO 2018051679A1
Authority
WO
WIPO (PCT)
Prior art keywords
measurement
spot
optical axis
image
imaging
Prior art date
Application number
PCT/JP2017/028644
Other languages
English (en)
French (fr)
Inventor
慎一郎 園田
岳一 龍田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP17850585.5A priority Critical patent/EP3513703B1/en
Priority to JP2018539568A priority patent/JP6964592B2/ja
Publication of WO2018051679A1 publication Critical patent/WO2018051679A1/ja
Priority to US16/297,734 priority patent/US11536556B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233Special features of optical sensors or probes classified in A61B5/00
    • A61B2562/0242Special features of optical sensors or probes classified in A61B5/00 for varying or adjusting the optical path length in the tissue

Definitions

  • the present invention relates to a measurement support apparatus, an endoscope system, a processor of an endoscope system, and a measurement support method, and in particular, a measurement support apparatus that measures the size of a subject using measurement auxiliary light, an endoscope system,
  • the present invention relates to an endoscope system processor and a measurement support method.
  • the distance to the subject is measured and the length and size of the subject are calculated.
  • a subject distance is measured with a stereo camera, and the size of a mark serving as a measure of the size of the subject is calculated based on the subject distance and the viewing angle of the endoscope. Display is described, and the size of the subject can be known from this mark.
  • Patent Document 2 describes a technique for obtaining a subject distance using measurement auxiliary light.
  • the irradiated surface is observed by irradiating a laser beam from an optical fiber.
  • the subject distance can be known from the amount of deviation by calibrating the amount of deviation in advance. it can.
  • Patent Document 1 described above, two cameras are required to measure the distance with a stereo camera, and the endoscope tip becomes large, so the burden on the subject is large. Furthermore, since the distance measurement is performed and the size of the mark is calculated based on the result, the processing is complicated.
  • Patent Document 2 the technique described in Patent Document 2 is for distance measurement, and the processing is complicated and the length and size of the subject cannot be directly calculated. Furthermore, since the laser beam is irradiated parallel to the optical axis of the imaging optical system, when the observation distance is short (when the subject is located close to the distal end of the endoscope), the laser beam is in the field of view of the imaging optical system. There was a problem that it could not be measured. Furthermore, there is a problem that the sensitivity of the spot position change with respect to the subject distance change is low and the measurement accuracy is low. Furthermore, since the observation light is radiated as it is from the tip of the optical fiber, the beam spreads with the distance, and if the observation distance is long, the spot diameter becomes large and the spot is difficult to see and the measurement accuracy is reduced. There was a problem.
  • the conventional technique cannot measure the size (length) of the subject easily and with high accuracy.
  • the present invention has been made in view of such circumstances, and provides a measurement support apparatus, an endoscope system, an endoscope system processor, and a measurement support method that can easily and accurately measure the size of a subject. For the purpose.
  • a measurement support apparatus includes a head including a collimator that emits a measurement auxiliary light emitted from a light source as a parallel light beam, and a measurement emitted from the head.
  • An imaging unit that acquires an image of a subject on which a spot is formed by auxiliary light via an imaging optical system and an imaging device, a measurement unit that measures the position of the spot on the imaging device based on the image of the subject, and imaging of the spot
  • a storage unit that stores information indicating the relationship between the position on the element and the actual size of the subject, and information indicating the relationship is acquired from the storage unit based on the measured spot position, and the actual size is determined based on the acquired information.
  • a marker generating unit that generates a marker to be displayed, and a display control unit that displays an image of the subject on which the spot is formed and the marker on the display device, and A display control unit that displays a marker near the head, and the head has an inclination angle that is not 0 degree with respect to the optical axis of the imaging optical system when the optical axis is projected onto a plane including the optical axis of the imaging optical system. Then, measurement auxiliary light that crosses the angle of view of the imaging optical system is emitted.
  • the specific value of “actual size” can be set according to conditions such as the type of subject and the purpose of measurement.
  • the measurement auxiliary light is collimated light
  • the beam diameter and the spot diameter are small, marking on the subject (object to be measured) is easy, and the position measurement accuracy is high. Furthermore, even when the observation distance is long, there is almost no spread of the beam, and highly accurate measurement can be performed.
  • the position of the spot is measured, the information stored in the storage unit is acquired based on the measurement result, and the marker is generated and displayed, there is no need for distance measurement as in Patent Documents 1 and 2 described above, The device configuration is simple and measurement is easy.
  • the optical axis of the measurement auxiliary light has a tilt angle that is not 0 degrees with respect to the optical axis of the imaging optical system when projected onto a plane including the optical axis of the imaging optical system, and crosses the angle of view of the imaging optical system.
  • the measurement auxiliary light can enter the field of view of the imaging optical system even when the observation distance is short.
  • the optical axis of the measurement auxiliary light has a tilt angle other than 0 degrees with respect to the optical axis of the imaging optical system when projected onto a plane including the optical axis of the imaging optical system, the position change of the spot with respect to the change of the observation distance High sensitivity and high measurement accuracy.
  • the measurement support device can easily and accurately measure the size of the subject.
  • the “information indicating the relationship between the dimension of the subject on the image sensor and the actual size of the subject” is obtained by, for example, photographing a measurement figure in which a pattern corresponding to the actual size is regularly recorded. Can be acquired.
  • the marker is displayed near the spot, but the marker center may be displayed in alignment with the center of the spot, or the marker may be displayed at a position away from the spot.
  • laser light, LED light, or the like can be used as measurement auxiliary light.
  • the optical axis of the measurement auxiliary light emitted from the head is in a plane (a plane including the optical axis of the imaging optical system).
  • the second aspect defines one aspect of the relationship between the optical axis direction of the imaging optical system and the optical axis direction of the measurement auxiliary light, and the optical axis of the imaging optical system and the optical axis of the measurement auxiliary light are the same. Since the marker trajectory passes through the center of the screen on the plane, the area where the marker exists near the center of the screen is widened and the measurement accuracy is improved.
  • the optical axis of the measurement auxiliary light emitted from the head is an optical axis of the imaging optical system in a plane (a plane including the optical axis of the imaging optical system). Intersect.
  • the relationship between the direction of the optical axis of the imaging optical system and the direction of the optical axis of the measurement auxiliary light is further specifically defined. Easy. In the third aspect, it is preferable to set the inclination angle so that the intersection position of the optical axes is between the near end and the far end of the observation distance range.
  • the measurement support device is an optical member that changes the emission direction of the measurement auxiliary light emitted from the collimator, and the head emits the light. And an optical member that changes an emission direction of the measurement auxiliary light so that an angle formed by a plane between the optical axis of the measurement auxiliary light and the optical axis of the imaging optical system is an inclination angle.
  • the head since the emission direction of the measurement auxiliary light is changed by the optical member, the head can be arranged straight (in parallel with the optical axis of the imaging optical system), and the tip portion of the measurement support device can be reduced in size. (Can be reduced in diameter).
  • the optical member is a prism member having an apex angle corresponding to the tilt angle.
  • the fifth aspect defines one aspect of the optical member that changes the emission direction of the measurement auxiliary light.
  • the measurement support apparatus includes an optical fiber that propagates the measurement auxiliary light emitted from the light source to the collimator in a single transverse mode. According to the sixth aspect, since the optical fiber propagates the measurement auxiliary light in the single transverse mode, it is possible to form a clear spot with a small diameter, thereby enabling highly accurate measurement.
  • the measurement support device is the graded index type lens according to any one of the first to sixth aspects, wherein the collimator has a refractive index that is highest on the optical axis and decreases radially outward.
  • the module that emits the measurement auxiliary light can be reduced in size (thinner diameter).
  • the measurement support apparatus is the measurement support apparatus according to any one of the first to seventh aspects, wherein the collimator is a graded index optical fiber having a refractive index that is highest on the optical axis and decreases radially outward. .
  • the collimator is a graded index type optical fiber (graded index fiber)
  • the module that emits the measurement auxiliary light can be reduced in size (thinned).
  • the measurement support apparatus has an inclination angle of 1.1 degrees or more and 50.2 degrees when the optical axis of the measurement auxiliary light is projected onto a plane. It is as follows. If the tilt angle is within the range defined in the ninth aspect, the intersection position of the optical axis of the imaging optical system and the optical axis of the measurement auxiliary light is between the near end and the far end of the observation distance range (near end and far end). Therefore, measurement can be performed with high accuracy in the center of the image with little influence of distortion of the imaging optical system.
  • the inclination angle is more preferably 10.5 degrees or more and 50.2 degrees or less. This is because if the tilt angle is within this range, measurement can be performed at a portion closer to the center of the image, and highly accurate measurement can be performed.
  • an endoscope system includes the measurement support apparatus according to any one of the first to ninth aspects.
  • the measurement support device since the measurement support device according to any one of the first to ninth aspects is provided, the size of the subject can be measured easily and with high accuracy.
  • the endoscope system is the insertion part to be inserted into the subject in the tenth aspect, the distal end hard part, and a bending part connected to the proximal end side of the distal end hard part,
  • An endoscope having an insertion portion having a flexible portion connected to the proximal end side of the bending portion and an operation portion connected to the proximal end side of the insertion portion, and taking a collimator and an optical image of the spot
  • An imaging lens that forms an image on the element is provided at the hard tip portion.
  • the eleventh aspect defines one aspect of the configuration of the distal end hard portion of the endoscope.
  • An endoscope system includes, in the tenth or eleventh aspect, an illumination light source that irradiates illumination light, and a control unit that controls the illuminance of the illumination light.
  • an illumination light source that irradiates illumination light
  • a control unit that controls the illuminance of the illumination light.
  • the control unit lowers the illuminance of the illumination light in the measurement mode in which the image of the spot is acquired by the imaging unit than in the normal observation mode in which the subject is irradiated with the illumination light to observe the subject. It is possible to take a clear image of this, and thereby it is possible to perform highly accurate measurement.
  • how much the illuminance of the illumination light is lowered in the measurement mode may be set according to the type, size, brightness, etc. of the subject, and the illumination light may be turned off as necessary. .
  • An endoscope system is the endoscope system according to any one of the tenth to twelfth aspects, wherein the imaging element is arranged in a plurality of pixels including a plurality of light receiving elements arranged two-dimensionally and in the plurality of pixels.
  • a color imaging device including a plurality of filter color filters, and the measurement unit includes a filter color filter having the highest sensitivity to the wavelength of the measurement auxiliary light among the plurality of filter colors. The position of the spot on the image sensor is measured based on the image generated from the image signal of the pixel.
  • a spot imaging device based on an image generated from an image signal of a pixel provided with a color filter having a filter color with the highest sensitivity to the wavelength of the measurement auxiliary light among the plurality of filter colors Since the upper position is measured, an image with a clear spot can be picked up, so that highly accurate measurement can be performed.
  • a processor is a processor of an endoscope system according to any one of the tenth to thirteenth aspects, and is a light source drive that drives a light source.
  • the fourteenth aspect it is possible to easily and accurately measure the size of the subject as in the first aspect.
  • the light source of the measurement auxiliary light is disposed in, for example, the scope (the hand operation unit of the endoscope) and mounted on the electric circuit board unit of the scope, and according to the electric signal from the processor (light source driving unit). Lighting, extinguishing, and light intensity are controlled.
  • the processor according to the fifteenth aspect is the laser drive part that drives the laser light source.
  • a measurement support method provides a head including a collimator that emits measurement auxiliary light emitted from a light source as a parallel light beam, and a spot formed by the measurement auxiliary light.
  • Measurement support comprising: an imaging unit that acquires an image of a captured subject via an imaging optical system and an imaging device; and a storage unit that stores information indicating a relationship between the position of the spot on the imaging device and the actual size of the subject
  • a measurement support method using an apparatus wherein an optical axis of measurement auxiliary light emitted from a head is tilted at a non-zero degree with respect to an optical axis of an imaging optical system when projected onto a plane including the optical axis of the imaging optical system
  • An auxiliary light emitting step for emitting measurement auxiliary light so as to have a corner; an imaging step for obtaining an image of a subject on which a spot is formed by the measurement auxiliary light through an imaging unit; and an imaging element based on the image of the subject
  • the size of a subject can be measured easily and with high accuracy.
  • FIG. 1 is a diagram showing an overall configuration of an endoscope system according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of the endoscope system according to the first embodiment of the present invention.
  • FIG. 3 is a diagram showing the configuration of the end surface on the front end side of the hard end portion.
  • FIG. 4 is a diagram showing another configuration of the distal end side end surface of the distal end hard portion.
  • FIG. 5 is a diagram showing the configuration of the laser module.
  • FIG. 6 is a cross-sectional view showing the configuration of the laser light source module.
  • FIG. 7 is a diagram illustrating the relationship between the optical axis of the imaging optical system and the optical axis of the measurement auxiliary light.
  • FIG. 1 is a diagram showing an overall configuration of an endoscope system according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of the endoscope system according to the first embodiment of the present invention.
  • FIG. 3 is
  • FIG. 8 is another diagram showing the relationship between the optical axis of the imaging optical system and the optical axis of the measurement auxiliary light.
  • FIG. 9 is another diagram showing the relationship between the optical axis of the imaging optical system and the optical axis of the measurement auxiliary light.
  • FIG. 10 is a diagram illustrating a state where the insertion portion of the endoscope is inserted into the subject.
  • FIG. 11 is a flowchart showing processing of the measurement support method.
  • FIG. 12 is a diagram illustrating a state in which the optical axis of the measurement auxiliary light crosses the imaging field angle of the imaging optical system.
  • FIG. 13 is a diagram illustrating how the spot position changes depending on the shooting distance.
  • FIG. 14 is another diagram showing how the spot position changes depending on the shooting distance.
  • FIG. 15 is a diagram illustrating the relationship between the wavelength and the sensitivity of the color filter.
  • FIG. 16 is a diagram showing a state in which spots and markers are displayed when the observation distance is near the near end.
  • FIG. 17 is a diagram illustrating a state in which spots and markers are displayed when the observation distance is near the center of the observable range.
  • FIG. 18 is a diagram showing a state in which spots and markers are displayed when the observation distance is near the far end.
  • FIG. 19 is a diagram illustrating a state in which spots and deformed markers are displayed when the observation distance is near the near end.
  • FIG. 20 is a diagram illustrating a state in which spots and deformed markers are displayed when the observation distance is near the far end.
  • FIG. 21 is a diagram illustrating a state in which the relationship between the spot position and the marker size is measured.
  • FIG. 22 is another diagram showing a state in which the relationship between the spot position and the marker size is measured.
  • FIG. 23 is a diagram illustrating the relationship between the X-direction pixel position of the spot and the number of pixels in the X-axis direction of the marker.
  • FIG. 24 is a diagram illustrating the relationship between the Y-direction pixel position of the spot and the number of pixels in the X-axis direction of the marker.
  • FIG. 25 is a diagram illustrating the relationship between the X-direction pixel position of the spot and the number of pixels in the Y-axis direction of the marker.
  • FIG. 26 is a diagram illustrating the relationship between the Y-direction pixel position of the spot and the number of pixels in the Y-axis direction of the marker.
  • FIG. 27 is a diagram showing parameter definitions in the embodiment of the present invention.
  • FIG. 28 is another diagram showing parameter definitions in the embodiment of the present invention.
  • FIG. 29 is a table showing the evaluation results of Examples and Comparative Examples of the present invention.
  • FIG. 30 is a diagram showing a configuration of a laser module according to the fourth embodiment of the present invention.
  • FIG. 31 is a diagram showing a configuration of a laser module according to the fifth embodiment of the present invention.
  • FIG. 32 is a diagram showing a state of changing the emission angle of the measurement auxiliary light by the mirror.
  • FIG. 33 is a diagram illustrating a state in which the laser head is disposed obliquely with respect to the imaging optical system.
  • FIG. 34 is another flowchart showing the process of the measurement support method.
  • FIG. 1 is an external view showing an endoscope system 10 (measurement support apparatus, endoscope system, endoscope system processor) according to the first embodiment, and FIG. It is a block diagram which shows a part structure.
  • the endoscope system 10 includes an endoscope body 110 (endoscope), an endoscope processor 200 (processor of the endoscope system), a light source device 300, and a monitor 400.
  • the endoscope apparatus 100 is included.
  • the endoscope main body 110 includes a hand operation unit 102 (operation unit) and an insertion unit 104 (insertion unit) provided continuously to the hand operation unit 102.
  • the operator grasps and operates the hand operation unit 102, and inserts the insertion unit 104 into the body of the subject to perform observation.
  • the insertion unit 104 includes a soft part 112 (soft part), a bending part 114 (curving part), and a hard tip part 116 (hard tip part) in this order from the hand operation part 102 side.
  • the distal end hard part 116 is provided with an imaging optical system 130 (imaging part), an illumination part 123, a forceps port 126, a laser module 500, and the like (see FIGS. 1 to 3).
  • either or both visible light and infrared light can be emitted from the illumination lenses 123A and 123B of the illumination unit 123 by operating the operation unit 208 (see FIG. 2).
  • cleaning water is discharged from a water supply nozzle (not shown), and the imaging lens 132 (imaging lens) of the imaging optical system 130 and the illumination lenses 123A and 123B can be cleaned.
  • An unillustrated conduit is connected to the forceps port 126 opened at the distal end hard portion 116, and a treatment tool (not shown) for tumor removal or the like is inserted into the conduit, and is appropriately advanced and retracted to the subject. Necessary measures can be taken.
  • an imaging lens 132 is disposed on the distal end surface 116A of the distal rigid portion 116, and a CMOS (Complementary Metal Oxide ⁇ ⁇ Semiconductor) type imaging device 134 is disposed behind the imaging lens 132.
  • CMOS Complementary Metal Oxide ⁇ ⁇ Semiconductor
  • the image sensor 134 is a color image sensor, and is arranged in a matrix (two-dimensional array) with a specific pattern arrangement (Bayer arrangement, G stripe R / B complete checkerboard, X-Trans (registered trademark) arrangement, honeycomb arrangement, etc.).
  • each pixel includes a plurality of pixels including a plurality of light receiving elements, and each pixel includes a microlens, a red (R), green (G), or blue (B) color filter and a photoelectric conversion unit (such as a photodiode). It is out.
  • the imaging optical system 130 can generate a color image from pixel signals of three colors of red, green, and blue, and can generate an image from pixel signals of any one or two colors of red, green, and blue. You can also.
  • the image sensor 134 is a CMOS image sensor.
  • the image sensor 134 may be a CCD (Charge Coupled Device) type.
  • An image of a subject (tumor part, lesion part) and an optical image of a spot (described later) are imaged on the light receiving surface (imaging surface) of the image sensor 134 by the imaging lens 132 and converted into an electrical signal.
  • the signal is output to the endoscope processor 200 via a cable and converted into a video signal.
  • an observation image or the like is displayed on the monitor 400 connected to the endoscope processor 200.
  • illumination lenses 123A (for visible light) and 123B (for infrared light) of the illumination unit 123 are provided adjacent to the imaging lens 132.
  • the light guide 170 is inserted into the insertion unit 104, the hand operation unit 102, and the universal cable 106.
  • the incident end is disposed in the light guide connector 108.
  • the front end surface 116A is further provided with a laser head 506 (head) of the laser module 500, and is irradiated with spot light (measurement auxiliary light) via a prism 512 (prism member).
  • the laser head 506 is provided separately from the forceps port 126 as shown in FIG. 3, but in the measurement support apparatus and the endoscope system according to the present invention, as shown in FIG.
  • the laser head 506 may be inserted in a duct (not shown) communicating with the forceps port 126 opened at the distal end hard portion 116 so that the laser head 506 can be inserted and removed. In this case, there is no need to provide a dedicated pipeline for the laser head 506, and the pipeline communicating with the forceps port 126 can be shared with other treatment tools.
  • the laser module 500 includes a laser light source module 502 (light source, laser light source), an optical fiber 504 (optical fiber), and a laser head 506 (head).
  • the proximal end side (laser light source module 502 side) of the optical fiber 504 is covered with a fiber sheath 501, and the distal end side (side emitting laser light) is inserted into a ferrule 508 and bonded with an adhesive, and the end surface is polished. Is done.
  • a GRIN (Graded Index) lens 510 (collimator, graded index lens) is attached to the distal end side of the ferrule 508, and a prism 512 is attached to the distal end side of the GRIN lens 510 to form a joined body.
  • the ferrule 508 is a member for holding and connecting the optical fiber 504, and a hole for inserting the optical fiber 504 is opened in the axial direction (left-right direction in FIG. 5) at the center.
  • a reinforcing material 507 is provided outside the ferrule 508 and the fiber sheath 501 to protect the optical fiber 504 and the like.
  • the ferrule 508, the GRIN lens 510, and the prism 512 are housed in a housing 509, and constitute a laser head 506 together with the reinforcing member 507 and the fiber outer shell 501.
  • a ferrule 508 having a diameter of 0.8 mm to 1.25 mm can be used.
  • the one having a small diameter is preferable.
  • the overall diameter of the laser head 506 can be 1.0 mm to 1.5 mm.
  • the laser module 500 configured as described above is attached to the insertion portion 104.
  • the laser light source module 502 is disposed in the hand operating unit 102 (scope) and mounted on the electric circuit board unit.
  • the laser head 506 is provided on the hard tip portion 116, and the optical fiber 504 guides the laser light from the laser light source module 502 to the laser head 506.
  • the laser light source module 502 may be provided in the light source device 300 and the laser light may be guided to the distal end hard portion 116 by the optical fiber 504.
  • the laser light source module 502 includes a VLD (Visible Laser Diode) that is supplied with power from a power source (not shown) and emits laser light in a visible wavelength region, and a condenser lens 503 that condenses the laser light emitted from the VLD. It is a pigtail type module (TOSA; Transmitter Optical Sub Assembly) provided (see FIG. 6).
  • the laser beam can be emitted as necessary under the control of the endoscope processor 200 (CPU 210), and is normally emitted when not emitting by emitting the laser beam only when measurement is performed by spot light irradiation (measurement mode). It can be used in the same manner as the endoscope (normal mode).
  • the laser light source module 502 is controlled to be turned on / off and light intensity in accordance with an electrical signal from the endoscope processor 200 (light source driving unit, laser driving unit).
  • the laser beam emitted from the VLD can be a red laser beam having a wavelength of 650 nm by a semiconductor laser.
  • the wavelength of the laser beam in the present invention is not limited to this mode.
  • the laser beam condensed by the condenser lens 503 is guided to the GRIN lens 510 by the optical fiber 504.
  • the optical fiber 504 is an optical fiber that propagates laser light in a single transverse mode, and can form a clear spot with a small diameter, so that the size of the subject can be accurately measured.
  • a relay connector may be provided in the middle of the optical fiber 504.
  • an optical fiber that propagates laser light in a multimode may be used as the optical fiber 504.
  • an LED Light-Emitting Diode
  • the semiconductor laser may be used in an LED emission state that is equal to or lower than an oscillation threshold.
  • the GRIN lens 510 is a cylindrical graded index lens (radial type) whose refractive index is the highest on the optical axis and decreases toward the outer side in the radial direction, and the incident laser light guided by the optical fiber 504 is made parallel. It functions as a collimator that emits a light beam.
  • the spread of the light beam emitted from the GRIN lens 510 can be adjusted by adjusting the length of the GRIN lens 510, and ( ⁇ / 4) pitch ( ⁇ is the wavelength of the laser light) to emit laser light of a parallel light beam. It should be about.
  • a prism 512 (an optical member or a prism member) is mounted on the front end side of the GRIN lens 510.
  • This prism 512 is an optical member for changing the emission direction of the measurement auxiliary light, and by changing the emission direction, when the optical axis of the measurement auxiliary light is projected onto a plane including the optical axis of the imaging optical system,
  • the optical axis of the measurement auxiliary light has a tilt angle that is not 0 degree with respect to the optical axis of the imaging optical system, and the measurement auxiliary light crosses the angle of view of the imaging optical system.
  • the prism 512 is formed in a size close to the lens diameter of the GRIN lens 510, and the apex angle AL1 corresponding to the inclination angle described above with the tip surface cut obliquely (see the examples described later for specific numerical values).
  • FIG. 7 is a diagram illustrating a state in which the distal end hard portion 116 according to the first embodiment is viewed from the front (subject side), and corresponds to the configuration of FIG. 3.
  • the optical axis L1 of the measurement auxiliary light and the optical axis L2 of the imaging optical system exist on the same plane and intersect on the same plane. Therefore, when the distal end hard portion 116 is viewed from the front (subject side), the optical axis L2 appears to pass on the optical axis L1 as shown in FIG.
  • FIG. 8 corresponds to the configuration of FIG. 4 and 8, the optical axis L1 of the measurement auxiliary light and the optical axis L2 of the imaging optical system exist on the same plane and intersect on the same plane.
  • optical axis L1 of the measurement auxiliary light and the optical axis L2 of the imaging optical system in the present invention is as described above.
  • the optical axis of the measurement auxiliary light and the optical axis of the imaging optical system exist on the same plane. It is not limited to the mode of “intersecting on the same plane”, and it does not have to exist on the same plane as the optical axis L2 of the imaging optical system like the optical axes L1A and L1B shown in FIG.
  • the optical axis of the measurement auxiliary light when the optical axis of the measurement auxiliary light is projected onto a plane including the optical axis of the imaging optical system, the optical axis of the measurement auxiliary light is not inclined at 0 degrees with respect to the optical axis of the imaging optical system. And crosses the angle of view of the imaging optical system.
  • the optical axis of the measurement auxiliary light is imaging optical depending on the interval between the optical axes.
  • the distance to the point that crosses the angle of view of the system becomes long, and in that case, it is difficult to measure the spot because the spot cannot be taken at a close distance.
  • the optical axis of the measurement auxiliary light is parallel to the optical axis of the imaging optical system, the sensitivity of the spot position change with respect to the change of the observation distance is low, and sufficient measurement accuracy may not be obtained.
  • the optical axis of the measurement auxiliary light is projected onto a plane including the optical axis of the imaging optical system, the optical axis of the measurement auxiliary light is 0 with respect to the optical axis of the imaging optical system.
  • the light source device 300 includes an illumination light source 310 (illumination light source), a diaphragm 330, a condenser lens 340, a light source control unit 350 (control unit), and the like.
  • Light or infrared light is incident on the light guide 170.
  • the light source 310 includes a visible light source 310A (illumination light source) and an infrared light source 310B (illumination light source), and can irradiate one or both of visible light and infrared light.
  • the illuminance of the illumination light from the visible light source 310A and the infrared light source 310B is controlled by the light source control unit 350 (control unit) and, as will be described later, as necessary when imaging and measuring spots (in the measurement mode).
  • the illuminance of the illumination light can be lowered or the illumination can be stopped.
  • illumination light emitted from the light source device 300 is transmitted to the illumination lenses 123A and 123B via the light guide 170, and the illumination lenses 123A, The observation range is irradiated from 123B.
  • the endoscope processor 200 receives an image signal output from the endoscope apparatus 100 via the image input controller 202, and performs image processing necessary for the image processing unit 204 (measurement unit, marker generation unit, display control unit). And output via the video output unit 206. Thereby, an observation image is displayed on the monitor 400 (display device). These processes are performed under the control of a CPU (Central Processing Unit) 210 (measurement unit, marker generation unit, display control unit).
  • a CPU Central Processing Unit
  • the image processing unit 204 in addition to image processing such as white balance adjustment, switching of the image to be displayed on the monitor 400, superimposed display, electronic zoom processing, image display according to the operation mode, a specific component (for example, luminance) from the image signal Signal).
  • the image processing unit 204 measures the spot position on the imaging surface of the image sensor 134 and calculates the marker size (number of pixels) based on the measured position (described later).
  • the memory 212 storage unit stores in advance information necessary for processing performed by the CPU 210 and the image processing unit 204, for example, the relationship between the spot position on the imaging plane of the image sensor 134 and the size of the marker. This relationship may be stored in a function format or in a lookup table format.
  • the endoscope processor 200 includes an operation unit 208.
  • the operation unit 208 includes an operation mode setting switch (not shown), a water supply instruction button, and the like, and can operate irradiation with visible light and / or infrared light.
  • FIG. 10 is a diagram illustrating a state where the insertion unit 104 of the endoscope apparatus 100 is inserted into the subject, and illustrates a state in which an observation image is acquired for the imaging range IA via the imaging optical system 130.
  • FIG. 10 shows a state in which the spot SP0 is formed in the vicinity of the tumor tm (a portion protruding in black).
  • FIG. 11 is a flowchart showing processing of the measurement support method.
  • the insertion unit 104 of the endoscope apparatus 100 is inserted into the subject, and the endoscope system 10 is set to the normal observation mode (step S10).
  • the normal observation mode is a mode in which the subject is irradiated with illumination light emitted from the light source device 300 to acquire an image, and the subject is observed.
  • the setting to the normal observation mode may be automatically performed by the endoscope processor 200 when the endoscope system 10 is activated, or may be performed according to the operation of the operation unit 208 by the user.
  • the illumination light is irradiated and the subject is imaged and displayed on the monitor 400 (step S12).
  • a subject image a still image or a moving image may be captured.
  • the user moves the insertion portion 104 forward and backward and / or bends while viewing the image displayed on the monitor 400 so that the distal end hard portion 116 is directed to the observation target so that the subject to be measured can be imaged.
  • step S14 it is determined whether or not to shift from the normal observation mode to the measurement mode. This determination may be made based on the presence / absence of a user operation via the operation unit 208, or based on the presence / absence of a switching command from the endoscope processor 200. Further, the endoscope processor 200 may alternately set the normal observation mode and the measurement mode at a fixed frame interval (every frame, every two frames, etc.). If the determination in step S14 is negative, the process returns to step S12 to continue imaging in the normal observation mode, and if the determination is affirmative, the process proceeds to step S16 to switch to the measurement mode.
  • a laser beam (measurement auxiliary light) is irradiated from the laser head 506 to form a spot on the subject, and the size (length) of the subject is measured based on the image of the subject on which the spot is formed.
  • a marker is generated and displayed.
  • red laser light is used as measurement auxiliary light.
  • the illumination light is turned off during spot image acquisition and position measurement, or the illuminance is lowered to such an extent that spot recognition is not affected (step S18), and measurement auxiliary light is emitted from the laser head 506.
  • Step S20 auxiliary light emitting step.
  • Such control can be performed by the endoscope processor 200 and the light source control unit 350.
  • step S22 an image of the subject on which the spot is formed by the measurement auxiliary light is captured (imaging process).
  • a spot is formed within the shooting field angle of the imaging optical system 130.
  • the position of the spot (on the image sensor) in the image varies depending on the observation distance, and the size (number of pixels) of the marker to be displayed varies depending on the position of the spot.
  • the optical axis L1 of the measurement auxiliary light when the optical axis L1 of the measurement auxiliary light is projected onto a plane including the optical axis L2 of the imaging optical system, the optical axis L1 has an inclination angle that is not 0 degree with respect to the optical axis L2, and imaging is performed. Crosses the angle of view of the optical system. Therefore, the position of the spot in the image (imaging device) varies depending on the distance to the subject. For example, as shown in FIG. 12 (a diagram showing a state in which the distal end hard portion 116 is viewed from the side surface direction in a plane including the optical axis L1 and the optical axis L2), it can be observed in an observation distance range R1.
  • the spot positions (points where the arrows and the optical axis L1 intersect) in the imaging range (indicated by arrows Q1, Q2, Q3) at each point ) Is different.
  • the inside of the solid line is the imaging field angle of the imaging optical system 130
  • the inside of the alternate long and short dash line is the measurement field angle. Measurement is performed at a central portion with a small aberration in the imaging field angle of the imaging optical system 130.
  • FIG. 13 is a diagram showing a state in which the distal end hard portion 116 is viewed from the front as in FIG. 7, and shows the optical axis L1 of the measurement auxiliary light, the optical axis L2 of the imaging optical system 130, and the imaging range R2 of the imaging element 134. It is the figure which showed the relationship virtually.
  • FIG. 13 shows a case where the optical axes L1 and L2 exist on the same plane and intersect on the plane.
  • spot positions P4, P5, and P6 corresponding to the observation distance are shown.
  • spot positions P7, P8, and P9 observed distances near the near end and near the center, respectively
  • the spot position when the observation distance is near the near end and the spot position when the observation distance is near the far end are located on the opposite side to the optical axis L ⁇ b> 2 of the imaging optical system 130. .
  • the optical axis of the measurement auxiliary light is parallel to the optical axis of the imaging optical system, the movement of the spot position due to the change in the observation distance is small. Specifically, when the observation distance is short, the spot is located away from the center of the captured image (the center of the image sensor), and approaches the center of the captured image (the center of the image sensor) as the observation distance increases. However, the spot position is not located on the opposite side of the optical axis of the imaging optical system at the near end and the far end of the observation distance. In contrast to such a conventional technique, in the first embodiment, as described above, the sensitivity of the movement of the spot position with respect to the change in the observation distance is high, and the size of the subject can be measured with high accuracy.
  • the spot position in the captured image differs depending on the relationship between the optical axis L2 of the imaging optical system 130 and the optical axis L1 of the measurement auxiliary light and the observation distance, but the observation distance is close.
  • the number of pixels showing the same actual size for example, 5 mm
  • the number of pixels decreases as the observation distance increases. Therefore, as will be described in detail later, information indicating the relationship between the spot position and the marker size (number of pixels) corresponding to the actual size of the subject is stored in advance, and this information is acquired according to the spot position. By doing so, the size of the marker can be calculated. It is not necessary to measure the observation distance itself when calculating.
  • step S24 measurement process
  • the spot position measurement in step S24 is performed using an image generated from the pixel signal of the pixel in which the red (R) filter color filter is provided.
  • the relationship between the wavelength and sensitivity of each color (red, green, blue) color filter arranged in each pixel of the image sensor 134 is as shown in FIG. 15, and as described above, the laser head 506 is used.
  • the laser beam emitted from the laser beam is a red laser beam having a wavelength of 650 nm.
  • the measurement of the spot position is an image generated from an image signal of a pixel (R pixel) in which a red color filter having the highest sensitivity to the wavelength of the laser light among the (red, green, blue) color filters is arranged. Based on. At this time, by setting a threshold value to the signal intensity of the R pixel of the bitmap signal of the pixel signal or the RAW (Raw image format) data and binarizing it, the center of gravity of the white portion (pixel whose signal intensity is higher than the threshold value) is calculated. The position of the spot can be recognized at high speed.
  • a threshold value is set for pixel signals of pixels (G pixels and B pixels) provided with green and blue color filters. It is preferable to extract only pixels whose pixel signal values of the G pixel and B pixel having bitmap data are equal to or less than a threshold value.
  • the above-described method is an example of spot position measurement, and other known methods for image recognition and spot recognition may be employed.
  • the illumination light is turned off during the spot image acquisition (step S22) and the position measurement (step S24), or the illuminance is lowered to such an extent that the spot recognition is not affected (step S18).
  • Measurement auxiliary light is emitted from the laser head 506 (step S20).
  • the illumination light does not necessarily need to be dimmed or extinguished, and the illuminance can be left as it is when spot recognition is not affected.
  • step S26 a marker indicating the actual size of the subject is generated (marker generating step).
  • the size of the marker varies depending on the position of the spot in the image (that is, on the imaging surface of the imaging device)
  • the size of the marker pixel
  • the information indicating the relationship is stored in the memory 212, and the endoscope processor 200 acquires information from the memory 212 according to the spot position measured in step S24.
  • the marker size is obtained based on the information. The procedure for obtaining the relationship between the spot position and the marker size will be described later in detail.
  • step S28 the observation image and the marker are displayed on the monitor 400 (display control process).
  • Display conditions (type, number of markers, actual size, color, etc.) can be set by a user operation via the operation unit 208.
  • FIG. 16 shows a cross-shaped marker M1 indicating the actual size of 5 mm (horizontal and vertical directions of the observed image) at the center of the spot sp1 formed on the subject (tumor tm1) with the observation distance close to the near end. It is a figure which shows a mode that it displayed collectively. Similarly, FIG.
  • FIG. 17 is a diagram showing a state in which the marker M2 is displayed in alignment with the center of the spot sp2 (formed on the tumor tm2) in a state where the observation distance is near the center of the observation distance range
  • FIG. It is a figure which shows a mode that the marker M3 was displayed according to the center of spot sp3 (formed on tumor tm3) in the state close
  • the optical axis L1 of the measurement auxiliary light has an inclination angle that is not 0 degrees with respect to the optical axis L2 of the imaging optical system 130, the position of the spot on the imaging surface of the imaging element 134 differs depending on the observation distance.
  • the display position of is also different. As shown in FIGS. 16 to 18, as the observation distance increases, the marker size for the same actual size 5 mm decreases (the number of pixels of the marker decreases).
  • the distortion aberration data may be set based on the design value of the imaging optical system 130, or may be obtained by separately measuring.
  • the center of the spot and the center of the marker are matched, but if there is no problem in measurement accuracy, the marker may be displayed at a position away from the spot. In this case, however, it is preferable to display a marker in the vicinity of the spot.
  • the marker in a state in which the distortion of the captured image is corrected and not deformed may be displayed in the corrected image.
  • a marker corresponding to the actual size of the subject of 5 mm is displayed.
  • the actual size of the subject may be an arbitrary value (for example, 2 mm, 3 mm, 10 mm, etc.) depending on the observation object and the observation purpose. May be set.
  • a cross-shaped marker is displayed, but a circular or other shape marker may be displayed.
  • the number of markers may be one or more, and the color of the markers may be changed according to the actual size.
  • Such a display mode may be selected by an operation via the operation unit 208.
  • the user can easily measure the size of the subject (approximately 5 mm in the horizontal and vertical directions in the examples of FIGS. 16 to 20) without measuring the observation distance. it can.
  • step S30 it is determined whether or not to end the measurement mode. This determination may be made based on a user operation via the operation unit 208 or based on the presence / absence of a switching command from the endoscope processor 200. Similarly to the transition to the measurement mode, the measurement mode may be automatically terminated and the normal observation mode may be restored after a certain number of frames have elapsed. If the determination in step S30 is negative, the process returns to step S20, and the processing from step S20 to step S28 is repeated.
  • step S30 determines whether the determination in step S30 is affirmative. If the determination in step S30 is affirmative, the process proceeds to step S32, the measurement auxiliary light is turned off, and then the illuminance of the illumination light is returned to the normal illuminance in step S34 to return to the normal observation mode (return to step S10). It should be noted that the measurement auxiliary light need not be turned off if there is no problem in observation in the normal observation mode.
  • the measurement when the image obtained in the measurement mode is dark and difficult to diagnose, the measurement may be performed according to the procedure shown in the flowchart of FIG.
  • the measurement auxiliary light is turned on (step S40)
  • one frame is imaged with the illumination dimmed for measurement (step S42) and imaged (step S44), and the spot position is measured based on the captured image (step S42).
  • S46) and marker generation (step S48) are performed.
  • the subsequent frame is set to a normal illumination light quantity (step S50) and imaged (step S52).
  • marker information is generated from such a dark image (image captured in step S44) (step S48), and an image of a normal illumination light quantity (image captured in step S52).
  • image captured in step S44 image captured in step S44
  • normal illumination light quantity image captured in step S52
  • Step S54 the brightness of the observation image can be made the same as in the case of normal illumination.
  • the size of the subject is increased.
  • the thickness can be measured easily and with high accuracy.
  • the relationship between the spot position on the imaging surface of the image sensor 134 and the marker size (number of pixels) corresponding to the actual size of the subject is measured in advance and stored in the memory 212 in association with the spot position.
  • the size of the marker is calculated with reference to this relationship according to the measured spot position.
  • the marker is assumed to be a cross shape and the actual size in the horizontal direction and the vertical direction is assumed to be 5 mm.
  • the marker in the present invention is not limited to such a mode.
  • the relationship between the spot position and the marker size can be obtained by taking an image of a chart in which an actual size pattern is regularly formed.
  • a spot is formed by emitting measurement auxiliary light, and a graph paper shape with a rule (5 mm rule) that is the same as the actual size or a finer rule (for example, a 1 mm rule) while changing the spot position by changing the observation distance
  • the relationship between the spot position (pixel coordinates on the imaging surface of the image sensor) and the number of pixels corresponding to the actual size (how many pixels are represented by the actual size of 5 mm) is acquired.
  • FIG. 21 is a diagram showing a state in which a 5 mm ruled chart is photographed. The shooting distance is close to the near end, and the ruled interval is wide.
  • (x1, y1) is the pixel position in the X and Y directions of the spot sp4 on the imaging surface of the imaging element 134 (the upper left in FIG. 21 is the origin of the coordinate system).
  • the number of pixels in the X direction corresponding to the actual size of 5 mm at the position (x1, y1) of the spot sp4 is Lx1, and the number of pixels in the Y direction is Ly1. Such measurement is repeated while changing the observation distance.
  • FIG. 22 is a diagram showing a state in which the same 5 mm ruled chart as in FIG.
  • FIG. 23 is a diagram showing the relationship between the X coordinate of the spot position and Lx (the number of pixels in the X direction of the marker), and FIG. 24 is a diagram showing the relationship between the Y coordinate of the spot position and Lx.
  • information indicating the functions g1 and g2 obtained in this way is stored in the memory 212 in advance in a function format, a lookup table format, or the like.
  • FIG. 25 is a diagram showing the relationship between the X coordinate of the spot position and Ly (number of pixels in the Y direction), and FIG. 26 is a diagram showing the relationship between the Y coordinate of the spot position and Ly.
  • any of the functions h1 and h2 may be used similarly to Lx.
  • the positional relationship between the laser head 506 and the imaging optical system 130 is considered by projecting it onto a two-dimensional plane including the optical axis L2 of the imaging optical system 130.
  • the measurement (length measurement) range is defined by the distance from the tip of the imaging optical system 130, and the near end is zn (mm) and the far end is zf (mm).
  • the distance between the center of the laser head 506 and the imaging optical system 130 is dcl (mm).
  • An angle of view that can be observed by the imaging optical system 130 is ⁇ (degrees; deg).
  • the position of the spot at the far end is z1 (mm) from the optical axis L2 of the imaging optical system 130.
  • the image height at that time is z1a.
  • the distance from the optical axis L2 of the imaging optical system 130 is assumed to be z2 (mm).
  • the image height at that time is z2a.
  • the position where the laser beam (measurement auxiliary light) crosses the optical axis L2 of the imaging optical system 130 is a distance (mm) from the front end of the imaging optical system 130, and the distance from the crossing position to the far end is b (mm). ).
  • both optical axes do not necessarily intersect in a three-dimensional space (both optical axes in FIG. 7). , 8 or a relationship as shown in FIG. 9).
  • An angle formed by the optical axis L2 of the imaging optical system 130 and the optical axis L1 of the measurement auxiliary light is defined as Angle (degree).
  • the apex angle (see FIG. 28) of the prism 512 is ⁇ (degrees) (the apex angle ⁇ corresponds to the apex angle AL1 in FIG. 5).
  • the angle formed by the emission direction of the measurement auxiliary light and the perpendicular to the mirror surface 512A of the prism 512 is ⁇ (degrees).
  • (a) part, (b) part, and (c) part are a side view, a top view, and a rear view of the prism 512, respectively.
  • the material of the prism 512 (“Material” in FIG. 29) is either optical glass having a general name “BK7” or TiO 2 (titanium oxide) (depending on the examples and comparative examples; see FIG. 29).
  • the present invention is not limited thereto, and a glass material used for a lens may be used.
  • Endoscopic images generally have large distortion, and measurement at the periphery of the screen (periphery of the shooting angle of view) is not desirable. Therefore, measurement (measurement) is performed at the center of the screen (center of shooting angle of view) as much as possible. I want. Therefore, it is desirable that the position where the optical axis L1 of the measurement auxiliary light crosses the optical axis L2 of the imaging optical system 130 is between the near end and the far end of the observation distance. From such a viewpoint, the examination was performed under the conditions shown in Examples 1 to 10. Further, the case where the optical axis L1 of the measurement auxiliary light and the optical axis L2 of the imaging optical system 130 are parallel as in Patent Document 2 described above was used as a comparative example.
  • the evaluation criterion is “very good” when the position where the optical axis L1 of the measurement auxiliary light crosses the optical axis L2 of the imaging optical system 130 is between the near end and the far end of the observation distance. In some cases, “good”, and “not possible” from the near end to the far end. As can be seen from the table of FIG. 29, the angle (tilt angle) is preferably in the range of 1.1 degrees to 50.2 degrees (evaluation is “good” or “very good”), 10.5 degrees to 50 degrees. A range of 2 degrees or less is more preferable (evaluation is “very good”).
  • the laser head 506 is provided with the GRIN lens 510 and the prism 512 and the measurement auxiliary light is red laser light having a wavelength of 650 nm.
  • the configuration of the laser head and the measurement auxiliary light are described. The wavelength of light and the measurement process based on these are not limited to such a mode.
  • Other aspects of the configuration of the laser head and the wavelength of the measurement auxiliary light will be described below. In the following description, the same reference numerals are assigned to the same components as those in the first embodiment, and detailed description thereof is omitted.
  • the configuration of the laser head is the same as that of the laser head 506 according to the first embodiment, except that the wavelength of the measurement auxiliary light is a blue laser (semiconductor laser) having a wavelength of 445 nm.
  • the wavelength of the measurement auxiliary light is a blue laser (semiconductor laser) having a wavelength of 445 nm.
  • An LED may be used instead of the semiconductor laser, and the semiconductor laser may be used in an LED emission state that is equal to or lower than an oscillation threshold.
  • spot position measurement and marker generation are basically the same as those in the first embodiment.
  • blue is used as measurement auxiliary light. Since a laser is used, when measuring the spot position, a threshold is provided for the intensity of the B signal (pixel signal of a pixel provided with a blue color filter) of bitmap data or RAW data, and the image is binarized. The center of gravity of the portion (pixel region whose signal intensity is higher than the threshold value) is calculated.
  • a threshold is provided for the G signal and R signal (pixel signals of pixels provided with green and red color filters, respectively), and the G signal with bitmap data and It is preferable to extract coordinates whose R signal value is equal to or less than a threshold value.
  • the digestive tract is reddish so that spot recognition with red light may be difficult, and even when blue light is used as in the second embodiment, recognition may be insufficient. .
  • the frame (measurement mode) for measuring the position of the spot it is preferable to turn off the white illumination light (visible light source 310A) or reduce the intensity so that the spot measurement is not affected.
  • the image is constructed by setting the illumination light to a normal output other than the frame for recognizing the spot (normal observation mode). By controlling such illumination light, the spot recognition success rate can be greatly improved.
  • the configuration of the laser head is the same as in the first and second embodiments described above, but in the third embodiment, a green laser (semiconductor laser) having a wavelength of measurement auxiliary light of 505 nm is used.
  • a green laser semiconductor laser
  • an LED for example, a wavelength of 530 nm
  • a solid-state laser for example, a wavelength of 532 nm
  • the semiconductor laser may be used in an LED emission state that is equal to or lower than an oscillation threshold.
  • spot position measurement and marker generation are basically the same as those in the first and second embodiments.
  • measurement assistance is provided. Since a green laser is used for the light, when measuring the spot position, a threshold is provided for the intensity of the G signal of the bitmap data or RAW data (pixel signal of the pixel provided with the green color filter), and the image is binarized. To calculate the center of gravity of the white portion (pixel region whose signal intensity is higher than the threshold value).
  • a threshold is provided for the B signal and R signal (pixel signals of pixels provided with blue and red color filters, respectively), and the B signal with bitmap data and It is preferable to extract coordinates whose R signal value is equal to or less than a threshold value.
  • the digestive tract is reddish, so it may be difficult to recognize spots with red light, and even when green light is used as in the third embodiment, recognition may be insufficient. .
  • the frame (measurement mode) for measuring the position of the spot it is preferable to turn off the white illumination light (visible light source 310A) or reduce the intensity so that the spot measurement is not affected.
  • the image is constructed by setting the illumination light to a normal output other than the frame for recognizing the spot (normal observation mode). By controlling such illumination light, the spot recognition success rate can be greatly improved.
  • the fourth embodiment differs from the first to third embodiments described above in the configuration of the laser module (laser head).
  • the configuration of a laser module 520 according to the fourth embodiment is as shown in FIG. 30.
  • an optical fiber 505 collimator, graded index type optical fiber
  • This optical fiber 505 is a graded index type optical fiber having the highest refractive index on the optical axis and decreasing toward the outer side in the radial direction.
  • the incident laser light guided by the optical fiber 504 is incident.
  • the spread of the light beam emitted from the optical fiber 505 can be adjusted by adjusting the length of the optical fiber 505. In order to emit laser light of a parallel light beam, it is about ( ⁇ / 4) pitch ( ⁇ is the wavelength of the laser light). do it.
  • the measurement auxiliary light is a red laser (semiconductor laser) having a wavelength of 650 nm.
  • An LED or a solid-state laser may be used instead of the semiconductor laser, and the semiconductor laser may be used in an LED emission state that is equal to or lower than an oscillation threshold value.
  • the measurement of the spot position and the generation of the marker can be performed similarly to the first embodiment in which the wavelength of the measurement auxiliary light is common.
  • the fifth embodiment differs from the first to fourth embodiments described above in the configuration of a laser module (laser head).
  • the configuration of a laser module 530 according to the fifth embodiment is as shown in FIG. 31, and a prism is not provided at the tip of the laser head 526 (head) and a GRIN lens 510A (collimator) is provided. Is different.
  • the GRIN lens 510A is a graded index type lens that has the highest refractive index on the optical axis and decreases as it goes outward in the radial direction, like the GRIN lens 510 according to the first to third embodiments.
  • the length in the optical axis direction is longer than that of the GRIN lens 510 and the tip is cut obliquely, and the tip part cut obliquely functions as a prism.
  • the angle AL2 in FIG. 31 corresponds to the apex angle AL1 of the prism 512 in FIGS.
  • the measurement auxiliary light is a red laser (semiconductor laser) having a wavelength of 650 nm.
  • An LED or a solid-state laser may be used instead of the semiconductor laser, and the semiconductor laser may be used in an LED emission state that is equal to or lower than an oscillation threshold value.
  • the measurement of the spot position and the generation of the marker can be performed in the same manner as in the first and fourth embodiments in which the wavelength of the measurement auxiliary light is common.
  • the size of the subject can be measured easily and with high accuracy, as in the first embodiment.
  • the emission angle of the measurement auxiliary light is changed by the prism 512 or the GRIN lens 510A, but means for changing the emission angle of the measurement auxiliary light in the present invention is included in these members. It is not limited.
  • the laser beam B1 (measurement auxiliary light) emitted from the laser head 540 is reflected by a mirror 542 provided in front of the laser head 540 (at the tip side of the tip hard portion 116).
  • the emission angle of the measurement auxiliary light may be changed by reflection.
  • reference numerals L2, ⁇ 2, and L3 indicate the optical axis of the imaging optical system 130, the shooting angle of view of the imaging optical system 130, and the optical axis of the laser beam B1, respectively.
  • the optical axis L3 of the laser beam B1 includes the optical axis L2 of the imaging optical system 130 as in the first to fifth embodiments (FIG. 32).
  • the optical axis L3 has an inclination angle ⁇ 1 that is not 0 degrees with respect to the optical axis L2, and intersects the optical axis L2 across the angle of view of the imaging optical system 130.
  • the tilt angle (outgoing direction) of the measurement auxiliary light is constant.
  • the tilt angle of the measurement auxiliary light can be changed using a liquid prism. May be.
  • WO2012 / 043211 describes a liquid prism that can control the inclination of the prism interface with respect to the optical axis by controlling the interface position between the first and second liquids. By using such a liquid prism, The tilt angle of the measurement auxiliary light can be changed according to the measurement conditions.
  • the relationship between the optical axis of the imaging optical system and the optical axis of the measurement auxiliary light in the modified example 2 can be the same as that in the first to fifth embodiments, whereby the first to fifth implementations can be achieved. Similar to the embodiment and the first modification, the size of the subject can be measured easily and with high accuracy.
  • the emission direction of the measurement auxiliary light is changed by an optical member such as a prism, a GRIN lens, a mirror, and a liquid prism, and the optical axis of the measurement auxiliary light is the imaging optical.
  • an optical member such as a prism, a GRIN lens, a mirror, and a liquid prism
  • the optical axis of the measurement auxiliary light is the imaging optical.
  • the means for realizing such a state is not limited to the arrangement of the optical members. If the diameter of the hard tip portion 116 does not matter, the laser head 540 can be disposed obliquely with respect to the imaging optical system 130 as shown in FIG.
  • the optical axis L4 of the laser beam B2 is changed to the optical axis L2 of the imaging optical system 130 as in the first to fifth embodiments and the first and second modifications.
  • the optical axis L4 has a tilt angle ⁇ 2 that is not 0 degrees with respect to the optical axis L2, and the optical axis L2 crosses the angle of view of the imaging optical system 130. Crossed.
  • the size of the subject can be measured easily and with high accuracy as in the first to fifth embodiments and the modifications 1 and 2.
  • the light source device 300 for illumination and observation includes the visible light source 310A (illumination light source) and the infrared light source 310B (illumination light source) has been described.
  • the configuration of the light source is not limited to such a mode.
  • the light source may be configured by a combination of a plurality of LEDs having different wavelengths such as (white), (blue, green, red), or (purple, blue, green, red).
  • each color LED may be caused to emit light alone, or multiple color LEDs may be caused to emit light simultaneously.
  • you may irradiate white light by light-emitting LED of all the colors simultaneously.
  • the light source device may be composed of a laser light source for white light (broadband light) and a laser light source for narrow band light.
  • the narrow-band light can be selected from one or a plurality of wavelengths such as blue and purple.
  • the light source may be a xenon light source
  • the light source device may be composed of a light source for normal light (white light) and a light source for narrow band light.
  • the narrow band light can be selected from one or a plurality of wavelengths such as blue and green.
  • a disk-like filter rotary color filter
  • the narrowband light may be infrared light having two or more wavelengths different from each other.
  • the light source type, wavelength, filter presence / absence, etc. of the light source device according to the type of subject and the purpose of observation, and the wavelength of illumination light according to the type of subject and the purpose of observation during observation.
  • the LED lights of the respective colors described above between the white laser light and the first and second narrowband laser lights (blue and purple), between the blue narrowband light and the green narrowband light, or It is preferable to appropriately combine and / or switch the wavelength of the illumination light between the first infrared light and the second infrared light.
  • the image pickup device 134 is a color image pickup device in which a color filter is provided for each pixel has been described.
  • the configuration of the image pickup device and the image pickup method are such aspects. It is not limited to this, and a monochrome imaging device (CCD type, CMOS type, etc.) may be used.
  • the wavelength of the emitted illumination light may be sequentially switched between (purple, blue, green, red), or emitted by a rotary color filter (red, green, blue, etc.) by irradiating broadband light (white light).
  • the wavelength of the illumination light to be switched may be switched.
  • the wavelength of illumination light emitted by a rotary color filter (green, blue, etc.) by irradiating one or a plurality of narrowband lights (green, blue, etc.) may be switched.
  • the narrow band light may be infrared light having two or more wavelengths different from each other.
  • the measurement support apparatus, endoscope system, endoscope system processor, and measurement support method of the present invention are also applicable to measuring non-living subjects such as pipes in addition to measuring living subjects. it can.
  • the measurement support apparatus and the measurement support method of the present invention are not limited to endoscopes and can be applied to the case of measuring the dimensions and shapes of industrial parts and products.
  • Endoscope system 100 Endoscope apparatus 102 Hand operation part 104 Insertion part 106 Universal cable 108 Light guide connector 110 Endoscope main body 112 Soft part 114 Bending part 116 Hard tip part 116A Front end surface 123 Illumination part 123A Illumination lens 123B Illumination lens 126 Forceps port 130 Imaging optical system 132 Imaging lens 134 Imaging element 136 Drive circuit 138 AFE 170 Light Guide 200 Endoscope Processor 202 Image Input Controller 204 Image Processing Unit 206 Video Output Unit 208 Operation Unit 210 CPU 212 Memory 300 Light source device 310 Light source 310A Visible light source 310B Infrared light source 330 Aperture 340 Condensing lens 350 Light source control unit 400 Monitor 500 Laser module 501 Fiber envelope 502 Laser light source module 503 Condensing lens 504 Optical fiber 505 Optical fiber 506 Laser head 507 Reinforcement material 508 Ferrule 509 Housing 510 GRIN lens 510A GRIN

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

被写体の大きさを容易かつ高精度に計測できる計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法を提供することを目的とする。本発明の一の態様に係る計測支援装置では、計測補助光によるスポットの位置を計測し、計測結果に基づいて被写体の実寸サイズを示す情報を取得してマーカを生成及び表示するので、距離測定の必要がなく、計測が容易である。また、計測補助光の傾き角を適切に設定することにより観察距離が短い場合でも計測補助光が撮像光学系の視野から外れないようにすることができ、観察距離の範囲を広げることができる。さらに、計測補助光の光軸は撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有するので、観察距離の変化に対するスポットの位置変化の感度が高く、計測精度が高い。

Description

計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
 本発明は計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法に係り、特に計測補助光を用いて被検体の大きさを計測する計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法に関する。
 内視鏡等の計測装置の分野では、被検体までの距離を計測したり、被検体の長さや大きさを算出したりすることが行われている。例えば特許文献1では、ステレオカメラで被写体距離を計測し、被写体距離と内視鏡の視野角とに基づいて被写体の大きさの目安となる目印の大きさを計算し、被写体の画像とともに目印を表示することが記載されており、この目印により被写体の大きさを知ることができるようになっている。
 また特許文献2には、計測補助光を用いて被写体距離を求める技術が記載されている。特許文献2では、光ファイバーからレーザビームを照射して照射面を観察する。そして、光ファイバーから照射面までの距離によってレーザビームの照射点が視野の中心に近づいたり離れたりすることを利用し、ズレ量をあらかじめ校正しておくことで、ズレ量から被写体距離を知ることができる。
特開2008-122759号公報 特開平8-285541号公報
 しかしながら上述の特許文献1では、ステレオカメラにより距離を計測するため2台のカメラが必要であり、内視鏡先端部が大きくなってしまうため、被検体への負担が大きかった。さらに、距離計測を行いその結果に基づいて目印の大きさを算出するため、処理が複雑であった。
 また特許文献2に記載の技術は距離計測を行うためのものであり、処理が複雑な上に被写体の長さや大きさを直接的に求められるものではなかった。さらに、レーザビームが撮像光学系の光軸と平行に照射されるので、観察距離が短い場合(被写体が内視鏡の先端と近接したところに存在する場合)はレーザビームが撮像光学系の視野から外れてしまい、測定できなくなるという問題があった。さらに、被写体距離の変化に対するスポットの位置変化の感度が低く、計測精度が低いという問題があった。さらに、観察光が光ファイバーの先端からそのまま放射されるので距離とともにビームが広がってしまい、観察距離が長いとスポット径が大きくなるとともにスポットの視認が困難になって計測精度が低下してしまう、という問題があった。
 このように、従来の技術は被写体の大きさ(長さ)を容易かつ高精度に計測できるものではなかった。
 本発明はこのような事情に鑑みてなされたもので、被写体の大きさを容易かつ高精度に計測できる計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法を提供することを目的とする。
 上述した目的を達成するため、本発明の第1の態様に係る計測支援装置は、光源から出射された計測補助光を平行な光束にして出射するコリメータを含むヘッドと、ヘッドから出射された計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して取得する撮像部と、被写体の画像に基づいて撮像素子上のスポットの位置を計測する計測部と、スポットの撮像素子上の位置と被写体の実寸サイズとの関係を示す情報を記憶する記憶部と、計測したスポットの位置に基づいて記憶部から関係を示す情報を取得し、取得した情報に基づいて実寸サイズを示すマーカを生成するマーカ生成部と、スポットが形成された被写体の画像及びマーカを表示装置に表示させる表示制御部であって、被写体の画像においてスポットの近傍にマーカを表示させる表示制御部と、を備え、ヘッドは、光軸が撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切る計測補助光を出射する。第1の態様では、被写体の実寸サイズを示すマーカが被写体の画像とともに表示されるので、ユーザは被写体(被測定体)とマーカとを比較することにより被写体の大きさを容易に計測することができる。なお、第1の態様において「実寸サイズ」の具体的な値は被写体の種類及び計測の目的等の条件に応じて設定することができる。
 第1の態様では計測補助光はコリメート光なので、ビーム径及びスポット径が小さく被写体(被測定体)へのマーキングが容易で、かつ位置測定精度が高い。さらに観察距離が長い場合でもビームの広がりがほとんどなく、高精度な計測を行うことができる。また、スポットの位置を計測し、計測結果に基づいて記憶部に記憶された情報を取得してマーカを生成及び表示するので、上述した特許文献1,2のように距離測定の必要がなく、装置構成が簡単で計測が容易である。
 また、計測補助光の光軸は撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有し、撮像光学系の画角を横切るので、傾き角を適切に設定することにより観察距離が短い場合でも計測補助光が撮像光学系の視野に入るようにすることができる。さらに、計測補助光の光軸は撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有するので、観察距離の変化に対するスポットの位置変化の感度が高く、計測精度が高い。
 このように、第1の態様に係る計測支援装置では被写体の大きさを容易かつ高精度に計測することができる。
 第1の態様において、「被写体の撮像素子上の寸法と被写体の実寸サイズとの関係を示す情報」は、例えば実寸サイズに対応したパターンが規則的に記録された計測用図形を撮影することで取得することができる。また、第1の態様においてスポットの「近傍」にマーカを表示するが、マーカの中心をスポットの中心に合わせて表示してもよいし、スポットから離れた位置にマーカを表示してもよい。第1の態様において、レーザ光、LED光等を計測補助光として用いることができる。
 第2の態様に係る計測支援装置は第1の態様において、ヘッドから出射される計測補助光の光軸は平面(撮像光学系の光軸を含む平面)に存在する。第2の態様は撮像光学系の光軸の方向と計測補助光の光軸の方向との関係の一態様を規定するものであり、撮像光学系の光軸と計測補助光の光軸が同一平面上に存在しマーカの軌跡が画面の中心を通るため、画面中心付近にマーカが存在する領域が広くなり計測精度が向上する。
 第3の態様に係る計測支援装置は第1または第2の態様において、ヘッドから出射される計測補助光の光軸は平面(撮像光学系の光軸を含む平面)において撮像光学系の光軸と交差する。第3の態様によれば、撮像光学系の光軸の方向と計測補助光の光軸の方向との関係をさらに具体的に規定するもので、光軸同士の関係が単純になるため処理が容易である。なお第3の態様において、光軸同士の交差位置が観察距離範囲の近端と遠端の間になるように、上述の傾き角を設定することが好ましい。このように設定することが好ましいのは、撮像光学系の構成によっては歪曲収差が大きくなり、その場合画像の周辺部ではなく画像中心部での計測を行うことが好ましいが、上述のように傾き角を設定することで画像中心部での計測を行うことが可能になるからである。
 第4の態様に係る計測支援装置は第1から第3の態様のいずれか1つにおいて、ヘッドは、コリメータから出射された計測補助光の出射方向を変更する光学部材であって、ヘッドが出射する計測補助光の光軸と撮像光学系の光軸とが平面においてなす角が傾き角になるように計測補助光の出射方向を変更する光学部材を有する。第4の態様によれば、光学部材で計測補助光の出射方向を変更するので、ヘッドを真っ直ぐ(撮像光学系の光軸と平行に)配置することができ、計測支援装置の先端部分を小型化(細径化)することができる。
 第5の態様に係る計測支援装置は第4の態様において、光学部材は傾き角に応じた頂角を有するプリズム部材である。第5の態様は計測補助光の出射方向を変更する光学部材の一態様を規定するものである。
 第6の態様に係る計測支援装置は第1から第5の態様のいずれか1つにおいて、光源から出射された計測補助光をコリメータまでシングル横モードで伝搬させる光ファイバーを備える。第6の態様によれば、光ファイバーが計測補助光をシングル横モードで伝搬させるので、径が小さく鮮明なスポットを形成することができ、これにより高精度な計測を行うことができる。
 第7の態様に係る計測支援装置は第1から第6の態様のいずれか1つにおいて、コリメータは、屈折率が光軸で最も高く半径方向外側に向かうにつれて減少するグレーデッドインデックス型レンズである。第7の態様によれば、コリメータがグレーデッドインデックス型レンズ(Graded Indexレンズ)なので、計測補助光を出射するモジュールを小型化(細径化)することができる。
 第8の態様に係る計測支援装置は第1から第7の態様のいずれか1つにおいて、コリメータは、屈折率が光軸で最も高く半径方向外側に向かうにつれて減少するグレーデッドインデックス型光ファイバーである。第8の態様によれば、コリメータがグレーデッドインデックス型光ファイバー(Graded Indexファイバー)なので、計測補助光を出射するモジュールを小型化(細径化)することができる。
 第9の態様に係る計測支援装置は第1から第8の態様のいずれか1つにおいて、計測補助光の光軸を平面に射影した場合に、傾き角が1.1度以上50.2度以下である。傾き角が第9の態様で規定する範囲であれば、撮像光学系の光軸と計測補助光の光軸との交差位置が観察距離範囲の近端と遠端の間(近端及び遠端を含む)となるため、撮像光学系の歪曲収差の影響が少ない画像中心部において高精度に計測を行うことができる。なお第9の態様において、傾き角が10.5度以上50.2度以下であることがさらに好ましい。傾き角がこの範囲であれば、画像中心により近い部分で計測を行うことができ、高精度な計測を行うことができるからである。
 上述した目的を達成するため、本発明の第10の態様に係る内視鏡システムは、第1から第9の態様のいずれか1つに記載の計測支援装置を備える。第10の態様に係る内視鏡システムでは、第1から第9の態様のいずれか1つに係る計測支援装置を備えるので、被写体の大きさを容易かつ高精度に計測することができる。
 第11の態様に係る内視鏡システムは第10の態様において、被検体内に挿入される挿入部であって、先端硬質部と、先端硬質部の基端側に接続された湾曲部と、湾曲部の基端側に接続された軟性部とを有する挿入部と、挿入部の基端側に接続された操作部と、を有する内視鏡を備え、コリメータと、スポットの光学像を撮像素子に結像させる撮像レンズと、が先端硬質部に設けられる。第11の態様は、内視鏡の先端硬質部の構成の一態様を規定するものである。
 第12の態様に係る内視鏡システムは第10または第11の態様において、照明光を照射する照明光源と、照明光の照度を制御する制御部と、を有し、制御部は、撮像部によりスポットの画像を取得する計測モードでは、照明光を被写体に照射して被写体を観察する通常観察モードよりも照明光の照度を下げる。スポットを撮像する際の照明光の照度が高すぎると、得られた画像においてスポットとそれ以外の部分とのコントラストが小さくなってスポットの認識ができず、計測ができなくなる場合があるが、第12の態様では、制御部は、撮像部によりスポットの画像を取得する計測モードでは、照明光を被検体に照射して被検体を観察する通常観察モードよりも照明光の照度を下げるので、スポットの鮮明な画像を撮像することができ、これにより高精度な計測を行うことができる。なお第12の態様において、計測モードにおいて照明光の照度をどの程度下げるかは被検体の種類や大きさ、明るさ等に応じて設定してよく、必要に応じ照明光を消灯してもよい。
 第13の態様に係る内視鏡システムは第10から第12の態様のいずれか1つにおいて、撮像素子は、2次元配列された複数の受光素子からなる複数の画素と、複数の画素に配設された複数のフィルタ色のカラーフィルタと、を備えるカラー撮像素子であり、計測部は、複数のフィルタ色のうち計測補助光の波長に対する感度が最も高いフィルタ色のカラーフィルタが配設された画素の画像信号により生成される画像に基づいてスポットの撮像素子上の位置を計測する。第13の態様によれば、複数のフィルタ色のうち計測補助光の波長に対する感度が最も高いフィルタ色のカラーフィルタが配設された画素の画像信号により生成される画像に基づいてスポットの撮像素子上の位置を計測するので、スポットが鮮明な画像を撮像することができ、これにより高精度な計測を行うことができる。
 上述した目的を達成するため、本発明の第14の態様に係るプロセッサは、第10から第13の態様のいずれか1つに係る内視鏡システムのプロセッサであって、光源を駆動する光源駆動部と、計測部と、記憶部と、マーカ生成部と、表示制御部と、を備える。第14の態様によれば、第1の態様と同様に被写体の大きさを容易かつ高精度に計測することができる。第14の態様では、計測補助光の光源は例えばスコープ(内視鏡の手元操作部)内に配置されてスコープの電気回路基板部に実装され、プロセッサ(光源駆動部)からの電気信号に応じて点灯、消灯、及び光強度が制御される。
 第15の態様に係るプロセッサは第14の態様において、光源駆動部はレーザ光源を駆動するレーザ駆動部である。
 上述した目的を達成するため、本発明の第16の態様に係る計測支援方法は光源から出射された計測補助光を平行な光束にして出射するコリメータを含むヘッドと、計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して取得する撮像部と、スポットの撮像素子上の位置と被写体の実寸サイズとの関係を示す情報を記憶する記憶部と、を備える計測支援装置を用いた計測支援方法であって、ヘッドから出射される計測補助光の光軸が、撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有するように計測補助光を出射する補助光出射工程と、計測補助光によりスポットが形成された被写体の画像を撮像部を介して取得する撮像工程と、被写体の画像に基づいて撮像素子上のスポットの位置を計測する計測工程と、計測したスポットの位置に基づいて記憶部から関係を示す情報を取得し、取得した情報に基づいて実寸サイズを示すマーカを生成するマーカ生成工程と、スポットが形成された被写体の画像及びマーカを表示装置に表示させる表示制御工程であって、被写体の画像においてスポットの近傍にマーカを表示させる表示制御工程と、を含む。第16の態様によれば、第1の態様と同様に被写体の大きさを容易かつ高精度に計測することができる。
 以上説明したように、本発明の計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法によれば、被写体の大きさを容易かつ高精度に計測することができる。
図1は、本発明の第1の実施形態に係る内視鏡システムの全体構成を示す図である。 図2は、本発明の第1の実施形態に係る内視鏡システムの構成を示すブロック図である。 図3は、先端硬質部の先端側端面の構成を示す図である。 図4は、先端硬質部の先端側端面の他の構成を示す図である。 図5は、レーザモジュールの構成を示す図である。 図6は、レーザ光源モジュールの構成を示す断面図である。 図7は、撮像光学系の光軸と計測補助光の光軸との関係を示す図である。 図8は、撮像光学系の光軸と計測補助光の光軸との関係を示す他の図である。 図9は、撮像光学系の光軸と計測補助光の光軸との関係を示す他の図である。 図10は、内視鏡の挿入部を被検体内に挿入した様子を示す図である。 図11は、計測支援方法の処理を示すフローチャートである。 図12は、計測補助光の光軸が撮像光学系の撮像画角を横切る様子を示す図である。 図13は、撮影距離によりスポット位置が変化する様子を示す図である。 図14は、撮影距離によりスポット位置が変化する様子を示す他の図である。 図15は、波長とカラーフィルタの感度との関係を示す図である。 図16は、観察距離が近端付近の場合においてスポット及びマーカを表示した様子を示す図である。 図17は、観察距離が観察可能範囲の中央付近の場合においてスポット及びマーカを表示した様子を示す図である。 図18は、観察距離が遠端付近の場合においてスポット及びマーカを表示した様子を示す図である。 図19は、観察距離が近端付近の場合において、スポット及び変形させたマーカを表示した様子を示す図である。 図20は、観察距離が遠端付近の場合において、スポット及び変形させたマーカを表示した様子を示す図である。 図21は、スポット位置とマーカの大きさとの関係を測定する様子を示す図である。 図22は、スポット位置とマーカの大きさとの関係を測定する様子を示す他の図である。 図23は、スポットのX方向ピクセル位置とマーカのX軸方向のピクセル数との関係を示す図である。 図24は、スポットのY方向ピクセル位置とマーカのX軸方向のピクセル数との関係を示す図である。 図25は、スポットのX方向ピクセル位置とマーカのY軸方向のピクセル数との関係を示す図である。 図26は、スポットのY方向ピクセル位置とマーカのY軸方向のピクセル数との関係を示す図である。 図27は、本発明の実施例におけるパラメータの定義を示す図である。 図28は、本発明の実施例におけるパラメータの定義を示す他の図である。 図29は、本発明の実施例及び比較例の評価結果を示す表である。 図30は、本発明の第4の実施形態に係るレーザモジュールの構成を示す図である。 図31は、本発明の第5の実施形態に係るレーザモジュールの構成を示す図である。 図32は、ミラーによる計測補助光の出射角度変更の様子を示す図である。 図33は、レーザヘッドを撮像光学系に対して斜めに配置した様子を示す図である。 図34は、計測支援方法の処理を示す他のフローチャートである。
 以下、添付図面を参照しつつ、本発明に係る計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法の実施形態について、詳細に説明する。
 <第1の実施形態>
 図1は、第1の実施形態に係る内視鏡システム10(計測支援装置、内視鏡システム、内視鏡システムのプロセッサ)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体110(内視鏡)、内視鏡プロセッサ200(内視鏡システムのプロセッサ)、光源装置300、及びモニタ400から構成される内視鏡装置100を含んでいる。
 <内視鏡本体の構成>
 内視鏡本体110は、手元操作部102(操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者は手元操作部102を把持して操作し、挿入部104を被検体の体内に挿入して観察を行う。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。先端硬質部116には、撮像光学系130(撮像部)、照明部123、鉗子口126、レーザモジュール500等が設けられる(図1~3参照)。
 観察や処置の際には、操作部208(図2参照)の操作により、照明部123の照明用レンズ123A,123Bから可視光と赤外光のいずれか、または両方を照射することができる。また、操作部208の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮像光学系130の撮像レンズ132(撮像レンズ)、及び照明用レンズ123A,123Bを洗浄することができる。先端硬質部116で開口する鉗子口126には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
 図1~図3に示すように、先端硬質部116の先端側端面116Aには撮像レンズ132が配設されており、この撮像レンズ132の奥にCMOS(Complementary Metal Oxide Semiconductor)型の撮像素子134(撮像素子、カラー撮像素子)、駆動回路136、AFE(Analog Front End)138が配設されて、画像信号を出力するようになっている。撮像素子134はカラー撮像素子であり、特定のパターン配列(ベイヤー配列、GストライプR/B完全市松、X-Trans(登録商標)配列、ハニカム配列等)でマトリクス状に配置(2次元配列)された複数の受光素子により構成される複数の画素を備え、各画素はマイクロレンズ、赤(R)、緑(G)、または青(B)のカラーフィルタ及び光電変換部(フォトダイオード等)を含んでいる。撮像光学系130は、赤,緑,青の3色の画素信号からカラー画像を生成することもできるし、赤,緑,青のうち任意の1色または2色の画素信号から画像を生成することもできる。
 なお第1の実施形態では撮像素子134がCMOS型の撮像素子である場合について説明するが、撮像素子134はCCD(Charge Coupled Device)型でもよい。
 被検体(腫瘍部、病変部)の画像やスポット(後述)の光学像は撮像レンズ132により撮像素子134の受光面(結像面)に結像されて電気信号に変換され、不図示の信号ケーブルを介して内視鏡プロセッサ200に出力されて映像信号に変換される。これにより、内視鏡プロセッサ200に接続されたモニタ400に観察画像等(図16~20参照)が表示される。
 また、先端硬質部116の先端側端面116Aには、撮像レンズ132に隣接して照明部123の照明用レンズ123A(可視光用)、123B(赤外光用)が設けられている。照明用レンズ123A,123Bの奥には、後述するライトガイド170の射出端が配設され、このライトガイド170が挿入部104、手元操作部102、及びユニバーサルケーブル106に挿通され、ライトガイド170の入射端がライトガイドコネクタ108内に配置される。
 先端側端面116Aには、さらにレーザモジュール500のレーザヘッド506(ヘッド)が設けられて、プリズム512(プリズム部材)を介してスポット光(計測補助光)が照射される。レーザモジュール500の構成は後述する。なお第1の実施形態では、図3に示すようにレーザヘッド506が鉗子口126とは別に設けられているが、本発明に係る計測支援装置及び内視鏡システムにおいては、図4に示すように、先端硬質部116で開口する鉗子口126に連通する管路(不図示)にレーザヘッド506を挿抜可能に挿通してもよい。この場合レーザヘッド506専用の管路を設ける必要がなく、鉗子口126に連通する管路を他の処置具と共用することができる。
 <レーザモジュールの構成>
 図2及び図5に示すように、レーザモジュール500はレーザ光源モジュール502(光源、レーザ光源)と、光ファイバー504(光ファイバー)と、レーザヘッド506(ヘッド)とを備える。光ファイバー504の基端側(レーザ光源モジュール502側)はファイバー外皮501で被覆され、先端側(レーザ光を出射する側)はフェルール(ferrule)508に挿入されて接着剤で接着され、端面が研磨される。フェルール508の先端側にGRIN(Graded Index)レンズ510(コリメータ、グレーデッドインデックス型レンズ)が装着され、GRINレンズ510の先端側にプリズム512が装着されて接合体を形成する。フェルール508は光ファイバー504を保持、接続するための部材であり、中心部には光ファイバー504を挿通するための穴が軸方向(図5の左右方向)に空けられている。フェルール508及びファイバー外皮501の外側に補強材507が設けられて光ファイバー504等を保護する。フェルール508,GRINレンズ510,及びプリズム512はハウジング509に収納され、補強材507及びファイバー外皮501と一体になってレーザヘッド506を構成する。
 レーザヘッド506において、フェルール508は例えば直径が0.8mm~1.25mmのものを用いることができる。なお小型化のためには細径のものの方が好ましい。上述の構成により、レーザヘッド506全体としての直径を1.0mm~1.5mmにすることができる。
 このように構成されたレーザモジュール500は挿入部104に装着される。具体的には図2に示すように、レーザ光源モジュール502は手元操作部102(スコープ)の部分に配置され、電気回路基板部に実装される。一方、レーザヘッド506が先端硬質部116に設けられて、光ファイバー504がレーザ光をレーザ光源モジュール502からレーザヘッド506まで導光する。なおレーザ光源モジュール502を光源装置300内に設け、レーザ光を光ファイバー504により先端硬質部116まで導光するようにしてもよい。
 レーザ光源モジュール502は、図示せぬ電源から電力が供給されて可視波長域のレーザ光を出射するVLD(Visible Laser Diode)と、VLDから出射されたレーザ光を集光する集光レンズ503とを備えるピグテール型モジュール(TOSA;Transmitter Optical Sub Assembly)である(図6参照)。レーザ光は内視鏡プロセッサ200(CPU210)の制御により必要に応じて出射することができ、スポット光の照射による計測を行う場合(計測モード)のみレーザ光を出射させることで、非出射時には通常の内視鏡と同様に使用することができる(通常モード)。レーザ光源モジュール502は、内視鏡プロセッサ200(光源駆動部、レーザ駆動部)からの電気信号に応じて点灯、消灯、及び光強度が制御される。
 第1の実施形態において、VLDが出射するレーザ光は半導体レーザによる波長650nmの赤色レーザ光とすることができる。ただし本発明におけるレーザ光の波長はこの態様に限定されるものではない。集光レンズ503で集光されたレーザ光は、光ファイバー504によりGRINレンズ510まで導光される。光ファイバー504はレーザ光をシングル横モードで伝搬させる光ファイバーであり、径が小さく鮮明なスポットを形成することができるので、被写体の大きさを正確に計測することができる。光ファイバー504の途中に中継コネクタを設けてもよい。なお、被写体の種類や大きさ等の観察条件によってスポット径の大きさや鮮明さが計測上問題とならない場合は、光ファイバー504として、レーザ光をマルチモードで伝搬させる光ファイバーを用いてもよい。また、光源としては半導体レーザの代わりにLED(Light-Emitting Diode)を用いてもよく、半導体レーザを発振閾値以下のLED発光状態で使用してもよい。
 GRINレンズ510は、屈折率が光軸で最も高く半径方向外側に向かうにつれて減少する円筒型のグレーデッドインデックス型レンズ(ラジアル型)であり、光ファイバー504により導光されて入射したレーザ光を平行な光束にして出射するコリメータとして機能する。GRINレンズ510から出射される光束の広がりはGRINレンズ510の長さを調節することで調節でき、平行な光束のレーザ光を出射させるには(λ/4)ピッチ(λはレーザ光の波長)程度にすればよい。
 GRINレンズ510の先端側にはプリズム512(光学部材、プリズム部材)が装着されている。このプリズム512は計測補助光の出射方向を変更するための光学部材であり、出射方向を変更することにより、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸が撮像光学系の光軸に対し0度でない傾き角を有し、計測補助光が撮像光学系の画角を横切る。プリズム512はGRINレンズ510のレンズ径に近い大きさに形成されており、先端面が斜めにカットされて上述した傾き角に応じた頂角AL1(具体的な数値は後述の実施例を参照)を有する。
 <撮像光学系の光軸と計測補助光の光軸の関係>
 図7は第1の実施形態に係る先端硬質部116を前方(被写体側)から見た状態を示す図であり、図3の構成に対応する図である。第1の実施形態では、計測補助光の光軸L1と撮像光学系の光軸L2とは同一平面上に存在し、その同一平面上で交差する。したがって、先端硬質部116を前方(被写体側)から見ると、図7のように光軸L2が光軸L1上を通るように見える。なお、図8は図4の構成に対応する図である。図4及び図8に示す態様においても、計測補助光の光軸L1と撮像光学系の光軸L2とは同一平面上に存在し、その同一平面上で交差する。
 なお、本発明における計測補助光の光軸L1と撮像光学系の光軸L2との関係は、上述した「計測補助光の光軸と撮像光学系の光軸とが同一平面上に存在し、その同一平面上で交差する」態様に限定されるものではく、図9に示す光軸L1A,L1Bのように撮像光学系の光軸L2と同一平面上に存在しなくてもよい。しかしながらこのような場合においても、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸は撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切るものとする。
 上述した特許文献2のように計測補助光の光軸が撮像光学系の光軸と平行(傾き角が0度)である場合、光軸同士の間隔によっては計測補助光の光軸が撮像光学系の画角を横切る点までの距離が遠くなり、その場合至近距離ではスポットが撮影できず計測が困難である。また計測補助光の光軸が撮像光学系の光軸と平行である場合、観察距離の変化に対するスポット位置変化の感度が低く、十分な計測精度が得られない場合がある。これに対し第1の実施形態のように「計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸は撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切る」という構成によれば、至近距離から遠距離まで広範囲の観察距離で計測でき、また距離変化に対するスポット位置変化の感度が高いため高精度に計測することができる。
 <光源装置の構成>
 図2に示すように、光源装置300は、照明用の光源310(照明光源)、絞り330、集光レンズ340、及び光源制御部350(制御部)等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A(照明光源)及び赤外光源310B(照明光源)を備えており、可視光及び赤外線の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は、光源制御部350(制御部)により制御され、後述するように、スポットを撮像して計測する際(計測モード時)に必要に応じて照明光の照度を下げたり、照明を停止したりすることができるようになっている。
 ライトガイドコネクタ108(図1参照)を光源装置300に連結することで、光源装置300から照射された照明光がライトガイド170を介して照明用レンズ123A、123Bに伝送され、照明用レンズ123A、123Bから観察範囲に照射される。
 <内視鏡プロセッサの構成>
 次に、図2に基づき内視鏡プロセッサ200(計測部、記憶部、マーカ生成部、表示制御部、光源駆動部、レーザ駆動部)の構成を説明する。内視鏡プロセッサ200は、内視鏡装置100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204(計測部、マーカ生成部、表示制御部)で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像が表示される。これらの処理はCPU(Central Processing Unit;中央処理装置)210(計測部、マーカ生成部、表示制御部)の制御下で行われる。画像処理部204では、ホワイトバランス調整等の画像処理の他、モニタ400に表示する画像の切替や重畳表示、電子ズーム処理、操作モードに応じた画像の表示、画像信号からの特定成分(例えば輝度信号)の抽出等を行う。また画像処理部204では、撮像素子134の結像面におけるスポット位置の測定や、測定した位置に基づくマーカの大きさ(ピクセル数)の算出が行われる(後述)。メモリ212(記憶部)には、CPU210や画像処理部204が行う処理に必要な情報、例えば撮像素子134の結像面におけるスポットの位置とマーカの大きさとの関係があらかじめ記憶されている。この関係は、関数形式で記憶してもよいし、ルックアップテーブル形式で記憶してもよい。
 また、内視鏡プロセッサ200は操作部208を備えている。操作部208は図示せぬ操作モード設定スイッチや送水指示ボタン等を備えており、また可視光及び/または赤外光の照射を操作することができる。
 <内視鏡装置による観察>
 図10は内視鏡装置100の挿入部104を被検体内に挿入した状態を示す図であり、撮像光学系130を介して撮像範囲IAについて観察画像を取得する様子を示している。図10では、スポットSP0が腫瘍tm(黒色で隆起している部分)の付近に形成されている様子を示す。
 <計測処理の流れ>
 次に、内視鏡システム10を用いた被検体の計測支援方法について説明する。図11は計測支援方法の処理を示すフローチャートである。
 まず、内視鏡装置100の挿入部104を被検体に挿入し、内視鏡システム10を通常観察モードに設定する(ステップS10)。通常観察モードは、光源装置300から照射される照明光を被写体に照射して画像を取得し、被写体を観察するモードである。通常観察モードへの設定は内視鏡システム10の起動時に内視鏡プロセッサ200が自動的に行ってもよいし、ユーザによる操作部208の操作に応じて行ってもよい。
 内視鏡システム10が通常観察モードに設定されたら、照明光を照射して被写体を撮像し、モニタ400に表示する(ステップS12)。被写体の画像としては静止画を撮像してもよいし、動画を撮像してもよい。撮像の際は、被写体の種類や観察の目的に応じて照明光の種類(可視光または赤外光)を切り換えることが好ましい。ユーザはモニタ400に表示される画像を見ながら挿入部104を進退及び/または屈曲操作して先端硬質部116を観察対象に向け、計測したい被写体を撮像できるようにする。
 次に、通常観察モードから計測モードに移行するか否かを判断する(ステップS14)。この判断は操作部208を介したユーザ操作の有無に基づいて行ってもよいし、内視鏡プロセッサ200からの切替指令の有無に基づいて行ってもよい。また、内視鏡プロセッサ200が一定のフレーム間隔(1フレーム毎、2フレーム毎等)で通常観察モードと計測モードとを交互に設定してもよい。ステップS14の判断が否定されるとステップS12へ戻って通常観察モードでの撮像を継続し、判断が肯定されるとステップS16へ進んで計測モードに切り替える。
 計測モードは、レーザヘッド506からレーザ光(計測補助光)を照射して被写体にスポットを形成し、スポットが形成された被写体の画像に基づいて被写体の大きさ(長さ)を計測するためのマーカを生成及び表示するモードである。第1の実施形態では計測補助光として赤色レーザ光を用いるが、内視鏡画像では消化管に赤みがかったものが多いので、計測条件によってはスポットを認識しにくくなる場合がある。そこで計測モードでは、スポットの画像取得及び位置計測の際に照明光を消灯するか、スポットの認識に影響が出ない程度に照度を下げ(ステップS18)、レーザヘッド506から計測補助光を照射する(ステップS20:補助光出射工程)。このような制御は、内視鏡プロセッサ200及び光源制御部350により行うことができる。
 ステップS22では、計測補助光によりスポットが形成された被写体の画像を撮像する(撮像工程)。観察距離が計測範囲内である場合、撮像光学系130の撮影画角内にスポットが形成される。以下に詳細を説明するように、観察距離に応じて画像内の(撮像素子上の)スポットの位置が異なり、表示すべきマーカの大きさ(ピクセル数)がスポットの位置に応じて異なる。
 <観察距離に応じたスポット位置の変化>
 第1の実施形態では、計測補助光の光軸L1を撮像光学系の光軸L2を含む平面に射影した場合に、光軸L1が光軸L2に対し0度でない傾き角を有し、撮像光学系の画角を横切る。したがって、画像(撮像素子)におけるスポットの位置は被写体までの距離によって異なる。例えば、図12(光軸L1及び光軸L2を含む平面内において、先端硬質部116を側面方向から見た状態を示す図)に示すように、観察距離の範囲R1において観察可能であるとすると、範囲R1の近端P1、中央付近の点P2、及び遠端P3では、各点での撮像範囲(矢印Q1,Q2,Q3で示す)におけるスポットの位置(各矢印と光軸L1が交わる点)が異なることが分かる。なお、図12において実線の内側が撮像光学系130の撮像画角であり、一点鎖線の内側が計測画角である。撮像光学系130の撮像画角のうち収差の少ない中央部分で計測を行うようにしている。
 図13は図7と同様に先端硬質部116を正面から見た状態を示す図であり、計測補助光の光軸L1、撮像光学系130の光軸L2、及び撮像素子134の撮像範囲R2の関係を仮想的に示した図である。図13は光軸L1,L2が同一平面上に存在し、その平面上で交差する場合を示している。図13の例では、観察距離に応じたスポット位置P4,P5,P6(観察距離がそれぞれ近端付近、中央付近、遠端付近の場合に対応)を示している。なお、レーザヘッド506が鉗子口126に設けられている場合(図8参照)は、図14に示すように撮像範囲R3においてスポット位置P7,P8,P9(観察距離がそれぞれ近端付近、中央付近、遠端付近の場合に対応)のようになる。
 図13,14に示すように、観察距離が近端付近の場合のスポット位置と遠端付近の場合のスポット位置とは、撮像光学系130の光軸L2に対し反対側に位置することが分かる。
 一方、上述した特許文献2のような従来の技術では計測補助光の光軸が撮像光学系の光軸と平行なので、観察距離の変化によるスポット位置の移動が小さい。具体的には、観察距離が短いときはスポットが撮像画像の中心(撮像素子の中心)から離れた位置に存在し、観察距離が長くなるにつれて撮像画像の中心(撮像素子の中心)に近づいていくが、観察距離の近端と遠端とでスポット位置が撮像光学系の光軸の反対側に位置することはない。このような従来の技術に対し、第1の実施形態では上述のように観察距離の変化に対するスポット位置の移動の感度が高く、被写体の大きさを高精度に計測することができる。
 このように、撮像画像内(撮像素子134上)のスポット位置は撮像光学系130の光軸L2と計測補助光の光軸L1との関係、及び観察距離に応じて異なるが、観察距離が近ければ同一の実寸サイズ(例えば5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。したがって、詳細を後述するように、スポットの位置と被写体の実寸サイズに対応するマーカの大きさ(ピクセル数)との関係を示す情報をあらかじめ記憶しておき、スポット位置に応じてこの情報を取得することで、マーカの大きさを算出することができる。なお、算出の際に観察距離そのものを測定する必要はない。
 図11のフローチャートに戻り、撮像素子134の撮像面におけるスポットの位置計測(ステップS24:計測工程)について説明する。ステップS24におけるスポットの位置計測は、赤(R)色のフィルタ色のカラーフィルタが配設された画素の画素信号により生成される画像により行う。ここで、撮像素子134の各画素に配設されている各色(赤,緑,青)のカラーフィルタにおける波長と感度との関係は図15の通りであり、また上述のように、レーザヘッド506から出射されるレーザ光は波長650nmの赤色レーザ光である。即ち、スポット位置の測定は(赤,緑,青)のカラーフィルタのうちレーザ光の波長に対する感度が最も高い赤色のカラーフィルタが配設された画素(R画素)の画像信号により生成される画像に基づいて行われる。この際、画素信号のビットマップデータまたはRAW(Raw image format)データのR画素の信号強度に閾値を設けて二値化し、白部分(信号強度が閾値より高い画素)の重心を算出することで、スポットの位置を高速に認識することができる。なお、実画像(全ての色の画素信号により生成される画像)によりスポットを認識する場合は、緑色及び青色のカラーフィルタが配設された画素(G画素、B画素)の画素信号に閾値を設け、ビットマップデータがあるG画素及びB画素の画素信号の値が閾値以下の画素のみを抽出することが好ましい。
 なお上述した手法はスポット位置計測の一例であり、画像認識及びスポット認識についての他の公知の手法を採用してもよい。
 なお、計測モードでは上述のようにスポットの画像取得(ステップS22)及び位置計測(ステップS24)に際して照明光を消灯するかスポットの認識に影響が出ない程度に照度を下げて(ステップS18)、レーザヘッド506から計測補助光を照射する(ステップS20)。これによりスポットが鮮明な画像を取得することができ、スポットの位置を正確に計測して適切な大きさのマーカを生成及び表示することができる。なお照明光は必ずしも減光または消灯する必要はなく、スポットの認識に影響がない場合は照度はそのままでよい。
 ステップS26では、被写体の実寸サイズを示すマーカを生成する(マーカ生成工程)。上述のように、マーカの大きさは画像内の(即ち、撮像素子の撮像面上の)スポットの位置に応じて異なるので、スポットの位置と被写体の実寸サイズに対応するマーカの大きさ(ピクセル数)との関係をあらかじめ測定してその関係を示す情報をメモリ212に記憶しておき、内視鏡プロセッサ200がステップS24で計測したスポット位置に応じてメモリ212から情報を取得し、取得した情報に基づいてマーカの大きさを求める。スポット位置とマーカの大きさとの関係を求める手順については、詳細を後述する。
 ステップS28では、観察画像及びマーカをモニタ400に表示する(表示制御工程)。表示条件(マーカの種類、数、実寸サイズ、色等)は、操作部208を介したユーザの操作により設定することができる。図16は、観察距離が近端に近い状態で、実寸サイズ5mm(観察画像の水平方向及び垂直方向)を示す十字型のマーカM1を被写体(腫瘍tm1)上に形成されたスポットsp1の中心に合わせて表示した様子を示す図である。同様に図17は、観察距離が観察距離範囲の中央付近の状態でマーカM2をスポットsp2(腫瘍tm2上に形成)の中心に合わせて表示した様子を示す図であり、図18は観察距離が遠端に近い状態でマーカM3をスポットsp3(腫瘍tm3上に形成)の中心に合わせて表示した様子を示す図である。上述のように計測補助光の光軸L1は撮像光学系130の光軸L2に対し0度でない傾き角を有するため、観察距離によって撮像素子134の撮像面におけるスポットの位置が異なり、このためマーカの表示位置も異なっている。図16~18に示すように、観察距離が長くなるにつれて同一の実寸サイズ5mmに対するマーカの大きさが小さくなる(マーカのピクセル数が少なくなる)。
 上述した図16~18では撮像光学系130の歪曲収差の影響を考慮していないが、内視鏡に用いる光学系は一般に広角で歪曲収差が大きく、撮影画像における被写体の形状にも影響がある。したがってマーカについても歪曲収差の影響を考慮(補正)した形態で表示することが好ましい。この場合、歪曲収差は光学系の中心部で少なく周辺部分で大きいため、マーカの表示位置(スポット位置)に応じて補正の有無を決めてもよい。図19及び図20は歪曲収差の大きい周辺部においてマーカM1,M3を変形させてマーカM1A,M3Aとして表示した例である。このようにマーカを表示することで、被写体の大きさを正確に計測できる。なお歪曲収差のデータは撮像光学系130の設計値に基づいて設定してもよいし、別途測定して取得してもよい。
 なお図16~18ではスポットの中心とマーカの中心を一致させて表示しているが、計測精度上問題にならない場合はスポットから離れた位置にマーカを表示してもよい。ただしこの場合もスポットの近傍にマーカを表示することが好ましい。
 なお、マーカを変形して表示するのではなく、撮像画像の歪曲収差を補正し変形させない状態のマーカを補正後の画像に表示してもよい。
 なお、図16~20では被写体の実寸サイズ5mmに対応するマーカを表示しているが、被写体の実寸サイズは観察対象や観察目的に応じて任意の値(例えば、2mm、3mm、10mm等)を設定してよい。また、図16~20では十字型のマーカを表示しているが、円形その他の形状のマーカを表示してもよい。マーカの数は一つでも複数でもよいし、実寸サイズに応じてマーカの色を変化させてもよい。このような表示の態様を、操作部208を介した操作により選択できるようにしてもよい。
 このようなマーカを被写体と対比することにより、ユーザは観察距離を測定することなく、被写体の大きさ(図16~20の例では水平方向、垂直方向とも約5mm)を容易に計測することができる。
 ステップS30では計測モードを終了するか否かを判断する。この判断は操作部208を介したユーザ操作に基づいて行ってもよいし、内視鏡プロセッサ200からの切替指令の有無に基づいて行ってもよい。また、計測モードへの移行の際と同様に、一定フレーム数が経過したら自動的に計測モードを終了して通常観察モードに復帰してもよい。ステップS30の判断が否定されるとステップS20へ戻り、ステップS20からステップS28の処理を繰り返す。ステップS30の判断が肯定されるとステップS32に進んで計測補助光を消灯し、続いてステップS34で照明光の照度を通常照度に戻して通常観察モードに復帰する(ステップS10へ戻る)。なお、通常観察モードでの観察に支障がなければ、計測補助光を消灯しなくてもよい。
 上述の方法では計測モードで得られる画像が暗く診断が困難になる場合、図34のフローチャートに示す手順により計測を行ってもよい。図34のフローチャートでは、計測補助光点灯(ステップS40)後、1フレームは計測のために照明を暗くして(ステップS42)撮像し(ステップS44)、撮像画像に基づいてスポット位置の計測(ステップS46)及びマーカ生成(ステップS48)を行う。続く1フレームは通常の照明光量に設定して(ステップS50)撮像する(ステップS52)。計測補助光を用いた診断及び観察においては、このように暗い画像(ステップS44で撮像した画像)からマーカ情報を生成し(ステップS48)、通常の照明光量の画像(ステップS52で撮像した画像)に重畳表示する(ステップS54)ことにより、観測画像の明るさを通常照明の場合と同じにすることができる。なお図34のフローチャートにおいて、図11のフローチャートと同じ部分には同一のステップ番号を付し、説明を省略する。
 以上説明したように、第1の実施形態に係る内視鏡システム10(計測支援装置、内視鏡システム、内視鏡システムのプロセッサ)及びこれを用いた計測支援方法によれば、被写体の大きさを容易かつ高精度に計測することができる。
 <スポット位置とマーカの大きさとの関係の測定>
 第1の実施形態では、撮像素子134の撮像面におけるスポットの位置と被写体の実寸サイズに対応するマーカの大きさ(ピクセル数)との関係をあらかじめ測定してスポット位置に関連づけてメモリ212に記憶しておき、計測したスポット位置に応じてこの関係を参照してマーカの大きさを算出する。以下、スポット位置とマーカの大きさとの関係の測定手順の例を説明する。なお、ここではマーカは十字型とし、水平方向及び垂直方向の実寸サイズを5mmとして説明するが、本発明におけるマーカはこのような態様に限定されるものではない。
 スポット位置とマーカの大きさとの関係は、実寸サイズのパターンが規則的に形成されたチャートを撮像することで得ることができる。例えば、計測補助光を出射させることでスポットを形成し、観察距離を変化させてスポットの位置を変えながら実寸サイズと同じ罫(5mm罫)もしくはそれより細かい罫(例えば1mm罫)の方眼紙状のチャートを撮像し、スポット位置(撮像素子の撮像面におけるピクセル座標)と実寸サイズに対応するピクセル数(実寸サイズである5mmが何ピクセルで表されるか)との関係を取得する。
 図21は、5mm罫のチャートを撮影した状態を示す図である。撮影距離は近端に近い状態であり、罫の間隔が広く写っている。図21において(x1,y1)は、撮像素子134の撮像面におけるスポットsp4のX,Y方向ピクセル位置(図21の左上が座標系の原点)である。スポットsp4の位置(x1,y1)での、実寸サイズ5mmに対応するX方向ピクセル数をLx1とし、Y方向ピクセル数をLy1とする。このような測定を、観察距離を変えながら繰り返す。図22は図21と同じ5mm罫のチャートを撮影した状態を示す図であるが、図21の状態よりも撮影距離が遠端に近い状態であり、罫の間隔が狭く写っている。図22の状態において、撮像素子134の撮像面におけるスポットsp5の位置(x2,y2)での実寸サイズ5mmに対応するX方向ピクセル数をLx2とし、Y方向ピクセル数をLy2とする。そして観察距離を変えながら図21,22のような測定を繰り返し、結果をプロットする。なお、図21,22では撮像光学系130の歪曲収差を考慮せず表示している。
 図23はスポット位置のX座標とLx(マーカのX方向ピクセル数)との関係を示す図であり、図24はスポット位置のY座標とLxとの関係を示す図である。Lxは図23の関係よりX方向位置の関数としてLx=g1(x)と表され、また図24の関係よりY方向位置の関数としてLx=g2(y)と表される。g1,g2は上述したプロット結果から例えば最小二乗法により求めることができる。このように、Lxを表す2つの関数g1,g2が得られるが、スポットのX座標とY座標とは一対一に対応しておりg1,g2のいずれを用いても基本的に同じ結果(同じスポット位置に対しては同じピクセル数)が得られるため、マーカの大きさを算出する際はどちらの関数を用いてもよい。g1,g2のうち位置変化に対するピクセル数変化の感度が高い方の関数を選んでもよい。また、g1,g2の値が大きく異なる場合は「スポットの認識ができなかった」と判断してもよい。
 第1の実施形態では、このようにして得られた関数g1,g2を示す情報を、関数形式、ルックアップテーブル形式等によりあらかじめメモリ212に記憶しておく。
 また、図25はスポット位置のX座標とLy(Y方向ピクセル数)との関係を示す図であり、図26はスポット位置のY座標とLyとの関係を示す図である。図25の関係より、LyはX方向位置の関数としてLy=h1(x)と表され、図26の関係よりLyはY方向位置の関数としてLy=h2(y)と表される。Lyについても、Lxと同様に関数h1,h2のいずれを用いてもよい。
 <実施例及び比較例>
 次に、計測補助光の好ましい傾き角の値について、実施例及び比較例を用いて説明する。
 <パラメータの定義>
 実施例及び比較例で用いるパラメータの定義を、図27及び図28を参照しつつ説明する。レーザヘッド506と撮像光学系130の位置関係を、撮像光学系130の光軸L2を含んだ2次元平面に射影して考える。計測(測長)範囲を撮像光学系130の先端からの距離で定義して近端をzn(mm)、遠端をzf(mm)とする。レーザヘッド506と撮像光学系130の中心間の距離をdcl(mm)とする。撮像光学系130の観測できる画角をθ(度;deg)とする。遠端でのスポットの位置は、撮像光学系130の光軸L2からの距離がz1(mm)であるものとする。またその時の像高をz1aとする。近端でのスポットの位置は、撮像光学系130の光軸L2からの距離がz2(mm)であるものとする。またその時の像高をz2aとする。レーザ光(計測補助光)が撮像光学系130の光軸L2を横切る位置は撮像光学系130の先端からの距離がa(mm)であり、横切った位置から遠端までの距離はb(mm)である。なお、図27においてはレーザヘッド506と撮像光学系130の位置関係を上述の2次元平面に射影しているので、3次元空間では必ずしも両光軸が交わる必要はない(両光軸は図7,8のような関係でもよいし、図9のような関係でもよい)。撮像光学系130の光軸L2と計測補助光の光軸L1とのなす角(計測補助光の傾き角)をAngle(度)とする。プリズム512の屈折率をnとしたときに、プリズム512の頂角(図28参照)をα(度)とする(頂角αは図5の頂角AL1に対応する)。また、図28に示すように、計測補助光の出射方向がプリズム512の鏡面512Aに対する垂線となす角をβ(度)とする。図28において、(a)部分、(b)部分、(c)部分はそれぞれプリズム512の側面図、上面図、背面図である。なお、プリズム512の素材(図29の“Material”)としては一般名称が「BK7」である光学ガラスとTiO(酸化チタン)とのうちいずれか(実施例及び比較例により異なる;図29参照)を用いたが、これらに限らずレンズに用いるガラス材料等を用いても良い。
 内視鏡の画像は一般に歪曲収差が大きく画面周辺部(撮影画角周辺部)での測長は望ましくないため、極力画面中心部(撮影画角中心部)での計測(測長)を行いたい。したがって、計測補助光の光軸L1が撮像光学系130の光軸L2を横切る位置は観測距離の近端と遠端の間であることが望ましい。このような観点で、実施例1~10に示す条件で検討を行った。また、上述の特許文献2のように計測補助光の光軸L1と撮像光学系130の光軸L2が平行である場合を比較例とした。結果を図29の表に示す。評価の基準は、計測補助光の光軸L1が撮像光学系130の光軸L2を横切る位置は観測距離近端と遠端の間である場合を「非常に良い」、近端または遠端である場合を「良い」、近端から遠端にないものを「不可」とした。図29の表から分かるように、Angle(傾き角)としては1.1度以上50.2度以下の範囲が好ましく(評価が「良い」または「非常に良い」)、10.5度以上50.2度以下の範囲がさらに好ましい(評価が「非常に良い」)。
 <その他の実施形態>
 上述した第1の実施形態では、レーザヘッド506がGRINレンズ510及びプリズム512を備え、計測補助光が波長650nmの赤色レーザ光である態様について説明したが、本発明においてレーザヘッドの構成及び計測補助光の波長、及びこれらに基づく計測処理はこのような態様に限定されるものではない。レーザヘッドの構成及び計測補助光の波長についての他の態様について、以下に説明する。なお以下の説明において、第1の実施形態と同様の構成には同一の参照符号を付し、詳細な説明を省略する。
 <第2の実施形態>
 第2の実施形態では、レーザヘッドの構成は第1の実施形態に係るレーザヘッド506と同じであるが、計測補助光の波長が波長445nmの青色レーザ(半導体レーザ)である点が第1の実施形態と異なる。なお半導体レーザの代わりにLEDを用いてもよく、また半導体レーザを発振閾値以下のLED発光状態で用いてもよい。
 このような構成の第2の実施形態において、スポット位置の計測やマーカの生成は基本的に第1の実施形態と同様であるが、上述のように第2の実施形態では計測補助光に青色レーザを用いるので、スポット位置の計測の際はビットマップデータまたはRAWデータのB信号(青色のカラーフィルタが配設された画素の画素信号)の強度に閾値を設けて画像を2値化し、白部分(信号強度が閾値より高い画素領域)の重心を算出する。実際の観察画像でスポット位置を計測する場合は、G信号,R信号(それぞれ、緑色、赤色のカラーフィルタが配設された画素の画素信号)に閾値を設け、ビットマップデータのあるG信号及びR信号の値が閾値以下の座標を抽出することが好ましい。
 内視鏡画像では消化管に赤みがかったものが多いので赤色光によるスポットの認識が困難な場合があり、第2の実施形態のように青色光を用いた場合でも認識が不十分な場合がある。この場合、スポットの位置を計測するフレーム(計測モード)では白色の照明光(可視光源310A)を消灯するか、スポットの計測に影響が出ない程度に強度を弱くすることが好ましい。一方でスポットの認識を行うフレーム以外(通常観察モード)では照明光を正規な出力に設定して画像を構築する。このような照明光の制御によって、スポットの認識成功率を大幅に向上させることができる。
 <第3の実施形態>
 次に、本発明の第3の実施形態について説明する。第3の実施形態では、レーザヘッドの構成は上述した第1,第2の実施形態と同様であるが、第3の実施形態では計測補助光の波長が波長505nmの緑色レーザ(半導体レーザ)である点が第1,第2の実施形態と異なる。なお半導体レーザの代わりにLED(例えば、波長530nm)または固体レーザ(例えば、波長532nm)を用いてもよく、また半導体レーザを発振閾値以下のLED発光状態で用いてもよい。
 このような構成の第3の実施形態において、スポット位置の計測やマーカの生成は基本的に第1,第2の実施形態と同様であるが、上述のように第3の実施形態では計測補助光に緑色レーザを用いるので、スポット位置の計測の際はビットマップデータまたはRAWデータのG信号(緑色のカラーフィルタが配設された画素の画素信号)の強度に閾値を設けて画像を2値化し、白部分(信号強度が閾値より高い画素領域)の重心を算出する。実際の観察画像でスポット位置を計測する場合は、B信号,R信号(それぞれ、青色、赤色のカラーフィルタが配設された画素の画素信号)に閾値を設け、ビットマップデータのあるB信号及びR信号の値が閾値以下の座標を抽出することが好ましい。
 内視鏡画像では消化管に赤みがかったものが多いので赤色光によるスポットの認識が困難な場合があり、第3の実施形態のように緑色光を用いた場合でも認識が不十分な場合がある。この場合、スポットの位置を計測するフレーム(計測モード)では白色の照明光(可視光源310A)を消灯するか、スポットの計測に影響が出ない程度に強度を弱くすることが好ましい。一方でスポットの認識を行うフレーム以外(通常観察モード)では照明光を正規な出力に設定して画像を構築する。このような照明光の制御によって、スポットの認識成功率を大幅に向上させることができる。
 <第4の実施形態>
 次に、本発明の第4の実施形態について説明する。第4の実施形態では、上述した第1~第3の実施形態とはレーザモジュール(レーザヘッド)の構成が異なる。第4の実施形態に係るレーザモジュール520の構成は図30の通りであり、レーザヘッド516(ヘッド)において、光ファイバー504の先端側にGRINレンズ510に変えて光ファイバー505(コリメータ、グレーデッドインデックス型光ファイバー)が設けられている。この光ファイバー505は屈折率が光軸で最も高く半径方向外側に向かうにつれて減少するグレーデッドインデックス(Graded Index)型光ファイバーであり、GRINレンズ510と同様に、光ファイバー504により導光されて入射したレーザ光を平行な光束にして出射するコリメータとして機能する。光ファイバー505から出射される光束の広がりは光ファイバー505の長さを調節することで調節でき、平行な光束のレーザ光を出射させるには(λ/4)ピッチ(λはレーザ光の波長)程度にすればよい。
 第4の実施形態では、計測補助光は波長が波長650nmの赤色レーザ(半導体レーザ)である。なお半導体レーザの代わりにLEDまたは固体レーザを用いてもよく、また半導体レーザを発振閾値以下のLED発光状態で用いてもよい。このような構成の第3の実施形態において、スポット位置の計測やマーカの生成は、計測補助光の波長が共通である第1の実施形態と同様に行うことができる。
 <第5の実施形態>
 次に、本発明の第5の実施形態について説明する。第5の実施形態では、上述した第1~第4の実施形態とはレーザモジュール(レーザヘッド)の構成が異なる。第5の実施形態に係るレーザモジュール530の構成は図31の通りであり、レーザヘッド526(ヘッド)の先端部分にプリズムは設けられておらずGRINレンズ510A(コリメータ)が設けられている点が異なっている。GRINレンズ510Aは第1~第3の実施形態に係るGRINレンズ510と同様に屈折率が光軸で最も高く半径方向外側に向かうにつれて減少するグレーデッドインデックス型レンズであるが、先端側にプリズムが設けられていない分GRINレンズ510よりも光軸方向の長さが長く、また先端が斜めにカットされていて、この斜めにカットされた先端部分がプリズムとして機能する。図31の角度AL2が図5,30におけるプリズム512の頂角AL1に対応する。
 第5の実施形態では、計測補助光は波長が波長650nmの赤色レーザ(半導体レーザ)である。なお半導体レーザの代わりにLEDまたは固体レーザを用いてもよく、また半導体レーザを発振閾値以下のLED発光状態で用いてもよい。このような構成の第5の実施形態において、スポット位置の計測やマーカの生成は、計測補助光の波長が共通である第1,第4の実施形態と同様に行うことができる。
 上述した第2~第5の実施形態においても、第1の実施形態と同様に被写体の大きさを容易かつ高精度に計測することができる。
 <変形例1>
 次に、上述した実施形態の変形例について説明する。上述した第1~第5の実施形態では、プリズム512またはGRINレンズ510Aにより計測補助光の出射角度を変更しているが、本発明において計測補助光の出射角度を変更する手段はこれらの部材に限定されるものではない。例えば図32の変形例1に示すように、レーザヘッド540から出射されたレーザビームB1(計測補助光)を、レーザヘッド540の前方(先端硬質部116の先端側)に設けられたミラー542で反射することで計測補助光の出射角度を変更してもよい。なお、図32において参照符号L2,θ2,L3はそれぞれ撮像光学系130の光軸、撮像光学系130の撮影画角、レーザビームB1の光軸を示す。
 上述した構成により、図32に示す変形例1においても、上述した第1~第5の実施形態と同様にレーザビームB1の光軸L3を撮像光学系130の光軸L2を含む平面(図32の紙面を含む平面)に射影した場合に、光軸L3が光軸L2に対し0度でない傾き角δ1を有し、撮像光学系130の画角を横切って光軸L2と交差している。これにより変形例1においても、第1~第5の実施形態と同様に被写体の大きさを容易かつ高精度に計測することができる。
 <変形例2>
 上述した第1の実施形態では固体のプリズム512を用いているため計測補助光の傾き角(出射方向)は一定であるが、液体プリズムを用いて計測補助光の傾き角を変更可能に構成してもよい。例えば、WO2012/043211号公報には第1,第2液体の界面位置を制御して光軸に対するプリズム界面の傾きを制御可能な液体プリズムが記載されており、このような液体プリズムを用いることで計測条件に応じて計測補助光の傾き角を変更することができる。なお、変形例2における撮像光学系の光軸と計測補助光の光軸との関係は第1~第5の実施形態と同様の関係にすることができ、これにより第1~第5の実施形態及び変形例1と同様に被写体の大きさを容易かつ高精度に計測することができる。
 <変形例3>
 次に、変形例3について説明する。上述した第1~第5の実施形態及び変形例1,2ではプリズム、GRINレンズ、ミラー、及び液体プリズム等の光学部材により計測補助光の出射方向を変更し計測補助光の光軸が撮像光学系の光軸に対し0度でない傾き角を有するようにしているが、このような状態を実現する手段は光学部材の配置に限定されるものではない。先端硬質部116の径が問題にならない場合は、図33に示すようにレーザヘッド540を撮像光学系130に対し斜めに配置することができる。
 これにより、図33に示す変形例3においても、上述した第1~第5の実施形態及び変形例1,2と同様に、レーザビームB2の光軸L4を撮像光学系130の光軸L2を含む平面(図33の紙面を含む平面)に射影した場合に、光軸L4が光軸L2に対し0度でない傾き角δ2を有し、撮像光学系130の画角を横切って光軸L2と交差している。これにより変形例3においても、第1~第5の実施形態及び変形例1,2と同様に被写体の大きさを容易かつ高精度に計測することができる。
 <照明用光源の変形例>
 上述した実施形態及び変形例では、照明及び観察用の光源装置300(照明光源)が可視光源310A(照明光源)及び赤外光源310B(照明光源)を備える場合について説明しているが、本発明の実施において光源の構成はこのような態様に限られない。例えば(白色)、(青色、緑色、赤色)、または(紫色、青色、緑色、赤色)等波長の異なる複数のLEDの組合せにより光源を構成してもよい。この場合各色のLEDを単独で発光させてもよいし、複数色のLEDを同時に発光させてもよい。また全ての色のLEDを同時に発光させることで白色光を照射してもよい。
 また、白色光(広帯域光)用レーザ光源及び狭帯域光用レーザ光源により光源装置を構成してもよい。この場合狭帯域光としては青色、紫色等1または複数の波長から選択することができる。
 また、光源をキセノン光源とし、通常光(白色光)用の光源及び狭帯域光用の光源により光源装置を構成してもよい。この場合、狭帯域光としては青色、緑等1または複数の波長から選択することができ、例えば光源の前方に配置され青色及び緑色のカラーフィルタが設けられた円板状のフィルタ(ロータリカラーフィルタ)を回転させることで照射する狭帯域光の波長を切り替えてもよい。なお狭帯域光は波長の異なる2波長以上の赤外光でもよい。
 光源装置の光源種類、波長、フィルタの有無等は被写体の種類や観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類や観察の目的等に応じて照明光の波長を組合せ及び/または切り替えることが好ましい。例えば、上述した各色のLED光の間で、白色レーザ光と第1,第2狭帯域レーザ光(青色、紫色)との間で、青色狭帯域光と緑色狭帯域光との間で、あるいは第1赤外光と第2赤外光との間で照明光の波長を適宜組合せ及び/または切り替えることが好ましい。
 <撮像素子及び撮像方式の変形例>
 上述した実施形態及び変形例では、撮像素子134は各画素に対しカラーフィルタが配設されたカラー撮像素子である場合について説明したが、本発明において撮像素子の構成及び撮像方式はこのような態様に限定されるものではなく、モノクロ撮像素子(CCD型、CMOS型等)でもよい。
 モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次(色順次)で撮像することができる。例えば出射する照明光の波長を(紫色、青色、緑色、赤色)の間で順次切り替えてもよいし、広帯域光(白色光)を照射してロータリカラーフィルタ(赤色、緑色、青色等)により出射する照明光の波長を切り替えてもよい。また、1または複数の狭帯域光(緑色、青色等)を照射してロータリカラーフィルタ(緑色、青色等)により出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる2波長以上の赤外光でもよい。
 <その他>
 本発明の計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法は、生体である被検体を計測する以外に、配管等の生体でない被検体を計測する場合にも適用できる。また本発明の計測支援装置及び計測支援方法は、内視鏡に限らず、工業用部品や製品の寸法や形状を計測する場合にも適用できる。
 以上で本発明の例に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10   内視鏡システム
100  内視鏡装置
102  手元操作部
104  挿入部
106  ユニバーサルケーブル
108  ライトガイドコネクタ
110  内視鏡本体
112  軟性部
114  湾曲部
116  先端硬質部
116A 先端側端面
123  照明部
123A 照明用レンズ
123B 照明用レンズ
126  鉗子口
130  撮像光学系
132  撮像レンズ
134  撮像素子
136  駆動回路
138  AFE
170  ライトガイド
200  内視鏡プロセッサ
202  画像入力コントローラ
204  画像処理部
206  ビデオ出力部
208  操作部
210  CPU
212  メモリ
300  光源装置
310  光源
310A 可視光源
310B 赤外光源
330  絞り
340  集光レンズ
350  光源制御部
400  モニタ
500  レーザモジュール
501  ファイバー外皮
502  レーザ光源モジュール
503  集光レンズ
504  光ファイバー
505  光ファイバー
506  レーザヘッド
507  補強材
508  フェルール
509  ハウジング
510  GRINレンズ
510A GRINレンズ
512  プリズム
512A 鏡面
516  レーザヘッド
526  レーザヘッド
520  レーザモジュール
530  レーザモジュール
540  レーザヘッド
542  ミラー
AL1  頂角
B1   レーザビーム
B2   レーザビーム
IA   撮像範囲
L1   光軸
L1A  光軸
L1B  光軸
L2   光軸
L3   光軸
L4   光軸
M1~M3 マーカ
M1A  マーカ
M3A  マーカ
P1   近端
P3   遠端
P4~P9 スポット位置
R1   範囲
R2   撮像範囲
R3   撮像範囲
S10~S34 計測支援方法の各ステップ
SP0  スポット
sp1~sp5 スポット
g1,g2 関数
h1,h2 関数
tm   腫瘍
tm1~tm3 腫瘍
α    頂角
δ1   傾き角
δ2   傾き角

Claims (16)

  1.  光源から出射された計測補助光を平行な光束にして出射するコリメータを含むヘッドと、
     前記ヘッドから出射された計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して取得する撮像部と、
     前記被写体の画像に基づいて前記撮像素子上の前記スポットの位置を計測する計測部と、
     前記スポットの前記撮像素子上の位置と前記被写体の実寸サイズとの関係を示す情報を記憶する記憶部と、
     前記計測した前記スポットの位置に基づいて前記記憶部から前記関係を示す情報を取得し、前記取得した情報に基づいて前記実寸サイズを示すマーカを生成するマーカ生成部と、
     前記スポットが形成された前記被写体の画像及び前記マーカを表示装置に表示させる表示制御部であって、前記被写体の画像において前記スポットの近傍に前記マーカを表示させる表示制御部と、
     を備え、
     前記ヘッドは、光軸が前記撮像光学系の光軸を含む平面に射影した場合に前記撮像光学系の光軸に対し0度でない傾き角を有し前記撮像光学系の画角を横切る計測補助光を出射する計測支援装置。
  2.  前記ヘッドから出射される前記計測補助光の光軸は前記平面に存在する請求項1に記載の計測支援装置。
  3.  前記ヘッドから出射される前記計測補助光の光軸は前記平面において前記撮像光学系の光軸と交差する請求項1または2に記載の計測支援装置。
  4.  前記ヘッドは、前記コリメータから出射された前記計測補助光の出射方向を変更する光学部材であって、前記ヘッドが出射する計測補助光の光軸と前記撮像光学系の光軸とが前記平面においてなす角が前記傾き角になるように前記計測補助光の出射方向を変更する光学部材を有する請求項1から3のいずれか1項に記載の計測支援装置。
  5.  前記光学部材は前記傾き角に応じた頂角を有するプリズム部材である請求項4に記載の計測支援装置。
  6.  前記光源から出射された前記計測補助光を前記コリメータまでシングル横モードで伝搬させる光ファイバーを備える請求項1から5のいずれか1項に記載の計測支援装置。
  7.  前記コリメータは、屈折率が光軸で最も高く半径方向外側に向かうにつれて減少するグレーデッドインデックス型レンズである請求項1から6のいずれか1項に記載の計測支援装置。
  8.  前記コリメータは、屈折率が光軸で最も高く半径方向外側に向かうにつれて減少するグレーデッドインデックス型光ファイバーである請求項1から7のいずれか1項に記載の計測支援装置。
  9.  前記計測補助光の光軸を前記平面に射影した場合に、前記傾き角が1.1度以上50.2度以下である請求項1から8のいずれか1項に記載の計測支援装置。
  10.  請求項1から9のいずれか1項に記載の計測支援装置を備える内視鏡システム。
  11.  被検体内に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された操作部と、を有する内視鏡を備え、
     前記コリメータと、前記スポットの光学像を前記撮像素子に結像させる撮像レンズと、が前記先端硬質部に設けられる請求項10に記載の内視鏡システム。
  12.  照明光を照射する照明光源と、前記照明光の照度を制御する制御部と、を有し、
     前記制御部は、前記撮像部により前記スポットの画像を取得する計測モードでは、前記照明光を前記被写体に照射して前記被写体を観察する通常観察モードよりも前記照明光の照度を下げる請求項10または11に記載の内視鏡システム。
  13.  前記撮像素子は、2次元配列された複数の受光素子からなる複数の画素と、前記複数の画素に配設された複数のフィルタ色のカラーフィルタと、を備えるカラー撮像素子であり、
     前記計測部は、前記複数のフィルタ色のうち前記計測補助光の波長に対する感度が最も高いフィルタ色のカラーフィルタが配設された画素の画像信号により生成される画像に基づいて前記スポットの前記撮像素子上の位置を計測する、請求項10から12のいずれか1項に記載の内視鏡システム。
  14.  請求項10から13のいずれか1項に記載の内視鏡システムのプロセッサであって、
     前記光源を駆動する光源駆動部と、前記計測部と、前記記憶部と、前記マーカ生成部と、前記表示制御部と、を備えるプロセッサ。
  15.  前記光源駆動部はレーザ光源を駆動するレーザ駆動部である請求項14に記載のプロセッサ。
  16.  光源から出射された計測補助光を平行な光束にして出射するコリメータを含むヘッドと、前記計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して取得する撮像部と、前記スポットの前記撮像素子上の位置と前記被写体の実寸サイズとの関係を示す情報を記憶する記憶部と、を備える計測支援装置を用いた計測支援方法であって、
     前記ヘッドから出射される前記計測補助光の光軸が、前記撮像光学系の光軸を含む平面に射影した場合に前記撮像光学系の光軸に対し0度でない傾き角を有するように前記計測補助光を出射する補助光出射工程と、
     前記計測補助光により前記スポットが形成された被写体の画像を前記撮像部を介して取得する撮像工程と、
     前記被写体の画像に基づいて前記撮像素子上の前記スポットの位置を計測する計測工程と、
     前記計測した前記スポットの位置に基づいて前記記憶部から前記関係を示す情報を取得し、前記取得した情報に基づいて前記実寸サイズを示すマーカを生成するマーカ生成工程と、
     前記スポットが形成された前記被写体の画像及び前記マーカを表示装置に表示させる表示制御工程であって、前記被写体の画像において前記スポットの近傍に前記マーカを表示させる表示制御工程と、
     を含む計測支援方法。
PCT/JP2017/028644 2016-09-15 2017-08-07 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 WO2018051679A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17850585.5A EP3513703B1 (en) 2016-09-15 2017-08-07 Measurement support device, endoscope system, and endoscope processor for endoscope system
JP2018539568A JP6964592B2 (ja) 2016-09-15 2017-08-07 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
US16/297,734 US11536556B2 (en) 2016-09-15 2019-03-11 Measurement support device, endoscope system, processor for endoscope system, and measurement support method for measuring object size

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-180808 2016-09-15
JP2016180808 2016-09-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/297,734 Continuation US11536556B2 (en) 2016-09-15 2019-03-11 Measurement support device, endoscope system, processor for endoscope system, and measurement support method for measuring object size

Publications (1)

Publication Number Publication Date
WO2018051679A1 true WO2018051679A1 (ja) 2018-03-22

Family

ID=61618821

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/028644 WO2018051679A1 (ja) 2016-09-15 2017-08-07 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法

Country Status (4)

Country Link
US (1) US11536556B2 (ja)
EP (1) EP3513703B1 (ja)
JP (1) JP6964592B2 (ja)
WO (1) WO2018051679A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109618137A (zh) * 2018-12-18 2019-04-12 鞍钢集团矿业有限公司 一种基于图像处理的挡板升降高度监控装置及方法
EP3571976A1 (en) * 2018-04-20 2019-11-27 Fujifilm Corporation Endoscope apparatus
JP2020014807A (ja) * 2018-07-27 2020-01-30 富士フイルム株式会社 内視鏡装置及びその作動方法並び内視鏡装置用プログラム
JP2020141712A (ja) * 2019-03-04 2020-09-10 富士フイルム株式会社 内視鏡装置、キャリブレーション装置、及びキャリブレーション方法
JP2020151250A (ja) * 2019-03-20 2020-09-24 富士フイルム株式会社 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
WO2021225026A1 (ja) * 2020-05-07 2021-11-11 富士フイルム株式会社 テストチャート、検査システム、及び検査方法
EP3942991A4 (en) * 2019-03-20 2022-05-11 FUJIFILM Corporation ENDOSCOPE PROCESSOR DEVICE, MEDICAL IMAGE PROCESSING DEVICE, METHOD OF OPERATION AND PROGRAM FOR MEDICAL IMAGE PROCESSING DEVICE
US11762156B2 (en) * 2018-04-26 2023-09-19 Olympus Corporation Optical module for endoscope, endoscope, and manufacturing method of optical module for endoscope

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4024113A4 (en) * 2019-08-28 2022-10-12 FUJIFILM Corporation ENDOSCOPE SYSTEM AND METHOD OF OPERATION
JP7402252B2 (ja) * 2019-12-25 2023-12-20 富士フイルム株式会社 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
EP4209821A4 (en) * 2020-09-02 2024-02-21 Fujifilm Corp ENDOSCOPE SYSTEM AND METHOD OF OPERATION THEREOF
JP2022067406A (ja) * 2020-10-20 2022-05-06 パナソニックIpマネジメント株式会社 内視鏡システム
CN112763510B (zh) * 2021-04-07 2021-08-06 三一筑工科技股份有限公司 裂缝宽度检测装置、混凝土裂缝检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5968318U (ja) * 1982-10-29 1984-05-09 三菱電線工業株式会社 光フアイバスコ−プ
JPS6249208A (ja) * 1985-08-29 1987-03-03 Toshiba Corp 距離測定機能付内視鏡
JPS6273223A (ja) * 1985-09-26 1987-04-03 Toshiba Corp 内視鏡装置
JPH03231622A (ja) * 1990-02-06 1991-10-15 Olympus Optical Co Ltd 内視鏡装置
JPH0542097A (ja) * 1991-08-16 1993-02-23 Olympus Optical Co Ltd 三次元計測用内視鏡装置
JPH07136101A (ja) * 1993-11-16 1995-05-30 Sony Corp 計測機能付き内視鏡
JPH08201026A (ja) * 1995-01-30 1996-08-09 Mitsubishi Cable Ind Ltd 寸法計測機能付き内視鏡
US20040242961A1 (en) * 2003-05-22 2004-12-02 Iulian Bughici Measurement system for indirectly measuring defects
JP2010063485A (ja) * 2008-09-08 2010-03-25 Fujifilm Corp 内視鏡用照明光学系及び内視鏡
JP2011000258A (ja) * 2009-06-18 2011-01-06 Fujifilm Corp 内視鏡システム、内視鏡、並びに距離・照射角度測定方法
JP2016106867A (ja) * 2014-12-08 2016-06-20 Hoya株式会社 電子スコープ及び電子内視鏡システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3595220A (en) * 1967-08-08 1971-07-27 Olympus Optical Co Device for measuring the distance of an object from the forward end portion of an endoscope
US4290667A (en) * 1976-02-03 1981-09-22 International Standard Electric Corporation Optical fibre terminations and connectors
JPS5968318A (ja) 1982-10-12 1984-04-18 Mitsubishi Petrochem Co Ltd 改質エチレン重合体
US5070401A (en) * 1990-04-09 1991-12-03 Welch Allyn, Inc. Video measurement system with automatic calibration and distortion correction
US5436655A (en) 1991-08-09 1995-07-25 Olympus Optical Co., Ltd. Endoscope apparatus for three dimensional measurement for scanning spot light to execute three dimensional measurement
US5669871A (en) * 1994-02-21 1997-09-23 Olympus Optical Co., Ltd. Endoscope measurement apparatus for calculating approximate expression of line projected onto object to measure depth of recess or the like
JP3418480B2 (ja) 1995-04-17 2003-06-23 医療法人社団ケント会 医療支援装置
US5677536A (en) * 1996-06-19 1997-10-14 Smv America Gamma camera with on the fly calibration for PMT drift
US6283483B1 (en) * 1999-07-29 2001-09-04 Paccar Inc Electronicallly controlled ackerman steering
GB0000415D0 (en) * 2000-01-11 2000-03-01 British Aerospace Improvements relating to interfacing embedded optical transmission structures
JP4646384B2 (ja) * 2000-11-21 2011-03-09 オリンパス株式会社 計測用内視鏡装置及び目盛表示方法
US6792175B2 (en) * 2000-11-30 2004-09-14 Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College Optical crossbar switch
JP2002336188A (ja) * 2001-05-21 2002-11-26 Olympus Optical Co Ltd 計測用内視鏡装置
JP5026769B2 (ja) 2006-11-14 2012-09-19 オリンパス株式会社 計測用内視鏡装置、プログラム、および記録媒体
US8106549B2 (en) * 2007-01-31 2012-01-31 Namiki Seimitsu Houseki Kabushiki Kaisha Motor and endoscope probe equipped with motor
DE102009038021A1 (de) * 2009-08-18 2011-02-24 Olaf Dipl.-Ing. Christiansen Bildverarbeitungssystem mit einer zusätzlichen zusammen mit der Bildinformation zu verarbeitenden Maßstabsinformation
JP5576739B2 (ja) 2010-08-04 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、撮像装置及びプログラム
TW201436178A (zh) * 2013-02-13 2014-09-16 Sony Corp 受光發光裝置
EP2903250A1 (de) * 2014-01-31 2015-08-05 WolfVision Innovation GmbH Bildaufnahmeverfahren mit adaptiver Markierlichtemission und ebensolches Bildaufnahmegerät
WO2017120330A1 (en) * 2016-01-05 2017-07-13 Cardiofocus, Inc. Ablation system with automated sweeping ablation energy element

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5968318U (ja) * 1982-10-29 1984-05-09 三菱電線工業株式会社 光フアイバスコ−プ
JPS6249208A (ja) * 1985-08-29 1987-03-03 Toshiba Corp 距離測定機能付内視鏡
JPS6273223A (ja) * 1985-09-26 1987-04-03 Toshiba Corp 内視鏡装置
JPH03231622A (ja) * 1990-02-06 1991-10-15 Olympus Optical Co Ltd 内視鏡装置
JPH0542097A (ja) * 1991-08-16 1993-02-23 Olympus Optical Co Ltd 三次元計測用内視鏡装置
JPH07136101A (ja) * 1993-11-16 1995-05-30 Sony Corp 計測機能付き内視鏡
JPH08201026A (ja) * 1995-01-30 1996-08-09 Mitsubishi Cable Ind Ltd 寸法計測機能付き内視鏡
US20040242961A1 (en) * 2003-05-22 2004-12-02 Iulian Bughici Measurement system for indirectly measuring defects
JP2010063485A (ja) * 2008-09-08 2010-03-25 Fujifilm Corp 内視鏡用照明光学系及び内視鏡
JP2011000258A (ja) * 2009-06-18 2011-01-06 Fujifilm Corp 内視鏡システム、内視鏡、並びに距離・照射角度測定方法
JP2016106867A (ja) * 2014-12-08 2016-06-20 Hoya株式会社 電子スコープ及び電子内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3513703A4 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3571976A1 (en) * 2018-04-20 2019-11-27 Fujifilm Corporation Endoscope apparatus
US11762156B2 (en) * 2018-04-26 2023-09-19 Olympus Corporation Optical module for endoscope, endoscope, and manufacturing method of optical module for endoscope
JP2020014807A (ja) * 2018-07-27 2020-01-30 富士フイルム株式会社 内視鏡装置及びその作動方法並び内視鏡装置用プログラム
JP7029359B2 (ja) 2018-07-27 2022-03-03 富士フイルム株式会社 内視鏡装置及びその作動方法並び内視鏡装置用プログラム
CN109618137A (zh) * 2018-12-18 2019-04-12 鞍钢集团矿业有限公司 一种基于图像处理的挡板升降高度监控装置及方法
JP2020141712A (ja) * 2019-03-04 2020-09-10 富士フイルム株式会社 内視鏡装置、キャリブレーション装置、及びキャリブレーション方法
EP3705023A3 (en) * 2019-03-04 2020-11-04 FUJIFILM Corporation Endoscope apparatus, calibration device, and calibration method
JP7099971B2 (ja) 2019-03-04 2022-07-12 富士フイルム株式会社 内視鏡装置、キャリブレーション装置、及びキャリブレーション方法
JP2020151250A (ja) * 2019-03-20 2020-09-24 富士フイルム株式会社 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム
EP3942991A4 (en) * 2019-03-20 2022-05-11 FUJIFILM Corporation ENDOSCOPE PROCESSOR DEVICE, MEDICAL IMAGE PROCESSING DEVICE, METHOD OF OPERATION AND PROGRAM FOR MEDICAL IMAGE PROCESSING DEVICE
WO2021225026A1 (ja) * 2020-05-07 2021-11-11 富士フイルム株式会社 テストチャート、検査システム、及び検査方法
JP7447249B2 (ja) 2020-05-07 2024-03-11 富士フイルム株式会社 テストチャート、検査システム、及び検査方法

Also Published As

Publication number Publication date
US11536556B2 (en) 2022-12-27
JP6964592B2 (ja) 2021-11-10
EP3513703B1 (en) 2021-04-28
JPWO2018051679A1 (ja) 2019-06-24
EP3513703A1 (en) 2019-07-24
EP3513703A4 (en) 2019-09-18
US20190204068A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
JP6964592B2 (ja) 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法
JP6692440B2 (ja) 内視鏡システム
US10708553B2 (en) Measurement support device, endoscope system, processor for endoscope system
US11419694B2 (en) Endoscope system measuring size of subject using measurement auxiliary light
JP6644899B2 (ja) 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ
US11490785B2 (en) Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light
JP5953443B2 (ja) 内視鏡システム
JP6738465B2 (ja) 内視鏡システム
CN110799081B (zh) 内窥镜装置及测量支持方法
JP7343594B2 (ja) 内視鏡
US20230255444A1 (en) Imaging system, endoscope system, and control method
JP6549021B2 (ja) 内視鏡システム、及び計測装置の作動方法
CN114286641A (zh) 内窥镜装置及其工作方法以及内窥镜装置用程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17850585

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018539568

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017850585

Country of ref document: EP

Effective date: 20190415