WO2012161244A1 - 内視鏡装置および計測方法 - Google Patents

内視鏡装置および計測方法 Download PDF

Info

Publication number
WO2012161244A1
WO2012161244A1 PCT/JP2012/063266 JP2012063266W WO2012161244A1 WO 2012161244 A1 WO2012161244 A1 WO 2012161244A1 JP 2012063266 W JP2012063266 W JP 2012063266W WO 2012161244 A1 WO2012161244 A1 WO 2012161244A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
light source
image
test object
endoscope apparatus
Prior art date
Application number
PCT/JP2012/063266
Other languages
English (en)
French (fr)
Inventor
横田　政義
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2012161244A1 publication Critical patent/WO2012161244A1/ja
Priority to US14/085,726 priority Critical patent/US9581802B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00066—Proximal part of endoscope body, e.g. handles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00052—Display arrangement positioned at proximal end of the endoscope body

Definitions

  • the present invention relates to an endoscope apparatus and a measuring method, and more specifically, an endoscope apparatus and an endoscope apparatus that project a pattern such as a stripe onto a test object and measure a three-dimensional shape of the surface of the test object.
  • the present invention relates to a method for measuring a three-dimensional shape of an object to be used.
  • Patent Document 1 describes an endoscope apparatus in which two projection windows for projecting stripes are provided on the distal end surface of an insertion portion.
  • An object of the present invention is to provide an endoscope apparatus and a measurement method that can determine in a short time whether the conditions are suitable for measurement.
  • an endoscope apparatus is an endoscope apparatus that performs measurement of the test object using a pattern projection image of the test object on which a light bright and dark pattern is projected.
  • An imaging unit acquires an image of the test object.
  • the illumination unit is provided with a first light source that emits illumination light that illuminates the observation field of view of the imaging unit.
  • the pattern projection unit is provided with a second light source that emits projection light for projecting the bright and dark pattern onto the test object.
  • the display unit displays an image acquired by the imaging unit.
  • the control unit controls the imaging unit, the illumination unit, the pattern projection unit, and the display unit.
  • the control unit changes an emission state of the illumination light from the first light source at a predetermined cycle.
  • the control unit reduces emission of the projection light from the second light source in a state where illumination light is emitted from the first light source.
  • the control unit causes the second light source to emit the projection light in a state where the emission of illumination light from the first light source is reduced.
  • the control unit causes the imaging unit to acquire a bright field image in which the object is illuminated by the illumination light in a state where the illumination light is emitted from the first light source.
  • control unit causes the imaging unit to acquire the pattern projection image in which the bright and dark pattern is projected onto the test object in a state where the projection light is emitted. Further, the control unit measures a three-dimensional shape of the test object using the pattern projection image acquired by the imaging unit. In addition, the control unit causes the display unit to display information obtained by measurement using the pattern projection image together with the bright field image.
  • the control unit causes the display unit to display a cursor for defining a region in which the three-dimensional shape of the test object is measured within the imaging field of view of the imaging unit.
  • the control unit sets the area on the display unit based on the coordinates of the cursor.
  • the said control part measures the three-dimensional shape of the said test object corresponding to the said area
  • control unit uses only one pattern projection image by at least one of a spatial phase shift method, a Fourier transform method, a fringe order analysis, and a light cutting method.
  • the three-dimensional shape of the test object is measured.
  • the predetermined period includes a first time width in which the illumination light is emitted and the projection light is stopped, and the illumination light. And a second time width in which the projection light is emitted and a period of 1 second or longer. Further, the second time width within the one cycle is set to a time sufficiently shorter than 1 second.
  • the second time width is set to a length of 1/25 seconds or less.
  • the second time width is set to a length of 1/30 second or less.
  • a measurement method for measuring a three-dimensional shape of a test object using an endoscope apparatus wherein an image of the test object irradiated with illumination light is measured.
  • the illumination light is periodically turned off at an interval of 1/25 second or less per second, and a light / dark pattern is projected onto the test object within the time when the illumination light is turned off.
  • a pattern projection image is acquired, and after acquiring the pattern projection image, the three-dimensional shape of the test object is measured using the pattern projection image, and the image acquired in a state where the illumination light is irradiated
  • the information obtained by measuring the three-dimensional shape is displayed.
  • the measurement method obtains only one pattern projection image while the illumination light is in an extinguished state, a spatial phase shift method, a Fourier transform method, a fringe order analysis, and The three-dimensional shape of the test object is measured using only one pattern projection image using at least one of light cutting methods.
  • the endoscope apparatus and the measurement method it can be determined in a short time whether the condition is suitable for measurement. For this reason, it is possible to suppress the possibility that the measurement accuracy is lower than the required measurement accuracy.
  • FIG. 1 is a block diagram showing a configuration of the endoscope apparatus 1.
  • FIG. 2 is a schematic diagram showing a light / dark pattern (stripe pattern) projected by the endoscope apparatus 1.
  • the endoscope apparatus according to the present embodiment is a measurement endoscope that performs measurement of a test object using a pattern projection image in which a bright and dark pattern is projected on the test object.
  • the endoscope apparatus 1 is used for internal observation of a test object, observation of a test object at a position where a normal observation apparatus is difficult to access, and the like.
  • the endoscope apparatus 1 includes a long insertion portion 10 and a main body portion 20 to which a proximal end of the insertion portion 10 is connected.
  • the insertion part 10 is formed in a tubular shape.
  • the insertion unit 10 is inserted into the inside of the test object or an access path to the test object.
  • the insertion unit 10 is provided with an imaging unit 30, an illumination unit 40, and a pattern projection unit 50.
  • the imaging unit 30 acquires an image of the test object.
  • the illumination unit 40 illuminates the observation visual field in front of the insertion unit 10.
  • the pattern projection unit 50 projects a light and dark pattern onto the test object. In the present embodiment, the pattern projection unit 50 projects a fringe pattern onto the test object as a bright and dark pattern. Further, an opening 11, an illumination window 12, and a projection window 13 are provided on the distal end surface 10 a of the insertion portion 10.
  • the aperture 11 allows external light to enter the objective optical system 32 of the imaging unit 30.
  • the illumination window 12 irradiates the illumination light from the illumination unit 40 in front of the insertion unit 10.
  • the projection window 13 irradiates the stripes from the pattern projection unit 50 in front of the insertion unit 10.
  • the imaging unit 30 includes an imager 31, an objective optical system 32, and a control unit 33.
  • the imager 31 is disposed near the distal end of the insertion unit 10.
  • the objective optical system 32 is disposed in front of the imager 31.
  • the control unit 33 is connected to the imager 31.
  • various known configurations including various image sensors such as a CCD and a CMOS can be appropriately selected and used.
  • the objective optical system 32 is disposed in the opening 11 of the insertion portion 10.
  • the objective optical system 32 has a predetermined angle of view.
  • the objective optical system 32 causes the reflected light in the observation field defined by the angle of view to enter the imager 31 to form an image of the test object.
  • the objective optical system 32 includes a light transmissive cover member 32a. The cover member 32a seals the opening 11.
  • the imager control unit 33 is provided in the main body unit 20. Further, the imager control unit 33 is connected to the imager 31 by a wiring 34 extending through the insertion unit 10. The imager control unit 33 performs various controls such as driving of the imager 31 and setting for acquiring a video signal.
  • the illumination unit 40 includes a first light source 41, an illumination optical system 42, a first fiber bundle 43, and a first incident optical system 44.
  • the first fiber bundle 43 guides the light from the first light source 41 to the illumination optical system 42.
  • the first incident optical system 44 is disposed between the first light source 41 and the first fiber bundle 43.
  • the first light source 41 is a light source that emits white light.
  • the first light source 41 is disposed inside the main body 20.
  • a known light source such as a halogen lamp or a mercury lamp can be appropriately selected and employed.
  • a halogen lamp is employed as the first light source 41.
  • the light emitted from the first light source 41 is illumination light for illuminating the test object.
  • the first light source 41 is provided with a shutter module 41a that switches the illumination light emission state. The operation of the shutter module 41a is controlled by the light source controller 21 described later.
  • the illumination optical system 42 is attached at or near the distal end of the insertion portion 10.
  • the illumination optical system 42 includes a light transmissive cover member 42a and a lens group (not shown).
  • the cover member 42 a is provided in the illumination window 12 of the insertion unit 10.
  • the illumination optical system 42 spreads the light emitted from the first light source 41 in the field of view suitable for the angle of view of the objective optical system 32 and emits it from the illumination window 12 to illuminate the entire observation field.
  • the first fiber bundle 43 extends from the vicinity of the illumination optical system 42 to the vicinity of the first light source 41 in the main body 20 through the insertion portion 10.
  • a general light guide can be used.
  • the first incident optical system 44 converges the light emitted from the first light source 41 to the same extent as the diameter of the first fiber bundle 43 and efficiently introduces it into the first fiber bundle 43.
  • the pattern projection unit 50 includes a second light source 51, a projection optical system 52, a second fiber bundle 53, a second incident optical system 54, and a pattern generation unit 55.
  • the second fiber bundle 53 guides the light from the second light source 51 to the projection optical system 52.
  • the second incident optical system 54 is disposed between the second light source 51 and the second fiber bundle 53.
  • the pattern generation unit 55 is disposed on the optical path of the light emitted from the second light source 51.
  • the second light source 51 is a light source that emits light different from the first light source 41.
  • the second light source 51 is disposed inside the main body 20.
  • an LED light source, a laser light source, or the like can be employed.
  • an LED light source is employed as the second light source 51.
  • the light emitted from the second light source 51 is projection light for projecting a fringe pattern.
  • the projection optical system 52 is attached at or near the distal end of the insertion portion 10.
  • the projection optical system 52 has a light transmissive cover member 52a.
  • the cover member 52 a is provided in the projection window 13 of the insertion unit 10. Note that the cover member 52a provided in the projection window 13 may have a lens shape.
  • the projection optical system 52 projects the light emitted from the second light source 51 into a field of view suitable for the angle of view of the objective optical system 32 and projects it from one projection window 13 into the observation field.
  • the second fiber bundle 53 extends from the vicinity of the projection optical system 52 through the insertion section 10 to the vicinity of the second light source 51 in the main body section 20.
  • a general light guide can be used similarly to the first fiber bundle 43.
  • the second incident optical system 54 converges the light emitted from the second light source 51 to the same extent as the diameter of the second fiber bundle 53 and efficiently introduces it into the second fiber bundle 53.
  • the pattern generation unit 55 is configured to be able to form a stripe pattern.
  • a slit plate having a plurality of slits, a transparent plate made of glass or resin on which a stripe pattern is drawn, and the like can be used.
  • the pattern generation unit 55 may use a liquid crystal shutter module that can switch between transmission and non-transmission of light for each element, a MEMS (microelectronic device system) mirror module that includes a fine reflection mirror for each element, and the like. Good.
  • a MEMS (microelectronic device system) mirror module that includes a fine reflection mirror for each element, and the like. Good.
  • the control is performed for each element, it is possible to form a fringe pattern having an appropriate phase without moving the entire pattern generation unit 55, so that the configuration of the pattern projection unit 50 can be simplified. is there.
  • the fringe pattern is switched by the pattern control unit 56 connected to the pattern generation unit 55.
  • the light source control unit 21 controls the operation of emitting illumination light from the illumination unit 40 and the operation of emitting projection light from the fringe projection unit 50.
  • the video processor 27 and the main control unit 22 are connected to the imager control unit 33.
  • the video processor 27 processes the video signal acquired by the imager 31.
  • the main control unit 22 controls the operation of the imager control unit 33.
  • the video processor 27 and the main control unit 22 are provided in the main body unit 20.
  • a monitor (display unit) 28 is connected to the video processor 27.
  • the monitor 28 displays the video signal processed by the video processor 27 as an image.
  • the light source control unit 21 is connected to the first light source 41, the second light source 51, and the main control unit 22.
  • the light source control unit 21 controls on / off of the first light source 41 and the second light source 51 based on control by the main control unit 22.
  • the main control unit 22 is further connected to the operation unit 23, the RAM 24, the ROM 26, the auxiliary storage device 25, and the pattern control unit 56.
  • the operation unit 23 includes switches and the like for the user to make various inputs to the endoscope apparatus 1. Further, as the operation unit 23, a touch panel provided so as to overlap with the display screen of the monitor 28 may be employed.
  • the RAM 24 functions as a work area used for imaging a test object using the endoscope apparatus 1 or measuring a three-dimensional shape.
  • the ROM 26 for example, firmware or the like is recorded.
  • the ROM 26 is configured such that firmware and the like are read when the endoscope apparatus 1 is activated.
  • the auxiliary storage device 25 for example, a storage device having a rewritable nonvolatile memory or a magnetic storage device can be adopted.
  • the main control unit 22 causes the light source control unit 21 to blink the first light source 41 and the second light source 51 at a predetermined period W.
  • the main control unit 22 reduces the emission of projection light from the second light source 51 in a state where illumination light is emitted from the first light source 41.
  • the main control unit 22 performs control to emit projection light from the second light source 51 in a state where emission of illumination light from the first light source 41 is reduced.
  • the main control unit 22 stops emission of projection light from the second light source 51 will be described. However, if the user does not feel flicker when looking at the monitor 28, the main control unit 22 is configured not to stop the emission of the projection light from the second light source 51 but to reduce it. May be.
  • FIG. 3 is a timing chart showing the emission timing of the first light source 41 and the second light source 51 and the calculation timing of the three-dimensional shape when the endoscope apparatus 1 is used.
  • one period W of the predetermined period which blinks the 1st light source 41 and the 2nd light source 51 is comprised from the 1st time width W1 and the 2nd time width W2.
  • the first time width W1 is a state where the illumination light is emitted and the emission of the projection light is stopped.
  • the second time width W2 is a state where the emission of the illumination light is stopped and the projection light is emitted.
  • the second time width W2 within one cycle of the predetermined cycle W is set to a time when the user who uses the endoscope apparatus 1 does not feel flicker when looking at the monitor 28.
  • the predetermined period W is set to 1 second. That is, the second time width W2 of the period W of 1 second is set to a time sufficiently shorter than 1 second, for example, 1/30 second.
  • the first time width W1 is set to the remaining 29/30 seconds in the period W of 1 second.
  • the second time width W2 can be set to an appropriate time width of 1/30 seconds or less in accordance with the refresh rate of the monitor 28.
  • the second time width W2 is set to 1/60 seconds.
  • the second time width W2 is set based on the number of frames per second (30 frames) in the NTSC format, but based on the number of frames per second (25 frames) in the PAL format. May be set. At that time, the second time width W2 is set to 1/25 seconds.
  • the first time width W1 is set to 24/25 seconds.
  • the second time width W2 is set to a time during which at least one image can be appropriately acquired by the imaging unit 30.
  • the length of the second time width W2 is set to a length that allows the imaging unit 30 to acquire one pattern projection image.
  • the main control unit 22 causes the imaging unit 30 to acquire a bright field image in which the test object is illuminated by the illumination light in a state where the illumination light is emitted from the first light source 41. Further, the main control unit 22 causes the imaging unit 30 to acquire a pattern projection image in which a stripe pattern is projected on the test object in a state where the projection light is emitted.
  • the main control unit 22 controls the imager control unit 33 of the imaging unit 30 to control the imager 31 to capture an image in synchronization with the predetermined period W.
  • An image captured by the imager 31 is processed by the video processor 27.
  • the image captured when the main control unit 22 corresponds to the first time width W1 in the predetermined period W is extracted as a bright field image.
  • an image captured when the second time width W2 in the predetermined period W is satisfied is extracted as a pattern projection image.
  • the video processor 27 sorts the image captured by the imager 31 into a bright field image and a pattern projection image.
  • the main control unit 22 measures a three-dimensional shape using the pattern projection image extracted by the video processor 27.
  • the main control unit 22 outputs the bright field image extracted by the video processor 27 to the monitor 28.
  • the main control unit 22 may output the pattern projection image to the monitor 28 without removing the pattern projection image from the image captured by the imager 31. Even in this case, for example, if the time during which a pattern projection image is displayed on the monitor 28 is 1/30 second or less per second, the flickering of the image on the monitor 28 can be suppressed to an unnoticeable level.
  • the main control unit 22 can operate software (hereinafter referred to as “measurement program”) that measures the three-dimensional shape of the test object using the pattern projection image acquired by the imaging unit 30.
  • the main control unit 22 causes the monitor 28 to display information obtained by measurement using the pattern projection image together with the bright field image.
  • the main control unit 22 displays the bright field image or the pattern projection image displayed on the monitor 28 after the calculation by the measurement program is completed.
  • information obtained by measurement using the pattern projection image can be superimposed and output to the monitor 28.
  • the measurement program is configured to complete the calculation within one cycle of the predetermined cycle W. Therefore, the display of the measurement result of the three-dimensional shape is updated at the predetermined cycle W.
  • the measurement program that operates in the main control unit 22 includes a cursor C for determining a target region for measuring the three-dimensional shape of the test object in the imaging field of the imaging unit 30. It is displayed on the monitor 28.
  • the cursor C can have a shape that allows the user to easily specify the coordinates or area of the test object such as a cross (see FIG. 4) or an arrow (see FIG. 5).
  • the cursor C may be used for designating the size of the target area with a shape such as a circle or a square frame.
  • the measurement program may be configured so that the size of the cursor C can be changed by a user's operation input.
  • the measurement program sets a target region T for measuring the three-dimensional shape on the monitor 28 based on the coordinates of the cursor C displayed on the monitor 28. For example, a predetermined region such as a rectangular shape or a circular shape centering on the position of the cursor C specified with a specific position on the image as a point, such as a cross or an arrow, is set as the target region T.
  • the measurement program may be configured to change not only the shape of the cursor C but also the shape and size of the target region T by a user's operation input. Furthermore, the measurement program performs an operation for measuring the three-dimensional shape only in the region set as the target region T for measuring the three-dimensional shape.
  • the calculation by the measurement program uses at least one of a spatial phase shift method, a Fourier transform method, a fringe order analysis, and a light cutting method.
  • the calculations using the spatial phase shift method, the Fourier transform method, the fringe order analysis, and the light section method are calculation methods that can measure the three-dimensional shape of the test object using only one pattern projection image.
  • the measurement program generates calculation result data indicating the three-dimensional shape in the target area T and measurement accuracy data in the target area T, and stores the data in, for example, the RAM 24.
  • the calculation result data in the measurement program includes at least information indicating the distance (object distance) from the imaging unit 30 to the test object.
  • the measurement accuracy data in the target region T includes at least information obtained by quantifying how the fringe pattern is reflected.
  • the information indicating the object distance generated by the measurement program is displayed on the monitor 28 as a distance information I on the cursor C using a display method such as a numerical value or an indicator as shown in FIGS.
  • the distribution of the object distance in the target area T may be displayed in a predetermined area in the monitor 28 with a color map or the like.
  • the main control unit 22 controls the operations of the imaging unit 30, the illumination unit 40, the pattern projection unit 50, and the monitor 28.
  • the measurement method of the present embodiment will be described by taking as an example a method of measuring a test object using the endoscope apparatus 1.
  • 6 to 8 are flowcharts illustrating an operation of measuring the three-dimensional shape of the test object using the endoscope apparatus 1 of the present embodiment.
  • the endoscope apparatus 1 includes an observation mode in which only the observation is performed without measuring the three-dimensional shape of the test object, and a measurement mode in which the three-dimensional shape of the test object is measured.
  • the operation in the observation mode is omitted, and the operation in the measurement mode will be mainly described.
  • the measurement program When the measurement mode is started, the measurement program is started and initialized.
  • the measurement program generates a table that can reduce the amount of calculation during measurement, such as a table in which variables and solutions are related, for expressions that can be calculated in advance among the calculations required for measuring 3D shapes. And temporarily stored in the RAM 24.
  • the table may be stored in advance in the ROM 26 or the auxiliary storage device 25. In this case, the measurement program transfers the table stored in the ROM 26 or the auxiliary storage device 25 to the RAM 24 for use.
  • the measurement program is configured to perform parallel processing of cursor position setting processing, image acquisition processing, and pattern projection image analysis processing.
  • FIG. 6 is a flowchart of the cursor position setting process.
  • Step S ⁇ b> 1 shown in FIG. 6 is a step of displaying the cursor C on the live screen displayed on the monitor 28.
  • step S1 the measurement program displays the cursor C on the monitor 28 and sets the cursor C so that the user of the endoscope apparatus 1 can move the position of the cursor C.
  • the measurement program may fix the cursor C at a predetermined position on the monitor 28 (for example, the center of the monitor 28).
  • the target area T is set based on the coordinates of the cursor C on the monitor 28.
  • Step S2 is a step of determining whether or not the cursor C has moved.
  • step S ⁇ b> 2 it is detected that there has been an input for moving the cursor C by the user of the endoscope apparatus 1.
  • the input for moving the cursor C may mechanically detect that an input operation using a button or a joystick has been performed. Further, it may be detected that the coordinates of the cursor C have been changed by an input operation using a button or a joystick.
  • the process waits for input in step S2, and if it is detected that there is an input, the process proceeds to step S3.
  • Step S3 is a step of updating the position of the cursor C.
  • step S3 the position of the cursor C displayed on the monitor 28 is changed corresponding to the input operation. Further, the position of the target area T is also updated in correspondence with the position of the cursor C. This ends step S3 and returns to step S2.
  • FIG. 7 is a flowchart of the image acquisition process.
  • Step S4 shown in FIG. 7 is a step of determining how many images (frames) have been acquired in one cycle of the predetermined cycle W.
  • Step S5 is a step of projecting the fringe pattern onto the test object within the time when the emission of the illumination light is stopped.
  • the main control unit 22 controls the light source control unit 21 to stop the emission of the illumination light with the end of the first time width W1.
  • the first light source 41 may be turned off by stopping energization of the first light source 41. Further, the illumination light may be shielded by the shutter module 41 a provided in the first light source 41. When the emission of the illumination light is stopped, the illumination light is no longer applied to the test object.
  • the main control unit 22 controls the light source control unit 21 to start emitting projection light from the second light source 51.
  • the energization state of the second light source 51 can be switched, or the emission state can be switched by providing the second light source 51 with a shutter module.
  • the LED light source is adopted as the second light source 51, the amount of light can be stabilized in a sufficiently short time even without the shutter module.
  • the time when the projection light is emitted from the second light source 51 is the second time width W2 shorter than the first time width W1.
  • the predetermined period W is 1 second and the second time width W2 is 1/30 second, when the second light source 51 is blinked by switching the energization state of the second light source 51 itself, The power required to cause the second light source 51 to emit light can be greatly reduced.
  • step S ⁇ b> 5 the projection light emitted from the second light source 51 passes through the pattern generation unit 55.
  • the bright portion R1 is generated by the projection light reaching the test object
  • the dark portion R2 is generated in the portion where the projection light is blocked by the pattern generation unit 55.
  • a fringe pattern in which bright portions R1 and dark portions R2 are alternately arranged is projected onto the test object.
  • Step S6 is a step of acquiring an image (pattern projection image) of the test object on which the fringe pattern is projected.
  • the imaging unit 30 acquires an image of the test object by the same operation as that for acquiring a bright field image.
  • the image acquired by the imaging unit 30 is a pattern projection image. In the present embodiment, only one pattern projection image is acquired in the second time width W2.
  • the main control unit 22 extracts the one pattern projection image from the image processed by the video processor 27 and temporarily stores it in the RAM 24. Step S6 is completed now and it progresses to Step S7.
  • Step S7 is a step of starting pattern projection image analysis processing.
  • step S7 pattern projection image analysis processing described later is started, and then the process returns to step S4.
  • Step S8 is a step of stopping the projection of the fringe pattern onto the test object and emitting illumination light.
  • the main control unit 22 stops the emission of the projection light from the second light source 51 with the end of the second time width W2, and controls the light source control unit 21 with the start of the first time width W1. The emission of illumination light from the light source 41 is started.
  • the first light source 41 may be turned on by starting energization of the first light source 41.
  • the shutter module 41a provided in the first light source 41 may be opened to emit illumination light.
  • the first light source 41 When the time from the start of lighting of the first light source 41 to the stabilization of the light amount of the first light source 41 is sufficiently short, the first light source 41 is controlled to be turned on and off, and the first light source 41 is consumed. Power to be reduced.
  • the illumination light is shielded by the shutter module 41a, it is not necessary to change the amount of light emitted by the first light source 41 itself, so even if the light source has a relatively long time for stabilizing the amount of illumination light. Can be adopted.
  • the halogen lamp employed as the first light source 41 corresponds to a light source having a relatively long time for stabilizing the amount of illumination light. For this reason, the illumination light emission state is changed by the opening / closing operation of the shutter module 41a. Thereby, the fluctuation
  • Step S8 is complete
  • Step S9 is a step of acquiring an image (bright field image) obtained by irradiating the object with illumination light.
  • the imaging unit 30 acquires one bright field image in the first time width W ⁇ b> 1 of the predetermined period W based on the control by the main control unit 22, and the bright field is displayed on the monitor 28 through the video processor 27. Display an image.
  • step S9 ends step S9 and returns to step S4.
  • the acquisition of the bright field image is repeated in step S8 and step S9.
  • FIG. 8 is a flowchart of pattern projection image analysis processing.
  • the pattern projection image analysis process is started as a trigger when a command for starting the pattern projection image analysis process is issued in step S7 in the image acquisition process.
  • Step S10 shown in FIG. 8 is a step of determining whether or not the analysis of the fringe image has been completed.
  • step S10 it is determined whether the analysis and calculation for measuring the three-dimensional shape is completed for the pattern projection image acquired in step S6. If the analysis of the pattern projection image is not completed, the process proceeds to step S11.
  • Step S11 is a step of measuring the three-dimensional shape of the test object using one pattern projection image.
  • the measurement program measures the three-dimensional shape of the test object using at least one of a spatial phase shift method, a Fourier transform method, a fringe order analysis, and a light cutting method.
  • the measurement program uses only one pattern projection image.
  • the measurement program performs a fringe analysis and performs an operation for measuring a three-dimensional shape using a table stored in the RAM 24.
  • the calculation can be performed in a shorter time than the method of performing the calculation without using a table.
  • step S ⁇ b> 11 the measurement program refers to the position information of the target area T acquired in the cursor position setting process, and measures a three-dimensional shape only in the target area T.
  • the calculation can be performed in a shorter time than the method of performing the calculation in the entire image area.
  • the calculation result by the measurement program is temporarily stored in the RAM 24 together with data indicating the measurement accuracy in the target area T.
  • the calculation result of the measurement program may be stored in the auxiliary storage device 25 in addition to the RAM 24. If the measurement accuracy in the target region T is poor, the calculation result and the measurement accuracy data may be discarded.
  • Step S11 is ended now and it progresses to Step S12.
  • Step S12 is a step of displaying the calculation result on the monitor 28.
  • one of the bright field images in the image set (for example, the bright field image acquired before acquiring the pattern projection image) and information based on the calculation result are output to the monitor 28.
  • the calculation result can be displayed superimposed on the bright field image.
  • the numerical value of the object distance and the display of the indicator are updated.
  • measurement accuracy data in the target region T can be displayed on the monitor 28. In this case, if the calculation result and the measurement accuracy data are discarded in step S11, a character string or a symbol indicating that the measurement accuracy is poor can be displayed on the monitor 28. This ends step S12.
  • the cursor position setting process, the image acquisition process, and the pattern projection image analysis process shown in FIGS. 6 to 8 are executed in parallel as a so-called multitask process.
  • the image acquisition process and the pattern projection image analysis process can accept an interrupt such as an operation input by the user. For example, when an interruption for stopping the display of the calculation result is generated by an operation input by the user, the switching between the illumination light and the projection light is stopped at a predetermined period W, and the illumination light is always irradiated. can do.
  • the user performs an operation to move to an operation screen that can specify two points and measure the length between them or display a three-dimensional shape over a wider range than the target region T. In this case, after acquiring the pattern projection image, the screen shifts to the screen.
  • the imaging unit 30 acquires a pattern projection image at the beginning of the predetermined cycle.
  • the flow shown in steps S4, S8, and S9 is repeatedly executed at a predetermined cycle, whereby the imaging unit 30 acquires a plurality of bright field images without acquiring a pattern projection image.
  • a new cycle W starts as shown in FIG. 3, and a pattern projection image and a bright field image are acquired by the above-described series of steps.
  • the amount of calculation in step S11 is large, there may be a case where the calculation cannot be completed within a predetermined period W. In this case, the calculation is forcibly terminated, and a new calculation using the subsequent image set is performed.
  • the user of the endoscope apparatus 1 measures the three-dimensional shape outside the target region T designated using the cursor C, or performs measurement with higher accuracy than the measurement of the three-dimensional shape using the measurement program. In this case, or when performing another measurement, the measurement program can be interrupted to call another program.
  • the endoscope apparatus 1 and the measurement method of the present embodiment it can be determined in a short time whether the conditions are suitable for measurement. For this reason, since measurement accuracy is lower than required measurement accuracy, the possibility of measurement failure can be suppressed. Moreover, the usability of the endoscope apparatus 1 can be improved by suppressing time waste due to measurement failure. This is particularly effective when performing measurement with a long calculation time in the program.
  • a pattern projection image is acquired when the illumination light is not emitted, and a bright field image is obtained and displayed on the monitor 28 when the illumination light is emitted.
  • the three-dimensional shape of the test object can be measured substantially in real time while observing the test object.
  • the second time width W2 for acquiring an image using the projection light is set to 1/30 second or less of the period W set to 1 second, so that the bright field image displayed on the monitor 28 is displayed. Can be suppressed to the extent that the user does not notice.
  • the target region T is set in a part of the region that can be imaged by the imaging unit 30 and the three-dimensional shape is measured only in the target region T, the region where the user wants to measure the three-dimensional shape Measurement can be performed with high accuracy within a limited time.
  • the endoscope apparatus 1 of the present embodiment can measure the distance from the imaging unit 30 to the test object using the pattern projection image, it is not necessary to provide the insertion unit 10 with a distance sensor. Therefore, the endoscope apparatus 1 of the present embodiment can reduce the diameter of the insertion portion 10.
  • the main control unit 22 selects at least two images from the bright field image and the pattern projection image, and detects the blur between the insertion unit 10 and the test object based on the shift amount of the two selected images.
  • Shake detection means is provided.
  • the blur detection means stores in advance a threshold value of the deviation amount allowed for the two images.
  • the blur detection unit detects a deviation amount between the two images by a known unit. When the deviation amount between the two images exceeds the threshold value, the blur detection unit determines that there is a relative movement (blur) between the insertion unit 10 and the test object.
  • the blur detection unit detects a blur between the insertion unit 10 and the test object using the bright field image acquired immediately before acquiring the pattern projection image and the bright field image acquired immediately after.
  • the main control unit 22 temporarily stores the bright field image acquired at the beginning of the first time width W1 and the bright field image acquired at the end of the first time width W1 in the RAM 24.
  • the pattern projection image is also temporarily stored in the RAM 24. The two bright-field images and one pattern projection image temporarily stored in the RAM 24 are used for blur detection described later as a set of three images.
  • FIG. 9 is a flowchart showing an operation of acquiring an image of the test object among the operations of measuring the three-dimensional shape of the test object using the endoscope apparatus 1.
  • FIG. 10 shows the operation of the measurement program for measuring the three-dimensional shape using the pattern projection image of the test object among the operations for measuring the three-dimensional shape of the test object using the endoscope apparatus 1. It is a flowchart.
  • a bright field image is acquired (step S21), and then a pattern projection image is acquired (step S22).
  • the endoscope apparatus 1 repeats the above steps S21 and S22 in this order until an interrupt for ending the measurement mode is input.
  • step S21 and step S22 a set of three images can be obtained.
  • This set of three images is composed of one pattern projection image and bright field images before and after (at the end of the first time width W1 and at the start of the first time width W1 of the next period). Is done.
  • the image set is temporarily stored in the RAM 24.
  • Step S31 shown in FIG. 10 is a step of detecting a blur between the insertion unit 10 and the test object using the bright field images before and after one pattern projection image is acquired.
  • Step S31 is started by using the image set stored in the RAM 24 as a trigger. That is, in step S31, as shown by reference numeral P1 in FIG. 3, after the second time width W2 ends and the first time width W1 starts to acquire the pattern projection image, the first bright field image is It starts when it is acquired.
  • step S31 when it is determined that the amount of deviation in the bright field images before and after one pattern projection image is less than the threshold value, the process proceeds to step S32. If it is determined in step S31 that there is a shift amount equal to or greater than the threshold in the bright field images before and after one striped image, the process proceeds to step S35.
  • Step S32 shown in FIG. 10 is a step for performing the same processing as step S11 described above.
  • Step S33 shown in FIG. 10 is a step for performing the same processing as step S12 described above.
  • Step S34 shown in FIG. 10 is a step of deleting the image set temporarily stored in the RAM 24.
  • a storage area for storing a new image set is obtained.
  • the image set may be deleted at intervals of several minutes.
  • the image set and the calculation result may be associated with each other and stored in the auxiliary storage device 25. Thereby, for example, even when the power of the endoscope apparatus 1 is cut off, if the endoscope apparatus 1 is started again, the result can be obtained without re-measuring the three-dimensional shape in the image set acquired in the past. Can do. This ends step S34.
  • Step S35 is a step of displaying on the monitor that blurring has occurred.
  • step S35 a character string or symbol indicating that blurring has occurred is displayed on the monitor 28.
  • Step S35 is completed now and it progresses to Step S34.
  • the same effects as those of the above-described embodiment can be obtained.
  • a shake detection means is provided, if the object to be examined and the insertion unit 10 are displaced and a positional deviation occurs between the pattern projection image and the bright field image, the measurement of the three-dimensional shape is performed. Not performed. Thereby, it is possible to reduce the possibility that the object distance or the like of the test object displayed in the bright field image due to the position shift is displayed with an incorrect value.
  • the calculation for measuring the three-dimensional shape can be completed within one cycle for the entire region of the imaging field of the imaging unit.
  • the time of one cycle is longer than 1 second described in the above embodiment, for example, 10 seconds, the immediacy is inferior, but the three-dimensional shape is measured with high accuracy or over a wide area. It can be performed.
  • the measurement program sets an additional region outside the target region for the purpose of improving the measurement accuracy of the three-dimensional shape in the target region, and after measuring the three-dimensional shape for the target region and the additional region, Only the measurement result of the three-dimensional shape at may be output.
  • the calculation for measuring the three-dimensional shape could not be completed within a predetermined period, instead of forcibly terminating the calculation and performing a new calculation, After the above calculation is completed, the calculation with a new image set may be started.
  • blur detection can be performed using one bright field image and one pattern projection image. In this case, since it is not necessary to acquire a plurality of bright field images, a series of steps can be completed in a shorter time.
  • the bright field image used for detecting the blur the bright field image acquired at the end of the first time width and at the start of the first time width of the next cycle is used.
  • the acquisition timing and the number of acquired bright-field images used for detecting blur are not limited to this. It is also possible to use only the bright field image acquired before acquiring the pattern projection image or only the bright field image acquired after acquiring the pattern projection image.
  • the measurement program is an example of software, but hardware such as LSI that measures the three-dimensional shape of the test object using the pattern projection image acquired by the imaging unit may be used. . Whether to use software or hardware can be appropriately selected according to processing speed, mounting cost, and the like.
  • the endoscope apparatus and the measurement method it can be determined in a short time whether the condition is suitable for measurement.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

この内視鏡装置（１）は、第一光源（４１）からの照明光の出射状態を所定の周期で変化させ、第一光源（４１）から照明光が出射されている状態では第二光源（５１）からの投影光の出射を停止させ、第一光源（４１）からの照明光の出射が停止されている状態では第二光源（５１）から投影光を出射させ、照明光により被検物が照明された明視野画像を第一光源（４１）から照明光が出射されている状態で撮像部（３０）に取得させ、被検物に縞パターンが投影されたパターン投影画像を投影光が出射されている状態で撮像部（３０）に取得させ、撮像部（３０）が取得したパターン投影画像を用いて被検物の三次元形状を計測し、パターン画像を用いた計測によって得られた情報を明視野画像とともにモニター（２８）に表示させるメイン制御部（２２）を備える。

Description

内視鏡装置および計測方法
　本発明は、内視鏡装置および計測方法、より詳しくは、被検物に縞等のパターンを投影して被検物表面の三次元形状を計測する内視鏡装置、および内視鏡装置を用いて被検物の三次元形状を計測する方法に関する。
　本願は、２０１１年０５月２４日に、日本に出願された特願２０１１－１１６１４１号に基づき優先権を主張し、その内容をここに援用する。
　従来、被検物を検査するために、長尺の挿入部を備え、挿入部の先端に光学系や撮像素子等の観察手段を有する内視鏡が使用されている。このような内視鏡の中には、被検物に対して縞パターンを投影した縞画像を、前記縞パターンの位相をずらしつつ複数取得し、これら複数の縞画像を用いた公知の位相シフト法により被検物の三次元形状を算出する内視鏡装置が知られている。たとえば、特許文献１には、縞を投影するための２つの投影窓が挿入部の先端面に設けられた内視鏡装置が記載されている。
米国特許出願公開第２００９／０２２５３２１号公報
　しかしながら、特許文献１に記載の内視鏡装置では、計測に適した条件であったかどうかの判定を、三次元形状の計測に使用する縞画像を取得する一連の工程が終了したあと、前記一連の工程で得られた縞画像を使用して行っていた。このため、計測に適した条件であったかどうかの判定が、三次元形状を計測するための演算の後になってしまうことにより、計測に適した条件であったことが分かるまでに時間がかかり、使い勝手が悪いという課題があった。
　本発明は、計測に適した条件であるかを短時間で判定できる内視鏡装置および計測方法を提供することを目的とする。
　上記課題を解決するために、この発明は以下の手段を提案している。
　本発明の第一の態様によれば内視鏡装置は、光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、撮像部と、照明部と、パターン投影部と、表示部と、制御部とを備える。前記撮像部は、前記被検物の画像を取得する。前記照明部は、前記撮像部の観察視野を照明する照明光を発する第一光源が設けられる。前記パターン投影部は、前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられる。前記表示部は、前記撮像部によって取得された画像を表示する。前記制御部は、前記撮像部、前記照明部、前記パターン投影部、および前記表示部を制御する。前記制御部は、前記第一光源からの前記照明光の出射状態を所定の周期で変化させる。また、前記制御部は、前記第一光源から照明光が出射されている状態では前記第二光源からの前記投影光の出射を減少させる。また、前記制御部は、前記第一光源からの照明光の出射が減少されている状態では前記第二光源から前記投影光を出射させる。また、前記制御部は、前記照明光により前記被検物が照明された明視野画像を前記第一光源から前記照明光が出射されている状態で前記撮像部に取得させる。また、前記制御部は、前記被検物に前記明暗パターンが投影された前記パターン投影画像を前記投影光が出射されている状態で前記撮像部に取得させる。また、前記制御部は、前記撮像部が取得した前記パターン投影画像を用いて前記被検物の三次元形状を計測する。また、前記制御部は、前記パターン投影画像を用いた計測によって得られた情報を前記明視野画像とともに前記表示部に表示させる。
　本発明の第二の態様によれば、前記制御部は、前記撮像部の撮像視野内において前記被検物の三次元形状の計測をさせる領域を定めるためのカーソルを前記表示部に表示させる。また、前記制御部は、前記カーソルの座標に基づいて前記表示部に前記領域を設定する。また、前記制御部は、前記領域内に対応する前記被検物の三次元形状の計測を行う。
　本発明の第三の態様によれば、前記制御部は、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも１つにより前記パターン投影画像を一枚だけ用いて前記被検物の三次元形状を計測する。
　本発明の第四の態様によれば、前記所定の周期の一周期は、前記照明光が出射された状態且つ前記投影光の出射が停止された状態である第一時間幅と、前記照明光の出射が停止された状態且つ前記投影光が出射された状態である第二時間幅と、から構成される１秒以上の周期である。また、前記一周期内における前記第二時間幅は、１秒よりも十分に短い時間に設定されている。
　好ましくは、前記第二時間幅は１／２５秒以下の長さに設定されている。
　好ましくは、前記第二時間幅は１／３０秒以下の長さに設定されている。
　本発明の第五の態様によれば計測方法は、被検物の三次元形状を内視鏡装置を用いて計測する計測方法であって、照明光が照射された前記被検物の画像を取得している間に、１秒あたり１／２５秒以下の間隔で前記照明光を周期的に消灯し、前記照明光が消灯している時間内に前記被検物に明暗パターンを投影してパターン投影画像を取得し、前記パターン投影画像を取得した後に前記パターン投影画像を用いて前記被検物の三次元形状の計測を行い、前記照明光が照射されている状態で取得された画像上に前記三次元形状の計測によって得られた情報を表示する。
　本発明の第六の態様によれば、計測方法は、前記照明光が消灯状態である間に前記パターン投影画像を一枚のみ取得し、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも１つを用いて一枚のみの前記パターン投影画像を用いて前記被検物の三次元形状を計測する。
　上記内視鏡装置および計測方法によれば、計測に適した条件であるかを短時間で判定できる。このため、要求される計測精度よりも計測精度が低くなる可能性を抑えることができる。
本発明の一実施形態の内視鏡装置の構成を示すブロック図である。 本発明の一実施形態の内視鏡装置によって投影される縞パターンを示す模式図である。 本発明の一実施形態の内視鏡装置の使用時における各光源の発光タイミングおよび三次元形状の演算タイミングを示すタイミングチャートである。 本発明の一実施形態の内視鏡装置の使用時にモニターに表示されるカーソルおよび対象領域の表示例を示す模式図である。 本発明の一実施形態の内視鏡装置の使用時にモニターに表示されるカーソルおよび対象領域の表示例を示す模式図である。 本発明の一実施形態の内視鏡装置の使用時の動作を説明するためのフローチャートである。 本発明の一実施形態の内視鏡装置の使用時の動作を説明するためのフローチャートである。 本発明の一実施形態の内視鏡装置の使用時の動作を説明するためのフローチャートである。 本発明の一実施形態の内視鏡装置の使用時の動作を説明するためのフローチャートである。 本発明の一実施形態の変形例の内視鏡装置の使用時の動作を説明するためのフローチャートである。
　以下、本発明の一実施形態の内視鏡装置および計測方法について説明する。
　まず、本実施形態の内視鏡装置１の構成について説明する。図１は、内視鏡装置１の構成を示すブロック図である。図２は、内視鏡装置１によって投影される明暗パターン（縞パターン）を示す模式図である。
　本実施形態の内視鏡装置は、被検物に明暗パターンが投影されたパターン投影画像を用いて被検物の計測を行う計測内視鏡である。
　内視鏡装置１は、被検物の内部観察や、通常の観察装置がアクセス困難な位置にある被検物の観察などに使用される。内視鏡装置１は、長尺の挿入部１０と、挿入部１０の基端が接続された本体部２０とを備える。
　図１に示すように、挿入部１０は、管状に形成されている。挿入部１０は、被検物の内部または被検物へのアクセス経路に挿入される。挿入部１０には、撮像部３０と、照明部４０と、パターン投影部５０とが設けられている。撮像部３０は、被検物の画像を取得する。照明部４０は、挿入部１０前方の観察視野を照明する。パターン投影部５０は、被検物に明暗パターンを投影する。本実施形態では、パターン投影部５０は明暗パターンとして、縞パターンを被検物に投影する。
　また、挿入部１０の先端面１０ａには、開口１１と、照明窓１２と、投影窓１３とが設けられている。開口１１は、撮像部３０の対物光学系３２に外光を入射させる。照明窓１２は、照明部４０からの照明光を挿入部１０の前方に照射する。投影窓１３は、パターン投影部５０からの縞を挿入部１０の前方に照射する。
　撮像部３０は、イメージャー３１と、対物光学系３２と、制御部３３とを備える。イメージャー３１は、挿入部１０の先端付近に配置される。対物光学系３２は、イメージャー３１の前方に配置される。制御部３３は、イメージャー３１と接続される。
　イメージャー３１としては、ＣＣＤ、ＣＭＯＳ等の各種イメージセンサを含む公知の各種構成を適宜選択して用いることができる。
　対物光学系３２は、挿入部１０の開口１１内に配置されている。対物光学系３２は、所定の画角を有する。対物光学系３２は、前記画角により規定される観察視野内の反射光をイメージャー３１に入射させ、被検物の像を結像させる。また、対物光学系３２は、光透過性のカバー部材３２ａを有する。カバー部材３２ａは、開口１１を封止する。
　イメージャー制御部３３は、本体部２０内に設けられている。また、イメージャー制御部３３は、挿入部１０内を延びる配線３４によりイメージャー３１と接続されている。イメージャー制御部３３は、イメージャー３１の駆動および映像信号を取得する設定等の各種制御を行う。
　照明部４０は、第一光源４１と、照明光学系４２と、第一ファイバーバンドル４３と、第一入射光学系４４とを備える。第一ファイバーバンドル４３は、第一光源４１の光を照明光学系４２に導く。第一入射光学系４４は、第一光源４１と第一ファイバーバンドル４３との間に配置される。
　第一光源４１は、白色光を発する光源である。第一光源４１は、本体部２０の内部に配置されている。第一光源４１としては、ハロゲンランプや水銀ランプなど、公知の光源を適宜選択して採用することができる。本実施形態では、第一光源４１として、ハロゲンランプが採用されている。第一光源４１から発せられる光は、被検物を照明するための照明光である。また、第一光源４１には、照明光の出射状態を切り替えるシャッターモジュール４１ａが設けられている。シャッターモジュール４１ａは、後述する光源制御部２１によって動作が制御される。
　照明光学系４２は、挿入部１０の先端または先端付近に取り付けられている。照明光学系４２は、光透過性のカバー部材４２ａと、図示しないレンズ群とを有する。カバー部材４２ａは、挿入部１０の照明窓１２内に設けられる。照明光学系４２は、第一光源４１から照射された光を対物光学系３２の画角に適した視野範囲に広げて照明窓１２から出射させ、観察視野をくまなく照明する。
　第一ファイバーバンドル４３は、照明光学系４２の近傍から挿入部１０を通って本体部２０内の第一光源４１近傍まで延びている。第一ファイバーバンドル４３の種類には特に制限はなく、一般的なライトガイドを使用可能である。
　第一入射光学系４４は、第一光源４１から発せられる光を第一ファイバーバンドル４３の径と同程度まで収束させて効率よく第一ファイバーバンドル４３内に導入する。
　パターン投影部５０は、第二光源５１と、投影光学系５２と、第二ファイバーバンドル５３と、第二入射光学系５４と、パターン生成部５５とを備える。第二ファイバーバンドル５３は、第二光源５１の光を投影光学系５２に導く。第二入射光学系５４は、第二光源５１と第二ファイバーバンドル５３との間に配置される。パターン生成部５５は、第二光源５１から出射された光の光路上に配置される。
　第二光源５１は、第一光源４１とは異なる光を発する光源である。第二光源５１は、本体部２０の内部に配置されている。第二光源５１としては、ＬＥＤ光源やレーザー光源などを採用することができる。本実施形態では、第二光源５１としてＬＥＤ光源が採用されている。第二光源５１から発せられる光は、縞パターンを投影するための投影光である。
　投影光学系５２は、挿入部１０の先端または先端付近に取り付けられている。投影光学系５２は、光透過性のカバー部材５２ａを有する。カバー部材５２ａは、挿入部１０の投影窓１３内に設けられる。なお、投影窓１３に設けられたカバー部材５２ａはレンズ形状であっても構わない。投影光学系５２は、第二光源５１から照射された光を、対物光学系３２の画角に適した視野範囲に広げて１つの投影窓１３から観察視野内に投影する。
　第二ファイバーバンドル５３は、投影光学系５２の近傍から挿入部１０を通って本体部２０内の第二光源５１近傍まで延びている。第二ファイバーバンドル５３としては、第一ファイバーバンドル４３と同様に一般的なライトガイドを使用することができる。
　第二入射光学系５４は、第二光源５１から発せられた光を、第二ファイバーバンドル５３の径と同程度まで収束させて効率よく第二ファイバーバンドル５３内に導入する。
　パターン生成部５５は、縞パターンを形成可能に構成されている。例えば、複数のスリットを有するスリット板や、縞パターンが描かれたガラスや樹脂等からなる透明な板などを用いることができる。
　このほか、パターン生成部５５は、素子ごとに光の透過と不透過を切り替え可能な液晶シャッターモジュールや、素子ごとに微細な反射ミラーを備えるＭＥＭＳ（マイクロ電子機器システム）ミラーモジュール等を用いてもよい。この場合、素子ごとの制御を行うので、パターン生成部５５全体を移動させずに適切な位相の縞パターンを形成することができるため、パターン投影部５０の構成を簡素にすることができる利点がある。縞パターンの切り替えは、パターン生成部５５に接続されたパターン制御部５６によって行われる。
　本体部２０内には、上述のイメージャー制御部３３と、光源制御部２１と、メイン制御部２２とが設けられている。光源制御部２１は、照明部４０から照明光を出射する動作および縞投影部５０から投影光を出射する動作を制御する。
　イメージャー制御部３３には、ビデオプロセッサー２７と、メイン制御部２２とが接続されている。ビデオプロセッサー２７は、イメージャー３１の取得した映像信号を処理する。メイン制御部２２は、イメージャー制御部３３の動作を制御する。ビデオプロセッサー２７およびメイン制御部２２は本体部２０内に設けられている。
　ビデオプロセッサー２７には、モニター（表示部）２８が接続されている。モニター２８は、ビデオプロセッサー２７によって処理された映像信号を画像として表示する。
　光源制御部２１は、第一光源４１および第二光源５１、並びにメイン制御部２２に接続されている。光源制御部２１は、メイン制御部２２による制御に基づいて第一光源４１および第二光源５１のオン／オフを制御する。
　メイン制御部２２は、さらに、操作部２３、ＲＡＭ２４、ＲＯＭ２６、補助記憶装置２５、およびパターン制御部５６に接続されている。
　操作部２３は、使用者が内視鏡装置１に各種入力を行うためのスイッチなどを有する。
また、操作部２３として、モニター２８の表示画面と重ねて設けられたタッチパネルが採用されてもよい。
　ＲＡＭ２４は、内視鏡装置１を用いた被検物の撮像や三次元形状の計測などの際に使用されるワークエリアとして機能する。
　ＲＯＭ２６は、たとえばファームウェア等が記録されている。ＲＯＭ２６は、内視鏡装置１の起動時にファームウェア等が読み出されるように構成されている。
　補助記憶装置２５は、たとえば書き換え可能な不揮発メモリを有する記憶装置や磁気記憶装置などを採用することができる。
　次に、メイン制御部２２の構成について詳述する。
　メイン制御部２２は、光源制御部２１に対して、第一光源４１および第二光源５１を所定の周期Ｗで点滅させる。メイン制御部２２は、第一光源４１から照明光が出射されている状態では第二光源５１からの投影光の出射を減少させる。メイン制御部２２は、第一光源４１からの照明光の出射が減少されている状態では、第二光源５１から投影光を出射させる制御を行う。本実施形態では、メイン制御部２２が第二光源５１からの投影光の出射を停止させる例で説明する。しかしながら、使用者がモニター２８を見たときにちらつきを感じない程度であれば、メイン制御部２２は、第二光源５１からの投影光の出射を停止させるのではなく、減少するように構成してもよい。
　図３は、内視鏡装置１の使用時における第一光源４１および第二光源５１の発光タイミングおよび三次元形状の演算タイミングを示すタイミングチャートである。
　図３に示すように、第一光源４１および第二光源５１を点滅させる所定の周期の一周期Ｗは、第一時間幅Ｗ１と、第二時間幅Ｗ２とから構成される。第一時間幅Ｗ１は、照明光が出射された状態且つ投影光の出射が停止された状態である。第二時間幅Ｗ２は、照明光の出射が停止された状態且つ投影光が出射された状態である。
　本実施形態では、所定の周期Ｗの一周期内における第二時間幅Ｗ２は、内視鏡装置１を使用する使用者がモニター２８を見たときにちらつきを感じない時間に設定されている。
具体的には、所定の周期Ｗは１秒に設定される。つまり、１秒の周期Ｗのうち第二時間幅Ｗ２は、１秒よりも十分に短い時間、例えば１／３０秒に設定される。このとき、第一時間幅Ｗ１は、１秒の周期Ｗのうち残りの２９／３０秒に設定される。
　なお、モニター２８のリフレッシュレートに対応させて、第二時間幅Ｗ２は１／３０秒以下の適宜の時間幅に設定することもできる。たとえばモニター２８のリフレッシュレートが６０ｆｐｓである場合に、第二時間幅Ｗ２を１／６０秒とする。このとき、周期をモニター２８のリフレッシュレートと同期させることによって、第一光源４１からの照明光により照明された画像のモニター２８上での欠落を１フレーム／秒とすることができる。
　さらに、本実施形態では、第二時間幅Ｗ２はＮＴＳＣ形式の１秒あたりのフレーム数（３０フレーム）に基づいて設定されているが、ＰＡＬ形式の１秒あたりのフレーム数（２５フレーム）に基づいて設定されてもよい。そのとき、第二時間幅Ｗ２は１／２５秒に設定される。また、第一時間幅Ｗ１は２４／２５秒に設定される。
　また、本実施形態では、第二時間幅Ｗ２は、撮像部３０によって少なくとも一枚の画像が適切に取得できる時間に設定されている。たとえば、本実施形態では、第二時間幅Ｗ２の長さは、撮像部３０が一枚のパターン投影画像を取得できる長さに設定されている。
　また、メイン制御部２２は、照明光により被検物が照明された明視野画像を、第一光源４１から照明光が出射されている状態で撮像部３０に取得させる。さらに、メイン制御部２２は、被検物に縞パターンが投影されたパターン投影画像を、投影光が出射されている状態で撮像部３０に取得させる。
　具体的には、メイン制御部２２は、撮像部３０のイメージャー制御部３３に対して、上記所定の周期Ｗと同期させてイメージャー３１に画像を撮像させる制御を行う。イメージャー３１によって撮像された画像はビデオプロセッサー２７において処理される。メイン制御部２２によって、上記所定の周期Ｗにおける第一時間幅Ｗ１に該当するときに撮像された画像は明視野画像として抽出される。また、上記所定の周期Ｗにおける第二時間幅Ｗ２に該当するときに撮像された画像はパターン投影画像として抽出される。
　このように、本実施形態では、ビデオプロセッサー２７によって、イメージャー３１が撮像した画像が明視野画像とパターン投影画像とに仕分けされる。
　メイン制御部２２は、ビデオプロセッサー２７によって抽出されたパターン投影画像を用いて三次元形状の計測を行う。また、メイン制御部２２は、ビデオプロセッサー２７によって抽出された明視野画像をモニター２８へ出力する。
　なお、メイン制御部２２は、イメージャー３１が撮像した画像からパターン投影画像を取り除くことなくモニター２８へ出力してもよい。この場合であっても、たとえばパターン投影画像がモニター２８に表示される時間が１秒当たり1／３０秒以下であれば、モニター２８における画像のちらつきは気にならない程度に抑えられる。
　メイン制御部２２は、撮像部３０が取得したパターン投影画像を用いて被検物の三次元形状を計測するソフトウェア（以下、「計測プログラム」と称する。）を動作させることができる。メイン制御部２２は、パターン投影画像を用いた計測によって得られた情報を、明視野画像とともにモニター２８に表示させる。パターン投影画像を用いた計測によって得られた情報をモニター２８に表示させるために、メイン制御部２２は、計測プログラムによる演算が終了したあと、モニター２８に表示されている明視野画像又はパターン投影画像上に、パターン投影画像を用いた計測によって得られた情報を重ね合わせてモニター２８へ出力することができる。
　詳細は後述するが、計測プログラムは、上記所定の周期Ｗの一周期以内で演算を完了するように構成されている。よって、三次元形状の計測結果の表示は、上記所定の周期Ｗで更新される。
　図４および図５は、内視鏡装置の使用時にモニター２８に表示されるカーソルＣおよび対象領域Ｔの表示例を示す模式図である。
　図４および図５に示すように、メイン制御部２２において動作する計測プログラムは、撮像部３０の撮像視野内において被検物の三次元形状の計測をさせる対象領域を定めるためのカーソルＣを、モニター２８に表示させる。カーソルＣは、たとえば十字印（図４参照）や矢印（図５参照）など被検物における座標あるいは領域を使用者が指定しやすい形状とすることができる。また、カーソルＣは、丸印や四角い枠などの形状で、対象領域の広さを指定するために用いられてもよい。この場合には、計測プログラムは、カーソルＣの大きさを使用者の操作入力により変形させることができるように構成されてもよい。
　計測プログラムは、モニター２８上に表示されたカーソルＣの座標に基づいて、モニター２８に、三次元形状を計測するための対象領域Ｔを設定する。たとえば上記十字印や矢印など画像上の特定の位置を点として指定したカーソルＣの位置を中心とした矩形形状あるいは円形状などの所定の領域を対象領域Ｔとして設定する。
　なお、計測プログラムは、使用者の操作入力により、カーソルＣの形状だけでなく、対象領域Ｔの形状や大きさを変更させることができるように構成されてもよい。
　さらに、計測プログラムは、三次元形状を計測する対象領域Ｔとして設定された領域内のみに対して三次元形状を計測するための演算を行う。
　計測プログラムによる演算は、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも１つを用いる。空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法を用いた演算は、パターン投影画像を一枚だけ用いて被検物の三次元形状を計測することができる演算法である。
　計測プログラムは、対象領域Ｔ内の三次元形状を示す演算結果のデータと、対象領域Ｔ内における計測精度のデータとを生成し、たとえばＲＡＭ２４に記憶させる。計測プログラムにおける演算結果のデータには、少なくとも撮像部３０から被検物までの距離（物体距離）を示す情報が含まれている。また、対象領域Ｔ内における計測精度のデータには、少なくとも縞パターンの写り具合を定量化した情報が含まれている。
　計測プログラムによって生成された物体距離を示す情報は、図４および図５に示すように、カーソルＣ上の距離情報Ｉとして、数値やインジケータを示すなどの表示方法を用いてモニター２８上に表示される。
　あるいは図示はしないが、モニター２８内の所定の領域に、対象領域Ｔ内における物体距離の分布をカラーマップなどで表示してもよい。
　このように、メイン制御部２２は、撮像部３０、照明部４０、パターン投影部５０、およびモニター２８の動作を制御する。
　次に、本実施形態の計測方法について、上記内視鏡装置１を用いて被検物を計測する方法を例に説明する。
　図６ないし図８は、本実施形態の内視鏡装置１を用いて被検物の三次元形状を計測する動作を示したフローチャートである。
　本実施形態では、内視鏡装置１は、被検物の三次元形状の計測をせずに観察のみ行う観察モードと、被検物の三次元形状の計測を行う計測モードとを備える。以下では、観察モードにおける動作の説明の詳細は省略し、計測モードにおける動作を中心に説明する。
　計測モードが開始されたときには、計測プログラムが起動し、初期化される。計測プログラムは、三次元形状の計測のために必要な演算のうち事前に演算可能な式について、変数と解とが関係付けられたテーブルなど、計測時の演算量を減らすことができるテーブルを生成してＲＡＭ２４に一時記憶させる。なお、テーブルは、予めＲＯＭ２６や補助記憶装置２５に記憶されていてもよい。この場合には、計測プログラムは、ＲＯＭ２６や補助記憶装置２５に記憶されたテーブルをＲＡＭ２４に転送して使用する。
　また、本実施形態では、計測プログラムは、カーソル位置設定処理と、画像取得処理と、パターン投影画像解析処理とを並列処理するように構成されている。
　図６は、カーソル位置設定処理のフローチャートである。図６に示すステップＳ１は、モニター２８に表示されるライブ画面上にカーソルＣを表示するステップである。
　ステップＳ１では、計測プログラムは、モニター２８にカーソルＣを表示させ、内視鏡装置１の使用者がカーソルＣの位置を移動させることができるように設定する。なお、計測プログラムは、モニター２８上で予め定められた位置（たとえばモニター２８の中央など）にカーソルＣを固定してもよい。
　モニター２８上のカーソルＣの座標に基づいて、対象領域Ｔが設定される。
　これでステップＳ１は終了し、ステップＳ２へ進む。
　ステップＳ２は、カーソルＣが移動したか否かを判定するステップである。
　ステップＳ２では、内視鏡装置１の使用者によるカーソルＣを移動させる入力などがあったことを検出する。カーソルＣを移動させる入力は、ボタンやジョイスティックによる入力動作があったことを機械的に検知してもよい。また、ボタンやジョイスティックによる入力動作によってカーソルＣの座標が変化したことを検知してもよい。
　カーソルＣを移動させる入力などがあるまでステップＳ２では入力待ちとなり、入力があったことが検知された場合にはステップＳ３へ進む。
　ステップＳ３は、カーソルＣの位置を更新するステップである。
　ステップＳ３では、モニター２８上に表示されているカーソルＣの位置を、入力動作に対応させて変化させる。また、カーソルＣの位置に対応させて対象領域Ｔの位置も更新する。
　これでステップＳ３は終了し、ステップＳ２へ戻る。
　図７は、画像取得処理のフローチャートである。画像取得処理では、上記カーソル位置設定処理において得られたカーソルＣの位置と対象領域Ｔの位置との情報を参照し、カーソルＣの位置と対象領域Ｔの位置との情報を用いる。
　図７に示すステップＳ４は、所定の周期Ｗの一周期において何枚目の画像（フレーム）を取得したかを判定するステップである。
　ステップＳ４では、一周期内で画像を取得する毎にｎをカウントアップし、一周期が終了したら次の周期からはｎ＝１にリセットしてから再びｎをカウントアップする。
　ステップＳ４においてｎ＝１の場合にはステップＳ５へ進み、ステップＳ４においてｎが１より大きい場合にはステップＳ８へ進む。
　ステップＳ５は、照明光の出射が停止されている時間内に被検物に縞パターンを投影するステップである。
　ステップＳ５では、第一光源４１から照明光が出射されている場合には、メイン制御部２２が、第一時間幅Ｗ１の終了とともに光源制御部２１を制御して照明光の出射を停止させる。照明光の出射を停止させる方法としては、第一光源４１への通電を停止させて第一光源４１を消灯させてもよい。また、第一光源４１に設けられたシャッターモジュール４１ａによって照明光を遮蔽してもよい。照明光の出射が停止されると、被検物には照明光が照射されなくなる。
　さらに、メイン制御部２２は、光源制御部２１に対して、第二光源５１からの投影光の出射を開始させる制御を行う。このとき、第二光源５１への通電状態を切り替えたり、第二光源５１にシャッターモジュールを設けて出射状態を切り替えたりすることができる。
本実施形態の場合には、第二光源５１としてＬＥＤ光源が採用されているので、シャッターモジュールを備えていなくても十分に短い時間で光量を安定させることができる。
　図３に示すように、第二光源５１から投影光が出射される時間は、第一時間幅Ｗ１よりも短い第二時間幅Ｗ２である。たとえば本実施形態では、所定の周期Ｗが１秒であり第二時間幅Ｗ２が１／３０秒であるので、第二光源５１自体の通電状態を切り替えることにより第二光源５１を点滅させると、第二光源５１を発光させるために要する電力を大幅に削減できる。
　ステップＳ５において第二光源５１から出射された投影光は、パターン生成部５５を透過する。これにより、図２に示すように、被検物に到達した投影光によって明部Ｒ１が生じ、パターン生成部５５によって投影光が遮られた部分に暗部Ｒ２が生じる。その結果、明部Ｒ１と暗部Ｒ２とが交互に並べられた縞パターンが被検物に投影される。
　これでステップＳ５は終了し、ステップＳ６へ進む。
　ステップＳ６は、縞パターンが投影された被検物の画像（パターン投影画像）を取得するステップである。
　ステップＳ６において、撮像部３０は、明視野画像を取得する動作と同様の動作で被検物の画像を取得する。ステップＳ６においては、照明光でなく縞パターンが被検物に投影されているので、撮像部３０によって取得される画像はパターン投影画像となる。本実施形態では、第二時間幅Ｗ２においてパターン投影画像を一枚のみ取得する。
　ステップＳ６において、メイン制御部２２は、ビデオプロセッサー２７において処理された画像から上記一枚のパターン投影画像を抽出し、ＲＡＭ２４に一時記憶させる。
　これでステップＳ６は終了し、ステップＳ７へ進む。
　ステップＳ７は、パターン投影画像解析処理を開始させるステップである。
　ステップＳ７では、後述するパターン投影画像解析処理を開始させたあと、上記ステップＳ４へ戻る。
　ステップＳ８は、被検物への縞パターンの投影を停止して、照明光を出射するステップである。
　ステップＳ８では、メイン制御部２２は、第二時間幅Ｗ２の終了とともに第二光源５１からの投影光の出射を停止させ、第一時間幅Ｗ１の開始とともに光源制御部２１を制御して第一光源４１からの照明光の出射を開始させる。
　照明光の出射を開始させる方法としては、第一光源４１への通電を開始させて第一光源４１を点灯させてもよい。また、第一光源４１に設けられたシャッターモジュール４１ａを開いて照明光を出射させてもよい。
　第一光源４１の点灯を開始させてから第一光源４１の光量が安定するまでの時間が十分に短い場合には、第一光源４１自体の点灯および消灯を制御し、第一光源４１が消費する電力を削減することができる。
　また、シャッターモジュール４１ａによって照明光を遮蔽する場合には、第一光源４１自体が発する光量を変化させる必要がないので、照明光の光量を安定させるための時間が比較的長い光源であっても採用することができる。
　本実施形態の場合は、第一光源４１として採用されたハロゲンランプは、照明光の光量を安定させるための時間が比較的長い光源に相当する。このため、シャッターモジュール４１ａの開閉動作によって照明光の出射状態を変化させている。これにより、第一時間幅Ｗ１内における光量の変動を抑えることができる。
　これでステップＳ８は終了し、ステップＳ９へ進む。
　ステップＳ９は、被検物に照明光が照射された画像（明視野画像）を取得するステップである。
　ステップＳ９では、メイン制御部２２による制御に基づいて、所定の周期Ｗのうちの第一時間幅Ｗ１において撮像部３０が１枚の明視野画像を取得し、ビデオプロセッサー２７を通じてモニター２８に明視野画像を表示させる。
　これでステップＳ９は終了し、ステップＳ４へ戻る。そして、所定の周期Ｗのうちの第一時間幅Ｗ１の間は、ステップＳ８及びステップＳ９にて明視野画像の取得が繰り返される。
　図８はパターン投影画像解析処理のフローチャートである。パターン投影画像解析処理は、画像取得処理における上述のステップＳ７においてパターン投影画像解析処理を開始させる命令が発せられたことをトリガーとして開始される。
　図８に示すステップＳ１０は、縞画像の解析が完了しているか否かを判定するステップである。
　ステップＳ１０では、ステップＳ６において取得されたパターン投影画像に対して三次元形状の計測をするための解析や演算が完了しているか否かを判定する。
　パターン投影画像の解析が完了していなければステップＳ１１へ進む。
　ステップＳ１１は、一枚のパターン投影画像を用いて被検物の三次元形状の計測を行うステップである。
　ステップＳ１１では、計測プログラムは、空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも１つを用いて、被検物の三次元形状を計測する。このとき、計測プログラムは、一枚のみのパターン投影画像を用いる。本実施形態では、計測プログラムは、縞解析を行い、ＲＡＭ２４に記憶されたテーブルを用いて三次元形状を計測するための演算を行う。
本実施形態では、テーブルを使用せずに演算を行う方法よりも短時間で演算をすることができる。
　また、ステップＳ１１において、計測プログラムは、カーソル位置設定処理において取得された対象領域Ｔの位置情報を参照し、対象領域Ｔ内のみを対象として三次元形状の計測を行う。本実施形態では、画像全体の領域で演算を行う方法よりも短時間で演算をすることができる。計測プログラムによる演算結果は、対象領域Ｔ内における計測精度を示すデータとともにＲＡＭ２４に一時記憶される。なお、計測プログラムによる演算結果をＲＡＭ２４に加えて補助記憶装置２５に記憶させてもよい。また、対象領域Ｔ内における計測精度が悪い場合には、演算結果と計測精度のデータを破棄してもよい。
　これでステップＳ１１は終了し、ステップＳ１２へ進む。
　ステップＳ１２は、演算結果をモニター２８に表示させるステップである。
　ステップＳ１２では、画像セットにおける明視野画像のいずれか一方（例えばパターン投影画像を取得する前に取得した明視野画像）と、演算結果に基づいた情報とをモニター２８へ出力する。モニター２８では、たとえば明視野画像上に演算結果を重ねて表示したりすることができる。演算結果を表示する例としては、たとえば物体距離の数値や、インジケータの表示を更新する。
　また、モニター２８上に、対象領域Ｔ内における計測精度のデータを表示させることもできる。この場合、上記ステップＳ１１において演算結果と計測精度のデータを破棄した場合には、計測精度が悪かったことを示す文字列や記号をモニター２８に表示することができる。
　これでステップＳ１２は終了する。
　図６ないし８に示したカーソル位置設定処理、画像取得処理、およびパターン投影画像解析処理は、並列的に、所謂マルチタスク処理として実行される。画像取得処理およびパターン投影画像解析処理は、使用者による操作入力などの割り込みを受け付けることができる。
　例えば、使用者による操作入力などによって演算結果の表示を停止させる割り込みが生じた場合は、所定の周期Ｗで照明光と投影光の切り替えを行うことは停止し、常に照明光を照射するようにすることができる。
　あるいは、使用者が、二点を指定してその間の長さを計測したり、対象領域Ｔよりも広範囲にわたって三次元形状を表示したりすることができる操作画面へ移行するための操作を行った場合は、パターン投影画像を取得した後で、その画面へ移行する。
　ステップＳ４、Ｓ５、Ｓ６、およびＳ７に示すフローが所定の周期で繰り返し実行されることにより、撮像部３０は、所定の周期の最初にパターン投影画像を取得する。もしくは、ステップＳ４、Ｓ８、およびＳ９に示すフローが所定の周期で繰り返し実行されることにより、撮像部３０は、パターン投影画像を取得せずに複数の明視野画像を取得する。
　所定の周期Ｗの一周期が終了したら、図３に示すように新たな周期Ｗが開始して、上述の一連の工程によりパターン投影画像および明視野画像が取得される。
　なお、上記ステップＳ１１における演算量が多い場合には、所定の周期Ｗ内で演算を完了させることができない場合も考えられる。この場合には、演算を強制終了させ、後続の画像セットを使用した新たな演算を行う。
　内視鏡装置１の使用者は、カーソルＣを用いて指定した対象領域Ｔ外における三次元形状を測定する場合や、上記計測プログラムを用いた三次元形状の測定よりも高精度の測定をする場合、あるいは他の測定をする場合には、上記計測プログラムを中断して他のプログラムを呼び出すことができる。
　このとき、上記計測プログラムで用いた演算法とは異なる他の演算法を用いたとしても、計測精度を示す情報のうち最新の情報において計測精度が悪いと判定されている場合には、その旨をモニター２８に表示したり、他の演算法を用いるプログラムに自動的に切り替わることを禁止することができる。これにより、計測精度が低下しにくい条件で被検物を撮影することを使用者に促すことができる。
　以上説明したように、本実施形態の内視鏡装置１および計測方法によれば、計測に適した条件であるかを短時間で判定できる。このため、要求される計測精度よりも計測精度が低いために計測が失敗する可能性を抑えることができる。
　また、計測が失敗することによる時間の無駄を抑えることにより、内視鏡装置１の使い勝手を高めることができる。これは、プログラムにおける演算時間が長い計測を行う場合に特に効果が高い。
　また、照明光の出射を周期的に停止させ、照明光が出射されていないときにパターン投影画像を取得し、照明光が出射されているときには明視野画像を取得してモニター２８に表示させるので、被検物の観察をしながら略リアルタイムに被検物の三次元形状を計測することができる。
　また、投影光を用いて画像を取得する第二時間幅Ｗ２が、１秒に設定された周期Ｗのうち１／３０秒以下に設定されていることにより、モニター２８に表示される明視野画像の欠落を、使用者に気付かれない程度に抑えることができる。
　また、撮像部３０によって撮像できる領域の一部に対象領域Ｔを設定して対象領域Ｔ内のみに対して三次元形状の計測を行うので、使用者が三次元形状の計測を望む領域について、限られた時間内に精度良く計測を行うことができる。
　また、本実施形態の内視鏡装置１は、撮像部３０から被検物までの距離を、パターン投影画像を用いて計測することができるので、距離センサーを挿入部１０に備える必要が無い。そのため、本実施形態の内視鏡装置１は、挿入部１０を細径化することができる。
（変形例）
　次に、上述の実施形態の内視鏡装置１および計測方法の変形例について説明する。
　本変形例では、挿入部１０と被検物とが相対移動して明視野画像とパターン投影画像とが位置ずれを起こした場合における処理をさらに行う点において、メイン制御部２２の構成が異なっている。
　メイン制御部２２は、明視野画像とパターン投影画像とから少なくとも２枚の画像を選択し、選択された２枚の画像のずれ量に基づいて挿入部１０と被検物とのブレを検出するブレ検出手段を備える。
　ブレ検出手段には、２枚の画像において許容するずれ量の閾値が予め記憶されている。
ブレ検出手段は、公知の手段により２枚の画像におけるずれ量を検出する。２枚の画像におけるずれ量が閾値を超えている場合には、ブレ検出手段は、挿入部１０と被検物との間の相対移動（ブレ）があったと判定する。
　本実施形態では、ブレ検出手段は、パターン投影画像を取得する直前に取得された明視野画像および直後に取得された明視野画像を用いて挿入部１０と被検物とのブレを検出する。
　また、メイン制御部２２は、第一時間幅Ｗ１の最初に取得された明視野画像と、第一時間幅Ｗ１の最後に取得された明視野画像とをＲＡＭ２４に一時記憶させる。
　また、本変形例では、パターン投影画像についてもＲＡＭ２４に一時記憶される。ＲＡＭ２４に一時記憶された二枚の明視野画像および一枚のパターン投影画像は、三枚一組の画像セットとして後述するブレ検出に使用される。
　次に、本変形例の内視鏡装置１の動作および本変形例の計測方法について説明する。
　図９は、内視鏡装置１を用いて被検物の三次元形状を計測する動作のうち、被検物の画像を取得する動作を示したフローチャートである。図１０は、内視鏡装置１を用いて被検物の三次元形状を計測する動作のうち、被検物のパターン投影画像を用いて三次元形状の計測を行う計測プログラムの動作を示したフローチャートである。
　図９に示すように、本変形例では、明視野画像を取得し（ステップＳ２１）、その後、パターン投影画像を取得する（ステップＳ２２）。内視鏡装置１は、計測モードを終了させるための割り込みが入力されるまで、上記ステップＳ２１とステップＳ２２とをこの順に繰り返す。ステップＳ２１とステップＳ２２とが繰り返されることにより、三枚一組の画像セットを得ることができる。この三枚一組の画像セットは、一枚のパターン投影画像と、その前後（第一時間幅Ｗ１の終了時と、次の周期の第一時間幅Ｗ１の開始時）の明視野画像で構成される。
画像セットは、ＲＡＭ２４に一時記憶される。
　次に、上記ステップＳ２２において抽出されたパターン投影画像を用いた計測プログラムの動作について図１０を参照して説明する。
　図１０に示すステップＳ３１は、一枚のパターン投影画像が取得された前後の明視野画像を用いて挿入部１０と被検物とのブレを検出するステップである。
　ステップＳ３１は、上記画像セットがＲＡＭ２４に記憶されたことをトリガーとして開始される。すなわち、ステップＳ３１は、図３に符号Ｐ１で示すように第二時間幅Ｗ２が終了してから第一時間幅Ｗ１が開始してパターン投影画像を取得した後、１枚目の明視野画像が取得された時点で開始される。
　ステップＳ３１では、一枚のパターン投影画像の前後の明視野画像におけるずれ量が閾値未満であると判定された場合には、ステップＳ３２へ進む。また、ステップＳ３１では、一枚の縞画像の前後の明視野画像において閾値以上のずれ量があると判定された場合には、ステップＳ３５へ進む。
　図１０に示すステップＳ３２は、上述のステップＳ１１と同様の処理を行うステップである。
　図１０に示すステップＳ３３は、上述のステップＳ１２と同様の処理を行うステップである。
　図１０に示すステップＳ３４は、ＲＡＭ２４に一時記憶された上記画像セットを消去するステップである。
　ステップＳ３４において画像セットが消去されることにより、新たな画像セットを記憶させるための記憶領域が得られる。なお、ＲＡＭ２４に十分な記憶領域がある場合には、所定の周期間隔でステップＳ３４において画像セットを消去する必要はなく、例えば数分間隔でまとめて消去するようにしてもよい。
　また、画像セットと演算結果とを関連付けて補助記憶装置２５に記憶してもよい。これにより、例えば内視鏡装置１の電源を遮断した場合でも、再度内視鏡装置１を起動させれば、過去に取得した画像セットにおける三次元形状を再計測することなくその結果を得ることができる。
　これでステップＳ３４は終了する。
　ステップＳ３５は、ブレが発生していることをモニターに表示させるステップである。
　ステップＳ３５では、ブレが生じていることを示す文字列や記号をモニター２８に表示させる。
　これでステップＳ３５は終了し、ステップＳ３４へ進む。
　本変形例の内視鏡装置および計測方法によっても、上述した実施形態と同様の効果を奏する。
　また、ブレ検出手段を備えているので、被検物と挿入部１０とがずれたりしてパターン投影画像と明視野画像との間に位置ずれが生じた場合には、三次元形状の計測を行わない。これにより、位置ずれに起因して明視野画像に表示された被検物の物体距離などが誤った値で表示される可能性を低減することができる。
　以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
　たとえば、メイン制御部の演算性能が十分に高い場合には、撮像部の撮像視野の全領域について三次元形状の計測のための演算を一周期内で完了させることもできる。また、一周期の時間を上述の実施形態で説明した１秒よりも長く例えば１０秒などにした場合には、即時性は劣るが、高精度に、あるいは広い領域に対して三次元形状の計測を行うことができる。
　また、計測プログラムは、対象領域の外側に、対象領域における三次元形状の計測精度を高める目的で付加領域を設定し、対象領域と付加領域に対して三次元形状の計測をした後に、対象領域における三次元形状の計測結果のみを出力してもよい。
　また、三次元形状を計測するための演算を所定の周期内で完了させることができなかった場合には、演算を強制終了させて新たな演算をすることに代えて、継続中の画像セットでの演算が完了してから新たな画像セットでの演算を開始するようにしてもよい。
　また、ブレを検出するステップにおいて、一枚の明視野画像と一枚のパターン投影画像とを用いてブレの検出を行うこともできる。この場合には、明視野画像を複数枚取得する必要がないので、より短時間で一連の工程を完了させることができる。
　また、上述の実施形態では、ブレを検出するために用いる明視野画像の例として、第一時間幅の終了時と、次の周期の第一時間幅の開始時に取得された明視野画像を用いる例を示したが、ブレを検出するために使用する明視野画像の取得タイミングおよび取得枚数はこれに限定されるものではない。パターン投影画像を取得する前に取得した明視野画像のみを用いたり、パターン投影画像を取得した後に取得した明視野画像のみを用いたりすることもできる。
　また、上述の実施形態では計測プログラムはソフトウェアである例を示したが、撮像部が取得したパターン投影画像を用いて被検物の三次元形状を計測するＬＳＩなどのハードウェアを用いてもよい。ソフトウェアを用いるかハードウェアを用いるかは、処理速度や実装コストなどに応じて適宜選択することができる。
　上記内視鏡装置および計測方法によれば、計測に適した条件であるかを短時間で判定することができる。
　１　内視鏡装置
　１０　挿入部
　１１　開口
　１２　照明窓
　１３　投影窓
　２０　本体部
　２１　光源制御部
　２２　メイン制御部
　３０　撮像部
　３２　対物光学系
　３３　イメージャー制御部
　４０　照明部
　４１　第一光源
　５０　パターン投影部
　５１　第二光源
　Ｗ　所定の周期
　Ｗ１　第一時間幅
　Ｗ２　第二時間幅

Claims (8)

  1. 　光の明暗パターンが投影された被検物のパターン投影画像を用いて前記被検物の計測を行う内視鏡装置であって、
    　前記被検物の画像を取得する撮像部と、
    　前記撮像部の観察視野を照明する照明光を発する第一光源が設けられた照明部と、
    　前記被検物に前記明暗パターンを投影するための投影光を発する第二光源が設けられたパターン投影部と、
    　前記撮像部によって取得された画像を表示する表示部と、
    　前記撮像部、前記照明部、前記パターン投影部、および前記表示部を制御する制御部と、
    を備え、
    　前記制御部は、
    　前記第一光源からの前記照明光の出射状態を所定の周期で変化させ、
    　前記第一光源から照明光が出射されている状態では前記第二光源からの前記投影光の出射を減少させ、
    　前記第一光源からの照明光の出射が減少されている状態では前記第二光源から前記投影光を出射させ、
    　前記照明光により前記被検物が照明された明視野画像を前記第一光源から前記照明光が出射されている状態で前記撮像部に取得させ、
    　前記被検物に前記明暗パターンが投影された前記パターン投影画像を前記投影光が出射されている状態で前記撮像部に取得させ、
    　前記撮像部が取得した前記パターン投影画像を用いて前記被検物の三次元形状を計測し、
    　前記パターン投影画像を用いた計測によって得られた情報を前記明視野画像とともに前記表示部に表示させる
    　内視鏡装置。
  2. 　請求項１に記載の内視鏡装置であって、
    　前記制御部は、
    　　前記撮像部の撮像視野内において前記被検物の三次元形状の計測をさせる領域を定めるためのカーソルを前記表示部に表示させ、
    　　前記カーソルの座標に基づいて前記表示部に前記領域を設定し、
    　　前記領域内に対応する前記被検物の三次元形状の計測を行う
    　内視鏡装置。
  3. 　請求項１に記載の内視鏡装置であって、
    　前記制御部は、
    　　空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも１つにより前記パターン投影画像を一枚だけ用いて前記被検物の三次元形状を計測する
    　内視鏡装置。
  4. 　請求項１に記載の内視鏡装置であって、
    　前記所定の周期の一周期は、前記照明光が出射された状態且つ前記投影光の出射が停止された状態である第一時間幅と、前記照明光の出射が停止された状態且つ前記投影光が出射された状態である第二時間幅と、から構成される１秒以上の周期であり、
    　前記一周期内における前記第二時間幅は、１秒よりも十分に短い時間に設定されている
    　内視鏡装置。
  5. 　請求項４に記載の内視鏡装置であって、
    　前記第二時間幅は１／２５秒以下の長さに設定されている内視鏡装置。
  6. 　請求項４に記載の内視鏡装置であって、
    　前記第二時間幅は１／３０秒以下の長さに設定されている内視鏡装置。
  7. 　被検物の三次元形状を内視鏡装置を用いて計測する計測方法であって、
    　照明光が照射された前記被検物の画像を取得している間に、１秒あたり１／２５秒以下の間隔で前記照明光を周期的に消灯し、
    　前記照明光が消灯している時間内に前記被検物に明暗パターンを投影してパターン投影画像を取得し、
    　前記パターン投影画像を取得した後に前記パターン投影画像を用いて前記被検物の三次元形状の計測を行い、
    　前記照明光が照射されている状態で取得された画像上に前記三次元形状の計測によって得られた情報を表示する
    　計測方法。
  8. 　請求項７に記載の計測方法であって、
    　前記照明光が消灯状態である間に前記パターン投影画像を一枚のみ取得し、
    　空間的位相シフト法、フーリエ変換法、縞次数解析および光切断法のうちの少なくとも１つを用いて一枚のみの前記パターン投影画像を用いて前記被検物の三次元形状を計測する
    　計測方法。
PCT/JP2012/063266 2011-05-24 2012-05-24 内視鏡装置および計測方法 WO2012161244A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/085,726 US9581802B2 (en) 2011-05-24 2013-11-20 Endoscope device, and measurement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011116141A JP5830270B2 (ja) 2011-05-24 2011-05-24 内視鏡装置および計測方法
JP2011-116141 2011-05-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/085,726 Continuation US9581802B2 (en) 2011-05-24 2013-11-20 Endoscope device, and measurement method

Publications (1)

Publication Number Publication Date
WO2012161244A1 true WO2012161244A1 (ja) 2012-11-29

Family

ID=47217318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/063266 WO2012161244A1 (ja) 2011-05-24 2012-05-24 内視鏡装置および計測方法

Country Status (3)

Country Link
US (1) US9581802B2 (ja)
JP (1) JP5830270B2 (ja)
WO (1) WO2012161244A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014165344A1 (en) * 2013-03-31 2014-10-09 Gyrus Acmi, Inc. (D.B.A. Olympus Surgical Technologies America) Panoramic organ imaging

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501678B (zh) * 2011-01-28 2017-04-05 皇家飞利浦电子股份有限公司 用于内窥镜的相对跟踪的光学感测
WO2012147679A1 (ja) 2011-04-27 2012-11-01 オリンパス株式会社 内視鏡装置および計測方法
JP5846763B2 (ja) 2011-05-24 2016-01-20 オリンパス株式会社 内視鏡装置
JP2014163690A (ja) * 2013-02-21 2014-09-08 Mitsutoyo Corp 形状測定装置
US9384540B2 (en) * 2013-12-03 2016-07-05 Sunedison Semiconductor Limited (Uen201334164H) Systems and methods for interferometric phase measurement
AU2015221258B2 (en) 2014-02-21 2019-11-21 Cilag Gmbh International A set comprising a surgical instrument
US11266465B2 (en) 2014-03-28 2022-03-08 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
JP6609616B2 (ja) 2014-03-28 2019-11-20 インテュイティブ サージカル オペレーションズ， インコーポレイテッド マルチポートの視点からの手術シーンの定量的な３次元イメージング
WO2015149042A1 (en) * 2014-03-28 2015-10-01 Dorin Panescu Alignment of q3d models with 3d images
WO2015149040A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging of surgical scenes
US10555788B2 (en) 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
US10350009B2 (en) 2014-03-28 2019-07-16 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and printing of surgical implants
WO2016065130A1 (en) 2014-10-24 2016-04-28 Magik Eye Inc. Distance sensor
JP6706026B2 (ja) * 2015-04-01 2020-06-03 オリンパス株式会社 内視鏡システムおよび内視鏡装置の作動方法
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
TW201706563A (zh) 2015-05-10 2017-02-16 麥吉克艾公司 距離感測器（一）
US11020144B2 (en) 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
WO2017012624A1 (en) 2015-07-21 2017-01-26 3Dintegrated Aps Cannula assembly kit, trocar assembly kit, sleeve assembly, minimally invasive surgery system and method therefor
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
US9936151B2 (en) * 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images
JP2017104354A (ja) * 2015-12-10 2017-06-15 Hoya株式会社 照射システム
WO2017103976A1 (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 観察装置
US20190051039A1 (en) * 2016-02-26 2019-02-14 Sony Corporation Image processing apparatus, image processing method, program, and surgical system
KR102595391B1 (ko) 2016-12-07 2023-10-31 매직 아이 인코포레이티드 조정 가능한 초점 이미징 센서를 포함한 거리 센서
EP3692396A4 (en) 2017-10-08 2021-07-21 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
KR20200054324A (ko) 2017-10-08 2020-05-19 매직 아이 인코포레이티드 다중 이동형 센서들을 포함한 센서 시스템의 캘리브레이션
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
WO2019182881A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Distance measurement using projection patterns of varying densities
CN112119628B (zh) 2018-03-20 2022-06-03 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
WO2019236563A1 (en) 2018-06-06 2019-12-12 Magik Eye Inc. Distance measurement using high density projection patterns
EP3824621A4 (en) 2018-07-19 2022-04-27 Activ Surgical, Inc. SYSTEMS AND METHODS FOR MULTIMODAL DETECTION OF DEPTH IN VISION SYSTEMS FOR AUTOMATED SURGICAL ROBOTS
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
JP7565282B2 (ja) 2019-01-20 2024-10-10 マジック アイ インコーポレイテッド 複数個の通過域を有するバンドパスフィルタを備える三次元センサ
CN109828315A (zh) * 2019-03-14 2019-05-31 华域视觉科技(上海)有限公司 基于红外线的路面监控系统及方法、汽车
WO2020197813A1 (en) 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
EP3952720A4 (en) 2019-04-08 2023-04-05 Activ Surgical, Inc. SYSTEMS AND METHODS FOR MEDICAL IMAGING
CN114073075B (zh) 2019-05-12 2024-06-18 魔眼公司 将三维深度图数据映射到二维图像上
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
JP2021050948A (ja) * 2019-09-24 2021-04-01 進 中谷 測定装置
CN112577458B (zh) * 2019-09-27 2024-02-02 沈阳华慧高新技术有限公司 一种三维扫描内窥镜装置及该装置的标定方法和使用方法
EP4065929A4 (en) 2019-12-01 2023-12-06 Magik Eye Inc. IMPROVEMENT OF TRIANGULATION-BASED THREE-DIMENSIONAL DISTANCE MEASUREMENTS WITH TIME OF FLIGHT INFORMATION
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
WO2021138677A1 (en) 2020-01-05 2021-07-08 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera
JP2022035960A (ja) * 2020-08-21 2022-03-04 進 中谷 測定装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0285706A (ja) * 1988-09-22 1990-03-27 Toshiba Corp 計測内視鏡
JPH0961132A (ja) * 1995-08-28 1997-03-07 Olympus Optical Co Ltd ３次元形状計測装置
JPH10239034A (ja) * 1997-02-28 1998-09-11 Olympus Optical Co Ltd 三次元形状計測装置
JPH10239031A (ja) * 1997-02-28 1998-09-11 Olympus Optical Co Ltd 三次元計測装置
WO2007102195A1 (ja) * 2006-03-07 2007-09-13 Fujitsu Limited 撮影装置、及び撮影方法
JP2008229025A (ja) * 2007-03-20 2008-10-02 Olympus Corp 蛍光観察装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104493B2 (ja) 1987-02-17 1995-11-13 オリンパス光学工業株式会社 内視鏡装置
JPH07104491B2 (ja) * 1988-02-17 1995-11-13 株式会社東芝 計測機能付き内視鏡装置
JPH02287311A (ja) 1989-04-28 1990-11-27 Toshiba Corp 計測機構付内視鏡装置
JPH03128043A (ja) 1989-10-16 1991-05-31 Toshiba Corp 形状計測内視鏡装置
US5434669A (en) 1990-10-23 1995-07-18 Olympus Optical Co., Ltd. Measuring interferometric endoscope having a laser radiation source
JPH0545132A (ja) * 1991-08-15 1993-02-23 Olympus Optical Co Ltd 計測用内視鏡装置
JP3126065B2 (ja) 1991-12-09 2001-01-22 オリンパス光学工業株式会社 計測用内視鏡装置
JPH10104483A (ja) 1996-09-26 1998-04-24 Furukawa Electric Co Ltd:The 光ファイバ送り込み用パイプ集合ケーブル
US6464633B1 (en) 1999-08-23 2002-10-15 Olympus Optical Co., Ltd. Light source device for endoscope using DMD
US7385708B2 (en) 2002-06-07 2008-06-10 The University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
JP4229791B2 (ja) 2003-09-19 2009-02-25 真 金子 内視鏡装置
JP4916160B2 (ja) 2005-11-14 2012-04-11 オリンパス株式会社 内視鏡装置
JP2007144024A (ja) 2005-11-30 2007-06-14 National Univ Corp Shizuoka Univ 自己混合レーザを用いる三次元計測内視鏡
JP2009019941A (ja) 2007-07-11 2009-01-29 Nikon Corp 形状測定方法
JP2009061014A (ja) 2007-09-05 2009-03-26 Fujifilm Corp 硬さ測定装置、硬さ測定方法、および内視鏡システム
US8107083B2 (en) 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
US7821649B2 (en) * 2008-03-05 2010-10-26 Ge Inspection Technologies, Lp Fringe projection system and method for a probe suitable for phase-shift analysis
JP2009240621A (ja) 2008-03-31 2009-10-22 Hoya Corp 内視鏡装置
JP5073564B2 (ja) * 2008-04-15 2012-11-14 オリンパス株式会社 計測用内視鏡装置およびプログラム
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
JP5127639B2 (ja) * 2008-09-10 2013-01-23 富士フイルム株式会社 内視鏡システム、およびその作動方法
EP2272417B1 (en) 2009-07-10 2016-11-09 GE Inspection Technologies, LP Fringe projection system for a probe suitable for phase-shift analysis
JP2011229850A (ja) * 2010-04-30 2011-11-17 Fujifilm Corp 内視鏡装置、方法およびプログラム
WO2012147679A1 (ja) 2011-04-27 2012-11-01 オリンパス株式会社 内視鏡装置および計測方法
JP5846763B2 (ja) 2011-05-24 2016-01-20 オリンパス株式会社 内視鏡装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0285706A (ja) * 1988-09-22 1990-03-27 Toshiba Corp 計測内視鏡
JPH0961132A (ja) * 1995-08-28 1997-03-07 Olympus Optical Co Ltd ３次元形状計測装置
JPH10239034A (ja) * 1997-02-28 1998-09-11 Olympus Optical Co Ltd 三次元形状計測装置
JPH10239031A (ja) * 1997-02-28 1998-09-11 Olympus Optical Co Ltd 三次元計測装置
WO2007102195A1 (ja) * 2006-03-07 2007-09-13 Fujitsu Limited 撮影装置、及び撮影方法
JP2008229025A (ja) * 2007-03-20 2008-10-02 Olympus Corp 蛍光観察装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014165344A1 (en) * 2013-03-31 2014-10-09 Gyrus Acmi, Inc. (D.B.A. Olympus Surgical Technologies America) Panoramic organ imaging
US9107578B2 (en) 2013-03-31 2015-08-18 Gyrus Acmi, Inc. Panoramic organ imaging
CN105188504A (zh) * 2013-03-31 2015-12-23 捷锐士阿希迈公司(以奥林巴斯美国外科技术名义) 全景器官成像
JP2016522004A (ja) * 2013-03-31 2016-07-28 ジャイラス・エーシーエムアイ・インコーポレーテッド パノラマ臓器イメージング

Also Published As

Publication number Publication date
US20140071239A1 (en) 2014-03-13
US9581802B2 (en) 2017-02-28
JP5830270B2 (ja) 2015-12-09
JP2012242364A (ja) 2012-12-10

Similar Documents

Publication Publication Date Title
JP5830270B2 (ja) 内視鏡装置および計測方法
JP5841353B2 (ja) 内視鏡装置および画像取得方法
JP5846763B2 (ja) 内視鏡装置
US10898110B2 (en) Endoscope apparatus and measuring method
JP6253527B2 (ja) 内視鏡装置
US11426052B2 (en) Endoscopic system
JP6706026B2 (ja) 内視鏡システムおよび内視鏡装置の作動方法
JP6032870B2 (ja) 計測方法
JP5826609B2 (ja) 内視鏡装置、内視鏡装置の制御方法、およびプログラム
JP6023865B2 (ja) 内視鏡装置、内視鏡装置の制御方法、およびプログラム
JP2008125989A (ja) 内視鏡ポイント光照射位置調整システム
JP5893264B2 (ja) 内視鏡装置
JP2004012192A (ja) 測定顕微鏡装置、その表示方法、及びその表示プログラム
JP5484505B2 (ja) 眼科撮影装置
JP5483989B2 (ja) 眼科装置
JP5460490B2 (ja) 眼科装置
JP5639289B2 (ja) 走査型内視鏡装置
JP2015134084A (ja) 眼科装置及び眼科装置の制御方法
JP2011044789A (ja) 遠隔指示支援装置、遠隔指示支援システム及びプログラム
JP2013176652A (ja) 眼科撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12788952

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12788952

Country of ref document: EP

Kind code of ref document: A1