WO2016174701A1 - 内視鏡装置及び３次元形状計測方法 - Google Patents

内視鏡装置及び３次元形状計測方法 Download PDF

Info

Publication number
WO2016174701A1
WO2016174701A1 PCT/JP2015/062636 JP2015062636W WO2016174701A1 WO 2016174701 A1 WO2016174701 A1 WO 2016174701A1 JP 2015062636 W JP2015062636 W JP 2015062636W WO 2016174701 A1 WO2016174701 A1 WO 2016174701A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination light
captured image
illumination
light
image
Prior art date
Application number
PCT/JP2015/062636
Other languages
English (en)
French (fr)
Inventor
愼一 今出
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2015/062636 priority Critical patent/WO2016174701A1/ja
Publication of WO2016174701A1 publication Critical patent/WO2016174701A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides

Definitions

  • the present invention relates to an endoscope apparatus, a three-dimensional shape measurement method, and the like.
  • a technique of projecting an active pattern is known as one of techniques for measuring a three-dimensional shape in a non-contact manner.
  • a reference active pattern is projected onto a measurement object, pattern distortion (phase change) in a captured image obtained by a monocular imaging optical system is detected, and the distance of the measurement object is detected based on the distortion.
  • a typical example of such a method is a phase shift method.
  • a periodic pattern such as a sine wave is generally used as an active pattern
  • a plurality of periodic patterns with different phases are projected to obtain a plurality of reflected images, and the plurality of reflected images are subjected to image processing.
  • the phase change from the reference sine wave is detected.
  • Patent Documents 1 to 3 there are techniques disclosed in Patent Documents 1 to 3 as conventional techniques of the phase shift method.
  • Patent Document 1 four short-period sine wave patterns having phases different by ⁇ / 2 and two long-period patterns are superimposed and projected.
  • the obtained four captured images are processed, the patterns of short cycle and long cycle are separated, the relative phase is detected from the short cycle sine wave pattern, and in addition, the absolute phase is calculated using the long cycle pattern. To detect.
  • Patent Document 2 instead of a sine wave pattern, a pattern in which the hue changes monotonously is projected a plurality of times with different phases, and the phase change is detected after combining those phases by returning them.
  • the absolute phase can be detected, and measurement with high spatial resolution becomes possible.
  • phase shift method is a method of detecting the phase from a plurality of captured images, it is desirable that the influence of disturbance light can be reduced in order to obtain a good image quality of each captured image. By controlling the height, the influence of disturbance light is reduced.
  • the phase shift method as described above has advantages such as the ability to eliminate the influence of the reflection distribution of the measurement object and the ability to measure the distance in pixel units of the image sensor.
  • imaging is performed by projecting a plurality of patterns with different phases in time series, and shape measurement is performed using the plurality of time series images. For this reason, if a relative blur occurs between the measurement object and the pattern projection imaging system during measurement image acquisition, there is a problem that measurement accuracy is greatly affected.
  • an endoscope apparatus a three-dimensional shape measurement method, and the like that can suppress a decrease in measurement performance even in a dynamic state in active three-dimensional shape measurement.
  • One embodiment of the present invention acquires three-dimensional shape information of the subject based on an imaging unit that images the subject, an illumination unit that irradiates the subject with illumination light, and a captured image obtained by the imaging unit.
  • a processing unit wherein the illumination unit includes first illumination light whose luminance monotonously increases in a given direction on a reference plane perpendicular to the optical axis of the imaging unit, and the given direction on the reference plane
  • the present invention relates to an endoscope apparatus that irradiates the second illumination light whose luminance decreases monotonously as the illumination light.
  • the first illumination light whose brightness monotonously increases in a given direction on the reference plane and the second illumination light whose brightness monotonously decreases in the given direction on the reference plane are subjects.
  • the subject to which the first and second illumination lights are irradiated is imaged, and the three-dimensional shape information of the subject is acquired based on the captured image.
  • three-dimensional shape information can be obtained from captured images of two types of illumination light. Therefore, in active three-dimensional shape measurement, it is possible to suppress a decrease in measurement performance even in a dynamic state.
  • a subject is irradiated with first illumination light whose luminance monotonously increases in a given direction on a reference plane perpendicular to the optical axis of the imaging unit, and the given direction on the reference plane.
  • the present invention relates to a three-dimensional shape measurement method for irradiating the subject with second illumination light whose luminance decreases monotonically and acquiring three-dimensional shape information of the subject based on a captured image obtained by the imaging unit.
  • FIG. 1 is an explanatory diagram of a measurement system and a measurement method according to this embodiment.
  • 2A and 2B are simulation waveform examples of the measurement method of the present embodiment.
  • FIG. 3A and FIG. 3B are simulation waveform examples of the measurement method of this embodiment.
  • FIG. 4 is a first configuration example of an illumination unit and an imaging unit.
  • FIG. 5 is a second configuration example of the illumination unit and the imaging unit.
  • FIG. 6 is a sequence of illumination, imaging, and image generation in the present embodiment.
  • FIG. 7 is a configuration example of the endoscope apparatus of the present embodiment.
  • FIG. 8 is an explanatory diagram of the measurement system and the measurement method of the present embodiment when the measurement object and the measurement system move relatively.
  • FIG. 10A shows a projection pattern.
  • FIG. 10B is a graph showing the output sensor characteristics with respect to the amount of received light.
  • FIG. 11 is a flowchart illustrating a procedure of light control processing.
  • an endoscope apparatus will be described below as an application example of the present invention.
  • the present invention is not limited to application to an endoscope apparatus, and is an active method (a method for positively pattern marking a measurement object by illumination).
  • the present invention can be applied to any three-dimensional measuring device that measures a three-dimensional shape or an imaging device having a three-dimensional measuring function (for example, an endoscope, a microscope, an industrial camera, a robot visual function, etc.).
  • First embodiment 1.1. Measurement Method As a typical example of the phase shift method described above, there is a method of projecting a periodic pattern. However, because the periodic pattern is used, only the relative phase in units of periods can be obtained. Therefore, it is necessary to perform phase connection processing to obtain the absolute phase. Various phase connection processes have been proposed, but the factors that hinder measurement accuracy are increased, such as adding another low-frequency pattern for specifying the absolute spatial position of the measurement range. For example, in Patent Document 1, a short periodic pattern and a long periodic pattern are superimposed and projected, a short periodic pattern and a long periodic pattern are separated from a captured image, phase connection processing is performed, and absolute phase detection is performed. For this reason, the separation performance of the short periodic pattern and the long periodic pattern has a great effect on the measurement accuracy and becomes a factor that hinders the improvement in accuracy.
  • Patent Document 2 As a method that does not use a periodic pattern, for example, there is a method that uses a monotone pattern based on a continuous hue change, as in Patent Document 2, for example.
  • Patent Document 2 Although the absolute phase detection is easy with the method of Patent Document 2, there are practical problems such as color balance variation control.
  • FIG. 1 shows an explanatory diagram of the measurement system and measurement method of this embodiment. Note that the detection of the distance z of the measurement object can be described even if the y coordinate system is omitted, and therefore, the following description will be made using the (x, z) coordinate system.
  • the endoscope apparatus of the present embodiment includes an imaging optical system 10, an imaging sensor 20 (imaging device), a projection optical system 30, and a projection device 40 (projection unit).
  • the projection device 40 is a device that generates an illumination pattern (projection pattern), and the projection optical system 30 projects the illumination pattern generated by the projection device 40 onto the reference reference plane 4 (reference plane).
  • the projection device 40 and the projection optical system 30 constitute an illumination system.
  • the light projected onto the measurement object 2 (subject) by the illumination system is reflected on the surface thereof and is imaged by the imaging sensor 20 via the imaging optical system 10.
  • the angle formed by the optical axis 8 of the imaging optical system 10 and the center line 6 of the illumination system at the intersection between the center line 6 of the illumination system and the reference reference plane 4 is ⁇ .
  • the center line 6 of the illumination system is a line through which a light beam emitted from the center of the illumination pattern passes, and the center of the illumination pattern (reference point in a broad sense) in the projection device 40 and the illumination pattern projected on the reference reference plane 4 It is a line connecting the center (reference point).
  • a coordinate axis orthogonal to the optical axis 8 of the imaging optical system 10 is x
  • a coordinate axis in the depth direction along the optical axis 8 of the imaging optical system 10 is z.
  • the distance from the imaging optical system 10 to the measurement point Q on the measurement object 2 (in a broad sense, the distance from the reference position to the measurement point Q) is represented by z.
  • fixed set values ai, bi, Li, ap, bp, Lp, and D constituting the measurement system are defined as shown in FIG.
  • the measurement point virtual plane 5 is a plane including the measurement point Q and is a plane orthogonal to the optical axis 8 of the imaging optical system 10. Assuming that a projection pattern (illumination pattern) is irradiated onto the measurement point virtual plane 5, the pattern becomes a projection pattern shifted by the phase difference s shown in the following equation (1).
  • the projection pattern on the standard reference plane 4 has a phase shifted in the x direction by s, and the reflected image of the measurement object 2 by the projection pattern is similarly shifted and captured. This is only in the measurement point virtual plane 5. That is, in the case of FIG. 1, since the measurement point virtual plane 5 includes the measurement point Q, the projection pattern at the measurement point Q is shifted by the phase difference s with respect to the projection pattern on the standard reference plane 4. become.
  • These magnifications change in accordance with the value of z (position in the z direction), but in this embodiment, the total magnification mi / mp is considered to be constant (not affected by the magnification change) for the sake of simplicity.
  • the reference imaging pattern image the image of the projection pattern from standard reference plane 4 obtained on the image sensor 20, the position x Q of the projected pattern image corresponding to the measurement point Q of the measurement subject 2, the reference imaging It is considered that a positional shift associated with the value of z purely occurs with respect to the pattern image.
  • a reflection image of the measurement object 2 at the position x is A (x), and an unknown phase difference (phase shift) is s (x).
  • the projection patterns are assumed to be two types of gradation patterns g + (x) and g ⁇ (x) whose brightness changes linearly.
  • the following formula (2) shows g + (x) and g ⁇ (x).
  • u is the gradient gradient
  • v is the bias component of the projection pattern.
  • I + (x) is a pixel value (brightness of the reflected image) at a position x when g + (x) is projected
  • I ⁇ (x) is a position when g ⁇ (x) is projected. This is the pixel value at x (the brightness of the reflected image).
  • mi / mp 1.
  • the reflection image A (x) of the measurement object is obtained from the reference image I + (x) and the antiphase image I ⁇ (x). If this A (x) is substituted into the first equation of the above equation (3), the phase difference s (x) can be obtained by the following equation (5).
  • the distance information z (x) at the position x is calculated by the following equation (6).
  • the x coordinate X of the measurement point Q is obtained as the following expression (7).
  • xQ is an x coordinate on the image sensor 20 corresponding to the measurement point Q.
  • the phase difference s is obtained at a position (x Q , y Q ) on the image sensor 20 s (x Q , y Q ). It is conceivable that.
  • the y coordinate Y of the measurement point Q can also be obtained by the following equation (8) based on the same concept as the coordinate X by z (x Q , y Q ) obtained by s (x Q , y Q ).
  • the coordinates (X, Y, Z) of an arbitrary measurement point of the measurement object 2 in the three-dimensional space are obtained, and the shape of the three-dimensional object can be measured.
  • FIGS. 2A to 3B show simulation waveform examples of the measurement method of the present embodiment.
  • FIG. 2A shows the shape waveform (coordinates z (x)) of the measurement object 2 assumed as the simulation input waveform.
  • FIG. 2B shows a waveform ga () of a gradation pattern g + (x), g ⁇ (x) and a gradation pattern g + (x), g ⁇ (x) plus a phase difference s (x). x) and gb (x).
  • FIG. 3A shows the waveforms of the captured images I + (x) and I ⁇ (x).
  • the reflection coefficient A (x) is set as an arbitrary waveform by random numbers.
  • FIG. 3B is a waveform of the detected value of the coordinate z (x) obtained from the captured images I + (x) and I ⁇ (x).
  • the phase difference s (x) here is obtained from the input waveform z (x) in FIG.
  • the waveforms ga (x) and gb (x) multiplied by the reflection coefficient A (x) are taken images I + (x) and I ⁇ (x), which are the waveforms shown in FIG.
  • the captured images I + (x) and I ⁇ (x) are substituted into the above equations (4) to (6) to obtain the coordinates z (x), the waveform shown in FIG. It can be seen that it matches the waveform of the given coordinate z (x).
  • FIG. 4 shows a first configuration example of the illumination unit and the imaging unit.
  • FIG. 4 is a diagram viewed from a direction perpendicular to the optical axis of the imaging optical system 10, and a front view thereof is a diagram viewed from the optical axis direction of the imaging optical system 10.
  • the illumination unit includes lenses 51 and 52, white LEDs 61 and 62 (first and second light sources in a broad sense), and filters 71 and 72.
  • the lenses 51 and 52 correspond to the projection optical system 30 in FIG. 1, and the white LEDs 61 and 62 and the filters 71 and 72 correspond to the projection device 40 in FIG.
  • the imaging unit includes the imaging optical system 10 and the imaging sensor 20, and is provided on the front side of the paper with respect to the illumination unit.
  • the imaging sensor 20 is, for example, a CCD image sensor or a CMOS image sensor.
  • a filter 71 is provided between the white LED 61 and the lens 51, and the light emitted from the white LED 61 is transmitted through the filter 71, and the transmitted light is projected onto the measurement object 2 by the lens 51.
  • the filter 71 has a transmittance characteristic of the gradation pattern A in which the transmittance increases linearly along the x direction.
  • a filter 72 is provided between the white LED 62 and the lens 52, and the light emitted from the white LED 62 passes through the filter 72, and the transmitted light is projected onto the measurement object 2 by the lens 52.
  • the filter 72 has a transmittance characteristic of the gradation pattern B in which the transmittance decreases linearly along the x direction.
  • the filters 71 and 72 are arranged in the vertical direction, and the imaging optical system 10 and the filters 71 and 72 are arranged in the horizontal direction.
  • the gradation of the filters 71 and 72 changes in transmittance in the left-right direction.
  • the left-right direction in the front view corresponds to the x direction in FIG.
  • FIG. 5 shows a second configuration example of the illumination unit and the imaging unit.
  • FIG. 5 is a diagram viewed from a direction perpendicular to the optical axis of the imaging optical system 10, and a front view thereof is a diagram viewed from the optical axis direction of the imaging optical system 10.
  • the illumination unit includes a lens group 50, a white LED array 60 (light source array in a broad sense), and a light guide group 80.
  • the lens group 50 corresponds to the projection optical system 30 in FIG. 1, and the white LED array 60 and the light guide group 80 correspond to the projection device 40 in FIG.
  • the imaging unit includes the imaging optical system 10 and the imaging sensor 20, and is provided on the front side of the paper with respect to the illumination unit.
  • the white LED array 60 includes a plurality of LED elements arranged in an array.
  • a case where five LED elements are arranged in a one-dimensional array will be described as an example.
  • the present invention is not limited to this.
  • a plurality of LED elements may be arranged two-dimensionally.
  • the light guide group 80 includes five light guides, and one light guide guides light from one LED element.
  • the lens group 50 includes five lenses arranged in a one-dimensional array, and one lens projects the light guided to one light guide onto the measurement object 2.
  • the white LED array 60 has a gradation pattern A in which the light emission amounts of the five LED elements in the one-dimensional array become brighter in order, a gradation pattern B in which the light emission amounts of the five LED elements in the one-dimensional array become darker in order, and the five in the one-dimensional array.
  • the LED elements emit light in a flat pattern with the same amount of light emission.
  • the ends of the five light guides of the light guide group 80 are aligned in the left-right direction, and the ends of the imaging optical system 10 and the light guide group 80 are aligned in the vertical direction.
  • the left-right direction in the front view corresponds to the x direction in FIG.
  • FIG. 6 shows a sequence of illumination, imaging, and image generation in this embodiment.
  • FIG. 6 illustrates a case where an observation image is generated at 60 fps (frame per second).
  • the imaging unit performs imaging once for each field. In the timing chart of the imaging timing, the high level period indicates the exposure period.
  • a captured image obtained in each field is referred to as a field image.
  • field images I + N , I ⁇ N + 1 , and I + N + 2 are obtained. Since each field image is an image on which a gradation pattern is projected, it is used as a measurement image. That is, the three-dimensional shape is measured from the field images I + N and I ⁇ N + 1 , and then the three-dimensional shape is measured from the field images I ⁇ N + 1 and I + N + 2 . Also in the subsequent fields, the three-dimensional shape is measured from the field images obtained in the adjacent two fields.
  • An observation image is generated from field images obtained in two adjacent fields.
  • a frame image is generated from field images obtained in two adjacent fields. The imaging rate of the field image (measurement image) and the generation rate of the frame image (observation image) are the same.
  • FIG. 7 shows a configuration example of an endoscope device that performs three-dimensional shape measurement according to this embodiment.
  • the endoscope apparatus includes a scope unit 100 and a main body unit 200 (control device).
  • the scope unit 100 includes an imaging unit 110 and an illumination unit 120.
  • the main body unit 200 includes a processing unit 210, a monitor display unit 220, and an imaging processing unit 230.
  • the main body 200 may include, for example, an operation unit that operates the scope unit 100, an operation unit that operates the main unit 200, an interface unit that is connected to an external device, and the like as components not illustrated.
  • the scope unit 100 may include, for example, a treatment tool as a component (not shown).
  • the present invention can be applied to both a flexible mirror in which the scope unit 100 is configured to be bendable and a rigid mirror in which the scope unit 100 is configured in a stick shape.
  • the main body 200 and the imaging unit 110 are configured as portable devices that can be carried, and are used for manufacturing inspection and maintenance inspection of industrial products, maintenance inspection of buildings and piping, and the like.
  • the illumination unit 120 of the scope unit 100 illuminates the subject and corresponds to the projection optical system 30 and the projection device 40 in FIG.
  • the imaging unit 110 captures the subject illuminated by the illumination unit 120, and corresponds to the imaging optical system 10 and the imaging sensor 20 in FIG.
  • the imaging processing unit 230 performs imaging processing on the signal from the imaging device of the imaging unit 110, and outputs field images I + (x) and I ⁇ (x). For example, correlated double sampling processing, gain control processing, A / D conversion processing, RAW development processing (processing for converting a Bayer image into an RGB image), gamma correction, color correction, noise reduction, and the like are performed.
  • the processing unit 210 performs control processing of each unit of the endoscope apparatus, image processing, generation processing of three-dimensional shape information, display processing of an observation image and three-dimensional shape information, and the like.
  • the processing unit 210 includes a color image generation unit 320, a phase difference detection unit 330, a distance information calculation unit 340, a three-dimensional shape information generation unit 350, and an illumination control unit 360.
  • the illumination control unit 360 controls the illumination unit 120 to alternately project gradation patterns g + (x) and g ⁇ (x).
  • the illumination control unit 360 may control the gradient u and the bias v of the gradation patterns g + (x) and g ⁇ (x). For example, the tilt u and the bias v are controlled by controlling the light quantity of the light source.
  • the color image generation unit 320 synthesizes (for example, adds) field images I + (x) and I ⁇ (x) captured in two adjacent fields to generate a frame image, and displays the frame image as an observation image on a monitor Output to the unit 220.
  • the phase difference detection unit 330 detects the phase difference s (x) from the field images I + (x) and I ⁇ (x) captured in two adjacent fields. That is, the phase difference s (x) is obtained by processing based on the above equations (4) and (5).
  • the inclination u and bias v in the above equation (5) may be stored in a storage unit (not shown) included in the main body unit 200, or may be input from the illumination control unit 360 to the phase difference detection unit 330, for example. Also good. Whether the field image from the imaging processing unit 230 is I + (x) or I ⁇ (x) is determined by a control signal from the illumination control unit 360.
  • the distance information calculation unit 340 calculates object distance information from the phase difference s (x). That is, the distance z (x) in the z direction is obtained by processing based on the above equation (6).
  • the angle ⁇ and the reference reference plane distance Li in the above equation (6) are stored in a storage unit (not shown) included in the main body 200, for example.
  • the 3D shape information generation unit 350 generates 3D shape information from the distance information.
  • the three-dimensional shape information is information for presenting the measured three-dimensional shape to the user, and various modes can be assumed. For example, the distance z (x) itself at each position of the subject, the relative distance such as the height and depth of the unevenness, the color tone and shadow according to those distances, and the three-dimensional information representing the surface shape of the subject with polygons, etc. Etc.
  • the 3D shape information generation unit 350 generates an image for displaying the generated 3D shape information and outputs the generated image to the monitor display unit 220. For example, an image is generated by superimposing three-dimensional shape information on the observation image.
  • the endoscope apparatus includes the imaging unit 110 that images the subject (measurement object 2), the illumination unit 120 that irradiates the subject with illumination light, and the captured image I obtained by the imaging unit 110. And a processing unit 210 that acquires three-dimensional shape information of the subject based on + (x) and I ⁇ (x). Then, the illumination unit 120 includes first illumination light (gradation pattern g + (gradation pattern g + ()) whose luminance monotonously increases in a given direction (x direction) on a standard plane (standard reference plane 4) perpendicular to the optical axis 8 of the imaging unit 110. x)) and second illumination light whose gradation monotonously decreases in a given direction on the reference plane (gradation pattern g ⁇ (x)) is irradiated as illumination light.
  • first illumination light luminance monotonously increases in a given direction (x direction) on a standard plane (standard reference plane 4) perpendicular to the optical axis 8 of the imaging unit 110.
  • second illumination light whose
  • Opposite phase means illumination with inverted brightness, and when added, it means a pattern with flat brightness. Therefore, in this embodiment, there is no need to switch between the illumination for measurement and the illumination for observation that are generally performed, and it is obtained by continuously obtaining captured images obtained by alternately irradiating an object with two types of illumination. The measurement information and the observation image can be appropriately generated using the obtained image. In addition, if gradation illumination whose brightness monotonously changes is used as the two types of illumination having opposite phases, it is not necessary to generate a special illumination pattern, and the projection mechanism becomes easy.
  • the distal end of the scope is not fixed, and therefore relative blurring tends to occur between the distal end of the scope (measurement system) and the subject.
  • the method of photographing while changing the pattern many times as in the conventional phase shift method, it is easy to be affected by blurring, and the measurement accuracy is likely to be lowered.
  • the present embodiment since measurement can be performed with two pattern projections, it is less susceptible to blurring than in the prior art.
  • the conventional method of switching between measurement illumination and observation illumination if blurring occurs between when shooting with measurement illumination and when shooting with observation illumination, there is a gap between the measurement result and the observation image. The subject position changes.
  • an observation image can be generated from images captured by two pattern projections, a deviation between the measurement result and the observation image can be suppressed. This is advantageous when displaying the measurement result superimposed on the observation image.
  • the three-dimensional shape information is information representing the three-dimensional shape of the subject (surface) as described above.
  • the distance in the z direction from the reference plane to the subject and the relative in the z direction between the two points of the subject This is image information such as a color tone and a shade according to the distance and the distance in the z direction.
  • image information such as a color tone and a shade according to the distance and the distance in the z direction.
  • information obtained by converting the information into a three-dimensional representation such as a polygon may be used.
  • the reference plane (standard reference plane 4) is a plane away from the imaging unit 110 by a predetermined distance Li.
  • the reference point for example, the center
  • Such a predetermined distance Li is determined by the optical design of the imaging unit 110 and the illumination unit 120.
  • “brightness monotonously increases (monotonically decreases)” means that the luminance changes monotonically throughout the illumination light irradiation range. That is, the pattern of illumination light is aperiodic over the entire irradiation range, and does not simply increase (decrease) in a part of the irradiation range, but does not repeat a pattern that increases (decreases) monotonously.
  • the first illumination light (g + (x)) and the second illumination light (g ⁇ (x)) have a luminance on the reference plane (reference reference plane 4) when irradiated simultaneously.
  • the illumination light is flat.
  • the image I + (x) obtained by irradiating the first illumination light (g + (x)) and the second illumination light (g ⁇ (x)) are obtained.
  • an image in the case of flat illumination can be obtained. That is, there is no need to switch illumination light between measurement and observation, and both measurement and observation image acquisition can be realized by irradiation with the first and second illumination lights. Since it is possible to measure simultaneously while viewing a normal observation image, it is possible to realize measurement in real time, and convenience is improved. For example, in the prior art, a subject is screened with illumination for observation, and when there is a portion to be measured, measurement is switched to illumination for measurement. On the other hand, in the present embodiment, it is possible to obtain a measurement result even during screening, and screening while viewing the measurement result as well as visual observation is possible.
  • the first illumination light increases linearly in a given direction (x direction) on the reference surface (reference reference surface 4), and the second illumination light is transmitted on the reference surface.
  • the brightness decreases linearly in a given direction.
  • the slopes of luminance of the first illumination light and the second illumination light have the same absolute value and opposite signs. That is, when the first illumination light and the second illumination light are added, the linearly changing component is canceled, and illumination corresponding to flat illumination is realized. Further, by using illumination light whose luminance changes linearly, the phase difference s (x) can be obtained by a simple process as described in the above equations (4) to (6).
  • the illumination light is not limited to this, and the first illumination light and the second illumination light are simultaneously irradiated as described above. Any illumination light that has a flat luminance on the reference plane may be used.
  • the illumination unit 120 alternately irradiates the first illumination light and the second illumination light.
  • the illumination unit 120 emits the first illumination light in the first field and the second illumination light in the second field after the first field.
  • the first field and the second field correspond to the first frame
  • the display image of the subject corresponds to the captured image in the first frame.
  • the illumination unit 120 emits the first illumination light in the third field
  • the processing unit 210 performs the second captured image captured in the second field and the third frame.
  • 3D shape information is obtained on the basis of the third captured image picked up in, and a subject display image is generated. That is, the second field and the third field correspond to the second frame.
  • the field is a period in which imaging is performed once, and one field includes one exposure period, and imaging is performed in the exposure period.
  • a frame is a period for acquiring and displaying one display table image, and one frame is composed of two fields.
  • the processing unit 210 includes the first captured image I + (x) captured when the first illumination light (g + (x)) is irradiated, and the second illumination light ( Three-dimensional shape information is obtained based on the second captured image I ⁇ (x) captured when g ⁇ (x)) is irradiated.
  • the phase difference s (x) between (x + s (x)) and g ⁇ (x + s (x)) is obtained based on the first captured image I + (x) and the second captured image I ⁇ (x).
  • the three-dimensional shape information is obtained from the phase difference s (x).
  • the processing unit 210 includes the first captured image I + (x) captured when the first illumination light (g + (x)) is irradiated, and the second illumination light ( A display image of the subject is generated based on the second captured image I ⁇ (x) captured when g ⁇ (x)) is irradiated.
  • the processing unit 210 adds the first captured image I + (x) and the second captured image I ⁇ (x) to generate a display image.
  • the addition process is a process (I + (x) + I ⁇ (x)) in which pixel values of the same pixel are simply added as described with reference to FIG. 6, but is not limited thereto.
  • various processes that are not simple addition, such as addition averaging and weighted addition, can be assumed.
  • the first and second illumination lights have an antiphase gradation pattern
  • the first captured image I + (x) and the second captured image I ⁇ (x) are added to perform flat illumination.
  • a display image corresponding to the case can be acquired. As a result, it is possible to acquire a display image from an image obtained by pattern projection and perform measurement and observation in real time.
  • the illumination unit 120 includes the first light source (white LED 61), the first optical system (lens 51), the first filter 71, and the second light source (white LED 62). And a second optical system (lens 52) and a second filter 72.
  • the first optical system is a light source for irradiating light from the first light source as first illumination light (g + (x)).
  • the first filter is provided between the first light source and the first optical system, and the light transmittance monotonously increases in a direction (x direction) corresponding to a given direction.
  • the second optical system is a light source for irradiating light from the second light source as second illumination light (g ⁇ (x)).
  • the second filter is provided between the second light source and the second optical system, and the light transmittance monotonously decreases in a direction (x direction) corresponding to a given direction.
  • the light from the first light source passes through the first filter 71 and is projected onto the subject by the first optical system, and the light from the second light source passes through the second filter 72. And projected onto the subject by the second optical system. Since the first and second filters 71 and 72 have the light transmittance of the antiphase gradation pattern, the first and second illumination lights of the antiphase gradation pattern can be projected.
  • FIG. 8 is an explanatory diagram of a measurement system and a measurement method according to the present embodiment when the measurement object and the measurement system relatively move.
  • symbol is attached
  • the measurement object 2 and the measurement system are relatively stationary, and the projection positions of the two types of gradation patterns g + (x) and g ⁇ (x) are the measurement object 2. It is the premise that they are the same. However, since the captured image to be acquired is two time-division images, this assumption is lost when the measurement object 2 and the measurement system move relatively.
  • the measurement object 2 and the measurement system move relatively between two image acquisitions, and a measurement method capable of accurate measurement even in that case will be described. .
  • FIG. 8 shows that the relative position between the measurement object 2 and the measurement system (tip of the scope unit 100) is x between when the image is captured with the gradation pattern g + (x) and when the image is captured with the gradation pattern g ⁇ (x).
  • the figure shows a state moved by ⁇ in the direction.
  • the captured image I ⁇ (x) can be expressed by the following equation (9) with reference to the captured image I + (x).
  • the function f A (x + ⁇ ) is defined by the following formula (12) using I + (x) of the above formula (9) and I ⁇ (x + ⁇ ) of the above formula (11).
  • the function f A (x + ⁇ ) is a function corresponding to A (x) obtained by shifting I ⁇ (x) by ⁇ within a predetermined range with respect to the captured image I + (x).
  • ⁇ is a variable virtually introduced to estimate ⁇
  • f A (x + ⁇ ) is obtained for ⁇ of each value by changing ⁇ within a predetermined range.
  • fs (x + ⁇ ) in the above equation (13) is a value obtained by shifting I ⁇ (x) by ⁇ in the x direction around an arbitrary position x of the captured images I + (x) and I ⁇ (x).
  • ⁇ ⁇
  • M is a natural number representing the pixel position in the x direction, for example.
  • E ( ⁇ ) ⁇ 0 as in the above equation (15)
  • ⁇ ( ⁇ ) is defined as in the following equation (16).
  • ⁇ (x, ⁇ ) is a value equal to or greater than zero regardless of the values of x and ⁇ .
  • ⁇ (x, ⁇ ) may be greater than or less than zero depending on the value of K. However, as a whole, the cases of (i) to (iv) are combined. Has a high probability that ⁇ (x, ⁇ ) takes zero or more.
  • FIG. 9A to 9C are explanatory diagrams of state images of ⁇ (x, ⁇ ) in the above equation (17) in the cases (i) to (iv) described above.
  • FIG. 9A is a state image of ⁇ (x, ⁇ ) ⁇ 0 in the case of (i) or (ii).
  • FIG. 9B is a state image of ⁇ (x, ⁇ ) ⁇ 0 in the case of (iii) or (iv).
  • the absolute value of us (x) is sufficiently occupied by a portion smaller than the absolute value of (K ⁇ 1) (ux + v) + K ⁇ us (x). It can be seen that the measurement system is configured such that ⁇ (x, ⁇ ) ⁇ 0.
  • I + (x) and I ⁇ (x) are obtained as captured images, but I ⁇ (x + ⁇ ′) is obtained using ⁇ ′.
  • the estimation of the shift amount ⁇ ′ and the detection of the phase difference s (x) are performed by the phase difference detection unit 330 in FIG.
  • the processing unit 210 uses the first captured image I + (x) captured when the first illumination light (g + (x)) is irradiated, and the second illumination.
  • the first captured image I + (x) and the second captured image I ⁇ (x) Based on the first captured image I + (x) and the second captured image I ⁇ (x), projection patterns g + (x) and g ⁇ (x) on the reference plane (standard reference plane 4) of the illumination light.
  • phase difference s (x) between the projection patterns g + (x + s (x)) and g ⁇ (x + s (x ⁇ )) when the subject is irradiated with the illumination light (the above equations (12) to ( 14)).
  • the processing unit 210 sets the position on the image in the direction (x direction) corresponding to the given direction to x, and sets the pixel value at the position x of the first captured image to I + (x ),
  • the pixel value at the position x of the second captured image is I ⁇ (x), and the amount of motion is assumed to be ⁇ .
  • a phase difference fs (x + ⁇ ) is obtained from I + (x) and I ⁇ (x + ⁇ ), and an added value E ′ ( ⁇ ) obtained by adding the absolute value of the phase difference fs (x + ⁇ ) within a predetermined range of x.
  • the phase difference s (x) can be obtained.
  • FIG. 10A is a diagram showing projection patterns g + (x) and g ⁇ (x) having an opposite phase to the measurement object described in the first and second embodiments.
  • the sensor outputs I + (x Q ) and I ⁇ (x Q ) can be expressed as shown in FIG.
  • an imaging sensor can normally perform photoelectric conversion only within a predetermined dynamic range with respect to the amount of light received on an imaging surface. When the amount of received light is larger than the saturation value, the sensor output value becomes a saturation value.
  • a (x Q ) corresponds to the reflection coefficient of the surface of the measurement object corresponding to the pixel position x Q , but this is an unknown value depending on the measurement object.
  • This selection process is performed by the color image generation unit 320 in FIG. That is, when the frame image (observation image, display image) described with reference to FIG. 6 is generated from I + (x) and I ⁇ (x), the pixel of that pixel according to the amount of light received by the sensor at each pixel. The value is selected from I + (x) and I ⁇ (x).
  • a sensor output value can be obtained with a high sensitivity and a high SN ratio in the range of LA1 where the sensor light reception amount is small, and the sensor output is not saturated even in the range of LA2 where the sensor light reception amount is large.
  • a sensor output value is obtained.
  • FIG. 11 is a flowchart showing the procedure of such light control processing.
  • the slope u and the bias v are set to given initial values (step S1).
  • the measurement object is illuminated with the projection pattern g + (x) (step S2).
  • the measurement object illuminated with the projection pattern g + (x) is imaged to obtain a captured image I + (x) (step S3).
  • the measurement object is illuminated with the projection pattern g ⁇ (x) (step S4).
  • the measurement object illuminated with the projection pattern g ⁇ (x) is imaged to obtain a captured image I ⁇ (x) (step S5).
  • step S6 it is determined whether or not there are saturated portions (pixels with saturated pixel values) in the captured images I + (x) and I ⁇ (x) (step S6). If there is no saturated portion, it is determined whether or not imaging has been completed (step S7), and if not, the process returns to step S2. If the imaging has been completed, the process ends. If a saturated portion is present in step S6, adjustment to reduce the slope u is performed (step S8), and the process returns to step S2.
  • steps S1 and S8 are performed by the illumination control unit 360 of FIG.
  • steps S2 and S4 are performed by the illumination unit 120 and the illumination control unit 360.
  • Steps S3 and S5 are performed by the imaging unit 110 and the imaging processing unit 230.
  • Step S6 is performed by the illumination control unit 360 or the imaging processing unit 230.
  • Step S7 is performed by the imaging processing unit 230.
  • the processing unit 210 first captured image I + (x) and the second captured image I - depending on the received light amount of the pixel in the (x), first captured image I + The pixel value of the pixel (x) or the pixel value of the second captured image I ⁇ (x) is selected to generate a display image.
  • the illumination unit 120 is imaged when the first captured image I + (x) captured when the first illumination light is irradiated and when the second illumination light is irradiated.
  • the saturation of the pixel value is detected (step S6 in FIG. 11), and when the saturation is detected, the dimming of the first illumination light and the second illumination light is performed. Perform (step S8).
  • Dimming is, for example, changing the slope u of the gradation pattern.
  • the slope u is changed by adjusting the light amount of the light source.
  • the dimming may be performed by changing the bias v of the gradation pattern.
  • the main body 200 may include a processor and a memory.
  • the processor here may be, for example, a CPU (Central Processing Unit). However, the processor is not limited to the CPU, and various processors such as a GPU (GraphicsGProcessing Unit) or a DSP (Digital Signal Processor) can be used.
  • the processor may be an ASIC hardware circuit.
  • the memory stores instructions that can be read by a computer. When the instructions are executed by a processor, each part of the main body 200 according to the present embodiment (for example, all or part of the processing unit 210). ) Will be realized.
  • the memory here may be a semiconductor memory such as SRAM or DRAM, or a register or a hard disk.
  • the instruction here may be an instruction of an instruction set constituting the program, or an instruction for instructing an operation to the hardware circuit of the processor.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡装置は、被写体を撮像する撮像部１１０と、被写体に照明光を照射する照明部１２０と、撮像部１１０により得られた撮像画像に基づいて、被写体の３次元形状情報を取得する処理部２１０と、を含む。そして照明部１２０は、撮像部１１０の光軸８に垂直な基準面において所与の方向に輝度が単調増加する第１の照明光と、基準面において所与の方向に輝度が単調減少する第２の照明光とを、照明光として照射する。

Description

内視鏡装置及び３次元形状計測方法
　本発明は、内視鏡装置及び３次元形状計測方法等に関する。
　従来から、非接触に３次元形状を計測する技術の一つとしてアクティブパターンを投影する手法が知られている。この手法では、計測物体に基準となるアクティブパターンを投影し、単眼の結像光学系にて得られる撮像画像におけるパターンの歪み（位相変化）を検出し、その歪みにより計測物体の距離を検出する。このような手法の代表的なものとして位相シフト法がある。位相シフト法では、一般に正弦波のような周期パターンをアクティブパターンとして用い、位相を異ならせた複数の周期パターンを投影して複数の反射画像を取得し、その複数の反射画像を画像処理することにより、基準正弦波との位相変化を検出している。例えば、位相シフト法の従来技術として特許文献１～３に開示された技術がある。
　特許文献１では、位相がπ／２ずつ異なる４つの短い周期の正弦波パターンと２つの長い周期のパターンを重畳させて投影する。得られた４つの撮像画像を処理し、短い周期と長い周期のそれぞれのパターンを分離し、短い周期の正弦波パターンから相対位相を検出し、それに加えて長い周期のパターンを用いて絶対位相を検出する。
　特許文献２では、正弦波パターンではなく、色合いが単調に変化するパターンを位相を異ならせて複数回投影し、それらの位相を戻して合成したのちに位相変化を検出する。連続するカラーパターン光を用いることで絶対位相の検出が可能になり、空間分解能が高い計測が可能となる。
　特許文献３では、従来の位相シフト法による形状計測に、パターン投影をしない撮像を加え、その撮像画像に基づいて明るさを検知し、投影パターンの明るさ調整を行っている。位相シフト法は複数枚の撮像画像から位相検出を行う方法であるので、それぞれの撮像画像が良好な画質を得るためには外乱光の影響を低減できることが望ましいが、適応的に投影光の明るさを制御することにより、外乱光の影響の低減を実現している。
特開２００８－１８５３７０号公報 特開２００１－３３０４１７号公報 特開２０１２－１４１２５２号公報
　上記のような位相シフト法は、計測物体の反射分布の影響を排除できること、撮像センサの画素単位での距離計測が可能であること等のメリットがある。しかしながら、位相シフト法では、位相を異ならせた複数のパターンを時系列に投影して撮像を行い、その複数の時系列画像を用いて形状計測を行う。そのため、計測画像の取得中に計測物体とパターン投影撮像系の間で相対的にブレが発生した場合、計測精度に大きな影響を及ぼすという課題がある。
　本発明の幾つかの態様によれば、アクティブ方式の３次元形状計測において、動的状態であっても計測性能の低下を抑制できる内視鏡装置及び３次元形状計測方法等を提供できる。
　本発明の一態様は、被写体を撮像する撮像部と、前記被写体に照明光を照射する照明部と、前記撮像部により得られた撮像画像に基づいて、前記被写体の３次元形状情報を取得する処理部と、を含み、前記照明部は、前記撮像部の光軸に垂直な基準面において所与の方向に輝度が単調増加する第１の照明光と、前記基準面において前記所与の方向に輝度が単調減少する第２の照明光とを、前記照明光として照射する内視鏡装置に関係する。
　本発明の一態様によれば、基準面において所与の方向に輝度が単調増加する第１の照明光と、基準面において所与の方向に輝度が単調減少する第２の照明光とが被写体に照射され、その第１、第２の照明光が照射された被写体が撮像され、その撮像画像に基づいて被写体の３次元形状情報が取得される。これにより、２種類の照明光による撮像画像から３次元形状情報が得られるので、アクティブ方式の３次元形状計測において、動的状態であっても計測性能の低下を抑制することが可能になる。
　また本発明の他の態様は、撮像部の光軸に垂直な基準面において所与の方向に輝度が単調増加する第１の照明光を被写体に照射し、前記基準面において前記所与の方向に輝度が単調減少する第２の照明光を前記被写体に照射し、前記撮像部により得られた撮像画像に基づいて、前記被写体の３次元形状情報を取得する３次元形状計測方法に関係する。
図１は、本実施形態の計測系と計測手法の説明図。 図２（Ａ）、図２（Ｂ）は、本実施形態の計測手法のシミュレーション波形例。 図３（Ａ）、図３（Ｂ）は、本実施形態の計測手法のシミュレーション波形例。 図４は、照明部と撮像部の第１の構成例。 図５は、照明部と撮像部の第２の構成例。 図６は、本実施形態における照明、撮像、画像生成のシーケンス。 図７は、本実施形態の内視鏡装置の構成例。 図８は、計測物体と計測系が相対的に動いた場合における本実施形態の計測系と計測手法の説明図。 図９（Ａ）～図９（Ｃ）は、ε（ｘ，τ）の状態イメージの説明図。 図１０（Ａ）は、投影パターンを示す図。図１０（Ｂ）は、受光量に対する撮像センサの出力の特性を示す図。 図１１は、調光処理の手順を示すフローチャート。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　例えば以下では内視鏡装置を本発明の適用例として説明するが、本発明は内視鏡装置への適用に限定されず、アクティブ方式（積極的に計測物体に照明によるパターンマーキングをする方法）により３次元形状を計測する３次元計測装置や３次元計測機能を有する撮像装置（例えば内視鏡、顕微鏡、工業用カメラ、ロボットの視覚機能など）であれば適用できる。
　１．第１実施形態
　１．１．計測手法
　上述した位相シフト法の代表的なものとして、周期パターンを投影する手法がある。しかしながら、周期パターンを用いているがゆえに、周期単位での相対位相しか求めることができないので、位相接続処理を行って絶対位相を求める必要がある。この位相接続処理も種々提案されているが、測定範囲の絶対的空間位置を特定するための別の低周波パターンを付加するなど、計測精度を阻害する要因を増加させる。例えば特許文献１では、短い周期パターンと長い周期パターンを重畳して投影し、撮像画像から短い周期パターンと長い周期パターンを分離して位相接続処理を行い、絶対位相検出を行う。そのため、短い周期パターンと長い周期パターンの分離性能が計測精度に大きく効き、高精度化を阻害する要因となる。
　周期パターンを用いない手法としては、例えば特許文献２のように、周期パターンではなく連続する色合い変化による単調パターンを用いる手法がある。しかしながら、特許文献２の手法では絶対位相検出は容易であるが、実用的にはカラーバランスのばらつき制御などの課題がある。
　これらの従来手法（基準投影パターンの位相変化（歪み）を読み取って距離情報を検出する方法）には、上記のような課題の他にも、実用上の重要な課題が残されている。
　即ち、計測機能においては、これらの手法は複数の時系列画像を用いる手法ゆえに、計測画像の取得中に計測物体とパターン投影撮像系の間で相対的にブレが発生した場合、計測精度に大きな影響を及ぼすと言う欠点がある。また、通常観察機能においては、周期的パターンや色合い変化パターンが照明光となっているため白色フラット照明による通常の観察画像の同時生成が困難である。一般的に、動的な観察及び計測が求められる検査装置（例えば内視鏡、顕微鏡、工業用カメラ、ロボットの視覚機能など）では、観察と計測を同時に実現することの必然性が高い。
　以下、上記のような課題を解決できる本実施形態について説明する。図１に、本実施形態の計測系と計測手法の説明図を示す。なお、計測物体の距離ｚの検出についてはｙ座標系を省略しても説明が可能なので、以下では（ｘ，ｚ）の座標系により説明するものとする。
　図１に示すように、本実施形態の内視鏡装置は、撮像光学系１０、撮像センサ２０（撮像素子）、投影光学系３０、投影デバイス４０（投影部）を含む。
　投影デバイス４０は照明パターン（投影パターン）を発生するデバイスであり、投影光学系３０は、投影デバイス４０が発生した照明パターンを基準参照面４（基準面）へ投影する。この投影デバイス４０と投影光学系３０により照明系が構成される。照明系によって計測物体２（被写体）に投影された光は、その表面において反射され、撮像光学系１０を介して撮像センサ２０により撮像される。
　照明系の中心線６と基準参照面４との交点において、撮像光学系１０の光軸８と照明系の中心線６とがなす角をαとする。照明系の中心線６は、照明パターンの中心から発した光線が通る線であり、投影デバイス４０における照明パターンの中心（広義には基準点）と、基準参照面４に投影された照明パターンの中心（基準点）とを結ぶ線である。また、撮像光学系１０の光軸８に直交する座標軸をｘとし、撮像光学系１０の光軸８に沿った奥行き方向の座標軸をｚとする。撮像光学系１０から計測物体２上の計測点Ｑまでの距離（広義には基準位置から計測点Ｑまでの距離）をｚにより表す。また、計測系を構成する固定的な設定値ａｉ、ｂｉ、Ｌｉ、ａｐ、ｂｐ、Ｌｐ、Ｄを図１に示すように定義する。
　計測点仮想平面５は、計測点Ｑを含む平面であって撮像光学系１０の光軸８と直交する平面である。仮に計測点仮想平面５に投影パターン（照明パターン）が照射されたとすると、そのパターンは、下式（１）に示す位相差ｓだけシフトした投影パターンとなる。
Figure JPOXMLDOC01-appb-M000001
　即ち、基準参照面４への投影パターンに対して、位相がｓだけｘ方向へシフトした投影パターンとなり、その投影パターンによる計測物体２の反射画像も同様にシフトして撮像される。これはあくまで計測点仮想平面５においてのことである。即ち、図１の場合、計測点仮想平面５が含んでいるのは計測点Ｑなので、計測点Ｑにおける投影パターンが、基準参照面４における投影パターンに対して位相差ｓだけシフトしていることになる。
　投影倍率（照明パターンの拡大率）をｍｐ＝ａｐ／ｂｐとし、撮像倍率（計測物体２の反射画像の縮小率）をｍｉ＝ａｉ／ｂｉとする。これらの倍率はｚの値（ｚ方向の位置）に応じて変化するが、本実施形態では説明を簡単にするために総合倍率ｍｉ／ｍｐを一定（倍率変化の影響を受けない）と考える。この場合、撮像センサ２０上で得られる基準参照面４からの投影パターンの像を基準撮像パターン像とすれば、計測物体２の計測点Ｑに対応する投影パターン像の位置ｘＱは、基準撮像パターン像に対して純粋にｚの値に対応付けられた位置ズレを起こしていると考えられる。
　位置ｘにおける計測物体２の反射像をＡ（ｘ）とし、未知数である位相差（位相ズレ）をｓ（ｘ）とする。また、投影パターンを、線形的に明るさが変化する２種類のグラデーションパターンｇ＋（ｘ）、ｇ－（ｘ）であるとする。下式（２）にｇ＋（ｘ）、ｇ－（ｘ）を示す。ｕは、グラデーションの傾きであり、ｖは投影パターンのバイアス成分である。
Figure JPOXMLDOC01-appb-M000002
　これらの投影パターンを使って得られる撮像画像Ｉ＋（ｘ）、Ｉ－（ｘ）は、下式（３）となる。Ｉ＋（ｘ）は、ｇ＋（ｘ）を投影した場合の位置ｘにおける画素値（反射像の明るさ）であり、Ｉ－（ｘ）は、ｇ－（ｘ）を投影した場合の位置ｘにおける画素値（反射像の明るさ）である。ここではｍｉ／ｍｐ＝１としている。
Figure JPOXMLDOC01-appb-M000003
　Ｉ＋（ｘ）を基準画像とし、Ｉ－（ｘ）をＩ＋（ｘ）の逆位相画像とすると、これらの加算により、下式（４）が得られる。
Figure JPOXMLDOC01-appb-M000004
　即ち、基準画像Ｉ＋（ｘ）と逆位相画像Ｉ－（ｘ）により計測物体の反射像Ａ（ｘ）が求められる。このＡ（ｘ）を上式（３）の第１式に代入すれば、位相差ｓ（ｘ）は下式（５）により求められる。
Figure JPOXMLDOC01-appb-M000005
　上式（３）、（５）を見れば分かるように、Ａ（ｘ）はどのようであってもキャンセルすることができる。即ち、位相差ｓ（ｘ）を求めるに当たり、計測物体２の反射画像の影響を受けずに済むことができる。
　求められたｓ（ｘ）を上式（１）のｓに代入することにより、位置ｘにおける距離情報ｚ（ｘ）が下式（６）により算出される。
Figure JPOXMLDOC01-appb-M000006
　ｚ（ｘ）が得られれば、例えば計測点Ｑのｘ座標Ｘは、下式（７）として得られる。ｘＱは、計測点Ｑに対応する撮像センサ２０上のｘ座標である。計測点Ｑのｘ座標Ｘにおけるｚ座標Ｚは、Ｚ＝ｚ（ｘ）である。
Figure JPOXMLDOC01-appb-M000007
　ここで、計測点Ｑを３次元座標系として捉え、ｙ座標も含んで考えると、位相差ｓは撮像センサ２０上の位置（ｘＱ，ｙＱ）において求められるｓ（ｘＱ，ｙＱ）と考えられる。計測点Ｑのｙ座標Ｙについてもｓ（ｘＱ，ｙＱ）により求められるｚ（ｘＱ，ｙＱ）により、座標Ｘと同様な考え方にて下式（８）で求めることができる。
Figure JPOXMLDOC01-appb-M000008
　以上により、３次元空間において計測物体２の任意の計測点の座標（Ｘ，Ｙ，Ｚ）が求められ、３次元物体の形状計測が可能となる。
　１．２．シミュレーション波形
　図２（Ａ）～図３（Ｂ）に、本実施形態の計測手法のシミュレーション波形例を示す。図２（Ａ）は、シミュレーションの入力波形として仮定した計測物体２の形状波形（座標ｚ（ｘ））である。図２（Ｂ）は、グラデーションパターンｇ＋（ｘ）、ｇ－（ｘ）の波形と、グラデーションパターンｇ＋（ｘ）、ｇ－（ｘ）に位相差ｓ（ｘ）を加えた波形ｇａ（ｘ）、ｇｂ（ｘ）である。図３（Ａ）は、撮像画像Ｉ＋（ｘ）、Ｉ－（ｘ）の波形である。反射係数Ａ（ｘ）は乱数により任意の波形として設定したものである。図３（Ｂ）は、撮像画像Ｉ＋（ｘ）、Ｉ－（ｘ）から求めた座標ｚ（ｘ）の検出値の波形である。
　図２（Ｂ）に示す、グラデーションパターンｇ＋（ｘ）、ｇ－（ｘ）に位相差ｓ（ｘ）を加えた波形ｇａ（ｘ）、ｇｂ（ｘ）は、上式（３）においてＡ（ｘ）＝１、ｍｐ／ｍｉ＝１としたものに相当する。ここでの位相差ｓ（ｘ）は、図２（Ａ）の入力波形ｚ（ｘ）から求めたものである。この波形ｇａ（ｘ）、ｇｂ（ｘ）に反射係数Ａ（ｘ）を乗じたものが撮像画像Ｉ＋（ｘ）、Ｉ－（ｘ）となり、図３（Ａ）に示す波形となる。この撮像画像Ｉ＋（ｘ）、Ｉ－（ｘ）を上式（４）～（６）に代入して座標ｚ（ｘ）を求めると、図３（Ｂ）に示す波形となり、入力波形として与えた座標ｚ（ｘ）の波形に一致していることが分かる。
　１．３．投影パターンの生成手法
　図４に、照明部と撮像部の第１の構成例を示す。図４は、撮像光学系１０の光軸に垂直な方向から見た図であり、その正面図は、撮像光学系１０の光軸方向から見た図である。
　照明部は、レンズ５１、５２と、白色ＬＥＤ６１、６２（広義には、第１、第２の光源）と、フィルタ７１、７２と、を含む。レンズ５１、５２が図１の投影光学系３０に対応し、白色ＬＥＤ６１、６２とフィルタ７１、７２が図１の投影デバイス４０に対応する。撮像部は、撮像光学系１０と撮像センサ２０を含み、照明部よりも紙面手前側に設けられている。撮像センサ２０は、例えばＣＣＤイメージセンサや、ＣＭＯＳイメージセンサである。
　白色ＬＥＤ６１とレンズ５１の間にフィルタ７１が設けられており、白色ＬＥＤ６１が出射した光がフィルタ７１を透過し、その透過光がレンズ５１により計測物体２に投影される。フィルタ７１は、ｘ方向に沿って透過率がリニアに増加するグラデーションパターンＡの透過率特性を有する。このグラデーションパターンＡは、投影デバイス４０が生成するグラデーションパターンｇ＋（ｘ）＝ｕ・ｘ＋ｖに対応している。
　同様に、白色ＬＥＤ６２とレンズ５２の間にフィルタ７２が設けられており、白色ＬＥＤ６２が出射した光がフィルタ７２を透過し、その透過光がレンズ５２により計測物体２に投影される。フィルタ７２は、ｘ方向に沿って透過率がリニアに減少するグラデーションパターンＢの透過率特性を有する。このグラデーションパターンＢは、投影デバイス４０が生成するグラデーションパターンｇ－（ｘ）＝－ｕ・ｘ＋ｖに対応している。
　撮像光学系１０の光軸方向から見た正面図では、フィルタ７１、７２が上下方向に並び、撮像光学系１０とフィルタ７１、７２が左右方向に並ぶ。フィルタ７１、７２のグラデーションパターンは左右方向に透過率が変化する。なお、正面図における左右方向は図１のｘ方向に対応する。
　図５に、照明部と撮像部の第２の構成例を示す。図５は、撮像光学系１０の光軸に垂直な方向から見た図であり、その正面図は、撮像光学系１０の光軸方向から見た図である。
　照明部は、レンズ群５０と、白色ＬＥＤアレイ６０（広義には、光源アレイ）と、ライトガイド群８０と、を含む。レンズ群５０が図１の投影光学系３０に対応し、白色ＬＥＤアレイ６０とライトガイド群８０が図１の投影デバイス４０に対応する。撮像部は、撮像光学系１０と撮像センサ２０を含み、照明部よりも紙面手前側に設けられている。
　白色ＬＥＤアレイ６０は、アレイ状に配置された複数のＬＥＤ素子を含む。図５では、５つのＬＥＤ素子が１次元アレイに配置される場合を例に説明するが、これに限定されず、例えば複数のＬＥＤ素子が２次元に配置されてもよい。ライトガイド群８０は、５つのライトガイドを含み、１つのライトガイドが１つのＬＥＤ素子からの光を導光する。レンズ群５０は、１次元アレイに配置される５つのレンズを含み、１つのライトガイドに導光された光を１つのレンズが計測物体２に投影する。
　白色ＬＥＤアレイ６０は、１次元アレイの５つのＬＥＤ素子の発光量が順に明るくなるグラデーションパターンＡ、１次元アレイの５つのＬＥＤ素子の発光量が順に暗くなるグラデーションパターンＢ、１次元アレイの５つのＬＥＤ素子の発光量が等しいフラットパターンで発光する。
　撮像光学系１０の光軸方向から見た正面図では、ライトガイド群８０の５つのライトガイドの端部が左右方向に並び、撮像光学系１０とライトガイド群８０の端部が上下方向に並ぶ。なお、正面図における左右方向は図１のｘ方向に対応する。
　１．４．画像生成シーケンス
　図６に、本実施形態における照明、撮像、画像生成のシーケンスを示す。図６には、６０ｆｐｓ（frame per second）で観察画像を生成する場合を図示する。
　１フィールドは１／６０ｓｅｃであり、フィールドの番号をＮ、Ｎ＋１、Ｎ＋２、・・・（Ｎは自然数）とする。照明部は、第Ｎのフィールドでグラデーションパターンｇ＋（ｘ）＝ｕ・ｘ＋ｖを投影し、次の第Ｎ＋１のフィールドでグラデーションパターンｇ－（ｘ）＝－ｕ・ｘ＋ｖを投影する。以降のフィールドでも、ｇ＋（ｘ）、ｇ－（ｘ）を交互に投影する。撮像部は、各フィールドで１回ずつ撮像を行う。撮像タイミングのタイミングチャートにおいてハイレベルの期間が露光期間を示す。
　各フィールドで得られる撮像画像をフィールド画像と呼ぶことにする。第Ｎ、第Ｎ＋１、第Ｎ＋２のフィールドではフィールド画像Ｉ＋ Ｎ、Ｉ－ Ｎ＋１、Ｉ＋ Ｎ＋２が得られる。各フィールド画像は、グラデーションパターンが投影された画像なので、計測画像として用いられる。即ち、フィールド画像Ｉ＋ Ｎ、Ｉ－ Ｎ＋１から３次元形状を計測し、次にフィールド画像Ｉ－ Ｎ＋１、Ｉ＋ Ｎ＋２から３次元形状を計測する。以降のフィールドでも、隣接する２フィールドで得られたフィールド画像から３次元形状を計測する。
　観察画像（表示用画像）は、隣接する２フィールドで得られたフィールド画像から生成される。観察画像をフレーム画像と呼ぶことにすると、フィールド画像Ｉ＋ Ｎ、Ｉ－ Ｎ＋１からフレーム画像ＦＮ＝Ｉ＋ Ｎ＋Ｉ－ Ｎ＋１を生成し、フィールド画像Ｉ－ Ｎ＋１、Ｉ＋ Ｎ＋２からフレーム画像ＦＮ＋１＝Ｉ－ Ｎ＋１＋Ｉ＋ Ｎ＋２を生成する。即ち、第Ｎ、第Ｎ＋１のフィールドが第１のフレームに相当し、第Ｎ＋１、第Ｎ＋２のフィールドが第２のフレームに相当する。以降のフィールドでも、隣接する２フィールドで得られたフィールド画像からフレーム画像を生成する。フィールド画像（計測画像）の撮像レートと、フレーム画像（観察画像）の生成レートは同じである。
　フレーム画像は、グラデーションパターンｇ＋（ｘ）、ｇ－（ｘ）が投影された画像Ｉ＋（ｘ）、Ｉ－（ｘ）の加算画像になる。上式（４）よりＩ＋（ｘ）＋Ｉ－（ｘ）＝Ａ（ｘ）・ｖなので、フレーム画像は、位置ｘに依らず明るさが一定値ｖのフラット照明で撮影された画像に相当する。即ち、グラデーションパターンｇ＋（ｘ）、ｇ－（ｘ）の投影を交互に行うことで、３次元形状の計測を行うと共に、フラット照明に相当する観察画像が得られる。
　１．５．内視鏡装置
　図７に、本実施形態の３次元形状計測を行う内視鏡装置の構成例を示す。内視鏡装置は、スコープ部１００、本体部２００（制御装置）を含む。スコープ部１００は、撮像部１１０、照明部１２０を含む。本体部２００は、処理部２１０、モニタ表示部２２０、撮像処理部２３０を含む。また本体部２００は、不図示の構成要素として、例えばスコープ部１００を操作する操作部や、本体部２００を操作する操作部、外部機器と接続するインターフェース部等を含んでもよい。スコープ部１００は、不図示の構成要素として、例えば処置具等を含んでもよい。
　内視鏡装置としては、工業用、医療用のいわゆるビデオスコープ（撮像センサを内蔵した内視鏡装置）を想定できる。スコープ部１００が湾曲可能に構成された軟性鏡、スコープ部１００がスティック状に構成された硬性鏡、いずれにも本発明を適用できる。例えば工業用の軟性鏡の場合、本体部２００及び撮像部１１０は持ち運び可能なポータブル機器として構成されており、工業製品の製造検査やメンテナンス検査、建築物や配管のメンテナンス検査等に用いられる。
　スコープ部１００の照明部１２０は、被写体を照明するものであり、図１の投影光学系３０と投影デバイス４０に対応する。撮像部１１０は、照明部１２０により照明された被写体を撮像するものであり、図１の撮像光学系１０と撮像センサ２０に対応する。
　撮像処理部２３０は、撮像部１１０の撮像素子からの信号に対して撮像処理を行い、フィールド画像Ｉ＋（ｘ）、Ｉ－（ｘ）を出力する。例えば、相関２重サンプリング処理、ゲインコントロール処理、Ａ／Ｄ変換処理、ＲＡＷ現像処理（ベイヤ画像をＲＧＢ画像に変換する処理）、ガンマ補正、色補正、ノイズ低減等を行う。
　処理部２１０は、内視鏡装置の各部の制御処理や、画像処理、３次元形状情報の生成処理、観察画像や３次元形状情報の表示処理等を行う。具体的には、処理部２１０は、カラー画像生成部３２０、位相差検出部３３０、距離情報算出部３４０、３次元形状情報生成部３５０、照明制御部３６０を含む。
　照明制御部３６０は、照明部１２０を制御してグラデーションパターンｇ＋（ｘ）、ｇ－（ｘ）を交互に投影させる。また照明制御部３６０は、グラデーションパターンｇ＋（ｘ）、ｇ－（ｘ）の傾きｕ、バイアスｖを制御してもよい。例えば光源の光量を制御することで、傾きｕ、バイアスｖを制御する。
　カラー画像生成部３２０は、隣接２フィールドで撮像されたフィールド画像Ｉ＋（ｘ）、Ｉ－（ｘ）を合成（例えば加算）してフレーム画像を生成し、そのフレーム画像を観察画像としてモニタ表示部２２０へ出力する。
　位相差検出部３３０は、隣接２フィールドで撮像されたフィールド画像Ｉ＋（ｘ）、Ｉ－（ｘ）から位相差ｓ（ｘ）を検出する。即ち、上式（４）、（５）に基づく処理により位相差ｓ（ｘ）を求める。上式（５）の傾きｕ、バイアスｖは、例えば本体部２００に含まれる不図示の記憶部に記憶されていてもよいし、或いは、照明制御部３６０から位相差検出部３３０に入力されてもよい。撮像処理部２３０からのフィールド画像が、Ｉ＋（ｘ）、Ｉ－（ｘ）のいずれであるかは、照明制御部３６０からの制御信号により判別する。
　距離情報算出部３４０は、位相差ｓ（ｘ）から被写体の距離情報を算出する。即ち、上式（６）に基づく処理によりｚ方向の距離ｚ（ｘ）を求める。上式（６）の角度α、基準参照面の距離Ｌｉは、例えば本体部２００に含まれる不図示の記憶部に記憶されている。
　３次元形状情報生成部３５０は、距離情報から３次元形状情報を生成する。３次元形状情報は、計測された３次元形状をユーザに提示するための情報であり、種々の態様を想定できる。例えば、被写体の各位置における距離ｚ（ｘ）そのものや、凹凸の高さ・深さ等の相対距離、それらの距離に応じた色調や陰影、被写体の表面形状をポリゴン等で表した３次元情報等である。３次元形状情報生成部３５０は、生成した３次元形状情報を表示するための画像を生成し、モニタ表示部２２０に出力する。例えば、観察画像に３次元形状情報を重畳して画像を生成する。
　以上の実施形態によれば、内視鏡装置は、被写体（計測物体２）を撮像する撮像部１１０と、被写体に照明光を照射する照明部１２０と、撮像部１１０により得られた撮像画像Ｉ＋（ｘ）、Ｉ－（ｘ）に基づいて、被写体の３次元形状情報を取得する処理部２１０と、を含む。そして照明部１２０は、撮像部１１０の光軸８に垂直な基準面（基準参照面４）において所与の方向（ｘ方向）に輝度が単調増加する第１の照明光（グラデーションパターンｇ＋（ｘ））と、基準面において所与の方向に輝度が単調減少する第２の照明光（グラデーションパターンｇ－（ｘ））とを、照明光として照射する。
　このようにすれば、特定パターンを物体に投影して物体形状に応じたパターンの歪みを検出することにより物体の任意の点の距離を算出する（アクティブ）パターン投影法において、広範囲高精度な計測を実現しつつ、動的状態であっても計測性能の低下を抑制することが可能になる。
　より具体的には、逆位相をなす２種類の第１の照明光と第２の照明光を物体に交互に照射することで、撮像される２枚の画像から物体までの距離を割り出すことが可能になる。逆位相とは明るさが反転している照明を意味し、加算すればフラットな明るさの照明になるパターンを言う。したがって、本実施形態では、一般的に行われる計測用照明と観察用照明を切り替えるという必要はなく、常時２種類の照明を物体に交互に照射した撮像画像を継続的に得ることにより、得られた画像を使って計測情報および観察画像を適宜生成することが可能になる。また、逆位相をなす２種類の照明として単調に明るさが変化するグラデーション照明を用いれば、特殊な照明パターンを生成する必要がなく、投影機構は容易なものとなる。
　内視鏡装置等の用途では、スコープの先端が固定されないため、スコープの先端（計測系）と被写体との間に相対的なブレが生じやすい。従来の位相シフト法のように何回もパターンを変えながら撮影する手法では、ブレの影響を受けやすく、計測精度が低下する可能性が高い。この点、本実施形態では２つのパターン投影で計測できるため、従来技術よりもブレの影響を受けにくくなる。また、従来のように計測用照明と観察用照明を切り替える手法では、計測用照明で撮影したときと観察用照明で撮影したときの間でブレが生じた場合、計測結果と観察画像との間で被写体位置が変わってしまう。この点、本実施形態では、２つのパターン投影で撮影した画像から観察画像を生成することが可能となるため、計測結果と観察画像との間でのズレを抑制できる。これは、観察画像に計測結果を重ねて表示する際などに有利である。
　ここで、３次元形状情報とは、上述のように被写体の（表面の）立体形状を表す情報であり、例えば基準面から被写体までのｚ方向の距離、被写体の２点間におけるｚ方向の相対距離、それらｚ方向の距離に応じた色調や陰影等の画像情報である。或いは、ｚ方向の距離ではなく、その情報をポリゴン等の立体表現に変換した情報であってもよい。
　また基準面（基準参照面４）とは、撮像部１１０から所定距離Ｌｉだけ離れた面である。その基準面に投影パターンを投影したときに、投影パターンの基準点（例えば中心）が、撮像部１１０の光軸８と基準面との交点に一致する。そのような所定距離Ｌｉは、撮像部１１０と照明部１２０の光学設計により決定される。
　また「輝度が単調増加（単調減少）する」とは、照明光の照射範囲の全体にわたって輝度が単調に変化するということである。即ち、照明光のパターンは照射範囲の全体にわたって非周期的であり、照射範囲の一部において単調に増加（減少）するだけではないし、単調に増加（減少）するパターンが繰り返し現れるわけではない。
　また本実施形態では、第１の照明光（ｇ＋（ｘ））と第２の照明光（ｇ－（ｘ））は、同時に照射された場合に基準面（基準参照面４）において輝度がフラットになる照明光である。
　即ち、計測においては第１の照明光（ｇ＋（ｘ））と第２の照明光（ｇ－（ｘ））を別々のタイミングで照射するが、仮に両方を照射した場合には、ｇ＋（ｘ）＋ｇ－（ｘ）＝２ｖとなり、位置ｘに依らず輝度が一定になる。なお、厳密に輝度がフラットである必要はなく（略フラットであればよく）、例えば照明範囲の端などでは輝度が低下してもよい。
　このようにすれば、第１の照明光（ｇ＋（ｘ））を照射して得られた画像Ｉ＋（ｘ）と、第２の照明光（ｇ－（ｘ））を照射して得られた画像Ｉ－（ｘ）とを加算することで、フラット照明した場合の画像を得ることが可能となる。即ち、計測と観察で照明光を切り替える必要がなく、第１、第２の照明光の照射によって計測と観察画像の取得との両方を実現できる。通常の観察画像を見ながら同時に計測が可能となるため、計測をリアルタイムに実現することが可能となり、利便性が向上する。例えば、従来技術では、観察用の照明で被写体をスクリーニングし、計測したい部分があった場合に計測用の照明に切り替えて計測を行う。一方、本実施形態では、スクリーニング中にも計測結果を得ることが可能であり、目視だけでなく計測結果を見ながらのスクリーニングが可能となる。
　また本実施形態では、第１の照明光は、基準面（基準参照面４）において所与の方向（ｘ方向）に輝度がリニア（線形）に増加し、第２の照明光は、基準面において所与の方向に輝度がリニアに減少する。
　より具体的には、第１の照明光と第２の照明光の輝度の傾きは絶対値が同じで符号が逆である。即ち、第１の照明光と第２の照明光を加算した場合に、リニアに変化する成分がキャンセルし、フラット照明に相当する照明が実現される。また、輝度がリニアに変化する照明光を用いることで、上式（４）～（６）等で説明したように簡素な処理で位相差ｓ（ｘ）を求めることが可能になる。
　なお、本実施形態では輝度がリニアに変化する場合を例に説明したが、照明光はこれに限定されず、上述のように第１の照明光と第２の照明光は同時に照射された場合に基準面において輝度がフラットになる照明光であればよい。
　また本実施形態では、照明部１２０は、第１の照明光と第２の照明光を交互に照射する。
　具体的には、照明部１２０は、第１のフィールドにおいて第１の照明光を照射し、第１のフィールドの後の第２のフィールドにおいて第２の照明光を照射する。そして処理部２１０は、第１のフィールドにおいて撮像された第１の撮像画像（例えば、図６のフィールド画像Ｉ＋ Ｎ）と、第２のフレームにおいて撮像された第２の撮像画像（フィールド画像Ｉ－ Ｎ＋１）とに基づいて、３次元形状情報を求めると共に被写体の表示用画像（フレーム画像ＦＮ＝Ｉ＋ Ｎ＋Ｉ－ Ｎ＋１）を生成する。
　第１のフィールドと第２のフィールドは第１のフレームに対応しており、被写体の表示用画像は、その第１のフレームにおける撮像画像に相当する。図６で説明したように、照明部１２０は第３のフィールドにおいて第１の照明光を照射し、処理部２１０は、第２のフィールドにおいて撮像された第２の撮像画像と、第３のフレームにおいて撮像された第３の撮像画像とに基づいて、３次元形状情報を求めると共に被写体の表示用画像を生成する。即ち、第２のフィールドと第３のフィールドは第２のフレームに対応している。
　このようにすれば、リアルタイムに計測を行いながら観察用の動画を撮影することが可能となる。逆位相のグラデーションパターンである第１、第２の照明光をフィールド毎に交互に照射することで、各フィールドで計測結果が得られると共に、フィールドレートと同一のフレームレートで表示用画像（観察画像）が得られる。即ち、計測のために撮像レートを上げることなく３次元形状情報を得ることが可能である。また、計測結果と表示用画像が同じレートで得られるため、計測のリアルタイム性が非常に高い。
　ここで、フィールドとは、１回の撮像を行う期間であり、１つのフィールドに１つの露光期間が含まれ、その露光期間において撮像が行われる。また、フレームは、１つの表示表画像を取得・表示する期間であり、１つのフレームは２つのフィールドで構成される。
　また本実施形態では、処理部２１０は、第１の照明光（ｇ＋（ｘ））が照射されたときに撮像された第１の撮像画像Ｉ＋（ｘ）と、第２の照明光（ｇ－（ｘ））が照射されたときに撮像された第２の撮像画像Ｉ－（ｘ）とに基づいて、３次元形状情報を求める。
　具体的には、照明光の基準面（基準参照面４）における投影パターンｇ＋（ｘ）、ｇ－（ｘ）と、照明光を被写体（計測物体２）に照射した場合の投影パターンｇ＋（ｘ＋ｓ（ｘ））、ｇ－（ｘ＋ｓ（ｘ））との位相差ｓ（ｘ）を、第１の撮像画像Ｉ＋（ｘ）と第２の撮像画像Ｉ－（ｘ）に基づいて求め、位相差ｓ（ｘ）から３次元形状情報を求める。
　即ち、上式（４）、（５）で説明したように、逆位相のグラデーションパターンｇ＋（ｘ）、ｇ－（ｘ）を投影することで、被写体の反射係数Ａ（ｘ）に依存しない形で投影パターンの位相差ｓ（ｘ）を求めることが可能となる。そして、上式（６）により位相差ｓ（ｘ）から距離ｚ（ｘ）を求めることができ、３次元形状情報を取得できる。
　また本実施形態では、処理部２１０は、第１の照明光（ｇ＋（ｘ））が照射されたときに撮像された第１の撮像画像Ｉ＋（ｘ）と、第２の照明光（ｇ－（ｘ））が照射されたときに撮像された第２の撮像画像Ｉ－（ｘ）とに基づいて、被写体の表示用画像を生成する。
　具体的には、処理部２１０は、第１の撮像画像Ｉ＋（ｘ）と第２の撮像画像Ｉ－（ｘ）を加算処理して、表示用画像を生成する。
　加算処理は、例えば、図６で説明したように同一画素の画素値を単純に加算する処理（Ｉ＋（ｘ）＋Ｉ－（ｘ））であるが、これに限定されない。例えば、加算平均や、重み付け加算等の、単純加算でない種々の処理を想定できる。
　第１、第２の照明光は逆位相のグラデーションパターンであるので、第１の撮像画像Ｉ＋（ｘ）と第２の撮像画像Ｉ－（ｘ）を加算処理することで、フラット照明をした場合に相当する表示用画像を取得できる。これにより、パターン投影により得られた画像から表示用画像を取得し、リアルタイムに計測と観察を行うことが可能になる。
　また図４で説明したように、照明部１２０は、第１の光源（白色ＬＥＤ６１）と、第１の光学系（レンズ５１）と、第１のフィルタ７１と、第２の光源（白色ＬＥＤ６２）と、第２の光学系（レンズ５２）と、第２のフィルタ７２と、を含む。第１の光学系は、第１の光源からの光を第１の照明光（ｇ＋（ｘ））として照射するための光源である。第１のフィルタは、第１の光源と第１の光学系との間に設けられ、所与の方向に対応する方向（ｘ方向）において光透過率が単調増加する。第２の光学系は、第２の光源からの光を第２の照明光（ｇ－（ｘ））として照射するための光源である。第２のフィルタは、第２の光源と第２の光学系との間に設けられ、所与の方向に対応する方向（ｘ方向）において光透過率が単調減少する。
　このようにすれば、第１の光源からの光が第１のフィルタ７１を通過して第１の光学系により被写体に投影され、第２の光源からの光が第２のフィルタ７２を通過して第２の光学系により被写体に投影される。第１、第２のフィルタ７１、７２は、逆位相のグラデーションパターンの光透過率を有するので、逆位相のグラデーションパターンの第１、第２の照明光を投影できる。
　２．第２の実施形態
　図８に、計測物体と計測系が相対的に動いた場合における本実施形態の計測系と計測手法の説明図を示す。なお、図１で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
　図１で説明した第１の実施形態では、計測物体２と計測系が相対的に静止しており２種類のグラデーションパターンｇ＋（ｘ）、ｇ－（ｘ）の投影位置が計測物体２に対して同一であるという前提である。しかしながら、取得する撮像画像は時分割の２枚の画像であるので、計測物体２と計測系が相対的に動いた場合は、この前提が崩れる。
　第２の実施形態では、２枚の画像取得の間に計測物体２と計測系が相対的に動いた場合を想定し、その場合であっても精度の良い計測が可能な計測手法について説明する。
　図８は、計測物体２と計測系（スコープ部１００の先端）の相対位置が、グラデーションパターンｇ＋（ｘ）で撮像したときとグラデーションパターンｇ－（ｘ）で撮像したときとの間でｘ方向にδだけ動いた状態を図示したものである。なお図１と同様に、計測物体の距離ｚの検出についてはｙ座標系を省略しても説明が可能なので、以下では（ｘ，ｚ）の座標系により説明するものとする。また、説明を簡単にするために第１実施形態と同様に総合倍率ｍｉ／ｍｐ＝１として考える。
　投影パターンに対して計測物体２がδだけ動いたとすると、撮像画像Ｉ＋（ｘ）を基準にして、撮像画像Ｉ－（ｘ）は下式（９）で表せる。
Figure JPOXMLDOC01-appb-M000009
　この上式（９）を使って位相差ｓ（ｘ）を求めることを考える。上式（９）において、Ｉ－（ｘ）をｘ方向に仮想的にτずらした画像Ｉ－（ｘ＋τ）は、下式（１０）となる。
Figure JPOXMLDOC01-appb-M000010
　上式（１０）においてτ＝δとなったときのみ、画像Ｉ－（ｘ＋τ）は下式（１１）となる。
Figure JPOXMLDOC01-appb-M000011
　このときに成り立つ式として、上式（９）のＩ＋（ｘ）および上式（１１）のＩ－（ｘ＋τ）を用いて関数ｆＡ（ｘ＋τ）を下式（１２）で定義する。関数ｆＡ（ｘ＋τ）は、撮像画像Ｉ＋（ｘ）に対してＩ－（ｘ）を所定範囲にてτずらして得られるＡ（ｘ）相当の関数である。τはδを推定するために仮想的に導入した変数であり、所定範囲でτを変化させて各値のτについてｆＡ（ｘ＋τ）を求める。
Figure JPOXMLDOC01-appb-M000012
　同様に、τ＝δとなったときのみ成り立つ位相差ｓ（ｘ）に相当する関数をｆｓ（ｘ＋τ）として下式（１３）で定義する。所定範囲でτを変化させて各値のτについてｆＳ（ｘ＋τ）を求める。
Figure JPOXMLDOC01-appb-M000013
　上式（１２）、（１３）はτ＝δのときのみ下式（１４）が成り立つ式であって、τ≠δのときは真値とは異なる値を取ることが分かる。
Figure JPOXMLDOC01-appb-M000014
　さて、上式（１３）のｆｓ（ｘ＋τ）は撮像画像Ｉ＋（ｘ）、Ｉ－（ｘ）の任意の位置ｘを中心にＩ－（ｘ）をｘ方向にτずらしながら得られる値ではあるが、τ＝δとなる場合を評価判定する必要がある。即ち、τを変化させながらτ＝δとなる場合のτを見付けることによって、未知数であるδを推定する必要がある。
　そこで次のようにτ＝δのときの状態を判定する。いまτを変化させたときに得られるｆｓ（ｘ＋τ）とｓ（ｘ）の絶対値差分の所定範囲ｘ＝－Ｍ～＋Ｍでの加算値（積分値）Ｅ（τ）を下式（１５）のように考える。Ｍは例えばｘ方向での画素位置を表す自然数である。ここではｘ＝０を中心とするが、ｘ＝ｘ０≠０を中心とする所定範囲ｘ＝ｘ０－Ｍ～ｘ０＋Ｍでの加算値を考えてもよい。
Figure JPOXMLDOC01-appb-M000015
　上式（１５）のようにＥ（τ）≧０が言えれば、Ｅ（τ）が最小値ゼロを取るのは、ｆｓ（ｘ＋τ）＝ｓ（ｘ）のときであり、それは取りも直さずτ＝δのときである。よって上式（１５）が成立するかどうかがポイントとなるが、まずはｆｓ（ｘ＋τ）とｓ（ｘ）の絶対値差分値｜ｆｓ（ｘ＋τ）｜－｜ｓ（ｘ）｜の振る舞いについて考察する。
　下式（１６）のようにε（τ）を定義する。
Figure JPOXMLDOC01-appb-M000016
　上式（１６）のε（τ）は、上式（９）、（１２）、（１３）を使って下式（１７）のように変形できる。
Figure JPOXMLDOC01-appb-M000017
　上式（１６）、（１７）において絶対値を外し、以下の（ｉ）～（ｉｖ）の場合に分け、Ｋの値により正負の判定を行うと、以下のようになる。但し、Ｋ≧０およびｕ≧０を前提として計測系の設定を定義するものとする。
（ｉ）
ｆｓ（ｘ＋τ）≧０、かつ、ｓ（ｘ）≧０の場合
｛｜ｕｘ＋ｖ｜＋ｕ｜ｓ（ｘ）｜｝≧０だから、
Ｋ≧１⇒ε（ｘ，τ）≧０の場合と、
０≦Ｋ≦１⇒ε（ｘ，τ）≦０の場合が混在する。
（ｉｉ）
ｆｓ（ｘ＋τ）≧０、かつ、ｓ（ｘ）≦０の場合
｜ｕｘ＋ｖ｜－ｕ｜ｓ（ｘ）｜≧０であれば、
Ｋ≧１⇒ε（ｘ，τ）≧０
（ｉｉｉ）
ｆｓ（ｘ＋τ）≦０、かつ、ｓ（ｘ）≧０の場合
－｜ｕｘ＋ｖ｜＋ｕ｜ｓ（ｘ）｜≦０であれば、
Ｋ≦１⇒ε（ｘ，τ）≧０
（ｉｖ）
ｆｓ（ｘ＋τ）≦０、かつｓ（ｘ）≦０の場合
｛－｜ｕｘ＋ｖ｜－ｕ｜ｓ（ｘ）｜｝≦０だから、
０≦Ｋ≦１⇒ε（ｘ，τ）≧０の場合と、
Ｋ≧１⇒ε（ｘ，τ）≦０の場合が混在する。
　（ｉｉ）と（ｉｉｉ）の場合は、｜ｕｘ＋ｖ｜－ｕ｜ｓ（ｘ）｜≧０の条件を満たせば、ｘ，τの値に関わらずε（ｘ，τ）はゼロ以上の値をとる。また、（ｉ）と（ｉｖ）の場合は、Ｋの値に応じてε（ｘ，τ）はゼロ以上またはゼロ以下が存在するが、（ｉ）～（ｉｖ）の場合を合わせて全体としてはε（ｘ，τ）がゼロ以上をとる確率が高くなる。
　個々のｆｓ（ｘ＋τ）とｓ（ｘ）の絶対値差分値がゼロ以上をとる確率が大きければ、それらを所定範囲ｘ＝－Ｍ～＋Ｍで加算した値（積分値）である上式（１５）は成立すると考えられ、事実上Ｅ（τ）はゼロ以上を取るとしてよい。
　図９（Ａ）～図９（Ｃ）は、上記（ｉ）～（ｉｖ）の場合における上式（１７）のε（ｘ，τ）の状態イメージの説明図である。図９（Ａ）は、（ｉ）又は（ｉｉ）の場合におけるε（ｘ，τ）≧０の状態イメージである。図９（Ｂ）は、（ｉｉｉ）又は（ｉｖ）の場合におけるε（ｘ，τ）≧０の状態イメージである。図９（Ｃ）は、（ｉ）～（ｉｖ）の場合におけるε（ｘ，τ）＝０の状態イメージである。
　図９（Ａ）～図９（Ｃ）に示すように、ｕｓ（ｘ）の絶対値は（Ｋ－１）（ｕｘ＋ｖ）＋Ｋ・ｕｓ（ｘ）の絶対値に対して小さくなる部分が充分占有し、ε（ｘ，τ）≧０が成り立つように計測系が構成されることになることが分かる。
　以上のことから上式（１５）のＥ（τ）≧０が成り立つと考えてよいので、下式（１８）が成り立ち、ｆｓ（ｘ＋τ）の絶対値の加算値Ｅ’（τ）が最小値を持つことが分かる。そして、その加算値Ｅ’（τ）をτの各値について求め、加算値Ｅ’（τ）が最小値をとるときのτ＝τ’を求めることで、計測系と計測物体の相対的な動き量δ＝τ’を決定できる。このとき、上式（１４）が成り立つので、上式（１２）、（１３）に基づく処理により位相差ｓ（ｘ）を求めることができる。撮像画像としてはＩ＋（ｘ）、Ｉ－（ｘ）が得られるが、τ’を使ってＩ－（ｘ＋τ’）が得られる。このズレ量τ’の推定と位相差ｓ（ｘ）の検出は、図７の位相差検出部３３０が行う。
Figure JPOXMLDOC01-appb-M000018
　以上の実施形態によれば、処理部２１０は、第１の照明光（ｇ＋（ｘ））が照射されたときに撮像された第１の撮像画像Ｉ＋（ｘ）と、第２の照明光（ｇ－（ｘ））が照射されたときに撮像された第２の撮像画像Ｉ－（ｘ）との間の被写体の動き量δ＝τ’を求め、その動き量δ＝τ’と第１の撮像画像Ｉ＋（ｘ）と第２の撮像画像Ｉ－（ｘ）に基づいて、照明光の基準面（基準参照面４）における投影パターンｇ＋（ｘ）、ｇ－（ｘ）と、照明光を被写体に照射した場合の投影パターンｇ＋（ｘ＋ｓ（ｘ））、ｇ－（ｘ＋ｓ（ｘ－δ））との位相差ｓ（ｘ）を求める（上式（１２）～（１４））。
　このようにすれば、逆位相のグラデーションパターンを交互に照射した場合に、その間で計測系と被写体との間に動き（ブレ）が生じたとしても、その動き量δ＝τ’を推定して正確な位相差ｓ（ｘ）を求めることができる。これにより、計測物体または計測系が動く状態であっても高精度計測が可能になり、さらなるリアルタイム性の向上が期待できる。内視鏡装置等ではスコープを移動させながら観察することが通常であり、またスコープの先端を被写体に対して固定することは難しい。本実施形態によれば、このような用途において高精度計測を可能にする。
　また本実施形態では、処理部２１０は、所与の方向に対応する方向（ｘ方向）での画像上の位置をｘとし、第１の撮像画像の位置ｘでの画素値をＩ＋（ｘ）とし、第２の撮像画像の位置ｘでの画素値をＩ－（ｘ）とし、動き量をτと仮定する。この場合に、Ｉ＋（ｘ）とＩ－（ｘ＋τ）から位相差ｆｓ（ｘ＋τ）を求め、その位相差ｆｓ（ｘ＋τ）の絶対値をｘの所定範囲で加算した加算値Ｅ’（τ）を求め、τを変化させたときの加算値Ｅ’（τ）が最小値となるときのτを動き量δ＝τ’と決定する。
　上述したように、上式（１５）が成り立つので、上式（１８）に示すように、位相差ｆｓ（ｘ＋τ）の絶対値をｘの所定範囲で加算した加算値Ｅ’（τ）に最小値があると言える。即ち、加算値Ｅ’（τ）が最小値となるときのτを動き量δ＝τ’と決定でき、その動き量δ＝τ’を使って、動きブレによる位相変動をキャンセルした正確な位相差ｓ（ｘ）を求めることが可能になる。
　３．第３の実施形態
　３．１．広ダイナミックレンジ撮像手法
　上述した逆位相グラデーション照明を使った広ダイナミックレンジ撮像手法について説明する。図１０（Ａ）は、第１、第２の実施形態にて説明した計測物体への逆位相をもった投影パターンｇ＋（ｘ）、ｇ－（ｘ）を示す図である。
　ある任意の画素位置ｘＱに対応する投影値をｇ＋（ｘＱ）とｇ－（ｘＱ）とすると、同画素位置ｘＱにおいて受光する光量と、それを光電変換して出力される撮像センサの出力Ｉ＋（ｘＱ）とＩ－（ｘＱ）は、図１０（Ｂ）のように示すことができる。一般的に撮像センサは撮像面に受ける光量に対して、所定のダイナミックレンジ内でしか正常に光電変換ができない。受光量が飽和値より大きい場合にはセンサ出力値は飽和値になる。
　本実施形態では、センサ受光量が小さいＬＡ１の範囲では、ｇ＋（ｘＱ）の投影光によるセンサの画素出力Ｉ＋（ｘＱ）＝Ａ（ｘＱ）・ｇ＋（ｘＱ）を選択し、センサ受光量が大きいＬＡ２の範囲では、ｇ＋（ｘＱ）の投影光によるセンサの画素出力Ｉ－（ｘＱ）＝Ａ（ｘＱ）・ｇ－（ｘＱ）を選択する。Ａ（ｘＱ）は画素位置ｘＱに対応する計測物体表面の反射係数に相当するが、これは計測物体に依存する未知の値である。即ち、各画素でＡ（ｘＱ）は異なっているので、センサ受光量に対するＩ＋（ｘＱ）、Ｉ－（ｘＱ）の傾きは各画素で異なり、飽和値に達するセンサ受光量は各画素で異なる。ＬＡ１およびＬＡ２の範囲では、Ｉ＋（ｘＱ）＝Ａ（ｘＱ）・ｇ＋（ｘＱ）およびＩ－（ｘＱ）＝Ａ（ｘＱ）・ｇ－（ｘＱ）は共にセンサ飽和量を超えない設定とする。
　即ち、画素位置ｘＱのセンサ受光量≦ＬＡ１の場合にはセンサ出力＝Ｉ＋（ｘＱ）を選択し、画素位置ｘＱのセンサ受光量≦（ＬＡ１＋ＬＡ２）の場合にはセンサ出力＝Ｉ－（ｘＱ）を選択する。この選択処理は、図７のカラー画像生成部３２０が行う。即ち、図６で説明したフレーム画像（観察画像、表示用画像）をＩ＋（ｘ）、Ｉ－（ｘ）から生成するときに、各画素でのセンサ受光量に応じて、その画素の画素値をＩ＋（ｘ）、Ｉ－（ｘ）から選択する。
　このようにすれば、センサ受光量が小さいＬＡ１の範囲では感度が高くＳＮ比が大きい状態でセンサ出力値が得られ、センサ受光量が大きいＬＡ２の範囲であってもセンサ出力が飽和することなくセンサ出力値が得られる。結果として撮像センサの全ての画素に対し、この考え方を適用すれば、測定物からの反射光量の範囲が広い広ダイナミックレンジでの撮像が可能になり、連続する２枚の撮像画像のみで広範囲な明るさをカバーした観察画像が得られ観察性能を向上させることができる。
　なおＡ（ｘＱ）は、０≦画素位置ｘＱのセンサ受光量≦ＬＡ１の場合には、Ａ（ｘＱ）＝Ｉ＋（ｘＱ）／ｇ＋（ｘＱ）により求める。ＬＡ１≦画素位置ｘＱのセンサ受光量≦（ＬＡ１＋ＬＡ２）の場合には、Ａ（ｘＱ）＝Ｉ－（ｘＱ）／ｇ－（ｘＱ）により求める。
　３．２．グラデーション投影パターンの傾き調整による調光
　次に、調光による広ダイナミックレンジ撮像手法について説明する。本実施形態では、では、センサ出力の飽和を招かぬように撮像するために、投影パターンｇ＋（ｘ）＝ｕ・ｘ＋ｖおよびｇ－（ｘ）＝－ｕ・ｘ＋ｖの傾きｕを調整する。従来のように照明としての投影パターンの全体の一律ゲイン調整ではなく、グラデーションの推移である傾きｕを調整することにより、測定物体が広範囲な反射率を有していても対応が可能である。
　図１１は、このような調光処理の手順を示すフローチャートである。調光処理を開始すると、傾きｕとバイアスｖを所与の初期値に設定する（ステップＳ１）。次に、投影パターンｇ＋（ｘ）で計測物体を照明する（ステップＳ２）。次に、投影パターンｇ＋（ｘ）で照明された計測物体を撮像して撮像画像Ｉ＋（ｘ）を取得する（ステップＳ３）。次に、投影パターンｇ－（ｘ）で計測物体を照明する（ステップＳ４）。次に、投影パターンｇ－（ｘ）で照明された計測物体を撮像して撮像画像Ｉ－（ｘ）を取得する（ステップＳ５）。
　次に、撮像画像Ｉ＋（ｘ）、Ｉ－（ｘ）に飽和部分（画素値が飽和した画素）が存在するか否かを判定する（ステップＳ６）。飽和部分が存在しない場合には、撮像が終了したか否かを判定し（ステップＳ７）、終了していない場合にはステップＳ２に戻る。撮像が終了している場合には処理を終了する。ステップＳ６において飽和部分が存在する場合には、傾きｕを低減する調整を行い（ステップＳ８）、ステップＳ２に戻る。
　なお、ステップＳ１、Ｓ８は図７の照明制御部３６０が行う。ステップＳ２、Ｓ４は照明部１２０、照明制御部３６０が行う。ステップＳ３、Ｓ５は、撮像部１１０、撮像処理部２３０が行う。ステップＳ６は照明制御部３６０又は撮像処理部２３０が行う。ステップＳ７は撮像処理部２３０が行う。
　以上の実施形態によれば、処理部２１０は、第１の撮像画像Ｉ＋（ｘ）と第２の撮像画像Ｉ－（ｘ）における画素の受光量に応じて、第１の撮像画像Ｉ＋（ｘ）の画素の画素値又は第２の撮像画像Ｉ－（ｘ）の画素の画素値を選択して、表示用画像を生成する。
　このようにすれば、図１０（Ｂ）で説明したように、第１、第２の撮像画像から受光量が適切な画素を選択して表示用画像を生成でき、広ダイナミックレンジの撮像を実現できる。即ち、逆位相のグラデーションパターンを用いることは、照明光量が異なる２つの撮像画像を得ることと同じであり、それを使ってダイナミックレンジを拡大できる。
　また本実施形態では、照明部１２０は、第１の照明光が照射されたときに撮像された第１の撮像画像Ｉ＋（ｘ）と、第２の照明光が照射されたときに撮像された第２の撮像画像Ｉ－（ｘ）とにおいて画素値の飽和を検出（図１１のステップＳ６）し、飽和が検出された場合に第１の照明光と第２の照明光の調光を行う（ステップＳ８）。
　調光は、例えばグラデーションパターンの傾きｕの変更であり、例えば光源の光量を調整することで傾きｕを変更する。なお、グラデーションパターンのバイアスｖを変更することで調光してもよい。
　このようにすれば、画像のハイライト部等の飽和を抑制しながら計測と観察画像の取得を行うことができる。飽和部では位相差が正確に検出できないので、調光により飽和を抑制することで、より高精度な計測を可能にする。
　なお、第１～第３の実施形態の本体部２００（制御装置）等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る本体部２００等の各部（例えば、処理部２１０の全部又は一部）が実現されることになる。ここでのメモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
　以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
２　計測物体（被写体）、４　基準参照面（基準面）、
５　計測点仮想平面、６　中心線、８　光軸、１０　撮像光学系、
２０　撮像センサ、３０　投影光学系、４０　投影デバイス、
５０　レンズ群、５１，５２　レンズ、６０　白色ＬＥＤアレイ、
６１，６２　白色ＬＥＤ、７１　第１のフィルタ、
７２　第２のフィルタ、８０　ライトガイド群、
１００　スコープ部、１１０　撮像部、１２０　照明部、
２００　本体部、２１０　処理部、２２０　モニタ表示部、
２３０　撮像処理部、３２０　カラー画像生成部、
３３０　位相差検出部、３４０　距離情報算出部、
３５０　３次元形状情報生成部、３６０　照明制御部、
Ａ（ｘ）　反射係数、Ｉ＋（ｘ）　第１の撮像画像、
Ｉ－（ｘ）　第２の撮像画像、ｇ＋（ｘ），ｇ－（ｘ）　投影パターン、
ｓ，ｓ（ｘ）　位相差、ｕ　傾き、ｖ　バイアス、δ　動き量

Claims (15)

  1. 　被写体を撮像する撮像部と、
    　前記被写体に照明光を照射する照明部と、
    　前記撮像部により得られた撮像画像に基づいて、前記被写体の３次元形状情報を取得する処理部と、
    　を含み、
    　前記照明部は、
    　前記撮像部の光軸に垂直な基準面において所与の方向に輝度が単調増加する第１の照明光と、前記基準面において前記所与の方向に輝度が単調減少する第２の照明光とを、前記照明光として照射することを特徴とする内視鏡装置。
  2. 　請求項１において、
    　前記第１の照明光と前記第２の照明光は、同時に照射された場合に前記基準面において輝度がフラットになる照明光であることを特徴とする内視鏡装置。
  3. 　請求項１又は２において、
    　前記第１の照明光は、前記基準面において前記所与の方向に輝度がリニアに増加し、
    　前記第２の照明光は、前記基準面において前記所与の方向に輝度がリニアに減少することを特徴とする内視鏡装置。
  4. 　請求項１乃至３のいずれかにおいて、
    　前記照明部は、
    　前記第１の照明光と前記第２の照明光を交互に照射することを特徴とする内視鏡装置。
  5. 　請求項４において、
    　前記照明部は、
    　第１のフィールドにおいて前記第１の照明光を照射し、前記第１のフィールドの後の第２のフィールドにおいて前記第２の照明光を照射し、
    　前記処理部は、
    　前記第１のフィールドにおいて撮像された第１の撮像画像と、前記第２のフィールドにおいて撮像された第２の撮像画像とに基づいて、前記３次元形状情報を求めると共に前記被写体の表示用画像を生成することを特徴とする内視鏡装置。
  6. 　請求項１乃至４のいずれかにおいて、
    　前記処理部は、
    　前記第１の照明光が照射されたときに撮像された第１の撮像画像と、前記第２の照明光が照射されたときに撮像された第２の撮像画像とに基づいて、前記３次元形状情報を求めることを特徴とする内視鏡装置。
  7. 　請求項６において、
    　前記照明光の前記基準面における投影パターンと、前記照明光を前記被写体に照射した場合の投影パターンとの位相差を、前記第１の撮像画像と前記第２の撮像画像に基づいて求め、前記位相差から前記３次元形状情報を求めることを特徴とする内視鏡装置。
  8. 　請求項１乃至４のいずれかにおいて、
    　前記処理部は、
    　前記第１の照明光が照射されたときに撮像された第１の撮像画像と、前記第２の照明光が照射されたときに撮像された第２の撮像画像とに基づいて、前記被写体の表示用画像を生成することを特徴とする内視鏡装置。
  9. 　請求項８において、
    　前記処理部は、
    　前記第１の撮像画像と前記第２の撮像画像を加算処理して、前記表示用画像を生成することを特徴とする内視鏡装置。
  10. 　請求項８において、
    　前記処理部は、
    　前記第１の撮像画像と前記第２の撮像画像における画素の受光量に応じて、前記第１の撮像画像の前記画素の画素値又は前記第２の撮像画像の前記画素の画素値を選択して、前記表示用画像を生成することを特徴とする内視鏡装置。
  11. 　請求項１乃至１０のいずれかにおいて、
    　前記処理部は、
    　前記第１の照明光が照射されたときに撮像された第１の撮像画像と、前記第２の照明光が照射されたときに撮像された第２の撮像画像との間の前記被写体の動き量を求め、前記動き量と前記第１の撮像画像と前記第２の撮像画像に基づいて、前記照明光の前記基準面における投影パターンと、前記照明光を前記被写体に照射した場合の投影パターンとの位相差を求めることを特徴とする内視鏡装置。
  12. 　請求項１１において、
    　前記処理部は、
    　前記所与の方向に対応する方向での画像上の位置をｘとし、前記第１の撮像画像の前記位置ｘでの画素値をＩ＋（ｘ）とし、前記第２の撮像画像の前記位置ｘでの画素値をＩ－（ｘ）とし、前記動き量をτと仮定した場合に、
    　Ｉ＋（ｘ）とＩ－（ｘ＋τ）から前記位相差ｆｓ（ｘ＋τ）を求め、前記位相差ｆｓ（ｘ＋τ）の絶対値をｘの所定範囲で加算した加算値Ｅ’（τ）を求め、τを変化させたときの前記加算値Ｅ’（τ）が最小値となるときのτを前記動き量と決定することを特徴とする内視鏡装置。
  13. 　請求項１乃至１２のいずれかにおいて、
    　前記照明部は、
    　前記第１の照明光が照射されたときに撮像された第１の撮像画像と、前記第２の照明光が照射されたときに撮像された第２の撮像画像とにおいて画素値の飽和を検出し、前記飽和が検出された場合に前記第１の照明光と前記第２の照明光の調光を行うことを特徴とする内視鏡装置。
  14. 　請求項１乃至１３のいずれかにおいて、
    　前記照明部は、
    　第１の光源と、
    　前記第１の光源からの光を前記第１の照明光として照射するための第１の光学系と、
    　前記第１の光源と前記第１の光学系との間に設けられ、前記所与の方向に対応する方向において光透過率が単調増加する第１のフィルタと、
    　第２の光源と、
    　前記第２の光源からの光を前記第２の照明光として照射するための第２の光学系と、
    　前記第２の光源と前記第２の光学系との間に設けられ、前記所与の方向に対応する方向において光透過率が単調減少する第２のフィルタと、
    　を有することを特徴とする内視鏡装置。
  15. 　撮像部の光軸に垂直な基準面において所与の方向に輝度が単調増加する第１の照明光を被写体に照射し、
    　前記基準面において前記所与の方向に輝度が単調減少する第２の照明光を前記被写体に照射し、
    　前記撮像部により得られた撮像画像に基づいて、前記被写体の３次元形状情報を取得することを特徴とする３次元形状計測方法。
PCT/JP2015/062636 2015-04-27 2015-04-27 内視鏡装置及び３次元形状計測方法 WO2016174701A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/062636 WO2016174701A1 (ja) 2015-04-27 2015-04-27 内視鏡装置及び３次元形状計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/062636 WO2016174701A1 (ja) 2015-04-27 2015-04-27 内視鏡装置及び３次元形状計測方法

Publications (1)

Publication Number Publication Date
WO2016174701A1 true WO2016174701A1 (ja) 2016-11-03

Family

ID=57199072

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/062636 WO2016174701A1 (ja) 2015-04-27 2015-04-27 内視鏡装置及び３次元形状計測方法

Country Status (1)

Country Link
WO (1) WO2016174701A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12013229B2 (en) 2022-02-03 2024-06-18 Nec Corporation Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012909A (ja) * 1998-05-25 2001-01-19 Matsushita Electric Ind Co Ltd レンジファインダ装置及びカメラ
JP2011120916A (ja) * 2000-04-10 2011-06-23 C2Cure Inc 医療用画像形成のためのシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012909A (ja) * 1998-05-25 2001-01-19 Matsushita Electric Ind Co Ltd レンジファインダ装置及びカメラ
JP2011120916A (ja) * 2000-04-10 2011-06-23 C2Cure Inc 医療用画像形成のためのシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12013229B2 (en) 2022-02-03 2024-06-18 Nec Corporation Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium

Similar Documents

Publication Publication Date Title
JP5915981B2 (ja) 注視点検出方法及び注視点検出装置
JP4830871B2 (ja) ３次元形状計測装置及び３次元形状計測方法
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP5767485B2 (ja) 画像処理装置及び制御方法
JP2009171008A (ja) 色再現装置および色再現プログラム
JP4831760B2 (ja) ３次元情報検出方法及びその装置
TWI512270B (zh) 具動態曝光時間的光學測距系統
JP5911296B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2008157797A (ja) ３次元計測方法及びそれを用いた３次元形状計測装置
JP2009115612A (ja) ３次元形状計測装置及び３次元形状計測方法
KR102404551B1 (ko) 이차원 플리커 측정 장치, 이차원 플리커 측정 시스템, 이차원 플리커 측정 방법 및 이차원 플리커 측정 프로그램
JP2006177781A (ja) ３次元形状計測方法並びに３次元形状計測装置、３次元形状計測用プログラム
US10127472B2 (en) Light distribution characteristic measurement apparatus and light distribution characteristic measurement method
JP7179472B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体
JP7310606B2 (ja) 二次元フリッカ測定装置及び二次元フリッカ測定方法
JP2005333564A (ja) ディスプレイの評価方法及び装置
JP2009025189A (ja) 計測器
JP2011169842A (ja) フリッカー測定方法およびその装置
JP2015119344A (ja) 撮像素子の感度分布の測定装置及びその制御方法、画像表示装置のキャリブレーション装置及びその制御方法
JP2013246052A (ja) 距離測定装置
JP3825383B2 (ja) ３次元形状計測方法および３次元形状計測装置
JP2012237613A (ja) 形状計測装置及び形状計測方法
WO2016174701A1 (ja) 内視鏡装置及び３次元形状計測方法
KR101653649B1 (ko) 균일도 보상 패턴광을 이용한 3차원 형상 측정 방법
WO2018079030A1 (ja) 距離計測装置、距離計測方法、及び距離計測プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15890685

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15890685

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP