WO2016185595A1 - 走査型観察装置 - Google Patents

走査型観察装置 Download PDF

Info

Publication number
WO2016185595A1
WO2016185595A1 PCT/JP2015/064554 JP2015064554W WO2016185595A1 WO 2016185595 A1 WO2016185595 A1 WO 2016185595A1 JP 2015064554 W JP2015064554 W JP 2015064554W WO 2016185595 A1 WO2016185595 A1 WO 2016185595A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
image
illumination light
amount
brightness
Prior art date
Application number
PCT/JP2015/064554
Other languages
English (en)
French (fr)
Inventor
森　健
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2015/064554 priority Critical patent/WO2016185595A1/ja
Priority to JP2017518696A priority patent/JPWO2016185595A1/ja
Publication of WO2016185595A1 publication Critical patent/WO2016185595A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Definitions

  • the present invention relates to a scanning observation apparatus.
  • the point illumination light is scanned on the subject, and the scanning position of the point illumination light corresponds to the amount of return light from the subject.
  • An endoscope apparatus that generates an image of a subject by attaching the image is known (for example, see Patent Document 1).
  • the endoscope apparatus brightness of point illumination light that irradiates an image sequentially acquired at a predetermined frame rate to the scanning position of the current frame according to the brightness of the pixel corresponding to the scanning position of the image of the previous frame. Is adjusted for each scanning position.
  • the scanning position of the previous frame is different from the scanning position of the current frame, so that the current frame depends on the brightness of the pixel corresponding to the scanning position of the previous frame.
  • the brightness of the point illumination light applied to the same scanning position is adjusted, the brightness cannot be adjusted accurately.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide a scanning observation apparatus capable of performing accurate brightness adjustment even when moving with respect to a subject. Yes.
  • a light source that generates illumination light, an optical fiber that guides illumination light from the light source, and is emitted from an exit end, and the exit end of the optical fiber are vibrated to emit illumination light.
  • Driving unit for two-dimensional scanning, a light detection unit for detecting return light returning from each scanning position in the subject by irradiation of illumination light, and the amount of return light detected by the light detection unit for each scanning position A brightness detection unit for detecting brightness, a motion detection unit for detecting the motion of an image acquired in the current frame with respect to an image acquired in the previous frame, and measuring the dynamic range of the image acquired in the current frame
  • the dynamic range measurement unit that performs the measurement and the dynamic range measured by the dynamic range measurement unit is greater than a predetermined threshold value.
  • a scanning observation apparatus comprising a light source control section for controlling the light source to increase.
  • the driving end of the optical fiber is vibrated by driving the driving unit, and the illumination light guided by the optical fiber is emitted from the emission end, thereby scanning the illumination light on the subject.
  • the image of the subject can be acquired by associating each scanning position with the amount of return light.
  • the brightness at each scanning position is detected by the brightness detection unit from the return light detected by the light detection unit, the motion between the previous frame image and the current frame image is detected by the motion detection unit, and the dynamic range measurement unit The dynamic range of the current frame image is measured.
  • the light source control unit controls the light source so as to irradiate the illumination light with the light amount increased at the scanning position where the brightness is lower.
  • the black light is emitted from the light source by emitting illumination light with a higher light amount at a scan position with lower brightness for each scan position of the current frame. It is possible to obtain an easy-to-see image with suppressed whiteout.
  • the motion detection unit detects image motion based on the brightness at each scanning position detected by the brightness detection unit, and the dynamic range measurement unit is detected by the motion detection unit. If the motion of the image is smaller than a predetermined threshold value, the dynamic range of the image may be measured.
  • the motion detection unit detects the motion between the previous frame image and the current frame image. Then, when the detected motion of the image is smaller than a predetermined threshold, the dynamic range measurement unit measures the dynamic range of the current frame image. By controlling the light source by the light source control unit based on the measured dynamic range, it is possible to obtain a more easily viewable image.
  • the said light source control part may switch the light quantity of illumination light in several steps. By doing in this way, control of a light source can be simplified compared with the case where it changes without a step.
  • the image processing unit includes an image processing unit that generates image information based on the scanning position of the illumination light by the driving unit and the amount of return light detected by the light detection unit.
  • the noise reduction processing may be performed on the light quantity information of the return light at the scanning position where the light quantity of the illumination light is low.
  • noise is likely to ride at a scanning position where the amount of illumination light is low and the amount of return light is relatively low. Therefore, when generating image information in the image processing unit, the amount of illumination light By applying noise reduction processing to the light quantity information of the return light at a low scanning position, a clear image with little noise can be obtained.
  • the image processing unit includes an image processing unit that generates image information based on the scanning position of the illumination light by the driving unit and the amount of return light detected by the light detection unit.
  • the luminance value may be adjusted so that the luminance value at the scanning position where the amount of illumination light is low is higher than the luminance value at the scanning position where the amount of illumination light is high.
  • the amount of illumination light can be switched in stages, so that even if the amount of return light becomes discontinuous, an image that naturally expresses the original brightness distribution of the subject is obtained by image processing. Can be acquired.
  • FIG. 3 is a diagram illustrating an example of light source control that is switched according to a subject dynamic range of the scanning observation apparatus of FIG. It is a flowchart explaining the procedure of the light source control by the scanning observation apparatus of FIG. It is a modification of the light source control of FIG. 2, Comprising: It is a figure explaining the example which switches light quantity into two steps. It is a figure explaining an example of the interpolation of the pixel value in the position vicinity where the brightness of a to-be-photographed object changes. It is a figure explaining the example of an image process at the time of performing the illumination of FIG. It is a flowchart by the modification of FIG.
  • the scanning observation apparatus 1 includes a light source 2 that generates illumination light, and an optical fiber 4 that guides the illumination light from the light source 2 and emits the light from an emission end 3. And an actuator (drive unit) 5 that vibrates the emission end 3 of the optical fiber 4 to scan illumination light in a two-dimensional manner, an actuator driver 6 that drives the actuator 5, and an object O that is irradiated with the illumination light. Based on the light detection unit 7 that detects the return light returning from each scanning position in FIG.
  • a signal processing unit (image processing unit) 8 that generates a display image
  • a monitor 9 that displays the image generated by the signal processing unit 8.
  • the scanning observation apparatus 1 includes a brightness detection unit 10 that detects brightness at each scanning position from the amount of return light detected by the light detection unit 7, and a scanning position detected by the brightness detection unit 10.
  • a motion detection unit 11 is provided for detecting the motion of the image acquired in the current frame with respect to the image acquired in the previous frame based on the brightness of each.
  • the scanning observation apparatus 1 includes a light emission control unit (light source control unit) 12 that controls the light source 2 based on the motion of the image detected by the motion detection unit 11 and the brightness at each scanning position of the current frame,
  • a light emission control unit 12, an actuator driver 6, a light detection unit 7, a motion detection unit 11, and a control unit (dynamic range measurement unit) 13 that controls the signal processing unit 8 are provided.
  • the light source 2 multiplexes laser light sources 14, 15, and 16 that generate laser light in the RGB wavelength bands, and laser light emitted from these laser light sources 14, 15, and 16. And a coupler 17 that is incident on the optical fiber 4.
  • the actuator 5 includes, for example, four piezoelectric elements (not shown) bonded to the outer surface at a predetermined distance from the emission end 3 of the optical fiber 4 to the base end side at equal intervals in the circumferential direction. By applying an alternating voltage to these piezoelectric elements, the emission end 3 of the optical fiber 4 is vibrated two-dimensionally.
  • the actuator driver 6 generates an alternating voltage for irradiating illumination light to the scanning position instructed from the control unit 13 and inputs it to the actuator 5.
  • the light detection unit 7 is arranged with an end face toward the subject O, receives a return light returning from the subject O, a spectral optical system (not shown) that splits the return light received by the light reception fiber 18, and And a photo detector 19 such as a photomultiplier tube for detecting the return light dispersed for each wavelength.
  • reference numeral 20 denotes an AD converter that converts the light amount signal of the return light detected by the photodetector 19 into a digital signal.
  • the brightness detection unit 10 generates a luminance image having only luminance information for each scanning position from the amount of return light detected by the light detection unit 7 for each frame, and sends it to the motion detection unit 11.
  • the motion detection unit 11 includes a memory (not shown) and holds the luminance image sent from the brightness detection unit 10 until the luminance image of the next frame is sent. Then, when the brightness image of the current frame is sent from the brightness detection unit 10, the motion detection unit 11 calculates a difference from the brightness image of the previous frame held in the memory for each scanning position, for example, When the difference value at the entire 80% of the scanning positions is smaller than a predetermined threshold, the luminance image of the current frame is sent to the control unit 13.
  • the control unit 13 when a luminance image is sent from the motion detection unit 11, the dynamic range of the luminance image is measured, and the measured dynamic range is larger than a predetermined threshold (hereinafter referred to as a first threshold).
  • a predetermined threshold hereinafter referred to as a first threshold.
  • the luminance image is transferred to the light emission control unit 12.
  • the light emission control unit 12 controls the light source 2 based on the luminance image sent from the control unit 13 so as to increase the amount of illumination light as the brightness at each scanning position is lower.
  • the control of the amount of illumination light by the light emission control unit 12 is performed, for example, as shown in FIG. That is, in the example shown in FIG. 2, the light emission control unit 12 is shown by a broken line in FIG. 2 when the dynamic range of the luminance image of the current frame is smaller than the first threshold as shown by the broken line in the figure.
  • the light source 2 is controlled so as to emit illumination light having a relatively high constant light amount level.
  • the light emission control unit 12 changes the dynamic range as shown by the two-dot chain line in FIG. A lower light level is set than when the value is small. Then, as shown by the solid line in FIG. 2, the light emission control unit 12 sets the light amount of the illumination light larger than the light amount level when the dynamic range is small in the low brightness region, and the brightness increases.
  • the light source 2 is controlled so as to emit illumination light whose light amount continuously changes according to the brightness of the luminance image of the current frame so as to approach the light amount level.
  • the exit end 3 of the optical fiber 4 is opposed to the subject O and the actuator driver 6 is used as shown in FIG.
  • the actuator 5 is activated and the light source 2 is activated to emit illumination light from the emission end 3 of the optical fiber 4.
  • the exit end 3 of the optical fiber 4 is vibrated two-dimensionally, and the illumination light is scanned two-dimensionally on the subject O.
  • the illumination light is irradiated onto the subject O
  • the return light returning from each scanning position is received by the light receiving fiber 18 and detected by the photodetector 19.
  • the light quantity information of the return light detected by the photodetector 19 is converted into a digital signal by the AD converter 20 and then sent to the brightness detection unit 10 and the signal processing unit 8.
  • a luminance image including luminance information corresponding to the scanning position for one frame is acquired and sent to the motion detection unit 11 (step S1).
  • the difference between the sent luminance image of the current frame and the luminance image of the previous frame held in the memory is calculated, and the luminance image of the current frame is held in the memory (step).
  • step S2 If the calculated difference is smaller than the predetermined threshold, it is determined that the image is stationary, and the luminance image of the current frame is output to the control unit 13 (step S3). If the difference is equal to or greater than a predetermined threshold, the display image is generated without adjusting the light amount (step S10), and the generated image is displayed on the monitor 9 (step S11).
  • the dynamic range (D range) of the luminance image of the current frame sent from the motion detection unit 11 is calculated (step S4), and whether or not the dynamic range is equal to or less than a predetermined first threshold value. Determination is made (step S5).
  • the light amount level is set to a relatively high first light amount level, and light emission is performed so as to irradiate all scanning positions with illumination light having a constant light amount of the second light amount level.
  • a command is issued to the control unit 12 (step S6).
  • the light emission control unit 12 drives the laser light sources 14, 15, and 16 so as to emit the illumination light having the set first light quantity level (step S8).
  • control unit 13 irradiates a dark scanning position with a large amount of illumination light according to the pattern of FIG.
  • the light emission control unit 12 is instructed to irradiate with a small amount of illumination light asymptotic to the light amount level (step S7).
  • the light emission control unit 12 drives the laser light sources 14, 15, and 16 so as to adjust and emit the illumination light for each scanning position in accordance with a command from the control unit 13 (step S8). Then, the return light is newly detected by the light detector 19 (step S9), and image processing is performed in the signal processing unit 8 from the light amount of the return light and the scanning position, thereby generating a display image ( In step S10), the generated image is displayed on the monitor 9 (step S11).
  • the scanning observation apparatus 1 when it is determined that the difference calculated between the intensity images of the current frame and the previous frame is small and there is no image motion, The amount of illumination light of the next frame is set based on the brightness at each scanning position. As a result, even when the scanning observation apparatus 1 is moving with respect to the subject O, there is an advantage that illumination with the light amount adjusted accurately can be performed.
  • the brightness of the image acquired according to the brightness of the subject O becomes non-linear. You may decide to convert so that it may become a linear relationship by the image processing for displaying the acquired image. By returning to the linear relationship, an image in a dark part becomes dark, but there is an advantage that an image with a good S / N ratio can be obtained because bright illumination is performed.
  • the amount of illumination light is continuously changed steplessly according to the brightness at each scanning position of the current frame.
  • it may be changed in a plurality of stages.
  • the illumination light is changed in two stages.
  • the brightness of the actually acquired image changes discontinuously as shown in FIG. 4 at the second threshold brightness at which the amount of illumination light switches.
  • the vicinity of brightness at which the amount of illumination light is switched 5 when interpolation processing is performed using a plurality of surrounding pixels as shown in FIG. 5, according to the following formula, illumination is dark (illumination) in accordance with a bright pixel (the amount of illumination light is high).
  • illumination is dark (illumination) in accordance with a bright pixel (the amount of illumination light is high).
  • You may process so that the pixel value of a pixel with the light quantity of light may be amplified. Or, conversely, processing may be performed so as to reduce the pixel value of a bright pixel in accordance with a dark pixel of illumination.
  • P (A 1 ⁇ P 1 + A 2 ⁇ P 2 + B ⁇ (A 3 ⁇ P 3 + A 4 ⁇ P 4 )) / 4
  • P is a pixel value after interpolation processing
  • a 1 , A 2 , A 3 , and A 4 are distance coefficients to pixels after interpolation at four scanning positions used for interpolation
  • P 1 , P 2 , P 3 , P 4 is the pixel value of the four scanning positions used for interpolation
  • the B is an illumination light quantity coefficient.
  • the image processing in the signal processing unit 8 makes the pixel value of the dark pixel of illumination brighter than the pixel value of the bright pixel of illumination (that is, the luminance decreases as the amount of illumination light decreases).
  • Image to be displayed on the monitor 9 may be generated. Thereby, even if the amount of return light becomes discontinuous, an image that naturally expresses the original brightness distribution of the subject O can be acquired by image processing.
  • step S3 When an input for obtaining a still image is made from an input interface (not shown), as shown in FIG. 7, when it is determined that the image is not still (step S3), a preset value is set. A plurality of images may be acquired until the upper limit number is reached, and an image with little motion that is optimal as a still image may be selected to generate a display image (steps S12 and S14). Further, when it is determined that the image is stationary, when a new image is acquired by performing light quantity control, the image acquisition for the upper limit number set in advance is performed (steps S9 and S13). An optimal image may be selected as the image (step S14).
  • a luminance image is generated from the acquired image, and the amount of illumination light is adjusted according to the luminance.
  • the luminance image used at that time has a high correlation with luminance. Only the G image may be used, or the amount of illumination light may be changed by a color that is highly related to luminance from the color of the image.
  • interpolation may be performed from pixel values of peripheral pixels that are not saturated.
  • FIG. 6 when adjusting the brightness of the display image by image processing by the signal processing unit 8, noise becomes conspicuous at a dark scanning position of illumination. It may be reduced.
  • noise when a plurality of images are acquired as illustrated in FIG. 7, noise may be reduced by cumulatively adding the acquired plurality of images.
  • the one using the spectroscopic optical system has been described, but instead of this, the light source 2 may be pulse-lit without using the spectroscopic optical system and may be configured to emit light sequentially for each color.
  • the motion detection unit 11 detects the motion of the image and sends the luminance image to the control unit 13 to measure the dynamic range of the transmitted luminance image. Then, the dynamic range may be measured, and the motion of the image may be detected for a luminance image having a large dynamic range.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本発明の走査型観察装置（１）は、照明光を発生する光源（２）と、照明光を導光し、射出端部（３）から射出する光ファイバ（４）と、射出端部（３）を振動させて照明光を２次元的に走査させる駆動部（５）と、被写体（Ｏ）における各走査位置から戻る戻り光を検出する光検出部（７）と、戻り光の光量から走査位置毎の明るさを検出する明るさ検出部（１０）と、走査位置毎の明るさに基づいて、前フレームにおいて取得された画像に対して現フレームにおいて取得された画像の動きを検出する動き検出部（１１）と、画像の動きが所定の閾値より小さい場合に、現フレームにおいて取得された画像のダイナミックレンジを測定するダイナミックレンジ測定部（１３）と、ダイナミックレンジが所定の閾値より大きい場合に、走査位置毎の明るさが低いほど照明光の光量を増加させるように光源（２）を制御する光源制御部（１２）とを備える。

Description

走査型観察装置
　本発明は、走査型観察装置に関するものである。
　光ファイバの射出端部を振動させながら、射出端部から照明光を射出させることにより、被写体において点照明光を走査させ、点照明光の走査位置と、被写体からの戻り光の光量とを対応づけることにより被写体の画像を生成する内視鏡装置が知られている（例えば、特許文献１参照。）。
　この内視鏡装置は、所定のフレームレートで順次取得される画像を、前フレームの画像の走査位置に対応する画素の明るさによって、現フレームの当該走査位置に照射する点照明光の明るさを走査位置毎に調節している。
特開２００７－３０１６９２号公報
　内視鏡装置が被写体に対して移動している場合には、前フレームの走査位置と現フレームの走査位置とが異なっているため、前フレームの走査位置に対応する画素の明るさによって現フレームにおいて同じ走査位置に照射する点照明光の明るさを調節しても的確に明るさ調整を行うことができない。
　本発明は、上述した事情に鑑みてなされたものであって、被写体に対して移動している場合においても、的確な明るさ調整を行うことができる走査型観察装置を提供することを目的としている。
　本発明の一態様は、照明光を発生する光源と、該光源からの照明光を導光し、射出端部から射出する光ファイバと、該光ファイバの前記射出端部を振動させて照明光を２次元的に走査させる駆動部と、照明光の照射により被写体における各走査位置から戻る戻り光を検出する光検出部と、該光検出部により検出された戻り光の光量から走査位置毎の明るさを検出する明るさ検出部と、前フレームにおいて取得された画像に対して現フレームにおいて取得された画像の動きを検出する動き検出部と、現フレームにおいて取得された画像のダイナミックレンジを測定するダイナミックレンジ測定部と、該ダイナミックレンジ測定部により測定されたダイナミックレンジが所定の閾値より大きい場合に、走査位置毎の明るさが低いほど照明光の光量を増加させるように前記光源を制御する光源制御部とを備える走査型観察装置である。
　本態様によれば、駆動部の駆動により光ファイバの射出端部を振動させて、光ファイバにより導光されてきた照明光を射出端部から射出させることにより、照明光を被写体上において走査させ、各走査位置から戻る戻り光を光検出部により検出することにより、各走査位置と戻り光の光量とを対応づけて被写体の画像を取得することができる。光検出部により検出された戻り光から走査位置毎の明るさが明るさ検出部により検出され、前フレームの画像と現フレームの画像との動きが動き検出部により検出され、ダイナミックレンジ測定部により現フレームの画像のダイナミックレンジが測定される。
　そして、測定されたダイナミックレンジが所定の閾値より大きい場合に、光源制御部により、明るさが低い走査位置ほど光量を増加させた照明光を照射するように光源が制御される。
　すなわち、前フレームの画像に対して現フレームの画像の動きが小さい場合には次のフレームの画像との間でも動きが小さいことが十分に予測できる。したがって、次のフレームの画像を取得する際に照射する照明光については、現フレームの走査位置毎に、明るさが低い走査位置ほど高い光量の照明光を光源から射出させることにより、黒潰れや白飛びを抑えた見やすい画像を取得することができる。
　上記態様においては、前記動き検出部が、前記明るさ検出部により検出された走査位置毎の明るさに基づいて画像の動きを検出し、前記ダイナミックレンジ測定部が、前記動き検出部により検出された画像の動きが所定の閾値より小さい場合に、画像のダイナミックレンジを測定してもよい。
　このようにすることで、明るさ検出部により検出された明るさに基づいて、前フレームの画像と現フレームの画像との動きが動き検出部により検出される。そして、検出された画像の動きが所定の閾値より小さい場合に、ダイナミックレンジ測定部により現フレームの画像のダイナミックレンジが測定される。測定されたダイナミックレンジに基づいて光源制御部により光源を制御することにより、より見やすい画像を取得することができる。
　上記態様においては、前記光源制御部が、照明光の光量を複数段階で切り替えてもよい。
　このようにすることで、無段階で変更する場合と比較して光源の制御を簡易にすることができる。
　また、上記態様においては、前記駆動部による照明光の走査位置と、前記光検出部により検出された戻り光の光量とに基づいて画像情報を生成する画像処理部を備え、該画像処理部が、照明光の光量が低い走査位置の戻り光の光量情報に対しノイズ低減処理を施してもよい。
　このようにすることで、照明光の光量が低く、かつ、戻り光の光量が比較的低い走査位置においてはノイズが乗りやすいので、画像処理部において画像情報を生成する際に、照明光の光量が低い走査位置の戻り光の光量情報に対してノイズ低減処理を施すことにより、ノイズの少ない鮮明な画像を得ることができる。
　また、上記態様においては、前記駆動部による照明光の走査位置と、前記光検出部により検出された戻り光の光量とに基づいて画像情報を生成する画像処理部を備え、該画像処理部は、照明光の光量が高い走査位置の輝度値より照明光の光量が低い走査位置の輝度値の方が高くなるように輝度値を調節してもよい。
　このようにすることで、照明光の光量が段階的に切り替えられることで、戻り光の光量が不連続となっても、画像処理によって、被写体の本来の明るさ分布を自然に表現した画像を取得することができる。
　本発明によれば、被写体に対して移動している場合においても、的確な明るさ調整を行うことができるという効果を奏する。
本発明の一実施形態に係る走査型観察装置を示すブロック図である。 図１の走査型観察装置の被写体ダイナミックレンジにより切り替えられる光源制御の一例であって、光量を無段階に変更する例を示す図である。 図１の走査型観察装置による光源制御の手順を説明するフローチャートである。 図２の光源制御の変形例であって、光量を２段階に切り替える例を説明する図である。 被写体の明るさが変化する位置近傍における画素値の補間の一例を説明する図である。 図４の照明を行った場合の画像処理例を説明する図である。 図３の変形例によるフローチャートである。
　以下、本発明の一実施形態に係る走査型観察装置１について、図面を参照して以下に説明する。
　本実施形態に係る走査型観察装置１は、図１に示されるように、照明光を発生する光源２と、該光源２からの照明光を導光し射出端部３から射出する光ファイバ４と、該光ファイバ４の射出端部３を振動させて照明光を２次元的に走査させるアクチュエータ（駆動部）５と、該アクチュエータ５を駆動するアクチュエータドライバ６と、照明光の照射により被写体Ｏにおける各走査位置から戻る戻り光を検出する光検出部７と、光検出部７により検出された戻り光の光量情報と光ファイバ４による照明光の走査位置情報とに基づいて、必要な画像処理を施して表示用の画像を生成する信号処理部（画像処理部）８と、該信号処理部８で生成された画像を表示するモニタ９とを備えている。
　また、走査型観察装置１は、光検出部７により検出された戻り光の光量から走査位置毎の明るさを検出する明るさ検出部１０と、該明るさ検出部１０により検出された走査位置毎の明るさに基づいて、前フレームにおいて取得された画像に対して現フレームにおいて取得された画像の動きを検出する動き検出部１１とを備えている。
　さらに、走査型観察装置１は、動き検出部１１により検出された画像の動きおよび現フレームの走査位置毎の明るさに基づいて光源２を制御する発光制御部（光源制御部）１２と、該発光制御部１２、アクチュエータドライバ６、光検出部７、動き検出部１１および信号処理部８を制御する制御部（ダイナミックレンジ測定部）１３とを備えている。
　光源２は、図に示す例では、ＲＧＢの各波長帯域のレーザ光をそれぞれ発生するレーザ光源１４，１５，１６と、これらのレーザ光源１４，１５，１６から発せられたレーザ光を合波して光ファイバ４に入射させる結合器１７とを備えている。
　アクチュエータ５は、例えば、光ファイバ４の射出端部３から基端側に所定距離を空けた位置の外面に周方向に等間隔をおいて接着された４つの圧電素子（図示略）を備え、これらの圧電素子に交番電圧を加えることにより、光ファイバ４の射出端部３を２次元的に振動させるようになっている。
　アクチュエータドライバ６は、制御部１３から指令された走査位置に照明光を照射させるための交番電圧を生成してアクチュエータ５に入力するようになっている。
　光検出部７は、被写体Ｏに向けて端面が配置され、被写体Ｏから戻る戻り光を受光する受光ファイバ１８と、該受光ファイバ１８により受光された戻り光を分光する図示しない分光光学系と、波長ごとに分光された戻り光を検出する光電子増倍管等の光検出器１９とを備えている。図中、符号２０は、光検出器１９により検出された戻り光の光量信号をデジタル信号に変換するＡＤ変換器である。
　明るさ検出部１０は、光検出部７により検出された戻り光の光量から走査位置毎の輝度情報のみを有する輝度画像をフレーム毎に生成し、動き検出部１１に送るようになっている。
　動き検出部１１は、メモリ（図示略）を備え、明るさ検出部１０から送られてきた輝度画像を次のフレームの輝度画像が送られてくるまで保持するようになっている。そして、動き検出部１１は、明るさ検出部１０から現フレームの輝度画像が送られてくると、メモリに保持されている前フレームの輝度画像との差分を走査位置毎に算出し、例えば、全体の８割の走査位置における差分値が所定の閾値より小さい場合に、現フレームの輝度画像を制御部１３に送るようになっている。
　制御部１３においては、動き検出部１１から輝度画像が送られてきたときには、その輝度画像のダイナミックレンジが測定され、測定されたダイナミックレンジが所定の閾値（以下、第１閾値という）より大きい場合に、その輝度画像を発光制御部１２に転送するようになっている。発光制御部１２は、制御部１３から送られてきた輝度画像に基づいて、走査位置毎の明るさが低いほど照明光の光量を増加させるように光源２を制御するようになっている。
　発光制御部１２による照明光の光量の制御は、例えば、図２に示されるように行われる。
　すなわち、図２に示す例では、発光制御部１２は、現フレームの輝度画像のダイナミックレンジが、図に破線で示されるように第１閾値より小さい場合には、図２に破線で示されるように、比較的高い一定の光量レベルの照明光を射出するように光源２を制御するようになっている。
　一方、発光制御部１２は、現フレームの輝度画像のダイナミックレンジが、図２に破線で示されるように第１閾値より大きい場合には、図２に２点鎖線で示されるように、ダイナミックレンジが小さい場合よりも低い光量レベルが設定される。そして、発光制御部１２は、図２に実線で示されるように、明るさが低い領域においては、ダイナミックレンジが小さい場合の光量レベルより照明光の光量を大きくし、明るさが高くなるほど、設定された光量レベルに近づくように、光量が現フレームの輝度画像の明るさに応じて連続的に変化する照明光を射出するように光源２を制御するようになっている。
　このように構成された本実施形態に係る走査型観察装置１の作用について以下に説明する。
　本実施形態に係る走査型観察装置１を用いて被写体Ｏの観察を行うには、図１に示されるように、光ファイバ４の射出端部３を被写体Ｏに対向させて、アクチュエータドライバ６によりアクチュエータ５を作動させるとともに、光源２を作動させて光ファイバ４の射出端部３から照明光を射出させる。
　これにより、光ファイバ４の射出端部３が２次元的に振動させられ、被写体Ｏ上において照明光が２次元的に走査される。照明光が被写体Ｏに照射されると、各走査位置から戻る戻り光が受光ファイバ１８により受光され、光検出器１９により検出される。光検出器１９により検出された戻り光の光量情報は、ＡＤ変換器２０によってデジタル信号に変換された後、明るさ検出部１０および信号処理部８に送られる。
　以後の処理を図３のフローチャートに示す。
　明るさ検出部１０においては、１フレーム分の走査位置に対応する輝度情報を含む輝度画像が取得され、動き検出部１１に送られる（ステップＳ１）。動き検出部１１においては、送られてきた現フレームの輝度画像と、メモリに保持されていた前フレームの輝度画像との差分が演算されるとともに現フレームの輝度画像がメモリに保持される（ステップＳ２）。そして、算出された差分が所定の閾値より小さい場合には、画像が静止していると判定され、現フレームの輝度画像が制御部１３に出力される（ステップＳ３）。差分が所定の閾値以上の場合には、光量調節が行われることなく、表示用の画像が生成され（ステップＳ１０）、生成された画像がモニタ９に表示される（ステップＳ１１）。
　制御部１３においては、動き検出部１１から送られてきた現フレームの輝度画像のダイナミックレンジ（Ｄレンジ）が算出され（ステップＳ４）、ダイナミックレンジが所定の第１閾値以下であるか否かが判定される（ステップＳ５）。ダイナミックレンジが第１閾値以下である場合には、光量レベルが比較的高い第１の光量レベルに設定され、全ての走査位置に第２の光量レベルの一定の光量の照明光を照射するよう発光制御部１２に対して指令が行われる（ステップＳ６）。発光制御部１２は設定された第１の光量レベルの照明光を射出するように各レーザ光源１４，１５，１６を駆動する（ステップＳ８）。
　一方、算出されたダイナミックレンジが第１閾値より大きい場合には、制御部１３は図２のパターンに従って、暗い走査位置には大きな光量の照明光を照射し、明るさが明るい走査位置ほど第２の光量レベルに漸近する小さな光量の照明光を照射するように発光制御部１２に指令する（ステップＳ７）。
　発光制御部１２は、制御部１３からの指令に応じて、走査位置毎に照明光の光量を調節して射出するように各レーザ光源１４，１５，１６を駆動する（ステップＳ８）。
　そして、新たに光検出器１９により戻り光が検出され（ステップＳ９）、戻り光の光量と走査位置とから信号処理部８において画像処理が施されることにより、表示用の画像が生成され（ステップＳ１０）、生成された画像がモニタ９に表示される（ステップＳ１１）。
　このように構成された本実施形態に係る走査型観察装置１によれば、現フレームと前フレームの強度画像間で演算された差分が小さく画像の動きがないと判定される場合に、現フレームの各走査位置の明るさに基づいて次のフレームの照明光の光量が設定される。その結果、走査型観察装置１が被写体Ｏに対して移動している場合においても、精度よく光量が調節された照明を行うことができるという利点がある。
　そして、この場合に、ダイナミックレンジが大きく、一定の光量の照明では黒潰れや白飛びが発生し易い状態において、現フレームの暗い走査位置には、次フレームにおいて大きい光量の照明光が照射され、現フレームの明るい走査位置には、次フレームにおいて小さい光量の照明光が照射されることにより、黒潰れや白飛びの発生を抑えて、見やすい画像を取得することができる。また、現フレームの暗い走査位置には次フレームに十分に大きな光量の照明光を照射することにより、ノイズを抑えた画像を取得することができるという利点がある。
　なお、本実施形態においては、図２に示されるように、照明光の光量を調節した結果、被写体Ｏの明るさに応じて取得される画像の明るさは非線形になるが、このようにして取得された画像を表示するための画像処理によって線形な関係となるように変換することにしてもよい。線形な関係に戻すことにより、暗い部分の画像は暗くなるが、明るい照明を行っているのでＳＮ比のよい画像を取得することができるという利点がある。
　なお、本実施形態においては、現フレームの強度画像のダイナミックレンジが大きい場合に、現フレームの走査位置毎の明るさに応じて照明光の光量を無段階に連続的に変化させることとしたが、これに代えて、図４に示されるように、複数段階に変化させることにしてもよい。図４に示す例では、照明光を２段階に変化させている。
　すなわち、現フレームの明るさが第２閾値以下のときには、第１の光量レベルの照明光を照射し、所定の第２閾値より大きいときには、第１の光量レベルより低い第２の光量レベルの照明光に切り替えて照射するようになっている。これにより発光制御部１２による光源２の制御を簡素化することができる。
　この場合に、照明光の光量が切り替わる第２閾値の明るさにおいて、実際に取得される画像の明るさが、図４に示されるように不連続に変化する。このようにして取得された画像をモニタ９に表示する場合には、各走査位置について取得された画素値を、表示のための画素配列に変換する際に、照明光の光量が切り替わる明るさ近傍の画素については、図５に示されるように周囲の複数画素を用いて補間処理をする際に、下式に従って、照明の明るい（照明光の光量が高い）画素に合わせて照明の暗い（照明光の光量が低い）画素の画素値を増幅するように処理してもよい。あるいは逆に、照明の暗い画素に合わせて照明の明るい画素の画素値を低減させるように処理してもよい。
　　Ｐ＝（Ａ１×Ｐ１＋Ａ２×Ｐ２＋Ｂ×（Ａ３×Ｐ３＋Ａ４×Ｐ４））／４
　ここで、Ｐは補間処理後の画素値、Ａ１，Ａ２，Ａ３，Ａ４は補間に用いる４つの走査位置の補間後の画素までの距離係数、Ｐ１，Ｐ２，Ｐ３，Ｐ４は補間に用いる４つの走査位置の画素値、Ｂは照明光量係数である。照明光量係数Ｂを適当に選ぶことにより、画素値の増幅または低減を行うことができる。
　また、信号処理部８における画像処理により、図６に示されるように、照明の暗い画素の画素値が、照明の明るい画素の画素値より明るくなる（すなわち、照明光の光量が低いほど輝度が高くなる）ように処理して、モニタ９に表示する画像を生成してもよい。これにより、戻り光の光量が不連続となっても、画像処理によって、被写体Ｏの本来の明るさ分布を自然に表現した画像を取得することができる。
　なお、図示しない入力インタフェースから静止画を取得する旨の入力が行われた場合には、図７に示されるように、画像が静止していないと判定された場合に（ステップＳ３）、予め設定された上限枚数となるまで複数枚の画像を取得して静止画として最適な、動きの少ない画像を表示用の画像を生成するために選択することにしてもよい（ステップＳ１２，Ｓ１４）。また、画像が静止していると判定された場合に、光量制御を行って新たな画像を取得する場合においても、予め設定された上限枚数分の画像取得を行い（ステップＳ９，Ｓ１３）、静止画として最適な画像を選択することにしてもよい（ステップＳ１４）。
　また、本実施形態においては、取得された画像から輝度画像を生成し、輝度に応じて照明光の光量を調節することとしたが、その際に使用する輝度画像としては、輝度と相関の高いＧ画像のみを用いてもよいし、画像の色味から輝度への関与が高い色によって照明光量を変化させることにしてもよい。
　また、図４の照明光量を切り替える第２閾値の明るさで取得された画像の画素値が飽和している場合には、飽和していない周辺画素の画素値から補間することにしてもよい。
　また、図６に示されるように、信号処理部８による画像処理により表示画像の輝度を調節する場合に、照明の暗い走査位置においてはノイズが目立ちやすくなるため、補間画素数を増やしてノイズを低減させることにしてもよい。また、図７に示されるように複数枚の画像を取得する場合には、取得された複数枚の画像を累積加算することによってノイズを低減してもよい。
　また、本実施形態においては、分光光学系を用いるものを説明したが、これに代えて、分光光学系を用いずに光源２をパルス点灯させて色ごとに順次に発光させる構成にしてもよい。
　また、本実施形態においては、動き検出部１１により画像の動きを検出して制御部１３に輝度画像が送られ、送られてきた輝度画像のダイナミックレンジを測定することとしたが、これに代えて、ダイナミックレンジを測定し、ダイナミックレンジが大きい輝度画像に対して画像の動きを検出するようにしてもよい
　１　走査型観察装置
　２　光源
　３　射出端部
　４　光ファイバ
　５　アクチュエータ（駆動部）
　７　光検出部
　８　信号処理部（画像処理部）
　１０　明るさ検出部
　１１　動き検出部
　１２　発光制御部（光源制御部）
　１３　制御部（ダイナミックレンジ測定部）
　Ｏ　被写体

Claims (5)

  1. 　照明光を発生する光源と、
    　該光源からの照明光を導光し、射出端部から射出する光ファイバと、
    　該光ファイバの前記射出端部を振動させて照明光を２次元的に走査させる駆動部と、
    　照明光の照射により被写体における各走査位置から戻る戻り光を検出する光検出部と、
    　該光検出部により検出された戻り光の光量から走査位置毎の明るさを検出する明るさ検出部と、
    　前フレームにおいて取得された画像に対して現フレームにおいて取得された画像の動きを検出する動き検出部と、
    　現フレームにおいて取得された画像のダイナミックレンジを測定するダイナミックレンジ測定部と、
    　該ダイナミックレンジ測定部により測定されたダイナミックレンジが所定の閾値より大きい場合に、走査位置毎の明るさが低いほど照明光の光量を増加させるように前記光源を制御する光源制御部とを備える走査型観察装置。
  2. 　前記動き検出部が、前記明るさ検出部により検出された走査位置毎の明るさに基づいて画像の動きを検出し、
    　前記ダイナミックレンジ測定部が、前記動き検出部により検出された画像の動きが所定の閾値より小さい場合に、画像のダイナミックレンジを測定する請求項１に記載の走査型観察装置。
  3. 　前記光源制御部が、照明光の光量を複数段階で切り替える請求項２に記載の走査型観察装置。
  4. 　前記駆動部による照明光の走査位置と、前記光検出部により検出された戻り光の光量とに基づいて画像情報を生成する画像処理部を備え、
    　該画像処理部が、照明光の光量が低い走査位置の戻り光の光量情報に対しノイズ低減処理を施す請求項２または請求項３に記載の走査型観察装置。
  5. 　前記駆動部による照明光の走査位置と、前記光検出部により検出された戻り光の光量とに基づいて画像情報を生成する画像処理部を備え、
    　該画像処理部は、照明光の光量が高い走査位置の輝度値より照明光の光量が低い走査位置の輝度値の方が高くなるように輝度値を調節する請求項３に記載の走査型観察装置。
PCT/JP2015/064554 2015-05-21 2015-05-21 走査型観察装置 WO2016185595A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2015/064554 WO2016185595A1 (ja) 2015-05-21 2015-05-21 走査型観察装置
JP2017518696A JPWO2016185595A1 (ja) 2015-05-21 2015-05-21 走査型観察装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/064554 WO2016185595A1 (ja) 2015-05-21 2015-05-21 走査型観察装置

Publications (1)

Publication Number Publication Date
WO2016185595A1 true WO2016185595A1 (ja) 2016-11-24

Family

ID=57319580

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/064554 WO2016185595A1 (ja) 2015-05-21 2015-05-21 走査型観察装置

Country Status (2)

Country Link
JP (1) JPWO2016185595A1 (ja)
WO (1) WO2016185595A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017217029A1 (ja) * 2016-06-13 2017-12-21 オリンパス株式会社 動き判定装置、被検体内導入装置、動き判定方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116760466B (zh) * 2023-08-23 2023-11-28 青岛诺克通信技术有限公司 一种光缆定位方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010142597A (ja) * 2008-12-22 2010-07-01 Hoya Corp 内視鏡装置
JP2012143264A (ja) * 2011-01-06 2012-08-02 Hoya Corp キャリブレーション装置、及びキャリブレーション方法
JP2014033731A (ja) * 2012-08-07 2014-02-24 Olympus Corp 内視鏡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010142597A (ja) * 2008-12-22 2010-07-01 Hoya Corp 内視鏡装置
JP2012143264A (ja) * 2011-01-06 2012-08-02 Hoya Corp キャリブレーション装置、及びキャリブレーション方法
JP2014033731A (ja) * 2012-08-07 2014-02-24 Olympus Corp 内視鏡システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017217029A1 (ja) * 2016-06-13 2017-12-21 オリンパス株式会社 動き判定装置、被検体内導入装置、動き判定方法及びプログラム
JP6275344B1 (ja) * 2016-06-13 2018-02-07 オリンパス株式会社 動き判定装置、被検体内導入装置、動き判定方法及びプログラム

Also Published As

Publication number Publication date
JPWO2016185595A1 (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
JP5467756B2 (ja) 内視鏡装置
JP5956949B2 (ja) 画像表示装置
JP6010255B2 (ja) 光源装置及び光源装置の作動方法
US10425626B2 (en) Laser projection display device and driving method for laser beam source
US10051249B2 (en) Laser projection display device, and method for controlling laser lightsource driving unit used for same
US20160345812A1 (en) Imaging apparatus and processing device
US11612041B2 (en) Light source device, medical observation system, illumination method, and computer readable recording medium
US20110006217A1 (en) Laser scanning microscope
JP6249909B2 (ja) 撮像システムおよび処理装置
EP3108802A1 (en) Endoscope system
EP3656283B1 (en) Light source system, control device, and control method
JP5385493B1 (ja) 内視鏡装置
WO2016185595A1 (ja) 走査型観察装置
US10362282B2 (en) Drive circuit and image projection apparatus
JP7394547B2 (ja) 制御装置、医療用観察システム、制御方法およびプログラム
JP7224985B2 (ja) 医療用光源装置及び医療用観察システム
JP5191352B2 (ja) レーザ走査型顕微鏡
JP2001109434A5 (ja)
US10884235B2 (en) Drawing apparatus and drawing method
JP2014085377A (ja) 画像表示システム、撮像装置、画像表示装置及びその制御方法
US10379330B2 (en) Scanning microscope apparatus for generating super-resolution image based on set zoom magnification or set number of pixels
US20210297575A1 (en) Medical control device and medical observation system
JP7235608B2 (ja) 光源制御装置、医療用観察システム、光源制御方法およびプログラム
KR101517554B1 (ko) 공액구배 알고리즘을 이용한 비전시스템의 컬러 조명 제어방법
JP2011039322A (ja) レーザプロジェクタ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15892594

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017518696

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15892594

Country of ref document: EP

Kind code of ref document: A1