WO2018235227A1 - 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法 - Google Patents

光走査型観察装置および光走査型観察装置のホワイトバランス調整方法 Download PDF

Info

Publication number
WO2018235227A1
WO2018235227A1 PCT/JP2017/023022 JP2017023022W WO2018235227A1 WO 2018235227 A1 WO2018235227 A1 WO 2018235227A1 JP 2017023022 W JP2017023022 W JP 2017023022W WO 2018235227 A1 WO2018235227 A1 WO 2018235227A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
white balance
unit
detection
detection signal
Prior art date
Application number
PCT/JP2017/023022
Other languages
English (en)
French (fr)
Inventor
啓一朗 中島
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/023022 priority Critical patent/WO2018235227A1/ja
Publication of WO2018235227A1 publication Critical patent/WO2018235227A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor

Definitions

  • the present invention relates to a light scanning observation apparatus and a white balance adjustment method of the light scanning observation apparatus.
  • an optical scanning endoscope which scans illumination light on a subject and creates an image of the subject based on the illumination position of the illumination light and the signal light from the subject (see, for example, Patent Document 1) ).
  • An image acquired by the light scanning endoscope is subjected to white balance adjustment so as to accurately represent the color of the tissue in the living body which is the subject.
  • white balance adjustment In order to perform white balance adjustment, it is necessary to acquire an image of a white object as a reference. Because such white objects are not normally present in the body, white balance adjustment of the endoscope is generally performed outside the body before inserting the endoscope into the body. Specifically, white balance adjustment is performed so that a white object, such as a white balance cap or white gauze, illuminated with illumination light is observed with an endoscope, and the color of the obtained image is expressed in white. , R signal, G signal and B signal are determined by determining white balance gain values.
  • the present invention has been made in view of the above-described circumstances, and it is possible to easily perform the white balance adjustment of the added light detection unit without interrupting the observation and the light scanning observation device and the light It is an object of the present invention to provide a white balance adjustment method of a scanning observation apparatus.
  • One aspect of the present invention is a scanning unit that scans illumination light, an emission unit that emits the illumination light toward a subject, and signal light from the subject illuminated by the illumination light and detecting the signal light
  • First light detection unit for obtaining a first detection signal based on the second light, and second light for detecting signal light from the subject illuminated by the illumination light to obtain a second detection signal based on the signal light
  • a detection unit for obtaining a first detection signal based on the second light
  • second light for detecting signal light from the subject illuminated by the illumination light to obtain a second detection signal based on the signal light
  • a detection unit and a white balance adjustment unit configured to adjust a white balance of each of the first detection signal and the second detection signal, wherein the white balance adjustment unit is a white object illuminated by the illumination light.
  • White balance of the first detection signal is adjusted based on a first detection signal obtained by detecting the light from the light by the first light detection unit, and the first detection whose white balance is adjusted Said second detection signal based on the signal
  • the illumination light is scanned in the scanning unit and the illumination light is emitted toward the subject
  • the signal light generated by the subject is detected by the first light detection unit. Therefore, the image of the subject can be created based on the first detection signal obtained by the first light detection unit.
  • the white balance of the first detection signal acquired by the first light detection unit is adjusted using a white object. Then, the first light detection unit detects the signal light from the subject to obtain the first detection signal of the signal light whose white balance has been adjusted.
  • the white balance adjustment unit can adjust the white balance of the second detection signal obtained by the second light detection unit based on the first detection signal whose white balance has been adjusted. That is, the white balance of the second detection signal can be adjusted without using the illumination light from the emitting unit and the white object.
  • the white balance adjustment of the second optical detector that are added in the middle of the object of observation, without interrupting the viewing, and can be conveniently carried out
  • the white balance adjustment unit is configured to detect the first detection signal based on the first detection signal obtained by detecting the light from the white object by the first light detection unit. Calculating a first white balance adjustment coefficient for adjusting the white balance of the light source, the first white balance adjustment coefficient, and the signal light from the subject illuminated by the illumination light as the first light detection unit And a second white for adjusting the white balance of the second detection signal based on the first detection signal and the second detection signal respectively obtained by detection by the second light detection unit.
  • the balance adjustment factor may be calculated.
  • the white balance of the second detection signal can be more accurately adjusted based on the second white balance adjustment coefficient calculated in this manner.
  • the white balance adjustment unit calculates the second white balance adjustment coefficient based on the first detection signal and the second detection signal both having an intensity within a predetermined range. It is also good. If at least one of the first and second detection signals is a noise level or a saturation level, an appropriate second white balance adjustment coefficient can not be calculated.
  • a second white balance capable of adjusting the white balance of the second detection signal more accurately by using the first and second detection signals of intensities within a predetermined range larger than the noise level and smaller than the saturation level. An adjustment factor can be calculated.
  • FIG. 6 is a view showing an example of detection values and white balance adjustment coefficients acquired in the white balance adjustment process of FIGS. 2 and 3; It is an example of the image acquired using a 1st light detection part. It is an example of the image acquired using a 2nd light detection part.
  • the light scanning observation apparatus 100 includes a light source unit 1 that outputs illumination light L, and a scanning unit 2 that scans the illumination light L output from the light source unit 1.
  • An image constructing unit 7 constructing an image of the subject A, a user interface 8 operated by the user, a light source unit 1, a scanning unit 2, light detecting units 4 and 5, a white balance adjusting unit 6 and an image constructing unit 7
  • the light source unit 1, the white balance adjustment unit 6, the image construction unit 7, and the control unit 9 are provided in the apparatus main body 10 connected to the proximal end of the insertion unit 3.
  • the user interface 8 is provided outside the device body 10 and connected to the control unit 9 in the device body 10.
  • a display 11 for displaying an image created by the image construction unit 7 is connected to the device body 10.
  • the light source unit 1 includes laser light sources (light sources) 12R, 12G, 12B such as three laser diodes that respectively generate red (R), green (G) and blue (B) laser lights, and laser light sources 12R, A coupler 13 that multiplexes the three-color laser beams from 12G and 12B, and a light emission control unit 14 that controls the laser light sources 12R, 12G, and 12B are provided.
  • the coupler 13 is configured using a fiber type combiner, a die clock prism, or the like.
  • the light emission control unit 14 causes the coupler 13 to sequentially output the R, G, and B laser beams as the illumination light L by causing the three laser light sources 12R, 12G, and 12B to emit light in order.
  • the insertion portion 3 is disposed in the insertion portion 3 along the longitudinal direction, and is provided with an optical fiber 15 for illumination made of a single mode fiber for guiding the illumination light L from the light source portion 1, and emitted from the tip of the optical fiber 15 And an illumination lens 16 for condensing the illumination light L to form a spot on the subject A.
  • the scanning unit 2 includes an actuator 17 provided at the tip of the optical fiber 15 and an actuator driver 18 for driving the actuator 17 in accordance with a drive signal from the control unit 9.
  • the actuator 17 is, for example, a piezoelectric actuator including a piezoelectric element fixed to the side surface of the optical fiber 15.
  • the actuator driver 18 vibrates the tip of the optical fiber 15 in the radial direction of the optical fiber 15 by applying a voltage to the piezoelectric element to expand and contract the piezoelectric element, whereby the illumination light L emitted from the tip is It is designed to scan dimensionally.
  • one light detector (first photodetecting unit) 4 is provided integrally with the insertion portion 3, the remaining light detection unit (second light detector) 5 It provided separately from the insertion portion 3.
  • the configuration including the two second light detection units 5 will be described, but the number of the second light detection units 5 may be three or more.
  • the first light detection unit 4 includes a light receiving optical fiber 19 provided in the insertion unit 3 and a light detector 20 for detecting the reflected light L ′ received by the optical fiber 19.
  • the optical fiber 19 is disposed in the longitudinal direction in the insertion portion 3 from the tip of the insertion portion 3 to the light detector 20 in the device main body 10.
  • the reflected light L ′ from the subject A is received at the end face of the optical fiber 19 and is guided to the light detector 20 by the optical fiber 19.
  • the light detector 20 outputs a first detection signal based on the intensity of the reflected light L ′ incident from the optical fiber 19.
  • the first detection signal output from the light detector 20 is converted into a digital signal by the first analog-to-digital converter (ADC) 21 to obtain a digital value (first detection value) V1 of the first detection signal.
  • the obtained first detected value V1 is input to the white balance adjustment unit 6.
  • the laser light of R, G, and B is sequentially emitted from the insertion portion 3 as the illumination light L, and the reflected light L ′ of R, G, and B is sequentially detected by the first light detection unit 4.
  • the intensity values of the reflected lights L ′ of R, G, and B are sequentially input to the white balance adjustment unit 6 as the first detection value V1.
  • Each second light detection unit 5 the optical fiber 22 for receiving light that is inserted into the provided biometric B separately from the insertion portion 3, the light detecting reflected light L 'that is received by the optical fiber 22 and a detector 23.
  • the reflected light L ′ from the subject A is received at the end face of the optical fiber 22, and is guided to the light detector 23 by the optical fiber 22.
  • the photodetector 23 outputs a second detection signal based on the intensity of the reflected light L ′ incident from the optical fiber 22.
  • the second detection signal output from the light detector 23 is converted into a digital signal by the second analog-to-digital converter (ADC) 24 so that the digital value (second detection value) V2 of the second detection signal is
  • the obtained second detection value V2 is input to the white balance adjustment unit 6.
  • the intensity values of the reflected light L ′ of R, G, and B are sequentially input to the white balance adjustment unit 6 as the second detection value V2.
  • the photodetector 23 and the second ADC 24 are provided in the device body 10.
  • the optical fiber 22 is attachable to and detachable from a connector (not shown) provided in the apparatus main body 10, and is connected to the corresponding light detector 23 through the connector.
  • the white balance adjustment unit 6 calculates a first white balance adjustment coefficient (hereinafter referred to as a first coefficient) WB1 for adjusting the white balance of the first detection value V1, and uses the first coefficient WB1.
  • the first detection value V1 'whose white balance has been adjusted is transmitted to the image construction unit 7.
  • the white balance adjustment unit 6 calculates a second white balance adjustment coefficient (hereinafter referred to as a second coefficient) WB2 for adjusting the white balance of the second detection value V2, and the second coefficient WB2
  • the second detection value V2 'whose white balance is adjusted is transmitted to the image construction unit 7 using The processing by the white balance adjustment unit 6 will be described in detail later.
  • the image construction unit 7 creates a two-dimensional image based on the detection values V 1 ′ and V 2 ′ received from the white balance adjustment unit 6 and the scan position information of the illumination light L received from the control unit 9.
  • the created image is transmitted from the image construction unit 7 to the display 11 and displayed on the display 11.
  • the user interface 8 has a first button (not shown) and a second button (not shown) pressed by the user.
  • the first button is a button for instructing calculation of the first coefficient WB1.
  • the second button is a button for instructing the calculation of the second factor WB2, are provided two corresponding to the two second light detection unit 5.
  • the user interface 8 transmits a first pressing signal to the control unit 9 when the first button is pressed, and transmits a second pressing signal to the control unit 9 when the second button is pressed. .
  • the control unit 9 controls the lighting timings of the three laser light sources 12R, 12G, and 12B, and controls the scanning position of the illumination light L from each of the laser light sources 12R, 12G, and 12B by the scanning unit 2. Further, the control unit 9 transmits scan position information of the illumination light L emitted from the insertion unit 3 to the image construction unit 7. Further, the control unit 9 controls the white balance adjustment unit 6 based on the first pressing signal and the second pressing signal from the user interface 8.
  • the white balance adjustment process includes a first step of calculating a first coefficient WB1 for the first detection value V1 acquired by the first light detection unit 4, and a second step of acquiring the first coefficient WB1. And a second step of calculating a second coefficient WB2 for the second detection value V2.
  • the white balance adjustment unit 6 executes the first step in response to an instruction from the control unit 9 based on the first press signal, and responds to an instruction from the control unit 9 based on the second press signal. Perform two steps.
  • the first step is a detection step of obtaining a first detection value V1 based on the reflected light L ′ from the object having white as a reference, and a first step based on the first detection value V1 acquired in the detection step. And a calculation step of calculating a coefficient WB1 of Therefore, in the first step, the light source unit 1 and the first light detection unit 4 are activated, and the white object is illuminated with the illumination light L from the insertion unit 3 and the reflected light L ′ from the white object is It is performed in the state currently detected by the light detection part 4 of 1.
  • the white balance adjustment unit 6 holds the first detection value V1 of one set of R, G, and B received from the first ADC 21.
  • the white balance adjustment unit 6 determines, based on the held first detection values V1 of R, G, B, the first for each of the first detection values V1 of R, G, B.
  • the coefficient WB1 of That is, three values for R, G, and B are calculated as the first coefficient WB1.
  • the white balance adjustment unit 6 sets R, G so that the ratio of the first coefficients WB1 for R, G, B becomes equal to the ratio of the reciprocal of the detection value V1 of R, G, B. , B from the inverse of the first detection value V1 to calculate a first coefficient WB1.
  • the white balance adjustment unit 6 holds the calculated first coefficient WB1 and thereafter adjusts the white balance by multiplying the first detection value V1 received from the first ADC 21 by the first coefficient WB1.
  • the first detected value V1 ′ is calculated, and the first detected value V1 ′ is transmitted to the image constructing unit 7.
  • the first detection value V1 ′ is in a range suitable for the number of bits of the image.
  • the white balance adjustment unit 6 adjusts the first detection value V1 ′ so as to obtain a value.
  • the second step is a first detection step of obtaining a first detection value V1 based on the reflected light L 'from the subject A in the body, and a second detection value based on the reflected light L' from the subject A in the body
  • the light source unit 1 and the first and second light detection units 4 and 5 are operated, and the subject A is illuminated with the illumination light L from the insertion unit 3 and the reflected light L from the subject A This is performed in a state where 'is detected by the first and second light detection units 4 and 5.
  • the white balance adjustment unit 6 holds the first detection value V1 of one set of R, G, and B received from the first ADC 21.
  • the white balance adjustment unit 6 holds the pair of R, G, B second detection values V2 received from the second ADC 24.
  • the white balance adjustment unit 6 calculates a second coefficient WB2 based on the following expression (1).
  • WB2 V1 ⁇ WB1 ⁇ V2 (1)
  • the white balance adjustment unit 6 holds the calculated second coefficient WB2, and thereafter, adjusts the white balance by multiplying the first detection value V1 received from the first ADC 21 by the first coefficient WB1.
  • the second detection value V2 whose white balance has been adjusted by calculating the first detection value V1 'obtained by the second embodiment and multiplying the second detection value V2 received from the second ADC 24 by the second coefficient WB2. 'it is calculated, and the detection value V1', transmits the V2 'to the image construction unit 7.
  • the white balance adjustment unit 6, the image construction unit 7, the control unit 9, and the light emission control unit 14 described above are programs for causing a processor such as a central processing unit (CPU) to execute the processing of the units 6, 7, 9, and 14.
  • a processor such as a central processing unit (CPU)
  • CPU central processing unit
  • a main storage device for storing a program
  • the program is read from the auxiliary storage device to the main storage device, and the processor executes the processing according to the program to realize the functions of the white balance adjustment unit 6, the image construction unit 7, the control unit 9, and the light emission control unit 14 described above. It is supposed to be
  • the operation of the light scanning observation apparatus 100 configured as described above will be described with reference to the flowcharts of FIGS. 2 and 3.
  • the white of the image acquired using the first light detection unit 4 prior to the observation of the subject A Perform the following steps to adjust the balance.
  • FIGS. 2 and 3 show a method of adjusting the white balance of the light scanning observation apparatus 100 according to the present embodiment.
  • the user performs an operation to obtain the first coefficient WB1 for the first light detection unit 4 using a white object.
  • a white object for example, as shown in FIG. 4, a white white balance cap 30 attached to the tip of the insertion portion 3 is used.
  • the user attaches the white balance cap 30 to the tip of the insertion unit 3 disposed outside the body, and operates the light source unit 1, the scanning unit 2 and the first light detection unit 4. Thereby, the illumination light L is irradiated from the tip of the insertion portion 3 to the white balance cap 30, and the reflected light L 'is detected by the first light detection portion 4 (step SA1).
  • the white balance cap 30 is sequentially irradiated with laser light of R, G, and B as the illumination light L, and the first light detection unit 4 generates a first detection value based on the reflected light L ′ of R, G, and B. V1 is obtained (step SA2).
  • the white balance adjustment unit 6 transmits the first detection value V1 output from the first ADC 21 to the image construction unit 7 as it is.
  • the construction unit 7 generates an image based on the first detection value V1 and displays the image on the display 11 (step SA3).
  • the displayed image of the white balance cap 30 may be a color other than white.
  • the user observes the image of the white balance cap 30 displayed on the display 11, confirms that an image suitable for white balance adjustment has been acquired, and then presses the first button of the user interface 8 (YES in step SA4).
  • a first press signal is transmitted from the user interface 8 to the control unit 9, and in response to the first press signal, the control unit 9 causes the white balance adjustment unit 6 to execute the first step.
  • the first coefficient WB1 is calculated (steps SA5 and SA6).
  • the white balance adjustment unit 6 holds the first detection value V1 of R, G, B acquired by the first light detection unit 4 when the first button is pressed (step SA5)
  • the first coefficient WB1 is calculated based on the reciprocal of the stored first detection value V1 of R, G, B, and the first coefficient WB1 is stored (step SA6).
  • FIG. 5 shows an example of detection values V1, V1 ', V2, V2' and coefficients WB1, WB2 at each step of the white balance adjustment processing.
  • the light amounts of the R, G, and B laser beams are equal to one another, and the sensitivity ratio of R, G, and B of the first light detection unit 4 is 0.4: 0.5: 0.2. It is assumed that there is.
  • the first coefficients WB1 for R, G, B are 1.25, 1.. 00,2.50 is calculated.
  • the first detection value V1 is multiplied by the first coefficient WB1 to calculate the first detection value V1 'used as the gradation value V of the pixel of the image.
  • the first detection value V1 ′ is divided by an arbitrary coefficient, for example, 16 to obtain the final R, G,.
  • a first detection value V1 'of B is calculated.
  • the coefficients may be set such that the final first detection values V1 'of R, G, B become less than the maximum tone value of the image. For example, since the maximum gradation value of the 8-bit image is 255, the color of the image is completely white when the first detection values V1 'of R, G, B are all 255, but R, The coefficients may be adjusted so that the first detection values V1 ′ of G and B become 250. By doing this, it is possible to prevent that the color is not accurately reproduced in the image due to the saturation of the gradation value V.
  • the white balance adjustment unit 6 performs white balance adjustment of the first detection value V1 using the first coefficient WB1 (steps SA7 and SA8). , SA9), and transmits the first detection values V1 ′ of R, G, B whose white balance has been adjusted, to the image construction unit 7. Thereby, the display 11 displays an image of the white balance cap 30 with the white balance adjusted (step SA10).
  • the user confirms that the white balance of the displayed image is properly adjusted, and then inserts the insertion unit 3 into the body so that the tip of the insertion unit 3 faces the subject A. Start observation. If the brightness of the image is insufficient due to the insufficient light reception amount of the reflected light L ′ by the optical fiber 19 of the first light detection unit 4 after the start of the observation of the subject A, the user The optical fiber 22 of one second light detection unit 5 is additionally inserted into the living body B so as to face each other, and a procedure for acquiring a second coefficient WB2 for the second light detection unit 5 is executed. .
  • the user operates one second light detection unit 5 in addition to the light source unit 1, the scanning unit 2, and the first light detection unit 4 that are already operating.
  • the detection of the reflected light L ′ by the first light detection unit 4 the white balance adjustment of the first detection value V1 using the first coefficient WB1, and the white balance adjustment
  • the second light detection unit 5 detects the reflected light L ′ (steps SB5 and SB6).
  • step SB7 the user presses one second button corresponding to one second light detection unit 5 (YES in step SB7).
  • a second press signal is transmitted from the user interface 8 to the control unit 9, and in response to the second press signal, the control unit 9 causes the white balance adjustment unit 6 to execute the second step.
  • the second coefficient WB2 is calculated (steps SB8 and SB9).
  • the white balance adjustment unit 6 sets the first detection value V1 of R, G, and B acquired by the first and second light detection units 4 and 5 when the second button is pressed. And the second detection value V2 of R, G, B (step SB8).
  • the white balance adjustment unit 6 uses the first and second detection values V1 and V2 of R, G and B held and the first coefficient WB1 calculated and stored in step SA6.
  • the second coefficient WB2 is calculated from the equation (1) to store the second coefficient WB2 (step SB9).
  • the white balance adjustment unit 6 uses the coefficients WB1 and WB2 to adjust the white balance of the first detection value V1 and the second detection value V2.
  • the respective operations are performed (steps SB10, SB11, SB12), and the first and second detection values V1 ', V2' of R, G, B whose white balance has been adjusted are transmitted to the image construction unit 7.
  • the image construction unit 7 creates an image using the sum of the first detection value V1 ′ and the second detection value V2 ′ as the gradation value V of the pixel (step SB13).
  • the display 11 displays the image of the subject A whose brightness is increased and the white balance is adjusted.
  • the second coefficient WB2 for R, G, B is 0.25, 0.63,1.25 to be calculated. Then, by multiplying the second coefficient WB2 the second detection value V2, it is calculated as the second detection value V2 158,134,113 as'. Again, 'so that a value within 8-bit, is divided by the example 8, the final R, G, the second detection value V2 of the B' second detection value V2 is calculated.
  • the user detects the other second light so that the tip of the optical fiber 22 faces the subject A the optical fiber 22 parts 5 and additionally inserted into a living body B, by performing the steps SB7 ⁇ SB9 again, obtaining a second coefficient WB2 for the second optical detection section 5 of the other.
  • the sum of the first detection value V1 'and the two second detection value V2' to the tone value V of the pixel, the brightness was further increased image is created.
  • the second coefficient WB2 for the second light detection unit 5 can be calculated by a simple procedure by indirectly obtaining the white information as a reference without using a white object. possible it is.
  • the second light detection unit 5 when the second light detection unit 5 is added after the observation of the subject A is started by the insertion unit 3 inserted into the living body B, the second light detection is performed while the insertion unit 3 is disposed in the body
  • the white balance of the second detection value V2 acquired by the unit 5 can be adjusted.
  • the white balance adjustment of the added second light detection unit 5 can be performed without interrupting the observation of the subject A in the body.
  • the first and second coefficients WB1 and WB2 are calculated using a pair of detection values V1 and V2 of R, G and B corresponding to the value of one pixel.
  • a plurality of sets of detection values V1 and V2 of R, G and B corresponding to the values of a plurality of pixels in a predetermined area are used, or pixels of the same position in a plurality of images
  • a plurality of sets of R, G, B detected values V1, V2 corresponding to the values may be used.
  • the coefficients WB1 and WB2 in which the influence of noise is reduced can be calculated.
  • the first and second coefficients are calculated from the detection values V1 and V2 of each set of R, G and B, respectively.
  • the average value of each of the plurality of first and second coefficients may be used as the final coefficients WB1 and WB2.
  • the first and second detection values V1, V2 are acquired while scanning the illumination light L to acquire a two-dimensional image.
  • the first and second detection values V1 and V2 may be acquired while maintaining the position of the illumination light L at a constant position without operating the scanning unit 2.
  • FIG. 6A shows an example of an image of the reflected light L ′ detected by the first light detection unit 4 integral with the insertion unit 3
  • FIG. 6B shows a second light detection unit 5 separate from the insertion unit 3.
  • 8 shows an example of the image of the reflected light L ′ detected by
  • the image, the pixel values V (i.e. R, G, either the detected value of B V1, V2) can exist halation region R1 is saturated. Further, as shown in FIG. 6B, depending on the position and orientation of the optical fibers 19 and 22 with respect to the subject A, the reflected light L ′ is hardly detected and the pixel value V (ie detection of any of R, G, B) values V1, V2) is dark region R2 can exist as a substantially zero. Since the information of the color possessed by the detection values V1 and V2 of R, G and B in such areas R1 and R2 lack accuracy, white balance is determined based on the detection values V1 and V2 of the halation area R1 and the dark area R2. It can not be adjusted accurately.
  • all the first detection values V1 of R, G and B are within the predetermined range, and all the second detection values V2 of R, G and B are predetermined.
  • the first detection value V1 and the second detection value V2 at a position or area that is within the range are used for the calculation of the second coefficient WB2.
  • the predetermined range is greater than the noise level, a range smaller than the saturation level.
  • an image based on the first detection value V1 ′ and an image based on the second detection value V2 ′ are created, and a region R3 in which the pixel value V falls within a predetermined range in common in both images is selected.
  • the calculated first and second coefficients WB1 and WB2 are held in the white balance adjustment unit 6, but instead, they are held in the control unit 9 or a storage unit (not shown). it is, white balance adjustment unit 6, may be used from the control unit 9 or the storage unit as required by reading the first and second coefficient WB1, WB2.
  • the scanning unit 2 including the piezoelectric actuator 17 is used.
  • the scanning unit 2 includes an electromagnetic actuator including a cylindrical permanent magnet magnetically attached in the longitudinal direction and having magnetic poles at both ends, and an electromagnetic coil provided at a position facing each magnetic pole of the permanent magnet. It may be In the permanent magnet, the optical fiber 15 is inserted so as to protrude from the permanent magnet, and the permanent magnet is fixed to the outer peripheral surface of the optical fiber 15. By supplying a current from the actuator driver 18 to the electromagnetic coil, the electromagnetic coil generates a magnetic field in the vicinity of the magnetic pole of the permanent magnet to vibrate the permanent magnet, and the optical fiber 15 vibrates.
  • a galvano mirror that two-dimensionally scans the illumination light L may be used as the scanning unit 2.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Processing Of Color Television Signals (AREA)
  • Endoscopes (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

光走査型観察装置(100)は、照明光を走査する走査部(2)と、照明光を被写体に向けて射出する射出部(3)と、照明光で照明された被写体からの光に基づく第1の検出信号および第2の検出信号をそれぞれ得る第1の光検出部(4)および第2の光検出部(5)と、照明光で照明された白色の物体からの光に基づく第1の検出信号に基づいて当該第1の検出信号のホワイトバランスを調整し、ホワイトバランスが調整された第1の検出信号に基づいて第2の検出信号のホワイトバランスを調整するホワイトバランス調整部(6)とを備える。

Description

光走査型観察装置および光走査型観察装置のホワイトバランス調整方法
 本発明は、光走査型観察装置および光走査型観察装置のホワイトバランス調整方法に関するものである。
 従来、被写体上で照明光を走査し、照明光の照射位置と被写体からの信号光とに基づいて被写体の画像を作成する光走査型内視鏡が知られている(例えば、特許文献1参照。)。光走査型内視鏡によって取得された画像は、被写体である生体内の組織の色を正確に表現するようにホワイトバランス調整が行われる。
 ホワイトバランス調整を行うためには、基準となる白色の物体の画像を取得する必要がある。このような白色の物体は通常は体内に存在しないため、内視鏡のホワイトバランス調整は、一般に、内視鏡を体内に挿入する前に体外で実施される。具体的には、ホワイトバランス調整は、照明光で照明された、ホワイトバランスキャップや白いガーゼ等の白色の物体を内視鏡で観察し、取得された画像の色が白色で表現されるように、R信号、G信号およびB信号のそれぞれに対するホワイトバランスゲイン値を決定することで行われる。
特開2016-106829号公報
 被写体の観察中に、観察画像の明るさを増加させたい場合、例えば走査型内視鏡では光検出器の数を増やすことで対応することができる。このような場合に、追加された光検出器のホワイトバランスを調整するためには、生体内の観察を一度中断して内視鏡を体外に取り出し、ホワイトバランス調整の煩雑な手順を再度行う必要がある。
 本発明は、上述した事情に鑑みてなされたものであって、追加された光検出部のホワイトバランス調整を、観察を中断することなく、かつ簡便に行うことができる光走査型観察装置および光走査型観察装置のホワイトバランス調整方法を提供することを目的とする。
 上記目的を達成するため、本発明は以下の手段を提供する。
 本発明の一態様は、照明光を走査する走査部と、被写体に向けて前記照明光を射出する射出部と、前記照明光で照明された前記被写体からの信号光を検出して該信号光に基づく第1の検出信号を得る第1の光検出部と、前記照明光で照明された前記被写体からの信号光を検出して該信号光に基づく第2の検出信号を得る第2の光検出部と、前記第1の検出信号および前記第2の検出信号の各々のホワイトバランスを調整するホワイトバランス調整部とを備え、該ホワイトバランス調整部が、前記照明光で照明された白色の物体からの光を前記第1の光検出部によって検出して得られた第1の検出信号に基づいて当該第1の検出信号のホワイトバランスを調整し、ホワイトバランスが調整された前記第1の検出信号に基づいて前記第2の検出信号のホワイトバランスを調整する光走査型観察装置である。
 本態様によれば、照明光が走査部において走査され、被写体に向けて照明光が射出されると、被写体で発生した信号光が第1の光検出部によって検出される。したがって、第1の光検出部によって得られた第1の検出信号に基づいて被写体の画像を作成することができる。
 この場合に、第1の光検出部によって取得される第1の検出信号のホワイトバランスが、白色の物体を用いて調整される。そして、第1の光検出部によって被写体からの信号光を検出することで、ホワイトバランスが調整された信号光の第1の検出信号が得られる。
 このようにホワイトバランスが調整された第1の検出信号からは、間接的に白色の情報が得られる。したがって、ホワイトバランス調整部は、ホワイトバランスが調整された第1の検出信号に基づいて、第2の光検出部によって得られた第2の検出信号のホワイトバランスを調整することが可能である。すなわち、第2の検出信号のホワイトバランスを、射出部からの照明光および白色の物体を使用せずに調整することができる。これにより、被写体の観察の途中に追加された第2の光検出部のホワイトバランス調整を、観察を中断することなく、かつ簡便に行うことができる
 上記態様においては、前記ホワイトバランス調整部は、前記白色の物体からの光を前記第1の光検出部によって検出して得られた前記第1の検出信号に基づいて、当該第1の検出信号のホワイトバランスを調整するための第1のホワイトバランス調整係数を算出し、該第1のホワイトバランス調整係数と、前記照明光で照明された前記被写体からの信号光を前記第1の光検出部および前記第2の光検出部によってそれぞれ検出して得られた第1の検出信号および第2の検出信号とに基づいて、該第2の検出信号のホワイトバランスを調整するための第2のホワイトバランス調整係数を算出してもよい。
 このようにして算出された第2のホワイトバランス調整係数に基づいて、第2の検出信号のホワイトバランスをより正確に調整することができる。
 上記態様においては、前記ホワイトバランス調整部は、共に所定の範囲内の強度を有する前記第1の検出信号および前記第2の検出信号に基づいて、前記第2のホワイトバランス調整係数を算出してもよい。
 第1および第2の検出信号の少なくとも一方がノイズレベルまたは飽和レベルである場合、適切な第2のホワイトバランス調整係数を算出することができない。ノイズレベルよりも大きく飽和レベルよりも小さい所定の範囲内の強度の第1および第2の検出信号を用いることで、第2の検出信号のホワイトバランスをより正確に調整可能な第2のホワイトバランス調整係数を算出することができる。
 本発明の他の態様は、照明光を射出する射出部と、前記照明光で照明された被写体からの信号光を検出して該信号光に基づく第1の検出信号を得る第1の光検出部と、前記照明光で照明された前記被写体からの信号光を検出して該信号光に基づく第2の検出信号を得る第2の光検出部とを備える光走査型観察装置のホワイトバランス調整方法であって、前記照明光で照明された白色の物体からの光を前記第1の光検出部によって検出して前記白色の物体からの光に基づく第1の検出信号を得る工程と、前記白色の物体からの光に基づく前記第1の検出信号に基づいて、前記被写体からの前記信号光に基づく前記第1の検出信号のホワイトバランスを調整する工程と、ホワイトバランスが調整された前記第1の検出信号に基づいて、前記被写体からの信号光に基づく前記第2の検出信号のホワイトバランスを調整する工程とを含む光走査型観察装置のホワイトバランス調整方法である。
 本発明によれば、追加された光検出部のホワイトバランス調整を、観察を中断することなく、かつ簡便に行うことができるという効果を奏する。
本発明の一実施形態に係る光走査型観察装置の全体構成図である。 ホワイトバランス調整処理における図1の光走査型観察装置の動作を説明するフローチャートである。 ホワイトバランス調整処理における図1の光走査型観察装置の動作を説明するフローチャートである。 図1の光走査型観察装置の挿入部にホワイトバランスキャップを取り付けた状態を示す図である。 図2および図3のホワイトバランス調整処理において取得される検出値およびホワイトバランス調整係数の値の一例を示す図である。 第1の光検出部を用いて取得される画像の一例である。 第2の光検出部を用いて取得される画像の一例である。
 以下に、本発明の一実施形態に係る光走査型観察装置について、図面を参照して説明する。
 本実施形態に係る光走査型観察装置100は、図1に示されるように、照明光Lを出力する光源部1と、光源部1から出力された照明光Lを走査する走査部2と、生体Bの体内に挿入され走査部2によって走査された照明光Lを体内の被写体Aに向けて射出する長尺の挿入部(射出部)3と、照明光Lの被写体Aからの反射光(信号光)L’を検出する複数の光検出部4,5と、複数の光検出部4,5によって検出された反射光L’の検出信号の各々のホワイトバランスを調整するホワイトバランス調整部6と、被写体Aの画像を構築する画像構築部7と、ユーザによって操作されるユーザインタフェース8と、光源部1、走査部2、光検出部4,5、ホワイトバランス調整部6および画像構築部7を制御する制御部9とを備えている。
 光源部1、ホワイトバランス調整部6、画像構築部7、および制御部9は、挿入部3の基端に接続された装置本体10内に設けられている。ユーザインタフェース8は、装置本体10外に設けられ、装置本体10内の制御部9に接続されている。装置本体10には、画像構築部7によって作成された画像を表示するディスプレイ11が接続されている。
 光源部1は、赤(R)、緑(G)および青(B)のレーザ光をそれぞれ発生する3個のレーザダイオードのようなレーザ光源(光源)12R,12G,12Bと、レーザ光源12R,12G,12Bからの3色のレーザ光を合波する結合器13と、レーザ光源12R,12G,12Bを制御する発光制御部14とを備えている。
 結合器13は、ファイバ型コンバイナやダイクロックプリズム等を用いて構成される。
 発光制御部14は、3個のレーザ光源12R,12G,12Bを順番に発光させることで、結合器13からR、G、Bのレーザ光を照明光Lとして順番に出力させる。
 挿入部3は、該挿入部3内に長手方向に沿って配置され光源部1からの照明光Lを導光するシングルモードファイバからなる照明用の光ファイバ15と、光ファイバ15の先端から射出された照明光Lを集光して被写体Aにスポットを形成する照明レンズ16とを備えている。
 走査部2は、光ファイバ15の先端部に設けられたアクチュエータ17と、制御部9からの駆動信号に従ってアクチュエータ17を駆動させるアクチュエータドライバ18とを備えている。
 アクチュエータ17は、例えば、光ファイバ15の側面に固定された圧電素子を備える圧電アクチュエータである。アクチュエータドライバ18は、圧電素子に電圧を印加して圧電素子を伸縮させることによって、光ファイバ15の先端を該光ファイバ15の径方向に振動させ、それにより先端から射出される照明光Lを2次元的に走査するようになっている。
 複数の光検出部4,5のうち、1つの光検出部(第1の光検出部)4は挿入部3に一体に設けられ、残りの光検出部(第2の光検出部)5は挿入部3とは別体に設けられている。以下、2つの第2の光検出部5を備える構成について説明するが、第2の光検出部5の数は3つ以上であってもよい。
 第1の光検出部4は、挿入部3に設けられた受光用の光ファイバ19と、光ファイバ19によって受光された反射光L’を検出する光検出器20とを備える。光ファイバ19は、挿入部3の先端から装置本体10内の光検出器20まで挿入部3内に長手方向に沿って配置されている。被写体Aからの反射光L’は、光ファイバ19の先端面において受光され、光ファイバ19によって光検出器20まで導光される。光検出器20は、光ファイバ19から入射した反射光L’の強度に基づく第1の検出信号を出力する。
 光検出器20から出力された第1の検出信号は、第1のアナログデジタル変換器(ADC)21によってデジタル変換されることで第1の検出信号のデジタル値(第1の検出値)V1が得られ、第1の検出値V1がホワイトバランス調整部6に入力される。ここで、照明光LとしてR、G、Bのレーザ光が順番に挿入部3から射出され、R、G、Bの反射光L’が順番に第1の光検出部4によって検出されるので、R、G、Bの反射光L’の強度値が第1の検出値V1として順番にホワイトバランス調整部6に入力される。
 各第2の光検出部5は、挿入部3とは別体に設けられ生体B内に挿入される受光用の光ファイバ22と、光ファイバ22によって受光された反射光L’を検出する光検出器23とを備える。被写体Aからの反射光L’は、光ファイバ22の先端面において受光され、光ファイバ22によって光検出器23まで導光される。光検出器23は、光ファイバ22から入射した反射光L’の強度に基づく第2の検出信号を出力する。
 光検出器23から出力された第2の検出信号は、第2のアナログデジタル変換器(ADC)24によってデジタル変換されることで第2の検出信号のデジタル値(第2の検出値)V2が得られ、第2の検出値V2がホワイトバランス調整部6に入力される。ここで、第1の検出値V1と同様に、R、G、Bの反射光L’の強度値が第2の検出値V2として順番にホワイトバランス調整部6に入力される。
 光検出器23および第2のADC24は、装置本体10内に設けられている。光ファイバ22は、装置本体10に設けられたコネクタ(図示略)に着脱可能であり、コネクタを介して対応する光検出器23に接続されるようになっている。
 ホワイトバランス調整部6は、第1の検出値V1のホワイトバランスを調整するための第1のホワイトバランス調整係数(以下、第1の係数という。)WB1を算出し、第1の係数WB1を用いてホワイトバランスが調整された第1の検出値V1’を画像構築部7に送信する。また、ホワイトバランス調整部6は、第2の検出値V2のホワイトバランスを調整するための第2のホワイトバランス調整係数(以下、第2の係数という。)WB2を算出し、第2の係数WB2を用いてホワイトバランスが調整された第2の検出値V2’を画像構築部7に送信する。ホワイトバランス調整部6による処理については、後で詳述する。
 画像構築部7は、ホワイトバランス調整部6から受信した検出値V1’,V2’と、制御部9から受信した照明光Lの走査位置情報とに基づいて2次元の画像を作成する。作成された画像は画像構築部7からディスプレイ11に送信され、ディスプレイ11に表示される。
 ユーザインタフェース8は、ユーザによって押下される第1のボタン(図示略)および第2のボタン(図示略)を有している。第1のボタンは、第1の係数WB1の算出を指示するためのボタンである。第2のボタンは、第2の係数WB2の算出を指示するためのボタンであり、2つの第2の光検出部5に対応して2個設けられている。ユーザインタフェース8は、第1のボタンが押下されたときに第1の押下信号を制御部9に送信し、第2のボタンが押下されたときに第2の押下信号を制御部9に送信する。
 制御部9は、3つのレーザ光源12R,12G,12Bの点灯タイミングを制御するとともに、走査部2による各レーザ光源12R,12G,12Bからの照明光Lの走査位置を制御する。また、制御部9は、挿入部3から射出される照明光Lの走査位置情報を画像構築部7に送信する。また、制御部9は、ユーザインタフェース8からの第1の押下信号および第2の押下信号に基づいてホワイトバランス調整部6を制御する。
 次に、ホワイトバランス調整部6による第1の検出値V1および第2の検出値V2のホワイトバランス調整処理について説明する。
 ホワイトバランス調整処理は、第1の光検出部4によって取得された第1の検出値V1用の第1の係数WB1を算出する第1の段階と、第2の光検出部5によって取得された第2の検出値V2用の第2の係数WB2を算出する第2の段階とを含む。ホワイトバランス調整部6は、第1の押下信号に基づく制御部9からの指示に応答して第1の段階を実行し、第2の押下信号に基づく制御部9からの指示に応答して第2の段階を実行する。
 第1の段階は、基準となる白色を有する物体からの反射光L’に基づく第1の検出値V1を得る検出工程と、検出工程で取得された第1の検出値V1に基づいて第1の係数WB1を算出する算出工程とを含む。したがって、第1の段階は、光源部1および第1の光検出部4を作動させ、白色の物体が挿入部3からの照明光Lで照明されて白色の物体からの反射光L’が第1の光検出部4によって検出されている状態で実行される。
 検出工程において、ホワイトバランス調整部6は、第1のADC21から受信した1組のR、G、Bの第1の検出値V1を保持する。
 次に、算出工程において、ホワイトバランス調整部6は、保持されたR、G、Bの第1の検出値V1に基づいて、R、G、Bの第1の検出値V1の各々に対する第1の係数WB1を算出する。つまり、R、G、B用の3個の値が第1の係数WB1として算出される。具体的には、ホワイトバランス調整部6は、R、G、B用の第1の係数WB1の比が、R、G、Bの検出値V1の逆数の比と等しくなるように、R、G、Bの第1の検出値V1の逆数から第1の係数WB1を算出する。
 ホワイトバランス調整部6は、算出された第1の係数WB1を保持し、その後は、第1のADC21から受信する第1の検出値V1に第1の係数WB1を乗算することでホワイトバランスが調整された第1の検出値V1’を算出し、第1の検出値V1’を画像構築部7に送信する。ここで、第1のADC21のビット数と画像構築部7で作成される画像のビット数とが相互に異なる場合には、第1の検出値V1’が画像のビット数に適した範囲内の値となるように、ホワイトバランス調整部6は、第1の検出値V1’を調整する。
 第2の段階は、体内の被写体Aからの反射光L’に基づく第1の検出値V1を得る第1の検出工程と、体内の被写体Aからの反射光L’に基づく第2の検出値V2を得る第2の検出工程と、第1および第2の検出工程で得られた第1および第2の検出値V1,V2と、第1の段階の算出工程で算出された第1の係数WB1とに基づいて第2の係数WB2を算出する算出工程とを含む。したがって、第2の段階は、光源部1ならびに第1および第2の光検出部4,5を作動させ、被写体Aが挿入部3からの照明光Lで照明されて被写体Aからの反射光L’が第1および第2の光検出部4,5によって検出されている状態で実行される。
 第1の検出工程において、ホワイトバランス調整部6は、第1のADC21から受信した1組のR、G、Bの第1の検出値V1を保持する。
 次に、第2の検出工程において、ホワイトバランス調整部6は、第2のADC24から受信した1組のR、G、Bの第2の検出値V2を保持する。
 次に、算出工程において、ホワイトバランス調整部6は、下式(1)に基づいて第2の係数WB2を算出する。
 WB2=V1×WB1÷V2   …(1)
 ホワイトバランス調整部6は、算出された第2の係数WB2を保持し、その後は、第1のADC21から受信する第1の検出値V1に第1の係数WB1を乗算することでホワイトバランスが調整された第1の検出値V1’を算出するとともに、第2のADC24から受信する第2の検出値V2に第2の係数WB2を乗算することでホワイトバランスが調整された第2の検出値V2’を算出し、検出値V1’,V2’を画像構築部7に送信する。
 上述したホワイトバランス調整部6、画像構築部7、制御部9および発光制御部14は、各部6,7,9,14の処理をCPU(中央演算処理装置)のようなプロセッサに実行させるプログラムとして実現される。すなわち、装置本体10内に、プロセッサと、主記憶装置と、プログラムを格納する非一時的な補助記憶装置とが設けられる。プログラムが補助記憶装置から主記憶装置に読み出され、プロセッサがプログラムに従って処理を実行することで、上述したホワイトバランス調整部6、画像構築部7、制御部9、発光制御部14の機能が実現されるようになっている。
 次に、このように構成された光走査型観察装置100の作用について、図2および図3のフローチャートを参照して説明する。
 本実施形態に係る光走査型観察装置100を用いて体内の被写体Aの観察を行うためには、被写体Aの観察に先立って、第1の光検出部4を用いて取得される画像のホワイトバランスを調整するための以下の手順を実行する。
 図2および図3は、本実施形態に係る光走査型観察装置100のホワイトバランス調整方法を示している。
 まず、ユーザは、図2に示されるように、白色の物体を使用して第1の光検出部4用の第1の係数WB1を取得するための操作を行う。白色の物体として、例えば、図4に示されるように、挿入部3の先端部に取り付けられる白色のホワイトバランスキャップ30が使用される。ユーザは、体外に配置された挿入部3の先端部にホワイトバランスキャップ30を取り付け、光源部1、走査部2および第1の光検出部4を作動させる。これにより、挿入部3の先端からホワイトバランスキャップ30に照明光Lが照射され、反射光L’が第1の光検出部4によって検出される(ステップSA1)。ホワイトバランスキャップ30には、照明光LとしてR、G、Bのレーザ光が順番に照射され、第1の光検出部4によってR、G、Bの反射光L’に基づく第1の検出値V1が得られる(ステップSA2)。
 この時点では、第1の係数WB1が未だ取得されていないので、ホワイトバランス調整部6からは、第1のADC21から出力された第1の検出値V1がそのまま画像構築部7に送信され、画像構築部7では、第1の検出値V1に基づく画像が作成されてディスプレイ11に表示される(ステップSA3)。したがって、表示されるホワイトバランスキャップ30の画像は、白色以外の色であり得る。
 ユーザは、ディスプレイ11に表示されるホワイトバランスキャップ30の画像を観察し、ホワイトバランス調整に適切な画像が取得されていることを確認し、続いて、ユーザインタフェース8の第1のボタンを押下する(ステップSA4のYES)。第1のボタンの押下によってユーザインタフェース8から制御部9に第1の押下信号が送信され、第1の押下信号に応答して制御部9がホワイトバランス調整部6に第1の段階を実行させることで、第1の係数WB1が算出される(ステップSA5,SA6)。具体的には、ホワイトバランス調整部6は、第1のボタンが押下されたときに第1の光検出部4によって取得されたR、G、Bの第1の検出値V1を保持し(ステップSA5)、保持されたR、G、Bの第1の検出値V1の逆数に基づいて第1の係数WB1を算出して第1の係数WB1を記憶する(ステップSA6)。
 図5は、ホワイトバランス調整処理の各ステップにおける検出値V1,V1’,V2,V2’および係数WB1,WB2の例を示している。この例では、R、G、Bのレーザ光の光量が相互に等しく、第1の光検出部4のR、G、Bの感度の比が、0.4:0.5:0.2であると仮定している。
 図5に示されるように、R、G、Bの第1の検出値V1が、3200、4000、1600である場合、R、G、B用の第1の係数WB1として1.25、1.00、2.50が算出される。そして、第1の検出値V1に第1の係数WB1を乗算することで、画像の画素の階調値Vとして使用される第1の検出値V1’が算出される。ここで、第1のADC21が12ビットであり、画像が8ビットである場合には、第1の検出値V1’を任意の係数、例えば16で除算することで、最終的なR、G、Bの第1の検出値V1’が算出される。
 最終的なR、G、Bの第1の検出値V1’が画像の最大階調値未満の値となるように、係数が設定されてもよい。例えば、8ビットの画像の最大階調値は255であるため、R、G、Bの第1の検出値V1’が全て255であるときに画像の色は完全な白色となるが、R、G、Bの第1の検出値V1’が250になるように係数を調整してもよい。このようにすることで、階調値Vの飽和によって画像内で色が正確に再現されなくなることを防ぐことができる。
 ホワイトバランス調整部6に第1の係数WB1が一度記憶されると、ホワイトバランス調整部6は、第1の係数WB1を用いて第1の検出値V1のホワイトバランス調整を行い(ステップSA7,SA8,SA9)、ホワイトバランスが調整されたR、G、Bの第1の検出値V1’を画像構築部7に送信するようになる。これにより、ディスプレイ11には、ホワイトバランスが調整された白色のホワイトバランスキャップ30の画像が表示される(ステップSA10)。
 ユーザは、表示されている画像のホワイトバランスが適切に調整されていることを確認し、その後、挿入部3の先端が被写体Aに対向するように挿入部3を体内に挿入し、被写体Aの観察を開始する。
 被写体Aの観察の開始後、第1の光検出部4の光ファイバ19による反射光L’の受光量不足により画像の明るさが足りない場合、ユーザは、光ファイバ22の先端が被写体Aに対向するように一方の第2の光検出部5の光ファイバ22を生体B内に追加で挿入し、第2の光検出部5用の第2の係数WB2を取得するための手順を実行する。
 まず、ユーザは、既に作動している光源部1、走査部2および第1の光検出部4に加えて、一方の第2の光検出部5を作動させる。これにより、図3に示されるように、第1の光検出部4による反射光L’の検出、第1の係数WB1を用いた第1の検出値V1のホワイトバランス調整、およびホワイトバランスが調整された第1の検出値V1’に基づく画像の生成(ステップSB1~SB4)と並行して、第2の光検出部5による反射光L’の検出が行われる(ステップSB5,SB6)。
 図5の例において、ステップSB2でのR、G、Bの第1の検出値V1が、1008、1065、360である場合、ホワイトバランス調整後のR、G、Bの第1の検出値V1’として、79、67、56と算出される。この例では、第2の光検出部5のR、G、Bの感度の比が、1.0:0.4:0.2であり、被写体Aが、R:G:B=252:213:180に相当する色を有していると仮定している。
 次に、ユーザは、一方の第2の光検出部5に対応する一方の第2のボタンを押下する(ステップSB7のYES)。第2のボタンの押下によってユーザインタフェース8から制御部9に第2の押下信号が送信され、第2の押下信号に応答して制御部9がホワイトバランス調整部6に第2の段階を実行させることで、第2の係数WB2が算出される(ステップSB8,SB9)。
 具体的には、ホワイトバランス調整部6は、第2のボタンが押下されたときに第1および第2の光検出部4,5によって取得されたR、G、Bの第1の検出値V1およびR、G、Bの第2の検出値V2を保持する(ステップSB8)。次に、ホワイトバランス調整部6は、保持されたR、G、Bの第1および第2の検出値V1,V2と、ステップSA6で算出および記憶された第1の係数WB1とを用いて、式(1)から第2の係数WB2を算出して第2の係数WB2を記憶する(ステップSB9)。
 ホワイトバランス調整部6に第2の係数WB2が一度記憶されると、ホワイトバランス調整部6は、係数WB1,WB2を用いて第1の検出値V1および第2の検出値V2のホワイトバランス調整をそれぞれ行い(ステップSB10,SB11,SB12)、ホワイトバランスが調整されたR、G、Bの第1および第2の検出値V1’,V2’を画像構築部7に送信するようになる。画像構築部7は、第1の検出値V1’および第2の検出値V2’の和を画素の階調値Vとして使用して画像を作成する(ステップSB13)。
 これにより、ディスプレイ11には、明るさが増大しホワイトバランスが調整された被写体Aの画像が表示される。
 図5の例において、ステップSB8でのR、G、Bの第2の検出値V2が、5040、1704、720である場合、R、G、B用の第2の係数WB2として0.25、0.63、1.25と算出される。そして、第2の検出値V2に第2の係数WB2を乗算することで、第2の検出値V2’として158、134、113と算出される。ここでも、第2の検出値V2’が8ビット内の値となるように、例えば8で除算することで、最終的なR、G、Bの第2の検出値V2’が算出される。
 2つの光ファイバ19,22による反射光L’の受光量不足により画像の明るさがまだ足りない場合、ユーザは、光ファイバ22の先端が被写体Aに対向するように他方の第2の光検出部5の光ファイバ22を生体B内に追加で挿入し、ステップSB7~SB9を再度行うことで、他方の第2の光検出部5用の第2の係数WB2を取得する。これにより、第1の検出値V1’および2つの第2の検出値V2’の和を画素の階調値Vとし、明るさがさらに増大された画像が作成される。
 このように、本実施形態によれば、基準となる白色の物体を使用して算出された第1の係数WB1と、第1の光検出部4によって取得された第1の検出値V1とから、基準となる白色の情報を間接的に得ることで、ステップSB9では、白色の物体を使用せずに第2の光検出部5用の第2の係数WB2を簡便な手順で算出することが可能である。
 すなわち、生体B内に挿入された挿入部3によって被写体Aの観察を開始した後に第2の光検出部5を追加する場合に、挿入部3を体内に配置した状態のまま第2の光検出部5によって取得される第2の検出値V2のホワイトバランスを調整することができる。これにより、追加された第2の光検出部5のホワイトバランス調整を、体内の被写体Aの観察を中断することなく行うことができるという利点がある。
 本実施形態においては、1つの画素の値に相当する1組のR、G、Bの検出値V1,V2を用いて、第1および第2の係数WB1,WB2を算出することとしたが、これに代えて、例えば、所定の領域内の複数の画素の値に相当する複数組のR、G、Bの検出値V1,V2を用いるか、または、複数の画像内の同一位置の画素の値に相当する複数組のR、G、Bの検出値V1,V2を用いてもよい。このように、複数の組のR、G、Bの検出値V1,V2を用いることで、ノイズの影響を軽減した係数WB1,WB2を算出することができる。
 複数組のR、G、Bの検出値V1,V2を用いる場合には、各組のR、G、Bの検出値V1,V2から第1および第2の係数をそれぞれ算出し、算出された複数の第1および第2の係数のそれぞれの平均値を最終的な係数WB1,WB2として用いてもよい。
 また、本実施形態においては、ホワイトバランス調整時に、照明光Lを走査して2次元の画像を取得しながら第1および第2の検出値V1,V2の取得を行うこととしたが、これに代えて、走査部2を作動させず、照明光Lの位置を一定の位置に維持した状態で第1および第2の検出値V1,V2の取得を行ってもよい。
 また、第2の係数WB2の算出において、ホワイトバランス調整部6は、共に所定の範囲内の第1の検出値V1および第2の検出値V2を使用することが好ましい。
 図6Aは、挿入部3と一体の第1の光検出部4によって検出された反射光L’の画像の一例を示し、図6Bは、挿入部3と別体の第2の光検出部5によって検出された反射光L’の画像の一例を示している。
 図6Aおよび図6Bに示されるように、画像内には、画素値V(すなわちR、G、Bのいずれかの検出値V1,V2)が飽和するハレーション領域R1が存在し得る。また、図6Bに示されるように、被写体Aに対する光ファイバ19,22の位置および向きに応じて、反射光L’がほとんど検出されず画素値V(すなわちR、G、Bのいずれかの検出値V1,V2)が略ゼロとなる暗領域R2が存在し得る。このような領域R1,R2におけるR、G、Bの検出値V1,V2が有する色の情報は正確さに欠けるため、ハレーション領域R1および暗領域R2の検出値V1,V2に基づいてホワイトバランスを正確に調整することができない。
 したがって、ホワイトバランス調整部6は、R、G、Bの全ての第1の検出値V1が所定の範囲内であり、かつ、R、G、Bの全ての第2の検出値V2が所定の範囲内である位置または領域における第1の検出値V1および第2の検出値V2を、第2の係数WB2の計算に使用する。所定の範囲とは、ノイズレベルよりも大きく、飽和レベルよりも小さい範囲である。例えば、第1の検出値V1’に基づく画像と第2の検出値V2’に基づく画像とを作成し、両方の画像内で共通して画素値Vが所定の範囲内となる領域R3を選択し、選択された領域R3における第1および第2の検出値V1,V2を使用する。これにより、R、G、Bの第2の検出値V2のホワイトバランスを正確に調整可能な適切な第2の係数WB2を得ることができる。
 本実施形態においては、算出された第1および第2の係数WB1,WB2が、ホワイトバランス調整部6に保持されることとしたが、これに代えて、制御部9または図示しない記憶部に保持され、ホワイトバランス調整部6が、必要に応じて制御部9または記憶部から第1および第2の係数WB1,WB2を読み出して使用してもよい。
 本実施形態においては、圧電式のアクチュエータ17を備える走査部2を用いることとしたが、これに代えて、他の方式の走査部を用いてもよい。
 例えば、走査部2は、長手方向に磁着されて両端に磁極を有する筒状の永久磁石と、永久磁石の各磁極に対向する位置に設けられた電磁コイルとを備える電磁式のアクチュエータを備えていてもよい。永久磁石内には、光ファイバ15が永久磁石から突出するように挿入され、光ファイバ15の外周面に永久磁石が固定される。アクチュエータドライバ18から電磁コイルに電流が供給されることによって、電磁コイルが永久磁石の磁極の近傍に磁場を発生させて永久磁石が振動し、光ファイバ15が振動するようになっている。
 あるいは、走査部2として、照明光Lを2次元的に走査するガルバノミラーを用いてもよい。
100 光走査型観察装置
1 光源部
2 走査部
3 挿入部(射出部)
4 第1の光検出部
5 第2の光検出部
6 ホワイトバランス調整部
7 画像構築部
8 ユーザインタフェース
9 制御部(ホワイトバランス調整部)
10 装置本体
11 ディスプレイ
12R,12G,12B レーザ光源
13 結合器
14 発光制御部
15 光ファイバ
16 照明レンズ
17 アクチュエータ
18 アクチュエータドライバ
19,22 光ファイバ
20,23 光検出器
21,24 アナログデジタル変換器
30 ホワイトバランスキャップ

Claims (4)

  1.  照明光を走査する走査部と、
     被写体に向けて前記照明光を射出する射出部と、
     前記照明光で照明された前記被写体からの信号光を検出して該信号光に基づく第1の検出信号を得る第1の光検出部と、
     前記照明光で照明された前記被写体からの信号光を検出して該信号光に基づく第2の検出信号を得る第2の光検出部と、
     前記第1の検出信号および前記第2の検出信号の各々のホワイトバランスを調整するホワイトバランス調整部とを備え、
     該ホワイトバランス調整部が、
     前記照明光で照明された白色の物体からの光を前記第1の光検出部によって検出して得られた第1の検出信号に基づいて当該第1の検出信号のホワイトバランスを調整し、
     ホワイトバランスが調整された前記第1の検出信号に基づいて前記第2の検出信号のホワイトバランスを調整する光走査型観察装置。
  2.  前記ホワイトバランス調整部は、
     前記白色の物体からの光を前記第1の光検出部によって検出して得られた前記第1の検出信号に基づいて、当該第1の検出信号のホワイトバランスを調整するための第1のホワイトバランス調整係数を算出し、
     該第1のホワイトバランス調整係数と、前記照明光で照明された前記被写体からの信号光を前記第1の光検出部および前記第2の光検出部によってそれぞれ検出して得られた第1の検出信号および第2の検出信号とに基づいて、該第2の検出信号のホワイトバランスを調整するための第2のホワイトバランス調整係数を算出する請求項1に記載の光走査型観察装置。
  3.  前記ホワイトバランス調整部は、共に所定の範囲内の強度を有する前記第1の検出信号および前記第2の検出信号に基づいて、前記第2のホワイトバランス調整係数を算出する請求項2に記載の光走査型観察装置。
  4.  照明光を射出する射出部と、前記照明光で照明された被写体からの信号光を検出して該信号光に基づく第1の検出信号を得る第1の光検出部と、前記照明光で照明された前記被写体からの信号光を検出して該信号光に基づく第2の検出信号を得る第2の光検出部とを備える光走査型観察装置のホワイトバランス調整方法であって、
     前記照明光で照明された白色の物体からの光を前記第1の光検出部によって検出して前記白色の物体からの光に基づく第1の検出信号を得る工程と、
     前記白色の物体からの光に基づく前記第1の検出信号に基づいて、前記被写体からの前記信号光に基づく前記第1の検出信号のホワイトバランスを調整する工程と、
     ホワイトバランスが調整された前記第1の検出信号に基づいて、前記被写体からの信号光に基づく前記第2の検出信号のホワイトバランスを調整する工程とを含む光走査型観察装置のホワイトバランス調整方法。
PCT/JP2017/023022 2017-06-22 2017-06-22 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法 WO2018235227A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/023022 WO2018235227A1 (ja) 2017-06-22 2017-06-22 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/023022 WO2018235227A1 (ja) 2017-06-22 2017-06-22 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法

Publications (1)

Publication Number Publication Date
WO2018235227A1 true WO2018235227A1 (ja) 2018-12-27

Family

ID=64735556

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023022 WO2018235227A1 (ja) 2017-06-22 2017-06-22 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法

Country Status (1)

Country Link
WO (1) WO2018235227A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012133431A1 (ja) * 2011-03-31 2012-10-04 オリンパスメディカルシステムズ株式会社 内視鏡装置、内視鏡キャップ及び分析方法
JP2013116277A (ja) * 2011-12-05 2013-06-13 Hoya Corp 電子内視鏡スコープ、ホワイトバランス調整方法、電子内視鏡システム、ホワイトバランス調整治具
WO2016208494A1 (ja) * 2015-06-24 2016-12-29 オリンパス株式会社 走査型内視鏡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012133431A1 (ja) * 2011-03-31 2012-10-04 オリンパスメディカルシステムズ株式会社 内視鏡装置、内視鏡キャップ及び分析方法
JP2013116277A (ja) * 2011-12-05 2013-06-13 Hoya Corp 電子内視鏡スコープ、ホワイトバランス調整方法、電子内視鏡システム、ホワイトバランス調整治具
WO2016208494A1 (ja) * 2015-06-24 2016-12-29 オリンパス株式会社 走査型内視鏡システム

Similar Documents

Publication Publication Date Title
JP4745790B2 (ja) 電子内視鏡装置
JP5877289B1 (ja) 内視鏡システム
US8994804B2 (en) Scanning endoscope system
JP2010115391A (ja) 内視鏡装置
US11116384B2 (en) Endoscope system capable of image alignment, processor device, and method for operating endoscope system
JP5963982B2 (ja) 画像処理システム及び画像処理装置
US8545399B2 (en) Medical instrument
US10653304B2 (en) Endoscope and endoscope system
WO2018235227A1 (ja) 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法
WO2018235226A1 (ja) 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法
JP6441020B2 (ja) レーザ顕微鏡
JP5244623B2 (ja) 光走査型内視鏡プロセッサおよび光走査型内視鏡装置
JP2002102147A (ja) 蛍光画像取得装置
JPWO2017072837A1 (ja) 光走査型内視鏡装置および光走査型内視鏡装置の制御方法
US20170325668A1 (en) Scanning endoscope device and method for controlling the same
JP2016049124A (ja) 走査型内視鏡装置
JP6599728B2 (ja) 走査型内視鏡装置
WO2022013953A1 (ja) 撮像システム、内視鏡および制御装置
WO2016098139A1 (ja) レーザ走査型観察装置
WO2017072838A1 (ja) 光走査型観察装置および光走査型観察装置の制御方法
JP6437808B2 (ja) 光走査型観察システム
JP2015150138A (ja) 内視鏡システム、画像生成装置およびマウスピース
WO2017195256A1 (ja) 光走査型観察装置および光走査型観察方法
JP2003135457A (ja) 超音波診断装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17914474

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17914474

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP