WO2018235227A1 - 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法 - Google Patents

光走査型観察装置および光走査型観察装置のホワイトバランス調整方法 Download PDF

Info

Publication number
WO2018235227A1
WO2018235227A1 PCT/JP2017/023022 JP2017023022W WO2018235227A1 WO 2018235227 A1 WO2018235227 A1 WO 2018235227A1 JP 2017023022 W JP2017023022 W JP 2017023022W WO 2018235227 A1 WO2018235227 A1 WO 2018235227A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
white balance
unit
detection
detection signal
Prior art date
Application number
PCT/JP2017/023022
Other languages
English (en)
French (fr)
Inventor
啓一朗 中島
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/023022 priority Critical patent/WO2018235227A1/ja
Publication of WO2018235227A1 publication Critical patent/WO2018235227A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor

Definitions

  • the present invention relates to a light scanning observation apparatus and a white balance adjustment method of the light scanning observation apparatus.
  • an optical scanning endoscope which scans illumination light on a subject and creates an image of the subject based on the illumination position of the illumination light and the signal light from the subject (see, for example, Patent Document 1) ).
  • An image acquired by the light scanning endoscope is subjected to white balance adjustment so as to accurately represent the color of the tissue in the living body which is the subject.
  • white balance adjustment In order to perform white balance adjustment, it is necessary to acquire an image of a white object as a reference. Because such white objects are not normally present in the body, white balance adjustment of the endoscope is generally performed outside the body before inserting the endoscope into the body. Specifically, white balance adjustment is performed so that a white object, such as a white balance cap or white gauze, illuminated with illumination light is observed with an endoscope, and the color of the obtained image is expressed in white. , R signal, G signal and B signal are determined by determining white balance gain values.
  • the present invention has been made in view of the above-described circumstances, and it is possible to easily perform the white balance adjustment of the added light detection unit without interrupting the observation and the light scanning observation device and the light It is an object of the present invention to provide a white balance adjustment method of a scanning observation apparatus.
  • One aspect of the present invention is a scanning unit that scans illumination light, an emission unit that emits the illumination light toward a subject, and signal light from the subject illuminated by the illumination light and detecting the signal light
  • First light detection unit for obtaining a first detection signal based on the second light, and second light for detecting signal light from the subject illuminated by the illumination light to obtain a second detection signal based on the signal light
  • a detection unit for obtaining a first detection signal based on the second light
  • second light for detecting signal light from the subject illuminated by the illumination light to obtain a second detection signal based on the signal light
  • a detection unit and a white balance adjustment unit configured to adjust a white balance of each of the first detection signal and the second detection signal, wherein the white balance adjustment unit is a white object illuminated by the illumination light.
  • White balance of the first detection signal is adjusted based on a first detection signal obtained by detecting the light from the light by the first light detection unit, and the first detection whose white balance is adjusted Said second detection signal based on the signal
  • the illumination light is scanned in the scanning unit and the illumination light is emitted toward the subject
  • the signal light generated by the subject is detected by the first light detection unit. Therefore, the image of the subject can be created based on the first detection signal obtained by the first light detection unit.
  • the white balance of the first detection signal acquired by the first light detection unit is adjusted using a white object. Then, the first light detection unit detects the signal light from the subject to obtain the first detection signal of the signal light whose white balance has been adjusted.
  • the white balance adjustment unit can adjust the white balance of the second detection signal obtained by the second light detection unit based on the first detection signal whose white balance has been adjusted. That is, the white balance of the second detection signal can be adjusted without using the illumination light from the emitting unit and the white object.
  • the white balance adjustment of the second optical detector that are added in the middle of the object of observation, without interrupting the viewing, and can be conveniently carried out
  • the white balance adjustment unit is configured to detect the first detection signal based on the first detection signal obtained by detecting the light from the white object by the first light detection unit. Calculating a first white balance adjustment coefficient for adjusting the white balance of the light source, the first white balance adjustment coefficient, and the signal light from the subject illuminated by the illumination light as the first light detection unit And a second white for adjusting the white balance of the second detection signal based on the first detection signal and the second detection signal respectively obtained by detection by the second light detection unit.
  • the balance adjustment factor may be calculated.
  • the white balance of the second detection signal can be more accurately adjusted based on the second white balance adjustment coefficient calculated in this manner.
  • the white balance adjustment unit calculates the second white balance adjustment coefficient based on the first detection signal and the second detection signal both having an intensity within a predetermined range. It is also good. If at least one of the first and second detection signals is a noise level or a saturation level, an appropriate second white balance adjustment coefficient can not be calculated.
  • a second white balance capable of adjusting the white balance of the second detection signal more accurately by using the first and second detection signals of intensities within a predetermined range larger than the noise level and smaller than the saturation level. An adjustment factor can be calculated.
  • FIG. 6 is a view showing an example of detection values and white balance adjustment coefficients acquired in the white balance adjustment process of FIGS. 2 and 3; It is an example of the image acquired using a 1st light detection part. It is an example of the image acquired using a 2nd light detection part.
  • the light scanning observation apparatus 100 includes a light source unit 1 that outputs illumination light L, and a scanning unit 2 that scans the illumination light L output from the light source unit 1.
  • An image constructing unit 7 constructing an image of the subject A, a user interface 8 operated by the user, a light source unit 1, a scanning unit 2, light detecting units 4 and 5, a white balance adjusting unit 6 and an image constructing unit 7
  • the light source unit 1, the white balance adjustment unit 6, the image construction unit 7, and the control unit 9 are provided in the apparatus main body 10 connected to the proximal end of the insertion unit 3.
  • the user interface 8 is provided outside the device body 10 and connected to the control unit 9 in the device body 10.
  • a display 11 for displaying an image created by the image construction unit 7 is connected to the device body 10.
  • the light source unit 1 includes laser light sources (light sources) 12R, 12G, 12B such as three laser diodes that respectively generate red (R), green (G) and blue (B) laser lights, and laser light sources 12R, A coupler 13 that multiplexes the three-color laser beams from 12G and 12B, and a light emission control unit 14 that controls the laser light sources 12R, 12G, and 12B are provided.
  • the coupler 13 is configured using a fiber type combiner, a die clock prism, or the like.
  • the light emission control unit 14 causes the coupler 13 to sequentially output the R, G, and B laser beams as the illumination light L by causing the three laser light sources 12R, 12G, and 12B to emit light in order.
  • the insertion portion 3 is disposed in the insertion portion 3 along the longitudinal direction, and is provided with an optical fiber 15 for illumination made of a single mode fiber for guiding the illumination light L from the light source portion 1, and emitted from the tip of the optical fiber 15 And an illumination lens 16 for condensing the illumination light L to form a spot on the subject A.
  • the scanning unit 2 includes an actuator 17 provided at the tip of the optical fiber 15 and an actuator driver 18 for driving the actuator 17 in accordance with a drive signal from the control unit 9.
  • the actuator 17 is, for example, a piezoelectric actuator including a piezoelectric element fixed to the side surface of the optical fiber 15.
  • the actuator driver 18 vibrates the tip of the optical fiber 15 in the radial direction of the optical fiber 15 by applying a voltage to the piezoelectric element to expand and contract the piezoelectric element, whereby the illumination light L emitted from the tip is It is designed to scan dimensionally.
  • one light detector (first photodetecting unit) 4 is provided integrally with the insertion portion 3, the remaining light detection unit (second light detector) 5 It provided separately from the insertion portion 3.
  • the configuration including the two second light detection units 5 will be described, but the number of the second light detection units 5 may be three or more.
  • the first light detection unit 4 includes a light receiving optical fiber 19 provided in the insertion unit 3 and a light detector 20 for detecting the reflected light L ′ received by the optical fiber 19.
  • the optical fiber 19 is disposed in the longitudinal direction in the insertion portion 3 from the tip of the insertion portion 3 to the light detector 20 in the device main body 10.
  • the reflected light L ′ from the subject A is received at the end face of the optical fiber 19 and is guided to the light detector 20 by the optical fiber 19.
  • the light detector 20 outputs a first detection signal based on the intensity of the reflected light L ′ incident from the optical fiber 19.
  • the first detection signal output from the light detector 20 is converted into a digital signal by the first analog-to-digital converter (ADC) 21 to obtain a digital value (first detection value) V1 of the first detection signal.
  • the obtained first detected value V1 is input to the white balance adjustment unit 6.
  • the laser light of R, G, and B is sequentially emitted from the insertion portion 3 as the illumination light L, and the reflected light L ′ of R, G, and B is sequentially detected by the first light detection unit 4.
  • the intensity values of the reflected lights L ′ of R, G, and B are sequentially input to the white balance adjustment unit 6 as the first detection value V1.
  • Each second light detection unit 5 the optical fiber 22 for receiving light that is inserted into the provided biometric B separately from the insertion portion 3, the light detecting reflected light L 'that is received by the optical fiber 22 and a detector 23.
  • the reflected light L ′ from the subject A is received at the end face of the optical fiber 22, and is guided to the light detector 23 by the optical fiber 22.
  • the photodetector 23 outputs a second detection signal based on the intensity of the reflected light L ′ incident from the optical fiber 22.
  • the second detection signal output from the light detector 23 is converted into a digital signal by the second analog-to-digital converter (ADC) 24 so that the digital value (second detection value) V2 of the second detection signal is
  • the obtained second detection value V2 is input to the white balance adjustment unit 6.
  • the intensity values of the reflected light L ′ of R, G, and B are sequentially input to the white balance adjustment unit 6 as the second detection value V2.
  • the photodetector 23 and the second ADC 24 are provided in the device body 10.
  • the optical fiber 22 is attachable to and detachable from a connector (not shown) provided in the apparatus main body 10, and is connected to the corresponding light detector 23 through the connector.
  • the white balance adjustment unit 6 calculates a first white balance adjustment coefficient (hereinafter referred to as a first coefficient) WB1 for adjusting the white balance of the first detection value V1, and uses the first coefficient WB1.
  • the first detection value V1 'whose white balance has been adjusted is transmitted to the image construction unit 7.
  • the white balance adjustment unit 6 calculates a second white balance adjustment coefficient (hereinafter referred to as a second coefficient) WB2 for adjusting the white balance of the second detection value V2, and the second coefficient WB2
  • the second detection value V2 'whose white balance is adjusted is transmitted to the image construction unit 7 using The processing by the white balance adjustment unit 6 will be described in detail later.
  • the image construction unit 7 creates a two-dimensional image based on the detection values V 1 ′ and V 2 ′ received from the white balance adjustment unit 6 and the scan position information of the illumination light L received from the control unit 9.
  • the created image is transmitted from the image construction unit 7 to the display 11 and displayed on the display 11.
  • the user interface 8 has a first button (not shown) and a second button (not shown) pressed by the user.
  • the first button is a button for instructing calculation of the first coefficient WB1.
  • the second button is a button for instructing the calculation of the second factor WB2, are provided two corresponding to the two second light detection unit 5.
  • the user interface 8 transmits a first pressing signal to the control unit 9 when the first button is pressed, and transmits a second pressing signal to the control unit 9 when the second button is pressed. .
  • the control unit 9 controls the lighting timings of the three laser light sources 12R, 12G, and 12B, and controls the scanning position of the illumination light L from each of the laser light sources 12R, 12G, and 12B by the scanning unit 2. Further, the control unit 9 transmits scan position information of the illumination light L emitted from the insertion unit 3 to the image construction unit 7. Further, the control unit 9 controls the white balance adjustment unit 6 based on the first pressing signal and the second pressing signal from the user interface 8.
  • the white balance adjustment process includes a first step of calculating a first coefficient WB1 for the first detection value V1 acquired by the first light detection unit 4, and a second step of acquiring the first coefficient WB1. And a second step of calculating a second coefficient WB2 for the second detection value V2.
  • the white balance adjustment unit 6 executes the first step in response to an instruction from the control unit 9 based on the first press signal, and responds to an instruction from the control unit 9 based on the second press signal. Perform two steps.
  • the first step is a detection step of obtaining a first detection value V1 based on the reflected light L ′ from the object having white as a reference, and a first step based on the first detection value V1 acquired in the detection step. And a calculation step of calculating a coefficient WB1 of Therefore, in the first step, the light source unit 1 and the first light detection unit 4 are activated, and the white object is illuminated with the illumination light L from the insertion unit 3 and the reflected light L ′ from the white object is It is performed in the state currently detected by the light detection part 4 of 1.
  • the white balance adjustment unit 6 holds the first detection value V1 of one set of R, G, and B received from the first ADC 21.
  • the white balance adjustment unit 6 determines, based on the held first detection values V1 of R, G, B, the first for each of the first detection values V1 of R, G, B.
  • the coefficient WB1 of That is, three values for R, G, and B are calculated as the first coefficient WB1.
  • the white balance adjustment unit 6 sets R, G so that the ratio of the first coefficients WB1 for R, G, B becomes equal to the ratio of the reciprocal of the detection value V1 of R, G, B. , B from the inverse of the first detection value V1 to calculate a first coefficient WB1.
  • the white balance adjustment unit 6 holds the calculated first coefficient WB1 and thereafter adjusts the white balance by multiplying the first detection value V1 received from the first ADC 21 by the first coefficient WB1.
  • the first detected value V1 ′ is calculated, and the first detected value V1 ′ is transmitted to the image constructing unit 7.
  • the first detection value V1 ′ is in a range suitable for the number of bits of the image.
  • the white balance adjustment unit 6 adjusts the first detection value V1 ′ so as to obtain a value.
  • the second step is a first detection step of obtaining a first detection value V1 based on the reflected light L 'from the subject A in the body, and a second detection value based on the reflected light L' from the subject A in the body
  • the light source unit 1 and the first and second light detection units 4 and 5 are operated, and the subject A is illuminated with the illumination light L from the insertion unit 3 and the reflected light L from the subject A This is performed in a state where 'is detected by the first and second light detection units 4 and 5.
  • the white balance adjustment unit 6 holds the first detection value V1 of one set of R, G, and B received from the first ADC 21.
  • the white balance adjustment unit 6 holds the pair of R, G, B second detection values V2 received from the second ADC 24.
  • the white balance adjustment unit 6 calculates a second coefficient WB2 based on the following expression (1).
  • WB2 V1 ⁇ WB1 ⁇ V2 (1)
  • the white balance adjustment unit 6 holds the calculated second coefficient WB2, and thereafter, adjusts the white balance by multiplying the first detection value V1 received from the first ADC 21 by the first coefficient WB1.
  • the second detection value V2 whose white balance has been adjusted by calculating the first detection value V1 'obtained by the second embodiment and multiplying the second detection value V2 received from the second ADC 24 by the second coefficient WB2. 'it is calculated, and the detection value V1', transmits the V2 'to the image construction unit 7.
  • the white balance adjustment unit 6, the image construction unit 7, the control unit 9, and the light emission control unit 14 described above are programs for causing a processor such as a central processing unit (CPU) to execute the processing of the units 6, 7, 9, and 14.
  • a processor such as a central processing unit (CPU)
  • CPU central processing unit
  • a main storage device for storing a program
  • the program is read from the auxiliary storage device to the main storage device, and the processor executes the processing according to the program to realize the functions of the white balance adjustment unit 6, the image construction unit 7, the control unit 9, and the light emission control unit 14 described above. It is supposed to be
  • the operation of the light scanning observation apparatus 100 configured as described above will be described with reference to the flowcharts of FIGS. 2 and 3.
  • the white of the image acquired using the first light detection unit 4 prior to the observation of the subject A Perform the following steps to adjust the balance.
  • FIGS. 2 and 3 show a method of adjusting the white balance of the light scanning observation apparatus 100 according to the present embodiment.
  • the user performs an operation to obtain the first coefficient WB1 for the first light detection unit 4 using a white object.
  • a white object for example, as shown in FIG. 4, a white white balance cap 30 attached to the tip of the insertion portion 3 is used.
  • the user attaches the white balance cap 30 to the tip of the insertion unit 3 disposed outside the body, and operates the light source unit 1, the scanning unit 2 and the first light detection unit 4. Thereby, the illumination light L is irradiated from the tip of the insertion portion 3 to the white balance cap 30, and the reflected light L 'is detected by the first light detection portion 4 (step SA1).
  • the white balance cap 30 is sequentially irradiated with laser light of R, G, and B as the illumination light L, and the first light detection unit 4 generates a first detection value based on the reflected light L ′ of R, G, and B. V1 is obtained (step SA2).
  • the white balance adjustment unit 6 transmits the first detection value V1 output from the first ADC 21 to the image construction unit 7 as it is.
  • the construction unit 7 generates an image based on the first detection value V1 and displays the image on the display 11 (step SA3).
  • the displayed image of the white balance cap 30 may be a color other than white.
  • the user observes the image of the white balance cap 30 displayed on the display 11, confirms that an image suitable for white balance adjustment has been acquired, and then presses the first button of the user interface 8 (YES in step SA4).
  • a first press signal is transmitted from the user interface 8 to the control unit 9, and in response to the first press signal, the control unit 9 causes the white balance adjustment unit 6 to execute the first step.
  • the first coefficient WB1 is calculated (steps SA5 and SA6).
  • the white balance adjustment unit 6 holds the first detection value V1 of R, G, B acquired by the first light detection unit 4 when the first button is pressed (step SA5)
  • the first coefficient WB1 is calculated based on the reciprocal of the stored first detection value V1 of R, G, B, and the first coefficient WB1 is stored (step SA6).
  • FIG. 5 shows an example of detection values V1, V1 ', V2, V2' and coefficients WB1, WB2 at each step of the white balance adjustment processing.
  • the light amounts of the R, G, and B laser beams are equal to one another, and the sensitivity ratio of R, G, and B of the first light detection unit 4 is 0.4: 0.5: 0.2. It is assumed that there is.
  • the first coefficients WB1 for R, G, B are 1.25, 1.. 00,2.50 is calculated.
  • the first detection value V1 is multiplied by the first coefficient WB1 to calculate the first detection value V1 'used as the gradation value V of the pixel of the image.
  • the first detection value V1 ′ is divided by an arbitrary coefficient, for example, 16 to obtain the final R, G,.
  • a first detection value V1 'of B is calculated.
  • the coefficients may be set such that the final first detection values V1 'of R, G, B become less than the maximum tone value of the image. For example, since the maximum gradation value of the 8-bit image is 255, the color of the image is completely white when the first detection values V1 'of R, G, B are all 255, but R, The coefficients may be adjusted so that the first detection values V1 ′ of G and B become 250. By doing this, it is possible to prevent that the color is not accurately reproduced in the image due to the saturation of the gradation value V.
  • the white balance adjustment unit 6 performs white balance adjustment of the first detection value V1 using the first coefficient WB1 (steps SA7 and SA8). , SA9), and transmits the first detection values V1 ′ of R, G, B whose white balance has been adjusted, to the image construction unit 7. Thereby, the display 11 displays an image of the white balance cap 30 with the white balance adjusted (step SA10).
  • the user confirms that the white balance of the displayed image is properly adjusted, and then inserts the insertion unit 3 into the body so that the tip of the insertion unit 3 faces the subject A. Start observation. If the brightness of the image is insufficient due to the insufficient light reception amount of the reflected light L ′ by the optical fiber 19 of the first light detection unit 4 after the start of the observation of the subject A, the user The optical fiber 22 of one second light detection unit 5 is additionally inserted into the living body B so as to face each other, and a procedure for acquiring a second coefficient WB2 for the second light detection unit 5 is executed. .
  • the user operates one second light detection unit 5 in addition to the light source unit 1, the scanning unit 2, and the first light detection unit 4 that are already operating.
  • the detection of the reflected light L ′ by the first light detection unit 4 the white balance adjustment of the first detection value V1 using the first coefficient WB1, and the white balance adjustment
  • the second light detection unit 5 detects the reflected light L ′ (steps SB5 and SB6).
  • step SB7 the user presses one second button corresponding to one second light detection unit 5 (YES in step SB7).
  • a second press signal is transmitted from the user interface 8 to the control unit 9, and in response to the second press signal, the control unit 9 causes the white balance adjustment unit 6 to execute the second step.
  • the second coefficient WB2 is calculated (steps SB8 and SB9).
  • the white balance adjustment unit 6 sets the first detection value V1 of R, G, and B acquired by the first and second light detection units 4 and 5 when the second button is pressed. And the second detection value V2 of R, G, B (step SB8).
  • the white balance adjustment unit 6 uses the first and second detection values V1 and V2 of R, G and B held and the first coefficient WB1 calculated and stored in step SA6.
  • the second coefficient WB2 is calculated from the equation (1) to store the second coefficient WB2 (step SB9).
  • the white balance adjustment unit 6 uses the coefficients WB1 and WB2 to adjust the white balance of the first detection value V1 and the second detection value V2.
  • the respective operations are performed (steps SB10, SB11, SB12), and the first and second detection values V1 ', V2' of R, G, B whose white balance has been adjusted are transmitted to the image construction unit 7.
  • the image construction unit 7 creates an image using the sum of the first detection value V1 ′ and the second detection value V2 ′ as the gradation value V of the pixel (step SB13).
  • the display 11 displays the image of the subject A whose brightness is increased and the white balance is adjusted.
  • the second coefficient WB2 for R, G, B is 0.25, 0.63,1.25 to be calculated. Then, by multiplying the second coefficient WB2 the second detection value V2, it is calculated as the second detection value V2 158,134,113 as'. Again, 'so that a value within 8-bit, is divided by the example 8, the final R, G, the second detection value V2 of the B' second detection value V2 is calculated.
  • the user detects the other second light so that the tip of the optical fiber 22 faces the subject A the optical fiber 22 parts 5 and additionally inserted into a living body B, by performing the steps SB7 ⁇ SB9 again, obtaining a second coefficient WB2 for the second optical detection section 5 of the other.
  • the sum of the first detection value V1 'and the two second detection value V2' to the tone value V of the pixel, the brightness was further increased image is created.
  • the second coefficient WB2 for the second light detection unit 5 can be calculated by a simple procedure by indirectly obtaining the white information as a reference without using a white object. possible it is.
  • the second light detection unit 5 when the second light detection unit 5 is added after the observation of the subject A is started by the insertion unit 3 inserted into the living body B, the second light detection is performed while the insertion unit 3 is disposed in the body
  • the white balance of the second detection value V2 acquired by the unit 5 can be adjusted.
  • the white balance adjustment of the added second light detection unit 5 can be performed without interrupting the observation of the subject A in the body.
  • the first and second coefficients WB1 and WB2 are calculated using a pair of detection values V1 and V2 of R, G and B corresponding to the value of one pixel.
  • a plurality of sets of detection values V1 and V2 of R, G and B corresponding to the values of a plurality of pixels in a predetermined area are used, or pixels of the same position in a plurality of images
  • a plurality of sets of R, G, B detected values V1, V2 corresponding to the values may be used.
  • the coefficients WB1 and WB2 in which the influence of noise is reduced can be calculated.
  • the first and second coefficients are calculated from the detection values V1 and V2 of each set of R, G and B, respectively.
  • the average value of each of the plurality of first and second coefficients may be used as the final coefficients WB1 and WB2.
  • the first and second detection values V1, V2 are acquired while scanning the illumination light L to acquire a two-dimensional image.
  • the first and second detection values V1 and V2 may be acquired while maintaining the position of the illumination light L at a constant position without operating the scanning unit 2.
  • FIG. 6A shows an example of an image of the reflected light L ′ detected by the first light detection unit 4 integral with the insertion unit 3
  • FIG. 6B shows a second light detection unit 5 separate from the insertion unit 3.
  • 8 shows an example of the image of the reflected light L ′ detected by
  • the image, the pixel values V (i.e. R, G, either the detected value of B V1, V2) can exist halation region R1 is saturated. Further, as shown in FIG. 6B, depending on the position and orientation of the optical fibers 19 and 22 with respect to the subject A, the reflected light L ′ is hardly detected and the pixel value V (ie detection of any of R, G, B) values V1, V2) is dark region R2 can exist as a substantially zero. Since the information of the color possessed by the detection values V1 and V2 of R, G and B in such areas R1 and R2 lack accuracy, white balance is determined based on the detection values V1 and V2 of the halation area R1 and the dark area R2. It can not be adjusted accurately.
  • all the first detection values V1 of R, G and B are within the predetermined range, and all the second detection values V2 of R, G and B are predetermined.
  • the first detection value V1 and the second detection value V2 at a position or area that is within the range are used for the calculation of the second coefficient WB2.
  • the predetermined range is greater than the noise level, a range smaller than the saturation level.
  • an image based on the first detection value V1 ′ and an image based on the second detection value V2 ′ are created, and a region R3 in which the pixel value V falls within a predetermined range in common in both images is selected.
  • the calculated first and second coefficients WB1 and WB2 are held in the white balance adjustment unit 6, but instead, they are held in the control unit 9 or a storage unit (not shown). it is, white balance adjustment unit 6, may be used from the control unit 9 or the storage unit as required by reading the first and second coefficient WB1, WB2.
  • the scanning unit 2 including the piezoelectric actuator 17 is used.
  • the scanning unit 2 includes an electromagnetic actuator including a cylindrical permanent magnet magnetically attached in the longitudinal direction and having magnetic poles at both ends, and an electromagnetic coil provided at a position facing each magnetic pole of the permanent magnet. It may be In the permanent magnet, the optical fiber 15 is inserted so as to protrude from the permanent magnet, and the permanent magnet is fixed to the outer peripheral surface of the optical fiber 15. By supplying a current from the actuator driver 18 to the electromagnetic coil, the electromagnetic coil generates a magnetic field in the vicinity of the magnetic pole of the permanent magnet to vibrate the permanent magnet, and the optical fiber 15 vibrates.
  • a galvano mirror that two-dimensionally scans the illumination light L may be used as the scanning unit 2.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Processing Of Color Television Signals (AREA)
  • Endoscopes (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

光走査型観察装置（１００）は、照明光を走査する走査部（２）と、照明光を被写体に向けて射出する射出部（３）と、照明光で照明された被写体からの光に基づく第１の検出信号および第２の検出信号をそれぞれ得る第１の光検出部（４）および第２の光検出部（５）と、照明光で照明された白色の物体からの光に基づく第１の検出信号に基づいて当該第１の検出信号のホワイトバランスを調整し、ホワイトバランスが調整された第１の検出信号に基づいて第２の検出信号のホワイトバランスを調整するホワイトバランス調整部（６）とを備える。

Description

光走査型観察装置および光走査型観察装置のホワイトバランス調整方法
　本発明は、光走査型観察装置および光走査型観察装置のホワイトバランス調整方法に関するものである。
　従来、被写体上で照明光を走査し、照明光の照射位置と被写体からの信号光とに基づいて被写体の画像を作成する光走査型内視鏡が知られている（例えば、特許文献１参照。）。光走査型内視鏡によって取得された画像は、被写体である生体内の組織の色を正確に表現するようにホワイトバランス調整が行われる。
　ホワイトバランス調整を行うためには、基準となる白色の物体の画像を取得する必要がある。このような白色の物体は通常は体内に存在しないため、内視鏡のホワイトバランス調整は、一般に、内視鏡を体内に挿入する前に体外で実施される。具体的には、ホワイトバランス調整は、照明光で照明された、ホワイトバランスキャップや白いガーゼ等の白色の物体を内視鏡で観察し、取得された画像の色が白色で表現されるように、Ｒ信号、Ｇ信号およびＢ信号のそれぞれに対するホワイトバランスゲイン値を決定することで行われる。
特開２０１６－１０６８２９号公報
　被写体の観察中に、観察画像の明るさを増加させたい場合、例えば走査型内視鏡では光検出器の数を増やすことで対応することができる。このような場合に、追加された光検出器のホワイトバランスを調整するためには、生体内の観察を一度中断して内視鏡を体外に取り出し、ホワイトバランス調整の煩雑な手順を再度行う必要がある。
　本発明は、上述した事情に鑑みてなされたものであって、追加された光検出部のホワイトバランス調整を、観察を中断することなく、かつ簡便に行うことができる光走査型観察装置および光走査型観察装置のホワイトバランス調整方法を提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の一態様は、照明光を走査する走査部と、被写体に向けて前記照明光を射出する射出部と、前記照明光で照明された前記被写体からの信号光を検出して該信号光に基づく第１の検出信号を得る第１の光検出部と、前記照明光で照明された前記被写体からの信号光を検出して該信号光に基づく第２の検出信号を得る第２の光検出部と、前記第１の検出信号および前記第２の検出信号の各々のホワイトバランスを調整するホワイトバランス調整部とを備え、該ホワイトバランス調整部が、前記照明光で照明された白色の物体からの光を前記第１の光検出部によって検出して得られた第１の検出信号に基づいて当該第１の検出信号のホワイトバランスを調整し、ホワイトバランスが調整された前記第１の検出信号に基づいて前記第２の検出信号のホワイトバランスを調整する光走査型観察装置である。
　本態様によれば、照明光が走査部において走査され、被写体に向けて照明光が射出されると、被写体で発生した信号光が第１の光検出部によって検出される。したがって、第１の光検出部によって得られた第１の検出信号に基づいて被写体の画像を作成することができる。
　この場合に、第１の光検出部によって取得される第１の検出信号のホワイトバランスが、白色の物体を用いて調整される。そして、第１の光検出部によって被写体からの信号光を検出することで、ホワイトバランスが調整された信号光の第１の検出信号が得られる。
　このようにホワイトバランスが調整された第１の検出信号からは、間接的に白色の情報が得られる。したがって、ホワイトバランス調整部は、ホワイトバランスが調整された第１の検出信号に基づいて、第２の光検出部によって得られた第２の検出信号のホワイトバランスを調整することが可能である。すなわち、第２の検出信号のホワイトバランスを、射出部からの照明光および白色の物体を使用せずに調整することができる。これにより、被写体の観察の途中に追加された第２の光検出部のホワイトバランス調整を、観察を中断することなく、かつ簡便に行うことができる
　上記態様においては、前記ホワイトバランス調整部は、前記白色の物体からの光を前記第１の光検出部によって検出して得られた前記第１の検出信号に基づいて、当該第１の検出信号のホワイトバランスを調整するための第１のホワイトバランス調整係数を算出し、該第１のホワイトバランス調整係数と、前記照明光で照明された前記被写体からの信号光を前記第１の光検出部および前記第２の光検出部によってそれぞれ検出して得られた第１の検出信号および第２の検出信号とに基づいて、該第２の検出信号のホワイトバランスを調整するための第２のホワイトバランス調整係数を算出してもよい。
　このようにして算出された第２のホワイトバランス調整係数に基づいて、第２の検出信号のホワイトバランスをより正確に調整することができる。
　上記態様においては、前記ホワイトバランス調整部は、共に所定の範囲内の強度を有する前記第１の検出信号および前記第２の検出信号に基づいて、前記第２のホワイトバランス調整係数を算出してもよい。
　第１および第２の検出信号の少なくとも一方がノイズレベルまたは飽和レベルである場合、適切な第２のホワイトバランス調整係数を算出することができない。ノイズレベルよりも大きく飽和レベルよりも小さい所定の範囲内の強度の第１および第２の検出信号を用いることで、第２の検出信号のホワイトバランスをより正確に調整可能な第２のホワイトバランス調整係数を算出することができる。
　本発明の他の態様は、照明光を射出する射出部と、前記照明光で照明された被写体からの信号光を検出して該信号光に基づく第１の検出信号を得る第１の光検出部と、前記照明光で照明された前記被写体からの信号光を検出して該信号光に基づく第２の検出信号を得る第２の光検出部とを備える光走査型観察装置のホワイトバランス調整方法であって、前記照明光で照明された白色の物体からの光を前記第１の光検出部によって検出して前記白色の物体からの光に基づく第１の検出信号を得る工程と、前記白色の物体からの光に基づく前記第１の検出信号に基づいて、前記被写体からの前記信号光に基づく前記第１の検出信号のホワイトバランスを調整する工程と、ホワイトバランスが調整された前記第１の検出信号に基づいて、前記被写体からの信号光に基づく前記第２の検出信号のホワイトバランスを調整する工程とを含む光走査型観察装置のホワイトバランス調整方法である。
　本発明によれば、追加された光検出部のホワイトバランス調整を、観察を中断することなく、かつ簡便に行うことができるという効果を奏する。
本発明の一実施形態に係る光走査型観察装置の全体構成図である。 ホワイトバランス調整処理における図１の光走査型観察装置の動作を説明するフローチャートである。 ホワイトバランス調整処理における図１の光走査型観察装置の動作を説明するフローチャートである。 図１の光走査型観察装置の挿入部にホワイトバランスキャップを取り付けた状態を示す図である。 図２および図３のホワイトバランス調整処理において取得される検出値およびホワイトバランス調整係数の値の一例を示す図である。 第１の光検出部を用いて取得される画像の一例である。 第２の光検出部を用いて取得される画像の一例である。
　以下に、本発明の一実施形態に係る光走査型観察装置について、図面を参照して説明する。
　本実施形態に係る光走査型観察装置１００は、図１に示されるように、照明光Ｌを出力する光源部１と、光源部１から出力された照明光Ｌを走査する走査部２と、生体Ｂの体内に挿入され走査部２によって走査された照明光Ｌを体内の被写体Ａに向けて射出する長尺の挿入部（射出部）３と、照明光Ｌの被写体Ａからの反射光（信号光）Ｌ’を検出する複数の光検出部４，５と、複数の光検出部４，５によって検出された反射光Ｌ’の検出信号の各々のホワイトバランスを調整するホワイトバランス調整部６と、被写体Ａの画像を構築する画像構築部７と、ユーザによって操作されるユーザインタフェース８と、光源部１、走査部２、光検出部４，５、ホワイトバランス調整部６および画像構築部７を制御する制御部９とを備えている。
　光源部１、ホワイトバランス調整部６、画像構築部７、および制御部９は、挿入部３の基端に接続された装置本体１０内に設けられている。ユーザインタフェース８は、装置本体１０外に設けられ、装置本体１０内の制御部９に接続されている。装置本体１０には、画像構築部７によって作成された画像を表示するディスプレイ１１が接続されている。
　光源部１は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）のレーザ光をそれぞれ発生する３個のレーザダイオードのようなレーザ光源（光源）１２Ｒ，１２Ｇ，１２Ｂと、レーザ光源１２Ｒ，１２Ｇ，１２Ｂからの３色のレーザ光を合波する結合器１３と、レーザ光源１２Ｒ，１２Ｇ，１２Ｂを制御する発光制御部１４とを備えている。
　結合器１３は、ファイバ型コンバイナやダイクロックプリズム等を用いて構成される。
　発光制御部１４は、３個のレーザ光源１２Ｒ，１２Ｇ，１２Ｂを順番に発光させることで、結合器１３からＲ、Ｇ、Ｂのレーザ光を照明光Ｌとして順番に出力させる。
　挿入部３は、該挿入部３内に長手方向に沿って配置され光源部１からの照明光Ｌを導光するシングルモードファイバからなる照明用の光ファイバ１５と、光ファイバ１５の先端から射出された照明光Ｌを集光して被写体Ａにスポットを形成する照明レンズ１６とを備えている。
　走査部２は、光ファイバ１５の先端部に設けられたアクチュエータ１７と、制御部９からの駆動信号に従ってアクチュエータ１７を駆動させるアクチュエータドライバ１８とを備えている。
　アクチュエータ１７は、例えば、光ファイバ１５の側面に固定された圧電素子を備える圧電アクチュエータである。アクチュエータドライバ１８は、圧電素子に電圧を印加して圧電素子を伸縮させることによって、光ファイバ１５の先端を該光ファイバ１５の径方向に振動させ、それにより先端から射出される照明光Ｌを２次元的に走査するようになっている。
　複数の光検出部４，５のうち、１つの光検出部（第１の光検出部）４は挿入部３に一体に設けられ、残りの光検出部（第２の光検出部）５は挿入部３とは別体に設けられている。以下、２つの第２の光検出部５を備える構成について説明するが、第２の光検出部５の数は３つ以上であってもよい。
　第１の光検出部４は、挿入部３に設けられた受光用の光ファイバ１９と、光ファイバ１９によって受光された反射光Ｌ’を検出する光検出器２０とを備える。光ファイバ１９は、挿入部３の先端から装置本体１０内の光検出器２０まで挿入部３内に長手方向に沿って配置されている。被写体Ａからの反射光Ｌ’は、光ファイバ１９の先端面において受光され、光ファイバ１９によって光検出器２０まで導光される。光検出器２０は、光ファイバ１９から入射した反射光Ｌ’の強度に基づく第１の検出信号を出力する。
　光検出器２０から出力された第１の検出信号は、第１のアナログデジタル変換器（ＡＤＣ）２１によってデジタル変換されることで第１の検出信号のデジタル値（第１の検出値）Ｖ１が得られ、第１の検出値Ｖ１がホワイトバランス調整部６に入力される。ここで、照明光ＬとしてＲ、Ｇ、Ｂのレーザ光が順番に挿入部３から射出され、Ｒ、Ｇ、Ｂの反射光Ｌ’が順番に第１の光検出部４によって検出されるので、Ｒ、Ｇ、Ｂの反射光Ｌ’の強度値が第１の検出値Ｖ１として順番にホワイトバランス調整部６に入力される。
　各第２の光検出部５は、挿入部３とは別体に設けられ生体Ｂ内に挿入される受光用の光ファイバ２２と、光ファイバ２２によって受光された反射光Ｌ’を検出する光検出器２３とを備える。被写体Ａからの反射光Ｌ’は、光ファイバ２２の先端面において受光され、光ファイバ２２によって光検出器２３まで導光される。光検出器２３は、光ファイバ２２から入射した反射光Ｌ’の強度に基づく第２の検出信号を出力する。
　光検出器２３から出力された第２の検出信号は、第２のアナログデジタル変換器（ＡＤＣ）２４によってデジタル変換されることで第２の検出信号のデジタル値（第２の検出値）Ｖ２が得られ、第２の検出値Ｖ２がホワイトバランス調整部６に入力される。ここで、第１の検出値Ｖ１と同様に、Ｒ、Ｇ、Ｂの反射光Ｌ’の強度値が第２の検出値Ｖ２として順番にホワイトバランス調整部６に入力される。
　光検出器２３および第２のＡＤＣ２４は、装置本体１０内に設けられている。光ファイバ２２は、装置本体１０に設けられたコネクタ（図示略）に着脱可能であり、コネクタを介して対応する光検出器２３に接続されるようになっている。
　ホワイトバランス調整部６は、第１の検出値Ｖ１のホワイトバランスを調整するための第１のホワイトバランス調整係数（以下、第１の係数という。）ＷＢ１を算出し、第１の係数ＷＢ１を用いてホワイトバランスが調整された第１の検出値Ｖ１’を画像構築部７に送信する。また、ホワイトバランス調整部６は、第２の検出値Ｖ２のホワイトバランスを調整するための第２のホワイトバランス調整係数（以下、第２の係数という。）ＷＢ２を算出し、第２の係数ＷＢ２を用いてホワイトバランスが調整された第２の検出値Ｖ２’を画像構築部７に送信する。ホワイトバランス調整部６による処理については、後で詳述する。
　画像構築部７は、ホワイトバランス調整部６から受信した検出値Ｖ１’，Ｖ２’と、制御部９から受信した照明光Ｌの走査位置情報とに基づいて２次元の画像を作成する。作成された画像は画像構築部７からディスプレイ１１に送信され、ディスプレイ１１に表示される。
　ユーザインタフェース８は、ユーザによって押下される第１のボタン（図示略）および第２のボタン（図示略）を有している。第１のボタンは、第１の係数ＷＢ１の算出を指示するためのボタンである。第２のボタンは、第２の係数ＷＢ２の算出を指示するためのボタンであり、２つの第２の光検出部５に対応して２個設けられている。ユーザインタフェース８は、第１のボタンが押下されたときに第１の押下信号を制御部９に送信し、第２のボタンが押下されたときに第２の押下信号を制御部９に送信する。
　制御部９は、３つのレーザ光源１２Ｒ，１２Ｇ，１２Ｂの点灯タイミングを制御するとともに、走査部２による各レーザ光源１２Ｒ，１２Ｇ，１２Ｂからの照明光Ｌの走査位置を制御する。また、制御部９は、挿入部３から射出される照明光Ｌの走査位置情報を画像構築部７に送信する。また、制御部９は、ユーザインタフェース８からの第１の押下信号および第２の押下信号に基づいてホワイトバランス調整部６を制御する。
　次に、ホワイトバランス調整部６による第１の検出値Ｖ１および第２の検出値Ｖ２のホワイトバランス調整処理について説明する。
　ホワイトバランス調整処理は、第１の光検出部４によって取得された第１の検出値Ｖ１用の第１の係数ＷＢ１を算出する第１の段階と、第２の光検出部５によって取得された第２の検出値Ｖ２用の第２の係数ＷＢ２を算出する第２の段階とを含む。ホワイトバランス調整部６は、第１の押下信号に基づく制御部９からの指示に応答して第１の段階を実行し、第２の押下信号に基づく制御部９からの指示に応答して第２の段階を実行する。
　第１の段階は、基準となる白色を有する物体からの反射光Ｌ’に基づく第１の検出値Ｖ１を得る検出工程と、検出工程で取得された第１の検出値Ｖ１に基づいて第１の係数ＷＢ１を算出する算出工程とを含む。したがって、第１の段階は、光源部１および第１の光検出部４を作動させ、白色の物体が挿入部３からの照明光Ｌで照明されて白色の物体からの反射光Ｌ’が第１の光検出部４によって検出されている状態で実行される。
　検出工程において、ホワイトバランス調整部６は、第１のＡＤＣ２１から受信した１組のＲ、Ｇ、Ｂの第１の検出値Ｖ１を保持する。
　次に、算出工程において、ホワイトバランス調整部６は、保持されたＲ、Ｇ、Ｂの第１の検出値Ｖ１に基づいて、Ｒ、Ｇ、Ｂの第１の検出値Ｖ１の各々に対する第１の係数ＷＢ１を算出する。つまり、Ｒ、Ｇ、Ｂ用の３個の値が第１の係数ＷＢ１として算出される。具体的には、ホワイトバランス調整部６は、Ｒ、Ｇ、Ｂ用の第１の係数ＷＢ１の比が、Ｒ、Ｇ、Ｂの検出値Ｖ１の逆数の比と等しくなるように、Ｒ、Ｇ、Ｂの第１の検出値Ｖ１の逆数から第１の係数ＷＢ１を算出する。
　ホワイトバランス調整部６は、算出された第１の係数ＷＢ１を保持し、その後は、第１のＡＤＣ２１から受信する第１の検出値Ｖ１に第１の係数ＷＢ１を乗算することでホワイトバランスが調整された第１の検出値Ｖ１’を算出し、第１の検出値Ｖ１’を画像構築部７に送信する。ここで、第１のＡＤＣ２１のビット数と画像構築部７で作成される画像のビット数とが相互に異なる場合には、第１の検出値Ｖ１’が画像のビット数に適した範囲内の値となるように、ホワイトバランス調整部６は、第１の検出値Ｖ１’を調整する。
　第２の段階は、体内の被写体Ａからの反射光Ｌ’に基づく第１の検出値Ｖ１を得る第１の検出工程と、体内の被写体Ａからの反射光Ｌ’に基づく第２の検出値Ｖ２を得る第２の検出工程と、第１および第２の検出工程で得られた第１および第２の検出値Ｖ１，Ｖ２と、第１の段階の算出工程で算出された第１の係数ＷＢ１とに基づいて第２の係数ＷＢ２を算出する算出工程とを含む。したがって、第２の段階は、光源部１ならびに第１および第２の光検出部４，５を作動させ、被写体Ａが挿入部３からの照明光Ｌで照明されて被写体Ａからの反射光Ｌ’が第１および第２の光検出部４，５によって検出されている状態で実行される。
　第１の検出工程において、ホワイトバランス調整部６は、第１のＡＤＣ２１から受信した１組のＲ、Ｇ、Ｂの第１の検出値Ｖ１を保持する。
　次に、第２の検出工程において、ホワイトバランス調整部６は、第２のＡＤＣ２４から受信した１組のＲ、Ｇ、Ｂの第２の検出値Ｖ２を保持する。
　次に、算出工程において、ホワイトバランス調整部６は、下式（１）に基づいて第２の係数ＷＢ２を算出する。
　ＷＢ２＝Ｖ１×ＷＢ１÷Ｖ２　　　…（１）
　ホワイトバランス調整部６は、算出された第２の係数ＷＢ２を保持し、その後は、第１のＡＤＣ２１から受信する第１の検出値Ｖ１に第１の係数ＷＢ１を乗算することでホワイトバランスが調整された第１の検出値Ｖ１’を算出するとともに、第２のＡＤＣ２４から受信する第２の検出値Ｖ２に第２の係数ＷＢ２を乗算することでホワイトバランスが調整された第２の検出値Ｖ２’を算出し、検出値Ｖ１’，Ｖ２’を画像構築部７に送信する。
　上述したホワイトバランス調整部６、画像構築部７、制御部９および発光制御部１４は、各部６，７，９，１４の処理をＣＰＵ（中央演算処理装置）のようなプロセッサに実行させるプログラムとして実現される。すなわち、装置本体１０内に、プロセッサと、主記憶装置と、プログラムを格納する非一時的な補助記憶装置とが設けられる。プログラムが補助記憶装置から主記憶装置に読み出され、プロセッサがプログラムに従って処理を実行することで、上述したホワイトバランス調整部６、画像構築部７、制御部９、発光制御部１４の機能が実現されるようになっている。
　次に、このように構成された光走査型観察装置１００の作用について、図２および図３のフローチャートを参照して説明する。
　本実施形態に係る光走査型観察装置１００を用いて体内の被写体Ａの観察を行うためには、被写体Ａの観察に先立って、第１の光検出部４を用いて取得される画像のホワイトバランスを調整するための以下の手順を実行する。
　図２および図３は、本実施形態に係る光走査型観察装置１００のホワイトバランス調整方法を示している。
　まず、ユーザは、図２に示されるように、白色の物体を使用して第１の光検出部４用の第１の係数ＷＢ１を取得するための操作を行う。白色の物体として、例えば、図４に示されるように、挿入部３の先端部に取り付けられる白色のホワイトバランスキャップ３０が使用される。ユーザは、体外に配置された挿入部３の先端部にホワイトバランスキャップ３０を取り付け、光源部１、走査部２および第１の光検出部４を作動させる。これにより、挿入部３の先端からホワイトバランスキャップ３０に照明光Ｌが照射され、反射光Ｌ’が第１の光検出部４によって検出される（ステップＳＡ１）。ホワイトバランスキャップ３０には、照明光ＬとしてＲ、Ｇ、Ｂのレーザ光が順番に照射され、第１の光検出部４によってＲ、Ｇ、Ｂの反射光Ｌ’に基づく第１の検出値Ｖ１が得られる（ステップＳＡ２）。
　この時点では、第１の係数ＷＢ１が未だ取得されていないので、ホワイトバランス調整部６からは、第１のＡＤＣ２１から出力された第１の検出値Ｖ１がそのまま画像構築部７に送信され、画像構築部７では、第１の検出値Ｖ１に基づく画像が作成されてディスプレイ１１に表示される（ステップＳＡ３）。したがって、表示されるホワイトバランスキャップ３０の画像は、白色以外の色であり得る。
　ユーザは、ディスプレイ１１に表示されるホワイトバランスキャップ３０の画像を観察し、ホワイトバランス調整に適切な画像が取得されていることを確認し、続いて、ユーザインタフェース８の第１のボタンを押下する（ステップＳＡ４のＹＥＳ）。第１のボタンの押下によってユーザインタフェース８から制御部９に第１の押下信号が送信され、第１の押下信号に応答して制御部９がホワイトバランス調整部６に第１の段階を実行させることで、第１の係数ＷＢ１が算出される（ステップＳＡ５，ＳＡ６）。具体的には、ホワイトバランス調整部６は、第１のボタンが押下されたときに第１の光検出部４によって取得されたＲ、Ｇ、Ｂの第１の検出値Ｖ１を保持し（ステップＳＡ５）、保持されたＲ、Ｇ、Ｂの第１の検出値Ｖ１の逆数に基づいて第１の係数ＷＢ１を算出して第１の係数ＷＢ１を記憶する（ステップＳＡ６）。
　図５は、ホワイトバランス調整処理の各ステップにおける検出値Ｖ１，Ｖ１’，Ｖ２，Ｖ２’および係数ＷＢ１，ＷＢ２の例を示している。この例では、Ｒ、Ｇ、Ｂのレーザ光の光量が相互に等しく、第１の光検出部４のＲ、Ｇ、Ｂの感度の比が、０．４：０．５：０．２であると仮定している。
　図５に示されるように、Ｒ、Ｇ、Ｂの第１の検出値Ｖ１が、３２００、４０００、１６００である場合、Ｒ、Ｇ、Ｂ用の第１の係数ＷＢ１として１．２５、１．００、２．５０が算出される。そして、第１の検出値Ｖ１に第１の係数ＷＢ１を乗算することで、画像の画素の階調値Ｖとして使用される第１の検出値Ｖ１’が算出される。ここで、第１のＡＤＣ２１が１２ビットであり、画像が８ビットである場合には、第１の検出値Ｖ１’を任意の係数、例えば１６で除算することで、最終的なＲ、Ｇ、Ｂの第１の検出値Ｖ１’が算出される。
　最終的なＲ、Ｇ、Ｂの第１の検出値Ｖ１’が画像の最大階調値未満の値となるように、係数が設定されてもよい。例えば、８ビットの画像の最大階調値は２５５であるため、Ｒ、Ｇ、Ｂの第１の検出値Ｖ１’が全て２５５であるときに画像の色は完全な白色となるが、Ｒ、Ｇ、Ｂの第１の検出値Ｖ１’が２５０になるように係数を調整してもよい。このようにすることで、階調値Ｖの飽和によって画像内で色が正確に再現されなくなることを防ぐことができる。
　ホワイトバランス調整部６に第１の係数ＷＢ１が一度記憶されると、ホワイトバランス調整部６は、第１の係数ＷＢ１を用いて第１の検出値Ｖ１のホワイトバランス調整を行い（ステップＳＡ７，ＳＡ８，ＳＡ９）、ホワイトバランスが調整されたＲ、Ｇ、Ｂの第１の検出値Ｖ１’を画像構築部７に送信するようになる。これにより、ディスプレイ１１には、ホワイトバランスが調整された白色のホワイトバランスキャップ３０の画像が表示される（ステップＳＡ１０）。
　ユーザは、表示されている画像のホワイトバランスが適切に調整されていることを確認し、その後、挿入部３の先端が被写体Ａに対向するように挿入部３を体内に挿入し、被写体Ａの観察を開始する。
　被写体Ａの観察の開始後、第１の光検出部４の光ファイバ１９による反射光Ｌ’の受光量不足により画像の明るさが足りない場合、ユーザは、光ファイバ２２の先端が被写体Ａに対向するように一方の第２の光検出部５の光ファイバ２２を生体Ｂ内に追加で挿入し、第２の光検出部５用の第２の係数ＷＢ２を取得するための手順を実行する。
　まず、ユーザは、既に作動している光源部１、走査部２および第１の光検出部４に加えて、一方の第２の光検出部５を作動させる。これにより、図３に示されるように、第１の光検出部４による反射光Ｌ’の検出、第１の係数ＷＢ１を用いた第１の検出値Ｖ１のホワイトバランス調整、およびホワイトバランスが調整された第１の検出値Ｖ１’に基づく画像の生成（ステップＳＢ１～ＳＢ４）と並行して、第２の光検出部５による反射光Ｌ’の検出が行われる（ステップＳＢ５，ＳＢ６）。
　図５の例において、ステップＳＢ２でのＲ、Ｇ、Ｂの第１の検出値Ｖ１が、１００８、１０６５、３６０である場合、ホワイトバランス調整後のＲ、Ｇ、Ｂの第１の検出値Ｖ１’として、７９、６７、５６と算出される。この例では、第２の光検出部５のＲ、Ｇ、Ｂの感度の比が、１．０：０．４：０．２であり、被写体Ａが、Ｒ：Ｇ：Ｂ＝２５２：２１３：１８０に相当する色を有していると仮定している。
　次に、ユーザは、一方の第２の光検出部５に対応する一方の第２のボタンを押下する（ステップＳＢ７のＹＥＳ）。第２のボタンの押下によってユーザインタフェース８から制御部９に第２の押下信号が送信され、第２の押下信号に応答して制御部９がホワイトバランス調整部６に第２の段階を実行させることで、第２の係数ＷＢ２が算出される（ステップＳＢ８，ＳＢ９）。
　具体的には、ホワイトバランス調整部６は、第２のボタンが押下されたときに第１および第２の光検出部４，５によって取得されたＲ、Ｇ、Ｂの第１の検出値Ｖ１およびＲ、Ｇ、Ｂの第２の検出値Ｖ２を保持する（ステップＳＢ８）。次に、ホワイトバランス調整部６は、保持されたＲ、Ｇ、Ｂの第１および第２の検出値Ｖ１，Ｖ２と、ステップＳＡ６で算出および記憶された第１の係数ＷＢ１とを用いて、式（１）から第２の係数ＷＢ２を算出して第２の係数ＷＢ２を記憶する（ステップＳＢ９）。
　ホワイトバランス調整部６に第２の係数ＷＢ２が一度記憶されると、ホワイトバランス調整部６は、係数ＷＢ１，ＷＢ２を用いて第１の検出値Ｖ１および第２の検出値Ｖ２のホワイトバランス調整をそれぞれ行い（ステップＳＢ１０，ＳＢ１１，ＳＢ１２）、ホワイトバランスが調整されたＲ、Ｇ、Ｂの第１および第２の検出値Ｖ１’，Ｖ２’を画像構築部７に送信するようになる。画像構築部７は、第１の検出値Ｖ１’および第２の検出値Ｖ２’の和を画素の階調値Ｖとして使用して画像を作成する（ステップＳＢ１３）。
　これにより、ディスプレイ１１には、明るさが増大しホワイトバランスが調整された被写体Ａの画像が表示される。
　図５の例において、ステップＳＢ８でのＲ、Ｇ、Ｂの第２の検出値Ｖ２が、５０４０、１７０４、７２０である場合、Ｒ、Ｇ、Ｂ用の第２の係数ＷＢ２として０．２５、０．６３、１．２５と算出される。そして、第２の検出値Ｖ２に第２の係数ＷＢ２を乗算することで、第２の検出値Ｖ２’として１５８、１３４、１１３と算出される。ここでも、第２の検出値Ｖ２’が８ビット内の値となるように、例えば８で除算することで、最終的なＲ、Ｇ、Ｂの第２の検出値Ｖ２’が算出される。
　２つの光ファイバ１９，２２による反射光Ｌ’の受光量不足により画像の明るさがまだ足りない場合、ユーザは、光ファイバ２２の先端が被写体Ａに対向するように他方の第２の光検出部５の光ファイバ２２を生体Ｂ内に追加で挿入し、ステップＳＢ７～ＳＢ９を再度行うことで、他方の第２の光検出部５用の第２の係数ＷＢ２を取得する。これにより、第１の検出値Ｖ１’および２つの第２の検出値Ｖ２’の和を画素の階調値Ｖとし、明るさがさらに増大された画像が作成される。
　このように、本実施形態によれば、基準となる白色の物体を使用して算出された第１の係数ＷＢ１と、第１の光検出部４によって取得された第１の検出値Ｖ１とから、基準となる白色の情報を間接的に得ることで、ステップＳＢ９では、白色の物体を使用せずに第２の光検出部５用の第２の係数ＷＢ２を簡便な手順で算出することが可能である。
　すなわち、生体Ｂ内に挿入された挿入部３によって被写体Ａの観察を開始した後に第２の光検出部５を追加する場合に、挿入部３を体内に配置した状態のまま第２の光検出部５によって取得される第２の検出値Ｖ２のホワイトバランスを調整することができる。これにより、追加された第２の光検出部５のホワイトバランス調整を、体内の被写体Ａの観察を中断することなく行うことができるという利点がある。
　本実施形態においては、１つの画素の値に相当する１組のＲ、Ｇ、Ｂの検出値Ｖ１，Ｖ２を用いて、第１および第２の係数ＷＢ１，ＷＢ２を算出することとしたが、これに代えて、例えば、所定の領域内の複数の画素の値に相当する複数組のＲ、Ｇ、Ｂの検出値Ｖ１，Ｖ２を用いるか、または、複数の画像内の同一位置の画素の値に相当する複数組のＲ、Ｇ、Ｂの検出値Ｖ１，Ｖ２を用いてもよい。このように、複数の組のＲ、Ｇ、Ｂの検出値Ｖ１，Ｖ２を用いることで、ノイズの影響を軽減した係数ＷＢ１，ＷＢ２を算出することができる。
　複数組のＲ、Ｇ、Ｂの検出値Ｖ１，Ｖ２を用いる場合には、各組のＲ、Ｇ、Ｂの検出値Ｖ１，Ｖ２から第１および第２の係数をそれぞれ算出し、算出された複数の第１および第２の係数のそれぞれの平均値を最終的な係数ＷＢ１，ＷＢ２として用いてもよい。
　また、本実施形態においては、ホワイトバランス調整時に、照明光Ｌを走査して２次元の画像を取得しながら第１および第２の検出値Ｖ１，Ｖ２の取得を行うこととしたが、これに代えて、走査部２を作動させず、照明光Ｌの位置を一定の位置に維持した状態で第１および第２の検出値Ｖ１，Ｖ２の取得を行ってもよい。
　また、第２の係数ＷＢ２の算出において、ホワイトバランス調整部６は、共に所定の範囲内の第１の検出値Ｖ１および第２の検出値Ｖ２を使用することが好ましい。
　図６Ａは、挿入部３と一体の第１の光検出部４によって検出された反射光Ｌ’の画像の一例を示し、図６Ｂは、挿入部３と別体の第２の光検出部５によって検出された反射光Ｌ’の画像の一例を示している。
　図６Ａおよび図６Ｂに示されるように、画像内には、画素値Ｖ（すなわちＲ、Ｇ、Ｂのいずれかの検出値Ｖ１，Ｖ２）が飽和するハレーション領域Ｒ１が存在し得る。また、図６Ｂに示されるように、被写体Ａに対する光ファイバ１９，２２の位置および向きに応じて、反射光Ｌ’がほとんど検出されず画素値Ｖ（すなわちＲ、Ｇ、Ｂのいずれかの検出値Ｖ１，Ｖ２）が略ゼロとなる暗領域Ｒ２が存在し得る。このような領域Ｒ１，Ｒ２におけるＲ、Ｇ、Ｂの検出値Ｖ１，Ｖ２が有する色の情報は正確さに欠けるため、ハレーション領域Ｒ１および暗領域Ｒ２の検出値Ｖ１，Ｖ２に基づいてホワイトバランスを正確に調整することができない。
　したがって、ホワイトバランス調整部６は、Ｒ、Ｇ、Ｂの全ての第１の検出値Ｖ１が所定の範囲内であり、かつ、Ｒ、Ｇ、Ｂの全ての第２の検出値Ｖ２が所定の範囲内である位置または領域における第１の検出値Ｖ１および第２の検出値Ｖ２を、第２の係数ＷＢ２の計算に使用する。所定の範囲とは、ノイズレベルよりも大きく、飽和レベルよりも小さい範囲である。例えば、第１の検出値Ｖ１’に基づく画像と第２の検出値Ｖ２’に基づく画像とを作成し、両方の画像内で共通して画素値Ｖが所定の範囲内となる領域Ｒ３を選択し、選択された領域Ｒ３における第１および第２の検出値Ｖ１，Ｖ２を使用する。これにより、Ｒ、Ｇ、Ｂの第２の検出値Ｖ２のホワイトバランスを正確に調整可能な適切な第２の係数ＷＢ２を得ることができる。
　本実施形態においては、算出された第１および第２の係数ＷＢ１，ＷＢ２が、ホワイトバランス調整部６に保持されることとしたが、これに代えて、制御部９または図示しない記憶部に保持され、ホワイトバランス調整部６が、必要に応じて制御部９または記憶部から第１および第２の係数ＷＢ１，ＷＢ２を読み出して使用してもよい。
　本実施形態においては、圧電式のアクチュエータ１７を備える走査部２を用いることとしたが、これに代えて、他の方式の走査部を用いてもよい。
　例えば、走査部２は、長手方向に磁着されて両端に磁極を有する筒状の永久磁石と、永久磁石の各磁極に対向する位置に設けられた電磁コイルとを備える電磁式のアクチュエータを備えていてもよい。永久磁石内には、光ファイバ１５が永久磁石から突出するように挿入され、光ファイバ１５の外周面に永久磁石が固定される。アクチュエータドライバ１８から電磁コイルに電流が供給されることによって、電磁コイルが永久磁石の磁極の近傍に磁場を発生させて永久磁石が振動し、光ファイバ１５が振動するようになっている。
　あるいは、走査部２として、照明光Ｌを２次元的に走査するガルバノミラーを用いてもよい。
１００　光走査型観察装置
１　光源部
２　走査部
３　挿入部（射出部）
４　第１の光検出部
５　第２の光検出部
６　ホワイトバランス調整部
７　画像構築部
８　ユーザインタフェース
９　制御部（ホワイトバランス調整部）
１０　装置本体
１１　ディスプレイ
１２Ｒ，１２Ｇ，１２Ｂ　レーザ光源
１３　結合器
１４　発光制御部
１５　光ファイバ
１６　照明レンズ
１７　アクチュエータ
１８　アクチュエータドライバ
１９，２２　光ファイバ
２０，２３　光検出器
２１，２４　アナログデジタル変換器
３０　ホワイトバランスキャップ

Claims (4)

  1. 　照明光を走査する走査部と、
    　被写体に向けて前記照明光を射出する射出部と、
    　前記照明光で照明された前記被写体からの信号光を検出して該信号光に基づく第１の検出信号を得る第１の光検出部と、
    　前記照明光で照明された前記被写体からの信号光を検出して該信号光に基づく第２の検出信号を得る第２の光検出部と、
    　前記第１の検出信号および前記第２の検出信号の各々のホワイトバランスを調整するホワイトバランス調整部とを備え、
    　該ホワイトバランス調整部が、
    　前記照明光で照明された白色の物体からの光を前記第１の光検出部によって検出して得られた第１の検出信号に基づいて当該第１の検出信号のホワイトバランスを調整し、
    　ホワイトバランスが調整された前記第１の検出信号に基づいて前記第２の検出信号のホワイトバランスを調整する光走査型観察装置。
  2. 　前記ホワイトバランス調整部は、
    　前記白色の物体からの光を前記第１の光検出部によって検出して得られた前記第１の検出信号に基づいて、当該第１の検出信号のホワイトバランスを調整するための第１のホワイトバランス調整係数を算出し、
    　該第１のホワイトバランス調整係数と、前記照明光で照明された前記被写体からの信号光を前記第１の光検出部および前記第２の光検出部によってそれぞれ検出して得られた第１の検出信号および第２の検出信号とに基づいて、該第２の検出信号のホワイトバランスを調整するための第２のホワイトバランス調整係数を算出する請求項１に記載の光走査型観察装置。
  3. 　前記ホワイトバランス調整部は、共に所定の範囲内の強度を有する前記第１の検出信号および前記第２の検出信号に基づいて、前記第２のホワイトバランス調整係数を算出する請求項２に記載の光走査型観察装置。
  4. 　照明光を射出する射出部と、前記照明光で照明された被写体からの信号光を検出して該信号光に基づく第１の検出信号を得る第１の光検出部と、前記照明光で照明された前記被写体からの信号光を検出して該信号光に基づく第２の検出信号を得る第２の光検出部とを備える光走査型観察装置のホワイトバランス調整方法であって、
    　前記照明光で照明された白色の物体からの光を前記第１の光検出部によって検出して前記白色の物体からの光に基づく第１の検出信号を得る工程と、
    　前記白色の物体からの光に基づく前記第１の検出信号に基づいて、前記被写体からの前記信号光に基づく前記第１の検出信号のホワイトバランスを調整する工程と、
    　ホワイトバランスが調整された前記第１の検出信号に基づいて、前記被写体からの信号光に基づく前記第２の検出信号のホワイトバランスを調整する工程とを含む光走査型観察装置のホワイトバランス調整方法。
PCT/JP2017/023022 2017-06-22 2017-06-22 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法 WO2018235227A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/023022 WO2018235227A1 (ja) 2017-06-22 2017-06-22 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/023022 WO2018235227A1 (ja) 2017-06-22 2017-06-22 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法

Publications (1)

Publication Number Publication Date
WO2018235227A1 true WO2018235227A1 (ja) 2018-12-27

Family

ID=64735556

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023022 WO2018235227A1 (ja) 2017-06-22 2017-06-22 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法

Country Status (1)

Country Link
WO (1) WO2018235227A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012133431A1 (ja) * 2011-03-31 2012-10-04 オリンパスメディカルシステムズ株式会社 内視鏡装置、内視鏡キャップ及び分析方法
JP2013116277A (ja) * 2011-12-05 2013-06-13 Hoya Corp 電子内視鏡スコープ、ホワイトバランス調整方法、電子内視鏡システム、ホワイトバランス調整治具
WO2016208494A1 (ja) * 2015-06-24 2016-12-29 オリンパス株式会社 走査型内視鏡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012133431A1 (ja) * 2011-03-31 2012-10-04 オリンパスメディカルシステムズ株式会社 内視鏡装置、内視鏡キャップ及び分析方法
JP2013116277A (ja) * 2011-12-05 2013-06-13 Hoya Corp 電子内視鏡スコープ、ホワイトバランス調整方法、電子内視鏡システム、ホワイトバランス調整治具
WO2016208494A1 (ja) * 2015-06-24 2016-12-29 オリンパス株式会社 走査型内視鏡システム

Similar Documents

Publication Publication Date Title
JP4745790B2 (ja) 電子内視鏡装置
JP5877289B1 (ja) 内視鏡システム
US8994804B2 (en) Scanning endoscope system
JP2010115391A (ja) 内視鏡装置
US11116384B2 (en) Endoscope system capable of image alignment, processor device, and method for operating endoscope system
JP5963982B2 (ja) 画像処理システム及び画像処理装置
US8545399B2 (en) Medical instrument
US10653304B2 (en) Endoscope and endoscope system
WO2018235227A1 (ja) 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法
WO2018235226A1 (ja) 光走査型観察装置および光走査型観察装置のホワイトバランス調整方法
JP6441020B2 (ja) レーザ顕微鏡
JP5244623B2 (ja) 光走査型内視鏡プロセッサおよび光走査型内視鏡装置
JP2002102147A (ja) 蛍光画像取得装置
JPWO2017072837A1 (ja) 光走査型内視鏡装置および光走査型内視鏡装置の制御方法
US20170325668A1 (en) Scanning endoscope device and method for controlling the same
JP2016049124A (ja) 走査型内視鏡装置
JP6599728B2 (ja) 走査型内視鏡装置
WO2022013953A1 (ja) 撮像システム、内視鏡および制御装置
WO2016098139A1 (ja) レーザ走査型観察装置
WO2017072838A1 (ja) 光走査型観察装置および光走査型観察装置の制御方法
JP6437808B2 (ja) 光走査型観察システム
JP2015150138A (ja) 内視鏡システム、画像生成装置およびマウスピース
WO2017195256A1 (ja) 光走査型観察装置および光走査型観察方法
JP2003135457A (ja) 超音波診断装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17914474

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17914474

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP