WO2017002544A1 - 画像処理装置および撮像システム - Google Patents

画像処理装置および撮像システム Download PDF

Info

Publication number
WO2017002544A1
WO2017002544A1 PCT/JP2016/066798 JP2016066798W WO2017002544A1 WO 2017002544 A1 WO2017002544 A1 WO 2017002544A1 JP 2016066798 W JP2016066798 W JP 2016066798W WO 2017002544 A1 WO2017002544 A1 WO 2017002544A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
signal
gradation
image signal
image
Prior art date
Application number
PCT/JP2016/066798
Other languages
English (en)
French (fr)
Inventor
朋也 佐藤
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP16817653.5A priority Critical patent/EP3318175A1/en
Priority to CN201680010036.5A priority patent/CN107205629B/zh
Priority to JP2016572857A priority patent/JP6109456B1/ja
Publication of WO2017002544A1 publication Critical patent/WO2017002544A1/ja
Priority to US15/640,639 priority patent/US10163196B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image processing apparatus and an imaging system that perform synthesis processing of image signals having different brightnesses.
  • Patent Document 1 has low color reproducibility for an input image.
  • diagnosis since diagnosis is performed based on the color tone of the affected area, if the color tone of the gradation compressed image displayed on the monitor differs from the color tone of the input image obtained by the endoscope, the diagnosis result is There was a risk that it would be different.
  • the present invention has been made in view of the above, and suppresses a decrease in color reproducibility of a tone-compressed image with respect to the input image even when the input images having different brightness are synthesized and tone-compressed. It is an object of the present invention to provide an image processing apparatus and an imaging system that can be used.
  • an image processing apparatus performs high dynamic range synthesis on first and second signals each including first and second image data having different exposure amounts. Then, an HDR image generation unit that generates an HDR image signal and a gradation compression process on the HDR image signal generated by the HDR image generation unit to generate a first gradation compressed image signal for display A gradation compression unit; and a color correction unit that generates a second gradation compressed image signal by performing color correction based on the first and second signals and the first gradation compressed image signal. It is characterized by that.
  • An imaging system includes a plurality of pixels that photoelectrically convert light from the outside, and generates first and second imaging signals having different exposure amounts, and the first and second An HDR image generation unit that generates an HDR image signal by synthesizing a high dynamic range of the captured image signals, and a gradation compression process on the HDR image signal generated by the HDR image generation unit to display a first image for display.
  • a tone compression unit that generates a tone-compressed image signal, and generates a second tone-compressed image signal by performing color correction based on the first and second imaging signals and the first tone-compressed image signal.
  • a color correction unit is a color correction unit.
  • the HDR image generation unit multiplies a pixel value of the first imaging signal by a first coefficient larger than 0 and smaller than 1, and The HDR image signal is generated based on a value obtained by multiplying a pixel value of a second imaging signal by a second coefficient whose sum with the first coefficient is 1, and the color correction unit
  • the second gradation compressed image signal is generated based on the first and second imaging signals, the first gradation compressed image signal, and the first and second coefficients.
  • the color correction unit may calculate a ratio of a representative value of the first gradation compressed image signal to a representative value of the first imaging signal by using the first coefficient. By multiplying the second coefficient by the ratio of the representative value of the first gradation-compressed image signal to the representative value of the second imaging signal.
  • a gain map calculation unit that calculates a gain map corresponding to a pixel position by calculating the gain value of the first and second imaging signals again based on the gain map calculated by the gain map calculation unit.
  • a recombination processing unit that generates the second gradation compressed image signal by performing high dynamic range composition.
  • the imaging system according to the present invention further includes a light source device that emits illumination light, and the first imaging signal is an imaging signal obtained by imaging a subject illuminated with a first illumination intensity.
  • the second imaging signal is an imaging signal obtained by imaging a subject illuminated with a second illumination intensity different from the first illumination intensity.
  • the present invention even when input images having different brightness are synthesized and tone-compressed, it is possible to suppress a decrease in color reproducibility of the tone-compressed image with respect to the input image.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of the endoscope system according to the embodiment of the present invention.
  • FIG. 3 is a schematic diagram for explaining image generation by the endoscope system according to the embodiment of the present invention.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a schematic configuration of the endoscope system according to the present embodiment.
  • An endoscope system 1 shown in FIGS. 1 and 2 includes an endoscope 2 that captures an in-vivo image of a subject by inserting a tip portion into the subject, and illumination light emitted from the tip of the endoscope 2. , A processing device 4 that performs predetermined signal processing on the image signal captured by the endoscope 2, and controls the overall operation of the endoscope system 1, and signals from the processing device 4 And a display device 5 that displays an in-vivo image generated by the processing.
  • the endoscope 2 includes an insertion portion 21 having an elongated shape having flexibility, an operation portion 22 that is connected to a proximal end side of the insertion portion 21 and receives input of various operation signals, and an insertion portion from the operation portion 22. And a universal cord 23 that includes various cables that extend in a direction different from the direction in which 21 extends and connect to the light source device 3 and the processing device 4.
  • the insertion unit 21 includes a distal end portion 24 including an imaging element 244 (imaging device) in which pixels that generate signals by receiving light and performing photoelectric conversion are arranged in a two-dimensional manner, and a plurality of bending pieces.
  • the bendable bending portion 25 is connected to the proximal end side of the bending portion 25 and has a long flexible tube portion 26 having flexibility.
  • the insertion unit 21 uses the image sensor 244 to image a subject such as a living tissue that is inserted into the body cavity of the subject and is not reachable by external light.
  • the distal end portion 24 is configured using a glass fiber or the like, and forms a light guide path for light emitted from the light source device 3.
  • An illumination lens 242 provided at the distal end of the light guide 241.
  • an image sensor 244 that is provided at an image forming position of the optical system 243, receives light collected by the optical system 243, photoelectrically converts the light into an electrical signal, and performs predetermined signal processing.
  • the optical system 243 is configured by using one or a plurality of lenses, and has an optical zoom function for changing the angle of view and a focus function for changing the focus.
  • the image sensor 244 photoelectrically converts light from the optical system 243 to generate an electrical signal (imaging signal).
  • imaging element 244 a plurality of pixels each having a photodiode that accumulates electric charge according to the amount of light, a capacitor that converts electric charge transferred from the photodiode into a voltage level, and the like are arranged in a matrix, A light receiving unit 244a in which each pixel photoelectrically converts light from the optical system 243 to generate an electric signal, and an electric signal generated by a pixel arbitrarily set as a reading target among a plurality of pixels of the light receiving unit 244a is sequentially read out And a reading unit 244b for outputting as an imaging signal.
  • the image sensor 244 controls various operations of the distal end portion 24 in accordance with the drive signal received from the processing device 4.
  • the image sensor 244 is realized using, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the operation unit 22 includes a bending knob 221 that bends the bending unit 25 in the vertical direction and the left-right direction, a treatment tool insertion unit 222 that inserts a treatment tool such as a bioforceps, an electric knife, and an inspection probe into the body cavity of the subject.
  • a treatment tool such as a bioforceps, an electric knife, and an inspection probe into the body cavity of the subject.
  • it has a plurality of switches 223 which are operation input units for inputting operation instruction signals of peripheral devices such as air supply means, water supply means, and screen display control.
  • the treatment tool inserted from the treatment tool insertion portion 222 is exposed from the opening (not shown) via the treatment tool channel (not shown) of the distal end portion 24.
  • the universal cord 23 includes at least a light guide 241 and a collective cable 245 in which one or a plurality of signal lines are collected.
  • the collective cable 245 is a signal line for transmitting an image signal, a signal line for transmitting a drive signal for driving the image sensor 244, information including unique information regarding the endoscope 2 (image sensor 244), and the like. Including a signal line for transmitting and receiving.
  • the light source device 3 includes an illumination unit 31 and an illumination control unit 32. Under the control of the illumination control unit 32, the illumination unit 31 sequentially switches and emits illumination light with different exposure amounts to the subject (subject).
  • the illumination unit 31 includes a light source 31a and a light source driver 31b.
  • the light source 31a is configured using an LED light source that emits white light, one or a plurality of lenses, and the like, and emits light (illumination light) by driving the LED light source.
  • the illumination light generated by the light source 31a is emitted from the tip of the tip portion 24 toward the subject via the light guide 241.
  • the light source 31a is configured by using a red LED light source, a green LED light source, and a blue LED light source, and emits light from any one of the light sources, so that any wavelength of red light, green light, and blue light is emitted. Light having a band may be emitted as illumination light.
  • the light source driver 31b supplies illumination light to the light source 31a by supplying current to the light source 31a under the control of the illumination control unit 32.
  • the illumination control unit 32 controls the amount of power supplied to the light source 31a and the drive timing of the light source 31a based on a control signal from the processing device 4. Under the control of the illumination control unit 32, the illumination unit 31 performs the subject by a first exposure process that exposes with a first exposure amount and a second exposure process that exposes with a second exposure amount different from the first exposure amount. To expose. In the present embodiment, the description will be made assuming that the first exposure amount is larger than the second exposure amount. For example, the illumination control unit 32 adjusts the exposure amount by changing the illumination intensity of the illumination light.
  • the processing device 4 includes an imaging signal acquisition unit 41, an HDR (High Dynamic Range) image generation unit 42, a gradation compression unit 43, a color correction unit 44, an input unit 45, a storage unit 46, and a control unit 47. And comprising.
  • the HDR image generation unit 42, the gradation compression unit 43, and the color correction unit 44 constitute an image processing apparatus.
  • the imaging signal acquisition unit 41 receives the imaging signal output from the imaging element 244 from the endoscope 2.
  • FIG. 3 is a schematic diagram for explaining image generation by the endoscope system according to the present embodiment.
  • the imaging signal acquisition unit 41 performs noise removal, A / D conversion, and synchronization processing (for example, performed when an imaging signal for each color component is obtained using a color filter or the like) for the acquired imaging signal. Signal processing is performed to generate an imaging signal including an input image (image data).
  • the imaging signal acquisition unit 41 uses, as input images, the long exposure images P L 1 to P L 3 obtained by the long exposure process that is the first exposure process and the short exposure image that is obtained by the short exposure process that is the second exposure process.
  • each input image is an image to which red (R), green (G), and blue (B) color components are given by signal processing.
  • the imaging signal acquisition unit 41 acquires the long exposure image P L 1, the short exposure image P S 1, the long exposure image P L 2, the short exposure image P S 2, and the long exposure image P L 3 in this order. It will be explained as a thing.
  • the imaging signal acquisition unit 41 outputs the imaging signal of the latest frame and the imaging signal stored in the storage unit 46 and one frame before the latest frame to the HDR image generation unit 42 and the color correction unit 44.
  • the imaging signal acquisition unit 41 includes a first imaging signal including a long exposure image (first image data) captured by the first exposure amount, and before or after the first imaging signal.
  • Output to the HDR image generation unit 42 and the color correction unit 44 is a second imaging signal including a short-exposure image (second image data) captured with the second exposure amount.
  • second image data a short-exposure image
  • the HDR image generation unit 42 acquires the first and second imaging signals including images with different exposure amounts generated by the imaging element 244 from the imaging signal acquisition unit 41, and combines the images with different exposure amounts.
  • An HDR image signal including HDR images P H 1 to P H 4 with an expanded dynamic range (for example, the number of bits per channel is 32 bits) is generated.
  • the HDR image generation unit 42 performs a weighted addition process of the first imaging signal and the second imaging signal to generate an HDR image signal, and a weighted addition used in the weighted addition process of the weighted addition unit 421 A weighted addition coefficient calculation unit 422 for calculating a coefficient.
  • the weighted addition unit 421 outputs the HDR image signal generated by performing weighted addition processing of the first imaging signal and the second imaging signal to the gradation compression unit 43.
  • the weighted addition unit 421 the position of each pixel orthogonal coordinate system (x, y) with expressed by the pixel value of the long-exposure image in the first image pickup signal S L L (x, y),
  • the pixel value of the short-exposure image in the second imaging signal S S is S (x, y)
  • the weighted addition coefficient is ⁇ (x, y) (0 ⁇ (x, y) ⁇ 1)
  • the HDR image signal S H If the pixel value of the HDR image at H is H (x, y), the pixel value H (x, y) of the HDR image is derived by the following equation (1).
  • the weighted addition coefficient ⁇ is a coefficient set for the short exposure image.
  • H (x, y) (1 ⁇ (x, y)) ⁇ L (x, y) + ⁇ (x, y) ⁇ ⁇ ⁇ S (x, y) (1)
  • ⁇ is a coefficient that acts on the short exposure side to adjust the difference in exposure amount between the short exposure and the long exposure
  • the exposure amount of the short exposure process is E 1
  • the weighted addition coefficient calculation unit 422 sets the weighted addition coefficient ⁇ (x, y) according to the brightness of the long exposure image (pixel value L (x, y)). Specifically, the weighted addition coefficient calculation unit 422 refers to the storage unit 46, and the weighted addition coefficient is larger as the pixel value L (x, y) of the long exposure image is larger than a preset reference value. The value of ⁇ (x, y) is set to be large, and the weighted addition coefficient ⁇ (x, y) is decreased as the pixel value L (x, y) of the long exposure image is smaller than the reference value. Set to.
  • the weighted addition coefficient calculation unit 422 sets a weighted addition coefficient ⁇ (x, y) for each pixel position (coordinate).
  • the weighted addition coefficient calculation unit 422 calculates a weighted addition coefficient (first coefficient) for the pixel value S (x, y) and a weighted addition coefficient (second coefficient) for the pixel value L (x, y). Each coefficient is set so that the sum is 1.
  • Gradation compression section 43 to the HDR image generation unit 42 generates the HDR image signal S H, the gradation compression processing, for example, by performing a process of 12 bits the number of bits per channel from the 32-bit, A gradation compressed image signal S T (first gradation compressed image signal) including gradation compressed images P T 1 to P T 4 (tone mapping images) whose dynamic range is reduced to a size that can be displayed on the display device 5 is generated. To do.
  • the color correction unit 44 includes the first imaging signal S L and the second imaging signal S S input from the imaging signal acquisition unit 41, the gradation compressed image signal S T generated by the gradation compression unit 43, and a weighted addition coefficient. Based on ⁇ (x, y), the first image pickup signal S L and the second image pickup signal S S are subjected to color correction processing to generate a color correction image signal ST ′ including a color correction image.
  • Color correction section 44 includes a first image pickup signal S L, the luminance component extracting unit 441 for extracting a luminance component of each signal of the second image pickup signal S S and the gradation-compressed image signal S T, the luminance component extracting unit 441
  • the gain map calculation unit 442 that calculates the gain map based on the luminance component extracted by the above and the weighted addition coefficient ⁇ (x, y), and the pixel value in each pixel is corrected based on the gain map, and the first After generating a corrected HDR image signal obtained by recombining the image pickup signal S L and the second image pickup signal S S , a color correction image that is a corrected gradation compressed image is obtained by performing gradation compression processing on the corrected HDR image signal.
  • a recombination processing unit 443 that generates a color-corrected image signal S T ′ (second gradation compressed image signal).
  • the luminance component extraction unit 441 performs YCbCr conversion processing on the values expressed in RGB for the input first imaging signal S L , second imaging signal S S, and gradation-compressed image signal S T to obtain luminance.
  • the component is separated into a (Y) component and a color difference (CrCb) component, and a luminance (Y) component of each signal is extracted.
  • the gain map calculation unit 442 calculates a gain map based on the luminance component extracted by the luminance component extraction unit 441 and the weighted addition coefficient ⁇ (x, y). Specifically, the gain value at the pixel position (x, y) in the first imaging signal S L is G L (x, y), and the gain value at the pixel position (x, y) in the second imaging signal S S. Is G S (x, y), the luminance component of the pixel value L (x, y) of the long exposure image in the first imaging signal S L is Y L (x, y), and the short component in the second imaging signal S S.
  • the gain map calculation unit 442 uses the above formulas (2) and (3) to calculate the first gain map G L to which the gain value G L (x, y) is assigned to each pixel position, and each pixel position.
  • the second gain map G S to which the gain value G S (x, y) is assigned is calculated.
  • Gain map calculation unit 442 outputs the first gain map G L and the second gain map G S calculated for resynthesis processing section 443.
  • the recombination processing unit 443 corrects the pixel value in each pixel based on the first gain map G L and the second gain map G S calculated by the gain map calculation unit 442, and performs the first imaging signal S L and the second imaging signal S L.
  • correction HDR image signal S after generating the Q the correction HDR image signal S Q to the color corrected image including color corrected image is corrected gradation-compressed image by performing gradation compression processing recombining image signal S S for A signal ST ′ is generated.
  • Resynthesis processing section 443 calculates a pixel value Q (x, y) based on the first gain map G L and the second gain map G S, after generating the corrected HDR image signal S Q, the correction HDR image signal generating a color correction image signal S T 'comprising a color correction image P C 1 ⁇ P C 4 is a correction gradation compression image by performing gradation compression processing in S Q.
  • This color correction image is an image obtained by performing color correction processing on the above-described gradation-compressed image (tone mapping image).
  • the color correction unit 44 performs optical black subtraction processing, white balance adjustment processing, color matrix calculation processing, gamma correction processing, color reproduction processing, and edge enhancement processing on the color correction image signal ST ′ including the generated color correction image. After the format conversion process and the like, the processed color corrected image signal ST ′ is output to the display device 5.
  • the input unit 45 receives input of various signals such as an operation instruction signal for instructing the operation of the endoscope system 1.
  • the storage unit 46 is realized by using a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory).
  • the storage unit 46 stores various programs for operating the endoscope system 1 and data including various parameters necessary for the operation of the endoscope system 1. Further, the storage unit 46 stores identification information of the processing device 4.
  • the identification information includes unique information (ID) of the processing device 4, model year, specification information, and the like.
  • the storage unit 46 is an image corresponding to the imaging signal subjected to signal processing by the imaging signal acquisition unit 41, and is a long exposure image captured by the first exposure processing or a short exposure captured by the second exposure processing.
  • the image data such as an image, the reference value of the weighted addition coefficient used in the weighted addition process of the weighted addition unit 421, the increase / decrease rate of the weighted addition coefficient relative to the reference value, and the like are stored.
  • the storage unit 46 may have a ring buffer that stores the first and second imaging signals, for example.
  • the oldest imaging signal is overwritten with the latest imaging signal, so that the predetermined number of frames in time series from the latest imaging signal.
  • the control unit 47 is configured using a CPU (Central Processing Unit) or the like, and performs drive control of each component including the image sensor 244 and the light source device 3, input / output control of information to each component, and the like.
  • the control unit 47 refers to control information data (for example, readout timing) for imaging control stored in the storage unit 46, and transmits the control information data to the imaging device 244 via a predetermined signal line included in the aggregate cable 245. To do.
  • control information data for example, readout timing
  • control unit 47 detects the brightness based on the image based on the acquired imaging signal, sets the exposure amount, and uses the light source 31a with the light emission amount (including intensity and time) according to the set exposure amount. Generates a control signal that emits light.
  • the display device 5 displays the color correction images P C 1 to P C 4 corresponding to the color correction image signal ST ′ generated by the processing device 4 (color correction unit 44) via the video cable.
  • the display device 5 is configured using a monitor such as liquid crystal or organic EL (Electro Luminescence).
  • the HDR image generation unit 42 performs first and second imaging signals (imaging signals S L and S having different exposure amounts).
  • the gradation compression section 43 After generating a HDR image signal S H based on the S), the gradation compression section 43 generates a tone compressed image signal S T, the color correction unit 44, the imaging signal S L, S S and gradation compression gain map based on the luminance (Y) component of each image of the image signal S T G L, and calculates the G S, calculated gain map G L, gradation compression subjected to color correction based on G S
  • the image signal is reconstructed to generate a color-corrected image signal S T ′ , and the display device 5 performs color correction images (color-corrected images P C 1 to P C 4 based on the reconstructed color-corrected image signal S T ′. ) Is displayed.
  • the gradation compressed image signal is generated after the HDR image signal is generated based on the first and second imaging signals having different exposure amounts (brightness).
  • the gain map is calculated based on the luminance components of the images of the second image pickup signal and the second compressed image signal, and the tone-compressed image subjected to color correction is reconstructed based on the calculated gain map. Since it did in this way, even if it is a case where gradation compression is carried out, the fall of the reproducibility of the color of the gradation compression image with respect to an input image can be suppressed.
  • the gain map is calculated based on the luminance (Y) component using the luminance (Y) component as a representative value based on the YCbCr color space.
  • the present invention is not limited to the YCbCr color space.
  • the gain map may be calculated using luminance information separately for color and luminance. For example, when the L * a * b * color space is used, tristimulus values (Y component of XYZ space (three-dimensional space)) are used as representative values.
  • the weighted addition coefficient ⁇ is described as being a coefficient set for a short exposure image, but may be a coefficient set for a long exposure image.
  • the imaging signals generated by two different exposure processes are used.
  • the imaging signals generated by three or more exposure processes may be used.
  • execution or non-execution of color correction processing after gradation compression may be switched. This switching may be performed based on an instruction input by a user's operation of a switch or the like, or may be automatically switched by analyzing a captured image.
  • switching is determined by image analysis, for example, the brightness difference of the image is calculated based on the brightness distribution of the image, and if this calculation result is larger than the preset brightness difference, color correction processing is executed. If the difference is less than or equal to a preset contrast, the process may be not executed.
  • the light source device 3 is described as being separate from the processing device 4.
  • the light source device 3 and the processing device 4 are integrated, for example, the interior of the processing device 4 is illuminated.
  • the part 31 and the illumination control part 32 may be provided.
  • the image processing apparatus includes the HDR image generation unit 42 of the endoscope system 1 using the endoscope 2 whose observation target is a living tissue or the like in the subject, the floor
  • the present invention is also applicable to an industrial endoscope for observing material characteristics and an endoscope system using a capsule endoscope. it can.
  • the image processing apparatus according to the present invention can be applied to both inside and outside the body.
  • the endoscope system has been described as an example.
  • the present invention can also be applied to, for example, outputting an image to an EVF (Electronic View Finder) provided in a digital still camera or the like.
  • EVF Electronic View Finder
  • the image processing apparatus and the imaging system according to the present invention are useful for suppressing a decrease in color reproducibility of a gradation compressed image with respect to an input image even when gradation compression is performed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Astronomy & Astrophysics (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本発明にかかる画像処理装置は、露光量が異なる第１および第２の画像データを含む第１および第２の信号をハイダイナミックレンジ合成してＨＤＲ画像信号を生成するＨＤＲ画像生成部と、ＨＤＲ画像生成部により生成されたＨＤＲ画像信号に対し、階調圧縮処理を施すことによって表示用の第１階調圧縮画像信号を生成する階調圧縮部と、第１および第２の信号ならびに第１階調圧縮画像信号に基づいて色補正を施すことによって第２階調圧縮画像信号を生成する色補正部と、を備えた。

Description

画像処理装置および撮像システム
　本発明は、明るさの異なる画像信号の合成処理を行う画像処理装置および撮像システムに関する。
　近年、明るさ（露光量）の異なる入力画像を合成することによってダイナミックレンジを拡大した画像であるＨＤＲ（High　Dynamic　Range）画像を生成後、このＨＤＲ画像に対して階調圧縮処理を施して、モニタに表示可能な階調圧縮画像を生成する技術が知られている（例えば、特許文献１を参照）。
特表２０１２－５１３１７２号公報
　しかしながら、特許文献１が開示する従来の階調圧縮処理では、入力画像に対する色の再現性が低かった。特に、医学的な診断では、患部の色調によって診断を行うため、内視鏡により得られた入力画像の色調に対して、モニタに表示される階調圧縮画像の色調が異なると、診断結果が異なってしまうおそれがあった。
　本発明は、上記に鑑みてなされたものであって、明るさが異なる入力画像を合成、階調圧縮した場合であっても、入力画像に対する階調圧縮画像の色の再現性の低下を抑制することができる画像処理装置および撮像システムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、露光量が異なる第１および第２の画像データをそれぞれ含む第１および第２の信号をハイダイナミックレンジ合成してＨＤＲ画像信号を生成するＨＤＲ画像生成部と、前記ＨＤＲ画像生成部により生成されたＨＤＲ画像信号に対し、階調圧縮処理を施すことによって表示用の第１階調圧縮画像信号を生成する階調圧縮部と、前記第１および第２の信号ならびに前記第１階調圧縮画像信号に基づいて色補正を施すことによって第２階調圧縮画像信号を生成する色補正部と、を備えたことを特徴とする。
　また、本発明にかかる撮像システムは、外部からの光を光電変換する複数の画素を有し、露光量が異なる第１および第２の撮像信号を生成する撮像装置と、前記第１および第２の撮像信号をハイダイナミックレンジ合成してＨＤＲ画像信号を生成するＨＤＲ画像生成部と、前記ＨＤＲ画像生成部により生成されたＨＤＲ画像信号に対し、階調圧縮処理を施すことによって表示用の第１階調圧縮画像信号を生成する階調圧縮部と、前記第１および第２の撮像信号ならびに前記第１階調圧縮画像信号に基づいて色補正を施すことによって第２階調圧縮画像信号を生成する色補正部と、を備えたことを特徴とする。
　また、本発明にかかる撮像システムは、上記発明において、前記ＨＤＲ画像生成部は、前記第１の撮像信号の画素値に対して０より大きく１より小さい第１の係数を乗じた値と、前記第２の撮像信号の画素値に対して前記第１の係数との和が１である第２の係数を乗じた値とに基づいて前記ＨＤＲ画像信号を生成し、前記色補正部は、前記第１および第２の撮像信号、前記第１階調圧縮画像信号、ならびに前記第１および第２の係数に基づいて前記第２階調圧縮画像信号を生成することを特徴とする。
　また、本発明にかかる撮像システムは、上記発明において、前記色補正部は、前記第１の撮像信号の代表値に対する前記第１階調圧縮画像信号の代表値の比を、前記第１の係数に乗じることにより第１のゲイン値を算出するとともに、前記第２の撮像信号の代表値に対する前記第１階調圧縮画像信号の代表値の比を、前記第２の係数に乗じることにより第２のゲイン値を算出することによって、画素位置に応じたゲインマップを算出するゲインマップ算出部と、前記ゲインマップ算出部が算出した前記ゲインマップに基づいて前記第１および第２の撮像信号を再度ハイダイナミックレンジ合成することによって前記第２階調圧縮画像信号を生成する再合成処理部と、を有することを特徴とする。
　また、本発明にかかる撮像システムは、上記発明において、照明光を出射する光源装置をさらに備え、前記第１の撮像信号は、第１の照明強度で照明された被写体を撮像した撮像信号であり、前記第２の撮像信号は、第１の照明強度とは異なる第２の照明強度で照明された被写体を撮像した撮像信号であることを特徴とする。
　本発明によれば、明るさが異なる入力画像を合成、階調圧縮した場合であっても、入力画像に対する階調圧縮画像の色の再現性の低下を抑制することができるという効果を奏する。
図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。 図２は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。 図３は、本発明の一実施の形態にかかる内視鏡システムによる画像生成を説明する模式図である。
　以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる画像処理装置を含む撮像システムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
　図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。図２は、本実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。
　図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源装置３と、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置４と、処理装置４の信号処理により生成された体内画像を表示する表示装置５と、を備える。
　内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源装置３および処理装置４に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
　挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像素子２４４（撮像装置）を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子２４４によって撮像する。
　先端部２４は、グラスファイバ等を用いて構成されて光源装置３が発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子２４４と、を有する。
　光学系２４３は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
　撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（撮像信号）を生成する。具体的には、撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系２４３からの光を光電変換して電気信号を生成する受光部２４４ａと、受光部２４４ａの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部２４４ｂと、を有する。撮像素子２４４は、処理装置４から受信した駆動信号に従って先端部２４の各種動作を制御する。撮像素子２４４は、例えばＣＣＤ（Charge　Coupled　Device）イメージセンサや、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサを用いて実現される。
　操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置４、光源装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。
　ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、撮像信号を伝送するための信号線や、撮像素子２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像素子２４４）に関する固有情報などを含む情報を送受信するための信号線を含む。
　つぎに、光源装置３の構成について説明する。光源装置３は、照明部３１と、照明制御部３２と、を備える。照明部３１は、照明制御部３２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。照明部３１は、光源３１ａと、光源ドライバ３１ｂと、を有する。
　光源３１ａは、白色光を出射するＬＥＤ光源や、一または複数のレンズ等を用いて構成され、ＬＥＤ光源の駆動により光（照明光）を出射する。光源３１ａが発生した照明光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。なお、光源３１ａは、赤色ＬＥＤ光源、緑色ＬＥＤ光源および青色ＬＥＤ光源を用いて構成し、いずれかの光源から光を出射することにより、赤色光、緑色光および青色光のうちのいずれかの波長帯域を有する光を照明光として出射するものであってもよい。
　光源ドライバ３１ｂは、照明制御部３２の制御のもと、光源３１ａに対して電流を供給することにより、光源３１ａに照明光を出射させる。
　照明制御部３２は、処理装置４からの制御信号に基づいて、光源３１ａに供給する電力量を制御するとともに、光源３１ａの駆動タイミングを制御する。照明制御部３２の制御により、照明部３１は、第１の露光量で露光する第１露光処理、および第１の露光量とは異なる第２の露光量で露光する第２露光処理によりそれぞれ被写体を露光する。本実施の形態では、第１の露光量が、第２の露光量よりも大きいものとして説明する。照明制御部３２は、例えば、照明光の照明強度を変化させることにより露光量を調整する。
　次に、処理装置４の構成について説明する。処理装置４は、撮像信号取得部４１と、ＨＤＲ（High　Dynamic　Range）画像生成部４２と、階調圧縮部４３と、色補正部４４と、入力部４５と、記憶部４６と、制御部４７と、を備える。なお、ＨＤＲ画像生成部４２、階調圧縮部４３および色補正部４４により、画像処理装置を構成する。
　撮像信号取得部４１は、内視鏡２から、撮像素子２４４が出力した撮像信号を受信する。図３は、本実施の形態にかかる内視鏡システムによる画像生成を説明する模式図である。撮像信号取得部４１は、取得した撮像信号に対してノイズ除去やＡ／Ｄ変換、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）などの信号処理を施して入力画像（画像データ）を含む撮像信号を生成する。撮像信号取得部４１は、入力画像として、第１露光処理である長露光処理によって得られる長露光画像ＰL１～ＰL３、および第２露光処理である短露光処理によって得られる短露光画像ＰS１，ＰS２を生成するとともに、生成した入力画像を記憶部４６に格納する。各入力画像は、信号処理により赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の色成分が付与された画像である。図３では、撮像信号取得部４１が、長露光画像ＰL１、短露光画像ＰS１、長露光画像ＰL２、短露光画像ＰS２、長露光画像ＰL３の順で取得するものとして説明する。
　撮像信号取得部４１は、最新フレームの撮像信号と、記憶部４６に記憶され、最新フレームの１フレーム前の撮像信号とを、ＨＤＲ画像生成部４２および色補正部４４に出力する。本実施の形態では、撮像信号取得部４１は、第１の露光量によって撮像された長露光画像（第１の画像データ）を含む第１の撮像信号と、第１の撮像信号の前または後のフレームの撮像信号であって、第２の露光量で撮像された短露光画像（第２の画像データ）を含む第２の撮像信号とを、ＨＤＲ画像生成部４２および色補正部４４に出力する。長露光画像および短露光画像は、一方が入力画像である場合、他方は記憶部４６に記憶されている記憶画像となる。
　ＨＤＲ画像生成部４２は、撮像素子２４４が生成した異なる露光量の画像を含む第１および第２の撮像信号を撮像信号取得部４１から取得して、露光量の異なる画像を合成することによって、ダイナミックレンジを広げたＨＤＲ画像ＰH１～ＰH４（例えば、チャンネルあたりのビット数が３２ビット）を含むＨＤＲ画像信号を生成する。ＨＤＲ画像生成部４２は、第１の撮像信号と第２の撮像信号との加重加算処理を行なってＨＤＲ画像信号を生成する加重加算部４２１と、加重加算部４２１の加重加算処理時に用いる加重加算係数を算出する加重加算係数算出部４２２と、を有する。
　加重加算部４２１は、第１の撮像信号と第２の撮像信号との加重加算処理を行って生成したＨＤＲ画像信号を階調圧縮部４３に出力する。具体的には、加重加算部４２１は、各画素の位置を直交座標系（ｘ，ｙ）で表すとともに、第１の撮像信号ＳLにおける長露光画像の画素値をＬ（ｘ，ｙ）、第２の撮像信号ＳSにおける短露光画像の画素値をＳ（ｘ，ｙ）、加重加算係数をα（ｘ，ｙ）（０＜α（ｘ，ｙ）＜１）、ＨＤＲ画像信号ＳHにおけるＨＤＲ画像の画素値をＨ（ｘ，ｙ）とすると、ＨＤＲ画像の画素値Ｈ（ｘ，ｙ）は、下式（１）により導出される。なお、以下では、加重加算係数αは、短露光画像に対して設定される係数であるものとして説明する。
　　Ｈ（ｘ，ｙ）＝（１－α（ｘ，ｙ））×Ｌ（ｘ，ｙ）
　　　　　　　　　　＋α（ｘ，ｙ）×β×Ｓ（ｘ，ｙ）　　・・・（１）
ここで、βは、短露光と長露光との露光量の差を調整するために短露光側に作用させる係数であって、短露光処理の露光量をＥ1、長露光処理の露光量をＥ2とすると、β＝Ｅ2／Ｅ1で表される。なお、この係数を長露光側に作用させる場合、係数β’は、β’＝Ｅ1／Ｅ2で表される。
　加重加算係数算出部４２２は、長露光画像の明るさ（画素値Ｌ（ｘ，ｙ））に応じて加重加算係数α（ｘ，ｙ）を設定する。具体的には、加重加算係数算出部４２２は、記憶部４６を参照して、長露光画像の画素値Ｌ（ｘ，ｙ）が、予め設定されている基準値に対して大きいほど加重加算係数α（ｘ，ｙ）の値が大きくなるように設定し、長露光画像の画素値Ｌ（ｘ，ｙ）が、基準値に対して小さいほど加重加算係数α（ｘ，ｙ）を小さくなるように設定する。加重加算係数算出部４２２は、画素位置（座標）ごとに、加重加算係数α（ｘ，ｙ）を設定する。なお、加重加算係数算出部４２２は、画素値Ｓ（ｘ，ｙ）に対する加重加算係数（第１の係数）と、画素値Ｌ（ｘ，ｙ）に対する加重加算係数（第２の係数）との和が１となるように各係数の設定を行う。
　階調圧縮部４３は、ＨＤＲ画像生成部４２が生成したＨＤＲ画像信号ＳHに対して、階調圧縮処理、例えば、チャンネルあたりのビット数を３２ビットから１２ビットとする処理を施すことによって、表示装置５で表示可能なサイズまでダイナミックレンジを下げた階調圧縮画像ＰT１～ＰT４（トーンマッピング画像）を含む階調圧縮画像信号ＳT（第１階調圧縮画像信号）を生成する。
　色補正部４４は、撮像信号取得部４１から入力された第１の撮像信号ＳLおよび第２の撮像信号ＳS、階調圧縮部４３が生成した階調圧縮画像信号ＳTならびに加重加算係数α（ｘ，ｙ）に基づき、第１の撮像信号ＳLおよび第２の撮像信号ＳSに色補正処理を施して色補正画像を含む色補正画像信号ＳT’を生成する。
　色補正部４４は、第１の撮像信号ＳL、第２の撮像信号ＳSおよび階調圧縮画像信号ＳTの各信号の輝度成分を抽出する輝度成分抽出部４４１と、輝度成分抽出部４４１が抽出した輝度成分と、加重加算係数α（ｘ，ｙ）とをもとに、ゲインマップを算出するゲインマップ算出部４４２と、ゲインマップに基づいて各画素における画素値を補正して第１の撮像信号ＳLおよび第２の撮像信号ＳSを再合成した補正ＨＤＲ画像信号を生成後、該補正ＨＤＲ画像信号に階調圧縮処理を施すことで補正階調圧縮画像である色補正画像を含む色補正画像信号ＳT’（第２階調圧縮画像信号）を生成する再合成処理部４４３と、を有する。
　輝度成分抽出部４４１は、入力された第１の撮像信号ＳL、第２の撮像信号ＳSおよび階調圧縮画像信号ＳTに対して、ＲＧＢで表現された値をＹＣｂＣｒ変換処理して輝度（Ｙ）成分および色差（ＣｒＣｂ）成分に分離し、各信号の輝度（Ｙ）成分を抽出する。輝度成分抽出部４４１は、第１の撮像信号ＳLから抽出した輝度成分を含む輝度成分信号ＹL、第２の撮像信号ＳSから抽出した輝度成分を含む輝度成分信号ＹSおよび階調圧縮画像信号ＳTから抽出した輝度成分を含む輝度成分信号ＹTをゲインマップ算出部４４２に出力する。
　ゲインマップ算出部４４２は、輝度成分抽出部４４１が抽出した輝度成分と、加重加算係数α（ｘ，ｙ）とをもとに、ゲインマップを算出する。具体的には、第１の撮像信号ＳLにおける画素位置（ｘ，ｙ）のゲイン値をＧL（ｘ，ｙ）、第２の撮像信号ＳSにおける画素位置（ｘ，ｙ）のゲイン値をＧS（ｘ，ｙ）、第１の撮像信号ＳLにおける長露光画像の画素値Ｌ（ｘ，ｙ）の輝度成分をＹL（ｘ，ｙ）、第２の撮像信号ＳSにおける短露光画像の画素値Ｓ（ｘ，ｙ）の輝度成分をＹS（ｘ，ｙ）、階調圧縮画像信号ＳTにおける階調圧縮画像の画素値Ｔ（ｘ，ｙ）の輝度成分をＹT（ｘ，ｙ）とすると、ゲイン値ＧL（ｘ，ｙ）は下式（２）により導出され、ゲイン値ＧS（ｘ，ｙ）は下式（３）により導出される。
　ＧL（ｘ，ｙ）＝（１－α（ｘ，ｙ））×ＹT（ｘ，ｙ）／ＹL（ｘ，ｙ）
　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ＧS（ｘ，ｙ）＝α（ｘ，ｙ）×ＹT（ｘ，ｙ）／ＹS（ｘ，ｙ）・・・（３）
　ゲインマップ算出部４４２は、上式（２）、（３）により、各画素位置に対してゲイン値ＧL（ｘ，ｙ）が付与された第１ゲインマップＧLと、各画素位置に対してゲイン値ＧS（ｘ，ｙ）が付与された第２ゲインマップＧSと、を算出する。ゲインマップ算出部４４２は、算出した第１ゲインマップＧLおよび第２ゲインマップＧSを再合成処理部４４３に出力する。
　再合成処理部４４３は、ゲインマップ算出部４４２が算出した第１ゲインマップＧLおよび第２ゲインマップＧSに基づいて各画素における画素値を補正して第１の撮像信号ＳLおよび第２の撮像信号ＳSを再合成した補正ＨＤＲ画像信号ＳQを生成後、該補正ＨＤＲ画像信号ＳQに階調圧縮処理を施すことで補正階調圧縮画像である色補正画像を含む色補正画像信号ＳT’を生成する。具体的には、再合成処理部４４３は、補正ＨＤＲ画像信号ＳQにおける補正ＨＤＲ画像の画素値をＱ（ｘ，ｙ）とすると、画素値Ｑ（ｘ，ｙ）は下式（４）により導出される。
　　Ｑ（ｘ，ｙ）＝ＧL（ｘ，ｙ）×Ｌ（ｘ，ｙ）
　　　　　　　　　　 　　　 ＋ＧS（ｘ，ｙ）×Ｓ（ｘ，ｙ）・・・（４）
　再合成処理部４４３は、第１ゲインマップＧLおよび第２ゲインマップＧSに基づいて画素値Ｑ（ｘ，ｙ）を算出し、補正ＨＤＲ画像信号ＳQを生成後、該補正ＨＤＲ画像信号ＳQに階調圧縮処理を施すことで補正階調圧縮画像である色補正画像ＰC１～ＰC４を含む色補正画像信号ＳT’を生成する。この色補正画像は、上述した階調圧縮画像（トーンマッピング画像）に対して色補正処理を施した画像である。
　色補正部４４は、生成した色補正画像を含む色補正画像信号ＳT’に対して、オプティカルブラック減算処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理およびフォーマット変換処理等を施した後、処理後の色補正画像信号ＳT’を表示装置５に出力する。
　入力部４５は、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。
　記憶部４６は、フラッシュメモリやＤＲＡＭ（Dynamic　Random　Access　Memory）等の半導体メモリを用いて実現される。記憶部４６は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部４６は、処理装置４の識別情報を記憶する。ここで、識別情報には、処理装置４の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。
　記憶部４６は、撮像信号取得部４１により信号処理が施された撮像信号に応じた画像であって、第１露光処理により撮像された長露光画像や、第２露光処理により撮像された短露光画像などの画像データ、加重加算部４２１の加重加算処理時に用いる加重加算係数の基準値、該基準値に対する加重加算係数の増減率などを記憶する。記憶部４６は、例えば第１および第２の撮像信号を記憶するリングバッファを有していてもよい。この場合、リングバッファは、容量が不足すると（所定のフレーム数の撮像信号を記憶すると）、最も古い撮像信号を最新の撮像信号で上書きすることで、最新の撮像信号から時系列で所定フレーム数記憶する。
　制御部４７は、ＣＰＵ（Central　Processing　Unit）等を用いて構成され、撮像素子２４４および光源装置３を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部４７は、記憶部４６に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４５に含まれる所定の信号線を介して撮像素子２４４へ送信する。
　また、制御部４７は、取得した撮像信号に基づく画像をもとに明るさを検出して露光量を設定し、該設定した露光量に応じた発光量（強度および時間を含む）で光源３１ａが発光するような制御信号を生成する。
　表示装置５は、映像ケーブルを介して処理装置４（色補正部４４）が生成した色補正画像信号ＳT’に対応する色補正画像ＰC１～ＰC４を表示する。表示装置５は、液晶または有機ＥＬ（Electro　Luminescence）等のモニタを用いて構成される。
　以上説明した内視鏡システム１では、処理装置４に入力された撮像信号をもとに、ＨＤＲ画像生成部４２が、露光量の異なる第１および第２の撮像信号（撮像信号ＳL，ＳS）をもとにＨＤＲ画像信号ＳHを生成後、階調圧縮部４３が、階調圧縮画像信号ＳTを生成し、色補正部４４が、撮像信号ＳL，ＳSおよび階調圧縮画像信号ＳTの各画像の輝度（Ｙ）成分をもとにゲインマップＧL，ＧSを算出して、算出されたゲインマップＧL，ＧSに基づいて色補正を施した階調圧縮画像信号を再構築して色補正画像信号ＳT’を生成し、表示装置５が、再構築された色補正画像信号ＳT’に基づく色補正画像（色補正画像ＰC１～ＰC４）を表示する。
　上述した本発明の一実施の形態によれば、露光量（明るさ）の異なる第１および第２の撮像信号をもとにＨＤＲ画像信号を生成後に階調圧縮画像信号を生成し、第１および第２の撮像信号ならびに階調圧縮画像信号の各画像の輝度成分をもとにゲインマップを算出して、算出されたゲインマップに基づいて色補正を施した階調圧縮画像を再構築するようにしたので、階調圧縮した場合であっても、入力画像に対する階調圧縮画像の色の再現性の低下を抑制することができる。
　なお、上述した実施の形態では、ＹＣｂＣｒ色空間に基づいて輝度（Ｙ）成分を代表値として輝度（Ｙ）成分をもとにゲインマップを算出するものとして説明したが、ＹＣｂＣｒ色空間に限らず、例えば、色相（Hue）、彩度（Saturation　Chroma）、明度（Value　Lightness　Brightness）の三つの成分からなるＨＳＶ色空間や、三次元空間を用いるＬ*ａ*ｂ*色空間などを用いて、色と輝度とに分けて、輝度の情報を使ってゲインマップを算出してもよい。例えば、Ｌ*ａ*ｂ*色空間を用いる場合は、３刺激値（ＸＹＺ空間（三次元空間）のＹ成分）を代表値として用いる。
　なお、上述した実施の形態では、加重加算係数αが、短露光画像に対して設定される係数であるものとして説明したが、長露光画像に対して設定される係数であってもよい。
　また、上述した実施の形態では、異なる二つの露光処理によって生成された撮像信号を用いるものとして説明したが、三つ以上の露光処理によって生成された撮像信号を用いるものであってもよい。
　また、上述した実施の形態において、階調圧縮後の色補正処理の実行または非実行を切替可能としてもよい。この切替は、ユーザーによるスイッチ等の操作による指示入力に基づいてなされるものであってもよいし、撮像された画像を解析することによって、自動的に切替可能としてもよい。画像解析により切替を判断する場合は、例えば、画像の輝度分布をもとに画像の明暗差を算出し、この算出結果が予め設定されている明暗差よりも大きければ、色補正処理を実行し、予め設定されている明暗差以下であれば、当該処理を非実行としてもよい。
　また、上述した実施の形態では、光源装置３が、処理装置４とは別体であるものとして説明したが、光源装置３および処理装置４が一体であって、例えば処理装置４の内部に照明部３１および照明制御部３２が設けられているものであってもよい。
　また、上述した実施の形態では、本発明にかかる画像処理装置が、観察対象が被検体内の生体組織などである内視鏡２を用いた内視鏡システム１のＨＤＲ画像生成部４２、階調圧縮部４３および色補正部４４として機能するものとして説明したが、材料の特性を観測する工業用の内視鏡や、カプセル型の内視鏡を用いた内視鏡システムであっても適用できる。本発明にかかる画像処理装置は、体内、体外を問わず適用可能である。
　また、上述した実施の形態では、内視鏡システムを例に挙げて説明したが、例えばデジタルスチルカメラ等に設けられるＥＶＦ（Electronic　View　Finder）に映像を出力する場合にも適用可能である。この場合、光学式ファインダを用いる場合に比べて、逆光状態などのシーン中の明暗差が大きい場合においても原画の色調を再現しながら被写体の視認性を向上させることが可能である。
　以上のように、本発明にかかる画像処理装置および撮像システムは、階調圧縮した場合であっても、入力画像に対する階調圧縮画像の色の再現性の低下を抑制するのに有用である。
　１　内視鏡システム
　２　内視鏡
　３　光源装置
　４　処理装置
　５　表示装置
　２１　挿入部
　２２　操作部
　２３　ユニバーサルコード
　２４　先端部
　２５　湾曲部
　２６　可撓管部
　３１　照明部
　３２　照明制御部
　４１　撮像信号取得部
　４２　ＨＤＲ画像生成部
　４３　階調圧縮部
　４４　色補正部
　４５　入力部
　４６　記憶部
　４７　制御部
　４２１　加重加算部
　４２２　加重加算係数算出部
　４４１　輝度成分抽出部
　４４２　ゲインマップ算出部
　４４３　再合成処理部

Claims (5)

  1. 　露光量が異なる第１および第２の画像データをそれぞれ含む第１および第２の信号をハイダイナミックレンジ合成してＨＤＲ画像信号を生成するＨＤＲ画像生成部と、
    　前記ＨＤＲ画像生成部により生成されたＨＤＲ画像信号に対し、階調圧縮処理を施すことによって表示用の第１階調圧縮画像信号を生成する階調圧縮部と、
    　前記第１および第２の信号ならびに前記第１階調圧縮画像信号に基づいて色補正を施すことによって第２階調圧縮画像信号を生成する色補正部と、
    　を備えたことを特徴とする画像処理装置。
  2. 　外部からの光を光電変換する複数の画素を有し、露光量が異なる第１および第２の撮像信号を生成する撮像装置と、
    　前記第１および第２の撮像信号をハイダイナミックレンジ合成してＨＤＲ画像信号を生成するＨＤＲ画像生成部と、
    　前記ＨＤＲ画像生成部により生成されたＨＤＲ画像信号に対し、階調圧縮処理を施すことによって表示用の第１階調圧縮画像信号を生成する階調圧縮部と、
    　前記第１および第２の撮像信号ならびに前記第１階調圧縮画像信号に基づいて色補正を施すことによって第２階調圧縮画像信号を生成する色補正部と、
    　を備えたことを特徴とする撮像システム。
  3. 　前記ＨＤＲ画像生成部は、前記第１の撮像信号の画素値に対して０より大きく１より小さい第１の係数を乗じた値と、前記第２の撮像信号の画素値に対して前記第１の係数との和が１である第２の係数を乗じた値とに基づいて前記ＨＤＲ画像信号を生成し、
    　前記色補正部は、前記第１および第２の撮像信号、前記第１階調圧縮画像信号、ならびに前記第１および第２の係数に基づいて前記第２階調圧縮画像信号を生成する
    　ことを特徴とする請求項２に記載の撮像システム。
  4. 　前記色補正部は、
    　前記第１の撮像信号の代表値に対する前記第１階調圧縮画像信号の代表値の比を、前記第１の係数に乗じることにより第１のゲイン値を算出するとともに、前記第２の撮像信号の代表値に対する前記第１階調圧縮画像信号の代表値の比を、前記第２の係数に乗じることにより第２のゲイン値を算出することによって、画素位置に応じたゲインマップを算出するゲインマップ算出部と、
    　前記ゲインマップ算出部が算出した前記ゲインマップに基づいて前記第１および第２の撮像信号を再度ハイダイナミックレンジ合成することによって前記第２階調圧縮画像信号を生成する再合成処理部と、
    　を有することを特徴とする請求項３に記載の撮像システム。
  5. 　照明光を出射する光源装置をさらに備え、
    　前記第１の撮像信号は、第１の照明強度で照明された被写体を撮像した撮像信号であり、
    　前記第２の撮像信号は、第１の照明強度とは異なる第２の照明強度で照明された被写体を撮像した撮像信号である
    　ことを特徴とする請求項２～４のいずれか一つに記載の撮像システム。
PCT/JP2016/066798 2015-06-30 2016-06-06 画像処理装置および撮像システム WO2017002544A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16817653.5A EP3318175A1 (en) 2015-06-30 2016-06-06 Image processing apparatus and imaging system
CN201680010036.5A CN107205629B (zh) 2015-06-30 2016-06-06 图像处理装置和摄像系统
JP2016572857A JP6109456B1 (ja) 2015-06-30 2016-06-06 画像処理装置および撮像システム
US15/640,639 US10163196B2 (en) 2015-06-30 2017-07-03 Image processing device and imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015131743 2015-06-30
JP2015-131743 2015-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/640,639 Continuation US10163196B2 (en) 2015-06-30 2017-07-03 Image processing device and imaging system

Publications (1)

Publication Number Publication Date
WO2017002544A1 true WO2017002544A1 (ja) 2017-01-05

Family

ID=57608202

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/066798 WO2017002544A1 (ja) 2015-06-30 2016-06-06 画像処理装置および撮像システム

Country Status (5)

Country Link
US (1) US10163196B2 (ja)
EP (1) EP3318175A1 (ja)
JP (1) JP6109456B1 (ja)
CN (1) CN107205629B (ja)
WO (1) WO2017002544A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170301069A1 (en) * 2015-06-30 2017-10-19 Olympus Corporation Image processing device and imaging system
WO2018230066A1 (ja) * 2017-06-12 2018-12-20 ソニー株式会社 医療用システム、医療用装置および制御方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017149932A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
JP2019028537A (ja) * 2017-07-26 2019-02-21 キヤノン株式会社 画像処理装置および画像処理方法
US10692196B2 (en) * 2017-10-18 2020-06-23 Gopro, Inc. Color correction integrations for global tone mapping
CN110996016A (zh) * 2019-12-11 2020-04-10 苏州新光维医疗科技有限公司 一种内窥镜图像色彩调整方法
CN115066880A (zh) * 2020-02-12 2022-09-16 Oppo广东移动通信有限公司 生成捕获图像的方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023183A (ja) * 1998-06-29 2000-01-21 Olympus Optical Co Ltd 電子内視鏡装置
JP2012093965A (ja) * 2010-10-27 2012-05-17 Mitsubishi Electric Corp 画像処理装置、画像処理方法及び撮像装置
JP2015073772A (ja) * 2013-10-10 2015-04-20 パナソニックＩｐマネジメント株式会社 体腔内照明装置および内視鏡システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111941B2 (en) * 2006-11-22 2012-02-07 Nik Software, Inc. Method for dynamic range editing
US8339475B2 (en) 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8447132B1 (en) * 2009-12-09 2013-05-21 CSR Technology, Inc. Dynamic range correction based on image content
US8675984B2 (en) * 2011-03-03 2014-03-18 Dolby Laboratories Licensing Corporation Merging multiple exposed images in transform domain
JP5683418B2 (ja) * 2011-09-08 2015-03-11 オリンパスイメージング株式会社 撮影機器及び撮影方法
US9076233B2 (en) * 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
US10255888B2 (en) * 2012-12-05 2019-04-09 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image
JP6109456B1 (ja) * 2015-06-30 2017-04-05 オリンパス株式会社 画像処理装置および撮像システム
US10269095B2 (en) * 2015-08-31 2019-04-23 Apple Inc. Dynamically determining filtering strength for noise filtering in image processing
US9843738B2 (en) * 2015-10-01 2017-12-12 Semiconductor Components Industries, Llc High dynamic range imaging pixels with improved readout

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023183A (ja) * 1998-06-29 2000-01-21 Olympus Optical Co Ltd 電子内視鏡装置
JP2012093965A (ja) * 2010-10-27 2012-05-17 Mitsubishi Electric Corp 画像処理装置、画像処理方法及び撮像装置
JP2015073772A (ja) * 2013-10-10 2015-04-20 パナソニックＩｐマネジメント株式会社 体腔内照明装置および内視鏡システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170301069A1 (en) * 2015-06-30 2017-10-19 Olympus Corporation Image processing device and imaging system
WO2018230066A1 (ja) * 2017-06-12 2018-12-20 ソニー株式会社 医療用システム、医療用装置および制御方法
CN110709001A (zh) * 2017-06-12 2020-01-17 索尼公司 医疗系统、医疗设备和控制方法
JPWO2018230066A1 (ja) * 2017-06-12 2020-04-16 ソニー株式会社 医療用システム、医療用装置および制御方法
EP3639725A4 (en) * 2017-06-12 2020-06-10 Sony Corporation MEDICAL SYSTEM, MEDICAL DEVICE AND CONTROL METHOD
JP7088185B2 (ja) 2017-06-12 2022-06-21 ソニーグループ株式会社 医療用システム、医療用装置および制御方法
CN110709001B (zh) * 2017-06-12 2022-09-23 索尼公司 医疗系统、医疗设备和控制方法
US11463629B2 (en) 2017-06-12 2022-10-04 Sony Corporation Medical system, medical apparatus, and control method

Also Published As

Publication number Publication date
US20170301069A1 (en) 2017-10-19
JPWO2017002544A1 (ja) 2017-06-29
CN107205629A (zh) 2017-09-26
JP6109456B1 (ja) 2017-04-05
CN107205629B (zh) 2019-08-02
US10163196B2 (en) 2018-12-25
EP3318175A1 (en) 2018-05-09

Similar Documents

Publication Publication Date Title
JP6109456B1 (ja) 画像処理装置および撮像システム
US10575720B2 (en) Endoscope system
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
US10574934B2 (en) Ultrasound observation device, operation method of image signal processing apparatus, image signal processing method, and computer-readable recording medium
JP6458205B1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JPWO2020178962A1 (ja) 内視鏡システム、画像処理装置、総処理時間検出方法および処理装置
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP6137892B2 (ja) 撮像システム
WO2015194204A1 (ja) 内視鏡装置
JP6242552B1 (ja) 画像処理装置
WO2017203996A1 (ja) 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
WO2019221306A1 (ja) 内視鏡システム
US20200037865A1 (en) Image processing device, image processing system, and image processing method
JP2017123997A (ja) 撮像システムおよび処理装置
US11509834B2 (en) Image processing apparatus and image processing method
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP2017221276A (ja) 画像処理装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016572857

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16817653

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016817653

Country of ref document: EP