WO2017183488A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2017183488A1
WO2017183488A1 PCT/JP2017/014542 JP2017014542W WO2017183488A1 WO 2017183488 A1 WO2017183488 A1 WO 2017183488A1 JP 2017014542 W JP2017014542 W JP 2017014542W WO 2017183488 A1 WO2017183488 A1 WO 2017183488A1
Authority
WO
WIPO (PCT)
Prior art keywords
color balance
unit
image
input
signal
Prior art date
Application number
PCT/JP2017/014542
Other languages
English (en)
French (fr)
Inventor
航史 小島
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2017540665A priority Critical patent/JP6242552B1/ja
Publication of WO2017183488A1 publication Critical patent/WO2017183488A1/ja
Priority to US16/154,931 priority patent/US10462440B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to an image processing apparatus.
  • an endoscope system is used to observe an organ of a subject such as a patient.
  • An endoscope system includes, for example, an endoscope having an imaging element provided at a distal end and having an elongated shape having flexibility, and an insertion portion to be inserted into a subject, and a cable on the proximal end side of the insertion portion.
  • a processing device that performs in-vivo image processing according to an imaging signal captured by the image sensor and displays the in-vivo image on a display unit and the like, and emits illumination light for illuminating the inside of the subject A light source device.
  • white light or a predetermined light is directed from the distal end of the endoscope toward the living tissue in the subject.
  • Illumination light such as special light composed of light in the wavelength band is irradiated, and the imaging device captures an in-vivo image.
  • the processing device displays an in-vivo image based on an imaging signal imaged by the imaging element on a display unit or the like. A user such as a doctor observes the subject based on the in-vivo image displayed on the display unit.
  • Patent Document 1 As a technique used for observation in such a subject, a technique is known in which in-vivo images obtained from an endoscope are sequentially displayed as moving images, and in-vivo images can be displayed as still images in response to a freeze instruction (for example, , See Patent Document 1).
  • the technique disclosed in Patent Document 1 has a memory for storing a plurality of in-vivo images, and selects an in-vivo image with less blur from a plurality of in-vivo images stored in the memory when a freeze instruction is input. The selected in-vivo image is displayed as a still image.
  • a change in color balance may be corrected in real time.
  • color balance correction for compensating blue light absorption by urine is performed for each in-vivo image.
  • color balance correction is not taken into consideration, and after the still image is displayed by the freeze instruction, the freeze process is canceled and the moving image is displayed again. In some cases, the color balance is not suitable for observation.
  • the present invention has been made in view of the above, and provides an image processing apparatus capable of generating an image with a color balance suitable for observation after freezing even when correction is performed in real time. For the purpose.
  • an image processing apparatus includes an imaging signal acquisition unit that acquires an imaging signal generated by imaging a subject in time series, and the imaging signal A color balance adjustment process is performed based on the first color balance processing unit that generates a first image signal, and a display is performed based on the first image signal generated by the first color balance processing unit.
  • a display image generation unit that generates an image signal for use, and a color balance adjustment process based on the imaging signal input in parallel with the first color balance processing unit to generate a second image signal 2 color balance processing unit, a detection unit for detecting signals of a plurality of color components included in the second image signal generated by the second color balance processing unit, and the color based on the detection result by the detection unit rose
  • a calculation unit for calculating a color balance parameter for performing the adjustment processing, an input unit for receiving an input of a freeze instruction signal for causing the display device to freeze-display an image corresponding to the display image signal, and the freeze instruction signal
  • a freeze processing unit that determines an image to be frozen based on the input, and when the input unit does not accept the input of the freeze instruction signal, the latest color balance parameters are sent to the first and second color balance processing units.
  • the input unit receives the input of the freeze instruction signal
  • the color balance parameter corresponding to the image to be frozen is input to the first color balance processing unit, and the latest color balance parameter is input to the second color balance parameter.
  • a parameter selection unit for inputting to the color balance processing unit.
  • an image buffer that stores a plurality of imaging signals acquired by the imaging signal acquisition unit while sequentially updating, and a color corresponding to the imaging signal stored in the image buffer.
  • a correction buffer that stores the balance parameters while sequentially updating them, and when there is an input of the freeze instruction signal, an image with less blur is selected from images corresponding to a plurality of imaging signals stored in the image buffer.
  • An image selection unit that performs the selection, and the freeze processing unit determines the image selected by the image selection unit as an image to be frozen.
  • the correction value memory for storing a preset color balance parameter and a color balance adjustment process using the preset color balance parameter in the first invention are performed.
  • a mode setting unit that sets one of a mode and a second mode that performs color balance adjustment processing based on the color balance parameter calculated by the calculation unit, and the parameter selection unit includes: The color balance parameter to be input to the first color balance processing unit is selected according to the mode being set.
  • the correction buffer performs the color balance parameter storing process regardless of the mode setting, and the parameter selection unit sets the first mode. If the color balance parameter is set, the preset color balance parameter is input to the first color balance processing unit. If the second mode is set, the latest color balance parameter stored in the correction buffer is stored. When the input is input to the first color balance processing unit and the input unit receives the input of the freeze instruction signal in the second mode, the color balance parameter corresponding to the image to be frozen is set to the first color balance processing unit. Is input.
  • an image having a color balance suitable for observation can be generated after freezing is released.
  • FIG. 1 is a diagram illustrating a schematic configuration of an endoscope system according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a schematic configuration of the endoscope system according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a configuration of a main part of the endoscope system according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating image processing performed by the endoscope system according to the first embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a schematic configuration of the endoscope system according to the second embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating a configuration of a main part of the endoscope system according to the second embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating image processing performed by the endoscope system according to the second embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a schematic configuration of an endoscope system according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a schematic configuration of the endoscope system according to the first embodiment.
  • a solid arrow indicates transmission of an electric signal related to an image
  • a broken arrow indicates transmission of an electric signal related to control.
  • An endoscope system 1 shown in FIGS. 1 and 2 includes an endoscope 2 that captures an in-vivo image of a subject by inserting a tip portion into the subject, and illumination light emitted from the tip of the endoscope 2. And a processing device 3 that performs predetermined signal processing on the image signal captured by the endoscope 2 and controls the overall operation of the endoscope system 1. And a display device 4 for displaying the in-vivo image generated by the signal processing.
  • the endoscope 2 includes an insertion portion 21 having an elongated shape having flexibility, an operation portion 22 that is connected to a proximal end side of the insertion portion 21 and receives input of various operation signals, and an insertion portion from the operation portion 22. And a universal cord 23 that includes various cables that extend in a direction different from the direction in which 21 extends and are connected to the processing device 3 (including the light source unit 3a).
  • the processing device 3 including the light source unit 3a.
  • the insertion unit 21 receives a light and performs photoelectric conversion to generate a signal to generate a signal.
  • the insertion unit 21 includes an image pickup element 244 in which pixels are arranged in a two-dimensional shape, and a bendable portion formed by a plurality of bending pieces. And a long flexible tube portion 26 connected to the proximal end side of the bending portion 25 and having flexibility.
  • the insertion unit 21 uses the image sensor 244 to image a subject such as a living tissue that is inserted into the body cavity of the subject and is not reachable by external light.
  • the tip portion 24 is configured by using a glass fiber or the like, and forms a light guide path for light emitted from the light source portion 3a, an illumination lens 242 provided at the tip of the light guide 241, and condensing optics.
  • An imaging device 244 imaging unit that is provided at an imaging position of the optical system 243, receives light collected by the optical system 243, photoelectrically converts the light into an electrical signal, and performs predetermined signal processing; Have.
  • the optical system 243 is configured by using one or a plurality of lenses, and has an optical zoom function for changing the angle of view and a focus function for changing the focus.
  • the image sensor 244 photoelectrically converts light from the optical system 243 to generate an electrical signal (imaging signal).
  • imaging element 244 a plurality of pixels each having a photodiode that accumulates electric charge according to the amount of light, a capacitor that converts electric charge transferred from the photodiode into a voltage level, and the like are arranged in a matrix, A light receiving unit 244a in which each pixel photoelectrically converts light from the optical system 243 to generate an electric signal, and an electric signal generated by a pixel arbitrarily set as a reading target among a plurality of pixels of the light receiving unit 244a is sequentially read out And a reading unit 244b for outputting as an imaging signal.
  • the light receiving unit 244a is provided with a color filter, and each pixel receives light in one of the wavelength bands of the color components of red (R), green (G), and blue (B).
  • the image sensor 244 controls various operations of the distal end portion 24 in accordance with the drive signal received from the processing device 3.
  • the image sensor 244 is realized using, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image sensor 244 may be a single plate image sensor or may use a plurality of image sensors such as a three-plate system.
  • the operation unit 22 includes a bending knob 221 that bends the bending unit 25 in the vertical direction and the left-right direction, and a treatment tool insertion unit 222 that inserts a treatment tool such as a biopsy forceps, an electric knife, and an inspection probe into the body cavity of the subject.
  • a treatment tool such as a biopsy forceps, an electric knife, and an inspection probe into the body cavity of the subject.
  • the processing device 3 it has a plurality of switches 223 which are operation input units for inputting operation instruction signals of peripheral devices such as air supply means, water supply means, and screen display control.
  • the treatment tool inserted from the treatment tool insertion portion 222 is exposed from the opening (not shown) via the treatment tool channel (not shown) of the distal end portion 24.
  • the universal cord 23 includes at least a light guide 241 and a collective cable 245 in which one or a plurality of signal lines are collected.
  • the collective cable 245 is a signal line for transmitting an image signal, a signal line for transmitting a drive signal for driving the image sensor 244, information including unique information regarding the endoscope 2 (image sensor 244), and the like.
  • the processing device 3 includes an imaging signal acquisition unit 31, a freeze processing unit 32, a first color balance processing unit 33, a second color balance processing unit 34, a detection unit 35, a display image generation unit 36, and an input unit. 37, a control unit 38, and a storage unit 39.
  • the image processing apparatus according to the present invention includes at least the first color balance processing unit 33, the second color balance processing unit 34, the detection unit 35, the display image generation unit 36, and the control unit 38. Is done.
  • the imaging signal acquisition unit 31 receives from the endoscope 2 an imaging signal that is captured by the imaging device 244 and includes image data for rendering an in-vivo image.
  • the imaging signal acquisition unit 31 performs noise removal, A / D conversion, and synchronization processing (for example, performed when an imaging signal for each color component is obtained using a color filter or the like) for the acquired imaging signal. Apply signal processing.
  • the imaging signal acquisition unit 31 generates a processing signal (an imaging signal after processing) including an in-vivo image to which RGB color components are added by the signal processing described above.
  • the imaging signal acquisition unit 31 inputs the generated processing signal to the freeze processing unit 32 and the second color balance processing unit 34.
  • the imaging signal acquisition unit 31 is configured using a general-purpose processor such as a CPU (Central Processing Unit) or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit).
  • the freeze processing unit 32 determines an in-vivo image corresponding to the processing signal input from the imaging signal acquisition unit 31 as an image to be displayed on the display device 4 as a freeze display.
  • the freeze processing unit 32 inputs a processing signal corresponding to the in-vivo image determined as an image to be displayed on the display device 4 to the first color balance processing unit 33.
  • the freeze processing unit 32 sequentially inputs the processing signal input from the imaging signal acquisition unit 31 to the first color balance processing unit 33 when no freeze instruction signal is input.
  • the freeze processing unit 32 determines the in-vivo image to be frozen, the freeze processing unit 32 does not receive the processing signal input from the imaging signal acquisition unit 31 or discards it even during the still image display period by the freeze processing. Thus, no input is made to the first color balance processing unit 33. After the freeze processing is canceled, the freeze processing unit 32 inputs the processing signal newly input from the imaging signal acquisition unit 31 to the first color balance processing unit 33 as an in-vivo image for moving image display.
  • the in-vivo image displayed on the display device 4 after the freeze process is an in-vivo image in which the in-vivo image in the still image display period by the freeze process is missing and is in time series with the in-vivo image immediately before the freeze process. Will be displayed.
  • the freeze processing unit 32 is configured by a CPU, an ASIC, or the like.
  • the first color balance processing unit 33 performs color balance adjustment processing of the processing signal input from the freeze processing unit 32 based on the color balance parameter input from the control unit 38. Specifically, the first color balance processing unit 33 adjusts the signal level input to the red (R), green (G), and blue (B) channels with respect to the processing signal. The first color balance processing unit 33 inputs the image signal generated by the color balance adjustment to the display image generation unit 36.
  • the first color balance processing unit 33 is configured by a CPU, an ASIC, and the like.
  • the second color balance processing unit 34 performs color balance adjustment processing of the processing signal input from the imaging signal acquisition unit 31 based on the color balance parameter input from the control unit 38. Specifically, the second color balance processing unit 34 performs channel color components of red (R), green (G), and blue (B) on the processing signal based on the color balance input from the control unit 38. Adjust the signal level. The second color balance processing unit 34 inputs the image signal generated by the color balance adjustment to the detection unit 35.
  • the second color balance processing unit 34 is configured by a CPU, an ASIC, and the like.
  • the detection unit 35 obtains a signal value (from a luminance component Y signal, a red component R signal, a green component G signal, and a blue component B signal included in the image signal input from the second color balance processing unit 34.
  • the luminance value of each pixel is detected, and the signal value of each component is used as the detection value.
  • the detection unit 35 inputs the generated detection value to the control unit 38.
  • the detector 35 may output an average value of luminance values as a detected value, or may output a maximum value, a minimum value, or the like as a detected value.
  • the detection unit 35 is configured by a CPU, an ASIC, or the like.
  • the display image generation unit 36 performs signal processing on the image signal generated by the first color balance processing unit 33 so as to be a signal that can be displayed on the display device 4 to generate an image signal for display. To do. Specifically, the display image generation unit 36 performs an enhancement process or a compression process on the image signal to generate a display image signal. When the input signal is divided into RGB color components, the display image generation unit 36 performs an interpolation process on each color component, and generates an image signal in which the RGB color component is added to each pixel position. The display image generation unit 36 transmits the generated display image signal to the display device 4.
  • the display image generation unit 36 is configured by a CPU, an ASIC, and the like.
  • the display image generating unit 36 has a preset period, for example, several frames. During the period for displaying the in-vivo image, the in-vivo image to be frozen is displayed on the display device 4 as a still image.
  • the input unit 37 is realized by using a keyboard, a mouse, a switch, and a touch panel, and receives input of various signals such as an operation instruction signal for instructing an operation of the endoscope system 1.
  • the input unit 37 may include a portable terminal such as a switch provided in the operation unit 22 or an external tablet computer.
  • the control unit 38 is configured by a CPU, an ASIC, a memory, and the like, and performs drive control of each component including the image sensor 244 and the light source unit 3a, and input / output control of information with respect to each component.
  • the control unit 38 refers to control information data (for example, readout timing) for imaging control stored in the storage unit 39, and uses the imaging signal as a drive signal via a predetermined signal line included in the collective cable 245. To 244.
  • control unit 38 inputs color balance parameters to be input to the first color balance processing unit 33 and the second color balance processing unit 34 based on the detection result by the detection unit 35 and the instruction signal received by the input unit 37. Take control.
  • FIG. 3 is a block diagram illustrating a configuration of a main part of the endoscope system according to the first embodiment of the present invention, and is a block diagram illustrating the configuration of the control unit 38.
  • the control unit 38 includes a calculation unit 381, a buffer 382, a fixed value memory 383, a first selection unit 384, a second selection unit 385, and a mode setting unit 386.
  • the first selection unit 384 and the second selection unit 385 constitute a parameter selection unit.
  • the calculation unit 381 calculates a color balance parameter based on the detection value input from the detection unit 35. Specifically, the calculation unit 381 calculates D B / D G when the detected value of the G component is D G and the detected value of the B component is D B. Here, when performing NBI observation, yellow is displayed as a red pseudo color.
  • the urine may be contained in the bladder, and when blue light is absorbed by the urine, the redness of the originally yellow portion becomes stronger and displayed.
  • Calculation unit 381 compensates for blue light absorption by the urine, as a color balance parameter for correcting the color of the portion of the yellow, calculates the D B / D G described above.
  • the calculation unit 381 inputs the calculated color balance parameter to the buffer 382.
  • the calculation unit 381 may calculate the inverse of D B / D G as color balance parameters.
  • the buffer 382 stores the color balance parameters calculated by the calculation unit 381 for the set frames.
  • the buffer 382 stores color balance parameters corresponding to in-vivo images for several frames.
  • the buffer 382 overwrites the oldest color balance parameter among the currently stored color balance parameters with the new color balance parameter, so that the newest calculation time is used.
  • the color balance parameters for several frames are stored while being sequentially updated.
  • the fixed value memory 383 stores a preset color balance parameter.
  • the fixed value memory 383 stores color balance parameters set in advance so as to achieve color balance suitable for NBI observation.
  • the color balance parameter will be described assuming that absorption of blue light by urine is not taken into account, but it may be set in consideration of absorption of blue light by urine.
  • the first selection unit 384 controls the latest color balance parameter among the color balance parameters stored in the buffer 382 and the color balance parameter stored in the fixed value memory 383 under the control of the mode setting unit 386. Any one is selected, and the selected color balance parameter is input to the first color balance processing unit 33.
  • the latest color balance parameter here is the color balance parameter of the latest frame.
  • the first selection unit 384 acquires the color balance parameter corresponding to the in-vivo image to be frozen from the buffer 382, and the first color balance processing unit 33. Even when the color balance parameter stored in the buffer 382 is updated during the still image display period by the freeze processing, the first selection unit 384 updates the first color balance processing unit 33 with the updated color balance parameter. Color balance parameters are not entered.
  • the first color balance processing unit 33 color balance parameters from the first selection unit 384, specifically, when the D B / D G corresponding to the processing signal input from the freeze processing section 32 is input, the process with respect to the signal of the B component of the signal is multiplied by the inverse of D B / D G, adjusting the signal value of the B component.
  • the second selection unit 385 controls the latest color balance parameter stored in the buffer 382 and the color stored in the fixed value memory 383 according to the set mode under the control of the mode setting unit 386. One of the balance parameters is selected, and the selected color balance parameter is input to the second color balance processing unit 34.
  • the mode setting unit 386 causes the first selection unit 384 and the second selection unit 385 to respond to the mode setting instruction signal.
  • the color balance parameter selection instruction signal is input.
  • the observation mode the normal balance mode stored in the fixed value memory 383 and performing color balance processing with a preset color balance parameter and the color balance parameter calculated by the calculation unit 381 are used for each in-vivo image. There is a correction observation mode for performing correction.
  • the first selection unit 384 selects the color balance parameter based on the selection instruction signal input from the mode setting unit 386 and inputs the color balance parameter to the first color balance processing unit 33.
  • the second selection unit 385 selects a color balance parameter and inputs it to the second color balance processing unit 34.
  • the control unit 38 causes the first selection unit 384 to select and select the color balance parameter corresponding to the freeze target image determined by the freeze processing unit 32.
  • the color balance parameter is input to the first color balance processing unit 33.
  • the first selection unit 384 selects the color balance parameter of the frame corresponding to the freeze target image determined by the freeze processing unit 32.
  • the second selection unit 385 inputs the latest color balance parameters sequentially input to the buffer 382 to the second color balance processing unit 34.
  • the storage unit 39 stores various programs for operating the endoscope system 1 and data including various parameters necessary for the operation of the endoscope system 1. Further, the storage unit 39 stores identification information of the processing device 3.
  • the identification information includes unique information (ID) of the processing device 3, model year, specification information, and the like.
  • the storage unit 39 stores various programs including an image acquisition processing program for executing the image acquisition processing method of the processing device 3.
  • Various programs can be recorded on a computer-readable recording medium such as a hard disk, a flash memory, a CD-ROM, a DVD-ROM, or a flexible disk and widely distributed.
  • the various programs described above can also be obtained by downloading via a communication network.
  • the communication network here is realized by, for example, an existing public line network, LAN (Local Area Network), WAN (Wide Area Network), etc., and may be wired or wireless.
  • the storage unit 39 having the above configuration is realized by using a ROM (Read Only Memory) in which various programs are installed in advance, a RAM (Random Access Memory) storing a calculation parameter and data of each process, a hard disk, and the like. Is done.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the light source unit 3 a includes an illumination unit 301 and an illumination control unit 302. Under the control of the illumination control unit 302, the illumination unit 301 sequentially switches and emits illumination light with different exposure amounts to the subject (subject).
  • the illumination unit 301 includes a light source 301a and a light source driver 301b.
  • the light source 301a is configured by using a light source that emits white light or narrow band light, one or a plurality of lenses, and the like, and emits light (illumination light) by driving the light source. Illumination light generated by the light source 301 a is emitted from the tip of the tip 24 toward the subject via the light guide 241.
  • the light source 301a uses blue narrow band light (eg, 390 nm to 445 nm) and green narrow band light (eg, 530 nm to 550 nm). The narrow band light can be emitted as illumination light.
  • the light source 301a any one of an LED light source, a laser light source, a xenon lamp, a halogen lamp, and the like is used.
  • the light source 301a may be configured using a filter that transmits light in a predetermined wavelength band (here, narrow band).
  • the light source driver 301b causes the light source 301a to emit illumination light by supplying a current to the light source 301a under the control of the illumination control unit 302.
  • the illumination control unit 302 controls the amount of power supplied to the light source 301a and the drive timing of the light source 301a based on a control signal (dimming signal) from the control unit 38.
  • the display device 4 displays a display image corresponding to the image signal received from the processing device 3 (display image generation unit 36) via the video cable.
  • the display device 4 is configured using a monitor such as a liquid crystal or an organic EL (Electro Luminescence).
  • FIG. 4 is a flowchart illustrating image processing performed by the endoscope system according to the first embodiment of the present invention. The following description is based on the assumption that each unit operates under the control of the control unit 38. Further, the following description will explain the processing during NBI observation, but the movement of the tip 24 to the position where NBI observation is performed is performed under observation with, for example, white light.
  • the control unit 38 determines whether the observation mode is set to the normal observation mode or the corrected observation mode (step S101). When determining that the normal observation mode is set (step S101: normal observation mode), the control unit 38 proceeds to step S108. In contrast, when the control unit 38 determines that the correction observation mode is set (step S101: correction observation mode), the control unit 38 proceeds to step S102.
  • the second color balance processing unit 34 sequentially receives the processing signals from the imaging signal acquisition unit 31 and corrects the color balance of the processing signals based on the color balance parameters input from the second selection unit 385. Thereafter, the detection unit 35 calculates a detection value corresponding to the processing signal generated by the second color balance processing unit 34.
  • step S102 the control unit 38 determines whether or not a freeze instruction has been input via the input unit 37. If the control part 38 judges that there is no input of a freeze instruction (step S102: No), it will transfer to step S103.
  • the first selection unit 384 selects the latest color balance parameter with reference to the buffer 382 under the control of the mode setting unit 386, and selects the selected color balance parameter as the first color balance processing unit 33.
  • the second selection unit 385 selects the latest color balance parameter with reference to the buffer 382 under the control of the mode setting unit 386, and inputs the selected color balance parameter to the second color balance processing unit 34.
  • the second color balance processing unit 34 performs color balance correction of the processing signal based on the latest input color balance parameter.
  • step S104 the first color balance processing unit 33 performs color balance correction on the processing signal input via the freeze processing unit 32 based on the color balance parameter input from the first selection unit 384. I do.
  • the first color balance processing unit 33 inputs an image signal subjected to color balance correction to the display image generation unit 36. Thereafter, the control unit 38 proceeds to step S110.
  • step S102 determines in step S102 that a freeze instruction has been input (step S102: Yes)
  • the process proceeds to step S105.
  • step S105 the freeze processing unit 32 refers to the time when the input of the freeze instruction signal is received, and selects an in-vivo image to be frozen.
  • the first selection unit 384 refers to the buffer 382, selects a color balance parameter corresponding to the in-vivo image selected as the freeze target, and inputs the selected color balance parameter to the first color balance processing unit 33. (Step S106).
  • the first color balance processing unit 33 performs color balance correction on the processing signal corresponding to the in-vivo image selected as the freeze target based on the color balance parameter input from the first selection unit 384 (step S107). ).
  • the first color balance processing unit 33 inputs an image signal subjected to color balance correction to the display image generation unit 36.
  • the control unit 38 proceeds to step S110.
  • step S108 the first selection unit 384 selects a preset color balance parameter with reference to the fixed value memory 383 under the control of the mode setting unit 386, and selects the selected color balance parameter. Input to the first color balance processing unit 33.
  • the second selection unit 385 selects a preset color balance parameter with reference to the fixed value memory 383 under the control of the mode setting unit 386, and sets the selected color balance parameter to the second color balance. Input to the processing unit 34.
  • the first color balance processing unit 33 performs color balance correction on the processing signal input via the freeze processing unit 32 based on the color balance parameter input from the first selection unit 384 (step S109). .
  • the first color balance processing unit 33 inputs an image signal subjected to color balance correction to the display image generation unit 36.
  • the control unit 38 proceeds to step S110.
  • step S110 the display image generation unit 36 performs signal processing on the image signal generated by the first color balance processing unit 33 so as to be a signal in a form that can be displayed on the display device 4, and performs display.
  • An image signal is generated.
  • the display image generation unit 36 transmits the generated display image signal to the display device 4 and causes the display device 4 to display an image corresponding to the display image signal. Note that an image selected as a freeze target is displayed with a longer display time than other images.
  • the control unit 38 determines whether or not there is a new imaging signal input (step S111). For example, if the control unit 38 determines that a new imaging signal has been input (step S111: Yes), the control unit 38 returns to step S101 and repeats the above-described processing to determine that no new imaging signal has been input (step S111). : No), the image processing is terminated.
  • the color balance parameter is calculated. Therefore, even when the freeze target image is displayed as a still image and then returned to the moving image display, it is possible to shift to the moving image display using an appropriate color balance parameter.
  • the first color balance processing unit 33 performs color balance correction of the processing signal corresponding to the in-vivo image to be displayed, and in parallel with this processing, the second color balance processing is performed.
  • the color balance correction processing by the unit 34 and the calculation of the color balance parameter by the calculation unit 381 are performed.
  • color balance parameters are generated every time for the input imaging signal, so when correcting the displayed image in real time, it is suitable for observation even after the image freeze processing is canceled.
  • a color balance image can be generated.
  • the second color balance processing unit 34 acquires the latest color balance parameter from the second selection unit 385 and performs color balance correction. The accuracy of the detection result can be maintained.
  • FIG. 5 is a block diagram illustrating a schematic configuration of the endoscope system according to the second embodiment of the present invention.
  • An endoscope system 1A illustrated in FIG. 5 includes the endoscope 2 and the display device 4 described above, and a light source unit 3a that generates illumination light emitted from the distal end of the endoscope 2, and the endoscope 2 captures an image. And a processing device 3A that performs predetermined signal processing on the captured image signal and comprehensively controls the operation of the entire endoscope system 1A.
  • the processing device 3A includes an imaging signal acquisition unit 31, a freeze processing unit 32, a first color balance processing unit 33, a second color balance processing unit 34, a detection unit 35, a display image generation unit 36, and an input unit. 37, a control unit 38a, a storage unit 39, a best frame selection unit 40, and an image buffer 41. That is, the processing apparatus 3A according to the second embodiment has a control unit 38a instead of the control unit 38, a best frame selection unit 40, an image buffer 41, and the configuration of the endoscope system 1 described above. Is further provided.
  • the best frame selection unit 40 inputs the processing signal input from the imaging signal acquisition unit 31 to the image buffer 41 and the freeze processing unit 32.
  • the best frame selection unit 40 is an image selection unit that selects an in-vivo image with less blur from the in-vivo images stored in the image buffer 41 as an image of the best frame in response to an input of a freeze instruction signal.
  • the best frame selection unit 40 inputs a best frame selection signal including information relating to the selected frame to the freeze processing unit 32 and the control unit 38a.
  • the best frame selection unit 40 calculates shakes of a plurality of in-vivo images stored in the image buffer 41, and selects the best-frame in-vivo image based on the calculated shakes.
  • the in-vivo image blur is calculated using a known calculation method.
  • the freeze processing unit 32 acquires a processing signal corresponding to the in-vivo image of the frame number selected by the best frame selection unit 40, and sets this in-vivo image as the in-vivo image to be frozen.
  • the freeze processing unit 32 inputs the acquired processing signal of the in-vivo image to be frozen to the first color balance processing unit 33.
  • the image buffer 41 stores the processing signals input via the best frame selection unit 40 for the set number of frames.
  • the image buffer 41 stores processing signals for several frames.
  • the image buffer 41 overwrites the oldest processing signal among the currently stored processing signals with the new processing signal, so that the number of the acquisition time is increased.
  • the in-vivo images for the frames are stored while being sequentially updated.
  • FIG. 6 is a block diagram illustrating a configuration of a main part of the endoscope system according to the second embodiment of the present invention, and is a block diagram illustrating the configuration of the control unit 38a.
  • the control unit 38a includes a calculation unit 381, a fixed value memory 383, a first selection unit 384, a second selection unit 385, a mode setting unit 386, a first buffer 387, and a second buffer 388.
  • the first buffer 387 and the second buffer 388 constitute a correction buffer.
  • the first buffer 387 stores the color balance parameters calculated by the calculation unit 381 for the set frames.
  • the first buffer 387 stores color balance parameters corresponding to a plurality of processing signals (in-vivo images) stored in the image buffer 41.
  • the first buffer 387 overwrites the oldest color balance parameter among the currently stored color balance parameters with the new color balance parameter, thereby obtaining a new calculation time.
  • the color balance parameters for several frames are stored while being sequentially updated.
  • the color balance parameter corresponding to the corresponding frame is controlled under the control of the control unit 38a. Is input to the second buffer 388. If there is no input of the best frame selection signal, the first buffer 387 inputs the latest color balance parameter to the second buffer 388.
  • the second buffer 388 stores the color balance parameter input from the first buffer 387.
  • the second buffer 388 sequentially updates the color balance parameter by overwriting the input color balance parameter with the currently stored color balance parameter.
  • the first selection unit 384 selects either the color balance parameter stored in the second buffer 388 or the color balance parameter stored in the fixed value memory 383 under the control of the mode setting unit 386. Then, the selected color balance parameter is input to the first color balance processing unit 33. In addition, when the input unit 37 receives the input of the freeze instruction signal, the first selection unit 384 acquires the color balance parameter corresponding to the in-vivo image to be frozen from the second buffer 388, and the first color balance. Input to the processing unit 33.
  • the second selection unit 385 selects either the color balance parameter stored in the second buffer 388 or the color balance parameter stored in the fixed value memory 383 under the control of the mode setting unit 386, The selected color balance parameter is input to the second color balance processing unit 34.
  • the first selection unit 384 selects a color balance parameter based on the selection instruction signal input from the mode setting unit 386 and inputs the color balance parameter to the first color balance processing unit 33, and the second selection unit. 385 selects a color balance parameter and inputs it to the second color balance processing unit 34.
  • the control unit 38a causes the first buffer 387 to select a color balance parameter corresponding to the best frame selection signal, and selects the selected color balance parameter. Input to the second buffer 388.
  • the first selection unit 384 acquires a color balance parameter corresponding to the in-vivo image of the best frame from the second buffer 388 and inputs it to the first color balance processing unit 33.
  • FIG. 7 is a flowchart illustrating image processing performed by the endoscope system according to the second embodiment of the present invention. The following description is based on the assumption that each unit operates under the control of the control unit 38a.
  • the control unit 38a determines whether the observation mode is set to the normal observation mode or the corrected observation mode (Step S201). When determining that the normal observation mode is set (step S201: normal observation mode), the control unit 38a proceeds to step S208. On the other hand, when the control unit 38a determines that the correction observation mode is set (step S201: correction observation mode), the control unit 38a proceeds to step S202.
  • the second color balance processing unit 34 sequentially receives the processing signals acquired by the imaging signal acquisition unit 31, and performs color balance correction of the processing signals based on the color balance parameters input from the second selection unit 385. . Thereafter, the detection unit 35 calculates a detection value corresponding to the image signal generated by the second color balance processing unit 34.
  • step S202 the control unit 38a determines whether or not a freeze instruction is input via the input unit 37.
  • step S202: No the control unit 38a proceeds to step S203.
  • step S203 the first selection unit 384 selects the latest color balance parameter with reference to the second buffer 388 under the control of the mode setting unit 386, and the selected color balance parameter is subjected to the first color balance processing. Input to the unit 33.
  • the second selection unit 385 selects the latest color balance parameter with reference to the second buffer 388 under the control of the mode setting unit 386, and the selected color balance parameter is used as the second color balance processing unit 34. To enter. Note that the second color balance processing unit 34 performs color balance correction of the processing signal based on the latest input color balance parameter.
  • step S204 the first color balance processing unit 33 performs color balance correction on the processing signal input via the freeze processing unit 32 based on the color balance parameter input from the first selection unit 384. I do.
  • the first color balance processing unit 33 inputs an image signal subjected to color balance correction to the display image generation unit 36. Thereafter, the control unit 38a proceeds to Step S210.
  • step S202 determines in step S202 that there is an input of a freeze instruction (step S202: Yes). the process proceeds to step S205.
  • step S205 the best frame selection unit 40 selects an in-vivo image to be frozen based on the shake of the image buffer 41.
  • the best frame selection unit 40 inputs a best frame selection signal including information relating to the selected frame to the control unit 38a.
  • the color balance parameter corresponding to the in-vivo image of the best frame is input from the first buffer 387 to the second buffer 388.
  • the first selection unit 384 refers to the second buffer 388, selects a color balance parameter corresponding to the in-vivo image of the best frame selected as the freeze target, and performs the first color balance processing on the selected color balance parameter.
  • Input to the unit 33 step S206).
  • the first color balance processing unit 33 performs color balance correction on the processing signal corresponding to the in-vivo image selected as the freeze target based on the color balance parameter input from the first selection unit 384 (step S207). ).
  • the first color balance processing unit 33 inputs an image signal subjected to color balance correction to the display image generation unit 36.
  • the control unit 38a proceeds to Step S210.
  • step S208 the first selection unit 384 selects a preset color balance parameter with reference to the fixed value memory 383 under the control of the mode setting unit 386, and selects the selected color balance parameter. Input to the first color balance processing unit 33.
  • the second selection unit 385 selects a preset color balance parameter with reference to the fixed value memory 383 under the control of the mode setting unit 386, and sets the selected color balance parameter to the second color balance. Input to the processing unit 34.
  • the first color balance processing unit 33 performs color balance correction on the processing signal input via the freeze processing unit 32 based on the color balance parameter input from the first selection unit 384 (step S209). .
  • the first color balance processing unit 33 inputs an image signal subjected to color balance correction to the display image generation unit 36.
  • the control unit 38a proceeds to Step S210.
  • step S ⁇ b> 210 the display image generation unit 36 performs signal processing on the image signal generated by the first color balance processing unit 33 so that the image signal can be displayed on the display device 4.
  • An image signal is generated.
  • the display image generation unit 36 transmits the generated display image signal to the display device 4 and causes the display device 4 to display an image corresponding to the display image signal. Note that an image selected as a freeze target is displayed in a longer display time than other images.
  • the control unit 38a determines whether or not there is a new imaging signal input (step S211). For example, when the control unit 38a determines that a new imaging signal has been input (step S211: Yes), the control unit 38a returns to step S201 and repeats the above-described processing to determine that no new imaging signal has been input (step S211). : No), the image processing is terminated.
  • the color balance parameter is calculated. Therefore, even when the freeze target image is displayed as a still image and then returned to the moving image display, it is possible to shift to the moving image display using an appropriate color balance parameter.
  • the first color balance processing unit 33 performs color balance correction of the processing signal corresponding to the in-vivo image to be displayed, and in parallel with this processing, the second color balance processing
  • the color balance correction processing by the unit 34 and the calculation of the color balance parameter by the calculation unit 381 are performed. Therefore, when correcting the image to be displayed in real time, an image having a color balance suitable for observation can be generated even after the freeze is canceled.
  • the best frame selection unit 40 selects an in-vivo image with less blur from a plurality of in-vivo images stored in the image buffer 41. Therefore, the in-vivo image displayed as the freeze image can be an in-vivo image suitable for observation with little blur. As a result, the in-vivo images can be made easier to see, and a more accurate diagnosis can be performed.
  • the correction buffer including the first buffer 387 and the second buffer 388 stores only the color balance parameter, so the color balance parameter is stored together with the in-vivo image. Compared to the case, the storage capacity of the buffer can be reduced.
  • the imaging signal acquisition unit 31 has been described as generating a processing signal including an image to which the RGB color components are added.
  • the luminance (Y ) And a processing signal having a YCbCr color space including a color difference component may be generated, or an HSV including three components of hue, saturation chroma, and value lightness brightness.
  • a processing signal having components divided into color and luminance may be generated.
  • the mode setting unit 386 has been described as setting either the normal observation mode or the corrected observation mode. However, the mode setting unit 386 has no configuration. Alternatively, it may operate only in the corrected observation mode.
  • the calculation unit 381, the buffer 382, the fixed value memory 383, the first selection unit 384, the second selection unit 385, the mode setting unit 386, the first buffer 387, and the second buffer 388 are used.
  • the control units 38 and 38a may be provided independently of each other.
  • the narrowband light is emitted from the light source unit 3a and the light receiving unit 244a is a simultaneous illumination / imaging method in which reflected light from illumination light is received.
  • the light source unit 3a may sequentially emit the narrow band light of each color component individually, and the light receiving unit 244a may be a surface sequential illumination / imaging method in which the light of each color component is received.
  • the light source unit 3a is described as being configured separately from the endoscope 2, but for example, a semiconductor light source is provided at the tip of the endoscope 2, etc.
  • the structure which provided the light source device in the endoscope 2 may be sufficient.
  • the function of the processing device 3 may be given to the endoscope 2.
  • the light source unit 3a is described as being integral with the processing device 3, but the light source unit 3a and the processing device 3 are separate, for example, the processing device 3
  • the illumination unit 301 and the illumination control unit 302 may be provided outside. Further, the light source 301 a may be provided at the tip of the tip portion 24.
  • narrowband light composed of blue narrowband light (eg, 390 nm to 445 nm) and green narrowband light (eg, 530 nm to 550 nm).
  • blue narrowband light eg, 390 nm to 445 nm
  • green narrowband light eg, 530 nm to 550 nm.
  • the range of wavelength bands and the combination of narrow bands are not limited to this. For example, it may be one that includes a red narrow band or an infrared narrow band, or one that uses white light.
  • the endoscope system according to the present invention is an endoscope system 1 using a flexible endoscope 2 whose observation target is a living tissue or the like in a subject. As described above, it is used as an eyepiece for optical endoscopes such as rigid endoscopes, industrial endoscopes that observe material properties, capsule endoscopes, fiberscopes, and optical endoscopes. Even an endoscope system using a camera head connected can be applied.
  • the endoscope system has been described as an example.
  • the present invention can also be applied to a case where video is output to an EVF (Electronic View Finder) provided in a digital still camera, for example. is there.
  • EVF Electronic View Finder
  • the image processing apparatus is useful for generating an image having a color balance suitable for observation after freezing even when correction is performed in real time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本発明にかかる画像処理装置は、第１カラーバランス処理部（３３）が、表示対象となる体内画像に対応する処理信号のカラーバランス補正を行い、この処理とは並行して、第２カラーバランス処理部（３４）が、撮像信号取得部（３１）から入力される処理信号のカラーバランス補正を行って画像信号を生成し、検波部（３５）が、この画像信号が含む複数の色成分の信号を検波し、演算部が、検波結果に基づいて、前記カラーバランス調整処理を行うためのカラーバランスパラメータを順次算出する。パラメータ選択部は、フリーズ指示信号の有無に応じてカラーバランスパラメータを選択する。

Description

画像処理装置
　本発明は、画像処理装置に関する。
　従来、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、例えば先端に撮像素子が設けられ、可撓性を有する細長形状をなし、被検体内に挿入される挿入部を有する内視鏡と、挿入部の基端側にケーブルを介して接続され、撮像素子が撮像した撮像信号に応じた体内画像の画像処理を行って、体内画像を表示部等に表示させる処理装置と、被検体内を照明するための照明光を出射する光源装置と、を備える。
　内視鏡システムを用いて体内画像を取得する際には、被検体内に内視鏡を挿入した後、この内視鏡の先端から被検体内の生体組織に向けて、白色光や、所定の波長帯域の光からなる特殊光等の照明光を照射し、撮像素子が体内画像を撮像する。処理装置は、撮像素子によって撮像された撮像信号に基づく体内画像を表示部等に表示する。医師等のユーザは、表示部に表示される体内画像に基づいて被検体内の観察を行う。このような被検体内の観察に用いられる技術として、内視鏡から得られた体内画像を順次動画表示し、フリーズ指示に応じて体内画像を静止画表示可能な技術が知られている（例えば、特許文献１を参照）。特許文献１が開示する技術は、複数の体内画像を記憶するメモリを有し、フリーズ指示の入力があった場合に、メモリに記憶されている複数の体内画像から、ぶれが小さい体内画像を選択し、選択した体内画像を静止画表示する。
国際公開第２０１１／１５５４２９号
　ところで、上述した体内画像をリアルタイム表示させる際に、カラーバランスの変動をリアルタイムに補正する場合がある。例えば、膀胱内の観察を行なう際、体内画像ごとに、尿による青色光吸収を補償するためのカラーバランス補正を行っている。特許文献１が開示する技術では、カラーバランス補正については考慮されておらず、フリーズ指示による静止画表示後、フリーズ処理を解除して再び動画表示を行った際に、動画表示される体内画像のカラーバランスが、観察に適したものにはなっていない場合があった。
　本発明は、上記に鑑みてなされたものであって、リアルタイムに補正を行う場合であっても、フリーズ解除後に、観察に適したカラーバランスの画像を生成することができる画像処理装置を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、被写体を撮像して生成される撮像信号を時系列に沿って取得する撮像信号取得部と、前記撮像信号をもとにカラーバランス調整処理を施して、第１の画像信号を生成する第１カラーバランス処理部と、前記第１カラーバランス処理部が生成した前記第１の画像信号をもとに、表示用の画像信号を生成する表示画像生成部と、前記第１カラーバランス処理部と並列に入力される前記撮像信号をもとにカラーバランス調整処理を施して、第２の画像信号を生成する第２カラーバランス処理部と、前記第２カラーバランス処理部が生成した前記第２の画像信号が含む複数の色成分の信号を検波する検波部と、前記検波部による検波結果に基づいて、前記カラーバランス調整処理を行うためのカラーバランスパラメータを算出する演算部と、前記表示用の画像信号に応じた画像を表示装置にフリーズ表示させるフリーズ指示信号の入力を受け付ける入力部と、前記フリーズ指示信号の入力に基づいて、フリーズ対象の画像を決定するフリーズ処理部と、前記入力部が前記フリーズ指示信号の入力を受け付けていない場合、最新のカラーバランスパラメータを前記第１および第２カラーバランス処理部に入力し、前記入力部が前記フリーズ指示信号の入力を受け付けた場合、フリーズ対象の画像に対応するカラーバランスパラメータを前記第１カラーバランス処理部に入力するとともに、最新のカラーバランスパラメータを前記第２カラーバランス処理部に入力するパラメータ選択部と、を備えたことを特徴とする。
　また、本発明にかかる画像処理装置は、上記発明において、前記撮像信号取得部が取得した複数の撮像信号を順次更新しながら記憶する画像バッファと、前記画像バッファが記憶する撮像信号に対応するカラーバランスパラメータを順次更新しながら記憶する補正用バッファと、前記フリーズ指示信号の入力があった場合に、前記画像バッファに記憶されている複数の撮像信号に応じた画像から、ぶれの小さい画像を選択する画像選択部と、をさらに備え、前記フリーズ処理部は、前記画像選択部が選択した画像を、フリーズ対象の画像として決定することを特徴とする。
　また、本発明にかかる画像処理装置は、上記発明において、予め設定されたカラーバランスパラメータを記憶する補正値メモリと、前記予め設定されたカラーバランスパラメータを用いてカラーバランス調整処理を行う第１のモードと、前記演算部が算出したカラーバランスパラメータに基づいてカラーバランス調整処理を行う第２のモードとのいずれかのモードを設定するモード設定部と、をさらに備え、前記パラメータ選択部は、設定されているモードに応じて、前記第１カラーバランス処理部に入力するカラーバランスパラメータを選択することを特徴とする。
　また、本発明にかかる画像処理装置は、上記発明において、前記補正用バッファは、モードの設定によらず前記カラーバランスパラメータの記憶処理を行い、前記パラメータ選択部は、前記第１のモードに設定された場合は、前記予め設定されたカラーバランスパラメータを前記第１カラーバランス処理部に入力し、前記第２のモードに設定された場合は、前記補正用バッファが記憶する最新のカラーバランスパラメータを前記第１カラーバランス処理部に入力し、前記第２のモードにおいて前記入力部が前記フリーズ指示信号の入力を受け付けた場合、フリーズ対象の画像に対応するカラーバランスパラメータを前記第１カラーバランス処理部に入力することを特徴とする。
　本発明によれば、リアルタイムに補正を行う場合であっても、フリーズ解除後に、観察に適したカラーバランスの画像を生成することができるという効果を奏する。
図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。 図２は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。 図３は、本発明の実施の形態１にかかる内視鏡システムの要部の構成を示すブロック図である。 図４は、本発明の実施の形態１にかかる内視鏡システムが行う画像処理を示すフローチャートである。 図５は、本発明の実施の形態２にかかる内視鏡システムの概略構成を示すブロック図である。 図６は、本発明の実施の形態２にかかる内視鏡システムの要部の構成を示すブロック図である。 図７は、本発明の実施の形態２にかかる内視鏡システムが行う画像処理を示すフローチャートである。
　以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる画像処理装置を含むシステムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
（実施の形態１）
　図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。図２は、本実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。なお、図２では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。
　図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源部３ａを有し、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置３と、処理装置３の信号処理により生成された体内画像を表示する表示装置４と、を備える。
　内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、処理装置３（光源部３ａを含む）に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。本実施の形態１では、挿入部２１が被検体の膀胱に挿入されて、該膀胱内の画像である体内画像を撮像するものとして説明する。膀胱内の観察では、特殊光として狭帯域光を用いる狭帯域光観察（Narrow　Band　Imaging：ＮＢＩ）を行う。なお、白色光による観察も可能である。
　挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像素子２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子２４４によって撮像する。
　先端部２４は、グラスファイバ等を用いて構成されて光源部３ａが発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子２４４（撮像部）と、を有する。
　光学系２４３は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
　撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（撮像信号）を生成する。具体的には、撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系２４３からの光を光電変換して電気信号を生成する受光部２４４ａと、受光部２４４ａの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部２４４ｂと、を有する。受光部２４４ａには、カラーフィルタが設けられ、各画素が、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。撮像素子２４４は、処理装置３から受信した駆動信号に従って先端部２４の各種動作を制御する。撮像素子２４４は、例えばＣＣＤ（Charge　Coupled　Device）イメージセンサや、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサを用いて実現される。また、撮像素子２４４は、単板のイメージセンサであってもよいし、例えば３板方式などの複数のイメージセンサを用いるものであってもよい。
　操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。
　ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、撮像信号を伝送するための信号線や、撮像素子２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像素子２４４）に関する固有情報などを含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡２と処理装置３との間で信号を伝送するものであってもよい。
　次に、処理装置３の構成について説明する。処理装置３は、撮像信号取得部３１と、フリーズ処理部３２と、第１カラーバランス処理部３３と、第２カラーバランス処理部３４と、検波部３５と、表示画像生成部３６と、入力部３７と、制御部３８と、記憶部３９と、を備える。なお、本発明にかかる画像処理装置は、少なくとも第１カラーバランス処理部３３と、第２カラーバランス処理部３４と、検波部３５と、表示画像生成部３６と、制御部３８とを用いて構成される。
　撮像信号取得部３１は、内視鏡２から、撮像素子２４４が撮像した撮像信号であって、体内画像を描出するための画像データを含む撮像信号を受信する。撮像信号取得部３１は、取得した撮像信号に対してノイズ除去やＡ／Ｄ変換、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）などの信号処理を施す。撮像信号取得部３１は、上述した信号処理によりＲＧＢの色成分が付与された体内画像を含む処理信号（処理後の撮像信号）を生成する。撮像信号取得部３１は、生成した処理信号をフリーズ処理部３２および第２カラーバランス処理部３４に入力する。撮像信号取得部３１は、ＣＰＵ（Central　Processing　Unit）等の汎用プロセッサやＡＳＩＣ（Application　Specific　Integrated　Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
　フリーズ処理部３２は、入力部３７がフリーズ指示信号の入力を受け付けた場合に、撮像信号取得部３１から入力される処理信号に対応する体内画像を表示装置４にフリーズ表示する画像として決定する。フリーズ処理部３２は、表示装置４にフリーズ表示する画像として決定した体内画像に対応する処理信号を、第１カラーバランス処理部３３に入力する。また、フリーズ処理部３２は、フリーズ指示信号の入力がない場合は、撮像信号取得部３１から入力される処理信号を、順次第１カラーバランス処理部３３に入力する。なお、フリーズ処理部３２は、フリーズ対象の体内画像を決定すると、フリーズ処理による静止画表示期間内は、撮像信号取得部３１から入力される処理信号を受けない、または入力された場合でも破棄して、第１カラーバランス処理部３３には入力しない。フリーズ処理部３２は、フリーズ処理が解除された後、撮像信号取得部３１から新たに入力される処理信号を、動画表示用の体内画像として、第１カラーバランス処理部３３に入力する。これにより、フリーズ処理後において表示装置４に表示される体内画像は、フリーズ処理による静止画表示期間の体内画像が抜けた、フリーズ処理直前の体内画像とは時系列的に間があいた体内画像が表示されることになる。このため、フリーズ処理前後に表示される体内画像において、時系列で隣り合う体内画像を動画表示する場合と比して、被写体像の変化が大きくなる場合がある。フリーズ処理部３２は、ＣＰＵやＡＳＩＣ等によって構成される。
　第１カラーバランス処理部３３は、制御部３８から入力されるカラーバランスパラメータに基づいて、フリーズ処理部３２から入力される処理信号のカラーバランス調整処理を行う。具体的に、第１カラーバランス処理部３３は、処理信号に対し、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各チャンネルに入力する信号レベルの調整を行う。第１カラーバランス処理部３３は、カラーバランス調整によって生成された画像信号を、表示画像生成部３６に入力する。第１カラーバランス処理部３３は、ＣＰＵやＡＳＩＣ等によって構成される。
　第２カラーバランス処理部３４は、制御部３８から入力されるカラーバランスパラメータに基づいて、撮像信号取得部３１から入力される処理信号のカラーバランス調整処理を行う。具体的に、第２カラーバランス処理部３４は、処理信号に対し、制御部３８から入力されるカラーバランスに基づいて、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各チャンネル色成分の信号レベルの調整を行う。第２カラーバランス処理部３４は、カラーバランス調整によって生成された画像信号を、検波部３５に入力する。第２カラーバランス処理部３４は、ＣＰＵやＡＳＩＣ等によって構成される。
　検波部３５は、第２カラーバランス処理部３４から入力される画像信号に含まれる輝度成分のＹ信号、赤色成分のＲ信号、緑色成分のＧ信号、および青色成分のＢ信号から、信号値（各画素の輝度値）を検波し、各成分の信号値を検波値とする。検波部３５は、生成した検波値を制御部３８に入力する。なお、検波部３５は、輝度値の平均値を検波値として出力するものであってもよいし、最大値または最小値等を検波値として出力するものであってもよい。検波部３５は、ＣＰＵやＡＳＩＣ等によって構成される。
　表示画像生成部３６は、第１カラーバランス処理部３３が生成した画像信号に対して、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。具体的に、表示画像生成部３６は、画像信号に対して、エンハンス処理、または圧縮処理などを行って、表示用の画像信号を生成する。表示画像生成部３６は、入力された信号がＲＧＢの各色成分に分かれている場合は、各色成分について補間処理を施して、各画素位置にＲＧＢの色成分を付与した画像信号を生成する。表示画像生成部３６は、生成した表示用の画像信号を表示装置４に送信する。表示画像生成部３６は、ＣＰＵやＡＳＩＣ等によって構成される。
　また、表示画像生成部３６は、第１カラーバランス処理部３３から入力される画像信号に対応する体内画像がフリーズ対象の体内画像である場合は、予め設定されている期間、例えば、数フレームの体内画像を表示する期間、表示装置４にフリーズ対象の体内画像を静止画表示させる。
　入力部３７は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部３７は、操作部２２に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでいてもよい。
　制御部３８は、ＣＰＵやＡＳＩＣ、メモリ等によって構成され、撮像素子２４４および光源部３ａを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部３８は、記憶部３９に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４５に含まれる所定の信号線を介して駆動信号として撮像素子２４４へ送信する。
　また、制御部３８は、検波部３５による検波結果や、入力部３７が受け付けた指示信号に基づいて、第１カラーバランス処理部３３および第２カラーバランス処理部３４に入力するカラーバランスパラメータの入力制御を行う。
　図３は、本発明の実施の形態１にかかる内視鏡システムの要部の構成を示すブロック図であって、制御部３８の構成を説明するブロック図である。制御部３８は、演算部３８１と、バッファ３８２と、固定値メモリ３８３と、第１選択部３８４と、第２選択部３８５と、モード設定部３８６とを有する。第１選択部３８４と第２選択部３８５とによりパラメータ選択部を構成する。
　演算部３８１は、検波部３５から入力される検波値に基づいて、カラーバランスパラメータを算出する。具体的に、演算部３８１は、Ｇ成分の検波値をＤG、Ｂ成分の検波値をＤBとしたときに、ＤB／ＤGを算出する。ここで、ＮＢＩ観察を行なう際、黄色は赤色の疑似色として表示される。膀胱内には尿が含まれている場合があり、尿によって青色の光が吸収されると、本来黄色の部分の赤みが強くなって表示される。演算部３８１は、尿による青色光吸収を補償して、黄色の部分の色の補正を行うためのカラーバランスパラメータとして、上述したＤB／ＤGを算出する。演算部３８１は、算出したカラーバランスパラメータをバッファ３８２に入力する。なお、演算部３８１は、ＤB／ＤGの逆数をカラーバランスパラメータとして算出してもよい。
　バッファ３８２は、演算部３８１により算出されたカラーバランスパラメータを設定されたフレーム分記憶する。本実施の形態１では、バッファ３８２は、数フレーム分の体内画像に対応するカラーバランスパラメータを記憶する。バッファ３８２は、新たなカラーバランスパラメータが入力されると、現在記憶しているカラーバランスパラメータのうち、最も古いカラーバランスパラメータを、新たなカラーバランスパラメータで上書きすることで、算出時間の新しい方から順に数フレーム分のカラーバランスパラメータを順次更新しながら記憶する。
　固定値メモリ３８３は、予め設定されたカラーバランスパラメータを記憶する。本実施の形態１では、固定値メモリ３８３は、ＮＢＩ観察に適したカラーバランスとなるように予め設定されたカラーバランスパラメータを記憶する。このカラーバランスパラメータは、尿による青色の光の吸収は考慮されていないものとして説明するが、尿による青色の光の吸収を考慮して設定されるものであってもよい。
　第１選択部３８４は、モード設定部３８６の制御のもと、バッファ３８２に記憶されているカラーバランスパラメータのうちの最新のカラーバランスパラメータ、および固定値メモリ３８３に記憶されているカラーバランスパラメータのいずれかを選択し、選択したカラーバランスパラメータを第１カラーバランス処理部３３に入力する。ここでいう最新のカラーバランスパラメータは、最新フレームのカラーバランスパラメータである。また、第１選択部３８４は、入力部３７が、フリーズ指示信号の入力を受け付けた場合に、フリーズ対象の体内画像に対応するカラーバランスパラメータをバッファ３８２から取得して、第１カラーバランス処理部３３に入力する。第１選択部３８４は、フリーズ処理による静止画表示期間内は、バッファ３８２に記憶されるカラーバランスパラメータが更新された場合であっても、第１カラーバランス処理部３３に対し、この更新されたカラーバランスパラメータの入力は行わない。
　第１カラーバランス処理部３３は、第１選択部３８４からカラーバランスパラメータ、具体的には、フリーズ処理部３２から入力された処理信号に対応するＤB／ＤGが入力されると、この処理信号のＢ成分の信号に対し、ＤB／ＤGの逆数を乗じて、Ｂ成分の信号値の調整を行う。
　第２選択部３８５は、モード設定部３８６の制御のもと、設定されているモードに応じて、バッファ３８２に記憶されている最新のカラーバランスパラメータ、および固定値メモリ３８３に記憶されているカラーバランスパラメータのいずれかを選択し、選択したカラーバランスパラメータを第２カラーバランス処理部３４に入力する。
　モード設定部３８６は、入力部３７が、観察モードの設定又は切り替えを指示するモード設定指示信号の入力を受け付けた場合、第１選択部３８４および第２選択部３８５に、モード設定指示信号に応じたカラーバランスパラメータの選択指示信号を入力する。観察モードとしては、固定値メモリ３８３に記憶され、予め設定されたカラーバランスパラメータでカラーバランス処理を行う通常観察モードと、演算部３８１により算出されたカラーバランスパラメータによって、体内画像ごとにカラーバランスの補正を行う補正観察モードとがある。
　制御部３８においては、上述したようにして、モード設定部３８６から入力される選択指示信号に基づいて、第１選択部３８４がカラーバランスパラメータを選択して第１カラーバランス処理部３３に入力するとともに、第２選択部３８５がカラーバランスパラメータを選択して第２カラーバランス処理部３４に入力する。また、制御部３８は、入力部３７がフリーズ指示信号の入力を受け付けた場合、第１選択部３８４に、フリーズ処理部３２が決定したフリーズ対象画像に対応するカラーバランスパラメータを選択させ、選択したカラーバランスパラメータを第１カラーバランス処理部３３に入力させる。この際、第１選択部３８４は、フリーズ処理部３２が決定したフリーズ対象画像に対応するフレームのカラーバランスパラメータを選択する。補正観察モードにおけるフリーズ処理による静止画表示期間では、第２選択部３８５が、バッファ３８２に順次入力される最新のカラーバランスパラメータを第２カラーバランス処理部３４に入力する。
　記憶部３９は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部３９は、処理装置３の識別情報を記憶する。ここで、識別情報には、処理装置３の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。
　また、記憶部３９は、処理装置３の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）などによって実現されるものであり、有線、無線を問わない。
　以上の構成を有する記憶部３９は、各種プログラム等が予めインストールされたＲＯＭ（Read　Only　Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random　Access　Memory）やハードディスク等を用いて実現される。
　続いて、光源部３ａの構成について説明する。光源部３ａは、照明部３０１と、照明制御部３０２と、を備える。照明部３０１は、照明制御部３０２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。照明部３０１は、光源３０１ａと、光源ドライバ３０１ｂと、を有する。
　光源３０１ａは、白色光や狭帯域光を出射する光源や、一または複数のレンズ等を用いて構成され、光源の駆動により光（照明光）を出射する。光源３０１ａが発生した照明光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。本実施の形態１では、膀胱内の観察に適したＮＢＩ観察を行なうため、光源３０１ａが、青色の狭帯域の光（例えば３９０ｎｍ～４４５ｎｍ）および緑色の狭帯域の光（例えば５３０ｎｍ～５５０ｎｍ）からなる狭帯域光を照明光として出射可能である。また、光源３０１ａには、ＬＥＤ光源や、レーザー光源、キセノンランプ、ハロゲンランプなどの光源のうちのいずれかが用いられる。また、光源３０１ａは、所定の波長帯域（ここでは、狭帯域）の光を透過するフィルタを用いて構成してもよい。
　光源ドライバ３０１ｂは、照明制御部３０２の制御のもと、光源３０１ａに対して電流を供給することにより、光源３０１ａに照明光を出射させる。
　照明制御部３０２は、制御部３８からの制御信号（調光信号）に基づいて、光源３０１ａに供給する電力量を制御するとともに、光源３０１ａの駆動タイミングを制御する。
　表示装置４は、映像ケーブルを介して処理装置３（表示画像生成部３６）から受信した画像信号に対応する表示画像を表示する。表示装置４は、液晶または有機ＥＬ（Electro　Luminescence）等のモニタを用いて構成される。
　続いて、内視鏡システム１が行う画像処理について説明する。図４は、本発明の実施の形態１にかかる内視鏡システムが行う画像処理を示すフローチャートである。以下、制御部３８の制御のもと、各部が動作するものとして説明する。また、以下の説明はＮＢＩ観察時における処理について説明するが、ＮＢＩ観察を行う位置までの先端部２４の移動は、例えば白色光による観察のもとで行われる。
　制御部３８は、撮像信号取得部３１が内視鏡２から撮像信号を取得すると、観察モードが通常観察モードおよび補正観察モードのどちらに設定されているかを判断する（ステップＳ１０１）。制御部３８は、通常観察モードに設定されていると判断した場合（ステップＳ１０１：通常観察モード）、ステップＳ１０８に移行する。これに対し、制御部３８は、補正観察モードに設定されていると判断した場合（ステップＳ１０１：補正観察モード）、ステップＳ１０２に移行する。なお、第２カラーバランス処理部３４は、撮像信号取得部３１から処理信号が順次入力され、第２選択部３８５から入力されたカラーバランスパラメータに基づいて、処理信号のカラーバランス補正を行う。その後、検波部３５によって、第２カラーバランス処理部３４が生成した処理信号に対応する検波値が算出される。
　ステップＳ１０２において、制御部３８は、入力部３７を介してフリーズ指示が入力されたか否かを判断する。制御部３８は、フリーズ指示の入力がないと判断すると（ステップＳ１０２：Ｎｏ）、ステップＳ１０３に移行する。
　ステップ１０３では、第１選択部３８４が、モード設定部３８６の制御のもと、バッファ３８２を参照して、最新のカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第１カラーバランス処理部３３に入力する。また、第２選択部３８５が、モード設定部３８６の制御のもと、バッファ３８２を参照して、最新のカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第２カラーバランス処理部３４に入力する。なお、第２カラーバランス処理部３４は、入力された最新のカラーバランスパラメータに基づいて、処理信号のカラーバランス補正を行う。
　ステップＳ１０３に続くステップＳ１０４では、第１カラーバランス処理部３３が、フリーズ処理部３２を介して入力された処理信号に対し、第１選択部３８４から入力されたカラーバランスパラメータに基づいてカラーバランス補正を行う。第１カラーバランス処理部３３は、カラーバランス補正を行った画像信号を表示画像生成部３６に入力する。その後、制御部３８は、ステップＳ１１０に移行する。
　これに対し、ステップＳ１０２において、制御部３８は、フリーズ指示の入力があると判断すると（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０５に移行する。
　ステップＳ１０５では、フリーズ処理部３２が、フリーズ指示信号の入力を受け付けた時間を参照して、フリーズ対象となる体内画像を選択する。その後、第１選択部３８４は、バッファ３８２を参照して、フリーズ対象として選択された体内画像に対応するカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第１カラーバランス処理部３３に入力する（ステップＳ１０６）。
　その後、第１カラーバランス処理部３３が、フリーズ対象として選択された体内画像に対応する処理信号に対し、第１選択部３８４から入力されたカラーバランスパラメータに基づいてカラーバランス補正を行う（ステップＳ１０７）。第１カラーバランス処理部３３は、カラーバランス補正を行った画像信号を表示画像生成部３６に入力する。その後、制御部３８は、ステップＳ１１０に移行する。
　また、ステップＳ１０８では、第１選択部３８４が、モード設定部３８６の制御のもと、固定値メモリ３８３を参照して、予め設定されているカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第１カラーバランス処理部３３に入力する。また、第２選択部３８５が、モード設定部３８６の制御のもと、固定値メモリ３８３を参照して、予め設定されているカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第２カラーバランス処理部３４に入力する。
　その後、第１カラーバランス処理部３３が、フリーズ処理部３２を介して入力された処理信号に対し、第１選択部３８４から入力されたカラーバランスパラメータに基づいてカラーバランス補正を行う（ステップＳ１０９）。第１カラーバランス処理部３３は、カラーバランス補正を行った画像信号を表示画像生成部３６に入力する。その後、制御部３８は、ステップＳ１１０に移行する。
　ステップＳ１１０では、表示画像生成部３６が、第１カラーバランス処理部３３が生成した画像信号に対して、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。表示画像生成部３６は、生成した表示用の画像信号を表示装置４に送信して、この表示用の画像信号に応じた画像を表示装置４に表示させる。なお、フリーズ対象として選択されている画像は、他の画像と比して長い表示時間で表示される。
　表示画像生成部３６による画像信号の生成、表示制御後、制御部３８は、新たな撮像信号の入力があるか否かを判断する（ステップＳ１１１）。制御部３８は、例えば、新たな撮像信号が入力されたと判断すると（ステップＳ１１１：Ｙｅｓ）、ステップＳ１０１に戻って上述した処理を繰り返し、新たな撮像信号が入力されていないと判断すると（ステップＳ１１１：Ｎｏ）、画像処理を終了する。
　上述した画像処理では、撮像信号取得部３１から処理信号が入力される度に、第２カラーバランス処理部３４および検波部３５により検波値が算出され、演算部３８１が、この検波値に基づいてカラーバランスパラメータを算出するようにしている。このため、フリーズ対象の画像が静止画表示された後、再び動画表示に戻った場合でも、適切なカラーバランスパラメータを用いて、動画表示に移行することが可能となる。
　上述した本実施の形態１によれば、第１カラーバランス処理部３３が、表示対象となる体内画像に対応する処理信号のカラーバランス補正を行い、この処理と並行して、第２カラーバランス処理部３４によるカラーバランス補正処理と、演算部３８１によるカラーバランスパラメータの算出とを行うようにした。これにより、入力される撮像信号に対し、毎回カラーバランスパラメータを生成するため、表示する画像に対してリアルタイムに補正を行う際、画像のフリーズ処理を解除した後であっても、観察に適したカラーバランスの画像を生成することができる。
　上述した本実施の形態１によれば、第２カラーバランス処理部３４が、第２選択部３８５から最新のカラーバランスパラメータを取得して、カラーバランス補正を行うようにしたので、検波部３５による検波結果の精度を維持することができる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。上述した実施の形態１では、フリーズ指示の入力を受け付けたタイミングの画像を表示対象の画像として選択するものとして説明したが、本実施の形態２にかかる内視鏡システムは、フリーズ指示の入力を受け付けたタイミングから遡って、ぶれの小さい画像を、表示対象の画像として選択するプリフリーズ機能を有する。なお、本発明の実施の形態２にかかる内視鏡システムの構成において、上述した内視鏡システム１の構成と同じ構成要素のものには同じ符号が付してある。図５は、本発明の実施の形態２にかかる内視鏡システムの概略構成を示すブロック図である。
　図５に示す内視鏡システム１Ａは、上述した内視鏡２および表示装置４と、内視鏡２の先端から出射する照明光を発生する光源部３ａを有し、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１Ａ全体の動作を統括的に制御する処理装置３Ａと、を備える。
　処理装置３Ａは、撮像信号取得部３１と、フリーズ処理部３２と、第１カラーバランス処理部３３と、第２カラーバランス処理部３４と、検波部３５と、表示画像生成部３６と、入力部３７と、制御部３８ａと、記憶部３９と、ベストフレーム選択部４０と、画像バッファ４１と、を備える。すなわち、本実施の形態２にかかる処理装置３Ａは、上述した内視鏡システム１の構成に対し、制御部３８に代えて制御部３８ａを有するとともに、ベストフレーム選択部４０と、画像バッファ４１とをさらに備えている。
　ベストフレーム選択部４０は、撮像信号取得部３１から入力される処理信号を画像バッファ４１およびフリーズ処理部３２に入力する。ベストフレーム選択部４０は、フリーズ指示信号の入力に応じて、画像バッファ４１に記憶されている体内画像からぶれの小さい体内画像をベストフレームの画像として選択する画像選択部である。ベストフレーム選択部４０は、選択したフレームにかかる情報を含むベストフレーム選択信号をフリーズ処理部３２および制御部３８ａに入力する。ベストフレーム選択部４０は、フリーズ指示信号の入力があった際に、画像バッファ４１に記憶されている複数の体内画像のぶれを算出し、算出したぶれに基づいてベストフレームの体内画像を選択してもよいし、撮像信号取得部３１から撮像信号が入力される都度、この撮像信号に応じた体内画像のぶれを算出して、算出したぶれと体内画像とを対応付けて画像バッファ４１に記憶させるものであってもよい。体内画像のぶれは、公知の算出方法を用いて算出される。
　フリーズ処理部３２は、ベストフレーム選択部４０が選択したフレーム番号の体内画像に対応する処理信号を取得して、この体内画像をフリーズ対象の体内画像とする。フリーズ処理部３２は、取得したフリーズ対象の体内画像の処理信号を第１カラーバランス処理部３３に入力する。
　画像バッファ４１は、ベストフレーム選択部４０を介して入力される処理信号を、設定されたフレーム数分記憶する。本実施の形態２では、画像バッファ４１は、数フレーム分の処理信号を記憶する。画像バッファ４１は、新たな処理信号が入力されると、現在記憶している処理信号のうち、最も古い処理信号を、この新たな処理信号で上書きすることで、取得時間の新しい方から順に数フレーム分の体内画像を順次更新しながら記憶する。
　図６は、本発明の実施の形態２にかかる内視鏡システムの要部の構成を示すブロック図であって、制御部３８ａの構成を説明するブロック図である。制御部３８ａは、演算部３８１と、固定値メモリ３８３と、第１選択部３８４と、第２選択部３８５と、モード設定部３８６と、第１バッファ３８７と、第２バッファ３８８と、を有する。本実施の形態２では、第１バッファ３８７と第２バッファ３８８とが、補正用バッファを構成している。
　第１バッファ３８７は、演算部３８１により算出されたカラーバランスパラメータを設定されたフレーム分記憶する。本実施の形態２では、第１バッファ３８７は、画像バッファ４１に記憶されている複数の処理信号（体内画像）に対応するカラーバランスパラメータを記憶する。第１バッファ３８７は、新たなカラーバランスパラメータが入力されると、現在記憶しているカラーバランスパラメータのうち、最も古いカラーバランスパラメータを、新たなカラーバランスパラメータで上書きすることで、算出時間の新しい方から順に数フレーム分のカラーバランスパラメータを順次更新しながら記憶する。
　また、第１バッファ３８７は、ベストフレーム選択部４０が選択したフレームにかかる情報を含むベストフレーム選択信号が入力されると、制御部３８ａの制御のもと、該当するフレームに対応するカラーバランスパラメータを、第２バッファ３８８に入力する。第１バッファ３８７は、ベストフレーム選択信号の入力がなければ、最新のカラーバランスパラメータを、第２バッファ３８８に入力する。
　第２バッファ３８８は、第１バッファ３８７から入力されるカラーバランスパラメータを記憶する。第２バッファ３８８は、第１バッファ３８７から新たなカラーバランスパラメータが入力されると、入力されたカラーバランスパラメータを、現在記憶しているカラーバランスパラメータに上書きすることで、カラーバランスパラメータを順次更新しながら記憶する。
　第１選択部３８４は、モード設定部３８６の制御のもと、第２バッファ３８８に記憶されているうちのカラーバランスパラメータ、および固定値メモリ３８３に記憶されているカラーバランスパラメータのいずれかを選択し、選択したカラーバランスパラメータを第１カラーバランス処理部３３に入力する。また、第１選択部３８４は、入力部３７が、フリーズ指示信号の入力を受け付けた場合に、フリーズ対象の体内画像に対応するカラーバランスパラメータを第２バッファ３８８から取得して、第１カラーバランス処理部３３に入力する。
　第２選択部３８５は、モード設定部３８６の制御のもと、第２バッファ３８８に記憶されているカラーバランスパラメータ、および固定値メモリ３８３に記憶されているカラーバランスパラメータのいずれかを選択し、選択したカラーバランスパラメータを第２カラーバランス処理部３４に入力する。
　制御部３８ａにおいては、モード設定部３８６から入力される選択指示信号に基づいて、第１選択部３８４がカラーバランスパラメータを選択して第１カラーバランス処理部３３に入力するとともに、第２選択部３８５がカラーバランスパラメータを選択して第２カラーバランス処理部３４に入力する。また、制御部３８ａは、ベストフレーム選択部４０からベストフレーム選択信号が入力された場合、第１バッファ３８７に、このベストフレーム選択信号に対応するカラーバランスパラメータを選択させ、選択したカラーバランスパラメータを第２バッファ３８８に入力させる。第１選択部３８４は、第２バッファ３８８から、ベストフレームの体内画像に対応するカラーバランスパラメータを取得して、第１カラーバランス処理部３３に入力する。
　続いて、内視鏡システム１Ａが行う画像処理について説明する。図７は、本発明の実施の形態２にかかる内視鏡システムが行う画像処理を示すフローチャートである。以下、制御部３８ａの制御のもと、各部が動作するものとして説明する。
　制御部３８ａは、撮像信号取得部３１が内視鏡２から撮像信号を取得すると、観察モードが通常観察モードおよび補正観察モードのどちらに設定されているかを判断する（ステップＳ２０１）。制御部３８ａは、通常観察モードに設定されていると判断した場合（ステップＳ２０１：通常観察モード）、ステップＳ２０８に移行する。これに対し、制御部３８ａは、補正観察モードに設定されていると判断した場合（ステップＳ２０１：補正観察モード）、ステップＳ２０２に移行する。なお、第２カラーバランス処理部３４は、撮像信号取得部３１が取得する処理信号が順次入力され、第２選択部３８５から入力されたカラーバランスパラメータに基づいて、処理信号のカラーバランス補正を行う。その後、検波部３５によって、第２カラーバランス処理部３４が生成した画像信号に対応する検波値が算出される。
　ステップＳ２０２において、制御部３８ａは、入力部３７を介してフリーズ指示が入力されたか否かを判断する。制御部３８ａは、フリーズ指示の入力がないと判断すると（ステップＳ２０２：Ｎｏ）、ステップＳ２０３に移行する。
　ステップＳ２０３では、第１選択部３８４が、モード設定部３８６の制御のもと、第２バッファ３８８を参照して、最新のカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第１カラーバランス処理部３３に入力する。また、第２選択部３８５が、モード設定部３８６の制御のもと、第２バッファ３８８を参照して、最新のカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第２カラーバランス処理部３４に入力する。なお、第２カラーバランス処理部３４は、入力された最新のカラーバランスパラメータに基づいて、処理信号のカラーバランス補正を行う。
　ステップＳ２０３に続くステップＳ２０４では、第１カラーバランス処理部３３が、フリーズ処理部３２を介して入力された処理信号に対し、第１選択部３８４から入力されたカラーバランスパラメータに基づいてカラーバランス補正を行う。第１カラーバランス処理部３３は、カラーバランス補正を行った画像信号を表示画像生成部３６に入力する。その後、制御部３８ａは、ステップＳ２１０に移行する。
　これに対し、ステップＳ２０２において、制御部３８ａは、フリーズ指示の入力があると判断すると（ステップＳ２０２：Ｙｅｓ）、ステップＳ２０５に移行する。
　ステップＳ２０５では、ベストフレーム選択部４０が、画像バッファ４１のぶれに基づき、フリーズ対象となる体内画像を選択する。ベストフレーム選択部４０は、選択したフレームにかかる情報を含むベストフレーム選択信号を制御部３８ａに入力する。これにより、ベストフレームの体内画像に対応するカラーバランスパラメータが、第１バッファ３８７から第２バッファ３８８に入力される。その後、第１選択部３８４は、第２バッファ３８８を参照して、フリーズ対象として選択されたベストフレームの体内画像に対応するカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第１カラーバランス処理部３３に入力する（ステップＳ２０６）。
　その後、第１カラーバランス処理部３３が、フリーズ対象として選択された体内画像に対応する処理信号に対し、第１選択部３８４から入力されたカラーバランスパラメータに基づいてカラーバランス補正を行う（ステップＳ２０７）。第１カラーバランス処理部３３は、カラーバランス補正を行った画像信号を表示画像生成部３６に入力する。その後、制御部３８ａは、ステップＳ２１０に移行する。
　また、ステップＳ２０８では、第１選択部３８４が、モード設定部３８６の制御のもと、固定値メモリ３８３を参照して、予め設定されているカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第１カラーバランス処理部３３に入力する。また、第２選択部３８５が、モード設定部３８６の制御のもと、固定値メモリ３８３を参照して、予め設定されているカラーバランスパラメータを選択し、選択したカラーバランスパラメータを第２カラーバランス処理部３４に入力する。
　その後、第１カラーバランス処理部３３が、フリーズ処理部３２を介して入力された処理信号に対し、第１選択部３８４から入力されたカラーバランスパラメータに基づいてカラーバランス補正を行う（ステップＳ２０９）。第１カラーバランス処理部３３は、カラーバランス補正を行った画像信号を表示画像生成部３６に入力する。その後、制御部３８ａは、ステップＳ２１０に移行する。
　ステップＳ２１０では、表示画像生成部３６が、第１カラーバランス処理部３３が生成した画像信号に対して、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。表示画像生成部３６は、生成した表示用の画像信号を表示装置４に送信して、この表示用の画像信号に応じた画像を表示装置４に表示させる。なお、フリーズ対象として選択されている画像は、他の画像と比して、長い表示時間で表示される。
　表示画像生成部３６による画像信号の生成、表示制御後、制御部３８ａは、新たな撮像信号の入力があるか否かを判断する（ステップＳ２１１）。制御部３８ａは、例えば、新たな撮像信号が入力されたと判断すると（ステップＳ２１１：Ｙｅｓ）、ステップＳ２０１に戻って上述した処理を繰り返し、新たな撮像信号が入力されていないと判断すると（ステップＳ２１１：Ｎｏ）、画像処理を終了する。
　上述した画像処理では、撮像信号取得部３１から処理信号が入力される度に、第２カラーバランス処理部３４および検波部３５により検波値が算出され、演算部３８１が、この検波値に基づいてカラーバランスパラメータを算出するようにしている。このため、フリーズ対象の画像が静止画表示された後、再び動画表示に戻った場合でも、適切なカラーバランスパラメータを用いて、動画表示に移行することが可能となる。
　上述した本実施の形態２によれば、第１カラーバランス処理部３３が、表示対象となる体内画像に対応する処理信号のカラーバランス補正を行い、この処理と並行して、第２カラーバランス処理部３４によるカラーバランス補正処理と、演算部３８１によるカラーバランスパラメータの算出とを行うようにした。これにより、表示する画像に対してリアルタイムに補正を行う際、フリーズを解除した後であっても、観察に適したカラーバランスの画像を生成することができる。
　また、上述した実施の形態２によれば、フリーズ指示信号が入力されると、ベストフレーム選択部４０が、画像バッファ４１に記憶されている複数の体内画像からぶれの小さい体内画像を選択するようにしたので、フリーズ画像として表示する体内画像を、ぶれが小さい、観察に適した体内画像とすることができる。これにより、体内画像を一層見やすいものとすることができ、一段と正確な診断を行うことが可能となる。
　また、上述した本実施の形態２によれば、第１バッファ３８７および第２バッファ３８８からなる補正用バッファが、カラーバランスパラメータのみを記憶するようにしているので、体内画像とともにカラーバランスパラメータを記憶する場合と比して、バッファの記憶容量を小さくすることができる。
　なお、上述した実施の形態１，２では、撮像信号取得部３１が、ＲＧＢの各色成分が付与された画像を含む処理信号を生成するものとして説明したが、ＹＣｂＣｒ色空間に基づいて輝度（Ｙ）成分および色差成分を含むＹＣｂＣｒ色空間を有する処理信号を生成するものであってもよいし、色相（Hue）、彩度（Saturation　Chroma）、明度（Value　Lightness　Brightness）の三つの成分からなるＨＳＶ色空間や、三次元空間を用いるＬ*ａ*ｂ*色空間などを用いて、色と輝度とに分けた成分を有する処理信号を生成するものであってもよい。
　また、上述した実施の形態１，２では、モード設定部３８６によって、通常観察モードと補正観察モードとのいずれかの観察モードを設定するものとして説明したが、モード設定部３８６を有しない構成として、補正観察モードのみで動作するものであってもよい。
　また、上述した実施の形態１，２では、演算部３８１、バッファ３８２、固定値メモリ３８３、第１選択部３８４、第２選択部３８５、モード設定部３８６、第１バッファ３８７、第２バッファ３８８が制御部３８，３８ａにそれぞれ設けられているものとして説明したが、制御部３８，３８ａとは独立して設けられてもよい。
　また、上述した実施の形態１，２では、光源部３ａから狭帯域光が出射され、受光部２４４ａが照明光による反射光を受光する同時式の照明／撮像方式であるものとして説明したが、光源部３ａが、各色成分の狭帯域の光を個別に順次出射して、受光部２４４ａが、各色成分の光をそれぞれ受光する面順次式の照明／撮像方式であってもよい。
　また、上述した実施の形態１，２では、光源部３ａが内視鏡２とは別体で構成されているものとして説明したが、例えば、内視鏡２の先端に半導体光源を設けるなど、光源装置を内視鏡２に設けた構成であってもよい。さらに、内視鏡２に処理装置３の機能を付与してもよい。
　また、上述した実施の形態１，２では、光源部３ａが、処理装置３とは一体であるものとして説明したが、光源部３ａおよび処理装置３が別体であって、例えば処理装置３の外部に照明部３０１および照明制御部３０２が設けられているものであってもよい。また、光源３０１ａが先端部２４の先端に設けられているものであってもよい。
　また、上述した実施の形態１，２では、青色の狭帯域の光（例えば３９０ｎｍ～４４５ｎｍ）および緑色の狭帯域の光（例えば５３０ｎｍ～５５０ｎｍ）からなる狭帯域光を用いるＮＢＩ観察を行う例を説明したが、波長帯域の範囲や、狭帯域の組み合わせはこれに限らない。例えば、赤色の狭帯域や、赤外の狭帯域を含むものであってもよいし、白色光を用いるものであっても適用可能である。
　また、上述した実施の形態１，２では、本発明にかかる内視鏡システムが、観察対象が被検体内の生体組織などである軟性の内視鏡２を用いた内視鏡システム１であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。
　また、上述した実施の形態１，２では、内視鏡システムを例に挙げて説明したが、例えばデジタルスチルカメラ等に設けられるＥＶＦ（Electronic　View　Finder）に映像を出力する場合にも適用可能である。
　以上のように、本発明にかかる画像処理装置は、リアルタイムに補正を行う場合であっても、フリーズ解除後に、観察に適したカラーバランスの画像を生成するのに有用である。
　１　内視鏡システム
　２　内視鏡
　３　処理装置
　３ａ　光源部
　４　表示装置
　２１　挿入部
　２２　操作部
　２３　ユニバーサルコード
　２４　先端部
　２５　湾曲部
　２６　可撓管部
　３１　撮像信号取得部
　３２　フリーズ処理部
　３３　第１カラーバランス処理部
　３４　第２カラーバランス処理部
　３５　検波部
　３６　表示画像生成部
　３７　入力部
　３８，３８ａ　制御部
　３９　記憶部
　４０　ベストフレーム選択部
　４１　画像バッファ
　３０１　照明部
　３０２　照明制御部
　３８１　演算部
　３８２　バッファ
　３８３　固定値メモリ
　３８４　第１選択部
　３８５　第２選択部
　３８６　モード設定部
　３８７　第１バッファ
　３８８　第２バッファ

Claims (4)

  1. 　被写体を撮像して生成される撮像信号を時系列に沿って取得する撮像信号取得部と、
    　前記撮像信号をもとにカラーバランス調整処理を施して、第１の画像信号を生成する第１カラーバランス処理部と、
    　前記第１カラーバランス処理部が生成した前記第１の画像信号をもとに、表示用の画像信号を生成する表示画像生成部と、
    　前記第１カラーバランス処理部と並列に入力される前記撮像信号をもとにカラーバランス調整処理を施して、第２の画像信号を生成する第２カラーバランス処理部と、
    　前記第２カラーバランス処理部が生成した前記第２の画像信号が含む複数の色成分の信号を検波する検波部と、
    　前記検波部による検波結果に基づいて、前記カラーバランス調整処理を行うためのカラーバランスパラメータを算出する演算部と、
    　前記表示用の画像信号に応じた画像を表示装置にフリーズ表示させるフリーズ指示信号の入力を受け付ける入力部と、
    　前記フリーズ指示信号の入力に基づいて、フリーズ対象の画像を決定するフリーズ処理部と、
    　前記入力部が前記フリーズ指示信号の入力を受け付けていない場合、最新のカラーバランスパラメータを前記第１および第２カラーバランス処理部に入力し、前記入力部が前記フリーズ指示信号の入力を受け付けた場合、フリーズ対象の画像に対応するカラーバランスパラメータを前記第１カラーバランス処理部に入力するとともに、最新のカラーバランスパラメータを前記第２カラーバランス処理部に入力するパラメータ選択部と、
    　を備えたことを特徴とする画像処理装置。
  2. 　前記撮像信号取得部が取得した複数の撮像信号を順次更新しながら記憶する画像バッファと、
    　前記画像バッファが記憶する撮像信号に対応するカラーバランスパラメータを順次更新しながら記憶する補正用バッファと、
    　前記フリーズ指示信号の入力があった場合に、前記画像バッファに記憶されている複数の撮像信号に応じた画像から、ぶれの小さい画像を選択する画像選択部と、
    　をさらに備え、
    　前記フリーズ処理部は、前記画像選択部が選択した画像を、フリーズ対象の画像として決定する
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　予め設定されたカラーバランスパラメータを記憶する補正値メモリと、
    　前記予め設定されたカラーバランスパラメータを用いてカラーバランス調整処理を行う第１のモードと、前記演算部が算出したカラーバランスパラメータに基づいてカラーバランス調整処理を行う第２のモードとのいずれかのモードを設定するモード設定部と、
    　をさらに備え、
    　前記パラメータ選択部は、設定されているモードに応じて、前記第１カラーバランス処理部に入力するカラーバランスパラメータを選択する
    　ことを特徴とする請求項２に記載の画像処理装置。
  4. 　前記補正用バッファは、モードの設定によらず前記カラーバランスパラメータの記憶処理を行い、
    　前記パラメータ選択部は、前記第１のモードに設定された場合は、前記予め設定されたカラーバランスパラメータを前記第１カラーバランス処理部に入力し、前記第２のモードに設定された場合は、前記補正用バッファが記憶する最新のカラーバランスパラメータを前記第１カラーバランス処理部に入力し、前記第２のモードにおいて前記入力部が前記フリーズ指示信号の入力を受け付けた場合、フリーズ対象の画像に対応するカラーバランスパラメータを前記第１カラーバランス処理部に入力する
    　ことを特徴とする請求項３に記載の画像処理装置。
PCT/JP2017/014542 2016-04-19 2017-04-07 画像処理装置 WO2017183488A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017540665A JP6242552B1 (ja) 2016-04-19 2017-04-07 画像処理装置
US16/154,931 US10462440B2 (en) 2016-04-19 2018-10-09 Image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-083603 2016-04-19
JP2016083603 2016-04-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/154,931 Continuation US10462440B2 (en) 2016-04-19 2018-10-09 Image processing apparatus

Publications (1)

Publication Number Publication Date
WO2017183488A1 true WO2017183488A1 (ja) 2017-10-26

Family

ID=60115921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/014542 WO2017183488A1 (ja) 2016-04-19 2017-04-07 画像処理装置

Country Status (3)

Country Link
US (1) US10462440B2 (ja)
JP (1) JP6242552B1 (ja)
WO (1) WO2017183488A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6660707B2 (ja) * 2015-10-23 2020-03-11 Hoya株式会社 内視鏡システム
EP4076130A1 (en) * 2019-12-19 2022-10-26 Ambu A/S Image capture selection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02213817A (ja) * 1989-02-15 1990-08-24 Toshiba Corp 電子内視鏡装置
JP2000139833A (ja) * 1998-11-04 2000-05-23 Olympus Optical Co Ltd 電子内視鏡装置
JP2005319213A (ja) * 2004-05-11 2005-11-17 Pentax Corp 蛍光観察内視鏡装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7590290B2 (en) * 2004-07-21 2009-09-15 Canon Kabushiki Kaisha Fail safe image processing apparatus
JP4137085B2 (ja) * 2005-04-21 2008-08-20 キヤノン株式会社 撮像装置
US8964054B2 (en) * 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
JP5366584B2 (ja) * 2009-02-16 2013-12-11 キヤノン株式会社 撮像装置、画像処理方法およびプログラム
EP2579570B1 (en) 2010-06-07 2017-01-04 Olympus Corporation Signal processing device and still image generation method
JP5661367B2 (ja) * 2010-08-02 2015-01-28 キヤノン株式会社 撮像装置及びその制御方法、プログラム、及び記録媒体
JP5629564B2 (ja) * 2010-12-07 2014-11-19 キヤノン株式会社 画像処理装置およびその制御方法
US9414740B2 (en) * 2013-03-14 2016-08-16 Arthrex, Inc. Endoscopic imaging system and method for adapting to remote stimulus
CN106165409B (zh) * 2014-03-31 2018-11-13 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02213817A (ja) * 1989-02-15 1990-08-24 Toshiba Corp 電子内視鏡装置
JP2000139833A (ja) * 1998-11-04 2000-05-23 Olympus Optical Co Ltd 電子内視鏡装置
JP2005319213A (ja) * 2004-05-11 2005-11-17 Pentax Corp 蛍光観察内視鏡装置

Also Published As

Publication number Publication date
US10462440B2 (en) 2019-10-29
JPWO2017183488A1 (ja) 2018-04-26
JP6242552B1 (ja) 2017-12-06
US20190052854A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
CN113271838B (zh) 内窥镜系统、图像处理装置、总处理时间检测方法及处理装置
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
JP6109456B1 (ja) 画像処理装置および撮像システム
CN107113405B (zh) 图像处理装置、图像处理装置的工作方法、记录介质和内窥镜装置
JP6378846B2 (ja) 画像処理装置
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
US11503982B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for detecting a defective pixel in an image frame
JP6463512B2 (ja) 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP6242552B1 (ja) 画像処理装置
JP6937902B2 (ja) 内視鏡システム
JP2017123997A (ja) 撮像システムおよび処理装置
JP6503522B1 (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
JP2018007840A (ja) 画像処理装置
WO2018079387A1 (ja) 画像処理装置および画像処理システム
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
WO2019130834A1 (ja) 画像処理装置および画像処理方法
JP2017221276A (ja) 画像処理装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017540665

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17785828

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17785828

Country of ref document: EP

Kind code of ref document: A1