WO2017141544A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2017141544A1
WO2017141544A1 PCT/JP2016/088251 JP2016088251W WO2017141544A1 WO 2017141544 A1 WO2017141544 A1 WO 2017141544A1 JP 2016088251 W JP2016088251 W JP 2016088251W WO 2017141544 A1 WO2017141544 A1 WO 2017141544A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
exposure
ratio
image processing
captured image
Prior art date
Application number
PCT/JP2016/088251
Other languages
English (en)
French (fr)
Inventor
健太郎 深沢
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/060,282 priority Critical patent/US10523874B2/en
Priority to EP16890681.6A priority patent/EP3417762B1/en
Priority to JP2017567969A priority patent/JP7000861B2/ja
Publication of WO2017141544A1 publication Critical patent/WO2017141544A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and a program.
  • each of the first illumination unit and the second illumination unit Describes a technique for controlling the light distribution by changing the peak position of the synthesized light distribution by adjusting the light projection intensity.
  • the light amount determination unit that determines the light amount of the captured image based on the pixel value of each pixel of the captured image, and the pixel value of the pixels included in the region of the captured image is saturated.
  • An image processing apparatus includes an exposure ratio determination unit that determines a ratio of an exposure amount of a long-time exposure pixel to an exposure amount of a short-time exposure pixel based on a pixel ratio.
  • the light amount of the captured image is determined based on the pixel value of each pixel of the captured image, and the pixel value is saturated among the pixels included in the region of the captured image. Determining a ratio of the exposure amount of the long-time exposure pixel to the exposure amount of the short-time exposure pixel based on the ratio of the pixels.
  • the means for determining the light amount of the captured image based on the pixel value of each pixel of the captured image, the pixel in which the pixel value is saturated among the pixels included in the region of the captured image Based on this ratio, there is provided a program for causing a computer to function as means for determining the ratio of the exposure amount of the long-time exposure pixel to the exposure amount of the short-time exposure pixel.
  • FIG. 1 is a schematic diagram illustrating a schematic configuration of an endoscope system according to an embodiment of the present disclosure. It is a schematic diagram which shows structure of CCU and its periphery. It is a schematic diagram which compares and shows normal imaging, HDR imaging (space division multistage exposure), and HDR imaging (time division multistage exposure). It is a schematic diagram which shows the relationship between the exposure ratio and dynamic range which concern on this embodiment. It is a schematic diagram which shows the relationship between a light quantity, s / n, and quantization accuracy. It is a schematic diagram which shows the relationship between exposure ratio, light quantity, and image quality. It is a schematic diagram which shows the example of a combination of light quantity and exposure ratio. It is a flowchart which shows light quantity determination processing.
  • FIG. 3 is a schematic diagram illustrating an example in which a zoom area setting unit is added to the configuration of FIG. 2. It is a schematic diagram which shows the example which added the surgical instrument detection part 140 with respect to the structure of FIG. It is a schematic diagram which shows the example which added the gaze detection part 150 with respect to the structure of FIG. It is a schematic diagram which shows the example which provides an aperture stop in a camera head and restrict
  • FIG. 5 is a schematic diagram showing a comparison between a normal imaging (A), an HDR imaging (E) according to the present embodiment, and a comparative example when imaging the same subject.
  • FIG. 1 a schematic configuration of an endoscope system 1000 according to an embodiment of the present disclosure will be described with reference to FIG.
  • endoscopic surgery has been performed in place of conventional laparotomy in medical practice.
  • an endoscopic surgery system 1 arranged in an operating room as shown in FIG. 1 is used.
  • several opening devices called trocars 12a, 12b are attached to the abdominal wall, and the laparoscope (hereinafter referred to as the internal (Also referred to as an endoscope) 2, the energy treatment tool 3, the forceps 4 and the like are inserted into the body.
  • the laparoscope hereinafter referred to as the internal (Also referred to as an endoscope) 2
  • the energy treatment tool 3 the forceps 4 and the like
  • the endoscope 2 has a camera head 200 including an image sensor that captures an image. Then, a treatment such as excision of the affected part 16 with the energy treatment tool 3 or the like is performed while viewing an image of the affected part (tumor or the like) 16 imaged by the endoscope 2 in real time.
  • the endoscope 2, the energy treatment tool 3, and the forceps 4 are held by an operator, an assistant, a scopist, a robot, or the like.
  • a cart 14 equipped with devices for endoscopic operation, a patient bed 13 on which a patient lies, a foot switch 15 and the like are arranged.
  • the cart 14 includes devices such as a camera control unit (CCU) 5, a light source device 6, a treatment instrument device 7, a pneumoperitoneum device 8, a display device 9, a recorder 10, and a printer 11 as medical devices. .
  • CCU camera control unit
  • An image image signal of the affected area 16 imaged through the observation optical system of the endoscope 2 is transmitted to the CCU 5 via the camera cable, processed in the CCU 5, and then output to the display device 9. A mirror image is displayed.
  • the CCU 5 may be connected wirelessly.
  • the light source device 6 is connected to the endoscope 2 through a light guide cable, and can switch and irradiate the affected part 16 with light of various wavelengths.
  • the treatment instrument device 7 is a high-frequency output device that outputs a high-frequency current to the energy treatment instrument 3 that cuts the affected part 16 using electric heat, for example.
  • the pneumoperitoneum device 8 is provided with air supply and intake means, and supplies air to, for example, the abdominal region in the patient's body.
  • the foot switch 15 controls the CCU 5, the treatment instrument device 7 and the like by using a foot operation of an operator or an assistant as a trigger signal.
  • FIG. 2 is a schematic diagram illustrating a configuration of a CCU (image processing apparatus) 5 and its surroundings.
  • the CCU 5 includes an image processing unit 100, a light amount determination unit 110, and an exposure ratio determination unit 120.
  • a camera head 200, a display device (monitor) 9, and a light source device 6 are connected to the CCU 5.
  • the amount of light incident on the image sensor is controlled by the amount of light emitted from the light source device 6 to the subject.
  • Each component of the CCU 5 shown in FIG. 2 can be composed of a central processing unit such as a CPU and a program (software) for causing it to function.
  • the image data (pixel value of each pixel) of the subject image captured by the image sensor of the camera head 200 is sent to the CCU 5.
  • the light amount determination unit 110 determines the light amount based on the pixel value, and sends the light amount to the light source device 6.
  • the light source device 6 irradiates the subject with light based on the received light quantity. The process in which the light quantity determination unit 110 determines the light quantity will be described in detail later.
  • the exposure ratio determining unit 120 determines an exposure ratio based on the pixel value and sends the exposure ratio to the camera head 200.
  • the exposure ratio is the ratio of the exposure amount of the long accumulation pixel and the exposure amount of the short accumulation pixel.
  • the camera head 200 adjusts the pixel value by adjusting the exposure time of the long accumulation pixel and the short accumulation pixel based on the exposure ratio. The process in which the exposure ratio determining unit 120 determines the light amount will be described in detail later.
  • the image processing unit 100 performs various image processing in order to output an input image from the camera head 200 to the display device 9. Further, the image processing unit 100 adjusts the pixel value of the short accumulation pixel according to the exposure ratio when the dynamic range of the short accumulation pixel is expanded according to the exposure ratio by a method described later. In addition, when the light amount of the long accumulation pixel is increased, the image processing unit 100 adjusts the pixel value of the long and short accumulation pixel according to the light amount. Furthermore, the image processing unit 100 performs a process of mixing the long accumulation pixels and the short accumulation pixels.
  • the camera head 200 includes an image sensor capable of HDR imaging.
  • HDR imaging is an imaging method that expands the dynamic range by combining images captured under a plurality of different exposure conditions.
  • the exposure ratio determined by the exposure ratio determination unit is sent to the camera head 200.
  • the image sensor performs exposure by determining the exposure time of the long accumulation pixel and the exposure time of the short accumulation pixel based on the exposure ratio.
  • the exposure time of the short accumulation pixel becomes shorter than the exposure time of the long accumulation pixel according to the exposure ratio.
  • FIG. 3 is a schematic diagram showing comparison between normal imaging, HDR imaging (spatial division multistage exposure), and HDR imaging (time division multistage exposure).
  • HDR imaging spatial division multistage exposure
  • HDR imaging time division multistage exposure
  • long exposure pixels and short exposure pixels are mixed in the space, and as an example, long exposure pixels and short exposure pixels are arranged in a staggered manner.
  • the long exposure pixel is referred to as a long accumulation pixel
  • the short exposure pixel is referred to as a short accumulation pixel.
  • exposure is performed at different times for the long accumulation pixels and the short accumulation pixels.
  • HDR imaging time division multi-step exposure
  • the long exposure frame and the short exposure frame are switched in the time direction.
  • HDR imaging a method in which incident light is divided and imaging is performed with imaging elements having different sensitivities may be considered.
  • FIG. 4 is a schematic diagram showing the relationship between the exposure ratio and the dynamic range according to the present embodiment.
  • normal imaging the amount of light of the subject is set to 100%, and pixel values are acquired at each pixel by imaging. If the dynamic range of the image sensor is 10 bits, pixel values from 0 to 1023 can be acquired. As in the image shown in the lower part of FIG. 4, the light amount range exceeding the pixel value 1023 in the image is a saturated region.
  • the long accumulation pixels are imaged in the same manner as the normal imaging (A), and the short accumulation pixels are imaged with the light amount of the subject set to 50%.
  • the image processing unit 100 doubles the pixel value obtained by imaging for the short accumulation pixel.
  • pixel values from 0 to 2046 can be acquired for short accumulation pixels, the dynamic range can be expanded, and the saturation level is twice that of normal imaging (A). The area can be reduced.
  • the saturation region is reduced in the HDR imaging (B) with respect to the normal imaging (A).
  • the sn ratio (s / n) is 1 / ⁇ 2 with respect to normal imaging.
  • the s / n of the long accumulation pixel is the same as in normal imaging.
  • FIG. 5 is a schematic diagram showing the relationship between the light amount, s / n, and quantization accuracy.
  • normal imaging (A) is the same as that shown in FIG.
  • normal imaging (C) the amount of light is 200% of that in normal imaging (A).
  • normal imaging (C) the amount of light is twice that in normal imaging (A), so the entire image becomes brighter, and the saturation region increases as shown in the lower part of FIG.
  • s / n is doubled by doubling the amount of light.
  • normal imaging the pixel value of normal imaging (C) is halved according to the amount of light (200%).
  • the normal imaging (A) with the light quantity of 100% and the brightness of the image are aligned.
  • the pixel value is adjusted by the image processing unit 100.
  • aligning brightness with normal imaging (A) with a light quantity of 100% there is no pixel value greater than 512.
  • the quantization accuracy is double that of normal.
  • the long accumulation pixels are the same as the normal imaging (D), and the short accumulation pixels are imaged with the light amount of the subject being 100%.
  • the dynamic range is 0 to 512 for the long accumulation pixels, but the dynamic range is 0 to 1023 for the short accumulation pixels, and the dynamic range is expanded compared to the normal imaging (D).
  • the exposure ratio of short accumulation pixels to long accumulation pixels is 2: 1.
  • a signal value (pixel value) larger than the pixel value 512 can be acquired.
  • the overall brightness is the same as in normal imaging (A).
  • s / n is ⁇ 2 times and quantization accuracy is twice that in normal imaging (A). Thereby, although the saturation level is the same as that of normal imaging (A), s / n can be improved.
  • s / n and quantization accuracy can be improved by controlling the amount of light incident on the image sensor.
  • s / n has a characteristic that it is proportional to the square root of the light quantity, s / n becomes ⁇ 2 times when the light quantity is doubled.
  • FIG. 6 is a schematic diagram showing the relationship between the exposure ratio, the light amount, and the image quality.
  • normal imaging (A), HDR imaging (B), and HDR imaging (E) are the same as those shown in FIGS.
  • HDR imaging (F) the long accumulation pixel is the same as the HDR imaging (E), and the short accumulation pixel is imaged with the light amount of the subject being 50%, and the pixel value obtained by the imaging is doubled.
  • the dynamic range is 0 to 512 for the long accumulation pixels, but the dynamic range is 0 to 2046 for the short accumulation pixels, and the dynamic range is further expanded.
  • the exposure ratio of short accumulation pixels to long accumulation pixels is 4: 1.
  • the saturation level is expanded by a factor of 4, but since the light quantity of the long accumulation pixel is 200%, the pixel value is halved to make the brightness the same as when the light quantity is 100%. Then, the substantial saturation level expansion is doubled.
  • s / n is 1 / ⁇ 2 with respect to the normal imaging (A).
  • FIG. 7 is a schematic diagram showing a combination example of the light amount and the exposure ratio.
  • the dynamic range can be optimally ensured by optimally combining the light amount and the exposure ratio according to the photographing conditions.
  • the dynamic range when the exposure ratio is “standard value”, the dynamic range is 0 to 1023, and when the exposure ratio is “twice the standard value”, the dynamic range is 0 to 2046.
  • the dynamic range In the case of “4 times the standard value”, the dynamic range is 0 to 4092, and the dynamic range is expanded as the exposure ratio is larger than the standard value.
  • the level band, s / n, and quantization accuracy of the long accumulation pixel are determined based on the light amount.
  • the degree of expansion of the saturation level is determined by the exposure ratio.
  • the standard value of the exposure ratio depends on the light amount setting.
  • an optimal image can be obtained by dynamically changing the light amount and the exposure ratio shown in FIG. 7 based on image data obtained by imaging by the imaging element of the camera head 200. is there.
  • the image processing unit 100 adjusts the pixel value of the short accumulation pixel according to the exposure ratio. For example, when the light amount is 200% and the exposure ratio is 4: 1, the pixel value of the short accumulation pixel is doubled. When the light amount is 400% and the exposure ratio is 8: 1, the pixel value of the short accumulation pixel is quadrupled. Thereby, as shown in each example of FIG.
  • the dynamic range can be expanded in the short accumulation pixel.
  • the image processing unit 100 adjusts the pixel value of the long and short accumulation pixel according to the light amount. For example, when the light amount is 200%, the pixel value of the long accumulation pixel is halved, and when the light amount is 400%, the pixel value of the long accumulation pixel is 1 ⁇ 4. In order to perform such pixel value adjustment, the light amount (%) and the exposure ratio are sent to the image processing unit 100.
  • the apparent dynamic range is the same (normal imaging (A) and HDR imaging (E), HDR imaging (B) and HDR imaging (F)), but corresponds to long accumulation pixels. It is possible to improve the s / n and the quantization accuracy of the brightness region.
  • by setting an optimal combination of light quantity and exposure ratio according to image characteristics, output of an image that achieves dynamic range expansion, s / n improvement, and quantization accuracy improvement as shown in FIG. make it possible.
  • FIG. 8 is a flowchart showing the light quantity determination process.
  • the determination of the light amount is performed by the light amount determination unit 110 shown in FIG.
  • step S10 image data is acquired from the image sensor of the camera head 200, and a histogram indicating the pixel value of each pixel is acquired.
  • step S10 the pixel values 0 to 1023 are normalized and converted to values of 0 to 1.0. Values 0 to 0.1 obtained by the conversion are ratios relative to the saturated pixel value of the image sensor.
  • the signal for acquiring the histogram may be any of Y, G, R, and B signals.
  • the area for acquiring the histogram may be any pixel in the mask, any area in the mask (cutout area when electronic zooming, etc.), the tip area of the surgical instrument, the operator's gaze area, etc. good.
  • the amount of light is not limited to 400% but may be more than that.
  • step S12 it is determined whether or not the ratio (configuration ratio) of the number of pixels having a converted pixel value of 0 to 0.25 to the total number of pixels exceeds the first threshold, and the first threshold If it exceeds, the process proceeds to step S14.
  • step S14 the amount of light is set to 400%.
  • step S12 determines whether or not the configuration ratio is exceeded, and if it exceeds the second threshold, the process proceeds to step S18.
  • step S18 the light quantity is set to 200%.
  • step S16 if the component ratio does not exceed the second threshold value, the process proceeds to step S20, and the light amount is set to 100%.
  • the light amount determination unit determines the light amount so that it is difficult to visually recognize the deterioration in image quality.
  • the amount of light determined by the processing of FIG. The light source device 6 irradiates the subject based on the received light quantity.
  • FIG. 9 is a flowchart showing the exposure ratio determination process.
  • the exposure ratio is determined by the exposure ratio determination unit 120 shown in FIG.
  • step S30 the frequency of saturated pixels is acquired.
  • the frequency of saturated pixels is data indicating the number of pixels that are saturated and pixels that are not saturated, with the pixel value as the horizontal axis.
  • step S32 it is determined whether or not the composition ratio of the saturated pixels exceeds the first threshold value. If the composition ratio of the saturated pixels exceeds the first threshold value, the process proceeds to step S34, and the exposure ratio is increased. It is determined whether or not the upper limit value is matched. If it is determined in step S34 that the exposure ratio does not match the upper limit value, the process proceeds to step S36 to increase the exposure ratio. On the other hand, if the exposure ratio matches the upper limit value in step S34, the process ends.
  • step S32 If the composition ratio of the saturated pixels is equal to or smaller than the predetermined threshold value in step S32, the process proceeds to step S38, and the composition ratio of the pixels in the range from 1/2 of the saturated pixel value to the saturated pixel value is smaller than the second threshold value. It is determined whether or not both the condition and the condition where the exposure ratio does not match the lower limit value are satisfied. If both the conditions are satisfied, the process proceeds to step S40, and the exposure ratio is decreased.
  • step S36 and step S40 the exposure ratio is increased or decreased by a predetermined amount.
  • the exposure ratio reaches the upper limit (step S34), or when the exposure ratio reaches the lower limit (step S40), the exposure ratio is not increased or decreased, and the exposure ratio is set to the upper limit value or the lower limit value.
  • step S30 are schematic diagrams showing the frequency of the saturated pixels acquired in step S30.
  • the process proceeds from step S32 to step S36, and processing for increasing the exposure ratio is performed. If the exposure ratio reaches the upper limit (step S34), the process ends.
  • step S38 the process proceeds from step S38 to step S40, and the process proceeds to step S40 to perform a process for reducing the exposure ratio. In this case, a large amount of saturated pixels does not occur even if the exposure ratio is lowered. If the exposure ratio reaches the lower limit (step S38), the process ends.
  • the saturated pixel may not be a pixel that is strictly saturated, but may be a pixel that has a pixel value greater than or equal to a certain value.
  • the lower limit value of the exposure ratio can be changed according to the light quantity, and is 1 when the light quantity is 100%, 2 when the light quantity is 200%, and 4 when the light quantity is 400%.
  • the exposure range is increased to expand the dynamic range. If there are almost no bright pixels including saturated pixels, the dynamic range is unnecessarily widened. Reduce the ratio.
  • region referred by the light quantity determination part 110 and the exposure ratio determination part 120 is taken as all the area
  • the amount of light and the exposure ratio can be optimally set based on the captured image by performing the processing of FIGS. Accordingly, a desired dynamic range can be ensured and s / n can be improved.
  • FIG. 12 shows an example in which a zoom area setting unit 130 is added to the configuration of FIG.
  • the light amount determination unit 110 and the exposure ratio determination unit 120 acquire a zoom target region from the zoom region setting unit 130.
  • the area referred to by the light amount determination unit 110 and the exposure ratio determination unit 120 is the entire area in the mask of the image, but in FIG. 12, the area actually displayed on the display device 9 (electronic zoom clipping area) ) Only by the light amount determination unit 110 and the exposure ratio determination unit 120. Therefore, based on the area displayed on the display device 9, it is possible to set a target area for acquiring the histogram in the light amount determining unit 110 and a target area for acquiring the saturation pixel frequency in the exposure ratio determining unit 120.
  • FIG. 13 shows an example in which a surgical instrument detection unit 140 is added to the configuration of FIG.
  • the surgical instrument detection unit 140 information indicating the distal end region of the surgical instrument is sent to the light amount determination unit 110 and the exposure ratio determination unit 120.
  • the region referred to by the light amount determination unit 110 and the exposure ratio determination unit 120 is the distal region of the surgical instrument (the region where the distal end of the surgical instrument can be reached). Accordingly, it is possible to set a target area for acquiring the histogram in the light amount determining unit 110 and a target area for acquiring the saturation pixel frequency in the exposure ratio determining unit 120 based on the distal end region of the surgical instrument.
  • FIG. 14 shows an example in which a line-of-sight detection unit 150 is added to the configuration of FIG.
  • a line-of-sight detection unit 150 By providing the line-of-sight detection unit 150, information indicating the region of the operator's line of sight is sent to the light amount determination unit 110 and the exposure ratio determination unit 120.
  • the region referred to by the light amount determination unit 110 and the exposure ratio determination unit 120 is set as the operator's line of sight. Therefore, it is possible to set a target area for acquiring the histogram in the light amount determining unit 110 and a target area for acquiring the saturation pixel frequency in the exposure ratio determining unit 120 based on the region of the line of sight of the surgeon.
  • the area to be referenced does not have to be the same in the light amount determination unit 110 and the exposure ratio determination unit 120.
  • the region from which the light quantity determination unit 110 acquires the histogram is all pixels in the mask, an arbitrary region in the mask described with reference to FIG. 12 (electronic zoom cut-out region), and the technique described in FIG. Either the tip region of the instrument or the operator's gaze region described with reference to FIG.
  • the area from which the exposure ratio determination unit 120 acquires the saturation pixel frequency is all pixels in the mask
  • the arbitrary area in the mask described with reference to FIG. 13 may be either the distal end region of the surgical instrument described in FIG. 13 or the gaze region of the surgeon described in FIG.
  • the amount of light incident on the image sensor is limited by the amount of light emitted from the light source device 6 to the subject, but the F value of the lens of the camera head 200 or the exposure time by the electronic shutter of the image sensor is adjusted. Thus, the amount of light incident on the image sensor may be adjusted.
  • FIG. 15 is a schematic diagram illustrating an example in which a diaphragm is provided in the camera head 200 to limit the amount of light incident on the image sensor.
  • a lens F value determination unit 160 is added to the configuration of FIG. In the configuration shown in FIG. 15, since the amount of light incident on the image sensor is limited by the diaphragm, the amount of light of the subject can be adjusted by the diaphragm. For this reason, it is not necessary to provide the light source device 6.
  • the light amount determined by the light amount determination unit 110 is sent to the lens F value determination unit 160.
  • the lens F value determination unit 160 determines the F value of the lens according to the light amount, based on a table or a conversion formula describing the relationship between the light amount and the F value of the lens.
  • the F value is sent to the camera head 200.
  • the camera head 200 drives the diaphragm based on the F value, and limits the amount of light incident on the image sensor.
  • FIG. 16 is a schematic diagram showing an example in which the amount of light incident on the image sensor is limited by the exposure time.
  • an exposure time determination unit 170 is added to the configuration of FIG. In the configuration shown in FIG. 16, since the amount of light incident on the image sensor is limited by the exposure time, the light amount of the subject can be adjusted by the exposure time. For this reason, it is not necessary to provide the light source device 6.
  • the light amount determined by the light amount determination unit 110 is sent to the exposure time determination unit 170.
  • the exposure time determination unit 170 determines the exposure time according to the light amount based on a table or a conversion formula describing the relationship between the light amount and the exposure time.
  • the exposure time is sent to the camera head 200.
  • the camera head 200 performs exposure using an electronic shutter based on the exposure time, and limits the amount of light incident on the image sensor.
  • P L is the pixel value of the long accumulation pixel
  • P S is the pixel value of the short accumulation pixel
  • the coefficient a is a coefficient that changes according to the pixel value P L of the long accumulation pixel, It varies according to the value P L.
  • Figure 17 is a characteristic diagram showing how the value of coefficient a is changed according to the pixel value P L of the long accumulation pixels.
  • the pixel value P L (for example, 0 to 1023) of the long accumulation pixel is normalized and converted to a value of 0 to 1.0.
  • the coefficient a is 1 until the pixel value P L reaches the threshold value TH L. Therefore, from the above equation, the pixel value P O is the pixel value P L of the long accumulation pixels.
  • the pixel value P O is the pixel value P S of the shorter accumulation pixels.
  • the values of the threshold TH L and the threshold TH H can be changed as appropriate in accordance with how the long accumulation pixels and the short accumulation pixels are mixed.
  • FIG. 18 is a schematic diagram showing an example of changing the saturation level when changing from the state A to the state B by changing the light amount and the exposure ratio.
  • the fluctuation of the maximum luminance is moderated so that the brightness of the displayed image does not fluctuate rapidly.
  • the maximum luminance of the short accumulation pixel is not changed from 1023 to 2046 instantaneously, but the maximum luminance is gradually changed as shown in the intermediate transition state. Further, the exposure time or the light amount of the light source on the short accumulation image side may be gradually changed.
  • FIG. 19 is a schematic diagram showing an example in which the saturation level is not changed when the exposure ratio is changed to change from the state A to the state B.
  • the blend threshold value is changed to a value that matches the state B so that the region where the short accumulation pixels and the long accumulation pixels are mixed is continuous, and the state that matches the state B Then, the light amount, the exposure ratio, etc. are changed to the state B.
  • the amount of light incident on the long storage image sensor and the amount of light incident on the short storage image sensor may be gradually changed.
  • FIG. 20 shows normal imaging (A), HDR imaging (E) according to the present embodiment, and comparative example (in Patent Document 1 described above) when the same subject is imaged. It is the schematic diagram which compares and shows the described technique. Here, FIG. 20 shows a case of a subject without saturation.
  • FIG. 20 shows a case of a subject without saturation.
  • the luminances of three subjects A, B, and C arranged in three stages in depth are as shown in normal imaging (A).
  • s / n is the same when the amount of light incident on the imager is the same between the case where the far-field subject A is irradiated with a high amount of light and the case where the subject B closer to it is irradiated with the normal amount of light. Is unchanged.
  • the s / n and the quantization accuracy on the long accumulation pixel side are improved as described above.
  • time-division multistage exposure is performed.
  • the frame rate decreases.
  • the average value of the pixel values since the average value of the pixel values is used, when the frequency of low luminance and high luminance is high and the frequency of medium luminance is low, the average value is determined as medium luminance. Further, in the comparative example, if even one pixel is saturated, there is a possibility that it will be pulled.
  • the light amount of the plurality of light sources is controlled depending on the region. Therefore, if the boundary between the dark region and the bright region does not coincide with the light source boundary, the brightness of the subject at the time of imaging is reduced. It becomes uneven. On the other hand, in this embodiment, since a single light source is used, such a problem does not occur.
  • the light amount and the exposure ratio are controlled by the feature amount in the area irradiated by the light source, the appearance of the area cannot be improved if the target area has few low luminance portions.
  • the light amount and the exposure ratio can be controlled from the feature amount in the area.
  • the dark part can be brightened, but it looks different from the original contrast.
  • the low luminance part in the region where the light amount is not increased does not improve the s / n and the quantization accuracy. According to the present embodiment, it is possible to improve the s / n and quantization accuracy of all the low-luminance portions in the screen.
  • the dynamic range of an image can be expanded, and s / n and quantization accuracy can be improved.
  • the image feature of the subject it is possible to suppress a decrease in image quality.
  • a light amount determination unit that determines a light amount of the captured image based on a pixel value of each pixel of the captured image
  • An exposure ratio determining unit that determines a ratio of an exposure amount of a long-time exposure pixel to an exposure amount of a short-time exposure pixel based on a ratio of pixels in which the pixel value is saturated among pixels included in the captured image region
  • An image processing apparatus comprising: (2) The image processing apparatus according to (1), further including an image processing unit that adjusts pixel values of the long-time exposure pixels and the short-time exposure pixels based on a ratio between the light amount and the exposure amount.
  • the light amount determination unit determines the light amount based on a ratio of pixels having a pixel value smaller than a predetermined pixel value among pixels included in the region of the captured image.
  • the image processing apparatus according to (2) The image processing apparatus according to (2).
  • the exposure ratio determination unit determines a pixel having a pixel value from a predetermined pixel value to a saturated pixel value among pixels included in the region of the captured image.
  • the image processing device according to (5), wherein the predetermined pixel value is 1 ⁇ 2 of a saturated pixel value.
  • the image processing device according to any one of (1) to (6), wherein the region of the captured image is set according to a distal region of a surgical instrument.
  • the image processing apparatus according to any one of (1) to (9), wherein the light amount determination unit sends the light amount to a light source that irradiates a subject.
  • the light amount determination unit sends the light amount to the camera in order to adjust an F value of a camera that captures the captured image.
  • the light amount determination unit sends the light amount to the camera in order to adjust an exposure time of a camera that captures the captured image.
  • the exposure ratio determination unit causes the camera that captures the captured image to adjust the exposure amount in order to cause the image sensor that captures the captured image to adjust the exposure time of the long exposure pixel and the short exposure pixel.
  • the image processing apparatus according to any one of (1) to (12), wherein the ratio is sent.
  • the image processing device according to any one of (1) to (13), wherein the long-time exposure pixel and the short-time exposure pixel are arranged in a space of the same frame of the captured image.
  • the long-time exposure pixel and the short-time exposure pixel are arranged in frames that are temporally different from each other in the captured image.
  • An image processing unit that performs processing to generate a pixel in which the long-time exposure pixel and the short-time exposure pixel are mixed, The image processing unit generates the mixed pixel based on the pixel value of the long-time exposure pixel by increasing the ratio of the long-time exposure pixel to the short-time exposure pixel as the pixel value is smaller.
  • the image processing device according to any one of (15).
  • An image processing method comprising: (18) means for determining a light amount of the captured image based on a pixel value of each pixel of the captured image; Means for determining a ratio of an exposure amount of a long-time exposure pixel to an exposure amount of a short-time exposure pixel based on a ratio of a pixel in which the pixel value is saturated among pixels included in the captured image region; As a program to make the computer function as.

Abstract

【課題】画像のダイナミックレンジを拡大するとともに、ｓｎ比を向上して画質を良好にする。 【解決手段】本開示に係る画像処理装置は、撮像画像の各画素の画素値に基づいて、撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する光量決定部と、前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する露光比決定部と、を備える。

Description

画像処理装置、画像処理方法及びプログラム
　本開示は、画像処理装置、画像処理方法及びプログラムに関する。
　従来、例えば下記の特許文献１には、観察対象の内部に挿入されてその観察対象の内部の被写体を照明しながら撮像する内視鏡において、第１の照明部および第２の照明部の各々の投光強度を調整することで、合成された配光分布のピーク位置を変更する配光分布制御を行う技術が記載されている。
特開２０１４－２３０７０８号公報
　しかし、上記特許文献に記載された技術では、特に低輝度部において、照明部により光量を上げない領域が生じるため、ｓｎ比、量子化精度を向上させることができない問題がある。
　また、上記特許文献１に記載された技術では、領域毎に複数の光源光量を制御するため、暗い領域と明るい領域の境界が光源の境界と一致していないと、撮像時の被写体の明るさが不均一になり、画質が低下する問題がある。
　そこで、画像のダイナミックレンジを拡大するとともに、ｓｎ比を向上して画質を良好にすることが求められていた。
　本開示によれば、撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する光量決定部と、前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する露光比決定部と、を備える、画像処理装置が提供される。
　また、本開示によれば、撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定することと、前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定することと、を備える、画像処理方法が提供される。
　また、本開示によれば、撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する手段、前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する手段、としてコンピュータを機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、画像のダイナミックレンジを拡大するとともに、ｓｎ比を向上して画質を良好にすることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る内視鏡システムの概略構成を示す模式図である。 ＣＣＵとその周辺の構成を示す模式図である。 通常撮像、ＨＤＲ撮像（空間分割多段階露光）、ＨＤＲ撮像（時間分割多段階露光）を比較して示す模式図である。 本実施形態に係る露光比とダイナミックレンジの関係を示す模式図である。 光量、ｓ／ｎ、量子化精度の関係を示す模式図である。 露光比、光量、及び画質の関係を示す模式図である。 光量と露光比の組み合わせ例を示す模式図である。 光量決定処理を示すフローチャートである。 露光比決定処理を示すフローチャートである。 図９のステップＳ３０で取得した飽和画素の頻度を示す模式図である。 図９のステップＳ３０で取得した飽和画素の頻度を示す模式図である。 図２の構成に対してズーム領域設定部を追加した例を示す模式図である。 図２の構成に対して術具検出部１４０を追加した例を示す模式図である。 図２の構成に対して視線検出部１５０を追加した例を示す模式図である。 カメラヘッドに絞りを設け、撮像素子への入射光量を制限する例を示す模式図である。 露光時間で撮像素子への入射光量を制限する例を示す模式図である。 長蓄画素の画素値ＰＬに応じて係数ａの値が変化する様子を示す特性図である。 光量と露光比を変化させて状態Ａから状態Ｂへ遷移させる際に、飽和レベルを変化させる例を示す模式図である。 露光比を変化させて状態Ａから状態Ｂへ遷移させる際に、飽和レベルを変化させない例を示す模式図である。 同一の被写体を撮像した場合に、通常撮像（Ａ）と、本実施形態に係るＨＤＲ撮像（Ｅ）と、比較例と、を比較して示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．内視鏡システムの構成例
　２．ＣＣＵの構成例
　３．本実施形態に係るＨＤＲ撮像について
　４．光量決定処理について
　５．本実施形態の異なる態様について
　６．長蓄画素と短蓄画素の混合について
　７．本実施形態と比較例との比較
　１．内視鏡システムの構成例
　まず、図１を参照して、本開示の一実施形態に係る内視鏡システム１０００の概略構成について説明する。近年、医療現場において従来の開腹手術に代わって、内視鏡下手術が行われている。たとえば、腹部の手術を行う場合、図１で示されるような手術室に配置される内視鏡手術システム１を用いる。従来のように腹壁を切って開腹する代わりに、トロッカ１２a,１２bと称される開孔器具が腹壁に数か所取り付けられ、トロッカ１２a,１２bに設けられている孔から腹腔鏡（以下、内視鏡とも称する）２、エネルギ処置具３や鉗子４等が体内に挿入される。内視鏡２は、画像を撮像する撮像素子を含むカメラヘッド２００を有している。そして、内視鏡２によってビデオ撮像された患部（腫瘍等）１６の画像をリアルタイムに見ながら、エネルギ処置具３等によって患部１６を切除するなどの処置が行われる。内視鏡２、エネルギ処置具３や鉗子４は、術者、助手、スコピスト、またはロボット等が保持している。
　このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート１４、患者が横たわる患者ベッド１３、フットスイッチ１５等が配置される。カート１４は、医療機器として例えばカメラコントロールユニット(ＣＣＵ)５、光源装置６、処置具用装置７、気腹装置８、表示装置９、レコーダ１０及びプリンタ１１等の装置類を載置している。
　内視鏡２の観察光学系を通じて撮像された患部１６の画像像信号がカメラケーブルを介してＣＣＵ５に伝送され、ＣＣＵ５内で信号処理された後に、表示装置９に出力され、患部１６の内視鏡画像が表示される。ＣＣＵ５は、カメラケーブルを介して内視鏡２に接続される他、無線で接続してもよい。
　光源装置６は、ライトガイドケーブルを介して内視鏡２に接続され、患部１６に対してさまざまな波長の光を切り替えて照射することができる。
　処置具用装置７は、例えば患部１６を電気熱を用いて切断するエネルギ処置具３に対して高周波電流を出力する高周波出力装置である。
　気腹装置８は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気するものである。また、フットスイッチ１５は、術者や助手等のフット操作をトリガ信号として、ＣＣＵ５や処置具用装置７等を制御するようになっている。
　２．ＣＣＵの構成例
　図２は、ＣＣＵ（画像処理装置）５とその周辺の構成を示す模式図である。ＣＣＵ５は、画像処理部１００、光量決定部１１０、露光比決定部１２０、を有して構成される。ＣＣＵ５には、カメラヘッド２００、表示装置（モニタ）９、光源装置６が接続されている。図２に示す構成では、光源装置６から被写体に照射する光量で撮像素子への入射光量が制御される。なお、図２に示すＣＣＵ５の各構成要素は、ＣＰＵなどの中央演算処理装置と、これを機能させるためのプログラム（ソフトウェア）から構成されることができる。
　カメラヘッド２００の撮像素子が撮像した被写体の画像の画像データ（各画素の画素値）は、ＣＣＵ５に送られる。光量決定部１１０は、画素値に基づいて光量を決定し、光量を光源装置６へ光量を送る。光源装置６は、受け取った光量に基づいて被写体に光を照射する。なお、光量決定部１１０が光量を決定する処理は、後で詳細に説明する。
　露光比決定部１２０は、画素値に基づいて露光比を決定し、露光比をカメラヘッド２００へ送る。ここで、露光比とは、長蓄画素の露光量と短蓄画素の露光量の比である。カメラヘッド２００は、露光比に基づいて長蓄画素と短蓄画素の露光時間を調整して撮像を行い、画素値を調整する。なお、露光比決定部１２０が光量を決定する処理は、後で詳細に説明する。
　画像処理部１００は、カメラヘッド２００からの入力画像を表示装置９に出力するため、各種画像処理を行う。また、画像処理部１００は、後述する手法により露光比に応じて短蓄画素のダイナミックレンジを拡大した際に、短蓄画素の画素値を露光比に応じて調整する。また、画像処理部１００は、長蓄画素の光量を増加した場合に、光量に応じて長短蓄画素の画素値を調整する。更に、画像処理部１００は、長蓄画素と短蓄画素を混合する処理を行う。
　カメラヘッド２００は、ＨＤＲ撮像が可能な撮像素子を備えている。ＨＤＲ撮像とは、複数の異なる露光条件で撮像した画像を合成することでダイナミックレンジを拡張する撮像方式である。カメラヘッド２００には、露光比決定部が決定した露光比が送られる。撮像素子は、露光比に基づいて、長蓄画素の露光時間と短蓄画素の露光時間を決定し、露光を行う。ここで、短蓄画素の露光時間は、露光比に応じて、長蓄画素の露光時間よりも少なくなる。
　３．本実施形態に係るＨＤＲ撮像について
　図３は、通常撮像、ＨＤＲ撮像（空間分割多段階露光）、ＨＤＲ撮像（時間分割多段階露光）を比較して示す模式図である。通常撮像では、全画素の露光時間（シャッター開放時間）が同一とされ、フレーム毎に同じ露光時間で全画素に露光が行われる。
　一方、ＨＤＲ撮像（空間分割多段階露光）では、空間内に長時間露光画素と短時間露光画素が混在しており、一例として長時間露光画素と短時間露光画素とが千鳥状に配置される。ここで、長時間露光画素を長蓄画素、短時間露光画素を短蓄画素と称する。フレーム毎に、長蓄画素と短蓄画素では異なる時間で露光が行われる。
　また、ＨＤＲ撮像（時間分割多段階露光）では、時間方向で長時間露光フレーム、短時間露光フレームが切り換わる。その他、ＨＤＲ撮像としては、入射光を分割し、感度の異なる撮像素子で撮像する方式も考えられる。
　図４は、本実施形態に係る露光比とダイナミックレンジの関係を示す模式図である。通常撮像（Ａ）では、被写体の光量を１００％とし、撮像により各画素で画素値が取得される。撮像素子のダイナミックレンジを１０ビットとすると、０～１０２３までの画素値を取得可能である。図４の下段に示した画像のように、画像中で画素値１０２３を超える光量の範囲は飽和領域となる。
　一方、本実施形態に係るＨＤＲ撮像（Ｂ）では、長蓄画素については通常撮像（Ａ）と同様に撮像を行い、短蓄画素については、被写体の光量を５０％にして撮像を行う。そして、画像処理部１００は、短蓄画素については、撮像により得られた画素値を２倍にする。これにより、短蓄画素では、０～２０４６までの画素値を取得可能となり、ダイナミックレンジを拡大することができ、飽和レベルが通常撮像（Ａ）に対して２倍となるため、画像中の飽和領域を減少できる。図４の下段に示した画像では、通常撮像（Ａ）に対して、ＨＤＲ撮像（Ｂ）では飽和領域が減少している。短蓄画素では、光量が５０％であるため、通常撮像に対してｓｎ比（ｓ／ｎ）は１／√２となる。一方、長蓄画素のｓ／ｎは、通常撮像と同じである。
　図５は、光量、ｓ／ｎ、量子化精度の関係を示す模式図である。図５において、通常撮像（Ａ）は、図４に示したものと同様である。通常撮像（Ｃ）は、通常撮像（Ａ）に対して光量を２００％にしたものである。通常撮像（Ｃ）では、光量が通常撮像（Ａ）の２倍になるため、画像全体が明るくなり、図５の下段に示すように飽和領域も増加する。この際、光量が２倍になることでｓ／ｎは√２倍になる。
　通常撮像（Ｄ）では、光量（２００％）に応じて通常撮像（Ｃ）の画素値を１／２とする。これにより、光量１００％の通常撮像（Ａ）と画像の明るさが揃うことになる。なお、画素値の調整は画像処理部１００が行う。光量１００％の通常撮像（Ａ）と明るさを揃えることにより、５１２よりも大きい画素値は存在しないことになる。この際、０～５１２を１０２３階調分持つことになるため、量子化精度は通常の２倍となる。
　ＨＤＲ撮像（Ｅ）では、長蓄画素については通常撮像（Ｄ）と同様とし、短蓄画素については、被写体の光量を１００％にして撮像を行う。これにより、長蓄画素についてはダイナミックレンジが０～５１２であるが、短蓄画素についてはダイナミックレンジが０～１０２３となり、通常撮像（Ｄ）よりもダイナミックレンジが拡大する。長蓄画素に対する短蓄画素の露光比は２：１となる。露光比２：１でＨＤＲ撮像を行うと、画素値５１２よりも大きい信号値（画素値）も取得可能となる。全体的な明るさは通常撮像（Ａ）と同様となり、長蓄画素では、通常撮像（Ａ）に対してｓ／ｎは√２倍、量子化精度は２倍となる。これにより、飽和レベルは通常撮像（Ａ）と同じであるが、ｓ／ｎを向上することができる。
　図５に示したように、撮像素子への入射光量を制御することでｓ／ｎ、量子化精度を向上させることができる。ここで、ｓ／ｎは光量の平方根に比例するという特性をもつため、光量を２倍にするとｓ／ｎは√２倍になる。
　図６は、露光比、光量、及び画質の関係を示す模式図である。図６において、通常撮像（Ａ）、ＨＤＲ撮像（Ｂ）、ＨＤＲ撮像（Ｅ）は、図４、図５に示したものと同様である。ＨＤＲ撮像（Ｆ）では、長蓄画素についてはＨＤＲ撮像（Ｅ）と同様とし、短蓄画素については、被写体の光量を５０％にして撮像を行い、撮像により得られた画素値を２倍にする。これにより、長蓄画素についてはダイナミックレンジが０～５１２であるが、短蓄画素についてはダイナミックレンジが０～２０４６となり、ダイナミックレンジが更に拡大する。長蓄画素に対する短蓄画素の露光比は４：１となる。露光比が４：１のため、飽和レベルは４倍に拡大されるが、長蓄画素の光量が２００％のため、光量１００％時と明るさを同一にするため画素値を１／２にすると、実質的な飽和レベル拡張は２倍となる。短蓄画素では、光量が５０％であるため、通常撮像（Ａ）に対してｓ／ｎは１／√２となる。
　図７は、光量と露光比の組み合わせ例を示す模式図である。図７に示すように、撮影条件に応じて光量と露光比を最適に組み合わせることで、ダイナミックレンジを最適に確保することができる。なお、図７において、露光比が「標準値」の場合は、ダイナミックレンジが０～１０２３となり、露光比が「標準値の２倍」の場合は、ダイナミックレンジが０～２０４６となり、露光比が「標準値の４倍」の場合は、ダイナミックレンジが０～４０９２となり、露光比が標準値よりも大きくなる程、ダイナミックレンジが拡大する。図７において、具体的には、光量に基づいて、長蓄画素のレベル帯、ｓ／ｎ、量子化精度が決定される。また、露光比により飽和レベルの拡張度合いが決定される。また、露光比の標準値は光量設定に依存する。本実施形態では、カメラヘッド２００の撮像素子が撮像して得られた画像データに基づいて、図７に示す光量と露光比を動的に変更することで、最適な画像を得ることが可能である。上述したように、画像処理部１００は、露光比に応じて短蓄画素のダイナミックレンジを拡大した際に、短蓄画素の画素値を露光比に応じて調整する。例えば、光量が２００％で露光比が４：１の場合、短蓄画素の画素値を２倍にする。また、光量が４００％で露光比が８：１の場合、短蓄画素の画素値を４倍にする。これにより、図７の各例に示されているように、短蓄画素においてダイナミックレンジを拡大することができる。また、画像処理部１００は、長蓄画素の光量を増加した場合に、光量に応じて長短蓄画素の画素値を調整する。例えば、光量を２００％にした場合は長蓄画素の画素値を１／２とし、光量を４００％にした場合は長蓄画素の画素値を１／４とする。このような画素値の調整を行うため、画像処理部１００には光量（％）と露光比が送られる。
　図６に示したように、見た目のダイナミックレンジは同一（通常撮像（Ａ）とＨＤＲ撮像（Ｅ）、ＨＤＲ撮像（Ｂ）とＨＤＲ撮像（Ｆ））にもかかわらず、長蓄画素に相当する明るさ領域のｓ／ｎや量子化精度を向上させることが可能となる。本実施形態では、画像特徴に応じて最適な光量と露光比の組み合わせを設定することで、図７に示すようなダイナミックレンジ拡張、ｓ／ｎ向上、量子化精度向上を達成した画像の出力を可能とする。
　４．光量決定処理について
　次に、光量決定処理について説明する。図８は、光量決定処理を示すフローチャートである。光量の決定は、図２に示す光量決定部１１０によって行われる。先ず、ステップＳ１０では、カメラヘッド２００の撮像素子から画像データを取得し、各画素の画素値を示すヒストグラムを取得する。また、ステップＳ１０では、画素値０～１０２３を正規化して、０～１．０の値に変換する。変換により得られた値０～０．１は、撮像素子の飽和画素値に対する比率である。
　ステップＳ１０において、ヒストグラムを取得する信号は、Ｙ，Ｇ，Ｒ，Ｂ信号のいずれであっても良い。また、ヒストグラムを取得する領域は、マスク内の全画素、マスク内の任意領域（電子ズームする際の切り出し領域等）、術具の先端領域、術者の注視領域、等のいずれであっても良い。また、光量は４００％までに限らず、それ以上であっても良い。
　次のステップＳ１２では、変換した画素値が０～０．２５である画素の数の全体画素数に対する比率（構成比）が第１の閾値を超えているか否かを判定し、第１の閾値を超えている場合はステップＳ１４へ進む。ステップＳ１４では、光量を４００％とする。
　一方、ステップＳ１２において、構成比が第１の閾値を超えていない場合は、ステップＳ１６へ進み、変換した画素値が０～０．５である画素の数の全体画素数に対する比率（構成比）が第２の閾値を超えているか否かを判定し、第２の閾値を超えている場合はステップＳ１８へ進む。ステップＳ１８では、光量を２００％とする。
　また、ステップＳ１６において、構成比が第２の閾値を超えていない場合は、ステップＳ２０へ進み、光量を１００％とする。
　以上のように、図８の処理では、注目領域（ヒストグラムを取得する領域）の画素値が低い値に集中している場合は、光量を増やしてその画素値帯のｓ／ｎが向上するように処理が行われる。図７に示したように、光量を高くすると長蓄画素に対応する暗部のｓ／ｎ、量子化精度は通常撮像（Ａ）に比べて向上する一方で、明部のｓ／ｎ、量子化精度は通常撮像（Ａ）と同じか通常撮像（Ａ）よりも低下する。これは、明部では短蓄画素が利用されることに起因する。従って、画像内に明部が殆ど無い場合は、光量を高くしても明部が存在しないためｓ／ｎ等の低下は視認されることはない。一方、明部が多くを占めるような画像では、ｓ／ｎ等の低下が視認されてしまう。光量決定部では画像のヒストグラムに基づいて、画質低下を視認され難くなるように光量を決定する。
　図８の処理で決定された光量は、光源装置６に送られる。光源装置６は、受け取った光量に基づいて被写体を照射する。
　５．露光比決定処理について
　次に、露光比決定処理について説明する。図９は、露光比決定処理を示すフローチャートである。露光比の決定は、図２に示す露光比決定部１２０によって行われる。先ず、ステップＳ３０では、飽和画素の頻度を取得する。飽和画素の頻度は、図１０及び図１１に示すように、画素値を横軸とし、飽和している画素と飽和していない画素の数を示すデータである。次のステップＳ３２では、飽和画素の構成比が第１の閾値を超えているか否かを判定し、飽和画素の構成比が第１の閾値を超えている場合はステップＳ３４へ進み、露光比が上限値と一致したか否かを判定する。そして、ステップＳ３４で露光比が上限値と一致しない場合はステップＳ３６へ進み、露光比を上げる。一方、ステップＳ３４で露光比が上限値と一致する場合は処理を終了する。
　また、ステップＳ３２で飽和画素の構成比が所定の閾値以下の場合は、ステップＳ３８へ進み、飽和画素値の１／２から飽和画素値まで範囲の画素の構成比が第２の閾値よりも小さい条件と、露光比が下限値と一致していない条件が共に成立するか否かを判定し、両条件が共に成立する場合はステップＳ４０へ進み、露光比を下げる。
　ステップＳ３６、ステップＳ４０では、露光比を所定量だけ増減する。露光比が上限に達した場合（ステップＳ３４）、または露光比が下限値に達した場合（ステップＳ４０）は、露光比の増減は行わず、露光比は上限値または下限値とされる。
　図１０及び図１１は、ステップＳ３０で取得した飽和画素の頻度を示す模式図である。図１０に示すヒストグラムでは、飽和画素が多く、飽和画素の構成比が第１の閾値よりも大きくなる。従って、このような画像の場合、ステップＳ３２からステップＳ３６へ進み、露光比を上げる処理が行われる。また、露光比が上限値に達した場合（ステップＳ３４）は、処理を終了する。
　また、図１１に示すヒストグラムでは、飽和画素値の１／２から飽和画素値まで範囲の画素が少ない。従って、このような画像の場合、ステップＳ３８からステップＳ４０へ進み、へ進み、露光比を下げる処理が行われる。この場合、露光比を下げても飽和画素が大量に発生することはない。また、露光比が下限値に達した場合（ステップＳ３８）は、処理を終了する。
　なお、図９の処理において、飽和画素は、厳密に飽和している画素ではなく、ある値以上の画素値を有する画素を飽和画素としても良い。露光比の下限値は、光量に応じて変えることができ、光量１００％のときは１、光量２００％のときは２、光量４００％のときは４となる。
　図９の処理により、飽和している画素が多ければ、露光比を上げてダイナミックレンジを拡張し、飽和画素を含め明るい画素が殆ど無い場合は、不必要にダイナミックレンジが広がっているため、露光比を下げる。
　なお、光量決定部１１０、露光比決定部１２０で参照する領域はマスク内全領域としているが、いずれかの決定部で参照する領域を以下で説明する領域としても良い。
　以上のように、図８、図９の処理を行うことで、撮像した画像に基づいて光量と露光比を最適に設定することができる。従って、所望のダイナミックレンジを確保することができるとともに、ｓ／ｎを向上させることが可能となる。
　５．本実施形態の異なる態様について
　次に、本実施形態のいくつかの異なる態様について説明する。図１２は、図２の構成に対してズーム領域設定部１３０を追加した例を示している。内視鏡システムが電子ズーム機能を有する場合、図１２に示すように、光量決定部１１０と露光比決定部１２０がズーム領域設定部１３０からズーム対象領域を取得する。これにより、図２では光量決定部１１０及び露光比決定部１２０が参照する領域は画像のマスク内全域であったが、図１２では実際に表示装置９に表示される領域（電子ズームの切り出し領域）のみ光量決定部１１０及び露光比決定部１２０が参照することになる。従って、表示装置９に表示される領域に基づいて、光量決定部１１０におけるヒストグラムの取得の対象領域、及び露光比決定部１２０における飽和画素頻度の取得の対象領域を設定することが可能である。
　図１３は、図２の構成に対して術具検出部１４０を追加した例を示している。術具検出部１４０を備えることで、術具の先端領域を示す情報が光量決定部１１０、露光比決定部１２０へ送られる。これにより、光量決定部１１０や露光比決定部１２０で参照する領域が術具の先端領域（術具の先端が到達可能な領域）とされる。従って、術具の先端領域に基づいて、光量決定部１１０におけるヒストグラムの取得の対象領域、及び露光比決定部１２０における飽和画素頻度の取得の対象領域を設定することが可能である。
　図１４は、図２の構成に対して視線検出部１５０を追加した例を示している。視線検出部１５０を備えることで、術者の視線の領域を示す情報が光量決定部１１０、露光比決定部１２０へ送られる。これにより、光量決定部１１０や露光比決定部１２０で参照する領域が術者の視線の領域とされる。従って、術者の視線の領域に基づいて、光量決定部１１０におけるヒストグラムの取得の対象領域、及び露光比決定部１２０における飽和画素頻度の取得の対象領域を設定することが可能である。
　なお、参照する領域は光量決定部１１０と露光比決定部１２０で同一でなくても良い。図８のステップＳ１０おいて、光量決定部１１０がヒストグラムを取得する領域は、マスク内の全画素、図１２で説明したマスク内の任意領域（電子ズームの切り出し領域）、図１３で説明した術具の先端領域、図１４で説明した術者の注視領域のいずれであっても良い。同様に、図９のステップＳ３０において、露光比決定部１２０が飽和画素頻度を取得する領域は、マスク内の全画素、図１２で説明したマスク内の任意領域（電子ズームの切り出し領域）、図１３で説明した術具の先端領域、図１４で説明した術者の注視領域のいずれであっても良い。
　以上説明した構成では、光源装置６から被写体へ照射する光量で撮像素子への入射光量を制限しているが、カメラヘッド２００のレンズのＦ値、または撮像素子の電子シャッターによる露光時間を調整することで、撮像素子への入射光量を調整するようにしても良い。
　図１５は、カメラヘッド２００に絞りを設け、撮像素子への入射光量を制限する例を示す模式図である。図１５では、図２の構成に対してレンズＦ値決定部１６０を追加している。図１５に示す構成では、撮像素子への入射光量を絞りで制限するため、被写体の光量を絞りで調整できる。このため、光源装置６を設ける必要はない。
　図１５に示す構成では、光量決定部１１０が決定した光量がレンズＦ値決定部１６０に送られる。レンズＦ値決定部１６０は、光量とレンズのＦ値との関係を記述したテーブル又は変換式に基づいて、光量に応じてレンズのＦ値を決定する。Ｆ値はカメラヘッド２００に送られる。カメラヘッド２００は、Ｆ値に基づいて絞りを駆動し、撮像素子への入射光量を制限する。
　図１６は、露光時間で撮像素子への入射光量を制限する例を示す模式図である。図１６では、図２の構成に対して露光時間決定部１７０を追加している。図１６に示す構成では、露光時間で撮像素子への入射光量を制限するため、被写体の光量を露光時間で調整できる。このため、光源装置６を設ける必要はない。
　図１６に示す構成では、光量決定部１１０が決定した光量が露光時間決定部１７０に送られる。露光時間決定部１７０は、光量と露光時間との関係を記述したテーブル又は変換式に基づいて、光量に応じて露光時間を決定する。露光時間はカメラヘッド２００に送られる。カメラヘッド２００は、露光時間に基づいて電子シャッターによる露光を行い、撮像素子への入射光量を制限する。
　６．長蓄画素と短蓄画素の混合について
　次に、以上のようにして長蓄画素と短蓄画素の画像データ（画素値）を取得した後、長蓄画素と短蓄画素を混合（ブレンド）して画像データを生成する処理について説明する。上述したように、長蓄画素を用いることでｓ／ｎが良くなるため、被写体の明度が比較的低く、長蓄画素が飽和していない場合は、長蓄画素の比率を大きくし、短蓄画素の比率を小さくして両者を混合する。従って、長蓄画素と短蓄画素から算出される任意の画素の画素値ＰＯは、以下の式で表すことができる。
　ＰＯ＝ａ＊ＰＬ＋（１－ａ）＊ＰＳ
　上式において、ＰＬは長蓄画素の画素値、ＰＳは短蓄画素の画素値、係数ａは長蓄画素の画素値ＰＬに応じて変化する係数であって、長蓄画素の画素値ＰＬに応じて変化する。図１７は、長蓄画素の画素値ＰＬに応じて係数ａの値が変化する様子を示す特性図である。図１７では、長蓄画素の画素値ＰＬ（例えば、０～１０２３）を正規化して、０～１．０の値に変換している。画素値ＰＬが閾値ＴＨＬに達するまでは、係数ａは１となる。従って、上式により、画素値ＰＯは長蓄画素の画素値ＰＬとなる。
　また、長蓄画素の画素値ＰＬが閾値ＴＨＬよりも大きくなると、画素値ＰＬが大きくなるに従って係数ａの値が低下し、画素値ＰＬが閾値ＴＨＨに達すると係数ａは０となる。従って、上式により、画素値ＰＯは短蓄画素の画素値ＰＳとなる。
　なお、図１７に示すように、長蓄画素と短蓄画素の混合の仕方に応じて、閾値ＴＨＬ、閾値ＴＨＨの値は適宜変更できる。
　また、図１８は、光量と露光比を変化させて状態Ａから状態Ｂへ遷移させる際に、飽和レベルを変化させる例を示す模式図である。階調圧縮の際、表示される画像の明るさが急激に変動しないように、最大輝度の変動を緩やかにする。例えば、露光比を変えた瞬間に、短蓄画素の最大輝度を１０２３から２０４６に一瞬で変えるのではなく、中間の遷移状態に示すように、最大輝度を緩やかに変化させる。また、短蓄画像側の露光時間又は光源光量を緩やかに変化させるようにしてもよい。
　図１９は、露光比を変化させて状態Ａから状態Ｂへ遷移させる際に、飽和レベルを変化させない例を示す模式図である。ＨＤＲ画像の合成の際に、短蓄画素と長蓄画素が混合される領域が連続的になるように、ブレンドの閾値を状態Ｂに合わせた値に遷移させていき、状態Ｂに一致した状態になった後に、光量や露光比などを状態Ｂに変える。長蓄の撮像素子に入射される光量、短蓄の撮像素子に入射される光量を緩やかに変化させるようにしてもよい。
　７．本実施形態と比較例との比較
　図２０は、同一の被写体を撮像した場合に、通常撮像（Ａ）と、本実施形態に係るＨＤＲ撮像（Ｅ）と、比較例（前述した特許文献１に記載された技術）と、を比較して示す模式図である。ここで、図２０は、飽和が無い被写体の場合を示している。以下、本実施形態と比較例との相違について説明する。
　図２０において、奥行きが３段階に配置された３つの被写体Ａ，Ｂ，Ｃの輝度は、通常撮像（Ａ）に示した通りである。
　比較例では、遠方の被写体Ａに高光量を照射した場合と、それより近接の被写体Ｂに通常光量を照射した場合とで、イメージャーに入射する光量が同じであればｓ／ｎは両者で不変である。一方、本実施形態に係るＨＤＲ撮像では、上述のように長蓄画素側のｓ／ｎ、量子化精度が向上する。
　また、比較例では、時分割多段階露光を行っているが、時分割多段階露光を行うと、フレームレートが低下する。本実施形態では、図３で説明した空間分割多段階露光を行った場合はフレームレートの低下を抑えることが可能である。
　また、比較例では、画素値の平均値を用いているため、低輝度と高輝度の頻度が多く中輝度の頻度が少ない場合に、平均値として中輝度と判定されてしまう。また、比較例では、１画素でも飽和している画素があるとそれに引っ張られる可能性がある。
　また、図２０に示すように、比較例では、領域によって複数の光源光量を制御するため、暗い領域と明るい領域の境界が光源の境界と一致していないと、撮像時の被写体の明るさが不均一になる。一方、本実施形態では、単一の光源を用いるため、そのような問題は発生しない。
　また、比較例では、光源が照射する領域内の特徴量で光量や露光比の制御を行っているため、対象領域に低輝度部分が少なければその領域の見え方を改善することは出来ない。一方、本実施形態では、画面全体だけでなく、鉗子の先端やユーザーの注視点など対象領域を限定することで、その領域内での特徴量から光量や露光比の制御が可能である。
　更に、比較例では、輝度の低い領域をその他の領域に比べて明るく照射するため、暗い部分を明るくすることはできるが、本来のコントラスト感とは違った見え方になる。一方、本実施形態では、あくまでも撮像時は本来のコントラスト感での撮像をし、画像処理で暗部をより明るくするといったようなことは可能（画作りの自由度が高い）である。
　また、比較例は、光量を上げない領域の低輝度部は、ｓ／ｎ、量子化精度の向上はない。本実施形態によれば、画面内の全ての低輝度部のｓ／ｎ、量子化精度を向上させることも可能である。
　以上説明したように本実施形態によれば、画像のダイナミックレンジを拡張するとともに、ｓ／ｎおよび量子化精度の向上を行うことができる。この際、被写体の画像特徴を参照することで、画質低下を抑制することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する光量決定部と、
　前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する露光比決定部と、
　を備える、画像処理装置。
（２）　前記光量及び前記露光量の比に基づいて前記長時間露光画素と前記短時間露光画素の画素値を調整する画像処理部を更に備える、前記（１）に記載の画像処理装置。
（３）　前記光量決定部は、前記撮像画像の前記領域に含まれる画素のうち所定の画素値よりも小さい画素値を有する画素の比率に基づいて、前記光量を決定する、前記（１）又は（２）に記載の画像処理装置。
（４）　前記露光比決定部は、前記比率が第１の閾値より大きい場合は、前記露光量の比を増加させる、前記（３）に記載の画像処理装置。
（５）　前記露光比決定部は、前記比率が前記第１の閾値以下の場合は、前記撮像画像の領域に含まれる画素のうち所定の画素値から飽和画素値までの画素値を有する画素の比率に基づいて、当該比率が第２の閾値よりも小さい場合は、前記露光比を減少させる、前記（４）に記載の画像処理装置。
（６）　前記所定の画素値は飽和画素値の１／２である、前記（５）に記載の画像処理装置。
（７）　前記撮像画像を撮像するカメラのズーミングに応じて前記撮像画像の前記領域が設定される、前記（１）～（６）のいずれかに記載に画像処理装置。
（８）　術具の先端領域に応じて前記撮像画像の前記領域が設定される、前記（１）～（６）のいずれかに記載に画像処理装置。
（９）　術者の視線の領域に応じて前記撮像画像の前記領域が設定される、前記（１）～（６）のいずれかに記載に画像処理装置。
（１０）　前記光量決定部は、被写体を照射する光源に前記光量を送る、前記（１）～（９）のいずれかに記載の画像処理装置。
（１１）　前記光量決定部は、前記撮像画像を撮像するカメラのＦ値を調整するため、前記光量を前記カメラに送る、前記（１）～（１０）のいずれかに記載の画像処理装置。
（１２）　前記光量決定部は、前記撮像画像を撮像するカメラの露光時間を調整するため、前記光量を前記カメラに送る、前記（１）～（１１）のいずれかに記載の画像処理装置。
（１３）　前記露光比決定部は、前記撮像画像を撮像する撮像素子に前記長時間露光画素と前記短時間露光画素の露光時間を調整させるため、前記撮像画像を撮像するカメラに前記露光量の比を送る、前記（１）～（１２）のいずれかに記載の画像処理装置。
（１４）　前記長時間露光画素と前記短時間露光画素は前記撮像画像の同一フレームの空間内に配置される、前記（１）～（１３）のいずれかに記載の画像処理装置。
（１５）　前記長時間露光画素と前記短時間露光画素は前記撮像画像の時間的に異なるフレームにそれぞれ配置される、前記（１）～（１３）のいずれかに記載の画像処理装置。
（１６）　前記長時間露光画素と前記短時間露光画素を混合した画素を生成する処理を行う画像処理部を備え、
　前記画像処理部は、前記長時間露光画素の画素値に基づいて、当該画素値が小さいほど前記短時間露光画素に対する前記長時間露光画素の割合を大きくして前記混合した画素を生成する、前記（１）～（１５）のいずれかに記載の画像処理装置。
（１７）　撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定することと、
　前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定することと、
　を備える、画像処理方法。
（１８）　撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する手段、
　前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する手段、
　としてコンピュータを機能させるためのプログラム。
　５　　　　ＣＣＵ
　６　　　　光源装置
　１００　　画像処理部
　１１０　　光量決定部
　１２０　　露光比決定部
　２００　　カメラヘッド

Claims (18)

  1. 　撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する光量決定部と、
    　前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する露光比決定部と、
    　を備える、画像処理装置。
  2. 　前記光量及び前記露光量の比に基づいて前記長時間露光画素と前記短時間露光画素の画素値を調整する画像処理部を更に備える、請求項１に記載の画像処理装置。
  3. 　前記光量決定部は、前記撮像画像の前記領域に含まれる画素のうち所定の画素値よりも小さい画素値を有する画素の比率に基づいて、前記光量を決定する、請求項１に記載の画像処理装置。
  4. 　前記露光比決定部は、前記比率が第１の閾値より大きい場合は、前記露光量の比を増加させる、請求項３に記載の画像処理装置。
  5. 　前記露光比決定部は、前記比率が前記第１の閾値以下の場合は、前記撮像画像の領域に含まれる画素のうち所定の画素値から飽和画素値までの画素値を有する画素の比率に基づいて、当該比率が第２の閾値よりも小さい場合は、前記露光量の比を減少させる、請求項４に記載の画像処理装置。
  6. 　前記所定の画素値は飽和画素値の１／２である、請求項５に記載の画像処理装置。
  7. 　前記撮像画像を撮像するカメラのズーミングに応じて前記撮像画像の前記領域が設定される、請求項１に記載に画像処理装置。
  8. 　術具の先端領域に応じて前記撮像画像の前記領域が設定される、請求項１に記載に画像処理装置。
  9. 　術者の視線の領域に応じて前記撮像画像の前記領域が設定される、請求項１に記載に画像処理装置。
  10. 　前記光量決定部は、被写体を照射する光源に前記光量を送る、請求項１に記載の画像処理装置。
  11. 　前記光量決定部は、前記撮像画像を撮像するカメラのＦ値を調整するため、前記光量を前記カメラに送る、請求項１に記載の画像処理装置。
  12. 　前記光量決定部は、前記撮像画像を撮像するカメラの露光時間を調整するため、前記光量を前記カメラに送る、請求項１に記載の画像処理装置。
  13. 　前記露光比決定部は、前記撮像画像を撮像する撮像素子に前記長時間露光画素と前記短時間露光画素の露光時間を調整させるため、前記撮像画像を撮像するカメラに前記露光量の比を送る、請求項１に記載の画像処理装置。
  14. 　前記長時間露光画素と前記短時間露光画素は前記撮像画像の同一フレームの空間内に配置される、請求項１に記載の画像処理装置。
  15. 　前記長時間露光画素と前記短時間露光画素は前記撮像画像の時間的に異なるフレームにそれぞれ配置される、請求項１に記載の画像処理装置。
  16. 　前記長時間露光画素と前記短時間露光画素を混合した画素を生成する処理を行う画像処理部を備え、
    　前記画像処理部は、前記長時間露光画素の画素値に基づいて、当該画素値が小さいほど前記短時間露光画素に対する前記長時間露光画素の割合を大きくして前記混合した画素を生成する、請求項１に記載の画像処理装置。
  17. 　撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定することと、
    　前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定することと、
    　を備える、画像処理方法。
  18. 　撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する手段、
    　前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する手段、
    　としてコンピュータを機能させるためのプログラム。
PCT/JP2016/088251 2016-02-16 2016-12-21 画像処理装置、画像処理方法及びプログラム WO2017141544A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/060,282 US10523874B2 (en) 2016-02-16 2016-12-21 Image processing apparatus, image processing method, and program
EP16890681.6A EP3417762B1 (en) 2016-02-16 2016-12-21 Image processing device, image processing method, and program
JP2017567969A JP7000861B2 (ja) 2016-02-16 2016-12-21 画像処理装置、医療機器の作動方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016026771 2016-02-16
JP2016-026771 2016-02-16

Publications (1)

Publication Number Publication Date
WO2017141544A1 true WO2017141544A1 (ja) 2017-08-24

Family

ID=59624896

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/088251 WO2017141544A1 (ja) 2016-02-16 2016-12-21 画像処理装置、画像処理方法及びプログラム

Country Status (4)

Country Link
US (1) US10523874B2 (ja)
EP (1) EP3417762B1 (ja)
JP (1) JP7000861B2 (ja)
WO (1) WO2017141544A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3611917A1 (en) * 2018-08-13 2020-02-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging control method and apparatus, electronic device, and computer readable storage medium
WO2022019057A1 (ja) * 2020-07-20 2022-01-27 ソニーグループ株式会社 医療用アーム制御システム、医療用アーム制御方法及びプログラム
WO2022085406A1 (ja) * 2020-10-19 2022-04-28 ソニーセミコンダクタソリューションズ株式会社 撮像素子、及び電子機器

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630901B2 (en) * 2017-05-23 2020-04-21 Google Llc Systems and methods for selectively activating high dynamic range in a video capture system
US10574876B2 (en) 2017-10-17 2020-02-25 Motorola Mobility Llc Photography environment control
US10469723B2 (en) * 2017-10-17 2019-11-05 Motorola Mobility Llc Photography lighting control
WO2020045014A1 (ja) * 2018-08-28 2020-03-05 ソニー株式会社 医療システム、情報処理装置及び情報処理方法
CN113240614B (zh) * 2021-04-07 2023-02-10 华南理工大学 一种适用于k-tig焊超强弧光场景的高动态图像融合方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009006A (ja) * 2001-06-20 2003-01-10 Sony Corp 撮像方法および装置
JP2013162347A (ja) * 2012-02-06 2013-08-19 Sony Corp 画像処理装置、画像処理方法、プログラム、および装置
JP2014039170A (ja) * 2012-08-16 2014-02-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2015213276A (ja) * 2014-05-07 2015-11-26 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2330433A1 (en) * 2000-01-21 2001-07-21 Symagery Microsystems Inc. Smart exposure determination for imagers
JP2010219624A (ja) * 2009-03-13 2010-09-30 Toshiba Corp 画像信号処理装置及び画像信号処理方法
JP2010263305A (ja) * 2009-04-30 2010-11-18 Fujifilm Corp 撮像装置及びその駆動方法
JP2012182657A (ja) * 2011-03-01 2012-09-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP5234150B2 (ja) * 2011-08-26 2013-07-10 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9113059B2 (en) * 2011-11-30 2015-08-18 Canon Kabushiki Kaisha Image pickup apparatus and image region discrimination method
EP2760207A4 (en) * 2012-01-17 2015-07-29 Honda Motor Co Ltd IMAGE PROCESSING DEVICE
JP6020199B2 (ja) * 2013-01-24 2016-11-02 株式会社ソシオネクスト 画像処理装置、方法、及びプログラム、並びに撮像装置
JP2014230708A (ja) 2013-05-30 2014-12-11 パナソニック株式会社 内視鏡
AU2015212758B2 (en) * 2014-01-30 2019-11-21 Bd Kiestra B.V. A system and method for image acquisition using supervised high quality imaging
JP6377129B2 (ja) * 2014-02-20 2018-08-22 シャープ株式会社 画像撮像装置
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
KR102149453B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 획득하기 위한 전자 장치 및 방법
CN110772205B (zh) * 2014-03-17 2022-04-12 直观外科手术操作公司 用于组织接触检测和用于自动曝光和照明控制的系统和方法
US9711553B2 (en) * 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
WO2016147315A1 (ja) * 2015-03-17 2016-09-22 浜松ホトニクス株式会社 蛍光画像生成装置及び蛍光画像生成方法
US20170264831A1 (en) * 2016-03-14 2017-09-14 Kabushiki Kaisha Toshiba Image processor and image processing method
US10630901B2 (en) * 2017-05-23 2020-04-21 Google Llc Systems and methods for selectively activating high dynamic range in a video capture system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009006A (ja) * 2001-06-20 2003-01-10 Sony Corp 撮像方法および装置
JP2013162347A (ja) * 2012-02-06 2013-08-19 Sony Corp 画像処理装置、画像処理方法、プログラム、および装置
JP2014039170A (ja) * 2012-08-16 2014-02-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2015213276A (ja) * 2014-05-07 2015-11-26 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3417762A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3611917A1 (en) * 2018-08-13 2020-02-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging control method and apparatus, electronic device, and computer readable storage medium
US11044410B2 (en) 2018-08-13 2021-06-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging control method and apparatus, electronic device, and computer readable storage medium
US11765466B2 (en) 2018-08-13 2023-09-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging control method and apparatus, electronic device, and computer readable storage medium
WO2022019057A1 (ja) * 2020-07-20 2022-01-27 ソニーグループ株式会社 医療用アーム制御システム、医療用アーム制御方法及びプログラム
WO2022085406A1 (ja) * 2020-10-19 2022-04-28 ソニーセミコンダクタソリューションズ株式会社 撮像素子、及び電子機器

Also Published As

Publication number Publication date
JP7000861B2 (ja) 2022-02-04
EP3417762A1 (en) 2018-12-26
US20180367721A1 (en) 2018-12-20
JPWO2017141544A1 (ja) 2018-12-13
US10523874B2 (en) 2019-12-31
EP3417762A4 (en) 2019-01-23
EP3417762B1 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
WO2017141544A1 (ja) 画像処理装置、画像処理方法及びプログラム
US11642004B2 (en) Image processing device, image processing method and recording medium
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
WO2018230066A1 (ja) 医療用システム、医療用装置および制御方法
US10537233B2 (en) Medical observation device and medical observation method
US11800968B2 (en) Method for adjusting an exposure of an endoscope
JP5747362B2 (ja) 内視鏡装置
JP4796557B2 (ja) 撮影装置
US20220217260A1 (en) Signal processing device, imaging device, and signal processing method
US20230039047A1 (en) Image processing apparatus, image processing method, navigation method and endoscope system
JPWO2020039716A1 (ja) 医療用制御装置及び医療用観察装置
JP6860000B2 (ja) 医療用画像処理装置、システム、方法、プログラム、画像処理システム及び医療用画像処理システム
US11375141B1 (en) Endoscopic camera region of interest autoexposure
WO2017082091A1 (ja) 手術システム、手術用制御方法、およびプログラム
US10849482B2 (en) Endoscopic system, image processing apparatus, and image processing method
JP7140113B2 (ja) 内視鏡
JP2021108793A (ja) 医療画像生成装置、医療画像生成方法および医療画像生成プログラム
JP4503931B2 (ja) 電子内視鏡装置
JP2016106932A (ja) 内視鏡画像処理装置、内視鏡画像処理方法、プログラム、及び、内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16890681

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017567969

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE